Belgeleri parçalara ayırma
Arama ve model bağlamı için bir belgeyi daha küçük, kendi içinde tutarlı bölümlere ayırma.
Bölümde hangi bağlam korunmalı?
Belgeleri parçalara ayırma, arama veya modele sunma amacıyla daha küçük ve kendi içinde tutarlı bölümler oluşturur. Sınırlar cümlelere, başlıklara ve tablolara göre belirlenebilir. Bu, girdi sınırlarına uymaya ve farklı konuların daha isabetli bulunmasına yardımcı olabilir. Boyut ve olası örtüşme içeriğe ve göreve bağlıdır; her yerde ideal olan tek uzunluk yoktur. Her parça kaynak, sürüm ve geçerli erişim kurallarıyla bağlantısını korumalıdır.
Kurgusal bir bilgi koleksiyonunda tablo, cihaz kimliğini portal formunun zorunlu alanı olarak belirtir. Yalnızca tablo satırı, sütun başlıkları ve bölüm adı olmadan getirilirse bu zorunluluğun hangi bildirim yolu için geçerli olduğu belirsizleşebilir. Bu nedenle hazırlıkta ilgili başlık ve tablo bağlamı parçada tutulur. Planlanan sorgular, bulunan bölümlerin bu ayrımı koruyup korumadığını ve özgün kaynağa götürüp götürmediğini inceler. Bir sürüm yenisiyle değiştirildiğinde ilgili arama bölümleri de izlenebilir biçimde güncellenmelidir.
Kaynaklar
İlgili terimler
- Bağlam penceresiBağlam penceresi, dil modelinin bir işlem adımında dikkate alabildiği token miktarını sınırlar. Kalıcı bir bilgi arşivi değildir.
- Dil modelinde tokenToken, dil modelinin işleme birimidir. Her zaman tam bir sözcüğe karşılık gelmez ve tasarım tokenından farklı anlam taşır.
- EmbeddingEmbedding, içeriği sayısal bir vektörle temsil eder. Hangi benzerliklerin yakalanacağı modele ve karşılaştırma yöntemine bağlıdır.
- RAGRAG, ilgili bilgiyi aramayı yanıt üretimiyle birleştirir. Kaynak erişimi, kalite ve yetki tasarımını gereksiz kılmaz.
- Anlamsal aramaSonuçları sorguya anlam bakımından ne kadar yakın olduklarına göre bulan ve sıralayan arama.
- Karma aramaSözcük tabanlı arama ile vektör aramasını ortak bir sonuç listesinde birleştirme.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.