Karma arama
Sözcük tabanlı arama ile vektör aramasını ortak bir sonuç listesinde birleştirme.
Sözcük eşleşmeleri ve benzer içerikler nasıl birleştirilir?
Karma arama çoğunlukla sözcük tabanlı aramayla vektör aramasını birleştirir. İki yol da ortak bir sıralamada birleştirilen adaylar üretir. Yöntemlerin puan ölçekleri farklı olabilir; bu nedenle ham puanları doğrudan ortalamak uygun olmayabilir. Birleştirmede örneğin sıralamadaki yerler dikkate alınabilir. Erişim sınırları ve iş filtreleri iki arama yolunda da etkili kalmalıdır.
Kurgusal bir bilgi portalında sorgu “M-47 başlarken sarsılıyor” şeklindedir. Cihaz kimliği sözcük tabanlı aramaya katkı sağlarken vektör araması benzer belirtilerin farklı ifade edilmiş açıklamalarını bulabilir. Sonuçların tam olarak bu cihaz için geçerli olması gerekiyorsa bu, ayrı bir filtre kuralı olarak tanımlanır. Yüksek benzerlik puanı bu kontrolü üstlenmez. Planlanan değerlendirmede uygun sorular ve ilgili belgeler belirlenir; sözcük tabanlı, vektör tabanlı ve birleşik arama eksik veya uygunsuz sonuçlar açısından karşılaştırılır.
Kaynaklar
İlgili terimler
- EmbeddingEmbedding, içeriği sayısal bir vektörle temsil eder. Hangi benzerliklerin yakalanacağı modele ve karşılaştırma yöntemine bağlıdır.
- Vektör veritabanıVektör veritabanı, embedding’leri saklar ve bunlar üzerinde arama yapar. Benzer bir sonuç, geçerli ve erişim izni olan bir yanıt kaynağı demek değildir.
- RAGRAG, ilgili bilgiyi aramayı yanıt üretimiyle birleştirir. Kaynak erişimi, kalite ve yetki tasarımını gereksiz kılmaz.
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Anlamsal aramaSonuçları sorguya anlam bakımından ne kadar yakın olduklarına göre bulan ve sıralayan arama.
- Belgeleri parçalara ayırmaArama ve model bağlamı için bir belgeyi daha küçük, kendi içinde tutarlı bölümlere ayırma.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.