Dil modelinde token
Token, dil modelinin işleme birimidir. Her zaman tam bir sözcüğe karşılık gelmez ve tasarım tokenından farklı anlam taşır.
Metin miktarını işleme birimleriyle ölçmek
Token, dil modelinin metni işlerken ayırdığı birimdir. Kullanılan tokenizer’a göre bir sözcüğe, sözcük parçasına veya karaktere karşılık gelebilir. Sayısı, yönteme ve somut metne bağlıdır.
Varsayımsal bir projede aynı ürün kataloğu Almanca ve Türkçe işlenecektir. Aynı sayıda kayıt, otomatik olarak aynı token miktarı demek değildir. Girdi sınırını veya tüketimi hesaplarken gerçek metinleri uygun tokenizer ile kontrol edin.
Sözcük sayısını sabit bir oranla tokena çevirmek bu iş için güvenilir değildir. Tasarım tokenı farklı anlam taşır: Renk gibi bir tasarım değerini adlandırır. Bu iki kavramın adı ortaktır, fakat görevleri farklıdır.
Kaynaklar
İlgili terimler
- Bağlam penceresiBağlam penceresi, dil modelinin bir işlem adımında dikkate alabildiği token miktarını sınırlar. Kalıcı bir bilgi arşivi değildir.
- Tasarım tokenıTasarım tokenı, adlandırılmış bir tasarım kararını saklar. Aynı değer farklı bileşenlerde kullanılabilir ve belirli bir noktadan değiştirilebilir.
- Model kartıModel kartı; bir yapay zekâ modelinin amacını, dayanaklarını, değerlendirme koşullarını ve bilinen sınırlarını belirli sürüm için belgeler.
- Yapay zekâya hazırlıkYapay zekâya hazırlık; bir proje için amaç, kullanılabilir veri, yetkinlik, sorumluluk ve işletim sürecinin durumunu değerlendirir.
- Bağlam mühendisliğiBağlam mühendisliği, her model çağrısı için uygun talimatları, mesajları, kaynakları ve güncel durum bilgisini hazırlar.
- Anomali tespitiBelirlenmiş bir referansa veya öğrenilmiş örüntüye göre olağandışı gözlemleri işaretleyen yöntemler.
Bu konudaki yazılar
ASES ile Yapay zekâ ve otomasyon
Yapay zekâ asistanları ve otomatik iş akışları