Bu modülün sonunda
Okur metnin tokenlara bölünüşünü ve gömme uzayında temsilini açıklar, Türkçe bir metnin token sayısını ölçer ve dil modelinin temel işini «sonraki tokenı tahmin etmek» olarak tarif eder.
Dersler
- 12.1TokenYayında
metnin parçalara bölünmesi; Türkçenin eklemeli yapısı ve token sayısı
- 12.2GömmeYayında
kelimeleri anlam uzayında konumlandırmak
- 12.3Anlam uzayında yakınlıkYayında
benzerlik ölçüsü, kelime aritmetiği ve sınırları
- 12.4Dil modeli ne yapar?Yayında
sonraki tokenı tahmin etmek
- 12.5Bağlam penceresiYayında
modelin bir anda görebildiği metin
- 12.6Token mikroskobuAtölyeYayında
kendi metninin token sayısını ölçmek