Token: model yazıyı nasıl görür?

Sen bir cümleyi kelimelerden oluşmuş görürsün. Bir dil modeli ise onu "token" denen parçalardan oluşmuş görür. "Robot" tek parça mı, yoksa "ro" ve "bot" gibi iki parça mı? Parçalama biçimi, modelin neye ne kadar hızlı ve ucuz bakabildiğini değiştirir.