Tokeny a kontextové okno jednoducho
Model nečíta slová, ale tokeny. Kontextové okno určuje, koľko textu naraz „vidí“.
Text sa pred spracovaním rozdelí na tokeny, čo sú kúsky slov alebo znakov. Dlhé alebo málo bežné slová, aj v slovenčine, môžu zabrať viac tokenov.
Kontextové okno
Je to maximum tokenov, ktoré model naraz zohľadní: vaše zadanie, priložené podklady aj jeho odpoveď. Ak ho prekročíte, staršie časti sa stratia.
Prakticky
- Pri dlhých dokumentoch ich rozdeľte alebo zhrňte po častiach.
- Dôležité pokyny dávajte jasne a nie ukryté v dlhom texte.