Tokenization

Systeem dat tekst opbreekt in kleinere eenheden (tokens) die een AI-model kan verwerken. Dit kunnen woorden, delen van woorden of leestekens zijn.

Techniek

Gerelateerde Termen