tokenizer
From Wiktionary, the free dictionary
Remove ads
Englanti
Substantiivi
tokenizer (monikko tokenizers)
- (tietotekniikka) tietokoneohjelma tai aliohjelma, joka muuntaa syötteen sen koostumusta vastaaviksi diskreeteiksi symboleiksi
Etymologia
johdos verbistä tokenize
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads