Token
ٹوکن
Roman Urdu: token
Transliterated No useful Urdu equivalent exists, so the English word is written in Urdu script.
Definition
The small chunk of text a model reads and writes in. A word may be one or several tokens. Usage and cost are measured in tokens.
تعریف
متن کا وہ چھوٹا ٹکڑا جس میں ماڈل پڑھتا اور لکھتا ہے۔ ایک لفظ ایک یا کئی ٹوکن ہو سکتا ہے، اور استعمال و لاگت انہی سے ناپی جاتی ہے۔
Last reviewed: . Reviewer: Muhammad Asadullah.