Что такое токен в нейросети и почему она не умеет считать буквы

Попросите нейросеть посчитать, сколько букв «р» в слове «регистратор». Скорее всего, она ответит уверенно и неправильно. Это не глупость и не сбой — это устройство. Чтобы понять почему, нужно одно понятие: токен.

Нейросеть не видит букв и не видит слов

Прежде чем что-то сделать с вашим текстом, программа режет его на кусочки. Эти кусочки и называются токенами. Обычно токен — это часть слова:

«нейросеть» → «ней» + «ро» + «сет» + «ь»

Дальше каждый кусочек превращается в набор чисел, и вся работа идёт уже с числами. Букв в этой картине нет вообще. Отдельного слова «регистратор» — тоже: есть несколько кусков, которые модель научилась узнавать вместе.

Отсюда сразу понятно, почему сыплются целые классы задач:

• посчитать буквы или символы в слове;
• переставить буквы местами;
• найти слово, которое начинается на нужную букву;
• сказать, сколько слогов в строке.

Модель не отказывается их решать — она честно складывает правдоподобный ответ, не имея того, из чего его можно собрать. Если такие задачи вам действительно нужны, их решают не разговором, а маленькой программой: попросите написать скрипт, который посчитает, и проверьте его на паре примеров.

Почему для русского языка это дороже

Токенизацию учили в основном на английском, поэтому английское слово часто укладывается в один токен, а русское — в три-четыре. Практический вывод простой: один и тот же текст на русском занимает в полтора-два раза больше токенов, чем на английском. Это влияет и на то, сколько влезет в один запрос, и на счёт, если вы платите за работу по факту.

В токенах меряют объём

Токен — не только внутренняя механика, но и единица измерения. В них считают две вещи.

Сколько текста модель видит за раз. Это её контекстное окно. Для ориентира: страница текста — примерно 500 токенов, часовой созвон в расшифровке — 30–50 страниц. Что в окно не влезло, для модели не существует: она не «не дочитала», она этого не видела.

Сколько стоит работа. Когда вы работаете не по подписке, а по факту, счёт приходит за токены — отдельно за те, что вы отправили, отдельно за те, что получили в ответ. Поэтому длинная переписка дорожает сама собой: каждый раз модели заново подают весь разговор целиком.

Три вывода на каждый день

1. Задачи про буквы и цифры — не к нейросети, а к программе. Просите написать скрипт, а не посчитать в уме.
2. Длинный разговор стоит дороже и работает хуже. Разросся — начните новый чат и первым сообщением коротко перескажите, до чего договорились.
3. Большой документ не «прочитается целиком». Его либо режут на части, либо заранее сжимают в конспект — об этом отдельно в статье «Умеют ли нейросети читать».

Токены — первое, что стоит понять про нейросети, потому что из них вытекает половина их странностей. Вторая половина вытекает из того, что модель предсказывает текст, а не проверяет факты, — про это в статье «Почему нейросеть выдумывает».

Разбираю такие вещи без формул в канале «Очередная нейросеть».