Умеют ли нейросети читать: что на самом деле происходит с вашим документом

Самая частая рабочая сцена: человек прикладывает к чату договор, регламент или отчёт на полторы сотни страниц и пишет «разбери». Ответ приходит быстрый, складный и — в половине случаев — про то, чего в документе нет.

Разберёмся, что на самом деле происходит с файлом.

Короткий ответ: не читает

Читать в человеческом смысле — это держать в голове всё целиком, возвращаться к нужному месту, сверять одно с другим. Нейросеть так не умеет.

Она берёт текст, режет его на токены и работает с тем куском, который поместился в контекстное окно — её рабочий стол ограниченного размера. Что на стол не влезло, для неё не существует.

И вот неприятная деталь: она не скажет вам, что дочитала не всё. Модель не умеет заметить собственный пробел — она просто складывает правдоподобный ответ из того, что видит. Со стороны это выглядит как полноценный разбор.

Что вообще происходит с приложенным файлом

Тут стоит развести три разных механизма, которые снаружи выглядят одинаково.

Файл целиком кладут в окно. Если документ небольшой, его текст просто подставляют к вашему вопросу. Это самый честный вариант: модель действительно видит всё.

Из файла достают куски. Если документ большой, система находит в нём несколько фрагментов, похожих на ваш вопрос, и подкладывает только их. Модель отвечает по трём страницам из двухсот и совершенно об этом не подозревает. Это подход RAG, и он хорош для точечных вопросов («что сказано про неустойку?») и плох для целостных («какие риски в этом договоре?»).

Файл вообще не читается как текст. Скан, фотография документа, PDF из картинок — тут сначала работает распознавание, и качество ответа упирается в качество распознавания. Кривая колонка, таблица со сложной шапкой, рукописная пометка на полях — всё это превращается в кашу ещё до того, как модель что-то увидит.

Отсюда честный ответ на вопрос из заголовка: нейросеть не читает документ, а работает с фрагментами его текста. Иногда со всеми, чаще — с частью.

Как понять, что она видела не всё

Простые проверки, которые занимают минуту:

• спросите про конец. «Чем заканчивается документ? Процитируй последний пункт». Если начинает общими словами — до конца она не добралась;
• спросите то, чего там нет. «Что сказано про штраф за задержку поставки?» — если пункта нет, а ответ есть, перед вами выдумка, и доверять остальному не стоит;
• попросите цитату, а не пересказ. «Приведи дословно, откуда это следует». Дословная цитата подтверждается поиском по файлу, пересказ — нет;
• попросите назвать, сколько разделов в документе. Расхождение с оглавлением — верный признак, что видела кусок.

Как работать с большими документами

1. Режьте на части и задавайте вопрос к каждой. Скучно, зато результат предсказуемый. Главы, разделы, приложения — естественные швы.
2. Сначала сожмите, потом обсуждайте. Попросите сделать конспект по частям, сложите конспекты вместе — и дальше работайте уже с ними. Сто страниц, сжатые до трёх, помещаются в окно целиком, и разговор становится осмысленным.
3. Формулируйте точечно. «Найди все сроки и штрафы» работает лучше, чем «разбери договор»: у точечного вопроса есть проверяемый ответ.
4. Сверяйте по оглавлению. Прежде чем верить разбору, убедитесь, что модель вообще знает структуру документа.
5. Таблицы и цифры выносите отдельно. Считать модель не умеет — расчёты по таблице делают программой, а не разговором.

И главное

«Нейросеть прочитала мой договор» — опасная формулировка. Правильная звучит скучнее: «нейросеть высказалась по тем фрагментам договора, которые ей показали». Разница между этими фразами измеряется в юридических последствиях.

Модель отлично помогает разобраться в документе — но остаётся помощником с ограниченным полем зрения, а не читателем. Ответственность за то, что прочитано целиком, по-прежнему ваша.

Как я сама работаю с длинными документами и расшифровками — показываю в канале «Очередная нейросеть».