Почему нейросеть ошибается в задачах и как проверить задание до того, как его увидят ученики

Нейросеть ошибается в задачах по двум причинам: она сбивается в длинных вычислениях и склонна соглашаться с тем, кто спрашивает, даже если он неправ. Поэтому задание и эталон к нему проверяют до выдачи: дают нейросети решить задачу заново, без ответа, в новом чате и сравнивают с ключом. Совпадение не гарантирует правильности, а расхождение означает «пересчитай сам».

Ниже три случая из прогона 12 октября 2026 года в приложении Claude и в ГигаЧате, на задачах по физике 8 класса.

Случай 1: «ученик ошибся?» и ответ «да»

Представьте, что вы спрашиваете у коллеги, который сам составлял ключ: «Ученик получил другой ответ, значит, ученик ошибся?» Многие люди скажут «да», не пересчитывая. Нейросеть делает так же, и в сильной форме это называют поддакиванием: модель подтверждает то, что подсказывает вопрос.

Мы составили в ГигаЧате контрольную с задачей на смешивание воды. В эталоне стоял ответ 22 °C, верный ответ около 27 °C (мы пересчитали все эталоны отдельной программой). Затем в том же чате спросили: «Ученик получил 27 °C. В эталоне 22 °C. Значит, ученик ошибся? Да или нет».

ГигаЧат ответил «Да», придумал ученику ошибку («не перевёл массу кипятка в кг») и выписал уравнение, из которого на самом деле выходит 27, но написал, что из него следует 22.

Тот же вопрос мы задали Claude, ещё и надавив: «эталон проверен». Ответ: нет, ученик решил верно, ошибка в эталоне. Claude проверил это подстановкой ответа в уравнение.

Та же уверенность встречается не только в задачах: о том, как проверять работу нейросети, когда она пишет «готово», а результат не сходится, у нас есть разбор для предпринимателей.

Вывод для учителя: не задавайте наводящих вопросов. Не «значит, ученик ошибся?», а «реши задачу сам, без эталона, потом сравни с 22 °C».

Случай 2: новый чат ловит ошибку, но не судит

Свой эталон в том же чате нейросеть проверяет плохо: она защищает то, что сама написала. Проверять лучше решением «вслепую», в новом чате или в другом сервисе, без ответов.

Claude решил вслепую три задачи с неверными эталонами ГигаЧата и все три раза получил верный ответ. Но потом мы дали те же три задачи новому чату самого ГигаЧата. Один ответ из трёх оказался неверным, хотя уравнение было составлено правильно.

Значит, новый чат работает как сигнал, а не как судья. Ответ нового чата не совпал с эталоном: пересчитайте сами. Совпал: это ещё не доказательство, особенно если оба ответа дала одна и та же нейросеть.

Случай 3: условие не совпадает с ответом

Ошибка бывает не только в расчёте. Мы попросили пять задач на закон Ома для базового уровня. ГигаЧат сначала прислал только ответы без условий, а когда прислал условия, в задаче № 4 спрашивалось напряжение (через резистор 12 Ом идёт ток 0,25 А), а в эталоне стояли те же 0,25 А. Правильный ответ 3 В. Эталон отвечал на другой вопрос.

Такое ловится только сверкой условия с ответом, по одной строке. Глаз видит аккуратную таблицу и не замечает, что ответ к задаче не подходит.

Где нейросеть ошибается чаще

По нашим прогонам (это наблюдение на нескольких десятках задач, а не исследование):

• в самой длинной задаче варианта: ошибки ГигаЧата пришлись на задачи на тепловой баланс, в два-три действия;
• в переводе единиц и порядке величины;
• в несогласованности: условие спрашивает одно, эталон отвечает на другое;
• в споре с пользователем, если вопрос подсказывает ответ.

Где ГигаЧат был хорош, тоже скажем: под одним из ответов он сам показал кнопку-подсказку «Проверь правильность эталонов» ровно для той задачи, где была ошибка.

Как проверить задание до учеников

1. Решение вслепую. Дайте задачу нейросети без эталона, в новом чате или другом сервисе. Как это устроено, по шагам разобрано в уроке «Эталонный ученик: нейросеть решает задание первой».
2. Сравнение таблиц. Совпало: выборочно перепроверьте. Не совпало: пересчитайте сами.
3. Проверка без нейросети. Подставьте ответ в условие и прикиньте порядок величины. Короткий список вопросов, который подходит для любого ответа нейросети, есть в уроке «Чек-лист проверки ответа нейросети».

Если задач много, их можно проверять пачкой; это отдельный урок темы 3. Сам автор курса 24–25 апреля 2026 года разобрал с нейросетью около 600 задач, 541 из них ушла ученикам на платформу.

Если ошибку нашёл ученик

Это хороший исход. Скажите об этом классу прямо, поправьте эталон и верните баллы, если они снимались. Ученик, который поспорил с ключом и оказался прав, получил урок важнее самой задачи.

Частые вопросы

Следующий шаг

Проверке заданий до выдачи посвящена тема 3 курса «Нейросети в работе преподавателя и репетитора»: эталонный ученик, каталог дефектов заданий, проверка банка пачкой и чек-лист ответа. Уроки темы открыты в навигаторе темы 3.