Чек-лист проверки ответа нейросети

Чему научитесь в этом уроке
• проверять любой ответ нейросети по одному списку из семи вопросов;
• проверять ответ подстановкой и прикидкой, без нейросети;
• задавать нейросети вопросы так, чтобы не подталкивать её к нужному вам ответу.

Пилот перед взлётом проходит чек-лист, хотя летал тысячу раз. Не потому, что забыл, как летать, а потому, что усталый человек пропускает очевидное. Учитель в одиннадцать вечера, проверяющий двадцатый ответ нейросети, в том же положении. Короткий список вопросов спасает от пропуска.

В уроках 3.1–3.3 мы проверяли задания и эталоны. Но нейросеть приносит и другое: объяснения, разборы ошибок, планы, письма. Чек-лист ниже подходит для любого ответа. Каждый пункт взят из реального промаха в наших прогонах.

ЧЕК-ЛИСТ ПРОВЕРКИ ОТВЕТА НЕЙРОСЕТИ
1. Всё на месте? Все номера, условия, строки таблицы эталонов.
2. Ответ сходится с условием? Пересчитать или подставить ответ обратно.
3. Единицы и порядок величины правдоподобны? Прикинуть в уме, сравнить с жизнью.
4. В рамках программы класса и брифа? Формулы, термины, типы задач.
5. Нет выдуманного? Факты, формулы, люди, цитаты, ошибки, которых не было.
6. Не поддакнула ли? Как я спросил: не было ли подсказки в вопросе?
7. Нет ли данных учеников? В моём запросе и в ответе.

1. Всё на месте?

Первым делом считаем части ответа. В прогоне темы 1 ГигаЧат прислал ответы без условий задач. В теме 2 в таблице эталонов не оказалось строки для одной задачи. Пропуск не бросается в глаза, если читать ответ сверху вниз: глаз видит аккуратную таблицу и не замечает, что строк девятнадцать вместо двадцати.

2. Ответ сходится с условием?

Самый надёжный способ: подставить ответ обратно. Если нашли напряжение, проверьте, что при нём и данном сопротивлении получается данная сила тока. Если нашли температуру смеси, проверьте, что тепло, полученное холодной водой, равно теплу, отданному горячей.

Так сделал Claude в прогоне темы 3. Спорный эталон в задаче на смешивание был 22 °C. Подставляем: 1 кг холодной воды нагревается от 20 °C до 22 °C и получает 4200 · 1 · 2 = 8 400 Дж. 0,1 кг кипятка остывает от 100 °C до 22 °C и отдаёт 4200 · 0,1 · 78 = 32 760 Дж. Числа должны быть равны, а различаются почти вчетверо. Эталон неверен, и для этого не понадобилось решать задачу заново.

Подстановку учитель делает сам, без нейросети, и это её главное достоинство: она не зависит от того, кто составлял ответ.

В математике подстановка — обратное действие. Нейросеть решила уравнение 5/6 − x = 1/3 и ответила x = 1/2. Подставляем: 5/6 − 1/2 = 5/6 − 3/6 = 2/6 = 1/3. Сходится. Если бы не сошлось, верить нельзя было бы ни ответу, ни красивому решению над ним.

В русском языке подстановки нет, её место занимает проверка по правилу: для каждой поставленной запятой назовите правило, по которому она стоит. Запятая без правила или правило без запятой — повод открыть учебник.

3. Единицы и порядок величины

Прикиньте в уме, похож ли ответ на правду. В теме 4 вы увидите разбор решения ученика, у которого получилось 147 000 000 Дж на нагрев половины килограмма воды. Claude там предложил ученику прикидку: чайник мощностью 2 кВт грел бы столько около 20 часов, а верные 105 000 Дж набирает примерно за минуту. Такая прикидка ловит граммы вместо килограммов и перепутанные степени.

Сюда же относятся бытовые примеры в объяснениях. В том же разборе Claude назвал 500 г воды «полстакана», а это примерно два стакана. Мелочь, но ученик запомнит.

4. В рамках программы и брифа?

Сверьте формулы и термины с рабочей программой класса, а типы задач с брифом. Закон Ома для полной цепи в задаче для 8 класса и смешивание жидкостей в контрольной, где его не заказывали, мы видели в прогонах тем 1 и 2.

5. Нет выдуманного?

Нейросеть заполняет пробелы правдоподобным. В прогонах это были выдуманный школьник «Петя» в условии задачи и, что неприятнее, выдуманная ошибка ученика: в теме 4 вы увидите разбор, где ГигаЧат написал, что ученик использовал формулу «Q = cm²», хотя в решении её не было. Учитель, переславший такой разбор не читая, обвинил бы ребёнка в том, чего тот не делал. Проверка простая: каждое утверждение нейросети о вашем материале найдите в самом материале.

Хороший знак, когда нейросеть сама говорит, что чего-то нет. В прогоне темы 2 Claude написал: «Раздела „Тепловые явления“ нет в файлах проекта, формулы взяты из брифа». Такое признание стоит поощрять строкой в инструкциях: «если в файлах этого нет, так и скажи».

6. Не поддакнула ли?

Перечитайте не ответ, а свой вопрос. «Значит, ученик ошибся? Да или нет» уже содержит ожидаемый ответ, и в прогоне темы 3 ГигаЧат его дал: «Да», с придуманной причиной. Оговорка важная: его спрашивали в том же чате, где он сам составил эталон, а Claude, который не поддался, проверял чужой эталон. Условия были разные, и вывод не о дорожках. Любая нейросеть склонна соглашаться с собеседником, особенно когда защищает собственный ответ.

  • Вместо «правильно ли, что…?» пишите «реши сам, без подсказки, потом сравни с …».
  • Не сообщайте, какой ответ вам нравится: «эталон проверен», «ученик слабый».
  • Проверяйте в новом чате, а не там, где ответ составлялся.
  • Если нейросеть легко меняет мнение после вашего «ты уверена?», не доверяйте ни первому, ни второму ответу. Считайте сами.

7. Нет ли данных учеников?

Последний пункт смотрит на ваш собственный запрос. В прогоне темы 1 оба сервиса напоминали про персональные данные только после отправки. Проверьте до кнопки: нет ли в запросе имени, класса с буквой, школы, контактов. И в ответе: нейросеть может добавить имя ученику, которого вы назвали «Ученик А».

Карточка-чек-лист на планшете с семью пунктами-значками: стопка листов, весы, линейка с делениями, учебник с закладкой, маска, эхо-рупор, замок. Рядом учитель ставит галочки карандашом.

Пример: проходим чек-лист по одному ответу

Учебный пример, составленный для урока. Учитель попросил три задачи на закон Ома для 8 класса с ответами. Нейросеть прислала:

1. Лампа включена в сеть 220 В, её сопротивление 440 Ом. Найдите силу тока. Ответ: 0,5 А.
2. Миша подключил резистор 30 Ом к батарейке 4,5 В. Найдите силу тока. Ответ: 0,15 А.
3. Найдите напряжение на резисторе 50 Ом при токе 200 мА. Ответ: 10 000 В.
  • Пункт 1: три задачи, три ответа, всё на месте.
  • Пункт 2: в первой задаче 220 / 440 = 0,5, сходится. Во второй 4,5 / 30 = 0,15, сходится. В третьей 0,2 · 50 = 10, а в ответе 10 000.
  • Пункт 3: 10 000 В на учебном резисторе неправдоподобно; похоже, миллиамперы не перевели в амперы. Ловится и прикидкой, без расчёта.
  • Пункт 4: всё в программе 8 класса, перевод миллиампер в амперы в ней тоже есть.
  • Пункт 5: «Миша» в условии. Ошибкой это не назовёшь, но если в инструкции сказано не придумывать людей, строка нарушена.
  • Пункты 6 и 7: вопрос не наводящий, данных учеников нет.

Итог: задачу 3 исправить (эталон 10 В), в задаче 2 убрать имя, инструкцию усилить строкой «без имён в условиях». По нашей оценке, на всё уходит около трёх минут.

Пример по русскому языку

Учебный пример, составленный для урока. Учитель 9 класса попросил: «Объясни ученику, когда перед „как“ нужна запятая, с примером». Нейросеть ответила:

Перед союзом «как» запятая ставится всегда. Например: «Он работал, как учитель».
  • Пункт 1: правило и пример есть.
  • Пункт 2: сверяем с учебником. «Как» в значении «в качестве» запятой не отделяется: «Он работал как учитель», то есть был учителем. Пример неверен.
  • Пункт 5: правило «всегда» выдумано, у «как» несколько случаев, и в части из них запятой нет.
  • Пункты 6 и 7: вопрос не наводящий, данных учеников нет.

Итог: объяснение не отдавать ученику. Попросить заново в новом чате: «Объясни по учебнику, в каких случаях перед „как“ запятая нужна и в каких не нужна, по одному примеру на случай», и сверить каждый пример с правилом.

Как пользоваться чек-листом

Не нужно проходить все семь пунктов для каждого письма родителю. Для заданий и эталонов обязательны пункты 1–4. Для объяснений и разборов ошибок пункты 3 и 5. Для любого спорного случая пункт 6. Пункт 7 перед каждой отправкой. Положите чек-лист в часть проекта «шаблоны» и держите открытым рядом с чатом первые недели, потом он запомнится сам.

Школьному учителю чаще нужны пункты 1–4: задания и эталоны для контрольных на весь класс. Репетитору чаще попадают объяснения и письма родителям: там главные пункты 3, 5 и 7. Чек-лист один, а порядок внимания у каждого свой.

В Claude: чек-лист можно положить файлом в «Контекст» проекта или вставить в инструкции и попросить нейросеть пройти по нему в конце ответа. В ГигаЧате: добавьте чек-лист в конец своей инструкции-шаблона, она всё равно идёт первым сообщением. В обеих дорожках нейросеть, которая ошиблась, может «подтвердить» свою же ошибку. Пункты 2 и 6 делаете вы.

Что делать, если…

  • …подставить некуда: ответ — текст, а не число. Ищите каждое утверждение в учебнике или в своём материале (пункт 5).
  • …нейросеть после «ты уверена?» сразу поменяла ответ. Не верьте ни первому, ни второму. Решите сами или подставьте оба.
  • …на чек-лист нет времени. Для заданий оставьте пункты 1–4, для всего остального пункт 7 перед отправкой. Остальное — на спорных случаях.
  • …вы не уверены в правиле сами. Это нормальный случай для пункта 5: сначала первоисточник, потом ответ нейросети, а не наоборот.
  • …ответ длинный, а проверить хочется быстро. Начните с пунктов 1 и 3: пропуски и неправдоподобные числа видно сразу. Остальное — по тем местам, которые вы отдаёте ученикам.
  • …ошибку нашли уже после того, как отдали материал ученикам. Исправьте в банке, поставьте пометку, какой пункт чек-листа её поймал бы, и скажите ученикам прямо. Пометки через месяц покажут, какой пункт вы чаще пропускаете.

Проверьте себя

Контрольный вопрос. Ученик решил пример 1/3 + 1/4, его ответ не совпал с эталоном. Учитель набросал четыре запроса к нейросети — они в данных задания. Сколько из них подсказывают нейросети, какой ответ учитель ждёт? Введите только число.

А) «Эталон проверен. Реши пример и сравни свой ответ с ним».

Б) «Реши пример 1/3 + 1/4 сам, без эталона. Ответ запиши несократимой дробью».

В) «Ученик получил 7/12, а в эталоне 2/7. Значит, ученик ошибся? Да или нет».

Г) «Ученик слабый и путает дроби. Проверь его ответ 7/12».

Подсказка: В каждом запросе ищите слова, по которым видно, чей ответ учитель считает верным.

На курсе задания проверяются автоматически. Решить первое задание бесплатно →  ·  Подобрать курс

Контрольный вопрос. Задача: в 0,8 кг воды при 20 °C влили 0,2 кг воды при 80 °C, найти температуру смеси. В эталоне 28 °C. Учитель подставил 28 °C: холодная вода получает 26 880 Дж, горячая отдаёт 43 680 Дж. Что следует из подстановки? Выберите один вариант.

АБаланс сходится, эталон 28 °C верен и его можно оставить
БНе сходится: горячая отдаёт больше, верный ответ выше 28 °C
ВНе сходится: горячая отдаёт больше, верный ответ ниже 28 °C
ГПроверить нельзя, пока не дана удельная теплоёмкость воды

Подсказка: Если смесь станет чуть теплее, что произойдёт с теплом, полученным холодной водой, и с теплом, отданным горячей?

На курсе задания проверяются автоматически. Решить первое задание бесплатно →  ·  Подобрать курс

Контрольный вопрос. Нейросеть решила уравнение для 6 класса 3/4 · x = 1/2 и ответила x = 3/8. Проверьте её ответ подстановкой. Если он не сходится, найдите верный. Введите верный x несократимой дробью через косую черту, например 3/5.

Подсказка: Умножьте 3/4 на ответ нейросети: получится ли 1/2?

На курсе задания проверяются автоматически. Решить первое задание бесплатно →  ·  Подобрать курс

Задание. ПРАКТИКУМ УРОКА 3.4 (около 15 минут). Сделайте на своём предмете и классе, по теме, которую ведёте сейчас. Результат пригодится в практике темы. Работайте в своей дорожке: ГигаЧат (giga.chat, бесплатно) или Claude. Можно и в другой нейросети: из российских — Алиса (Яндекс), из зарубежных — ChatGPT или Gemini, если у вас уже есть доступ. DeepSeek — только без каких-либо данных учеников: данные хранятся в Китае. 1. Возьмите один ответ нейросети по своей теме (решение задачи или разбор). 2. Пройдите его по чек-листу урока. 3. У каждой строки чек-листа отметьте «да / нет / исправил». Данные учеников: по умолчанию — сочинённые вами; реальные — только полностью обезличенные. Что сдать: снимок экрана с запросом и ответом (имя владельца аккаунта закройте) или файл (Word, текст, PDF) с копией запроса, ответа и вашей проверки. В поле ответа — предмет и класс, например «физика 8». Нет компьютера — снимки с телефона засчитываются так же. Принято, если: 1. в запросе ваш предмет, класс и тема, а не готовый пример курса; 2. каждая строка чек-листа отмечена, найденная ошибка исправлена или написано «ошибок нет»; 3. в файле нет данных учеников: имён, класса с буквой, школы, контактов, фото почерка и лица.

Подсказка: Подстановка — пункт 2 чек-листа: подставьте ответ в условие.

✅ Готово, если: программа запускается без ошибок и выводит то, что просят в задании.

На курсе задания проверяются автоматически. Решить первое задание бесплатно →  ·  Подобрать курс

Итог
• Семь вопросов: всё на месте, сходится ли, правдоподобно ли, в рамках ли программы, нет ли выдуманного, не поддакнула ли, нет ли данных учеников.
• Подстановка и прикидка проверяют ответ без нейросети.
• Спрашивайте нейросеть так, чтобы в вопросе не было подсказки, и в новом чате.

← Назад  ·  ↑ В начало урока  ·  ⌂ В начало курса  ·  Вперёд →

Школа Виктора Комлева