Вспомните урок про эталонного ученика: расхождение ответа нейросети с ключом — повод для разбора. Чтобы разбирать быстро, полезно знать, что именно обычно ломается. Дефекты заданий повторяются, как типичные ошибки учеников: увидели один раз, дальше узнаёте с полувзгляда.
🎯 После урока сможете: назвать пять типовых дефектов задания; определить тип дефекта по условию и ответу; исправить задание так, чтобы у него был один ответ и понятный формат ввода.
Пять дефектов, которые встречаются чаще всего
1. Неоднозначное условие
Задание допускает два прочтения, и оба честные. Пример из информатики, который я сам ловил в своей школе: «На какой строке программы ошибка?» Одни считают пустые строки и комментарии, другие нет, и номер у всех разный. Лечится вопросом про сам элемент: «Какая переменная используется до того, как ей присвоено значение? Введите её имя».
Русский язык: «Найдите в предложении слово с приставкой», когда таких слов два. Лечится уточнением: «Выпишите глагол с приставкой» или «Сколько слов с приставкой? Введите число».
2. Неверный эталон
Условие хорошее, ошибка в ключе. Бывает при переносе из другого файла, при опечатке, при счёте в уме. Однажды в моём банке эталон задачи про кратчайший путь равнялся длине второго по краткости пути: автор ключа просто взял не тот маршрут. Нейросеть посчитала верно, и расхождение это показало.
Математика: «Периметр квадрата со стороной 7 см» с эталоном 49. Это площадь, а не периметр: верно 7 · 4 = 28.
3. Недостающие данные
Для решения не хватает сведений. «Найдите площадь прямоугольника со стороной 5 см» — вторая сторона не дана. Нейросеть в таком случае часто молча додумывает (например, решает для квадрата), поэтому полезно просить её отдельной строкой писать, чего не хватило. Бывает и техническая версия: при копировании из условия пропал список чисел, а вопрос «какое число в списке наибольшее» остался.
4. Угадываемый ответ
Ответ получается без решения. Выбор из двух вариантов даёт половину шансов наугад. «Верно ли, что 17 — простое число? Да/Нет» проверяет удачу не хуже, чем знание. Лучше: «Сколько простых чисел от 10 до 20? Введите число». Когда я готовил задачи для учеников, отдельным шагом проверял формулировки именно на это: ответ нельзя угадать, его нужно получить решением.
5. Неясный формат ввода
Ученик решил верно, но записал «не так»: «2 часа» вместо «2», «0,5» вместо «1/2». Автопроверка ставит ноль, ученик обижен справедливо. Лечится одной фразой в условии: «Введите только число, без единиц измерения». Сюда же относятся мелочи вроде точки, которая при правке уехала за кавычку и изменила, где кончается предложение: для ученика в тексте появляется лишний знак, и он не понимает, вводить его или нет.
Попросите машинного ученика в конце решения отдельной строкой отметить, что в условии показалось неясным. Такие пометки часто сразу указывают на дефект 1, 3 или 5, даже когда ответ совпал с эталоном.
Реши задание как ученик. Последней строкой напиши ОТВЕТ: <значение>.
После ответа отдельной строкой напиши НЕЯСНО: и перечисли, что в
условии можно понять двумя способами или чего не хватило.
Если всё понятно, напиши НЕЯСНО: нет.Проверьте себя
Контрольный вопрос. В задании спрашивается: «Верно ли, что число 91 простое? Ответ: да или нет». К какому типу дефектов относится такое задание?
Подсказка: Подумайте, сколько шансов у ученика, который отвечает наугад.
На курсе задания проверяются автоматически. Решить первое задание бесплатно → · Подобрать курс
Контрольный вопрос. В данных задания — набор из пяти заданий с эталонами. Ровно у одного задания эталон неверный. Введите номер этого задания одной цифрой.
1. Сколько сантиметров в 3 метрах? Эталон: 300.
2. Найдите 3/4 от 60. Эталон: 45.
3. Сколько гласных букв в слове «молоко»? Эталон: 3.
4. Найдите периметр квадрата со стороной 7 см (в сантиметрах). Эталон: 49.
5. Сколько минут в 2,5 часах? Эталон: 150.
Подсказка: Не доверяйте ключам: решите все пять заданий сами и сравните с эталонами, прочитав каждый вопрос до конца.
На курсе задания проверяются автоматически. Решить первое задание бесплатно → · Подобрать курс
Контрольный вопрос. В наборе из данных задания у одного задания неверный эталон. Вычислите верный ответ к нему и введите только число, без единиц измерения.
1. Сколько сантиметров в 3 метрах? Эталон: 300.
2. Найдите 3/4 от 60. Эталон: 45.
3. Сколько гласных букв в слове «молоко»? Эталон: 3.
4. Найдите периметр квадрата со стороной 7 см (в сантиметрах). Эталон: 49.
5. Сколько минут в 2,5 часах? Эталон: 150.
Подсказка: Сначала найдите задание, где ключ не сходится с вашим решением, потом решите его заново.
На курсе задания проверяются автоматически. Решить первое задание бесплатно → · Подобрать курс
Контрольный вопрос. Задание: «Поезд прошёл 120 км со скоростью 60 км/ч. Сколько времени он был в пути?» Эталон: 2. Ученики вводят «2 часа», «2 ч», «120 минут», и автопроверка ставит им ноль. Какой это дефект?
Подсказка: Решение у учеников верное. Что тогда не так?
На курсе задания проверяются автоматически. Решить первое задание бесплатно → · Подобрать курс
Что дальше
Теперь вы умеете узнавать пять типовых дефектов и чинить их одной правкой условия. В следующем уроке перейдём от одного задания к пачке: как прогнать весь банк сразу и получить от нейросети отчёт-таблицу расхождений.
← Назад · ↑ В начало урока · ⌂ К навигатору курса · Вперёд →
