ИСПУМ
Автоматизация и ответственность

Человек в контуре или полная автоматизация: кто должен ставить оценку

7 мин чтения

В этой статье

«Пусть система сама проверяет, а я только посмотрю итоговую ведомость» — мысль, которая приходит каждому, кто проверяет работы вечерами. Технически она достижима: оценку по пяти критериям современная модель выдаёт за секунды. Вопрос не в том, можно ли это автоматизировать, а в том, кто остаётся автором оценки.

Коротко: автоматизируйте подготовку (чтение, поиск цитат, сверку, черновик отзыва), а решение оставляйте человеку. Но «человек в контуре» работает только тогда, когда проверка реальная: если подтверждение превращается в формальный клик, вы получаете полную автоматизацию с ложным чувством безопасности.

Разговор об автоматизации проверки обычно сводится к нейросети, которая сама ставит оценки. Ниже о том, почему такая схема подходит не для всех задач, где граница и как организовать работу, чтобы экономить время и не терять ответственность.

Три режима: что мы сравниваем

Режим Кто принимает решение Пример при проверке работ
Полная автоматизация система, человек не видит каждое решение оценка выставляется и сразу уходит студенту
Человек в контуре человек подтверждает каждое решение система готовит черновик оценки и отзыва, преподаватель правит и подтверждает
Человек над контуром система решает, человек проверяет выборочно система выставляет оценки, преподаватель смотрит случайные 10% и спорные случаи

Сравнивать «хорошо или плохо» бессмысленно: разные задачи требуют разных режимов. Ниже о том, как их различать.

Шесть причин не отдавать оценку целиком

1. Ошибки редкие, но уверенные и дорогие

Языковая модель ошибается иначе, чем человек: гладко и без внешних признаков. Выдуманная цитата, перепутанный критерий, поддавшаяся инструкции из текста работы оценка: всё это выглядит как нормальный ответ. Один такой случай на сорок работ означает одного студента с несправедливой оценкой, а оценка влияет на стипендию, пересдачи и отношения с преподавателем. Подробно о том, какие бывают отказы и как их проверить, мы разбирали в статье «Преподаватель, чат-бот и стопка курсовых».

2. У оценки есть автор и последствия

Оценка — решение, за которое кто-то отвечает: студент может её оспорить, а вуз потребует объяснить. «Так посчитала система» не аргумент на апелляции. Когда подтверждает человек, у решения есть автор, который может объяснить его по критериям и по тексту работы. Когда оценку выставила система, объяснять нечем.

3. Контекст, которого нет в тексте

Работа студента не вся в тексте. Студент болел, и вы разрешили сдать позже; задание изменили в середине семестра; на консультации вы договорились принять нестандартную структуру; работа выполнена на практике по условиям базы. Система этого не знает, и узнать не может. Человек знает.

4. Масштаб превращает ошибку в систему

Преподаватель, который ошибается, ошибается в одной работе. Система с перекосом (например, предпочитает длинные тексты) повторяет его в пятистах работах одинаково, и никто не увидит закономерности, пока не сравнит оценки. Выборочная проверка отдельных работ ловит такой перекос плохо: в каждой работе он выглядит правдоподобно, а заметен только в сравнении распределений оценок. Поэтому нужны метрики, о которых ниже.

5. Студенты подстраиваются

Когда студенты знают, что оценку ставит автоматика, они начинают писать под неё: длиннее, с шаблонными оборотами, с вставками, которые нравятся модели. Это эффект, описанный для любых измеримых показателей: как только показатель становится целью, он перестаёт измерять то, что нужно. Человек, который читает работы, замечает подгонку.

6. Без человека система не учится

Подтверждённые преподавателем оценки — это эталон: на них можно измерить, насколько черновики модели согласуются с вами, и на них можно настраивать будущие черновики. Если оценки выставляются автоматически, эталона нет, и вы не знаете, стала система лучше или хуже после обновления модели.

Но «человек в контуре» тоже ломается

Автоматизация не только ошибается, она ещё и усыпляет. В исследованиях это называют автоматическим смещением: людям свойственно доверять рекомендациям системы и проверять их всё хуже по мере того, как система «обычно права». Когда подряд идут тридцать верных черновиков, на тридцать первом вы подтверждаете не читая.

Получается парадокс: чем лучше система, тем менее реальной становится проверка. Поэтому «человек в контуре» нужно проектировать, а не просто декларировать. Шесть принципов:

  1. Показывайте основание, а не только вывод. Рядом с оценкой должны быть цитаты из работы, на которые она опирается. Проверить цитату быстрее, чем перечитать работу.
  2. Показывайте неуверенность. Если несколько независимых прогонов расходятся, работа заслуживает внимания. Спокойные случаи можно пролистать, а спорные отметить.
  3. Разделяйте черновик и решение. Система не должна ничего отправлять студенту, пока человек не нажал «подтвердить».
  4. Измеряйте, как часто вы правите. Если вы поправляете черновик в одной работе из десяти, это нормальная картина. Если не поправляли ни разу за месяц, либо система идеальна (маловероятно), либо вы перестали читать.
  5. Делайте выборочные перечитывания. Раз в неделю возьмите три подтверждённые оценки и проверьте их заново без черновика, глядя только на работу и критерии.
  6. Храните след. Что предложила система, что подтвердили, когда и кто. Без этого нельзя ни объяснить оценку, ни обнаружить дрейф.

Что автоматизировать, а что нет

Решение зависит от цены ошибки и от того, можно ли проверить результат формально.

Задача Режим Почему
Подсчёт итоговой суммы по критериям, проверка тестов с закрытыми ответами Полная автоматизация детерминированно, проверяется формулой
Форматирование, орфография, оформление ссылок Полная автоматизация, с возможностью отката ошибка дешёвая и видна сразу
Поиск цитат, сверка чисел между главами, выявление повторов Система находит, человек подтверждает находит быстро, но ложные срабатывания возможны
Черновик отзыва и оценки по критериям Человек в контуре нужен контекст и суждение
Итоговая оценка, апелляция, решение о пересдаче Решает человек последствия для студента
Подозрение в нечестности Решает человек, опираясь на факты детекторы дают вероятность, а не доказательство; см. «Как доказать, что студент писал работу сам»

Простое правило: чем дороже ошибка и чем сложнее проверить результат формулой, тем ближе решение к человеку.

Как организовать на кафедре

Шаги, которые превращают принцип в практику:

  1. Определите, что система делает сама, а что готовит. Запишите список в одном абзаце, как правило для всей кафедры.
  2. Зафиксируйте критерии и шкалу. Без них любой черновик сравнивать не с чем (см. критерии оценивания).
  3. Начните с небольшой группы работ, где вы проверите каждую вручную и сравните с черновиком. Это даст первую оценку согласия.
  4. Задайте метрики. Доля работ, где вы изменили оценку; среднее изменение; время на работу. Смотрите на них раз в семестр.
  5. Введите выборочные перечитывания по принципу 5 выше: две-три работы в неделю.
  6. Решите, что считается тревогой: резкое падение доли правок, рост апелляций, расхождение между преподавателями.

Если у вас стопка в сто работ и вечер, как не потерять качество, мы разбирали в статье «Как проверить 100 работ за вечер».

Как это устроено в ИСПУМ и где граница

Мы строили ИСПУМ вокруг этого принципа: модель никогда не ставит оценку последней.

  • Студент видит оценку только после того, как преподаватель её подтвердил.
  • История подтверждений только дополняется: прошлые записи не стираются, так что видно, что предложила система и что вы решили.
  • Каждое замечание в отзыве опирается на цитату из работы, а выдуманная цитата не показывается: проверка основания занимает секунды.
  • В режиме «Тщательная проверка» (включается по желанию) запускается несколько независимых прогонов, а расхождение между ними отмечается как повод перечитать работу внимательнее.
  • Подтверждённые вами оценки становятся образцами: следующие черновики опираются на ваши оценки похожих работ, а не на чужие (тариф «Профессионал»).

Честные ограничения:

  • Подтверждение может стать формальностью: если после каждой работы кнопка «Следующая работа» зовёт дальше, соблазн не читать остаётся. Мы показываем основание и неуверенность, но выборочные перечитывания и метрики согласия остаются решением кафедры, а не встроенной функцией.
  • Режим «Тщательная проверка» снижает шум, но не устраняет его.
  • Решение об итоговой оценке и об апелляции всегда за человеком, и система об этом не «знает» лучше вас.

Частые вопросы

Если система подтверждена и точна, зачем человек?

Точность измеряется на ваших работах и ваших критериях, а не в среднем. Даже если согласие высокое, у оценки остаётся автор и последствия, а контекст студента есть только у человека. Кроме того, без вашей проверки вы не узнаете, когда система ухудшилась после обновления.

Не отнимет ли «человек в контуре» всю экономию времени?

Нет, если проверка устроена так, что читать нужно основание, а не всю работу заново: цитаты, расхождения, спорные места. Рутина (чтение, поиск, сверка, черновик) уходит системе, а время тратится там, где нужно суждение.

Какую долю работ можно оставить на выборочную проверку?

Универсального числа нет. Начните с полной проверки на небольшой группе, посмотрите, как часто вы правите черновик, и только потом решайте, где можно ослабить контроль. Для итоговых оценок, пересдач и апелляций выборочной проверки недостаточно.

Поделиться