В этой статье
«Пусть система сама проверяет, а я только посмотрю итоговую ведомость» — мысль, которая приходит каждому, кто проверяет работы вечерами. Технически она достижима: оценку по пяти критериям современная модель выдаёт за секунды. Вопрос не в том, можно ли это автоматизировать, а в том, кто остаётся автором оценки.
Коротко: автоматизируйте подготовку (чтение, поиск цитат, сверку, черновик отзыва), а решение оставляйте человеку. Но «человек в контуре» работает только тогда, когда проверка реальная: если подтверждение превращается в формальный клик, вы получаете полную автоматизацию с ложным чувством безопасности.
Разговор об автоматизации проверки обычно сводится к нейросети, которая сама ставит оценки. Ниже о том, почему такая схема подходит не для всех задач, где граница и как организовать работу, чтобы экономить время и не терять ответственность.Три режима: что мы сравниваем
| Режим | Кто принимает решение | Пример при проверке работ |
|---|---|---|
| Полная автоматизация | система, человек не видит каждое решение | оценка выставляется и сразу уходит студенту |
| Человек в контуре | человек подтверждает каждое решение | система готовит черновик оценки и отзыва, преподаватель правит и подтверждает |
| Человек над контуром | система решает, человек проверяет выборочно | система выставляет оценки, преподаватель смотрит случайные 10% и спорные случаи |
Сравнивать «хорошо или плохо» бессмысленно: разные задачи требуют разных режимов. Ниже о том, как их различать.
Шесть причин не отдавать оценку целиком
1. Ошибки редкие, но уверенные и дорогие
Языковая модель ошибается иначе, чем человек: гладко и без внешних признаков. Выдуманная цитата, перепутанный критерий, поддавшаяся инструкции из текста работы оценка: всё это выглядит как нормальный ответ. Один такой случай на сорок работ означает одного студента с несправедливой оценкой, а оценка влияет на стипендию, пересдачи и отношения с преподавателем. Подробно о том, какие бывают отказы и как их проверить, мы разбирали в статье «Преподаватель, чат-бот и стопка курсовых».
2. У оценки есть автор и последствия
Оценка — решение, за которое кто-то отвечает: студент может её оспорить, а вуз потребует объяснить. «Так посчитала система» не аргумент на апелляции. Когда подтверждает человек, у решения есть автор, который может объяснить его по критериям и по тексту работы. Когда оценку выставила система, объяснять нечем.
3. Контекст, которого нет в тексте
Работа студента не вся в тексте. Студент болел, и вы разрешили сдать позже; задание изменили в середине семестра; на консультации вы договорились принять нестандартную структуру; работа выполнена на практике по условиям базы. Система этого не знает, и узнать не может. Человек знает.
4. Масштаб превращает ошибку в систему
Преподаватель, который ошибается, ошибается в одной работе. Система с перекосом (например, предпочитает длинные тексты) повторяет его в пятистах работах одинаково, и никто не увидит закономерности, пока не сравнит оценки. Выборочная проверка отдельных работ ловит такой перекос плохо: в каждой работе он выглядит правдоподобно, а заметен только в сравнении распределений оценок. Поэтому нужны метрики, о которых ниже.
5. Студенты подстраиваются
Когда студенты знают, что оценку ставит автоматика, они начинают писать под неё: длиннее, с шаблонными оборотами, с вставками, которые нравятся модели. Это эффект, описанный для любых измеримых показателей: как только показатель становится целью, он перестаёт измерять то, что нужно. Человек, который читает работы, замечает подгонку.
6. Без человека система не учится
Подтверждённые преподавателем оценки — это эталон: на них можно измерить, насколько черновики модели согласуются с вами, и на них можно настраивать будущие черновики. Если оценки выставляются автоматически, эталона нет, и вы не знаете, стала система лучше или хуже после обновления модели.
Но «человек в контуре» тоже ломается
Автоматизация не только ошибается, она ещё и усыпляет. В исследованиях это называют автоматическим смещением: людям свойственно доверять рекомендациям системы и проверять их всё хуже по мере того, как система «обычно права». Когда подряд идут тридцать верных черновиков, на тридцать первом вы подтверждаете не читая.
Получается парадокс: чем лучше система, тем менее реальной становится проверка. Поэтому «человек в контуре» нужно проектировать, а не просто декларировать. Шесть принципов:
- Показывайте основание, а не только вывод. Рядом с оценкой должны быть цитаты из работы, на которые она опирается. Проверить цитату быстрее, чем перечитать работу.
- Показывайте неуверенность. Если несколько независимых прогонов расходятся, работа заслуживает внимания. Спокойные случаи можно пролистать, а спорные отметить.
- Разделяйте черновик и решение. Система не должна ничего отправлять студенту, пока человек не нажал «подтвердить».
- Измеряйте, как часто вы правите. Если вы поправляете черновик в одной работе из десяти, это нормальная картина. Если не поправляли ни разу за месяц, либо система идеальна (маловероятно), либо вы перестали читать.
- Делайте выборочные перечитывания. Раз в неделю возьмите три подтверждённые оценки и проверьте их заново без черновика, глядя только на работу и критерии.
- Храните след. Что предложила система, что подтвердили, когда и кто. Без этого нельзя ни объяснить оценку, ни обнаружить дрейф.
Что автоматизировать, а что нет
Решение зависит от цены ошибки и от того, можно ли проверить результат формально.
| Задача | Режим | Почему |
|---|---|---|
| Подсчёт итоговой суммы по критериям, проверка тестов с закрытыми ответами | Полная автоматизация | детерминированно, проверяется формулой |
| Форматирование, орфография, оформление ссылок | Полная автоматизация, с возможностью отката | ошибка дешёвая и видна сразу |
| Поиск цитат, сверка чисел между главами, выявление повторов | Система находит, человек подтверждает | находит быстро, но ложные срабатывания возможны |
| Черновик отзыва и оценки по критериям | Человек в контуре | нужен контекст и суждение |
| Итоговая оценка, апелляция, решение о пересдаче | Решает человек | последствия для студента |
| Подозрение в нечестности | Решает человек, опираясь на факты | детекторы дают вероятность, а не доказательство; см. «Как доказать, что студент писал работу сам» |
Простое правило: чем дороже ошибка и чем сложнее проверить результат формулой, тем ближе решение к человеку.
Как организовать на кафедре
Шаги, которые превращают принцип в практику:
- Определите, что система делает сама, а что готовит. Запишите список в одном абзаце, как правило для всей кафедры.
- Зафиксируйте критерии и шкалу. Без них любой черновик сравнивать не с чем (см. критерии оценивания).
- Начните с небольшой группы работ, где вы проверите каждую вручную и сравните с черновиком. Это даст первую оценку согласия.
- Задайте метрики. Доля работ, где вы изменили оценку; среднее изменение; время на работу. Смотрите на них раз в семестр.
- Введите выборочные перечитывания по принципу 5 выше: две-три работы в неделю.
- Решите, что считается тревогой: резкое падение доли правок, рост апелляций, расхождение между преподавателями.
Если у вас стопка в сто работ и вечер, как не потерять качество, мы разбирали в статье «Как проверить 100 работ за вечер».
Как это устроено в ИСПУМ и где граница
Мы строили ИСПУМ вокруг этого принципа: модель никогда не ставит оценку последней.
- Студент видит оценку только после того, как преподаватель её подтвердил.
- История подтверждений только дополняется: прошлые записи не стираются, так что видно, что предложила система и что вы решили.
- Каждое замечание в отзыве опирается на цитату из работы, а выдуманная цитата не показывается: проверка основания занимает секунды.
- В режиме «Тщательная проверка» (включается по желанию) запускается несколько независимых прогонов, а расхождение между ними отмечается как повод перечитать работу внимательнее.
- Подтверждённые вами оценки становятся образцами: следующие черновики опираются на ваши оценки похожих работ, а не на чужие (тариф «Профессионал»).
Честные ограничения:
- Подтверждение может стать формальностью: если после каждой работы кнопка «Следующая работа» зовёт дальше, соблазн не читать остаётся. Мы показываем основание и неуверенность, но выборочные перечитывания и метрики согласия остаются решением кафедры, а не встроенной функцией.
- Режим «Тщательная проверка» снижает шум, но не устраняет его.
- Решение об итоговой оценке и об апелляции всегда за человеком, и система об этом не «знает» лучше вас.
Частые вопросы
Если система подтверждена и точна, зачем человек?
Точность измеряется на ваших работах и ваших критериях, а не в среднем. Даже если согласие высокое, у оценки остаётся автор и последствия, а контекст студента есть только у человека. Кроме того, без вашей проверки вы не узнаете, когда система ухудшилась после обновления.
Не отнимет ли «человек в контуре» всю экономию времени?
Нет, если проверка устроена так, что читать нужно основание, а не всю работу заново: цитаты, расхождения, спорные места. Рутина (чтение, поиск, сверка, черновик) уходит системе, а время тратится там, где нужно суждение.
Какую долю работ можно оставить на выборочную проверку?
Универсального числа нет. Начните с полной проверки на небольшой группе, посмотрите, как часто вы правите черновик, и только потом решайте, где можно ослабить контроль. Для итоговых оценок, пересдач и апелляций выборочной проверки недостаточно.