Блог жюри. Проверка олимпиады

Блог жюри. Проверка олимпиады

В этом году на сайте появился новый формат: блог жюри. Члены жюри расскажут, с чего начиналась олимпиада школьников по экономике и как она менялась. Они напишут о том, что раньше оставалось за закрытыми дверьми: олимпиадники смогут узнать, как составляются задания и как проверяются работы.

О том, как проверяют решения участников, рассказывают Дмитрий Дагаев и Данил Фёдоровых.

При проверке олимпиады у жюри есть несколько основных задач. Во-первых, нужно обеспечить качественную проверку работ. Жюри заинтересовано в том, чтобы количество ошибок было минимальным, ведь ошибки вносят шум в результаты олимпиады. Во-вторых, необходимо добиться беспристрастности проверки. Уже на этапе формирования жюри исключаются потенциальные конфликты интересов — в состав жюри не входят те, у кого олимпиаду пишут родственники. В-третьих, нужно, чтобы все решения жюри были понятными для участников. Жюри не должно быть отгорожено бетонной стеной — мы стараемся сделать работу жюри максимально открытой. Мы хотим, чтобы победил сильнейший, но при этом удовольствие и пользу от олимпиады должны получить все участники независимо от результата.

Работа жюри на заключительном этапе Всероссийской олимпиады по экономике организована следующим образом. После того, как участники написали тур, работы забирает оргкомитет. Все работы шифруются, чтобы обеспечить их «слепую» проверку. Первая страница, на которой указано имя участника олимпиады, открепляется от работы, а вместо этого ей присваивается шифр. Тем временем, жюри собирается в отдельных помещениях и изучает задания. Определившись с предпочтениями, каждый из нас решает, какую задачу будет проверять. Таким образом жюри разбивается на команды проверяющих.

Несмотря на то, что для каждой задачи разрабатывается подробная схема проверки, которой все члены жюри должны следовать, многие задания на Всеросе сложные, многоходовые, имеют творческий характер, поэтому схема не может учитывать все нюансы, встречающиеся в работах. Чтобы минимизировать эффект от возможных разных подходов, жюри организует «вертикальную» проверку работ: каждая команда специализируется на одной задаче и проверяет ее во всех работах, обсуждая между собой сложные случаи. При «горизонтальной» проверке (когда один член жюри проверяет всю работу целиком) субъективные факторы влияют на результаты сильнее, да и работа идет медленнее. В силу этих причин вертикальная проверка предпочтительнее горизонтальной.

Как правило, каждую команду возглавляет автор задачи или, в случае его отсутствия в составе жюри, кто-нибудь из опытных коллег. Дальше все команды работают независимо друг от друга. Получив от оргкомитета работы, члены одной команды смотрят несколько из них, пока не выставляя оценок. Основная задача на этом этапе — согласовать и уточнить критерии проверки. Каждый критерий подразумевает выставление или снятие определенного числа баллов за те или иные элементы решения. Часть критериев соответствует взятию определенных рубежей на пути к правильному решению задачи. Вторая часть критериев формируется из типичных ошибок, которые допускают участники. Не все ошибки можно предвидеть заранее, а кроме того, некоторые участники находят нестандартные решения, для оценки которых не годится стандартная шкала критериев. Поэтому жюри уточняет схему проверки, предложенную методической комиссией.

Когда сформируется более или менее полный список критериев, жюри приступает к полноценной проверке работ. Все ошибки в работах подчеркиваются красной ручкой, рядом с ошибками пишется комментарий. Задача такого комментария состоит в том, чтобы участник олимпиады понимал, за что ему выставлен тот или иной балл, а жюри смогло быстро прокомментировать свою оценку участнику во время показа работ. Во время проверки первых работ или работ, в которых содержатся оригинальные решения, у жюри часто возникает необходимость посоветоваться друг с другом, чтобы критерии проверки были одинаковыми у всех членов команды. Иногда в обсуждении одной работы с нестандартным решением может быть задействована вся команда, а обсуждение самых сложных случаев может затягиваться очень надолго.

Иногда участники радуют жюри (намеренно или ненамеренно) не только правильными решениями, но и чувством юмора или просто необычными фрагментами в решениях. Такие фрагменты («перлы») жюри старается фиксировать, и потом зачитывает на разборе заданий. Однажды на Всероссийской олимпиаде по экономике одна работа была написана настолько оригинально, что ее автор получила от жюри специальный приз (но, к сожалению, не получила диплом олимпиады).

Параллельно с проверкой работ происходит разбор заданий для участников. На разборе выступает по одному члену жюри от каждой команды. Они рассказывают «каноническое» решение задачи (а иногда и возможные альтернативные решения), разъясняют критерии проверки, останавливаются на типичных ошибках. На разборе заданий нужно снять максимальное число вопросов, которые могут возникнуть у участника относительно принципов проверки.

Когда все задачи во всех работах в каждом туре будут проверены, работы будут расшифрованы и наступит время показа работ и апелляций. О том, как проходят и для чего нужны эти процедуры — в следующей записи нашего блога. До встречи!