Тип задания «Кросс-рецензирование»

Кросс-рецензирование – это особый тип задания, на которое требуется дать ответ в свободной форме, а после этого участники анонимно оценивают ответы друг друга. Преподаватель может определить участника, написавшего рецензию, в случае апелляции на рецензию.

Рекомендация 1: устанавливать 1 попытку на тест, в котором есть задание кросс-рецензирование, а также не забыть установить шкалу оценки

Рекомендация 2: не использовать другие типы заданий (вопросов) в одном тесте вместе с заданием кросс-рецензирование.

Рекомендация 3: в одном тесте использовать только 1 задание кросс-рецензирование. 

 

Порядок прохождения

1. Участник отвечает на задание в свободной форме.
2. Участник рецензирует ответы других участников по заданным критериям.
3. Участник получает рецензии на свой ответ от других участников.
4. Участник получает итоговый балл.

Настройки

В настройках теста: в разделе меню "Результаты" включите отображение результатов и поставьте галочку возле "Ответы участника на задания"

 

Настройки задания "Кросс-рецензирование"

Текст задания:

«Текст задания» – текстовое поле для формулирования задания(вопроса).

Оценка:

«Максимальный балл » – итоговый балл за задание. По умолчанию равен сумме всех баллов за критерии. Число от 1 до 999.

Рецензирование:

• «Получить рецензий» – минимальное число рецензий на свою работу. Если 0, то рецензировать других участников можно, но не обязательно, это не влияет на показ результатов.
• «Написать рецензий» – минимальное число рецензий на работы других участников. Если 0, то оценивается преподавателем.

Ограничить сроки рецензирования:

• «Можно начать через» – количество часов через которое можно начать писать рецензии после «Даты по» в индивидуальной ссылке. Если «Дата по» не заполнена, то после даты ответа на задание.
• «Необходимо завершить через» – количество часов через которое завершается прием рецензии после «Даты по» в индивидуальной ссылке. Если «Дата по» не заполнена, то после даты ответа на задание.

Критерии оценки:

• Кол-во критериев – не более 5.
• «Название» – название критерия.
• «Мин оценка» – минимальная оценка за критерий.  Число от 1 до 10.
• «Макс оценка» – максимальная оценка за критерий.  Число от 1 до 10.
• «Пояснение, как ставить оценку» – текстовое поле. Пояснения должны быть понятными и объективными, чтобы каждый участник мог понять правильный ответ и адекватно оценить работы других участников.

Расчет баллов

• «Макс сумма» – максимально возможная  сумма баллов за все критерии по рецензии.
• «Итоговая оценка» - балл, рассчитанный по медиане из необходимого количества рецензий, указанного в поле «Получить рецензий», которые должен получить участник. Пояснение по методу расчета отображается как менеджеру, так и пользователю в результатах тестирования:

• «Балл» - итоговый балл. Совпадает с баллом из «Итоговой оценки», если сумма всех баллов за критерии равна «Максимальному баллу». Если сумма не равна, то выполняется нормирование до «Максимального балла».

      К примеру, «Максимальный балл» = 20, «Макс сумма» = 4, «Итоговая оценка» = 3.

      «Балл» = «Итоговая оценка» * «Максимальный балл» / «Макс сумма»

      «Балл» = 3 * 20 / 4 = 15  

 

Очередь рецензий

Правила формирования очереди рецензий:

• В начало очереди отправляются ответы тех, кто первым ответил на задание (принцип FIFO)
• В начало очереди отправляются ответ тех, кто не получил обязательное число рецензий
• Участник может рецензировать работу другого участника только один раз

При отсутствии ответов на рецензирование пользователю выводится сообщение «Нет ответов для рецензирования. Попробуйте зайти позже.»

Если ответ участника взят на рецензирование, то данное рецензирование блокируется на 1 час и в течение этого часа ответ не может попасть другому рецензенту. Если рецензия через 1 час не отправлена, то ответ возвращается в начало очереди.

Использование совместно с балльной системой в ВШ

При использовании балльной системы на программе в ВШ важно правильно настроить зачет по баллам в ВШ и StartExam: инструкция

Ответы на вопросы

    Можно ли использовать разный диапазон баллов у разных критериев оценки?

Да, можно. Баллы будут нормироваться. Если выбрана 1 из диапазона 1-2, это будет тождественно выбранной 5 из диапазона 1-10. Но этого не предполагает методология тестирования и еще сложнее объяснить это пользователям.

    Есть ли настройка чтобы можно было прикреплять новый вариант файла после того, как пользователь уже отправил первую версию? Можно ли дать ограничение по попыткам?

По методологии в кросс-рецензировании всегда должна устанавливаться 1 попытка. Пока пользователь не завершил ответ он может удалить ошибочный файл и прикрепить новый. Если он уже отправил ответ или файл – редактировать его уже нельзя.

Пользователь сообщает, что он дал необходимое количество отзывов, а его никто не оценивает.

Это нормальное состояние, после завершения теста последние пользователи не смогут получить все оценки, т.к. их уже некому оценивать. Это должен сделать менеджер программы. По этой причине нельзя ставить тесты с кросс-рецензированием в электронные курсы, предназначенные для самостоятельного прохождения.

    На стороне ВШ пользователь не видит текущего статуса по тестированию.

Текущий статус можно увидеть по нажатию кнопки «Пройти тестирование» в программе в ВШ. Рекомендуем в описание активити добавлять всю необходимую информацию: как проходит тестирование и как узнать результат. 

    Как удалить тестовые ответы после тестирования программы и PR, чтобы они не попадали пользователям на программе?

Используйте функцию «Исключить из оценки»

Пользователь прикрепил и отправил на оценку не тот файл или текст, просит дать вторую попытку

Используйте функцию «Исключить из оценки»

Пользователю не удается прикрепить файл (заблокировано локальной политикой безопасности)

Либо посоветуйте прикрепить файл с телефона:

Либо включите в настройках возможность вставить свое эссе текстом прямо в задание:

 

Какую шкалу оценки в настройках теста выбрать?

Если шкала не выбрана (не рекомендуем):

Сразу после заполнения ответа и нажатия кнопки "Завершить"  на ВШ проставится зеленая галка о прохождении элемента и отобразится надпись "Вы прошли тест на 0% за 1 попытку". На StartExam отобразится "Результат:  __" (ничего)

После того, как пользователь оставит и получит нужное число рецензий на ВШ отобразится надпись "Вы прошли тест на 90% за 1 попытку". На StartExam отобразится "Результат:  __" (ничего)

Если у вас есть потребность зафиксировать ответ пользователя и сразу зачесть ему прохождение элемента без оценки преподавателем или другим пользователями - используйте активити "Домашнее задание" с настройкой "Засчитывать пройденным сразу после загрузки пользователем": ссылка на инструкцию

 

Если выбрана шкала 0%:

Сразу после заполнения ответа и нажатия кнопки "Завершить"  на ВШ проставится зеленая галка о прохождении элемента и отобразится надпись "Вы успешно прошли тест на 0% за 1 попытку". На StartExam отобразится "Результат: Успешно"

После того, как пользователь оставит и получит нужное число рецензий на ВШ отобразится надпись "Вы успешно прошли тест на 95% за 1 попытку". На StartExam отобразится "Результат: Успешно"

Если выбрана шкала 80% (30%, 50%, и т.д.):

Сразу после заполнения ответа и нажатия кнопки "Завершить"  на ВШ проставится красный крест о непрохождении элемента и отобразится надпись "Вы прошли тест на 0% за 1 попытку". На StartExam отобразится "Результат: Неуспешно"

После того, как пользователь оставит и получит нужное число рецензий и при условии получения нужного балла (больше 80%) на ВШ отобразится надпись "Вы успешно прошли тест на 90% за 1 попытку". Красный крест сменится на зеленую галку о прохождении элемента. На StartExam отобразится "Результат: Успешно"

После того, как пользователь оставит и получит нужное число рецензий и при условии неполучения нужного балла (меньше 80%) на ВШ отобразится надпись "Вы прошли тест на 10% за 1 попытку". Останется красный крест (активити не пройдено). На StartExam отобразится "Результат: Неуспешно"