В этом году сдавать экзамены и зачеты всем придется онлайн. Как организовать процесс, как контролировать, чтобы не списывали, как ставить оценки и что такое прокторинг? Рассказываем, к чему быть готовым и как настроить процесс.
20 006 просмотров
Опыт проведения онлайн-экзаменов в России и в мире уже есть. Многие годы это делается на массовых открытых онлайн-курсах. В рамках дистанционных программ вузы и цифровые платформы научились проводить экзамены и решать технологические вопросы, связанные с идентификацией личности учащихся, с выполнением требований экзамена. Эта технологическая часть уже решена.
Василий Третьяков, генеральный директор Университета 20.35
Но в конце этого учебного года нам предстоит резкое масштабирование. Раньше в течение одного семестра онлайн-экзамены сдавали несколько десятков тысяч студентов. И технологии позволяли это делать. Сегодня для прохождения всеми вузами этого испытания придется обеспечить работу сотен тысяч студентов и в короткий промежуток сессии.
Инструкция по сдаче экзамена через систему прокторинга для студентов
Вузу и преподавателю следует рассмотреть альтернативные решения. Можно отказаться от экзаменов в пользу других форм оценки знаний, например, проектной работы или накопительного итога к концу семестра. Университет 20.35 развивает решения, которые позволяют по каждому студенту накапливать цифровой след, информацию о том, как работал студент, насколько он был вовлечен в решение задач, какие были промежуточные результаты, чтобы можно было быть уверенным, что именно этот студент проявил должные знания и умения в процессе работы. Многие университеты смогут этой возможностью воспользоваться, особенно, если информационные системы вуза позволяют собирать такую информацию.
Университет 20.35 считает, что экзамены в ближайшем будущем могут исчезнуть совсем. Они будут распределены во времени, мы постоянно будем иметь информацию о том, каких результатов достиг обучающийся. Мы сегодня работаем над технологиями, которые позволяют оценивать студента по его реакции на контент и на задания. Используя обратную связь от студента, наблюдая за его эмоциями, за тем, насколько он вовлечен в процесс, как он взаимодействует с контентом, можно узнать действительно ли он усвоил материал и изучил дисциплину, понимает ли он материал и как решать ту или иную задачу.
Но важно не забывать, что экзамен — это всегда испытание, это важная цель. Достижение цели, оценка – это мощный мотивационный фактор. Если откажемся от экзаменов, нам нужно будет по-другому научиться работать с целями и мотивацией студентов. Например, через вовлечение студентов в решение реальных задач, реализацию собственных проектов.
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Как проходить тестирования с помощью системы прокторинга ProctorEdu?
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
- Подмена респондента. Программа отличит одного человека от другого, основываясь на изначальном фото в профиле, и сообщит о подмене. В спорных случаях организатор может обратиться к видеозаписи.
- Списывание с электронных или физических носителей. Программа «замечает» отсутствие человека в кадре. Более того, система отслеживает направление взгляда человека, следя за тем, чтобы фокус не изменялся. Также фиксируются попытки смены активного приложения и вкладок браузера.
- Подсказки. Технология отслеживает фоновые шумы и присутствие постороннего человека в кадре.
- Кража контента. Попытки скопировать и сохранить задания теста блокируются.
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
- предупредит респондента о выявленном нарушении и позволит продолжить работу;
- сразу же завершит тестирование;
- автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
- Настройка сеанса. На этом, самом первом этапе, организатор определяет, что будет разрешено, а что запрещено. Например, пользоваться калькулятором можно, а использовать поисковые системы нельзя. Отмечает, нужна ли верификация личности или нет.
- Проверка оборудования. Перед началом тестирования сервис проверяет, работает ли у респондента камера, микрофон, достаточна ли пропускная способность интернет-соединения.
- Непосредственный контроль: отслеживание показателей достоверности. Специально обученный алгоритм или проктор (человек, наблюдатель), либо они совместно отслеживают параметры, определенные настройками.
- Формирование заключения. Этот этап может выполняться по двум сценариям: синхронный и асинхронный прокторинг:
- Синхронный прокторинг — заключение формируется в режиме реального времени. Как правило, получение итоговой оценки занимает не более 5 минут с момента окончания процедуры. Синхронный процесс может проводиться как в автоматическом режиме, когда оценку выносит алгоритм, так и с реальным человеком — проктором, наблюдающим за действиями респондентов со своего рабочего места.
- Асинхронный прокторинг — заключение формируется через какое-то время после завершения процедуры. Эта «задержка», время, за которое должен быть оценен сеанс, фиксируется в договоре. Обычно в этом случае речь идет о ручной работе проктора.
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
- респондента должно быть хорошо видно;
- он должен находиться в кадре один;
- в помещении должно быть тихо (без посторонних звуков и шумов);
- сеанс не должен прерываться на длительное время;
- нельзя пользоваться сторонними материалами на физическом или электронном носителе (книги, справочники, поисковики и т.д.).
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов.
Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
- Бесшовная интеграция.Чтобы не нарушать привычный нашим пользователям сценарий оценочного процесса, все пункты меню и сообщения от системы наблюдения появляются внутри тестового плеера, не нарушая целостность процедуры тестирования.
- Защита данных. Передача данных между системами происходит по криптозащищенным протоколам. Это исключает возможность как внешнего влияния на сервис контроля, так и несанкционированного доступа к результатам тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
- Настроить сеанс:
- выбрать его тип;
- установить отслеживаемые параметры;
- определить действия в случае низкого показателя доверия.
- Создать индивидуальное приглашение с сеансом прокторинга.
- Наблюдать за респондентом в режиме реального времени (если провайдер предоставляет такую возможность).
- Просматривать видеоролик с записью процесса тестирования и заключение системы на странице результатов. Процесс передачи данных в Maintest после окончания сеанса занимает не более 5 минут.
- Выгружать сведения о сеансах в формате xlsx (Excel).
Варианты подключения услуги
- У вас есть договор с HT Lab на тестирование. Необходимо заключить Дополнительное соглашение на подключение услуги (провайдером в этом случае является ProctorEdu). Услуга подключается в штатном режиме в Личном Кабинете клиента Maintest Online, при оплате пакета от 50 часов.
- У вас есть договор с провайдером услуг прокторинга. Подключение происходит через интеграцию Личного Кабинета Maintest Online с вашим аккаунтом в системе прокторинга. Услуга разовая, стоимость — от 50 000 руб., в зависимости от провайдера и дополнительных технических настроек.
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
Новые статьи и исследования
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.
Источник: ht-lab.ru