Программа прокторинг что это

Что такое прокторинг и как организовать и сдавать экзамены, сидя дома

В этом году сдавать экзамены и зачеты всем придется онлайн. Как организовать процесс, как контролировать, чтобы не списывали, как ставить оценки и что такое прокторинг? Рассказываем, к чему быть готовым и как настроить процесс.

19 866 просмотров

Опыт проведения онлайн-экзаменов в России и в мире уже есть. Многие годы это делается на массовых открытых онлайн-курсах. В рамках дистанционных программ вузы и цифровые платформы научились проводить экзамены и решать технологические вопросы, связанные с идентификацией личности учащихся, с выполнением требований экзамена. Эта технологическая часть уже решена.

Василий Третьяков, генеральный директор Университета 20.35

Но в конце этого учебного года нам предстоит резкое масштабирование. Раньше в течение одного семестра онлайн-экзамены сдавали несколько десятков тысяч студентов. И технологии позволяли это делать. Сегодня для прохождения всеми вузами этого испытания придется обеспечить работу сотен тысяч студентов и в короткий промежуток сессии.

Как проходить тестирования с помощью системы прокторинга ProctorEdu?

Вузу и преподавателю следует рассмотреть альтернативные решения. Можно отказаться от экзаменов в пользу других форм оценки знаний, например, проектной работы или накопительного итога к концу семестра. Университет 20.35 развивает решения, которые позволяют по каждому студенту накапливать цифровой след, информацию о том, как работал студент, насколько он был вовлечен в решение задач, какие были промежуточные результаты, чтобы можно было быть уверенным, что именно этот студент проявил должные знания и умения в процессе работы. Многие университеты смогут этой возможностью воспользоваться, особенно, если информационные системы вуза позволяют собирать такую информацию.

Университет 20.35 считает, что экзамены в ближайшем будущем могут исчезнуть совсем. Они будут распределены во времени, мы постоянно будем иметь информацию о том, каких результатов достиг обучающийся. Мы сегодня работаем над технологиями, которые позволяют оценивать студента по его реакции на контент и на задания. Используя обратную связь от студента, наблюдая за его эмоциями, за тем, насколько он вовлечен в процесс, как он взаимодействует с контентом, можно узнать действительно ли он усвоил материал и изучил дисциплину, понимает ли он материал и как решать ту или иную задачу.

Но важно не забывать, что экзамен — это всегда испытание, это важная цель. Достижение цели, оценка – это мощный мотивационный фактор. Если откажемся от экзаменов, нам нужно будет по-другому научиться работать с целями и мотивацией студентов. Например, через вовлечение студентов в решение реальных задач, реализацию собственных проектов.

Мы ежедневно общаемся с сотнями вузов, тесно работаем с горячей линией Министерства науки и высшего образования. Минобрнауки обозначило позицию: университеты вправе отказаться от государственного экзамена. Мы провели опрос руководителей вузов в закрытом режиме, а также задали те же самые вопросы через канал «Научно-образовательная политика».

Евгений Сжёнов, научный руководитель экспертно-аналитического центра «Научно-образовательная политика»

На вопрос «Ваш вуз готов к проведению итоговой аттестации студентов с помощью дистанционных технологий?» 57% читателей журнала ответили «Да», а 43% признали, что не готовы.

На вопрос «Вы знаете, как работает система прокторинга при проведении онлайн-экзаменов?» утвердительно ответили 39%. 61% представителей вузов оказались не знакомы с этими технологиями. А скоро всей системы высшей школы предстоит столкнуться с прокторингом.

Прокторинг – это процедура наблюдения и контроля за дистанционным испытанием (от англ. «proctor» – человек, который следит за ходом экзамена в университете).

При этом 66% вузов не планируют отказываться от проведения госэкзамена. В то же время ряд ведущих университетов, в том числе московские университеты готовы отказаться от проведения в 2020 году государственного экзамена.

Данные этого опроса коррелируют с результатами закрытого опроса. Мы опросили больше 200 университетов и выяснили, что от государственного экзамена планируют отказаться далеко не все, несмотря на то что такое послабление есть.

Студенты 423 российских вузов оценили качество оперативной обратной связи с кафедрами, деканатами и ректоратам. 64% считают обратную связь отличной, 27% — приемлемой и 9% считают качество обратной связи плохим. Этот опрос мы провели неделю назад и связались со студентами, которые оценили качество обратной связи с вузом как «плохое».

Выяснилось, что университеты пошли самостоятельным путем и использовали собственные IT-разработки. И перегрузили свои серверы. Основные проблемы наблюдаются именно по этой причине.

У нас пятилетний опыт вступительных испытаний, промежуточных аттестаций и защит в онлайне на платформе Росдистант. В 2016 году диплом в онлайне защищали 388 человек, в 2019 году — 925 человек. В 2020 году на защиту в режиме онлайн планируется вывести 4660 человек.

Михаил Криштал, ректор Тольяттинского государственного университета

В личном кабинете студента в Росдистанте указаны курсы, которые студент проходит, как он продвинулся в освоении курса, сколько набрал баллов. Дальше формируется отчет, ведомость, электронная зачетная книжка. Если студент вовремя не набрал нужное количество баллов, проводится повторная промежуточная аттестация, студент повторно подключается к курсу и в течение года может набрать недостающие баллы. Если он не прошел повторную промежуточную аттестацию, то проводится проверка знаний через вебинарную площадку, где собираются члены комиссии. Студент сдает экзамен в формате видеокоммуникации с членами комиссии.

В этом же формате проводится защита выпускных квалификационных работ, сдача госэкзамена.

Самое главное в этой истории — обеспечить аутентификацию при прохождении вступительных экзаменов, высокий уровень прокторинга. Программа сверяет внешность студента на экране, сопоставляет его с фотографией, изначально загруженной в систему. Присутствие членов комиссии возможно в онлайне одновременно или по отдельности.

Такая система дает не меньший уровень защиты от подсказок, как если бы студент находился в аудитории. Студента видит сотрудник центра тестирования, видят члены комиссии. Сама процедура экзамена записывается на камеру и хранится длительное время. Всегда можно посмотреть, куда глядел студент и что он делал руками.

Экзамен с билетами на столе уйдет в прошлое. В качестве экзамена будут восприниматься постоянные перманентные системы оценки, такие как балльно-рейтинговая и накопительная, портфолио, результаты разработок студентов.

Сейчас на рынке есть несколько прокторинговых решений и все они позволяют контролировать процедуру экзамена. Они получают доступ к компьютеру студента, видят, что происходит в браузере, следят, пользуется ли студент сторонними приложениями. Есть возможность в онлайне наблюдать за студентом по вебкамере, смотреть чтобы он не списывал, и предлагать ему различные упражнения. Есть возможность подключать камеру мобильного телефона, чтобы показать, что происходит вокруг.

Никита Мишаков, специалист по развитию платформы прокторинга онлайн-экзаменов ProctorEdu

Сейчас уровень доверия к прокторинговым сервисам недостаточно высокий. Но используемые технологии затрудняют списывание. По опыту проведенных вступительных экзаменов — уровень списывания не больше, чем в аудитории. А возможно и меньше, потому что есть возможность сохранить запись экзамена и вернуться к ней позже. Все это позволяет сохранить высокий уровень честности и высокий уровень доверия к экзаменам с прокторингом.

Многие вузы пользовались прокторингом еще до перехода на дистанционное образование. В некоторых случаях это необходимо, например, когда тысячи студентов проходят массовый экзамен или при проведении Олимпиад для участников со всей страны. Сомнения у партнеров возникают только с точки зрения технологического обеспечения. Прокторинг для многих еще остается «страшным зверем», который требует больших вложений и технических ресурсов. На самом деле сейчас прокторинговые сервисы работают достаточно оперативно, интегрируются с LMS-системами.

Сейчас у вузов еще есть время, чтобы подключить прокторинговые сервисы и провести экзамены в онлайн-формате вместо того, чтобы переносить их или отменять. Формат контроля знаний скорее всего будет в виде записи проектных работ или цифрового следа. В сегодняшнем виде экзамен показывает наличие знаний, а это уже не актуально.

На своем опыте могу сказать, что большинство людей не склонны списывать, если знают, что их контролируют и может последовать наказание. Поэтому эффект от прокторинга — контрольно-психологический. 90% студентов будут лучше готовы к экзамену только потому, что будут знать, что списать сложно.

Дмитрий Истомин, генеральный директор компании Examus

Когда мы говорим про онлайн-экзамены, мы имеем в виду онлайн-тесты. Это самая простая практика. Прокторинг можно сделать и на устный экзамен, и на письменный экзамен. Можно контролировать практические навыки работы на компьютере с программами. Самое сложное — экзамены по специальностям, которые не имеют отношения к компьютерам, например у медиков.

Когда мы осознали, что итоговую аттестацию предстоит проводить в онлайн-формате, все проблемы разделили на три составляющие: информационная, коммуникационная и организационная.

Михаил Краснянский, ректор Тамбовского государственного технического университета

Самое простое решение нашли для информационной задачи. В вузе функционирует своя система LMS и система тестирования — «АСТ-тестирование». Основная информационная задача решалась через личные кабинеты студентов и преподавателей и через личные кабинеты партнера. В личном кабинете преподаватель может размещать задания, студент ­– результаты и накапливать цифровой след.

Для коммуникаций мы использовали Zoom, Microsoft Team и группы в социальных сетях. Студентам и преподавателям мы предоставили свободу выбирать наиболее удобные каналы коммуникаций.

Экзамены в школе и в университете определенным образом готовят к более сложным экзаменам в жизни, поэтому они должны остаться. А очень серьезное подспорье для качественной оценки на экзамене — это цифровой след.

Источник: vc.ru

Прокторинг: экзаменатор в каждый класс, включая виртуальный

Распространение дистанционных форм обучения и проверки знаний требует внедрения современных средств контроля за поведением экзаменуемых. Списать онлайн всегда легче, чем под пристальным взором преподавателя. «Педсовет» совместно с Softline рассказывает о передовой технологии — автоматизированном прокторинге.

1. Что такое прокторинг?

Чёткого определения этого слова пока нет. Если обобщить существующие варианты, получится, что прокторинг — это процесс дистанционного наблюдения и контроля над тестированием, позволяющий следить за соблюдением правил. Сейчас он используется в дистанционном обучении, на экзаменах и при тестировании кандидатов на собеседованиях.

Раньше контролем занимались по видеосвязи специально обученные прокторы, а сейчас всё большую популярность приобретают автоматизированные системы прокторинга, при использовании которых подключение проктора требуется лишь эпизодически.

2. Кто такие прокторы?

Проктор звонит по видеосвязи тестируемому, просит подтвердить свою личность и намерение сдавать экзамен. После этого он предлагает показать свой экран, дает доступ к заданиям, запускает отсчёт времени и следит за нарушениями. Если проктор фиксирует нарушение, он делает в системе пометку. Если пометок набирается несколько, экзамен останавливается. Проктор может остановить его сразу, если нарушение было серьёзным — например, в кадре веб-камеры появился другой человек или тестируемый уходил из кадра.

Естественно, один проктор мог следить таким образом только за одним тестируемым за раз, и такая процедура достаточно дорога.

3. Как устроен автоматизированный прокторинг?

Принцип работы системы тот же, но проктору уже не обязательно постоянно следить за тестируемым. Для экзаменуемого сеанс прокторинга может выглядеть по-разному, но суть всегда неизменна: он входит в систему через браузер, система сама собирает данные с его веб-камеры, микрофона и экрана компьютера (движения курсора, нажатия клавиш на клавиатуре), подтверждает его личность и фиксирует нарушения.

Данные о нарушениях в режиме реального времени передаются организатору, который принимает решение, остановить экзамен для этого конкретного человека или нет. Есть системы, принимающие это решение сами, без участия организатора.

4. Какие именно нарушения может фиксировать система прокторинга?

• подмену сдающего (когда тест за ученика сдает его родственник или знакомый);
• списывание (если открыть во время теста другую вкладку браузера или программу на компьютере, система посчитает это нарушением);
• подсказки (в кадре двое или никого? посторонние шумы в комнате? — нарушение!);
• попытки скопировать и сохранить задания теста.

Организатор теста сам определяет, какие именно из этих нарушений система должна фиксировать и как себя вести после этого: например, она может закрыть сдающему доступ к тесту или просто предупредить его. Ещё он может ограничить время сдачи и запретить сдающему во время теста переключать вкладки в браузере, окна программ, заходить на определённые сайты, загружать файлы из интернета.

Добавляется психологический эффект: сдающий понимает, что за ним наблюдают, и с меньшей вероятностью пытается обманывать организатора.

5. Это же прямое психологическое давление на тестируемых! Действительно ли оно оправдано?

Сдавать экзамены под наблюдением прокторинга действительно тяжелее в моральном плане. Поэтому такие решения часто критикуют. Ученикам и студентам не нравится, что незнакомый им человек или система может блокировать функции их компьютеров, следить за движениями их глаз и записывать то, что происходит у них в комнате — их приватном пространстве, в которое обычно никто не вторгается, тем более — через компьютер.

Но сейчас прокторинг — единственная система, которая позволяет сделать попытки списывания в ходе онлайн-испытания невыгодными для тестируемого. Подготовиться оказывается проще, чем обмануть. Это плюс для организатора: он может справедливее расставлять оценки, тратить меньше времени (своего и экзаменуемых) на пересдачи и защищать себя от лжесвидетельств по итогам тестирований.

6. А как с приватностью? Сохраняются ли записи с экранов и камер учеников? Кто имеет к ним доступ?

Записи хранятся на серверах прокторинговой системы, а доступ к ним обычно имеет только организатор и — в случае необходимости — сотрудники компании, выпустившей прокторинговую систему.

Бывают системы, которые дополнительно шифруют данные на стороне сервера, но это спорная мера: если злоумышленник захочет перехватить эти данные, ему будет гораздо легче сделать это через браузер тестируемого или организатора, предложив установить расширение или скачать вредоносный файл. Поэтому прежде чем пользоваться системой прокторинга, необходимо защитить браузер от таких угроз.

7. Имеет ли смысл применять прокторинг в очном обучении?

Система прокторинга может через веб-камеру в классе анализировать поведение учеников во время урока — например, движения глаз — и подсказывать учителю, как лучше скорректировать форму подачи материала, чтобы сильнее вовлечь учеников в процесс обучения или улучшить усвоение.

8. Какие примеры внедрения прокторинга есть в образовании?

Более 30 вузов по всей стране воспользовались системами прокторинга на экзаменах в этом году. Softline внедрила системы прокторинга в нескольких российских вузах, один из которых — Тюменский государственный университет.

Эксперты Softline интегрируют систему прокторинга с инструментами для дистанционного обучения, что уменьшает затраты клиентов и позволяет пользоваться готовыми решениями, а не собирать их самостоятельно.

9. Как прокторинг встраивается в уже существующие системы дистанционного обучения?

Есть два варианта интеграции:

1. Подключение системы дистанционного обучения к системе прокторинга блочным методом через API. (API — это описание способов, которыми одна компьютерная программа может взаимодействовать с другой без участия пользователя. В данном случае система дистанционного обучения вызывает нужные ей функции системы прокторинга (описанные в API) и получает от неё ответы, которыми пользуется в дальнейшей работе.) Тестируемый через систему прокторинга входит в систему дистанционного обучения через специальный протокол OAuth2. Экзамен проходит в системе прокторинга, а уже она даёт тестируемому доступ к заданиям. Получается, что система прокторинга становится дополнительным звеном контроля между системой дистанционного обучения и тестируемым.
2. Прямое добавление функций прокторинга в программный код системы дистанционного обучения. В этом случае они будут доступны прямо из её интерфейса.

10. Где можно пройти обучение использованию этой технологии?

Непосредственно у поставщиков конкретных прокторинговых систем. Другой вариант — в Учебном центре Softline можно заказать, помимо лицензий на саму систему, техническую поддержку и обучение администраторов и пользователей.

Источник: pedsovet.org

Прокторинг: что нужно знать hr-у

Что такое прокторинг?

Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.

Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.

То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.

Как работает система прокторинга

Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:

1. Подмена респондента. Программа отличит одного человека от другого, основываясь на изначальном фото в профиле, и сообщит о подмене. В спорных случаях организатор может обратиться к видеозаписи.
2. Списывание с электронных или физических носителей. Программа «замечает» отсутствие человека в кадре. Более того, система отслеживает направление взгляда человека, следя за тем, чтобы фокус не изменялся. Также фиксируются попытки смены активного приложения и вкладок браузера.
3. Подсказки. Технология отслеживает фоновые шумы и присутствие постороннего человека в кадре.
4. Кража контента. Попытки скопировать и сохранить задания теста блокируются.

Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:

• предупредит респондента о выявленном нарушении и позволит продолжить работу;
• сразу же завершит тестирование;
• автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.

Какие технологии используются в системе онлайн прокторинга?

Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.

Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.

Этапы работы с системой: что делает организатор

1. Настройка сеанса. На этом, самом первом этапе, организатор определяет, что будет разрешено, а что запрещено. Например, пользоваться калькулятором можно, а использовать поисковые системы нельзя. Отмечает, нужна ли верификация личности или нет.
2. Проверка оборудования. Перед началом тестирования сервис проверяет, работает ли у респондента камера, микрофон, достаточна ли пропускная способность интернет-соединения.
3. Непосредственный контроль: отслеживание показателей достоверности. Специально обученный алгоритм или проктор (человек, наблюдатель), либо они совместно отслеживают параметры, определенные настройками.
4. Формирование заключения. Этот этап может выполняться по двум сценариям: синхронный и асинхронный прокторинг:

1. Синхронный прокторинг — заключение формируется в режиме реального времени. Как правило, получение итоговой оценки занимает не более 5 минут с момента окончания процедуры. Синхронный процесс может проводиться как в автоматическом режиме, когда оценку выносит алгоритм, так и с реальным человеком — проктором, наблюдающим за действиями респондентов со своего рабочего места.
2. Асинхронный прокторинг — заключение формируется через какое-то время после завершения процедуры. Эта «задержка», время, за которое должен быть оценен сеанс, фиксируется в договоре. Обычно в этом случае речь идет о ручной работе проктора.

Правила проведения: что делает респондент

Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:

• респондента должно быть хорошо видно;
• он должен находиться в кадре один;
• в помещении должно быть тихо (без посторонних звуков и шумов);
• сеанс не должен прерываться на длительное время;
• нельзя пользоваться сторонними материалами на физическом или электронном носителе (книги, справочники, поисковики и т.д.).

Прокторинг в подборе и оценке персонала

Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.

HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.

Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.

Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов.

Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».

Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.

Интеграция системы тестирования Maintest и прокторинга

Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.

Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.

На что мы обращаем особое внимание при осуществлении интеграции

1. Бесшовная интеграция.Чтобы не нарушать привычный нашим пользователям сценарий оценочного процесса, все пункты меню и сообщения от системы наблюдения появляются внутри тестового плеера, не нарушая целостность процедуры тестирования.
2. Защита данных. Передача данных между системами происходит по криптозащищенным протоколам. Это исключает возможность как внешнего влияния на сервис контроля, так и несанкционированного доступа к результатам тестирования.

В личном кабинете Maintest пользователь может управлять настройками прокторинга:

• Настроить сеанс:

• выбрать его тип;
• установить отслеживаемые параметры;
• определить действия в случае низкого показателя доверия.

• Создать индивидуальное приглашение с сеансом прокторинга.
• Наблюдать за респондентом в режиме реального времени (если провайдер предоставляет такую возможность).
• Просматривать видеоролик с записью процесса тестирования и заключение системы на странице результатов. Процесс передачи данных в Maintest после окончания сеанса занимает не более 5 минут.
• Выгружать сведения о сеансах в формате xlsx (Excel).

Варианты подключения услуги

1. У вас есть договор с HT Lab на тестирование. Необходимо заключить Дополнительное соглашение на подключение услуги (провайдером в этом случае является ProctorEdu). Услуга подключается в штатном режиме в Личном Кабинете клиента Maintest Online, при оплате пакета от 50 часов.
2. У вас есть договор с провайдером услуг прокторинга. Подключение происходит через интеграцию Личного Кабинета Maintest Online с вашим аккаунтом в системе прокторинга. Услуга разовая, стоимость — от 50 000 руб., в зависимости от провайдера и дополнительных технических настроек.

Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.

Новые статьи и исследования

В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.

Источник: ht-lab.ru

Что такое прокторинг?

Все больше сфер жизнедеятельности переходит в онлайн, образование – не исключение. Спрос на дистанционное обучение неумолимо растет, а онлайн-экзамены обретают повсеместное распространение. Однако подавляющая часть учебных учреждений была вынуждена столкнуться с проблемами осуществления контроля вовлечения обучающихся в процесс. Отследить этот момент и исключить возможность списывания во время сдачи экзаменов в формате онлайн поможет прокторинг. Рассказываем подробно о том, что такое экзамен с прокторингом, а также о нюансах и преимуществах подобной системы.

Что такое прокторинг и почему с ним лучше

В связи с пандемией коронавируса, университеты были вынуждены перевести студентов на дистанционное обучение. Однако подобные меры открывают перед студентами множество способов облегчения тестирования. Надежное средство в решении проблемы контроля – система прокторинга, работа которой основана на технологиях искусственного интеллекта. С ее помощью удастся предотвратить списывание во время дистанционных экзаменов и решить ряд других задач, с которыми столкнулось большинство учебных заведений.

Онлайн-прокторинг – специальная система, предназначенная для автоматического обнаружения запрещенных действий во время сдачи экзамена. Система ставит соответствующую пометку при попытке открытия другой вкладки в браузере или использования шпаргалки. После чего эти сведения направляются экзаменатору.

Как можно использовать прокторинг

Чаще всего наблюдение за проведением дистанционного экзамена осуществляет проктор. В обязанности этого специально обученного специалиста входит отслеживание ошибок, которые могла допустить программа. Ее работа в равной мере эффективна как в случае с отдельными пользователями, так и многотысячной аудиторией. Для осуществления проверки потребуется лишь компьютер с выходом в интернет.

Прокторинг простыми словами – это процедура наблюдения за ходом экзамена. В зависимости от типа прокторинга он может применяться для различных видов испытаний. Можно классифицировать их следующим образом:

• Синхронный прокторинг – применяется преимущественно во время проведения письменных экзаменов или тестирований. Наблюдение за их ходом осуществляет проктор, главной задачей которого является контроль прозрачности проведения экзамена, а также идентификация личности учащегося. Помимо этого, в его задачи входит комментирование действий студента, для чего используется специальный чат в интерфейсе программы. При несоблюдении правил он может прервать процесс тестирования.

• Асинхронный прокторинг с постпроверкой – служит также для контроля за проведением письменного экзамена. Но выявление нарушений, осуществляет не человек, а программное обеспечение. Фиксация нарушений при этом не служит причиной для прекращения тестирования, и запись процесса отправляется сотруднику вуза для подтверждения факта нарушения процедуры. В обратном случае – экзамен признается сданным.

• Автоматический мониторинг – для этой процедуры характерно отсутствие человека. Контроль действий студента и проверку осуществляет ИИ.

Как работает прокторинг

• Предоставить системе доступ к микрофону и веб-камере компьютера.
• Выполнить проверку стабильности интернет-соединения с помощью программы удаленного прокторинга.
• Пройти проверку оборудования, в том числе на отсутствие подключения второго экрана, а также попытки стимуляции и имитации экрана.
• При успешном прохождении вышеуказанных требований программа запросит предоставление фото экзаменуемого с удостоверяющим личность документом. Для этого подойдет паспорт, студенческий билет и водительское удостоверение.
• Можно переходить к началу экзамена.

• изменение траектории взгляда;
• установление человеческой речи и невербального общения;
• выявление факта использования сторонних гаджетов;
• обнаружение шпаргалок, учебников и т. д.;
• выявление факта переключения вкладок браузера;
• обнаружение использования широковещательного ПО.

Ограничения и последствия онлайн-прокторинга

В силу ограниченных возможностей системы в некоторых случаях может потребоваться изменение процедуры проведения тестирования, а также усложнение технического оснащения. Внедрение дистанционного контроля также требует упрощать и удалять определенные задания тестирования. Это вызвано необходимостью сокращения времени на подготовку ответа. Более того, не все экзамены могут проводиться в онлайн-формате.

Кому нужен прокторинг

Наиболее востребована система прокторинга для образовательных учреждений, причем, не только для осуществления контроля письменных тестирований, но и для контроля соблюдения правил во время устных и прочих видов экзаменов.

Помимо этого, применение алгоритмов ИИ будет эффективно работать и в других областях. С его помощью сотрудникам будет проще проходить тестирование для повышения квалификации. Также актуально применение прокторинга при приеме на работу и во время презентации нового продукта для исследования уровня вовлеченности аудитории. Ознакомиться с видео-презентацией о работе системы можно, перейдя по ссылке https://www.youtube.com/watch?v=4hYJCcdyl6o

Источник: proctoredu.ru

Прокторинг: что это такое и как он может помочь компании

В настоящий момент организации все чаще обращаются к он лайн обучению. Контроль за качество выполнения заданий является сложной задачей. Екатерина Ивлева в статье о прокторинге объясняет, как создать систему отслеживания действий сотрудников в момент обучения, что поможет оценть знания с большей точностью.

Что такое прокторинг?

Дистанционное обучение становится всё популярнее — и все острее встает вопрос объективной оценки учащихся. Ведь чем дальше от глаз экзаменатора, тем больше возможностей скрыть своё незнание. Пока что с этой проблемой лучше всего справляется прокторинг — инструмент контроля, способный, при правильном использовании, сэкономить компаниям тысячи долларов.

Прокторинг — система, позволяющая следить за тестированием или экзаменом в онлайн-режиме.
Прокторинг дает возможность верифицировать (подтвердить) личность тестируемого, а также наблюдать за его поведением и происходящим на его экране компьютера, чтобы убедиться, что он не списывает, не прибегает к помощи других людей, не ищет ответы в интернете.

Изначально прокторинг начали применять в 2008 году в США, чтобы дистанционно контролировать сдачу экзаменов. Создатель этой технологии — компания ProctorU, сегодня помогающая администрировать около 2 000 000 000 экзаменов в год. Услугами этого прокторинг-провайдера пользуются более 1 000 учебных заведений в 129 странах.

Со временем прокторинг стали использовать не только в обучении, но и для решения других проблем. Например — кадровых.

Как работает система

Для использования системы прокторинга нужны веб-камеры, компьютеры с устойчивым интернет-соединением и простая программа для записи с экрана компьютера.

Представьте, что специалисту нужно сдать онлайн-экзамен в учебном центре на другом конце страны. Для этого ему понадобится в назначенное время включить свой компьютер и залогиниться в системе дистанционного обучения. Затем он должен включить веб-камеру, дать разрешение на ведение записи с экрана своего компьютера проктору (администратору-наблюдателю) и ждать верификации.

Если с документами и доступами все в порядке, проктор запускает экзамен. В ходе экзамена запрещено искать ответы в интернете, пользоваться чьими-либо подсказками и шпаргалками, выходить из поля зрения веб-камеры. Если экзаменуемый нарушает правила поведения, то проктор может вынести ему предупреждение, досрочно завершить экзамен или аннулировать его результаты.

Для групповых тестирований или экзаменов используют большее количество прокторов, запись экранов компьютеров, а также записи поведения аудитории камерами наблюдения.

Существует 3 версии системы прокторинга:

1. Проктор — человек. За тестируемым наблюдает живой человек через монитор: всё контролирует и принимает решение о зачете экзамена. Выполненные задания проверяют отдельно.
2. Проктор — компьютер. Специальная программа, распознающае «нежелательные» действия тестируемых. Качество распознавания постоянно совершенствуется. Сейчас такие системы способны отслеживать и анализировать направление взгляда, стиль стука по клавиатуре, манеру разговора, и т.п. Итоги тестирования подводит компьютер без человеческого вмешательства.
3. Человек и компьютер. В этом случае всё контролирует программа, а человек проверяет результаты ее работы. Если тестируемый ведет себя подозрительно, программа выдаст предупреждение, все запишет и сообщит об этом проктору. Процесс контроля проходит либо в онлайне — 1 проктор может одновременно администрировать 6 тестируемых, — либо проверяющий смотрит видеозаписи, на основании которых выносит решение.

Каждая версия системы прокторинга появилась на основе требований пользователей и прошла проверку «боем».

Зачем прокторинг бизнесу?

Рассмотрим 3 основные сферы применения:

1. Найм (подбор) персонала. HR-менеджеры могут предложить соискателям, находящимся в других городах и странах, пройти тесты с использованием прокторинга. Если результаты подтверждают их профессиональный уровень — продолжают работу с кандидатами. Если нет — экономят время и сразу приступают к поиску подходящих специалистов.
2. Обучение. Особенно актуально для предприятий, у которых есть корпоративные университеты или офисы, расположенные в разных регионах. В этом случае повышение квалификации работников проводят онлайн, а прохождение экзаменов контролируют прокторингом.

Необходимость в тестировании не всегда связана с обучением. По его результатам принимают решения о ротациях в штате, формировании кадрового резерва и даже о ежегодных надбавках. Поэтому некоторые работники могут хитрить, чтобы приукрасить результаты тестов. Прокторинг призван защитить от таких манипуляций.

Пример: сертификация с прокторингом от Яндекса

В сентябре 2018 года Яндекс запустил бета-версию нового вида сертификации в Директе — экзамен с прокторингом. Такое тестирование проходит с дополнительной авторизацией. За ходом сдачи теста ведется видеонаблюдение.

С июля 2019 года сертификат по Яндекс.Директу можно будет получить только с прокторингом, поисковик хочет гарантировать достоверность знаний сертифицированного специалиста.

На официальных ресурсах компании не уточняется, кто разработчик используемой системы прокторинга. Сказано, что данные обрабатываются «в автоматическом режиме с помощью алгоритмов машинного обучения». Решение о результатах сертификации тоже принимает машина. Специалисты Яндекса вмешиваются только в крайних случаях — если тестируемый не согласен с итогами проверки и желает их оспорить.

Возможно Yandex разработал свою систему, однако чаще всего даже крупные компании заказывают соответствующие услуги у прокторинг-провайдеров, используя готовые программные решения. Упомянутый выше Сбербанк в программах своего корпоративного университета контролирует прохождение экзаменов с помощью системы прокторинга Examus.

Другие компании обращаются к специализированным сервисам. Например, если нужно проверить с прокторингом профессиональные навыки (hard skills) бухгалтеров и финансовых специалистов, используют функционал и возможности digital-платформы Finassessment. Такое сотрудничество позволяет компаниям сэкономить тысячи долларов. Вот 2 примера.

Кейс #1. Проверка с прокторингом 12 главных бухгалтеров: где слабое звено?

Тут прокторинг сработал на уровне сдерживающего фактора — списывать нельзя. Всем пришлось полагаться на те знания, которыми они реально обладали. Это позволило получить максимально объективную оценку hard skills бухгалтеров. В итоге: нашли и устранили главные источники проблем; организовали дополнительное обучение именно тех, кто в нем нуждался.

Таким образом, этот пример показывает, что прокторинг эффективен при кадровых перестановках. Но не только. Он поможет грамотно провести оптимизацию штата. Об этом — в следующем кейсе.

Кейс #2. Проверка с прокторингом отдела казначейства: кого уволить, а кого оставить?

А если бы оценивали без прокторинга? Как минимум 6 сотрудников, пойманных на списывании, могли бы исказить данные о своей профпригодности. А это 10% (!) от общего количества участников. Как думаете, насколько пострадала бы достоверность такой оценки? И каким оказалось бы качество кадровых решений, принятых по итогам неконтролируемого тестирования.

Прокторинг и бизнес

Говоря о практике внедрения прокторинга в бизнес-процессы, можно констатировать следующее:

1. Примеры Яндекса и IPFM показывают, что крупные игроки чаще других применяют прокторинг, желая обеспечить максимальную достоверность результатов сертификации тысяч географически «разбросанных» студентов. Это справедливо применительно к Сбербанку и другим корпорациям, которые вкладывают большие средства в программы корпоративных университетов, поэтому на выходе хотят получить выпускников, которые бы обладали реальными знаниями, а не просто «прослушали курс».
2. Отдельные специалисты сталкиваются с прокторингом в ходе сдачи экзаменов на международные дипломы и сертификаты, что позволяет им и организаторам экзаменов экономить время и средства на проведении таких мероприятий и сосредоточиться на качестве.
3. Популярность дистанционного обучения только растет. Компании, испытывающие кадровый голод, запускают собственные корпоративные университеты, большинство из которых — дистанционные. Роль прокторинга в скором времени возрастет, поскольку этот инструмент позволяет контролировать качество дистанционного обучения.
4. Зачастую прокторинг целесообразно брать на вооружение для усиления hard skills специалистов компании, организации обучения и прочей работы с персоналом, даже если тестируемых не слишком много. Кейсы от Finassessment демонстрируют, что это могут быть ситуации, связанные с кадровыми перестановками и оптимизацией штата — в подобных случаях прокторинг помогает принимать взвешенные управленческие решения и экономить финансовые ресурсы.

Однако на данный момент нельзя сказать, что бизнес в полной мере использует потенциал этого инструмента. Остается надеяться, что в ближайшее время появятся новые кейсы об эффективном применении онлайн-прокторинга при решении насущных предпринимательских проблем.

Источник: hrtime.ru