Как понять, что обучение сработало как надо? После него сотрудники меняют поведение? Затраты окупаются в следующем квартале? Или оно бесшовно встраивается в систему развития, и у сотрудников нет проблем с применением полученных знаний?
Вместе с образовательным центром Verno, входящим в группу компаний red_mad_robot, разбираемся в методах оценки образовательных результатов и частых трудностях.
Комплексный подход Дональда Киркпатрика
Старейшая и самая цитируемая методика родом из 1950-х, которая, по сути, и не совсем методика. Киркпатрик не предлагает конкретного инструмента для оценки. Он выделяет четыре уровня образовательного результата, которые можно проанализировать с помощью качественных и количественных методов. Оценивать предлагается со стороны учащихся, организаторов обучения, а также заказчиков, если реализацией занимается провайдер.
1. Реакция учащихся
Что можно оценить: образовательный дизайн и контент, работу преподавателей (экспертов, ведущих, модераторов).
Как оценивать эффективность обучения
Способы оценки: прямые опросы, наблюдения и замеры, например, посещаемости, активности на занятиях, объёма выполненных заданий, доходимости до финала, удовлетворённости и готовности рекомендовать обучение коллегам (индексы NPS и CSI).
Первый уровень самый поверхностный. Он показывает, нравится ли учащимся программа и организация обучения, интересно ли учиться, полезно и сподручно ли всё устроено. Удобно, что так можно выловить и быстро исправить досадные недостатки. Но встречаются и противоречивые мнения. Ведущего курса могут одновременно назвать и слишком заумным, и недостаточно глубоким. Одному нравятся вебинары, другой не хочет тратить на них время, для третьего слишком много текста и т. д.
2. Научение
Что можно оценить: как учащиеся поняли материал, хорошо ли его усвоили, уверенно ли ориентируются в нём.
Способы оценки: тесты, индивидуальные и групповые задания, открытые вопросы и обсуждения, аналитические записки.
Тесты и опросы позволяют сделать «моментальный снимок» учащегося или группы. Но надёжным этот способ не назвать: результаты будут отличаться, если учащиеся плохо сфокусированы на тесте, потому что устали или торопятся. А вот по решениям задач и обсуждениям видно, готовы ли они применять знания, навыки и инструменты в работе. Также по результатам можно увидеть, подходящие ли выбраны задания и достаточно ли времени дано на освоение и отработку материала.
3. Изменение поведения
Что можно оценить: достигнуты ли образовательные цели, действуют ли сотрудники так, как планировалось, после завершения обучения.
Способы оценки: наблюдение и контроль выполнения рабочих задач, интервью, аттестация (ассессмент) или селф-ассессмент.
Наблюдения и замеры на этом уровне имеют смысл, если ведутся в динамике, иначе результаты обучения не с чем сравнить. На каком уровне учащиеся владели навыками раньше и как владеют сейчас? Какие индикаторы указывали на это тогда и указывают теперь?
4 уровня оценки эффективности обучения
Чтобы получить ответы, ещё до начала проектирования образования нужно определить, каким компетенциям мы будем учить, разложить их на уровни владения и каждому приписать поведенческие индикаторы — т. е. контрольный список кейсов, с которыми может справиться человек.
Дальше договориться, до какого уровня мы прокачиваем учащихся на программе и что хотим видеть в ближайшей зоне развития — через 3-6 месяцев рабочей практики. Трудоёмко, зато после будет понятно наверняка, получилось или нет.
4. Бизнес-результат
Что можно оценить: стала ли команда быстрее справляться с определёнными задачами? Увеличилось ли число людей, владеющих конкретными навыками на конкретном уровне? Улучшилось ли качество производства, уменьшилось ли количество ошибок? Стало ли больше работ, которые выполняет компания? Больше ли проектов и клиентов? Сократилась ли текучка сотрудников?
Улучшилась ли мобильность внутри компании?
Способы оценки: наблюдения и подсчёты на уровне подразделений и всей компании в динамике (матрицы компетенций, финансовая и HR-аналитика), отзывы клиентов.
Чтобы система сложилась, нужно построить структуру результатов сверху вниз — от верхнеуровневых целей до желаемых компетенций и их индикаторов. Должна получиться связка: цели компании → цели подразделения → цели обучения. Это карта, по которой сначала идёт провайдер, а затем её развивает тот, кто поддерживает обучение в компании — HR-служба, образовательное направление, руководители подразделений.
В дальнейшем модель Киркпатрика не раз изменяли и дорабатывали: например, модель CIPP (контекст, вводные, процесс, продукт) или модель CIRO (контекст, вводные, реакция, результат). Авторы этих подходов советуют внимательнее соотносить между собой:
- стратегию компании и потребности в обучении сотрудников,
- планы развития и доступные ресурсы,
- результаты обучения и поставленные цели.
Метод расчёта возврата вложений
Он добавляет классической модели Киркпатрика ещё один уровень. Его автор, экономист Джек Дж. Филлипс предложил оценивать образовательный эффект с помощью расчёта коэффициента ROI (Return on Investment) — т. е. зависимости между вложением в обучение и последующей выгодой.
В расходы включены затраты на организацию и производство образовательного продукта, а также стоимость отвлечения сотрудников от рабочих задач на время учёбы.
Вроде бы всё прозрачно: чем выше прибыль компании (а вместе с ней и ROI), тем эффективнее было обучение. Но есть нюанс: чтобы увидеть, как обучение повлияло на финансовый результат, нужно изолировать его от других факторов.
Простой пример: мы месяц учили менеджеров работать с потребностями клиентов и отвечать на возражения. Замерили квартальный ROI, он оказался выше предыдущих. Обучение проходило в конце года, а перед праздниками продажи обычно растут. А ещё руководство в это время как раз увеличило бюджет на маркетинг. Где тут эффект от обучения, а где — от сезонности и стимулирования продаж, трудно разобрать.
На это же в начале 1990-х обратил внимание психолог и специалист по обучению Роберт О. Бринкерхофф. По его мнению, не бывает автономного эффекта от обучения. Это лишь один из факторов, связанный с другими: со зрелостью рабочих процессов, налаженной коммуникацией, стилем руководства и т. д. Результаты от обучения не будут высокими, если в системе есть другие проблемы.
Чтобы выяснить, что влияет на образовательный эффект, Бринкерхофф предлагает метод положительных примеров. Нужно интервьюировать сотрудников, разделив на две фокус-группы, — наиболее и наименее успешных учащихся. Учащиеся сами оценивают пользу от обучения, отвечая на вопросы: «Насколько обучение изменило ваш подход к делу?», «В какой степени вы применяете новые знания/навыки в работе?». Дальше сотрудников каждой группы просят ответить подробнее:
- Насколько обучение помогает вам улучшить рабочие результаты?
- Что в компании помогает (помогло бы) вам успешно учиться и показывать высокие результаты? Что стоило бы поддерживать и укреплять?
- Что стоит изменить (улучшить), чтобы помочь вам достигать лучших результатов?
Теперь можно изучить опыт успешных учащихся и попробовать масштабировать его для всех сотрудников. Опыт менее успешных учащихся указывает на недостатки (например, нехватку своевременной обратной связи или слабую поддержку руководителя), которые полезно исправить.
Какие выводы можно сделать:
- Способа быстро оценить образовательную разницу «было–стало» ещё не придумали, и вряд ли он когда-нибудь появится.
- Маловероятно и то, что обучение может создать видимые изменения, если параллельно не работать над процессами, не налаживать и не укреплять коммуникацию.
- Организацию обучения (программу, материалы, форматы, работу ведущих) и глубину освоения материала оценить проще всего — с помощью опросов, наблюдения и диагностики.
- Для анализа более глубоких изменений (развитие сотрудников и подразделений, улучшение финансовых результатов) обучение нужно встроить в систему управления, использовать единую систему оценки компетенций, вести наблюдения и подсчёты в динамике.
Больше о том, как организовать обучение и работу команд, в телеграм-канале «Не мешайте людям работать».
Чтобы получить пробную консультацию по прокачке ваших ИТ-команд, пишите Паше Бунтману из Verno.
Авторы текста: Анастасия Зальцман, Артур Сахаров. Редактор: Татьяна Павлова. Автор иллюстраций: Дарья Щеголютина.
Источник: habr.com
Как оценить качество учебных программ
Эта модель оценки применима как к обучению в классе, так и к электронным программам.
Метрика №1: реакция на обучение
Что измеряет: уровень удовлетворенности, интереса и вовлеченности слушателей.
Кому предназначены результаты: менеджерам по обучению.
Цель оценки: отзывы участников тренинга. Метрика предназначена для выявления существенных проблем, а не для определения конечной эффективности обучения.
С ее помощью можно понять, что учащиеся думают об офлайн-тренинге или курсе электронного обучения. Также она позволяет оценить вовлеченность (насколько активно слушатели участвуют и вносят свой вклад в процесс) и релевантность (смогут ли они применить знания на рабочем месте).
Как оценить: с помощью опросов, форм обратной связи или анкет со шкалой удовлетворенности (от «плохо» до «отлично»). Они могут включать вопросы: «Насколько вы удовлетворены учебной программой?», «Чувствовали ли вы себя вовлеченными в процесс?» и «Был ли контент курса актуальным?».
Какую информацию дает эта метрика: с ее помощью вы получите важные данные о качестве курса (уровне преподавателя, материалах и другом контенте), сможете быстро внести изменения в программу.
Как владельцу компании решить основные задачи бизнеса: вывести компанию на новый уровень, усилить репутацию, трансформировать процессы?
Это можно сделать через усиление компетенций персонала и формирование кадрового резерва. Воспользуйтесь универсальным решением — готовым корпоративным университетом!
Подключайтесь к онлайн-платформе, на которой ваши сотрудники получат знания и умения, необходимые для профессиональной деятельности и карьерного роста.
Подробности и регистрация
Метрика №2: знания
Что измеряет: какие навыки приобрели участники обучения.
Кому предназначены результаты: супервайзерам, линейным менеджерам.
Цель оценки: подтвердить, что программа дала реальный измеряемый результат, оценить степень участия сотрудников в этом процессе.
Как оценить: перед началом и после окончания курса сравнивают уровни знаний и фиксируют произошедшие изменения. Задача — определить, действительно ли участники приобрели навыки, которые должны были получить.
Как правило, оценка состоит из двух частей:
- Письменного теста для измерения знаний и настроений.
- Теста для оценки навыков.
Какую информацию дает эта метрика: вы сможете определить, в чем обучение было успешным, а в чем — нет. Поймете, как повысить качество программы в будущем. Кроме того, выясните, каких результатов ждать на третьем уровне оценки, а именно изменений в поведении.
Метрика №3: изменение поведения
Что измеряет: используются ли навыки, полученные на курсе, в работе.
Кому предназначены результаты: руководителям.
Цель оценки: определить, повлияло ли обучение на рабочее поведение и производительность персонала.
Как оценить: при помощи наблюдения, оценки эффективности, интервью или опросов участников обучения, их непосредственных начальников, коллег, подчиненных и других лиц, которые могут быть заинтересованы в процессе изменения рабочего поведения. Желательно проводить измерение через несколько месяцев после окончания курса.
Какую информацию дает эта метрика: были ли полученные знания, навыки и видение в итоге перенесены на рабочее место. Если нет, метрика позволяет определить причины этого и внести коррективы. Например, знания были получены, но рабочий климат и условия не способствуют их применению на практике (начальник не считает их полезными или работник не уделил развитию достаточно времени).
Метрика №4: реальные результаты
Что измеряет: степень влияния обучения на бизнес-результаты.
Кому предназначены результаты: менеджерам отделов, руководителям, топ-менеджменту.
Цель оценки: подтвердить, что обучение дало желаемые результаты на уровне компании. Понять, оправданы ли ожидания всех заинтересованных бизнес-сторон.
Как оценить: ценность, за которую отвечают специалисты по обучению, определяется ожиданиями всех заинтересованных сторон. Поэтому метрику измеряют при помощи опроса всех, кто так или иначе влияет на общие результаты бизнеса.
Крайне важно, чтобы специалист по обучению и заинтересованные стороны могли вести переговоры — так первый сможет убедиться, что ожидания коллег реалистичны и достижимы с использованием имеющихся ресурсов.
Какую информацию дает эта метрика: помогает понять, как удовлетворить потребности в обучении, сосредоточив внимание на стратегических целях компании. «Книжная полка РШУ» — подкаст о классике мировой бизнес-литературы.
Слушайте обзоры книг от наших экспертов.
Слушайте Книжная полка РШУ на Яндекс.Музыке
Подпишитесь
на полезные статьи
Источник: uprav.ru
Как измерять эффективность обучения в онлайне?
Как оценить эффективность обучения онлайн? Вопрос, который пугает и мешает многим внедрить в свою работу онлайн-формат. В этой статье обсудим, почему такая проблема существует, зачем и как её решать.
Зачем оценивать эффективность обучения?
Если вы обучаете онлайн сотрудников и хотите понимать, насколько хорошо они изучили продукт.
Если вы обучаете онлайн партнёров и франчази и хотите быть уверены в том, что стандарты качества вашего бренда не будут нарушаться по незнанию.
Если вы создаёте платные образовательные онлайн-курсы и хотите понимать, насколько контент актуален и интересен аудитории.
Зачем оценивать эффективность обучения?
Если вы обучаете онлайн сотрудников и хотите понимать, насколько хорошо они изучили продукт.
Если вы обучаете онлайн партнёров и франчази и хотите быть уверены в том, что стандарты качества вашего бренда не будут нарушаться по незнанию.
Если вы создаёте платные образовательные онлайн-курсы и хотите понимать, насколько контент актуален и интересен аудитории.
В чём сложность отслеживания?
В чём сложность отслеживания?
- Отсутствие живого взаимодействия: трудно в моменте проверить, насколько понятен и эффективен материал.
5 способов оценить эффективность обучения
и материалов в онлайне
5 способов оценить эффективность обучения
и материалов в онлайне
Поставить конкретные цели обучения
Чем конкретнее, тем лучше. Целью обучения может стать конкретный навык или знание: например, умение написать код на Python или знание всех преимуществ вашего продукта.
Организовать проектное обучение
Проект также может стать целью обучения. Такой формат предполагает следующую схему: участник проходит обучение и либо в процессе, либо после получения всех знаний создаёт индивидуальный или групповой проект, применяя все полученные знания на практике. Например, на курсе программирования ученики могут создать сайт, а на курсе копирайтинга — написать статью.
Внедрить в программу тестирование
Всё как в школе:) Изучили тему, прошли по ней тест. В идеале тестирование должно быть внутри вашего курса прямо на платформе обучения. Если вы будете отдельно высылать участникам тесты на почту или в общий чат, мотивация и скорость их прохождения будут ниже.
Использовать разветвлённую образовательную траекторию
Разветвлённая образовательная траектория — система, которая позволяет настраивать блоки обучения так, чтобы переход от одного этапа к другому происходил не линейно, а с учётом результатов ученика. Например, если он не пройдёт тестирование, курс направит его в начало для повторения материала. Это более сложный процесс, доступный в разработке курсов в формате SCORM, о котором мы рассказывали здесь .
Создать курс на платформе, которая автоматически собирает статистику эффективности
Платформа для онлайн-обучения — это система, которая сохраняет и автоматизирует всю важную информацию: контент, программу и, что самое важное, статистику. Это удобный инструмент для создания онлайн курсов или курсов смешанного обучения. Пример — платформа We.Study .
Источник: we.study