Как оценить результативность учебной программы

На протяжении многих лет в международной практике профессионального обучения для оценки его эффективности используется модель Дональда Киркпатрика, названная в честь ее автора. Модель описывает четыре шага и, соответственно, уровня оценки результатов обучения:

1. Реакция. Оцените реакцию обучаемых на программу. Нравится ли им эта программа? Считают ли они ее полезной?
2. Степень усвоения. Протестируйте обучающихся. чтобы определить, удалось ли им в полной мере изучить основные принципы, а также приобрести необходимые навыки;
3. Поведение. Выясните, изменилось ли поведение обучаемых на рабочем месте благодаря обучению. Например, стали ли работники в отделе жалоб магазина более внимательны к недовольным покупателям;
4. Результаты. Определите, какие окончательные результаты были достигнуты в рамках изначально поставленных целей; снизилось ли число жалоб со стороны клиентов; уменьшились ли отходы производства; выполняются ли теперь производственные нормативы и т.д. Программа обучение может повлиять на реакции стажеров, повышение образовательного уровня и даже на поведение, но если никаких изменений не произошло, то следовательно обучение не решило своих задач. В таком случае проблема может корениться в самой программе обучения.

В конце 80-х – начале 90-х годов специалист по работе с человеческими ресурсами Дж. Филипс предложил ввести пятый уровень оценки: возврат на вложенный капитал (ВВК), который рассчитывается по формуле: ВВК = Финансовые результаты обучения / затраты на обучение При внешней простоте формулы реальная оценка осязаемых для организации результатов обучения трудна, т.к. сокращение затрат, сроков, улучшение качества и другие изменения, наступившие после обучения, могут быть связаны с самыми разными обстоятельствами 21 . Таким образом, как и в оценке предыдущего уровня, результаты самого обучения нужно изолировать от последствий действия других факторов. Для этого можно сравнить одни и те же производственные показатели для сотрудников, пошедших обучение, и тех, кто обучение не проходил (метод сравнения с контрольной группой). Еще один способ: провести анализ тенденции изменения интересующего нас показателя за год. Например, если число жалоб от клиентов снижалось в течение года, то их плавное снижение после учебного курса по работе с клиентами не обязательно связано с обучением; однако если после курса число жалоб стало значительно ниже и тенденция снижения продолжалась, то такое снижение можно считать именно результатом обучения. Как видно, оценка результатов обучения на пятом уровне оценки эффективности обучения требует особого внимания и усилий. Нужно решить, какие показатели деятельности организации будут оцениваться. Например, в разработках Группы стратегического управления (SMG) такие показатели, как:

снижение текучести кадров; рост производительности труда; рост удовлетворенности клиентов; рост количественных показателей производства и др. Далее нужно определить, какими способами будут выделены результаты именно обучения, которые затем должны быть переведены в финансовые показатели. Стоит отметить, что такую работу берут на себя лишь немногие отделы по работе с персоналом, однако именно им легче аргументировать необходимость затрат на обучение. Результаты профессионального обучения, в свою очередь, могут быть выражены в виде:

• роста прибыли;
• роста объемов продаж;
• роста производительности труда работников;
• увеличения потенциала сотрудников и всего предприятия в целом;
• снижения затрат на обеспечение функционирования предприятия и т.д.

Оценка эффективности профессионального обучения является важнейшим моментом управления развитием персонала. Поскольку затраты на обучение рассматриваются как капиталовложения в человеческий ресурс, они должны принести организации отдачу в виде повышения эффективности ее деятельности, роста прибыли, более полной реализации ее целей. Расходы материальных, временных и человеческих ресурсов, связанные с подготовкой и реализацией профессионального обучения, оправданы лишь тогда, когда обучение устраняет тот дефицит знаний и навыков, который был выявлен в результате анализа потребностей в обучении. В промышленно развитых странах средний работодатель направляет на эти цели приблизительно 4% бюджета, выделяемого на обучение и развитие персонала. Оценка эффективности конкретной программы профессионального обучения как определенной суммы конечной прибыли является достаточно сложной, поскольку далеко не всегда удается выделить из множества других влияние именно этого фактора на конечные результаты деятельности всей организации. Поэтому эффективность программы может быть оценена по степени достижения стоявших перед ней целей. В данном случае определяющую роль играет процесс формулировки целей конкретной программы профессионального обучения. Сравнение возможностей и характеристик различных уровней оценки профессионального обучения представлено на рисунке 6.1. Как видно из рисунка, самая частая и наименее сложна разновидность оценки результатов – оценка реакции, в то же время она хуже всего отражает результаты профессионального обучения для компании и является наименее значимой. Наиболее важная разновидность оценки – оценка возврата на вложенный капитал, она же наиболее сложна и применяется реже всего. В этом проявляется парадокс оценки эффективности профессионального обучения: чаще всего оцениваются те результаты, которые дают наименее значимую информацию о долгосрочных результатах. Это противоречие связано с другим парадоксом профессионального обучения – парадоксом заказчика и участника: прямым потребителем обучения являются его участники, а конечным потребителем – организация. Поэтому эффективность обучения участников еще не означает эффективность в целом для компании как конечного заказчика-пользователя. Практический вывод: необходимо дополнять более «быстрые и простые» виды оценки отслеживанием конкретных результатов на рабочих местах. РЕАКЦИЯ УСВОЕНИЕПОВЕДЕНИЕРЕЗУЛЬТАТВВК

Значимость оценочной информации низкаявысокая Степень отражения результатов слабаясильнаяЧастота использования часторедко Трудность оценки легкотрудноРис. 6.1. Особенности уровней оценки профессионального обучения На самом деле зачастую оценка эффективности профессионального обучения ограничивается оценкой реакции, поскольку, как уже было сказано, чем выше уровень оценки по шкале Киркпатрика, тем более сложной и емкой по времени становится оценка. Оценки эффективности профессионального обучения делятся на послетренинговые и долгосрочные. Первые измеряют эффект учебной программы непосредственно после ее завершения, вторые – после истечения определенного промежутка времени. Чтобы получить всестороннюю картину эффективности проведенного обучения, целесообразно использовать как послетренинговую, так и долгосрочную ее оценку. Последняя дает возможность оценить долгосрочный эффект учебной программы. Если обучение направлено на формирование определенного типа мышления и поведения сотрудников, а не на выработку конкретных профессиональных навыков, то оценка его эффективности представляется еще более сложной задачей, поскольку результаты таких программ рассчитаны на долговременный период и связаны с поведением и сознанием людей, которые не поддаются точной оценке. В подобных случаях можно использовать следующие методы:

• профессиональные и психологические тесты, проводимые до и после реализации программы обучения и показывающие как изменились знания и образ мыслей обучающихся;
• наблюдение за реакцией сотрудников в процессе обучения;
• оценка эффективности программы самими обучающимися с помощью анкетирования, опросов, обсуждений, бесед.

Результаты оценки эффективности проведенного обучения должны быть обязательно доведены до сведения как самих обученных, так и их непосредственным руководителям и высшему руководству компании. Оценка эффективности профессионального обучения завершает цикл обучения организации и возвращает ее к исходному этапу. В идеале оценка должна подтвердить целесообразность проведения профессионального обучения и продемонстрировать, каких результатов для организации оно позволило достичь. Эта информация в дальнейшем должна быть проанализирована и использована при подготовке и проведении аналогичных учебных программ в будущем. Такая практика позволяет постоянно работать над повышением эффективности обучения и устранять причины его неэффективности.

Как оценивать эффективность обучения

4 уровня оценки эффективности обучения

Источник: studfile.net

Методика оценки результативности реализации образовательной программы

Данная методика предполагает определение педагогом уровня освоения учащимися образовательной программы на основе заполнения информационной карты и представляет собой вариант методики «Информационная карта освоения учащимися образовательной программы»

Педагог по итогам анализа различных диагностических методик (контрольных работ, зачетов, учебных тестов, анкетирования, анализа творческих работ и т.д.), а также участия детей в смотрах, соревнованиях, фестивалях, олимпиадах, концертах и др., в массовых мероприятиях оценивает по 5-балльной шкале освоение учащимися программы по параметрам, указанным в бланке карты.

После оценки каждого параметра результативности освоения программы, все баллы суммируются. На основе общей суммы баллов определяется общий уровень освоения программы за учебный год в соответствии с нижеприведенной шкалой.

Информационная карта может быть использована для оценивания уровня освоения каждой темы, определенного этапа программы или программы в целом. Применение методики в долгосрочном периоде времени позволит педагогу и родителям увидеть динамику личностного развития каждого ребенка в отдельности и детского коллектива в целом.

Если по данной программе обучается сразу несколько групп детей, педагог имеет возможность провести сравнительный анализ уровня освоения программы (темы занятия) между такими группами.

Постоянное использование информационной карты поможет педагогу проводить мониторинг результативности образовательного процесса.

На основе анализа информационных карт, заполненных педагогом, (родителями) дается общая характеристика уровня освоения программы ребенком (учебной группой).

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:

Источник: studopedia.ru

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта

Разработка образовательного проекта требует тщательного подхода. Чтобы оценить его потенциальную или реальную пользу, необходимо полагаться на анализ метрик эффективности. Они позволяют понять, насколько востребована программа или курс, достигают ли студенты своих целей и как развивается онлайн-школа.

Руководитель отдела управления продуктами Нетологии Дарья Панфилова рассказала о главных метриках, которыми необходимо руководствоваться.

Дарья Панфилова

Руководитель отдела управления продуктами Нетологии

Основные метрики образовательного проекта

Доля студентов, которые с помощью обучения достигли поставленных перед собой целей. Это самая главная метрика для оценки эффективности образовательного проекта. Чтобы измерить пользу курса или программы, необходимо понять, насколько студенты приблизились к поставленной перед собой цели. Для этого нужно узнать о ней у слушателей в начале обучения, а потом измерить прогресс её достижения и актуальность.

Обычно студенты ставят перед собой следующие цели:

• найти работу по новой профессии;
• развиваться в текущей профессии;
• найти новые проекты или попробовать фриланс;
• получить возможность саморазвития;
• создать или усилить портфолио.

Главная цель аудитории Нетологии — смена работы или карьерный рост. Если процент трудоустроенных выпускников высокий, значит, наши продукты эффективны и мы идём верным путём.

COR (Completion Rate) — это процент студентов, которые успешно завершили обучение. Его измеряют в конце курса. Чтобы посчитать доходимость до финала, нужно взять число тех, кто получил диплом, и поделить его на количество студентов на старте.

Если не брать в расчёт форс-мажоры, студенты бросают обучение по двум причинам: учиться слишком сложно или учиться слишком легко. Сложности возникают, когда учащиеся не понимают материал, не справляются со слишком объёмными домашними заданиями и чувствуют свою несостоятельность. Лёгкость обучения становится препятствием, когда материалы кажутся поверхностными и очевидными, слушатели не понимают, как применять их на практике, и не хотят тратить на обучение время.

CSAT (Customer Satisfaction) — индекс удовлетворённости пользователей. Его можно измерять в общем, но эффективнее отслеживать качество на маленьких этапах взаимодействия и по конкретным направлениям. CSAT позволяет узнать, какие элементы курса получились лучше всего, а какие стоит доработать.

Так, индекс удовлетворённости поможет узнать, насколько высоко студенты оценивают форматы теоретических и практических занятий, а также домашних заданий, качество образовательного контента и работу экспертов, сопровождение кураторами и тьюторами.

CSAT представляет собой оценку любого взаимодействия пользователя с сервисом, товаром или услугой. Шкала может быть разной: от 1 до 10 или ответ в формате «да/нет». В Нетологии используется оценка с помощью эмоджи. Перед студентом есть плашка с пятью лицами, выражающими разные эмоции. Он должен выбрать ту, которая лучше отражает его ощущения.

CSAT есть смысл собирать после каждого взаимодействия со студентом: проведённого вебинара, завершённого модуля курса, общения со службой продаж.

Дополнительные метрики образовательного проекта

Не стоит ограничиваться только общими метриками. Для лучшего понимания эффективности программы или курса советуем использовать следующие дополнительные, но важные.

Возврат денег за курс. Если курс не соответствует ожиданиям студента настолько, что он оформляет возврат денег, стоит ещё раз проанализировать целевую аудиторию и причины, по которым человек попал на неподходящий ему курс. Нужно подумать, что могло повлиять на решение отказаться от обучения — и что следует учесть, чтобы сократить возвраты в будущем. Особое внимание этой метрике стоит уделить, если показатель высокий или растёт.

Отток студентов. Студенты могут бросить обучение в самом начале, на экваторе или ближе к концу. Эта метрика позволяет отследить, на каком этапе студенты сталкиваются со сложностями — и проанализировать причины. Стоить обратить внимание на «тихие возвраты» — в отличие от обычных возвратов, эти студенты не скажут, что не так, они просто перестают учиться.

Нагрузка в процессе обучения. Метрика отражает, насколько тяжело студентам может быть в процессе обучения. Этот показатель измеряется тем, какая у курса плановая нагрузка, сколько времени студенты тратят на обучение фактически и есть ли разница между фактом и планом.

Скорость выполнения практических заданий. Помогает выяснить, на какие задачи студент тратит день-два, а на какие — неделю-две, и скорректировать перепады нагрузки.

Скорость обратной связи от экспертов и оценка их качества. Для измерения смотрим, как быстро эксперт проверяет домашние задания и отвечает на вопросы студентов, насколько студентам понравился ответ эксперта.

Скорость обратной связи от техподдержки. То, на что студенты всегда обращают внимание. Это может повлиять на отношение к конкретному курсу и школе в целом.

NPS (Net Promoter Score) — индекс лояльности пользователей. Он позволяет оценить, насколько пользователь готов порекомендовать нас своим друзьям и знакомым.

Для подсчёта NPS необходимо попросить выпускников оценить по шкале от 1 до 10, с какой вероятностью они порекомендует сервис, товар или услугу друзьям или знакомым. Метрика рассчитывается как разница между долей сторонников и критиков: от количества сторонников — тех, кто выбрал цифры от 9 до 10, — отнимаем количество критиков — выбравших цифры от 1 до 6. Нейтрально настроенных к обучению выпускников, которые отметили 7‒8, в расчёт не берём.

Его измеряют примерно на середине обучения.

курс

Запуск онлайн-курсов

Узнать больше

• Научитесь с нуля запускать востребованные онлайн-курсы
• Отработаете реальные задачи руководителя онлайн-проекта
• Сможете продюсировать проекты уже через 3,5 месяца обучения

Основные бизнес-метрики образовательного проекта

У студентов и продюсеров с методистами свои критерии эффективности. Но важно учитывать ещё и бизнес-показатели. Средний чек, количество покупок, количество новых пользователей, количество людей, пришедших по рекомендациям, и количество людей, которые нас порекомендовали, — этими метриками пользуются компании самых разных направлений. Разберём, как можно влиять на них в образовательном проекте.

Средний чек. Повысить средний чек можно, например, за счёт увеличения ценности предложения — дополнительных опций, включённых в стоимость, или за счёт комплексного предложения, или за счёт гибких тарифов. Например, сжатый формат интенсива или факультативные занятия с ментором.

Добавив ценности, можно обусловить разницу в цене по отношению к конкурентам.

LTV (Lifetime Value) — количество покупок на пользователя. Увеличить этот показатель поможет практика допродаж — при покупке курса можно предложить студенту дополнительный модуль по сниженной цене. Хорошо работают и рекомендательные системы, когда клиент получает скидку на продукт, если его друзья или знакомые совершают покупки в той же компании.

В образовательном проекте рост количества покупок — долгий процесс. Новый клиент не всегда готов покупать много и сразу. Часто требуется постепенный прогрев аудитории полезным контентом: потенциальный студент знакомится с брендом, читает email-рассылки, интересуется отзывами и лишь потом совершает покупку.

Количество новых пользователей. Новые пользователи появляются благодаря конверсии из числа заявок, а заявки — это конверсия из трафика с сайта и других каналов. То есть улучшить этот показатель можно, обеспечив бóльшую конверсию из трафика в заявки. В этом поможет усиленная работа отдела продаж, дополнительные скидки, промокоды и акции.

Количество людей, пришедших по рекомендациям и количество людей, которые вас порекомендовали. Эта метрика показывает, насколько в целом студент удовлетворён продуктом, насколько ему понравилось обучение.Тут важно смотреть не на желание порекомендовать, а на реальные рекомендации — и на каком этапе обучения они возникли.

На количество людей, пришедших по рекомендациям, влияют и брендовые активности: кто-то от кого-то где-то слышал, что Нетология — супер. Также тут хорошо может сработать реферальная программа — когда человек может получить скидку на оплату курса, перейдя по специальной ссылке от нынешнего студента или выпускника школы.

Ключевые правила работы с метриками

При работе с метриками необходимо соблюдать три главных правила:

Собирайте данные регулярно. Ни одна из метрик не даст нужной информации, если проводить исследования от случая к случаю. Важно отслеживать динамику и смотреть, как меняются показатели. Постоянный сбор обратной связи и своевременный мониторинг ситуации во время обучения помогут избежать случаев, когда студенты в финале обучения сообщают, что с курсом что-то не так. К тому моменту менять что-то будет уже поздно.

Учитывайте, что любая метрика должна вести к увеличению прибыли. Или чему-то осязаемому. Рекомендуем в деньгах измерять каждую метрику в связке с потенциальными выгодами. Важна одинаково тщательная работа и со старой, и с новой базой клиентов, в частности, с помощью дополнительной монетизации продукта, реферальной программы, новых бизнес-моделей. Например, можно предложить тем, кто сейчас учится, занятия с менторами, дополнительные домашние задания по какой-то теме или какие-то бонусы за рекомендации.

Используйте данные для решения судьбы программы или курса. Исследование обратной связи и метрик должно помочь с решением о том, убрать курс, оставить его в неизменном виде или поменять его формат, части его компонентов и промежуток между наборами.

Читать также

Как определить качество онлайн-курса и создать собственную систему оценки образовательного продукта на основе данных

Рост, активность и монетизация: что такое бизнес-метрики и как их использовать для развития компании

Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.

Дарья Панфилова

Руководитель отдела управления продуктами Нетологии

Источник: netology.ru