Методы оценки результативности программы

В настоящее время системный анализ содержит уже широкий спектр разнообразных методов, которые можно объединить в следующие группы: эвристическое программирование, методы аналогий, аналитические методы и имитационное моделирование.

§ Методы эвристического программирования основаны на принципах анализа деятельности человека. Среди методов этой группы значительную роль играют такие как метод экспертных оценок, метод мозговой атаки и обмена мнениями и другие, использующие ту или иную форму обобщения совокупности и индивидуальных представлений некоторой группы специалистов (экспертов) по исследуемой проблеме. Достоинством этого метода является простота и доступность. Основной же недостаток заключается в том, что чаще всего не удается определить уровень достоверности экспертизы.

§ Методы аналогий включают, прежде всего, так называемые бионические аспекты. В этом случае биологическую систему рассматривают, как прототип системотехнического комплекса, что позволяет использовать опыт, накопленный живой природой в процессе длительной эволюции.

Методы оценки эффективности инвестиции

§ Метод имитационного моделирования занимается процессом формирования модели реальной системы и проведением на этой модели экспериментов с целью выявления свойств системы и путей её совершенствования или эффективного использования. Но разработка хорошей имитационной модели часто обходится очень дорого и требует значительных затрат времени большой группы высококвалифицированных специалистов, что в данном случае не приемлемо.

§ Аналитические методы, используемые в системном анализе, весьма разнообразны. Используются практически все математические схемы исследования операций и методы теории принятия решений. Аналитический метод, основываясь на целях и критериях предпочтения, полученных в результате экспертного оценивания, позволяет, используя математический аппарат теории принятия решений при многих критериях предпочтения и замещения в условиях неопределённости, решить поставленную задачу.

Учитывая вышеприведенные достоинства и недостатки каждого метода, целесообразно дать оценку эффективности проекта с помощью метода экспертной оценки, а также использовать метод аналогий.

Метод экспертной оценки, будет использоваться в качестве помощи при определении важности целей, показателей эффективности, критериев и предпочтений. Основная идея этого метода состоит в том, чтобы использовать интеллект специалистов, их способность искать и находить решения слабо формализованных задач.

Метод аналогий позволит использовать лучшие характеристики прототипа.

Для того чтобы функционирование программы осуществлялось наиболее эффективно, требуется спроектировать те характеристики и с учетом тех факторов, которые обеспечат приемлемое совершенство программы. Для этого сформируем обобщенный показатель эффективности программы, составив группу экспертов.

Источник: studbooks.net

Методы оценки результативности

Методы оценки результативности программы

В данной статье рассматриваются вопросы, связанные различными аспектами оценки результативности и эффективности образовательных программ, реализуемых в сетевой форме. Рассматриваются различные определения понятия «эффективность», проводится анализ различных экспертно-аналитических методов для оценки эффективности и результативности.

Наиболее предпочтительным является построение сбалансированной системы показателей, которая позволяет провести комплексную оценку каждой сетевой образовательной программы, оценить ее для разных заинтересованных сторон, определить влияния на финансовые показатели деятельности организации, удовлетворенность потребителей, на качество подготовки выпускников. В качестве инструментария при формировании системы показателей использован метод анализа иерархий Т. Саати. В статье вводятся две иерархические системы показателей оценки результативности и эффективности, критерии и шкалы для каждого показателя. Предлагаются два решающих правила для определения, можно ли признать конкретную сетевую программу результативной и эффективной.

решающее правило
метод анализа иерархий
сбалансированная система показателей
результативность
‘эффективность
сетевая форма реализации образовательных программ

1. Бадеева Е.А. Университетское планирование в рамках процессного подхода[Электронный ресурс]. – Режим доступа:http://www.rae.ru/monographs/169(дата обращения: 12.11.2013).

2. Гаврилов С.И., Гусева А.И., Воронцова А.Н. Инструментарий для оценки качества информационно-образовательных ресурсов// Аудит и финансовый анализ, 2010. — №6. — С. 353-358

3. Киреев В.С. Метод иерархий Саати в системе оценки инновационности образовательных проектов// Программные продукты и системы, 2011. — № 4. – С. 188-190

4. Постановление Правительства России от 16 марта 2013 г. № 211 «О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров»[Электронный ресурс]. – Режим доступа: http://government.ru/docs/818(дата обращения: 12.11.2013).

5. Программа конкурентоспособности Национального исследовательского ядерного университета «МИФИ»[Электронный ресурс]. – Режим доступа: http://www.mephi.ru/about/competitiveness (дата обращения: 12.11.2013).

6. Саати Т.Л. Принятие решений при зависимостях и обратных связях. Аналитические сети / Пер.с англ.- М.: Книжный дом «Либроком», 2009.

7. Федеральный закон Российской Федерации от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации // Российская газета, 31 декабря 2012 г, федеральный выпуск № 5976

Переход к новой версии Закона об образовании расширяет возможности по конкурентоспособности отечественных высших учебных заведений [4, 7]. Обучение студентов по совместных образовательных программ с другими зарубежными университетами, развитие международной академической мобильности для студентов и преподавателей вузов становится доступным благодаря введению сетевой формы реализации образовательных программ.

При использовании такой новой формы всегда возникает вопрос, как оценить эффективность сетевой образовательной программы

Национальный исследовательский ядерный университет «МИФИ» (НИЯУ МИФИ), как университет, победивший в открытом конкурсе на получение государственной поддержки для повышения своей конкурентоспособности и вхождения к 2020 г. в сто лучших университетов мира [5], приступил к активному формированию нормативно-методической базы для реализации образовательных программ в сетевой форме.

В этой связи, разработка методики выявления наличия и оценки эффективности и результативности применения сетевых форм реализации образовательных программ является особо актуальным с точки зрения повышения конкурентоспособности не только НИЯУ МИФИ, но и всего отечественного высшего образования.

Понятия «эффективность» и «результативность»

В современной литературе существует различие между понятиями «эффективность» и «результативность»[4]. В самом общем виде эти различия формулируются следующим образом:

• результативность отражает степень достижения запланированного результата;
• эффективность показывает отношение полученных результатов кзатратам времени, финансовых идругих ресурсов для их достижения.

Как правило, для оценки подобных понятий используются экпертно-аналитические методы. В этом случае, аналитическим путем, на основе системного анализа, выявляется наборпоказателей, с помощью которого может проводится оценивание какого-либо свойства, вырабатывается система шкал оценивания и сами критерии оценки.

Экспертным путем находится согласованные оценки по значимости (весу) каждого показателя, определяются пороговые допустимые значения для показателей, формируется итоговая целевая функция для оценки.

Анализ, выбор и обоснование экспертно–аналитических методов оценки эффективности и результативности применения сетевых форм реализации образовательных программ

Оценка результативности образовательной программы включает анализ достижения плановых значений показателей образовательного процесса. Для этого используется количественная методика оценки, которая включает:

• оценку результативности выполнения плана работ по качеству реализации программы.
• оценку результативности достижения целей программы.

Оценка результативности достижения целей образовательной программы позволит определить действия, необходимые для планирования улучшений, корректирующих либо предупреждающих действий для повышения качества образовательных услуг и достижения целей.

Если в основе оценки результативности образовательной программы лежит набор индикаторов, значение которых оценивается по двоичной шкале [0,1], то результативность выполнения плана работ по реализации сетевой образовательной программы может быть оценена по формуле:

n — количество целевых индикаторов;

xi — планируемое значение i-го целевого индикатора;

xфактi- фактическая количественная оценка i-го целевого индикатора.

Более сложным является вопрос оценки эффективности. Попытаемся исследовать понятие исуществующие экспертно-аналитические методы оценки эффективности. В табл. 1 приведены различные определения понятия эффективности

Табл. 1. Определение понятия эффективности

ГОСТ Р ИСО 9000-2008

связь между достигнутым результатом ииспользованными ресурсами

Терминологический словарь вобласти управления качеством ВПО иСПО

· степень реализации запланированной деятельности идостижения запланированы результатов

· связь между достигнутым результатом и использованными ресурсами

Современный экономический словарь

· относительный эффект, результативность процесса, операции, проекта, определяемые как отношение эффекта, результата кзатратам, расходам, обусловившим, обеспечившим его получение

По эффектом понимается достигаемый результат вего материальном, денежном, социальном выражении

Большая советская энциклопедия

экономическая эффективность — отношение между получаемыми результатами производства (продукцией иматериальными услугами), содной стороны, изатратами труда исредств производства – с другой

Большой экономический словарь

· результативность процесса, операции, проекта, определяемая как отношение эффекта, результата кзатратам, обусловившим его получение

Экономика иправо: словарь-справочник

· результативность процесса, операции, проекта, определяемая как отношение эффекта, результата кзатратам, обусловившим его получение

Таким образом,под эффективностьюпонимается характеристика качества системы сточки зрения соотношения затрат ирезультатов ее функционирования.

Рассмотрим наиболее часто используемые методов оценки эффективности, представленные в [1], и возможности их дальнейшего использования к оценке сетевой формы реализации образовательных программ.

1. Оценка эффективности программы может быть проведена на основе выгод от ее внедрения, сертификации и функционирования. В этом случае проводится качественное сравнение запланированных и достигнутых результатов и исследование базируется на оценках представителей университета, которые носят субъективный характер и могут быть умышленно искажены.

2. Определение эффективности программы возможно на основе установления причинно-следственной связи между внедрением программы и экономическими показателями деятельности организации. В этом случае экономическая эффективность может определена, как разность между результатами и затратами или как отношение между этими величинами. Другой метод возможность вычислить эффективность как разность затрат до и после внедрения какого-либо мероприятия или набора мероприятий. В любом случае, такой подход является ограниченным, так как получение экономической выгоды не является основой деятельности для государственных учебных заведений.

3. Третья группа методов дает возможность оценить эффективность образовательной программы на основе индекса удовлетворенности потребителей. В рамках такого исследования выявляется эмпирическая взаимосвязь удовлетворенности потребителя иэкономических показателей деятельности организации. В данном случае проводится сбор данных удовлетворенности потребителей образовательных услуг университета, на основе которых может быть проведенаоценка эффективности сетевой образовательной программы. Нам представляется, что подобные исследования имеют чрезмерно узкий характер и могут оценить лишь один из аспектов реализации сетевых образовательных программ.

4. Оценка эффективности сетевых образовательныхпрограмм возможна на основе анализа добавленной стоимости (ДС). В этом случае проводится анализ деятельности и бизнес-процессов вуза сцелью определения размера стоимости, добавляемой врезультате совершения определенных операций ипроцессов, атакже полезности услуг по отношению ких потребителям. ДС может рассчитываться как отношение добавленной бизнес-процессом ценности для конечного потребителя к добавленной этим жебизнес-процессом стоимости для конечного потребителя.

5. К пятой группе методов относится оценка эффективности на основе сбалансированной системы показателей (ССП).Использование ССП дает возможность оценить эффективность сетевой образовательной программы для разных заинтересованных сторон: влияния на финансовые показатели деятельности организации, удовлетворенность потребителей, влияние на качество подготовки выпускников.

Исследование существующих методов оценки эффективности образовательных программ, позволяет сделать вывод отом, что наиболее предпочтительным подходом при оценке эффективности образовательной программы является метод на основе ССП, который дает возможность контролировать текущее состояние истратегическое развитие данного вида образовательных услуг.

Для выбора показателей и построения из них сбалансированной системы можно использовать многокритериальной оптимизации — метод анализа иерархий (МАИ)Т. Саати [6], который хорошо зарекомендовал себя в самых разных областях [2, 3]. МАИ дает возможность сформировать иерархию показателей, определить шкалы и критерии оценки результативности и эффективности, определит значимость (вес) каждого показателя.

Система показателей, шкалы и критерии оценки эффективности и результативности реализации образовательных программ в сетевой форме

По результатам проведенного анализа методов оценки результативности и особенностей сетевой формы реализации образовательных программ была сформирована следующая иерархияукрупненных групп показателейдля оценки результативности и эффективности (рис. 1).

Рис. 1. Иерархия укрупненных групп показателей для оценки результативности и эффективности сетевых образовательных программ

В данном случае, при выделении показателей были учтены факторы, влияющие на качество подготовки кадров высшего профессионального образования в части:

• подготовки квалифицированных кадров для приоритетных секторов отраслевой и региональной экономики и рынка труда;
• повышения качества образовательных программ по приоритетным направлениям отраслевого, межотраслевого и регионального развития в соответствии с международными стандартами;
• развития прикладных исследований для нужд предприятий отрасли и региона.

По результатам проведенного анализа особенностей сетевых образовательных программ была сформирована следующая иерархия показателей и индикаторов.На верхнем уровне иерархии всего две группы укрупненных целевых индикаторов и показателей.

• Достижение целей реализации сетевых программ
• Оценка качества реализации программ.

В состав этих двух групп входят показатели и индикаторы, представленные на рис. 2.

Рис. 2. Показатели и индикаторы для оценки результативности

Шкалы и значимость индикаторов и показателей оценки, полученные с помощью экспертных оценок и согласованные между собой, приведены в табл. 2.

Табл. 2.Иерархическая система показателей для оценки результативности сетевых образовательных программ

ДОСТИЖЕНИЕ ЦЕЛЕЙ РЕАЛИЗАЦИИ СЕТЕВЫХ ПРОГРАММ

Источник: science-education.ru

«Диагностика результативности реализации дополнительной образовательной (общеразвивающей) программы»
методическая разработка

Цель: ориентирование педагогов дополнительного образования в методиках оценки различных видов результатов дополнительного образования (индивидуальных: предметных, метапредметных, личностных).

Скачать:

ВложениеРазмер

«Диагностика результативности реализации дополнительной образовательной (общеразвивающей) программы»	24.35 КБ

Предварительный просмотр:

«Диагностика результативности реализации дополнительной образовательной (общеразвивающей) программы»

Цель : ориентирование педагогов дополнительного образования в методиках оценки различных видов результатов дополнительного образования (индивидуальных: предметных, метапредметных, личностных).

В современном образовании система оценки индивидуальных результатов претерпела значительные изменения.

В педагогической теории, методики нормативной практике разработки образовательных стандартов были обозначены различия между предметными, метапредметными и личностными результатами.

Получил распространение компетентностный подход, предполагающий качественную оценку достигаемых результатов, ориентацию на достижение педагогических эффектов использования образовательного опыта для решения жизненных проблем в различных областях деятельности.

В то же время во всех системах образования, включая дополнительное, в настоящее время сохраняется и традиционная система оценивания знаний, умений, навыков.

Классификация образовательных результатов.

Знания, умения, навыки, опыт решения проблем творческой деятельности, система ценностей, усвоенных в рамках изучения отдельной программы

Метапредметные (надпредметные) результаты

Освоенные на базе одной программы способы деятельности, применимые как в рамках образовательного процесса, так и при решении проблем в реальных жизненных ситуациях.

Индивидуальные достижения в освоении программы определенной направленности, ценности и мотивы образовательной деятельности, самооценка образовательного опыта, в том числе уровня образованности (функциональной грамотности, допрофессиональной и общекультурной компетентности), готовности к решению социально и личностно значимых проблем.

Методика оценки предметных результатов освоения ДООП.

Разрабатывая программы оценки индивидуальных образовательных результатов необходимо ориентироваться на получение информации о том, «что именно может сделать ученик, успешно освоивший ту или иную область деятельности, какие познавательные, предметные и метапредметные умения у него при этом формируются»

Для разработки методик оценки предметных результатов освоения ДООП рекомендуется использовать конструктор предметных заданий. Его использование позволит учесть современные требования к проектированию программ оценки предметных результатов.

Конструктор предметных заданий (Е.И. Казакова)

Элемент описания результата

Форма представления результата

Учащийся может дать определения ключевых понятий образовательной деятельности (на репродуктивном или продуктивном уровне)

Тест (закрытый, открытый)

Законы и правила

Учащийся может сформулировать закон (правила), определить область его применения;

назвать следствия, полученные на основе закона (правила)

Тест (закрытый, открытый)

Методы решения задач

Учащийся может решить задачу (выполнить задание):

-на репродуктивном уровне (связанную с освоением алгоритма; решение по образцу);

-на творческом уровне (решение в условиях частичной или полной неопределенности: условия, метода, области применения и т.д.)

Задания по образцу;

Учащийся знает основные факты, связанные с историей предметной области

Тест (закрытый, открытый)

Учащийся может сформулировать проблемы и гипотезы находящиеся в центре внимания современной науки, культуры

Тест (закрытый, открытый)

Пример разработанной методики оценки предметных результатов освоения ДООП художественно-эстетической направленности (изобразительное искусство).

Критерии оценки работ учащихся:

Методика оценки метапредметных результатов освоения ДООП.

Сложность оценки метапредметных результатов в самом определении этих умений. Целесообразно на уровне учреждения определить состав умений, на формирование которых потенциально могут быть направлены ДООП различной направленности.

Примерный список (согласованных между педагогами) метапредметных умений учреждения дополнительного образования:

1. самостоятельно или при консультационной поддержке педагога извлекать и структурировать информацию из различных источников;
2. ориентироваться в правах и обязанностях, как члена коллектива;
3. выполнять задания по инструкции педагога;
4. руководить группой при выполнении учебной, творческой задачи;
5. участвовать в групповой работе в качестве исполнителя;
6. использовать полученные знания, умения, навыки для выполнения самостоятельней работы;
7. представлять продукты творческой деятельности на выставке, конкурсе и т д.
8. оценивать достоинства и недостатки собственной работы;
9. выступать с результатами своих работ и анализировать работы своих товарищей;
10. отбирать материалы и инструменты для творческой работы;
11. оформлять результаты свой деятельности;
12. работать в различных группах (макро-микро);
13. владеть разнообразными средствами творческой работы;
14. владеть навыками безопасности при работе с инструментами, материалами, механизмами;

Формы оценки метапредметных результатов освоения ДООП:

Педагогическое наблюдение — метод, с помощью которого осуществляется целенаправленное восприятие какого-либо педагогического явления для получения конкретных фактических данных. Оно не влияет на изучаемые процессы, не изменяет условий, в которых они протекают.

Анкетирование- метод сбора материала с помощью специально разработанных опросников, называемых анкетами. (Методика «Профиль умений»).

Проверочные задания : тесты, ситуационные задачи, практические самостоятельные задания; участие в выставках и конкурсах, участие в концертной программе и соревнованиях и т.д.

Методика оценки личностных результатов освоения ДООП.

Список показателей личностных качеств обучающегося и его оценка.

Степень выраженности оцениваемого качества

способность переносить (выдержать) известные нагрузки в течении определённого времени

Терпения хватает меньше чем на ½ занятия.

Терпения хватает больше чем на ½ занятия.

Терпения хватает на все занятие.

способность активно побуждать себя к практическим действиям

Волевые усилия ребёнка побуждаются извне.

Иногда – самим ребёнком.

Всегда – самим ребёнком

умение контролировать свои поступки(приводить к должному свои действия)

Ребёнок постоянно находится под воздействием контроля из вне.

Периодически контролирует себя сам.

Постоянно контролирует себя сам.

способность оценивать себя адекватно реальным достижениям

Интерес к занятиям в детском объединении

осознанное участие ребёнка в освоении ДООП

Интерес к занятиям продиктован ребёнку из вне.

Интерес периодически поддерживается самим ребёнком.

Интерес постоянно поддерживается ребёнком самостоятельно.

Конфликтность (отношение ребёнка к столкновению интересов (спору) в процессе взаимодействия)

способность занять определённую позицию в конфликтной ситуации.

Периодически провоцирует конфликты.

Сам в конфликтах не участвует, старается их избежать.

Пытается самостоятельно уладить возникающие конфликты.

Тип сотрудничества (отношение ребёнка к общим делам детского объединения)

умение воспринимать общие дела как свои собственные

Избегает участия в общих делах.

Участвует при побуждении из вне.

Инициативен в общих делах.

Уровни: низкий — 5-30; средний – 31-40; высокий – 41-60.

Контроль, или проверка результатов обучения, является обязательным компонентом процесса обучения. Контроль позволяет определить эффективность обучения по программе, помогает детям, родителям, педагогам увидеть результаты своего труда, что создает хороший психологический климат в коллективе и повышает самооценку самого обучающегося.

Одной из современных форм оценивания достижений и компетентности, в том числе творческих успехов обучающегося является формирование «портфеля» (Portfolio). Ведение портфолио развивает у обучающихся навыки рефлексивной деятельности (способность анализировать собственную деятельность, совершенствовать ее, проявлять инициативу для достижения успехов). Содержание и способы оформления «портфеля» могут быть самыми разнообразными – от полного собрания всех работ до альбома высших достижений.

В настоящее время выделяют следующие типы портфолио:

• Портфолио документов — наиболее распространенная форма, которая представляет собой файловую папку с разнообразной информацией о приобретенном обучающимся за определенный промежуток времени опыте успешной работы по образовательной программе. В перечень документов входят грамоты, дипломы, письма-отзывы, сертификаты об участии в различных мероприятиях.
• Портфолио работ отражает усилия, прогресс и достижения, обучающихся по определенному направлению деятельности. Это собрание различных творческих, проектных, исследовательских работ обучающегося, а также описание форм и направлений его творческой активности – участие в конкурсах, наличие достижений и т.д.
• Портфолио отзывов включает в себя заметки педагога по поводу работ, оценки за выполненные задания с характеристиками и объяснениями, а также письменный анализ самого обучающегося своей конкретной деятельности и ее результатов. Портфолио может быть представлено в виде текстов заключений, отзывов, резюме.

Наиболее целесообразным представляется комплексный вариант портфолио, включающий в себя раздел документов, раздел работ и раздел отзывов.

Нет четкого списка наименований и количества пунктов, которые необходимо включать в портфолио. Этот вопрос решается конкретным педагогом, группой педагогов или методическим объединением.

Портфолио представляет собой папку с файловыми вкладышами и может включать в себя следующие разделы.

1. Общие данные о личности

Оценка результатов дополнительного образования детей/авт.-сост. Н.Ю. Конасова. – Волгоград: Учитель. – 121с.

По теме: методические разработки, презентации и конспекты

РЕФЕРАТ «Методики выявления результативности реализации дополнительных образовательных программ»

Характеристика современного состояния системы педагогической диагностики.Анализ и обобщение литературных источников. Результаты аналитической деятельности.Схема организации педагогической диагнос.

Семинар-практикум «Диагностика развития УУД в рамках реализации дополнительной общеобразовательной (общеразвивающей) программы»

Презентация к семинару-практикуму. Определение эффективных методов и средств диагностики результатов освоения образовательной программы.

Дополнительная образовательная общеразвивающая программа физкультурно-спортивной направленности по плаванию, 108 часов.Программа прошла процедуру сертификации и внесена в единый Реестр образовательных программ.

Программа разработана на основе: Федерального закона №273-ФЗ от 29.12.2012 «Об образовании в Российской Федерации».

Дополнительная образовательная общеразвивающая программа физкультурно-спортивной направленности по плаванию, 144 часа. Программа прошла процедуру сертификации и внесена в единый Реестр образовательных программ.

Программа разработана на основе: Федерального закона №273-ФЗ от 29.12.2012 «Об образовании в Российской Федерации».

Результативность реализации дополнительных общеобразовательных общеразвивающих программ

Результативность реализации дополнительной общеобразовательной общеразвивающей программы «Волшебная радуга

Главным результатом реализации программы является создание каждым ребенком своего оригинального продукта, а главным критерием оценки учащегося является не стол.

Результативность и качество реализации дополнительной общеобразовательной общеразвивающей программы

Результативность и качество реализации дополнительной общеобразовательной общеразвивающей программы«Театр, дети, творчество»Срок реализации – 3 годаВозраст детей – 8-12 лет.

Источник: nsportal.ru