microbik.ru
1
О.А. Решетникова

Ст. научный сотрудник

Института управления образованием РАО, к.п.н.,

заместитель директора

Российского тренингового центра ИУО РАО

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУР ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ1

Вступление.

Замысел проведения различных процедур оценки качества образования строится на том, что правильный выбор процедур и дальнейшее использование их результатов должны способствовать приращению качества образования, то есть улучшению результатов, как необходимых для продолжения обучения на следующей ступени образования, так и для принятия важных управленческих решений по изменению содержания образования. Очевидно, что указанные цели могут быть реализуемы только при условии использования комплекса или системы оценочных процедур с разными задачами и механизмами реализации. Известны три основных вида оценочных мероприятий, проводимым в большинстве образовательных систем мира и соответствующим основным целям и информационным потребностям: оценивание на уровне класса или образовательного учреждения (внутриклассное/внутришкольное оценивание), экзамены и крупномасштабные исследования (мониторинги образовательных достижений)2. Если внутриклассное/внутришкольное оценивание проводится в процессе обучения и для целей коррекции обучения и, по сути, является формирующим оцениванием, то другие два вида оценивания проводится в целях подведения некоего итога обучения, то есть носят суммирующих характер. Совершенно очевидно, что эти три основных вида оценочных процедур базируются на некоторых общих принципах, например, все они должны быть согласованы и скоординированы с другими компонетами системы образования, должны взаимодополнять друг друга. Результаты всех процедур должны быть надежны и достоверны, то есть должны быть точными и представлять именно те данные, которые и ставили целью оценить.

Но, если внутриклассное/внутришкольное оценивание проводится на ограниченном классом или образовательным учреждением количестве участников, то широкомасштабные исследования и, тем более, экзамены – как процедуры с «высокими ставками», задействуют большое количество участников, разные структуры, обеспечивающих технологические и организационные процессы, и, поэтому, имеют свои принципы организации, требующие детальной проработки и обязательной реализации.

В условиях массовой процедуры оценивания (как национального экзамена, так и любого крупномасштабного мониторинга) непосредственно объектами оценивания в той или иной мере становятся все субъекты образования: сами обучающиеся, педагоги, органы управления образованием. Одним из критериев успешности проведения процедуры тестирования является доверие как к самой процедуре, так и к полученным результатам. Как отмечает Маргарит Кларк «низкое качество оценки может привести к провалу всего оценочного мероприятия, если оно вызывает недоверие с точки зрения используемых подходов»3.
Основные принципы организации процедур оценки.

В качестве используемых подходов к подготовке и проведению оценочного мероприятия необходимо опираться на основные принципы организации процедур оценки, реализация которых сможет обеспечить доверие к самой процедуре, а соответственно, к её результатам.

Любая процедура оценки должна быть:

  • ОБОСНОВАННА

  • НАДЕЖНА

  • ПРОЗРАЧНА

  • ОТКРЫТА


Реализация принципа «обоснованности».

В зависимости от поставленных целей и задач, необходимо обосновать и аргументировать:

  • выборку испытуемых

  • все планируемые к использованию методы, механизмы обеспечения процессов;

  • сроки произведения всех работ;

  • форматы представления результатов;

  • уровень защиты всех процессов и аппаратно-технических средств;

  • структуру инструктивно-методической базы процедуры;

  • необходимость документирования основных процессов и этапов;

  • планируемые к использованию критерии и методики оценки.

Одним из примеров обоснования сложной, многогранной и разноуровневой технологии, используемой при проведения единого государственного экзамена в России служат некоторые количественные и качественные характеристики экзамена, проводимого на всей территории Российской Федерации4:

Количественные характеристики:

количество участников - около 800000 участников;

количество экзаменов - более 2600000 экзаменов;

количество ППЭ - более 7000 пунктов;

количество регионов с труднодоступными и отдаленными территориями (на территории РФ) – 18 регионов;

количество часовых зон (часовых поясов) - 9 часовых зон (с 2011 г.);

количество привлекаемых к проведению ЕГЭ спец-ов в ППЭ – более 250000 чел.

Качественные характеристики:

  • Объединение двух целей (государственная итоговая аттестация выпускников 11 классов и вступительные испытания в высшие учебные заведения страны):

- разграничение полномочий федерального и регионального уровней, установленных Законом об Образовании РФ

- сроки проведения процедуры ЕГЭ и обработки его результатов (6 дней – обязательные экзамены, 3 дня – выборные)

- необходимость поддержки возможности апеллирования к результатам, процедуре.

  • Использование наиболее сложной структуры контрольных измерительных материалов по всем общеобразовательным предметам, включающих задания с множественным выбором, задания, предусматривающие краткий ответ и, ответы в свободной форме (часть С):

- необходимость осуществления проверки двумя способами (автоматизированной и ручной для части С) одновременно и др.

Очевидно, что набор механизмов технологии ЕГЭ, как экзамена с «высокими ставками», должен был служить реализации задач, как минимум, по созданию единых для всех участников экзамена условий.

При обосновании процедуры оценки «взвешиваются» все «за» и «против». Унификация процедур оценки – не значит полное копирование всех процессов и применение одной модели для всех процедур. Неуместным выглядит стремление провести процедуру с «низкими» ставками, применяя все те же приемы и механизмы, что и процедуру с «высокими» ставками.

Следует понимать, что в любой процедуре оценки качества образования есть базовые элементы, без которых процедура не может быть надежной и результатам которой будет трудно доверять. Но, чем выше «ставки» процедуры, тем больше дополнительных, но стандартизированных элементов, поддерживающих надежность её проведения, должно быть подключено.

Данный подход напоминает конструктор «Лего»: в доме обязательно должны быть стены, крыша, окна и двери – это минимум. Для дворцов и замков, кроме этих базовых элементов, берем и другие стандартные детали, но используем их только в том объеме, который требуется для реализации нашего замысла.

Таким минимальным (базисным) набором процессов для любой оценочной процедуры должны стать: сбор базы данных участников (после определения выборки участников), тиражирование измерительных материалов, обработки результатов оценки, подготовка кадров, определение порядка проведения процедуры. Но при проектировании процедур с «высокими» ставками появляются «надстройки» к базисному набору, обусловленные особенностями каждой отдельно взятой процедуры.

Например, в ЕГЭ поддержка возможности апеллирования к результатам и процедуре обеспечена соответствующими процессами и специализированным программным обеспечением, например, таких как:

  • техническая поддержка учета в бланках регистрации фактов выхода из аудитории, не завершения экзамена по разным причинам и др.;

  • организационная, техническая и нормативно-инструктивная поддержка права участника оформить бланк апелляции по процедуре и следующие за этим процедуры и операции;

  • техническая поддержка возможности ознакомления участника ЕГЭ с «маской ответов» (протоколом с индивидуальнымирезультатами и обозначением верных/неверных ответов на задания) и др.


Реализация принципа «надежности».

Процедура надежна, если она:

  • обеспечивает равные условия участия в ней всех без исключения участников процедуры;

  • отказоустойчива;

  • в достаточной степени защищена, в том числе и в части персональных данных участников;

  • гибка и превентивна.

При реализации данного принципа можно и нужно опираться на существующие в практике современных бизнес-процессов технологии управления рисками («Системный риск-менеджмент», «Safetymanagement», SWOT, FMEA и пр.) В специализированной литературе5 подробно рассматриваются характеристики опасностей, проблемы риска технологий, причины отказов систем, а так же аспекты управления безопасностью.

Следует понимать, что любой технологический сбой, произошедший при проведении процедуры оценивания – это реализовавшийся риск.

Технологии управления рисками предусматривают некоторые шаги управления, которые включают в себя6:

  • проецирование ранее реализовавшихся в других проектах рисков – «профиль рисков»;

  • определение наиболее критичных для данной процедуры рисков («Firstthingsfirst»);

  • определение стратегии управления риском (действия, которые можем предпринять – стратегия хеджирования (страхования,риска);

  • планирование действий на случай реализовавшихся рисков (создание «подушки безопасности»);

  • интегрирование стратегии управления рисками в систему управления процедурой оценивания

Подход, основанный на использовании подобных технологий, уменьшает уровень неопределенности, сокращает издержки и системно повышает устойчивость и защищенность процедуры оценивания.

При рассмотрении процедур оценки образовательных достижений обучающихся в качестве системы, управляющей различными информационными и материальными потоками, и, которая должна обеспечивать целый ряд условий и учитывать большое количество внешних и внутренних факторов влияния, становится очевидным, что к решению ряда задач развития образовательной системы, страны, могут быть применимы правила и принципы из экономического менеджмента с использованием логистического подхода.

Логистика - теория и практика сквозного управления эффективным с точки зрения минимизации затрат сервисным потоком и связанной с ним информации от точки зарождения до точки потребления в целях полного удовлетворения потребностей пользователей.7

Известны основные принципы («Логистическая миссия»), широко используемые в бизнес-логистике8. Это правила «семи Н», требующие обеспечения:

1) нужного продукта,

2) в нужном количестве,

3) нужного качества,

4) в нужном месте,

5) в нужное время,

6) для нужного потребителя,

7) с наименьшими затратами.

Построение конкретной технологической модели процедуры оценки рекомендуется производить, последовательно раскрывая указанные правила «Логистической миссии». При этом следует учитывать, что существует инвариант основных процессов, необходимых для реализации любой оценочной процедуры, независимо от «ставок» процедуры, и вариативность процессов, с учетом целей, задач, а так же «ставок» каждой конкретной процедуры.
Реализация принципов «прозрачности» и «открытости».
Часто, особенно при проведении процедур с «низкими» ставками, не ставящими своей целью сертификацию каждого участника, пренебрегают обеспечением реализации этих принципов. В результате – цели размыты и не понятны участникам процесса, рождаются слухи и домыслы, которые провоцируют лишние и крайне неполезные действия, а, иногда, умышленную фальсификацию. Конечный результат – впустую затраченные усилия, необъективные измерения, неправильные выводы. Тогда как результат процедуры любого мониторинга должен лечь в основу принятия определенных управленческих решений. Но особенно критично это становится при проведении процедур с «высокими» ставками (национальный экзамен), где добавляется ещё и самый значимый эффект – социальный, смешивающийся с «личными потребностями».

Для реализации принципа «прозрачности» необходимо:

  • установление четких и простых правил участия в процедуре оценивания;

  • подтверждение легальности и легитимности с точки зрения доверия и законодательства;

  • заблаговременное установление порядка взаимодействия структур внутри системы ОКО и закрепление за ними определенных функций;

публичные отчеты о проведении.

Для обеспечения «открытости» процедуры оценивания необходимо обеспечить доступ к информации о:

  • процедуре (сроков проведения, правил участия и др.);

  • о специфике контрольных измерительных материалов (демо-версии);

  • о планируемых вариантах использования результатов.

Для этих целей используются возможности как Интернет-ресурсов, так и СМИ. Должна быть разработана программа по информированию всех групп потребителей: профессионального сообщества, включая все структуры системы образования, родителей, выпускников (испытуемых).

При реализации принципа «открытости» следует понимать, что открытой не может быть информация, противоречащая условиям информационной безопасности.

Под информационной безопасностью при проведении процедуры оценивания понимается принятие соответствующих мер, пресекающих несанкционированное вмешательство в процедуру и попыток умышленного искажения данных, направленных на изменение результатов оценки.

Это касается:

  • контрольных измерительных материалов, по которым планируется проведение процедуры оценивания;

  • персональных данных участников процедур оценивания (в РФ - в соответствии с требованиями Федерального Закона «О персональных данных» № 152 от 2006 г. и дополняющего его ФЗ № 261 от 2011 г.).

При планировании информирования об итогах проведения процедуры оценки следует четко разграничить группы пользователей различных информационных продуктов.

Заключение.

Таким образом, перед Заказчиком и Исполнителем организации и проведения любой массовой процедуры оценки в целом стоят некоторые серьезные задачи, реализация которых однозначно способствует эффективности её проведения, а значит возможности дальнейшего использования её результатов. При этом следует понимать, что, как уже говорилось выше, процедуры оценки могут быть достаточно массовыми, то есть организуемыми на большой выборке участников и охватывающими как всю страну (например, ЕГЭ), так и отдельный регион (региональные мониторинги), но совершенно разными по своим целям и, соответственно, по «ставкам». Но, тем не менее, планомерная реализация указанных принципов при организации и проведении любой процедуры оценки, не зависимо от её целей и задач, должна повысить качество самих процедур. Конечно, реализация каждого из вышеприведенных принципов – это процесс длительный, многоаспектный, трудозатратный и иногда недешевый. Но так же очевидно, что между понятиями «качество» и «эффективность» существует прямая зависимость. Обеспечение качества процедуры оценивания —  это планируемые и систематически осуществляемые виды деятельности, отвечающие основным принципам организации любой массовой оценочной процедуры, результаты которой будут соответствовать поставленным целям оценивания и вызовут доверие как у участников, так и у системы образования в целом.

Используемая литература:


  1. Акимов В.А., Лапин В.Л. и др. Надежность технических систем и техногенный риск. – М.: ЗАО ФИД «Деловой экспресс». 2002.- 368 с.

  2. Болотов В.А., Вальдман И.А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижений школьников//www.rtc-edu.ru//в печати.

  3. Горбунов Р. Управление рисками. – Бизнесманс.РФ/index.html.

  4. Кларк Маргарит. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры// Международный банк реконструкции и развития/Всемирный банк. – 2012. – 48 с.

  5. Материалы учебных курсов Российского тренингового центра Института управления образованием РАО. – www.rtc-edu.ru

  6. Михайлова, О.И. Введение в логистику /О.И.Михайлова. – М.: «Издательский Дом «Дашков и К», 1999. - 104 с.

  7. Онищенко В.Я. Классификация и сравнительная оценка факторов риска// Безопасность труда в промышленности. 1995, № 7, с. 23- 27.

  8. Решетникова О.А. Логистика массовой оценки учебных достижений учащихся // Журнал «Инновации в образовании». – 2011. – № 7. – С. 33-45.




1 Данная статья подготовлена на основе учебных материалов Российского тренингового центра ИУО РАО, разработанных авторами при проведении курсов «Проектирование национальных и территориальных систем оценки качества образования: организационные, технологические и содержательные аспекты» (27-29 июня 2011 года), «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» (22-25 ноября 2011 года) и «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» (27-30 марта 2012 года). http://www.rtc-edu.ru


2 Маргарит Кларк «Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры»// Международный банк реконструкции и развития/Всемирный банк. – 2012. – 48 с.

3 Маргарит Кларк «Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры»// Международный банк реконструкции и развития/Всемирный банк. – 2012. – с. 15.

4 Материалы презентации к учебному курсу Российского тренингового центра ИУО РАО «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» http://www.rtc-edu.ru/trainings/study/111

5 Примечание от автора. - ряд источников специализированной литературы приведен в списке использованной литературы

6 Горбунов Р. Управление рисками. – Бизнесманс.РФ/index.html

7 Решетникова О.А. Логистика массовой оценки учебных достижений учащихся // Журнал «Инновации в образовании». – 2011. – № 7. – С. 33-45.

8 Михайлова, О.И. Введение в логистику /О.И.Михайлова. – М.: «Издательский Дом «Дашков и К», 1999. - 104 с.