microbik.ru
1

Выбор индикаторов:


критерии SMART



Желательные свойства индикаторов в значительной мере будут зависеть от принятого подхода и природы проекта. Например, широко используется перечень качеств хороших индикаторов SMART, названный так по первым буквам английских названий этих качеств:


  • Specific - Конкретные

  • Measurable - Измеряемые ( а также надежные, сопоставимые и соответствующие условиям)

  • Achievable - Достижимые (а также эффективные с точки зрения затрат)

  • Relevant - Нужные

  • Time-bound – Своевременные (а также чувствительные).



Ниже показано, какие критерии могут служить дополнением к системе критериев SMART.


Примеры




Применение в условиях кризиса и нестабильности

Конкретные


Индикатор измеряет именно то, что заявлено, и другие факторы не искажают получаемые данные. Этот критерий также называют «достоверностью». Проблема неоднозначного толкования возникает, когда для измерения используют качественные шкалы. Этот вопрос нужно учитывать и при разработке инструментов сбора данных для индикаторов. Даже такие понятия, как «семья», «домохозяйство», «ребенок», по-разному трактуются в разных культурах и условиях.

Например, стандартные показатели отношения веса и роста к возрасту являются достоверными индикаторами степени обеспеченности питательными веществами, но не могут служить достоверными индикаторами продовольственной безопасности (на их значения может серьезно повлиять болезнь).

В условиях кризиса при высокой текучести кадров нечеткое определение индикаторов может привести к их неверному толкованию и разночтениями.

Измеряемые


Нужно очень четко определять индикаторы, чтобы при их измерении не было неопределенности. Для этого они должны в большинстве случаев быть количественными (процент, соотношение, число), хотя могут быть и качественными.

Например, условия среды можно разделить на категории по продолжительности дождливого и засушливого сезонов; качество питьевой воды часто делят на категории по типу источника.

В условиях кризиса также важно, чтобы индикаторы были измеряемыми, хотя точность индикатора часто уменьшается. Решения об экстренных мерах реагирования на кризис не могут ждать, пока будет собрана более точная информация. См. материал для чтения Selecting indicators: Levels of precision.

Надежные


Независимо от того, кто проводит сбор данных, или когда проводится повторное измерение, должны получаться одинаковые результаты. Иначе говоря, индикатор должен быть «верифицируемым» - проверяемым.

Например, соотношение веса и роста – надежный индикатор обеспеченности питательными веществами, а вот получить те же самые результаты при повторных измерениях обхвата плеча гораздо сложнее.



Сопоставимые


Индикаторы должны позволять сравнивать значения, полученные в разное время и в разных местах (это важно, когда их используют для определения приоритетных потребностей). Обычно, если индикатор является надежным и верифицируемым, он также является и сопоставимым. Сложнее всего обеспечить сопоставимость качественных индикаторов.


Например, когда индикатор участия, который является надежной мерой происходящих со временем изменений, измеряют местные жители, есть вероятность, что будет невозможно сравнить значения, полученные в разных местах. Менеджерам старшего звена, возможно, придется согласиться на более широкий индикатор-заменитель, чтобы можно было сравнивать различные районы, где, например, население сообщает, что участие увеличилось.

Индикатор должен давать возможность сравнить ситуацию с тем, что было до кризиса (то есть позволить разделить проблемы, возникшие в результате кризиса, и хронические проблемы, которые существовали и до него), и с положением в других районах (определить, какие группы населения больше нуждаются в помощи).

Соответствие условиям


Используемые измерения должны быть культурно, социально и политически приемлемы для изучаемого населения, иначе люди будут давать неверную информацию, скрывать какие-то события или наоборот сообщать о том, чего не было, или недооценивать «истинные» значения.


Например, прямые вопросы о доходе и размере имущества часто воспринимаются как вмешательство в частную жизнь, и люди будут, в зависимости от условий, завышать или занижать реальные цифры.

Нужно учитывать не только соответствие условиям, но и вопросы безопасности.

Достижимые/Реальные


Сбор данных нужно рассмотреть и с точки зрения институционального потенциала: способна ли и хочет ли организация или конкретный сотрудник заниматься сбором данных? Если индикаторы являются частью системы мониторинга, возможно ли интегрировать их в текущую работу сотрудников?

Например, насколько просто сделать выборку, есть ли специалисты и транспорт.

В условиях кризиса такие факторы, как простота выборки, наличие транспорта, доступ и безопасность имеют особенное значение.

Учтите, что могут быть трудности с персоналом.

Эффективные с точки зрения затрат


Затраты на сбор данных приемлемы и обоснованы.

Например, капитальные затраты, оперативные затраты и затраты на персонал.



Нужные


Индикаторы должны давать информацию, которая полезна с точки зрения достижения целей программы и помогает ключевым пользователям принимать необходимые решения.

Например, индикаторы не являются нужными, если их выбрали без учета потребностей лиц, принимающих решения.

В условиях кризиса ключевое значение имеет эффективная координация мониторинга и оценки и основной работы. Для этого очень важно правильно выбрать нужные индикаторы.

Своевременные


Индикаторы должны показать, когда ожидается изменение. Индикаторы нужно измерять и сообщать в нужное время.


Например, индикатор, который может сказать, достигнуты ли определенные цели, только в конце проекта, не может повлиять на процесс принятия решений.

Своевременность индикаторов особенно важна, когда условия постоянно меняются.

Чувствительные


Можно ли собирать данные своевременно? Индикаторы быстро отражают изменение ситуации. Они дают информацию так часто, как это нужно для принятия решений.

Например, измерение материнской смертности не обладает достаточной чувствительностью, чтобы его можно было использовать для принятия решений в рамках программы, поэтому в качестве заменителей используют индикаторы процесса.

В условиях кризиса и нестабильности очень важно соблюдать графики. Индикаторы должны быстро отражать изменения ситуации. Они должны быть интегрированы в процесс текущего мониторинга. Частота и характер сбора данных должны соответствовать частоте приема решений на основании даваемой ими информации.

По материалам ITAD, 1992:15, WHO, 1996:19.

критерии SPICED


Еще один набор критериев, SPICED, используют в процессе определения и измерения индикаторов изменений.



Применение в условиях кризиса и нестабильности

Subjective – Субъективные


Источники информации занимают особое положение или обладают особым опытом, поэтому обладают уникальными знаниями, которые будут очень полезны исследователям. В этом свете подумайте, какие данные могут быть особенно важными благодаря значимости источника, из которого они получены.

В условиях сложного кризиса, когда точки зрения разделяются и поляризуются, очень важно сохранить объективность.

Также учтите, что из-за резкого изменения ситуации в результате кризиса опыт и знания, которыми владеют источники информации, могут утратить актуальность. Поэтому нужно понять, какова роль ключевых источников информации.

Participatory – Отражающие представления заинтересованных сторон


К разработке индикаторов нужно привлекать людей, которые лучше других способны понять их значение: то есть, основные заинтересованные стороны, а также местных сотрудников и другие заинтересованные стороны.

Это в равной мере относится и к мониторингу и оценке гуманитарной помощи при кризисе, особенно потому, что они требуют подготовки, длительного присутствия организаций, которые собирают данные, и осторожного подхода.

Interpreted and communicable – Поддаются интерпретации и коммуникации


Индикаторы, определенные на местном уровне, могут мало что значить для других заинтересованных сторон, поэтому их часто приходится объяснять.


Cross checked and compared – Выдерживают перекрестную проверку и сравнение


Достоверность выявленных потребностей нужно проверить, сравнивая различные индикаторы и прогресс и используя различные источники информации, методы и исследователей.

Это тем более важно, когда мнения сторон очень поляризованы, а источники и методы сбора данных ограничены по соображениям логистики.


Empowering – Являются фактором психологической поддержки


Процесс определения и ассесмента индикаторов должен сам по себе быть фактором укрепления духа участников и давать возможность различным группам и людям критически осмыслить изменяющуюся ситуацию.

В какой степени этого можно добиться в разгар гуманитарного кризиса, будет сильно зависеть от того, насколько удалась наладить отношения с населением до кризиса.


Diverse and disaggregated – Разнообразные и разукрупненные


Нужно целенаправленно прилагать усилия, чтобы получить разные индикаторы для разных групп населения, особенно отдельно мужчин и женщин. Эти данные нужно регистрировать так, чтобы можно было проследить, меняются ли различия между группами со временем.

Эти качества приобретают особое значение, когда кризис по-разному влияют на людей в зависимости от пола, возраста, этнической принадлежности и проч.





По материалам Roche 2000.


ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке Выбор индикаторов: критерии /