Как страны-доноры оценивают успех программ иностранной помощи

Зарубежная помощь, включающая официальную помощь в целях развития (ОПР), гуманитарную помощь и техническое сотрудничество, остается краеугольным камнем международных усилий в области развития. Страны-доноры ежегодно инвестируют миллиарды долларов в надежде на то, что эти средства будут способствовать экономическому росту, сокращению масштабов нищеты, улучшению здравоохранения и образования и, в конечном счете, помогут странам-получателям стать самодостаточными. Однако перевод благих намерений в измеримые результаты далеко не прост. Успех программ иностранной помощи зависит не только от объема финансирования, но и от того, насколько эффективно страны-доноры оценивают этот успех, как для налогоплательщиков, так и для политиков и практиков развития. Надежные рамки оценки позволяют донорам более эффективно распределять средства, извлекать уроки из прошлого опыта и привлекать всех участников к ответственности за результаты. В этой статье рассматриваются ключевые показатели, методы оценки, проблемы и новые тенденции, которые определяют, как страны-доноры оценивают эффективность своих программ иностранной помощи.

Ключевые показатели успеха иностранной помощи

Страны-доноры опираются на широкий набор количественных и качественных показателей для определения того, достигает ли помощь намеченных целей. Эти показатели охватывают экономические, социальные, институциональные и экологические аспекты. Хотя ни один показатель не может в полной мере отразить воздействие многолетней программы помощи, сочетание хорошо подобранных показателей дает целостную картину прогресса.

Экономический рост и сокращение бедности

Экономические показатели остаются центральными для оценки помощи. Донорские агентства отслеживают изменения валового внутреннего продукта (ВВП) на душу населения, уровня занятости и уровня доходов. Рост ВВП, который опережает сигналы роста населения, что помощь может способствовать устойчивому экономическому развитию. Аналогичным образом, сокращение доли населения, живущего ниже международной черты бедности, в настоящее время определяемой как менее 2,15 доллара в день, служит в качестве прямого показателя сокращения бедности. Однако экономисты предупреждают, что совокупные показатели роста могут маскировать растущее неравенство. Поэтому доноры также изучают коэффициенты Джини и обследования потребления домашних хозяйств, чтобы гарантировать, что бедные фактически извлекают выгоду из роста. Программы, которые способствуют местному предпринимательству, производительности сельского хозяйства и доступу к рынку, часто оцениваются на основе создания рабочих мест и числа малых предприятий, которые выживают за период помощи.

Результаты в области здравоохранения и питания

Улучшение состояния здоровья является одним из наиболее ощутимых и широко отслеживаемых показателей успеха помощи. Сокращение смертности среди детей в возрасте до пяти лет, материнской смертности и заболеваемости предотвратимыми заболеваниями, такими как малярия, туберкулез и ВИЧ/СПИД, обычно контролируется. Проводимые донорами кампании по иммунизации, проекты по обеспечению чистой водой и пищевые добавки измеряются показателями охвата населения и использования медицинских учреждений. Например, число детей, получающих основные вакцины, или процент домохозяйств, имеющих доступ к безопасной питьевой воде, непосредственно отражают охват программ. Страны-доноры также рассматривают изменения в ожидаемой продолжительности жизни и скорректированные на инвалидность годы жизни (DALYs) для оценки более широкого воздействия на здоровье. Показатели питания, такие как задержка роста и истощение распространенности среди детей в возрасте до пяти лет, все чаще используются для оценки долгосрочного прироста человеческого капитала.

Образование и человеческий капитал

Показатели образования измеряют улучшение как доступа, так и качества. Показатели зачисления в школы, особенно для девочек, являются общим показателем результатов. Однако доноры теперь подчеркивают результаты обучения: тесты на грамотность и числовое число, показатели завершения и переходы от школы к работе. Программы, которые обучают учителей, строят классы или предоставляют стипендии, оцениваются по их способности повышать средние годы обучения и, что более важно, оснащать студентов навыками, имеющими отношение к рынку труда. Индекс человеческого развития ПРООН (ИРЧП) сочетает в себе образование, здравоохранение и доход, предлагая комплексную меру, которую многие доноры используют для оценки общего прогресса. Кроме того, гендерный паритет в образовании является конкретной целью в рамках Цели 4 в области устойчивого развития, и доноры отслеживают соотношение девочек и мальчиков, зачисленных на начальном, среднем и высшем уровнях.

Управление и институциональный потенциал

Доноры все чаще признают, что успех помощи зависит от силы местных институтов. Показатели в этой области включают снижение показателей восприятия коррупции, улучшение управления государственными финансами, укрепление верховенства закона и большей прозрачности в бюджетировании. Программы, поддерживающие судебную реформу, антикоррупционные агентства или надзор гражданского общества, оцениваются изменениями в показателях управления, предоставляемых такими организациями, как Всемирный банк, Всемирные показатели управления или Transparency International. Доноры также оценивают способность правительств-получателей планировать, выполнять и оценивать свои собственные стратегии развития. Когда помощь направляется через прямую бюджетную поддержку, доноры внимательно следят за фидуциарными рисками и способностью получателя поддерживать макроэкономическую стабильность. Более сильные институты не только повышают эффективность помощи, но и снижают вероятность того, что помощь будет неправильно использована.

Гендерное равенство и социальная интеграция

Гендерное равенство стало сквозной целью для многих стран-доноров. Программы оцениваются по их влиянию на расширение экономических прав и возможностей женщин, их участие в политической жизни и доступ к услугам. Такие показатели, как доля женщин в оплачиваемой занятости, распространенность гендерного насилия и число женщин в парламенте, используются для отслеживания прогресса. Социальная интеграция выходит за рамки гендерной проблематики и включает в себя маргинализированные этнические группы, инвалидов и перемещенных лиц. Доноры все чаще применяют объектив «не навреди» и оценивают, неумышленно ли программы помощи усугубляют существующее неравенство. Маркер гендерного равенства ОЭСР и Индекс гендерного неравенства ООН являются одними из инструментов, используемых для обеспечения того, чтобы проекты помощи учитывали гендерные аспекты.

Экологическая устойчивость

Поскольку изменение климата создает растущую угрозу для достижений в области развития, доноры теперь оценивают, способствуют ли проекты помощи экологической устойчивости. Показатели включают сокращение выбросов углерода, восстановление или защиту гектаров лесов, внедрение возобновляемых источников энергии и устойчивость к климатическим потрясениям. Многие страны-доноры требуют оценки воздействия на окружающую среду до финансирования крупных инфраструктурных проектов. Парижское соглашение и Цель 13 в области устойчивого развития подтолкнули доноров к измерению «зеленого» компонента их портфелей помощи. Особенно ценятся программы, которые интегрируют адаптацию к климату или снижение риска бедствий. Растущая тенденция заключается в использовании экологических маркеров для отслеживания того, сколько помощи связано с климатом, как сообщается в Системе отчетности кредиторов ОЭСР.

Рамки и методологии оценки

Выбор правильных показателей является лишь частью задачи. Страны-доноры также применяют строгие методологии оценки для установления причинно-следственных связей между деятельностью по оказанию помощи и наблюдаемыми результатами. Выбор метода зависит от характера программы, наличия данных и цели оценки.

Критерии оценки ОЭСР DAC

Комитет содействия развитию ОЭСР (КСР) установил шесть критериев оценки, которые широко используются двусторонними и многосторонними донорами: актуальность, согласованность, эффективность, воздействие и устойчивость. Актуальность Актуальность Согласованность Способность Эффективность измеряет степень достижения целей. Эффективность Эффективность Влияние Оценивает, сохраняются ли выгоды после окончания финансирования. Устойчивость Эти критерии обеспечивают общий язык для доноров и помогают обеспечить, чтобы оценки охватывали все важные аспекты. Многие учреждения требуют, чтобы все оценки проектов и программ включали эти элементы.

Рандомизированные контролируемые испытания (RCT)

RCT, заимствованные из медицинских исследований, стали золотым стандартом для оценки воздействия конкретных вмешательств в помощь, таких как денежные переводы, программы дегельминтизации или схемы микрофинансирования. В RCT получатели случайным образом распределяются по группе лечения (которая получает помощь) и контрольной группе (которая не получает). Сравнивая результаты, оценщики могут изолировать эффект программы от других факторов. В то время как RCT обеспечивают надежные доказательства причинности, они дороги, материально-технические требования, а иногда поднимают этические вопросы о удержании выгод. Они также лучше всего работают для узких, четко определенных вмешательств, а не больших, сложных программ. Лаборатория действий по борьбе с бедностью Абдул Латиф Джамиль (J-PAL) [FLT: 1]] отстаивала использование RCT в разработке, производя влиятельные результаты, которые изменили политику доноров.

Анализ затрат и эффективности затрат

Доноры все чаще используют объектив «ценность за деньги», сравнивая затраты на вмешательство с его результатами. Анализ затрат и выгод (CBA) монетизирует как затраты, так и выгоды для расчета чистой приведенной стоимости или соотношения выгод и затрат. Анализ эффективности затрат (CEA) вместо этого измеряет стоимость на единицу результата, такую как доллары за сэкономленную жизнь или за зарегистрированного ребенка. Эти анализы помогают донорам расставлять приоритеты среди конкурирующих видов использования ограниченных средств. Например, благотворительный оценщик использует оценки эффективности затрат для рекомендации наиболее эффективных программ помощи. Однако монетизация выгод (например, стоимость жизни или года обучения) может быть спорной и зависит от предположений, которые могут не держаться в разных культурах и экономиках.

Смешанные и смешанные методы

Одни лишь количественные методы не могут охватить сложность социальных изменений. Страны-доноры все чаще включают в себя качественные подходы, такие как фокус-группы, интервью с ключевыми информаторами и оценка сельских районов с участием населения. Эти методы дают право голоса бенефициарам и могут выявлять непреднамеренные последствия, культурные барьеры или местные инновации, которые не учитываются в цифрах. Оценки смешанного метода объединяют обследования с углубленными тематическими исследованиями для получения более глубокого понимания того, как и почему программа работает (или не работала). Подходы с участием также дают местным общинам возможность определять, что для них означает успех, улучшая местную собственность и актуальность. Платформа BetterEvaluation предлагает рекомендации по интеграции методов участия в оценки доноров.

Сбор данных, мониторинг и отчетность

Эффективное измерение зависит от надежных и своевременных данных. Страны-доноры инвестируют в системы мониторинга, которые отслеживают вводимые ресурсы, результаты и результаты на протяжении всего жизненного цикла программы. Регулярная отчетность гарантирует, что заинтересованные стороны могут при необходимости скорректировать курс.

Системы данных реального времени

Традиционный мониторинг помощи часто опирался на ежегодные опросы и ретроспективные отчеты. Сегодня многие доноры используют мобильные технологии, спутниковые снимки и облачные панели мониторинга для сбора данных в режиме реального времени. Например, GPS-отслеживание цепочек поставок медицинских услуг, автоматизированные опросы текстовых сообщений от бенефициаров и изображения дронов сельскохозяйственных участков позволяют донорам видеть, находятся ли проекты на пути до того, как проблемы ухудшатся. Эти системы данных производят почти мгновенную обратную связь, что позволяет адаптивное управление. Однако они также требуют значительных инвестиций в инфраструктуру, обучение и гарантии конфиденциальности данных. Доноры, такие как Агентство США по международному развитию (USAID), разработали свои собственные цифровые платформы мониторинга, такие как Библиотека данных о развитии , для стандартизации и публикации данных о помощи.

Аудит третьей стороны и независимые оценки

Для поддержания объективности многие страны-доноры заключают контракты с независимыми оценщиками — часто академическими учреждениями или специализированными консалтинговыми фирмами — для оценки своих программ. Оценки третьих сторон снижают риск предвзятости и повышают доверие к внутренней и международной аудитории. Межамериканское бюро оценки и надзора при Межамериканском банке развития является одним из примеров внутреннего, но независимого бюро оценки. Другие доноры, такие как Управление по иностранным делам, делам Содружества и развитию Великобритании (FCDO), требуют, чтобы все крупные проекты проходили процесс «оценки» отдельным подразделением. Эти оценки часто публикуются, способствуя глобальной доказательной базе того, что работает в области развития.

Порталы прозрачности и открытые данные

В последние годы стремление к прозрачности помощи привело к тому, что доноры опубликовали подробные данные о своих расходах и результатах проектов. Стандарт Международной инициативы по прозрачности помощи (IATI) позволяет донорам, НПО и правительствам публиковать сопоставимые данные о потоках помощи, деятельности и результатах. Такие страны, как Нидерланды, Швеция и Соединенное Королевство, взяли на себя обязательство по отчетности IATI. Исследователи и группы гражданского общества могут затем использовать эти открытые данные для проведения независимого анализа и привлечения доноров к ответственности. Прозрачность сама по себе не улучшает результаты, но создает давление для эффективности и позволяет выявлять как успехи, так и неудачи.

Проблемы в измерении успеха

Несмотря на изощренность современных методов оценки, страны-доноры сталкиваются с постоянными препятствиями в точном измерении воздействия иностранной помощи.

Атрибуция и контрфактуальные

Одна из самых сложных задач заключается в определении того, действительно ли наблюдаемые улучшения обусловлены программой помощи. Многие факторы влияют на развитие - торговля, внутренняя политика, погода, глобальные цены на сырьевые товары - что затрудняет изолирование эффекта помощи. Даже при рандомизированных контролируемых испытаниях внешняя обоснованность ограничена: программа, которая работает в одном контексте, может потерпеть неудачу в другом. Доноры часто используют квазиэкспериментальные проекты, такие как различия в различиях или разрыв регрессии, но они по-прежнему полагаются на сильные предположения. В результате некоторые оценки могут чрезмерно или недооценивать влияние, что приводит к ошибочным выборам политики.

Политическая и экономическая нестабильность

Страны-получатели помощи часто сталкиваются с конфликтами, стихийными бедствиями или экономическими потрясениями, которые срывают даже самые хорошо разработанные программы. Показатели успеха помощи могут временно снижаться не потому, что программа не удалась, а потому, что операционная среда изменилась. Например, проект строительства школы может быть отложен угрозой безопасности, или программа здравоохранения может привести к более высокой смертности из-за эпидемии, не связанной с помощью. Доноры должны включать контекстуальные факторы риска в свои оценки, но это методологически сложно. Многие оценки теперь включают «отслеживание процессов» для документирования того, как внешние события повлияли на реализацию программы и результаты.

Долгосрочные горизонты и отсроченные последствия

Наиболее значительные выгоды от помощи, такие как улучшение человеческого капитала, укрепление институтов или изменение поведения, часто требуют лет или десятилетий, чтобы материализоваться. Ребенок, который получает лучшее питание сегодня, будет показывать только улучшенные доходы во взрослой жизни. Тем не менее, бюджеты доноров и политические циклы требуют более краткосрочных результатов. Эта напряженность поощряет фокус на быстрых победах (например, распределение постельных сеток), а не на долгосрочных системных изменениях (например, укрепление системы здравоохранения). Многолетние оценки, которые отслеживают когорты с течением времени, редки и дороги. Доноры экспериментируют с «долгосрочными панельными исследованиями» и используют косвенные показатели, которые предсказывают более поздние результаты, но эти подходы остаются несовершенными.

Качество и доступность данных

Во многих странах с низким уровнем дохода имеются слабые статистические системы, отсутствуют важные записи и ограниченный охват обследований. Данные, сообщаемые самими собой, могут быть предвзятыми, а коррупция может привести к фальсификации отчетов. Спутниковые данные и записи мобильных телефонов открывают новые возможности, но они не могут охватить все — особенно результаты управления и расширения прав и возможностей. Доноры часто инвестируют в создание статистического потенциала получателей наряду с программами помощи, но прогресс медленный. Плохое качество данных подрывает доверие к оценкам и может привести к ложным выводам. Сеть ОЭСР по оценке развития (СОЭР) выпустила руководство по улучшению качества данных в хрупких государствах, но реализация остается неравномерной.

Будущие направления: совершенствование измерений и подотчетности

Признавая эти проблемы, сообщество в области развития изучает новые пути измерения и повышения эффективности иностранной помощи.

Интеграция технологий и искусственного интеллекта

Достижения в области больших данных, машинного обучения и обработки естественного языка позволяют проводить более экономичные и своевременные оценки. ИИ может обрабатывать большие объемы текста, спутниковых изображений и данных транзакций для выявления закономерностей и прогнозирования результатов. Например, модели прогнозирования благосостояния, основанные на спутниковых изображениях ночных фонарей или материалов крыши, могут оценивать бедность в режиме реального времени, даже там, где опросы скудны. Обработка естественного языка, применяемая к социальным сетям или новостным сообщениям, может оценивать общественные настроения по поводу проекта. Однако эти методы вызывают этические опасения по поводу конфиденциальности, алгоритмического смещения и риска замены человеческого суждения непрозрачными моделями. Доноры осторожно пилотируют эти технологии при разработке этических рекомендаций.

Согласование с Целями устойчивого развития (ЦУР)

Рамки ЦУР предлагают общий язык для измерения прогресса в 17 целях и 169 задачах. Многие страны-доноры согласовали свои показатели оценки помощи с ЦУР, что позволяет проводить более систематические сравнения и агрегирование. Показатели ЦУР, такие как «доля населения ниже международной черты бедности» (1.1.1) или «отношение материнской смертности» (3.1.1), теперь регулярно включаются в отчетность доноров. Эта гармонизация уменьшает дублирование и облегчает оценку того, как помощь способствует достижению глобальных целей. Однако показатели ЦУР все еще развиваются, и пробелы в данных остаются особенно для целей, связанных с миром, справедливостью и учреждениями (ЦУР 16). Веб-сайт ООН Показатели ЦУР регулярно обновляет определения показателей и доступность данных.

Заключение

Измерение успеха программ иностранной помощи представляет собой многогранное начинание, которое требует тщательного отбора показателей, строгих методов оценки и постоянного улучшения сбора данных и прозрачности. Страны-доноры добились значительного прогресса в переходе от простых показателей производства к более точным оценкам результатов и воздействия. Тем не менее проблемы атрибуции, нестабильности, долгосрочных горизонтов и качества данных сохраняются. Растущий акцент на открытых данных, оценке с участием и согласовании с ЦУР предлагает путь вперед, как и осторожная интеграция новых технологий. В конечном счете цель состоит не только в том, чтобы измерить успех, но и извлечь уроки из достижений и недостатков, чтобы каждый доллар иностранной помощи обеспечивал максимальную выгоду для людей, которым он предназначен служить. Для стран-доноров инвестирование в надежные системы измерения само по себе является компонентом эффективной помощи - инвестиции в подотчетность и постоянное улучшение, которые могут сделать разницу между благонамеренными расходами и подлинным, длительным прогрессом.