Table of Contents

Введение: почему важна нормативная оценка

Регулирование формирует почти все аспекты современной жизни - от воздуха, которым мы дышим, и пищи, которую мы едим, до стабильности финансовых рынков и безопасности рабочих мест. Тем не менее, правила не являются самоподтверждающимися. Правило, которое выглядит разумным на бумаге, может привести к непреднамеренным последствиям, налагать несоразмерные затраты или просто не в состоянии изменить поведение. Оценка эффективности регулирования является поэтому критической функцией управления. Это обеспечивает доказательства, необходимые для уточнения существующих правил, разработки лучших новых и обеспечения того, чтобы государственные выгоды, которые намереваются получить политики, действительно доставляются. Без строгой оценки регулирование рискует стать бременем без очевидной отдачи - или, что еще хуже, источником вреда.

В этой статье дается комплексное исследование показателей и методов, используемых для оценки эффективности регулирования. Она опирается на установленные рамки оценки от таких организаций, как OECD и Агентство по охране окружающей среды США , а также уроки из реальных тематических исследований. Понимая, что работает, а что нет, регуляторы, заинтересованные стороны и граждане могут добиваться более разумного и подотчетного управления.

Понимание эффективности регулирования

Эффективность регулирования не является единой концепцией, а многомерна. По своей сути она относится к степени, в которой регулирование достигает своих заявленных целей. Однако эти цели часто охватывают несколько областей - экономическую эффективность, качество окружающей среды, здравоохранение, справедливость и административную осуществимость. По-настоящему эффективное регулирование должно хорошо выполняться по нескольким критериям:

  • Эффективность : Производит ли правило желаемое изменение поведения или результата?
  • Эффективность : Обосновываются ли выгоды от правила издержками, налагаемыми на общество?
  • Справедливость : Распределены ли тяготы и выгоды справедливо между различными группами?
  • Ответственность : Может ли регулирование адаптироваться к изменяющимся обстоятельствам или новой информации?
  • Легитимность : Признается ли правило справедливым и разумным теми, кто его нарушает?

Например, строго предписывающее регулирование может достичь высокой эффективности, но ценой гибкости и эффективности. Оценка должна сбалансировать эти напряжения, используя комбинацию показателей и методов, которые отражают полную картину. В обзоре регуляторной политики ОЭСР подчеркивается, что эффективность должна оцениваться не только путем немедленного соблюдения, но и долгосрочными социальными результатами и качеством самого процесса регулирования.

Ключевые показатели для оценки

Метрики преобразуют цели регулирования в измеримые показатели. Недостаточно какой-либо одной метрики; для улавливания многих аспектов эффективности необходим набор показателей. Ниже приводятся наиболее часто используемые показатели, дополненные примерами и контекстом.

Ставки соответствия

Соблюдение является наиболее простой метрической мерой: она измеряет долю регулируемых организаций, которые придерживаются правила. Высокие ставки соответствия предполагают, что регулирование хорошо разработано, соблюдается и принимается. Низкое соблюдение может указывать на плохой дизайн, слабое исполнение или нереалистичные требования. Однако само по себе соблюдение может вводить в заблуждение. Правило, которое легко выполняется, может не привести к значительным изменениям, в то время как сложное правило с умеренным соблюдением может по-прежнему генерировать большие чистые выгоды. Например, Комиссия по ценным бумагам и биржам США отслеживает соблюдение требований к раскрытию информации; высокие ставки подачи не гарантируют, что инвесторы фактически используют информацию.

Влияние на результаты

Для экологических норм это может быть снижение концентрации загрязняющих веществ или восстановление видов. Для правил безопасности это может быть меньше травм на рабочем месте или дорожно-транспортных происшествий. Метрики результатов являются наиболее прямой мерой того, работает ли регулирование. Однако они требуют контроля за другими факторами, которые влияют на результат - проблема, которая часто требует сложных статистических методов. Ретроспективный анализ EPA Закона о чистом воздухе дает известный пример: сравнивая тенденции качества воздуха до и после крупных поправок, агентство подсчитало, что закон предотвратил сотни тысяч преждевременных смертей.

Анализ затрат и выгод (CBA)

CBA сравнивает общие экономические затраты на регулирование (затраты на соблюдение, административное бремя, потерянная производительность) с его общими выгодами (улучшение здоровья, экологические выгоды, снижение рисков). Как затраты, так и выгоды выражаются в денежном выражении, где это возможно, позволяя прямую оценку чистого социального благосостояния. CBA является краеугольным камнем анализа регулирующего воздействия во многих странах, но у него есть ограничения. Он борется с немонетизируемыми ценностями (например, биоразнообразие, человеческое достоинство) и может быть чувствительным к ставкам дисконтирования и неопределенности. Несмотря на эти проблемы, CBA остается мощным инструментом для сравнения нормативных альтернатив. Управление по управлению и бюджету в США публикует ежегодные отчеты о затратах и преимуществах федеральных правил, предоставляя богатый источник данных для оценки.

Обратная связь с заинтересованными сторонами

Количественные показатели должны дополняться качественным вкладом от затронутых. Отзывы заинтересованных сторон, собранные с помощью опросов, публичных комментариев или консультативных встреч, могут выявить непреднамеренные последствия, препятствия для реализации и восприятие справедливости. Например, опрос малого бизнеса может показать, что требование отчетности настолько обременительно, что оно препятствует соблюдению, даже если само правило разумно. Управление по финансовому поведению в Великобритании регулярно проводит обзоры после внедрения , которые объединяют количественные данные с интервью заинтересованных сторон.

Продольные исследования и анализ временных рядов

Многие нормативные акты дают эффект, который разворачивается в течение многих лет или десятилетий. Продольные исследования отслеживают одни и те же регулируемые субъекты или географические области во времени, позволяя оценщикам наблюдать тенденции до и после регулирования. Эконометрика временных рядов может изолировать регулирующий эффект от других экономических или социальных изменений. Например, исследователи, изучающие влияние Закона Додда-Франка на принятие банковских рисков, использовали десятилетия квартальных данных на банковских балансах для оценки изменений в кредитном плече и торговой деятельности. Эти исследования бесценны, но требуют тщательного моделирования, чтобы избежать путаницы переменных.

Дополнительные метрики: справедливость, эффективность и отзывчивость

Помимо основных показателей, приведенных выше, регулирующие органы все чаще измеряют справедливость — влияет ли регулирование непропорционально на уязвимые группы населения. Это может быть отражено демографическими разбивками расходов на соблюдение или изменениями результатов. Эффективность может быть дополнительно оценена с помощью анализа экономической эффективности (например, долларов за сэкономленную жизнь) или путем сравнения эффективности регулирования в разных юрисдикциях. Ответственность труднее оценить количественно, но может быть аппроксимирована скоростью обновлений нормативных актов или количеством предоставленных отказов. Положение, которое никогда не адаптируется к новым доказательствам, может со временем потерять эффективность.

Методы оценки

Выбор правильного метода оценки зависит от контекста регулирования, доступности данных и задаваемых вопросов. Методы обычно падают по спектру от количественного до качественного, при этом подходы со смешанным методом часто дают самые богатые идеи.

Количественные методы

Количественные методы опираются на численные данные и статистический вывод.Их сила — объективность и воспроизводимость, но они требуют высококачественных данных и тщательного уточнения модели.

Квази-экспериментальные проекты

Поскольку рандомизированные контрольные испытания редко выполнимы для правил (невозможно назначить некоторые фирмы для регулирования, а другие нет), оценщики используют квазиэкспериментальные методы. Различие в различиях сравнивает регулируемую группу с нерегулируемой контрольной группой до и после изменения политики. Прерывность регрессии использует пороги (например, конкретный уровень загрязнения, который вызывает более строгие правила) для причинно-следственной оценки эффектов. Инструментальные переменные могут решать эндогенность, когда регулирование само по себе зависит от результатов. Эти методы теперь стандартны в академической оценке политики и все чаще принимаются государственными учреждениями.

Экономическое моделирование и симуляция

Модели общего равновесия и модели системной динамики могут имитировать волновые эффекты регулирования через всю экономику или сектор. Например, программа отчетности по парниковым газам EPA использует экономические модели для оценки воздействия предельных выбросов на макроуровне. Эти модели являются мощными для прогнозирования, но в значительной степени зависят от предположений о поведении и технологии. Они лучше всего используются наряду с эмпирическими эталонами.

Опросы и административные данные

Крупномасштабные обследования регулируемых организаций могут генерировать данные о соблюдении и результатах по низкой цене. Административные записи, такие как налоговые декларации, отчеты о загрязнении или инспекции безопасности, предоставляют богатые продольные данные без необходимости первичного сбора данных. Связывание административных наборов данных между агентствами (например, медицинские записи и экологический мониторинг) позволяет проводить мощный анализ, но вызывает проблемы конфиденциальности, которые необходимо контролировать.

Качественные методы

Качественные методы позволяют изучить "как" и "почему" количественные результаты, которые имеют важное значение для понимания процессов осуществления и опыта заинтересованных сторон.

В глубине интервью

Полуструктурированные интервью с регулирующими органами, представителями отрасли, группами защиты интересов и затронутыми гражданами могут выявить барьеры для соблюдения, восприятия справедливости и непреднамеренных последствий. Например, интервью с владельцами малого бизнеса после введения нового правила безопасности пищевых продуктов могут показать, что затраты на тестирование оборудования намного перевешивают преимущества безопасности пищевых продуктов для их конкретной работы. Такие выводы могут информировать об исключениях или многоуровневых требованиях.

Фокус-группы

Фокус-группы объединяют небольшие, разнообразные группы заинтересованных сторон для изучения их взглядов на регулирование. Они особенно полезны при тестировании проектов правил или изучении того, почему соблюдение является низким. Динамическое групповое взаимодействие часто выявляет перспективы, которые не возникали бы в отдельных интервью.

Тематические исследования

Углубленные тематические исследования конкретных регулятивных реализаций предоставляют богатые, контекстуализированные доказательства. В тематическом исследовании можно проследить, как новый указ о контроле за арендной платой в городе повлиял на поведение арендодателя, предложение жилья и удовлетворенность арендаторов в течение двух лет. Репозиторий тематических исследований ОЭСР предлагает десятки примеров по секторам, иллюстрируя как успешные, так и неудачные регулятивные вмешательства.

Смешанные методы: объединение лучшего из обоих

Все чаще оценочные рамки выступают за смешанные методы: использование количественных данных для оценки причинных эффектов и выявления закономерностей, а затем использование качественного исследования для объяснения этих закономерностей и выявления механизмов. Например, исследование регулирования табака FLT:0 FDA может сочетать прерванный анализ временных рядов показателей курения с интервью должностных лиц общественного здравоохранения и табачных ритейлеров. Эта триангуляция укрепляет доверие к результатам и дает действенные рекомендации.

Проблемы при оценке регулирования

Даже при наличии наилучших показателей и методов нормативная оценка сталкивается с постоянными препятствиями. Признание этих проблем имеет важное значение для реалистичной оценки.

Доступность и качество данных

Регуляторная оценка часто требует данных, которые не существуют или недоступны. Конфиденциальная деловая информация, фрагментированные записи агентств или короткие периоды измерения могут ограничить анализ. В развивающихся странах базовые данные о соответствии могут отсутствовать полностью. Оценки иногда должны полагаться на прокси или небольшие выборки, которые вносят неопределенность. Портал Regulation.gov в США улучшил прозрачность данных, но многие агентства по-прежнему не имеют систематических баз данных оценки.

Атрибуция и контрфактуальные

Изоляция эффекта регулирования от других одновременных изменений — экономических циклов, технологических сдвигов, других политик — как известно, трудна. Без действительного контрфактического (что бы произошло без регулирования), причинная атрибуция остается предварительной. Квази-экспериментальные методы помогают, но полагаются на предположения (например, параллельные тенденции), которые могут не держаться.

Время лагов и динамические эффекты

Многие нормативные акты дают эффект только после длительного отставания. Экологические нормативные акты часто требуют лет, чтобы показать измеримые улучшения в здоровье экосистем. Финансовые нормативные акты могут предотвратить кризисы, которые произошли бы десятилетия спустя - или никогда. Оценки, проведенные слишком рано, могут не найти никакого эффекта, в то время как ожидание слишком длительных рисков с использованием устаревших данных. Динамические эффекты (например, фирмы, внедряющие инновации, чтобы избежать соблюдения) также могут изменить нормативную среду с течением времени.

Сопротивление заинтересованных сторон и игры

Регулируемые организации могут сопротивляться сбору данных или стратегически сообщать о предполагаемом несоблюдении. Это может привести к смещению как показателей соблюдения, так и показателей результатов. Например, фирмы, подверженные ограничениям на выбросы, могут недооценивать загрязнение, что делает регулирование более эффективным, чем оно есть. Независимые аудиты и сторонняя проверка могут смягчить игровые процессы, но добавить стоимость.

Политические и институциональные ограничения

Оценки, показывающие неэффективность регулирования, могут быть политически неудобными. Агентства могут столкнуться с давлением, чтобы публиковать только положительные результаты, или бюджеты на оценку могут быть сокращены, когда результаты неблагоприятны. Институциональная инерция также может препятствовать использованию результатов оценки для обновления правил. Создание культуры оценки требует лидерства и долгосрочной приверженности.

Тематические исследования в области нормативной оценки

Оценки реального мира иллюстрируют, как теория соответствует практике. Следующие случаи выделяют различные метрики и методы в действии.

Закон о чистом воздухе (Экологическое регулирование)

Закон США о чистом воздухе был одним из наиболее широко оцененных правил в истории. Ретроспективный анализ EPA использует комбинацию данных о соответствии, мониторинга качества воздуха (метрики результатов) и моделирования воздействия на здоровье. Важнейшее исследование показало, что в период с 1970 по 2020 год закон предотвращал более 200 000 преждевременных смертей в год. Оценка основывалась на различиях в различиях, сравнивающих округа с различными исходными уровнями загрязнения, а также анализ затрат и выгод, показывающий преимущества, превышающие затраты в 30 раз. Эти доказательства были использованы для обоснования последующих поправок и установления стандартов качества воздуха.

Закон Додда-Франка (Финансовое регулирование)

Пройденное после финансового кризиса 2008 года Додд-Франк преследовало цель снизить системный риск и защитить потребителей. Оценки были сосредоточены на таких показателях, как соотношение банковского капитала, риск-принимающее поведение и количество банковских сбоев. Исследование, использующее ежеквартальные банковские данные и дизайн разрыва регрессии вокруг порога размера активов, показало, что более тщательный надзор в рамках Додда-Франка уменьшил риск-принимание, но также увеличил расходы на соблюдение для небольших банков. Качественные интервью показали, что банки сообщества боролись с бременем отчетности, что побудило закон о нормативной помощи 2018 года. Дело демонстрирует, как количественная и качественная оценка может информировать законодательные корректировки.

Политика борьбы против табака (регуляция здравоохранения)

Когда FDA получило полномочия регулировать табачные изделия в 2009 году, оно внедрило рекламные ограничения, предупреждающие этикетки и запреты на ароматизаторы. Оценщики использовали прерванные модели временных рядов с данными о продажах на уровне магазинов, чтобы показать, что запреты на ароматы снизили инициирование молодежи на 40%. Опросы розничных торговцев и фокус-групп с подростками предоставили контекст: запреты были эффективны, потому что они убрали привлекательные ароматы, но молодежь просто перешла на онлайн-покупки. Этот вывод привел к усилению принудительного исполнения против продаж электронной коммерции. Программа FDA Регуляторная наука продолжает финансировать оценки, которые возвращаются в разработку политики.

GDPR (Регламент о конфиденциальности данных)

Общий регламент ЕС по защите данных, действующий в 2018 году, направлен на укрепление прав на конфиденциальность данных. Оценка его эффективности является сложной задачей из-за глобального характера потоков данных. Метрики включают количество уведомлений о нарушении данных, наложенных штрафов и опросов потребительского доверия. В смешанном методическом исследовании, сочетающем количественный анализ отчетов о нарушениях (которые увеличились) с интервью сотрудников по вопросам конфиденциальности, было установлено, что регулирование повысило осведомленность, но также создало бремя соблюдения для небольших фирм. Оценка подчеркнула необходимость многоуровневого правоприменения и гармонизации в государствах-членах.

Вывод: к более разумному управлению нормативными актами

Оценка эффективности регулирования является не разовым мероприятием, а постоянным обязательством. По мере роста сложности современных экономик и экосистем растет и необходимость строгой, прозрачной оценки. Метрики и методы, описанные в этой статье - от ставок соблюдения и анализа затрат и выгод до квазиэкспериментальных проектов и интервью с заинтересованными сторонами - предоставляют набор инструментов, которые могут быть адаптированы к любому нормативному контексту. Ни один инструмент не является идеальным. Лучшие оценки сочетают в себе несколько подходов, признают неопределенность и активно ищут неподтверждающие доказательства.

Проблемы доступности данных, атрибуции и политического сопротивления реальны, но они не являются непреодолимыми. Правительства могут инвестировать в инфраструктуру данных, поручать независимые оценочные подразделения и создавать механизмы обратной связи, которые позволяют нормативным актам развиваться. Конечной целью является не найти окончательный вердикт по правилу, а создать динамичный процесс обучения и совершенствования. Хорошо оцененное регулирование может заслужить доверие, обеспечить результаты и служить общественным интересам гораздо эффективнее, чем нерассмотренное регулирование.