government-accountability-and-transparency
Avaliación da eficacia do Regulamento: Métricas e Métodos
Table of Contents
Introdución: Por que a avaliación normativa
A regulación dá forma a case todas as facetas da vida moderna: do aire que respiramos e dos alimentos que consumimos á estabilidade dos mercados financeiros e da seguridade dos lugares de traballo.Con todo, as regulacións non son autovalorizadas. Unha regra que parece sensata sobre o papel pode producir consecuencias non desexadas, impoñer custos desproporcionados ou simplemente non cambiar o comportamento.A avaliación da eficacia regulatoria é, por tanto, unha función de gobernanza crítica.
Este artigo proporciona un exame exhaustivo das métricas e métodos utilizados para avaliar a efectividade regulatoria. Baséase en marcos de avaliación establecidos de organizacións como o FLT:0 OECD e a Axencia de Protección Ambiental estadounidense , así como leccións de estudos de casos do mundo real.Entendendo que funciona e que non, os reguladores, os interesados e os cidadáns poden impulsar un goberno máis intelixente e responsable.
Comprensión da eficacia normativa
A efectividade regulatoria non é un concepto único, senón multidimensional.No seu núcleo, refírese ao grao en que unha regulación cumpre os seus obxectivos declarados.
- 1 Facer que [alguén] adquira o dereito, mediante pagamen...
- FLT:0 (Fficiency): ¿Están xustificados os beneficios da regra polos custos impostos á sociedade?
- 1 Facer que [alguén] deixe de ser indiferente ante un grupo de persoas.
- {{FLT:0}} {{DP-artigo}}: Pode a regulación adaptarse ás circunstancias cambiantes ou a información nova?
- 1 Aplicar o sentido do olfacto para percibir o olor de [algo].
Estas dimensións adoitan comerciar entre si. Por exemplo, unha regulación altamente prescritiva pode acadar unha alta eficacia pero a un custo de flexibilidade e eficiencia. Unha avaliación debe equilibrar estas tensións, usando unha combinación de métricas e métodos que capturan a imaxe completa.
Medición clave para a avaliación
Non hai unha soa métrica, é necesario un conxunto de indicadores para capturar as moitas facetas da eficacia.A continuación están as métricas máis comunmente usadas, expandidas con exemplos e contexto.
Taxas de cumprimento
O cumprimento é a métrica máis directa: mide a proporción de entidades reguladas que se adhiren á regra.As altas taxas de cumprimento suxiren que a regulación está ben deseñada, forzada e aceptada.O baixo cumprimento pode indicar mal deseño, desprezo ou requisitos irrealistas. Con todo, o cumprimento por si só pode ser enganoso. Unha regra que se cumpre facilmente pode non provocar cambios significativos, mentres que unha regra difícil co cumprimento moderado pode aínda xerar grandes beneficios netos.
Impacto nos resultados
As métricas de resultados van máis alá do cumprimento da medida do cambio real no mundo.Para as regulacións ambientais, isto podería ser reducións nas concentracións contaminantes ou na recuperación de especies.Para as regulacións de seguridade, podería ser menos lesións no lugar de traballo ou de accidentes de tráfico. métricas de resultados son a medida máis directa de se unha regulación funciona. Con todo, requiren o control doutros factores que inflúen no resultado, un desafío que a miúdo esixe métodos estatísticos sofisticados. A análise retrospectiva da EPA da Lei de Aire Limpo proporciona un exemplo ben coñecido comparando as tendencias de calidade do aire antes de que se previran as mortes prematuras de centos de mortes.
Análise de custo-beneficio (CBA)
A CBA compara os custos económicos totais dunha regulación (custos de conformidade, cargas administrativas, produtividade perdida) contra os seus beneficios totais (melloras sanitarias, ganancias ambientais, riscos reducidos).Os custos e beneficios exprésanse en termos monetarios cando sexa posible, permitindo unha avaliación directa do benestar social neto.
Comentarios entakeholder
As métricas cuantitativas deben ser complementadas por achegas cualitativas dos afectados.A retroalimentación dos interesados, combinada con enquisas, comentarios públicos ou reunións consultivas, pode revelar consecuencias non desexadas, obstáculos de implementación e percepcións de equidade. Por exemplo, unha pequena enquisa de empresas pode mostrar que un requirimento de información é tan oneroso que desanime o cumprimento, aínda que a regra en si é sensible.
Estudos lonxitudinais e análise de historias do tempo
Moitos regulamentos producen efectos que se desenvolven ao longo de anos ou décadas. estudos lonxitudinais seguen as mesmas entidades reguladas ou áreas xeográficas ao longo do tempo, permitindo aos avaliadores observar tendencias antes e despois da regulación. A econometría das series de tempo pode illar o efecto regulatorio doutros cambios económicos ou sociais. Por exemplo, os investigadores que estudan o impacto da Lei de Dodd-Frank sobre a toma de riscos bancarios utilizaron décadas de datos trimestrais sobre as follas de balance bancario para estimar os cambios na alavancagem e actividade comercial.
Medición adicional: Equidade, eficiencia e responsabilidade
Máis aló das métricas centrais anteriores, os reguladores cada vez máis miden a súa eficacia, xa sexa que a regulación afecta de forma desproporcionada ás poboacións vulnerables. Isto pode ser capturado por desglosmos demográficos dos custos de cumprimento ou cambios de resultado. A eficiencia pode ser avaliada a través da análise de custo-efectividade (por exemplo, dólares por vida gardados) ou comparando o desempeño regulatorio en xurisdicións.
Métodos de avaliación
A elección do método de avaliación correcto depende do contexto regulatorio, da dispoñibilidade de datos e das preguntas que se están a facer.Os métodos xeralmente caen ao longo dun espectro de cuantitativo a cualitativo, con enfoques mixtos que a miúdo dan os puntos máis ricos.
Métodos cuantitativos
Os métodos cuantitativos dependen dos datos numéricos e da inferencia estatística.A súa forza é obxectividade e replicabilidade, pero requiren datos de alta calidade e especificacións do modelo coidadosas.
Deseños Quasi-Experimental
Debido a que os ensaios de control aleatorio son raramente factibles para as regulacións (non se pode asignar unhas empresas a que se regulan e outras non), os avaliadores usan métodos cuasi-experimentales. Difference-in-differences (FLT:1) comparan un grupo regulado a un grupo de control non regulado antes e despois do cambio de política.FLT:2]]A descontinuidade do progreso pode ser adoptada polos limiares (por exemplo, un nivel de contaminación específico que desencadea regras máis estritas) para estimar os efectos da regulación causalmente nos resultados das variables do goberno.
Modelización e simulación económica
Os modelos de equilibrio xeral e os modelos de dinámica de sistemas poden simular os efectos axitados dunha regulación a través dunha economía ou sector enteiros. Por exemplo, o programa de informes de gases de efecto invernadoiro da EPA usa modelos económicos para estimar os impactos macro-nivel dos límites de emisións.
Enquisas e datos administrativos
As enquisas a grande escala de entidades reguladas poden xerar datos de cumprimento e resultado a baixo custo. Os rexistros administrativos, como presentacións de impostos, informes de contaminación ou inspeccións de seguridade, proporcionan datos lonxitudinais ricos sen necesidade de recollida de datos primarios.O enlace de conxuntos de datos administrativos en axencias (por exemplo, rexistros de saúde e monitorización ambiental) permite análises poderosas pero aumenta as preocupacións de privacidade que deben ser xestionadas.
Métodos cualitativos
Os métodos cualitativos exploran o "como" e o "por que" detrás dos resultados cuantitativos, que son esenciais para comprender os procesos de implementación e as experiencias dos interesados.
Entrevistas en profundidade
Entrevistas semiestruturadas con reguladores, representantes da industria, grupos de defensa e cidadáns afectados poden descubrir barreiras ao cumprimento, percepcións de equidade e consecuencias non desexadas. Por exemplo, entrevistas con pequenos empresarios despois da introdución dunha nova norma de seguridade alimentaria podería revelar que os custos de proba equipos superan os beneficios de seguridade alimentaria para o seu funcionamento específico.
Grupos centrados
Os grupos de foco reúnen a pequenos e diversos grupos de partes interesadas para explorar as súas opinións sobre unha regulación.Son especialmente útiles cando se proban regras do borrador ou se exploran por que o cumprimento é baixo.
Case estudos
Un estudo de caso en profundidade sobre implementacións regulamentarias específicas proporciona probas ricas e contextualizadas.Un estudo de caso podería trazar como a nova ordenanza de control de renda da cidade afectou o comportamento dos propietarios, a subministración de vivenda e a satisfacción dos inquilinos durante dous anos.
Métodos mixtos: combinando o mellor de ambos os dous
Cada vez máis, os marcos de avaliación avogan por métodos mixtos: o uso de datos cuantitativos para estimar os efectos causais e identificar patróns, e logo, usando investigacións cualitativas para explicar eses patróns e identificar mecanismos. Por exemplo, un estudo da regulación do tabaco da FLT:0 (FDA) podería combinar análises temporais interrompidas das taxas de tabaquismo con entrevistas de funcionarios de saúde pública e venda polo miúdo de tabaco.
Retos na avaliación do Regulamento
Aínda coas mellores métricas e métodos, a avaliación regulatoria afronta obstáculos persistentes.
Dispoñibilidade de datos e calidade
A avaliación normativa xeralmente require datos que non existen ou non son accesibles. Información comercial confidencial, rexistros de axencias fragmentadas ou curtos períodos de medición poden limitar a análise.En países en desenvolvemento, os datos de cumprimento básicos poden estar ausentes por completo.Os avaliadores deben ás veces confiar en proxies ou mostras pequenas, que introducen incerteza.O portal de Regulation.govFLT:1 nos Estados Unidos mellorou a transparencia dos datos, pero moitas axencias aínda carecen de bases de datos de avaliación sistemáticas.
Atribución e contra-actualidade
A isolación do efecto dunha regulación doutros cambios concorrentes (ciclos económicos, cambios tecnolóxicos, outras políticas) é notoriamente difícil. Sen un contra-real válido (que tería ocorrido sen a regulación), a atribución causal segue sendo provisional.
Tempo de descarga e efectos dinámicos
Moitas regulacións producen efectos só despois dun longo atraso. As regulacións ambientais a miúdo tardan anos en mostrar melloras medibles na saúde dos ecosistemas. As regulacións financeiras poden previr crises que se producirían décadas despois ou nunca. As avaliacións realizadas demasiado cedo non poden ter efecto, mentres agardan riscos demasiado longos usando datos obsoletos.Os efectos dinámicos (por exemplo, as empresas que innovan para evitar o cumprimento) tamén poden cambiar a paisaxe reguladora ao longo do tempo.
Resistencia e xogo dos actores
As entidades reguladoras poden resistir a recollida de datos ou informar estratexicamente para minimizar o incumprimento percibido. Isto pode nesgar tanto métricas de cumprimento como medidas de resultado. Por exemplo, as empresas suxeitas a tapas de emisións poden subestimar a contaminación, facendo que a regulación pareza máis eficaz do que é. auditorías independentes e verificación de terceiros poden mitigar os xogos pero engadir custos.
Contraccións políticas e institucionais
As avaliacións que mostran unha regulación non son efectivas poden ser politicamente inconvenientes.As axencias poden sufrir presión para publicar só resultados positivos, ou os orzamentos de avaliación poden ser reducidos cando os resultados son desfavorables. inercia institucional tamén pode impedir o uso de resultados de avaliación para actualizar as regras.
Estudos de casos en avaliación normativa
As avaliacións do mundo real ilustran como a teoría se adapta á práctica.Os seguintes casos poñen de relevo diferentes métricas e métodos en acción.
Lei de aire limpo (Regulamento ambiental)
A Lei de aire limpo dos Estados Unidos foi unha das regulacións máis avaliadas na historia.As análises retrospectivas da EPA usan unha combinación de datos de cumprimento, monitorización da calidade do aire (métricas de saída) e modelaxe de impacto para a saúde. Un estudo histórico estimou que entre 1970 e 2020, a Lei impediu máis de 200.000 mortes prematuras ao ano.A avaliación baseouse en diferenzas nas diferenzas de diferenzas nas diferenzas de condados con diferentes niveis de contaminación base, así como análises de custo-beneficio que mostran beneficios que superan os custos por un factor de 30.
Lei de Dodd-Frank (Regulamento Financeiro)
Tras a crise financeira de 2008, Dodd-Frank pretendía reducir o risco sistémico e protexer aos consumidores.As avaliacións centráronse en métricas como as proporcións de capital bancario, o comportamento de toma de riscos e o número de fallos bancarios.Un estudo que usa datos bancarios trimestrais e un deseño de descontinuidade da regresión ao redor do limiar de tamaño dos activos atopou que unha supervisión máis próxima baixo o control de Dodd-Frank reduce a toma de riscos, pero tamén aumenta os custos de cumprimento para bancos máis pequenos.
Políticas de control do tabaco (regulamento sanitario)
Cando a FDA gañou autoridade para regular os produtos de tabaco en 2009, puxo en práctica restricións de publicidade, etiquetas de advertencia e prohibicións de sabor.Os avaliadores utilizaron modelos de serie temporal interrompidos con datos de vendas a nivel de tenda para mostrar que o sabor prohibía a iniciación da mocidade nun 40%. Enquisas de minoristas e grupos de enfoque con adolescentes proporcionados o contexto: as prohibicións foron efectivas porque eliminaron sabores atractivos, pero os mozos simplemente cambiaron a compras en liña.
GDPR (Regulamento de privacidade de datos)
O Regulamento Xeral de Protección de Datos da Unión Europea, efectivo en 2018, dirixido a reforzar os dereitos de privacidade dos datos.A avaliación da súa eficacia é desafiante debido á natureza global dos fluxos de datos. Entre as medicións inclúense o número de notificacións por violación de datos, multas impostas e enquisas de confianza dos consumidores.Un estudo mixto combinando análises cuantitativas de informes de violación (que aumentou) con entrevistas de axentes de privacidade atopou que a regulación aumentou a conciencia, pero tamén creou cargas de cumprimento para pequenas empresas.
Cara a unha estratexia reguladora máis intelixente
A avaliación da efectividade da regulación non é un exercicio único, senón un compromiso continuo.Como a complexidade das economías modernas e dos ecosistemas crece, así tamén a necesidade dunha avaliación rigorosa e transparente.As métricas e métodos descritos neste artigo, desde as taxas de cumprimento e a análise de rendibilidade ata os deseños case experimentais e entrevistas entre os interesados, proporcionan un kit de ferramentas que pode adaptarse a calquera contexto normativo.
Os retos da dispoñibilidade, atribución e resistencia política son reais, pero non son insuperables.Os gobernos poden investir en infraestruturas de datos, mandar unidades de avaliación independentes e construír mecanismos de retroalimentación que permitan que as regulacións evolucionen.O obxectivo final non é atopar un veredicto final sobre unha norma senón crear un proceso dinámico de aprendizaxe e mellora.