Introduction : Pourquoi l'évaluation réglementaire compte-t-elle

La réglementation façonne presque toutes les facettes de la vie moderne, depuis l'air que nous respirons et la nourriture que nous mangeons jusqu'à la stabilité des marchés financiers et la sécurité des lieux de travail. Pourtant, la réglementation n'est pas autovalidante. Une règle qui semble raisonnable sur le papier peut produire des conséquences imprévues, imposer des coûts disproportionnés ou tout simplement ne pas changer de comportement. L'évaluation de l'efficacité réglementaire est donc une fonction de gouvernance essentielle.

Cet article présente un examen exhaustif des mesures et des méthodes utilisées pour évaluer l'efficacité de la réglementation. Il s'appuie sur des cadres d'évaluation établis par des organismes comme OCDE[ et Agence de protection de l'environnement des États-Unis, ainsi que sur les leçons tirées d'études de cas sur le monde réel.

Comprendre l'efficacité de la réglementation

L'efficacité réglementaire n'est pas un concept unique, mais un concept multidimensionnel. Elle se réfère essentiellement à la mesure dans laquelle un règlement atteint ses objectifs énoncés. Toutefois, ces objectifs couvrent souvent de multiples domaines : efficacité économique, qualité de l'environnement, santé publique, équité et faisabilité administrative.

  • Efficacité: La règle produit-elle le changement souhaité dans le comportement ou le résultat?
  • Efficacité : Les avantages de la règle sont-ils justifiés par les coûts imposés à la société?
  • Equité : Les charges et les avantages sont-ils répartis équitablement entre différents groupes?
  • Réponse[ : Le règlement peut-il s'adapter à des circonstances changeantes ou à de nouveaux renseignements?
  • Licéité: La règle est-elle perçue comme juste et raisonnable par les personnes touchées?

Ces dimensions se contredisent souvent les unes contre les autres.Par exemple, une réglementation hautement normative peut atteindre une efficacité élevée, mais au détriment de la flexibilité et de l'efficacité.Une évaluation doit équilibrer ces tensions, en utilisant une combinaison de mesures et de méthodes qui reflètent l'ensemble de la situation.

Principaux critères d'évaluation

Les mesures traduisent les objectifs réglementaires en indicateurs mesurables. Aucune mesure ne suffit; une série d'indicateurs est nécessaire pour saisir les nombreuses facettes de l'efficacité. Voici les mesures les plus couramment utilisées, élargies avec des exemples et un contexte.

Taux de conformité

La conformité est la mesure la plus simple : elle mesure la proportion d'entités réglementées qui respectent la règle. Des taux élevés de conformité indiquent que la réglementation est bien conçue, appliquée et acceptée. La faible conformité peut indiquer une conception médiocre, une application faible ou des exigences irréalistes. Toutefois, la conformité peut être trompeuse à elle seule. Une règle facilement respectée peut ne pas entraîner de changement significatif, alors qu'une règle difficile avec une conformité modérée pourrait encore générer des avantages nets importants.

Impact sur les résultats

Pour les règlements environnementaux, il pourrait s'agir de réductions des concentrations de polluants ou de rétablissement des espèces.Pour les règlements de sécurité, il pourrait s'agir de moins de blessures au travail ou de décès par la circulation.Les mesures de résultats sont la mesure la plus directe de l'efficacité d'un règlement. Toutefois, elles exigent un contrôle pour d'autres facteurs qui influent sur le résultat — un défi qui exige souvent des méthodes statistiques sophistiquées.

Analyse coûts-avantages (ACS)

L'ABC compare les coûts économiques totaux d'une réglementation (coûts de conformité, charges administratives, perte de productivité) par rapport à ses avantages totaux (améliorations de la santé, gains environnementaux, réduction des risques).Les coûts et les avantages sont exprimés en termes monétaires lorsque cela est possible, ce qui permet une évaluation directe du bien-être social net. L'ABC est une pierre angulaire de l'analyse de l'impact réglementaire dans de nombreux pays, mais elle a des limites.

Commentaires des parties prenantes

Les commentaires des intervenants — recueillis au moyen d'enquêtes, de commentaires du public ou de réunions consultatives — peuvent révéler des conséquences imprévues, des obstacles à la mise en oeuvre et des perceptions d'équité. Par exemple, une enquête auprès des petites entreprises pourrait montrer qu'une obligation de déclaration est si lourde qu'elle décourage la conformité, même si la règle elle-même est raisonnable.

Études longitudinales et analyse chronologique

Les études longitudinales permettent aux évaluateurs d'observer les tendances avant et après la réglementation. L'économétrie des séries chronologiques peut isoler l'effet réglementaire d'autres changements économiques ou sociaux. Par exemple, les chercheurs qui étudient l'impact de la Loi Dodd-Frank sur la prise de risques bancaires ont utilisé des décennies de données trimestrielles sur les bilans bancaires pour estimer les changements dans les activités de levier et de négociation.

Mesures supplémentaires : équité, efficacité et réceptivité

Au-delà des paramètres fondamentaux ci-dessus, les organismes de réglementation mesurent de plus en plus équité[, que la réglementation affecte de façon disproportionnée les populations vulnérables, ce qui pourrait être pris en compte par la ventilation démographique des coûts de conformité ou des changements de résultats. L'efficacité[ peut être évaluée plus avant au moyen d'une analyse coût-efficacité (p. ex., des dollars par vie sauvée) ou en comparant le rendement réglementaire entre les administrations. La responsabilité[ est plus difficile à quantifier, mais peut être approximative par la rapidité des mises à jour réglementaires ou le nombre de dérogations accordées.

Méthodes d'évaluation

Le choix de la bonne méthode d'évaluation dépend du contexte réglementaire, de la disponibilité des données et des questions posées. Les méthodes varient généralement d'un point de vue quantitatif à l'autre, les approches mixtes donnant souvent les plus riches aperçus.

Méthodes quantitatives

Les méthodes quantitatives reposent sur des données numériques et des inférences statistiques, qui sont objectives et répliquables, mais qui nécessitent des données de haute qualité et des spécifications de modèles soignées.

Conceptions quasi expérimentales

Comme les essais de contrôle randomisés sont rarement réalisables pour les règlements (on ne peut pas attribuer certaines entreprises à réglementer et d'autres non), les évaluateurs utilisent des méthodes quasi expérimentales. La différence entre les différences[ compare un groupe réglementé à un groupe de contrôle non réglementé avant et après le changement de politique. La discontinuité de la régression exploite des seuils (p. ex., un niveau de pollution spécifique qui déclenche des règles plus strictes) pour estimer les effets causaux. Les variables instrumentales peuvent traiter de l'endogenèse lorsque la réglementation est elle-même influencée par les résultats.

Modélisation et simulations économiques

Par exemple, le EPA] utilise des modèles économiques pour estimer les impacts macro-niveaux des limites d'émission. Ces modèles sont puissants pour la prévision, mais dépendent fortement des hypothèses sur le comportement et la technologie. Ils sont mieux utilisés aux côtés de repères empiriques.

Enquêtes et données administratives

Les enquêtes à grande échelle auprès des entités réglementées peuvent générer des données sur la conformité et les résultats à faible coût.Les dossiers administratifs – comme les déclarations de taxes, les rapports sur la pollution ou les inspections de sécurité – fournissent de riches données longitudinales sans avoir besoin de recueillir des données primaires.

Méthodes qualitatives

Les méthodes qualitatives explorent les résultats quantitatifs, qui sont essentiels pour comprendre les processus de mise en œuvre et les expériences des parties prenantes.

Entrevues en profondeur

Par exemple, les entrevues avec les propriétaires de petites entreprises après l'adoption d'une nouvelle règle sur la salubrité des aliments pourraient révéler que les coûts des essais d'équipement l'emportent beaucoup sur les avantages pour la salubrité des aliments pour leur exploitation particulière.

Groupes de discussion

Les groupes de discussion réunissent de petits groupes d'intervenants divers pour examiner leurs points de vue sur un règlement. Ils sont particulièrement utiles pour tester les projets de règles ou pour explorer les raisons pour lesquelles la conformité est faible.

Études de cas

Une étude de cas pourrait permettre de déterminer comment une nouvelle ordonnance de contrôle des loyers a affecté le comportement des propriétaires, l'offre de logements et la satisfaction des locataires sur deux ans. Le dépôt de l'OCDE offre des dizaines d'exemples dans tous les secteurs, illustrant à la fois les interventions réglementaires réussies et les échecs.

Méthodes mixtes: combiner le meilleur des deux

De plus en plus, les cadres d'évaluation préconisent des méthodes mixtes : utiliser des données quantitatives pour estimer les effets causaux et identifier les modèles, puis utiliser une enquête qualitative pour expliquer ces modèles et identifier les mécanismes.Par exemple, une étude de la FDA=s la réglementation du tabac[ pourrait combiner l'analyse interrompue des séries chronologiques des taux de tabagisme avec des entrevues avec des responsables de la santé publique et des détaillants de tabac.

Les défis de l'évaluation de la réglementation

Même avec les meilleures mesures et méthodes, l'évaluation réglementaire se heurte à des obstacles persistants, qui sont essentiels pour une évaluation réaliste.

Disponibilité et qualité des données

L'évaluation réglementaire exige souvent des données qui n'existent pas ou qui ne sont pas accessibles. Des informations commerciales confidentielles, des dossiers d'agence fragmentés ou des périodes de mesure courtes peuvent limiter l'analyse.Dans les pays en développement, les données de base sur la conformité peuvent être totalement manquantes.Les évaluateurs doivent parfois se fier à des procurations ou à de petits échantillons, ce qui crée une incertitude.

Attribution et contre-frais

Il est notoire que l'isolement de l'effet d'un règlement par rapport à d'autres changements simultanés — cycles économiques, mutations technologiques, autres politiques — est difficile. Sans un contre-factuel valable (ce qui aurait été fait sans le règlement), l'attribution causale reste provisoire.

Les temps et les effets dynamiques

La réglementation environnementale prend souvent des années pour montrer des améliorations mesurables de la santé des écosystèmes. La réglementation financière peut prévenir des crises qui auraient eu lieu des décennies plus tard, ou jamais. Les évaluations effectuées trop tôt peuvent ne pas avoir d'effet, tout en attendant trop longtemps les risques à l'aide de données périmées.

Résistance des parties prenantes et jeux

Les entités réglementées peuvent résister à la collecte de données ou à la déclaration stratégique pour minimiser la perception de non-conformité, ce qui peut biaiser les mesures de conformité et les mesures des résultats. Par exemple, les entreprises assujetties à des plafonds d'émissions pourraient sous-estimer la pollution, ce qui rendrait la réglementation plus efficace qu'elle ne l'est.

Contraintes politiques et institutionnelles

Les évaluations qui montrent qu'une réglementation est inefficace peuvent être politiquement peu commodes. Les organismes peuvent être contraints de publier seulement des résultats positifs, ou les budgets d'évaluation peuvent être réduits lorsque les constatations sont défavorables. L'inertie institutionnelle peut également empêcher l'utilisation des conclusions d'évaluation pour mettre à jour les règles.

Études de cas dans l'évaluation réglementaire

Les évaluations du monde réel illustrent comment la théorie rencontre la pratique. Les cas suivants mettent en évidence différentes mesures et méthodes en action.

Loi sur la qualité de l ' air (règlement environnemental)

La loi américaine sur la qualité de l'air a été l'un des règlements les plus évalués de l'histoire. Les analyses rétrospectives de l'EPA utilisent une combinaison de données de conformité, de surveillance de la qualité de l'air (mesurages des résultats) et de modélisation des effets sur la santé. Une étude historique a estimé qu'entre 1970 et 2020, la loi prévient plus de 200 000 décès prématurés par année.

Loi Dodd-Frank (règlement financier)

Une étude utilisant des données bancaires trimestrielles et une conception de la discontinuité de régression autour du seuil de taille des actifs a révélé que la surveillance plus étroite sous Dodd-Frank a réduit la prise de risque mais a également augmenté les coûts de conformité pour les petites banques. Des entrevues qualitatives ont révélé que les banques communautaires ont eu du mal à faire rapport, ce qui a entraîné la loi de 2018 sur l'allégement de la réglementation.

Politiques de lutte contre le tabagisme (réglementation sanitaire)

Lorsque la FDA a obtenu le pouvoir de réglementer les produits du tabac en 2009, elle a mis en œuvre des restrictions publicitaires, des étiquettes d'avertissement et des interdictions de saveur. Les évaluateurs ont utilisé des modèles de séries chronologiques interrompues avec des données de vente au niveau des magasins pour montrer que les interdictions de saveur ont réduit de 40 % l'initiation des jeunes.Les enquêtes auprès des détaillants et des groupes de discussion auprès des adolescents ont fourni un contexte : les interdictions étaient efficaces parce qu'elles éliminaient les saveurs attrayantes, mais les jeunes ont simplement passé à des achats en ligne.

RGPD (Règlement sur la confidentialité des données)

L'évaluation de son efficacité est difficile en raison de la nature globale des flux de données. Les critères comprennent le nombre de notifications de violation de données, les amendes imposées et les enquêtes de confiance des consommateurs. Une étude mixte combinant l'analyse quantitative des rapports de violation (qui a augmenté) et les entretiens avec les agents de la protection de la vie privée a révélé que le règlement a accru la sensibilisation mais a également créé des charges de conformité pour les petites entreprises. L'évaluation a mis en évidence la nécessité d'appliquer et d'harmoniser à plusieurs niveaux les États membres.

Conclusion : Vers une gérance réglementaire plus intelligente

L'évaluation de l'efficacité de la réglementation n'est pas un exercice ponctuel, mais un engagement continu. À mesure que la complexité des économies et des écosystèmes modernes augmente, il en va de même pour la nécessité d'une évaluation rigoureuse et transparente.Les mesures et méthodes décrites dans cet article, depuis les taux de conformité et l'analyse coûts-avantages jusqu'aux conceptions quasi expérimentales et aux entrevues avec les intervenants, fournissent une trousse d'outils qui peut être adaptée à tout contexte réglementaire.

Les défis que posent la disponibilité, l'attribution et la résistance politique des données sont réels, mais ils ne sont pas insurmontables. Les gouvernements peuvent investir dans l'infrastructure des données, mandater des unités d'évaluation indépendantes et mettre en place des mécanismes de rétroaction qui permettent d'élaborer des règlements. L'objectif ultime n'est pas de trouver un verdict final sur une règle, mais de créer un processus dynamique d'apprentissage et d'amélioration.