Valutare i risultati politici è un punto di riferimento di governance e amministrazione pubblica efficace. Va oltre a misurare i risultati; si tratta di valutare sistematicamente gli effetti previsti e non voluti di politiche, programmi e interventi sulla società. In un'epoca di crescente complessità e limitate risorse pubbliche, la valutazione rigorosa aiuta i decisori a capire quali funzioni, in quali condizioni, e a quale costo.

Il ruolo della valutazione delle politiche nella governance basata sulle prove

La valutazione delle politiche è il motore che alimenta questo approccio. Senza valutazione, le politiche possono persistere sulla base di intuizione o di ideologia piuttosto che dimostrata efficacia. La valutazione fornisce il loop di feedback necessario per la gestione adattativa, permettendo ai governi e alle organizzazioni di perfezionare i programmi, di individuare le risorse e scalare le funzioni.

Le ragioni chiave per cui la valutazione politica è indispensabile includono:

  • Migliorare la responsabilità e la trasparenza.[ I cittadini e gli stakeholder si aspettano che i fondi pubblici vengano utilizzati in modo efficace.
  • Migliorare la progettazione e l'implementazione delle politiche future. Le lezioni di valutazione passata informano la progettazione di nuove iniziative, riducendo il rischio di ripetere errori.
  • Identificare le conseguenze non volute. Le politiche spesso producono effetti ondulari, positivi e negativi, che possono essere trascurati senza analisi rigorose.
  • L'assegnazione delle risorse in modo più efficace. La valutazione aiuta a prioritizzare gli interventi che danno il massimo ritorno sull'investimento.

I governi a tutti i livelli, così come le organizzazioni internazionali, i no profit e le fondazioni private, ora mettono regolarmente in atto i requisiti di valutazione in accordi di sovvenzione e mandati legislativi.

Quadri chiave per la valutazione dei risultati delle politiche

Diversi quadri consolidati guidano il processo di valutazione, ognuno offre un approccio strutturato per porre le giuste domande e raccogliere prove pertinenti.

Il modello CIPP (Contesto, Input, Processo, Prodotto)

Sviluppato da Daniel Stufflebeam, il modello CIPP fornisce una lente completa per la valutazione. Si esamina il contesto in cui opera una politica, gli input (risorse e strategie), i processi di implementazione e i prodotti (proventi e impatti).Questo quadro è particolarmente utile per le valutazioni che mirano a migliorare i programmi durante il loro ciclo di vita, non solo giudicarli alla fine.

Modelli logici e teorie del cambiamento

Un modello di logica mappa visivamente le risorse, le attività, gli output e i risultati di una politica. Essa chiarisce le ipotesi causali che stanno alla base di un intervento. Una teoria del cambiamento va più a fondo articolando i meccanismi attraverso i quali si prevede che si verifichi il cambiamento. Questi strumenti aiutano i valutatori a identificare quali dati raccogliere e dove cercare successo o fallimento. Sono ampiamente utilizzati nei programmi di istruzione, salute e sviluppo comunitario.

Analisi dei benefici e dell'efficienza dei costi

Per le politiche con chiare dimensioni economiche, l'analisi dei costi-benefici (CBA) monetizza sia i costi che i benefici per determinare il valore sociale netto. Analisi dell'efficacia dei costi (CEA), invece, confronta i costi per unità di risultato (ad esempio, i costi per vita risparmiati, i costi per laurea studentesca) che sono essenziali per valutare infrastrutture, politiche sanitarie e ambientali in cui l'assegnazione delle risorse è una preoccupazione primaria.

Approcci metodologici e loro Tradeoff

La scelta del metodo di valutazione modella profondamente i risultati. Nessun approccio unico è perfetto; ciascuno ha punti di forza e limitazioni inerenti. Capire questi tradeoff è fondamentale per la progettazione di valutazioni credibili.

Analisi quantitativa

Le prove controllate randomizzate (RCT) sono considerate lo standard oro per l'inferenza causale, ma sono costose e talvolta eticamente o praticamente infessibili. I disegni quasi-esperimentali (ad esempio, differenze-in-differenze, discontinuità di regressione) offrono alternative quando la randomizzazione non è possibile.

  • Strengths:[ Alta validità interna; capacità di generalizzare i risultati alle popolazioni più grandi; dimensioni di effetto misurabili.
  • Limitations:[] May miss nuances contestuali; richiede grandi dimensioni del campione; può essere costoso e richiede tempo.

Analisi qualitativa

I metodi qualitativi esplorano le esperienze, le percezioni e i significati che gli stakeholder si attaccano a una politica.

  • Strengths:[ Riccosa comprensione contestuale; cattura effetti involontari; dà voce a gruppi emarginati.
  • Limitations:[] Generalizability limitata; i risultati possono essere influenzati da pregiudizi di ricercatore; difficile da aggregare in tutti i siti.

Approcci di miscelazione

La combinazione di metodi quantitativi e qualitativi può fornire un quadro più completo: ad esempio, un sondaggio (quantitativo) può mostrare che un programma di formazione professionale ha migliorato i tassi di occupazione, mentre le interviste (qualitative) rivelano che i partecipanti hanno valutato la rete di sostegno sociale tanto quanto la formazione delle competenze.

  • Strengths:[] Triangolazione dei risultati; capacità di rispondere sia “cosa” che “perché” domande; più credibile a diversi spettatori.
  • Limitations:[] Maggiore complessità; richiede competenze in più metodi; può essere ad alta intensità di risorse.

I valutatori devono pesare questi tradeoff contro il contesto specifico, le risorse disponibili e le esigenze di informazione dei decisori.

Successi nella valutazione delle politiche

La valutazione politica ha portato a miglioramenti tangibili in molti ambiti, i seguenti esempi illustrano come le valutazioni abbiano determinato un cambiamento positivo.

Riformazioni sanitarie

La legge sulla cura a prezzi accessibili (ACA) negli Stati Uniti è stata oggetto di una valutazione approfondita. I ricercatori hanno documentato significative riduzioni del tasso non assicurato, miglioramenti nell’accesso alle cure preventive e modesti guadagni nei risultati della salute.

Iniziative dell'istruzione

In istruzione, le valutazioni degli interventi di prima infanzia come il programma di scuola materna di Perry e il progetto di Abecedarian hanno mostrato alti rendimenti sugli investimenti, portando a programmi pre-K espansi in molti stati. Più recentemente, valutazioni rigorose dei sistemi di valutazione degli insegnanti, reti di scuola di noleggio e programmi di accesso all'università hanno fornito prove su quali strategie effettivamente migliorare i risultati degli studenti.

Politica ambientale ed energetica

La U.S. Environmental Protection Agency valuta regolarmente i risultati degli emendamenti Clean Air Act, attribuindo milioni di morti prematuri e miliardi di benefici economici a un ridotto inquinamento atmosferico. Nel settore energetico, le valutazioni dei sussidi energetici rinnovabili e dei programmi di efficienza energetica hanno aiutato i governi a progettare strutture di incentivazione economicamente convenienti che accelerano la transizione verso un'economia a basso contenuto di carbonio.

Tradeoff e sfide inerenti alla valutazione delle politiche

Nonostante il suo valore, la valutazione politica non è senza sfide significative. Riconoscere questi tradeoff aiuta i professionisti a gestire le aspettative e progettare valutazioni più robuste.

Ripartizione delle risorse

La valutazione di alta qualità richiede tempo, finanziamento e competenza sostanziali, spesso scarse, soprattutto nelle impostazioni a basso reddito. Il tradeoff è tra investire nella valutazione rispetto a investire in servizi diretti o in altre esigenze di pressatura. Le organizzazioni devono privilegiare le valutazioni che possono produrre informazioni ad alto valore e considerare approcci a costi più bassi (ad esempio, utilizzando dati amministrativi, valutazioni a ciclo rapido) se del caso.

Limitazioni di dati

L'accesso a dati affidabili, tempestivi e granulari è spesso la più grande barriera alla valutazione efficace. I dati possono essere incompleti, raccolti utilizzando definizioni inconsistenti o non disponibili per i sottogruppi chiave. Le preoccupazioni della privacy e le restrizioni legali possono limitare ulteriormente la condivisione dei dati. Quando possibile, la qualità dei dati è scarsa, anche i metodi analitici più sofisticati produrranno risultati inaffidabili.

Attribuzione e controproducenti

Determinare se una politica abbia causato un risultato osservato, piuttosto che altri fattori esterni, richiede la costruzione di un controfatto valido: ciò che sarebbe accaduto in assenza della politica. In molte ambientazioni del mondo reale, creare un controfatto credibile è difficile. I vincoli etici o politici possono impedire l'assegnazione casuale, e gli esperimenti naturali non possono esistere.

Pressione politica e organizzativa

I risultati della valutazione possono essere minacciosi per gli stakeholder che hanno investito in una politica. Potrebbe esserci pressione per sopprimere i risultati negativi, per progettare valutazioni in modi che sono improbabili per rilevare il fallimento, o per ignorare i risultati che contraddicono le narrazioni preferite. Mantenere l’indipendenza e la credibilità richiede strutture di governance forti, piani di valutazione pre-registrati e reportage trasparente.

Tempo e importanza

Le decisioni politiche spesso devono essere prese rapidamente, mentre valutazioni rigorose possono richiedere mesi o anni. Questa tensione può portare a valutazioni che sono state completate dopo che non sono più utili. Una risposta è quella di adottare un approccio di valutazione “real-time” o “rapid-cycle”, utilizzando la raccolta e l’analisi dei dati iterativi per fornire feedback mentre una politica è ancora in fase di attuazione.

Migliori Pratiche per la valutazione della politica Robusta

Traendo su decenni di esperienza da agenzie governative, istituzioni di ricerca e organizzazioni internazionali, le seguenti best practice possono aumentare la probabilità che le valutazioni saranno sia credibili che utili.

  • I soggetti interessati all'interno del processo di valutazione. Coinvolgono coloro che progettano, implementano e sono colpiti dalla politica assicura che le domande di valutazione siano rilevanti, i metodi sono fattibili e i risultati sono agiti.
  • Definire obiettivi e risultati chiari prima di iniziare la valutazione.[ Gli obiettivi vaghi portano a valutazioni vaghe. Gli obiettivi dovrebbero essere specifici, misurabili, realizzabili, pertinenti e a tempo pieno (SMART).
  • Utilizzare un approccio di misti-metodo per una comprensione completa. Numeri da soli raramente raccontano la storia completa.
  • Pre-registra il piano di valutazione. Registrare pubblicamente la metodologia, i risultati e il piano di analisi, riduce il rischio di risultati di ciliegia o modificando le ipotesi dopo aver visto i dati.
  • Comunicare i risultati in modo efficace a tutti gli stakeholder.[] Rapporti di sartorialità, presentazioni e brief a diversi pubblico – politici, professionisti e pubblico.
  • L'apprendimento iterativo integrato nel ciclo di politica La valutazione non dovrebbe essere un'attività di un evento. Il monitoraggio continuo e la rivalutazione periodica consentono di adattare le politiche alle condizioni di cambiamento.
  • Investire nella capacità di valutazione.[] I governi e le organizzazioni dovrebbero formare il personale, finanziare unità di valutazione indipendenti e creare una cultura che valorizza le prove. La letteratura accademica sull'apprendimento organizzativo evidenzia l'importanza delle risorse dedicate per la valutazione.

Il futuro della valutazione delle politiche

La crescita dei dati amministrativi collegati tra sistemi (con adeguate garanzie sulla privacy) consente analisi a basso costo e su larga scala. L'apprendimento automatico e l'intelligenza artificiale possono aiutare a identificare i modelli e prevedere i risultati, anche se sollevano preoccupazioni circa la bias e la spiegabilità.

Studiando come le pregiudizievoli cognitive e le norme sociali influiscono sul comportamento, gli evacuatori possono progettare valutazioni più sfumate del perché le politiche abbiano successo o non siano riuscite. Infine, i modelli di valutazione partecipativi e guidati dai cittadini stanno guadagnando trazione, consentendo alle comunità di definire il successo in termini propri e di tenere conto dei responsabili decisionali.

Il campo della valutazione politica si sta evolvendo da una specialità tecnica a una funzione di governance di base, in quanto cresce la capacità di trasparenza ed efficacia, di valutare rigorosamente e in modo corretto i risultati politici diventeranno ancora più essenziali.

Conclusioni

La valutazione dei risultati politici è una pratica complessa ma indispensabile per la governance moderna. I successi delle riforme basate sulle prove nel settore sanitario, dell'istruzione e dell'ambiente dimostrano che una valutazione attenta può portare a una vita migliore e ad un uso più efficiente delle risorse pubbliche. Tuttavia, i tradeoffs – vincoli di risorse, limitazioni dei dati, sfide di attribuzione e pressioni politiche – ci ricordano che la valutazione non è mai perfetta.