Perché le fondazioni erogative sono interessate a valutare l’impatto sociale? Simone Castello del Centro Studi di Fondazione Lang ne ha parlato con Gian Paolo Barbetta, Responsabile Osservatorio e Valutazione di Fondazione Cariplo e Direttore del Centro di Ricerche sulla Cooperazione e sul Nonprofit dell’Università Cattolica del Sacro Cuore.
Una domanda di apertura dato il suo ruolo di Responsabile dell’Osservatorio e Valutazione di Fondazione Cariplo: perché è importante valutare l’impatto sociale per una fondazione erogativa e in quale momento è più strategico?
Credo che una delle funzioni fondamentali delle fondazioni di erogazione sia non tanto quella di risolvere un problema sociale – tendenzialmente un’attività che le fondazioni, per le loro dimensioni, non riescono a svolgere fino in fondo – quanto quella di sperimentare e mostrare nuovi modi per affrontare le problematiche più rilevanti della nostra società. Ad esempio, quali siano le modalità più efficaci per ridurre la dispersione scolastica, aumentare il benessere della popolazione anziana, ridurre i comportamenti inquinanti delle persone… e così via.
Se quindi sviluppare conoscenza su ciò che funziona e ciò che non funziona è la missione fondamentale delle fondazioni non ci si può limitare a gestire gli interventi, bisogna necessariamente comprendere se questi interventi hanno avuto successo producendo i risultati attesi o se, al contrario, si sono dimostrati privi di efficacia. Per fare questo è indispensabile valutarne l’impatto (o “effetto”), tenendo presente che tale valutazione andrebbe condotta rispetto a un obiettivo specifico che la fondazione si è prefissata. La misurazione sarà tanto più utile quanto più la fondazione sarà stata in grado di porsi obiettivi specifici, potenzialmente quantificabili e avrà sviluppato e implementato attività allineate a tali obiettivi. Una fondazione che miri ad affrontare il problema dell’abbandono scolastico, ad esempio, dovrebbe avere come obiettivo la riduzione del tasso di bocciatura dei ragazzi: la misura dell’efficacia dell’intervento sarà data dalla riduzione nel numero di ragazzi che vengono bocciati a seguito dell’intervento.
Il tema della valutazione dovrebbe essere affrontato di default: nel momento in cui una fondazione struttura un intervento dovrebbe porsi il problema di come sarà in grado di definire se la sua azione ha avuto successo. La misurazione e l’analisi dell’impatto devono essere connaturate alla visione dell’organizzazione: si tratta di una questione di pianificazione strategica.
Uno dei metodi più scientificamente accurati per stimare l’impatto sociale di un intervento è il controfattuale. In base alla sua esperienza quali sono i fattori chiave e i limiti nell’uso di quest’approccio?
Partiamo da un chiarimento concettuale: adottare un controfattuale non significa valutare l’impatto dell’intervento come semplice differenza tra prima e dopo o tra i comportamenti dei soggetti che hanno ricevuto o meno l’intervento. Entrambe queste modalità di misurare l’effetto sono, infatti, distorte: la prima non tiene conto del fatto che altri fenomeni esterni all’intervento possano influenzare la mia variabile obiettivo, la seconda non considera che i gruppi oggetto di misurazione possono essere diversi in partenza – portando così a riscontrare potenzialmente dei segnali che non sono dovuti all’intervento ma a fattori diversi.
Diamo una rigorosa nozione controfattuale di effetto: l’effetto è la differenza tra ciò che si verifica in presenza dell’intervento e ciò che succede in assenza dello stesso. Purtroppo, nella realtà non siamo in grado di misurare per un singolo individuo cosa succede con l’intervento e cosa sarebbe successo in assenza di esso: dobbiamo quindi adottare degli espedienti tecnici per simulare la situazione in cui si sarebbero trovati i nostri soggetti se non avessero ricevuto l’intervento.
Diverse tecniche possono essere utilizzate: la più rigorosa, seppur non sempre applicabile, è quella dell’esperimento randomizzato controllato già applicata in molti ambiti, tra cui quello agronomico o quello medico-farmacologico. Vengono creati due gruppi di soggetti statisticamente equivalenti, uno di destinatari dell’intervento e uno di controllo, e si misura la variabile obiettivo nei due gruppi: la differenza tra i due gruppi rappresenta, in media, l’effetto dell’intervento.
Bisogna tenere a mente alcune raccomandazioni per quest’approccio. In primo luogo questi studi richiedono una forte motivazione ad apprendere – e quindi necessariamente anche a negare l’accesso all’intervento a certe persone. Sono inoltre studi che necessitano forte rigore, ad esempio i due gruppi di soggetti vanno tenuti rigidamente separati.
Si tratta di un approccio complicato ma non impossibile: anzi, stiamo assistendo a un forte sviluppo di questi interventi in campo sociale, educativo, e delle politiche pubbliche in generale. Alcuni Paesi più avanzati in quest’ambito, ad esempio USA e Inghilterra, stanno facendo un uso molto intenso della sperimentazione controllata in campo sociale. Quando non si riesce a fare, generalmente perché si è partiti troppo tardi, si possono usare altre tecniche a patto – e questo è un punto fondamentale – che si abbiano a disposizione i dati per misurare le variabili obiettivo.
Possiamo quindi riscontrare limiti intrinsechi alla tecnica e altri alla disponibilità della fonte informativa; da lì a rinunciare del tutto, come spesso accade soprattutto in Italia, la strada è lunga. A mio avviso si potrebbe fare molto di più di quanto conseguito finora.
Un’ultima domanda: la cultura del fallimento. La condivisione degli insuccessi è argomento sempre più accettato come elemento necessario del processo di apprendimento-innovazione. Spesso, però, resta un tabù nel settore sociale. Pensa sia sempre importante condividere i risultati, anche in caso d’insuccesso?
Se l’obiettivo di una fondazione, ma in generale di ogni operatore sociale, è quello di mostrare come un problema potrebbe essere risolto, l’insuccesso è un risultato utile quanto un successo. Mostrare l’inefficacia di determinati interventi vale quanto evidenziare casi efficaci perché consente di evitare di ripetere tecniche, strumenti, modelli che non portano agli obiettivi prefissati.
Credo che le fondazioni siano i soggetti più adatti per sviluppare una cultura del fallimento: mentre per un’impresa un fallimento potrebbe rappresentare un fattore problematico, in casi estremi un evento che può mettere in discussione l’esistenza stessa dell’impresa, una fondazione ha le risorse per sostenerlo. In un’ottica da economisti potremmo dire che le fondazioni hanno un vantaggio comparato rispetto ad altre istituzioni nel sopportare i fallimenti, delineandosi come i soggetti più adatti per sperimentare innovazioni sociali, anche a rischio di insuccesso.
Ovviamente nessuno intende sperimentare interventi che a priori vengono dati per fallimentari. Tuttavia, l‘efficacia di un intervento non dipende solo dalla buona volontà di chi lo gestisce e/o dalla sua corretta pianificazione ma anche da una serie di fattori imponderabili: fallire produce, quindi, del valore aggiunto generando conoscenza per gli altri, oltre che per noi stessi. Questo, in particolar modo, se all’analisi di tipo strettamente quantitativo, conseguita con i metodi discussi in precedenza, si affiancano analisi qualitative che consentono di approfondire le ragioni del fallimento: queste evidenze sono estremamente importanti e saranno fondamentali per disegnare futuri interventi che potranno avere una maggiore chance di successo.
Ringraziamo la Fondazione Lang Italia per averci permesso di proporre questa intervista,
disponibile anche sul sito del Centro Studi Lang