Le ricette adottate per uscire dalla crisi economica e finanziaria degli ultimi anni hanno puntato molto sulla riduzione del disavanzo dello Stato e, di conseguenza, sulla necessità di contenere la spesa pubblica. Questa tendenza non ha risparmiato il sistema di welfare, all’interno del quale – a fianco di importanti riforme nel campo della previdenza e del lavoro – sono stati realizzati anche molti “tagli lineari”. Questi ultimi, se si rivelano certamente efficaci nel contenere rapidamente la spesa, sono però uno strumento assai impreciso per migliorare le prestazioni del sistema poiché sono incapaci di distinguere tra spese “buone” e spese “inutili” (se non addirittura “dannose”).
Eppure il nostro sistema di welfare ha un grande bisogno di distinguere tra i diversi tipi di spesa, di diventare più selettivo, se vuole aumentare la propria efficacia e favorire maggiormente l’inclusione sociale. Riconoscere “ciò che funziona” (what works, come si dice nel dibattito anglofono) e ciò che “non funziona” è assai importante per migliorare e rendere meno costoso il sistema italiano di welfare. Esiste un enorme filone di studi orientato a produrre evidenza empirica rigorosa per orientare le politiche (evidence based policy), ma nel nostro Paese sono assai limitati i casi in cui si è provato ad usare metodologie rigorose per verificare l’efficacia di un intervento sociale.
Al di là dei proclami formali sulla necessità di valutazione o della stucchevole retorica delle buone pratiche (spesso tali solo per auto-dichiarazione), poco viene fatto per capire davvero cosa funzioni. Quando si indagano esplicitamente le ragioni alla base di questa inazione, una risposta frequente è che le politiche sociali sono dispositivi troppo complessi e che le relazioni tra chi eroga la prestazione e chi la riceve sono degli unicum non valutabili in modo oggettivo. Non è così, come provano migliaia di valutazioni che hanno avuto luogo in altri Paesi, ma anche alcune esperienze italiane.
Un progetto sperimentale valutato controfattualmente: le “Riunioni di famiglia”
Uno sforzo nella direzione di una valutazione rigorosa dell’impatto di un intervento sociale è stato svolto con il progetto “Riunioni di famiglia” che ha sperimentato l’utilizzo delle Family Group Conferences (FGC di seguito) (Maci, 2011) come strumento per migliorare il benessere scolastico dei ragazzi in difficoltà. Il progetto, realizzato in 14 scuole secondarie di primo grado del Bollatese (Nord Milano) è un raro esempio di collaborazione – con funzione di prevenzione e non solo di cura in emergenza – tra scuola e servizi territoriali (il Consorzio Comuni Insieme). Una volta identificati i minori a rischio, per un anno il progetto ha coinvolto i dirigenti scolastici, gli insegnanti, gli studenti, le famiglie e la comunità allargata. Le RDF sono un intervento leggero, dove figure non professionali stabiliscono relazioni con lo studente in difficoltà, i suoi familiari e gli insegnanti e li guidano in un processo dove pochissimi sono gli elementi prestabiliti: una riunione di discussione del problema tra tutti gli attori coinvolti e la predisposizione di un progetto personalizzato, siglato da tutti. Siamo di fronte a un intervento sociale complesso per la variabilità di casi e situazioni, una struttura densamente relazionale e un elevatissimo grado di personalizzazione.
Lo strumento delle FGC ha riportato le famiglie al centro della scena, le ha aiutate a prendere consapevolezza dei problemi relazioni e didattici dei loro ragazzi e le ha sostenute nello sviluppo di autonomi progetti di intervento sui ragazzi stessi. Si tratta di elementi utili per un welfare che deve muoversi nella direzione della prevenzione dei problemi, della mobilitazione delle risorse proprie degli utenti e anche del contenimento dei costi. Si è però andati oltre questa considerazione, basata sulla presuzione di efficacia delle FGC e si è valutato rigorosamente l’intervento condotto.
Il progetto “Riunioni di famiglia”, i cui risultati sono stati presentati in Università Cattolica il 3 dicembre 2015 (in un Convegno organizzato da CRC – IMPACT, Laboratorio sulla valutazione delle politiche, dalla Facoltà di Scienze politiche e da Comuni Insieme), ha misurato l’efficacia dell’intervento chiedendosi “Che livello di benessere e quali risultati avrebbero avuto gli studenti che hanno partecipato alle FGC nel caso in cui non avessero avuto la possibilità di prendere parte alle stesse?”. Infatti, adottando questa logica controfattuale, l’effetto di una FGC può essere definito come la differenza tra il livello di benessere e i risultati degli studenti nel caso in cui partecipino a una FGC (situazione fattuale) e il livello di benessere degli stessi studenti nel caso in cui non partecipino a una FGC (situazione controfattuale).
Metodi di stima dell’effetto che non si basino sulla logica controfattuale – ad esempio quelli che confrontano il benessere degli studenti prima e dopo la partecipazione a una FGC, oppure che confrontano il benessere degli studenti che hanno partecipato a una FGC con quello degli studenti che non vi hanno partecipato – rischiano di produrre risultati distorti: nel primo caso (differenza tra “dopo e prima”) a causa della “dinamica spontanea”, vale a dire dal cambiamento del benessere che sarebbe avvenuto indipendentemente dalla presenza delle FGC e come conseguenza di altri fenomeni; nel secondo caso (confronto tra “beneficiari e non beneficiari”) a causa della “distorsione da selezione”, vale a dire dal fatto che – già in partenza – i beneficiari dell’intervento possono essere diversi dai non beneficiari, sicché le differenze di benessere che misuriamo dopo gli interventi possono dipendere proprio dalle differenze di partenza.
Il Randomized Controlled Trial
Il problema della logica controfattuale è che – ovviamente – non è possibile, per lo stesso individuo, trovarsi contemporaneamente nella condizione di partecipante (fattuale) e di non partecipante (controfattuale) a una FGC. Per ovviare a questo problema si è fatto ricorso a un esperimento controllato randomizzato (o Randomized Controlled Trial, RCT). In particolare, i 131 ragazzi a cui è stato proposto di prendere parte a un FGC sono stati estratti a sorte da un più ampio gruppo di 261 studenti in difficoltà che gli insegnanti avevano candidato al progetto. Ai ragazzi estratti (il “gruppo di trattamento”, come si dice gergalmente) è stato effettivamente proposto di partecipare alla FGC, mentre il gruppo dei non estratti (“gruppo di controllo”) è stato utilizzato per descrivere la situazione media in cui si sarebbero trovati i trattati se non avessero avuto accesso all’intervento (quindi per ricostruire il controfattuale). Dal confronto tra il livello di benessere (e i risultati) dei trattati e dei controlli si è ottenuta una stima dell’effetto medio della partecipazione a una FGC sul benessere e sui risultati scolastici dei ragazzi. Delle 131 famiglie a cui è stato proposto di partecipare a una FGC, 83 hanno deciso di aderire alla proposta (e sono stati effettivamente trattati secondo il protocollo), mentre le restanti 47 non hanno accettato.
Per misurare l’effetto della realizzazione delle FGC sul benessere e sui risultati scolastici dei ragazzi si è fatto uso di due tipi di indicatori. Per misurare il benessere si è utilizzato un questionario – somministrato a ottobre 2013 prima dell’avvio dell’intervento, a maggio 2014 subito dopo la conclusione dell’intervento stesso pertanto “a caldo”, e ad aprile 2015, quindi a distanza di tempo, al fine di fotografare una situazione ormai consolidata. Tale questionario, attraverso alcune batterie di domande, ha consentito di rilevare nel tempo le opinioni dei ragazzi relativamente al loro rapporto con gli insegnanti, con i genitori e con i compagni, il livello di soddisfazione complessivo derivante dall’esperienza scolastica e la percezione della propria efficacia nello studio.
Oltre a queste variabili “auto-riferite” dagli studenti (soggettive), la valutazione ha preso in considerazione anche variabili più “oggettive”, come il numero di assenze, le note e i voti ottenuti dagli studenti coinvolti nel progetto (trattati e controlli). Inoltre, ai genitori di tutti i ragazzi coinvolti è stata chiesta l’autorizzazione a consultare gli esiti conseguiti dai loro figli nei test Invalsi di terza media – oltre che nelle prove finali della stessa classe – una volta che giungeranno a sostenerlo. In futuro sarà pertanto possibile studiare anche l’effetto delle FGC sui risultati di apprendimento nei test standardizzati e sulla dispersione scolastica.
L’impatto delle FGC
Adottando un’ottica di valutazione rigorosa e volendo affrontare seriamente la questione dell’efficacia dgli interventi sociali, l’impatto delle FGC non può essere ridotto al dire “abbiamo fatto 83 riunioni di famiglia”, presumendo che siano servite. L’impatto delle FGC è qualcosa da stimare e quantificare, non da dare per scontato.
Dall’analisi dei dati emerge innanzitutto che le FGC hanno prodotto un cospicuo insieme di effetti nel breve periodo, mentre minori sono quelli che riscontriamo nel medio termine. In primo luogo le FGC hanno accresciuto il sostegno familiare nell’esecuzione dei compiti a casa, aumentandone la frequenza, soprattutto da parte dei genitori, con un’estensione della rete di sostegno per i ragazzi trattati. E’ cresciuta la quota di studenti che ottiene un aiuto frequente dai genitori, anche se questo effetto scompare nel secondo anno: ciò può essere dovuto al fatto che i genitori, dopo la fase iniziale di tamponamento dell’emergenza si sono ritratti da questa attività di sostegno domestico, a torto o a ragione. Osserviamo inoltre, sia nel breve che nel medio termine, che i ragazzi che hanno partecipato ad una FGC sono più soddisfatti dei propri rapporti in famiglia. È interessante notare anche che l’aiuto nei compiti da parte dei genitori non si era però inizialmente accompagnato a una percezione, da parte dei ragazzi, di supporto per problemi che non fossero meramente scolastici: questo effetto è però maturato nella seconda rilevazione. Inoltre, sia nel breve che nel medio termine, gli studenti trattati si dicono più soddisfatti delle relazioni che hanno in famiglia.
Rispetto agli insegnanti, sia nel breve sia nel medio periodo, gli studenti che partecipano a una FGC mostrano una minor sensazione di subire ingiustizie da parte degli insegnanti o di essere nel loro mirino: le FGC paiono aver accresciuto la consapevolezza negli studenti che i docenti non sono a loro ostili e aver aperto nuovi spazi di fiducia tra studenti problematici e insegnanti. Al contempo, troviamo nel breve termine una percezione di miglioramento dei propri rapporti con gli insegnanti come di quelli tra questi e il resto della classe. Infine, rileviamo nel breve periodo un ampio insieme di effetti su dimensioni che sappiamo essere importanti per l’apprendimento: si riducono le emozioni negative legate alla scuola (come ad esempio l’ansia), cresce la tranquillità per la vita quotidiana e si è più soddisfatti rispetto alla propria capacità di studiare e al proprio rendimento. Anche questi elementi, a eccezione dell’ultimo, tendono a scomparire nel tempo. Emerge però una sensazione di miglioramento nel rapporto con i pari, che potrebbe essere un indicatore di integrazione maggiore nella classe da parte degli studenti che hanno partecipato alla FGC e che sono ora più sereni e quindi ben disposti anche verso le relazioni con i compagni di classe.
Rispetto all’apprendimento, si sono analizzati i voti nelle principali discipline (sia in termini di media che di superamento della soglia del 6), il voto medio complessivo, il numero di insufficienze, il voto in condotta, il numero di assenze nei mesi di aprile e maggio 2014 (dopo la riunione) e il numero di note nel registro negli stessi mesi. Per tutti questi indicatori non troviamo alcun effetto delle FGC, nemmeno a livello indiziario. Anche guardando alla (modesta) quota di studenti bocciati o trasferitisi alla fine del primo anno scolastico, non riscontriamo alcun effetto dell’intervento. Ciò non deve però portare a pensare che esso sia stato inefficace: indicatori più duri, come quelli citati, richiedono maggior tempo per manifestare eventuali effetti benefici degli interventi e sarà quindi possibile esprimere una valutazione compiuta in merito solo in futuro, quando si saranno recuperate tali informazioni presso il MIUR per l’anno scolastico 2014/2015.
Al di là degli specifici risultati conseguiti, il progetto ha mostrato molti aspetti positivi e interessanti, alcuni dei quali sono stati colti anche grazie alla valutazione di tipo qualitativo che ha accompagnato l’esperimento randomizzato. Il livello di partecipazione delle scuole al progetto è stato molto alto (86%), come pure è stata elevata la collaborazione degli insegnanti nell’individuare e proporre gli studenti ritenuti più adatti alla sperimentazione (pur nella consapevolezza che non tutti sarebbero stati poi selezionati per la FGC). Va inoltre osservato che gli studenti proposti per le FGC corrispondono al profilo tipico dei casi a maggiore rischio di insuccesso educativo e di dispersione scolastica, il target a cui ci rivolgevamo con l’intervento. Gli insegnanti hanno anche mostrato impegno nel partecipare alle riunioni di famiglia stesse, quando questo è stato loro richiesto. In generale dunque si è osservato un elevato livello di adesione al progetto da parte delle istituzioni scolastiche, pur in presenza di qualche timore e rimostranza, soprattutto nella fase iniziale, quando quel che sarebbe stato chiesto alle scuole era ancora in via di definizione. Piuttosto elevato è stato anche il tasso di adesione delle famiglie e dei ragazzi selezionati casualmente per le FGC, come già si accennava in precedenza (64%).
Ciò si può interpretare, da un lato, come la comprensione, da parte dei diversi attori, dell’opportunità offerta dal modello per sostenere il ragazzo, anche attraverso una sua responsabilizzazione diretta, nell’affrontare le difficoltà. Dall’altro, come l’esigenza di trovare nuove strategie di dialogo e cooperazione tra scuola e famiglia, maggiormente efficaci nel ridurre il disagio e in grado di valorizzare gli aspetti positivi dell’esperienza scolastica. Le ragioni della mancata adesione attengono al mancato riconoscimento del problema o a diffidenza sullo strumento utilizzato. La quasi totalità delle FGC avviate sono giunte al termine senza interruzioni durante il percorso, effettuando anche la seconda riunione di famiglia di verifica, che solo in un paio di casi non è stata realizzata per mancanza di condizioni. Inoltre, molte delle FGC sono state molto partecipate, con la presenza di fratelli, nonni, zii, cugini, amici, l’allenatore, gli amici di famiglia, l’insegnante di ripetizione, l’educatore del gruppo di studio pomeridiano, il volontario vicino alla famiglia. Tutte le 84 FGC si sono concluse con la produzione di un progetto educativo condiviso.
Si può fare
Anche la natura di esperimento controllato del progetto e la relativa randomizzazione degli studenti sono state comprese e accettate dagli operatori scolastici. Parecchio tempo è stato dedicato a spiegare e condividere le ragioni legate a questo modello valutativo e a risolvere i problemi che a esso potevano essere collegati. Certamente, l’esistenza di un vincolo di bilancio del progetto (che comunque avrebbe impedito di garantire la FGC a tutti i soggetti proposti) ha contribuito a fare accettare l’idea del “razionamento” dell’intervento. Più complessa, ma accettata quando ben compresa, è stato la condivisione del criterio della scelta casuale, cui alcuni insegnanti avrebbero preferito una scelta “guidata”.
Un intervento sociale complesso, molto eterogeneo nelle situazioni affrontate, con attori plurimi in gioco, basato sulla personalizzazione e sulla relazionalità è stato valutato rigorosamente con una sperimentazione controllata. Ciò ha reso possibile giungere al termine del progetto non solo avendo relizzato un cospicuo numero di riunioni di famiglia, ma di avere imparato in che misura queste funzionano o non funzionano rispetto a diversi risultati. Si è stimata l’efficacia dell’intervento, non dandola per scontata come avviene solitamente. Col passare del tempo, sarà inoltre possibile imparare altro da questo progetto, grazie al fatto che si seguiranno gli studenti randomizzati.
Il caso illustrato mostra quindi come valutazioni rigorose degli impatti degli interventi sociali possono effettivamente essere fatte, con costi relativamente modesti, buona partecipazione di tutti i soggetti interessati e ottenendo risultati conoscitivi interessanti per migliorare le caratteristiche degli interventi stessi.
Riferimenti
Maci F. (2011), Lavorare con le famiglie nella tutela minorile. Il modello delle family group conference, Erickson, Trento.