Valutazione dei fondi strutturali

La valutazione degli effetti socio economici dei programmi di investimento ha assunto una crescente enfasi nella Politica di coesione europea. I fondi strutturali, che finanziano la politica di coesione, sono organizzati in programmi. I programmi a loro volta sono finalizzati al raggiungimento di determinate politiche e la loro valutazione contribuisce alla valutazione delle politiche. I programmi inoltre sono composti da interventi e progetti. La valutazione può avvenire a livello di priorità/intervento/progetto o a livello di programma. Rispetto al momento in cui viene effettuata, la valutazione può essere definita ex ante, in itinere o ex post.

Evoluzione

La valutazione degli effetti socio economici dei programmi è uno degli strumenti fondamentali per il miglioramento dell'efficacia e della trasparenza della politica di coesione dell'Unione Europea, finanziata dai fondi strutturali. La valutazione è stata vista dalla Commissione europea come la risposta fondamentale all'esigenza di dimostrare il buon utilizzo dei fondi comunitari e di migliorarne ulteriormente l'utilizzo. La sempre maggior importanza della valutazione anche come strumento di costruzione di capacità istituzionale è evidente nell'evoluzione del concetto di valutazione nei regolamenti di attuazione dei fondi strutturali:

La prima riforma dei fondi strutturali: introduzione del concetto di valutazione

L'Atto Unico Europeo, adottato nel 1986, introduce un nuovo capitolo V nel trattato CE contenente l'articolo 130D, che annuncia la riforma dei fondi strutturali, destinata a migliorare la loro efficacia in vista di una migliore coesione economica e sociale della Comunità. I regolamenti che definiscono le missioni dei fondi strutturali e la loro efficacia, adottati nel 1988 per la prima generazione (1989-93) contengono così alcuni articoli specifici dedicati alla valutazione. L'articolo 6 del regolamento-quadro per la generazione di fondi 1989-1993 definisce che al fine di apprezzare l'efficacia degli interventi strutturali l'impatto dell'azione comunitaria è oggetto di valutazione ex ante ed ex post da parte della Commissione e che le domande di finanziamento dovranno contenere le informazioni necessarie a tal fine.

1994-1999: riformulazione dell'art.6

Con il successivo periodo di programmazione (1994-1999) il nuovo articolo 6 precisa la nozione di ‘valutazione ex ante, sorveglianza e valutazione ex post' e gli articoli relativi ai contenuti della programmazione introducono la nozione di ‘obiettivi specifici e quantificati ‘. L'articolo 26 del regolamento di coordinamento figura una clausola di ‘condizionalità’ secondo cui ‘ gli aiuti saranno erogati quando la valutazione ex ante avrà dimostrato i vantaggi socioeconomici conseguiti a medio termine a fronte delle risorse mobilitate'.

La valutazione nei regolamenti 2000 - 2006

Con i nuovi regolamenti del 1999 (2000-2006), l'accento è posto sulla necessità di un maggiore decentramento gestionale accompagnato da una maggiore ‘accountability’ (designazione delle autorità di gestione). Vi è un rafforzamento significativo delle procedure di monitoraggio (indicatori e obiettivi quantificati), l'introduzione della valutazione intermedia nonché della gestione e del controllo finanziario (più rigore nella gestione con possibilità di disimpegno automatico; controlli rafforzati a più livelli). L'aspetto più innovativo è l'introduzione della riserva di performance, che consiste nell'accantonare una parte dei fondi (4% della dotazione globale) che sarà allocata a metà percorso sulla base di criteri di efficacia, efficienza e qualità gestionale.

2007 - 2013

Il successivo periodo di programmazione, ha impresso un ulteriore impulso, orientando le Amministrazioni a predisporre Piani di valutazione in cui indicare principalmente ed a valutare gli effetti prodotti dalle politiche pubbliche relative a domande valutative riguardanti principalmente argomenti controversi e rilevanti per l'efficace attuazione, la modifica o l'impostazione strategica degli interventi.

2014 - 2020: la valutazione pubblica aperta

La programmazione 2014 - 2020 dei fondi comunitari in Italia parte proprio dalla valutazione pubblica aperta come innovazione metodologica fondamentale: "per aspirare a trasformare la realtà attraverso l'azione pubblica è necessario che i risultati cui si intende pervenire siano definiti in modo circostanziato e immediatamente percepibile, sia da coloro che sono responsabili dell'attuazione, sia da coloro che ne dovrebbero beneficiare al fine di dare vita a una vera e propria valutazione pubblica aperta"

Le sette innovazioni di metodo

La valutazione pubblica aperta è configurata in sette innovazioni generali di metodo riassunte in:

• risultati attesi;
• azioni;
• tempi previsti e sorvegliati;
• apertura;
• partenariato mobilitato;
• valutazione d'impatto;
• forte presidio nazionale.

La valutazione d'impatto come innovazione di metodo

In particolare, nel nuovo periodo di programmazione la valutazione d'impatto "(...) deve salire di rango nello strumentario delle decisioni politiche. In primo luogo, sarà consolidata l'organizzazione istituzionale dedicata – i Nuclei di valutazione – costruita negli ultimi due cicli di programmazione, mettendola maggiormente al servizio delle domande del partenariato e dei beneficiari ultimi. In secondo luogo sarà data centralità e impulso alla valutazione di impatto, ossia alla valutazione del se, in quale misura ed eventualmente per quali soggetti, le azioni adottate abbiano effettivamente effetti per la qualità di vita delle persone e/o le opportunità delle imprese. Esplicitare i risultati attesi orienterà il focus della valutazione di impatto, qualunque sia il metodo adottato. L'avvio della valutazione d'impatto contemporaneamente all'attività di programmazione, contribuirà a inserire la valutazione e i suoi esiti nelle scelte e confronto sulle azioni pubbliche. Esprimere risultati attesi e azioni puntuali a un tempo consente e impone di definire la domanda di valutazione e la ricerca sugli effetti/impatti del programma e sul ruolo avuto dai suoi protagonisti, mentre l'esito di tale analisi può alimentare in modo significativo il processo generale di “valutazione pubblica aperta” "

Tipologie di valutazione

I processi di valutazione possono essere effettuati prima (ex ante), durante (in itinere) o dopo (ex post) l'attuazione del programma.

Valutazione ex ante

La valutazione effettuata prima dell'attuazione di un programma o di un intervento è definita valutazione ex ante.

La proposta modificata di regolamento recante disposizioni comuni per il periodo di programmazione 2014-2020 stabilisce che, per migliorare la qualità e l'elaborazione di ciascun programma, e per verificare che gli obiettivi generali e specifici possano essere conseguiti, occorre effettuare una valutazione ex ante di ogni programma.

L'art. 48 di tale regolamento stabilisce gli elementi che devono essere sottoposti a processo di valutazione:

• il contributo alla strategia dell'Unione per una crescita intelligente, sostenibile e inclusiva, in riferimento agli obiettivi tematici e alle priorità selezionati, tenendo conto delle esigenze nazionali e regionali;
• la coerenza interna del programma o delle attività proposti e il rapporto con altri strumenti pertinenti;
• la coerenza dell'assegnazione delle risorse di bilancio con gli obiettivi del programma;
• la coerenza degli obiettivi tematici selezionati, delle priorità e dei corrispondenti obiettivi dei programmi con il quadro strategico comune, il contratto di partenariato e le raccomandazioni specifiche per paese di cui all'articolo 121, paragrafo 2, del trattato, e le raccomandazioni del Consiglio adottate a norma dell'articolo 148, paragrafo 4, del trattato;
• la pertinenza e la chiarezza degli indicatori del programma proposto;
• in che modo i risultati attesi contribuiranno al conseguimento degli obiettivi;
• se i valori obiettivo quantificati relativi agli indicatori sono realistici, tenendo conto del sostegno previsto dei Fondi del QSC;
• la motivazione della forma di sostegno proposta;
• l'adeguatezza delle risorse umane e della capacità amministrativa per la gestione del programma;

La Commissione promuove, come buona pratica, l'inclusione delle lezioni apprese dalle precedenti analisi o valutazioni in tutte le fasi di questo processo (per esempio valutazioni in essere, valutazioni ex ante del periodo 2000-2006, valutazioni tematiche o studi che esulano dai Fondi Strutturali su simili ambiti di intervento).

Valutazione in itinere

La valutazione in itinere si inserisce nel processo di pianificazione e realizzazione dell'intervento e serve per verificare se il programma in corso di attuazione sta fornendo i risultati attesi o se vi siano scostamenti a causa di errori di progettazione e/o di modificazioni del contesto. In presenza di scostamenti apprezzabili, la valutazione in itinere permette di apportare le opportune correzioni in corso di realizzazione.

La valutazione in itinere ha una duplice natura: operativa, prevalente nei Rapporti Annuali di Valutazione che si prefiggono principalmente di supportare l'Autorità di Gestione nell'implementazione del programma, verificandone lo stato di avanzamento finanziario e fisico e fornendo raccomandazioni su come migliorare le performance dell'attuazione del POR; strategica, prioritaria nei Rapporti di Valutazione Intermedia e nel Rapporto di Valutazione Conclusivo, che si concentra maggiormente sul contributo apportato dal Programma per il raggiungimento degli obiettivi specifici di sviluppo.

La valutazione in itinere è richiamata all'art. 49 della proposta modificata di regolamento recante disposizioni comuni, intitolato "Valutazione durante il periodo di programmazione": nel corso del periodo di programmazione, le autorità di gestione effettuano valutazioni di ciascun programma, anche intese a valutarne l'efficacia, l'efficienza e l'impatto, sulla base del piano di valutazione. Almeno una volta nel corso del periodo di programmazione si valuta in che modo il sostegno dei Fondi del QSC abbia contribuito al conseguimento degli obiettivi di ciascuna priorità. Tutte le valutazioni sono soggette all'esame del comitato di sorveglianza e vengono trasmesse alla Commissione.

Valutazione ex post

La valutazione ex post si effettua al completamento del programma ed è volta a verificare il conseguimento o meno degli obiettivi prefissati dal programma o dall'intervento ed a individuare interventi correttivi e raccomandazioni per il futuro.

L'art. 50 della proposta modificata di regolamento recante disposizioni comuni, stabilisce che le valutazioni ex post sono effettuate dalla Commissione o dagli Stati membri, in stretta cooperazione. Le valutazioni ex post prendono in esame l'efficacia e l'efficienza dei Fondi dei QSC e il loro contributo alla strategia dell'Unione per una crescita intelligente, sostenibile e inclusiva conformemente ai requisiti specifici stabiliti nelle norme relative a ciascun Fondo. Le valutazioni ex post devono essere completate entro il 31 dicembre 2023.

Metodi

Nel corso delle pratiche di valutazione dei programmi finanziati dai fondi strutturali, si sono via via affinate anche le metodologie ed il loro trasferimento agli attori impegnati nei processi di valutazione. La Commissione ha svolto da questo punto di vista un ruolo di continuo stimolo alla riflessione ed alla diffusione di buone pratiche sulla valutazione, prima col programma MEANS poi con le risorse Evalsed. Con l'approssimarsi del nuovo periodo di programmazione sono state rilasciate nuove linee guida sul monitoraggio e la valutazione che sintetizzano concetti e raccomandazioni in queste materie.

La definizione delle politiche

Il punto di partenza nel progettare un qualsiasi intervento pubblico è l'identificazione di un problema. La decisione di quali problemi debbano essere affrontati è il risultato di un qualche processo sociale deliberativo - una decisione politica. Fa parte di questo processo anche definire la direzione del cambiamento desiderato e quale sarà la situazione alla quale si vorrà approdare (il target).

Il risultato è ciò che si intende ottenere, la motivazione alla policy. Una volta che è stato scelto un risultato, questo dev'essere rappresentato da una misura adeguata. Ciò può essere fatto identificando uno o più indicatori di risultato. Ad esempio, nel caso della realizzazione di un tratto ferroviario, indicatori di risultato potrebbero essere l'abbattimento dell'emissione di Co2 e la diminuzione di incidenti stradali. Gli indicatori di risultato sono variabili che forniscono informazioni su specifici aspetti del risultato e li rendono misurabili. Selezionare indicatori chiari facilita la comprensione dei problemi e delle politiche necessarie, rendendo possibile successivamente la verifica del raggiungimento o meno dell'obiettivo. Aver identificato i bisogni ed i risultati desiderati non significa ancora aver definito la policy. Il raggiungimento di un risultato può essere influenzato da tanti fattori. Il policymaker deve analizzare questi fattori e decidere quali tra questi debbono essere oggetto di una politica. In altre parole, deve essere definita la logica dell'intervento e quindi in che modo le specifiche attività di un programma produrranno degli effetti.

Valutare: supportare la gestione e apprendere dall'esperienza

Il pubblico si aspetta che le autorità di gestione raggiungano almeno due obiettivi:

• attuino il programma in maniera efficiente (la gestione del programma)
• verifichino che gli obiettivi siano stati raggiunti.

Il monitoraggio e la valutazione contribuiscono a questi due obiettivi; inoltre l'apprendimento è sempre un metaobiettivo di qualsiasi valutazione.

La valutazione d'impatto

La variazione di valore di un indicatore di risultato è dovuta all'azione sia degli interventi pubblici co-finanziati sia di altri fattori: l'impatto è definito come quella parte di variazione che può essere attribuita credibilmente all'intervento. Ci si riferisce all'impatto anche con i termini "effetti di un intervento" o "contributo di un intervento".

Distinguere tra gli effetti dell'intervento e quelli di altri fattori è il compito della valutazione d'impatto. Essa deve rispondere a due domande, ognuna delle quali è oggetto di uno specifico tipo di valutazione:

• L'intervento pubblico ha avuto un effetto? Se si, quanto grande - in positivo o in negativo - è stato l'effetto? Ha funzionato? C'è stato un legame causale? A queste e simili domande risponde una valutazione d'impatto controfattuale.
• Perché un intervento ha prodotto degli effetti (desiderati o indesiderati)? Perché e in che modo ha funzionato? A questa categoria di domande risponde una valutazione d'impatto basata sulla teoria.

Valutazione d'impatto controfattuale

La valutazione d'impatto controfattuale è un insieme di tecniche mutuate dalla statistica e dalla scienza medica. La valutazione controfattuale cerca di fornire una risposta credibile alla domanda se effettivamente l'intervento ha avuto effetto. La questione centrale di una valutazione controfattuale è piuttosto circoscritta: c'è differenza ed eventualmente quanta differenza c'è tra un gruppo sottoposto ad un intervento ed un altro non sottoposto all'intervento? La differenza è causata dall'intervento o da qualcos'altro? Le valutazioni di questo tipo sono basate su modelli di causa effetto e richiedono un controllo rigoroso sui fattori diversi dall'intervento che potrebbero aver contribuito al cambiamento osservato. L'esistenza di dati e informazioni sulla situazione dei beneficiari e di non beneficiari in un determinato momento dopo l'intervento pubblico è una precondizione critica per l'applicabilità dei metodi controfattuali.

I metodi controfattuali possono essere applicati solo ad alcune categorie di intervento, in cui gli interventi sono omogenei e sono presenti un gran numero di beneficiari. Se un'autorità pubblica intende stimare gli effetti di interventi per i quali l'approccio controfattuale è inappropriato, si possono utilizzare altre metodologie, quale ad esempio la valutazione costi-benefici.

Valutazioni d'impatto basate sulla teoria

Questo approccio, generalmente utilizzato nella spiegazione dei perché l'intervento ha prodotto effetti, non produce principalmente stime quantitative dell'impatto, quanto piuttosto una narrazione. Le valutazioni basate sulla teoria tentano di dare spiegazioni sul perché e sotto quali circostanze un intervento abbia funzionato. Il focus principale non è controfattuale (come sarebbero state le cose senza l'intervento) quanto piuttosto una teoria del cambiamento (come hanno funzionato le cose per produrre quel determinato cambiamento).

Sotto questo approccio ricadono vari metodi, tra i quali la revisione della letteratura, l'analisi dei dati amministrativi, i casi studio, le interviste per ricostruire e verificare la logica dell'intervento. Spesso questi approcci sono menzionati come valutazione del reale, analisi dei contributi, valutazione partecipativa. Una buona valutazione di questo tipo dovrebbe essere aperta alla verifica di effetti inattesi. Questi effetti e la comprensione dei loro meccanismi possono essere importanti quanto la logica dell'intervento.

Valutazione e capacità istituzionale

Le specificità istituzionali di ogni Stato sono all'origine delle differenze importanti che si possono constatare non solo nella messa in opera di procedure di valutazione, ma anche nella utilizzazione dei risultati delle valutazioni. Tuttavia, il quadro variegato della valutazione negli Stati può essere ricondotto a tre modelli o fasi evolutive che caratterizzano il grado di utilità attribuito alla valutazione.

Modello burocratico

Nel modello burocratico, la valutazione è vissuta come una risposta a dei requisiti definiti nei regolamenti comunitari. È largamente condizionata da vincoli esterni e comporta solo dei costi (amministrativi) per i responsabili gestionali dei programmi.

Modello manageriale

Nel secondo modello che può essere qualificato ‘manageriale’, la valutazione diventa un sistema di aiuto al disegno e alla gestione degli interventi. Un dialogo è instaurato con i valutatori e migliora la qualità delle informazioni necessarie a tale attività. Questo tipo di valutazione ha una connotazione fortemente operativa, e consente un apprendimento rapido da parte degli attori.

Modello democratico

Il terzo modello, inteso come ‘democratico’ vede la valutazione assumere un ruolo più politico e i risultati vengono discussi in occasione di dibattiti pubblici e dalle stesse istituzioni dello Stato. La finalità ricercata è di informare l'opinione pubblica sull'efficacia dell'utilizzazione dei fondi pubblici e la dimostrazione di un consistente ‘value for money’. In un certo senso, la valutazione diventa parte del gioco democratico informando o ricercando il consenso dei cittadini sulle spese controllate dalle varie istituzioni pubbliche

Pratiche

La valutazione è diventata prassi comune e riconosciuta come strumento di policy negli Stati Uniti e Canada da oltre un quarto di secolo. In Europa, lo sviluppo della valutazione è avvenuto solo all'inizio degli anni 90 nella maggioranza dei paesi. Ancora oggi si guarda alle esperienze statunitensi come pratiche d'avanguardia nella valutazione delle politiche.

La maggiore esperienza dei valutatori e una migliore conoscenza dei metodi di valutazione hanno consentito negli anni di produrre rapporti di migliore qualità. Molte valutazioni si basano sull'analisi di dati e informazioni di ‘seconda mano’ raccolti attraverso banche dati e rassegna della letteratura, indicatori statistici. Ci sono stati importanti progressi nella produzione dei dati di monitoraggio, anche se restano per lo più dati finanziari. Gli strumenti e metodi promossi dalla Commissione non sono sempre conosciuti o largamente diffusi, e quando lo sono, la loro applicazione pone dei problemi agli utilizzatori. La Commissione ha promosso lo scambio di pratiche valutative tra gli Stati Membri sia predisponendo strumenti informativi tematici, ad esempio sulla valutazione dell'innovazione, sia costruendo base dati di esperienze valutative.

Pratiche valutative in Italia

Grazie ai contributi della base dati comunitaria e del Sistema Nazionale di Valutazione delle politiche regionali è possibile stilare una prima rassegna delle pratiche valutative italiane.

Valutazioni d'impatto controfattuale

• Por Fesr Regione Marche 2007 2013 - Servizio di valutazione degli interventi attuati a favore della ricerca e dell'innovazione. (PDF), su ec.europa.eu.
• DocUP 2000-2006, Regione Lombardia - Valutazione del supporto alle imprese. (PDF), su ec.europa.eu.
• DocUp 2000-2006, Regione Lombardia, Valutazione delle misure di supporto alle imprese turistiche. (PDF), su ec.europa.eu.

Valutazioni in itinere

• La valutazione del contributo dei progetti MED alla programmazione regionale in Italia: i primi risultati dell’esercizio di sperimentazione, Regione Emilia Romagna, Regione Lazio, Regione Puglia, 2007-2013 (PDF), su fondieuropei2007-2013.it.
• Valutazione del piano di comunicazione 2007 2013, Regione Basilicata (PDF), su ec.europa.eu.
• Valutazione della politica regionale unitaria 2007-2013, Valle d’Aosta (PDF), su ec.europa.eu.

Valutazioni ex post

• Emergere di nuove imprenditorialità in contesti comunitari economicamente marginali - Provincia Autonoma di Trento 2000 - 2006 (PDF), su ec.europa.eu.
• Le politiche di sostegno al settore dei trasporti in Sicilia - 2000 2006 , su ec.europa.eu.

Bibliografia

Analisi e metodologia

• G. Marchesi, L. Tagle, B. Befani, Approcci alla valutazione degli effetti delle politiche di sviluppo regionale, Materiali Uval, 2011
• A.Martini, U.Trivellato, Sono soldi spesi bene? Perché e come valutare le politiche l'efficacia delle politiche pubbliche, Marsilio, 2011 sintesi disponibile online
• A.Martini, How Counterfactuals got lost on the way to Brussels, relazione per il seminario “Policy and programme evaluation in Europe: cultures and prospects”, Strasbourg, July 3-4, 2008
• A. Martini Una rilettura minimalista del ruolo della valutazione nella Pubblica Amministrazione, in F.Forte, L.Robotti(a cura di-) La gestione manageriale nella pubblica amministrazione, F.Angeli, 2006
• Antonio Sardone, Unione Europea- Consistenza Fondi Strutturali 1957 - 2013, Milano, Training Team, 2009 (pp. 680).
• Antonio Sardone, Valutazione di impatto ambientale in U.S.A.- Regulations N.E.P.A. -CLUP - 1988 Milano (pp.127)

Documenti metodologici della Commissione

• Directorate General Regional and Urban Policy, Guidance document on Monitoring and evaluation, Concepts and recommendations, october 2013
• Technopolis Group and Mioir, Evaluation of innovation activities. Guidance on methods and practices. Study funded by the European Commission, Directorate for Regional Policy. June 2012.
• Directorate General for Regional Policy, Regional Focus 02/2012 What are counterfactual impact evaluations teaching us about enterprise and innovation support?

Documenti ufficiali

Guidance document on ex-ante evaluation, January 2013

• Metodi e obiettivi per un uso efficace dei fondi comunitari 2014 2020

Voci correlate

• Fondi strutturali
• Teorie dello sviluppo regionale
• Valutazione delle politiche pubbliche

Collegamenti esterni

• Sistema Nazionale di Valutazione della politica regionale, su dps.tesoro.it. URL consultato il 20 ottobre 2013 (archiviato dall'url originale il 28 maggio 2013).
• Commissione Europea - Pagine dedicate alla valutazione delle politiche di coesione, su ec.europa.eu.
• Ministro per la coesione territoriale, su coesioneterritoriale.gov.it. URL consultato il 20 ottobre 2013 (archiviato dall'url originale il 2 maggio 2013).
• capacitaistituzionale.formez.it.
• valutazioneinvestimenti.formez.it.
• Centro di Documentazione Fondi Strutturali, su fondistrutturali.co. URL consultato il 29 maggio 2021 (archiviato dall'url originale il 22 gennaio 2021).
• Centro di Documentazione Fondi Strutturali, su macroregionealpina.net. URL consultato il 21 luglio 2020 (archiviato dall'url originale il 28 novembre 2018).