Valutazione dei sistemi formativi

La valutazione dei sistemi formativi ha come obiettivo l'osservazione, l'analisi, l'interpretazione e la formulazione di un giudizio delle caratteristiche salienti del processo di formazione. Tale processo interessa sia gli utenti fruitori del servizio che l’ente erogatore della formazione. Tale valutazione riguarda diversi ambiti e livelli. L'approccio più utilizzato consiste nel valutare l’azione formativa da tre punti di vista: soddisfazione dell'utente, impatto sulla realtà lavorativa e apprendimento degli utenti.

Significato del termine valutazione

Valutare significa confrontare una situazione osservata e una situazione attesa. Il confronto non è tuttavia una semplice constatazione di differenze o concordanze, bensì prevede un’interpretazione che è possibile soltanto se il valutatore ha predisposto un quadro teorico che si basa sulle sue esperienze e sul suo retroterra culturale.

Si utilizzerà l’interpretazione per stabilire gli esiti del confronto (in cosa concorda e in cosa differisce la situazione osservata da quella attesa), ma anche per ricostruire i percorsi e i processi che hanno portato a quegli esiti.

Quando l’interpretazione è sicura, si deve passare alla valutazione, cioè all’attribuzione di valore agli oggetti che il valutatore ha posto come obiettivi o scopi della formazione. Si possono annoverare tra questi obiettivi le conoscenze, abilità, competenze, ma anche aspetti relazionali/affettivi come comportamenti, atteggiamenti, opinioni ecc.

Il metodo valutativo

Il valutatore si deve dotare di un sistema di discriminazione tra gli elementi ritenuti validi e desiderati da quelli che non lo sono e si deve concretizzare con un sistema di riferimento che costituisca un modello stabilito a priori. In esso devono essere contemplati tutti gli elementi utili per la successiva valutazione: la situazione attesa e i criteri di giudizio. Il passo successivo alla valutazione è la messa in atto di opportune decisioni che devono avere come obiettivo la riduzione delle differenze tra la situazione osservata e quella attesa. Si può riassumere, quindi, il processo valutativo in due passi: il primo è costituito dalla rilevazione dei dati empirici (fatti osservabili e misurabili), che permette di ricavare informazioni secondo il metodo scientifico, il secondo è la valutazione, che dovrà assegnare valore e significato al raggiungimento o meno degli obiettivi previsti. In questo secondo passo si adottano le decisioni pratiche per ridurre eventuali discrepanze tra ciò che si attende e ciò che si osserva, sia a livello di allievo che a livello dell’intero corso di apprendimento / formazione.

La scientificità del metodo di rilevazione e valutazione adottato deve essere riconosciuto da un'intera comunità e deve diventare un punto di riferimento. Quindi, occorre esplicitare i Móði e gli strumenti utilizzati. Ciò significa che ogni operazione effettuata e la scala metrica utilizzata per attribuire un dato valore ad un singolo evento devono avere visibilità completa, in modo che l’operazione di valutazione possa essere replicata nelle stesse condizioni e debba dare lo stesso valore come risultato. Questa esigenza è fondamentale per due motivi: il primo è che lo stesso valutatore è in grado di dare significato al suo lavoro, il secondo è impedire confusione e disorientamento nell’interpretare e valutare eventi.

Un docente, quando attribuisce un voto ad un compito scritto, deve avere in mente un insieme di valori entro il quale possono oscillare le competenze sotto osservazione.

Questo insieme di valori non può rimanere nella testa del docente, ma deve essere esplicitato, organizzato in una scala di misura in modo tale che chiunque, altri docenti o studenti, siano informati e possano comprendere il significato della valutazione attribuita ad una certa conoscenza, abilità o competenza.

Se il docente ha sollecitato in un compito scritto una o più conoscenze, abilità e competenze relativi a uno o più ambiti significa che ha già attribuito un valore ad essi. Questo significa che la valutazione successiva altro non è che la manifestazione esterna, oggettiva del valore che già si era attribuito agli eventi e alle sue particolarità proposte nel compito. Questo è il motivo da cui deriva la necessità dell’adozione dello strumento di misura da impiegare: esso estrinseca i valori che attribuiamo soggettivamente ad eventi, argomenti ecc. presenti nei compiti.

Il passaggio logico da esplicitare in maniera che tutti possano leggere una valutazione allo stesso modo è che il valore, l’importanza che il docente attribuisce ad una certa conoscenza, ad un apprendimento generale o ad una competenza può variare da valori molto bassi a valori molto alti.

Questa oscillazione all’interno di una gamma di valori può estendersi a seconda dei contesti e degli scopi che si intendono realizzare. Addirittura si può verificare che ciò che ha valore in un certo contesto e in relazione al raggiungimento di scopi particolari potrebbe non averne in altri contesti o per la realizzazione di altri scopi. Al limite quel valore potrebbe rappresentare un anti-valore, un difetto, un pericolo. Queste ultime riflessioni confermano ulteriormente la necessità di rendere esplicito uno strumento per discriminare la qualità degli eventi sottoposti a valutazione: questo strumento varia a seconda dei contesti e per gli scopi prefissati.

In ogni processo di valutazione occorre innanzitutto rendere espliciti gli obiettivi da raggiungere e successivamente determinare le scale, procedure e strumenti che costituiscono una sorta di accordo convenzionale che è alla base di una corretta interpretazione dei fattori che porteranno a definire la qualità di un evento.

La progettazione di un piano di valutazione

La valutazione effettua un confronto tra una situazione osservata e una situazione attesa. Dal confronto deve scaturire un’interpretazione che stabilirà se le situazioni iniziale e finale differiscono, in quali aspetti e dovrà ricostruire l’insieme dei processi che hanno determinato tali differenze. Oltre a ciò occorrerà attribuire un valore agli oggetti della valutazione, che si realizzerà all’interno di un sistema di riferimento definito a priori. Tale sistema conterrà i criteri per operare la valutazione che sarà anche la base per eventuali decisioni operative atte a sanare differenze tra situazione osservata e attesa.

Operativamente sono presenti due momenti: la rilevazione e la valutazione. Il primo raccoglie i dati riguardanti i vari aspetti del processo formativo, secondo la metodologia scientifica, il secondo assegna valore e significato al conseguimento o meno degli obiettivi progettati. Questo secondo momento stabilirà le decisioni operative riguardanti sia lo studente sia lo stesso intervento formativo. La valutazione di ogni intervento formativo può essere suddivisa in quattro livelli: gradimento, apprendimento, comportamento (applicazione al lavoro) e cambiamento organizzativo (impatto sull’organizzazione). Queste due ultime tipologie di valutazione vengono racchiuse, da alcuni autori, nell’unica valutazione denominata d’impatto. Questa suddivisione è dovuta a Kirkpatrick.

Valutazione di gradimento

Il primo livello, gradimento, consiste nel prendere in considerazione le reazioni degli utenti dell’intervento formativo, i quali sono interpellati tramite questionari o interviste semistrutturate.

Il customer satisfaction è il metodo più utilizzato per due motivi:

• è standardizzabile e richiede solo un investimento iniziale per la sua progettazione e implementazione, ma, successivamente, l’investimento è molto ridotto, se occorre una sua replicazione;
• il feedback informativo deriva da contributi di diverse tipologie di soggetti, e forma un quadro ampio della percezione del gradimento dell’intervento formativo.

L’importanza della valutazione del gradimento risiede nella sua caratteristica di essere una condizione necessaria, non sufficiente, per ottenere apprendimento ed impatto positivo sugli utenti e sull’organizzazione della formazione.

Le modalità si basano sull’identificazione degli aspetti qualitativi e organizzativi più importanti della formazione: agli utenti si somministra normalmente un questionario strutturato, chiedendo loro di esprimere un giudizio in termini di livello di gradimento della formazione.

Incrociando i giudizi si individuano le criticità delle attività di formazione e si valuta con immediatezza la percezione dell’intervento da parte dei partecipanti.

Per l’esecuzione dell’indagine di gradimento servono delle particolari competenze dei valutatori:

• tecniche di indagine sociale: occorre progettare e realizzare il questionario di rilevazione. Quindi è importante chiarire quali sono i fattori della qualità da sottoporre a valutazione e strutturare correttamente il questionario;
• statistiche: deve permettere l’elaborazione di dati tramite analisi strutturate che mettano in evidenza la veridicità e la qualità dei dati rilevati. Le competenze statistiche sono necessarie se l’indagine di gradimento è condotta secondo un campione d’interviste piuttosto che relativamente a tutto l’universo di riferimento.
• informatiche: l’uso di programmi software che aiutino l’elaborazione dei dati; ad esempio un comune foglio elettronico (Excel, Calc, ecc.), oppure, software statistici (es. SPSS = Statistical Package for Social Sciences, SAS = linguaggio di programmazione statistica).

L’ultimo atto consiste nella redazione del rapporto di valutazione del gradimento. I risultati sono organizzati in un rapporto che deve essere concepito a misura dei destinatari ed essere il più possibile comprensibile. Il destinatario del rapporto deve ritrovare in esso le informazioni che possano orientare lo svolgimento e per un eventuale replica del corso di formazione. Ad esempio, il preside di una scuola o un funzionario del Ministero dell’istruzione saranno interessati a conoscere i livelli di gradimento espressi nei riguardi dei principali aspetti di una azione formativa erogata e soprattutto verso i fattori di criticità riscontrati.

Da ricordare in ogni caso che la valutazione di gradimento è una delle componenti valutative della formazione e pertanto va sempre associata alle valutazioni di apprendimento e d’impatto.

Valutazione d’impatto

È la parte più complessa della valutazione ed anche la componente valutativa che fornisce una conoscenza più esauriente ed approfondita dei processi formativi messi in atto. Le informazioni ricavate sono basilari se occorre riproporre i corsi di formazione in futuro e per migliorare le sue prestazioni e dell’organizzazione che lo propone. Si valuterà tutto ciò che va oltre le reazioni soggettive degli utenti che usufruiscono della formazione e dell’apprendimento che essi acquisiscono. Si considererà, invece, la sfera organizzativa e delle performance.

Una prima ed importante considerazione è quella della cosiddetta dimensione diacronica di questa valutazione. Si deve intendere che gli impatti generati da un percorso formativo possono produrre effetti in tempi più o meno lunghi.

Le abilità e le competenze acquisite dagli individui si possono manifestare nel lavoro in tempi brevi (mesi) e, considerando tempi più lunghi, esse si confonderanno con le esperienze che essi realizzano continuamente. Come esempio si può valutare quali cambiamenti operativi si riscontrano prima e dopo l’intervento formativo. Se in un modulo didattico di un Istituto Commerciale è stato studiato il foglio di calcolo Excel per tenere la contabilità aziendale, si può dire che esso abbia avuto successo se gli studenti prima dell’intervento non utilizzavano Excel per automatizzare le procedure di calcolo, mentre dopo l’intervento lo utilizzano in modo corretto e continuativo. In ciò dimostrano il cambiamento nelle loro operatività, come conseguenza di quanto acquisito nell’intervento formativo stesso.

Altre forme di impatto si verificano su aspetti immateriali come la cultura aziendale, cioè sui cambiamenti indotti nella mentalità dei lavoratori immessi nel mondo del lavoro. Questo tipo di impatto potrebbe essere riscontrabile nel giro di qualche anno. La valutazione d’impatto è, quindi, fortemente dipendente dagli obiettivi prefissati nel particolare corso di formazione progettato: essa potrebbe avere connotazioni, modalità e oggetti molto diversi da interventi formativi diversi. Ciò si ripercuote sulle domande di valutazione da formulare: nel caso delle valutazioni di gradimento e apprendimento sono più standardizzate, mentre in quella d’impatto sono meno determinate e richiedono maggior lavoro nella sua preparazione e nella sua realizzazione.

Considerata la complessità e i maggior costi della valutazione di impatto, conviene attivarla quando gli impatti sono significativi o quando occorre fornire risposte ad interrogativi rilevanti che saranno utilizzate nel futuro per orientare processi lavorativi. In questo senso è opportuno integrare le procedure di valutazione di impatto con le analisi utilizzate nella programmazione formativa per cogliere quei fabbisogni che altrimenti rischiano di rimanere in ombra. Queste ultime considerazioni permettono di indentificare a quale livello conviene una valutazione d’impatto: sistema scolastico complessivo o di istituto.

La valutazione del sistema scolastico è utile ai decisori politici perché consentirebbe di governare in modo efficace un sistema educativo complesso come quello italiano che necessita di un feedback preciso ed attendibile. Inoltre consentirebbe di indirizzare le risorse per l'aggiornamento e la formazione di settore in modo efficace ed efficiente.

La valutazione d’impatto costituisce l’occasione di apprendimento diffuso nell’organizzazione scolastica, contribuisce a formare una cultura della qualità e della corresponsabilità tra i docenti e dirigenti nei confronti delle azioni formative.

Valutazione dell’apprendimento

Si tratta della valutazione che riguarda il raggiungimento da parte degli studenti degli obiettivi prefissati dall’azione formativa.

La scienza che si occupa delle procedure di valutazione degli apprendimenti, dei sistemi di votazione, della condotta degli esaminati ed esaminatori è denominata docimologia.

Da questa disciplina derivano le basi teoriche che determinano le tecniche di valutazione anche per l’e-learning.

Questa valutazione è utilizzata con diverse finalità, di seguito specificate.

La valutazione dell’apprendimento è denominata certificativa se ha come scopo l’accertamento del possesso, da parte dello studente, di saperi particolari.

Se la valutazione è effettuata al termine di un’azione formativa è denominata sommativa.

Quando occorre determinare eventuali lacune nei saperi dello studente, allora si parla di valutazione diagnostica.

La valutazione messa in atto durante un percorso formativo, con l’obiettivo di aiutare gli studenti ad avere coscienza delle proprie lacune e per predisporre interventi di recupero, è denominata formativa.

Quando la valutazione è messa in atto a distanza di tempo dal termine dell’azione formativa, con l’obiettivo di studiare l’impatto sullo studente e sul contesto di vita, è denominata di impatto.

La valutazione è detta prognostica se occorre prevedere a quali difficoltà può andare incontro uno studente in un percorso d’apprendimento e con l’obiettivo di consigliare un percorso individualizzato.

Se la valutazione è realizzata prima dell’inizio di un’azione formativa si definisce iniziale.

Quando l’obiettivo della valutazione è stimolare lo studente all’acquisizione di nuovi saperi è definita proattiva.

Viceversa, quando l’obiettivo è far riflettere lo studente sui saperi già acquisiti precedentemente, allora si parla di valutazione retroattiva.

Se la valutazione deve fissare la situazione formativa in un ben determinato istante di tempo si parla di determinazione della situazione o sincronica.

Infine, se occorre paragonare situazioni formative dello stesso studente in diversi intervalli temporali si parla di valutazione di progresso o diacronica.

Le valutazioni attuabili in e-learning

In e-learning, ci sono delle preferenze nell'utilizzo di alcuni tipi di valutazione nel processo di apprendimento.

Sicuramente una valutazione formativa risulta agevole e in grado di identificare se i processi messi in atto dagli studenti procedono nel verso definito dagli obiettivi del corso oppure no. Successivamente si potrà procedere ad una valutazione sommativa, certificativa che tuttavia dovrà avvenire in presenza per i problemi al riconoscimento dello studente e all’eventuale presenza di fattori esterni che possano compromettere la validità e veridicità della rilevazione.

In effetti considerando piattaforme di videoconferenza (Meet, Zoom, Skype e Teams) saremmo in grado di identificare lo studente con sicurezza poiché il suo volto è inquadrato da una webcam. Potremmo anche ricorrere ad un software che rilevi le impronte digitali, sempre allo scopo di essere sicuri dell’identità della persona. Resta, tuttavia, parzialmente irrisolto il problema di eventuali suggerimenti provenienti dall’esterno: non si potrà essere sicuri che dalla parte opposta della webcam vi sia un tabellone con suggerimenti, o altre iniziative simili.

Alcune di queste piattaforme sono dotate di un software, che limita i rischi suddetti e garantisce una maggiore correttezza nello svolgimento delle prove effettuate a distanza. In base a queste considerazioni, una valutazione sommativa può non essere svolta necessariamente in presenza.

Bibliografia

• Calonghi L., Valutazione delle composizioni scritte, Roma, Armando, 1976.
• Calonghi L., Riflessioni sulla valutazione complessiva ed istituzionale, «Cadmo», vol. 9, n. 25, 2001.
• Domenici G., Manuale della valutazione scolastica, Roma-Bari, Laterza, 2003.
• Grandi G. (1977), Misurazione e valutazione, Firenze, La Nuova Italia, 1977.
• Kirkpatrick D.L., Evaluating training programs. The four levels, San Francisco (CA), Berrett-Koehler, 1994.
• Monasta A. (a cura di), Mestiere progettista di formazione, Roma, Carocci, 1997.
• Quaglino G.P., La valutazione dei risultati della formazione, Milano, Angeli, 1979.
• Quaglino G.P., Fare formazione, Bologna, Il Mulino, 1985.
• Ranieri M., E-learning: modelli e strategie didattiche, Trento, Erickson, 2005.
• Trinchero R., Valutare l’apprendimento nell’e-learning, I quaderni di «Form@re», n. 5, Centro studi Erickson , 2014.
• Vertecchi B, Manuale della valutazione, Milano, Angeli, 2003.
• AAVV, Programmare e valutare la formazione una guida per le amministrazioni pubbliche, Milano, Editore Lattanzio e Associati, 2004.