Il Disegno di Legge «In materia di organizzazione e qualità del sistema universitario, di personale accademico e di diritto allo studio», attualmente in attesa di approvazione al Senato, ha riaperto il dibattito sull’università e in particolare sull’importanza della valutazione in ambito universitario. Negli ultimi anni l’uso del termine valutazione è indubbiamente cresciuto in modo esponenziale nella Pubblica Amministrazione (PA), ma di contro va notato che, a esso, non si è accompagnata una effettiva crescita dell’utilizzo della stessa, come strumento di conoscenza e di sostegno per le attività della PA. Ciò è avvenuto anche a dispetto delle normative vigenti che impongono strumenti di analisi (AIR) e valutazione (VIR) degli impatti a sostegno di ogni attività legislativa o di regolamentazione1. Tornando, quindi, all’esame del Disegno di Legge, avente a oggetto il sistema universitario, nasce spontanea una prima considerazione sul le conseguenze e gli impatti che il Disegno di Legge può avere sul sistema universitario e sugli attori dello stesso: quali analisi, quali dati hanno confortato le azioni previste nel Disegno di Legge? Si è certi che l’introduzione del sistema di redistribuzione meritocratica di risorse economiche, basato sulla costruzione di un ranking, riesca a raggiungere tutti gli obiettivi primari e fondamentali che si chiedono al sistema universitario? Si è certi, cioè, di riuscire in tal modo a migliorare il ruolo guida degli atenei nel progresso e nella diffusione della cultura umanistica e scientifica, la loro capacità di risposta alla domanda di competenze che viene dal mondo del lavoro e la competitività degli stessi nella ricerca internazionale? Ancora una volta ci si rende conto che in Italia la cultura della valutazione è merce rara. Purtroppo vi è l’assenza di procedure di lavoro, ben sperimentate in altri Paesi, che prevedano il ricorso diffuso ad analisi quantitative degli impatti nel breve e medio periodo, basate anche sulla consultazione e sulla partecipazione degli interessati. Se venisse adottato questo approccio, si potrebbero rendere più consapevoli e razionali le decisioni ma si potrebbero anche accrescere l’efficacia e l’efficienza di una riforma aumentandone, al contempo, la trasparenza e la democrazia. La presente riflessione sul significato e sullo stato dell’arte della valutazione del sistema universitario e delle sue componenti vuole rappresentare un contributo per lo sviluppo dell’università e del ruolo che essa deve avere nel perseguimento del bene comune della collettività. Cosa valutare: oggetti e dimensioni della valutazione Il termine “valutare” è troppo spesso considerato come sinonimo di controllare o di giudicare. In questa accezione tale attività incute, nei soggetti che devono perseguirla, il timore che la stessa si possa ritorcere contro e, di conseguenza, tendono a ostacolarla impedendone l’implementazione. Bisogna ricordare, poi, che non è corretto identificare un sistema di valutazione con la assicurazione della qualità (Quality Assurance). Lo sviluppo della qualità è certamente uno degli obiettivi importanti in quanto si tratta di un pre-requisito, ma non si può ridurre tutta la valutazione a questo unico obiettivo. Per valutazione, in senso ampio, si deve intendere «il processo di raccolta sistematica e analisi di diverse forme di dati (sia quantitativi che qualitativi, che testuali), con il fine di stabilire (assessing) il valore delle ricadute, l’adeguatezza, l’efficacia e l’efficienza, la sostenibilità e i benefici di una politica o di una regolamentazione, tenuto conto delle azioni e delle risorse impiegate per fare fronte agli obiettivi cui sono indirizzate». Ma tale valutazione, lungi dall’essere fine a se stessa, coerentemente con il suo significato etimologico, che è quello di dare valore, ovvero valorizzare, deve essere finalizzata all’apprendimento (learning) al fine di perseguire il miglioramento continuo dei risultati e degli impatti, ma anche quello di supportare scelte e decisioni (decision making). Allora si valuta per raggiungere differenti finalità: – si valuta ex ante per scegliere tra differenti alternative; – si valuta in itinere per gestire al meglio l’attività; – si valuta ex post per rendere conto di cosa si è fatto, in relazione a ciò che si è progettato in termini di risultati, e in rapporto alle conseguenze generate, ovvero in termini di impatti; – si valuta, soprattutto, per apprendere al fine di supportare un nuovo processo decisionale; – si valuta per migliorare. Dalla finalità decisionale che motiva la valutazione, scaturiscono il tipo di confronto dal quale nasce il giudizio e i possibili utilizzatori di tale giudizio. Se allora l’attività di valutazione deve essere finalizzata alla valorizzazione delle risorse per il raggiungimento degli obiettivi programmati, deve necessariamente avere le seguenti caratteristiche: – chiarezza e precisione: si devono identificare in modo preciso gli obiettivi e i risultati attesi (standards); – sinteticità: si deve dare una descrizione sintetica delle attività che si prevede di porre in essere; – specificità: i diversi obiettivi devono essere adeguatamente specificati nelle proprie dimensioni di risultato, eventualmente associando tali risultati a indicatori quantitativi. In tal modo diviene più agevole poter stabilire a consuntivo, con relativa precisione, se e in quale misura l’obiettivo è stato raggiunto; – ampiezza e generalità: la specificazione di risultati attesi molto precisi, non preclude la possibilità di definire obiettivi sufficientemente ampi e generali. In tal senso, l’obiettivo può essere considerato il contenitore ampio di una pluralità di risultati attesi più specifici. Il riferimento agli obiettivi, alle risorse impiegate e ai risultati (detti anche indicatori programma) fa implicitamente riferimento a due aspetti chiave della valutazione, cioè ai concetti di Efficacia (raffronto tra effetti ottenuti e attesi) ed Efficienza (rapporto tra effetti ottenuti e risorse utilizzate). Vanno inoltre considerate misure di: – Utilità/Benessere per l’analisi ex ante (attese) e o la verifica ex post (benefici) dell’incidenza sui gruppi o sulle popolazioni destinatarie; – Pertinenza per verificare se gli obiettivi del programma siano di pertinenza rispetto all’evoluzione dei bisogni della popolazione e dell’economia destinataria dell’intervento; – Sostenibilità per l’analisi della capacità di mantenimento dei risultati raggiunti al termine dell’intervento (permanenza dei cambiamenti o benefici). Identificate le dimensioni della valutazione, per ognuna è necessario stabilire gli indicatori valutativi. Con il termine indicatore si intende una variabile (quantitativa o qualitativa) in grado di rappresentare sinteticamente un fenomeno e riassumerne l’andamento; gli indicatori dunque servono a tradurre in elementi osservabili e misurabili i criteri di valutazione individuati. A tal fine gli indicatori devono possedere i seguenti requisiti: – Validità scientifica, Validità causale, Specificità, Interpretabilità; – Fattibilità, Economicità, Tempestività e facilità di manutenzione; – Sensibilità, Accuratezza, Generalizzabilità. Infine bisogna adottare metodologie rigorose e adeguate alla complessità e alla “multidimensionalità” intrinseca nell’attività valutativa che riescano a sintetizzare i risultati e gli impatti delle attività sottoposte a valutazione. Il processo valutativo si assume di natura composita e va pertanto riferito a diverse dimensioni di analisi dal cui studio congiunto può ricavarsi una misura completa ed esaustiva del valore aggiunto dell’iniziativa. Emerge evidente l’esigenza di impostare tale attività su più livelli di analisi e per diversi segmenti di beneficiari, su diversi tempi (breve e medio/lungo termine), su effetti diretti e effetti indiretti, per obiettivi operativi e obiettivi strategici, per cui ne consegue la necessità del ricorso a metodologie di analisi e valutazione d’impatto tutt’altro che banali. Per la valutazione ex ante, è allora opportuno utilizzare metodi multicriteri per la scelta tra più scenari, così come per la valutazione ex post è opportuno utilizzare modelli multilevel per misurare i risultati prodotti su più livelli e tecniche sperimentali per valutare gli impatti attraverso l’utilizzo di ipotesi controfattuali. Oggetti e dimensioni della valutazione universitaria Una qualsiasi valutazione deve dunque partire dalla definizione delle sue finalità, degli attori coinvolti, delle unità oggetto di valutazione, dell’oggetto stesso della valutazione (risultati, outcome o conseguenze e impatti), dei criteri e degli strumenti di analisi utilizzati e dei relativi dati. È bene sottolineare che l’università è, in sé, un sistema inevitabilmente molto complesso e il riconoscerne la complessità è il primo passo, indispensabile per proporre soluzioni valutative che siano praticabili. Partiamo dalle finalità della valutazione in ambito universitario. Obiettivo della valutazione è quello di rendere l’università più produttiva e competitiva in termini di: – Produzione di capitale umano (qualificazione della forza lavoro e produzione di talenti) – Produzione di ricerca in grado di generare valore economico e avanzamenti della conoscenza scientifica – Propensione verso l’innovazione della società nel suo complesso – Internazionalizzazione Agli obiettivi individuati corrispondono più “attori” (stakeholders) ai quali l’università deve rispondere e che al tempo stesso condizionano le sue prestazioni: 1. Studenti e loro famiglie 2. Imprese e organizzazioni 3. Politici e amministrazioni 4. Ricercatori e professori 5. La comunità più ampia dei cittadini. Oggetto della valutazione può essere, allora, l’attività di formazione, l’attività di ricerca, l’attività di modernizzazione della società nel suo complesso o il suo processo di internazionalizzazione. Unità oggetto della valutazione possono essere i singoli docenti, le strutture amministrative, i corsi di studio, i dipartimenti, le facoltà, gli atenei, l’intero Sistema “università”. Applicando i criteri generali precedentemente individuati all’ambito universitario, appare chiaro come, l’attività istituzionale di valutazione sia stata svolta fino a oggi per “compartimenti stagni” non collegati tra loro. È però necessario sottolineare l’elevato rigore scientifico2 adottato nei singoli ambiti. In base a quanto visto in termini generali, manca, in ambito universitario, un impianto metodologico organico che, a partire dalle finalità generali (vision), sia a supporto degli obiettivi generali di lungo (mission), di breve periodo e delle singole azioni operative in modo tale da consentire una valutazione relativa a ogni oggetto e a ogni singola unità, inclusa nella stessa, nonché a ogni legame esistente tra gli stessi oggetti. Solo dopo aver ricostruito tale impianto sarà possibile costruire un sistema di indicatori unico e condiviso con gli attori coinvolti nella valutazione, sistema legato ai singoli obiettivi, ai singoli oggetti e alle singole unità. Successivamente si porrà, allora, il problema di come reperire i dati, coscienti che le informazioni utili a una valutazione devono essere ricercate in molteplici fonti. Oltre all’acquisizione diretta di informazioni dagli uffici amministrativi di competenza (dipartimenti, facoltà, atenei), dalle statistiche ufficiali e non ufficiali (indagini Istat, indagini svolte da Almalaurea e Consorzio Stella), un ruolo importante dovrà essere assegnato alla consultazione diretta di tutti gli attori e quindi non solo degli studenti e dei laureati ma anche delle imprese, dei cittadini, dei ricercatori e dei professori, mediante indagini campionarie o talvolta, più semplicemente con riferimento a giudizi di sintesi di esperti o informazioni derivate da focus group di destinatari delle possibili riforme dell’impianto universitario. Gli indicatori dovranno essere analizzati attraverso tecniche che consentano l’analisi per segmenti, i confronti spaziali e temporali dei risultati, l’identificazione delle leve di miglioramento, la simulazione di scenari alternativi. A seconda del momento in cui avviene la valutazione potranno essere scelte le tecniche più adatte. Nella valutazione ex ante si potrà far utile ricorso a tecniche multicriterio come, ad esempio, alla Multiple Factor Analysis3, già utilizzata, per conoscere le opinioni degli esperti rispetto alle possibili alternative di un sistema universitario combinando differenti alternative in tema di autonomia, obiettivi formativi, reclutamento, valore legale del titolo di studio. In fase di valutazione ex post potranno essere utilizzati modelli a equazioni simultanee o strutturali (MES) che hanno come vantaggi quelli di consentire la stima degli outcomes e dei coefficienti di impatto rispetto a una ipotesi controfattuale, l’analisi per segmenti, i confronti spaziali e temporali dei risultati e l’identificazione delle leve di miglioramento4. Potranno, inoltre, essere utilizzati per la valutazione degli impatti modelli multilevel5. Infine, ci sembra opportuno sottolineare che in un’ottica di costruzione di un impianto metodologico organico, la sintesi di tutti gli indicatori in un unico valore utile alla creazione di un ranking che sintetizzi i risultati ottenuti, risulta superflua. In primo luogo si pongono problemi metodologici legati alla sintesi di indicatori di differente natura, in secondo luogo i confronti dovrebbero essere effettuati ceteribus paribis, ovvero al netto delle caratteristiche di partenza che influenzano il livello delle performance e non consentono di determinare gli incrementi delle stesse. I confronti tra unità differenti dovrebbero avvenire su più dimensioni e scaturire dal confronto tra i risultati ottenuti e gli standard prefissati, in un’ottica molto simile a quella prospettata da Kaplan e Norton nel loro modello di Balanced Score Card6. Considerazioni conclusive Prima di pensare a qualsiasi possibile risposta da dare agli innumerevoli interrogativi che si pongono, oggi, in tema di formazione e ricerca, bisognerebbe ricordare due importanti affermazioni: «Conoscere per governare» amava dire Einaudi, e «Non si può gestire ciò che non si sa misurare» sostengono Kaplan e Norton. Tali affermazioni dovrebbero essere sempre presenti a coloro che hanno responsabilità di governo e che sono obbligati a effettuare l’analisi e la valutazione delle riforme proposte. L’obiettivo di questo lavoro è stato allora quello di porre l’attenzione sull’esigenza di dotare coloro i quali hanno responsabilità di governo di metodologie statistiche capaci di supportare le attività valutative nel rispetto degli obiettivi internazionali, della coerenza, della sequenzialità e della multidimensionalità insite in tali attività. E se un nuovo organismo dovrà occuparsi di valutazione (ANVUR), allora ci si auspica che possa sfruttare tutte le esperienze positive effettuate, in questi dieci anni, in tema di valutazione universitaria, superandone al contempo i limiti attraverso la creazione di un impianto di valutazione organico che abbia obiettivi, criteri e indicatori condivisi e accettati da tutti gli attori coinvolti nel processo e che soprattutto svolga tutte le fasi di valutazione, da quella ex ante, con l’introduzione anche di sperimentazioni preventive, per la determinazione degli standard da utilizzare in fase di generalizzazione, a quella in itinere e infine a quella ex post. L’ultima considerazione riguarda, poi, una convinzione personale. Sino a quando le università non comprenderanno che la valutazione è un elemento fondamentale in qualunque azienda, pubblica o privata, al fine di verificare se l’applicazione della strategia programmata sia stata o meno efficace, la reazione dei professori continuerà a essere quella tipica di chi si sente sotto esame, con la conseguenza che invece di una valutazione trasparente e obiettiva si otterrà che ciascuno cercherà di “nascondere qualcosa”. L’importante è capire che per avere autonomia bisogna essere responsabili nel gestirla. La politica del governo centrale dovrebbe essere tesa a creare incentivi volti a facilitare una buona gestione senza entrare, però, nel contenuto reale delle strategie operative dell’università. Dovrebbe basarsi su un approccio più metodologico, che analizzi la bontà della gestione, la capacità di raggiungere i risultati, la qualità della ricerca e della didattica, partendo dal presupposto che esistono due “libertà” che vanno rispettate e mantenute, quelle della ricerca e dell’insegnamento, chiedendo però la massima qualità nel modo in cui vengono realizzate. In questa prospettiva il vero ruolo del potere centrale, dovrebbe essere rivolto a fornire i giusti incentivi, utili a indurre le università a comportamenti insieme liberi e responsabili.
1 Si vedano la Legge 8 marzo 1999, n. 50 art. 5 n. 50 (Legge Bassanini) e le relative Direttive del 27 marzo 2000 (Analisi tecnico- normativa e analisi dell’impatto e della regolazione) e del 21 settembre 2001 (Direttiva sulla sperimentazione dell’analisi di impatto della regolazione sui cittadini, imprese e amministrazioni). 2 Si pensi alla ottima struttura metodologica proposta dal CIVR in termini di valutazione della didattica. 3 C.N. Lauro, G. Giordano, E. Romano, Clustering Model based Representation of Symbolic Objects, 57th Session of ISI 2007. 4 I modelli Mes sono stati utilizzati per la valutazione dell’introduzione del Buono scuola in Lombardia (si veda N.C. Lauro, Una metodologia innovativa per la valutazione ex post dello strumento buono scuola nella regione Lombardia: il modello IBIR in Politiche Sussidiarie nel Settore dell’Istruzione: il caso del Buono scuola in Lombardia, Giuffrè, Milano 2008). 5 P.T. von Hippel, Achievement, learning, and seasonal impact as measures of school effectiveness: it’s better to be valid than reliable, School Effectiveness and School Improvement, vol. 20, n. 2, giugno 2009, pp. 187–213. 6 Per un’applicazione della Balance Score Card al sistema universitario si veda: A.M. D’Uggento, M. Iaquinta, V. Ricci, A New Approach in University Evaluation: the Balanced Scorecard, Statistical modelling for University Evaluation: an International Overview, Mattinata, 5-6 settembre 2008.
