A che punto siamo con la cultura della qualità

Non è facile identificare gli elementi che caratterizzavano l’università Italiana quando, il 2 maggio 2011, con la prima riunione del Consiglio Direttivo della neonata Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR), si inaugurava in Italia l’inizio di un tentativo di valutazione sistematica delle attività accademiche.

Forse perché uno degli elementi più diffusi era proprio la mancanza di una visione sintetica e precisa di quanto accadeva nelle università italiane, si parlava, si discuteva, giravano pareri e opinioni ma dati e fatti del sistema rimanevano pressoché elusivi anche alla maggioranza di coloro che vi avevano direttamente a che fare, ivi incluso il decisore politico.

Altra caratteristica del sistema era, inoltre, una certa consolidata autoreferenzialità accademica che si esprimeva troppo spesso nell’inadeguato sviluppo di rapporti con il mondo extrauniversitario e nella sostanziale mancanza di trasparenza nelle decisioni strategiche e nella gestione amministrativa.

In sostanza, un mondo che si conosceva poco e che poco faceva perché il resto del Paese lo conoscesse. E forse furono proprio questi elementi a determinare il netto cambio di rotta imposto al sistema dalla legge 240/2010.

In poco più di dieci anni, infatti e per fortuna, di quel mondo è rimasto poco. Oggi tutte le principali attività svolte all’interno del mondo universitario – dalla governance fino al singolo docente – sono periodicamente e sistematicamente verificati. Certo, il sistema – come tutti i sistemi – non è perfetto e il percorso è tutt’altro che concluso, ma l’impatto è stato senza alcun dubbio positivo e il sistema universitario è oggi forse l’ambito pubblico più sistematicamente valutato.

Per meglio comprendere quanto successo, ne indico di seguito i passaggi salienti.

L’Europa e l’Italia

Riguardo al modello di gestione delle attività accademiche e, in modo particolare – ma non solo – della didattica, l’Europa si era già da tempo indirizzata verso l’applicazione dei sistemi di Assicurazione di Qualità (AQ) che, in breve, si basano sulla costruzione di una governance caratterizzata da una programmazione pluriennale chiara e pubblica, dallo sviluppo di politiche coerenti per raggiungere gli obiettivi previsti, da una verifica del grado di raggiungimento degli obiettivi previsti e, infine, da una riprogrammazione che tenga conto delle difficoltà e dei problemi incontrati.

L’Italia, pur aderendo formalmente a questa visione, non ne aveva mai dato seguito operativo.
La traduzione italiana del sistema di AQ proposta dall’ANVUR fu il sistema denominato AVA (Autovalutazione, Valutazione periodica e Accreditamento) che, al di là degli aspetti tecnici, aveva in sintesi lo scopo di rendere responsabile e trasparente l’autonomia gestionale riconosciuta alle università italiane.

Il primo elemento innovativo proposto dal sistema AVA era il modello di governance e organizzativo, orientato all’identificazione di obiettivi chiari e ben definiti, fissati tenendo conto del loro contesto territoriale e di tutte le componenti della società potenzialmente coinvolte (stakeholder), e sostenuto dallo sviluppo di una cultura della qualità, intesa come grado di raggiungimento degli obiettivi previsti. Tali obiettivi, fissati prima di tutto dagli Organi di governo dell’ateneo (Senato accademico, Consiglio di amministrazione), coinvolgono a cascata ogni struttura accademica responsabile quali i Dipartimenti, le Scuole (la 240/2010 abolisce le Facoltà) e i Corsi di studio, fino alle più “periferiche”. Ad esempio, se un ateneo, tra le linee di sviluppo strategico, intende inserire un miglioramento della dimensione internazionale, deve contestualmente identificare quali ne sono gli aspetti che vuole migliorare (gli studenti che vanno all’estero, i professori di università estere che passano periodi per ricerca o didattica presso l’ateneo, ecc.), indicare i valori target che intende raggiungere in tempi predefiniti (quanti studenti nel prossimo triennio), le politiche (cioè le scelte operative) che attua e le risorse a disposizione per raggiungere tali valori.

La diffusione della cultura della qualità si realizza nella misura in cui questo schema operativo viene attuato a ogni livello di responsabilità (governance, dipartimenti, corsi di studio). Un secondo elemento di sfida al mondo accademico posto da AVA risiede nella convinzione che, per essere veramente efficace, la verifica del grado di raggiungimento degli obiettivi è prima di tutto responsabilità di chi li ha programmati. Il contenuto di questa sfida è quindi l’autovalutazione: la definizione degli obiettivi e la loro prima verifica devono iniziare dallo stesso livello. Il terzo elemento innovativo è che il coinvolgimento di studenti e stakeholder esterni (mondo del lavoro, organizzazioni sociali, ordini professionali e altro) nella realizzazione di questo modello debba venir garantito a ogni livello.

Per quanto riguarda gli studenti, già da tempo diversi studi internazionali e l’esperienza dei principali atenei europei avevano messo in evidenza che i feedback derivanti dalla loro esperienza “didattica” sono spesso in grado di cogliere precocemente le criticità dell’ambiente di insegnamento/apprendimento permettendo quindi di mettere in atto misure di miglioramento efficaci. Per questa ragione, il sistema AVA ha dato molto spazio alle modalità con cui gli atenei incoraggiano gli studenti a dare sistematicamente il loro feedback circa l’esperienza didattica e a tener conto dei risultati di tali opinioni per monitorare e migliorare le attività didattiche. L’ascolto degli stakeholder esterni è necessario agli atenei invece per cogliere adeguatamente i bisogni di competenze formative del territorio di riferimento e di innovazione, essenziali nella progettazione e revisione dei corsi di studio e nello sviluppo delle attività di ricerca e terza missione.

La Visita di Accreditamento Periodico

Definizione degli obiettivi, autovalutazione e rapporti con il modo esterno scandiscono quindi con cicli annuali o pluriennali le attività di tutti gli attori del sistema universitario, fornendo agli atenei stessi la possibilità di avere in ogni istante un quadro chiaro dell’andamento delle proprie attività. L’ultimo elemento, esplicitamente contenuto dalle specifiche Linee guida europee, è il sistema di valutazione esterna: ciclicamente (ogni 5 anni) ogni ateneo viene sottoposto a una visita in loco nella quale un gruppo di esperti (Commissione di Esperti della Valutazione – CEV) valuta a il grado di “maturazione” del sistema di AQ a diverso livello degli Organi di governo, Dipartimenti e Corsi di studio e dei risultati conseguiti. In Italia, la valutazione esterna, pianificata e organizzata direttamente dall’ANVUR, ha preso il nome di Visita di Accreditamento Periodico per sottolineare che, se positivamente superata, con tale visita un ente terzo (in questo caso l’ANVUR) riconosce formalmente che l’ateneo possiede la competenza e i mezzi per svolgere i propri compiti e, in tal senso, rappresenta la garanzia per gli utenti-clienti che le loro esigenze possono essere soddisfatte e i loro diritti fondamentali tutelati.

All’epoca apparve subito evidente che l’attuazione di un sistema così innovativo aveva bisogno di essere fortemente “accompagnata” da nuovi ed efficaci strumenti. Era necessario fornire da una parte indicazioni sulla riorganizzazione interna degli atenei e dall’altra nuovi strumenti utili sia allo sviluppo del sistema di AQ, sia al monitoraggio “a distanza” da parte dell’ANVUR e del Ministero competente (MUR) sull’andamento delle attività.

Non è possibile in questa sede esemplificare tutta la complessità delle strutture e degli strumenti proposti dal sistema AVA ma, certo, la sperimentazione, lo sviluppo e l’applicazione di strutture e strumenti di valutazione hanno rappresentato uno sforzo collettivo enorme che ha impegnato a fondo il sistema universitario italiano e l’ANVUR. Ma ora, ad esempio, contrariamente al passato, è possibile leggere sul sito di ogni ateneo le linee strategiche che lo caratterizzano, gli obiettivi di ricerca dei dipartimenti, gli obiettivi formativi di tutti i corsi di studio universitari, i programmi dei singoli insegnamenti. E questo non è poco.

La difficile transizione

Data la novità del modello, la mole del lavoro implicato ma, soprattutto, la sfida culturale in esso contenuta e l’“accountability” – il dover rendere conto, la transizione – ha incontrato non poche resistenze e difficoltà. A partire dal primo incontro, realizzato a Torino nell’ottobre del 2013, fino alla realizzazione della seconda versione e la recente proposta della terza versione del modello AVA (AVA3), l’ANVUR, i suoi esperti e tutto il sistema universitario hanno compiuto uno sforzo senza precedenti per l’amministrazione pubblica, in attività di sensibilizzazione, diffusione, formazione e condivisione, per rispondere alle richieste di conoscenze e competenze specifiche sul versante della valutazione e per accompagnare le sfide progettuali, gestionali e organizzative poste dall’applicazione di questo nuovo modello. Il primo ciclo di visite di Accreditamento Periodico, completato nel 2021, ha coinvolto tutte le università italiane e ha messo in evidenza una progressiva affermazione della cultura della qualità, come capacità di identificare e migliorare gli obiettivi strategici e di scegliere e comunicare politiche efficaci nel mondo accademico, con la capacità di coinvolgere attivamente gli stakeholder esterni e gli studenti nella progettazione e nella erogazione delle attività didattiche.

Il miglioramento generale del sistema è avvenuto in modo decisivo proprio sotto la spinta di osservazioni e raccomandazioni rese disponibili da atenei, Dipartimenti e Corsi di studio. La valutazione dei Corsi di studio, ad esempio, ha indotto gli atenei a costruire percorsi formativi e a riprogettare gli esistenti, tenendo conto in modo esplicito e dettagliato del rapporto tra le competenze dei laureati e le esigenze del mondo del lavoro.

Nelle visite in loco, l’insistenza sulla trasparenza delle informazioni disponibili pubblicamente sui siti web degli atenei ha fatto sì che, oggi, sono a disposizione di studenti, famiglie e mondo del lavoro dati e notizie dettagliati sugli obiettivi formativi di tutti i Corsi di studio delle università italiane, così come sono fruibili le informazioni sulle possibilità di formazione e ricerca post-lauream (dottorati di ricerca) e quelle relative alle linee di ricerca dei dipartimenti (utili per le opportunità di ricerca e innovazione con le aziende).

Il voto degli studenti agli atenei

Da ultimo, nel corso degli anni, sono emersi dati davvero interessanti dall’“ascolto” sistematico dell’esperienza degli studenti. Semestralmente gli atenei chiedono a tutti gli studenti di rispondere con un “voto” a un questionario nel quale vengono proposte domande relative all’organizzazione didattica (adeguatezza delle aule e delle risorse didattiche a disposizione), al carico didattico complessivo e all’attività didattica del docente. I risultati delle risposte per ogni insegnamento vengono analizzati e tutti gli insegnamenti con valori critici vengono “studiati” dagli organi responsabili della conduzione del Corso di studio insieme con il docente dell’insegnamento, per valutarne le cause e proporre interventi migliorativi coerenti. L’ascolto dell’opinione degli studenti si è dimostrato uno strumento prezioso e per certi versi insostituibile per la precoce identificazione e successivo superamento di criticità nelle attività didattiche quali l’efficace o meno comunicazione tra docente e studenti, la qualità/utilità del materiale didattico messo a disposizione, la chiarezza degli obiettivi dell’insegnamento e le modalità dell’esame. Non sono mancate e non mancano, tuttavia, preoccupazioni su complessità e sostenibilità degli strumenti, sulla soggettività delle commissioni di esperti, sul prevalere di logiche burocratiche ma lo sviluppo di sistemi di raccolta delle informazioni per la costruzione di banche dati aggiornate, dopo una prima compilazione oggettivamente complessa, oggi fornisce agli atenei una messe di dati di indubbia utilità, sulle caratteristiche degli atenei e dei corsi di studio “concorrenti”, sugli andamenti delle iscrizioni, degli abbandoni, del conseguimento del titolo. Soprattutto, si è diffusa ed è migliorata quella cultura della qualità che, quando abbiamo incominciato dieci anni fa, sembrava patrimonio solo di pochi addetti ai lavori. Per l’attivazione di nuovi corsi, si sta affermando una puntuale ed efficace ricognizione della domanda di formazione nel settore professionale di riferimento in una prospettiva locale e globale, richiesta dalla scheda SUA-CdS, la cui utilità è ormai largamente riconosciuta.

C’è peraltro ancora molto da fare per rispondere alla domanda di elaborazione dei profili formativi in uscita e di identificazione degli esiti di apprendimento attesi (Descrittori di Dublino 1 e 2) per aree omogenee di insegnamento. Da questo deriva una certa difficoltà nella comunicazione, che vede però negli anni, dai vari Open Day e altre iniziative, un costante miglioramento.

Ancora permane la resistenza di molti docenti non tanto e non solo alla valutazione ma all’attenzione dei compiti amministrativo-gestionali e al dialogo con il destinatario finale dei propri studenti che è, o dovrebbe essere, il mondo del lavoro. L’insieme di questi elementi di fragilità del sistema ha richiesto e richiede un continuo miglioramento della capacità di analisi del contesto e della programmazione strategica che dovrà caratterizzare sempre di più ogni CdS.

L’epoca di turbolenza e profonde trasformazioni, già preesistente ma sicuramente aggravata dai due anni di didattica a distanza imposti dalla pandemia e dalla crisi economica e culturale, richiede di stabilire nuove modalità di relazione con il Paese da cui l’università trae risorse, legittimità e stimoli per l’innovazione. Relazione che va giocata non banalmente in termini adattivi rispetto ai bisogni formativi rilevati (cosa del resto assai complessa) ma in quella logica proattiva di innovazione e sviluppo che può affermarsi solo se, e dove, tutte le componenti del triangolo della conoscenza (istruzione, ricerca e innovazione) trovano uno spazio dove sperimentare nuove reciproche fertilizzazioni, spingendo i tradizionali modelli organizzativi a trovare nuove forme di auto-governo, fondate sul principio dell’auto-valutazione come strumento per il miglioramento continuo.

La sostenibilità del sistema per la valutazione

Accanto al sistema AVA, l’ANVUR ha sviluppato sistemi di valutazione dei risultati della didattica, della ricerca e della cosiddetta “terza missione” (tutte le attività non direttamente connesse alla didattica e alla ricerca come, ad esempio, lo sviluppo di brevetti e società di trasferimento tecnologico) quali ad esempio gli esercizi di valutazione delle attività di ricerca e terza missione delle università e degli istituti di ricerca denominata VQR (Valutazione della Qualità della Ricerca).

A oggi sono stati completati tre esercizi valutativi per i periodi 2004-2010, 2011-2014 e 2015-2019. Analogamente a quanto già accadeva in numerosi Paesi europei, lo scopo principale delle VQR è quello di avere un quadro chiaro e ben definito del livello di qualità della ricerca e della terza missione in Italia, valutando un numero predefinito dei migliori “prodotti della ricerca” – come ad esempio articoli scientifici o libri – di tutti i professori e ricercatori italiani da parte di colleghi italiani e internazionali scelti dall’ANVUR (qualche centinaio) e suddivisi secondo le loro aree di competenza.

Ogni prodotto viene valutato attraverso l’utilizzo di indicatori bibliometrici (in grado di indicare la qualità e l’impatto scientifico delle pubblicazioni) e di altri esperti (diverse migliaia), nell’ottica della revisione tra pari (peer-review). I risultati, aggregati per ateneo, per dipartimento e area scientifica offrono informazioni uniche atte a distinguere le performance di ricerca delle singole università, dei loro dipartimenti e delle aree scientifiche e a fornire la base per piani di miglioramento.

I risultati aggregati per ateneo sono stati utilizzati dal Ministero competente per l’allocazione di fondi premiali. Particolarmente preziosi – e in realtà unici – sono i risultati relativi alle singole aree scientifiche perché vengono espressi in termini comparativi tra tutte le stesse aree nazionali. Mentre in un singolo ateneo non vi sono strumenti adeguati per valutare comparativamente aree scientificamente e culturalmente molto lontane – ad esempio medicina e giurisprudenza – impedendo quindi di sviluppare solide politiche premiali.

Utilizzando le informazioni del “piazzamento” ottenuto sui risultati della ricerca di una certa area scientifica di una certa università rispetto alle altre, ogni ateneo avrà una più chiara visione del valore comparato delle proprie aree scientifiche. Dall’esperienza di molti Paesi nei quali la valutazione delle università è iniziata da molto più tempo (ad esempio l’Olanda ha iniziato negli anni ottanta del Novecento), è emerso chiaramente come l’applicazione di un sistema di valutazione – oltre a tutti gli aspetti positivi precedentemente presentati – determini fenomeni distorsivi “utilitaristici” come, ad esempio, quelli di identificare obiettivi di poco valore o poco sfidanti – in modo da poter “dimostrare” di essere un ateneo di qualità – o di individuare aspetti critici poco rilevanti – di nuovo per “dimostrare” la capacità di risolvere i problemi. Questi aspetti, presenti nell’applicazione di ogni sistema di valutazione, sottolineano l’importanza di un continuo equilibrio dinamico tra la valutazione e i suoi effetti sia positivi che negativi. Fino a oggi l’ANVUR e tutto il sistema di valutazione hanno generalmente dimostrato di essere in grado di far tesoro dei risultati ottenuti in modo da rendere il sistema più efficace e utile al miglioramento degli atenei italiani. Gli aspetti su cui la stessa ANVUR sarà valutata nel prossimo futuro saranno la capacità di semplificazione (non di banale “sfoltimento”) e la sostenibilità del sistema di valutazione.