martedì 16 agosto 2016

A proposito del sistema "oggettivo" di valutazione dell’ANVUR

Nell'articolo "Le soglie esagerate dell'ANVUR" pubblicato il 7 agosto scorso su Il sole 24 ore, Fiorenzo Conti e Marco Linari muovono critiche pienamente condivisibili al metodo valutativo dei ricercatori ideato dall'ANVUR. Vorrei solo aggiungere qualche altra considerazione per approfondire le varie storture del suddetto metodo.
In primo luogo, è bene citare alcuni passi del documento di esordio su criteri e parametri per la valutazione dei candidati e dei commissari delle ASN, diffuso dall'ANVUR il 22 giugno del 2011.
1) L'ANVUR ha tra i suoi compiti quello di definire criteri e metodologie per la valutazione, in base a parametri oggettivi e certificabili; 2) La scelta dei criteri fondamentali deve soddisfare al principio del miglioramento progressivo della qualità scientifica dei docenti abilitati, misurata mediante indicatori di produttività scientifica diversi per i diversi settori; 3) La combinazione dei tre parametri assicura che i candidati al concorso per l’abilitazione siano allo stesso tempo tra gli studiosi più attivi in termini di produzione scientifica, tra coloro che hanno prodotto un impatto significativo nel loro settore, e, infine, che abbiano una ragionevole continuità nella produzione scientifica recente; 4) I criteri enunciati intendono realizzare, con modalità endogene al sistema nazionale di ricerca, una spinta verso l’alto della qualità scientifica.
Non c'è che dire, importanti obiettivi, che purtroppo la realtà dei fatti ha smentito, perchè la presunta obiettività della valutazione anvuriana si è rivelata in molti casi una vera bufala e non solo per le ASN, ma anche per la valutazione della qualità della ricerca di Università ed Enti di Ricerca (VQR).
Ma entriamo nel merito del metodo ANVUR. Nelle prime tornate dell'abilitazione nazionale (ASN), i parametri di sbarramento “oggettivi e certificabili” erano rappresentati dalle mediane di tre indicatori bibliometrici: 1) numero di articoli 2) numero di citazioni e 3) h-index. Un ricercatore ha un indice h, se h delle sue pubblicazioni hanno ottenuto almeno h citazioni ciascuna. Purtoppo, ai sette saggi dell’ANVUR e a Sergio Benedetto, principale artefice del sistema è sfuggito un piccolo dettaglio, ovvero che gli indicatori bibliometrici così concepiti, soprattutto nel settore biomedico, non sono in grado di misurare almeno due aspetti fondamentali per valutare qualità e autonomia della ricerca: 1) il contributo del singolo ricercatore agli articoli, nei settori biomedici espresso dall’ordine degli autori (i più rilevanti sono il primo e l'ultimo) e 2) il livello qualitativo delle riviste scientifiche dove sono pubblicati gli articoli in esame.
Nelle nuove ASN, i parametri selettivi restano quantitativi, con la differenza che le tre mediane sono sostituite da altrettanti "valori soglia" dei medesimi indicatori. I candidati che non raggiungeranno almeno due delle tre soglie quantitative non saranno ammessi all'abilitazione. Per quanto riguarda la Biologia, nella prima fascia della docenza, in molti settori i valori soglia tendono a essere mitigati rispetto alle mediane, mentre per la seconda fascia appaiono più impegnativi. Nel complesso, le perplessità rimangono: la qualità dei ricercatori e della ricerca non può essere valutata solo in base alla rigida bibliometria.
In primo luogo, il ruolo determinante dei parametri quantitativi può innescare e favorire i comportamenti opportunistici e anti-culturali messi in evidenza dai colleghi Conti e Linari. E questo non solo per quanto riguarda il "mercato" degli autori, ma anche per quello delle citazioni, che risultano decisive per l'ASN in quanto riferite a due valori soglia su tre. Un vero e proprio "doping" che senza dubbio altera l'esito della valutazione.
Comportamenti truffaldini a parte, la valutazione di un ricercatore non dovrebbe essere funzione delle citazioni ricevute dagli articoli pubblicati. E’ pericoloso usare le citazioni come una sorta di auditel, si tratta di un parametro delicato: possono essere anche negative e non sempre sono assegnate "democraticamente" (vedi articolo di Adam Eyre-Walker e Nina Stoletzki, Plos Biology 2013).
Inoltre, i parametri citazionali aumentano in funzione della numerosità dei ricercatori che lavorano nel settore, a prescindere dal valore scientifico della pubblicazione. Infatti, gli articoli scientifici che hanno come oggetto ricerche in campo umano sono circa 200-1000 volte più numerosi di quelli condotti in organismi modello come il moscerino della frutta Drosophila melanogster, il lievito o il nematode Caenorhabditis elegans
Tuttavia, negli ultimi 20 anni ben sei premi Nobel per la Fisiologia o Medicina (metà dei quali vanno alla ricerca biomedica di base e metà alla clinica) sono stati assegnati a ricercatori che hanno utilizzato questi tre sistemo modello.
Da quanto esposto, è evidente che i pretesi parametri “oggettivi” dell’ANVUR tendono a favorire gruppi grandi che lavorano in aree di ricerca più diffuse e pubblicano numerosi articoli con folte schiere di autori. Ne consegue che tali articoli ottengono molte più citazioni rispetto a quelli di chi svolge ricerca di base di qualità in settori di nicchia.
Come se non bastasse, un sistema così malamente congegnato spinge a pubblicare molto e molto in fretta, favorendo settori d'indagine di moda che fruttano più citazioni di altri, spesso a discapito di qualità, autonomia, approfondimento, curiosità e originalità. Un bel messaggio "culturale", soprattutto per le giovani leve.
Esiste un altro problema poco discusso: l'entità della produzione scientifica di un ricercatore, sia in termini di pubblicazioni che di citazioni, può variare fisiologicamente nel tempo e non è programmabile a tavolino, ma soggetta a vari fattori critici: reperibilità di fondi, disponibilità di risorse umane, problemi tecnici e logistici imprevisti insiti nel lavoro. Fattori che in Italia sono molto più critici che altrove, per ovvi motivi: scarsità di fondi per la ricerca pubblica, fuga dei ricercatori all'estero, condizioni ambientali spesso avverse. Un candidato, quindi, potrebbe possedere i requisiti per l'ASN a dicembre 2016, ma non a gennaio 2017, o viceversa. Quindi, in base ai parametri “oggettivi e certificabili” dell’ANVUR, il livello scientifico e la qualità di un ricercatore possono variare drasticamente da un mese all'altro: un concetto assurdo e ridicolo, per non dire peggio.
La scarsa affidabilità del metodo anvuriano è evidente anche all’estero e a riprova di ciò riporto i commenti di due autorevoli biologi, membri della prestigiosa Accademia Nazionale delle Scienze USA (NAS). Loro non potranno, certo, essere accusati di criticare il metodo ANVUR per motivi opportunistici.
1) Daniel L. Hartl, Professor in the Department of Immunology and Infectious Diseases, Harvard University: Anyone who claims to have developed a methodology for evaluation of research based on a journal's impact factor or a researcher's number of citations, supposedly "objective" and "certifiable" criteria has an invalid concept of how science really works and what impact one's research actually has on the field.
2) Mary-Lou Pardue, Professor Emeritus, Massachusetts Institute of Technology: It seems to me that this system is so artificial that it should appeal only to those who do not know enough about the science to make judgements based on real value.
Constatate le aberrazioni prodotte dal metodo ANVUR e vista la cronica assenza di programmazione e risorse che grava sulla ricerca in Italia, prima di dare inizio ai cerimoniali della valutazione non sarebbe stato più saggio e proficuo pianificare un programma a lungo termine con lo stanziamento di finanziamenti adeguati (non le solite elemosine)? Almeno così l'ANVUR avrebbe evitato di farci fare le classiche "nozze con i fichi secchi"!
Che fare adesso? A mio parere, ridurre i valori soglia è un palliativo. Per aggiustare un po’ le cose, a breve termine si dovrebbero introdurre i seguenti cambiamenti:
1) Considerare il ruolo del candidato nella pubblicazione, 2) Normalizzare per il numero di autori delle pubblicazioni; 3) Considerare il livello qualitativo delle riviste scientifiche; 4) Utilizzare un solo indicatore citazionale; 5) Eliminare le autocitazioni.
Nel prossimo futuro, però, è auspicabile abbandonare la bibliometria tout court e con essa il sistema delle abilitazioni, per definire un metodo di valutazione e reclutamento basato su qualità, etica e responsabilità, dove l'elemento umano sia primario.
Patrizio Dimitri Professore di Genetica
Sapienza Università di Roma