martedì 25 febbraio 2014

La numerologia dell'ANVUR genera mostri.

Parafrasando il titolo di una famosa acquaforte di Francisco Goya "Il sonno (sogno) della ragione produce mostri", possiamo dire che la numerologia dell'agenzia di valutazione di università e ricerca (ANVUR) genera mostri. Una considerazione che poteva essere ritenuta frutto di previsioni pessimiste e sciagurate, ma che oggi è sempre più che evidente, perchè l'uso dei rigidi parametri bibliometrici ideati dall'ANVUR è messo in discussione da più parti. Infatti, è ormai più che evidente che l'introduzione dei rigidi parametri bibliometrici sta generando delle valutazioni alquanto discutibili, per non dire aberranti.
In un incontro dibattito sui risultati di VQR e ASN organzizzato lo scorso 29 gennaio alla Sapienza dal CNRU, Giuseppe De Nicolao, professore ordinario del Dipartimento di Ingegneria Industriale e dell'Informazione dell'Università di Pavia tra i fondatori del blog ROARS, ha presentato una dettaglia analisi che mostra le ricadute negative delle recenti valutazioni. All'incontro era presente anche l'Anvur, la struttura governativa nell'occasione rappresentata da Stefano Fantoni, fisico, il Presidente e da Sergio Benedetto, ingegnere, principale artefice della macchina valutativa. I due anvuriani erano coadiuvati da Marco Mancini, capo dipartimento del Miur e da Giancarlo Ruocco, prorettore della Sapienza.
Ebbene, in circa 30’ De Nicolao di fronte ad una platea di circa 200 di universitari, da solo, novello Davide contro Golia, ha messo ko l'Anvur e ne ha smontato il fragile castello, presentando dati inoppugnabili che svelano i limiti e le gravi pecche dell'agenzia e le ripercussioni negative prodotte dalla numerologia anvuriana.
Ma andiamo per ordine, cos’è che non convince in questo sistema di valutazione “automatico” basato su indicatori e mediane? La valutazione dell’attività scientifica di ricercatori e docenti è un requisito irrinunciabile, ma, come De Nicolao ha ribadito, è molto rischioso affidarla eclusivamente a rigidi e automatici indicatori che a livello internazionale sono sconsigliati in quanto fallaci nel valutare autonomia scientifica, qualità e originalità. Questo è dimostrato dal fatto che Inghilterra e Australia dopo un inziale tentativo di usare la bibliometria nel 2011 l'hanno subito fatto dietro front, ma di questo l'Anvur non ha tenuto conto.
In primo luogo, è chiaro che nelle ASN il superamento delle mediane, così come sono state concepite, non riflette necessariamente livelli assoluti di qualità, nè di autonomia scientifica o di originalità di ricerca. Gli indicatori, infatti, non entrano nel merito del contributo dei singoli nelle pubblicazioni e non tengono nemmeno conto del livello qualitativo delle riviste scientifiche dove sono pubblicati. Con questi criteri aberranti, ad esempio, 20 articoli sugli Annali italiani di chirurgia, varrebbero più di 10 articoli su Nature.
Inoltre, un altro aspetto già previsto e ora verificato da De Nicolao consiste nelle forti oscillazioni che le mediane degli indicatori mostrano tra macro-aree e all'interno delle aree tra SSD diversi. In certi casi per superare le fatidiche mediane è sufficiente una produzione scientifica appena mediocre, mentre in altri viene richiesto un curriculum che neanche certi Nobel possiedono. Come dice De Nicolao: per l'Anvur essere il più bravo in un SSD “scarso” (in termini di voti VQR) è più importante che essere il più bravo tra i bravi a livello internazionale. Ne emerge che SSD con mediane più basse saranno premiati e nel tempo potranno attrarre più risorse dalla VQR e candidati abilitati nelle ASN, a discapito dei settori più competitivi.
Per la VQR, poi, non si capisce perchè una struttura di ricerca debba essere valutata esaminando solo una parte limitata dei suoi prodotti della ricerca e non l'intera produzione; in questo modo si produce un appiattimento della differenze qualitative. Inoltre, anche per la VQR come per le ASN, ai parametri citazionali è stato attribuito un peso esageratamente determinante ai fini dell'esito valutativo. Nella VRQ, un articolo su una rivista eccellente come Nature (impact factor 35) presente in classe A totalizza 1 punto, ma puo essere declassata a 0.8 se non ha collezionato abbastanza citazioni, mentre una articolo pubblicato in categoria B (impact factor anche minore di 2) che totalizza 0.8 punti grazie alle citazioni può arrivare a 1. E' chiaro, quindi, che anche in questo caso le citazioni la fanno da padroni e non solo possono appiattire le differenze, ma invertire i valori di qualità. Tra l'altro, le classificazioni delle riviste scientifiche incategorie A, B, C e le differenze minime di punteggio tra le stesse sono alquanto discutibili.
Come è possibile che parametri citazionali quantitativi siano utilizzati come una vera e propria "audience", un indice di gradimento che in realtà è un parametro principalmente quantitativo? Si tratta di un uso improprio, sia in termini scientifci che culturali, in quanto le ricerche presentate in un articolo, anche di qualità, possono non avere un impatto immediato sul pubblico scientifico che si riflette in un numero elevato di citazioni: la scienza e la cultura non possono essere messe allo stesso livello di una trasmissione televisiva il cui effetto sugli spettatori è invece di solito immediato.
In base a quanto esposto, è chiaro che le anomalie del sistema Anvur possono facilmente produrre valutazioni falsate e in molti casi addirutura una vera e propria "demeritocrazia".
Malgrado ciò, usando una metafora biologica, il virus della bibliometria anvuriana si sta rapidamente diffondendo al di fuori di ASN e VQR dando luogo ad ulteriori effetti aberranti, sia dal punto di vista scientifico che culturale.
Ad esempio, in fase di chiamate e reclutamento locale, le mediane già vengono utilizzate per attuare una sorta di "eugenetica di docenti e ricercatori", ovvero: solo chi supera le mediane vale. Oppure per la selezione dei progetti di ricerca e per la scelta dei coordinatori e dei membri delle giunte dei dottorati di ricerca: un modo "intelligente" di azzerare il numero dei dottorati in Italia.
Un altro effetto perverso scatenato da questa "infezione" è rappresentato dalla spasmodica corsa al superamento delle mediane. Una spinta perversa a pubblicare molto e subito, privilegiando settori di indagine di moda che fruttano più citazioni di altri, privilegiando la quantità alla qualità. Uno stimolo a escogitare escamotage e ad innescare comportamenti opportunistici ed eticamente dubbi allo scopo di alzare i propri parametri, secondo la peggiore tradizione italiana: è già in atto una sorta di "portaportese" della bibliometria. Molti si stanno già attrezzando per racimolare surrogati di pubblicazioni su riviste caserecce pubblicate da case editrici dell'ultima ora o per barattare authorship e scambiarsi citazioni. E tutto questo a discapito di autonomia, approfondimento, curiosità e originalità: valori che credevamo fossero i requisiti fondamentali di una buona attività di ricerca. Non c'è che dire, è proprio un bel segnale educativo per le giovani generazioni. Proprio l'esatto contrario ci quanto affermato da Sergio benedetto........
Nel corso dello stesso incontro il ricercatore Marco Merafina ed il Preside della Facoltà di Scienze Enzo Nesi, si sono associati alle critiche di De Nicolao, denunciando che una corretta valutazione dei docenti non può prescindere dall’attività didattica che difatto nelle ASN è stata degradata a mero hobby. Si tratta di un altro aspetto incredibilmente trascurato, anche perchè, per quanto possa sembrare strano, i docenti universitari sono retribuiti esclusivamente in base alla didattica e non per l'attività di ricerca.
Di fronte a tante e tali criticità e a ripercussioni così preoccupanti c'era di che recitare il mea culpa. Invece gli anvuriani, "muri di gomma" incuranti della figuraccia che stavano facendo di fronte ad una platea di circa 200 persone, non hanno commentato i dati inoppugnabili forniti da De Nicolao, trincerandosi dietro proclami autoreferenziali. Arrampicandosi sugli specchi per sviare il discorso, Benedetto rimporverava De Nicolao e Roars di essere aprioristicamente contrari all'Anvur, mentre Fantoni e gli altri ripetevano ossessivamente che VQR e ASN devono avanti: the Anvur show must go on. "Ricordiamoci che prima c'erano i concorsi, non si può e non si deve tornare indietro. "Si tratta di un esercizio, perfettibile che può sicuramente essere ritoccato" ha continuato Fantoni. Peccato che questo "esercizio", ormai internazionalemnte riconosciuto come uno dei più grossi flop di valutazione mai concepiti, noto anche come "L'esperimento dell'abominevole Dottor Anvur", abbia prodotto risultati aberranti e sia costato morti e feriti: un male necessario secondo l'Anvur.
Cosa farebbero dei medici coscienziosi se sperimentando un nuovo farmaco si accorgessero che la somministarzione è letale per buona parte dei pazienti? Rinuncerebbero alla sperimentazione, modificherebbero il farmaco, oppure ne saggerebero uno nuovo? Ebbene, Stefano Fantoni e Sergio Benedetto, alla stregua dei migliori scienziati pazzi dei film anni 40, giurano di andare avanti, poco importa se i loro esperimenti, come in Jurassik Park genereranno terribili mostri, sono dei fedeli servitori dello stato, si battono per il progresso della scienza e per il bene della nazione. E chissà forse anche per quello del portafoglio, visto che le loro cariche fruttano circa 200mila euro all'anno.
E' la realtà o un incubo da cui prima o poi ci sveglieremo? Ai posteri l'ardua sentenza.
L’università e la ricerca in Italia hanno bisogno di una cura, ma quella dell'Anvur rischia di uccidere paziente. Adesso è urgente un cambio di strategia, deve essere ripensato il ruolo dell'Anvur, il valutazione per l’assegnazione dei finanziamenti, per il reclutamento e la progressione delle carriere, deve essere basato su qualità, etica e responsabilità e non su questa insana numerologia che tanti danni sta producendo. Speriamo che il neo-Ministro Stefania Giannini possa adoperarsi per una riforma sostanziale dell'Anvur, ridimensionandone il ruolo che rischia di stravolgere per sempre il mondo universario e della ricerca, privilegiando la quantità alla qualità.