domenica 14 settembre 2014

I mostri della VQR

I risultati della recente VQR 2004-2010, se da una parte hanno premiato strutture di ricerca di buono od ottimo livello, dall'altra hanno prodotto, come si temeva, diverse aberrazioni e risultati paradossali. Questi "mostri" della valutazione sono sotto gli occhi di tutti.
Se l'Università di Messina (con tutto il rispetto per i colleghi di quell'Ateneo) risulta migliore del Politecnico di Milano e la Normale di Pisa viene classificata come un'Università mediocre, significa che esistono dei seri problemi alla base del metodo valutativo ideato dall'ANVUR
http://www.roars.it/online/lo-strano-caso-della-normale-e-della-vqr/
E questi sono solo di due esempi clamorosi tra i tanti messi in evidenza finora. I sette saggi del consiglio direttivo dell'Anvur, che ci costa circa un milione e 200mila euro all'anno, dovrebbero fare una seria autocritica ed invece non mi risulta che si siano pronunciati o che stiano preparando dei correttivi.
Il fenomeno delle aberrazioni valutative però è molto serio, non può e non deve essere ignorato. Anomalie e casi paradossali sono stati segnalati altrove, anche nella Facoltà di Scienze della Sapienza di Roma. In particolare, il Dipartimento di Biologia e Biotecnologie "Charles Darwin" ha ottenuto sorprendentemente un piazzamento mediocre. E nel Dipartimento, anche settori di punta come la Genetica e la Biologia Molecolare hanno stranamente e inaspettatamente conseguito valutazioni non degne della loro fama. Qualcosa però non quadra, perché questi risultati sono in clamorosa contraddizione con quelli della precedente valutazione delle strutture di ricerca condotta dal CIVR per il periodo 2004-2008, ampiamente sovrapponibile a quello preso in considerazione dalla VQR. In quel caso, infatti, il Dipartimento di Genetica e Biologia Molecolare, confluito a luglio 2010 nel nuovo Dipartimento di Biologia e Biotecnologie, aveva ottenuto un ottimo piazzamento. Risultati simili a quelli del CIVR erano stati ottenuti anche da un metodo in silico ideato dal collega Gianni Cesareni.
http://www.fisv.org/2013-09-04-15-46-07/attivita/item/234-valutazione-della-ricerca-gianni-cesareni-risponde-al-nostro-invito-con-un-suo-contributo.html
Come spiegare questa apparente défaillance della Genetica e della Biologia Molecolare, considerando che parliamo di settori da sempre molto produttivi anche alla Sapienza? Si tratta di settori "Jekill e Hyde", che da buoni si trasformano in cattivi?
Che dire? I punteggi negativi dovuti alla presenza di ricercatori inattivi non dovrebbero aver contato molto, infatti senza considerarli la situazione non varia gran che. C'è stata sicuramente una percentuale di “errori” penalizzanti, ovvero inserimento di pubblicazioni non pertinenti, oppure esclusione di pubblicazioni pertinenti e questo dovrà essere oggetto di verifica da parte del gruppo pubblicazioni della Sapienza.
A parte questi aspetti, il problema principale, il cosiddetto "baco" della VQR, come già evidenziato altrove, è insito nel metodo utilizzato
Infatti, il metodo valutativo del CIVR era basato sul peer-review, mentre quello della VQR utilizza sostanzialmente dei parametri bibliometrici automatici; il peer-review viene utilizzato solo marginalmente. I risultati finali vengono poi definiti in base a fattori di correzione scelti arbitrariamente, ovvero: avrebbero potuto essere anche diversi.
1) Le strutture di ricerca o i settori si devono valutare in base alla loro produzione complessiva del periodo in esame. La richiesta di presentare solo i tre "migliori" lavori è un errore, perché può penalizzare Dipartimenti che hanno maggior produttività. E poi "migliori" in base a cosa? Soprattutto in base alle citazioni ottenute.
2) Alle citazioni, infatti, soprattutto per gli articoli pubblicato nel periodo 2004-2008, è stato attributo dall'Anvur un peso esageratamente determinante, come nel caso delle ASN. Peccato che a livello internazionale, il numero di citazioni non è ritenuto una misura affidabile per valutare il merito e la qualità della ricerca e dei ricercatori. Questo è stato sottolineato più volte da diversi articoli pubblicati su Roars (vedi come esempio http://www.roars.it/online/uk-consultazione-pubblica-sugli-indicatori-quantitativi-per-la-valutazione-della-ricerca/) e anche su eccellenti riviste scientifiche internazionali come PLOS BIOLOGY (vedi immagine sottostante).
Il peso delle citazioni è evidente se si consultano i "Quadrati Magici" dell'ANVUR, come li chiama Giuseppe De Nicolao.
In conseguenza di ciò, è possibile che un articolo su PNAS o Science (classe A) venga retrocesso nelle categorie inferiori o addirittura non sia nemmeno considerato (come è successo al sottoscritto) perchè non ha ottenuto il numero minimo di citazioni previsto dall’Anvur. In compenso, sempre in base alle citazioni, un articolo su una rivista minore (B, C o D) può venire sovrastimato. In questo modo, si appiattiscono le differenze o addirittura si rovesciano i valori in campo. E' possibile che la qualità di un articolo scientifico debba essere così pesantemente condizionata da questa sorta di audience, alla stregua di una trasmissione televisiva? Attribuendo alle citazioni un peso così determinante, questa VQR tende in molti casi a premiare con risorse immeritate i comportamenti opportunistici di colleghi "furbetti" che da sempre abusano delle autocitazioni. Vogliamo accettare questo "doping" della valutazione?
3) A parte i casi di eccesso di autocitazioni, le citazioni in sé sono comunque un parametro molto delicato: spesso possono essere anche negative e non sempre vengono assegnate così "democraticamente", come qualcuno vorrebbe farci credere. Il fattore geografico è sicuramente determinante. In particolare, in certi settori che svolgono ricerca di base, come per l'appunto la Genetica e la Biologia Molecolare degli organismi modello, i ricercatori italiani, più di altri, competono a livello internazionale soprattutto con ricercatori di paesi abituati ad avere una certa supremazia in campo scientifico, come Stati Uniti, Inghilterra e Germania e che in virtù di essa tendono spesso a snobbarci, anche in termini di citazioni.
Ma c'è di più. Una siffatta VQR tende a privilegiare gruppi ampi e accademicamente forti che lavorano in campi di ricerca più gettonati ed in sistemi sperimentali più diffusi, pubblicando articoli a molti nomi e raggiungendo, anche per questo, un livello fisiologico di citazioni molto più alto di altri che non sono però necessariamente inferiori a livello qualitativo. Questo si può verificare facendo un piccolo e banale esperimento: consultando pub med, si osserva che, ad esempio, gli articoli scientifici in campo umano sono 100-200 volte più numerosi di quelli su noti organismi modello come Drosophila e S. cerevisiae (vedi tabella sottostante). Di conseguenza, la maggior numerosità fa crescere anche il parametro citazionale ed il valore degli altri indicatori bibliometrici, indipendentemente dalla valore scientifico della pubblicazione. E questo è vero per tutte le aree di ricerca.
Come è mai i saggi dell'ANVUR non hanno considerato questo aspetto così lapalissiano? Che si sia trattato di una scelta voluta? Se è così, allora in futuro l'ANVUR farebbe prima a pubblicare direttamente la lista delle discipline scientifiche da privilegiare a priori perché ritenute più importanti e comunicasse anche la definitiva cancellazione della ricerca di base nel nostro paese. Ricordate i defunti Prin?
In base alle considerazioni fatte, è evidente che in molti casi i risultati ottenuti dalla recente VQR sono poco attendibili e non è corretto usarli per distribuire le risorse, "premiando i buoni e punendo i cattivi".L'Anvur non sembra disposta a interrogarsi su quanto è accaduto e non intende introdurre adeguati correttivi. Ma la cosa più grave è che in molte università, Sapienza compresa, i risultati della VQR siano presi da molti colleghi (quelli a cui conviene) come "oro colato", senza che sia stata aperta una riflessione seria su quelle che sono le evidenti disfunzioni del sistema. In conseguenza di ciò, per la distribuzione dei punti organico, nei dipartimenti penalizzati si è scatenata una bagarre tremenda, dove chi ha una VQR "migliore" si ritiene automaticamente al top dell'accademia!
Queste considerazioni riflettono il pensiero di molti altri colleghi che vorrebbero svegliarsi al più presto da questa specie di incubo in cui l'ANVUR li ha costretti a vivere. A breve invieremo una lettera al Ministro di turno, all'Anvur, al CUN e anche alle riviste scientifiche per denunciare i "mostri" generati da questa VQR.
Speriamo ardentemente che i membri del GEV dell'Area 05 (Scienze Biologiche) riflettano su questa situazione per contribuire dall'interno a riformare il metodo della VQR, allo scopo di garantire un sistema di valutazione più giusto che sappia realmente individuare la qualità, senza occultarla.
QUALE ANTIDOTO CONTRO I MOSTRI DELLA VQR?
Cosa fare per rendere più equo il sistema di valutazione? La valutazione della ricerca e dei ricercatori non può essere basata esclusivamente sul sistema bibliometrico quantitativo dell'ANVUR. La valutazione deve essere condotta usando modalità simili a quelle utilizzate in precedenza dal CIVR. Le pubblicazioni e i prodotti della ricerca devono essere valutati dai pari e non da un sistema automatico fatto di numeri, dividendi e fattori di correzione scelti ad hoc. La bibliometria deve essere usata con parsimonia, eventualmente come strumento accessorio. Se questo non sarà possibile, per la prossima VQR auspichiamo almeno i seguenti correttivi:
1) Eliminare le autocitazioni
2) Ridefinire le categorie delle pubblicazioni e i loro livelli qualitativi
3) Ridurre o eliminare l'effetto delle citazioni sul valore di una pubblicazione
4) Ridurre il peso degli inattivi sulla valutazione finale e non considerare i cosiddetti "errori" che nulla hanno a che fare con la qualità scientifica di una struttura di ricerca.
5) Rapportare ogni settore di un'area scientifica alla media nazionale dell'area stessa e non a quella del singolo settore. In altre parole, ad esempio nell'area 05 (Scienze Biologiche), ogni settore (Genetica, Microbiologia,Biologia Molecolare, Biologia Cellulare, Botanica, Zoologia, ecc) dovrebbe rapportare la propria VQR con quella della media nazionale dell'area di appartenenza.
In questo modo, molti mostri valutativi a cui abbiamo fatto riferimento verrebbero debellati o almeno addomesticati.
Last but not least: appurato che il sistema VQR è disfunzionale e produce errori di valutazione anche clamorosi, chi ripagherà i settori e i ricercatori penalizzati che si sono visti ingiustamente privare di risorse essenziali?

sabato 28 giugno 2014

YETI: una piccola proteina dalle grandi responsabilità

Segnalo un articolo del mio gruppo pubblicato questo mese su Journal of Cell Science, a cui la rivista ha dedicato la copertina.
http://www.lescienze.it/lanci/2014/06/25/news/la_sapienza_universit_di_roma_yeti_una_piccola_proteina_dalle_grandi_responsabilit-2194194/
http://jcs.biologists.org/content/127/11/2577.abstract?sid=9f940246‐80a4‐4d6f‐a570‐ 313f45bd6382

venerdì 23 maggio 2014

Ma quanto ci costa l'ANVUR?

Ecco gli anvuriani: Stefano Fantoni, Luisa Ribolzi, Andrea Bonaccorsi, Massimo Castagnaro, Andrea Graziosi, Fiorella Kostoris Padoa Schioppa e, dulcis in fundo, Sergio Benedetto, vero artefice e strenuo sostenitore a tutti i costi del sistema “medianico”. Con la partecipazione di Diego Novelli, ora Rettore di Tor Vergata.
Questi sono, chi più chi meno, i fautori dell'attuale sistema di valutazione basato sulle mediane degli indicatori bibliometrici. Un sistema che a guardare i risultati delle recenti abilitazioni scientifiche nazionali (ASN) e della valutazione della qualità della ricerca (VQR) ha suscitato non poche polemiche e si è rivelato uno strumento inadeguato per stimare la qualità della ricerca; un sistema che nessun paese evoluto si sognerebbe mai di utilizzare.
Ma gli anvuriani prestano la loro preziosa opera gratuitamente, oppure ricevono qualche gettone di presenza? Insomma, quanto ci costano i saggi dell'agenzia? Andiamo a leggere la tabella pubblicata l'anno scorso da Roars e prepariamoci al collasso:
Apprendiamo che i sette saggi, per aver messo in piedi il loro bel sistema automatico e quantitativo di valutazione, nel complesso percepiscono la bella somma di 1.281.000 euro!!! Senza contare tutti gli altri docenti coinvolti nella VQR che a loro volta saranno stati ben foraggiati anche se con compensi che non raggiungono le cifre dei 7 sommi anvuriani.
Mi chiedo, ma chi valuta gli anvuriani? Chi decide se hanno lavorato bene e si sono meritati i compensi ricevuti? Qualcuno sostiene che se venissero giudicati in base ai risultati delle ASN e VQR, dovrebbero essere licenziati in tronco!!!

venerdì 16 maggio 2014

La triste storia di AVA e del fattore Kr, ovvero: quand'è che l'ANVUR la smetterà di dare i numeri?

Per quelli che negli anni '60 guardavano Carosello (bei tempi...), la parola AVA evoca la famosa reclam di Calimero, il pulcino piccolo e nero: AVA come lava! Mentre agli appassionati di cinema americano hollywoodiano viene subito in mente la bella Ava Gardner.
Attenzione, niente di tutto ciò, l'AVA in voga di questi tempi è qualcosa di molto più serio: è nientepopodimeno che l'acronimo di Autovalutazione, Valutazione periodica, Accreditamento. Sul sito dell'Agenzia Nazionale di Valutazione di Università e Ricerca (ANVUR) si legge che AVA è "un sistema di accreditamento iniziale e periodico dei corsi di studio e delle sedi universitarie, della valutazione periodica della qualità, dell’efficienza e dei risultati conseguiti dagli atenei e il potenziamento del sistema di autovalutazione della qualità e dell’efficacia delle attività didattiche e di ricerca delle università. L’ANVUR ha il compito di fissare metodologie, criteri, parametri e indicatori per l’accreditamento e per la valutazione periodica". Perbacco: quanti e quali contenuti si possono nascondere dietro un semplice acronimo!
A proposito di AVA, in una comunicazione apparsa il 12 maggio scorso nel sito della ormai mitica agenzia di valutazione viene comunicato quanto segue (http://www.anvur.org/index.php?option=com_content&view=category&layout=blog&id=47&Itemid=362&lang=it):
Pubblichiamo oggi nella sezione AVA/documenti la tabella con i valori del fattore correttivo Kr per ciascun ateneo. Come descritto nel DM 1059/2013 Allegato B, il fattore Kr corregge in senso moltiplicativo l’indicatore relativo alla quantità massima di didattica assistita (DID). Ai fini del calcolo le università sono state divise in grandi, medie e piccole secondo il numero di prodotti attesi. All’interno di ciascun gruppo sono stati calcolati i quartili della distribuzione dell’indice di miglioramento, calcolato in base alla differenza percentuale tra l’indicatore finale VQR ed il peso dell’Università sul proprio gruppo in termini di prodotti attesi. Alle università appartenenti al primo quartile della distribuzione, per ciascun gruppo, viene attribuito il valore massimo del fattore correttivo Kr (Kr = 1,2), per quelle nel secondo quartile il valore Kr = 1,1 , mentre per le altre università Kr=1. Quindi il Fattore Kr non riduce mai il valore del DID.
L'ANVUR ci ricorda così che il fattore Kr serve per correggere l'indicatore DID della didattica assitita che comprende tutte le forme di didattica diverse dallo studio individuale erogabile. Il DID di un ateneo, per chi non lo sapesse, è definito dalla seguente formula: DID = (120 x Nprof + 90 x Npdf +60 x Nric) x (1 +0.30) (http://www.roars.it/online/il-d-m-a-v-a-e-laccreditamento-iniziale-delle-sedi-universitarie/).
E' triste e a dir poco preoccupante che un'attività importante e delicata come la valutazione della ricerca e della didattica venga ridotta ad un mero esercizio solipsistico e automatico di numerologia, fatto di definizioni, indici, fattori, formule, algoritmi, correttivi, regolette, dividendi e moltiplicandi. Costringere i docenti a cimentarsi con una tale selva intricata di regole che hanno poco a che fare con il buon senso e con la cultura, spingerli ad un uso così controproducente e perverso della numerologia significa solo allontanarli dalle loro vere e principali attività: l'insegnamento e la ricerca.
Dietro la scelta del fattore Kr potrebbe, però, nascondersi una fine conoscenza linguistica e forse anche un messaggio criptato di pentimento: nella famiglia delle lingue indoeuropee, la radice kr rimanda al verbo "fare" e, secondo alcuni, anche al verbo "piangere" (http://it.wikipedia.org/wiki/Radici_del_protoindoeuropeo). Non a caso, un tale sistema di valutazione non può che fare piangere!
Che i saggi dell'ANVUR, tra ASN, VQR e AVA, si siano fatti prendere la mano dal sistema di cui sono artefici e ormai dediti all'abuso della numerologia tout court, siano costretti a dare i numeri a vita? Per il loro bene e per evitare il rischio di overdose, auspichiamo che qualcuno al Ministero li aiuti a smettere. Ci sarà pure da qualche parte, una comunità per il recupero e la riabilitazione dei numero-dipendenti.
Agli ostinati seguaci dell'ANVUR, a chi propone la numerologia a tutti i costi e ne sostiene oggettività e democraticità, consiglio di riflettere sulle numerose anomalie prodotte dai risultati delle recenti ASN e VQR e suggerisco di leggere l'approfondito intervento di Fabio Siringo, pubblicato di recente su Roars (http://www.roars.it/online/errare-humanum-est-perseverare-autem-diabolicum-a-proposito-di-asn/).

lunedì 12 maggio 2014

A proposito di ASN

Una bellissima e approfondita analisi di Giorgio Siringo sulle follie valutative e sulle aberrazioni scientifiche prodotte dal sistema delle mediane ANVUR, pubblicato su Roars. http://www.roars.it/online/errare-humanum-est-perseverare-autem-diabolicum-a-proposito-di-asn/

Come valutare seriamente la ricerca ai tempi della bibliometria selvaggia dell'ANVUR?

Come era già stato paventato da molti, compreso il sottoscritto, gli esiti delle recenti abilitazioni nazionali (ASN) e della valutazione della qualità della ricerca (VQR), hanno prodotto numerose aberrazioni valutative e suscitato una bufera di proteste e ricorsi.
Di conseguenza, appare ormai evidente
anche ai più sordi e ciechi sostenitori della bibliometria toutcourt che il sistema dell'ANVUR basato sulle mediane degli indici bibliometrici è più che inadeguato. Tali indici possono essere usati come parametri “approssimativi" dell'impatto della produzione scientifica di un ricercatore, ma non come elementi oggettivi, esatti ed affidabili per definire la qualità, originalità e l'autonomia della ricerca. Tra questi, l'h index ed il numero di citazioni, poi, sono troppo soggetti a fluttuazioni significative che, anche escludendo le autocitazioni, in generale risultano poco correlati alla qualità.
Meglio tardi che mai, direte voi, ma se i saggi dell'Agenzia avessero dato credito ai più esperti colleghi anglosassoni, avrebbero potuto evitare un disastro annunciato.
Che fare adesso? Da dove ricominciare? Questa esperienza deve essere di monito per il futuro. Per il bene di università e ricerca ora è necessario seppellire definitivamente la perversa bibliometria dell'ANVUR e definire un sistema di valutazione basato su qualità, etica e responsabilità.

lunedì 24 marzo 2014

Giovanni Valentini sugli esiti delle ASN: ovvero, quando i giornalisti entrano nel merito di argomenti che conoscono poco.

"Università, beffa per gli aspiranti prof, troppo specializzati, vi bocciamo" è il titolo di un articolo apparso qualche settimana fa su "La Repubblica", dove Giovanni Valentini dà voce alla pioggia di ricorsi presentati dai partecipanti ai recenti concorsi per l'abilitazioni scientifiche nazionali (ASN) a professore universitario associato e ordinario. Valentini scrive che la riforma Gelmini "aveva disposto una nuova procedura di selezione, introducendo la meritocrazia come principale criterio di valutazione". Una meritocrazia, continua Valentini, basata su parametri bibliometrici oggettivi, riferiti all numero di pubblicazioni e citazioni dei candidati. Una meritocrazia che sarebbe stata sovvertita arbitrariamente e in modo clientelare dalle commissioni.
In realtà, il caso delle abilitazioni scientifiche nazionali (ASN) è molto più complesso di quanto descritto da Valentini, che non sembra per niente al corrente delle innumerevoli critiche e polemiche piovute sul nuovo meccanismo valutativo partorito dalla agenzia nazionale di valutazione di università e ricerca (ANVUR), molto prima che le ASN avessero luogo.
Come abbiamo sempre detto, è chiaro che la valutazione dell’attività scientifica di ricercatori e docenti è un requisito irrinunciabile, ma l'aspirazione ad una presunta oggettività è, senza scomodare filosofi o psicologi, sinceramente una vera utopia. Quello che è sicuro è che molto rischioso affidarsi a rigidi e automatici indicatori (tra l'altro estemporanei perchè variabili nel tempo) che sono stati ampiamente sconsigliati a livello internazionale, in quanto inadatti a valutare autonomia scientifica, qualità e originalità. Non a caso, Inghilterra e Australia dopo un iniziale tentativo di usare la bibliometria, nel 2011 hanno subito fatto dietro front, cosa che Anvur ha fatto finta di non vedere.
Il superamento degli indicatori bibliometrici, così come sono stati concepiti, non riflette necessariamente livelli assoluti di qualità, nè di autonomia scientifica o di originalità di ricerca. Gli indicatori, infatti, non sono affatto meritocratici, non misurano il contributo dei singoli nelle pubblicazioni e non tengono nemmeno conto del livello qualitativo delle riviste scientifiche dove appaiono le pubblicazioni. E' come se uno scrittore venisse stimato solo in base alla quantità di libri pubblicati (anche da case editrici fantasma) e non al contenuto e alla profondità delle opere.
Inoltre, tra gli indicatori, un peso determinante è stato attribuito ai parametri che misurano il numero di citazioni ottenute da una pubblicazione, una vera e propria "audience", un indice di gradimento che misurerebbe la qualità dei ricercatori e della ricerca. In realtà, si tratta di un uso improprio delle citazioni, sia in termini scientifici che culturali, in quanto un articolo, anche di qualità, può non avere un impatto immediato sul pubblico scientifico che si riflette in un numero elevato di citazioni: la conoscenza non deve essere posta alla stregua di una trasmissione televisiva il cui effetto sugli spettatori è invece di solito immediato.
In base a quanto esposto, la bibliometria dell'Anvur è un esperimento mal riuscito che applicato alle ASN premia la quantità e tende a favorire proprio i carrozzoni accademici spesso trainati dagli stessi baroni che avrebbe dovuto debellare! Un sistema le cui citate anomalie in molti casi tendono a prrodurre una vera e propria "demeritocrazia". Per mettere una toppa alle prevedibili criticità del sistema, il Ministero l'anno scorso emanò un comunicato in cui si sottolineava che superamento degli indicatori Anvur non garantiva di fatto il diritto automatico all'abilitazione e che le commissioni avrebbero potuto abilitare anche chi fosse stato privo dei requisiti bibliometrici, qualora ritenuto di alto profilo scientifico. Se da una parte la decisione appariva più che giusta, per i motivi sopra citati (gli indicatori non valutano l'autonomia di un ricercatore e l'originalità e qualità della sua ricerca), dall'altra, nel ritorno ad un sistema aperto, in assenza di opportuni correttivi, il rischio che baronie e clientele agissero indisturbate era alto.
Solo gli ingenui, quindi, potevano credere che i risultati delle ASN non avrebbero prodotto valanghe di ricorsi, giustificati o pretestuosi che siano. Il nuovo sistema ha aperto le porte a valanghe di candidati, come non era mai accaduto in passato e li ha in qualche modo illusi, perchè chiunque avesse i fatidici parametri bibliometrici ha di conseguenza creduto che sarebbe stato automaticamente abilitato, anche se il suo contributo nelle pubblicazioni era marginale: ecco la grande perversione generata dall'applicazione di un tale sistema. Tanto per fare esempio: un laureato in matematica da 5 anni che figura come uno tra i tanti autori di diversi articoli nel campo della Genetica, avendo partecipato all'analisi statistica dei dati, non sarà giustamente abilitato, perchè malgrado possieda i numeri, è in realtà sprovvisto delle competenze specifiche del settore e non avrà i requisiti culturali e scientifici per insegnare o condurre ricerche nel campo. Però, grazie alle anomalie del sistema Anvur, si riterrà autorizzato a fare ricorso.
Per i motivi esposti, quindi, è chiaro che, al contrario di quanto scritto da Valentini, la bibliometria non garantisce affatto quella valutazione oggettiva e meritocratica che sarebbe stata sovvertita dalle commissioni. Il problema non è tanto il meccanismo dei concorsi, anche se quello della ASN è forse il peggiore finora ideato, ma la gestione degli stessi che da sempre, fatte salve le eccezioni, è affidata alle solite reti di potere accademico. Stavolta l'unica differenza rispetto al passato è stata la smisurata affluenza dei partecipanti che ha creato ulteriori criticità e conseguenze. Dove si troveranno le risorse per chiamare migliaia di abilitati? Non si rischierà così il collasso?
Ora è urgente un cambio di strategia. La bibliometria può essere solo un parametro indicativo, ma non prioritario e il sistema di valutazione per il reclutamento e la progressione delle carriere deve essere basato su qualità, etica e responsabilità. Ma questo in Italia si può realizzare solo appaltando i concorsi a commissioni nazionali composte in maggioranza da esperti stranieri, svincolati dai clan nostrani.

martedì 25 febbraio 2014

La numerologia dell'ANVUR genera mostri.

Parafrasando il titolo di una famosa acquaforte di Francisco Goya "Il sonno (sogno) della ragione produce mostri", possiamo dire che la numerologia dell'agenzia di valutazione di università e ricerca (ANVUR) genera mostri. Una considerazione che poteva essere ritenuta frutto di previsioni pessimiste e sciagurate, ma che oggi è sempre più che evidente, perchè l'uso dei rigidi parametri bibliometrici ideati dall'ANVUR è messo in discussione da più parti. Infatti, è ormai più che evidente che l'introduzione dei rigidi parametri bibliometrici sta generando delle valutazioni alquanto discutibili, per non dire aberranti.
In un incontro dibattito sui risultati di VQR e ASN organzizzato lo scorso 29 gennaio alla Sapienza dal CNRU, Giuseppe De Nicolao, professore ordinario del Dipartimento di Ingegneria Industriale e dell'Informazione dell'Università di Pavia tra i fondatori del blog ROARS, ha presentato una dettaglia analisi che mostra le ricadute negative delle recenti valutazioni. All'incontro era presente anche l'Anvur, la struttura governativa nell'occasione rappresentata da Stefano Fantoni, fisico, il Presidente e da Sergio Benedetto, ingegnere, principale artefice della macchina valutativa. I due anvuriani erano coadiuvati da Marco Mancini, capo dipartimento del Miur e da Giancarlo Ruocco, prorettore della Sapienza.
Ebbene, in circa 30’ De Nicolao di fronte ad una platea di circa 200 di universitari, da solo, novello Davide contro Golia, ha messo ko l'Anvur e ne ha smontato il fragile castello, presentando dati inoppugnabili che svelano i limiti e le gravi pecche dell'agenzia e le ripercussioni negative prodotte dalla numerologia anvuriana.
Ma andiamo per ordine, cos’è che non convince in questo sistema di valutazione “automatico” basato su indicatori e mediane? La valutazione dell’attività scientifica di ricercatori e docenti è un requisito irrinunciabile, ma, come De Nicolao ha ribadito, è molto rischioso affidarla eclusivamente a rigidi e automatici indicatori che a livello internazionale sono sconsigliati in quanto fallaci nel valutare autonomia scientifica, qualità e originalità. Questo è dimostrato dal fatto che Inghilterra e Australia dopo un inziale tentativo di usare la bibliometria nel 2011 l'hanno subito fatto dietro front, ma di questo l'Anvur non ha tenuto conto.
In primo luogo, è chiaro che nelle ASN il superamento delle mediane, così come sono state concepite, non riflette necessariamente livelli assoluti di qualità, nè di autonomia scientifica o di originalità di ricerca. Gli indicatori, infatti, non entrano nel merito del contributo dei singoli nelle pubblicazioni e non tengono nemmeno conto del livello qualitativo delle riviste scientifiche dove sono pubblicati. Con questi criteri aberranti, ad esempio, 20 articoli sugli Annali italiani di chirurgia, varrebbero più di 10 articoli su Nature.
Inoltre, un altro aspetto già previsto e ora verificato da De Nicolao consiste nelle forti oscillazioni che le mediane degli indicatori mostrano tra macro-aree e all'interno delle aree tra SSD diversi. In certi casi per superare le fatidiche mediane è sufficiente una produzione scientifica appena mediocre, mentre in altri viene richiesto un curriculum che neanche certi Nobel possiedono. Come dice De Nicolao: per l'Anvur essere il più bravo in un SSD “scarso” (in termini di voti VQR) è più importante che essere il più bravo tra i bravi a livello internazionale. Ne emerge che SSD con mediane più basse saranno premiati e nel tempo potranno attrarre più risorse dalla VQR e candidati abilitati nelle ASN, a discapito dei settori più competitivi.
Per la VQR, poi, non si capisce perchè una struttura di ricerca debba essere valutata esaminando solo una parte limitata dei suoi prodotti della ricerca e non l'intera produzione; in questo modo si produce un appiattimento della differenze qualitative. Inoltre, anche per la VQR come per le ASN, ai parametri citazionali è stato attribuito un peso esageratamente determinante ai fini dell'esito valutativo. Nella VRQ, un articolo su una rivista eccellente come Nature (impact factor 35) presente in classe A totalizza 1 punto, ma puo essere declassata a 0.8 se non ha collezionato abbastanza citazioni, mentre una articolo pubblicato in categoria B (impact factor anche minore di 2) che totalizza 0.8 punti grazie alle citazioni può arrivare a 1. E' chiaro, quindi, che anche in questo caso le citazioni la fanno da padroni e non solo possono appiattire le differenze, ma invertire i valori di qualità. Tra l'altro, le classificazioni delle riviste scientifiche incategorie A, B, C e le differenze minime di punteggio tra le stesse sono alquanto discutibili.
Come è possibile che parametri citazionali quantitativi siano utilizzati come una vera e propria "audience", un indice di gradimento che in realtà è un parametro principalmente quantitativo? Si tratta di un uso improprio, sia in termini scientifci che culturali, in quanto le ricerche presentate in un articolo, anche di qualità, possono non avere un impatto immediato sul pubblico scientifico che si riflette in un numero elevato di citazioni: la scienza e la cultura non possono essere messe allo stesso livello di una trasmissione televisiva il cui effetto sugli spettatori è invece di solito immediato.
In base a quanto esposto, è chiaro che le anomalie del sistema Anvur possono facilmente produrre valutazioni falsate e in molti casi addirutura una vera e propria "demeritocrazia".
Malgrado ciò, usando una metafora biologica, il virus della bibliometria anvuriana si sta rapidamente diffondendo al di fuori di ASN e VQR dando luogo ad ulteriori effetti aberranti, sia dal punto di vista scientifico che culturale.
Ad esempio, in fase di chiamate e reclutamento locale, le mediane già vengono utilizzate per attuare una sorta di "eugenetica di docenti e ricercatori", ovvero: solo chi supera le mediane vale. Oppure per la selezione dei progetti di ricerca e per la scelta dei coordinatori e dei membri delle giunte dei dottorati di ricerca: un modo "intelligente" di azzerare il numero dei dottorati in Italia.
Un altro effetto perverso scatenato da questa "infezione" è rappresentato dalla spasmodica corsa al superamento delle mediane. Una spinta perversa a pubblicare molto e subito, privilegiando settori di indagine di moda che fruttano più citazioni di altri, privilegiando la quantità alla qualità. Uno stimolo a escogitare escamotage e ad innescare comportamenti opportunistici ed eticamente dubbi allo scopo di alzare i propri parametri, secondo la peggiore tradizione italiana: è già in atto una sorta di "portaportese" della bibliometria. Molti si stanno già attrezzando per racimolare surrogati di pubblicazioni su riviste caserecce pubblicate da case editrici dell'ultima ora o per barattare authorship e scambiarsi citazioni. E tutto questo a discapito di autonomia, approfondimento, curiosità e originalità: valori che credevamo fossero i requisiti fondamentali di una buona attività di ricerca. Non c'è che dire, è proprio un bel segnale educativo per le giovani generazioni. Proprio l'esatto contrario ci quanto affermato da Sergio benedetto........
Nel corso dello stesso incontro il ricercatore Marco Merafina ed il Preside della Facoltà di Scienze Enzo Nesi, si sono associati alle critiche di De Nicolao, denunciando che una corretta valutazione dei docenti non può prescindere dall’attività didattica che difatto nelle ASN è stata degradata a mero hobby. Si tratta di un altro aspetto incredibilmente trascurato, anche perchè, per quanto possa sembrare strano, i docenti universitari sono retribuiti esclusivamente in base alla didattica e non per l'attività di ricerca.
Di fronte a tante e tali criticità e a ripercussioni così preoccupanti c'era di che recitare il mea culpa. Invece gli anvuriani, "muri di gomma" incuranti della figuraccia che stavano facendo di fronte ad una platea di circa 200 persone, non hanno commentato i dati inoppugnabili forniti da De Nicolao, trincerandosi dietro proclami autoreferenziali. Arrampicandosi sugli specchi per sviare il discorso, Benedetto rimporverava De Nicolao e Roars di essere aprioristicamente contrari all'Anvur, mentre Fantoni e gli altri ripetevano ossessivamente che VQR e ASN devono avanti: the Anvur show must go on. "Ricordiamoci che prima c'erano i concorsi, non si può e non si deve tornare indietro. "Si tratta di un esercizio, perfettibile che può sicuramente essere ritoccato" ha continuato Fantoni. Peccato che questo "esercizio", ormai internazionalemnte riconosciuto come uno dei più grossi flop di valutazione mai concepiti, noto anche come "L'esperimento dell'abominevole Dottor Anvur", abbia prodotto risultati aberranti e sia costato morti e feriti: un male necessario secondo l'Anvur.
Cosa farebbero dei medici coscienziosi se sperimentando un nuovo farmaco si accorgessero che la somministarzione è letale per buona parte dei pazienti? Rinuncerebbero alla sperimentazione, modificherebbero il farmaco, oppure ne saggerebero uno nuovo? Ebbene, Stefano Fantoni e Sergio Benedetto, alla stregua dei migliori scienziati pazzi dei film anni 40, giurano di andare avanti, poco importa se i loro esperimenti, come in Jurassik Park genereranno terribili mostri, sono dei fedeli servitori dello stato, si battono per il progresso della scienza e per il bene della nazione. E chissà forse anche per quello del portafoglio, visto che le loro cariche fruttano circa 200mila euro all'anno.
E' la realtà o un incubo da cui prima o poi ci sveglieremo? Ai posteri l'ardua sentenza.
L’università e la ricerca in Italia hanno bisogno di una cura, ma quella dell'Anvur rischia di uccidere paziente. Adesso è urgente un cambio di strategia, deve essere ripensato il ruolo dell'Anvur, il valutazione per l’assegnazione dei finanziamenti, per il reclutamento e la progressione delle carriere, deve essere basato su qualità, etica e responsabilità e non su questa insana numerologia che tanti danni sta producendo. Speriamo che il neo-Ministro Stefania Giannini possa adoperarsi per una riforma sostanziale dell'Anvur, ridimensionandone il ruolo che rischia di stravolgere per sempre il mondo universario e della ricerca, privilegiando la quantità alla qualità.