sabato 30 marzo 2013

Il diabolico esperimento del dottor Anvur: la meritocrazia alla rovescia, ovvero meglio 20 articoli su "Journal of Pizza & Fichi" che 10 su "Nature"!

Le famigerate mediane dell'Anvur, l'agenzia nazionale per la valutazione di università e ricerca hanno suscitato perplessità e critiche nel mondo universitario e della ricerca. Vari interventi puntuali apparsi sul blog Roars (http://www.roars.it/online/anvur-mobbing-zombizzazioni-e-ingiustizie-purtroppo-si/) documentano in modo serio e approfondito la fallacità e la scarsa affidabilità degli indicatori bibliometrici introdotti dall'Anvur, per valutare la qualità di ricercatori e docenti che saranno reclutati dagli atenei italiani. I "difetti di fabbrica" di questo sistema sono molteplici ed evidenti agli addetti ai lavori, forse solo i sette saggi "samurai" del consiglio direttivo l'Anvur non se ne sono accorti.
Purtroppo, buona parte della comunità scientifica e accademica sembra aver accettato passivamente l’utilizzo degli indicatori, quasi si trattase di un male ineluttabile, come d'altra parte ha fatto per tutte le leggi e norme emanate sull'università da 10 anni a questa parte. Ma i rischi e gli effetti indesiderati, sia a breve che a lungo termine, che deriveranno da questo tipo di sistema di valutazione, da questo pasticcio casereccio, sono tanti e tali che come professore universitario e ricercatore sento la necessità di non restare in silenzio e di esprimere le mia grande preoccupazione.
Cos'è che non convince in questo sistema di valutazione "automatico" basato su indicatori e mediane? E’ innegabile che una seria e trasparente valutazione dell'attività scientifica rappresenta un requisito fondamentale e irrinunciabile per il reclutamento di ricercatori e docenti, ma è quantomeno rischioso affidarla esclusivamente a rigidi indicatori numerici che a livello internazionale sono ritenuti non solo insufficienti, ma anche fuorvianti (http://www.roars.it/online/incerti-incompleti-e-modificabili-ecco-gli-indicatori-dei-candidati-allabilitazione/9.
Nei settori bibliometrici, ad esempio, oltre al numero di articoli pubblicati negli ultimi dieci anni, gli altri due indicatori stabiliti dall'Anvur sono l'H-index e il numero citazioni. Questi ultimi sono però ridondanti in quanto rappresentano le facce di una stessa medaglia, ovvero si tratta di fattori che stimano entrambi il valore di un articolo in funzione del numero di citazioni ottenute, parametro a cui viene attribuito, quindi, già in partenza un peso troppo determinante ai fini della valutazione.
Come se non bastasse, i valori delle mediane mostrano forti disparità tra macro-settori, anche tra quelli appartenenti alla stessa area (vedi ad esempio le Scienze Biologiche). In alcuni risultano esageratamente alti, forse gonfiati, tanto da sollevare seri dubbi sui criteri utilizzati per calcolarli (http://www.roars.it/online/zeru-tituli-come-anvur-ti-alza-le-mediane-e-te-fa-er-cucchiajo), non a caso si parla di "mediane fai-da-te". Di conseguenza, in certi casi basta avere una produzione scientifica normale o appena mediocre per superare le mediane, mentre in altri è indispensabile un curriculum da premio Nobel.
E' evidente, inoltre, che il superamento delle mediane non riflette necessariamente livelli assoluti di qualità, nè di autonomia scientifica o di originalità di ricerca. Infatti, nell'ambito degli articoli in esame, gli indicatori non permettono affatto di entrare nel merito del contributo apportato dai singoli autori. Soprattutto nelle aree di biologia e medicina, due delle aree CUN più ampie, l’ordine degli autori di un articolo è invece fondamentale perché rispecchia il contributo al lavoro, i principali di solito sono il primo e ultimo. Ma non finisce qui, gli indicatori Anvur non tengono nemmeno in considerazione il livello qualitativo delle riviste scientifiche dove vengono pubblicati gli articoli prodotti dai candidati. Almeno nell'area biomedica, l’impact factor sarebbe stato un possibile correttivo, un indicatore utile per stimare il livello delle riviste scientifiche, ma l’Anvur ha stranamente deciso di non considerarlo.
Stando così le cose, nel complesso il sistema dell'Anvur contiene tante e tali anomalie che, se non verranno introdotti dei sani e seri rimedi, rischierà di alterare le valutazioni. Il primo effetto ovvio e indesiderato sarà premiare la quantità a scapito della qualità: ad esempio, potrà accadere che chi ha pubblicato 20 articoli su Journal of Pizza & Fichi, rivista casereccia con impact factor di 0.005, supererà facilmente la mediana, a scapito di chi ha pubblicato 10 articoli su Nature (impact factor 36) che troverà un semaforo rosso a sbarrargli la strada. Ma un'altra aberrazione facilmente prevedibile, un'altra orrida creatura sarà generata dagli esperimenti del "dottor Anvur", per utilizzare il calzante soprannome coniato da Roars: i settori con mediane più basse, quindi di livello minore, saranno premiati e nel tempo potranno attrarre più candidati abilitati e cresceranno (ma solo dal punto di vista quantitativo) alla faccia dei settori più competitivi con mediane più alte, più difficili da essere superate. Un'eccezione a questa tendenza potrebbe essere rappresentata da quei campi di indagine che nei vari macro-settori sono già fisiologicamente più diffusi e dominanti. Ad esempio, sempre per rimanere nell'area biologica, l'utilizzo del trittico valutativo dell' Anvur avvantaggerà non poco chi svolge studi applicativi in cellule umane che, in termini di articoli (con eserciti di autori), citazioni e visibilità, di solito raccolgono di più rispetto ad altri studi, anche eccellenti, condotti però su organismi modello.
Infine, non bisogna dimenticare altri possibili effetti "mostruosi", altre ricadute negative che l'utilizzo di indicatori e mediane potrà avere soprattutto sui più giovani.
E' chiaro che d'ora in poi, nel "villaggio dei dannati della ricerca italiana" molti dottorandi, borsisti, assegnisti di ricerca e neo-ricercatori saranno impegnati in un nuovo sport estremo: la spasmodica e ansiosa rincorsa al superamento delle mediane, privilegiando sempre di più la quantità alla qualità. Il rischio è che molti giovani tendano in primo luogo a pubblicare molto e in fretta, scegliendo settori di indagine che normalmente fruttano più citazioni di altri e puntando ad appartenere a gruppi accademici potenti e protettivi. E tutto questo a discapito di autonomia, approfondimento, curiosità e originalità: valori che credevamo fossero i requisiti fondamentali di una buona attività di ricerca.
E' lecito chiedersi come mai questi aspetti siano sfuggiti ai sette saggi dell’Anvur. Abbiamo solo a che fare con delle loro clamorose sviste, oppure è possibile che si tratti del frutto di scelte meditate i cui effetti nocivi non erano stati considerati al momento di programmare l'esperimento? Non sarebbe stato meglio per tutti, se i setti saggi si fossero prima confrontati con la comunità di ricercatori e docenti e con le società scientifiche? Non sarebbe stato più saggio per i saggi, perdonate il calembour, che la scelta dei criteri valutativi venisse, il più possibile, discussa e condivisa? Invece l'Anvur sembra comportarsi come un essere alieno sbarcato sulla terra per soggiogare il genere umano
In ogni caso, si tratta di grosse falle nella "nave dell'Anvur" che si proponeva di stimare oggettivamente la produzione scientifica di ricercatori e docenti, falle che rischiano di farla affondare appena salpata. Infatti, con l'utilizzo degli attuali indicatori bibliometrici e delle relative mediane, l’esperimento del "dottor Anvur" rischia seriamente di dar vita a delle mostruosità, a delle valutazioni falsate che in molte aree tenderanno soprattutto a produrre una meritocrazia alla rovescia: un risultato che ribalta gli obiettivi originali dell’agenzia di valutazione, un vero incubo da cui ci si vorrebbe svegliare al più presto!
Se questi sono i presupposti, allora sarebbe più giusto che l'Anvur venisse ribattezzata "Ansvur", ovvero "Agenzia nazionale della svalutazione di università e ricerca".
Ma gli effetti deleteri dell'utilizzo delle mediane non finiscono qui, esse avranno un impatto negativo, una sorta di letale effetto boomerang, anche sulla chiamata di chi è già idoneo, avendo superato i concorsi dell'ultima mandata del 2010. Come è possibile, direte voi? In Italia tutto è possibile: infatti, lo scorso 26 marzo il Senato accademico della Sapienza di Roma ha deliberato l'attivazione di una procedura per la chiamata degli idonei a prima fascia da cui sarà escluso chi non supera le tre famigerate mediane.
In particolare, nell'avviso di censimento inoltrato dall'Area risorse umane della Sapienza (vedi http://www.uniroma1.it/sites/default/files/circolari/Comunicazione0020902.pdf), si legge quanto segue:
Ammissione al censimento Sono ammessi a produrre la documentazione curriculare i docenti Sapienza, in possesso della idoneità, conseguita ai sensi della Legge 210/98, (si ricorda che la durata dell’idoneità è stabilita in 5 anni) ed in possesso di requisiti di qualità scientifica non inferiori a quelli individuati dall’ANVUR per l’abilitazione nazionale dei professori di I fascia, con la variazione che devono essere posseduti tutti e tre i parametri ANVUR alla data del 18.12.2012
Si tratta di una modalità a dir poco anomala, iniqua e discriminatoria nei confronti di molti idonei. Infatti, sul sito dell’Anvur si legge che il raggiungimento delle mediane non preclude in alcun modo il diritto a partecipare alla abilitazione nazionale. Inoltre, l'utilizzo rigido degli stessi indicatori è stato messo in discussione dallo stesso Ministero che in un comunicato ha invitato le commissioni a non considerarli indispensabili per l'abilitazione. Allora, per quale motivo il Senato accademico della Sapienza, con in testa il Rettore Frati, ha deciso di attuare per la prima volta un provvedimento così lesivo che di fatto tende a screditare dei seri professionisti? Come è possibile escludere a priori da una selezione per le chiamate chi è già stato decretato idoneo tramite regolare concorso, per giunta utilizzando in modo retroattivo dei parametri poco affidabili per valutare qualità, originalità e indipendenza dei candidati? Misteri della Sapienza! E che facciamo adesso con tutti gli altri idonei che dal 2010 a oggi sono stati già chiamati da diversi Atenei, Sapienza compresa, senza utilizzare questo criterio? Sottoponiamo anche loro ad un’ulteriore valutazione retroattiva? Tra l'altro, in questo modo il Senato accademico della Sapienza ha completamente esautorato e scavalcato anche i Dipartimenti che secondo la recente riforma avrebbero dovuto essere invece gli organi responsabili del reclutamento.
Sarebbe ora che il mondo scientifico e accademico si svegliasse organizzando una sana protesta per costringere i vampiri dell’Anvur ad abbandonare la loro "sanguinaria" bibliometria con l'inaffidabile e pericoloso trittico delle mediane fai-da-te, per utilizzare finalmente metodi di valutazione affidabili e internazionalmente riconosciuti.
Nei classici della narrativa gotica-horror, gli spaventosi mostri sfuggiti al controllo dello scienziato pazzo vengono di solito resi inoffensivi insieme al loro creatore e la storia si conclude con un lieto fine. Sarà così anche nel caso delle orride creature del dottor Anvur? Speriamo ardentemente di si, altrimenti la ricerca scientifica di base nel nostro paese sarà definitivamente azzerata.

1 commento:

Anonimo ha detto...


L'articolo mette benissimo in luce i difetti di questa assurda "meritocrazia di stato", più quantitativa che qualitativa, che purtroppo nella maggior parte dei casi funzionerà al contrario! È mai possibile che in Italia quando si mette mano a riforme sull'universitá si combinino sempre disastri?