mercoledì 15 ottobre 2014

Follie di una VQR all'italiana!

Ricevo e dal collega Giorgio Prantera dell'Università della Tuscia, e pubblico con piacere, alcune brevi ma incisive considerazioni su alcune delle tante disfunzioni del metodo utilizzato dall'ANVUR per la VQR 2004-2010.
Già sapevamo che in una stessa classe sono state inserite riviste scientifiche con valori qualitativi molto diversi tra loro. Ad esempio, in classe 1 per l'area biologica sono presenti: Science, Nature, PNAS e...Insect molecular biology....
Giorgio qui denuncia un'altra situazione veramente paradossale: uno stesso articolo pubblicato su una rivista che appartiene a diverse subject category, può attenere valutazioni diverse a seconda della subject category scelta! Può essere quindi contemporaneamente eccellente o mediocre!!! Follie di una VQR all'italiana, o meglio all'amatriciana!
Per ogni Subject Category (SC) si calcola la distribuzione degli impact factor di tutte le riviste che ricadono in quella SC.
La distribuzione di cui sopra viene divisa in 4 intervalli non uguali.
Classe 1, le riviste i cui IF cadono nel 20% superiore della distribuzione.
Classe 2, le riviste i cui IF cadono nell'intervallo 60-80% superiore della distribuzione.
Classe 3, le riviste i cui IF cadono nell'intervallo 50-60% superiore della distribuzione.
Classe 4, le riviste i cui IF cadono nell'intervallo 50-00% della distribuzione.
Lo stesso criterio si applica alle citazioni. Per ogni Subject Category (SC) si calcola la distribuzione delle citazioni di tutti gli articoli che ricadono in quella SC.
Classe 1, gli articoli le cui citazioni cadono nel 20% superiore della distribuzione.
Classe 2, gli articoli le cui citazioni cadono nell'intervallo 60-80% superiore della distribuzione.
Classe 3, gli articoli le cui citazioni cadono nell'intervallo 50-60% superiore della distribuzione.
Classe 4, gli articoli le cui citazioni cadono nell'intervallo 50-00% della distribuzione.
La combinazione fra la classe dell'impact factor e la classe delle citazioni in cui ricade ciascun articolo determina la valutazione della pubblicazione.
A parte ogni valutazione sulla macchinosità e aleatorietà di una simile valutazione, un paradosso emerge immediatamente.
Molte riviste vengono classificate da ISI Web of Science in due o più SC. Per cui, lo stesso articolo scientifico con il suo numero di citazioni, può essere valutato ottimo buono o sufficiente a seconda di quale SC si scelga per la rivista che lo ha pubblicato (scelta che compete all'autore).
E' immediatamente evidente che seguendo questi criteri la qualità di una pubblicazione scientifica non è intrinseca alla pubblicazione stessa, ma dipende dall'abilità di chi compila la scheda VQR.

Nessun commento: