BFI-registreringer uden kontrol

Det sejler i forskningsregistraturen. En rapport afslører, at universiteterne på tvivlsomt grundlag har indberettet en lang række publikationer som forskning

En del af universiteternes basismidler kan være fordelt på uretmæssig baggrund.

Det viser en rapport, som Center for Forskningsanalyse (CFA) har lavet for Uddannelses- og Forskningsministeriet.

Rapporten, som Forskerforum har fået aktindsigt i, da den ikke er offentligt tilgængelig, viser, at der kan være problemer med mange af de indberetninger til Den bibliometriske forskningsindikator (BFI), universiteterne har foretaget. En nærmere gennemgang viser nemlig, at langtfra alle de indberettede publikationer lever op til kriterierne for videnskabeligt arbejde. Dertil kommer andre problemer, for eksempel med artikler, der ikke er fagfællebedømte, og publikationer, der er dobbeltregistrerede.

Der er især problemer med monografierne – altså de indberettede bogudgivelserne. Ud af 178 bøger på danske forlag, som i 2015 blev registreret i BFI’en, fandt forskerne problemer i 79 – altså næsten halvdelen – mens 52 havde ”eventuelle problemer”, fordi de lå i gråzonen. Kun en fjerdedel af de registrerede monografier var uden problemer.

Problemerne med bøgerne skyldes primært, at de ikke opfylder kravet til videnskabelighed, men ”derimod er lærebøger, håndbøger eller populærlitteratur, som ikke forsøger at bidrage til at fremme og udvikle forskningsfeltet”, som det hedder i rapporten.

Skævfordeling af midler

Også hvad angår bidrag til antologier på danske forlag, hænger det med BFI-indberetningskvaliteten. Her fandt rapportens forfattere problemer ved 51 procent af de 1148 undersøgte indberetninger. Kun en tredjedel var helt problemfri.

Nogle forskere, institutter og universiteter puster sig altså mere op i forhold til forskningsindsatsen, end de har hjemmel til i BFI-reglerne. Og det giver ikke kun et skævt billede, det kan også give en skæv fordeling af bevillinger. En fjerdedel af de konkurrenceudsatte basismidler fordeles nemlig på baggrund af BFI-produktionen.

”Der kan både være en skævfordeling mellem institutionerne, hvis de har forskellige indberetningspraksis, men også mellem de enkelte områder og institutter. Hvis nogle fakulteter viderefører de BFI-baserede bevillinger helt ned på institutplan, tror jeg, man kan have en skævfordeling, der er endnu større end universiteterne imellem.”

Sådan siger professor Poul Erik Mouritzen, AU-Statskundskab, som i øjeblikket arbejder på et Velux-finansieret forskningsprojekt omkring BFI’en. Det er Mouritzens partner, professor Jesper Schneider fra analyseinstituttet, der har lavet analysen til ministeriet.

Incitament til institutlederen: 15.000 kr. pr. point

Hvis alle universiteter var lige ”gode” til at begå indberetningsmæssige unoder, ville fordelingen ikke blive påvirket. Men rapporten viser, at nogle universiteter er værre end andre. Eksempelvis har AAU en langt større andel af problemfyldte indberetninger end SDU. Og som rapporten lakonisk konstaterer: ”Der er således en potentiel risiko for, at andet end publiceringsaktiviteten kan have betydning for, hvor mange BFI-point universiteterne tildeles.” Målt i point har AAU høstet 246 problematiske point, mens SDU kun har 58 problematiske.

Hvis vi antager, at de ’måske problematiske’ indberetninger alle er i orden, og til gengæld antager, at alle de problematiske ikke skulle have udløst point, vil en hurtig hovedregning betyde, at SDU har fået en lille million for meget, og at AAU har fået små 4 mio. for meget. Og det er formentlig et konservativt skøn,” siger Mouritzen.

Han bygger regnestykket på, at et BFI-point i runde tal svarer til fordeling af 15.000 kroner.

”I universiteternes samlede budgetter er det ikke noget, der for alvor rykker om på midlerne. Men det skaber nogle problemer omkring legitimiteten af hele systemet – både for universiteterne og for den enkelte forsker. Så længe tingene har rodet i stilhed, har det ikke været et problem. Men det er det nu,” siger Mouritzen.

Lang reaktionstid

De mange problematiske indberetninger er ikke et nyt fænomen. Jesper Schneider, der har lavet rapporten med videnskabelig ass. Pernille Bak Pedersen, oplyser, at han lavede en analyse til ministeriet i 2011, der viste, at der primært var problemer med dansksprogede tidsskrifter og lærebøger. Analysen blev gentaget i 2013, hvor problemerne var de samme. I efteråret 2016 blev han bedt om at gentage analysen og kigge på 2015-indberetningerne med fokus på de særligt problematiske publiceringstyper, og igen viste billedet den samme type problemer.

”Med den undersøgelse, Schneider lavede i 2011, burde ministeriet allerede dengang have reageret med præciseringer af retningslinjerne. Det skete ikke, og jeg ved ikke hvorfor,” siger Poul Erik Mouritzen.

Det er Uddannelses- og Forskningsministeriet, der samler BFI-indberetningerne. Men ministeriet kontrollerer ikke, om de er korrekte. Den kontrol står universiteterne selv for, og her kan det være så som så med nidkærheden.

SDU-bibliotek: Forsker laver selv kvalitetskontrol

Som eksempel går BFI-indberetningerne på SDU via universitetsbiblioteket. Her tjekker man, at formalia i indberetningerne er i orden, eksempelvis omkring titler, navne og sidetal. Om publikationen opfylder kravene til videnskabelighed, er som udgangspunkt ikke noget, biblioteket går ind i en vurdering af, oplyser kontorleder Anne Thorst Melby.

”Det er forskeren selv og forskningslederen, der vurderer de ting. Det sker, at vi henvender os til forskeren, hvis noget virker tvivlsomt. Men vi har mange publikationer, vi skal igennem, så vi er nødt til at stole på, at forskeren gør det korrekt,” siger hun.

Det billede – at det i sidste ende er forskeren selv, der får det afgørende ord, genkender Poul Erik Mouritzen. I sin undersøgelse har han netop set nærmere på kvalitetssikringen af indberetningerne, og hvor ansvaret for fejlene ligger.

”Styrelsen har et ansvar, institutionerne har det, institutlederne har det, og forskerne har det. På sidelinjen har man så universitetsbibliotekarerne, der gennemgår indberetningerne. Og når det så er meget problematisk, tager de kontakt til forskerne,” fortæller han.

Ekspert: Institutledere i dilemma

Pilen peger dog mest på institutlederen, hvis man skal placere ansvaret for, at den enkelte indberetning er korrekt,

”Vi hører alle steder, at de har endeligt ansvar for, at registreringer er korrekte. vi hører også, at det er meget forskelligt, hvor alvorligt de tager det ansvar,” siger Mouritzen.

Systemet stiller institutlederne i et dilemma. De skal være garanter for kvaliteten, men samtidig kan de have en interesse i, at der bliver registreret så meget forskning som muligt. Det kan være, hvis økonomien afhænger af BFI-produktionen, eller hvis der er produktionsmål, der skal overholdes.

”Det afhænger primært af, hvordan de lokale pengestrømme er. Hvis instituttet er fuldstændigt uafhængig af BFI-produktionen, så er det nok lidt lettere at tage kvalitetsansvaret alvorligt. Men hvordan det reelt fungerer, ved vi ikke,” siger Poul Erik Mouritzen.

Ministeriet har reageret på rapporten ved at udsende den til universiteterne og udbede sig kommentarer. Samtidig har man udsendt et sæt nye og opdaterede retningslinjer. Og det tror Poul Erik Mouritzen faktisk vil gøre en forskel.

”Jeg tror, 90 procent af fejlene kan fanges. De nye retningslinjer sammenholdt med den debat, der kommer nu, og den bog, vi udgiver senere i år, vil skabe så mange faktorer, at jeg tror, rektorerne vil sige til deres institutledere: Det her gider vi ikke høre mere om. Nu skal det køre ordentligt!”.

lah