Kritik af evaluerings-design

I kommissorium og i det fremlagte evalueringsdesign er der meget fokus på lovens formelle rammer. Men hvad med lovens bieffekter og omkostninger, spørger evalueringsekspert 

Det er ingen hemmelighed, at videnskabsminister Helge Sander og hans embedsmænd helst havde foretrukket, at universitetsloven kun skulle udsættes for et uforpligtende ”eftersyn”, en klar markering af, at det er helt unødvendigt med en lovrevision. Men med 6488 protestunderskrifter mod den nuværende universitetspolitik og utilfredshed i Folketinget var han udsat for et større politisk pres, så han blev tvunget til at søsætte en større evaluering.

STORE UNIVERSITETS-TJEK

Der var derfor stor spænding om selve kommissoriets udformning, dvs. beskrivelsen af, hvad evalueringen skal undersøge. Men nu er kommissorium og evalueringspanel præsenteret, efter forhandling mellem især Videnskabsministeren og Socialdemokraterne. 

 Det omtales direkte af kommissoriet, at universitetets ”frihedsgrader” skal undersøges. Begrebet politisk styring bruges ikke, men panelet er pålagt at lave ”en belysning af udviklingen og virkningen af regelstyringen samt de økonomiske styringsinstrumenter, universitetet er underlagt”.

Evalueringen skal være færdig i december 2009. 

Evalueringsdesign

Videnskabsministeriet agerer sekretariat for panelet, og ministeriet havde evalueringsdesignet klar i november – før panelet blev udnævnt i december. Panelets metode og data-materiale spænder fra statistikker, rammebeskrivelser eller redegørelser fra universiteter, interviews eller spørgesskema-undersøgelser blandt forskere, interviews med universitetsledere m.m. 

”Hvor meget indflydelse panelet har haft på designet, kan man ikke vide – men de har jo nikket ja til det, som foreløbig ligger der”, konstaterer professor og evalueringsekspert Hanne Foss Hansen, som er kritisk overfor designet. 

 Hun kalder det en meget bred og sammensat evaluering, hvor designet nogle steder er stramt og hvor det andre steder er op til panelet selv at definere, hvor langt man vil gå, fx når det handler om politisk følsomme områder som medbestemmelse, fri akademisk debat, forskningsfrihed og frihedsgrader:

 ”I kommissorium og i det fremlagte evalueringsdesign er der meget fokus på lovens formelle rammer. Men rammen er uens præciseret. Det betyder, at panelet selv kan definere nogle kritiske undersøgelser, hvis man vil. Men mere passivt kan det også medføre, at panelet styres af det lagte evalueringsdesign og det datagrundlag, som panelets sekretær eller ministeriet forsyner dem med.

Hvorfor evaluere fusioner allerede nu?

Evalueringen er opdelt i fem hovedtemaer: Universitetsfusionerne (herunder innovation og myndighedsbetjening), medbestemmelse, den frie akademiske debat, forskningsfriheden samt universiteternes frihedsgrader. 
 Det undrer evalueringseksperten, at det første fokuspunkt – ”opfyldelse af formålene med fusionerne” – fylder så meget og er meget specificeret. 

 ”Det er overraskende, at fusionselementet fylder så meget. Det forekommer meget tidligt at evaluere fusioner efter bare to år. Alle ved, at det tager en række år før man høster fusionsgevinster, så man kan spørge sig, hvorfor det element fylder så meget i evalueringen”, spørger Foss Hansen og giver selv et tip: ”Nogle ønsker åbenbart fokus på området. En næsten forudsigelig konklusion bliver, at der ikke er sket så meget! Anbefalingen kan derfor blive, at reformtempoet bør sættes op; integrationsprocessen mellem de løst koblede universiteter og sektorforskningen må højere på dagsordenen”. 

Hvad med bi-effekter og omkostninger?

Det undrer også Foss Hansen, at evalueringsdesignet er så snævert:

 ”Fusionerne skal evalueres som en målopfyldelse, dvs. om man har realiseret planerne. Men det er en fattig evalueringsmodel, hvor man kun kan se ind i målområdet – men man kan ikke se bieffekter og omkostninger. Man kan konstatere om nogle af de formelle mål er nået, hvad angår ledelsesstruktur og institutsammenlægninger osv. Men man kan ikke se, om der er sket en ændring fra kerneydelser til periferi-ydelser, dvs. om man har fået større administrative byrder eller træghed i organisationen osv. Man risikerer altså helt at overse uhensigtsmæssigheder” 

Risiko: Kun den formelle medindflydelse undersøges

Men mens fusionerne skal undersøges via målopfyldelse, så skal der tages andre kriterier og midler i brug på andre områder.

 De studerendes og ansattes indflydelse og medbestemmelse skal fx undersøges ved at se på ”den konkrete organisering”, hedder det. Og hvordan medbestemmelsen så fungerer i praksis skal belyses ved en analyse af ”den organisatoriske ramme på det enkelte universitet” (kvantitativ data) og ved ”redegørelser fra universiteter”. Og så skal ansatte og studerende interviewes om deres ”oplevelse”. 

 Foss Hansen: ”Det er da vigtigt at se på de formelle indflydelsesveje, fora og hvilke mandater, organerne har. Men det giver ikke indblik i den daglige praksis. Der er nogle muligheder i loven, som muliggør, at medarbejderne kan deltage, men der er ikke udsigt til, at vi bliver klogere på, hvad de i praksis beskæftiger sig med og om de faktisk har reel indflydelse”, siger hun.

 ”Med evalueringsdesignet risikerer man at begrænse analysen til, om fx Akademisk Råd faktisk giver medbestemmelse inden for lovens snævre rammer – mens andre problematikker slet ikke rejses, fx om den snævre ramme for medbestemmelsen er uhensigtsmæssig, eller om der er uhensigtsmæssige bieffekter ved systemet. I den forstand er det panelet selv, som skal være opsøgende, hvis man vil konstatere, om Akademisk Råd er et organ hvor de ansattes repræsentation blot er formel, fordi man ikke har reel indflydelse”. 

Ingen undersøgelse af den stærke ledelse

En af de formulerede hensigter med universitetsreformen var at lave enstrengede strukturer og stærkere ledelse. Men evalueringen lægger slet ikke op til at vurdere denne. Der skal ikke stilles spørgsmål til, hvordan den nye stærke ledelse fungerer? Og der skal ikke stilles spørgsmål til, hvad forskerne synes om de stærke ledere?

 ”Men kan virkelig undre sig over, at der slet ikke er fokus på, hvordan de nye ledelsesstruktrer fungerer og hvilke udfordringer, der er. Designet går udenom det centrale spørgsmål, om ledelsen faktisk fungerer. Det er bemærkelsesværdigt”, siger Foss Hansen. ”Spørgsmålet kan kun komme op indirekte, fx igennem fokus på de ansattes medbestemmelse. Det er jo centralt spørgsmål om lederne i praksis giver plads til de ansattes indflydelse på beslutningstagningen”. 

Indsnævret undersøgelse af forskernes forskningsfrihed 

Hvad angår den enkelte forskers forskningsfrihed, så er der indlagt begrænsninger i kommissoriet. Mens der på andre områder er lagt op til, at de ansatte interviewes om deres ’oplevede virkelighed’, så skal forskningsfriheden alene undersøges ved hjælp af en spørgeskema-undersøgelse og der skal kun spørges til ”pålæg af opgaver”. 

 ”Det er et meget snævert design. Forskningsfriheden begrænses jo ikke bare af udtrykkelige ordrer. Forskeres forskningsfrihed kan begrænses af en række uformelle strukturer og rammer, som godt nok er svære at afdække, hvor den vigtigste måske er, om selvcensur fremmes i den nye type ledelsessystem og konkurrencesystemet?

 Frihedsgraderne kan jo også være begrænset af de økonomiske styringsinstrumenter. Det er rigtignok en stor om kompleks problematik, men det havde da været interessant at analysere, hvordan de eksterne styringsstrukturer fungerer”, siger hun. 

Den frie akademiske debat?

Der står i kommissoriet, at status for den frie akademiske debat på de danske universiteter skal belyses. Ifølge evalueringsdesignet skal dette undersøges ved en undersøgelse af de lovgivningsmæssige og organisatoriske rammer for den akademiske debat, og ved indsamling af statistik om forskeres deltagelse i den offentlige debat – men intet om, hvad de taler om – samt ved en spørgeskemaundersøgelse blandt forskere. 

 ”Der er meget fokus på rammevilkårene eller det formelle. Fordi mange forskere formidler eller optræder som eksperter betyder jo ikke, at der er en fri akademisk debat, fordi mange kan afholde sig fra at ytre sig om kontroversielle temaer”. 

 I evalueringsdesignet er det problematisk, at panelet skal undersøge forskernes oplevelse af den frie debat via en spørgeskema-undersøgelse. ”Her er det jo fuldstændig afgørende, at der stilles spørgsmål, som giver forskerne muligheder for at give kritiske svar, som belyser alle de mulige begrænsninger i deres lyst til at deltage i offentlig debat”. 

jø