Som staten frågar får den svar

”Who will police the police?” Undrade Lisa Simpson retoriskt i ett Simpsons-avsnitt där hennes far Homer startade en milis. Homer som fick ner brottsligheten snabbt började lika snabbt missbruka sin makt.

Utvärderingar och granskningar av makten är ingen enkel uppgift, varken i ”The Simpsons” eller i Sverige. Att genomföra utvärderingar på ett sätt som blir objektivt och sakligt, ställer höga krav på såväl utvärderaren som den aktör som ska utvärderas. Det är även viktigt att dessa har en relation till varandra som gör att utvärderaren inte hamnar i en beroendeställning.

Hur är det då fatt med utvärderingarna i Sverige? Det finns förvånansvärt lite forskning som utvärderar utvärderingarna av olika politiska insatser. I ett försök att studera detta fenomen genomförde undertecknad tillsammans med Elias Collin vid Lunds Universitet och Karl Wennberg vid Handelshögskolan i Stockholm en granskning av ett antal utvärderingar av näringspolitiska insatser.

Mer specifikt gick vi igenom 110 utvärderingar inom näringspolitiken. I det här fallet var det Vinnova, Energimyndigheten och Tillväxtverket som hade genomfört utvärderingar eller blivit utvärderade. Studien publicerades i Ekonomisk Debatt och finns att tillgå här.

Nedan presenteras en del av de resultat som kom ut ur granskningen. Figur 1 visar att 61 procent av utvärderingarna var positiva, 34 procent var neutrala och 5 procent var negativa. Utvärderingar verkar alltså ha en tendens att bli positiva snarare än negativa.

Vem är det då som genomför dessa utvärderingar? 51 procent gjordes av konsultföretag och 28 procent genomfördes av andra myndigheter, i det här fallet främst Tillväxtanalys. 14 procent utfördes av forskare och 7 procent var så kallade själv-utvärderingar, där myndigheten i fråga utvärderade sig själv.

Påverkar kategorin av utvärderare huruvida slutsatserna tenderar att vara positiva eller inte? I figuren nedan ser vi att konsultföretag tenderar att vara betydligt mer positiva. Själv-utvärderingarna är också väldigt positiva. I dessa två kategorier finns det inte en enda negativ utvärdering.

Gällande utvärderingarnas kvalitet skrev Riksrevisionen en kritisk rapport som publicerades i december 2020:

Det finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna under den granskade perioden: endast 2 av 37 granskade utvärderingar uppfyller alla tre grundläggande krav som Riksrevisionen ställt upp på en trovärdig effektutvärdering.

Riksrevisionen menar med andra ord att det i regel inte finns belägg för att dra några positiva slutsatser. Metoderna baseras ofta på intervjuer där man frågar företag huruvida de stöd de fått har varit användbara eller inte. Om dessa baseras på subjektiva data och aldrig ställs i relation till kostnaderna och en eventuell alternativ användning av resurser blir det svårt att dra slutsatser.

Betyder ovanstående att konsultföretag och andra utvärderare gör ett dåligt jobb?

Ett företag som ska genomföra en utvärdering får ett sådant uppdrag i konkurrens med andra företag i ett upphandlingsförfarande. Detta är en beroendeställning där det blir svårt att upprätthålla objektivitet. Vetskapen om att en alltför negativ utvärdering kan leda till att ett konkurrerande företag vinner nästa upphandling är förmodligen tillräcklig för att påverka valet av metod och valet av formuleringar.

Flera av de myndigheter som utvärderats har också delat ut stora forskningsanslag.

Även andra myndigheter, forskare och forskargrupper är försatta i en beroendeställning. När en annan myndighet utvärderar kan det finnas en oro hos den enskilde handläggaren att framstå som alltför kritisk. I en liten ekonomi och i en sektor där nästa arbetsgivare mycket väl kan vara en annan myndighet eller ett konsultföretag kan det bli jobbigt för den som uttrycker för vassa slutsatser.

Inte heller forskare är helt oberoende. Flera av de myndigheter som utvärderats har också delat ut stora forskningsanslag. Då forskare är beroende av sådana anslag både för att meritera sig och minska mängden undervisning ska man inte bli förvånad om även forskare väljer att mildra eventuell kritik. Inom sektorn näringspolitik finns det flera exempel på detta.

Utvärderingar kan dessutom användas av myndigheter för att ge legitimitet åt verksamheten. I sin årsredovisning från 2011 skriver Energimyndigheten att man låtit göra en vetenskaplig utvärdering av sina stöd till etanolframställning från cellulosa. I årsredovisningen återfinns följande omdöme från den vetenskapliga utvärderingen:

Detta var ett excellent program och en fortsättning på en nivå som är åtminstone lika hög som under de gångna åren rekommenderas starkt.

Det gick dock inte hitta någon referens till utvärderingen eller en förklaring av på vilket sätt den håller vetenskaplig kvalité. Med tanke på att etanolframställningen resulterade i ett flertal skandaler och stora ekonomiska förluster för ett antal kommuner i Norrland framstår ovanstående som anmärkningsvärt.

Sammanfattningsvis är det en utmaning i varje samhälle att skapa en fungerande utvärderingsfunktion. I det privata näringslivet finns det mängder av exempel där revisorer inte har skött sitt jobb ordentligt, vilket har lett till stora skandaler och ett flertal spektakulära konkurser. Generellt kan sägas att utvärderare behöver vara relativt oberoende och dessutom besitta vetenskaplig expertis för att kunna göra bra utvärderingar. Vår studie av näringspolitiken påvisar en del av dessa utmaningar. Det vore inte förvånande om det ser ut på ungefär samma sätt i andra delar av statsapparaten.