Vad är problemet? Beslutsunderlag har många namn, de kallas t.ex. för studier, analyser, kartläggningar, översyner, utredningar, utvärderingar, mm. Vad skiljer dem åt? Expertgruppen för biståndspolitisk analys och utvärdering (EBA) kombinerar två begrepp i sitt namn. Det gör flera organisationer med liknande uppdrag; t.ex. Kulturanalys, Trafikanalys, Tillväxtanalys. Finns det någon skillnad mellan begreppen analys och utvärdering, och vad är den i så fall?

Vad är en utvärdering? Den mest använda definitionen av utvärdering kommer från det kommitté-arbete som den amerikanska utvärderings-föreningen (AEA) avslutade 1994 och publicerade som ’The Program Evaluation Standards’. Enligt det är utvärdering ’a systematic inquiry into the worth or merit of an object’. Det är en praktisk och funktionell definition som kan tillämpas på såväl processer som produkter (läs skrivna rapporter). Med ’worth or merit’ menas att det ska finnas ett värdeomdöme. Med ’systematic’ menas att värdeomdömet ska byggas på en öppet redovisad undersökning på vetenskaplig grund. Det är kort och koncist, klart och tydligt.

Vad är en analys? Nationalencyklopediens (NE) ordbok anger att analys är ‘en djupgående och noggrann undersökning av en företeelses bestånds-delar’. NE anger att motsatsen till analys är syntes. Det finns dels en allmän förståelse av begreppet analys som en noggrann undersökning i största allmänhet och dels en vetenskapsteoretisk definition som betonar undersökning genom att bena upp ett problem genom att ta sig an dess beståndsdelar.

Vetenskapsfilosofen Russell L. Ackoff preciserade skillnaden: ’Analytical thinking is the mental process by which anything to be explained, hence understood, is broken down into parts. Explanations and properties of wholes are extracted from explanations of the behavior of properties and their parts. The temperature of a body, for example, is explained as a function of the velocity of the particles of matter of which it is compsed.’

Ackoff och andra vetenskapsteoretiker noterar skillnaden mellan analys och syntes, liksom NE gör. Syntes definieras av NE som ’förening av olika enheter till helhet’. Ackoff skriver om motsatsen till analys: ’Synthetic thinking is the mode of thought … that maintains that all objects, events, and experiences of them are parts of larger wholes. It does not deny that they have parts but it focuses on the wholes of which they are parts’. Som de här korta citaten antyder leder distinktionen mellan analys och syntes vidare till en omfattande vetenskapsfilosofisk debatt om positivism, kritisk teori, hermeneutik, och systemteori.

Vad är den praktiska skillnaden? Som orden används lite slarvigt i dagligt tal är det ingen skillnad. De som skrivit analys och utvärdering i EBAs mandat hade förmodligen inte någon genomtänkt vetenskaplig avsikt med användningen av de två begreppen (?). Men i ett mera precist och vetenskapligt språkbruk är det stor skillnad. Begreppet utvärdering handlar om vad som sker, begreppet analys handlar om hur det sker. Ordet analys innebär att det fenomen som studeras delas upp i sina beståndsdelar, och dessas egenskaper, och deras relation till varandra blir föremål för studien. Men är det så utvärderare arbetar? Svar: Både Ja och Nej!

En utvärdering tar sig förvisso an det utvärderade objektet genom analytiskt tänkande, men också genom dess motsats, syntetiskt tänkande. En utvärdering studerar oftast det utvärderade fenomenet i ett sammanhang. Kontexten är för det mesta med i undersökningen – och en viktig aspekt av denna. Inom biståndsutvärdering talar man om att en utvärdering ska besvara frågor om efficiency, effectiveness, impact, relevance and sustainability. Svaren på de här fem OECD/DAC kriterierna preciserar vad som utgör ’worth and merit’. Lite hårdraget kan man säga att undersökning av efficiency och effectiveness huvudsakligen är en analytisk process, men undersökning av impact, relevance och sustainability är en syntetisk process (med de engelska orden, analytic or synthetic thinking). För att undersöka de tre senare kriterierna måste utvärderaren självklart gå bortanför det som utvärderas och se till dess miljö – till kontextuella faktorer. Undersökning av de två första frågorna fokuserar däremot på interna aspekter av det utvärderade objektet – dess beståndsdelar.

Spelar skillnaden någon roll? I praktiken är det få som bryr sig om skillnaden, men om någon undrar kan det vara bra att ha ett svar. Faktum är att sammansättningen analys och utvärdering bygger på ett tankefel. Utvärdering är inte och ska inte vara enbart en analytisk process. Utvärdering är förvisso en noggrann och vetenskaplig process som leder till värdeomdöme och den processen måste ha analytiska inslag. Men det är lika viktigt att den är motsatsen till analytisk, nämligen syntetisk – eller om man så vill – holistisk och undersöker kontextuella faktorer som har med värdeomdömet att göra.

Några referenser

Ackoff, R. L. (1974) Redesigning the Future. A Systems Approach to Societal Problems. New York: John Wiley.

Ackoff, R.L. (1962) Scientific Method. Optimizing Applied Research Decisions. New York: John Wiley

Churchman, C.W. (1971) The Design of Inquiring Systems. Basic Concepts of Systems and Organization. Basic Books: New York.

Kaplan, A. (1964) The Conduct of Inquiry. Methodology for Behavioral Science. Aylesbury: Chandler.