Towards the end of this week SVUF holds its bi-annual meeting. Good fun, I look forward to that. I’ll moderate a panel discussion on long-term perspectives in evaluation on Thursday afternoon – the other participants in the panel are Ida lindkvist from Norad, Gustav Petersson from Vetenskapsrådet, and Markus Burman from EBA. We will have Interesting and good discussions! I’ll also take part in a reflective panel on Friday – former SVUF chairs will talk about the past. Interesting for us – no doubt. A challenge to make it interesting for an audience!

The Palazzo Fortuny museum in Venice holds an exhibition on the concept of intuition. I’m reminded that intution is an important part of an evaluative process, but it is neglected and perhaps even refuted in professional rethoric. It is probably assumed that a credible and trustworthy evaluator does not work on intuition. Just how mistaken such an attitude is can be illustrated by these quotes from some great minds:

Albert Einsten: I believe in intiotion and inspiration. Imagination is more important than knowledge.

Henri Poincaré: In science we prove with logic what we find by intution (En science, c’est avec la logique que nous trouvons et avec l’intuition que nous trouvons).

René Descartes: Knowing comprises two principal operations: intuition and deduction (La connaisance comporte deux opérations principales: l’intuition et la déduction).

So let’s talk more about intuition!

Vad är problemet? Beslutsunderlag har många namn, de kallas t.ex. för studier, analyser, kartläggningar, översyner, utredningar, utvärderingar, mm. Vad skiljer dem åt? Expertgruppen för biståndspolitisk analys och utvärdering (EBA) kombinerar två begrepp i sitt namn. Det gör flera organisationer med liknande uppdrag; t.ex. Kulturanalys, Trafikanalys, Tillväxtanalys. Finns det någon skillnad mellan begreppen analys och utvärdering, och vad är den i så fall?

Vad är en utvärdering? Den mest använda definitionen av utvärdering kommer från det kommitté-arbete som den amerikanska utvärderings-föreningen (AEA) avslutade 1994 och publicerade som ’The Program Evaluation Standards’. Enligt det är utvärdering ’a systematic inquiry into the worth or merit of an object’. Det är en praktisk och funktionell definition som kan tillämpas på såväl processer som produkter (läs skrivna rapporter). Med ’worth or merit’ menas att det ska finnas ett värdeomdöme. Med ’systematic’ menas att värdeomdömet ska byggas på en öppet redovisad undersökning på vetenskaplig grund. Det är kort och koncist, klart och tydligt.

Vad är en analys? Nationalencyklopediens (NE) ordbok anger att analys är ‘en djupgående och noggrann undersökning av en företeelses bestånds-delar’. NE anger att motsatsen till analys är syntes. Det finns dels en allmän förståelse av begreppet analys som en noggrann undersökning i största allmänhet och dels en vetenskapsteoretisk definition som betonar undersökning genom att bena upp ett problem genom att ta sig an dess beståndsdelar.

Vetenskapsfilosofen Russell L. Ackoff preciserade skillnaden: ’Analytical thinking is the mental process by which anything to be explained, hence understood, is broken down into parts. Explanations and properties of wholes are extracted from explanations of the behavior of properties and their parts. The temperature of a body, for example, is explained as a function of the velocity of the particles of matter of which it is compsed.’

Ackoff och andra vetenskapsteoretiker noterar skillnaden mellan analys och syntes, liksom NE gör. Syntes definieras av NE som ’förening av olika enheter till helhet’. Ackoff skriver om motsatsen till analys: ’Synthetic thinking is the mode of thought … that maintains that all objects, events, and experiences of them are parts of larger wholes. It does not deny that they have parts but it focuses on the wholes of which they are parts’. Som de här korta citaten antyder leder distinktionen mellan analys och syntes vidare till en omfattande vetenskapsfilosofisk debatt om positivism, kritisk teori, hermeneutik, och systemteori.

Vad är den praktiska skillnaden? Som orden används lite slarvigt i dagligt tal är det ingen skillnad. De som skrivit analys och utvärdering i EBAs mandat hade förmodligen inte någon genomtänkt vetenskaplig avsikt med användningen av de två begreppen (?). Men i ett mera precist och vetenskapligt språkbruk är det stor skillnad. Begreppet utvärdering handlar om vad som sker, begreppet analys handlar om hur det sker. Ordet analys innebär att det fenomen som studeras delas upp i sina beståndsdelar, och dessas egenskaper, och deras relation till varandra blir föremål för studien. Men är det så utvärderare arbetar? Svar: Både Ja och Nej!

En utvärdering tar sig förvisso an det utvärderade objektet genom analytiskt tänkande, men också genom dess motsats, syntetiskt tänkande. En utvärdering studerar oftast det utvärderade fenomenet i ett sammanhang. Kontexten är för det mesta med i undersökningen – och en viktig aspekt av denna. Inom biståndsutvärdering talar man om att en utvärdering ska besvara frågor om efficiency, effectiveness, impact, relevance and sustainability. Svaren på de här fem OECD/DAC kriterierna preciserar vad som utgör ’worth and merit’. Lite hårdraget kan man säga att undersökning av efficiency och effectiveness huvudsakligen är en analytisk process, men undersökning av impact, relevance och sustainability är en syntetisk process (med de engelska orden, analytic or synthetic thinking). För att undersöka de tre senare kriterierna måste utvärderaren självklart gå bortanför det som utvärderas och se till dess miljö – till kontextuella faktorer. Undersökning av de två första frågorna fokuserar däremot på interna aspekter av det utvärderade objektet – dess beståndsdelar.

Spelar skillnaden någon roll? I praktiken är det få som bryr sig om skillnaden, men om någon undrar kan det vara bra att ha ett svar. Faktum är att sammansättningen analys och utvärdering bygger på ett tankefel. Utvärdering är inte och ska inte vara enbart en analytisk process. Utvärdering är förvisso en noggrann och vetenskaplig process som leder till värdeomdöme och den processen måste ha analytiska inslag. Men det är lika viktigt att den är motsatsen till analytisk, nämligen syntetisk – eller om man så vill – holistisk och undersöker kontextuella faktorer som har med värdeomdömet att göra.

Några referenser

Ackoff, R. L. (1974) Redesigning the Future. A Systems Approach to Societal Problems. New York: John Wiley.

Ackoff, R.L. (1962) Scientific Method. Optimizing Applied Research Decisions. New York: John Wiley

Churchman, C.W. (1971) The Design of Inquiring Systems. Basic Concepts of Systems and Organization. Basic Books: New York.

Kaplan, A. (1964) The Conduct of Inquiry. Methodology for Behavioral Science. Aylesbury: Chandler.

Last Tuesday (18/10 -2016) the Expert Group for Aid Analysis and Evaluation (EBA, www.eba.se) organised a day to discuss three evaluations of development cooperation in Africa. One of them looked at the impact of 50 years of development cooperation between Sweden and Tanzania. It raised several critical issues and there is much to learn from a careful analysis of its conclusions. However, immediately after the report was presented a number of websites and some daily papers took the conclusions (out of context) and generalised to all aid to Tanzania, and elsewhere. The debate got eschewed and much intellectual effort came to be spent on a ‘quasi-debate’, which was irrelevant and did not address the issues in evaluation reports. It was obvious that many of those commenting had neither read nor understood the evaluation. My pessimistic question is whether it is futile to bring evidence to the debate on development cooperation. It is not possible to prevent a critical analysis from being hijacked by people whos agenda is to put an end to development cooperation rather than improve it. So, how can an intellectual climate for critical reflection be built and maintained?

Yet another discussion at the EES conference was about complexity. It was said that perhaps there are those who have a vested interest in portraying things (policies, projects, programmes, evaluations) as more complex than they actually are. Complexity draws money and is an argument for increased funding – be it right or not. I see the point, but on the other hand, almost everything can be used as a self-serving argument – obviously also complexity. Special methods, read RCTs are an obvious case in point. Unfortunately all skills, including conceptual skills, compete on a market and almost everything can be construed as – and often is – self promoting behaviour and rent-seeking in one way or the other. Not only complexity.

Hello hello

testing testing