Hvad er meningen med målingen?

Karsten PedersenAf Karsten Pedersen, ph.d., Lektor og studieleder på Kommunikation, Roskilde Universitets Center
 
Publiceret tirsdag 8. april 2008


Min søn er højere end hans mor. Det kan vi slå fast. Det er til at måle. Det er et faktum. Det er også et faktum, at hendes hoved er tættere på jorden end hans. Og hvad betyder så det?

Jo, det betyder, at en given måling har et perspektiv indbygget. Man kan ikke måle uden på forhånd at sige noget om måleresultatet. Dette noget, man siger om sit måleresultat, er, at det er af en given karakter, at man kan tale om det inden for bestemte rammer, og at det giver mening at tale om det på denne måde.

Der er gode grunde til at måle fx højde. Det kan give en indikation om et barns sundhed. Men ingen vil vel mene, at det er det eneste gyldige udsagn om sundhedstilstanden.

Hvad kan resultatet bruges til?
Derfor, inden man kommer så langt som til at designe sin måling, kan det være en idé at undersøge, om man egentlig er interesseret i de resultater, målingen vil give. Som eksempel kan jeg undergrave troværdigheden af noget af mit eget arbejde. I 2004 undersøgte, eller målte, jeg tilfredsheden med Roskilde Kommune. Herunder også tilfredsheden med kommunens kommunikation (Pedersen: Hvad synes du om din kommune? En undersøgelse af borgernes tilfredshed med Roskilde Kommune.)

Meget kort refereret var resultatet det, at langt størstedelen af de adspurgte erklærede sig 'tilfredse' eller 'meget tilfredse' med Roskilde Kommunes Kommunikation. Det rejser ganske naturligt spørgsmålet om, hvad 'tilfreds' og 'meget tilfreds' betyder. Og svaret på det spørgsmål er, at det ved vi ikke. Der er ingen der ved, hvad den enkelte borger mente, da han eller hun erklærede sig 'tilfreds' eller 'meget tilfreds' med Roskilde Kommunes kommunikation.

Hvad betyder ”tilfreds”?
Svaret kan dække over alt, lige fra at mene at kommunen lige klarer skærene, og gør det der er forventet af en kommune, til at mene at kommunen gør et stykke solidt kommunikationsarbejde, der virkelig fortjener den ros, der kan ligge i ordet 'tilfreds'.

Perspektivet for sådan en måling ligger i, at man vil tolke disse to svar som det samme, nemlig i en gruppe af 'tilfredse eller meget tilfredse'. Vi ser altså tilfredsheden som noget positivt i sig selv uden, ellers, at forholde os til kvaliteten af tilfredsheden (med andre ord: Vi ved ikke, hvad tilfreds betyder).

Du skal vide, hvad du vil med målingen
Betyder dette så, at man skal afholde sig fra at måle? Ja, det skal man, hvis man ikke ved hvad man skal bruge resultaterne til, og hvad de betyder. Det slog Nis Peter Nissen fast da han skrev:

“Men hvis man ikke er sig helt bevidst om, hvorfor man måler, hvad sammenhængen egentlig er mellem det man måler, og mulighederne for – eller lysten til – at bruge den viden målingen giver, er det reelt et spørgsmål, om man ikke gør bedst i at holde sig fra målinger – i hvert fald fra effektmålinger. I stedet kan man så koncentrere sig om kvantitative trafiktællinger af kommunikationsakter, man alligevel ikke kan bruge til andet end afstivning af eget ego.Med mindre – selvfølgeligt [sic]- man gerne vil blive klogere …!” (“Måling af kommunikation er spild af tid … “)

Det Nis Peter Nissen siger her, er helt centralt for alle målinger: Man skal vide, hvad man vil med målingen, og man skal være klar til at bruge den som baggrund for at handle, hvis resultaterne tilsiger det.

Målinger siger kun noget om det man måler
Der er et aspekt af ovenstående, som Nissen ikke berører, og som jeg derfor vil komme ind på, for det er et vigtigt aspekt i målinger, at designes de rigtigt, kan de bruges til lige præcis det, man vil bruge dem til.

I Kom Magasinet 26/2007 var jeg inde på, at tendensen med, at offentlige myndigheder udgiver blade og tidsskrifter, i bedste fald er spild af tid og penge og i værste fald gør deres udgivere til skydeskive for kritik. Der er ikke, mig bekendt, offentliggjort undersøgelser på dette område, men en undersøgelse ville sagtens kunne skjule den mulige kendsgerning, at ikke særligt mange læser disse publikationer, ved i stedet at fokusere på tilfredsheden med artiklerne hos dem der har læst magasinerne. Det ville ikke undre mange om tilfredsheden ville variere fra 'tilfreds' til 'meget tilfreds'. På den måde kan man, uden at nævne at disse magasiner stort set ikke læses, legitimere deres eksistensberettigelse. Dette blot for at sige at målinger siger noget om det man måler og ikke andet.

Kvantitative og kvalitative undersøgelser supplerer hinanden
Derfor skal målinger altså være gennemtænkte, og de skal gentages eller suppleres, så man får en fornemmelse af værdien eller dybden af dem. Min kvantitative undersøgelse af Roskilde Kommune blev fx suppleret af en mere dybdeborende kvalitativ undersøgelse (Kobbernagel: Borgernes informationsbrug og kommunikation med kommunen), der mere specifikt undersøgte, hvad borgerne gør med den kommunikation, der udgår fra kommunen. Man kan sige, at en kvalitativ undersøgelse kan give os svaret på, hvad 'tilfreds' betyder. På samme måde som en anden type undersøgelse kan vise, hvilke andre kvaliteter min søn har, end at han er højere end sin mor.

Designet er vigtigt
Når man gerne vil undersøge noget, er det derfor nødvendigt, at man klarlægger, hvad det er man gerne vil finde ud af, og at man vurderer, om den påtænkte undersøgelsesmetode kan give de svar, man gerne vil have (eller om de svar man kan forudse, er de svar, man er interesseret i).

En specialeafhandling fra Kommunikation på RUC undersøgte en socialforvaltnings brevkommunikation med en gruppe af ældre borgere (Gregersen, Ibsen Hauge og Larsen: Den offentlige formidler: Et diskurspsykologisk perspektiv på offentlig formidling via brev. RUC 2007). De fandt frem til to for denne artikel meget vigtige pointer. 1) De ældre var helt tilfredse med brevene fra den kommune, det handlede om og 2) de ansatte i kommunen var helt tilfredse med de breve, de skrev til borgerne. Men de studerendes undersøgelse var strikket fornuftigt sammen, så ikke bare kunne de vise, at modtagerne af brevene var tilfredse med dem. De kunne også vise, at det var på en meget svag baggrund, nemlig en sammenligning med de gennemgående uforståelige breve de modtog fx fra forsikringsselskaberne.

Mål flere aspekter i samme evaluering
På den måde kan det lykkes at måle flere ting på en gang og dermed bruge dem til at sige noget om hinanden. For det første kan man sige, at dem der ville have konkluderet at brevene var gode, ikke berettiget kan gøre det. For det andet at når dem der skriver brevene ser dem som gode, kan det godt være, at de set ud fra kommunalfaglige eller juridiske perspektiver er gode, men ikke ud fra et ønske om at skrive forståelige breve til borgerne. Så hvis man vil andet end bekræfte sin egen dygtighed, er det altså vigtigt at sørge for at designe sin evaluering på en sådan måde, at den giver én de svar, man har brug for for at udvikle sin kommunikation.

Ingen grund til at gøre det mere kompliceret end det er
Designet er vigtigt, men det er også vigtigt, at man ikke bruger denne vigtighed som en undskyldning for ikke at måle, for endnu vigtigere end designet er det, at man i det hele taget medtænker målinger/evalueringer i sin kommunikation. Det er klart, at målinger skal udføres på en sådan måde, at de er troværdige, men man kan opnå meget ved en lille indsats, det er ikke hver eneste gang nødvendigt at lave en stor, forkromet, repræsentativ undersøgelse. Ofte vil det være nok, at notere sig fx de misforståelser borgerne henvender sig med, efter at man har sendt dem et brev og så medtænke dem i næste version af brevet.

Men det er vigtigt at måle
Og det er det, fordi målinger kan være med til at vise i hvor høj grad, det mål, man har med sin kommunikation, er nået, og også hvad der skal til for at kommunikationsindsatsen kan ende med at blive en succes. Målene kan være mere eller mindre præcist formulerede, men det gælder i sagens natur, at jo mere præcist formuleret et mål er, jo lettere er det at konstatere, om det er nået. Samtidigt skal man ikke overvurdere en kampagnes kommunikative effekt, for der er altså andre forhold end de kommunikative, som kan have indflydelse. Og så kan det jo være, at man med vilje måler noget andet. Hvis man fx alene måler en given kampagnes succes på, om den har fået medieomtale, vil man ikke kunne sige noget om, hvorvidt den har fået forældre til at sende unger til tandlæge eller lignende.

Man ser hvad man måler, og det er derfor, man skal være omhyggelig med designet. Hvis man er interesseret i at vide, om man har gennemslag i medierne, er det fint at måle på synlighed, blot man husker, at det så er synligheden, man kan sige noget om. Og det kan være meget værdifuldt, hvis man har tænkt sig senere at gøre brug af de medier, man måler.

Meningen med målingerne
For at opsummere kan man sige, at målinger er nødvendige, for ellers ved man ikke, hvad man har gjort. Mål er vigtige, for ellers ved man ikke, hvad man vil gøre. Et godt eksempel, som jeg var inde på tidligere, er de magasiner som kommuner og regioner udgiver i disse år. De er så ufokuserede, at det er svært at forestille sig, at der har været brugt tid på at diskutere, hvad formålet med dem skal være. Men i det omfang der ér mål med dem, eller i dét omfang udgiverne vil formulere sådanne mål, vil det være muligt, at finde ud af i hvor høj grad det er muligt at tilpasse indholdet, til det/de mål der er med disse publikationer.

, , ,

En kommentar

  1. Gravatar #1 Hanne Kock

    Grammatikken er også vigtig, hvis der skal være mening i det.
    “Min søn er højere end ‘hans’ mor. ” – Hvis mor? Peters eller Susannes eller ..?
    “Det kan vi slå fast. Det er til at måle. Det er et faktum.” – Det er kun et faktum, hvis man er enige om HVAD/hvem man har målt.

Modtag nyhedsbrev

Bjerg K udsender et nyhedsbrev med nyt om kommunikation og målinger.

Indtast din e-mail og modtag næste nyhedsmail.

Målinger man kan lære af

Dette site er en mindre del af et større forskningsprojekt, som vi kalder "Målinger man kan lære af". Deltagerne i forsknings-projektet samarbejder om at udvikle og afprøve nye og bedre måder at måle effekten af større kommunikationsløsninger på: hjemmesider, intranet, pressearbejde, videndeling, ledelseskommunikation, kommunikationspolitikker og -strategier mv. Deltagerne er:

Økonomistyrelsen

Udenrigsministeriet

Skatteministeriet

Fødevarestyrelsen

Konkurrence- og Forbrugerstyrelsen

CBS

Bjerg Kommunikation

Kontakt os for mere information om forskningsprojektet...

Læs om deltagernes motivation for at deltage...