Kontakta oss
Nyhet Opinion & Politik Opinionsundersökningar Research Samhälle och opinion

Vetenskap i sandlådan?

Jag kan varna direkt för att det här nog är det tråkigaste inlägget jag har skrivit på LinkedIn. Än så länge. Inte bara tråkigt, det är nog lite väl långt också.

På senare tid har en av våra konkurrenter allt ihärdigare hävdat att Demoskops undersökningar är ”ovetenskapliga”. Själv brukar jag ogärna använda ordet konkurrenter. Jag tänker mer på andra företag som gör opinions- eller marknadsundersökningar som branschkollegor. Och jag har stor respekt för att alla i branschen i grunden försöker göra ett så bra arbete de kan utifrån sin kompetens och sina resurser.

Jag önskar mig inget hellre än en bransch som kan präglas av respektfull konkurrens där vi sporrar varandra till att bli allt bättre tillsammans, och kan diskutera olika metoder med en respektfull ton och ett nyfiket öppet sinne.

Tyvärr har en företrädare för en av Demoskops konkurrenter återigen angripit inte bara Demoskops metoder, utan även mig personligen. Jag tycker detta är väldigt nedslående, och blir beklämd och oroad över hur det påverkar branschens möjligheter att rekrytera nya talanger för framtiden. Jag tillbringade de första drygt 20 åren av mitt yrkesliv i universitetsvärlden med vetenskaplig forskning och undervisning. Även om konkurrensen i akademin ofta är knivskarp har jag aldrig tidigare stött på den hårda ton jag nu upplever. Kritisk granskning är dock en central del av ett vetenskapligt arbetssätt och en respektfull kritisk diskussion är alltid välkommen. Men nu tycks vi snarare befinna oss i branschens sandlåda.

Vad är då egentligen en vetenskaplig undersökning? De som har läst åtminstone en introduktionskurs i vetenskapsteori på något universitet är säkert medvetna om att det är svårt att dra en svart-vit gräns mellan vetenskap och icke-vetenskap. Inom akademin kallas detta demarkationsproblemet och sysselsatt filosofer och vetenskapsteoretiker under lång tid.

Demoskop är inte bundna till någon särskild metod utan använder de metoder vi bedömer är lämpligast för olika uppdrag. För just våra väljarbarometrar och andra politiska mätningar som publiceras i media används Iniziopanelen som huvudsakligen är rekryterad från Schibstedts webbsajter och därmed räknas som en så kallad självrekryterad webbpanel.

Emellertid är professionellt drivna självrekryterade paneler av hög kvalitet sedan lång tid en väl etablerad metod för olika former av undersökningar både internationellt och i Sverige. Internationellt sett använder branschledande företag som exempelvis Ipsos och YouGov olika former av självrekryterade paneler i många sammanhang. Exempelvis använder de brittiska valforskarna YouGovs självrekryterade paneler i sina vetenskapliga studier, och de franska valforskarna vid prestigefyllda CeviPof i Paris använder Ipsos självrekryterade panel liksom den franska tidningen Le Monde gör. Detta är bara några snabba axplock. Det är helt enkelt inte sant att självrekryterade paneler generellt sett är avvisade som ovetenskapliga.

Inte heller branschorganisationer avvisar självrekryterade paneler som ovetenskapliga. I svenska Surveyföreningens skrift ”Kvalitet i Webbpanelundersökningar” framgår bland annat att de inte gör någon större åtskillnad mellan slumpmässigt rekryterade och självrekryterade webbpaneler, förutom att de senare inte bör använda klassiska felmarginaler. Även den stora branschorganistionen Esomar anger i sina guider till urvalskvalitet att självrekryterade paneler som drivs professionellt och efter hög metodologisk standard är ett giltigt alternativ inom opinions- och marknadsundersökningar.

En vanlig invändning är också att vi inte med våra metoder kan beräkna felmarginaler. Det stämmer att felmarginaler efter en klassisk design-baserad formel inte är tillämpliga. Men det finns andra sätt att uppskatta den statistiska osäkerheten. Exempelvis har den ledande branschorganisationen AAPOR i USA i en guide till osäkerhetsmått i undersökningar redan för tio år sedan angett några lämpliga osäkerhetsmått för självrekryterade paneler. Dessa inkluderar exempelvis resampling-ansatser som bootstrapping eller bayesianska ansatser som ”credible intervall” (på svenska ”trovärdighetsintervall” eller ”osäkerhetsintervall”). Även undersökningar som inte baseras på slumpmässiga urval bör och kan resonera om den statistiska osäkerheten i resultaten, även om det kan vara mer komplicerat än för ett obundet slumpmässigt befolkningsurval med obefintliga täckningsfel och lågt eller inget bortfall.

Ett vetenskapligt förhållningssätt inom surveyundersökningar handlar för oss på Demoskop fundamentalt om ett systematiskt arbete och en tydlig metodmedvetenhet där kritiskt tänkande och transparent ödmjukhet kring olika metoders begränsningar och deras för- och nackdelar präglar arbetet, kombinerat med en systematisk strävan efter att minimera osäkerhet och felkällor. Det vetenskapliga förhållningssättet är för oss en ambition att genom systematiska jämförelser av olika datakällor och väldesignade metodexperiment ständigt förbättra och utvärdera våra metoder. Tyvärr kan jag här bara skrapa på ytan av vad som är ett vetenskapligt förhållningssätt inom området surveymetoder. Kanske finner jag tiden att skriva något längre i detta ämne framöver.

Hittills har Demoskops metod visat sig fungera väl. I de senaste riksdagsvalen visar evidensen att Demoskop i sin sista mätning före valet har kommit närmast det slutgiltiga valresultatet två gånger i rad: 2018 och 2022. Att hävda att en undersökning är ovetenskaplig för att den inte rapporterar en felmarginal är snarast för mig ett varningstecken för en bristande förståelse för vad som verkligen är ett vetenskapligt förhållningssätt.

För ungefär tio år sedan publicerade tidskriften Fokus en artikel med den fyndiga titeln ”Mäthatet”. Det är hög tid att lägga detta sandlådebråk bakom oss och istället gemensamt i branschen möta vår tids metodologiska utmaningar så att vi kan förse allmänhet och beslutsfattare med så bra kunskapsunderlag som möjligt.


Ytterligare inom: Nyhet

Visa alla inom: Nyhet