Publikationer

Om felmarginaler och osäkerhet i undersökningar

Publicerat av Demoskop27 november 201731 augusti 2023

Felmarginalen är ett mått som redovisar den osäkerhet som uppstår då man gör ett sannolikhetsurval från en population och undersöker urvalet istället för hela populationen. Felmarginalen är den maximala förväntade skillnaden mellan det sanna värdet och urvalets skattning av detta. Säg att skattningen av sympatierna för ett visst parti är 18 % i ett urval om 1000 personer. Det ger en felmarginal på +/- 2,5 %. Felmarginalen kompletteras med något slags sannolikhetsutlåtande, en konfidensnivå. Ofta är denna nivå satt till 95%. Det betyder att om undersökningen upprepades många gånger skulle felmarginalen skriven som ett konfidensintervall 18% +/- 2,5 % innehålla det sanna värdet i 95 % av fallen. Felmarginalen blir mindre ju större urvalet är. Felmarginalen tar dock endast hänsyn till den osäkerhet som uppstår på grund av att ett urval undersökts istället för hela populationen. Den verkliga osäkerheten är mycket större, ofta dubbelt så stor, på grund av andra fel som bortfall, intervjuarpåverkan och mätfel. De allra flesta undersökningsföretag inklusive statliga myndigheter bortser från en eller flera av dessa andra felkällor med resultat att osäkerheten underskattas. Att man initialt utgår från ett sannolikhetsurval räcker inte som kvalitetsmärkning av en undersökning.

Vi på Demoskop baserar våra undersökningar genomförda inom ramen för Iniziopanelen på en så kallad accesspanel och vi följer riktlinjerna i ISO-standarden 26362. Standarden föreskriver bland annat att det inte är möjligt att redovisa osäkerhetsmått som en felmarginal. Vi kan heller inte redovisa bortfall på konventionellt sätt utan använder oss av begreppet deltagandegrad, som innebär att andelen svarande står i relation till de som blivit inbjudna till undersökningen. Standarden talar också om hur man underhåller denna typ av paneler. Iniziopanelen är ett slags icke-sannolikhetsurval. Om man använder sådana måste man arbeta för att få så bra representation som möjligt genom att tillämpa vägningsförfaranden. Vi arbetar dessutom med att identifiera mätfelsmönster som inte verkar vara seriösa och personer som försöker svara flera gånger på samma undersökning. Vi har ett så kallat fraud detection program vi följer för att säkerställa kvaliteten i de undersökningar vi gör.

Undersökningslandskapet håller på att förändras. Traditionella metoder baserade på sannolikhetsurval håller på att ersättas eller kompletteras av andra baserade på icke-sannolikhetsurval eller kombinationer av dessa. Dessutom har nya datakällor tillkommit, t.ex. data från sociala media och Big data. Vi ser redan undersökningar som utnyttjar skannerdata, sensordata, Twitter och Facebook, de båda första till och med i officiell statistik. Denna utveckling är en följd av svårigheterna att genomföra sannolikhetsurval. Bortfallet ökar dramatiskt i många undersökningar och ett av de grundläggande kraven på sannolikhetsurval, nämligen att varje enhet i populationen ska ha en känd sannolikhet större än noll att komma med i urvalet, är sällan uppfyllt på ett tillfredsställande sätt. Dessutom spelar faktorer som kostnader och snabbhet allt större roll. Vi lägger ned mycket arbete på att skapa representativa urval från Iniziopanelen. Som viktigt stöd är vårt vetenskapliga råd som vägleder oss inom den senaste forskningen. Det förändrade landskapet har bara under de senaste fem åren resulterat i en mycket aktiv internationell utveckling av kombinationer av datakällor och utnyttjande av icke-sannolikhetsurval.

Vi redovisar alltså bara s.k. punktskattningar i våra undersökningar. Så gör man ofta även i undersökningar som använder sannolikhetsurval, speciellt i väljarundersökningar där rangordningen mellan partier och partiledare har stort allmänintresse.

Organisationen AAPOR har publicerat en skrift om felmarginaler i urval som inte baseras på obundet slumpmässiga urval, så kallade OSU, som du kan läsa här: AAPOR_Guidance_Nonprob_Precision_042216.

---

Ytterligare inom: Publikationer

Visa alla inom: Publikationer