Om felkällor i undersökningar

Som man frågar får man svar brukar det heta. När man ska bedöma kvaliteten i en undersökning handlar det dock mer bara själva frågan även om det givetvis är viktig. Hur många felkällor finns det?  Det korta svaret är: pick your own number eftersom varje process i en survey innehåller moment som inte genomförs perfekt eller kan genomföras perfekt.

Det långa svaret är: Kvaliteten i en skattning mäts genom en beräkning av det sk mean squared error (MSE) som är summan av variansen och kvadraten av det systematiska felet (bias). Om man visste storleken på MSE för varje skattning skulle man kunna beräkna en äkta felmarginal. De felmarginaler som beräknas baseras vanligen på samplingvariansen och den slumpmässiga svarsvariansen enbart. Det gör att de flesta felmarginaler som publiceras är alldeles för korta. Man har nämligen inte brytt

sig om andra typer av fel och osäkerheter eftersom de inte är enkla att mäta eller för att man inte vet att dom finns eller att man tror att dom är så små att de inte behöver tas hänsyn till.

Det finns många ramverk för fel i undersökningar. Nedanstående är ett ramverk:

1. Urvalsfel. Vi har gjort ett urval istället för en totalundersökning.
2. Specifikationsfel. Det koncept som man är intresserad av skiljer sig från det koncept man ställer frågor kring. Exempelvis, vilka surveyfrågor ska man ställa för att ta reda på individers inställning till demokrati. Det är svårt eftersom demokrati är ett vagt koncept.
3. Urvalsramen kan vara defekt. Det vanligaste är att den inte omfattar alla individer i målpopulationen, sk undertäckning. Men också övertäckning och dubbletter förekommer. Urvalet riskerar att inte bli representativt.
4. Bortfall. Vissa personer som blir tillfrågade att delta i en undersökning vill inte delta alls. Vissa vill inte svara på vissa frågor. Resultatet blir ett urval som inte längre är ett slumpmässigt urval. Man kan med hjälp av olika metoder kompensera för dessa brister men de baseras på antaganden av olika slag. Ibland har bortfallet stor betydelse, ibland inte. Men risken för bias på grund av bortfall ökar med stigande bortfallsnivå.
5. Mätfel. Troligen den allvarligaste formen av fel och den man bryr sig minst om. Mätfel uppstår på grund av dåliga frågor, respondenters svarsbeteende, egenskaper hos datainsamlingsmetoderna, och fuskande organisationer och deras intervjuare. Man kan testa frågor i förväg, kontrollera intervjuare, studera svarsfenomen som till exempel straightlining men problemen är svåra att handskas med.
6. Bearbetningsfel. Hit hör editering, kodning, vägning och rena räknefel.

Så det finns i detta ramverk sex huvudgrupper och väldigt många undergrupper. Den enda grupp som har en egen teori är den första.

Läs mer om Total Survey Error här.