Publikationer

Ett förändrat landskap för statistiska undersökningar

Publicerat av Demoskop12 juli 201531 augusti 2023

När den polske statistikern och matematikern Jerzy Neyman presenterade sina teorier och metoder för urvalsundersökningar på 1930-talet var det svaret på mångas bön. Plötsligt blev det möjligt att basera statistiska undersökningar på ett urval istället för att observera hela populationen. Det gick också att ange mått på osäkerheten i de resultat som mätningarna av urvalen resulterade i. Måtten kallades felmarginal och konfidensintervall.

Detta var ett mäktigt genombrott för undersökningsverksamheten. Framförallt kunde kostnaderna minskas avsevärt. Men på många håll dröjde det innan metoden accepterades helt och fullt, i Sverige ända in på 50-talet. Urvalsteorin förutsatte att urvalen skulle göras med hjälp av slumpen. Sannolikheten att en medlem av populationen skulle bli utvald skulle vara känd i förväg och vara större än noll (alla skulle ha en chans att bli utvalda).

Den nya teorin förutsatte att den enda osäkerhet som felmarginalen speglade var urvalsfelet, dvs att resultaten baserade sig på ett urval istället för hela populationen. Många, inklusive Neyman själv, insåg att många andra felkällor också påverkar resultaten, t.ex. bortfall, urvalsramens täckning av populationen, mätfel mm. Men bortfallet var i regel mycket lågt på den tiden och mätfelen var litet osynliga eftersom kognitiva aspekter på svarsprocessen inte var så väl kända. Dessutom var det viktigt att lansera de nya urvalsmetoderna och deras fördelar. Sannolikhetsurvalet blev den gällande paradigmen.

Under de senaste två decennierna har förutsättningarna att genomföra traditionella urvalsundersökningar med god kvalitet gradvis försämrats. Det är många faktorer som spelar in. Bortfallet ökar. Det är inte ovanligt att bortfallet i marknadsundersökningar kan ligga kring 90 % om det alls kan beräknas. Det ökar också i SCB:s statistik. Bortfallet i arbetskraftsundersökningen närmar sig 40% och i partisympatiundersökningen 50 %. När bortfallen är så stora krävs justeringsmetoder eftersom urvalet inte längre är representativt och det finns en rad vägningsmetoder att ta till. Alla seriösa undersökare kompenserar för bortfallet men det är viktigt att påpeka att alla sådana metoder vilar på antaganden av olika slag. Det är också viktigt att påpeka att det krävs skicklighet då dessa metoder tillämpas. Det är viktigt att analytikern väljer sin modell för urval och justering på ett skickligt sätt och att hen kan genomföra känslighetsanalyser av hur resultaten påverkas av avvikelser från modellen.

Numera vet vi också mycket mer om effekten av olika mätfel och att vissa av dem kan ha stor påverkan på resultaten. När det gäller olika insamlingsmetoder är telefonundersökningar speciellt utsatta. Mobiltelefoner ersätter i stor utsträckning fasta abonnemang och många undersökningsföretag avstår från att spåra mobilnummer och ringer därför inte till så många sådana. Detta leder förstås till urval som inte är representativa.

Alla fel och osäkerheter gör att den traditionella felmarginalen som bara tar hänsyn till urvalsfelet underskattar den verkliga. När vi säger att ett resultat ligger inom felmarginalen är det därför oftast ett önsketänkande. Det pågår ganska mycket utvecklingsarbete på det område som sysslar med det totala felet i undersökningar. I dagarna genomförs en konferens på temat och litteraturen är omfattande. Två exempel är artiklarna Design, implementation, and evaluation (Biemer, P) och Past, present, and future (Groves, Lyberg)

Traditionella telefonintervjuer och besöksintervjuer har blivit allt dyrare att genomföra. De är dessutom tidskrävande. Kunder och användare har inte samma tålamod som förr att vänta på resultaten. I det läget har webenkäter blivit allt vanligare. Det finns exempel på webenkäter som utnyttjar sannolikhetsurval men många av de problem vi ser i intervjuer kvarstår ändå med denna metod, dvs det är svårt att få representativa urval. Ett annat alternativ är självrekryterade webpaneler där principen om sannolikhetsurval satts ur spel och ersatts av vägningsmetoder som syftar till att skapa urval som är representativa för den population man vill studera. Panelerna kallas ibland accesspaneler, opt-in paneler eller dubbel opt-in paneler. Rekryteringen sker genom förfrågningar som poppar upp på olika websidor och rekryteringen kan leda till mycket stora paneler från vilka urval kan dras och vägning ske på ett sådant sätt att representativitet uppnås.

Initialt har metoden kritiserats av branschorganisationer som The American Association for Public Opinion Research (AAPOR) och av organisationer som alltid använder sannolikhetsurval Opt-in paneler är uppbyggda av urval som inte är sannolikhetsurval och någon hållbar teori liknande den som Neyman utvecklade finns inte ännu. Men som vi sett har Neymans teori stora problem och implementeringen av den bygger på 80 år gamla standarder som inte längre håller. Den som förordar ett sannolikhetsurval med telefonintervjuer måste göra en rad antaganden som rör deras lämplighet som insamlingsmetod. I dagens värld med allt färre fasta abonnemang och allt fler mobila nummer i ett hushåll måste man sträcka sig långt. Det måste också de som förordar opt-in paneler. Man sitter på ett sätt i samma båt där inferensproblematiken måste lösas så bra som möjligt.

Den ursprungliga kritiken som AAPOR förde fram har mattats i takt med att fler och fler undersökningsinstitut insett behovet av konstruktiva diskussioner och innovation på undersökningsområdet. Speciellt diskuteras mer avancerade former av urval som inte är baserade på sannolikhetsurval. AAPOR har redovisat en sådan diskussion i en rapport. I den rapporten tycks det råda relativt stor enighet om att icke slumpmässiga urval kan vara användbara beroende på syftet med undersökningen. De används ofta i situationer som handlar om kliniska försök, utvärdering av reformer och undersökningar av populationer som är svåra att nå, som hemlösa, personer med sällsynta egenskaper, och stigmatiserade grupper. Men som vi på Inizio liksom bl.a. amerikanska forskare som Andrew Gelman har visat kan icke slumpmässiga urval fungera bra även i vanliga undersökningar och speciellt i väljarundersökningar där tillgången på tilläggsinformation är så omfattande. Vägningens kvalitet är ofta avgörande. Man kan inte tala om en knivskarp gräns mellan sannolikhetsurval och icke sannolikhetsurval, speciellt eftersom sannolikhetsurval enligt definitionen känd sannolikhet större än noll för varje populationsobjekt aldrig är uppfyllt i samhällsundersökningar. Det är viktigt att vi följer och deltar i den fortsatta metodutvecklingen på området.

Den tekniska revolution som förändrat vår kommunikation bidrar också till utformningen av det nya undersökningslandskapet. Sättet som vi kommunicerar på öppnar för nya datainsamlingsmetoder och vi får också möjlighet att mäta fenomen vi tidigare kanske inte tänkt på. Mobila prylar av olika slag som SMS, appar, bilder, videofilmer och GPS ger nya möjligheter att ställa frågor och observera fenomen. Ny teknik diskuteras i denna rapport från AAPOR. Vi är bara i början på denna utveckling. Nästa snäpp handlar om hur tillgången på big data ska kunna utnyttjas. Det görs redan undersökningar på Facebook och Twitter genom bland annat s.k. sentimentanalys. I publikationen nedan redogörs för en jämförelse mellan holländska ”sentiments” relaterade till konsumtion på Twitter, Facebook, Linkedin, Google+ och Hyves jämfört med en standardundersökning av holländskt konsumentbeteende. Jämförelsen visade hög korrelation mellan de båda studierna och redovisas i denna rapport. Den holländska centralbyrån har också rapporterat sin första officiella statistik baserad på big data, nämligen trafikflödesdata baserade på uppgifter från sensorer uppsatta utefter de större vägarna i Holland. Byrån är förmodligen också först i världen med denna statistik som redovisas här. Studien vittnar om kraften i denna typ av big data. SCB använder också big data i form av vissa skannerdata som komplement till den ordinarie insamlingen till konsumentprisindex. Den som vill veta mer om big data kan läsa AAPORs rapport som kom ut för ett halvår sedan.

Den nya teknologin ställer naturligtvis nya krav på säkerhet och sekretess men också krav på nya typer av redovisningar av osäkerhet. Det totala felet får en modifierad mening. Varje ny datainsamlingsmetod har sin egen felstruktur som måste benas ut. I fortsättningen kommer vi då och då att redovisa en del av det som händer i detta förändrade landskap, konceptuellt och metodologiskt.

---

Ytterligare inom: Publikationer

Visa alla inom: Publikationer