Kontakta oss
Dataanalys Nyhet Publikationer

Hur skyddar vi Iniziopanelen mot manipulation?

Alla webbpaneler behöver arbeta med kontroller av kvaliten i svaren från panelen. En öppen panel där de som vill kan anmäla intresse för att delta (”självrekryterad”) kan också behöva kontroller för eventuella organiserade försök att påverka resultaten i panelen.

Demoskop arbetar med olika typer av kontroller och åtgärder för olika typer av problem med svarskvalitet. Då Iniziopanelen inte avänder incitament, dvs ekonomiska/materiella belöningar för deltagande, så är just de specifika problem som uppstår i paneler med incitament inte aktuella för Iniziopanelen.

Vi presenterar här hur vi arbetar med att kontrollera panelens kvalitet för tre typer av kvalitetsproblem. Generellt gäller att Demoskop bland annat arbetar med ”flaggning” av respondenter om vi misstänker någon form av problem med ett konto i panelen. Det hör till sakens natur att vi inte kan avslöja alla detaljer om vad som får oss att flagga en respondent då detta skulle motverka syftet med våra kvalitetskontroller och underlätta att komma förbi dessa. Av samma skäl har vi också utarbetat våra rutiner för flaggning så att den respondent som blir flaggad för bristande kvalitet eller oärligt uppsåt i någon form inte själv ska märka detta och veta om att det har upptäckts då det skulle underlätta för de som medvetet vill arbeta bedrägligt istället för att ge sina ärliga äkta åsikter och upplevelser i enkätsvaren. Olika former av flaggning kan antingen vara permanent eller tidsbegränsad.

Skydd mot låg kvalitet i svaren

En aspekt alla webbpaneler behöver skydda sig mot för att bevara kvaliten handlar helt enkelt om slarv, ouppmärksamma respondenter eller oseriösa svar som inte speglar respondenternas äkta ärliga åsikter och uppfattningar. Exempel på metoder vi använder för att motverka låg svarskvalitet är klassiska metoder som är standard inom branschen sedan länge:

· Mönsterigenkänning: Detta innefattar exempelvis kontroller för sk ”straight lining” och andra typiska svarsmönster för svar av låg kvalitet. Ett av de enklaste exemplen på detta är att kryssa samma svarsalternativ rakt igenom en matrisfråga.

· Tidsmätning: Detta kontrollerar i grunden sk ”speeding” där en enkät slutförs på en orealistiskt kort tid, eller där vissa frågor eller delar av enkäten har besvarats orimligt snabbt. Sådana svar kan diskvalificeras oavsett om det beror på slarv hos en mänsklig respondent, att respondenten har tröttnat på enkäten, eller på icke-mänskliga svarskonton.

· Logiska fällor: Vi bygger också regelbundet in kontrollfrågor (ett enkelt exempel är att fråga om födelseår i början av enkäten och exakt ålder i slutet) för att säkerställa att svaret är äkta och ärligt menade. Detta kan också göras i olika enkäter vid olika tidpunkter till samma personer i panelen för att skapa svårare kontrollfrågor. Andra exempel kan inkludera extremt osannolika attribut eller kombinationer av egenskaper som väldigt få personer i befolkningen har, eller ologiska och mycket ovanliga förändringar av egenskaper hos personen över tid som kan avslöja att svaren inte är äkta återspeglingar av egenskaper hos en verklig person.

Skydd mot påverkansförsök

En kritik som ibland framförs är att det skulle vara lätt för människor att manipulera resultaten från öppna paneler som Iniziopanelen genom att registrera många konton och agera samordnat för att påverka resultaten från panelen. Vi arbetar med flera olika typer av kontroller för att motverka sådana möjligheter.

· Double Opt-In och captcha: Detta är vår grundläggande mekanism. Varje konto som registreras måste verifieras via mejl och passera en captcha-kontroll, vilket skapar hög friktion vid försök till massregistrering.

· Digital Fingerprinting System: Vi har verktyg inbyggda i vår tekniska plattform som tilldelar en unik identitet till en respondents dator för att kunna blockera dubbla svarsförsök från samma tekniska enhet.

· Små slumpmässiga urval från panelen: Endast en liten slumpmässig fraktion av panelen engageras vid varje given mätning. För att ens teoretiskt kunna flytta opinionen i våra resultat med någonting kännbart krävs ett väldigt stort antal fabricerade konton för att ett substantiellt antal av dessa ska komma med i en relevant politisk undersökning vid rätt tidpunkt.

· Panelrekrytering under lång tid: Det är en stor fördel att Iniziopanelen har rekryterats från breda webbsajter under mer än tio år. I en liten nystartad panel skulle det vara i relativa termer något mer realistiska att kunna påverka resultaten genom organiserad massregistrering av deltagarkonton. Att panelen har rekryterats under mycket lång tid späder effektivt ut sådana försök. Detta är även ett gott bidragande skydd mot AI/LLM-baserade försök till påverkan då sådana tekniker inte har funnits under en särskilt stor del av panelens livslängd.

· Balansering mot känt facit: Eftersom vi löpande ställer frågor där den sanna fördelningen är känd (detta kan tex handla om. innehav av körkort, ekonomiskt bistånd, fackföreningsmedlemskap, civilstånd mm) ökar vi ytterligare våra chanser att upptäcka organiserade attacker. Att återskapa en rimlig och logisk fördelning på olika befolkningsparametrar i organiserade påverkansförsök är oerhört svårt. Det har hög sannolikhet att organiserade attacker får dessa baseline-mått att avvika på ett avslöjande sätt.

· Analyser av rekryteringskohorter och inflöde till panelen över tid: En annan effektiv metod för att avslöja påverkansförsök som vi använder är att vi noggrant analyserar nyrekryteringen till panelen över tid och att avvikelser från tidigare mönster i vilken typ av personer som anmäler sig till panelen signaleras till oss så att dessa kan analyseras närmare. På samma sätt analyserar vi även exempelvis om trenderna och förändringar ser annorlunda ut hos respondenterna som har anmält sig under en viss period eller om de liknar de hos respondenter som har anmält sig tidigare under panelens livstid. Detta är även i kombination med att rekryteringen pågått i över tio år ett effektivt skydd mot AI-baserade påverkansförsök.

Sammantaget är Iniziopanelen väl skyddad mot bedrägligt beteende, låg svarskvalitet och försök till manipulation. Vår erfarenhet är på ett generellt plan också att denna typ av problem hittills har varit är mycket små i Iniziopanelen. Vi utvecklar och utvärderar dock ständigt våra metoder för panelkontroll och står väl rustade för framtiden.

Johan Martinsson
Director of Public Opinion and Polling
+46 70 466 04 35
johan.martinsson@demoskop.se


Ytterligare inom: Dataanalys

Visa alla inom: Dataanalys