Kan man lita på online-paneler?

Undersökningsresultat från s k online-paneler rapporteras allt flitigare i svensk dagspress. Just nu råder viss förvirring när det gäller tillförlitligheten i "nätundersökningar". Som vanligt gäller att hålla isär olika saker. Som datainsamlingsmetod är webbenkäter helt oslagbara när det gäller kostnader och effektivitet. Fältarbetet sköter sig självt. Data blir analyserbart i samma stund svaren kommer in. Sedan 2002 genomför Valforskningsprogrammet regelbundet kampanjpanelundersökningar via webben (e-panelen) under valrörelserna som ett viktigt komplement till riksrepresentativa urvalsundersökningar (besöksintervjuer och postenkäter).

Det stora diskussionsämnet är dock inte webbenkäten som datainsamlingsmetod utan snarare fenomenet att rekrytera stora stående online-paneler med respondenter som gör anspråk på att kunna leverera resultat som är representativa för befolkningen. Aftonbladet/United Minds hävdar att respondenterna i deras nätmätningar "motsvarar ett representativt urval av befolkningen".


AAPOR, the American Association for Public Opinion Research, har kommit med en välkommen sammanställning av erfarenheterna att använda online-paneler. I arbetsgruppen som tagit fram dokumentet ingår ett stort antal mycket respekterade opinionsforskare däribland Jon Krosnick vars metodexperiment med olika urvalstekniker och datainsamlingsmetoder har refererats tidigare här på bloggen.

AAPORs sammanfattning i punktform är mycket läsvärd och borde vara obligatorisk läsning för alla som bevakar svensk väljaropinion. Här har jag försökt mig på en snabb översättning av några av punkterna:

  • "Forskare bör undvika online-paneler som bygger på icke sannolikhetsurval när syftet med forskningen är att göra skattningar av populationsvärden. Det finns för närvarande inte någon generellt accepterad teoretisk grund för att hävda att enkätresultat som bygger på urval från icke sannolikhets onlinepaneler kan användas för att dra slutsatser om populationen. Att hävda "representativitet" bör undvikas när man använder dessa urvalskällor."
  • "Huvuddelen av de studier som jämfört resultat från enkäter med icke-slumpvisa online-paneler med undersökningar som använder sannolikhetsurvalsbaserade metoder (i huvudsak RDD telefonundersökningar) rapporterar signifikant annorlunda resultat för många olika typer av beteenden och attityder. Huruvida dessa skillnader beror på olika datainsamlingsmetoder (t ex webb vs telefon) eller på att on line-paneler inte baseras på sannolikhetsurval är föremål för kontinuerlig debatt. Det fåtal studier som har försökt skilja mellan datainsamlingsmetod (mode) och urvalskälla indikerar att icke-slumpvisa online-paneler är generellt sett mindre pricksäkra än undersökningar som bygger på sannolikhetsurval."
  • "Det finns situationer när en icke slumpmässigt sammansatt online-panel är ett gott val. All forskning är inte ämnad för att producera exakta nivåskattningar av populationsparametrar, vilket innebär att det finns forskningssyften och -ämnen där den låga kostnaden och unika kvaliteterna hos webdatainsamlingar är ett acceptabelt alternativ till traditionella undersökningar som bygger på sannolikhetsurval. "
  • "Forskare som använder online-paneler bör vara medvetna om att det finns signifikanta skillnader i sammansättningen av olika typer av paneler som kan påverka resultaten. Forskare bör vara varsamma när de väljer vilka on line-paneler de ska använda. "
  • "Undersökningsföretag som använder paneler skulle kunna öka kunskaperna i den allmänna debatten betydligt om de delade med sig mer information om deras metoder och data om hur deras paneler har rekryterats."

Kommentarer

Lars sa…
Apropå detta så noterade jag följande på DN:s hemsida:

"Statsvetare varnar för dessa mätmetoder och pekar på att Piratpartiet, Sverigedemokraterna och Miljöpartiet får höga siffror i dessa mätningar, medan främst Socialdemokraterna systematiskt får lägre siffror än i de etablerade institutens mätningar."

http://www.dn.se/nyheter/valet2010/historisk-spurt-kravs-av-alliansen-1.1085911

Lite lustigt att det plötsligt måste varnas för detta när den allra mest påtagliga och allvarliga avvikelsen, som det verkligen borde varnas för, återfinns just i de etablerade institutens mätningar. Fast då handlar det förstås om SD:s siffror (och den s k skämmighetseffekten). Hur kan någon seriös statsvetare se ett problem med att SD får högre siffror i online-panelerna än i de för SD totalt missvisande traditionella mätningarna? Det är väl ändå en av dessa mätningars stora fördel (då de åtminstone något tycks avhjälpa skämmighetseffekten som ger SD ett sådant otroligt stort handikapp i de traditionella mätningarna)?
@Lars: Jag beskriver här det aktuella internationella forskningsläget kring on line-paneler efter bästa förmåga. Det handlar inte om någon svensk ankdammsdebatt utan en högst seriös vetenskaplig diskussion i hela världen.

Lyft blicken. Jag kan försäkra dig om att det inte bedrivs någon häxjakt på SD. De statistiker och samhällsvetenskapliga forskare som tagit fram AAPORs rekommendationer vet sannolikt nästan ingenting om svensk politik och har antagligen aldrig hört talas om SD. Jag rekommenderar varmt att läsa hela rapporten.
Lars sa…
Henrik,

Det jag anmärkte på var det märkliga citatet från DN. Det verkligt stora problemet finns som sagt i de etablerade institutens mätningar (de misslyckas ständigt med att mäta stödet för ett parti som snart kan sitta i riksdagen), men det hör vi inte några statsvetare varna för. I stället är det online-panelerna, som sannolikt mycket bättre uppskattar just SD:s stöd, som angrips på basis av att inte minst SD får högre siffror där. Tycker du inte att det är rätt bisarrt?
Björn sa…
Hur är det med institutens metodik att likställa mobiltelefoni och traditionell fast telefoni vid telefonintervjuer? Har du någon insikt där Henrik?

För några år sedan så ringde i alla fall inte Sifo till mobiler, vilket i allt större grad borde bli ett problem representativt. Hur många av de yngre begagnar sig av gammal klumpig ångtelefoni lixom...
@Lars: Det är bara vår herre som kan veta den sanna andelen röstberättigade svenskar som skulle uppge att de stödjer parti X "om det vore val idag".

Bästa sättet att försöka ta reda på denna andel är att med slumpens hjälp upprätta en miniatyrkopia av befolkningen. Grunden för alla stickprovsundersökningar är att använda sannolikhetsurval. Telefonintervjuundersökningar bygger på sannolikhetsurval även om de har problem med den s k täckningsgraden. Alla stora on line-paneler jag känner till består i huvudsak av personer som inte rekryterats med hjälp av sannolikhetsurval.

Att lita mest på just de mätningar som råkar visar resultat man själv gillar är en milt uttryckt problematisk utgångspunkt.

AAPORs rekommendation till forskare är att inte använda on line-paneler för skattningar av populationsvärden. Särskilt inte när det inte är känt exakt hur panelerna rekryterats, hur länge paneldeltagarna varit med i panelen eller vad de får för typ av ersättningar för att vara med.

Det existerar visserligen on line-paneler där deltagarna är rekryterade med hjälp av sannolikhetsurval, men de tenderar att vara små och kortlivade alternativt extremt dyra (I de stora amerikanska valpanelerna erbjuds de slumpvist dragna amerikanerna både en dator + bredbandsuppkoppling för att vara med i panelstudier).

SOM-institutets egna försök att rekrytera via befolkningsurval visar att det är få personer i ett sådant regelrätt urval som nappar på att besvara enkäter via nätet, och att dessa personer rätt dåligt representerar gruppen samtliga svenskar.

SCB/PSU-mätningen är den största och statistiskt mest renläriga undersökningen i Sverige. I den senaste SCB/PSU från november skattades SD till 5,1 procent. Den 10 juni presenterar SCB sin nästa mätning för maj.
Lars sa…
"Att lita mest på just de mätningar som råkar visar resultat man själv gillar är en milt uttryckt problematisk utgångspunkt."

Skulle jag ha gjort det då? Jag har ju bara pekat på att det verkliga problemet finns i de etablerade institutens mätningar. De så förkastliga online-panelerna kommer med största sannolikhet att komma mycket närmare SD:s siffror än de etablerade institutens. Du kommer väl ihåg att inte en enda mätning inför EUP-valet kom upp till SD:s valresultat och att snittet låg långt, långt under detta?

"SCB/PSU-mätningen är den största och statistiskt mest renläriga undersökningen i Sverige. I den senaste SCB/PSU från november skattades SD till 5,1 procent. Den 10 juni presenterar SCB sin nästa mätning för maj."

Inte heller den har ju varit särskilt pålitlig vad gäller SD:s siffror. Före riksdagsvalet -06 fick SD ca 0,8 % där...
Jag fascineras av att det ens finns någon som betvivlar att online-paneler inte ger lika bra resultat som undersökningar gjorda med (O)SU? Efter 15hp statistik på (Stockholms) universitet är man på det klara med att webbenkäter endast bör användas i nödfall eller då härledning av populationsvärden inte är intressant.

Eller pågår en annan debatt på högre nivåer i forskarvärlden än vad vi får lära oss på grundkursen?
@Gabriel: Kan du inte övertyga någon av dina lärare i statistik att delta i debatten? En DN-debatt om on line-paneler skrivna av några tunga statistikprofessorer vore ett värdefullt bidrag till samhällsdebatten!