08 december 2009

Internet- vs telefonundersökningar

Frågeundersökningar är alltjämt det i särklass vanligaste verktyget inom empirisk samhällsvetenskaplig forskning. Opinionsforskningen har ständigt behövt anpassa sina datainsamlingsmetoder för att kunna erbjuda hög kvalitet i undersökningsresultaten. Fallande svarsfrekvenser, stegrade kostnader, förändringar av livsstilar och mediemöblemang och snabb teknikutveckling står för ständiga utmaningar.

Det är angeläget att åstadkomma en metodutveckling som baserar sig på noggranna systematiska jämförelser och utvärderingar av olika insamlingstekniker. Inom några år kommer vi sannolikt genomföra undersökningar där många olika datainsamlingsmetoder används samtidigt, så kallade Mixed Mode-studier. För att kunna använda resultaten från sådana studier måste vi känna till mycket mer om vilka effekter datainsamlingsmetoderna har på resultaten. Vi vet att sådana effekter finns. Används de inom en och samma studie måste vi lära oss ta hänsyn till dessa effekter.

Givet frågeundersökningars flitiga användning av myndigheter, marknadsundersökningsföretag, medier och forskare bedrivs det på tok för litet forskning kring effekterna av att använda olika typer av undersökningsmetoder.

Lyckligtvis finns det viss vägledning från ett växande antal amerikanska studier. Jon A Krosnick vid Stanford University har genomfört en lång serie studier och experiment för att studera skillnader i representativitet och svarskvalitet hos undersökningar baserade på telefonintervjuer med slumpmässig telefonuppringning, s k Random Digit Dialling, RDD) och de nyare formerna av nätbaserade datainsamlingsmetoder med webbenkäter.

Frågan om kvalitet och användningsområde är särskilt aktuell i Sverige just nu eftersom vi inför valet 2010 kommer att få se mängder av opinionsmätningar som bygger på Internetundersökningar; i huvudsak handlar det då om urval dragna från stora stående paneler av (i huvudsak) självrekryterade individer som oftast belönas för sitt deltagande genom t ex ett poängsystem som kan omsättas i exempelvis varor eller välgörenhet.

Krosnick och hans forskargrupp genomförde ett nationellt fältexperiment i samband med presidentvalet 2000. Samma panelundersökning gick i fält med tre olika datainsamlingstekniker: 1) telefonintervjuer med sannolikhetsurval (RDD), 2) Internetenkät till ett sannolikhetsurval (individer rekryteras till Internetpaneler via RDD och ges då tillgång till Internetuppkoppling via WebTV), 3) Internetenkät till ett icke-sannolikhetsurval som fyllde i enkäter mot ersättning.

Resultaten i punktform:
  • Sannolikhetsurvalen (1+2) var mer representativa för amerikanska folket än icke-sannolikhetsurvalet (3) även efter vägning.
  • Icke-sannolikhetsurvalet (3) var jämfört med sannolikhetsurvalen (1+2) avsevärt mer kunniga om och engagerade i det ämne som enkäten gällde (politik).
  • Telefonundersökningen (1) genererade mer mätfel och mer socialt önskvärda svar (satisficing) än Internetundersökningarna (2+3).
  • Internet-sannolikhetsurvalet (2) uppvisade i sin tur mer mätfel och socialt önskvärda svar än det självrekryterade Interneturvalet (3).
  • Övning/erfarenhet att fylla i enkätundersökningar ökade precisionen i svaren, liksom att delta i undersökningar om ämnen respondenterna var personligen intresserade av.
  • Icke-sannolikhetsurvalet via nätet uppvisade alltså bäst precision men gav samtidigt de mest skeva urvalen. Telefon gav bättre urval men uppvisade sämre svarsprecision (reporting accuracy).

Den optimala kombinationen är att använda Internetenkäter med sannolikhetsurval (2): "These results suggest that Internet data collection from a probability sample yields more accurate results than do telephone interviewing and Internet data collection from non-probability samples." (Chang & Krosnick 2008; publicerat 2009 i Public Opinion Quarterly).

Krosnicks resultat är ytterligare en bekräftelse att avvikelserna mellan telefonurval och internetundersökningar när det gäller skattningen av SDs opinionsstöd (SD skattas systematiskt högre i nätundersökningar än i telefonundersökningar) i huvudsak beror på att resultaten från nätundersökningarna inte påverkas av intervjuareffekten: det är helt enkelt plågsamt att tala om för en intervjuare att man hyser socialt belastande eller avvikande uppfattningar. Sören Holmberg har kallat effekten för "skämmighetseffekten".

Frågan som bör ställas till de institut som genomför Internetmätningar i Sverige är i vilken utsträckning man använder någon form av sannolikhetsurval (befolkningsurval eller RDD) när man rekryterar sina respondenter.

7 kommentarer:

Svensk Opinion sa...

Intressant!

Är inte detta ett case för att ha med United Minds och Sentios undersökningar i PoP's?

Anonym sa...

Frågan om man använder sannolikhetsurval bör också kompletteras med om man också tar någon hänsyn till respondenternas olika inklusionssannolikheter vid vägningen

Henrik Oscarsson sa...

Svensk opinion: Ja, det beror ju på i vilken utsträckning man använt sannolikhetsurval vid rekryteringen av respondenter.

Anonym: Ja, i det här fallet med Krosnick-studien var det så. Annars blir det svårt att hävda att man gör ett sannolikhetsurval, eller hur?

Svensk Opinion sa...

Som enskilda mätningar är webbundersökningar utan sannolikhetsurval inte mycket att ha, men som ingrediens i en PoP borde de väl kunna kompensera för ex. soc. desirability i andra mätningar och därmed bidra till en bättre samlad bild?

Henrik Oscarsson sa...

I Poll of Polls gäller väl samma princip som vid matlagning: ALLA råvaror och ingredienser måste hålla hög kvalitet annars kan hela anrättningen smaka illa :)

Svensk Opinion sa...

Inte säker på att matmetaforen håller till 100%, men jag ser poängen :-)

Däremot kan väl olika råvaror ha olika kvaliteter, och det gäller att hitta den rätta balansen mellan dem..

Kalle Blomqvist sa...

Jag ställer mig mycket skeptisk till oponionsundersökningar över huvud taget, av följande skäl:
1. Tveksamma urvalsmetoder: Telefon - många har hemliga nummer, gäller det både fasta telefonabonnemang och mobiler, osv. Internet - av skäl du nämnt i artikeln.
2. För litet underlag: 1.000 personers politiska åsikter varierar STORT. Minst 10.000 måste det vara.
3. Majoriteten har ofta fel. Hur många procent av befolkningen som "tycker" en viss sak kan vara irrelevant. Genom världshistorien har ofta EN person, eller en liten grupp, vetat om sanningen. Resten har varit emot eller varit ovetande. Så är det än i våra dagar, även om man får hoppas att forsking och folkbildning får fler att tala sanning och inte uttala sig tvärsäkert när de borde inse att de kanske har fel.