Kan man lita på online-paneler?

Undersökningsresultat från s k online-paneler rapporteras allt flitigare i svensk dagspress. Just nu råder viss förvirring när det gäller tillförlitligheten i "nätundersökningar". Som vanligt gäller att hålla isär olika saker. Som datainsamlingsmetod är webbenkäter helt oslagbara när det gäller kostnader och effektivitet. Fältarbetet sköter sig självt. Data blir analyserbart i samma stund svaren kommer in. Sedan 2002 genomför Valforskningsprogrammet regelbundet kampanjpanelundersökningar via webben (e-panelen) under valrörelserna som ett viktigt komplement till riksrepresentativa urvalsundersökningar (besöksintervjuer och postenkäter).

Det stora diskussionsämnet är dock inte webbenkäten som datainsamlingsmetod utan snarare fenomenet att rekrytera stora stående online-paneler med respondenter som gör anspråk på att kunna leverera resultat som är representativa för befolkningen. Aftonbladet/United Minds hävdar att respondenterna i deras nätmätningar "motsvarar ett representativt urval av befolkningen".


AAPOR, the American Association for Public Opinion Research, har kommit med en välkommen sammanställning av erfarenheterna att använda online-paneler. I arbetsgruppen som tagit fram dokumentet ingår ett stort antal mycket respekterade opinionsforskare däribland Jon Krosnick vars metodexperiment med olika urvalstekniker och datainsamlingsmetoder har refererats tidigare här på bloggen.

AAPORs sammanfattning i punktform är mycket läsvärd och borde vara obligatorisk läsning för alla som bevakar svensk väljaropinion. Här har jag försökt mig på en snabb översättning av några av punkterna:

• "Forskare bör undvika online-paneler som bygger på icke sannolikhetsurval när syftet med forskningen är att göra skattningar av populationsvärden. Det finns för närvarande inte någon generellt accepterad teoretisk grund för att hävda att enkätresultat som bygger på urval från icke sannolikhets onlinepaneler kan användas för att dra slutsatser om populationen. Att hävda "representativitet" bör undvikas när man använder dessa urvalskällor."
  
• "Huvuddelen av de studier som jämfört resultat från enkäter med icke-slumpvisa online-paneler med undersökningar som använder sannolikhetsurvalsbaserade metoder (i huvudsak RDD telefonundersökningar) rapporterar signifikant annorlunda resultat för många olika typer av beteenden och attityder. Huruvida dessa skillnader beror på olika datainsamlingsmetoder (t ex webb vs telefon) eller på att on line-paneler inte baseras på sannolikhetsurval är föremål för kontinuerlig debatt. Det fåtal studier som har försökt skilja mellan datainsamlingsmetod (mode) och urvalskälla indikerar att icke-slumpvisa online-paneler är generellt sett mindre pricksäkra än undersökningar som bygger på sannolikhetsurval."
  
• "Det finns situationer när en icke slumpmässigt sammansatt online-panel är ett gott val. All forskning är inte ämnad för att producera exakta nivåskattningar av populationsparametrar, vilket innebär att det finns forskningssyften och -ämnen där den låga kostnaden och unika kvaliteterna hos webdatainsamlingar är ett acceptabelt alternativ till traditionella undersökningar som bygger på sannolikhetsurval. "
  
• "Forskare som använder online-paneler bör vara medvetna om att det finns signifikanta skillnader i sammansättningen av olika typer av paneler som kan påverka resultaten. Forskare bör vara varsamma när de väljer vilka on line-paneler de ska använda. "
  
• "Undersökningsföretag som använder paneler skulle kunna öka kunskaperna i den allmänna debatten betydligt om de delade med sig mer information om deras metoder och data om hur deras paneler har rekryterats."

Odelleffekten

När kritik av motståndarnas politik (negative campaigning) övergår i smutskastning (mudslinging) går innebörden i den sakpolitiska kritiken ofta förlorad. Fokus hamnar på de verbala angreppen i sig själva. Mats Odells motståndarkritik av de rödgrönas utlovade kommunmiljarder är det idag ingen som talar om. Ingen sitter och räknar på om och hur kommunmiljardlöftet är finansierat eller vad effekterna av en sådan politik kan bli. Istället talar vi om hur kommunminister Odell valde att benämna denna politik.

Tobleroneuttalandet var väntat men kanske inte så tidigt i valrörelsen och inte från en minister. Har fördämningarna brustit? Nästa fotfel lät inte vänta på sig. Thomas Östros kunde inte hålla huvudet kallt utan kontrade med dyngstack. När dessa ledargestalter bland våra förtroendevalda sätter sig jämte varandra i sandlådan så sänder det signaler om att det är fritt fram för andra att delta. Farväl sakpolitiska diskussioner om hur viktiga samhällsproblem skall lösas under den kommande mandatperioden.

En valrörelsedebatt skall vara tuff och småelak. Att introducera nya, fyndiga, kvicka och eleganta angrepp på motståndarnas politik kan ge den krydda åt valbudskapen som gör valrörelsen underhållande även för människor som normalt inte intresserar sig särskilt mycket för politik. Statsministerkandidater skall förstås nagelfaras i särskild ordning även när det gäller personliga ledaregenskaper som kan anses vara relevanta för möjligheterna att göra ett bra jobb som statsminister.

Men det är en tunn linje mellan angrepp som framhäver sakinnehållet i ett valbudskap och angrepp som fördunklar detsamma. Tobleroneuttalandet saknade enligt min mening den elegans, kvickhet och det nyhetsvärde man kan förvänta sig av ett motståndarkritiskt angrepp från en erfaren och ansvarstagande politiker. Uttalandet kunde i själva verket ha varit frambrölat av vilken döbloggare som helst. Bevittnar vi en bloggifiering av valrörelsen? Det är i så fall knappast en sådan effekt som Mats Odell vill få uppkallad efter sig och ihågkommen för.

Schyman, SOM och jämställdheten

I en debattartikel i GP idag uttrycker Gudrun Schyman sin besvikelse över att jämställdheten uppfattas som viktig av endast två procent av svenskarna i den senaste SOM-undersökningen. Att grundläggande surveymetodologi blir ämne för en debattartikel händer inte särskilt ofta. Artikelrubriken förmedlar en av de viktigaste insikterna inom surveyforskningen (och journalistiken och politiken) nämligen att svaren beror på frågan. (Tänk om man istället fick svar som handlade om helt andra saker än vad man frågade om eller om man fick samma svar oavsett hur frågan ställts...?).

Av någon besynnerlig anledning (eftersom den är huvudrollsinnehavaren i artikeln) redovisas emellertid inte den frågeformulering som används i SOM-undersökningarna sedan 1986 (och för övrigt i tusentals andra undersökningar i världen sedan ett halvsekel tillbaka). SOM använder en variant av den klassiska MIP (Most Important Problem)-frågan och lyder så här:

"Vilken eller vilka frågor eller samhällsproblem tycker du är viktigast i Sverige
i dag? Ange högst tre frågor/samhällsproblem"

Det handlar om en helt öppen fråga som är placerad alldeles i början av formuläret. Respondenterna får själva fylla i precis vad de vill. Själva idén med frågan är att försöka "tappa av" vad människor går omkring och tänker på "i toppen av huvudet" (top of mind). Frågan fungerar bäst i intervjuformat. Meningen är att respondenterna inte skall fundera för mycket. Forskaren vill ha en ögonblicklig avläsning av vilka frågor som ligger högt på agendan hos respondenten. Lägg märke till ordet "viktigast" i frågeformuleringen. Det räcker alltså inte att människor tycker att en fråga är viktig. SOM frågar efter de viktigaste samhällsproblemen.

SOM låter koda de öppna svaren in i kategorier med hjälp av ett detaljerat kodschema med hundratals olika kategorier. Du kan se 2009 års huvudresultat i Sören Holmbergs presentation (.ppt) eller varför inte se och höra presentationen här.

Gudrun Schymans analys är korrekt. Politik är en agendakamp. Vill man vinna framgångar behöver man förändra människors sätt att tänka i en riktning som likar det egna partiets samhällsanalys. Det handlar om att skapa associationer av just det slaget Schyman själv diskuterar i artikeln. Om FIskall ha en chans att ta sig över fyra procent i september behöver fler svenskar tycka att jämställdhet är det viktigaste samhällsproblemet, och dessutom att FI uppfattas som det parti som har den bästa politiken för att lösa detta samhällsproblem. (Piratpartiet och Sverigedemokraterna har en helt likartad situation).

De jämställda åsikterna finns på plats, åtminstone i tillräcklig omfattning för att kunna utgöra väljarunderlag för en riksdagsrepresentation (jo, Gudrun, det existerar mängder av mätningar av svenska folkets konkreta åsikter kring jämställdhet, män och kvinnors makt, sex timmars arbetsdag, hedersvåld, föräldraskap, asylpolitik och de andra frågorna som omnämns i artikeln). För FI är utmaningen att tydligare länka samman sin politik för ökad jämställdhet med de samhällsproblem som många väljare tycker är viktigast.

Biståndsviljan i Sverige

Biståndsviljan i Sverige utgör en av de längsta tidsserierna vi har tillgång till inom svensk samhällsvetenskap. Frågor om u-hjälp och bistånd har inte ställts på exakt samma sätt hela tiden, men vi kan ändå gå tillbaka till 1956 för en tidsserie med acceptabel jämförbarhet. För detaljer hänvisas till Ekengren & Oscarsson (1998).

Figuren visar andelen biståndsvänliga personer i Sverige. Ju högre andel desto starkare biståndsvilja.


De blåa siffrorna är hämtade från svenska valundersökningar. De gröna siffrorna är Statistiska centralbyråns regelbundna mätningar av biståndsviljan och desamma som SIDA brukar använda sig av. De orange siffrorna är hämtade från SOM-undersökningarna under perioden 1987-2009.

Stödet för svenskt bistånd till utvecklingsländer var mycket starkt under den period då det statliga biståndet byggdes upp, framför allt under 1960-talet. Det fanns en stor och växande kaka att fördela både inom landet men också utanför Sveriges gränser.

Ekonomiska konjunkturer spelar en viktig roll för nivån på biståndsviljan. Det finns både på aggregerad nivå och individnivå ett starkt samband mellan ekonomi och biståndsvilja. När samhällsekonomin är dålig minskar svenska folkets biståndsvilja, som under 1990-talskrisen när vi såg fallande biståndsvilja i Sverige. Biståndsviljan återhämtade sig sedan mycket starkt.

Efter finanskrisen har biståndsviljan minskat igen. Mellan 2007 och 2009 visar SOM-undersökningarna en kraftig nedgång i stödet för svenskt bistånd, från 47 procent till 36 procent. Denna minskning är min huvudnyhet och kommer vi tala mer om strax.

Lägg märke till att det är samma fråga ("minska u-hjälpen") som används i valundersökningarna (blå) som i SOM (orange). Biståndsviljan är genomgående mer positiva i de svenska valundersöknignarna. Skillnaderna i skattningarna beror på datainsamlingsmetoden: I Valundersökningarna som ger en ljusare bild av biståndsviljan handlar det om besöksintervjuer där intervjuare från SCB kommer hem och tittar respondenterna i ögonen. I SOM-undersökningarna är det postenkäter, som bekant, som respondenterna fyller i alena hemma vid köksbordet. Resultatet är en svagare biståndsvilja.

Satisficing-effekter, att respondenter tenderar att vilja vara till lags och därför ge svar som är förenliga med samhällsnormer, är starkare i besök än i enkät. Här illustrerat med biståndsopinionen. Likartade effekter av datainsamlingsmetod finns för inställning till hårdare straff, flyktingmottagning och tolerans gentemot oliktänkande.

Hela powerpointpresentationen från gårdagens SOM-seminarium där min presentation av biståndsviljan ingår ligger publicerad på www.som.gu.se

Valtipset 2010

Statsvetenskapliga institutionen i Göteborg brukar anordna valtips inför varje riksdagsval. Den här gången bjuder vi in alla som vill att delta.

Från och med idag och fram till den 19 juni kan Du lämna in Valtipset 2010. Valtipset är en tävling i att gissa valresultatet i riksdagsvalet. Den 20 juni presenteras hur alla tippare tror att Valet 2010 kommer att sluta. När valresultatet är redovisat den 22 september koras en vinnare. Förutom ära och berömmelse utlovas ett bokpaket med böcker om svenskt väljarbeteende till den som hamnar närmast valresultatet. Om du vill kan Du lämna in två olika tips.

För att vinna behöver ditt tips (11 partier + övriga) ha den minsta summerade avvikelsen (i procentenheter) från valresultatet. Om två tips hamnar på delad förstaplats används gissningar av valdeltagandet som tie-breaker. Skulle två tips ändå vara lika vinner det först inlämnade tipset.

Information om partiernas styrkeförhållanden i opinionsmätningarna kan du hitta på Ekots hemsida. Historiska data tillbaka till 1967 kan du ladda ned här om du har ett google-konto.

Sprid gärna den här länken som går till tipset: http://www.easyresearch.se/s.asp?WID=768057&Pwd=24125622

Jag har också lagt upp Valtipset 2010 som ett facebook-evenemang. Där kan du se vilka andra som är med! http://www.facebook.com/event.php?eid=114630235224727&ref=mf

Opinionsutvecklingen under mandatperioden

Figurerna nedan visar opinionsutvecklingen från september 2006 och till idag för de sju riksdagspartierna och Sverigedemokraterna. Resultaten bygger på mätningar från Sifo, SCB, Synovate, Novus och Demoskop. Den svarta linjen i figurerna representerar valresultatet 2006. Den grå tjocka linjen representerar fyraprocentspärren.

Vänsterpartiet: stabilt mellan fem och sex procent


Miljöpartiet: mot det bästa riksdagsvalet i partiets historia?



Socialdemokraterna: kan partiet höja sig från Perssons katastrofresultat?




Sverigedemokraterna: upp som en sol i oktober...

Kristdemokraterna: snittar ovanför fyra procent

Folkpartiet: stabilt kring 7 procent

Centerpartiet: Linjär nedgång

Moderaterna: mot nya valframgångar på Allianskamraternas bekostnad?

Nu börjar valrörelsen

Om någon vecka drar den lilla valrörelsen igång. Den kommer att pågå intensivt i ungefär en månad mellan den 15 april och 15 maj. Detta och mycket annat fick vi lära oss under den förra veckan när socialdemokraternas kommunikationschef Karin Pettersson besökte ett seminarium på Statsvetenskapliga institutionen i Göteborg. Det blev ett mycket intressant seminarium om socialdemokraternas kampanjstrategi inför 2010 års val. Vi fick också strecka för den 3 maj i almanackan. Då presenteras en gemensam vårmotion av de rödgröna partierna. Enligt Pettersson kommer många frågor besvaras och mycket falla på plats vid denna tidpunkt.

Figuren visar det procentuella opinionsstödet (Demoskop, Sifo, SCB, Synovate & Novus) för VSMP (röd) och CFPKDM (blå) under den innevarande mandatperioden (procent).

Den närmaste månaden blir med andra ord högintressant och viktig för fortsättningen. Räkna med mycket politik men sannolikt inga dramatiska omedelbara förändringar av väljaropinionen. Utspel, vårbudgetar och vårmotioner behöver lite tid för att sippra ned genom folkopinionens sandlager. Nya berättelser behöver tid för att etableras. Och det mesta krutet sparas nog till efter sommaren. Den lilla valrörelsen kommer säkert sätta ett grundackord för händelseutvecklingen under sommaren. Frågan är om det blir moll eller dur för Alliansregeringen?