24 augusti 2009

Sannolikheten att SD är över 4%

Sverigedemokraterna fick 4,2 i söndagens Sifo-undersökning. Det blev förstås nya rubriker och vilda spekulationer om hur det parlamentariska läget i Sverige skulle se ut efter valet 2010 om mätningen gällde som valresultat.

Nu gäller inte mätningen som valresultat. Som jag tidigare påmint många gånger om på den här bloggen finns det felmarginaler kring skattningarna av partiernas röststöd. Undersökningen är en urvalsundersökning med 1911 svenskar. När det gäller rubriksättningar som rör fyraprocentspärren eller vilket block som egentligen "leder" finns särskild anledning att iaktta samma försiktighet som felmarginalerna motiverar.

Tack vare den sköna statistiska inferensteorin kan vi veta väldigt säkert hur säkra vi kan vara att ett parti verkligen fått en högre skattning är fyra procent. Nittiofemprocentiga konfidensintervall för skattningen av SDs procentuella löper exempelvis mellan 3,3 och 5,1 procent (vid antagande om obundna slumpmässiga urval). Vid upprepade urvalsförfaranden skulle detta konfidensintervall omsluta den sanna andelen SD-väljare i nittiofem fall av hundra.

Sannolikheten för att SDs 4,2 procent är högre än magiska fyra procent är 66 procent. Sannolikheten att i en urvalsundersökning erhålla en skattning om 4,2 procent trots att den sanna populationsskattningen för SD är lägre än fyra procent är 33 procent.

Att vara sextiosex procent säker på att SD verkligen över spärren räcker inte i vetenskapliga sammanhang. Den så kallade gentlemen's agreement i surveysammanhang är att det krävs nittiofem procent för att belägga. SD hade i undersökningen behövt ha något mer än 4,7 procent för att en vetenskaplig tidskrift hade köpt slutsatsen att "SD är över spärren".

Kristdemokraterna fick 4,7 procent i Sifon igår. Med vetenskapliga krav (95 procents signifikansnivå) kan inte heller denna skattning konstateras vara högre än 4 procent. Men här är vi betydligt mer säkra. Sannolikheten för att KDs 4,7 är större än 4 procent är nämligen 94 procent.

Den spelorienterade valrörelsebevakningen slår nya rekord. Kampen kring fyra procentspärren kommer bli en följetong under det kommande året. Vilken seriös opinionsjournalist blir först med att presentera sannolikheter för att en skattning är större eller mindre än fyra procent?

Läs mer här:
http://www.henrikoscarsson.com/2009/05/over-eller-under-sparren.html
http://www.henrikoscarsson.com/2009/01/opinionsjournalistikens-fallor-1.html

11 kommentarer:

Anonym sa...

Du glömmer en mycket viktig faktor. Inför alla val där SD funnits med i opinionsundersökningarna har SD ALLTID kraftigt underskattats. Detta kan man se historiskt från riksdagsvalet 2002 och EU-valet 2004. Riksdagsvalet 2006 nådde SD de facto samma resultat som sitt under valrörelsen absolut högsta mätvärde. EU-valet i år, där fick SD ett högre resultat än de någonsin uppnådde i någon opinionsundersökning inför valet. Felmarginalerna mellan genomsnitten av mätvärden och faktiska valresultat ligger i stoleksordningen 50%, eller högre.

Svennebanan

Henrik Oscarsson sa...

Rätt. Men du talar här om ett systematiskt fel (uppenbarligen finns en ovilja bland respondenter att uppge röstningsintention på SD) som kräver andra slags överväganden än vad den statistiska inferensteorin kan erbjuda.

Olika datainsamlingsmetoder kan ge olika skattningar på SD. Eventuellt (vi vet inte säkert ännu) är "skämmighetseffekten" lägre om vi använder webbenkäter än vid telefon- eller besöksintervjuer. Vi har tidigare kunnat konstatera sådana effekter när det gäller åsikter i flykting- och invandringsfrågor.

Magnus A sa...

Ja, statistiskt är 66 procent korrekt, men man kan inte komma ifrån det "Svennebanan" nämner (även om denne SD:are överdriver enormt med påståendet 50%). Opinionsundersökningar hade vid senaste riksdagsval viss underskattning och i senaste EU-val en stor sådan, där SD väl underskattades med grovt en procent trots att PP med väljare i samma kategori beträffande ålder och kön konkurrerade med SD.

Effekten tycks så relevant som fingervisare för SD:s möjligheter att ta sig till riksdagen att den faktiskt borde nämnas av en statsvetare som dividerar om statistik kring SD:s möjlighet att ta sig till riksdagen.

Underskattningen bör gå att skatta med ett på empiri baserat mått. Opinionsinstitut kan söka finna och lansera ett utifrån modellkörningar verifierat mått (givetvis för alla partier och över maximal tidrymd).

Givet att det möjligt att göra ett sådant mått duger inte invändningen att det inte finns, anser jag.

Det blir förstås svårt att definiera skämmighetsfaktor; förmodligen får man stanna vid att mäta underskattning vid en lång rad föregående val och statistisk säkerhet för en sådan (som kan användas som kompsnsation av den som anser att måttet är bra). Kanske en sannolikhetströskel och hur mycket felet överträffar naturlig variation i mätfel.

-
United Minds har väl nätbaserad undersökning, men frågan är om inte den spuriöst ger ett mer korrekt värde för SD? Att skämmighetsfaktor minskar vid nätomröstning har svårt att tro. Snarare finns beror nog en offset på t ex att teknikintresse och SD-sympati är samvarierande egenskaper kompenserande den effekt som försvagar SD i andra instituts mätningar.

Lars sa...

"Opinionsundersökningar hade vid senaste riksdagsval viss underskattning och i senaste EU-val en stor sådan..."

Underskattningen är i princip densamma. Valresultaten från -06 och -09 ligger ganska nära (2,9 % mot 3,3 %) och inför dessa val snittade partiet kring 2 % i opinionsmätningarna. Samma med VALU där SD fick 1,9 % -06 mot 2,4 % -09.

Magnus A sa...

Lars. Det där var för det första en detalj som inte på något sätt är central för budskapet i min kommentar, men eftersom du gör dig besväret att ifrågasätta det...

Före EU-valet 2009 vill jag minnas att de flesta opinionsinstituts resultat var under 2 procent för SD, medan ett opinionsinstitut vid valet 2006 var uppe i 2.8 procent och snittet för opinionsundersökningar då var kring 2 procent om inte mer. Då särredovisade även färre institut SD.

Det jag kommenterar är opinionsundersökningars resultat före val, inte VALU. VALU ointressant i denna diskussion av flera skäl; att du tar upp det är kanske för att du kan använda det för att gynna din antites? Att VALU är ointresant beror på att det är en helt annan metod och att opinionsundersökningar är intressanta för politisk analys varje timme, dag och år medan VALU vara är intressant några timmar.

Men även VALU:s siffror iutar åt det jag påstod; absolut skillnad marginellt större 2006 och relativ skillnad långt större.

Plocka fram relevanta siffrorna, nämligen opinionsundersökingar.

Nu hade inte denna distinktion någon som helst betydelse för budskapet i min kommentar, men jag kan ändå fortsätta att teoretisera över denna oväsentliga sak som du tydligen är het på att kritisera mig för: En relevant skillnad i jämförelse mellan underskattning 2006 och 2009 kan vara att valen gäller olika saker. SD:are kan t ex vara mindre benägna att svara på opinionsundersökning till EU-valet. Men detta är bara ren spekulation, men en ack så relevant för denna obetydliga oväsentliga lilla detalj som du valde att kritisera mig för.

Lars sa...

Lustigt att du tar min kommentar som något sorts angrepp. Uppskattar du inte saklig och korrekt information?

"Före EU-valet 2009 vill jag minnas att de flesta opinionsinstituts resultat var under 2 procent för SD..."

SD fick ett antal mätningar över 2 % och som högst 3,1 %. Snittet hamnade ungefär där snittet till riksdagsvalet 2006 låg, dvs. kring 2 %. Läs på innan du börjar svinga vilt omkring dig. Och visst är VALU av intresse. Att partiet underskattas även där (och på samma nivå som i opinionsundersökningarna) styrker ju tesen om ett systematiskt fel i undersökningar som rör SD.

Lars sa...

Henrik,

Det tycks som om din kritik bara uppmärksammas när det är SD det gäller:

http://www.makthavare.se/2009/08/24/sd-rubriker-och-sifo-far-kritik/

Din kritik gäller väl lika mycket andra partiers siffror och inte minst beskrivningar av ställningen mellan blocken. Författaren till artikeln menar i en kommentar att rubriker om "SD över spärren" skulle innebära en "överdriven beskrivning av partiets potens", men det är väl inte vad din kritik går ut på. Du är ju medveten om det systematiska fel som opinionsundersökningarna är behäftade med vad gäller SD:s siffror. Enligt din poll of polls står SD i dag starkare än någonsin tidigare opinionsmässigt och snittar strax under spärren (att jämföra med kring 2 % inför riksdagsvalet 2006). Tar man då den grova underskattningen av partiet i beaktning så inser man att SD:s potens att med god marginal vara över spärren är högst reell. Samtidigt inser man också att det kommer att bli mycket svårt för partiet att komma upp till de siffror som behövs i enskilda mätningar för att partiet med vetenskaplig hållbarhet ska kunna sägas vara "över spärren" i dessa. Det är väl det här ni statsvetare har en pedagogisk uppgift med att förklara. I annat fall riskerar många i det mediala och politiska etablissemanget att chockas svårt på valnatten 2010...

Lars sa...

Ytterligare ett exempel här:

http://blogg.svd.se/ledarbloggen?id=15165

Magnus A sa...

Lars: "SD fick ett antal mätningar över 2 % och som högst 3,1 %"

SD fick i mätningar som handlade om riksdagsvalet detta, men du måste skilja på de mätningarna och de som rör EU-valet.

Mina påpekanden gäller, och jag vidhåller att du var tramsig som började att kritisera den minst intressanta informationen i min kommentar. Typiskt sofistiskt beteende och ett som inte är konstruktivt på minsta sätt.

Jag uppskattar korrekt information, och jag vidhåller att mitt påpekande även om VALU är korrekt och det var du själv som presenterade siffrorna här. Även om det hade varit rakt motsatt förhållande mellan valet 2006 och EU-valet gäller dock allt övrigt i min första kommentar exakt lika mycket. Det var alltså en liten detalj -- "flugskit" -- av information i min kommentar där jag anser att mitt förslag och mina argument är intressanta och skulle kunna diskuteras konstruktivt.

Att du Lars fokuserade på en "flugskit" (samt utan att ha rätt) är inget jag ser som ett angrepp på mig, men jag vill påpeka för dig att du skulle göra din omgivning mindre irriterad om du slutar orera om "flugskit" (det oväsentliga).

Magnus A sa...

Lars. Jag håller med dig beträffande det du skriver om att man nästan slår knut på sig i sätt att beskriva SD:s opinionsstöd på (och jag är inte SD:are).

Underskattningen bör gå bra att kvantifiera som ett statistiskt mått. Just do it.

Lars sa...

"SD fick i mätningar som handlade om riksdagsvalet detta, men du måste skilja på de mätningarna och de som rör EU-valet."

Som sagt. Hur vore det om du läser på innan du börjar anklaga mig för att fara med osanning? Siffrorna jag hänvisade till gäller just EU-VALET! Här kan du se samtliga resultat:

http://privat.bahnhof.se/wb492673/11%20Main%20frame%20EU-val.html

SD uppnådde 3,1 % i en mätning den 15/5 och strax innan valet låg de flesta mätningarna över 2 %.