02 oktober 2011

KD, C, SD och fyraprocentspärren

Sedan riksdagsvalet 2010 har Synovate, Sifo, Novus, Demoskop och SCB publicerat 43 mätningar av hur svenska folket skulle rösta "om det vore val idag" (jag kan dock ha missat någon i min Mätningarnas Mätning). Eftersom det handlar om slumpmässiga urval gör man förstås bäst i att väga samman resultaten från olika undersökningar för att bilda sig en uppfattning om läge och riktning i väljaropinionen.

Sammanvägningar är en sak och det kan diskuteras mycket hur vägningarna skall göras och om det är meningsfullt överhuvudtaget. Men faktum är att resultaten från enskilda undersökningar kan analyseras i mycket större utsträckning än vad som normalt görs. Jag genomför alltid statistiska hypotestest för att se om ett partis avstånd från fyraprocentspärren är tillräckligt stort för att den inte skulle kunna ha åstadkommits av slumpen. Sådan analys är viktig eftersom ett parti på 3,9 eller 4,1 aldrig kan sägas ligger över eller under fyraprocentspärren. Att häva ur sig den typen av slutsatser på basis av en enstaka undersökning kan opinionsjournalister och ledarskribenter göra, men läsarna av den här bloggen vet bättre. Nej, avståndet från den där magiska fyraprocentspärren behöver vara betydligt större än ett par tiondelar för att vi överhuvudtaget skall börja fundera i den riktningen.

Ett mycket enkelt test avgör hur stort detta avstånd till spärren behöver vara för att man ska kunna konstatera att ett parti i en given mätning hamnat över eller under fyra procent. Den statistiska inferensteorin är helt intuitiv: ju större avståndet till fyraprocentspärren är och ju fler personer som intervjuats desto större sannolikhet att det skattade avståndet är reellt och inte bara slumpens verk: för vi vill ju inte dra långtgående slutsatser om partiers och partiledares framtid på grund av slumpen, eller hur?

Tre partier är aktuella för sådana hypotestest: Centerpartiet, Kristdemokraterna och Sverigedemokraterna. Sammanställningen nedan visar att i de 43 mätningar som genomförts sedan valet 2010 har Centerpartiet varit signifikant över spärren 24 gånger och aldrig varit signifikant under spärren. Vid övriga mätningar har avståndet från fyraprocentspärren följaktligen varit för litet (EJ SIGNIFIKANT). En nittiofemprocentig signifikansnivå har använts i analysen. Motsvarande resultat för Kristdemokraterna är att partiet varit signifikant under spärren endast vid fem tillfällen (!) och över spärren vid två tillfällen. För Sverigedemokraterna gäller att partiet varit signifikant större än fyra procent vid 32 tillfällen och endast under spärren vid ett tillfälle.


De bloggläsare som har tillgång till Stata kan själva genomföra egna tester på alla kommande opinionsundersökningar. Kommandot prtesti (proportion test immidiate) är busenkelt att använda. För att testa huruvida ett partis skattning är över eller under fyra procent (eller vilken annan nivå som helst) skriver du bara t ex "prtesti 1000 .054 .04" där 1000 är antalet intervjuade och där .054 är skattningen och där fyraprocentspärren uttrycks som en proportion (.04). Om man inte anger något annat gäller 95-procentsnivån för alla signifikanstester.

9 kommentarer:

Lars sa...

"Tre partier är aktuella för sådana hypotestest: Centerpartiet, Kristdemokraterna och Sverigedemokraterna."

Borde det inte ha varit C, KD och Vänsterpartiet? De har i många mätningar legat kring 4 % medan SD oftast ligger kring 5-8 % (sedan riksdagsinträdet har SD bara varit under 4 % vid två tillfällen). Lägg underskattningen till det och SD:s position är mycket stark och långt från spärren.

Lars sa...

Vad säger du för övrigt om DN/Synovate på sistone? De har börjat leverera mycket märkliga mätningar där partierna far upp och ner som en jojo. SD fick i den senaste undersökningen en statistiskt säker uppgång på 2,2 procentenheter medan Moderaterna backade med hela 5,2. Mätningen före det var det ombytta roller...

Anonym sa...

Bäste profoessor Oskarsson har helt förbisett att bastalen inkluderar osäkra väljare medan partiernas procenttal är baserade på beräkningar där osäkra uteslutits ur basen. För att testerna ska bli riktiga måste andelen osäkra räknas bort (tänk giltiga valsedlar) från basen.

Eftersom testerna baseras på felaktiga förutsättningar saknar de allt värde i diskussionen om ett visst parti ligger över eller under spärren. Förvånande att en professorn - som så ofta uttalar sig om väljarundersökningar - har så grunda kunskaper om väljarbarometrar att man begår så enkla räknefel...

/E

Jon K sa...

Om man inte har Stata men väl Excel kan man använda följande metod för att kolla signifikansen:
- Skriv antal intervjuade i A1
- Skriv skattningen i A2
- Skriv följande i A3: =IF(NORMSDIST(-ABS((A2-.04)/SQRT(.04*(1-.04)/A1)))<=0.05,IF(A2>.04,"ÖVER","UNDER"),"ES")

Jon K sa...

Anonym har, om vi bortser från den något otrevliga tonen, en viss poäng. Det som publiceras av opinionsinstituten är ju inte rådata, utan dels har ju "vet ej"-svar och dylikt sorterats ut och dels har siffrorna genomgått viss efterstratifiering (t.ex. viktning efter röstning i förra valet eller för att kompensera för bortfall i vissa grupper). Detta är skälet till att den metod som Henrik beskriver inte alltid kommer att anse ett resultat signifikant över/under 4% trots att institutet säger att det är det (och vice versa). Däremot ger det en god - oftast tillräckligt god - approximation.

För övrigt är detta ännu ett skäl till varför publicering av opinionsmätningar alltid bör åtföljas av publicering av information om resultatens signifikans, använd metodik m.m. Detta är man överlag katastrofalt dålig på i Sverige och generellt mycket bättre på i t.ex. USA.

Henrik Oscarsson sa...

@E: Tack för en bra synpunkt.

Bra att du uppmärksammar att antalet intervjuade som redovisas inte är den procentbas som beräkningarna av partiernas röststöd baseras på.

Andelen osäkra är i snitt 10 procent i de mätningar som här redovisas. Det systematiska felet beror på att instituten själva inte regelmässigt förser oss med dessa uppgifter (i grafik och presentationer från instituten ser det alltid ut som om man beräknat partiernas röststöd utifrån det redovisade antalet intervjuade vilket man ju inte har).

Man kan förstås lätt räkna fram ungefär hur många svarspersoner som procentberäkningarna bygger på om man har tillgång till uppgifter om andelen osäkra. Om man gör det blir det något större konfidensintervall. I tabellen som redovisas i inlägget har jag ännu inte hittat något fall där det spelar någon roll för utgången av testet huruvida ett parti skattas över eller under fyra procent.

Det är bara instituten själva som har tillräckligt med information för att utföra dessa beräkningar korrekt (exempelvis behöver man kännedom om poststratifieringar för att kunna beräkna korrekta konfidensintervall kring skattningarna, något som du och jag inte har någon som helst möjlighet att göra på basis av den information som redovisas).

Kontroller har visat att instituten själva med något undantag använder uppgifterna om det totala antalet svarspersoner när det beräknar huruvida en förändring från föregående månad är statistiskt signifikan (de begår så att säga själva samma misstag som du tycker jag gjorde).

Henrik Oscarsson sa...

Och tack @Jon för understöd :)

Signifikanstesterna vi talar om här kräver dessutom att vi möter en hel rad av antaganden i den statistiska inferensteorin som vi vet att vi inte är i närheten av, men det är en annan historia.

Claes Thureson sa...

Mätningarnas mätning: Har du plockat bort tidsserien? Jag tyckte såå mycket om att se den!

Anonym sa...

Varför har du inte med Vänsterpartiet i din uppräkning?

Det som talar för att Kd och C har störst problem är dock att dom dels ingår i regeringen, dels har en profil som är mycket utsuddad...

Varför ska man rösta på C? De som traditionellt gjort det på landsbygd och i mindre städer har inte mycket gemensamt med Stureplanscentern som dominerar idag...

KD har tvingats ge upp många strider i regeringen och får därför också problem med sin profil... Dom blir båda två otydliga och saknar tunga kärnfrågor idag...

Vänstern har ett helt batteri med kärnfrågor där dom verkligen sticker ut, detsamma gäller Sd... Så dom klarar sig nog... I vänsterns fall tycker jag att det är tråkigt... Ohly lämnar dessutom vilket dessvärre också gynnar Vp...

Däremot är det intressant att se hur usla de etablerade partierna är på att ta debatten med Sd...

Om de etablerade partierna hade så bra argument så borde debatten varit vunnen vid det här laget...

När man läser om mångkulturens lov på Newsmill, Svd och annorstädes saknas det alltid två saker:

Siffror och hårda fakta..

Däremot finns det gott om floskler... Jämförelser med andra länder finns inte heller...

Därför får man inte kommentera usla inlägg om mångkulturen längre...

Hur många flyktingar tar Danmark, Storbrittanien, Holland, Tyskland, Kanada, USA, Australien mfl emot...

Den jämförelsen får inte göras... Den svenska invandringspolitiken är en katastrof, och trots all censur och alla lögner om hur lönsam den är så är muren på väg att rämna...

Det är inte lönsamt att ta emot 10 000 tals analfabeter per år... Vi har ingen generell arbetskraftsbrist och kommer aldrig få det heller...

Den politik som förs idag kommer få förödande konsekvenser för Sverige om 10-20 år...

Vi kommer ha en stor muslimsk minoritet som helt saknar förankring i samhället... Dessutom finns det stora grupper lågutbildade svenskar och europeér som inte heller har arbete...

Det finns inte ett enda västland idag som har arbetskraftsbrist, däremot alltfler med en galopperande arbetslöshet...

Spanien har drygt 40% arbetslöshet för personer mellan 18-30 år... Många av dessa personer har en bra utbildning och skulle göra ett bra jobb om dom fick chansen... Det får dom inte...

Det är farligt när alltför många hamnar utanför i ett samhälle... Stora ekonomiska klyftor leder till våld och kriminalitet...