Sannolikhetsurval och träffsäkerhet

Jag slutar aldrig att fascineras över att man med hjälp av slumpmässiga urval kan göra inferenser (dra slutsatser) om populationer. Genom att låta slumpen välja ut enheterna kan man göra uppskattningar och avancerade beräkningar som är giltiga för hela populationen. Vad som skapar denna magi är en uppfinning inom matematisk statistik: statistisk inferensteori. Den är härledd ur sannolikhetslära och vilar på teorem såsom till exempel det centrala gränsvärdesteoremet.

Men den statistiska inferensteorins antaganden bygger helt på att man använder Fru Fortuna (slumpen) när man väljer enheterna från den population man önskar uttala sig om. Vill man göra inferenser om svenska väljare behöver man välja ut dem som ska ingå i urvalet med hjälp av slumpen. Slumpens betydelse kan inte nog understrykas i de livliga diskussioner som förs inom surveymetodologin. Slumpen är blind. Och i det långa loppet slår slumpen varje annan urvalsteknik.

Den stora vattendelaren i diskussionen om kvaliteten hos opinionsmätningar går idag mellan undersökningar som vilar på sannolikhetsurval och undersökningar som vilar på icke-sannolikhetsurval. Definitionen av sannolikhetsurval är att varje enhet i populationen (den grupp eller de enheter som man drar slutsatser om) ska ha en känd sannolikhet att komma med i urvalet. Om man inte kan berätta det används inget sannolikhetsurval. Sannolikheten för att en person boende i Sverige mellan 16-85 år ska komma med i urvalet för nästa nationella SOM-undersökning hösten 2012 är ungefär 1 chans på 843 (som jämförelse kan nämnas att sannolikheten att få fyra rätt på Lotto är 1 på 1496).

Sannolikhetsurvalens kraft syns tydligt om man analyserar träffsäkerheten när det gäller partival i två av de stora undersökningar som bygger på individurval och sannolikhetsurval: SOM-undersökningarna (enkätundersökningar) och Valundersökningarna (besöksintervjuer). Trots omständigheterna -- att fältperioderna är väldigt långa (i SOM-undersökningarnas fall närmare fyra och en halv månad; nästan lika långa för valundersökningarna), att det handlar om uppgifter om röstning som samlats in efter valet, att omkring fem-tio procent inte vill uppge hur de röstade och att svarsfrekvensen är mellan 60-70 procent och att undersökningsresultaten är helt oviktade (!) -- är träffsäkerheten i dessa undersökningsserier fullt i klass och oftast klart bättre än opinionsinstitutens sista valprognoser. Är det inte fantastiskt? Jo. Men en stor del av anledningen ligger i att det finns ett sannolikhetsurval i botten; Fru Fortuna styr upp och stabiliserar resultaten på ett nästan övernaturligt sätt även vid små sannolikhetsurval.

Figuren nedan visar träffsäkerheten (mätt som genomsnittlig procentenhers avvikelse per parti) för svenska Valundersökningar, SOM-undersökningar, SVT/Valu vallokalsundersökningar och opinionsinstitutens valprognoser.


Källa: Sören Holmberg, SOM-institutet, Valforskningsprogrammet, SVT/Valu. Snitten för opinionsinstitutens sistaprognoser bygger på samma princip som användes i Peterson och Holmberg (2008). Antalet kategorier som använts vid medeltalsberäkningarna varierar mellan 8 och 9 mellan valen.

Kommentarer

Lars sa…
Undantaget för den goda träffsäkerheten är väl SD; samma kraftiga underskattning av partiet syns i dessa undersökningar som i opinionsmätningarna (exkl. webbpanelerna). I t ex Valundersökningen fick SD 3,8 % (mot 4,6 % i sista MäMä före valet), en underskattning på nästan 2 procentenheter jämfört med valresultatet (!). Det handlar väl om att SD-väljare i högre utsträckning än andra partiers sympatisörer drar sig för att uppge vilket parti de sympatiserar med vid besöks- och telefonintervju. Förklaringen till det är givetvis den repression SD varit utsatt för. Minskar den så lär vi få se en förändring där.
Finns det några kända felfaktorer som långsiktigt håller i sig vid såna här mätningar?

Som kommentaren ovan påpekar ligger det nog en del i att människor som hatar invandrare i högre grad håller tyst om det pga att den åsikten står i så liten minoritet mot restens tolerans, vilket kan upplevas som repressivt när så många är emot ett fåtal.

Hur är det med andra småpartier med icke socialt gångbara åsikter, t.ex. vänsterpartiet precis efter finland, ungern och tjeckoslovakien, liknande tendens där?
Lars sa…
"människor som hatar invandrare i högre grad håller tyst om det pga att den åsikten står i så liten minoritet mot restens tolerans"

Du illustrerar med detta min poäng på ett utmärkt sätt. Det är inte minst på detta sätt partiet och dess väljare har brännmärkts av det "goda och toleranta" etablissemanget (som inte har något folkligt stöd för den invandrings- och integrationspolitik de bedriver, vilken sedan skapar stora och växande problem i samhället, därav sitter SD i riksdagen i dag; de primitiva invandrarhatare du föreställer dig är inte tillräckligt många för att lyfta ett parti in i riksdagen och de har andra partier att rösta på), vilket inte minst triggar extremvänstern att på alla upptänkliga vis (inkl. med våld och sabotage) försöka "stoppa rasisterna" och fackförbund att utesluta SD:are etc. Inte undra på att många SD-väljare sedan känner sig obekväma med att uppge sina sympatier vid t ex besöksintervjuer...
Trevlig blogg det här :)