Ritzau har begået følgende talhistorie, som lørdag morgen bl.a. befinder sig øverst på BTs hjemmeside:
http://www.bt.dk/politik/roed-blok-taber-seks-mandater-paa-en-uge
Ritzaus talhistorie kommer med en meget stærkere konklusion, end der er statistisk belæg for.
Desværre bliver historien på trods af sine videnskabelige mangler ukritisk viderebragt af BT og også Information.
Ritzau benytter sig af analysebureauet Voxmeters målinger, når de skal skrive valgtalshistorier.
I Voxmeters seneste måling (9/9) står Rød Blok (S-SF-RV-EL) til at få 51,4 % af stemmerne mod 54,3 % for en uge siden (2/9).
Hvad sker der hvis vi indregner den statistiske usikkerhed, som Ritzau selv oplyser ligger på maksimalt 2,7 procentpoint?
Den statistiske usikkerhed indebærer at når en meningsmåling spår et bestemt resultat, så er der altid en vis fejlmargin; et tal på fx. 51,4 % kunne ligeså godt være op til 2,7 procentpoint større eller 2,7 procentpoint mindre.
Dermed kan vi rent statistisk set ikke konkludere andet ud fra Voxmeters måling end at "Rød Blok" nu med stor sandsynlighed (men dog ikke fuldstændig sikkert) har en tilslutning på mellem 48,7 % af stemmerne og 54,1 % af stemmerne.
Altså det anslåede skøn på 51,4 % plus/minus 2,7 procentpoint.
Voxmeters tal viser derfor faktisk ikke andet end at Rød Blok måske står til en tilbagegang på helt op til 10-11 mandater ift en uge siden (hvis det laveste skøn indenfor sikkerhedsmarginen, 48,7 %, tages i brug) og måske faktisk slet ikke står til at tabe nogen mandater overhovedet sammenlignet med for en uge siden (hvis det højeste skøn indenfor sikkerhedsmarginen, 54,1 % tages i brug).
Voxmeters tal peger altså på at det i virkeligheden både kunne se endnu værre ud for Rød Blok, eller meget bedre.
Alligevel vælger Ritzau at skrive en historie, der godt nok nævner den statistiske usikkerhed på målingen, men ikke forklarer hvad usikkerheden i praksis betyder: At deres bud på hvor mange mandater Rød Blok har tabt på en uge er meget usikkert.
Der er et demokratisk problem ved at konklusionerne strammes udover hvad tallene kan bære:
De giver en falsk sikkerhedsfornemmelse for folk, der måske ikke har tid til at kigge tallene efter i sømmene.
Vi frygter at nogen tænker: "når Ritzau siger at der er flyttet 6 mandater - så må det vel være rigtigt".
Men nej - det er ikke rigtigt.
Hvis man skal sige noget om vælgerbevægelser mellem blokkene, kan man generelt ikke bruge to enkeltmålinger til noget. Man er nødt til at lægge resultaterne fra flere meningsmålinger sammen, som Professor Søren Risbjerg Thomsen gør hos Altinget.
Risbjerg Thomsens tal er heller ikke helt sikre - men dog bedre end Ritzaus, fordi enkeltmålingers usikkerheder bliver "lagt oveni hinanden" og derfor må formodes at udligne hinanden lidt.
Når Risbjerg Thomsen udgiver sit næste skøn, kan vi se om det er sandsynligt at Rød Blok faktisk har haft en tilbagegang der minder om den Ritzau beskriver.
Indtil videre tyder intet dog på det:
Risbjerg Thomsen har i løbet af valgkampen offentliggjort følgende bud på Rød Bloks samlede tilslutning:
31/8: 52,8 %
4/9: 52,8 %
7/9: 52,5 %
Dermed skønner han at Rød Blok har tabt ét mandat (og altså ikke seks) indenfor den sidste uge.
Vi opfordrer derfor alle til at maile os, hvis I finder en historie i nyhedsstrømmen, som I synes ser lidt mistænkelig ud. Så vil vi tage et kig på om I har ret.
Desuden opfordrer vi alle til at skrive til Ritzau, Information og BT for at fortælle dem at de skal holde op med at bringe historier, der behandler usikre statistiske skøn, som om de var den skinbarlige sandhed!
Det svækker deres troværdighed som nyhedsmedier, og gør det sværere for almindelige vælgere at vide hvad der er op eller ned i valgkampen.
Når I skriver:
SvarSletDen statistiske usikkerhed indebærer at når en meningsmåling spår et bestemt resultat, så er der altid en vis fejlmargin; et tal på fx. 51,4 % kunne ligeså godt være op til 2,7 procentpoint større eller 2,7 procentpoint mindre.
er det forkert.
I hvert fald hvis man skal tolke "kunne lige så godt være" som at det skulle være lige så sandsynligt. Det er meget mere sandsynligt at det rigtige resultat ligger midt i konfidensintervallet end i ydrekanten af det.
Hej Patrick,
SvarSletDu har delvist ret: Det bedste bud på den sande værdi i populationen er den præcise værdi som stikprøvens gennemsnit viser. Jo længere ud mod enderne af konfidensintervallet man kommer, jo mindre sandsynlig bliver den pågældende værdi, og dermed sandsynligheden for at den værdi skulle være populationens sande gennemsnit. I den forstand har du ret.
Når det så er sagt, så vælger analysebureauerne jo signifikansniveauer ud fra at enhver stikprøve antages at variere omkring populationens sande gennemsnit. De gør det for at kunne sætte en grænseværdi, som tillader at lave intervaller med skøn på den sande værdi, samtidig med at det accepteres at tage fejl med en vis sandsynlighed - altså en såkaldt type I fejl.
Et 5 % signifikansniveau er standardprocedure, mens de resterende 95 % er en del af konfidensbåndet, hvor den sande værdi lige så godt kunne ligge. I denne forstand er man enten over signifikansgrænsen, eller også er man under. Altså: Med det signifikansniveau som Voxmeter opererer med, er værdierne ikke signifikant forskellige fra hinanden.
Det er i denne forstand du skal forstå den sætning du citerer - det er gængs statistisk procedure, omend den dybere forståelse af sandsynligheder baseret på stikprøver som du hentyder til naturligvis ligger nedenunder.
Disse statistiske spidsfindigheder rokker dog ikke ved pointen i vores indlæg: Ritzaus artikel drager en konklusion som der ikke er belæg for.
Mvh Valgtal
Den seneste måling fra Voxmeter og Ritzau (http://www.information.dk/telegram/278891) viser da også, at mandatfordelinger er tilbage ved udgangspunktet.
SvarSletSå noget tyder på skiftet var en ren statistisk støj. Bemærk dog at Voxmeter stadig skyder S til at ligge væsenligt under, hvad Risbjerg Thomsens analyser på altinget viser