TV2 konkluderer på tal, de ikke kan konkludere noget som helst på

Den 9/9 kunne TV2-Nyhederne berette, at rød blok går frem, mens Socialdemokraterne går tilbage. Men er der hold i det?

Af artiklen fremgår det, at rød blok stod til 94 mandater da de havde størst tilslutning under valgkampen, imod 90 mandater da de havde lavest tilslutning. I blå bloks tilfælde er tallene 85 og 81 mandater. Hvis vi antager at Megafon har spurgt 1000 personer (standard for de store analyseinstitutter) og hvis vi arbejder med et signifikansniveau på 5% (som er standard), så ligger den statistiske usikkerhed på ca. 3 procentpoint, når vi kigger på rød og blå blok. Dvs. at udsvinget skal være større end 3 procentpoint for at vi kan sige, det er statistisk signifikant.

Tallene, som TV2-Nyhederne baserer deres konklusionen (at rød blok går frem) på, er henholdsvis 52,9% og 53,1% - et udsving på 0,2 procentpoint, som jo er markant mindre end de 3,0 procentpoint, der er det mindst, målingen kan registrere. Ligeledes er de største udsving indenfor blokkene, som Megafon har registreret - 4 mandater i både rød og blå bloks tilfælde - heller ikke statistiske signifikante. Når TV2 journalisten derfor minutiøst beskriver udviklingen indenfor blokkene, så glemmer hun at nævne, at forskellene ikke er signifikante, og dermed lige så godt kunne være udtryk for "statistisk støj".

Heller ikke konklusionen om Socialdemokraternes tilbagegang bygger på et statistisk signifikant talmateriale. Her har Megafon registreret en tilslutning på henholdsvis 24,9 og 24,6 procent. Altså en forskel på 0,3 procentpoint. Når vi kigger specifikt på tallene for partierne, så ændrer usikkerhedsintervallet sig også. For et parti med en vælgertilslutning på omkring de 25%, hvor vi har 1000 svar, så ligger usikkerhedsintervallet på ca. 2,7 procentpoint.

Det vil sige at TV2-Nyhederne i artiklen konkluderer på baggrund af udsving på henholdsvis 0,2 og 0,3 procentpoint. Men udsvingene skulle have været større end henholdsvis 3,0 og 2,7 procentpoint for, at man kan antage, at de ikke blot er udtryk for tilfældigheder.

Et stort problem ved artiklen er, at TV2-Nyhederne ikke oplyser hvordan meningsmålingerne er lavet, beregnet, og hvad usikkerheden er. Det er problematisk, fordi vi ikke har noget at holde informationen op på, og dermed ikke kan forholde os til den tallene i artiklen på et oplyst grundlag.

Det er nemlig ikke bare sådan, at alle meningsmålinger er lavet på samme måde. Derfor er det et problem, når nyhedsmedierne præsenterer meningsmålinger uden at forklare, hvordan de er lavet.

Per Rystrum, der er Cand.Scient.Pol og bestyrelsesmedlem i Dansk Kommunikationsforum, var fx i Deadline (7.9) og fotælle, at der er forskel på hvordan Voxmeter og Megafon behandler deres data: Voxmeter tager de rå tal, mens Megafon vægter tvivlere efter, hvad de formentlig vil stemme. Her bliver blå blok vægtet op, fordi man antager at der er flere tvivlere der vil stemme blåt end rødt.

Det er der sådan set ikke noget galt i. Vægtning er et anerkendt redskab indenfor statistisk databehandling, og man kan ikke på bagrund af det sige hvilke af de to analyseinstituternes tal, der er mest troværdige. Det problematiske er derimod, når vi bliver præsenteret for meningsmålingerne uden nogen form for information om, hvordan de er lavet og beregnet, og hvad usikkerheden er på deres tal.

Det mest problematiske ved artiklen er dog, at der bliver konkluderet på tal der ikke kan konkluderes på. For det er ganske enkelt uredelig omgang med talmaterialet at konkludere, at rød blok går frem, eller at S går tilbage på baggrund af så små udsving.