Der er en hemmelig verden, som du sandsynligvis aldrig har hørt om. Det ligger under enhver påstand, du nogensinde har læst, enhver overskrift, der har blæst "videnskab!" på dig, da du gik forbi. Denne verden er grunden til, at du er blevet vaccineret, hvorfor du tager ibuprofen mod smerter og betændelse, og endda hvorfor du ikke kan få p-piller over de disk i de fleste lande.

Jeg taler selvfølgelig om statistikens verden.

Googles statistik om statistik: det ultimative nerdfest.

Studerer statistikker

Forestil dig, at du laver en undersøgelse af vægttab. Du har, sige, tre grupper af mennesker: 1, 2 og 3. Gruppe 1 tager et stof. Gruppe 2 har en livsstilsintervention. Gruppe 3 er en placebo-kontrol - de gør intet. I slutningen af ​​undersøgelsen har du hundreder, endda tusinder af numre. Du kan sammenligne dem temmelig let - se på midlerne og medianerne - men alt dette fortæller dig virkelig er, at der er nogle forskelle. De er måske uvæsentlige; de er måske lige ned til tilfældet. Hvad hvis du havde en person i gruppe 2, der startede på 400 kilo og mistede 300, men resten af ​​folket faktisk fik et par kilo? Du vil sandsynligvis have et samlet vægttab, men virkelig din livsstilsintervention fungerer kun for en fyr.

Indtast statistik.

Hvad statistik dybest set giver dig mulighed for at gøre inden for medicin er at sammenligne resultater fra forskellige grupper og fortælle, om variationen sandsynligvis skyldes dit eksperiment eller bare en chance. Så du sammenligner dine tre grupper af mennesker igen og finder ud af, at mens gruppe 2 i gennemsnit tabte vægt, var det ikke statistisk signifikant, fordi det hele skyldtes den ene fyr og hans enorme indsats.

Det viser sig, at den nye

Nu har jeg lige brugt en meget vigtig sætning: statistisk signifikant. Dette er dybest set den linje, vi har angivet for forskningsresultater. Hvis de kommer over søjlen, betragtes de som mest sandsynligt på grund af det, du undersøger - i dette tilfælde stoffet eller livsstilsinterventionen. Grundlæggende, at behandlingen virkede.

Hvis de ikke når baren, siger vi, at alle resultater, vi så, sandsynligvis skyldes tilfældigheder, og behandlingen virkede ikke.

Det er en temmelig vigtig bar.

Og du vil blive overrasket over at høre, det er helt vilkårligt.

Hvad er vigtigt?

Når vi kører en statistisk test, kommer vi normalt ud med det, der er kendt som en sandsynlighedsværdi eller p-værdi. Dette er et tal mellem nul og et, der giver os en indikation af, hvor sandsynligt det var, at det resultat, vi observerede i vores eksperiment, skyldtes tilfældigheder. En høj p-værdi betyder, at enhver forskel mellem grupper sandsynligvis var en fluke; en lav p-værdi betyder, at vi måske er på noget her. Normalt betyder en p-værdi under 0,05, at dine resultater er statistisk signifikante.

Med andre ord er 0,05 den søjle, jeg talte om tidligere.

Der er ingen drinks i denne bar, kun blandede metaforer og tristhed.

Men problemet er, at 0,05 er et helt vilkårligt tal. Vi kunne sige 0,04 eller 0,06 - det ville ikke rigtig gøre en forskel. Husk: Det er bare et mål for sandsynligheden for, at resultaterne var uheldige.

Hvis jeg siger, at noget er statistisk signifikant, siger jeg, at forskelle mellem grupperne i min undersøgelse sandsynligvis ikke skyldtes tilfældighed. Der er en effekt der.

Lad os sige, at jeg laver mit eksperiment og finder en statistisk signifikant forskel mellem gruppe 1 og gruppe 3, hvor gruppe 1 taber 100 gram mere vægt i løbet af seks måneder af eksperimentet. Vores p-værdi er utroligt lav på 0,000001.

Lyder som gode nyheder, ikke?

Klinisk betydning

Så vi har bestået den første test: Vi ved, at forskellen, vi ser, sandsynligvis skyldes det stof, vi giver gruppe 1. Den statistiske test siger det!

Men det er ikke den eneste type betydning.

Statistisk betydning drejer sig om, hvorvidt en ting forårsagede en anden. Klinisk betydning handler om, hvorvidt vi bryder os. Gør det noget, hvis vi kan få nogle mennesker til at tabe 100 gram vægt? Er det værd at tage et lægemiddel i de næste par måneder, år eller endda resten af ​​deres liv?

Hvad hvis jeg fortalte dig, at det også forårsagede migræne, kvalme og eksistentiel angst?

Så hvis jeg siger, at mit nye lægemiddel er klinisk signifikant, er det, jeg virkelig siger, at jeg tror, ​​at fordelene ved det opvejer bivirkningerne. Jeg siger, at det ændrer dit helbred nok, til at en læge måske er interesseret i at ordinere det, og at du måske faktisk ønsker at bruge det til din behandling.

Faktisk er klinisk betydning den eneste, vi holder af.

Et godt eksempel er forskellen mellem mænds og kvinders hjerner. En enorm undersøgelse fandt for nylig en statistisk forskel mellem virkningen af ​​mænds hjerner sammenlignet med kvinder i nogle få nøgleregioner. De fandt imidlertid også, at lighederne opvejer forskellene, og at der i sidste ende ikke var nogen klinisk forskel mellem mænd og kvinder.

Ubetydelig betydning.

Pointen er, at du kan lave en undersøgelse og finde statistiske forskelle, men medmindre du ved, om disse forskelle er klinisk signifikante, er det eneste, du laver, at lege med tal. Forskerne i denne undersøgelse kunne ikke fortælle en mands hjerne fra en kvindes, medmindre de på forhånd vidste, hvilken der var, fordi de statistisk signifikante forskelle i aktivitet ikke omsatte til noget, de faktisk kunne bruge i deres arbejde.

Men når du læser en nyhed om en videnskabelig artikel, hører du aldrig om nuancen af ​​klinisk betydning. Kan du huske alle de skræmmende historier om ibuprofen og hjerteanfald? Der er faktisk en velkendt statistisk signifikant forbindelse mellem at tage ibuprofen og have et hjerteanfald. Det eneste problem er, at for de fleste af os er stigningen i risiko meget lille - den er statistisk signifikant, men ikke klinisk signifikant.

Det går også den anden vej: Der er en statistisk signifikant forbindelse mellem moderat drikke og ikke at dø. Det eneste problem er, at forskellen er lille og sandsynligvis forklares af andre faktorer, så der er ingen grund til at begynde at svinge et glas vin hver dag.

Næsten hver artikel, du nogensinde vil læse om videnskab citerer statistikker, som om de betyder noget.

Alt for ofte gør de det ikke.

Spotting betydning

Det er svært at vide, hvad der betyder noget, når det kommer til studier. Klinisk betydning er noget, der ofte kræver en medicinsk grad og mange års træning for korrekt at forstå.

Men der er et par ting, du kan kigge efter.

Hvis den absolutte effektstørrelse er lille, medmindre det er en virkelig alvorlig begivenhed (som død), er chancerne for, at den kliniske betydning er begrænset. Hvis det resultat, som folk taler om, kun er tangentielt relateret til det faktiske helbred - for eksempel mængden af ​​is, der er spist - er der en god chance for, at resultaterne faktisk ikke fortæller dig meget om dit liv.

Hvis du nogensinde virkelig er bekymret, skal du gå til en læge. Der er en grund til, at det tager næsten et årti at være fuldt kvalificeret.

Nogle gange er det bare ikke så let.