En introduktion til sandsynlighed og statistik

Foto af Darius Soodmand på Unsplash
”Sandsynlighedsteori skal kastes under en bus” - Ekspert på kunstig intelligens, Carlos E. Perez.

Vi starter med at studere sandsynlighedsteori og dykker derefter ned i statistikker.

Sandsynlighed og statistik bruges hele tiden i datalogi. Maskinelæring? Det er sandsynlighed. Datavidenskab? Det er statistik.

Sandsynlighed på højt niveau

Sandsynlighed giver en måde at sammenfatte usikkerheden, der kommer fra vores dovenskab og uvidenhed. Med andre ord finder sandsynligheden sandsynligheden for, at noget vil ske.

Diskret sandsynlighed

Diskret sandsynlighed er en formalisering af sandsynlighedsteori, der beskriver sandsynligheden for brug i computere fra diskret matematik.

Når vi løser problemer med diskret sandsynlighed, begynder vi med at bruge sandsynlighedsrum. Et sandsynlighedsrum er parringen (S, P), hvor:

  1. S er prøveområdet for alle elementære begivenheder X ∈ S. Medlemmer af S kaldes resultater for eksperimentet.
  2. P er sandsynlighedsfordelingen, det vil sige at tildele et reelt tal P (x) til hver elementær begivenhed X ∈ S, så det er sandsynligheden er mellem 0 og 1 og ∑P (x) = 1

For punkt 2 læses P (x) som "sandsynligheden for X". Sandsynligheden skal altid være mellem 0 og 1 eller ofte repræsenteret som 0% og 100%.

Eksempel

Forestil dig at vende en mønt. Sandsynlighedsrummet er (S, P).
Resultatet S er ** S = {H, T} **, hvor S enten kan være hoveder eller haler.
Derfor er sandsynligheden
P (H) = P (T) = 1/2
Sandsynligheden for hoveder er den samme som sandsynligheden for haler, der er den samme som en halv. Med andre ord, hvis du vender en mønt, er der en jævn chance for, at den bliver hovedet opad eller med halesiden opad.

En sandsynlighedsfordeling betragtes som ensartet, hvis hvert resultat er lige så sandsynligt.

En introduktion til løsning af sandsynlighedsproblemer

Mange mange mennesker, inklusive universitetsprofessorer og ph.d.-studerende, kan ikke løse sandsynlighedsproblemer. Som omtalt senere i denne artikel er Monty Hall-problemet et berømt problem og et godt eksempel på dette.

Antag, at du er på et spil-show, og du får valget mellem tre døre: Bag den ene dør er en bil; bag de andre geder. Du vælger en dør, siger №1, og værten, der ved hvad der er bag dørene, åbner en anden dør, siger №3, der har en ged. Han siger så til dig: "Vil du vælge dør nr. 2?" Er det til din fordel at skifte dit valg?

Dette spørgsmål blev sendt til Voe Savant, som på det tidspunkt havde den højeste IQ i verden. Voe Savant svarede, at der er en 2 / 3. chance for at vinde bilen, hvis du skifter, og 1/3, hvis du ikke skifter.

Tusinder af mennesker kranglede om Monty Hall-problemet, og mange universitetsprofessorer i matematik sagde, at matematisk analfabetisme var voldsomt i Amerika, fordi Monty Hall-problemløsningen antydede var forkert.

Dette problem optrådte i hver matematikklasse den følgende uge, og tusinder af læsere, mange som har ph.d.er i matematik skrev ind for at forklare, at Savant havde forkert. Selv Paul Erdős, en af ​​verdens mest berømte matematikere, sagde, at Savant tog fejl.

Desværre havde Savant ret. Dette er et simpelt sandsynlighedsproblem, som, hvis det formelt defineres, kan forklares. Mange af matematikerne brugte deres intuition til at løse dette problem og ikke følge trinnene i løsningen af ​​et sandsynlighedsproblem, der vil blive beskrevet nedenfor.

Der er et par skridt, du skal tage, før du løser et sandsynlighedsproblem for at bevise, at du fuldt ud forstår problemet.

Prøveplads

Prøveområdet er det sæt, der indeholder alle mulige resultater.

Så hvis man får en mønt, er prøveområdet {hoveder, haler}, da mønten kun kan lande på hoveder eller haler.

Resultat

Et resultat består af al informationen om et eksperiment, efter at eksperimentet er udført. Når du vender en mønt, og den lander på hoveder, er resultatet {hoveder}.

Sandsynlighed plads

Sandsynlighedsrummet er prøveområdet, men ethvert muligt resultat har en sandsynlighed, der anvendes på det. Med møntflip er sandsynlighedsområdet {(Hoved, 0,5), (Hale, 0,5)}.

Den samlede sandsynlighed for alle sandsynligheder i sandsynlighedsrummet skal være lig med 1. Ingen enkelt sandsynlighed kan være mindre end 0 eller mere end 1.

Mange højpresterende studerende fortæller mig, at de prøver at visualisere, hvad de har at gøre med så meget som muligt.

Eksempel

Lad os antage, at vi ruller en 6-sidet terning, og vi ønsker at finde ud af sandsynligheden for, at vi får en 4.

  1. Tæl antallet af mulige begivenheder. Der er 6 sider til terningerne. Så der er 6 mulige begivenheder
  2. Bestem, hvilken begivenhed du undersøger for sandsynlighed. Problemet lad os vide, at vi prøver at rulle en fire.
  3. Tæl antallet af chancer for, at hoveder kan forekomme for de mulige begivenheder. Der er kun en side af matrisen, der har 4 prikker, så der er kun 1 chance for at rulle en fire ud af 6 samlede chancer.
  4. Skriv antallet af chancer, der kan forekomme hoveder over antallet af mulige begivenheder i en brøkdel. (1/6)

Selvom dette er et simpelt problem at løse, illustrerer det de vigtige skridt, der skal tages, når man løser hårdere sandsynlighedsproblemer.

Begivenheder

Begivenheder overses ofte i sandsynlighedsteori og diskuteres ikke meget, så jeg tog det på mig at udvide hvad en begivenhed er, og hvorfor de er vigtige i dette afsnit.

En begivenhed er et sæt resultater af et eksperiment med sandsynlighed. I Bayesian Probability defineres en begivenhed som beskrivelse af det næste mulige tilstandsrum ved hjælp af viden fra den aktuelle tilstand.

En begivenhed betegnes ofte med tegnet 'e'. Såsom sandsynligheden er P (e) for en begivenhed. Begivenheder er meget vigtigere i sandsynligheden, end de fleste får dem til at være.

En begivenhed kan være resultatet af at rulle en terning som f.eks. En "5" eller få en hale, når du vælter en mønt.

Begivenheder kan være:

  1. Uafhængig - Hver begivenhed påvirkes ikke af tidligere eller fremtidige begivenheder.
  2. Afhængig - En begivenhed påvirkes af andre begivenheder
  3. Gensidigt eksklusivt - Begivenheder kan ikke ske på samme tid

Hvorfor er begivenheder vigtige?

Nå, begivenheder tillader os at gøre nogle ret fantastiske ting med sandsynlighed. Tag for eksempel Monty Hall-problemet. Forsøg spørgsmålet herunder:

En af dørene ovenfor indeholder en fancy sportsvogn, den anden 2 døre indeholder geder. Vælg hvilken som helst dør, du kan lide, fortsæt!

Okay, lad os sige, at du valgte nr. 1, game show-hosten åbner en dør, der indeholder en ged, så lad os sige, at vi åbner dør nummer 3, og den indeholder en ged. Så du ved, at dør 1 er din pluk, dør 3 er en ged og dør 2 er uberørt. Bemærk: Det betyder ikke noget, hvilken dør, du oprindeligt valgte, det, der betyder noget, er, at du vælger en dør, og hosthowet til gameshow åbner en dør med en ged i.

Game showet spørger derefter: “Er du sikker på, at dør nummer 1 er rigtigt? Vil du bytte?"

Hvad laver du?

Nå, sandsynligheden siger, at vi skal vælge dør nummer 2, som i dig ville skifte. Hvorfor? godt, dør nummer 2 har en 2/3 chance eller 77% chance for at indeholde bilen, og dør nummer 1 (dit originale valg) har en 33% chance for at indeholde en bil.

Whaaaaattt ??

Dette er et berømt sandsynlighedsproblem kaldet Monty Hall-problemet, og det viser, hvordan begivenheder kan påvirke sandsynligheder. For en forklaring af dette, kan du se denne Numberphile-video nedenfor:

Sandsynligheden for komplement til en begivenhed

Komplementet af en begivenhed er alle de andre resultater af en begivenhed.

For eksempel, hvis begivenheden er haler, er komplementet hoveder. Hvis begivenheden er {mandag, tirsdag}, er komplementet {onsdag, torsdag, fredag, lørdag, søndag}.

Hvis du kender sandsynligheden for p (x), kan du finde komplimentet ved at gøre 1 - P (x). Da alle sandsynligheder er 100%, kan vi udtrykke dette som 1.

Hvorfor er komplementet nyttigt?

Nogle gange er det lettere at finde ud af komplementet først inden den faktiske sandsynlighed. For eksempel:

Beregn sandsynligheden for, at når 2 dør, bliver de to scoringer forskellige

En anden score er som at få en 2 og 3 eller 1 og 6. Sættet med alle mulige forskellige scoringer er ret stort, men komplementet til alle mulige forskellige scoringer (scoringer er det samme) er ret lavt. Faktisk er det:

{(1, 1), (2, 2), (3,3), (4,4), (5,5), (6,6)}

Det samlede antal forskellige kombinationer er 6 * 6, hvilket er 36, så sandsynligheden for at få en score, der er den samme, er 6/36 eller 1/6. Nu kan vi tage 1/6 væk fra 1 (tænk på 1 som det universelle sæt), hvilket svarer til 5/6.

Unionen af ​​to begivenheder (princip om inklusion-ekskludering)

Dette kræver dig at vide lidt om sætteori, så klik her for at lære mere.

Hvis to begivenheder er indbyrdes eksklusive (de kan ikke forekomme på samme tid), er sandsynligheden for, at de finder sted på samme tid, 0.

Hvis to begivenheder ikke er gensidigt udelukkende, er sandsynligheden for forening af de to begivenheder sandsynligheden for, at begge begivenheder er samlet.

Årsagen til at vi fjerner krydset mellem A og B er fordi P (A) + P (B) indeholder alt det, der er i A eller B, men på grund af den måde, union fungerer, vil der være et kryds, der vil gøre 2 A'er og 2 B'er, så vi er nødt til at fjerne krydset for at få sandsynligheden for hver begivenhed.

Med andre ord indeholder A elementer, der er i B, og B indeholder elementer, der er i A. Ved at tilføje:

Union af tre sammenhængende begivenheder

Antag, at jeg skulle rulle en fair terning 3 gange.
S er sæt af sekvenser af begivenheder over længde tre, således at {1..6) ³}
P (x) = 1/6 * 6 * 6 = 1/216 for alle x ∈ S
Hvad er sandsynligheden for, at vi ruller mindst en 6?
Så fordi vi kaster terningerne 3 gange, så lad E1 være sandsynligheden for, at terningrullen er en 6, E2 = P (6), E3 = P (6)
Vi vil gerne træne
P (E1∪E2∪E3)

Husk, at sammenslutningen af ​​sandsynligheder er P (A) + P (B) - Kryds mellem A og B. Vi ønsker foreningen A, b og C, som også inkluderer krydset i midten. Vi fjerner krydsene mellem AB, AC, BC og tilføjer krydset mellem alle 3 for at få den midterste del.

Så dette er bare:

Du har måske bemærket, at krydset er 6/216. Dette kan virke forvirrende, fordi vi ikke definerede et sæt til dette på hånden. Bekymrer dig ikke: Formlen for kryds er:

Eksempel Spørgsmål

I betragtning af 4 mønter, hvad er sandsynligheden for, at mindst 3 af dem kommer op haler?

Begivenheden, hvor mindst 3 mønter kommer op hale, er foreningen af ​​fem sammenhængende begivenheder, at alle mønter kommer op hale (1 sammenhængende begivenhed), og at 4 specificerede mønter (4 usammenhængende begivenheder) kommer op. Dette kan lyde forvirrende, så jeg vil forklare det visuelt. Du er velkommen til at springe det næste afsnit over, hvis du ikke er forvirret.

En usammenhængende begivenhed betyder, at begivenheder ikke kan ske på samme tid. Den første sammenhængende begivenhed er "hvad nu hvis alle mønter kommer op haler?" Det er, at de 5 mønter {T, T, T, T, T}. De andre 4 begivenheder er hvad hvis en specificeret mønt kommer op på hovedet? Så den første sammenhængende begivenhed er {H, T, T, T}, den anden er {T, H, T, T} osv. Da vi har brug for mindst 3 mønter for at være haler, {H, H, T, T} er ikke gyldig.

Foreningen af ​​5 sammenhængende begivenheder er sandsynligheden for, at hver begivenhed sker sammen.

Lad os først finde ud af sandsynligheden for, at enhver sandsynlighed inden for dette rum er mulig. Problemområdet er {H, T} over 4 forskellige mønter. Hver mønt har en 1/2 chance for at være hoveder eller haler, og der er 4 mønter, så 1/2 * 1/2 * 1/2 * 1/2 er 1/16 chance for ethvert muligt resultat i statsrummet.

Derfor er sandsynligheden for en begivenhed P (1/16)

Ved, at vi ved, hvor sandsynligt det er at få en kombination af {H, T} over de 4 mønter, vi kan bruge dette til at finde ud af, hvor sandsynligt det er at få de 5 sammenhængende begivenheder. Da hver begivenhed er usammenhængende, påvirker den ene begivenhed ikke en anden, så det er bare et tilfælde af 1/16 * 5 (for de 5 usammenhængende begivenheder), som resulterer i 5/16.

Således er sandsynligheden for, at mindst 3 mønter kommer på halerne 5/16.

Betinget sandsynlighed

Betinget sandsynlighed er, hvor en begivenhed kun kan ske, hvis en anden begivenhed er sket. Lad os starte med et let problem:

Johns foretrukne programmeringssprog er Haskell og x86 Assembley. Lad A repræsentere den begivenhed, at han tvinger en klasse til at lære Haskell, og B repræsenterer den begivenhed, at han tvinger en klasse til at lære x86 Assembley.
På en tilfældigt valgt dag overtages John af Satan selv, så sandsynligheden for P (A) er 0,6 og sandsynligheden for P (B) er 0,4 og den betingede sandsynlighed for, at han lærer Haskell, i betragtning af at han har undervist x86 Assembley den dag er P (A | B) = 0,7.
Baseret på oplysningerne, hvad er P (B | A), den betingelse, at John lærer x86 Assembley, da han underviste i Haskell, afrundet til den nærmeste hundrededel?

Sandsynligheden for P (A og B) = P (A | B) * P (B) læses “|” som givet, som i, "A | B" læses som "A given B". Det kan også skrives som P (B | A) * P (A).

Årsagen til at det er P (A | B) * P (B) skyldes, at i betragtning af sandsynligheden for "I betragtning af sandsynligheden for, at B sker, sker A", og sandsynligheden for B er P (B). (A | B) er en anden sandsynlighed end P (B) og P (A og B) kan kun ske, hvis P (B) sker, hvilket derefter tillader P (B | A) at ske.

Så vi kan omdanne dette til en matematisk formel:

P (A og B) = P (A | B) * P (B) = 0,7 * 0,5 = 0,35
Løsning af det
P (B | A) * P (A)
P (A) = 0,5
0,6 * P (B | A)
Nu ved vi ikke, hvad P (B | A) er, men vi vil gerne finde ud af det. Vi ved, at P (B | A) skal være en del af P (A og B), fordi P (A og B) er sandsynligheden for, at begge disse begivenheder sker, så ...
P (A og B) = 0,35
0,35 = P (B | A) * 0,5
Med enkel algebraisk manipulation
0,35 / 0,5 = P (B | A)
P (B | A) = 0,7

For en visuel forklaring af betinget sandsynlighed, se denne video af Khan Academy

Bayes Therom

Bayes Therom giver os mulighed for at udregne sandsynligheden for begivenheder, der får forudgående viden om begivenhederne. Det er mere en observation end en therom, da den fungerer korrekt hele tiden. Bayes therom er skabt af Thomas Bayes, der bemærkede denne observation i en notesbog. Han har aldrig udgivet den, så han blev ikke rekonkonteret for sin berømte derom i sin levetid.

Bayes Therom fra https://betterexplained.com/articles/colorized-math-equations/

Sandsynligheden for A givet B er sandsynligheden for B givet A (note: det er omvendt her) gange med sandsynligheden for A divideret med sandsynligheden for B.

Selvfølgelig lyder dette forvirrende, så det kan hjælpe med at se et eksempel.

Antag, at der findes en ny streng mexicansk sort tar heroin på gaderne, og politiet ønsker at identificere, om nogen er en bruger eller ikke.
Lægemidlet er 99% følsomt, det vil sige, at andelen af ​​mennesker, der er korrekt identificeret som tager stoffet.
Lægemidlet er 99% specifikt, det vil sige, at andelen af ​​mennesker, der er korrekt identificeret som ikke tager stoffet.
Bemærk: der er en falsk positiv sats på 1% for både brugere og ikke-brugere.
Antag, at 0,5% af mennesker på John Moores tager stoffet. Hvad er sandsynligheden for, at en tilfældigt valgt John Moores-studerende med en positiv test er en bruger?

Når du først har alle oplysningerne, er det blot et tilfælde af at erstatte værdierne og udarbejde dem.

Nedenfor er en video, der forklarer Bayes Therom intuitivt med eksempler fra den virkelige verden sammen med historien bag det samt filosofien om Bayes Therom:

Hvis du vil se, hvordan Bayes Therom bruges i maskinlæring - tjek dette!

Tilfældige variabler

En tilfældig variabel er en funktion, den er ikke tilfældig eller en variabel.

En tilfældig variabel behøver ikke at specificere prøveområdet S direkte men tildele en sandsynlighed for, at en variabel (X) tager en bestemt værdi. I modsætning til tidligere sandsynlighed, hvor vi var nødt til at definere et prøveområde, er vi kun interesserede i selve sandsynligheden.

Tilfældige variabler skrives ofte som P (f = r), hvor f er begivenhedsnavnet og r er sandsynligheden.

Det skal sandsynligvis være mellem 0 og 1, ligesom alle sandsynlighedsværdier.

Vi skriver IKKE (ved hjælp af en hvilken som helst notation, du måtte ønske) (F = r) for den hændelse, at F er hver variabel bortset fra R.

Et eksempel på dette

P (Die = 1) = 1/6 Sandsynligheden for at denne dyse tager værdien 1 er 1/6 IKKE P (Die = 1) er den hændelse, at matrisen er (Die = 2) ELLER (Die = 3) ELLER ( Die = 4) OR (Die = 5) Or (Die = 6)

Komplementet af P (f = r); notationen, der bruges til at repræsentere tilfældige variabler, er 1 - P (f = r), hvor 1 er 100% eller bare 1.

Vi bruger undertiden symboler (ord) i stedet for tal til at repræsentere tilfældige variabler. Dette er virkelig nyttigt. Lad os sige, at vejret kan være 1 af 4 stater, solskin, regn, overskyet, sne. I stedet for at tildele Weather = 1 kunne vi således skrive Weather = sunny.

Nogle gange er det længe at opskrive alle sandsynligheder som P (vejr = solrigt) = 0,7 eller P (vejr = regn) = 0,3. Hvis værdierne er faste i rækkefølge, kunne vi skrive P (vejr) = (0,7, 0,3)

Vi bruger P-ansigt til at indikere, at resultatet er en vektor med tal, der repræsenterer de individuelle værdier for Vejret. Et eksempel på dette er: P (vejr) = (0,7, 0,3).

Fælles sandsynlighedsfordelinger

En fælles sandsynlighedsfordeling giver dig mulighed for at have flere tilfældige variabler, typisk 50 eller 100, men vores eksempler vil indeholde færre.

En mulig fælles sandsynlighedsfordeling P (Vejr, hulrum) for de tilfældige variabler Vejr og hulrum er givet ved følgende tabel:

Dette er en fælles sandsynlighedsfordeling for tandhulrum og vejret. Hulrum er en boolesk værdi, det er enten 0 eller 1, og der er 4 muligheder for vejret. Hvis vi ønsker at oprette en fælles sandsynlighedsfordeling af P (Vejr, hulhed), ville vi lave tabellen ovenfor.

Sandsynligheden for vejr = solskin og hulrum = 1 er 0,144. Sandsynligheden for den fælles fordeling er 1.

Fuld fælles sandsynlighedsfordeling

Vi kalder det en fuld fælles sandsynlighedsfordeling, hvis alt, hvad der er relevant i domænet, er inkluderet. I modsætning til ovenstående eksempel er hulrum og vejr ikke i det samme domæne.

Antag, at de tilfældige variabler Tandpine, hulrum, fangst beskriver fuldt ud et besøg hos en tandlæge

Derefter gives en fuld fælles sandsynlighedsfordeling ved følgende tabel:

Herfra

marginalisering

Man kan computere marginale sandsynligheder for tilfældige variabler ved at summere variablerne. For eksempel i ovenstående eksempel, hvis man ville opsummere sandsynligheden for P (hulrum = 1), vil du summere alle sandsynlighederne, hvor hulrummet er lig med 1.

Betinget / Posterior sandsynlighed

Vi kan beregne den betingede / positive sandsynlighed for en fuld fælles fordeling på samme måde som vi ville gøre det normalt.

Bemærk, at (F, G) betyder F (og, skæringspunkt) G.

Forventet værdi

Den forventede værdi er nøjagtigt, hvordan den lyder, hvad forventer du, at værdien er? Du kan bruge dette til at beregne den gennemsnitlige score for en terningrulle over 6 ruller, eller noget, der virkelig vedrører sandsynligheden, hvor den har en værdiegenskab.

Givet resultaterne = (1, 2) og sandsynlighederne = (1/8, 1/4) den forventede værdi, E [x] er E [x] = 1 (1/8) + 2 (1/4) = 0,625.

Antag, at vi tæller typer cykler, og vi har 4 cykler. Vi tildeler en kode til hver cykel sådan:

For hver cykel giver vi den et nummer. For hver kodning kan vi se, at vi bruger 2 bit. Enten 0 eller 1. For den forventede værdi har vi ikke kun brug for værdien for variablen men sandsynligheden. Hver cykel har samme sandsynlighed. Så hver cykel har en 25% chance for at vises.

Ved at beregne den forventede værdi multiplicerer vi sandsynligheden med 2 bit, hvilket får os:

Hvad hvis sandsynligheden ikke var ens?

Hvad vi skal gøre er at multiplicere antallet af bit med sandsynligheden

Entropy

Entropi er et mål på usikkerhed tilknyttet en tilfældig variabel. Det er defineret som det forventede antal bits, der kræves for at kommunikere variablen.

Entropy forsøger at give et nummer til, hvor usikkert noget er.

Statistikker

Statistik er ikke sandsynlighedsteori. Statistik er den virkelige anvendelse af ideer, der stammer fra sandsynlighedsteori. Disse kan påkalde:

  1. Psepholohy - Analyse af afstemningsmønstre
  2. Dataanalyse - Datavidenskab
  3. Kvalitetskontrol

Prøveplads

En prøveplads er en samling af data som et enkelt begrænset sæt, der ligner noget:

Hvor S er prøveområdet.

Sandsynlighedsfordeling

Lad os sige, at vi vil vælge en tilfældig person fra et sæt af alle mennesker, der læser avisen Sun. Sandsynligheden for, at der vælges en enkelt person, er:

En sandsynlighedsfordeling er et prøveområde, hvor hvert element har en sandsynlighedsværdi mellem 0 og 1, der er tildelt dem, som repræsenterer hvor sandsynligt, at de vil blive valgt.

I alt, hvis s er et element i S, det vil sige, hvis et element s er en del af sættet (gruppen) af prøveområdet, S, så:

Hvis du tilføjer sandsynligheden for hvert element i prøveområdet, skal det summe til 1.

Når vi ønsker at prøve dette datasæt, kunne vi bare gå igennem hver eneste person i datasættet for at få en god fornemmelse af generaliteten i denne prøve. Men hvis der var 7 milliarder mennesker i dette datasæt, kan det tage meget lang tid.

Der er to måder, vi nu kan prøve på dataene på.

Vi kan enten tilfældigt vælge personer fra datasættet og bruge det som vores prøve, eller vi kan håndplukke en bestemt undergruppe af de data, der skal bruges.

Et ensartet datasæt er et, hvor alle er lige sandsynligt, at de bliver valgt. En partisk prøve er ikke ensartet, folket blev håndplukket.

Ikke-partiske datasæt synes "fair", mens uvildige synes "urimelige". Med en objektiv prøve kan vi ikke løse resultatet. Vi kan ikke ændre dataene til vores fordel.

Nogle gange er vi ligeglad med "retfærdighed", og nogle gange kan uvildige prøver føre til uventede resultater.

Tilfældige variabler

Kan du huske tidligere, da vi sagde, at tilfældige variabler er funktioner? Nå, hvis du anvender en tilfældig variabel på et prøveområde, vil en population som sådan:

Du får et partisk datasæt fra det prøveområde. Det er partisk, fordi vi ikke tilfældigt vælger folk i sættet; vi anvender et filter - en regel på sættet for at få en undergruppe af befolkningen.

Professor Paul Dunne havde dette at sige om tilfældige variabler:

Forestillingen om en sandsynlighedsfordeling. Dette er beskrivelsen af ​​sandsynligheden for, at et medlem af en befolkning (dvs. sæt) er valgt. For eksempel, hvis vi overvejer en enkelt dyse, har befolkningen 6 medlemmer: {1,2,3,4,5,6} Vi har muligvis en sandsynlighedsfordeling svarende til en fair dyse, så hver har en sandsynlighed for, at 1/6 er valgt. Hvis det er en partisk dør, kan for eksempel sandsynlighedsfordelingen være P [6] = 5/6 P [1] = 0 og P [2] = P [3] = P [4] = P [5] = 1/24 Med dette er summen af ​​individuelle resultater 1.
En tilfældig variabel tænkes bedst ved først at glemme sandsynligheder og tænke på en vilkårlig funktion fra befolkningen til for eksempel de reelle tal. I døeksemplet kunne vi vælge f (x) = x² nu i modsætning til sandsynlighedsfordelingsfunktionen har den valgte funktion ingen begrænsninger: medlemmer af befolkningen behøver ikke at have værdier mellem 0 og 1, summen af ​​funktionsværdierne skal tilføjes op til 1. Hvor ideen om ”tilfældig variabel” kommer ind, er, når en funktion kombineres med en sandsynlighedsfordeling. Nu behandles distributionen ikke blot som at vælge en MEDLEM af befolkningen, men som at vælge VÆRDEN for funktionen i en tilfældig stil, det er i stedet for at returnere det valgte medlem (f.eks. Resultatet af at kaste en dyse) funktionens værdi for dette medlem er rapporteret (f.eks. kvadratet med det kastede antal).

Gennemsnitsværdi med tilfældige variabler

Givet en population, S, hvis medlemmer er samplet i henhold til en fordeling, D. Den gennemsnitlige (forventede) værdi af den tilfældige variabel r (er) under D er betegnet som

Dette angives ganske enkelt, at den forventede værdi er en "vægtet" sum (overtaget af alle medlemmer, s, af den samlede befolkning, S) på:

chancen for, at D vælger s multipliceret med værdien af ​​den funktion, der er returneret med r for s, dvs. r (r). I ikke-partiske fordelinger

Ikke-partiske distributioner

I uvildige fordelinger er den forventede værdi bare den samlede sum af alle tilfældige variabler divideret med populationsstørrelsen:

Dette er bare din typiske middelværdi, den, du lærer i skolen. Min lærer lærte mig en cool sang til at huske forskellene mellem gennemsnit, rækkevidde, median osv.

Hey diddle diddle medianen er den midterste, vi tilføjer og deler for gennemsnittet. Tilstanden er den, du ser mest, og intervallet er forskellen imellem!

Antag, at S er en samling af resultater, der kan vises ved at rulle en dyse 6.000 gange.

Så for en "fair" dør, ville du forvente at se hvert resultat 1.000 gange.

Lad os antage, at vi har et spil, hvor spillere spiller £ 1, og hvis matrisen lander på en af ​​{1, 2, 3}, får spilleren £ 2 bagefter, ellers mister de deres indsats. I et fair spil kan spilleren forvente at vinde 3/6 = 1/2 = halvdelen af ​​tiden.

Test af tillid

Lad os sige, at hypotesen om et eksperiments resultat er X, og det faktiske resultat er Y.

Resultatet Y er så langt væk fra forudsigelsen, at hypotesen er falsk. Dette kaldes betydning.

En nulhypotese siger, at resultatet vil være X.

Betydningen repræsenterer, at sandsynligheden for, at det observerede resultat er "konsistent" med det forudsagte resultat.

En hypotese kan "afvises" med observerede resultater med tre stigende niveauer af fortrolighed:

  1. Sandsynligheden for, at X har givet Y, er højst 0,05 (signifikant)
  2. Sandsynligheden for, at X har, i betragtning af at Y er resultatet, er højst 0,01 (meget signifikant)
  3. Sandsynligheden for, at X har, i betragtning af at Y er resultatet, er 0,001 (meget stærkt oprindeligt)

Der er to typer fejl, der kan forekomme her:

Type 1-fejl - En sand hypotese afvises Type 2-fejl - En falsk hypotese er godkendt

Måling af signifikans

Udfallet af begivenheden kommer "tættere og tættere" på den forventede værdi kan udtrykkes som en formel kaldet afvigelsen. Husk, at begivenheden for en tilfældig variabel i et prøveområde er:

Variance er bare:

“Hvor langt væk et valgt medlem er fra den forventede variabel”

Ser det ikke forfærdeligt ud? Hvis vi lægger den første formel i den, så ville den se ud:

Ser det ikke ud som den mest forfærdelige formel nogensinde?

r (s) -delen er den tilfældige variabel, delmængden af ​​befolkningen. Delen er den forventede værdi af et tilfældigt medlem.

Variance producerer altid en ikke-negativ værdi.

Standardafvigelsen er netop denne formel, firkantet.

Det er faktisk mere almindeligt skrevet som:

Jeg ville bare se, hvor konvolut formlen kunne blive.

Standardafvigelsen er bare:

”Hvor langt væk er det største (eller mindste) datapunkt fra gennemsnittet”.

Q-test

Givet et forudsagt resultat, X, af et eksperiment og det faktiske resultat, Y. Hvis vi kender standardafvigelsen for det miljø, hvor eksperimentet er sat, kan vi beregne værdien:

Hvis q> 0,01, holder X med bedst sandsynlighed 0,05 Hvis q> 2,33, holder X med bedst sandsynlighed 0,01. Hvis q> 3,09, holder X med bedst sandsynlighed 0,001

Hvis du kunne lide denne artikel, skal du oprette forbindelse til mig!

LinkedIn | Twitter | Nyhedsbrev