Matematici aplicate în economie · Probabilități și statistică

Estimare și teste statistice

Avansat75 min

Pe această pagină

Ce înveți

  • Calculezi eroarea standard și intervale de încredere pentru o medie și pentru o proporție, inclusiv cu distribuția Student.
  • Stabilești mărimea eșantionului necesară pentru o precizie dată.
  • Formulezi și testezi o ipoteză statistică (testele z, t și testul pentru proporție) și interpretezi pragul de semnificație și valoarea p.

Teorie

O brutărie nu poate cântări toate pâinile, iar o firmă de sondare nu poate întreba toți alegătorii. Amândouă lucrează cu un eșantion și trag concluzii despre întreaga populație. Lecția răspunde la două întrebări: cât de precisă este o estimare făcută pe eșantion (intervale de încredere) și cum decizi, pe baza unui eșantion, dacă o afirmație despre populație este credibilă (teste statistice).

Partea 1. Eșantioane, estimatori și eroarea standard

Mărimile care descriu populația se numesc parametri (media μ, abaterea standard σ, proporția p) și de obicei nu se cunosc. Mărimile calculate pe eșantion se numesc statistici (media de eșantion xˉ\bar{x}, abaterea standard s, proporția p^\hat{p}) și se folosesc pentru a estima parametrii.

Media unui eșantion variază de la un eșantion la altul. Cât de mult variază arată eroarea standard:

σxˉ=σn,σp^=p(1−p)n\sigma_{\bar{x}} = \frac{\sigma}{\sqrt{n}}, \qquad \sigma_{\hat{p}} = \sqrt{\frac{p(1 - p)}{n}}

În cuvinte: media a 25 de pâini variază de 25=5\sqrt{25} = 5 ori mai puțin decât o pâine luată singură. Ca să înjumătățești eroarea, ai nevoie de un eșantion de patru ori mai mare.

Teorema limită centrală. Pentru eșantioane destul de mari (regula practică: n≥30n \ge 30), media de eșantion are aproximativ distribuția normală N(μ,σ2/n)N(\mu, \sigma^2/n), oricare ar fi distribuția populației. Tot așa, proporția p^\hat{p} are aproximativ distribuția N(p,p(1−p)/n)N\big(p, p(1 - p)/n\big) când npnp și n(1−p)n(1 - p) sunt cel puțin 5. De aceea distribuția normală apare în aproape toate formulele de mai jos.

Partea 2. Intervale de încredere

Media, cu σ cunoscut (de exemplu, din experiența anterioară a brutăriei):

xˉ±zα/2⋅σn\bar{x} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}

Valorile critice ale lui z vin din tabelul funcției Φ: z=1,645z = 1{,}645 pentru 90%, z=1,96z = 1{,}96 pentru 95% și z=2,576z = 2{,}576 pentru 99%.

Exemplu ipotetic: brutăria cântărește 25 de pâini și obține media xˉ=496\bar{x} = 496 g; știe că σ=10\sigma = 10 g. Eroarea standard este 10:5=210 : 5 = 2 g, iar intervalul de 95% este 496±1,96×2=496±3,92496 \pm 1{,}96 \times 2 = 496 \pm 3{,}92, adică între 492,1 și 499,9 g. Intervalul nu conține 500 g, greutatea declarată.

Media, cu σ necunoscut. Când abaterea standard se estimează din același eșantion (cu s), incertitudinea este mai mare și se folosește distribuția Student (t) cu n−1n - 1 grade de libertate, ale cărei valori critice sunt mai mari decât ale lui z pentru eșantioane mici:

xˉ±tα/2; n−1⋅sn\bar{x} \pm t_{\alpha/2;\,n-1} \cdot \frac{s}{\sqrt{n}}

Exemplu ipotetic: o cafenea măsoară 16 pahare de cafea mare (declarate 250 ml) și obține xˉ=245\bar{x} = 245 ml și s=8s = 8 ml. Eroarea standard este 8:4=28 : 4 = 2 ml, iar valoarea critică pentru 95% și 15 grade de libertate este t=2,131t = 2{,}131 (din tabelul Student). Intervalul este 245±2,131×2=245±4,26245 \pm 2{,}131 \times 2 = 245 \pm 4{,}26, adică între 240,7 și 249,3 ml. Pentru n mare, valorile t se apropie de cele z (pentru 120 de grade de libertate, t≈1,98t \approx 1{,}98).

Proporția:

p^±zα/2⋅p^(1−p^)n\hat{p} \pm z_{\alpha/2} \cdot \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}

Exemplu ipotetic: într-un sondaj pe 1000 de clienți, 52% spun că ar cumpăra un produs nou. Marja de eroare de 95% este 1,96×0,52×0,48:1000≈0,0311{,}96 \times \sqrt{0{,}52 \times 0{,}48 : 1000} \approx 0{,}031, adică ±3,1\pm 3{,}1 puncte procentuale. Intervalul este între 48,9% și 55,1%: sondajul nu poate spune sigur că majoritatea clienților ar cumpăra.

Mărimea eșantionului. Din formula marjei de eroare E rezultă câți respondenți îți trebuie pentru o precizie dorită:

n=z2 p(1−p)E2 (proporție),n=(z σE)2 (medie)n = \frac{z^2 \, p(1 - p)}{E^2} \ \text{(proporție)}, \qquad n = \left(\frac{z \, \sigma}{E}\right)^2 \ \text{(medie)}

Pentru o marjă de ±3 puncte procentuale la 95%, în cazul cel mai nefavorabil (p=0,5p = 0{,}5): n=1,962×0,25:0,032≈1067n = 1{,}96^2 \times 0{,}25 : 0{,}03^2 \approx 1067. De aceea multe sondaje naționale au în jur de 1000–1100 de respondenți, indiferent de mărimea țării.

Partea 3. Testarea ipotezelor statistice

Pașii oricărui test:

  • 1. Formulezi ipotezele. Testul este bilateral dacă H1H_1 spune „diferit” (μ≠500\mu \neq 500) și unilateral dacă spune „mai mic” sau „mai mare”.
  • 2. Alegi pragul de semnificație α, probabilitatea acceptată de a respinge pe nedrept H0H_0 (de obicei 5% sau 1%).
  • 3. Calculezi statistica testului, care măsoară, în erori standard, cât de departe este eșantionul de H0H_0:
z=xˉ−μ0σ/n,t=xˉ−μ0s/n,z=p^−p0p0(1−p0)/nz = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}, \qquad t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}}, \qquad z = \frac{\hat{p} - p_0}{\sqrt{p_0 (1 - p_0) / n}}
  • 4. Compari cu valoarea critică (regiunea critică) sau calculezi valoarea p.
  • 5. Decizi: respingi H0H_0 dacă statistica intră în regiunea critică (echivalent, dacă p<αp < \alpha); altfel, nu ai suficiente dovezi să o respingi.

Exemplul 1, testul z (controlul greutății). H0H_0: μ=500\mu = 500 g, H1H_1: μ≠500\mu \neq 500 g, α=5%\alpha = 5\%. Cu xˉ=496\bar{x} = 496, σ=10\sigma = 10 și n=25n = 25: z=(496−500):2=−2z = (496 - 500) : 2 = -2. Valoarea critică bilaterală este 1,96, iar ∣−2∣>1,96\lvert -2 \rvert > 1{,}96, deci respingi H0H_0: pâinile sunt, în medie, mai ușoare decât 500 g. Valoarea p este 2×Φ(−2)≈0,0462 \times \Phi(-2) \approx 0{,}046, sub 5%. La pragul de 1% (valoarea critică 2,576), însă, nu ai fi respins H0H_0: concluzia depinde de cât de prudent alegi să fii.

Exemplul 2, testul t (paharele de cafea). H0H_0: μ=250\mu = 250 ml, H1H_1: μ≠250\mu \neq 250 ml. t=(245−250):2=−2,5t = (245 - 250) : 2 = -2{,}5, iar ∣−2,5∣>2,131\lvert -2{,}5 \rvert > 2{,}131 (valoarea critică pentru 15 grade de libertate): respingi H0H_0, paharele sunt umplute sub cantitatea declarată. Observă legătura cu intervalul de încredere: 250 ml nu se află în intervalul de 95% calculat mai sus. Un test bilateral la pragul α respinge H0H_0 exact când valoarea din H0H_0 este în afara intervalului de încredere de nivel 1−α1 - \alpha.

Exemplul 3, testul pentru proporție (furnizorul). Un furnizor garantează cel mult 2% piese defecte. Într-un eșantion de 400 de piese, 14 sunt defecte (p^=3,5%\hat{p} = 3{,}5\%). H0H_0: p=0,02p = 0{,}02, H1H_1: p>0,02p > 0{,}02 (test unilateral). z=(0,035−0,02):0,02×0,98:400=0,015:0,007≈2,14z = (0{,}035 - 0{,}02) : \sqrt{0{,}02 \times 0{,}98 : 400} = 0{,}015 : 0{,}007 \approx 2{,}14. Valoarea critică unilaterală pentru 5% este 1,645, iar 2,14>1,6452{,}14 > 1{,}645: respingi H0H_0, furnizorul nu respectă contractul (valoarea p este aproximativ 0,016).

Cele două tipuri de erori:

H0H_0 este adevăratăH0H_0 este falsă
Respingi H0H_0eroare de tipul I (probabilitatea α)decizie corectă (probabilitatea 1−β1 - \beta, puterea testului)
Nu respingi H0H_0decizie corectăeroare de tipul II (probabilitatea β)

În controlul calității, eroarea de tipul I înseamnă să oprești o linie de producție care funcționa bine („riscul producătorului”), iar eroarea de tipul II înseamnă să lași să treacă un lot defect („riscul cumpărătorului”). Scăderea lui α crește β; singurul mod de a le scădea pe amândouă este un eșantion mai mare.

Partea 4. Controlul statistic al calității

O fișă de control urmărește în timp mediile unor eșantioane mici, luate regulat, și le compară cu limite stabilite din μ și σ:

LCS=μ+3σn,LCI=μ−3σnLCS = \mu + 3 \frac{\sigma}{\sqrt{n}}, \qquad LCI = \mu - 3 \frac{\sigma}{\sqrt{n}}

(limita de control superioară și inferioară). Pentru pâini, cu eșantioane zilnice de câte 25: 500±3×2500 \pm 3 \times 2, adică între 494 și 506 g. Cât timp mediile zilnice rămân între limite, variațiile sunt considerate „normale” și procesul este sub control. O medie în afara limitelor (probabilitate de doar 0,3% dacă procesul funcționează bine) este un semnal să verifici cuptorul sau rețeta.

Video

Confidence Intervals, Clearly Explained!!!

de StatQuest with Josh Starmer

Se încarcă de pe YouTube

Confidence Intervals, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube

Întrebare-ghid: Clipul este în engleză. Urmărește ce înseamnă „95% încredere”: proporția intervalelor care conțin media adevărată, nu probabilitatea pentru un singur interval.

Hypothesis Testing and The Null Hypothesis, Clearly Explained!!!

de StatQuest with Josh Starmer

Se încarcă de pe YouTube

Hypothesis Testing and The Null Hypothesis, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube

Întrebare-ghid: Clipul este în engleză (null hypothesis = ipoteza nulă, reject = a respinge). Urmărește de ce un test nu „dovedește” ipoteza nulă, ci doar arată dacă datele o contrazic, și aplică ideea la exemplul pâinilor.

Exemple grafice

Primul grafic arată marja de eroare de 95% a unui sondaj în funcție de numărul de respondenți, în cazul cel mai nefavorabil (p=0,5p = 0{,}5).

02,557,5105001.0001.5002.0002.5003.0003.5004.000Număr de respondenți (n)Marja de eroare (± puncte procentuale)marja de eroare, 95%1000 de respondenți: ±3,1
Marja 1,96 × √(0,25 / n) este de 9,8 puncte procentuale la 100 de respondenți, 4,9 la 400, 3,1 la 1000 și 1,55 la 4000. Ca să înjumătățești marja, ai nevoie de un eșantion de patru ori mai mare.
Vezi datele ca tabel
Marja de eroare a unui sondaj
SerieNumăr de respondenți (n)Marja de eroare (± puncte procentuale)
marja de eroare, 95%1009,8
marja de eroare, 95%2006,93
marja de eroare, 95%4004,9
marja de eroare, 95%6004
marja de eroare, 95%1.0003,1
marja de eroare, 95%1.5002,53
marja de eroare, 95%2.0002,19
marja de eroare, 95%3.0001,79
marja de eroare, 95%4.0001,55
1000 de respondenți: ±3,11.0003,1

Încearcă să calculezi marja pentru 2500 de respondenți: 1,96×0,5:50≈0,01961{,}96 \times 0{,}5 : 50 \approx 0{,}0196, adică ±2 puncte. Concluzie: după aproximativ 1000 de respondenți, fiecare îmbunătățire a preciziei costă tot mai mult, de aceea sondajele se opresc de obicei acolo.

Al doilea grafic este o fișă de control pentru greutatea medie a pâinilor, cu mediile a 12 eșantioane zilnice ipotetice de câte 25 de pâini.

48649249850451024681012ZiuaGreutatea medie a eșantionului (g)media zilnicăLCS = 506LCI = 494semnal
Exemplu ipotetic. Limitele de control sunt 494 și 506 g (500 ± 3 × 2). Mediile zilnice oscilează în jurul lui 500 g, iar în ziua 10 media de 493 g iese sub limita inferioară: un semnal că procesul trebuie verificat.
Vezi datele ca tabel
Fișa de control a greutății pâinilor
SerieZiuaGreutatea medie a eșantionului (g)
media zilnică1501
media zilnică2499
media zilnică3503
media zilnică4498
media zilnică5500
media zilnică6502
media zilnică7497
media zilnică8504
media zilnică9499
media zilnică10493
media zilnică11501
media zilnică12500
LCS = 5061506
LCS = 50612506
LCI = 4941494
LCI = 49412494
semnal10493

Încearcă să calculezi limitele pentru eșantioane de câte 16 pâini: 500±3×10:4=500±7,5500 \pm 3 \times 10 : 4 = 500 \pm 7{,}5. Concluzie: cu cât eșantionul zilnic este mai mic, cu atât limitele sunt mai largi și fișa reacționează mai greu la probleme.

Aprofundare

Ce înseamnă, de fapt, „95% încredere”

Parametrul μ este un număr fix, nu o variabilă aleatoare. Aleator este intervalul, care se schimbă de la un eșantion la altul. „95%” descrie metoda: dintre toate intervalele construite așa, 95% îl prind pe μ. Pentru un interval anume, deja calculat, μ fie este înăuntru, fie nu. De aceea formularea corectă este „suntem 95% încrezători că intervalul conține media”, nu „media este cu probabilitatea 95% în interval”.

Neînțelegeri frecvente despre valoarea p

  • Valoarea p nu este probabilitatea ca H0H_0 să fie adevărată; este probabilitatea datelor (sau a unora mai extreme), presupunând H0H_0 adevărată.
  • „Nu respingem H0H_0” nu înseamnă că H0H_0 este dovedită; poate eșantionul a fost prea mic.
  • „Semnificativ statistic” nu înseamnă „important economic”: cu un eșantion uriaș, chiar și o diferență de 0,1 g la o pâine iese semnificativă.

Excepții și nuanțe

  • Toate formulele presupun un eșantion aleator. Un eșantion mare, dar ales greșit, dă rezultate greșite cu mare precizie.
  • Pentru eșantioane mici dintr-o populație care nu este normală, testul t poate fi înșelător; se folosesc atunci teste neparametrice.
  • Dacă faci 20 de teste la pragul de 5%, te poți aștepta la un rezultat „semnificativ” doar din întâmplare. Corecțiile pentru teste multiple (de exemplu Bonferroni) împart α la numărul de teste.

Un caz real: „Student” și berea Guinness

William Sealy Gosset lucra ca chimist la fabrica de bere Guinness din Dublin și trebuia să tragă concluzii despre calitatea orzului și a hameiului din eșantioane foarte mici. Formulele cu distribuția normală dădeau intervale prea înguste pentru astfel de eșantioane. În 1908, Gosset a publicat distribuția care îi corecta, sub pseudonimul „Student”, pentru că Guinness nu le permitea angajaților să publice sub numele lor. Un eșec celebru arată și importanța eșantionului aleator: în 1936, revista Literary Digest a prezis victoria lui Alf Landon în alegerile prezidențiale americane, pe baza a peste 2 milioane de răspunsuri de la abonați și posesori de telefoane și automobile, mai înstăriți decât media. A câștigat Franklin Roosevelt, iar George Gallup, cu un eșantion mult mai mic, dar mai bine ales, a prezis corect rezultatul.

Quiz

Verifică ce ai înțeles. Poți reîncerca oricând.

1. Greutatea pâinilor are abaterea standard 10 g. Care este eroarea standard a mediei unui eșantion de 25 de pâini, în grame?

Scrie un număr.

g

2. De câte ori trebuie mărit un eșantion ca să înjumătățești eroarea standard?

Alege o singură variantă.

3. Media a 25 de pâini este 496 g, cu σ = 10 g. Care este intervalul de încredere de 95% pentru greutatea medie?

Alege o singură variantă.

4. Într-un sondaj pe 1000 de persoane, 52% răspund „da”. Care este marja de eroare de 95%, în puncte procentuale, cu o zecimală?

Scrie un număr.

puncte procentuale

5. Ce înseamnă o eroare de tipul I într-un test statistic?

Alege o singură variantă.

6. Testezi H0: μ = 500 g cu σ = 10 g, pe un eșantion de 25 de pâini cu media 496 g. Cât este statistica z?

Scrie un număr.

7. Un test dă valoarea p = 0,03. Ce decizi la pragul de semnificație de 1%?

Alege o singură variantă.

8. Câți respondenți îți trebuie pentru o marjă de eroare de ±2 puncte procentuale la 95%, în cazul cel mai nefavorabil (p = 0,5)? Rotunjește în sus.

Scrie un număr.

respondenți