Wet van Grote Aantallen

In opgave M1.3 hebben we gezien hoe de spreiding van het bepaalde steekproefgemiddelde steeds kleiner wordt als we meer data gebruiken om het gemiddelde te bepalen. De gemeten waardes liggen steeds dichter bij elkaar. Dit is een belangrijke observatie. Het geeft aan dat hoe groter de steekproef, hoe nauwkeuriger we ons resultaat weten. Je voelt misschien al aan dat dit niet altijd op gaat. Wanneer dit wel en wanneer dit niet opgaat zullen we hier bespreken.

We bespreken hier twee wetten, de n\sqrt{n}-wet en de wet van grote aantallen. De eerste wet zegt dat we een gemiddelde, onder bepaalde voorwaarden, steeds beter kennen als we meer datapunten meenemen. De tweede wet zegt dat het steekproef gemiddelde langzaam zal convergeren naar het gemiddelde van de populatie naarmate de steekproef steeds groter wordt.

De n\sqrt{n}-wet

Stel dat we een grootheid willen bepalen die de som is van twee onafhankelijke variabelen die beide stochastisch verdeeld zijn. Dit betekent dat beide variabelen gemeten kunnen worden maar ook dat de waardes die we meten een onderliggende verdeling volgen die afhangt van een kans proces. We hebben hier dus twee onafhankelijke stochasten, die we XX en YY noemen. De verwachtingswaarde van de som X+YX+Y is gelijk aan:

E(X+Y)=E(X)+E(Y).\displaystyle{ E(X+Y)= E(X)+E(Y) }.

Ofwel de verwachtingswaarde van de som is gelijk aan de verwachtingswaarde van XX plus de verwachtingswaarde van YY. De verwachtingswaarde is de waarde die je verwacht te meten en is hier gelijk aan het verwachtte steekproefgemiddelde. Dus

E(X)=1n∑inXi.\displaystyle{ E(X) = \frac{1}{n} \sum_i^n X_i}.

We kunnen ook naar de spreiding van waardes van de som (X+Y)(X+Y) kijken. Als XX en YY onafhankelijk zijn dan geldt ook:

Var(X+Y)=Var(X)+Var(Y).\displaystyle{Var(X+Y)= Var(X)+Var(Y)}.

Het ziet er misschien ingewikkeld uit, maar het enige wat we doen is een nieuwe variabele definiëren die de som is van twee andere variabelen. De som van stochasten is zelf ook een stochast. De variantie op de som vinden we via de regels van de foutenpropagatie.

Stel nu dat we dit uitbreiden. En we nemen de som van nn onafhankelijk stochasten, X1,X2,...,XnX_1,X_2,...,X_n die elk dezelfde onderliggende verdeling kennen. Dat wil zeggen dat ze allemaal dezelfde verwachtingswaarde en dezelfde variantie hebben. Je kan dit bijvoorbeeld zien als nn onafhankelijke metingen van eenzelfde grootheid met behulp van verschillende onafhankelijke steekproeven.

De formule voor de som SnS_n, kunnen we nu schrijven als:

Sn=X1+X2+...+Xn.\displaystyle{ S_n = X_1 + X_2 + ... + X_n.}

En de verwachtingswaarde van SnS_n is dan:

E(Sn)=E(X1+X2+...+Xn)=E(X1)+E(X2)+...+E(Xn).\displaystyle { E( S_n ) = E( X_1 + X_2 + ... + X_n ) = E(X_1) + E(X_2) + ... + E(X_n).}

Omdat we eerder stelden dat elke stochast dezelfde onderliggende verdeling betekent dit dat

μX1=μX2=...=μXn≡μ.\mu_{X_1} =\mu_{X_2} = ... = \mu_{X_n} \equiv \mu.

Als de verwachtingswaarde (steekproefgemiddelde) van een enkele stochast E(Xi)E(X_i) gelijk is aan het populatiegemiddelde μ\mu dan geldt nu voor de verwachtingswaarde van de som:

E(Sn)=μ⋅n.\displaystyle{ E(S_n)= \mu \cdot n} .

En als de variantie van de steekproef is gelijk aan de variantie van de populatie Var(Xi)=σ2Var(X_i) = \sigma^2, dan geldt

Var(Sn)=n⋅σ2.\displaystyle{ Var(S_n) = n \cdot \sigma^2 } .

ofwel de standaardafwijking van de som is gelijk aan:

s(Sn)=n⋅σ.\displaystyle{ s_{(S_n)} = \sqrt{n} \cdot \sigma } .

In plaats van naar de eigenschappen van de som SnS_n te kijken, kunnen we ook naar de eigenschappen van het gemiddelde van de stochasten XiX_i kijken. We hoeven hiervoor alleen maar de waarde van de som te delen door het aantal metingen nn.

Behalve de som SnS_n kunnen we ook het gemiddelde van de stochasten, GnG_n, definiëren. Dit gemiddelde is gedefinieerd als:

Gn=Snn.\displaystyle{ G_n = \frac{S_n}{n}.}

De grootheid nn mogen we zien als een constante en daarom kunnen we gebruik maken van de regels die we in het vorige hoofdstuk hebben afgeleid (in het eerste voorbeeld)

E(cX)=c⋅E(x),Var(cX)=c2⋅Var(X).\displaystyle{ E(cX) = c \cdot E(x), \hspace{2cm} Var(cX) = c^2 \cdot Var(X).}

De verwachtingswaarde van het gemiddelde GnG_n is dus gelijk aan:

E(Gn)=E(Snn)=E(Sn)n=(n⋅μ)n=μ.\displaystyle{ E\left( G_n \right) = E\left( \frac{S_n}{n} \right) = \frac{E\left( S_n \right)}{n} = \frac{(n \cdot \mu)}{n} =\mu.}

Precies wat we verwachten: de verwachtingswaarde van de steekproef is gelijk aan de verwachtingswaarde van de populatie. Voor de standaardafwijking vinden we

Var(Gn)=Var(Snn)=Var(Sn)n2=n⋅σ2n2=σ2n.\displaystyle{ Var(G_n) = Var\left( \frac{S_n}{n}\right) = \frac{Var\left( S_n \right)}{n^2} = \frac{n \cdot \sigma^2}{ n^2} = \frac{\sigma^2}{n}.}

Dit betekent dat de standaardafwijking voor het gemiddelde GnG_n kan worden geschreven als

s(Gn)=σn.\displaystyle{ s_{(G_n)} = \frac{\sigma}{\sqrt{n}}.}

Dit is een belangrijk resultaat. Het zegt dat we het gemiddelde van een steekproef steeds beter kennen als we meer metingen verrichten.

Denk bijvoorbeeld aan de ton met N kogels waarvan de massa’s van de kogels een Normale distributie hebben met een gemiddelde μ\mu en een standaardafwijking σ\sigma, de onzekerheid op het bepaalde gemiddelde massa van een steekproef gelijk is aan σ/n\sigma/\sqrt{n}. Hoe meer kogels we wegen en meenemen in het berekende steekproefgemiddelde, hoe nauwkeuriger we dit gemiddelde kennen.

De wet van Grote Aantallen

Intuïtief voelen we aan dat hoe meer metingen we doen, hoe meer informatie we hebben, en hoe nauwkeuriger ons resultaat is. We hebben in de n\sqrt{n}-wet al gezien dat de standaardafwijking op een gemeten stochast afneemt met 1/n\sqrt{n}. We laten nu zien dat we, in de meeste gevallen, ook kunnen verwachten dat het gemeten steekproefgemiddelde steeds meer in de buurt komt van het populatiegemiddelde.

De wet van grote aantallen zegt dat het berekende steekproef gemiddelde, X‾\overline{X}, van een distributie met een eindige variantie, convergeert naar het populatie gemiddelde μ\mu voor steeds grote steekproeven:

limn→∞P(∣X‾−μ∣>ϵ)=0.{\displaystyle lim_{n \to \infty} P( \mid \overline{X} - \mu \mid \gt \epsilon) = 0.}

Ofwel de kans dat het steekproef gemiddelde meer afwijkt van het populatie gemiddelde dan een heel klein getal, convergeert naar 0 voor oneindig grote steekproeven.

Voor eindige populaties is dit natuurlijk zeker waar. Maar denk hier ook aan oneindig grote, of nagenoeg oneindig grote populaties, zoals bijvoorbeeld als je de gemiddelde massa van het elektron wilt bepalen.

Tip: In deze video wordt de wet van grote aantallen nogmaals duidelijk uitgelegd.

Als je de wet goed leest zie je dat er een voorwaarde aan vast zit. Namelijk dat de variantie van de stochast eindig moet zijn, en dat dus de verwachtingswaarde van de stochast bepaald is. Er bestaan distributies, zoals de Cauchy of de Landau distributie waarvoor dit dus niet geldt. Deze distributies hebben oneindig lange staarten. In het figuur hier zie je hoe de Cauchy distributie eruitziet.

Cauchy verdeelde kansdistributies.

Wiskundig gezien kan de wet van grote aantallen dus weleens voor problemen zorgen. In Natuurkundige experimenten zijn verdelingen uiteindelijk vaak beknot door bijvoorbeeld de eindigheid van energie. Voor Natuurkundige experimenten gaat de wet van grote aantallen eigenlijk altijd op.

Overigens noemen we deze wet van grote aantallen de zwakke wet van grote aantallen, er bestaat ook een sterke wet. We gaan hier niet in op de kleine verschillen tussen deze twee wetten, online kun je er eventueel genoeg over vinden.