概率论：中心极限定理 马尔科夫不等式 切比雪夫不等式 大数定理

一、中心极限定理

1.1 独立同分布的中心极限定理

1.1.1 定理

设X1,X2,...,Xn为相互独立、服从同一分布的随机变量序列，且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n)，则对于任意x，有：设X_1,X_2,...,X_n为相互独立、服从同一分布的随机变量序列，且E(X_i)=\mu,D(X_i)=\sigma^2\ne0(i=1,2,...n)，则对于任意x，有：设X1​,X2​,...,Xn​为相互独立、服从同一分布的随机变量序列，且E(Xi​)=μ,D(Xi​)=σ2​=0(i=1,2,...n)，则对于任意x，有：

lim⁡n→∞P{∑i=1nXi−nμnσ≤x}=∫−∞x12πe−t22dt=Φ(x)（1.1）\lim_{n\to\infty}P\begin{Bmatrix}{\sum_{i=1}^nX_i-n\mu\over\sqrt{n}\sigma}\le x\end{Bmatrix}=\int_{-\infty}^x{1\over\sqrt{2\pi}}e^{-{t^2\over2}}dt=\Phi(x)\quad\quad\quad\quad\quad\quad （1.1）limn→∞​P{n​σ∑i=1n​Xi​−nμ​≤x​}=∫−∞x​2π​1​e−2t2​dt=Φ(x)（1.1）

该定理通常被称为林德伯格-莱维（Lindeberg-Levy）定理。

来看下上面定理的含义：

若记：

Yn=∑i=1nXi−nμnσY_n={\sum_{i=1}^nX_i-n\mu\over\sqrt{n}\sigma}Yn​=n​σ∑i=1n​Xi​−nμ​

记FYn(x)F_{Y_n}(x)FYn​​(x)为YnY_nYn​的分布函数，则1.1式可以写成：

limn→∞FYn(x)=Φ(x)lim_{n\to\infty}F_{Y_n}(x)=\Phi(x)limn→∞​FYn​​(x)=Φ(x)

这表明，当充分大时，YnY_nYn​近似服从正态分布N(0,1)N(0,1)N(0,1)，即：

∑i=1nXi−nμnσ∽N(0,1){\sum_{i=1}^nX_i-n\mu\over\sqrt{n}\sigma}\backsim N(0,1)n​σ∑i=1n​Xi​−nμ​∽N(0,1)

从而当n充分大时：

∑i=1n∽N(nμ,nσ2)（1.2）\sum_{i=1}^n\backsim N(n\mu,n\sigma^2)\quad\quad\quad\quad\quad\quad（1.2）∑i=1n​∽N(nμ,nσ2)（1.2）

式1.2说明，不论X1,X2,...,XnX_1,X_2,...,X_nX1​,X2​,...,Xn​服从什么分布，只要满足定理的条件，当n充分大时，就可以把∑i=1nXi\sum_{i=1}^nX_i∑i=1n​Xi​做为正态随机变量处理，这个性质很重要。

将定理稍作变形，可以得到这个表现形式：

X‾−μσn∽N(0,1){{\overline{X}-\mu}\over \sigma\sqrt{n}}\backsim N(0,1)σn​X−μ​∽N(0,1)

即：

X‾∽N(μ,σ2n)\overline{X}\backsim N(\mu,{\sigma^2\over n})X∽N(μ,nσ2​)，其中X‾=1n∑i=1nXi\overline{X}={1\over n}\sum_{i=1}^nX_iX=n1​∑i=1n​Xi​

由以上推导可知，无论X1,X2,...,XnX_1,X_2,...,X_nX1​,X2​,...,Xn​是服从什么分布，其算术平均值当n充分大是总是近似地服从正态分布。这一结果是数理统计中大样本理论的基础。

/view/6db8601ac950ad02de80d4d8d15abe23482f0338.html?fr=search

二、马尔科夫不等式&切比雪夫不等式

切比雪夫不等式描述了这样一个事实，事件大多会集中在平均值附近。且切比雪夫不等式是马尔科夫不等式的特殊情况，因此首先看下马尔科夫不等式

2.1 马尔科夫不等式

其不等式表示如下：

P(X≥a)≤E(X)aP(X\ge a)\le{E(X)\over a}P(X≥a)≤aE(X)​，其中X≥0X\ge0X≥0

2.1.1 直观感受

通过μ=1.3，σ=0.5\mu=1.3，\sigma=0.5μ=1.3，σ=0.5的正态分布来展示：

2.1.2 证明

代数证明：

马尔科夫不等式有一个条件：X是一个非负的随机变量

E(x)=∫−∞+∞xf(x)dxE(x)=\int_{-\infty}^{+\infty}xf(x)dxE(x)=∫−∞+∞​xf(x)dx

≥∫t+∞xf(x)dx\quad\quad\ge\int_t^{+\infty}xf(x)dx≥∫t+∞​xf(x)dx

≥t∫t+∞f(x)dx\quad\quad\ge t\int_t^{+\infty}f(x)dx≥t∫t+∞​f(x)dx

=tP(x≥t)\quad\quad=tP(x\ge t)=tP(x≥t)

将t从等式右端移到左端，得证

几何证明：

首先引入示性函数I{A}I_{\{A\}}I{A}​的概念，示性函数只有在事件A成立时才返回1，否则为0. 我们需要使用的一个引理是，当事件是如下形式，如A={X>a}A=\{X>a\}A={X>a}时，示性函数的期望可以表示事件发生的概率，即E(I{A})=P(A)E(I_{\{A\}})=P(A)E(I{A}​)=P(A)。

引入示性函数后，我们就可以把概率我呢提转移到更直观的空间上。举例而言，我们知道，对于任意的非负x和b：

I{x≥b}≤xbI_{\{x\ge b\}}\le{x\over b}I{x≥b}​≤bx​

从几何角度来说，即xb{x\over b}bx​在第一象限永远不低于I{x≥b}I_{\{x\ge b\}}I{x≥b}​，如图所示：

将自变量换为随机变量X，上述不等式同样成立，再对不等式两边

求均值，就可以得到：

P(X≥b)≤E(X)bP(X\ge b)\le{E(X)\over b}P(X≥b)≤bE(X)​

2.2 切比雪夫不等式

设随机变量X具有数学期望E(X)=μ，方差D(X)=σ2，则对于任意k>0都有：设随机变量X具有数学期望E(X)=\mu，方差D(X)=\sigma^2，则对于任意k>0都有：设随机变量X具有数学期望E(X)=μ，方差D(X)=σ2，则对于任意k>0都有：

P{∣X−E(X)∣≥kσ}≤1k2P\{|X-E(X)|\ge k\sigma\}\le{1\over k^2}P{∣X−E(X)∣≥kσ}≤k21​

2.2.1 直观感受

2.2.2 证明

几何证明：

同样采用示性函数来证明，对于任意的x，a和b，由示性函数可知：

I{∣x−a∣≥b}≤(x−a)2b2I_{\{|x-a|\ge b\}}\le{(x-a)^2\over b^2}I{∣x−a∣≥b}​≤b2(x−a)2​

其中右半部分是一个二次函数，左半部分是两端取1的示性函数，这个不等式画出来如下所示：

二次函数的值在任意点都不会低于示性函数，其中，两个坐标轴的交点（原点）实际上为(a,0)(a,0)(a,0)，而两条虚线对应的x轴的值分别为a-b和a+b。

将自变量x变为随机变量X，以上不等式依然成立，此时再对不等式两边求均值，同时设定a为随机变量X的均值E(X)E(X)E(X)，就可以得到切比雪夫不等式：

P(∣X−μ∣≥b)≤Var(X)b2P(|X-\mu|\ge b)\le{Var(X)\over b^2}P(∣X−μ∣≥b)≤b2Var(X)​

/question/27821324/answer/248693398

三、大数定理

3.1 随机变量序列依概率收敛

3.1.1 定义：

设随机变量序列Y1,Y2,...,Yn,...，若存在某常数a，使得∀ε>0,均有：limn→+∞P{∣Yn−a∣<ε}=1设随机变量序列Y_1,Y_2,...,Y_n,...，若存在某常数a，使得\forall \varepsilon>0,均有：lim_{n\to+\infty}P\{|Y_n-a|<\varepsilon\}=1设随机变量序列Y1​,Y2​,...,Yn​,...，若存在某常数a，使得∀ε>0,均有：limn→+∞​P{∣Yn​−a∣<ε}=1

则称随机变量序列{Yn}依概率收敛于常数a，记为：Yn→Pa则称随机变量序列\{Y_n\}依概率收敛于常数a，记为：Y_n\xrightarrow{P}a则称随机变量序列{Yn​}依概率收敛于常数a，记为：Yn​P​a

3.1.2 性质

若Xn→Pa,Yn→b，且g(x,y)在(a,b)处连续，则g(Xn,Yn)→Pg(a,b)若X_n\xrightarrow{P}a,Y_n\xrightarrow{b}，且g(x,y)在(a,b)处连续，则g(X_n,Y_n)\xrightarrow{P}g(a,b)若Xn​P​a,Yn​b​，且g(x,y)在(a,b)处连续，则g(Xn​,Yn​)P​g(a,b)

3.2 大数定理

3.2.1 定理一：切比雪夫定理的特殊情况

设随机变量序列X1,X2,...,Xn,...相互独立，且具有相同的数学期望和相同的方差σ2，作前n个随机变量的算术平均：设随机变量序列X_1,X_2,...,X_n,...相互独立，且具有相同的数学期望和相同的方差\sigma^2，作前n个随机变量的算术平均：设随机变量序列X1​,X2​,...,Xn​,...相互独立，且具有相同的数学期望和相同的方差σ2，作前n个随机变量的算术平均：

1n∑k=1nXk=X‾{1\over n}\sum_{k=1}^nX_k=\overline{X}n1​∑k=1n​Xk​=X

则∀ε>0，有：则\forall \varepsilon>0，有：则∀ε>0，有：

limn→∞P{∣X‾−μ∣<ε}=limn→∞P{∣1n∑k=1n−μ∣<ε}=1lim_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=lim_{n\to\infty}P\{|{1\over n}\sum_{k=1}^n-\mu|<\varepsilon\}=1limn→∞​P{∣X−μ∣<ε}=limn→∞​P{∣n1​∑k=1n​−μ∣<ε}=1

证明：

由于：

E(X‾)=E(1n∑k=1nXk)=1n⋅nμ=μE(\overline{X})=E({1\over n}\sum_{k=1}^nX_k)={1\over n}\centerdot n\mu=\muE(X)=E(n1​∑k=1n​Xk​)=n1​⋅nμ=μ

D(X‾)=D(1n∑k=1nXk)=1n2∑k=1nD(Xk)=1n2⋅nσ2=σ2nD(\overline{X})=D({1\over n}\sum_{k=1}^nX_k)={1\over n^2}\sum_{k=1}^nD(X_k)={1\over n^2}\centerdot n\sigma^2={\sigma^2\over n}D(X)=D(n1​∑k=1n​Xk​)=n21​∑k=1n​D(Xk​)=n21​⋅nσ2=nσ2​

由切比雪夫不等式得：

P{∣1n∑k=1nXk−μ∣<ε}≥1−σ2/nε2⟹limn→∞P{∣1n∑k=1nXk−μ∣<ε}=1P\{|{1\over n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}\ge1-{\sigma^2/n\over\varepsilon^2}\implies lim_{n\to\infty}P\{|{1\over n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}=1P{∣n1​∑k=1n​Xk​−μ∣<ε}≥1−ε2σ2/n​⟹limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

3.2.2 定理二：伯努利大数定理

设事件A在每次试验中发生的概率为p，记nA为n次独立重复试验中A发生的次数，则∀ε>0，有：设事件A在每次试验中发生的概率为p，记n_A为n次独立重复试验中A发生的次数，则\forall\varepsilon>0，有：设事件A在每次试验中发生的概率为p，记nA​为n次独立重复试验中A发生的次数，则∀ε>0，有：

limn→+∞P{∣nAn−P∣<ε}=1lim_{n\to+\infty}P\{|{n_A\over n}-P|<\varepsilon\}=1limn→+∞​P{∣nnA​​−P∣<ε}=1

证明：

∵nA∽B(n,p),E(nAn)=1n⋅np=p,D(nAn)=1n2D(nA)=1n2⋅npq=pqn\because n_A\backsim B(n,p),E({n_A\over n})={1\over n}\centerdot np=p, D({n_A\over n})={1\over n^2}D(n_A)={1\over n^2}\centerdot npq={pq\over n}∵nA​∽B(n,p),E(nnA​​)=n1​⋅np=p,D(nnA​​)=n21​D(nA​)=n21​⋅npq=npq​

利用切比雪夫不等式可得：

∀ε>0，有P{∣nAn−p∣<ε}≥1−pqnε2\forall\varepsilon>0，有P\{|{n_A\over n}-p|<\varepsilon\}\ge1-{pq\over n\varepsilon^2}∀ε>0，有P{∣nnA​​−p∣<ε}≥1−nε2pq​

即得：

limn→+∞P{∣nAn−p∣<ε}=1lim_{n\to+\infty}P\{|{n_A\over n}-p|<\varepsilon\}=1limn→+∞​P{∣nnA​​−p∣<ε}=1

/view/2b88b411cc7931b765ce15f4.html?sxts=1591850252432

如果觉得《概率论：中心极限定理 马尔科夫不等式 切比雪夫不等式 大数定理》对你有帮助，请点赞、收藏，并留下你的观点哦！