马尔可夫和切比雪夫不等式的证明

Markov’s inequality(马尔可夫不等式)

定义

XXX是非负的随机变量，对于固定的a>0a>0a>0，那么都有

P(X≥a)≤E[X]aP(X\geq a) \leq \frac{E[X]}{a}P(X≥a)≤aE[X]​

证明

假设随机变量YYY有两个取值：0、aaa

Y={a,X≥a0,X≤aY= \begin{cases} a, & \text{$X \geq a$} \\ 0, & \text{$ X \leq a$} \\ \end{cases} Y={a,0,​X≥aX≤a​

从上述表达式中可以看出，X≥YX \geq YX≥Y始终成立，由此推出

E[X]≥E[Y]E[X] \geq E[Y]E[X]≥E[Y]

同样类似的公式还有：若f(x)≥g(x)f(x) \geq g(x)f(x)≥g(x)，那么∫f(x)dx≥∫g(x)dx\int f(x)dx \geq \int g(x)dx∫f(x)dx≥∫g(x)dx

接下来按照离散随机变量的期望公式 E[Y]=∑1nynP(Y=yn)E[Y] =\sum_{1}^{n} {{y}_{n}P(Y={y}_{n})}E[Y]=∑1n​yn​P(Y=yn​)，求YYY的期望：

E[Y]=0∗P(X≤a)+a∗P(X≥a)=aP(X≥a)E[Y]=0*P(X \leq a)+a*P(X \geq a)=aP(X \geq a)E[Y]=0∗P(X≤a)+a∗P(X≥a)=aP(X≥a)

因此，

E[X]≥E[Y]=aP(X≥a)E[X] \geq E[Y]=aP(X \geq a)E[X]≥E[Y]=aP(X≥a)

定理得证。

Chebyshev’s inequality（切比雪夫不等式）

定义

假设随机变量XXX的期望μ\muμ有界，方差σ2{\sigma}^2σ2，k>0k > 0k>0，那么

P(∣X−μ∣≥k)≤σ2k2P(|X-\mu|\geq k) \leq \frac{{\sigma}^2}{{k}^2} P(∣X−μ∣≥k)≤k2σ2​

证明

注意到(X−σ)2(X-\sigma)^2(X−σ)2非负，因为P(∣X−μ∣≥k)=P((X−μ)2≥k2)P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2)P(∣X−μ∣≥k)=P((X−μ)2≥k2)，对P((X−μ)2≥k2)P({(X-\mu)}^2\geq k^2)P((X−μ)2≥k2)使用Markov’s inequality（a=k2a=k^2a=k2），

得到：

P(∣X−μ∣≥k)=P((X−μ)2≥k2)≤E[(X−μ)2]k2=σ2k2P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2) \leq \frac{E[{(X-\mu)}^2]}{k^2}=\frac{{\sigma}^2}{k^2} P(∣X−μ∣≥k)=P((X−μ)2≥k2)≤k2E[(X−μ)2]​=k2σ2​

定理得证

如果觉得《马尔可夫和切比雪夫不等式的证明》对你有帮助，请点赞、收藏，并留下你的观点哦！