【概率论与数理统计01】那些年 正态分布 指数分布 伽马分布 卡方分布之间的发生的

前记：大多数通信领域的论文都用到了复杂的数学工具，而数学推导中其中很大一部分都涉及到了概率论的知识，痛恨当时自己没有好好学（大哭）。所以今天又来开一个新坑，我一遍学一遍填，希望有朝一日能把这个坑筑成一座楼。

统计分布在概率论中占有重要地位，是一些分析研究的基础，然而每个分布都有自己与众不同的特性，仿佛是一个个性格迥异的人，但是他们都生活在概率论这个村子里，彼此之间有着不可告人小秘密，今天就来看一看那些年，这村子里的四兄弟（正态，伽马，伽马，卡方）之间的故事。

0. 经典中的经典

    开篇放一个大招镇场子，这个概率分布的族谱包括19个离散和57个连续性分布，但是一般人是记不住这么多分布的（不过我听说真的有人把这些分布的特性都记住，向大佬膜拜orz），最好的方法是随用随学，善用搜索，哪里不会补哪里，不过一些重要的分布还是要记住的。贴上原图链接: Univariate Distribution Relationship Chart。

    除了这个图，wiki百科也是一个很好的学习资源，不知道为什么wiki百科上英文版的介绍比中文版的全…。其次Random Website也是一个比较方便和全面学习概率的网站。以上举的这两个网址都是比较数学化的，接下来介绍一个数学科普类读物，是靳志辉先生著的《火光摇曳》，本书前几章介绍了正态分布和伽马函数的来源，很有意思，建议有时间看一看。

图1 概率分布关系图

    很明显，今天我们要介绍的四兄弟在他们的族谱中都处在中心位置（画红圈的那几个），毫不夸张的说，这四兄弟及其衍生分布占据了家族的半壁江山。考虑到这个图有些凌乱，我画了一个简化图，看看他们之间的关系到底如何。

图2 四个分布关系简图

\newline

\newline

1. 威武的大哥——正态分布

    《火光摇曳》里第一句话是这么讲的：

   神说，

   要有正态分布，

   就有了正态分布。

   神看正态分布是好的，

   就让随机误差就服从了正态分布。

    正态分布看似很神秘，但其实在我们的生活中随处可见，比如最近刚出炉的高考成绩，人群的身高等等都服从近似的正态分布。为什么正态分布会如此常见呢？这是因为中心极限定理（Central Limit Theorems，CLT）的缘故，定理指出在适当的条件下，大量相互独立随机变量的均值经过适当标准化后收敛于正态分布。即当一个随机事件取样足够大时，结果近似为正态分布。但要注意的是使用中心极限定理时，这两个条件需要满足：第一个条件就是取样需要随机，比如在观测成绩分布时，不能总盯着名校的尖子生看，要一视同仁，同等看待。第二个条件就是影响结果的因素是相互独立或者影响比较小的，以身高为例，父母的身高和是否热爱运动都会对身高产生影响，但是这两个因素的关系并不大，因此身高的人群分布曲线可以近似为正态分布。

    我个人认为正态分布的钟形分布曲线是最美观的，不仅形状优雅，还充满着对称之美。

图3 正态分布概率密度曲线

    若一个随机变量 XXX 满足正态分布，即 X∼N(μ,σ2)X \sim N(\mu,\sigma^2)X∼N(μ,σ2), 那么其概率密度函数可写为

fX(x)=12πσe−(x−μ)22σ2f_X(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} fX​(x)=2π​σ1​e−2σ2(x−μ)2​

其中 E(X)=μE(X) = \muE(X)=μ 表示期望，D(X)=σ2D(X) = \sigma^2D(X)=σ2 表示方差。若期望为 0，方差为 1，则定义为标准正态分布，概率密度函数为

ϕ(x)=12πe−x2/2\phi(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2} ϕ(x)=2π​1​e−x2/2

其一阶导数满足 ϕ′(x)=−xϕ(x)\phi^\prime(x) = -x\phi(x)ϕ′(x)=−xϕ(x)，说明概率密度函数在 x<0x<0x<0 时单调递增，在 x>0x>0x>0 时单调递减。其二阶导数满足 ϕ′′(x)=(x2−1)ϕ(x)\phi''(x) = (x^2-1)\phi(x)ϕ′′(x)=(x2−1)ϕ(x)，说明概率密度函数在 −1≤x≤1-1 \le x \le 1−1≤x≤1 时为凹函数，其余区间为凸函数。

    另外正态分布满足独立可加性，若两个独立的随机变量 X1X_1X1​ 和 X2X_2X2​ 分别满足 X1∼N(μ1,σ12)X_1 \sim N(\mu_1,\sigma^2_1)X1​∼N(μ1​,σ12​) 和 X2∼N(μ2,σ22)X_2 \sim N(\mu_2,\sigma^2_2)X2​∼N(μ2​,σ22​)，那么 X1+X2∼N(μ1+μ2,σ12+σ22)X_1+X_2 \sim N(\mu_1+\mu_2,\sigma^2_1+\sigma^2_2)X1​+X2​∼N(μ1​+μ2​,σ12​+σ22​)。

\newline

\newline

2. 神秘的二哥——伽马分布

伽马函数

    提到伽马分布不得不提到伽马函数，这个函数看起来很奇怪，是一个幂函数与指数函数相乘的积分形式

Γ(k)=∫0∞xk−1e−xdx,k∈(0,∞)\Gamma(k) = \int_{0}^{\infty}x^{k-1}e^{-x}dx, \quad k\in(0,\infty) Γ(k)=∫0∞​xk−1e−xdx,k∈(0,∞)

利用分部积分法可得

Γ(k+1)=∫0∞xke−xdx=(−xke−x)∣0∞+∫0∞kxk−1e−xdx=kΓ(k)\Gamma(k+1) = \int_{0}^{\infty}x^{k}e^{-x}dx=(-x^ke^{-x})|^{\infty}_0+ \int_{0}^{\infty}kx^{k-1}e^{-x}dx = k\Gamma(k) Γ(k+1)=∫0∞​xke−xdx=(−xke−x)∣0∞​+∫0∞​kxk−1e−xdx=kΓ(k)

也就是 Γ(k+1)/Γ(k)=k\Gamma(k+1) /\Gamma(k) =kΓ(k+1)/Γ(k)=k，很显然 Γ(1)=1\Gamma(1) = 1Γ(1)=1，那么 Γ(k)=(k−1)!\Gamma(k) = (k-1)!Γ(k)=(k−1)!。发现没有，伽马函数竟然能化简成阶乘的形式！自从中世纪以来，有许多数学家都在探索阶乘的秘密，他们试图将阶乘写成有关 nnn 的函数，例如著名的斯特林公式，但是这只是近似，在 nnn 较小时仍存在很大误差。因此伽马函数被赋予了特殊的意义——阶乘的另一种形式。然而我们在高中学习的阶乘仅在自然数域有意义，而伽马函数将阶乘的定义域扩充到了全体非负数，举个例子 12!=π2\frac{1}{2}!=\frac{\sqrt{\pi}}{2}21​!=2π​​

伽马分布

    介绍完了伽马函数，接下来进入正题伽马分布，把伽马函数等式的左端移到右端，被积的函数就是标准伽马分布的概率密度函数

f(x)=1Γ(k)xk−1e−xf(x) = \frac{1}{\Gamma(k)}x^{k-1}e^{-x} f(x)=Γ(k)1​xk−1e−x

设随机变量 XXX 服从标准伽马分布，记为 X∼Ga(α)X \sim \rm{Ga}(\alpha)X∼Ga(α)，α\alphaα 即为 kkk，意思是形状参数（shape parameter）。例如当 α=1\alpha=1α=1 时，XXX 服从标准指数分布；当 α>1\alpha >1α>1 时，XXX 服从单峰分布。

图4 伽马分布概率密度曲线

对随机变量 XXX 进行线性变换，令 Y=λXY=\lambda XY=λX，其中 λ\lambdaλ 为尺度参数（scale parameter），那么可以得到伽马分布的一般性表达式

f(x)=λαΓ(α)xα−1e−λxf(x) = \frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x} f(x)=Γ(α)λα​xα−1e−λx

即 Y∼Ga(α,λ)Y \sim \rm{Ga}(\alpha,\lambda)Y∼Ga(α,λ)，这里也存在一个特例，α=n/2\alpha = n/2α=n/2，λ=1/2\lambda=1/2λ=1/2 的伽马分布是自由度为 nnn 的卡方分布。伽马分布的期望 E(Y)=α/λE(Y)=\alpha/\lambdaE(Y)=α/λ，方差 D(Y)=α/λ2D(Y)=\alpha/\lambda^2D(Y)=α/λ2

伽马分布的线性性质

    设 X∼Ga(α1,λ)X \sim \rm{Ga}(\alpha_1,\lambda)X∼Ga(α1​,λ)，Y∼Ga(α2,λ)Y \sim \rm{Ga}(\alpha_2,\lambda)Y∼Ga(α2​,λ)，且 XXX 与 YYY 独立，则 X+Y∼Ga(α1+α2,λ)X+Y \sim \rm{Ga}(\alpha_1+\alpha_2,\lambda)X+Y∼Ga(α1​+α2​,λ)，该性质可由卷积公式求联合概率密度得到。这个结论表明，两个尺度参数相同的独立伽马变量相加后仍为伽马变量，尺度参数不变，形状参数为相加和。这个结论可推广到多个独立伽马变量相加，但当形状参数趋近于无穷时，根据中心极限定理，此时的伽马分布可近似为正态分布。

    伽马分布具有简单的线性性质，若 X∼Ga(α1,λ)X \sim \rm{Ga}(\alpha_1,\lambda)X∼Ga(α1​,λ)，Z=aX+bZ=aX+bZ=aX+b，则 Z−b∼Ga(α1,λ/a)Z-b \sim \rm{Ga}(\alpha_1,\lambda/a)Z−b∼Ga(α1​,λ/a)，这个可以由反函数的概率密度公式推导得出。这个结论表明伽马分布的线性变换保证形状参数不变。

正态分布转化为伽马分布

    设一个正态分布 X∼N(0,σ2)X \sim N(0,\sigma^2)X∼N(0,σ2)，则 Y=X2Y = X^2Y=X2 服从伽马分布，证明如下：

当 y>0y>0y>0 时，YYY 的分布函数为

FY(y)=P(X2≤y)=P(−y≤X≤y)=FX(y)−FX(−y).F_Y(y)=P(X^2 \le y) = P(-\sqrt{y}\le X \le \sqrt{y}) = F_X(\sqrt{y}) - F_X(-\sqrt{y}). FY​(y)=P(X2≤y)=P(−y​≤X≤y​)=FX​(y​)−FX​(−y​).

对上式两边关于 yyy 求导，得

PY(y)=PX(y)12y+PX(−y)12yP_Y(y) = P_X(\sqrt{y}) \frac{1}{2\sqrt{y}}+P_X(-\sqrt{y}) \frac{1}{2\sqrt{y}} PY​(y)=PX​(y​)2y​1​+PX​(−y​)2y​1​

整理后为

PY(y)={12πyσe−y2σ2,y>00,其他.P_Y(y) = \left\{ \begin{aligned} \frac{1}{\sqrt{2\pi y}\sigma}e^{-\frac{y}{2\sigma^2}},\quad &y>0\\ 0,\qquad\quad&其他. \end{aligned} \right. PY​(y)=⎩⎪⎨⎪⎧​2πy​σ1​e−2σ2y​,0,​y>0其他.​

即 Y∼Ga(12,12σ2)Y \sim \rm{Ga}(\frac{1}{2},\frac{1}{2\sigma^2})Y∼Ga(21​,2σ21​)。

其实这个性质可以由卡方分布简单的得出，因为 X∼N(0,σ2)X \sim N(0,\sigma^2)X∼N(0,σ2)，那么 X2σ2∼χ2(1)\frac{X^2}{\sigma^2} \sim \chi^2(1)σ2X2​∼χ2(1)，服从自由度为 1 的卡方分布。X2∼σ2χ2(1)X^2 \sim \sigma^2\chi^2(1)X2∼σ2χ2(1)成立，因为卡方分布时伽马分布的一种特殊情况因此，Ga(12,12)\rm{Ga}(\frac{1}{2},\frac{1}{2})Ga(21​,21​) 与 χ2(1)\chi^2(1)χ2(1) 等价。根据伽马分布的线性变换，σ2Ga(12,12)\sigma^2\rm{Ga}(\frac{1}{2},\frac{1}{2})σ2Ga(21​,21​) = Ga(12,12σ2)\rm{Ga}(\frac{1}{2},\frac{1}{2\sigma^2})Ga(21​,2σ21​)，证毕。

【概率论与数理统计01】那些年 正态分布 指数分布 伽马分布 卡方分布之间的发生的那些事儿（上）

如果觉得《【概率论与数理统计01】那些年 正态分布 指数分布 伽马分布 卡方分布之间的发生的》对你有帮助，请点赞、收藏，并留下你的观点哦！