常见概率分布

Common Probability Distributions

Posted by J Leaves on March 15, 2019

二项分布及相关

二项分布

(Binomial Distribution)

n次独立重复实验,每次实验的成功概率为p,若成功实验的次数为x,

\[p(x)=C_n^xp^x(1-p)^{1-x}\]

期望:$E(X)=np$
方差:$Var(X)=np(1-p)$
矩母函数:$M(t)=[(1-p)+pe^t]^n$

特殊性质

若 $X_1,X_2,…,X_n$ 相互独立,$X_i \text{~} b(n_i,p)$,则 $Y=\sum_{i=1}^mX_i \text{~} b(\sum_{i=1}^mX_i,p)$

负二项分布

(Negative Binomial Distribution)

独立重复实验,每次实验的成功概率为p,若y为第r次成功实验前所需的失败次数

\[p(x)=C_{x+r-1}^rp^{r-1}(1-p)^x\]

矩母函数:$M(t)=p^r[1-(1-p)e^t]^{-r}$

几何分布

(Geometric Distribution)

当负二项分布中 $r=1$ 时,

\[p(x)=p(1-p)^y\]

矩母函数:$M(t)=p[1-(1-p)e^t]^{-1}$

三项分布

(Trinomial Distribution)

\[p(x,y)=\frac{n!}{x!y!(n-x-y)!}p_1^xp_2^yp_3^{n-x-y}\]

矩母函数:$M(t_1,t_2)=(p_1e^{t_1}+p_2e^{t_2}+p_3)^n$

特殊性质

边际矩母函数:$M(t_1,0)=((1-p_1)+p_1e^{t_1})^n$, $M(0,t_2)=((1-p_2)+p_2e^{t_2})^n$
$\rightarrow$ X、Y独立

超几何分布

(Hypergeometric Distribution)

N个样品,其中包含D个次品,设X表示样本量为n时的次品数,

\[p(x)=\frac{C_{N-D}^{n-x}C_D^x}{C_N^n}\]

均值:$E(X)=n\frac{D}{N}$
方差:$Var(X)=n\frac{D}{N}\frac{N-D}{N}\frac{N-n}{N-1}$

泊松分布

泊松分布

(Poisson Distribution)

\[p(x)= \begin{cases} \frac{m^xe^{-m}}{x!} & x=0,1,2,3,... \\ 0 & otherwise \end{cases}\]

矩母函数:$M(t)=e^{m(e^t-1)}$
期望:$E(X)=m$
方差:$VAR(X)=m$

特殊性质

若 $X_1,X_2,…,X_n$ 相互独立,$X_i \text{~Poisson}(m_i)$,则 $Y=\sum_{i=1}^nX_i \text{~Poisson}(\sum_{i=1}^nm_i)$

伽马分布及相关

伽马分布

(Gamma Distribution)

引入

伽马函数:$\Gamma(\alpha)=\int_0^\infty y^{\alpha-1}e^{-y}dy$
$\Gamma(\alpha)=(\alpha-1)! \ for \ \alpha \in N$

基本性质
\[f(x)= \begin{cases} \frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta} & 0<x<\infty\\ 0 & elsewhere \end{cases}\]

记作 $\Gamma(\alpha, \beta)$

矩母函数:$M(t)=\frac{1}{(1-\beta t)^\alpha}, \ t<\frac{1}{\beta}$
期望:$E(X)=\alpha\beta$
方差:$Var(X)=\alpha\beta^2$

指数分布

(Exponential Distribution)

若 $\alpha=1, \ \beta=\frac{1}{\lambda}$ ,则

\[f(x)= \begin{cases} \lambda e^{-\lambda x} & 0<x<\infty \\ 0 & elsewhere \end{cases}\]

称为参数为 $\lambda$ 的指数分布

特殊性质

(1)
\(E(X^k)=\frac{2^k\Gamma(\frac{r}{2}+k)} {\Gamma(\frac{r}{2})}, \ if \ k>-\frac{r}{2}\)

(2)
若 $X_1,X_2,…,X_n$ 相互独立,$X_i \text{~} \Gamma(\alpha_i,\beta)$,则 $Y=\sum_{i=1}^nX_i \text{~} \Gamma(\sum_{i=1}^n\alpha_i,\beta)$

卡方分布

(Chi-square Distribution)

若 $\alpha=r/2 \ (r \in N), \ \beta=2$

\[f(x)= \begin{cases} \frac{1}{\Gamma(\frac{r}{2})2^{\frac{r}{2}}}x^{\frac{r}{2}-1}e^{-\frac{r}{2}} & 0<x<\infty \\ 0 & elsewhere \end{cases}\]

其中 $r$ 称为卡方分布的自由度,记作 $\chi^2(r)$

矩母函数:$M(t)=(1-2t)^{-\frac{r}{2}}$
期望:$E(X)=r$
方差:$Var(X)=2r$

特殊性质

若 $X_1,X_2,…,X_n$ 相互独立,$X_i \text{~} \chi^2(r_i)$,则 $Y=\sum_{i=1}^nX_i \text{~} \chi^2(\sum_{i=1}^nr_i)$

贝塔分布

(Beta Distribution)

若考虑新变量 $Y_1=X_1+X_2$ 和 $Y_2=\frac{X_1} {X_1+X_2}$,则 $Y_2$ 的边际密度函数为

\[f(x)=\frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\]
参看

如何通俗理解 beta 分布? - 知乎

正态分布及相关

正态分布

(Normal Distribution)

引入

标准正态分布

\[f(y)=\frac{1}{\sqrt{2\pi}}e^{\frac{-y^2}{2}}, \ -\infty<y<\infty\]

即 $N(0, 1)$,常记 $\phi(x) = \frac{1}{\sqrt{2\pi}}e^{\frac{-x^2}{2}}$

矩母函数:$M(t)=e^{\frac{1}{2}t^2}$

基本性质

一般正态分布

若 $X=\sigma Y+\mu$

\[f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}, \ -\infty<x<\infty\]

记作 $N(\mu, \sigma^2)$

矩母函数:$M(t)=e^{\mu t+\frac{1}{2}\sigma^2t^2}$
期望:$E(X)=\mu$
方差:$Var(X)=\sigma^2$

特殊性质

(1)
$X \text{~} N(\mu, \sigma^2) \Leftrightarrow Z=\frac{X-\mu}{\sigma} \text{~} N(0,1)$

(2)
若 $X \text{~} N(\mu, \sigma^2)$,则 $V=\frac{(X-\mu)^2}{\sigma^2} \text{~} \chi^2(1)$.

多元正态分布

(Multivariate Normal Distribution)

引入

多维高斯分布是如何由一维发展而来的? - 知乎

基本性质

记作 $N_n(\boldsymbol\mu, \boldsymbol\Sigma)$

若 $\Sigma$ 是非奇异矩阵(即可逆矩阵),则密度函数有显式表达

\[f(\mathbf x)=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}e^{-\frac{1}{2} (\mathbf x-\boldsymbol\mu)^T\Sigma^{-1}(\mathbf x-\boldsymbol\mu)}, \ \mathbf x \in \mathbf R^n\]

矩母函数:$M_X(t)=e^{t^T\mu+\frac{1}{2} t^T \Sigma t}$

特殊性质

若 $\mathbf X \text{~} N_n(\boldsymbol\mu, \boldsymbol\Sigma)$,则 $\mathbf Y=\mathbf{AX}+\mathbf b \text{~} N_m(\boldsymbol{A\mu}+\mathbf b, \boldsymbol{A\Sigma A}^T)$

t-分布和F-分布

t-分布

(t-distribution)

若 $W \text{~} N(0, 1), \ V \text{~} \chi^2(r)$,且相互独立,令 $T=\frac{W}{\sqrt{V/r}}$

\[f(t;r)=\frac {\Gamma (\frac {r+1}{2})}{\sqrt{\pi r \, }\,\Gamma (\frac {r}{2})}(1+\frac {t^{2}}{r})^{\frac {-(r+1)}{2}}, \ -\infty<t<\infty\]

期望:$E(T)=0, \ \text{if} \ r>1$
方差:$Var(T)=\begin{cases}\frac{r}{r-2} & \text{if} \ r>2 \ \infty & \text{if} \ 1<r\leq2 \end{cases}$

F-分布

(F-distribution)

若 $U \text~ \chi^2(r_1), V \text~ \chi^2(r_2)$,令 $X=\frac{U/r_1}{V/r_2}$

\[f(x;r_{1},r_{2})= \frac{1}{\mathrm{B} \!\left({\frac{r_{1}}{2}},{\frac{r_{2}}{2}}\right)} \left( \frac{r_{1}}{r_{2}} \right) ^{\frac{r_{1}}{2}}x^{\frac{r_{1}}{2}-1} \left( 1+\frac{r_{1}}{r_{2}}\,x \right) ^{-\frac{r_{1}+r_{2}}{2}}, \ 0<w<\infty\]

期望:$E(X)=\frac{r_2}{r_2-2}, \ \text{if} \ r_2>2 $
方差:$Var(X)=\frac {2\,r_{2}^{2}\,(r_{1}+r_{2}-2)}{r_{1}(r_{2}-2)^{2}(r_{2}-4)}, \ \text{for} \ r_2>4$