Foundations of Mathematical Statistics

for $a

现在来引入t分布，t分布在以后的问题中会经常遇到：

Def 2(t分布). If $Z \sim N(0,1)$ and $\chi^2(r)$ are independent, we call the distribution of the r.v.

a t-distribution with $r$ degrees of freedom.
Remark. t分布是偶对称分布，有 $f_T(-x) = f_T(x)$,另外，t分布只与其自由度 $r$ 相关，由 $r$ 所唯一确定，考虑到我们之前曾经提到 $\frac{(n-1)S^2}{\sigma^2}\sim\chi^2$,可以将任意一个正态分布标准化为标准正态分布，再比上 $\sqrt{\frac{S^2}{n-1}}=\frac{S}{\sigma}$ 来得到 t分布。

Confidence Interval

之前介绍的点估计是一种经典的统计推断方法，在一致性的保证下，估计量可以依概率收敛到真实参数，但是点估计的缺陷也是明显的，对于连续分布而言，我们的估计量是服从某一分布的，那么就必然有 $P(\hat{\theta} = \theta) = 0$,一个点对于连续分布是测度为零的，或许这在提示我们，想获得概率上的保证，估计一个区间也是可行的方法：

Def 1(C.I.). Suppose that we have a random sample from $f(x, \theta)$. For $0<\alpha<1$, if there exists two statistics $T_1=t_1\left(X_1, \ldots, X_n\right)$ and $T_2=t_2\left(X_1, \ldots, X_n\right)$ satisfying

We call the random interval $\left(T_1, T_2\right)$ a $100(1-\alpha) \\%$ confidence interval（C.I.） of parameter $\theta$.
Remark. $100(1-\alpha) \\%$ 又叫做 confidence coefficient,这个概率的含义是一个有意思的事情，它并不是说观测出某一组随机样本，它们的 $\theta$ 在置信区间内的概率是$100(1-\alpha) \%$ ，因为对于已经观测出来的样本，他存在的概率只有 $0$ 或 $1$,这个概率的含义是：如果我们可以 Re-sampling 很多样本，那么在很多样本中，$\theta$ 属于置信区间的概率(频率比总实验次数) 为 $100(1-\alpha) \\%$ .

Constructing C.I. by pivotal quantity（枢轴量，关键量）:

Def 2(pivotal quantity). A function of random sample and parameter, $Q=q\left(X_1, \ldots, X_n, \theta\right)$, is called a pivotal quantity if its distribution is independent of $\theta$(与 $\theta$ 无关系).

满足定义的枢轴量会有很多，哪些枢轴量对寻找置信区间有帮助呢？下面的一段话回答了这个问题：

With a pivotal quantity $q\left(X_1, \ldots, X_n, \theta\right)$, there exists $a, b$ such that

The interest of pivotal quantity is that there exists statistics $T_1=t_1\left(X_1, \ldots, X_n\right)$ and $T_2=t_2\left(X_1, \ldots, X_n\right)$ with the following 1-1 transformation

Then we have $1-\alpha=P\left(T_1 \leq \theta \leq T_2\right)$ and $\left(T_1, T_2\right)$ is a $100(1-\alpha) \%$ C.I. for $\theta$

Remark. 现在来思考一下枢轴量的必要性，我们需要找到一个随机区间，使得参数属于该区间的概率为一个常数，该条件需要对所有的参数空间成立，如果一开始的枢轴量是依赖于 $\theta$ 的，那么该概率常数必然与 $\theta$ 相关，就违反了我们的条件；我们感兴趣的枢轴量是可以一对一的转化成 $T_1 \leq \theta \leq T_2$的形式的，举个例子说明这一点：

EX. $X_1, \ldots, X_n \stackrel{i i d}{\sim} N\left(\mu, \sigma^2\right)$. $\mu,\sigma$ 为参数，求 $\mu$ 的置信区间。

Let $t_{\frac{\alpha}{2}}$ satisfies

$\Rightarrow\left(\bar{X}-t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \bar{X}+t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right)$ is a $100(1-\alpha) \%$ C.I. for $\mu$.
Remark. 可见，由于 $T$ 可以将 $\mu$ 剥离出来，而保证 $T_1,T_2$ 都是统计量，这才使得 $T$ 成为了我们感兴趣的枢轴量，若我们只是将 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$ 当作枢轴量，是找不到置信区间的。

EX. 同样是上述例子，找 $\sigma^2$ 的C.I.,需要利用 $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ 来当枢轴量。

另外，有时候还需找到样本均值的差的C.I.，即 $\mu_1-\mu_2$ 的 C.I.，还是那一套方法，构造枢轴量，然后化简。

这里总结一下常见的枢轴量选取：

1. 推断 $\mu$, 方差已知,构造标准正态分布作为枢轴量；方差未知，先构造标准正态分布，再构造t分布消去 $\sigma^2$作为枢轴量。
2. 推断 $\sigma^2$,构造 $\chi^2$分布作为枢轴量。

近似置信区间

在有些时候我们并不知道母体分布，需要使用大样本理论去推断参数的近似置信区间。

下面介绍一些简单的大样本理论，首先说明一点，之前我们提到了mgf唯一对应随机变量的分布，其实这种对应是分布函数意义上的确定，也就是在分布函数的意义上相等，如果用mgf进行极限分布的推断，只可以得到依分布收敛的结果。

定理 1 （连续性定理）. 令随机变量 $X_n$ 和 $X$ 的 CDF $F_n$ 和 $F$ 为对应它们的矩母函数为 $\phi_n$ 和 $\phi$ ．那么， $\phi_n(t) \rightarrow \phi(t) \forall t\iff X_n \xrightarrow{\mathcal{D}} X$ ．

定理 2（经典CLT）. 令 $\left\\{X_n\right\\}$ 为均值为 $\mu$ ，方差为 $\sigma^2<\infty$ 的i．i．d随机变量序列．那么，

这里 $Z \sim N(0,1)$ ．

定理3 （连续映射定理）. 令 $g: \mathbb{R}^{\mathrm{p}} \mapsto \mathbb{R}^{\mathrm{m}}$ 为在集合 C 中几乎处处连续的映射。如果 $\mathrm{X}\_{\mathrm{n}}$ 依概率／几乎处处收玫 $/$ 依分布收敛到 X ，则 $g\left(\mathrm{X}\_{\mathrm{n}}\right)$ 依概率／几乎处处收玫／依分布收敛到 $g(\mathrm{X})$

定理 4（Slutsky’s theorem）. 设 $\left(X_n\right),\left(Y_n\right)$ 为随机标量，向量或矩阵序列。若 $\left(X_n\right)$ 依分布收敛至随机元素 $X$ ，且 $\left(Y_n\right)$ 依概率收敛至常数 $c$ ，则

• $\left(X_n+Y_n\right) \xrightarrow{d} X+c ;$
• $\left(X_n Y_n\right) \xrightarrow{d} X c$ ；
• $\left(X_n / Y_n\right) \xrightarrow{d} X / c$, 若 $c$ 可逆。

现在讨论近似区间估计的问题，这类问题实际上很简单，即我们对样本的分布一无所知，但可以由CLT保证当样本量趋于无穷时，$\frac{\overline{ X } -\mu}{\sigma \sqrt{n}} \xrightarrow{\mathcal{D}} Z$，我们唯一需要做的就是构造 $\frac{\overline{ X } -\mu}{\sigma \sqrt{n}}$,但是这种枢轴量是无意义的，我们可以进一步构造 $\frac{\sigma}{S}\frac{\overline{ X } -\mu}{\sigma \sqrt{n}}$,再由Slutsky定理（$S^2$依概率收敛到 $\sigma^2$，另外一半式子依分布收敛到标准正态分布）、连续映射定理（$S$依概率收敛到 $\sigma$）以及CLT得到 $\frac{\overline{ X } -\mu}{S \sqrt{n}}$依分布收敛到标准正态分布，则可以反解出 $\mu$ 的近似置信区间。

一般而言，对于 $\mu$ 的近似区间估计，最后都会将分母的 $\sigma$ 换成 $S$,再由Slutsky定理保证收敛。

还有一些区间估计的内容，我们在假设检验的章节进行描述。

假设检验

我们所说的统计模型可以分为估计和假设检验两类，假设检验是不可以用估计的方法去做的。

在统计推断中, 参数的估计量的导 出是基于一些原则(例如无偏性、不变性、充分性、替代原理、似然原理、Bayes 原理等), 而不是基于损失函数和风险函数.

基本模型

Hogg 的书中这一部分描写的有点让人困扰，接下来使用邵军老师数理统计的内容,这部分内容的写法更加偏向于描述而不是下定义：

设 $X$ 是取自总体 $P \in \mathcal{P}$ 的一个样本．统计决策是指我们观察 $X$ 之后采取的行动，例如，关于 $P$ 的结论或 $P$ 的特征．贯穿本节，我们用 $\mathbb{A}$ 表示可允许行动的集合。设 $\mathcal{F}\_{\mathbf{A}}$ 是 $\mathbb{A}$ 上的 $\sigma$ 域。可测空间 $\left(\mathbb{A}, \mathcal{F}\_{\mathbf{A}}\right)$ 称为行动空间。设 $\mathscr{X}$ 是 $X$ 的值域， $\mathcal{F}\_{\mathscr{X}}$ 是 $\mathscr{X}$ 的一个 $\sigma$ 域。决策准则是 $\left(\mathscr{X}, \mathcal{F}\_{\mathscr{X}}\right)$ 到 $\left(\mathbb{A}, \mathcal{F}_{\mathrm{A}}\right)$ 上的一个可测函数（统计量）$T$ 。如果决策准则 $T$ 已选定，则一旦观测到 $X$ 我们就可采取行动 $T(X) \in \mathbb{A}$ ．

设 $\mathcal{P}$ 是一分布族， $\mathcal{P}_0 \subset \mathcal{P}, \mathcal{P}_1=\left\\{P \in \mathcal{P}: P \notin \mathcal{P}_0\right\\}$ ．假设检验问题可描述为确定下面两种说法哪一个为真：

这里，$H_0$ 称为原假设(有时也称为零假设和虚无假设，一般是保守的，也是主要去论证的)，而 $H_1$ 称为备择假设．这个问题的行动空间仅有两个元素，即， $\mathbb{A}=\\{0,1\\}$ ，其中 0 是接受 $H_0$ 的行动，而 1 是拒绝 $H_0$ 的行动．决策准则(Rule)称为检验(Test)．因为检验 $T(X)$ 是 $\mathscr{X}$ 到 $\\{0,1\\}$ 的函数，它一定有形式 $I_C(X)$ ，其中 $C \in \mathcal{F}\_{\mathscr{X}}$ 称为 $H_0$ 对 $H_1$ 的拒绝域或临界域．

检验给出的假设 $H_0$ 对 $H_1$ ，我们只可能犯两类统计错误：当 $H_0$ 为真时拒绝 $H_0$（称为第 I 类错误）以及当 $H_0$ 为假时接受 $H_0$（称为第 II 类错误）．在统计推断中，检验 $T$, 一 个 $\mathscr{X}$ 到 $\\{0,1\\}$ 的统计量，可由犯两类错误的概率来进行评价：

和

分别记作 $\alpha_T(\theta)$ 和 $1-\alpha_T(\theta)$(注意，这里的 $P \in \mathcal{P}_0$ 是为了表示错误发生的条件，$\alpha_T(P)$ 本身就指的是在给定 $P$ 下拒绝 $H_0$ 的概率，在有些书中也称效用函数，Power function) ，若 $P$ 是参数为 $\theta$ 的参数族。然而，即使对一个很简单的问题和很简单的检验类，最优决策准则（检验）不存在。也就是说，犯两种错误的概率不能同时最小化．而且，对固定的样本量，这两类犯错误概率不能同时以一固定的 $\alpha \in(0,1)$ 为界．

因此，寻找＂最优＂检验的通常办法是将犯其中一个错误的概率限定在一个小的界 $\alpha$ 内，如 $\alpha_T(P), P \in \mathcal{P}_0$ ，然后试图最小化犯另一个错误的概率 $1-\alpha_T(P), P \in \mathcal{P}_1$ ，在以下约束条件下，

上界 $\alpha$ 称为显著性水平．左侧称为检验 $T$ 的检验水准（size）。显著性水平应为正数。

接下来我们介绍一种更加一般的观点：

一个假设的检验是一个取值为 $[0,1]$ 的统计量 $T(X)$ ．当观测值 $X=x$ 时，我们以 $T(x)$ 的概率拒绝 $H_0$ ，以 $1-T(x)$ 的概率接受 $H_0$ ．若 $T(X)=1$ 或 0 a．s． $\mathcal{P}$ ，则 $T(X)$ 是一个非随机化检验．否则 $T(X)$ 是一个随机化检验．对于给定的检验 $T(X)$ ，它的势函数(上述效用函数)定义为

若 $P \in \mathcal{P}_0$ ，它是 $T(X)$ 的犯第 I 类错误的概率；若 $P \in \mathcal{P}_1$ ，它是 $H_1$ 成立时，正确拒绝 $H_0$ 的概率，即检验的 power，$1-\beta_T(P)$ 为犯第 II 类错误的概率．（该定义可以涵盖上述的非随机检验的效用函数，也可以涵盖随机化检验，是更一般版本的power function）

当样本量固定时，我们不能同时使犯两类错误的概率达到最小．我们的办法是在所有 $P \in \mathcal{P}_1$ 和所有满足下面条件的 $T$ 上最大化势函数 $\beta_T(P)$（即最小化犯第 II 类错误的概率）(这种方法被称为MP检验，最优势，最大效力)，

其中 $\alpha \in[0,1]$ 是给定的显著性水平．注意到之前我们定义了的左侧为 $T$ 的检验水准（size）。

定义 1(UMP). 检验水准为 $\alpha$ 的检验 $T\_{\*}$ 是一致最优势（UMP）检验，当且仅当对所有 $P \in \mathcal{P}_1$ 和显著水平为 $\alpha$ 的 $T, \beta\_{T\_{\*}}(P) \geqslant \beta_T(P)$ ．

似然比检验

我们先给出一个直观的检验方式，并之后给出其理论。

定义 1（似然比检验）. 关于检验 $H_0: \theta \in \Theta_0$ 对 $H_1: \theta \in \Theta_0^{\mathrm{C}}$ 的似然比检验统计量是

任何一个拒绝区域的形式为 $\\{\boldsymbol{x}: \lambda(\boldsymbol{x}) \leqslant c\\}$ 的检验都叫做似然比检验（likelihood ratio test,LRT），$c$ 为任意 $[0,1]$ 的数。
注. 直观理解似然比检验，如果 $\Theta_0$ 的最大似然越大，那么比值越高，零假设为真的概率就越高，所以拒绝域设置为小于一个阈值。

最大似然比检验的求法也非常简单，先求出 $\lambda(x)$,再使得显著水平为 $\alpha$ 即可，一般对其显著水平的时候需要利用函数的一些性质得出等价判决域，该步骤的计算量很大，并且比较需要技巧性，也是后续需要引入p值的源头。

推断 $\mu$ :

1. $\sigma$ 已知，构造标准正态
2. $\sigma$ 未知，构造$t$ 分布，$\frac{\bar{X}-\mu}{S/\sqrt{n}}$

推断 $\sigma$:

1. 不管 $\mu$ 已知还是未知，构造 $\Chi^2(n-1)$，$\frac{(n-1)S^2}{\sigma^2}$

假设检验的评价

定义 1(无偏性). 一个功效函数为 $\beta(\theta)$ 的检验是无偏的，如果对于每一个 $\theta^{\prime} \in \Theta_0^{\mathrm{C}}$ 和 $\theta^{\prime \prime} \in \Theta_0$ 有 $\beta\left(\theta^{\prime}\right) \geqslant \beta\left(\theta^{\prime \prime}\right)$ ．

定义 2(UMP). 检验水准为 $\alpha$ 的检验 $T\_{\*}$ 是一致最优势（UMP）检验，当且仅当对所有 $P \in \mathcal{P}_1$ 和显著水平为 $\alpha$ 的 $T, \beta\_{T\_{\*}}(P) \geqslant \beta_T(P)$ ．

为了找出UMP，我们先从简单假设开始，对于简单假设，以下定理说明必定存在UMP,且UMP的形式是确定的。

定理 3（Neyman-Pearson引理）. 对于简单假设$H_0:\theta = \theta_0,H_1:\theta = \theta_1$,构造判决域满足如下条件:
（1）$C=\left\\{X\mid \frac{L(\theta_0\mid X)}{L(\theta_1\mid X)}\leq k\right\\}$
（2）$\alpha = P(X\in C\mid \Theta_0)$
则该判决域为UMP。

使用N-P引理可以对简单假设的UMP进行求解，但是我们的最终目标是要求得一般假设，求取的手法一般是归化到简单假设，我们可以将常见的假设划分为以下四种：

1. 简单假设，UMP存在。
2. 单侧假设，$H_0:\theta = \theta_0,H_1:\theta\leq\theta_0$,UMP一般存在，可以归化到简单形式进行求解。
3. 双侧假设，$H_0:\theta = \theta_0,H_1:\theta\neq\theta_0$,UMP一般不存在
4. 复合单侧假设，$H_0:\theta \leq \theta_0,H_1:\theta\gneq\theta_0$,UMP可能存在，由下面的定理保证。

定义 4（单调似然比，MLR）. 令 $f_n(x \mid \theta)$ 表示样本 $\boldsymbol{X}=\left(X_1, \cdots, X_n\right)$ 的联合密度（质量）函数；令 $T=T(\boldsymbol{X})$ 表示一个统计量。如果对于 $\theta_1 \in \Omega_1$ 和 $\theta_2 \in \Omega_2\left(\theta_1<\theta_2\right)$ ，都有似然比 $f_n\left(x \mid \theta_2\right) / f_n\left(x \mid \theta_1\right)$ 是关于 $T(\boldsymbol{X})$ 的单调（非增或非降的）函数，且该似然比中 $\boldsymbol{X}$ 的信息只包含在 $T(\boldsymbol{X})$ 中，那么称 $\boldsymbol{X}$ 的分布相对于统计量 $T(\boldsymbol{X})$ 具有单调似然比（Monotone Likelihood Ratio，MLR）。

定理 5（Karlin－Rubin） 考虑检验 $H_0: \theta \leqslant \theta_0$ 对 $H_1: \theta>\theta_0$ ．设 $T$ 是一个关于 $\theta$ 的充分统计量并且 $T$ 的概率密度函数或概率质量函数的族 $\{g(t \mid \theta): \theta \in \Theta\}$ 关于 $\theta$ 具有 MLR．则对于任何 $t_0$ ，＂当且仅当 $T>t_0$ 时拒绝 $H_0$＂的检验是一个 UMP 水平为 $\alpha$ 的检验，其中 $\alpha=P_{\theta_0}\left(T>t_0\right)$ ．
注. 这仅仅是一种形式的K-R定理，该定理对于复合单侧检验普遍成立，需要利用直觉去判断判决域，非常符合直观，个人觉得用另外一种方式概括该定理是合理的：对于复合单侧检验，若为单调似然比，则UMP存在，判决域可根据直觉判断。

F-分布

在此处暂停一下，引入F-分布，并总结一下统计学三大分布：$\Chi^2,t,F$.

引理1（关于 $\chi^2$ 随机变量的若干事实） 以 $\chi_p^2$ 记自由度为 $p$ 的 $\chi^2$ 随机变量．
a．如果 $Z$ 是 $\mathrm{N}(0,1)$ 随机变量，则 $Z^2 \sim \chi_1^2$ ，即标准正态随机变量的平方是 $\chi^2$ 随机变量；
b．如果 $X_1, \cdots, X_n$ 独立且 $X_i \sim \chi_{p_i}^2$ ，则 $X_1+\cdots+X_n \sim \chi_{p_1+\cdots+p_n}^2$ ，即独立的 $\chi^2$随机变量之和仍为 $\chi^2$ 随机变量，且其自由度为原随机变量自由度之和．

定义 2(F分布). 设随机样本 $X_1, \cdots, X_n$ 取自服从 $\mathrm{n}\left(\mu_X, \sigma_X^2\right)$ 分布的总体，随机样本 $Y_1, \cdots, Y_m$ 取自服从 $\mathrm{n}\left(\mu_Y, \sigma_Y^2\right)$ 分布的总体，且与 $X_1, \cdots, X_n$ 独立．则称随机变量

服从自由度为 $n-1$ 和 $m-1$ 的 Snedecor $F$ 分布 （Snedecor＇s $F$ distribution with $n-1$ and $m-1$ degrees of freedom）。

定理 3（F分布的性质）. （1）$F\sim f(p,q)\Rightarrow \frac{1}{F}\sim f(q,p)$
（2）对于F分布的分位数，有 $F_\alpha(p,q) = \frac{1}{f\_{1-\alpha}(q,p)}$

引入F分布的理由是因为需要对 $\sigma_x/\sigma_y$ 进行假设检验或者区间估计，使用F分布构造分位数会将问题变的十分简便，在之前的估计中，若比较两个分布，我们经常需要做 $\sigma_x = \sigma_y$ 的假设，现在也可以对该假设进行检验了。

p值

再谈区间估计

在习题中不难发现，假设检验和区间估计具有类似的方法，再加上我们之前在区间估计中定义置信度为 $1-\alpha$,不禁让人联想，二者是否是同一个东西。

定理 1（假设检验等价于区间估计）. 对每一个 $\theta_0 \in \Theta$ ，设 $A\left(\theta_0\right)$ 是 $H_0: \theta=\theta_0$ 的一个水平为 $\alpha$ 的检验的接受区域．对每一个 $x \in \mathcal{X}$ ，在参数空间里定义一个集合 $C(x)$

则随机集合 $C(\boldsymbol{x})$ 是一个 $1-\alpha$ 置信集合．反之，设 $C(\boldsymbol{x})$ 是一个 $1-\alpha$ 置信集合．对任意的 $\theta_0 \in \Theta$ ，定义

则 $A\left(\theta_0\right)$ 是 $H_0: \theta=\theta_0$ 的一个水平为 $\alpha$ 的检验的接受区域．

所以使用假设检验得到判决域再进行反转得到置信区间也是一种置信区间的求法；在假设检验中，我们定义了UMP，那么UMP反转到区间估计是什么呢，我们自然也想定义一个一致最优区间估计。

定义 2（一致最精确置信区间，UMA）. 一个在一类 $1-\alpha$ 置信区间上最小化假值覆盖率的置信区间叫做一致最精确置信区间（Uniformly Most Accurate，UMA）。

UMP一般是单侧的，UMA也是如此，并且二者相互对应：

定理 3（UMP与UMA）. 设 $\boldsymbol{X} \sim f(\boldsymbol{x} \mid \theta)$ ，其中 $\theta$ 是一个实值参数．对于每个 $\theta_0 \in \Theta$ ，设 $A^{\*}\left(\theta_0\right)$ 是关于 $H_0: \theta=\theta_0$ 对 $H_1: \theta>\theta_0$ 的一个 UMP 水平 $\alpha$ 检验的接受区域。设 $C^*(\boldsymbol{x})$ 是通过反转上述 UMP 接受区域所建立的 $1-\alpha$ 置信集合．则对于任何其他的 $1-\alpha$ 置信集合 $C$ ，有 $P_\theta\left(\theta^{\prime} \in C^{\*}(\boldsymbol{X})\right) \leqslant P_\theta\left(\theta^{\prime} \in C(\boldsymbol{X})\right)$ 对于所有的 $\theta^{\prime}<\theta$ 成立。

同样的，我们可以对置信区间定义无偏性：

定义 4（无偏性）. 置信区间 $C(x)$ 是无偏的，如果 $P_\theta(\theta^{'}\in C(X))\leq1-\alpha$ 对于所有的 $\theta\neq\theta^{'}$ 成立。
注. 假值覆盖率小于真值覆盖率，这与假设检验的思想一致，实际上二者也是相互对应的。

接下来谈一个我们在区间估计中没有提到的问题，我们自然希望一个区间估计的长度最小，那么该长度最小和UMA有何关系呢，由于下面的定理，UMA（假值覆盖率最小的置信区间）也称为Neyman最短区间，通过该名字也可以看出，极小化假值覆盖率带有期望长度最优某种程度上的保证。

定理5（Pratt定理）. 设 $X$ 是一个实值随机变量，$X \sim f(x \mid \theta)$ ，其中 $\theta$ 是一个实值参数．设 $C(x)=[L(x), U(x)]$ 是一个关于 $\theta$ 的置信区间．如果 $L(x)$ 和 $U(x)$都是 $x$ 的增函数，则对于任意的值 $\theta^{\*}$ ，有

该定理讲的是 $C(X)$ 的期望长度等于假值覆盖概率的求和（积分），积分域取遍参数的所有假值．

渐进分析

点估计

主要分析MLE的一些渐进特性。 定理 1（MLE 的一致性）. 设 $X_1, X_2, \cdots$ 是 iid $f(x \mid \theta)$ 的，$L(\theta \mid \boldsymbol{x})$ $=\prod_{i=1}^n f\left(x_i \mid \theta\right)$ 是似然函数，而 $\hat{\theta}$ 表示 $\theta$ 的 MLE．设 $\tau(\theta)$ 是 $\theta$ 的一个连续函数．那么在杂录 10．6．2 的关于 $f(x \mid \theta)$ ，从而也就是对 $L(\theta \mid \boldsymbol{x})$ 的正则性条件之下，对于每个 $\epsilon>0$ 和每个 $\theta \in \Theta$ ，有

这就是说，此 $\tau(\hat{\theta})$ 是 $\tau(\theta)$ 的一个一致估计量。

定义 2（极限方差）. 对于一个估计量 $T_n$ ，如果 $\lim _{n \rightarrow \infty} k_n \operatorname{Var} T_n=\tau^2<\infty$ ，其中 $\left\\{k_n\right\\}$ 是个常数序列，则 $\tau^2$ 叫做极限方差（limiting variance）或方差的极限。

极限方差并不能很好的度量渐进性能，更常用的是下面的渐进方差：

定义 3（渐进方差）. 对于一个估计量 $T_n$ ，假定有依分布收敛 $k_n\left(T_n-\tau(\theta)\right) \rightarrow \mathrm{N}(0,\sigma^2)$ ，则参数 $\sigma^2$ 叫做 $T_n$ 的渐近方差或 $T_n$ 的极限分布的方差．

渐进方差一般小于极限方差，我们希望一个统计量在极限状态下表现是UMVUE，有以下定义：

定义 4（渐进有效）. 一个估计量序列 $W_n$ 关于一个参数 $\tau(\theta)$ 是渐近有效的，如果 $\sqrt{n}\left[W_n-\tau(\theta)\right] \xrightarrow{L} \mathrm{n}(0, v(\theta))$ 而且

就是说，$W_n$ 的渐近方差达到了 Cramér－Rao 下界．

定理 5（MLE 的渐近有效性） 设 $X_1, X_2, \cdots$ 是 iid $f(x \mid \theta), \theta$ 的 MLE 记作 $\hat{\theta}$ ，设 $\tau(\theta)$ 是 $\theta$ 的一个连续函数．那么在对 $L(\theta \mid \boldsymbol{x})$ 的正则性条件之下，

其中 $u(\theta)$ 是 Cramér－Rao下界．就是说，$\tau(\hat{\theta})$ 是 $\tau(\theta)$ 的一个相合且渐近有效的估计量．

监禁有效本身就意味着一致性。

稳健性

应该是很有趣的一个主题，Casella的书并没有着重介绍，以后补上。

假设检验

主要关心LRT的渐进分布。

定理 10．3．1（LRT 的渐近分布简单 $H_0$，Wilks定理） 关于检验 $H_0: \theta=\theta_0$ 对 $H_1: \theta \neq \theta_0$ ，设 $X_1, \cdots, X_n$ 是 iid $f(x \mid \theta), \hat{\theta}$ 是 $\theta$ 的 MLE，并且 $f(x \mid \theta)$ 满足在杂录 10.6 .2 中的正则性条件．则在 $H_0$ 之下，当 $n \rightarrow \infty$ ，

其中 $\chi_1^2$ 是一个具有自由度 1 的 $\chi^2$ 分布随机变量．
注. wilks定理有高维形式，$\Chi^2$ 分布自由度$=\dim \Theta-\Theta_0$

在LRT中，决策域的具体数值非常难求，利用渐进理论可以简单的求解。

Bootstrap

自助法，一种Resampling的方法，构造插件分布（Plag-in estimator）。

自举的基本思想是，可以通过对样本数据（样本→总体）进行重新采样并对重新采样数据中的样本（→样本）执行有关样本的推理来建模。由于总体未知，因此样本统计量中相对于其总体值的真正误差是未知的。在 bootstrap-resamples 中，“总体”实际上是样本，这是已知的;因此，从重新采样的数据（重新采样→样本）中推断“真实”样本的质量是可衡量的。

使用全部数据构建估计量的计算量是非常大的，使用自助法可以减少计算量，并且达到对统计量的良好估计，一般可以具有一致性。

Resampling领域有很强的理论性和应用性，日后可以读论文去学习。

回归

关于回归的知识可以参考另一篇博客.

采样

采样并不是频率派数理统计的核心，而是贝叶斯学派的核心，频率派处理数据重点在优化，贝叶斯派重点在处理后验分布，由于后验分布非常复杂，所以会使用变分推断和采样的方式进行估计。

逆分布生成

非常朴素的生成方式，参考另一篇博客.

大部分我们熟知的分布都可以由逆分布采样。

但是后验分布的复杂程度是超出我们想象的，逆分布生成法局限性太大，需要构造其他的采样方法，接下来介绍几种Monte Carlo采样方法。

接受拒绝采样

令 $c$ 是一个常数，使得

那么，我们用下述技术模拟出具有密度 $f$ 的连续分布函数的随机变量:
步骤 1： 模拟具有密度 $g$ 的随机变量 $Y$ ，并且模拟一个随机数 $U$ ．
步骤 2： 如果 $U \leqslant \frac{f(Y)}{c g(Y)}$ ，那么置 $X=Y$ ．否则返回步骤 1 ．

命题. 由拒绝法生成的随机变量 $X$ 具有密度 $f$ ．

证明. 令 $X$ 是得到的值，而以 $N$ 记必需重复的次数．那么

其中 $K=\mathrm{P}\\{U \leqslant f(Y) / c g(Y)\\}$ ，令 $x \rightarrow \infty$ ，表明 $K=1 / c$ ，故而完成了证明，

可以参考张颢老师在现代数字信号处理（二）中贝叶斯信号处理部分，先对有限支撑集进行采样，再拓展到无限支撑集，非常直观。

但是接受拒绝采样无法处理值域无限的情况，我们先介绍Monte-Carlo积分，再引入重要性采样和MCMC。

Monte-Carlo积分

Monte-Carlo积分是一种数值积分算法，我们不关心其数值积分性质，重点关心其概率方面的性质。

考虑函数

其中 $\Omega$ 是 $\mathbb{R}^m$ 的一个子集，它的体积是：

朴素的蒙特卡罗方法是在 $\Omega$ 上均匀采样点：给定 $N$ 个均匀样本，

可以被近似为：

这是因为大数定律确保以下结论成立：

可以对原始的函数进行拆分，得到如下形式

根据WLLN，若生成

则可以利用

来近似积分。

值得注意的是，Monte-Carlo积分的收敛速率和精度与梯形公式相似。

由于Monte-Carlo积分可以对后验分布进行处理，所以使用该积分进行采样的后续处理也是合适的，我们将在下一节引入重要性采样，该采样方法一开始是为了减少Monte-Carlo积分的方差，其本身也可以用来做采样。

重要性采样

这里摘取知乎上一位答主的回答：一些常见的方差缩减方法:

假设我们要估计 $\theta=\mathbb{E}_f[h(X)]$ ，其中 $X$ 的PDF是 $f$ 。令 $g$ 为另一PDF，其满足当 $f(x) \neq 0, ~ g(x) \neq 0$ ，即 $f$ 和 $g$ 的支集相等。那么，

初始的模拟是从密度 $f$ 中生成 $n$ 个 $X$ 的值，并取 $\hat{\theta}_n=\sum h\left(X_j\right) / n$ 。另一种模拟是从密度 $g$ 中生成 $n$ 个 $X$ 的值，并设

这里 $\hat{\theta}\_{n, i s}$ 叫作 $\theta$ 的重要性采样估计。我们通常定义 $h^{\*}(x)=h(x) f(x) / g(x)$ ，因此 $\theta=\mathbb{E}_g\left[h^{\*}(X)\right]$ 。

令 X 为联合PDF为 $f$ 的随机向量，并不失一般性地假设 $h(\mathrm{X}) \geq 0$ 。重要性采样估计的方差是

而初始估计的方差是 $\operatorname{Var}_f(h(\mathrm{X}))=\int h(\mathrm{x})^2 f(\mathrm{x}) d \mathrm{x}-\theta^2$ ，所以方差的缩减是

为了实现方差缩减，上面的积分应该是正的，这要求

1. 当 $h^2(\mathrm{x}) f(\mathrm{x})$ 小时，$f(\mathrm{x}) / g(\mathrm{x})<1$ ，
2. 当 $h^2(\mathrm{x}) f(\mathrm{x})$ 大时，$f(\mathrm{x}) / g(\mathrm{x})>1$ 。 若密度 $f$ 的重要的部分定义在区域 $A$ ，则上面的要求指出当 x 在 $A$ 中时，$f(\mathrm{x}) / g(\mathrm{x})$ 很小，即密度 $g$ 给 $A$ 更多的权重，所以这个方法叫作重要性采样。由于 $h$ 包含了一个稀有事件，所以在状态空间中 $h(\mathrm{x})=0$ 。我们选择 $g$ ，使得我们经常从状态空间中 $h(\mathrm{x}) \neq 0$ 的部分抽样。因此，重要性采样对于稀有事件模拟很有用。

若我们选择 $g(\mathrm{x})=h(\mathrm{x}) f(\mathrm{x}) / \theta$ ，我们会得到一个方差为 0 的估计，但这显然是不实际的。然而，这告诉我们，我们可以选择 $g(\cdot)$ ，使得它和 $h(\cdot) f(\cdot)$ 相似。特别地，我们可以使得 $g(\mathrm{x})$ 和 $h(\mathrm{x}) f(\mathrm{x})$ 在同一个值 $\mathrm{x}^{\*}$ 上取到最大值，这叫作最大值原则。有时最大值原则难以应用，比如 $\mathrm{x}^{\*}=\arg \max \_{\mathrm{x}} h(\mathrm{x}) f(\mathrm{x})$ 有无数多解。这时我们可以通过缩放 $f$ 来选取 $g$ 。

＂重要性＂一词的直观解释

＂重要性采样＂之名正是来源于对高贡献区域的聚焦：在估计 $\mathbb{E}_p[f(X)]$ 时，只有那些使 $f(x) p(x)$ 较大的 $x$ 值对积分贡献显著，被称为＂重要点＂。理想的 $q(x)$ 会对这些重要点给予更高采样概率，而对贡献小的点减少采样，以降低方差。直观地，当 $f(x)$ 很大时，样本点在该处的权重 $p(x) / q(x)$ 较小，多个样本共同估计可获得稳定的贡献；而在 $f(x)$ 很小的区域，即使权重较大，其对期望的贡献也微不足道。统计理论指出，若 $q$ 对重要区域加大权重，那么估计方差会显著减小 。总之，＂重要性＂一词反映了：理想的采样策略应更多采样那些对期望值贡献最大的区域，从而实现高效无偏估计。

实际上可以利用Jensen不等式求出重要性采样方差的一个lower bound，在$g\propto|h|f$ 时可以取到等号，即方差最小。值得注意的是，使用重要性采样算出的方差要小于接受拒绝采样。

gpt的一份回答.

重要性采样重采样（SIR）

将重要性采样和重采样进行结合可以得到SIR：

算法步骤
设：

• 目标分布（如后验）：$\pi(x) \propto p(x) \cdot L(x)$ ，其中 $p(x)$ 是先验，$L(x)$ 是似然；
• 提议分布（容易采样）：$q(x)$ ，需满足 $\pi(x)>0 \Rightarrow q(x)>0$ ；
• 我们的目标是得到近似服从 $\pi(x)$ 的样本集。

步骤如下：

1. 采样阶段（Sampling）

从提议分布 $q(x)$ 中采样 $N$ 个样本：

2. 重要性加权（Importance Weighting）

为每个样本计算未归一化权重：

归一化权重：

3. 重采样阶段（Resampling）

根据归一化权重 $\tilde{w}_i$ 从 $\left\\{x_1, \ldots, x_N\right\\}$ 中进行有放回采样，采样 $M \leq N$ 个样本，得到：

最终样本集 $x^{\*(1)}, \ldots, x^{\*(M)}$ 可视为来自目标后验 $\pi(x)$ 的近似样本。

SIR难以处理高维数据，需要进一步引入序贯蒙特卡洛采样，转化为低纬度数据后再进行SIR，我们将在后续章节介绍该技术。

方差缩减技术

对偶（立）变量法

定理 1. 设 $g$ 为单调函数，$U \sim U(0,1)$ ，则 $\operatorname{Cov}(g(U), g(1-U)) \leq 0$ 。

定理1可以推广到如下情形。

定理 2. 设 $h\left(x_1, x_2, \ldots, x_n\right)$ 是关于每个自变量单调的函数，$U_1, U_2, \ldots, U_n$ 相互独立同 $\mathrm{U}(0,1)$ 分布，则 $\operatorname{Cov}\left(h\left(U_1, U_2, \ldots, U_n\right), h\left(1-U_1, 1-U_2, \ldots, 1-U_n\right)\right) \leq 0$ 。

对均匀随机数 $U$ 最常见的变换是逆变换 $X=F^{-1}(U)$ 。下面的定理给出了提高 $I=E X$ 估计精度的方法。

定理 3（对立变量法） 设 $F(x)$ 为连续分布函数，$U \sim \mathrm{U}(0,1), X=F^{-1}(U), Y=F^{-1}(1-U)$ ， $Z=\frac{X+Y}{2}$ ，则 $X$ 与 $Y$ 同分布 $F(x)$ 且 $\operatorname{Cov}(X, Y) \leq 0$ ，

条件期望法

进行统计估计时，如果有额外的相关信息，利用这样的信息可以提高估计精度。比如，对随机变量 $Y$ ，如果 $Y$ 服从某种模型，在估计 $I=E Y$ 时应当尽量利用模型信息。

设变量 $X$ 与 $Y$ 不独立，根据Rao－Blackwell不等式：

又

所以，对 $Z=\mathrm{E}(Y \mid X)$ 抽样，用 $Z$ 的样本平均值来估计 $I=\mathrm{E} Y$ 比直接用 $Y$ 的样本平均值的精度更高。这种改善随机模拟估计精度的方法叫做条件期望法，或Rao－Blackwell方法。

例14．5 设 $X \sim p(x), \varepsilon \sim \mathrm{N}\left(0, \sigma^2\right)$ 且与 $X$ 独立，

估计 $I=\mathrm{E} Y$ 。 可以用条件分布抽样法对二元随机向量 $\boldsymbol{Z}=(X, Y)$ 抽样产生 $Y$ 的样本。从 $p(\cdot)$ 抽样得 $X_1, X_2, \ldots, X_N$ ，独立地从 $\mathrm{N}\left(0, \sigma^2\right)$ 抽样得 $\varepsilon_1, \varepsilon_2, \ldots, \varepsilon_N$ ，令

然后用 $Y_1, Y_2, \ldots, Y_N$ 的样本平均值估计 $E Y$ ：

估计方差为

另一方面，注意 $E(Y \mid X)=\psi(X)$ ，也可以只对 $X$ 抽样然后用条件期望法估计 $E Y$ ：

估计方差为

这个例子演示了条件期望法可以缩减误差方差的原因：对 $Y$ 抽样分成两步进行：第一步对 $X$ 抽样，第二步利用 $Y \mid X$ 的条件分布对 $Y$ 抽样。所以使用 $Y$ 的样本估计 $E Y$ 包含了第二步对 $Y$ 抽样的随机误差，而使用 $X$ 的函数 $E(Y \mid X)=\psi(X)$ 的抽样来估计 $E Y$ 则避免了第二步对 $Y$ 抽样引起的随机误差。

控制变量法

同样假设我们要用模拟来估计 $\mathrm{E}[g(\boldsymbol{X})]$ ，其中 $\boldsymbol{X}=\left(X_1, \cdots, X_n\right)$ ．但是现在假设对于某个 $f, f(\boldsymbol{X})$ 的期望值已知（例如 $\mathrm{E}[f(\boldsymbol{X})]=\mu$ ）．那么，对于任意常数 $a$ ，我们也可以用

作为 $\mathrm{E}[g(\boldsymbol{X})]$ 的估计．现在，

简单的计算说明了上式当

时达到最小，而对于这个值 $a$ ，

因为 $\operatorname{Var}(f(\boldsymbol{X}))$ 和 $\operatorname{Cov}(f(\boldsymbol{X}), g(\boldsymbol{X}))$ 通常是不知道的，所以应该用模拟的数据来估计这些量。

将上式除以 $\operatorname{Var}(g(\boldsymbol{X}))$ 得出

其中 $\operatorname{Corr}(X, Y)$ 是 $X$ 和 $Y$ 之间的相关系数．因此，当 $f(\boldsymbol{X})$ 和 $g(\boldsymbol{X})$ 强相关时，使用控制变量将大大地降低模拟估计的方差．

MCMC

之前我们提到过贝叶斯学派的核心，MCMC和变分推断，MCMC速度慢但是精度高，变分推断速度快但是精度低，我们将详细介绍两种MCMC算法，Metropolis-Hasting算法和Gibbs算法。

Metropolis-Hasting算法

个人认为MCMC是一种很逆天的算法，已知Markov过程的稳态分布去求转移概率，在离散情况下的表现就是由一个 $n$ 维向量确定 $n^2$ 维矩阵，是很难处理的问题。

如何得到有平稳分布的转移概率矩阵？一个充分条件是转移概率满足细致平衡条件。如果存在 $\left\\{\pi_j, j \in S\right\\}$ ， $\pi_j \geq 0, \sum_{j \in S} \pi_j=1$ ，使得

称这样的马氏链为细致平衡的（detailed balanced），这时 $\left\\{\pi_j\right\\}$ 是 $\left\\{X_t\right\\}$ 的平稳分布。

设随机变量 $X$ 分布为 $\pi(x), x \in \mathcal{X}$ 。 为论述简单起见仍假设 $\mathcal{X}$ 是离散集合。算法需要一个试转移概率函数 $T(y \mid x), x, y \in \mathcal{X}$ ，满足 $0 \leq T(y \mid x) \leq 1, \sum_y T(y \mid x)=1$ ，并且

算法首先从 $\mathcal{X}$ 中任意取初值 $X^{(0)}$ 。设经过 $t$ 步后算法的当前状态为 $X^{(t)}$ ，则下一步由试转移分布 $T\left(y \mid X^{(t)}\right)$ 抽取 $Y$ ，并生成 $U \sim U(0,1)$ ，然后按如下规则转移：

其中(接收$y$的概率为)

在MH算法中如果取 $T(y \mid x)=T(x \mid y)$ ，则 $r(x, y)=\min \left(1, \frac{\pi(y)}{\pi(x)}\right)$ ，相应的算法称为Metropolis抽样法。如果取 $T(y \mid x)=g(y)$（不依赖于 $x$ ），则 $r(x, y)=\min \left(1, \frac{\pi(y) / g(y)}{\pi(x) / g(x)}\right)$ ，相应的算法称为Metropolis独立抽样法，和重要抽样有相似之处，试抽样分布 $g(\cdot)$ 经常取为相对重尾的分布。

在MH算法中，目标分布 $\pi(x)$ 可以用差一个常数倍的 $\tilde{\pi}(x)=C \pi(x)$ 代替，这样关于目标分布仅知道差一个常数倍的 $\tilde{\pi}(x)$ 的情形，也可以使用此算法。

下面说明MH抽样方法的合理性。 我们来验证MH抽样的转移概率 $A(x, y)=P\left(X^{(t+1)}=y \mid X^{(t)}=x\right)$ 满足细致平衡条件。 易见

说明该“易见”：

情况1：$y \neq x$

• 只有当抽样 $Y=y$ 且接受它时，才会从 $x$ 转移到 $y$ 。
• 抽样 $Y=y$ 的概率是 $T(y \mid x)$ ，
• 接受 $y$ 的概率是 $r(x, y)$ ，

因此，

情况2：$y=x$（即＂留在原地＂） 有两种情况会导致留在原地： 1．从试转移分布中采样到 $Y=x$ ，然后接受（总是接受）； 2．从试转移分布中采样到 $Y=z \neq x$ ，但拒绝了（即 $U>r(x, z)$ ） 所以，转移回 $x$ 的概率为：

即：

于是当 $x \neq y$ 时

等式右侧关于 $x, y$ 是对称的，所以等式左侧把 $x, y$ 交换后仍相等。所以，MH构造的马氏链以 $\\{\pi(x)\\}$ 为平稳分布。多数情况下MH构造的马氏链也以 $\\{\pi(x)\\}$ 为极限分布。

从构造的 $r$ 可以看出，MH算法也可以由接收拒绝的思想去理解，并且从构造的接受拒绝策略来看，已经有了Langevin采样的思想，即向概率密度高的方向移动。

Gibbs算法

在M-H算法中是需要接收拒绝的，当采样分布高维度时，拒绝率将会无限趋近于1，这将导致我们无法进行正常的采样，为了解决该问题，我们需要使得其接受率尽可能的大，Gibbs采样算法就是可以适合高维采样的算法，可以将其视作M-H算法的特殊情况，即Proposal设置为满条件分布。

定义（满条件分布）. 对于一个变量集合 $x_I=\left\\{x_i: i \in I\right\\}(I \subseteq\\{1,2, \cdots, k\\})$ 和补集变量 $x_{-I}=\left\\{x_i: i \notin I\right\\}$ ，满条件分布定义为：

算法原理：将 Gibbs 看作 Metropolis－Hastings，其中旧状态是 $x=\left(x_i, x_{-i}\right)$ ，新状态是 $x^{\prime}=\left(x_i^{\prime}, x_{-i}\right)$ 。 由于仅更新了 $x_i$ ，且 proposal 是 $\pi\left(x_i^{\prime} \mid x_{-i}\right)$ ，我们写接受概率为：

注意：

• $\pi(x)=\pi\left(x_i, x_{-i}\right)$
• $\pi\left(x^{\prime}\right)=\pi\left(x_i^{\prime}, x_{-i}\right)$

因此上式变为：

利用条件概率定义：

代入后可以发现：

则Gibbs采样每步只会更新一个变量，每个循环更新所有的多维变量，接受率始终为1，但是对单个变量的采样中，可能还会需要M-H算法进行采样。注意，Gibbs算法每步只更新一个参数是重要的，只有这样才能保证细致平衡条件，也就是说，Gibbs采样是沿着坐标轴采样的。

MCMC的理论保证

MCMC算法非常的丰富，我们仅仅阐述了两种最基础的MCMC算法，有一些基于物理学思想的MCMC算法也非常有意思，例如哈密顿蒙特卡洛、朗之万蒙特卡洛，以后有机会我们再介绍，本章节我们从Markov链的理论出发，再次回顾MCMC算法，很大部分参考视频：【贝叶斯统计】MCMC理论2 Metropolis-Hastings与two-stage Gibbs的理论.

另外，本人之前阅读过关于Langevin MCMC的一些论文，可见该网页.

定义 （转移核）. Let $(X, \mathcal{A})$ and $(Y, \mathcal{B})$ be measurable spaces. A Markov kernel with source $(X, \mathcal{A})$ and target $(Y, \mathcal{B})$, sometimes written as $\kappa:(X, \mathcal{A}) \rightarrow(Y, \mathcal{B})$, is a function $\kappa: \mathcal{B} \times X \rightarrow[0,1]$ with the following properties:

1. For every (fixed) $B_0 \in \mathcal{B}$, the map $x \mapsto \kappa\left(B_0, x\right)$ is $\mathcal{A}$-measurable
2. For every (fixed) $x_0 \in X$, the map $B \mapsto \kappa\left(B, x_0\right)$ is a probability measure on $(Y, \mathcal{B})$

In other words it associates to each point $x \in X$ a probability measure $\kappa(d y \mid x): B \mapsto \kappa(B, x)$ on $(Y, \mathcal{B})$ such that, for every measurable set $B \in \mathcal{B}$, the map $x \mapsto \kappa(B, x)$ is measurable with respect to the $\sigma$-algebra $\mathcal{A} .$

在基础的Markov链中，我们应该都接触过不可约的概念，MCMC理论中使用的不可约比常见的不可约条件稍弱：

定义 （ $\varphi$－irreducibility）. $\phi$－不可约性：存在一个非零测度 $\phi$ ，使得从任意 $x$ ，对任何测度为正的集合 $A$ ，都有某个时间 $n$ 使 $k^n(x, A)>0$ ；

我们提到过细致平衡条件，以下的运算说明满足细致平衡条件的分布是稳态分布：

在前面的算法中，我们直接使用细致平衡构造稳态分布，但是对于一个Markov链是否会收敛到稳态分布，以及稳态分布是否可以用来推断缺一无所知，我们接下来回答这两个问题。

对于连续时间Markov链，为了利于问题的分析，我们引入一个“最小单元”：
定义 （Atom）. 一个集合 $A \subseteq \mathcal{X}$ 被称为一个 原子（atom），如果存在一个概率测度 $\nu$ 使得对于所有 $x \in A$ 和所有 $B \in$ $\mathcal{B}$ 有：

也就是说：

• 从集合 A 中的任何状态出发，下一步转移的分布是完全一样的，等于 $\nu$ ；
• 因此，集合 $A$＂忘记了＂进入这个集合前的所有历史，是一个概率上的再生点（regeneration point）。

于是我们可以进而讨论Atom的暂态和常返态，对于MCMC，我们自然希望所有的状态都是常返态，我们将使用更强力的定义来作为以后的条件。

定义（Harris recurrent）. 链 $\left\\{X_n\right\\}$ 被称为是 Harris recurrent，如果它是 $\phi$－不可约的，并且满足： 对于所有 $A \in \mathcal{B}$ 满足 $\phi(A)>0$ ，对所有初始状态 $x \in \mathcal{X}$ ，几乎必然无限次访问 $A$ ：

换句话说： 所有测度为正的集合 $A$ ，链几乎总会返回无数次。

在 Harris recurrent 基础上，若存在不变概率测度 𝜋，则成Markov链为 Positive Harris recurrent.

定理（收敛定理）. 任意Positive Harris recurrent且非周期的Markovb链，对于所有初始状态 $x \in \mathcal{X}$ ，转移概率 $P^n(x, \cdot)$ 弱收敛到不变测度 $\pi$ ：

这里 $\|\cdot\|\_{T V}$ 表示 全变差距离（total variation distance）。

收敛定理表明了满足一定条件下的Markov链可以收敛到稳态分布，我们之前推导出来过M-H算法的转移核，可以验证其复合收敛定理的假设。

细致平衡只能保证 π 是不变分布（stationary distribution），但不能保证马尔可夫链从任意初始状态收敛到 π。而我们做推断时关心的是收敛性，所以还需要 Harris recurrence 等条件。

定理（遍历性定理）. 设 $\left\\{X_n\right\\}$ 是 positive Harris recurrent 且 aperiodic 的 Markov 链，不变分布为 $\pi$ 。那么， 对任何 $f \in L^1(\pi)$ ，有：

遍历性定理对标的是SLLN，但是这并不是trivial的，因为SLLN要求随机样本，是iid的，但是对于Markov链，样本是强相关的，正因为有了Markov链的遍历性定理，才让我们的采样得以发挥作用，使用生成的后验分布样本去计算一些统计量，这些统计量是一致的。

M-H算法和Gibbs算法是最简单的MCMC算法，其对假设的要求都是最弱的，也容易验证其收敛定理和遍历性定理都是成立的，但是对于一些更复杂的算法，这两个定理未必会成立，这时就需要具体问题具体分析，去检查MCMC带来的误差了。

在实际的数值实验中，MCMC会有各种各样的问题，不同分布的处理方式也多种多样，很可能会碰到MCMC不能良好采样的问题，例如当分布不一致有界时，M-H算法拒绝率可能会很高，甚至最后也不会收敛。

序贯蒙特卡洛采样（粒子滤波器）

在重要性采样中我们曾经提到过，对于高维分布，重要性采样效率极低，序贯蒙特卡洛采样就是利用重要性采样解决高维采样的一种方法。

精确推断

贝叶斯推断可分为精确推断和近似推断，对于精确推断，有EM算法、MCMC、belief propagation等等，在推断的过程中使用了精确的后验分布，所以称为精确推断；对于近似推断，有Laplace 近似、变分推断等等，在推断的过程中对后验分布进行了近似，所以称为近似推断。

MCMC

采样章节中有详细描述。

对真实后验分布的采样，且有Markov链的遍历性定理作为保证，使用的是真实后验，所以为精确推断。

EM算法

本章节主要参考李航的统计学习方法，讲的并不是很贝叶斯，但是原理其实差不多，贝叶斯视角可以将隐变量当成先验分布。

对于含有隐变量的概率模型参数的极大似然或最大后验估计，这里不会详细的推导EM算法，而是讲主要的思想和结果列出。

期望最大化（EM）算法，主要用来解决完全数据未知，即含有隐变量情况下的最大似然估计，有

采用下方迭代

$Y$ 为数据，$Z$ 为隐变量，$Q\left(\theta, \theta^{(i)}\right)$ 为完全数据的条件似然，EM算法就是最大化完全数据的条件似然的算法，可以优化似然的下界，给出EM算法的形式如下：

定理 1（EM的似然函数递增）. 设 $P(Y \mid \theta)$ 为观测数据的似然函数，$\theta^{(i)}(i=1,2, \cdots)$ 为 EM 算法得到的参数估计序列，$P\left(Y \mid \theta^{(i)}\right)(i=1,2, \cdots)$ 为对应的似然函数序列，则 $P\left(Y \mid \theta^{(i)}\right)$ 是单调递增的，即

注. 事实上，大多数似然函数是有上界的，这也保证了一般EM算法会收敛，但是能否收敛到全局最大值是没有保证的，另外，EM算法对初始值的选取非常敏感。

可以用F函数来解释EM算法，并且给出GEM（广义EM）算法。

定义 2（ $\boldsymbol{F}$ 函数）. 假设隐变量数据 $Z$ 的概率分布为 $\tilde{P}(Z)$ ，定义分布 $\tilde{P}$ 与参数 $\theta$ 的函数 $F(\tilde{P}, \theta)$ 如下：

称为 $F$ 函数。式中 $H(\tilde{P})=-E_{\tilde{P}} \log \tilde{P}(Z)$ 是分布 $\tilde{P}(Z)$ 的熵。

定理 3(F函数的最大值意味着似然的最大值). 设 $L(\theta)=\log P(Y \mid \theta)$ 为观测数据的对数似然函数，$\theta^{(i)}, i=1,2, \cdots$ ，为 EM 算法得到的参数估计序列。如果 $F(\tilde{P}, \theta)$ 在 $\tilde{P}^\*$和 $\theta^\*$ 有局部极大值，那么 $L(\theta)$ 也在 $\theta^\*$ 有局部极大值。类似地，如果 $F(\tilde{P}, \theta)$ 在 $\tilde{P}^\*$和 $\theta^\*$ 达到全局最大值，那么 $L(\theta)$ 也在 $\theta^\*$ 达到全局最大值。

定理 4（MM算法）. EM 算法的一次迭代可由 $F$ 函数的极大－极大算法实现，设 $\theta^{(i)}$ 为第 $i$ 次迭代参数 $\theta$ 的估计，$\tilde{P}^{(i)}$ 为第 $i$ 次迭代函数 $\tilde{P}$ 的估计。在第 $i+1$次选代的两步为：
（1）对固定的 $\theta^{(i)}$ ，求 $\tilde{P}^{(i+1)}$ 使 $F\left(\tilde{P}, \theta^{(i)}\right)$ 极大化；
（2）对固定的 $\tilde{P}^{(i+1)}$ ，求 $\theta^{(i+1)}$ 使 $F\left(\tilde{P}^{(i+1)}, \theta\right)$ 极大化。
注. 事实上，若对隐变量的估计 $\tilde{P}(Z)$ 取到最优，此时 $F\left(\tilde{P}^{(i+1)}, \theta\right)=Q\left(\theta, \theta^{(i)}\right)+H\left(\tilde{P}^{(i+1)}\right)$ ，再对 $\theta$ 优化等价于EM算法，所以说MM算法是EM算法的拓展版本。

利用MM算法，我们可以搞出其他的GEM算法，例如，考虑 $Q$ 函数不好优化，在M步可以每次不取到最优，而是有改进即可；或者在M步的时候每次对满条件分布进行优化，即估计其他参数，只对一个参数进行优化，再按这种步骤把参数全部优化一遍完成M步，这种方式与变分推断中的CAVI方法非常像，我们会在变分推断的章节中谈一谈VI和EM算法的关系，以及推广EM算法到变分EM算法。

为什么EM算法是精确推断？

在E步中，我们需要计算完全数据的条件似然 $Q\left(\theta, \theta^{(i)}\right)=E_Z\left[\log P(Y, Z \mid \theta) \mid Y, \theta^{(i)}\right]$，期望的意义是在 $P(Z\mid Y,\theta^{(i)})$ 下的，使用的是精确的后验，所以称其为精确推断，其实判断贝叶斯推断的精确与否，就是判断其是否使用了真正的后验概率，还是近似的后验概率。

信念传播

近似推断

贝叶斯推断可分为精确推断和近似推断，对于精确推断，有EM算法、MCMC、belief propagation等等，其核心目标是对后验分布的精确计算；对于近似推断，有Laplace 近似、变分推断等等，主要对后验分布进行近似，用以达到推断的目的，在现在这个大数据的时代，后验分布已经不是我们可以理解的样子，我们几乎不可能去得到精确的后验分布，近似推断是现代贝叶斯推断主流的方法。

本章节主要介绍Laplace近似和变分推断，有一个写的不错的ppt： The Laplace Approximation and Variational Inference, Cambridge University.

Laplace近似

Laplace近似本质上是观察到泰勒展开第二项和高斯核的相似之处，并利用MLE的观点，将推断问题转化为了优化问题。

上面的讲义中对Laplace的描述十分清晰，这里直接复制粘贴过来： Lplacce近似只是使用高斯分布对单模态（单峰）分布的近似，对于多模态问题难以处理，但是好处就是其非常简单，方便我们将几乎任意的分布用高斯分布来近似。

有了对后验分布的有效近似，我们便可以使用后它去完成一些估计和推断。

变分推断

由于Laplace分布局限性很大，对于多模态的分布难以近似，这里引入一种更强力的算法，变分推断，也是现代贝叶斯处理的主流。

先介绍两篇不错的paper，介绍的非常清晰：

1. An Introduction to Variational Inference
2. Variational Inference: A Review for Statisticians

变分推断的出发点非常简单，在合适的分布族中任选分布，使得该分布和后验分布之间的KL散度最小，即

但是这里依然需要用到后验分布的具体形式，我们是不能知道后验分布的，为了尽可能减少后验分布的出现，我们考虑反向KL散度（KL散度并不是距离）：

这样虽然看着后验分布占比比较少，但是还是规避不了使用后验分布，其实后验分布之所以难以知道，并不是因为似然和先验分布，而是因为归一化常数难以计算，如果该归一化常数与优化问题无关就好了，继续对该式进行处理：

考虑对 $q$ 的优化问题，可见确实与归一化常数无关，且最小化KL散度等价于最大化ELBO，这样在只有似然和先验分布的条件下，我们也可以对该问题做优化了，在优化之前，我们先用另外一种形式表达ELBO，观察其蕴含的另外意义：

可见，最大化ELBO，在某种意义上，提供了似然函数的下界，也可以作为最大似然的证据。

现在来对最大化ELBO问题进行求解，这时泛函上的优化，需要用变分方法进行求解，这里不列出变分过程了，就是变分等于零，最后可以得到：

结果是既在意料之外也在情理之中的，既然做后验估计，那么最好的估计就是后验分布本身，也是挺有戏剧性的，这又回到了一开始的矛盾上，不知道后验分布，怎么使用后验分布呢，这又引出了变分推断的另外一个核心点：在限制的分布族下最最优化。

我们在之前为了简单，将正向KL散度换成了反向的KL散度，这带来什么影响了呢，我们为什么要用反向KL散度呢，对于正向KL散度，如果将表达式写出来的话，为了保证KL散度的存在性，需要有$supp(p)\subseteq supp(q)$,这将会使得偏向于估计后验分布的均值，对于反向KL散度，需要有$supp(q)\subseteq supp(p)$,这表明我们构造的分布支撑集是更小的，偏向于估计后验分布的模态，而后者才是统计推断中更需要的，如果仅仅得到一个均值上正确的估计，我们会失去更多的性质。

既然有了对分布集的界定，接下来就是做优化了，在分布集限制下的优化是一个非常困难的问题，一般是需要神经网络去学习的（可以参考diffuison和VAE），为了得到更好的解析性质，我们进而讨论平均场假设下的变分推断。

平均场假设也特别简单，就是假设 $q(z)$ 的各个维度独立，忽略其维度之间的相关性，再对ELBO进行处理：

该优化问题我们之前遇到过，用同样的变分方式对其进行求解，可以得到最优解公式：

虽然这也是后验分布的形式，但是在对目标分布做假设之后求取隐变量，是近似可解的，对于每一个变量都是取最优，并且是互相依赖的满条件分布形式，很自然的需要使用迭代法，这里的迭代法命名为坐标上升变分推断，详见下图： 单调递增有上界，CAVI迭代一般是会收敛到上界的，另外，CAVI可以被看作消息传递算法的一种。

讨论.

1. VI与EM算法：一个使用了精确后验，一个使用近似后验，考虑下一个小节描述的变分EM算法，其实变分推断可以看作EM算法在使用近似后验下的推广，也可以使用MM算法进行解释。
2. CAVI与Gibbs采样：都使用了满条件分布，迭代形式非常一致（特别是二维的情况，几乎一样），但是本质目的不同，一个为了产生样本，一个为了近似推断，这也反应了我们的近似推断是合理的，在某些条件下可以逼近精确推断。

变分EM算法

变分推理中，可以通过迭代的方法最大化证据下界，这时算法是 EM 算法的推广，称为变分 EM 算法。

假设模型是联合概率分布 $p(x, z \mid \theta)$ ，其中 $x$ 是观测变量，$z$ 是隐变量，$\theta$ 是参数。目标是通过观测数据的概率（证据） $\log p(x \mid \theta)$ 的最大化，估计模型的参数 $\theta$ 。使用变分推理，导入平均场 $q(z)=\prod_{i=1}^n q\left(z_i\right)$ ，定义证据下界

通过迭代，分别以 $q$ 和 $\theta$ 为变量对证据下界进行最大化，就得到变分 EM 算法：

算法（变分 EM 算法） 循环执行以下E步和M步，直到收敛。
（1） E 步：固定 $\theta$ ，求 $ELBO(q, \theta)$ 对 $q$ 的最大化。
（2） M 步：固定 $q$ ，求 $L(q, \theta)$ 对 $\theta$ 的最大化。
给出模型参数 $\theta$ 的估计值。

可见，在E步中，使用的后验分布是近似后验 $q(z)$ ，并不是精确后验分布。

变分 EM 算法的迭代过程中，以下关系成立：

其中上角标 $t-1$ 和 $t$ 表示迭代次数，左边的等式基于 E 步计算和变分推理原理，中间的不等式基于 $M$ 步计算，右边的不等式基于变分推理原理。说明每次迭代都保证观测数据的似然不递减。因此，变分 EM 算法一定收敛，但可能收敛到局部最优。

EM 算法实际也是对证据下界进行最大化。联系 MM 算法，则其中的 F 函数就是ELBO。 EM 算法假设 $q(z)=p(z \mid x)$ 且 $p(z \mid x)$ 容易计算，而变分 EM 算法则考虑一般情况使用容易计算的平均场 $q(z)=\prod\_{i=1}^n q\left(z_i\right)$ 。当模型复杂时，EM 算法末必可用，但变分 EM 算法仍然可以使用。

随机过程

Gaussian 过程

参考：张灏老师随机过程

这里借鉴了张灏老师的课程，介绍了高斯的线性性质，条件高斯分布，高斯的高阶矩等等。

Gaussian过程的定义很简单，任意有限维的随机变量都服从联合高斯分布的过程，对比随机分析中的布朗运动，可见布朗运动是一类特殊的高斯过程。

Gaussian 过程的特征函数如下：

定理（Gaussian过程的线性性质）. $\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ ，对任意线性变换 $\mathbf{Y}=A \mathbf{X}+\mathbf{b}$ ，其中 $A \in \mathbb{R}^{m \times n}, ~ \mathbf{b} \in \mathbb{R}^m$ ，则：

联合高斯具有线性性质，但是高斯的组合未必是高斯，见如下定理：

定理（边缘高斯到联合高斯）. 以下两种情况可以判断由边缘分布到联合分布的高斯性质：
（1）若 $X_1,\cdots,X_n$ 独立且均为Gaussian，则联合Gaussian。
（2）$\forall \alpha\in \mathbb{R}^n,\alpha^TX\sim N\iff $ 联合高斯。

在数理统计中有一个基本定理，就是样本均值 $\bar{X}$ 和样本方差 $S$ 相互独立，张老师在课堂上对于Gaussian分布验证了该定理，这里不详细写出该例子，总之构造了一些随机变量，最后发现 $S$ 的自由度为 $n-1$，$\bar{X}$ 自由度为1，显示了二者独立，且 $n-1$ 的出现给样本方差的分母本质带来了更有意思的解释。

定理（条件高斯分布）. 设随机向量：

则，给定 $\mathbf{Y}=\mathbf{y}, \mathbf{X} \mid \mathbf{Y}=\mathbf{y}$ 服从条件高斯分布：

其中条件均值：

条件协方差：

注. （1）该定理由矩阵求逆公式和条件pdf的定义直接导出，矩阵求逆公式对于Gaussian分布来说本质是在配方。
（2）条件均值和协方差的形式非常有趣：条件均值是MSE下的最优估计，条件的信息以投影的形式加入原始信息，只有Gaussian才有如此好的条件期望，可以简单的线性预测；条件协方差在矩阵正定的意义下变小，说明随着信息的增大，未知在减小。

接下来讨论Gaussian分布的高阶矩，包括线性和非线性处理。

定理（一元Gaussian的高阶矩）. 令随机变量 $X \sim \mathcal{N}\left(\mu, \sigma^2\right)$ ，则奇数阶中心矩为0，偶数阶中心矩为

其中 $(2 n-1)!!=1 \cdot 3 \cdot 5 \cdots(2 n-1)$ 是奇数阶双阶乘。
注. 该定理为直接积分然后递推得出，与点火公式的推导很像。

定理（Isserlis 定理）. 设 $X_1, \ldots, X\_{2 n}$ 是 零均值的多元高斯变量，即：

则：

其中：

• 每个配对（pairing）是将 $\{1,2, \ldots, 2 n\}$ 分成 $n$ 个两两不重叠的对子；
• 总共有 $(2 n-1)$ ！！个这样的配对;
• 对每个配对，取所有对应协方差的乘积;
• 奇数阶的高阶矩为0。
  注. Isserlis定理反应了Gaussian的高阶矩由二阶协方差决定，这很符号高斯分布完全依赖于均值和方差的事实。

Isserlis定理与free cumulants的定理非常的像，在cumulants的意义下，也有以下类似的更一般的定理，不依赖于Gaussian分布，在介绍该定理之前，需要先介绍累积量，累积量一般可以写成矩的组合。

定义（累积量）. 设 $X$ 是一个随机变量，它的矩母函数（moment generating function）是：

则定义其 累积生成函数（cumulant generating function） 为：

第 $n$ 阶累积量 $\kappa_n$ 就是 $K_X(t)$ 在 $t=0$ 处的 $n$ 阶导数：

注. 累积量是相比于矩更加高阶的工具，可以更好的反应随机变量的结构性，是最小生成集，无冗余信息，另外，在随机矩阵等非交换概率工具中，还会有自由累积量（free cumulants），在理论分析中具有更大的用处。最后，累积量天然与图论有关，所以在概率图模型中也具有重大作用。

定理（Leonov–Shiryaev 定理）. 设 $X_1, \ldots, X_n$ 是一组随机变量，则：

其中：

• $\mathcal{P}(n)$ 是 $\\{1,2, \ldots, n\\}$ 的所有划分（partition）；
• 对每个划分 $\pi=\left\\{B_1, \ldots, B_k\right\\}$ ，其中每个 $B_j \subset\\{1, \ldots, n\\}$ ，我们定义： $$ \kappa\left(B_j\right)=\text { Cumulant of the random variables indexed by } B_j $$ 即，对每个子集 $B=\left\\{i_1, \ldots, i_m\right\\}$ ， $$ \kappa(B):=\kappa\left(X\_{i_1}, \ldots, X\_{i_m}\right) $$

接下来的定理有利于求解Gaussian通过非线性函数作用的期望。

定理（Price 定理）. 假设：

• $X=\left(X_1, \ldots, X_n\right)^T \sim \mathcal{N}(0, \Sigma)$ ，一个零均值的高斯随机向量，协方差矩阵为 $\Sigma$（正定）；
• $f: \mathbb{R}^n \rightarrow \mathbb{R}$ 是一个满足一定光滑条件的函数，比如可微且被期望包络（技术条件保证期望和导数可以交换）；

则Price 定理表明：

注. 一般我们需要分析Gaussian经过非线性系统后的分布，主要是一阶矩和二阶矩，即Price定理左边的项（除去求导），利用Price定理，一般右侧的项容易求，然后再求解一个初值ODE问题即可得到 $\mathbb{E}[f(X)]$。

统计学习

这个板块用来记录一些统计学习的小结论。

最大熵模型

最大熵原理. 最大熵准则是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。该准则由E.T. Jaynes于1957年提出，其核心思想是在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。

满足最大熵原理的分布模型都叫做最大熵模型。

事实上，最大熵原理与最大似然原理等价，实际中也使用MLE进行最大熵模型的训练。

我们在MM算法中构造的F函数，也可以看作一种最大熵原理的应用，正因为如此，EM算法才可以使用MM算法来解释（最大似然）。

有意向整理

因果推断

充分降维

最优传输

LASSO问题

贝叶斯推断基础