Homework 3 ISyE 6420：Fall 2024

要找到 $\theta_i$ 的经验贝叶斯估计，需要以下步骤：

1. 计算后验分布：

给定似然函数和先验分布：

• 似然函数：

  $$P(y_i \mid \theta_i) = \frac{\theta_i^{y_i} e^{-\theta_i}}{y_i!}$$

• 先验分布：

  $$p(\theta_i) = \frac{b^2}{\Gamma(2)} \theta_i^{2-1} e^{-b\theta_i} = b^2 \theta_i e^{-b\theta_i}$$

因此，后验分布为：

$$p(\theta_i \mid y_i) \propto P(y_i \mid \theta_i) p(\theta_i) = \theta_i^{y_i} e^{-\theta_i} \cdot \theta_i e^{-b\theta_i} = \theta_i^{y_i+1} e^{-(b+1)\theta_i}$$

这表明后验分布是一个新的 Gamma 分布：

$$\theta_i \mid y_i \sim \text{Gamma}(y_i + 2, b + 1)$$

2. 计算后验均值：

后验均值（即贝叶斯估计）为：

$$E[\theta_i \mid y_i] = \frac{y_i + 2}{b + 1}$$

3. 估计超参数 ( b )：

为了应用经验贝叶斯方法，我们需要估计未知的超参数 ( b )。首先，计算边缘似然函数：

$$P(y_i) = \int_0^\infty P(y_i \mid \theta_i) p(\theta_i) d\theta_i = \frac{b^2 (y_i + 1)!}{(b + 1)^{y_i + 2} y_i!}$$

因此，样本的对数似然函数为：

$$\log L(b) = 2n \log b - (S + 2n) \log(b + 1) + \sum_{i=1}^n \log(y_i + 1)$$

其中 $S = \sum_{i=1}^n y_i$。

对 ( b ) 求导并令导数为零，得到：

$$\frac{d}{db} \log L(b) = \frac{2n}{b} - \frac{S + 2n}{b + 1} = 0$$

解方程得到 ( b ) 的估计值：

$$\hat{b} = \frac{2n}{S}$$

4. 计算经验贝叶斯估计：

将 $\hat{b}$ 代入后验均值，得到经验贝叶斯估计：

$$\hat{\theta}_i = E[\theta_i \mid y_i, \hat{b}] = \frac{y_i + 2}{\hat{b} + 1} = (y_i + 2) \frac{S}{2n + S}$$

最终答案：

经验贝叶斯估计为：

$$\hat{\theta}_i = (y_i + 2) \cdot \frac{\sum_{j=1}^n y_j}{2n + \sum_{j=1}^n y_j}$$

(a) 求 Jeffreys 先验分布：

给定条件 $y \mid \beta \sim \text{Gamma}(\alpha, \beta)$，其中 $\alpha$ 已知。

首先，写出似然函数：$f(y \mid \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} y^{\alpha -1} e^{-\beta y}$

计算对数似然函数：$\ln f(y \mid \beta) = \alpha \ln \beta - \ln \Gamma(\alpha) + (\alpha -1) \ln y - \beta y$

计算关于 $\beta$ 的一阶导数：$\frac{\partial}{\partial \beta} \ln f(y \mid \beta) = \frac{\alpha}{\beta} - y$

计算关于 $\beta$ 的二阶导数：$\frac{\partial^2}{\partial \beta^2} \ln f(y \mid \beta) = -\frac{\alpha}{\beta^2}$

Fisher 信息量为二阶导数的负期望值：$I(\beta) = -E\left[ \frac{\partial^2}{\partial \beta^2} \ln f(y \mid \beta) \right] = \frac{\alpha}{\beta^2}$

因此，Jeffreys 先验分布为：$\pi(\beta) \propto \sqrt{I(\beta)} = \sqrt{\frac{\alpha}{\beta^2}} \propto \frac{1}{\beta}$

答案： Jeffreys 先验分布为 $\pi(\beta) \propto \dfrac{1}{\beta}$。

(b) 推导后验分布 $p(\beta \mid y_1, \dots, y_n)$：

利用 Jeffreys 先验分布 $\pi(\beta) \propto \dfrac{1}{\beta}$，以及独立同分布的观测数据，似然函数为：

$$L(\beta) = \prod_{i=1}^n f(y_i \mid \beta) = \left( \frac{\beta^\alpha}{\Gamma(\alpha)} \right)^n \prod_{i=1}^n y_i^{\alpha -1} e^{-\beta y_i}$$

后验分布正比于先验分布与似然函数的乘积：

$$p(\beta \mid y_1, \dots, y_n) \propto \pi(\beta) L(\beta)$$

$$\propto \frac{1}{\beta} \cdot \beta^{n\alpha} e^{-\beta \sum_{i=1}^n y_i} \\= \beta^{n\alpha -1} e^{-\beta \sum_{i=1}^n y_i}$$

这对应于 Gamma 分布的形式，因此：

$$\beta \mid y_1, \dots, y_n \sim \text{Gamma}\left(n\alpha, \sum_{i=1}^n y_i\right)$$

答案： 后验分布为 $\beta \mid y_1, \dots, y_n \sim \text{Gamma}\left(n\alpha, \sum_{i=1}^n y_i\right)$。