跳至主要內容

Homework 3 ISyE 6420:Fall 2024

AI悦创原创2024年9月27日大约 6 分钟...约 1923 字

Question 1

Three devices are monitored until failure. The observed lifetimes are 1.1, 2.2, and 0.4 years. If the lifetimes are modeled as exponential distribution with rate λ\lambda,

TiExp(λ),f(tλ)=λeλt,t>0,λ>0 T_i \sim \text{Exp}(\lambda), \quad f(t \mid \lambda) = \lambda e^{-\lambda t}, \quad t > 0, \lambda > 0

Assume an exponential prior on λ\lambda:

λExp(2),π(λ)=2e2λ,λ>0\lambda \sim \text{Exp}(2), \quad \pi(\lambda) = 2e^{-2\lambda}, \quad \lambda > 0

(a) Find the posterior distribution of λ\lambda.

(b) Find the Bayes estimator for λ\lambda.

(c) Find the MAP estimator for λ\lambda.

(d) Numerically find both the equi-tailed and highest posterior density credible sets for λ\lambda, at the 95% credibility level.

(e) Find the posterior probability of hypothesis H0:λ1/2H_0 : \lambda \leq 1/2.

详情
a 求 λ\lambda 的后验分布

根据题意,设备的寿命 TiExp(λ)T_i \sim \text{Exp}(\lambda),且 λ\lambda 的先验分布是指数分布 Exp(2)\text{Exp}(2)

  1. 似然函数:寿命 T1=1.1T_1 = 1.1, T2=2.2T_2 = 2.2, T3=0.4T_3 = 0.4 为观测值,对应的似然函数为:L(λ)=i=13f(Tiλ)=λ3eλ(1.1+2.2+0.4)=λ3eλ3.7L(\lambda) = \prod_{i=1}^{3} f(T_i \mid \lambda) = \lambda^3 e^{-\lambda (1.1 + 2.2 + 0.4)} = \lambda^3 e^{-\lambda \cdot 3.7}

  2. 先验分布λ\lambda 的先验分布为 λExp(2)\lambda \sim \text{Exp}(2),即先验分布密度为:π(λ)=2e2λ\pi(\lambda) = 2e^{-2\lambda}

  3. 后验分布:由贝叶斯定理,后验分布与似然函数和先验分布成正比:π(λT1,T2,T3)L(λ)π(λ)=λ3eλ3.72e2λ=2λ3eλ5.7\pi(\lambda \mid T_1, T_2, T_3) \propto L(\lambda) \pi(\lambda) = \lambda^3 e^{-\lambda \cdot 3.7} \cdot 2e^{-2\lambda} = 2\lambda^3 e^{-\lambda \cdot 5.7}

因此,λ\lambda 的后验分布为 Gamma 分布:λT1,T2,T3Gamma(4,5.7)\lambda \mid T_1, T_2, T_3 \sim \text{Gamma}(4, 5.7)

其中,Gamma 分布的形式为 Gamma(k,θ)\text{Gamma}(k, \theta),其密度函数为:f(λk,θ)=λk1eλ/θθkΓ(k)f(\lambda \mid k, \theta) = \frac{\lambda^{k-1} e^{-\lambda / \theta}}{\theta^k \Gamma(k)}

Question 2

Let

yiθiind.Poisson(θi) y_i \mid \theta_i \sim^{ind.} \text{Poisson}(\theta_i)

θiiidGamma(2,b) \theta_i \sim^{iid} \text{Gamma}(2, b)

for i=1,,ni = 1, \dots, n, where bb is unknown. Find the empirical Bayes estimator of θi,i=1,,n\theta_i, i = 1, \dots, n. (Note: If XGamma(a,b)X \sim \text{Gamma}(a, b), then its pdf is

p(x)=baΓ(a)xa1ebx for x0,a,b>0. p(x) = \frac{b^a}{\Gamma(a)} x^{a-1} e^{-bx} \text{ for } x \geq 0, a, b > 0.

Soultion

要找到 θi\theta_i 的经验贝叶斯估计,需要以下步骤:

1. 计算后验分布:

给定似然函数和先验分布:

  • 似然函数:

    P(yiθi)=θiyieθiyi! P(y_i \mid \theta_i) = \frac{\theta_i^{y_i} e^{-\theta_i}}{y_i!}

  • 先验分布:

    p(θi)=b2Γ(2)θi21ebθi=b2θiebθi p(\theta_i) = \frac{b^2}{\Gamma(2)} \theta_i^{2-1} e^{-b\theta_i} = b^2 \theta_i e^{-b\theta_i}

因此,后验分布为:

p(θiyi)P(yiθi)p(θi)=θiyieθiθiebθi=θiyi+1e(b+1)θi p(\theta_i \mid y_i) \propto P(y_i \mid \theta_i) p(\theta_i) = \theta_i^{y_i} e^{-\theta_i} \cdot \theta_i e^{-b\theta_i} = \theta_i^{y_i+1} e^{-(b+1)\theta_i}

这表明后验分布是一个新的 Gamma 分布:

θiyiGamma(yi+2,b+1) \theta_i \mid y_i \sim \text{Gamma}(y_i + 2, b + 1)

2. 计算后验均值:

后验均值(即贝叶斯估计)为:

E[θiyi]=yi+2b+1 E[\theta_i \mid y_i] = \frac{y_i + 2}{b + 1}

3. 估计超参数 ( b ):

为了应用经验贝叶斯方法,我们需要估计未知的超参数 ( b )。首先,计算边缘似然函数:

P(yi)=0P(yiθi)p(θi)dθi=b2(yi+1)!(b+1)yi+2yi! P(y_i) = \int_0^\infty P(y_i \mid \theta_i) p(\theta_i) d\theta_i = \frac{b^2 (y_i + 1)!}{(b + 1)^{y_i + 2} y_i!}

因此,样本的对数似然函数为:

logL(b)=2nlogb(S+2n)log(b+1)+i=1nlog(yi+1) \log L(b) = 2n \log b - (S + 2n) \log(b + 1) + \sum_{i=1}^n \log(y_i + 1)

其中 S=i=1nyiS = \sum_{i=1}^n y_i

对 ( b ) 求导并令导数为零,得到:

ddblogL(b)=2nbS+2nb+1=0 \frac{d}{db} \log L(b) = \frac{2n}{b} - \frac{S + 2n}{b + 1} = 0

解方程得到 ( b ) 的估计值:

b^=2nS \hat{b} = \frac{2n}{S}

4. 计算经验贝叶斯估计:

b^\hat{b} 代入后验均值,得到经验贝叶斯估计:

θ^i=E[θiyi,b^]=yi+2b^+1=(yi+2)S2n+S \hat{\theta}_i = E[\theta_i \mid y_i, \hat{b}] = \frac{y_i + 2}{\hat{b} + 1} = (y_i + 2) \frac{S}{2n + S}

最终答案:

经验贝叶斯估计为:

θ^i=(yi+2)j=1nyj2n+j=1nyj \hat{\theta}_i = (y_i + 2) \cdot \frac{\sum_{j=1}^n y_j}{2n + \sum_{j=1}^n y_j}

Question 3

Suppose yβGamma(α,β)y \mid \beta \sim \text{Gamma}(\alpha, \beta), where α\alpha is known.

(a) Find the Jeffreys prior for β\beta.

(b) Using the Jeffreys prior from Part 1, derive the posterior distribution p(βy1,,yn)p(\beta \mid y_1, \dots, y_n) for nn i.i.d. observations y1,,yny_1, \dots, y_n.

Solution

(a) 求 Jeffreys 先验分布:

给定条件 yβGamma(α,β)y \mid \beta \sim \text{Gamma}(\alpha, \beta),其中 α\alpha 已知。

首先,写出似然函数:f(yβ)=βαΓ(α)yα1eβyf(y \mid \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} y^{\alpha -1} e^{-\beta y}

计算对数似然函数:lnf(yβ)=αlnβlnΓ(α)+(α1)lnyβy\ln f(y \mid \beta) = \alpha \ln \beta - \ln \Gamma(\alpha) + (\alpha -1) \ln y - \beta y

计算关于 β\beta 的一阶导数:βlnf(yβ)=αβy\frac{\partial}{\partial \beta} \ln f(y \mid \beta) = \frac{\alpha}{\beta} - y

计算关于 β\beta 的二阶导数:2β2lnf(yβ)=αβ2\frac{\partial^2}{\partial \beta^2} \ln f(y \mid \beta) = -\frac{\alpha}{\beta^2}

Fisher 信息量为二阶导数的负期望值:I(β)=E[2β2lnf(yβ)]=αβ2I(\beta) = -E\left[ \frac{\partial^2}{\partial \beta^2} \ln f(y \mid \beta) \right] = \frac{\alpha}{\beta^2}

因此,Jeffreys 先验分布为:π(β)I(β)=αβ21β\pi(\beta) \propto \sqrt{I(\beta)} = \sqrt{\frac{\alpha}{\beta^2}} \propto \frac{1}{\beta}

答案: Jeffreys 先验分布为 π(β)1β\pi(\beta) \propto \dfrac{1}{\beta}


(b) 推导后验分布 p(βy1,,yn)p(\beta \mid y_1, \dots, y_n)

利用 Jeffreys 先验分布 π(β)1β\pi(\beta) \propto \dfrac{1}{\beta},以及独立同分布的观测数据,似然函数为:

L(β)=i=1nf(yiβ)=(βαΓ(α))ni=1nyiα1eβyi L(\beta) = \prod_{i=1}^n f(y_i \mid \beta) = \left( \frac{\beta^\alpha}{\Gamma(\alpha)} \right)^n \prod_{i=1}^n y_i^{\alpha -1} e^{-\beta y_i}

后验分布正比于先验分布与似然函数的乘积:

p(βy1,,yn)π(β)L(β) p(\beta \mid y_1, \dots, y_n) \propto \pi(\beta) L(\beta)

1ββnαeβi=1nyi=βnα1eβi=1nyi \propto \frac{1}{\beta} \cdot \beta^{n\alpha} e^{-\beta \sum_{i=1}^n y_i} \\= \beta^{n\alpha -1} e^{-\beta \sum_{i=1}^n y_i}

这对应于 Gamma 分布的形式,因此:

βy1,,ynGamma(nα,i=1nyi) \beta \mid y_1, \dots, y_n \sim \text{Gamma}\left(n\alpha, \sum_{i=1}^n y_i\right)

答案: 后验分布为 βy1,,ynGamma(nα,i=1nyi)\beta \mid y_1, \dots, y_n \sim \text{Gamma}\left(n\alpha, \sum_{i=1}^n y_i\right)

公众号:AI悦创【二维码】

AI悦创·编程一对一

AI悦创·推出辅导班啦,包括「Python 语言辅导班、C++ 辅导班、java 辅导班、算法/数据结构辅导班、少儿编程、pygame 游戏开发、Web、Linux」,全部都是一对一教学:一对一辅导 + 一对一答疑 + 布置作业 + 项目实践等。当然,还有线下线上摄影课程、Photoshop、Premiere 一对一教学、QQ、微信在线,随时响应!微信:Jiabcdefh

C++ 信息奥赛题解,长期更新!长期招收一对一中小学信息奥赛集训,莆田、厦门地区有机会线下上门,其他地区线上。微信:Jiabcdefh

方法一:QQ

方法二:微信:Jiabcdefh

你认为这篇文章怎么样?
  • 0
  • 0
  • 0
  • 0
  • 0
  • 0
评论
  • 按正序
  • 按倒序
  • 按热度
通知
关于编程私教&加密文章