% $Header: /cvsroot/latex-beamer/latex-beamer/examples/beamerexample4.tex,v 1.4 2004/10/07 20:53:07 tantau Exp $

\documentclass[envcountsect,cjk]{beamer}
%\setbeamertemplate{theorems}[numbered]
% Copyright 2003 by Till Tantau <tantau@users.sourceforge.net>.
%
% This program can be redistributed and/or modified under the terms
% of the LaTeX Project Public License Distributed from CTAN
% archives in directory macros/latex/base/lppl.txt.
%
% Many thanks to Huang Yushuo for helping me with this file
% (I don't speak Chinese...)
%\setbeamercovered{dynamic}
\setbeamercovered{transparent}
%\usepackage{times}
%\usepackage{mathtime}
\usepackage{graphicx}
\usepackage{Picins}
\usepackage{indentfirst}
\usepackage{amsmath,amssymb,amsfonts,amsthm}
\usepackage{multirow}
\usepackage{textcomp}

\usepackage{mathrsfs}
\usepackage{latexsym}
\usepackage{makeidx}% 制作索引
\usepackage{accents}
\usepackage{slashbox}
\usepackage{picinpar}
%\makeindex
\usepackage{undertilde}
\usepackage{bm}

%\usepackage{textcomp}
\setlength{\abovedisplayskip}{2pt plus1pt minus1pt}     %公式前的距离
\setlength{\belowdisplayskip}{2pt plus1pt minus1pt}     %公式后面的距离
\setlength{\arraycolsep}{2pt}   %在一个array中列之间的空白长度, 因为原来的太宽了
\allowdisplaybreaks[4]  % \eqnarray如果很长, 影响分栏、换行和分页
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\renewcommand{\theequation}{\thesection.\arabic{equation}}
\newtheorem{remark}{Remark}
\makeatletter\@addtoreset{equation}{section}\makeatother
%\makeatletter\@addtoreset{section}{part}\makeatother
\newcommand{\D}{\scriptscriptstyle}
\setlength{\parindent}{20pt}                %Paragraph indent amounts.
\setlength{\parskip}{3pt plus1pt minus2pt}  %Vertical distance between par
\setlength{\baselineskip}{20pt plus2pt minus1pt}%Distance between lines in a par.
%\usepackage{graphicx}
\makeatletter
\def\widebar{\accentset{{\cc@style\underline{\mskip10mu}}}}
\def\Widebar{\accentset{{\cc@style\underline{\mskip8mu}}}}
\makeatother
\def\dl{\displaystyle}


\usepackage{CJK}


%\usetheme{Warsaw}
%\usetheme{Hannover}
%\usetheme{Darmstadt}
\usetheme{JuanLesPins}
\AtBeginSection[]{\frame{\tableofcontents[current]}}
\AtBeginPart{\frame{\partpage}}
\begin{document}
  \begin{CJK*}{GBK}{rm}

\renewcommand{\raggedright}{\leftskip=0pt \rightskip=0pt plus 0cm}


    \title[贝叶斯分析]{\bf 贝~~~~叶~~~~斯~~~~分~~~~析}
    \author{韦来生~~~张伟平~~编著}
\date[\today]{中~~国~~科~~大~~出~~版~~社 \\ \vskip 1cm
     第二版, ~2021}

    \frame{\titlepage}


\begin{frame}
  \titlepage
\end{frame}

\begin{frame}{第3章 ~贝叶斯统计推断}
\scriptsize
\tableofcontents
\end{frame}



\section{3.1 后验分布与充分性}
\subsection{3.1.1 后验分布的计算公式}

\frame{\frametitle{1. ~当先验分布有密度时后验分布的计算}

\begin{itemize}

\item 在公式~(1.2.1) 式中，$m(\bm{x})$ 是样本~$\bm{X}$
的边缘密度. 由于~$m(\bm{x})$ 与~$\theta$ 无关, 故可将~$1/m(\bm{x})$
看成与~$\theta$ 无关的常数, 因此有\vspace{-2mm}
$$\qquad
\pi(\theta |\bm{x})=f(\bm{x} |\theta) \pi(\theta)\big/m(\bm{x})
\varpropto~f(\bm{x} |\theta) \pi(\theta).\qquad(3.1.2)\vspace{-6mm}
$$\pause

\item 对共轭先验分布情形, 求后验密度可按下列步骤:\smallskip\pause

(1) 写出似然函数~$l(\theta|\bm{x})$ 的核, 即~$l(\theta|\bm{x})$
中与~$\theta$ 有关的因子. 再写出先验密度~$\pi(\theta)$ 的核,
即~$\pi(\theta)$ 中与~$\theta$ 有关的因子.\smallskip\pause

(2) 类似公式~(2.5.3), 写出后验密度的核, 即\vspace{-2mm}
$$
\pi(\theta |\bm{x}) \!\varpropto\! f(\bm{x} |\theta) \pi(\theta)
\!\varpropto\! \{l(\theta|\bm{x})~\mbox{的核}\}\!\cdot\!
\{\pi(\theta)~\mbox{的核}\}.\vspace{-2mm}
$$
即“后验密度核”是“似然函数核与先验密度核之积”.\smallskip\pause

(3) 将上式右边添加一个正则化常数因子~(可以与~$\bm{x}$ 有关),
即可得到后验密度.
\end{itemize}
%\end{frame}
}

\frame{\frametitle{2. 先验分布为离散分布时的后验分布的计算 }

\begin{itemize}

\item
当先验分布为离散分布时, 后验分布的计算公式就是贝叶斯公式.
贝叶斯公式定义见~$\S~1.1,$
下面通过具体例子说明当先验分布为离散分布时如何计算后验分布.
\medskip\pause

\item {\bf 例~3.1.1}
~通过血液可以帮助说明一个人是否患有某种疾病,
设化验结果为阳性~(以~$X=1$ 表示) 或者为阴性~(以~$X=0$ 表示).
令~$\theta_{1}$ 表示有病状态, $\theta_{2} $表示无病状态.
记~$P(X=x|\theta)$ $=p(x|\theta),$ 则有
$$p(1|\theta_{1})=0.8,~p(0|\theta_{1})=0.2,~
p(1|\theta_{2})=0.3,~p(0|\theta_{2})=0.7,$$
设先验信息为~$\pi(\theta_{1})=0.05, ~\pi(\theta_{2})=0.95$, 此即
该地区患病和不患病的比例. 求~$X$ 的边缘分布和~$\theta$ 的后验分布.
\end{itemize}
}

\subsection{3.1.2 后验分布与充分性}
\frame{\frametitle{后验分布与充分性}

\begin{itemize}

\item 在贝叶斯方法中，计算后验分布时充分性概念常有帮助, 使问题简化.
\medskip\pause

\item {\bf 引理~3.1.1} ~设~~\!$X\sim f(x|\theta),
~\theta\in\Theta,$~\! 此处~$f(x|\theta)$
为随机变量\\
\noindent $X$ 的概率函数，$\mathbf{X}=(X_{1},\cdots,X_{n})$
是从总体~$X$ 中抽取的简单样本，$T=T(\mathbf{X})$ 是一统计量，
它的密度函数是~$q(t|\theta);$ 设~$\pi(\theta)\in\Gamma,$
此处~$\Gamma$ 是~$\theta$ 的先验分布的类. 若~$T$ 为~$\theta$
的充分统计量，则对~$\forall~\pi\in\Gamma,$ 有
$$\pi(\theta|\bm{x})=\widetilde{\pi}(\theta|t),$$\vspace{-5mm}
\pause

\item {\bf 例~3.1.2} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 是从
~$N(\theta,\sigma^2)$ 中抽取的简单样本，其中~$\sigma^2$ 已知. 假定
~$\theta\sim N(\mu,\tau^2),$ 求~$\theta$ 的后验密度.\medskip\pause

\item 由例~3.1.2, 可见~$\theta$ 的后验分布~$\pi(\theta|\bm{x})$ 和~$\widetilde{\pi}(\theta|t)$ 相同.
\end{itemize}
}

\section{3.2 正态总体参数的后验分布}
\subsection{3.2.1 引言}
\frame{\frametitle{引言}
\begin{itemize}

\item  设~$\bm{X}={X}_1,\cdots,{X}_n$ 为从~$N(\theta,\sigma^2)$
中抽取的~i.i.d. 样本, 则给定~$\varphi=(\theta,\sigma^2)$ 时
样本~$\bm{X}$ 的联合概率密度为\vspace{-2mm}
\begin{eqnarray*}\label{yyztmd}
&&\!\!\!f(\bm{x}|\varphi)%\!\!\!\!\!\!\!\!\!\!&&
=(2\pi\sigma^2)^{-\frac{n}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}\sum_{i=1}^n({x}_i-{\theta})^2\Big\}\nonumber\\
&&\!=\!(2\pi\sigma^2)^{\!-\frac{n}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}\Big[\sum_{i=1}^n({x}_i-\bar{x})^2
\!+\! n(\bar{x}-\theta)^2\Big]\Big\},~(3.2.1)
\end{eqnarray*}\vspace{-2mm}
其中~$\widebar{X}={\dl\frac{1}{n}}\sum\limits_{i=1}^n {X}_i.$
\medskip\pause

\item 在本节中我们将用到广义一元~$t$ 分布的概念，现将其定义给出如下：
\end{itemize}
}

\frame{\frametitle{引言}
\begin{itemize}

\item {\bf 定义~3.2.1} ~若随机变量~$Y$ 具有下列概率密度函数\vspace{-2mm}
$$p(y|\mu,\tau^2,\nu)=\frac{\dl\Gamma\Big(\frac{\nu+1}{2}\Big)}{\Gamma(\frac{\nu}{2})
   \sqrt{\nu\pi}}\cdot\frac{1}{\tau}\cdot
   \left[1+\frac{1}{\nu}\left(\frac{y-\mu}{\tau}\right)^2\right]^{-\frac{\nu+1}{2}}\hspace{-2mm}, ~~(3.2.2)\vspace{-2mm}
$$
则称~$Y$ 服从广义一元~t~分布.其中~$\nu>0$ 为自由度，$\mu$
是均值参数，$\tau>0$ 为刻度参数，
记为~$Y\sim\mathscr{T}_1(\nu,\mu,\tau^2).$
\medskip\pause

\item 特别， 当~$\mu=0,~\tau=1$ 时，
$\mathscr{T}_1(\nu,0,1)$ 称为标准的~$t$ 分布，简记为~$Y\sim
t_{\nu},$ 这就是我们在初等概率统计中所见的自由度为~$\nu$ 的~$t$
分布.
\end{itemize}
}

\subsection{3.2.2 正态总体无信息先验下的后验分布}

\frame{\frametitle{1. 当~$\sigma^{2}$ 已知时，均值参数~$\theta$
的后验分布}

\begin{itemize}

%\item {\bf 例3.2.1}
%~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$~是从~$N(\theta,\sigma^{2})$~总体中抽取的简单样本，其中
%~$\sigma^{2}$~已知，$\theta$~未知，假定~$\theta$~的先验分布为~$R_1$~上的无信息先验，
%求~$\theta$的后验分布. \medskip\pause

\item 令~$T=\widebar{X}$
是~$\theta$~的充分统计量， 易见~$\widebar{X}\sim
N(\theta,\sigma^2/n),$ 故~$\theta$ 的似然函数为\vspace{-2mm}
$$l(\theta|t)\propto
\exp\left\{-\frac{n}{2\sigma^{2}}(\bar{x}-\theta)^{2}\right\}.\vspace{-2mm}
$$
\pause

\item 由~$\pi(\theta)\equiv 1,~\theta\in {\mathscr{R}},$ 可知~$\theta$~的后验密度\vspace{-2mm}
$$\pi(\theta|t)=\pi(\theta|\bar{x})\propto l(\theta|t)\pi(\theta)\propto\exp\left
\{-\frac{n}{2\sigma^{2}}(\theta-\bar{x})^{2}\right\},\vspace{-2mm}
$$\pause

\item 这是正态~$N(\bar{x},\sigma^2/n)$的密度，添加正则化常数得到\vspace{-2mm}
$$
 \pi(\theta|t)=\sqrt{\frac{n}{2\pi\sigma^{2}}}\exp\left\{-\frac{n}{2\sigma^{2}}
 (\theta-\bar{x})^{2}\right\},~~
 \theta\in \mathscr{R},\quad (3.2.3)\vspace{-2mm}
$$
即~$\theta$ 的后验分布为~$N(\bar{x},\sigma^{2}/n).$
\end{itemize}
}


\frame{\frametitle{2. 当~$\theta$ 已知时，刻度参数~$\sigma^{2}$
的后验分布}

\begin{itemize}
\vspace{-2mm}

\item 令~$T=\sum\limits_{i=1}^n(X_i-\theta)^2,$ 则~$T$
为~$\sigma^{2}$ 的充分统计量, $T\big/\sigma^2\sim \chi_{n}^{2}.$
故~$\sigma^{2}$~的似然函数为\vspace{-2mm}
$$
l(\sigma^{2}|t)\propto
(\sigma^2)^{-n/2}\exp\Big\{-\frac{t}{2\sigma^2}\Big\}.\vspace{-3mm}
$$
\pause

\item 刻度参数~$\sigma^2$~的无信息先验为\vspace{-1mm}
$$\sigma^2\propto 1/\sigma^2,\vspace{-4mm}
$$
\pause

\item 因此~$\sigma^{2}$~的后验分布\vspace{-2mm}
$$\pi(\sigma^{2}|t)
\propto l(\sigma^{2}|t)\pi(\sigma^2)\propto
\big(\sigma^2\big)^{-(\frac{n}{2}+1)}\exp\Big\{-\frac{t}{2\sigma^2}
\Big\}\vspace{-3mm}
$$\pause

\item 添加正则化常数因子得到后验密度\vspace{-1mm}
$$\pi(\sigma^{2}|t)
   =\frac{\big(t/2\big)^{\frac{n}{2}}}{\Gamma(n/2)}
   \big(\sigma^{2}\big)^{-(\frac{n}{2}+1)}\exp\Big\{-\frac{t}
   {2\sigma^2}\Big\},~\sigma^2>0.~(3.2.6)\vspace{-1mm}
$$
即~$\sigma^2$~的后验分布是逆伽玛分布~$\Gamma^{-1}\big(n/2,t/2\big).$
\end{itemize}
}

\frame{\frametitle{3. 当~$\theta$~和~$\sigma^2$~皆未知时的后验分布}
\begin{itemize}

\item 令~$\widebar{X}={\dl\frac{1}{n}}\sum\limits_{i=1}^{n}X_{i},~S^2=\dl\frac{1}{\nu}\sum\limits_{i=1}^n(X_i-\bar{X})^2,$
则~$(\widebar{X},S^2)$ 是关于~$(\theta,\sigma^2)$ 的联合充分统计量;
~$\widebar{X}\sim N(\theta,\sigma^2/n),~\nu S^2\big/\sigma^2 \sim
\chi_{\nu}^2,~\nu=n-1$ 且~$\widebar{X}$~和~$S^2$~是相互独立的.
\medskip\pause

\item 因此易知~$(\theta,\sigma^{2})$~的似然函数为\vspace{-2mm}
\begin{eqnarray*}
&&l(\theta,\sigma^2|\bm{x})=p_1(\bar{x}|\theta,\sigma^2)p_2(s^2|\sigma^2)\nonumber \\
&&=\sqrt{\frac{n}{2\pi\sigma^{2}}}\exp\left\{-\frac{n(\bar{x}-\theta)^{2}}{2\sigma^{2}}
 \right\}\!\cdot\!
 c\Big(\frac{\nu}{\sigma^2}\Big)\Big(\frac{\nu
 s^2}{\sigma^2}\Big)^{\frac{\nu}{2}-1}\!\!\!\!\!\!\exp\Big\{-\frac{\nu s^2}{2\sigma^2}\Big\}\nonumber\\
&&\propto
\big(\sigma^2\big)^{-(\nu+1)/2}\exp\Big\{-\frac{1}{2\sigma^2}\left[\nu
s^2+n(\theta-\bar{x})^2\right]\Big\},~~\quad (3.2.8)
\end{eqnarray*}\\ \vspace{-2mm}
此处~$c=[2^{\nu/2}\Gamma(\nu/2)]^{-1}.$
\end{itemize}
}

\frame{\frametitle{ 当~$\theta$~和~$\sigma^2$~皆未知时的后验分布}

\begin{itemize}

\item 设~$(\theta,\sigma^2
)$~的联合先验分布为~$\pi(\theta,\sigma^2)=\pi_{1}(\theta)\pi_{2}(\sigma^2),$
其中\vspace{-2mm}
$$\qquad\qquad \pi_{1}(\theta)\equiv 1,\quad \pi_{2}(\sigma^2)\propto
\sigma^{-2}.\qquad\qquad\quad(3.2.9)\vspace{-2mm}
$$\pause

\item 由~(3.2.8),~(3.2.9) 可知~$(\theta,\sigma^2)$~的联合后验密度为\vspace{-2mm}
\begin{eqnarray*}
&&\vspace{-2mm}\pi(\theta,\sigma^2|\bm{x})\!=\!K(\sigma^2)^{-(\frac{\nu+1}{2}+1)}\exp\Big\{\!\!-\frac{1}{2\sigma^2}
\left[\nu s^2+n(\theta-\bar{x})^2\right]\Big\},\\
&&=\!\sqrt{\frac{n}{2\pi\sigma^2}}\exp\left\{\!-\frac{n}{2\sigma^2}
(\theta-\bar{x})^2\right\}\!\cdot\!
K'(\sigma^2)^{-(\nu/2+1)}\exp\Big\{\!\!-\frac{\nu s^2}{2\sigma^2}\Big\}\\
&&\vspace{-2mm}=\pi_1(\theta|\sigma^2\!,\bm{x})\pi_2(\sigma^2|\bm{x}),\hspace{4.8cm}(3.2.10)
\end{eqnarray*}
\end{itemize}
}


\frame{\frametitle{ 当~$\theta$ 和~$\sigma^2$~皆未知时的后验分布}
\begin{itemize}

\item 其中
$$K=\sqrt{\frac{n}{2\pi}}~\!\bigg[\Gamma\Big(\frac{\nu}{2}\Big)\bigg]^{-1} \bigg(\frac{\nu
s^2}{2}\bigg)^{\nu/2},~~~K'=\bigg[\Gamma\Big(\frac{\nu}{2}\Big)\bigg]^{-1}
\bigg(\frac{\nu s^2}{2}\bigg)^{\nu/2}.$$\pause

\item 因此~$(\theta,\sigma^2)$ 的联合后验密度~(3.2.10) 是两部分的乘积，第一部分是给定~$\sigma^2$
和~$\bm{x}$ 时,~$\theta$ 的条件分布~$N\big(\bar{x},\sigma^2/n\big);$
另一部分是给定~$\bm{x}$ 时,~$\sigma^2$
的条件后验分布~$\Gamma^{-1}(\nu/2,\nu s^2/2)$.
\end{itemize}
}

\frame{\frametitle{ 当~$\theta$ 和~$\sigma^2$~皆未知时的后验分布}
\begin{itemize}

\item 对联合后验密度~\!(3.2.10)\! 关于~\!$\theta$\! 积分, 得~\!$\sigma^2$\! 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\sigma^2|\bm{x})=\int_{-\infty}^{\infty}\pi(\theta,\sigma^2|\bm{x})d\theta
=\pi_2(\sigma^2|\bm{x})\int_{-\infty}^{\infty}\pi_1(\theta|\sigma^2\!,\bm{x})d\theta\nonumber\\
&&=\frac{(\nu s^2/2)^{\frac{\nu}{2}}}
{\Gamma(\nu/2)}\cdot(\sigma^{2})^{-(\frac{\nu}{2}+1)}\exp
\bigg\{-\frac{\nu s^2}{2\sigma^2}\bigg\},~~\sigma^2>0.\quad
(3.2.11)\vspace{-2mm}
\end{eqnarray*}
即~$\sigma^2$ 的边缘后验分布也是~$\Gamma^{-1}(\nu/2,\nu s^2/2)$
与~$\sigma^2$ 的条件后验分布相同.
\medskip\pause

\item 对联合后验密度~\!(3.2.10)\! 关于~\!$\sigma^2$\! 积分, 得~\!$\theta$\! 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
\pi(\theta|\bm{x})\!\!\!&&=\int_{0}^{\infty}\pi(\theta,\sigma^2|\bm{x})d\sigma^2 \\
&&\propto \big[\nu s^2+ n(\theta- \bar{x})^2\big]^{-\frac{\nu+1}{2}}
\propto \bigg[1+\frac{1}{\nu}\cdot\frac{(\theta-
\bar{x})^2}{s^2/n}\bigg]^{-\frac{\nu+1}{2}}.\vspace{-2mm}
\end{eqnarray*}

\end{itemize}
}

\frame{\frametitle{ 当~$\theta$ 和~$\sigma^2$~皆未知时的后验分布}
\begin{itemize}

\item 上式是广义一元~$t$ 分布的核. 添加正则化常数因子得到
$$
\pi(\theta|\bm{x})=\frac{\Gamma\big(\frac{\nu+1}{2}\big)}
{\Gamma\big(\frac{\nu}{2}\big)\sqrt{\pi\nu}}\cdot\bigg(\frac{s^2}{n}\bigg)^{-\frac{1}{2}}\cdot
 \bigg[1+\frac{1}{\nu}\bigg(\frac{\theta-
\bar{x}}{s/\sqrt{n}}\bigg)^2\bigg]^{-\frac{\nu+1}{2}}\!\!\!\!\!.~(3.2.12)
$$%\medskip
\pause

\item 这是广义的
一元~$t$ 分布~$\mathscr{T}_1(\nu,\bar{x},s^2/n)$ 的密度函数,
其中~$\nu=$ $n-1$ 为自由度, $\bar{x}$ 是其均值，$s/\sqrt{n}$
为刻度参数.
\end{itemize}
}

\frame{\frametitle{\hspace{-6mm}
正态总体参数在无信息先验下后验分布的主要结论}

{\bf 定理~3.2.1} ~设样本分布为正态分布~(3.2.1),
对参数的后验分布有下列结论：

(1) ~若~$\sigma^2$ 已知，当均值参数~$\theta$
的无信息先验~$\pi(\theta)\equiv 1$ 时，则~$\theta$ 后验分布为由
~(3.2.3) 给出的正态分布~$N\big(\bar{x},\sigma^2/n\big).$
\medskip\pause

(2) ~若~\!$\theta$\! 已知，当刻度参数~\!$\sigma^2$\!
的无信息先验为~\!$\pi(\sigma^2)=1\big/\sigma^2$\!
时，则~\!$\sigma^2$\! 后验分布为由~\!(3.2.6)\!
给出的逆伽玛分布~\!$\Gamma^{-1}\big(n/2,t/2),$\\
\noindent 其中~$t=\sum\limits_{i=1}^n(x_i-\theta)^2.$
\smallskip\pause

(3) ~若~$(\theta,\sigma^2)$ 的联合无信息先验由~(3.2.9)
给出，则~$(\theta,\sigma^2)$ 的联合后验分布由~(3.2.10) 给出；
~$\sigma^2$ 的边缘后验分布为由公式\\
\noindent (3.2.11) 给出的逆伽玛分布~$\Gamma^{-1}\big(\nu/2,\nu
s^2/2\big),$ ~$\theta$ 的边缘后验分布为由公式~(3.2.12)
给出的广义一元~$t$
分布~~$\mathscr{T}_1\big(\nu,~\!\bar{x},~\!s^2/n\big),$
其中\\
\noindent $\nu=n-1,~s^2/n=\frac{1}{n(n-1)}
\sum\limits_{i=1}^n(x_i-\bar{x})^2.$ }


\subsection{3.2.3 正态总体参数在共轭先验分布下的后验分布}

\frame{\frametitle{1. 当~$\sigma^{2}$ 已知时，均值参数~$\theta$
的后验分布}

\begin{itemize}

\item 由于~$\widebar{X}$ 为~$\theta$ 的充分统计量，且~$\widebar{X}\sim
N(\theta,\sigma^2/n)$, 故~$\theta$ 的似然函数为\vspace{-2mm}
$$l(\theta|\bar{x})=\frac{\sqrt{n}}{\sqrt{2\pi}\sigma}
\exp\Big\{-\frac{n(\bar{x}-\theta)^2}{2\sigma^2}\Big\}
\propto\exp\Big\{-\frac{n(\bar{x}-\theta)^2}{2\sigma^2}\Big\}.\vspace{-2mm}
$$\pause

\item $\theta$ 的先验分布为~$N(\mu,\tau^2),$ 其密度函数为\vspace{-2mm}
$$\pi(\theta)\!=\!\frac{1}{\sqrt{2\pi}\tau}\exp\Big\{\!-\frac{(\theta-\mu)^2}{2\tau^2}\Big\}
\!\propto\!\exp\Big\{\!-\frac{(\theta-\mu)^2}{2\tau^2}\Big\}.~(3.2.13)\vspace{-2mm}
$$\pause

\item 因此~$\theta$ 的后验分布\vspace{-2mm}
$$\pi(\theta|\bar{x})\propto f(\bar{x}|\theta)\pi(\theta)
\propto\exp\Big\{-\frac{1}{2}\Big[\frac{(\bar{x}-\theta)^2}
{\sigma_n^2}+\frac{(\theta-\mu)^2}{\tau^2}\Big]\Big\}.$$
\end{itemize}
}

\frame{\frametitle{ 当~$\sigma^{2}$ 已知时，均值参数~$\theta$
的后验分布}

\begin{itemize}

\item  记\vspace{-2mm}
$$A=\frac{1}{\sigma^2}+\frac{1}{\tau^2},\quad B=\frac{x}{\sigma^2}
+\frac{\mu_\pi}{\tau^2},\quad
C=\frac{x^2}{\sigma^2}+\frac{\mu_\pi^2}{\tau^2},\vspace{-2mm}
$$\pause

\item 则有\vspace{-2mm}
\begin{eqnarray*}
\exp\!\!\!\!&&\Big\{-\frac{1}{2}\Big[\frac{(x-\theta)^2}{\sigma^2}
+\frac{(\theta-\mu_\pi)^2}
{\tau^2}\Big]\Big\}\\
&&=\exp\Big\{-\frac{A}{2}\Big(\theta-\frac{B}{A}\Big) ^2\Big\}
\cdot\exp\Big\{-\frac{1}{2}\Big(C-\frac{B^2}{A}\Big)\Big\}.
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 其中~$C-B^2/A$ 为常数，而\vspace{-2mm}
\begin{eqnarray*}
\frac{B}{A}\!\!\!\!&&=\frac{\sigma^2/n}{\sigma^2/n+\tau^2}~\mu
+\frac{\tau^2}{\sigma^2/n+\tau^2}~\bar{x}=\mu_n(\bar{x}),\\
\frac{1}{A}\!\!\!\!&&=\frac{\sigma_n^2\tau^2}{\sigma_n^2+\tau^2}
=\frac{\tau^2\cdot\sigma^2/n}{\sigma^2/n+\tau^2}=\frac{\sigma^2\tau^2}{\sigma^2+n\tau^2}
=\eta_n^2.\quad (3.2.15)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ 当~$\sigma^{2}$ 已知时，均值参数~$\theta$
的后验分布}

\begin{itemize}

\item 因此有\vspace{-2mm}
\begin{eqnarray*}
\pi(\theta|\bar{x})\!\!\!\!&&\propto l(\theta|\bar{x})\pi(\theta)
\propto \exp\Big\{-\frac{1}{2}\Big[\frac{(x-\theta)^2}{\sigma^2}
+\frac{(\theta-\mu_\pi)^2} {\tau^2}\Big]\Big\}\\
&&\propto \exp\Big\{-\frac{A}{2}\Big(\theta-\frac{B}{A}\Big)
^2\Big\}=\exp\Big\{-\frac{\big(\theta-\mu_n(\bar{x})\big)^2}{2\eta_n^2}\Big\}
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 添加正则化常数因子，$\theta$~的后验密度为\vspace{-2mm}
$$\qquad \pi(\theta|\bar{x})=\frac{1}{\sqrt{2\pi}\eta_n}
 \exp\Big\{-\frac{\big(\theta-\mu_n(\bar{x})\big)^2}{2\eta_n^2}\Big\}.\qquad (3.2.16)\vspace{-2mm}
 $$\pause

\item 与例~2.3.1 类似，可知~$\widebar{X}$ 的边缘密度为\vspace{-2mm}
$$
\quad m(\bar{x})%\!\!\int_{-\infty}^{+\infty}\!\!\!\!\!\!\!\!l(\theta|\bar{x})\pi(\theta)d\theta
%%=\!c\!\!
%\int_{-\infty}^{+\infty}\!\!\!\!\!\!\!\!\exp\Big\{\!\!-\frac{1}{2}\Big[\frac{(\bar{x}-\theta)^2}
%{\sigma_n^2}\!+\!\frac{(\theta-\mu)^2}{\tau^2}\Big]\Big\}d\theta\\
=\frac{1}{\sqrt{2\pi(\sigma_n^2+\tau^2)}}
\exp\Big\{-\frac{(\bar{x}-\mu)^2}{2(\sigma_n^2+\tau^2)}\Big\}.~\quad
(3.2.17)
$$
\end{itemize}
}

\frame{\frametitle{2. 当~$\theta$ 已知时，$\sigma^{2}$ 的后验分布}

\begin{itemize}

%\item {\bf 例3.3.2}
%~设~$X_{1},\cdots,X_{n}~iid \sim N(\theta,\sigma^2),$\!
%其中~$\theta$\!~已知，$\sigma^2$\! 未知.
%设~$\sigma^2$ 的共轭先验分布为逆 Gamma 分布
%~$\Gamma^{-1}(r/2,\lambda/2),$\! 此处~$r,\lambda$ 已知,
%求$\sigma^2$的后验分布.\medskip\pause

\item 令~$T=\sum\limits_{i=1}^n(X_i-\theta)^2,$ 则
~$T/\sigma^2\sim \chi^2_{n},$ 且~$T$ 为~$\sigma^2$ 的充分统计量，
故~$\sigma^2$ 的似然函数为\vspace{-2mm}
$$
l(\sigma^2|t)=\frac{(\frac{1}{2\sigma^2})^{n/2}}{\Gamma(n/2)}
t^{\frac{n}{2}-1}\exp\Big\{-\frac{t}{2\sigma^2}\Big\}\propto
(\sigma^2)^{-n/2}\exp\Big\{-\frac{t}{2\sigma^2}\Big\}.\vspace{-2mm}
$$\pause

\item $\sigma^2$ 的共轭先验分布为~$\Gamma^{-1}(r/2,\lambda/2)$，其密度函数为\vspace{-2mm}
\begin{eqnarray*}
\quad
\pi(\sigma^2)\!\!\!\!&&=\frac{(\lambda/2)^{r/2}}{\Gamma(r/2)}(\sigma^2)^{-(r/2+1)}\exp
\Big\{-\frac{\lambda}{2\sigma^2}\Big\} \qquad (3.2.19)\\
&&\propto(\sigma^2)^{-(r/2+1)}\exp
\Big\{-\frac{\lambda}{2\sigma^2}\Big\},
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ 当~$\theta$~已知时，$\sigma^{2}$ 的后验分布}

\begin{itemize}

\item $\sigma^2$ 的后验密度\vspace{-2mm}
$$
\pi\big(\sigma^2|t\big)\propto l(\sigma^2|t)\pi(\sigma^2) \propto
(\sigma^2)^{-\left(\frac{n+r}{2}+1\right)}\exp\Big\{-\frac{t+\lambda}{2\sigma^2}\Big\},\vspace{-3mm}
$$\pause

\item 添加正则化常数因子，$\sigma^2$ 的后验密度为\vspace{-2mm}
$$
\pi(\sigma^2|t)\!=\!\frac{(\frac{A}{2})^{\frac{n+r}{2}}}{\Gamma\big(\frac{n+r}{2}\big)}
(\sigma^2)^{-\left(\frac{n+r}{2}+1\right)}\exp\Big\{\!-\frac{A}{2\sigma^2}\Big\},~\sigma^2\!>\!
0.~(3.2.20)\vspace{-2mm}
$$
此处~$A=t+\lambda=\sum\limits_{i=1}^n(x_i-\theta)^2+\lambda,$
即~$\sigma^2$ 的后验分布服从逆伽玛
分布~$\Gamma^{-1}\big(\frac{n+r}{2},\frac{A}{2}\big).$
\end{itemize}
}

\frame{\frametitle{3. $ \theta$ 和~$\sigma^2$ 皆未知的情形}

\begin{itemize}

\item
令~$\widebar{X}=\dl\frac{1}{n}\sum\limits_{i=1}^n,~S^2=\frac{1}{n-1}\sum_{i=1}^x(X_i-\widebar{X})^2,$
易知~$\widebar{X}\sim N(\theta,\sigma^2/n),$ $\nu
S^2\big/\sigma^2\sim\chi^2_{n-1},~\nu=n-1,$ 且~$\widebar{X}$
和~$S^2$ 独立.
\medskip\pause

\item 由因子分解定理知~$(\widebar{X},S^2)$ 是~$(\theta,\sigma^2)$ 的充分统计量.
$(\theta,\sigma^2)$ 的似然函数为\vspace{-2mm}
\begin{eqnarray*}
l(\theta,\sigma^2|\bm{x})\!\!\!\!&&=c \sigma^{-n}
(s^2)^{\frac{n-1}{2}-1}\!\exp\Big\{\!-\frac{1}{2\sigma^2}\left[(n-1)s^2\!+\!n(\bar{x}-\theta)^2\right]\Big\},\\
&&\propto (\sigma^2)^{-\frac{n}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}\left[(n-1)s^2+n(\bar{x}-\theta)^2\right]\Big\}.
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item $(\theta,\sigma^2)$ 联合先验为正态-逆伽玛先验: ~$\theta~\!|~\!\sigma^2\sim
N\big(\mu,\sigma^2/k\big),$
及~$\sigma^2\sim\Gamma^{-1}(r/2,\lambda/2),$
其联合密度为\vspace{-2mm}
\begin{eqnarray*}
\pi\!\!\!\!&&(\theta,\sigma^2)=\pi_1(\theta|\sigma^2)\pi_2(\sigma^2)\nonumber\\
&&\propto (\sigma^2)^{-(\frac{r+1}{2}+1)}
\exp\Big\{-\frac{1}{2\sigma^2}\big[k(\theta-\mu)^2+\lambda\big]\Big\}.~~(3.2.22)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}

\begin{itemize}

\item 因此~$\theta$ 和~$\sigma^2$ 的联合后验密度为\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\theta,\sigma^2|\bm{x})\propto
l(\theta,\sigma^2|\bm{x})\pi(\theta,\sigma^2)\propto
(\sigma^{2})^{-(\frac{r+n+1}{2}+1)} \\
&&\times\exp\left\{\!-\frac{1}{2\sigma^2}\left[(n-1)s^2\!+\!
n(\bar{x}-\theta)^2\!+\!k(\theta-\mu)^2\!+\!\lambda\right]\right\} \\
&&\propto
(\sigma^{2})^{-(\frac{r+n+1}{2}+1)}\exp\left\{-\frac{1}{2\sigma^2}\left[(n-1)s^2
+H+\lambda\right]\right\},
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 其中\vspace{-2mm}
\begin{eqnarray*}
H\!\!\!\!&&=n(\bar{x}-\theta)^2+k(\theta-\mu)^2\\
&&=(n+k)\theta^2-2(n\bar{x}+k\mu)\theta+n\bar{x}^2+k\mu^2\\
&&=(n+k)\Big(\theta-\frac{n\bar{x}+k\mu}{n+k}\Big)^2+\frac{nk}{n+k}(\bar{x}-\mu)^2.
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}

\begin{itemize}

\item 因此有
$$
\pi(\theta,\sigma^2|\bm{x})\propto
(\sigma^{2})^{-(\frac{\nu_n+1}{2}+1)}\exp
\left\{-\frac{1}{2\sigma^2}\left[\beta_n+k_n(\theta-\mu_n(\bar{x}))^2\right]\right\},
$$\pause

\item 此处
\begin{eqnarray*}
&&\nu_{\D n}=n+r,~k_n=n+k,~\mu_n(\bar{x})=\frac{n\bar{x}+k\mu}{n+k},\\
&&\beta_n=(n-1)s^2 +\frac{nk}{n+k}(\bar{x}-\mu)^2+\lambda.\qquad
\qquad \quad (3.2.23)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}

\begin{itemize}

\item 添加正则化常数得到联合后验密度\vspace{-2mm}
\begin{eqnarray*}
 &&\pi(\theta,\sigma^2|\bm{x})=c'(\sigma^{2})^{-(\frac{\nu_n+1}{2}+1)}\!\exp\!\Big
  \{\!-\frac{1}{2\sigma^2}
 \! \left[\beta_n+k_{n}(\theta-\mu_n(\bar{x}))^2\right]\!\Big\},\vspace{-2mm}\\
&&=c'\sigma^{-1}\exp\Big\{-\frac{k_{n}}{2\sigma^2}(\theta-\mu_n(\bar{x}))^2\Big\}\cdot
(\sigma^{2})^{-(\frac{\nu_n}{2}+1)}\exp
\Big\{-\frac{\beta_n}{2\sigma^2}\Big\}\\
&&=\pi_1\big(\theta|\sigma^2,\bm{x}\big)\cdot
\pi_2\big(\sigma^2|\bm{x}\big),\quad\theta\in
\mathbb{R},~\sigma^2>0,\hspace{1.5cm} (3.2.24)
\end{eqnarray*}
\pause
\item 其中
$$
c'=\sqrt{\frac{k_n}{2\pi}}\cdot\frac{\big(\beta_n/2\big)^{\nu_n/2}}
{\Gamma(\nu_n/2)}.
$$\pause

\item 由式~(3.2.24) 可见：$(\theta,\sigma^2)$ 的联合后验密度是两部分的乘积.
前一部分是给定~$\sigma^2$ 和~$\bm{x}$ 时, $\theta$
的条件分布~$N\big(\mu_n(\bar{x}),\sigma^2/k_n\big);$
另一部分是给定~$\bm{x}$ 时, $\sigma^2$
的条件分布~$\Gamma^{-1}(\nu_n/2,\beta_n/2)$.
\end{itemize}
}

\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}
\begin{itemize}

\item 对联合后验密度关于~$\theta$ 积分得到~$\sigma^2$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\sigma^2|\bm{x})=\int_{-\infty}^{\infty}\pi(\theta,\sigma^2|\bm{x})d\theta\\
&&=\!\frac{(\beta_n/2)^{\nu_n/2}}
{\Gamma(\nu_n/2)}\!\!(\sigma^{2})^{-(\frac{\nu_n}{2}+1)}\exp
\left\{\!-\frac{\beta_n}{2\sigma^2}\right\},~\sigma^2\!>\!0.~(3.2.25)
\end{eqnarray*}\\ \vspace{-2mm}
\pause

\item
这是一个逆伽玛分布~$\Gamma^{-1}(\nu_n/2,\beta_n/2)$ 的密度函数.
\medskip\pause
\end{itemize}
}


\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}

\begin{itemize}

\item 对联合后验密度(3.2.24)关于~$\sigma^2$~积分得到~$\theta$ 的边缘后验密度%\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\theta|\bm{x})=\int_{0}^{\infty}\pi(\theta,\sigma^2|\bm{x})d\sigma^2 \nonumber\\
&&\propto\Big[\beta_n+k_{n}(\theta-
\mu_n(\bar{x}))^2\Big]^{-\frac{\nu_n+1}{2}}\propto
\bigg[1+\frac{1}{\nu_n}\Big(\frac{\theta-\mu(\bar{x})}{\tau_n}\Big)^2\bigg]^{-\frac{\nu_n+1}{2}},
\end{eqnarray*}
\pause

\item 这是一个广义一元~$t$ 分布~$\mathscr{T}_1(\nu_n,\mu_n(\bar{x}),\sigma_n^2/k_n)$
的核，故添加正则化常数得到~$\theta$ 的边缘后验密度
\begin{eqnarray*}
\pi(\theta|\bm{x})=\frac{\Gamma\left(\frac{\nu_n+1}{2}\right)}{\Gamma\left(\frac{\nu_n}{2}\right)
\sqrt{\pi\nu_n}}\Big(\frac{1}{\tau_n}\Big)
\bigg[1+\frac{1}{\nu_n}\bigg(\frac{\theta-\mu_n(\bar{x})}
{\tau_n}\bigg)^2\bigg]^{-\frac{\nu_n+1}{2}}\!\!\!\!,~(3.2.26)
\end{eqnarray*}
其中~$\tau_n^2=\beta_n\big/(\nu_n k_n),~\theta\in\mathbb{R}.$
\end{itemize}
}

%\frame{\frametitle{ $\theta$ 和~$\sigma^2$ 皆未知的情形}
%
%\begin{itemize}
%
%\item 在公式~(3.2.25) 和~(3.2.26) 中\vspace{-2mm}
%\begin{eqnarray*}
%&&\mu_n(\bar{x})=\frac{n\bar{x}+k\mu}{n+k},~~\beta_n=\sum\limits_{i=1}^n
%(x_i-\bar{x})^2+\lambda+\frac{n k}{n+k}(\bar{x}-\mu)^2,\\
%&&\nu_n=n+r,~~~~k_n=n+k,~~~~\tau_n^2=\frac{\beta_n}{\nu_n k_n}.
%\qquad\qquad (3.2.27)
%\end{eqnarray*}
%\end{itemize}
%}

\frame{\frametitle{正态总体参数在共轭先验下后验分布的主要结论}

{\bf 定理~3.2.2} ~设样本分布为正态分布~(3.2.1),
其参数的后验分布有下列结论：\smallskip\pause

(1) ~若~$\sigma^2$ 已知，当均值参数~$\theta$ 的共轭先验由~(3.2.15)
给出时，则~$\theta$ 后验分布为由~(3.2.16) 给出的正态分布
~$N\big(\mu_n(\bar{x}),\eta_n^2\big),$ 其中~$\mu_n(\bar{x}),\eta_n$
由式~(3.2.15) 给出.\smallskip\pause
%~$\widebar{X}$
%的边缘密度为由~(3.2.17)给出的正态分布
%~$N\big(\mu,\tau^2+\sigma^2/n\big).$

(2) ~若~$\theta$ 已知，当刻度参数~$\sigma^2$ 的共轭先验由~(3.2.19)
给出时，则~$\sigma^2$
的后验分布~$\Gamma^{-1}\big((n+r)/2,(t+\lambda)/2\big)$ 由~(3.2.20)
给出, 其中~$t=\sum\limits_{i=1}^n(x_i-\theta)^2.$\smallskip\pause

(3) ~若~$\theta$ 和~$\sigma^2$ 的联合先验分布为由~(3.2.22)
给出的正态-逆伽玛先验，则~$(\theta,\sigma^2)$
的联合后验分布由(3.2.24)给出；\!$\sigma^2$\!
的边缘后验分布为由~\!(3.2.25)~\!给出的逆伽玛分布~\!$\Gamma^{-1}(\nu_n/2,\beta_n/2),\theta$\!
的边缘后验密度为由~\!(3.2.26)\! 给出的广义一元~\!$t$\!
分布~\!$\mathscr{T}_1(\nu_n,\mu_n(\bar{x}),\tau^2_n);$\!
其中~\!$\nu_n,~k_n,~\mu_n(\bar{x}),~\beta_n$\! 由~\!(3.2.23)式给出,
$\tau_n^2=\beta_n/(\nu_nk_n).$ }

\section{3.3 一类离散分布和多项分布参数的后验分布}
\subsection{3.3.1 一类离散分布参数的后验分布}
\frame{\frametitle{引言}
\begin{itemize}

\item 下列几个离散分布族皆与独立的贝努利~(Bernoulli) 试验有关，且它们具有相同的共轭先验，
因此本节我们将它们统一处理，而不是各自考虑它们的后验分布.\medskip\pause

\item 设离散随机变量$X$的概率分布有下列形式：%\vspace{-2mm}
$$
f(x|\theta)=P(X=x|\theta)=h(x)~\!\theta^{a(x)}(1-\theta)^{b(x)},\quad
(3.3.1)%\vspace{-2mm}
$$
其中~$a(x)$ 和~$b(x)$ 取值为非负整数.\medskip\pause

\item 此类分布包含下列几个常见的分布：
\end{itemize}
}

\frame{\frametitle{引言}

\noindent(1) ~两点分布~$B(1,\theta):~h(x)=1,~a(x)=x,~b(x)=1-x,$
即\vspace{-2mm}
$$f(x|\theta)=P(X=x|\theta)=\theta^x(1-\theta)^{1-x},\quad x=0,1.\vspace{-4mm}
$$\pause

\noindent(2) ~二项分布~$B(n,\theta):~h(x)={n \choose
x},~a(x)=x,~b(x)=n-x, $ 即\vspace{-2mm}
$$f(x|\theta)=P(X=x|\theta)={n \choose
x}\theta^{x}(1-\theta)^{n-x},\quad x=0,1,\cdots,n.\vspace{-4mm}
$$\pause

\noindent(3) ~几何分布~$Ge(\theta):~h(x)=1,~a(x)=1,~b(x)=x-1,$
即\vspace{-2mm}
$$f(x|\theta)=P(X=x|\theta)=\theta(1-\theta)^{x-1},\quad
x=1,2,\cdots~.\vspace{-4mm}
$$\pause

\noindent(4) ~负二项分布~$Nb(r,\theta): h(x)\!=\!{x-1 \choose
r-1},a(x)\!=\!r,b(x)\!=\!x-r,$\! 即\vspace{-2mm}
$$f(x|\theta)\!=\!P(X\!=\!x|\theta)\!=\!{x-1 \choose
r-1}\theta^{r}(1-\theta)^{x-r},~x\!=\! r,r\!+\!1,\cdots~.$$
 }

\frame{\frametitle{1. 参数的先验分布为无信息先验时的后验分布}
\begin{itemize}

\item 由~(3.3.1) 可知~$\theta$ 的似然函数\vspace{-2mm}
$$
l(\theta|x)\propto\theta^{a(x)}(1-\theta)^{b(x)}, ~~\mbox{~$a(x)$
和~$b(x)$ 取值为非负整数}\vspace{-3mm}
$$\pause

\item 令~$\theta$ 的先验为~$\pi(\theta)\equiv 1$ 时可知~$\theta$ 的后验密度为\vspace{-2mm}
$$\pi(\theta|x)\propto\theta^{a(x)}(1-\theta)^{b(x)},
~~\mbox{~$a(x)$ 和~$b(x)$ 取值为非负整数}.\vspace{-3mm}$$\pause

\item 上式为贝塔分布~$Be(a(x)+1,b(x)+1\big)$ 的核，添加正则化常数得到\vspace{-2mm}
$$
\pi(\theta|x)=\frac{\Gamma\big(a(x)+b(x)+2\big)}{\Gamma\big(a(x)+1\big)
~\!\Gamma\big(b(x)+1\big)}\theta^{a(x)}(1-\theta)^{b(x)},~(3.3.3)
$$
%其中~$0<\theta<1$.
即~$\theta$ 的后验分布是贝塔分布~$Be\big(a(x)+1,b(x)+1\big).$
\end{itemize}
}

\frame{\frametitle{ 2. 参数的先验分布为共轭先验时的后验分布}
\begin{itemize}

\item 令~$\theta$ 的共轭先验分布为贝塔分布~$Be(\alpha,\beta),$ 其密度函数为\vspace{-2mm}
$$
\pi(\theta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}
\propto\theta^{\alpha-1}(1-\theta)^{\beta-1},~~ (3.3.4)\vspace{-2mm}
$$
其中~$0<\theta<1.$\medskip\pause

\item 故~$\theta$ 的后验密度\vspace{-2mm}
$$
\pi(\theta|x)\propto l(\theta|x)\pi(\theta)\propto
\theta^{a(x)+\alpha-1}(1-\theta)^{b(x)+\beta-1},~0<\theta<1,\vspace{-1mm}
$$\pause

\item 添加正则化常数得到\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\theta|x)=\frac{\Gamma\big(a(x)+b(x)+\alpha+\beta\big)}
{\Gamma\big(a(x)+\alpha\big)\Gamma\big(b(x)+\beta\big)}\theta^{a(x)+\alpha-1}
(1-\theta)^{b(x)+\beta-1},\\
&&\hspace{8.6cm} (3.3.5)
\end{eqnarray*}\\ \vspace{-2mm}
其中~$0<\theta<1.$ 即~$\theta$
的后验分布是~$Be(a(x)+\alpha,b(x)+\beta).$
\end{itemize}
}

\frame{\frametitle{结论和例子}
\begin{itemize}

\item {\bf 定理~3.3.1} ~设随机变量$X$的分布由式~(3.3.1) 给出，
在一定的先验分布下，关于~$\theta$
的后验分布有下列结论：\smallskip\pause

(1) ~若~$\theta$的无信息先验为~$\pi(\theta)\equiv 1,$ 则~$\theta$
后验分布为~(3.3.3)
给出的贝塔分布~$Be(a(x)+1,b(x)+1).$\smallskip\pause

(2) ~若~$\theta$ 的先验为~(3.3.4) 给出的贝塔分布~$Be(\alpha,\beta),$
则~$\theta$ 的后验分布为~(3.3.5)
给出的贝塔分布~$Be(a(x)+\alpha,b(x)+\beta).$
\medskip\pause

\item {\bf 例~3.3.1} ~设随机变量~$X$ 服从二项分布~$B(n,\theta),$ 在下列先验分布下求其后验分布：\smallskip\pause

(1) ~$\theta$ 的无信息先验为~$\pi(\theta)\equiv 1.$\smallskip\pause

(2) ~$\theta$
的共轭先验为贝塔分布~$Be(\alpha,\beta).$\smallskip\pause

(3) ~$\theta$ 的无信息先验 为~Jeffreys
先验~$\pi(\theta)\propto\theta^{-1/2}(1-\theta)^{-1/2}.$
\end{itemize}
}

\subsection{3.3.2 多项分布中参数的后验分布}


\frame{\frametitle{1. ~无信息先验下多项分布参数的后验分布}
\begin{itemize}\vspace{-2mm}

\item
~设~$\bm{X}=(X_{1},\cdots,X_{k})$
服从多项分布~$M(n,\mathbf{\bm\theta}),$ 其中~$X_i\ge 0,$
$\sum\limits_{i=1}^k
X_i=n,~{\bm\theta}=(\theta_1,\cdots,\theta_k),~\theta_i\ge0,
~\sum\limits_{i=1}^k\theta_i=1,$ 故独立参数只有~$k-1$ 个.
因此~$\mathbf{X}$ 的概率分布为\vspace{-1mm}
\begin{eqnarray*}
p(\bm{x}~\!|~\!\bm{\theta})\!\!\!&&
=P(X_1=x_1,\cdots,X_{k}=x_{k}~\!|~\!\bm{\theta})\nonumber\\
&&= c\cdot
%\frac{n!}{x_1!\cdots x_{k}!}
\bigg(\prod_{i=1}^{k-1}\theta_{i}^{x_{i}}\bigg)
\bigg(1-\sum_{i=1}^{k-1}\theta_{i}\bigg)^{x_k},\qquad\quad\quad(3.3.6)
\end{eqnarray*}\\ \vspace{-2mm}
其中~$c=\frac{n!}{x_1!\cdots x_{k}!}.$ 上述概率函数即~$\bm{\theta}$
的似然函数,记为~$l(\bm{\theta}|\bm{x}).$\medskip\pause

\item
对数似然函数为 \vspace{-2mm}
\begin{eqnarray*}
&&\ln l(\mathbf{\theta}|\mathbf{x}) =\sum\limits_{i=1}^kx_i
\ln\theta_i+\ln c \\
&&=\sum\limits_{i=1}^{k-1}x_i \ln\theta_i
+\Big(n-\sum\limits_{i=1}^{k-1}x_i\Big)\ln\Big(1-\sum\limits_{i=1}^{k-1}\theta_i\Big)+\ln
c.
\end{eqnarray*}\\\vspace{-2mm}
\end{itemize}
}

\frame{\frametitle{无信息先验下多项分布参数的后验分布}

%\begin{itemize}

\noindent $\mathbf{\theta}$~的无信息先验分布由~Fisher
信息阵~$\big[\det~\!I(\mathbf{\theta})\big]^{1/2}$ 确定. 下面计算
Fisher 信息阵的每个元素\pause
\begin{eqnarray*}
&&\frac{{\partial}^2\ln
l}{\partial{\theta_i^2}}=-\frac{x_i}{\theta_i^2}-\frac{x_k}{\theta_k^2},
~i=1,\cdots, k-1\\
&&\frac{{\partial}^2\ln
l}{\partial\theta_i\partial\theta_j}=-\frac{x_k}{\theta_k^2},
~i,j=1,\cdots, k-1,i\ne j\\
&&E\Big(-\frac{{\partial}^2\ln
l}{\partial{\theta_i^2}}\Big)=\frac{n}{\theta_i}+\frac{n}{\theta_k},~i=1,\cdots,
k-1\\
&&E\Big(-\frac{{\partial}^2\ln l}{\partial\theta_i\partial\theta_j}
\Big)=\frac{n}{\theta_k}, ~i,j=1,\cdots, k-1,i\ne j
\end{eqnarray*}
%\end{itemize}
}


\frame{\frametitle{ 无信息先验下多项分布参数的后验分布}
\begin{itemize}

\item 故有\vspace{-2mm}
\begin{eqnarray*}
\det~\!I(\mathbf{\theta})\!\!\!\!&&=\left|\begin{array}{cccc}
n(\theta_1^{-1}+\theta_k^{-1}) & n\theta_k^{-1} & \cdots & n\theta_k^{-1}   \\
n\theta_k^{-1} & n(\theta_2^{-1}+\theta_k^{-1}) & \cdots & n\theta_k^{-1}  \\
\cdots& \cdots & \cdots & \cdots\\
n\theta_k^{-1} & n\theta_k^{-1} & \cdots &
n(\theta_{k-1}^{-1}+\theta_k^{-1})
\end{array}\right| \\
&&\varpropto (\theta_1\theta_2\cdots\theta_k)^{-1}
\end{eqnarray*}\\ \vspace{-2mm}
\pause

\item 从而~$\mathbf{\theta}=(\theta_1,\cdots, \theta_k)$ 的~Jeffreys 先验为\vspace{-2mm}
$$
\pi(\mathbf{\theta})=[\det~\!I(\mathbf{\theta})]^{1/2}\varpropto
(\theta_1\theta_2\cdots\theta_k)^{-1/2}\qquad
\qquad(3.3.7)\vspace{-3mm}
$$
\end{itemize}
}

\frame{\frametitle{无信息先验下多项分布参数的后验分布}
\begin{itemize}

\item 因此~$\mathbf{\theta}$ 的后验分布\vspace{-2mm}
$$\pi(\mathbf{\theta}|\mathbf{x})\varpropto p(\mathbf{x}|\mathbf{\theta})\pi(\mathbf{\theta})
\varpropto
\theta_1^{x_1-1/2}\cdots~\!\theta_k^{x_k-1/2}.\vspace{-2mm}
$$
\pause

\item 添加正则化常数得到后验密度为\vspace{-1mm}
$$
\pi(\mathbf{\theta}|\mathbf{x})=\frac{\Gamma(n+k/2)}{\Gamma(x_1+1/2)\cdots
\Gamma(x_k+1/2)}\theta_1^{x_1-\frac{1}{2}}\cdots~\!\theta_k^{x_k-\frac{1}{2}}.~(3.3.8)\vspace{-2mm}
$$
这是一个~Dirichlet 分布~$D(x_1+1/2,\cdots,x_k+1/2).$
\end{itemize}
}

\frame{\frametitle{2. 共轭先验下多项分布参数的后验分布}

\begin{itemize}

\item 由~(3.3.6) 可知~$\mathbf{\theta}$ 的似然函数为\vspace{-2mm}
$$l(\mathbf{\theta}|\mathbf{x})\propto\bigg(\prod_{i=1}^{k-1}\theta_{i}^{x_{i}}\bigg)
\bigg(1-\sum_{i=1}^{k-1}\theta_{i}\bigg)^{x_{k}}.\vspace{-2mm}
$$\pause

\item $\bm\theta$ 的先验分布为~Dirichlet
分布~$D(\alpha_1,\cdots,\alpha_{k}),$ 其密度函数为\vspace{-2mm}
$$\pi(\mathbf{\theta})=\frac{\Gamma(\alpha_1+\cdots+\alpha_{k})}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_{k})}
\cdot\prod_{i=1}^{k-1}\theta_{i}^{\alpha_{i}-1}\bigg(1-\sum_{i=1}^{k-1}
\theta_{i}\bigg)^{\alpha_{k}-1},~~ (3.3.10)\vspace{-2mm}
$$
此处~$\alpha_{i}>0,~i=1,\cdots,k$ 已知.\medskip\pause

\item 注意~Dirichlet 分布是贝塔分布的推广，当~$k=2$ 时它就是
~Beta 分布~$Be(\alpha_1,\alpha_2).$\medskip\pause


\end{itemize}
}

\frame{\frametitle{共轭先验下多项分布参数的后验分布}

\begin{itemize}

\item $\mathbf{\theta}$ 的后验分布\vspace{-2mm}
$$\pi(\mathbf{\theta}~\!|~\!\mathbf{x})\propto l(\mathbf{\theta}|\mathbf{x})\pi(\mathbf{\theta})
\propto \prod_{i=1}^{k-1}\theta^{x_{i}+\alpha_{i}-1}
\bigg(1-\sum_{i=1}^{k-1}\theta_{i}\bigg)^{x_{k}+\alpha_{k}-1},\vspace{-2mm}$$
\pause

\item 添加正则化常数得到\vspace{-2mm}
$$
  \pi(\mathbf{\theta}~\!|~\!\mathbf{x})=c\cdot
  \prod_{i=1}^{k-1}\theta^{x_{i}+\alpha_{i}-1}\bigg(1-\sum_{i=1}^{k-1}\theta_{i}\bigg)
   ^{\alpha_{k}+x_{k}-1}.~~(3.3.11)\vspace{-2mm}
$$\pause

\item 其中\vspace{-2mm}
$$c=\Gamma\bigg(\dl\sum_{i=1}^{k}(\alpha_{i}+x_{i})\bigg)\bigg/
\prod_{i=1}^{k}\Gamma(\alpha_{i}+x_{i}).\vspace{-0mm}
$$
显然~$\mathbf{\theta}$ 的后验分布为~Dirichlet
分布~$D(\alpha_1+x_1,~\cdots,~\alpha_{k}+x_{k}).$
\end{itemize}
}

\frame{\frametitle{多项分布参数后验分布的主要结论}

\noindent 总结以上内容我们得到如下的结果 ：

{\bf 定理~3.3.2} ~ 设~$\mathbf{X}=(X_{1},\cdots,X_{k})$
服从多项分布~$M(n,\mathbf{\bm\theta}),$ 在适当的先验分布下，
关于~$\theta$ 的后验分布有下列结论：
\medskip\pause

(1) ~若~$\bm\theta$ 的先验为由~(3.3.7) 给出的~Jeffreys 先验，则
~$\bm\theta$ 后验分布为由~\!(3.3.8)\!
给出的狄利克雷分布~\!$D(x_1\!+\!1/2,\cdots,x_k\!+\!1/2).$\!
\medskip\pause

(2) ~若~$\bm\theta$ 的共轭先验分布为由~(3.3.10) 给出的
狄利克雷分布\\
\noindent $D(\alpha_1,\cdots,\alpha_{k}),$ 则~$\bm\theta$
的后验分布为由~(3.3.11) 给出的
狄利克雷分布~$D(\alpha_1+x_1,~\cdots,~\alpha_{k}+x_{k}).$ }


\section{3.4 寿命分布参数的后验分布}
\subsection{3.4.1 伽玛分布情形}
\frame{\frametitle{伽玛分布}
\begin{itemize}

\item 设随机变量~$X$ 服从伽玛分布~$\Gamma(r,\lambda),$ 其密度函数为
$$\qquad f(x|\lambda)=\frac{\lambda^{r}}{\Gamma(r)}~\!x^{r-1}
\exp\{-\lambda x\},~~0<x<1,\qquad (3.4.1)
$$
其中~$r$ 已知. 当~$r=1$ 时上式分布就变为指数分布~$Exp~\!(\lambda).$
\medskip\pause

\item
本节以下将分别讨论刻度参数服从无信息先验和共轭先验时的后验分布问题.
\end{itemize}
}

\frame{\frametitle{ 1. ~伽玛分布参数服从无信息先验时的后验分布}
\begin{itemize}

\item 设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从总体~$\Gamma(r,\lambda)$
中抽取的随机样本. 由式~(3.4.1) 可知~$\lambda$
的似然函数为\vspace{-2mm}
$$
~~~\qquad\qquad l(\lambda|\bm{x})\varpropto
~\lambda^{nr}\exp\big\{-n\bar{x}\lambda\big\}.\qquad\qquad~~~(3.4.2)\vspace{-5mm}
$$\pause

\item 令~$\lambda$ 的~Jeffreys 无信息先验为~$\pi(\lambda)\propto 1/\lambda,$
则$\lambda$的后验分布\vspace{-1mm}
$$
\pi(\lambda|\bm{x})\propto\lambda^{nr-1}\exp\big\{-n\bar{x}\lambda\big\}.\vspace{-1mm}
$$
这是伽玛分布$\Gamma(nr,n\bar{x})$的核.
\medskip\pause

\item 添加正则化常数得到~$\lambda$ 的后验密度\vspace{-2mm}
$$\qquad\quad
\pi(\lambda|\bm{x})=\frac{(n\bar{
x})^{nr}}{\Gamma(nr)}\lambda^{nr-1}\exp\big\{-n\bar{
x}\lambda\big\}, \qquad\quad (3.4.3)\vspace{-2mm}
$$
其中~$0<\lambda<\infty.$
\end{itemize}
}

\frame{\frametitle{2. 伽玛分布参数服从共轭先验时的后验分布}
\begin{itemize}

\item ~设~$\lambda$ 的共轭先验为伽玛分布~$\Gamma(\alpha,\beta)$, 其密度函数为\vspace{-2mm}
$$
\pi(\lambda)\!=\!\frac{\beta^\alpha}{\Gamma(\alpha)}\lambda^{\alpha-1}\!\exp\big\{\!-\beta\lambda\big\}
\!\varpropto\!\!
~\lambda^{\alpha-1}\!\exp\big\{\!-\beta\lambda\big\}.~(3.4.4)\vspace{-2mm}
$$\pause

\item 由式~(3.4.2) 和~(3.4.4) 可知~$\lambda$ 的后验分布\vspace{-2mm}
$$\pi(\lambda|\bm{x})\propto\lambda^{nr+\alpha-1}\exp\big\{-(n\bar{x}+\beta)\lambda\big\},\vspace{-2mm}
$$
这是伽玛分布~$\Gamma(nr+\alpha,n\bar{x}+\beta)$ 的核.\medskip\pause

\item 添加正则化常数得到~$\lambda$ 的后验密度\vspace{-2mm}
$$
~~\pi(\lambda|\bm{x})=\frac{(n\bar{
x}+\beta)^{nr+\alpha}}{\Gamma(nr+\alpha)}\lambda^{nr+\alpha-1}\exp\big\{-(n\bar{
x}+\beta)\lambda\big\},~(3.4.5)\vspace{-2mm}
$$
其中~$0<\lambda<\infty.$
\end{itemize}
}

\frame{\frametitle{伽玛分布参数后验分布的主要结论}

\noindent 总结以上内容我们得到如下的结果：

{\bf 定理~3.4.1} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
为从伽玛分布~(3.4.1) 中抽取的随机样本, 关于~$\lambda$
的后验分布有下列结论：\medskip\pause

(1) ~当~$\lambda$ 的先验为~Jeffreys 无信息先验 $\pi(\lambda)\propto
1/\lambda$ 时, 则~$\lambda$ 的后验分布为由~(3.4.3)
给出的伽玛分布~$\Gamma(nr,n\bar{x}).$\medskip\pause

(2) ~当~$\lambda$ 的先验为由~(3.4.4)
给出的共轭先验~$\Gamma(\alpha,\beta)$ 时, 则\\
\noindent $\lambda$ 的后验分布为由~(3.4.5)
给出的伽玛分布~$\Gamma(nr+\alpha,n\bar{x}+\beta)$.\medskip\pause

(3) ~在式~(3.4.1) 中令~$r=1,$ ~\!则结论~(1) 和~(2)
给出了指数分布~$Exp(\lambda)$ 中参数~$\lambda$ 的后验分布的结果. }


\subsection{3.4.2 指数分布及其定数截尾情形时参数的后验分布}


\frame{\frametitle{1. 无信息先验下指数分布刻度参数的后验分布}

\begin{itemize}

\item 在式~(3.4.1) 中令~$r=1,~\lambda=1/\theta,$ 得到指数分布的密度函数\vspace{-2mm}
$$ \qquad f(x|\theta)=\theta^{-1}e^{-x/\theta},~~
0<x<\infty,~\theta>0.\qquad~~ (3.4.6)\vspace{-4mm}
$$\pause

\item 由式~(3.4.6)可知，给定~$\mathbf{X}$ 时~$\theta$ 的似然函数为\vspace{-2mm}
$$
l(\theta|\bm{x})\propto \theta^{-n}\exp\Big\{-\frac{n\bar
x}{\theta}\Big\},\vspace{-4mm}
$$\pause

\item 取~$\theta$ 的~Jeffreys 无信息先验~$\pi(\theta)=1/\theta$ 则~$\theta$ 的后验分布为\vspace{-2mm}
$$\pi(\theta|\bm{x})\propto \theta^{-(n+1)}\exp\Big\{-\frac{n\bar x}{\theta}\Big\},\vspace{-2mm}
$$\pause
添加正则化常数,得到后验分布\vspace{-2mm}
$$\qquad\quad
\pi(\theta|\bm{x})=\frac{(n\bar{x})^{n}}{\Gamma(n)}\theta^{-(n+1)}
\exp\Big\{-\frac{n\bar x}{\theta}\Big\}.\qquad\quad
(3.4.8)\vspace{-2mm}
$$
这是逆伽玛分布~$\Gamma^{-1}(n, n\bar x)$ 的密度函数.
\end{itemize}
}

\frame{\frametitle{2. 共轭先验下指数分布刻度参数的后验分布}

\begin{itemize}

\item 令~$\theta$ 的似然函数如式~(3.4.7) 所示，而~$\theta$~的共轭先验分布为~$\Gamma^{-1}(\alpha,\beta)$,
其密度函数为\vspace{-2mm}
$$\pi(\theta)\!=\!\frac{\beta^{\alpha}}{\Gamma(\alpha)}\theta^{-(\alpha+1)}\!\exp\Big\{\!\!-\frac{\beta}{\theta}\Big\}
\!\propto\!\theta^{-(\alpha+1)}\!\exp\Big\{\!\!-\frac{\beta}{\theta}\Big\},~(3.4.9)$$\pause

\item $\theta$ 的后验分布\vspace{-2mm}
$$\pi(\theta|\mathbf{x})\propto l(\theta|\mathbf{x})\pi(\theta)
\propto
\theta^{-(n+\alpha+1)}\exp\Big\{\!-\frac{n\bar{x}+\beta}{\theta}\Big\},\vspace{-3mm}
$$\pause

\item 上式右边是逆伽玛分布~$\Gamma^{-1}(n+\alpha,n\bar{x}+\beta)$ 的核. 添加正则化常数得到\vspace{-2mm}
$$
\pi(\theta|\mathbf{x})\!=\!\frac{(n\bar{x}+\beta)^{n+\alpha}}{\Gamma(n+\alpha)}~\!\theta^{-(n+\alpha+1)}
\!\exp\Big\{\!\!-\frac{n\bar{x}+\beta}{\theta}\Big\},~~
(3.4.10)\vspace{-2mm}
$$
其中~$0<\theta<\infty.$
%这是逆Gamma分布~$\Gamma^{-1}(n+b,n\bar{x}+\lambda)$ 的密度函数.
\end{itemize}
}

\frame{\frametitle{ 3(1). 无信息先验下定数截尾情形时的后验分布 }

\vspace{-2mm}
\begin{itemize}

\item 若进一步假定指数分布样本~$X_{1},\cdots,X_{n}$ 中仅观测到前~$r$ 个，
即~$X_{(1)}<X_{(2)}<\cdots<X_{(r)}$~为~$n$
个观测中观测到的前~$r$~个，
%其中~$X_{(1)},\cdots,X_{(r)},\cdots,X_{(n)}$ 为样本~$X_1,\cdots,X_n$\!
%的次序统计量.
易知 ~$T=\sum\limits_{j=1}^{r}X_{(j)}+(n-r)X_{(r)}$ 是~$\theta$
的充分统计量.\medskip\pause

\item 由~$2T/\sigma^2\sim\chi^2_{2r}$~可知~$T$ 的密度函数为\vspace{-3mm}
$$
g(t|\theta)=\frac{\theta^{-r}}{\Gamma(r)}t^{r-1}e^{-\frac{t}{\theta}}\propto\theta^{-r}e^{-\frac{t}{\theta}},~~
t>0,~\theta>0.\vspace{-3mm}
$$\pause

\item ~若取~$\theta$ 的先验为无信息先验~$\pi(\theta)=1/\theta,$
则~$\theta$ 的后验分布\vspace{-1mm}
$$\pi(\theta|t)\propto g(t|\theta)\pi(\theta)\propto \theta^{-(r+1)}e^{-\frac{t}{\theta}},\vspace{-1mm}
$$\pause
添加正则化常数, 则\vspace{-2mm}
$$
\qquad\pi(\theta|t)=\frac{t^{r}}{\Gamma(r)}\theta^{-(r+1)}e^{-\frac{t}{\theta}},~~0<\theta<\infty.\qquad
(3.4.12)\vspace{-2mm}
$$
这是参数为~$r,~t$ 的逆伽玛分布~$\Gamma^{-1}(r,t)$ 的密度函数.
\end{itemize}
}

\frame{\frametitle{3(2). 共轭先验下定数截尾情形的后验分布}

\begin{itemize}

\item  取~$\theta$ 的先验分布由~(3.4.9) 给出的逆伽玛分布~$\Gamma^{-1}(\alpha,\beta),$ 其密度函数为\vspace{-3mm}
$$
\pi(\theta)=\frac{\beta^\alpha}{\Gamma(\alpha)}\theta^{-(\alpha+1)}
\exp\Big\{-\frac{\beta}{\theta}\Big\},~~\theta>0.\vspace{-2mm}
$$\pause

\item 则~$\theta$ 的后验分布为\vspace{-2mm}
$$\pi(\theta|t)\propto g(t|\theta)\pi(\theta)\propto \theta^{-(r+\alpha+1)}
\exp\Big\{-\frac{t+\beta}{\theta}\Big\}.\vspace{-4mm}
$$\pause

\item 添加正则化常数得到\vspace{-1mm}
$$
\pi(\theta|t)\!=\!\frac{(t+\beta)^{r+\alpha}}{\Gamma(r+\alpha)}
\theta^{-(r+\alpha+1)}\!\exp\Big\{\!-\frac{t+\beta}{\theta}\Big\},
~\theta>0.~(3.4.13)\vspace{-2mm}
$$
此为逆伽玛分布~$\Gamma^{-1}(r+\alpha,t+\beta)$ 的密度函数.
\end{itemize}
}

\frame{\frametitle{指数分布参数后验分布的主要结论}

%\noindent 总结以上内容我们得到如下的结果：\pause

{\bf 定理~3.4.2} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
为从指数分布~(3.4.6) 中抽取的随机样本， 关于~$\theta$
的后验分布有下列结论：\medskip\pause

(1)~当参数~$\theta$ 的先验分布为无信息先验~$\pi(\theta)= 1/\theta$
时，则~$\theta$ 的后验分布为由~(3.4.8)
给出的逆伽玛分布~$\Gamma^{-1}(n, n\bar x)$.\medskip\pause

(2)~当参数~$\theta$ 的先验分布为由式~(3.4.9)
给出的共轭先验分布~$\Gamma^{-1}(\alpha,\beta)$ 时，则 ~$\theta$
的后验密度为由式 ~(3.4.10) 给出的逆伽玛分布~$\Gamma^{-1}(n+\alpha,
n\bar x+\beta)$.\medskip\pause

(3)~在指数分布定数截尾情形，当~$\theta$ 的先验为无信息先验分布时,
则~\!$\theta$\! 的后验分布为由~\!(3.4.12)\!
给出的逆伽玛分布~\!$\Gamma^{-1}(r,t);$\! 当~$\theta$
的先验为由~(3.4.9) 给出的共轭先验~$\Gamma^{-1}(\alpha,\beta)$ 时,
则~$\theta$ 的后验分布为由 ~(3.4.13)
给出的逆伽玛分布~$\Gamma^{-1}(r+\alpha,t+\beta),$
其中\\
\noindent $t=\sum\limits_{j=1}^{r}x_{(j)}+(n-r)x_{(r)}.$ }



\section{3.5 泊松分布和均匀分布参数的后验分布}
\subsection{3.5.1 泊松分布参数的后验分布}

\frame{\frametitle{1. 无信息先验下泊松分布参数的后验分布}
\begin{itemize}
\vspace{-2mm}
\item 设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从泊松~(Poisson) 分布
~$P(\theta)$ 中抽取的随机样本, 则样本~$\mathbf{X}$
的概率函数为\vspace{-2mm}
\begin{eqnarray*}
f(\bm{x}~\!|~\!\theta)\!\!\!&&=P\big(X_1=x_1,\cdots,X_n=x_n~\!|~\!\theta\big)\nonumber\\
&&=\prod_{i=1}^{n}\frac{\theta^{x_{i}}e^{-\theta}}{x_{i}!}
\!=\!\frac{\theta^{n\bar{x}}e^{-n\theta}}{x_1!\cdots
x_n!}\!\propto\!\theta^{n\bar{x}}\exp\{-n\theta\},~(3.5.1)
\end{eqnarray*}\\ \vspace{-2mm}
此处~$\bar x={\dl\frac{1}{n}} \sum\limits_{i=1}^n x_i.$
上式也是~$\theta$ 的似然函数~$l(\theta|\bm{x}).$ \small\pause

\item 令~$\theta$ 的先验为~Jeffreys
先验~$\pi(\theta)=\theta^{-1/2},$ 则~$\theta$
的后验分布\vspace{-2mm}
$$\pi(\theta|\bm{x})\propto l(\theta|\bm{x})\pi(\theta)\propto
\theta^{n\bar{x}-1/2}\exp\{-n\theta\}.\vspace{-4mm}
$$\pause

\item 这是伽玛分布~$\Gamma(n\bar{x}+1/2,n)$ 的核，添加正则化常数得到\vspace{-2mm}
$$
\pi(\theta|\bm{x})=\frac{n^{n\bar{x}+1/2}}{\Gamma(n\bar{x}+1/2)}
\theta^{(n\bar{x}+1/2)-1}\exp\{-n\theta\}.\qquad\quad~~
(3.5.2)\vspace{-2mm}
$$
即~$\theta$ 的后验分布为伽玛分布~$\Gamma(n\bar{x}+1/2,n).$
\end{itemize}
}

\vspace{-2mm}
\frame{\frametitle{2.~共轭先验下泊松分布参数的后验分布}
\begin{itemize}

\item 样本~$\mathbf{X}$ 的概率函数~(似然函数) 为由式~(3.5.1) 给出.
令~$\theta$ 的先验分布是共轭先验伽玛分布~$\Gamma(r,\lambda),$
其密度函数为\vspace{-2mm}
$$\qquad\pi(\theta)=\frac{\beta^{\alpha}}{\Gamma(\alpha)}~\!\theta^{\alpha-1}e^{-\beta\theta}
\varpropto ~\theta^{\alpha-1}e^{-\beta\theta},~~\theta>0,~~\quad
(3.5.4)\vspace{-3mm}
$$\pause

\item  故~$\theta$ 的后验分布\vspace{-2mm}
$$\pi(\theta|\mathbf{x})\varpropto ~f(\mathbf{x}|\theta)\,\pi(\theta)\varpropto
 \theta^{n\bar x+\alpha-1}e^{-(n+\beta)\theta}.\vspace{-3mm}
 $$\pause

\item 这是伽玛分布~$\Gamma(n\bar{x}+\alpha,n+\beta)$ 的核,
添加正则化常数因子得\vspace{-2mm}
$$\quad \pi(\theta|\mathbf{x})=\frac{(n+\beta)^{n\bar x+\alpha}}{\Gamma(n\bar
{x}+\alpha)}~\!\theta^{n\bar{x}+\alpha-1}e^{-(n+\beta)\theta},~~\theta>0.~~\quad
(3.5.5)\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{泊松分布参数后验分布的主要结论}
%\begin{itemize}

总结以上内容我们得到如下的结果 ：
\medskip\pause

{\bf 定理~3.5.1} ~设~$\mathbf{X}\!=(X_{1},\cdots,X_{n})$
为从泊松分布~(3.5.1) 中抽取的随机样本，关于~$\theta$
的后验分布有下列结论：\medskip\pause

(1)~当参数~$\theta$ 的先验分布为~Jeffreys 无信息先验~$\pi(\theta)=
\theta^{-\frac{1}{2}}$ 时，则~\!$\theta$\!
的后验分布为由~\!(3.5.2)\!
给出的伽玛分布~\!$\Gamma(n\bar{x}+1/2,n).$\!
\smallskip\pause

(2)~当参数~$\theta$ 的先验为由~(3.5.4)
给出的共轭先验~$\Gamma(\alpha,\beta)$ 时, 则~$\theta$
的后验密度为由~(3.5.5)
给出的伽玛分布~$\Gamma(n\bar{x}+\alpha,n+\beta).$\! }


\subsection{3.5.2 均匀分布参数的后验分布}

\frame{\frametitle{1. 无信息先验下均匀分布参数的后验分布}
\begin{itemize}

\item 设~$\mathbf{X}=(X_1,\cdots,X_n)$ 是从均匀分布
~$U(0,\theta)$ 中抽取的随机样本,
记~$x_{(n)}=\max\{x_1,\cdots,x_n\}.$ 易见~$\theta$
的似然函数为\vspace{-2mm}
$$\hspace{2cm}
l(\theta|\bm{x})=\frac{1}{\theta^n},~~\theta>x_{(n)},\hspace{2.6cm}
(3.5.6)\vspace{-3mm}
$$\pause

\item 由于均匀分布~$U(0,\theta)$
的密度函数~$f(x|\theta)=\dl\frac{1}{\theta}~\!I_{(0<x/\theta<1)},$
属于刻度参数族，$\theta$ 为刻度参数，故假定~$\theta$
的无信息先验为~$\pi(\theta)=1/\theta,$ 因此~$\theta$的后验分布
$$\pi(\theta|\bm{x})\propto l(\theta|\bm{x})\pi(\theta)\propto
\frac{1}{\theta^{n+1}},\quad\theta>x_{(n)}\triangleq\theta_*.\vspace{-3mm}$$
\pause

\item 这是帕雷托分布~$Pa(\theta_*,n)$ 的核. 添加正则化常数,
得到~$\theta$ 的后验密度
$$\hspace{1.5cm}
\pi(\theta|\bm{x})=\frac{n\theta_*^n}{\theta^{n+1}}\quad
\theta>\theta_*,\hspace{3cm} (3.5.8)
$$
即~$\theta$ 的后验分布是帕雷托分布~$Pa(\theta_*,n)$.
\end{itemize}
}

\frame{\frametitle{2. 共轭先验下均匀分布参数的后验分布}
\begin{itemize}

\item 设~$\theta$ 的共轭先验为帕雷托分布~$Pa(\theta_0,\alpha),$ 其密度函数为\vspace{-2mm}
$$\hspace{2.cm}
\pi(\theta) =\frac{\alpha{\theta_{\D
0}}^{\alpha}}{\theta^{\alpha+1}}, ~~\theta>\theta_0,\hspace{2.8cm}
(3.5.9)\vspace{-2mm}
$$
其中~$\alpha>0$ 和~$\theta_0$ 已知.
\medskip\pause

\item $\theta$ 的似然函数由~(3.5.6) 给出，故由~(3.5.6) 和~(3.5.9) 可知
~$\theta$ 的后验密度为\vspace{-2mm}
$$\pi(\theta|\bm{x})\varpropto~l(\theta|\bm{x})\pi(\theta)\varpropto~\frac{1}{\theta^{\alpha+n+1}},
~~~\theta>\max\{x_{(n)},\theta_0\}=\theta_1,\vspace{-4mm}
$$\pause

\item 这是帕雷托分布~$Pa(\theta_1,\alpha+n)$ 的核，添加正则化常数得到\vspace{-2mm}
$$\hspace{1.5cm}
\pi(\theta|\bm{x})=\frac{(\alpha+n){\theta_1}^{\alpha+n}}{\theta^{\alpha+n+1}},
~~\theta>\theta_1.\hspace{1.6cm} (3.5.10)\vspace{-2mm}
$$
即~$\theta$ 的后验分布是帕雷托分布~$Pa(\theta_1,\alpha+n)$.
\end{itemize}
}

\frame{\frametitle{均匀分布参数后验分布的主要结论}

\noindent 总结以上内容我们得到如下的结果 ：
\medskip\pause

{\bf 定理~3.5.2} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
为从均匀分布~$U(0,\theta)$ 中抽取的随机样本，关于~$\theta$
的后验分布有下列结论：
\medskip\pause

(1) ~当~$\theta$ 的先验分布为无信息先验~$\pi(\theta)= 1/\theta$ 时,
则~$\theta$ 的后验分布是由~(3.5.8)
给出的帕雷托分布~$Pa(\theta_*,n).$
\medskip\pause

(2) ~当~$\theta$ 的先验为由~\!(3.5.9)\!
给出的帕雷托分布~\!$Pa(\theta_0,\alpha)$\! 时, 则~$\theta$
的后验分布是由~(3.5.10) 给出的帕雷托分布~$Pa(\theta_1,\alpha+n),$
其中~$\theta_1=\max\{x_{(n)},\theta_0\}.$
}



\section{3.6 多元正态分布中参数的后验分布$^*$}
\subsection{3.6.1 引言}

\frame{\frametitle{引言}
\begin{itemize}

\item 设~$\bm{X}=(X_1,\cdots,X_p)$ 为~p 维随机向量并且~$\bm{X} \sim
N_p(\bm{\theta},\sigma^2\bm{I}),$ 其中~$\sigma^2>0$ 已知.
令~$\bm{X}_1,\cdots,\bm{X}_n$ 为从总体~$\bm{X}$ 中抽取的i.i.d.样本,
且~$\widebar{\bm{X}}=\sum\limits_{i=1}^n \bm{X}_i\big/n,$
\medskip\pause

\item 给定~$\bm{\theta}$ 时,样本%~\bm{X^{(0)}=
$(\bm{X}_1,\cdots,\bm{X}_n)$ 的联合概率密度函数为\vspace{-2mm}
\begin{eqnarray*}
f(&&\!\!\!\bm{x}_1,\cdots,\bm{x}_n|\,\bm{\theta})
=(2\pi\sigma^2)^{-\frac{np}{2}}
\exp\Big\{{-\frac{1}{2\sigma^2}\sum_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D
T}
(\bm{x}_i-\bm{\theta})}\Big\}\nonumber\\
&&=(2\pi\sigma^2)^{-\frac{np}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}\Big[\sum_{i=1}^n(\bm{x}_i-\bar{\bm{x}})^{\D
T} (\bm{x}_i-\bar{\bm{x}})\nonumber\\
&&\hspace{4.5cm}+n(\bar{\bm{x}}-\bm\theta)^{\D
T}(\bar{\bm{x}}-\bm\theta)\Big]\Big\},\hspace{0.5cm}(3.6.1)
\end{eqnarray*}
\\\vspace{-2mm}
\item 此概率密度也可视为~$(\bm\theta,\sigma^2)$ 的似然函数$l(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n).$
%\item
\end{itemize}
}

\frame{\frametitle{引言}

\noindent 本节讨论下列几个问题：\medskip\pause
\begin{itemize}

\item (1)~无信息先验下, $\bm{\theta}$ 和~$\sigma^2$ 的后验分布.\medskip\pause

\item (2)~共轭先验下, $\bm{\theta}$ 和~$\sigma^2$ 的后验分布.\medskip\pause

\item (3)~一般情形下, 即~$\textbf{X} \sim
N_p(\bm{\theta},\bm\Sigma),~\bm\Sigma>0$
为正定阵时，有关参数的后验分布.

\end{itemize}
}

\frame{\frametitle{引言}
\begin{itemize}

\item 本节我们将用到多元~\!$t$\! 分布的概念，其定义如下:
\medskip\pause

\item 若~$p$ 元随机向量~$\mathbf{X}=(X_1,\cdots,X_p)$ 具有概率密度函数
$$
   p(\bm{x})=\frac{\Gamma(\frac{\nu+p}{2})}{\Gamma(\frac{\nu}{2})
   (\nu\pi)^{\frac{p}{2}}}~\!|\bm{R}|^{-\frac{1}{2}}
   \left[1+\frac{1}{\nu}(\bm{x}-\bm\mu)^{\D T}
   {\bm{R}}^{-1}(\bm{x}-\bm\mu)\right]^{-\frac{\nu+p}{2}}\!\!\!\!\!,(3.6.2)
$$
则称其服从~$p$ 元~t~分布, 其中~$\nu$ 为自由度，$\bm\mu$
是均值向量，$ {\bm{R}}$
相关矩阵（协方差阵~$\bm\Sigma=\frac{\nu}{\nu-2} {\bm{R}}$），
记为~$\mathscr{T}_p(\nu,\bm\mu, {\bm{R}})$ （参看~Kotz (2004)）.
特别， 当~$p=1$ 时，就是由定义~3.2.1 给出的一元~$t$
分布~$\mathscr{T}_1(\nu,\mu,\tau^2),$ 此时~$ {\bm{R}}=\tau^2.$
\end{itemize}
}

\subsection{3.6.2 无信息先验下的后验分布}
\frame{\frametitle{1. ~当~$\sigma^2$ 已知时，均值向量~$\bm\theta$
的的后验分布}

\begin{itemize}

\item 当~$\sigma^2$ 已知时，$\widebar{\bm{X}}$ 为~$\bm\theta$ 的充分统计量,且~$\widebar{\bm{X}}\sim
N_p\big(\bm{\theta},(\sigma^2/n)\bm{I}\big),~\bm{I}$ 为~$p\times p$
的单位阵，故~$\bm\theta$ 的似然函数为\vspace{-1mm}
$$
l(\bm\theta|\bar{\bm{x}})\propto\exp\Big\{-\frac{n}{2\sigma^2}(\bar{\bm{x}}-\bm\theta)^{\D
T} (\bar{\bm{x}}-\bm\theta)\Big\}.\qquad \qquad(3.6.3)
$$
\\ \vspace{-1mm}\pause

\item 假定均值向量~$\bm\theta$ 的先验为无信息先验 $\pi(\bm\theta)\equiv 1,$ 故$\bm\theta$的后验密度\vspace{-1mm}
$$\pi(\bm\theta|\bar{\bm{x}})\propto
l(\bm\theta|\bar{\bm{x}})\pi(\bm\theta) \propto
\exp\Big\{-\frac{n}{2\sigma^2}(\bm\theta-\bar{\bm{x}})^{\D T}
(\bm\theta-\bar{\bm{x}})\Big\}.$$
\\ \vspace{-1mm}\pause

\item 这是多元正态分布~$N_p\big(\bar{\bm{x}},(\sigma^2/n)~\!\bm{I}_p\big)$
的核, 添加正则化常数因子,得到~$\bm\theta$ 的后验密度\vspace{-1mm}
$$
\pi(\bm\theta|\bar{\bm{x}})=\Big(\frac{n}{2\pi\sigma^2}\Big)^{\frac{p}{2}}
\exp\Big\{-\frac{n}{2\sigma^2}(\bm\theta-\bar{\bm{x}})^{\D T}
(\bm\theta-\bar{\bm{x}})\Big\},~~(3.6.5)
$$
此处~$\bm\theta\in\mathbb{R}_p.$
\end{itemize}
}

\frame{\frametitle{2.~当~$\bm\theta$ 已知时，刻度参数$\sigma^2$
的后验分布}
\begin{itemize}
\item 当~$\bm\theta$
已知时，由式~(3.6.1) 可知，$\sigma^2$ 的似然函数为\vspace{-2mm}
$$
l(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)
\propto\big(\sigma^2\big)^{-\frac{np}{2}}\exp\Big\{-\frac{A_n}{2\sigma^2}\Big\},\qquad\qquad
(3.6.6)
$$
其中~$A_n=\sum\limits_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D T}
(\bm{x}_i-\bm\theta).$\medskip\pause

\item 令刻度参数~$\sigma^2$ 无信息先验~$\pi(\sigma^2)\propto
1/\sigma^2,$ 故~$\sigma^2$ 的后验密度\vspace{-2mm}
$$\pi\big(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)\propto
%l(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)\pi\big(\sigma^2\big)
(\sigma^2)^{-(\frac{np}{2}+1)}\exp\Big\{-\frac{A_n}{2\sigma^2}
\Big\},$$
\\ \vspace{0mm}\pause

\item 这是逆伽马分布~$\Gamma^{-1}\big(np/2,A_n/2\big)$ 的核.
添加正则化常数因子,得到~$\sigma^2$ 的后验密度\vspace{-2mm}
$$
\pi(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)=\frac{[A_n/2]^{np/2}}{\Gamma(np/2)}
\big(\sigma^2\big)^{-\big(\frac{np}{2}+1\big)}\exp\Big\{-\frac{A_n}{2\sigma^2}
\Big\},~(3.6.8)
$$
其中~$\sigma^2>0.$
\end{itemize}
}

\frame{\frametitle{ 3. 当~$\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}

\item 假定~$\bm\theta$ 和~$\sigma^2$ 独立，$\pi_1(\bm\theta)\equiv 1,~\pi_2\big(\sigma^2\big)=1/\sigma^2,$
故~$\bm\theta$ 和~$\sigma^2$ 的联合无信息先验为
$$\pi(\bm\theta,\sigma^2)=\pi_1(\bm\theta)\pi_2\big(\sigma^2\big)\propto
1\big/\sigma^2,\hspace{2.6cm}(3.6.9)
$$\
\\ \vspace{1mm}\pause

\item 由式~(3.6.1) 和式~(3.6.9) 可知~$\bm\theta$ 和 ~$\sigma^2$
的联合后验密度
\begin{eqnarray*}
&&\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)
\propto l(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)\pi(\bm\theta,\sigma^2)\nonumber\\
&&~~\propto\big(\sigma^2\big)^{-(\frac{np}{2}+1)}
\exp\Big\{-\frac{1}{2\sigma^2}\big[\bar{A}_n+n(\bm\theta-\bar{\bm{x}})^{\D
T}(\bm\theta-\bar{\bm{x}})\big] \Big\},\\
&& \hspace{8cm} (3.6.10)
\end{eqnarray*}
此处$\bar{A}_n=\sum\limits_{i=1}^n(\bm{x}_i-\bar{\bm{x}})^{\D T}
(\bm{x}_i-\bar{\bm{x}}).$
%\item

\end{itemize}
}

\frame{\frametitle{当~$\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}

\item 添加正则化常数因子，得到~$\bm\theta$ 和
~$\sigma^2$ 的联合后验密度\vspace{-1mm}
\begin{eqnarray*}
\pi(\bm\theta,\sigma^2\!\!\!&&|\bm{x}_1,\cdots,\bm{x}_n)
=\Big(\frac{n}{2\pi\sigma^2}\Big)^{p/2}
\exp\Big\{-\frac{n}{2\sigma^2}
(\bm\theta-\bar{\bm{x}})^{\D T}(\bm\theta-\bar{\bm{x}})\Big\}\nonumber\\
&&~~~\times\frac{[\bar{A}_n/2]^{p(n-1)/2}}{\Gamma\big(p(n-1)/2\big)}
~\!\big(\sigma^2\big)^{-\big(p(n-1)/2+1\big)}\exp\Big\{-\frac{\bar{A}_n}{2\sigma^2}\Big\}\nonumber\\
&&=\pi_1\big(\bm\theta|\sigma^2,\bm{x}_1,\cdots,\bm{x}_n\big)
\pi_2\big(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)~~\qquad(3.6.11).
\end{eqnarray*}
\\ \vspace{0mm}\pause

\item 由上式可见，\!$\bm\theta$\! 和
~\!$\sigma^2$\!
的联合后验密度是两部分乘积,一部分是给定~\!$\sigma^2$\!
和~\!$\bm{x}_1,\cdots,\bm{x}_n$\! 时， ~\!$\bm\theta$\!
的条件密度~\!$N_p\big(\bar{\bm{x}},(\sigma^2/n)~\!\bm{I}_p\big);$\!
另一部分是给定~\!$\bm{x}_1,\cdots,\bm{x}_n$\! 时, \!$\sigma^2$\!
的条件密度~\!$\Gamma^{-1}\big(p(n-1)\big/2,\bar{A}_n\big/2\big).$\vspace{2mm}
\end{itemize}
}

\frame{\frametitle{当~$\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}
\item
将式~(3.6.11) 对~$\theta$ 积分，得到~$\sigma^2$ 的边缘后验密度
\begin{eqnarray*}
\pi_2(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)&&\!\!\!=
\frac{[\bar{A}_n/2]^{p(n-1)/2}}{\Gamma\big(p(n-1)/2\big)}
\big(\sigma^2\big)^{-\big(p(n-1)/2+1\big)}\\
&&~~\times\exp\Big\{-\frac{\bar{A}_n}{2\sigma^2}\Big\},~\sigma^2>0,\qquad(3.6.12)
\end{eqnarray*}
\pause
\item 即~$\sigma^2$
的边缘后验密度为逆伽马分布~$\Gamma^{-1}\big(p(n-1)\big/2,\bar{A}_n\big/2\big).$
\end{itemize}
}

\frame{\frametitle{当~$\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}

\item 将式~(3.6.10) 对~$\sigma^2$ 积分，得到~$\theta$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
\pi_1(\bm\theta|\bm{x}_1,\cdots,\bm{x}_n)\propto
\big[\bar{A}_n+n(\bm\theta-\bar{\bm{x}})^{\D T}(\bm\theta-\bar{\bm{x}})\big]^{\frac{np}{2}}\\
\propto \Big[1+\frac{1}{p(n-1)}(\bm\theta-\bar{\bm{x}})^{\D T}
\bm\Delta^{-1}(\bm\theta-\bar{\bm{x}})\Big]^{-\frac{p(n-1)+p}{2}},
\end{eqnarray*}
此处~$\bm\Delta=\frac{s^2_n}{p(n-1)}\bm{I}_p,~s_n^2=\bar{A}_n/n.$\medskip\pause

\item 上式是~$p$ 元~$t$ 分布~$\mathscr{T}_p\big(p(n-1),\bar{\bm{x}},\bm\Delta\big)$ 的核，添加正则化常数因子得到
~$\bm\theta$的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi_1(\bm\theta|\bm{x}_1,\cdots,\bm{x}_n)\nonumber\\
&&=\frac{\Gamma(\frac{p(n-1)+p}{2})|\bm\Delta|^{-\frac{1}{2}}}{\Gamma\big(\frac{p(n-1)}{2}\big)[\pi
p(n-1)]^{\frac{p}{2}}}
\bigg[1\!\!+\!\!\frac{P(\bm\theta-\bar{\bm{x}})^{\D
T}\bm\Delta^{-1}(\bm\theta-\bar{\bm{x}})}{p(n-1)}\bigg]^{-\frac{(n-1)p+p}{2}}\!\!\!.\\
&&\hspace{8.5cm}(3.6.13)
\end{eqnarray*}
其中~$\bm\theta\in \mathbb{R}^{p}~.$
%\item
\end{itemize}
}

\frame{\frametitle{无信息先验下后验分布的主要结论}

{\bf 定理3.6.1} ~设样本分布为由式 (3.6.1) 给出的多元正态分布,
其有关参数的后验分布，有下列结论：\pause

(1) 若~\!$\sigma^2$\! 已知，均值向量~\!$\bm\theta$\!
的无信息先验为~\!$\pi(\bm\theta)\equiv 1,$\! 则~\!$\bm\theta$\!
后验分布为由式~\!(3.6.5)\! 给出的~\!$p$\! 元正态分布
~\!$N_p\big(\bar{\bm{x}},(\sigma^2/n)~\!\bm{I}_p\big).$\!\pause

(2) ~若~\!$\bm\theta$\! 已知，刻度参数~\!$\sigma^2$\! 的无信息先验为
~\!$\pi(\sigma^2)\equiv 1/\sigma^2,$\! 则~\!$\sigma^2$\!
后验分布为由式~\!(3.6.8)\!
给出的逆伽马分布~\!$\Gamma^{-1}\big(np/2,A_n/2),$\!
其中~\!$A_n=\sum\limits_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D T}
(\bm{x}_i-\bm\theta).$\!\pause

(3) ~若~$(\bm\theta,\sigma^2)$ 的联合无信息先验密度由 式~(3.6.9)
给出，则\\
\noindent $(\bm\theta,\sigma^2)$ 的联合后验分布由式~(3.6.11) 给出；
$\sigma^2$ 的边缘后验分布为由式~(3.6.12)
给出的逆伽马分布~$\Gamma^{-1}\big(p(n-1)\big/2,\bar{A}_n\big/2\big),$
其中~$\bar{A}_n=\sum\limits_{i=1}^n(\bm{x}_i-\bar{\bm{x}})^{\D T}
(\bm{x}_i-\bar{\bm{x}})$； $\bm\theta$ 的边缘后验分布为由式~(3.6.13)
给出的~$p$ 元~$t$
分布~$\mathscr{T}_p\big(p(n-1),\bar{\bm{x}},{\bm\Delta}\big),~\bm\Delta=\frac{s_n^2}{p(n-1)}\bm{I}_p,~\!s_n^2=\bar{A}_n/n.$
}


\subsection{3.6.3 共轭先验分布下的后验分布}
\frame{\frametitle{1. ~$\sigma^2$ 已知，均值向量~$\bm\theta$
的后验分布}
\begin{itemize}

\item 当~$\sigma^2$ 已知时，由式(3.6.3) 可知~$\bm\theta$ 的似然函数\vspace{-2mm}
$$
l(\bm\theta|\bar{\bm{x}})\propto\exp\Big\{-\frac{1}{2\sigma_n^2}(\bar{\bm{x}}-\bm\theta)^{\D
T} (\bar{\bm{x}}-\bm\theta)\Big\}.
$$
\\ \vspace{-1mm}\pause


\item 令~$\bm\theta$ 的共轭先验为~$N_p\big(\bm\mu,\tau^2 \bm{I}\big),$ 此处
~$\bm\mu$ 和 ~$\tau^2$ 已知，其密度函数为\vspace{-2mm}
$$
\pi(\bm\theta)=\big(2\pi\tau^2\big)^{-\frac{p}{2}}\exp\Big\{-\frac{1}{2\tau^2}(\bm\theta-\bm\mu)^{\D
T} (\bm\theta-\bm\mu)\Big\},~(3.6.14)
$$
\\ \vspace{-1mm}\pause

\item 由式~(3.6.3) 和式~(3.6.14) 可知~$\bm\theta$ 的后验密度\vspace{-2mm}
\begin{eqnarray*}
\pi\!\!\!&&(\bm\theta|\bar{\bm{x}})\propto
l(\bm\theta|\bar{\bm{x}})\pi(\bm\theta)\nonumber\\
&&\propto
\exp\bigg\{-\frac{1}{2}~\!\Big[\frac{1}{\sigma^2_n}(\bm\theta-\bar{\bm{x}})^{\D
T} (\bm\theta-\bar{\bm{x}})+\frac{1}{\tau^2}(\bm\theta-\bm\mu)^{\D
T} (\bm\theta-\bm\mu)\Big]\bigg\},\\
&&\hspace{7.5cm}~~~~~(3.6.15)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{$\sigma^2$ 已知，均值向量~$\bm\theta$ 的后验分布}
\vspace{-2mm}
\begin{itemize}

\item 此处~$\sigma_n^2=\sigma^2/n.$ 而\vspace{-2mm}
$$A=\frac{1}{\sigma_n^2}+\frac{1}{\tau^2},
\quad {\bf B}=\frac{\bar{\bm{x}}}{\sigma_n^2}+\frac{\bm\mu}{\tau^2},
\quad C=\frac{\bar{\bm{x}}^{\D T}\bar{\bm{x}}}{\sigma_n^2}
+\frac{\bm{\mu}^{\D T}\bm{\mu}}{\tau^2},$$
\\ \vspace{-1mm}\pause

\item
将式~(3.6.15) 方括号中的项凑成完全平方\vspace{-2mm}
\begin{eqnarray*}
&&\frac{1}{\sigma_n^2}(\bm\theta-\bar{\bm{x}})^{\D
T}(\bm\theta-\bar{\bm{x}})
+\frac{1}{\tau^2}(\bm\theta-\bm\mu)^{\D T}(\bm\theta-\bm\mu)\nonumber\\
&&~~~=A\bm{\theta}^{\D T}\bm{\theta}-2\bm{\theta}^{\D T} {\bf
B}+C=A[\bm{\theta}^{\D T}\bm{\theta}-2\bm{\theta}^{\D T}
{\bf B}/A]+C\nonumber\\
&&~~~=A\big(\bm{\theta}-\bm{B}/A\big)^{\D
T}\big(\bm{\theta}-\bm{B}/A\big) +\big[C-\bm{B}^{\D T}\bm{
B}/A\big],~(3.6.16)
\end{eqnarray*}
\\ \vspace{-2mm}\pause

\item 其中\vspace{-2mm}
\begin{eqnarray*}
{\bm{\mu}}_n(\bar{\bm{x}})\!\!\!&&=\frac{{\bf
B}}{A}=\frac{\tau^2}{\sigma^2_n+\tau^2}\bar{\bm{x}}
+\frac{\sigma^2_n}{\sigma^2_n+\tau^2}\bm\mu,\\
\eta_n^2\!\!\!&&=\frac{1}{A}=\frac{\sigma^2_n\tau^2}{\sigma^2_n+\tau^2}
=\frac{\sigma^2\tau^2}{\sigma^2+n\tau^2}\hspace{1.5cm}~~~(3.6.17)\\
C-\frac{{\bf B}^{\D T}{\bf
B}}{A}\!\!\!&&=\frac{1}{\sigma^2_n+\tau^2} (\bar{\bm{x}}-\bm\mu)^{\D
T}(\bar{\bm{x}}-\bm\mu)\nonumber.
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{$\sigma^2$ 已知，均值向量~$\bm\theta$ 的后验分布}
\begin{itemize}

\item 将式~(3.6.16) 和式~(3.6.17) 代入式~(3.6.15) 得到
\begin{eqnarray*}
\pi(\bm\theta|\bar{\bm{x}})\!\!\!&&\propto
\exp\Big\{-\frac{A}{2}\big(\bm{\theta}-\bm{B}/A\big)^{\D T}
\big(\bm{\theta}-\bm{B}/A\big) -\frac{1}{2}\big[C-\bm{B}^{\D
T}\bm{B}/A\big]\Big\}\\
&&\propto \exp\Big\{-\frac{1}{2\eta_n^2}\
\big(\bm{\theta}-{\bm{\mu}}_n(\bar{\bm{x}})\big)^{\D T}
\big(\bm{\theta}-{\bm{\mu}}_n(\bar{\bm{x}})\big)\Big\}.\quad(3.6.18)
\end{eqnarray*}\pause

\item 这是多元正态分布~$N_p({\bm{\mu}}_n(\bar{\bm{x}}),\eta_n^2~\!{\bm{I}}_p)$
的核, 添加正则化常数因子，得到~$\bm\theta$ 的后验密度
$$
\pi(\bm\theta|\bar{\bm{x}})=\big(2\pi\eta_n^2\big)^{-\frac{p}{2}}
\exp\Big\{-\frac{1}{2\eta_n^2}\big(\bm{\theta}-{\bm{\mu}}_n(\bar{\bm{x}})\big)^{\D
T} \big(\bm{\theta}-{\bm{\mu}}_n(\bar{\bm{x}})\big)\Big\},~(3.6.19)
$$
其中~$\bm\theta\in\mathbb{R}_p,~{\bm{\mu}}_n(\bar{\bm{x}})$ 和
~$\eta_n^2$ 由式~(3.6.17) 给出.
\end{itemize}
}

\frame{\frametitle{$\sigma^2$ 已知，均值向量~$\bm\theta$ 的后验分布}
\begin{itemize}


\item 由式~(3.6.15) 和式~(3.6.18) 可知, 式
~(3.6.18) 第一行右边是~$\bm\theta$ 和~$\widebar{\bm{X}}$
的联合密度的核，故 将式~(3.6.18) 第一行的右边 对~$\bm\theta$
积分，得到~$\widebar{\bm{X}}$ 的边缘密度
$$m(\bar{\bm{x}})\propto\exp\Big\{-\frac{1}{2(\sigma^2_n+\tau^2)}
(\bar{\bm{x}}-\bm\mu)^{\D T}(\bar{\bm{x}}-\bm\mu) \Big\},$$\pause

\item
这是多元正态分布~$N_p\big(\bm\mu,(\sigma^2_n+\tau^2)~\!\bm{I}_p\big)$
的核，添加正则化常数得~$\widebar{\bm{X}}$ 的边缘密度
\begin{eqnarray*}
&&m(\bar{\bm{x}})=\big[2\pi(\sigma^2_n+\tau^2)\big]^{-\frac{p}{2}}
\exp\Big\{-\frac{1}{2(\sigma^2_n+\tau^2)} (\bar{\bm{x}}-\bm\mu)^{\D
T}(\bar{\bm{x}}-\bm\mu) \Big\},\\
&&\hspace{8.6cm}(3.6.20)
\end{eqnarray*}
其中~$\bar{\bm{x}}\in\mathbb{R}_p~\!.$
\end{itemize}
}

\frame{\frametitle{2. 当~$\bm\theta$ 已知，$\sigma^2$ 的后验分布}
\begin{itemize}

\item $\sigma^2$ 的似然函数由式~(3.6.6) 给出，即%\vspace{-2mm}
$$
l(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)
\propto\big(\sigma^2\big)^{-\frac{np}{2}}\exp\Big\{-\frac{A_n}{2\sigma^2}\Big\},
$$
其中~$A_n=\sum\limits_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D T}
(\bm{x}_i-\bm\theta).$\medskip\pause

\item 设~$\sigma^2$ 的共轭先验为逆
伽马分布~$\Gamma^{-1}\big(r/2,\lambda/2),$ 其密度函数为
\begin{eqnarray*}
\pi(\sigma^2)\!\!\!&&=\frac{(\lambda/2)^{r/2}}{\Gamma(r/2)}
\big(\sigma^2\big)^{-(\frac{r}{2}+1)}\exp\Big\{-\frac{\lambda}{2\sigma^2}
\Big\},\\
&&\propto\big(\sigma^2\big)^{-(\frac{r}{2}+1)}\exp\Big\{-\frac{\lambda}{2\sigma^2}\Big\}\quad(\sigma^2>0).
\quad(3.6.21)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{ 当~$\bm\theta$ 已知，$\sigma^2$ 的后验分布}
\begin{itemize}

\item 由~(3.6.6) 和~(3.6.21) 可知~$\sigma^2$ 的后验密度
\begin{eqnarray*}
\pi\big(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)&&\!\!\!\propto
l(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)
\pi\big(\sigma^2\big)\\
&&\propto(\sigma^2)^{-(\frac{np+r}{2}+1)}\exp\Big\{-\frac{A_n+\lambda}{2\sigma^2}
\Big\},
\end{eqnarray*}\pause

\item  添加正则化常数得到
\begin{eqnarray*}
&&\!\!\!\pi(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)\!=\!\frac{[(A_n+\lambda)/2]^{\frac{np+r}{2}}}
{\Gamma\big((np+r)/2\big)}
\big(\sigma^2\big)^{-(\frac{np+r}{2}+1)}\!\!\!\exp\Big\{\!\!-\!\frac{A_n+\lambda}{2\sigma^2}
\Big\},\\
&& \hspace{8.6cm}(3.6.22)
\end{eqnarray*}
此处~$\sigma^2>0.$ 即~$\sigma^2$
的后验密度为逆伽马分布~$\Gamma^{-1}\big((np+r)/2,(A_n+\lambda)/2\big).$
\end{itemize}
}

\frame{\frametitle{3. 当~$\bm\theta$ 和~$\sigma^2$
皆未知时的后验分布}

\begin{itemize}
\item 令似然函数~$l(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)$ 由式~(3.6.1) 给出.
设~$\bm\theta$ 和~$\sigma^2$
的先验为正态-逆伽马分布，\!即~\!$\bm\theta|\sigma^2\sim
N_p\big(\bm\mu,(\sigma^2/k)\bm{I}\big),$\! 而~\!$\sigma^2\!\sim\!
\Gamma^{-1}(r/2,\lambda/2).$
故$(\bm\theta,\sigma^2)$的联合先验密度\vspace{-1mm}
\begin{eqnarray*}
&&\pi(\bm\theta,\sigma^2)=\pi_1(\bm\theta|\sigma^2)\pi_2\big(\sigma^2\big)\\
&&\propto\!\!
(\sigma^2)^{-(\frac{p+r}{2}+1)}\!\exp\Big\{\!-\!\frac{1}{2\sigma^2}
\big[k(\bm\theta-\bm\mu)^{\D T}(\bm\theta-\bm\mu)\!+\!\lambda
\big]\Big\},~\!(3.6.23)
\end{eqnarray*}
\\\vspace{-1mm}
其中超参数~$\bm\mu,~k,~r$ 和~$\lambda$ 皆已知.\medskip\pause

\item 由式~(3.6.1) 和式~(3.6.23) 可知~$(\bm\theta,\sigma^2)$ 的联合后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\hspace{-3mm}\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)\!\propto\!
l(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n)\pi(\bm\theta,\sigma^2)
\!\propto\!\big(\sigma^2\big)^{\!-(\frac{np+p+r}{2}+1)}\\
&&\hspace{-3mm}\times\exp\Big\{-\frac{1}{2\sigma^2}\big[\bar{A}_n+n(\bm\theta-\bar{\bm{x}})^{\D
T}(\bm\theta-\bar{\bm{x}})
+k(\bm\theta-\bm\mu)^{\D T}(\bm\theta-\bm\mu)+\lambda\big] \Big\}\\
&&\hspace{-3mm}=\big(\sigma^2\big)^{-(\frac{np+p+r}{2}+1)}
\exp\Big\{-\frac{1}{2\sigma^2}\big[(\bar{A}_n+\lambda)+H\big]\Big\},\qquad(3.6.24)
\end{eqnarray*}
\\\vspace{-1mm}
其中~$\bar{A}_n=\sum\limits_{i=1}^n(\bm{x}_i-\bar{\bm{x}})^{\D T}
(\bm{x}_i-\bar{\bm{x}}).$
\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}

\item 在式~(3.6.24) 中\vspace{-1mm}
\begin{eqnarray*}
H\!\!\!&&=n(\bm\theta-\bar{\bm{x}})^{\D T}(\bm\theta-\bar{\bm{x}})
+k(\bm\theta-\bm\mu)^{\D T}(\bm\theta-\bm\mu)\\
&&=\big[(n+k)\bm{\theta}^{\D T}\bm{\theta}-2\bm{\theta}^{\D
T}(n\bar{\bm{x}}+k\bm\mu)\big]
+n\bar{\bm{x}}^{\D T}\bar{\bm{x}}+k\bm{\mu}^{\D T}\bm{\mu}\\
&&=(n+k)(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}}))^{\D
T}(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}}))
+\frac{nk}{n+k}(\bar{\bm{x}}-\bm\mu)^{\D
T}(\bar{\bm{x}}-\bm\mu).\\
&& \hspace{8cm} (3.6.25)
\end{eqnarray*}\\\vspace{-2mm}\pause

\item 此处\vspace{-2mm}
$$
\widetilde{\bm\mu}(\bar{\bm{x}})=\frac{n}{n+k}\bar{\bm{x}}
+\frac{k}{n+k}\bm\mu.\hspace{3.5cm} ~~(3.6.26)
$$\\\vspace{-2mm}\pause

\item 记~$\nu_n=np+r,~k_n=n+k$ 和\vspace{-1mm}
$$
 \beta_n=\bar{A}_n+\lambda+\frac{nk}{n+k}(\bar{\bm{x}}-\bm\mu)^{\D T}(\bar{\bm{x}}-\bm\mu).\qquad\qquad~~(3.6.27)
$$
\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}

\vspace{-2mm}

\begin{itemize}

\item 将式~(3.6.25) 代入式 (3.6.24) 得\vspace{-2mm}
\begin{eqnarray*}
&&\hspace{-3mm}\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)\\
&&\propto\!
\big(\sigma^2\big)^{\!-\!(\frac{\nu_n+p}{2}+1)}\!\exp\Big\{-\frac{1}{2\sigma^2}
\big[k_n\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})\big)^{\D
T}\!\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})\big)
+\beta_n\big]\Big\}.\\
&&\hspace{8.5cm}(3.6.28)
\end{eqnarray*}\\\vspace{-2mm}\pause

\item 添加正则化常数得到\vspace{-2mm}
\begin{eqnarray*}
&&\hspace{-3mm}\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)\!=\!
\Big(\frac{k_n}{2\pi\sigma^2}\Big)^{\frac{p}{2}}\!\!\!\exp\Big\{\!\!-\!\frac{k_n}{2\sigma^2}
\big[\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})\big)^{\D T}\!
\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})\big]\Big\}\nonumber\\
&&~~~~~\times\frac{\big(\beta_n/2\big)^{\nu_n/2}} {\Gamma(\nu_n/2)}
\big(\sigma^2\big)^{-(\frac{\nu_n}{2}+1)}\exp\Big\{-\frac{\beta_n}{2\sigma^2}\Big\}\nonumber\\
&&~~=\pi_1\big(\bm\theta|\sigma^2,\bm{x}_1,\cdots,\bm{x}_n\big)\cdot
\pi_2\big(\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big).\hspace{1.1cm}(3.6.29)
\end{eqnarray*}\\\vspace{-1mm}\pause

\item 由式~(3.6.29) 可见,
~$(\bm\theta,\sigma^2)$ 的联合后验密度是两部分的乘积：前一部分是给定
~$\sigma^2$ 和~$\bm{x}_1,\cdots,\bm{x}_n$ 时， ~$\bm\theta$
的条件密度，$p$
元正态分布~$N_p\big(\widetilde{\bm\mu}(\bar{\bm{x}}),(\sigma^2/k_n)~\!\bm{I}_p\big);$
另一部分是给定~$\bm{x}_1,\cdots,\bm{x}_n$ 时，$\sigma^2$ 的条件密度
$\Gamma^{-1}\big(\nu_n/2,\beta_n/2\big).$
\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}

\vspace{-2mm}

\begin{itemize}

\item 将式~(3.6.29) 对~$\theta$ 积分，得到~$\sigma^2$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
\pi_2(\sigma^2\!\!\!&&|\bm{x}_1,\cdots,\bm{x}_n)=\int_{-\infty}^{\infty}
\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)d\bm\theta\\
&&=\frac{\big(\beta_n/2\big)^{\nu_n/2}} {\Gamma\big(\nu_n/2\big)}
\big(\sigma^2\big)^{-(\frac{\nu_n}{2}+1)}\exp\Big\{-\frac{\beta_n}{2\sigma^2}\Big\}.\qquad(3.6.30)
\end{eqnarray*}
\\\vspace{-2mm}\pause
其中~\!$\sigma^2>0.$\!
这是逆伽马分布~\!$\Gamma^{-1}\big(\nu_n/2,\beta_n/2\big)$\!
的密度函数.\pause

\item 将式~(3.6.28) 对~$\sigma^2$ 积分，得到~$\theta$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
\pi_1(\bm\theta|\bm{x}_1,\cdots,\bm{x}_n)\!\!\!&&=\int_{0}^{\infty}
\pi\big(\bm\theta,\sigma^2|\bm{x}_1,\cdots,\bm{x}_n\big)d\sigma^2\\
&&\propto\big[\beta_n+k_n(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})^{\D
T}
(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}})\big]^{-\frac{\nu_n+p}{2}}\\
&&\propto\Big[1+\frac{1}{\nu_n}\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}}\big)^{\D
T}
\bm\Delta_n^{-1}\big(\bm\theta-\widetilde{\bm\mu}(\bar{\bm{x}}\big)\Big]^{-\frac{\nu_n+p}{2}},
\end{eqnarray*}
此处~$\bm\Delta_n=\big[\beta_n/(\nu_nk_n)\big]\bm{I}_p.$
\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}

\vspace{-2mm}

\begin{itemize}

\item 上式是~$p$ 元~$t$ 分布~$\mathscr{T}_p\big(\nu_n,\widetilde{\bm\mu}(\bar{\bm{x}}),\bm\Delta_n\big)$ 的核.
添加正则化常数因子, 得到~$\bm\theta$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\hspace{-3mm}\pi_1(\bm\theta|\bm{x}_1,\cdots,\bm{x}_n)\nonumber\\
&&\hspace{-3mm}=\!\frac{\Gamma(\frac{\nu_n+p}{2})|\bm\Delta_n|^{-\frac{1}{2}}}{\Gamma\big(\frac{\nu_n}{2}\big)[\pi
\nu_n]^{\frac{p}{2}}}
\bigg[1\!+\!\frac{1}{\nu_n}(\bm\theta\!-\!\widetilde{\bm\mu}(\bar{\bm{x}})^{\D
T}
\bm\Delta_n^{-1}(\bm\theta\!-\!\widetilde{\bm\mu}(\bar{\bm{x}})\bigg]^{-\frac{\nu_n+p}{2}}\!\!\!\!\!\!\!\!,~(3.6.31)
\end{eqnarray*}
其中$\bm\theta\in\mathbb{R}_p.$\medskip\pause

\item 因此我们证明了下列的定理:\medskip\pause

\item {\bf 定理 3.6.2}
~设样本分布为由式~(3.6.1) 给出的多元正态分布, 对有关参数的后验分布,
有下列结论：\smallskip\pause

(1) ~若~$\sigma^2$ 已知，均值向量~$\bm\theta$ 的共轭先验由
式~(3.6.14) 给出，则~$\bm\theta$ 后验分布为由式~(3.6.19) 给出的~$p$
元正态分布~$N_p({\bm{\mu}}_n(\bar{\bm{x}}),\eta_n^2~\!\bm{I}_p)$.
$\widebar{\bm{X}}$ 的边缘分布由式~(3.6.20) 给出的~$p$
元正态分布~$N_p\big(\bm\mu,(\sigma^2_n+\tau^2)\bm{I}\big)$.

\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}

\vspace{-2mm}

\begin{itemize}

\item (2) ~若~$\bm\theta$ 已知，参数~$\sigma^2$ 的共轭先验由
式(3.6.21) 给出，则~$\sigma^2$ 后验分布为由式(3.6.22)
给出的逆伽马分布~$\Gamma^{-1}\big((np+r)/2,(A_n+\lambda)/2\big),$
此处~$A_n=\sum\limits_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D T}
(\bm{x}_i-\bm\theta).$\medskip\pause

\item (3) ~若~$(\theta,\sigma^2)$ 的联合先验密度为由式~(3.6.23)
给出的正态-逆伽马分布，则~$(\bm\theta,\sigma^2)$
的联合后验分布由式~(3.6.29) 给出； $\sigma^2$
的边缘后验分布为由式(3.6.30) 给出的
逆伽马分布~$\Gamma^{-1}\big(\nu_n/2,\beta_n/2\big)$； $\bm\theta$
的边缘后验分布为由式(3.6.31) 给出的~$p$ 元~$t$
分布~$\mathscr{T}_p\big(\nu_n,\widetilde{\bm\mu}(\bar{\bm{x}}),\bm\Delta_n\big),$
其中~$\widetilde{\bm\mu}(\bar{\bm{x}})$ 和 ~$\beta_n$
分别由式~(3.6.26) 和式~(3.6.27) 给出,
而~$\nu_n=np+r,~k_n=k+n,~\bm\Delta_n=\big[\beta_n/(\nu_nk_n)\big]\bm{I}_p.$\smallskip\pause

%\item

\end{itemize}
}

\frame{\frametitle{当~$\bm\theta$ 和~$\sigma^2$ 皆未知时的后验分布}
\begin{itemize}

\item {\bf 注 3.6.1} ~分别比较定理~3.6.1、3.6.2 和定理~3.2.1、3.2.2,
可以发现 他们相应的结论很相似,
即多元正态模型中参数后验分布的结果与一元正态模型中参数后验分布的结果是相通的.
只要将定理~3.6.1、3.6.2 中的维数~$p$ 取为~1，即可得到
定理~3.2.1、3.2.2 中相应的结果. 因此，定理~3.2.1、3.2.2
的结果是定理~3.6.1、3.6.2 中结果在~$p=1$ 情形的特例.

\end{itemize}
}

\subsection{3.6.4 一般情形下的结果}
\frame{\frametitle{引言}

\vspace{-2mm}

\begin{itemize}

\item 设~$\mathbf{X}_1,\cdots,\mathbf{X}_n$
为从 ~$p$ 元正态总体~$N_p(\bm{\theta},\bm\Sigma)$
中抽取的i.i.d.样本，其中~$\bm\Sigma>0$ 为已知的正定阵.
则给定~$\bm{\theta}$ 时样本的联合概率密度函数为\vspace{-2mm}
\begin{eqnarray*}
&&\hspace{-3mm}f(\bm{x}_1,\cdots,\bm{x}_n|\,\bm{\theta})\\
&&\hspace{-3mm}=(2\pi)^{-\frac{np}{2}}|\bm\Sigma|^{-\frac{n}{2}}
\exp\bigg\{{-\frac{1}{2}\sum_{i=1}^n(\bm{x}_i-\bm{\theta})^{\D
T}\bm\Sigma^{-1}
(\bm{x}_i-\bm{\theta})}\bigg\}\\
&&\hspace{-3mm}=\!(2\pi)^{-\frac{np}{2}}|\bm\Sigma|^{-\frac{n}{2}}
\exp\Big\{\!-\!\frac{1}{2}\Big[A_n^*+n(\bar{\bm{x}}\!-\!\bm\theta)^{\D
T}\bm\Sigma^{-1} (\bar{\bm{x}}\!-\!\bm\theta)\Big]\Big\},~(3.6.32)
\end{eqnarray*}
\\\vspace{-2mm}
其中~$A_n^*=\sum\limits_{i=1}^n(\bm{x}_i-\bar{\bm{x}})^{\D
T}\bm\Sigma^{-1}
(\bm{x}_i-\bar{\bm{x}}),~\bar{\bm{x}}=\sum\limits_{i=1}^n
\bm{x}_i/n.$ 上述概率密度也可视为~$\bm\theta$ 的似然函数, 记为
$l(\bm\theta|\bm{x}_1,\cdots,\bm{x}_n).$\medskip\pause

\item 本小节讨论当~$\bm\Sigma$ 已知时,
$\bm{\theta}$ 的先验分布分布为无信息先验和共轭先验时~$\bm{\theta}$
的后验分布.
\end{itemize}
}

\frame{\frametitle{1. 当~$\bm\Sigma$
已知时，无信息先验下~$\bm\theta$ 的后验分布}

\vspace{-2mm}

\begin{itemize}

\item 当~$\bm\Sigma$ 已知时,
由式(3.6.32)可知，$\bm\theta$ 的似然函数为\vspace{-2mm}
\begin{eqnarray*}
l(\bm\theta|\bar{\bm{x}})\!\!\!&&=(2\pi)^{-\frac{np}{2}}|\bm\Sigma|^{-\frac{n}{2}}
\exp\Big\{-\frac{1}{2}\Big[A_n^*+n(\bar{\bm{x}}-\bm\theta)^{\D
T}\bm\Sigma^{-1}
(\bar{\bm{x}}-\bm\theta)\Big]\Big\},\nonumber\\
&&\propto\exp\bigg\{-\frac{n}{2}(\bar{\bm{x}}-\bm\theta)^{\D
T}\bm\Sigma^{-1}
(\bar{\bm{x}}-\bm\theta)\bigg\},\hspace{2cm}(3.6.33)
\end{eqnarray*}
\\\vspace{-2mm}
此处~$\widebar{\bm{X}}$ 为~$\bm\theta$ 的充分统计量,
且~$\widebar{\bm{X}}\sim
N_p\big(\bm{\theta},\bm\Sigma/n\big).$\medskip\pause

\item 设~$\bm\theta$ 的无信息先验为~$\pi(\bm\theta)\equiv
1,$ 故知~$\bm\theta$ 的后验密度\vspace{-2mm}
$$\pi(\bm\theta|\bar{\bm{x}})\propto l(\bm\theta|\bar{\bm{x}})\pi(\bm\theta)
\propto \exp\Big\{-\frac{n}{2}(\bm\theta-\bar{\bm{x}})^{\D
T}\bm\Sigma^{-1} (\bm\theta-\bar{\bm{x}})\Big\},$$
\\\vspace{-2mm}\pause

\item 这是多元正态分布~$N_p(\bar{\bm{x}},\bm\Sigma/n)$ 的核，
添加正则化常数因子，得到~$\bm\theta$ 的后验密度\vspace{-2mm}
$$
\pi(\bm\theta|\bar{\bm{x}})=\Big(\frac{n}{2\pi}\Big)^{\frac{p}{2}}\big|\bm\Sigma\big|^{-1/2}
\exp\Big\{-\frac{n}{2}(\bm\theta-\bar{\bm{x}})^{\D T}\bm\Sigma^{-1}
(\bm\theta-\bar{\bm{x}})\Big\},~(3.6.34)
$$
\\\vspace{-2mm}
此处~$\bm\theta\in\mathbb{R}_p.$
\end{itemize}
}

\frame{\frametitle{2. 当~$\bm\Sigma$ 已知时，共轭先验下~$\bm\theta$
的后验分布}
\begin{itemize}

\item 当~\!$\bm\Sigma$\! 已知时，\!$\bm\theta$\! 的似然函数由式~\!(3.6.33)\!
给出,设~\!$\bm\theta$\! 的共轭先验分布为~$\bm\theta\sim
N(\bm\mu,\bm{A}),$ 超参数~$\bm\mu,\bm{A}$
已知，其密度函数为\vspace{-2mm}
$$
\pi(\bm\theta)=\big(2\pi\big)^{-\frac{p}{2}}\big|\bm{A}\big|^{-1/2}
\exp\Big\{-\frac{1}{2}(\bm\theta-\bm\mu)^{\D T} \bm{A}^{-1}
(\bm\theta-\bm\mu)\Big\}.~~~(3.6.35)
$$\\\vspace{-2mm}\pause

 \item 可证明~$\bm\theta$ 的后验密度（见本章习题~24$^*$）：\vspace{-2mm}
$$
\pi(\bm\theta|\bar{\bm{x}})\!=\!\big(2\pi\big)^{-\frac{p}{2}}\big|\bm\Sigma_*\big|^{-1/2}
\!\!\!\exp\Big\{-\frac{1}{2}(\bm\theta-\widetilde{\bm\theta})^{\D
T}\bm\Sigma_*^{-1} (\bm\theta-\widetilde{\bm\theta})\Big\},~(3.6.36)
$$\\\vspace{-2mm}
此处~$\bm\theta\in\mathbb{R}_p.$ 上式表示~$\bm\theta$
的后验密度为~$N\big(\widetilde{\bm\theta},\bm\Sigma_*).$
\medskip\pause

\item 在式~(3.6.36) 中\vspace{-2mm}
\begin{eqnarray*}
\widetilde{\bm\theta}\!\!\!&&=\big(\bm\Sigma_n^{-1}+\bm{A}^{-1}\big)^{-1}\big(\bm\Sigma_n^{-1}\bar{\bm{x}}
+\bm{A}^{-1}\bm\mu\big),~~\bm\Sigma_*=\big(\bm\Sigma_n^{-1}+\bm{A}^{-1}\big)^{-1}.\\
&&~\hspace{8.5cm}(3.6.37)
\end{eqnarray*}
\\\vspace{-2mm}
此处~$\bm\Sigma_n=\bm\Sigma/n.$
\end{itemize}
}

\frame{\frametitle{主要结论}
\begin{itemize}

\item {\bf 定理 3.6.3} ~设样本分布为由式~(3.6.32) 给出的多元正态分布,其中~$\bm\Sigma>0$ 为已知的正定阵.
对参数向量~$\bm\theta$ 的后验分布，有下列结论：\smallskip\pause

(1) ~当~$\bm\theta$ 的先验为无信息先验~$\pi(\bm\theta)\equiv 1$ 时，
则~$\bm\theta$ 后验密度为由式~(3.6.34) 给出的~$p$
元正态分布~$N\big(\bar{\bm{x}},\bm\Sigma/n\big).$\smallskip\pause

(2) ~若~$\bm\theta$ 的先验为由式~(3.6.35) 给出的共轭先验时，
则~$\bm\theta$ 的后验分布为由式~(3.6.36) 给出的~$p$
元正态分布~$N\big(\widetilde{\bm\theta},\bm\Sigma_*\big),$
其中~$\widetilde{\bm\theta}$ 和 ~$\bm\Sigma_*$ 由式~(3.6.37) 给出.
\medskip\pause

\item {\bf 注~3.6.2} ~由定理~3.6.3 可见：定理~3.6.1(1)
是定理~3.6.3(1) 中当~$\bm\Sigma=\sigma^2\bm{I}$ 时的特例;
定理~3.6.2(1) 的结果是定理~3.6.3(2)
中当样本协方差阵~$\bm\Sigma=\sigma^2\bm{I}$
且先验协方差阵~$\bm{A}=\tau^2\bm{I}$ 时的特例.
\end{itemize}
}



\section{3.7 线性回归模型中参数的后验分布$^*$}
\subsection{3.7.1 引言}

\frame{\frametitle{引言}
\begin{itemize}

\item 设有如下正态线性回归模型
\qquad\qquad$$ \bm{y}_{n\times1}=\bm{X}_{n\times
p}~{\bm{\beta}}_{p\times1}+\mathbf{e}_{n\times1}, \qquad
\mathbf{e}\sim N_n(\bm{0},\sigma^2\bm{I}),\qquad(3.7.1)
$$
其中~$\bm{\beta}_{p\times1}$ 是回归参数向量，$\sigma^2$
是误差方差，假定~$R(\bm{X})=p,$ 即设计阵~$\bm{X}$
列满秩.\medskip\pause

\item
注意到~$||\bm{y}-\bm{X}\bm\beta||^2\!=\!(n-p)\hat{\sigma}^2\!+||\bm{X}\hat{\bm\beta}-\bm{X}\bm\beta||^2,$
可知式~(3.7.1) 中~$Y$ 的条件密度为\pause
\begin{eqnarray*}
 && p(\bm{y}|\bm\beta,\sigma^2)=(2\pi\sigma^2)^{-\frac{n}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}(\bm{y}-\bm{X}\bm\beta)^{\D
T}(\bm{y}-\bm{X}\bm\beta)\Big\}
\nonumber \\
&&=(2\pi\sigma^2)^{-\frac{n}{2}}\exp\Big\{\!-\!\frac{1}{2\sigma^2}\big[(n-p)\hat{\sigma}^2
\!+\!(\hat{\bm\beta}\!-\!\bm\beta)^{\D T} \bm{X}^{\D T}
\bm{X}(\hat{\bm\beta}\!-\!\bm\beta)\big]\Big\},\\
&&\hspace{8.4cm}(3.7.2)
\end{eqnarray*}

\end{itemize}
}

\frame{\frametitle{引言}
\begin{itemize}

\item 此处
$$\qquad
\hat{\bm\beta}=(\bm{X}^{\D T}\bm{X})^{-1}\bm{X}^{\D T}\bm{y}, \quad
\hat{\sigma}^2=||\bm{y}-\bm{X}\hat{\bm\beta}||^2\big/(n-p)~\qquad(3.7.3)
$$
为~$\bm\beta$ 和~$\sigma^2$ 最小二乘（LS）估计, 而~$||a||^2=a^{\D
T}a.$\medskip\pause

\item 本节讨论下列几个情形中参数的后验分布问题：\medskip\pause

(1)~当~$\sigma^2$ 已知, $\bm\beta$ 具有无信息先验和共轭先验分布时,
讨论~$\bm\beta$ 的后验分布.\smallskip\pause

(2)~当~$\bm\beta$ 和~$\sigma^2$
的具有联合无信息先验时，分别讨论~$\bm\beta$ 和~$\sigma^2$
的后验分布.\smallskip\pause

(3)~当~$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马（共轭）先验时，讨论~$\bm\beta$ 和~$\sigma^2$
的后验分布.
\end{itemize}
}


\subsection{3.7.2 当~$\sigma^2$ 已知时回归系数
的后验分布}

\frame{\frametitle{1. 当~$\sigma^2$ 已知，$\bm\beta$
具有无信息先验时的后验分布}
\begin{itemize}

\item 设~$\bm\beta$ 具有无信息先验~$\pi(\bm\beta)\equiv {1},$
故由式~(3.7.2) 可知~$\bm\beta$ 的后验密度\vspace{-2mm}
$$\pi(\bm\beta|\bm{y})\propto p(\bm{y}|\bm\beta,\sigma^2)\pi(\bm\beta)
\propto\exp\Big\{-\frac{1}{2\sigma^2}\big[(\bm\beta-\hat{\bm\beta})^{\D
T}\bm{X}^{\D T}\bm{X}(\hat{\bm\beta}-\bm\beta)\big]\Big\},
$$\\ \vspace{-2mm}\pause

\item 这是多元正态分布~$N_p\big(\hat{\bm\beta},\sigma^2(\bm{X}'\bm{X})^{-1}\big)$ 密度函数的核.
添加正则化常数因子得到\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\bm\beta|\bm{y})\!=\!\big(2\pi\sigma^2\big)^{-\frac{p}{2}}\big|\bm{X}'\bm{X}\big|^{\frac{1}{2}}
\exp\Big\{\!-\!\frac{1}{2\sigma^2}\big[(\bm\beta\!-\!\hat{\bm\beta})^{\D
T}
\bm{X}^{\D T} \bm{X}(\hat{\bm\beta}\!-\!\bm\beta)\big]\Big\},\\
&&\hspace {9cm}(3.7.4)
\end{eqnarray*}
其中~$\bm{\beta}\in\mathbb{R}^p,$ 即~$\bm\beta$
的后验分布为多元正态分布~$N_p\big(\hat{\bm\beta},\sigma^2(\bm{X}'\bm{X})^{-1}\big).$

\end{itemize}
}

\frame{\frametitle{2.~当~$\sigma^2$ 已知时，$\bm\beta$
具有共轭先验时的后验分布}
\begin{itemize}

\item 设~$\bm\beta$ 具有正态先验~$N_p\big(\bm\mu,(\sigma^2/k)\bm{I}\big),$
即密度函数为\vspace{-2mm}
$$
\hspace{0.5cm}\pi(\bm\beta)=\big(2\pi\sigma^2/k\big)^{-\frac{p}{2}}\exp\Big\{-\frac{k}{2\sigma^2}(\bm\beta-\bm\mu)^{\D
T} (\bm\beta-\bm\mu)\Big\}.\hspace{0.5cm}(3.7.5)
$$
其中~$\bm\mu$ 和~$k>0$ 已知.\medskip\pause

\item 由式~(3.7.2) 和式~(3.7.5) 可知~$\bm\beta$ 的后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\bm\beta|\bm{y})\propto
p(\bm{y}|\bm\beta,\sigma^2)\pi(\bm\beta)\nonumber\\
&&\propto\exp\Big\{-\frac{1}{2\sigma^2}
\big[(\bm\beta-\hat{\bm\beta})^{\D T} \bm{X}^{\D T}
\bm{X}(\bm\beta-\hat{\bm\beta})+k(\bm\beta-\bm\mu)^{\D T}(\bm\beta-\bm\mu)\big]\Big\}\nonumber\\
&&=\!\!\exp\Big\{\!\!-\!\!\frac{1}{2\sigma^2}\big[(\bm\beta\!-\!\widetilde{\bm\beta})^{\D
T}
\widetilde{\bm\Sigma}^{-1}(\bm\beta\!-\!\widetilde{\bm\beta})\!\!+\!\!\hat{\bm\beta}^{\D
T} \bm{X}^{\tau}\bm{X}\hat{\bm\beta}\!\!+\!\!k\bm\mu^{\tau}\bm\mu
\!+\!\widetilde{\bm\beta}^{\D
T}\widetilde{\bm\Sigma}^{-1}\widetilde{\bm\beta}
~\!\big]\Big\}\nonumber\\
&&\propto\exp\Big\{-\frac{1}{2\sigma^2}(\bm\beta-\widetilde{\bm\beta})^{\D
T}
\widetilde{\bm\Sigma}^{-1}(\bm\beta-\widetilde{\bm\beta})\Big\},\hspace{2.5cm}(3.7.6)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{当~$\sigma^2$ 已知时，$\bm\beta$
具有共轭先验时的后验分布}
\begin{itemize}

\item 此处\vspace{-2mm}
\begin{eqnarray*}
\widetilde{\bm\beta}\!\!&&=\big(\bm{X}^{\tau}\bm{X}+k
\bm{I}\big)^{-1}\big(\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu\big)=\widetilde{\bm\Sigma}
\big(\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu\big)\nonumber\\
\widetilde{\bm\Sigma}\!\!&&=\big(\bm{X}^{\tau}\bm{X}+k
\bm{I}\big)^{-1}.\hspace{4.5cm}(3.7.7)
\end{eqnarray*}\pause\vspace{-5mm}

\item 易见式~(3.7.6) 的右边是~$N\big(\widetilde{\bm\beta},\sigma^2\widetilde{\bm\Sigma}\big)$ 密度函数的核，
添加正则化常数，得到~$\bm\beta$ 的后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\bm\beta|\bm{y})\!=\!\big(2\pi\sigma^2\big)^{-\frac{p}{2}}\big|\widetilde{\bm\Sigma}\big|^{-\frac{1}{2}}
\!\exp\Big\{\!-\frac{1}{2\sigma^2}\big(\bm\beta-\widetilde{\bm\beta}\big)^{\D
T}
\widetilde{\bm\Sigma}^{-1}\big(\bm\beta-\widetilde{\bm\beta}\big)\Big\},\\
&&\hspace{8cm}~(3.7.8)
\end{eqnarray*}
此处~$\bm{\beta}\in \mathbb{R}^p,~\big|\widetilde{\bm\Sigma}\big|$
表示~$\widetilde{\bm\Sigma}$ 的行列式.

\end{itemize}
}

\frame{\frametitle{回归系数后验分布的主要结论}

{\bf 定理 3.7.1} 对由式~(3.7.1) 给出的正态线性回归模型,
其中~$\sigma^2$
已知，其有关参数的后验分布，有下列结论：\medskip\pause

%\begin{itemize}
(1) 若~$\bm\beta$ 的先验分布为无信息先验~$\pi(\bm\beta)\equiv { 1},$
则回归系数~$\bm\beta$ 的后验分布为由式~(3.7.4) 给出的正态分布
~$N_p\big(\hat{\bm\beta},\sigma^2(\bm{X}'\bm{X})^{-1}\big),$
其中~$\hat{\bm\beta}$ 由式~(3.7.3)给出.\medskip\pause

(2) 若~$\bm\beta$ 的先验分布为由式~(3.7.5) 给出的共轭先验,
则~$\bm\beta$ 的后验分布为由式~(3.7.8)
给出的多元正态分布~$N_p\big(\widetilde{\bm\beta},\sigma^2\widetilde{\bm\Sigma}\big),$
其中~$\widetilde{\bm\beta}$\! 和~$\widetilde{\bm\Sigma}$
由式~(3.7.7) 给出.

%\end{itemize}
}

\subsection{3.7.3 当回归系数和误差方差同时具有无信息先验时的后验分布}

\frame{\frametitle{当~$\bm\beta$ 和~$\sigma^2$
同时具有无信息先验时的后验分布}
\begin{itemize}

\item 由于~$\bm\beta$ 和~$\sigma^2$ 分别为位置参数和刻度参数，故~$\bm\beta$ 的无信息先验密度为
~$\pi_1(\bm\beta)\equiv 1,~\sigma^2$
无信息先验为~$\pi_2\big(\sigma^2\big)=1/\sigma^2.$ 当~$\bm\beta$
和~$\sigma^2$ 相互独立时，其联合先验密度为\vspace{-2mm}
$$
\hspace{1.5cm}\pi\big(\bm\beta,\sigma^2\big)=\pi_1(\bm\beta)\pi_2\big(\sigma^2\big)\propto
\frac{1}{\sigma^2}.\hspace{1.5cm}(3.7.9)
$$\pause\vspace{-3mm}

\item由式~(3.7.2) 和式~(3.7.9) 可知~$\big(\bm\beta,\sigma^2\big)$ 的联合后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\vspace{-2mm}\pi\big(\bm\beta,\sigma^2|\bm{y}\big)\propto
p(\bm{y}|\bm\beta,\sigma^2)\pi\big(\bm\beta,\sigma^2\big)\nonumber\\
&&\vspace{-2mm}\propto
(\sigma^2)^{-(\frac{n}{2}+1)}\exp\Big\{-\frac{1}{2\sigma^2}\Big[D_n
+(\bm\beta-\hat{\bm\beta})^{\D T} \bm{X}^{\D T}
\bm{X}(\bm\beta-\hat{\bm\beta})\Big]\Big\}.\\
&&\hspace{8cm} ~(3.7.10)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{当~$\bm\beta$ 和~$\sigma^2$
同时具有无信息先验时的后验分布}
\begin{itemize}

\item 此处~$D_n=(n-p)\hat{\sigma}^2.$ 将上式添加正则化常数，得到
\begin{eqnarray*}
\pi\big(\bm\beta,\sigma^2|\bm{y}\big)\!\!\!&&=\!(2\pi\sigma^2)^{-\frac{p}{2}}|\bm{X}^{\D
T}
\bm{X}|^{\frac{1}{2}}\exp\!\Big\{\!\!-\frac{1}{2\sigma^2}(\bm\beta-\hat{\bm\beta})^{\D
T}
\bm{X}^{\D T} \bm{X}(\bm\beta-\hat{\bm\beta})\Big\}\nonumber\\
&&~~~\times~ \frac{[D_n/2]^{\frac{n-p}{2}}}{\Gamma\big((n-p)/2\big)}
(\sigma^2)^{-(\frac{n-p}{2}+1)}\exp\Big\{-\frac{D_n}{2\sigma^2}\Big\}\nonumber\\
&&=\pi_1\big(\bm\beta|\sigma^2,\bm{y}\big)
\pi_2\big(\sigma^2|\bm{y}\big).\hspace{3cm}(3.7.11)
\end{eqnarray*}\vspace{-4mm}\pause

\item 由式(3.7.11)可见, $(\bm\beta,\sigma^2)$
的联合后验密度是两部分的乘积： 一部分是给定~$\sigma^2$ 和~$\bm{y}$
时, ~$\bm\beta$
的条件分布~$N_p\big(\hat{\bm{\beta}},\sigma^2(\bm{X}^{\D T}
\bm{X})^{-1}\big)$ 的密度函数；另一部分是给定~$\bm{y}$ 时,
~$\sigma^2$ 的条件分布 ~$\Gamma^{-1}\big((n-p)/2,D_n/2\big)$
的密度函数.

\end{itemize}
}

\frame{\frametitle{当~$\bm\beta$ 和~$\sigma^2$
同时具有无信息先验时的后验分布}
\begin{itemize}

\item 将式~(3.7.11) 对~$\bm\beta$ 积分得到\vspace{-2mm}
$$\pi_2\big(\sigma^2|\bm{y}\big)\propto
(\sigma^2)^{-(\frac{n-p}{2}+1)}\exp\Big\{-\frac{(n-p)\hat{\sigma}^2}{2\sigma^2}
\Big\}.$$\vspace{-3mm}\pause

\item 上式右边是逆伽马分布~$\Gamma^{-1}((n-p)/2,(n-p)\hat{\sigma}^2/2)$ 密度函数的核,
添加正则化常数得到~$\sigma^2$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\!\!\!\pi_2\big(\sigma^2|\bm{y}\big)=\frac{\big[(n-p)\hat{\sigma}^2/2\big]^{\frac{n-p}{2}}}
{\Gamma\big((n-p)/2\big)}(\sigma^2)^{-\left(\frac{n-p}{2}+1\right)}\exp\Big
\{-\frac{(n-p)\hat{\sigma}^2}{2\sigma^2}\Big\}, \\
&&\hspace{8.5cm}(3.7.12)
\end{eqnarray*}
其中~$\sigma^2>0.$

\end{itemize}
}

\frame{\frametitle{当~$\bm\beta$ 和~$\sigma^2$
同时具有无信息先验时的后验分布}
\begin{itemize}

\item 将式~(3.7.10) 对~$\sigma^2$ 积分得到\vspace{-2mm}
\begin{eqnarray*}
\pi_1\big(\bm\beta|\bm{y}\big)\!\!&&\propto \big[(n-p)\hat{\sigma}^2
+(\bm\beta-\hat{\bm\beta})^{\D T} \bm{X}^{\D T}
\bm{X}(\bm\beta-\hat{\bm\beta})\big]^{-\frac{n}{2}}\\
\!\!&&\propto \Big[1 +\frac{1}{n-p}(\bm\beta-\hat{\bm\beta})^{\D T}
\bm{B}^{-1} (\bm\beta-\hat{\bm\beta})\Big]^{-\frac{(n-p)+p}{2}},
\end{eqnarray*}
此处~$\bm{B}=\hat{\sigma}^2 (\bm{X}^{\D T}
\bm{X})^{-1}.$\medskip\pause

\item 上式右边是~$p$ 元~$t$ 分布~$\mathscr{T}_p\big(n-p,\hat{\bm\beta},\bm{B}\big)$ 密度函数的核.
添加正则化常数, 得到~$\bm\beta$ 的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\!\!\!\pi_1\big(\bm\beta|\bm{y})\!\!=\!\!\frac{\Gamma\Big(\frac{(n-p)+p}{2}\Big)|\bm{B}|^{-\frac{1}{2}}}
{\Gamma\big(\frac{n\!-\!p}{2}\big)[\pi(n-p)]^{\frac{p}{2}}}\Big[1
\!\!+\!\!\frac{1}{n\!-\!p}(\bm\beta\!-\!\hat{\bm\beta})^{\D T}
\bm{B}^{-1}
(\bm\beta\!-\!\hat{\bm\beta})\Big]^{-\frac{(n-p)+p}{2}},\\
&&\hspace{8.5cm}(3.7.13)
\end{eqnarray*}
其中~$\bm{\beta}\in \mathbb{R}^p.$

\end{itemize}
}

\frame{\frametitle{
$\bm\beta$和$\sigma^2$同时具有无信息先验时后验分布的理论}

{\bf 定理 ~3.7.2} ~对由式~(3.7.1) 给出的正态线性回归模型,
若~$\bm\beta$ 和~$\sigma^2$ 具有由式~(3.7.9)
给出的相互独立的无信息先验分布, 则\medskip\pause

(1)~回归系数~$\bm\beta$ 和误差方差~$\sigma^2$
的联合后验密度由式~(3.7.11) 给出.\smallskip\pause

(2)~误差方差~$\sigma^2$ 的边缘后验分布是由式~(3.7.12)
给出的逆伽马分布~$\Gamma^{-1}((n-p)/2,(n-p)\hat{\sigma}^2/2).$
\smallskip\pause

(3)~回归系数~$\bm\beta$ 的边缘后验分布是由式~(3.7.13) 给出的~$p$
元\\ \noindent $t$
分布~$\mathscr{T}\big(n-p,\hat{\bm\beta},\bm{B}\big),$
其中~$\bm{B}=\hat{\sigma}^2 \bm{X}^{\D T} \bm{X}.$ }


\subsection{3.7.4 当回归系数和误差方差具有正态-逆伽马先验时的后验分布}
\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验分布时的后验分布}
\begin{itemize}

\item 假定参数~$\bm{\beta}$ 和~$\sigma^2$ 的先验分布为正态-逆伽马分布，即
~$\bm{\beta}|\sigma^2 \sim N_p\big(\bm\mu,(\sigma^2/k)
\bm{\bm{I}}_p\big),~\sigma^2\sim
\Gamma^{-1}\big(r/2,\lambda/2\big),~(\bm{\beta},\sigma^2)$
的联合先验为\vspace{-2mm}
\begin{eqnarray*}
\pi(\bm{\beta},\sigma^2)\!\!&&=\pi_1(\bm{\beta}|\sigma^2)\pi_2(\sigma^2)
=\frac{(\lambda/2)^{\frac{r}{2}}}{(2\pi/k)^{\frac{p}{2}}\Gamma(r/2)}
(\sigma^2)^{-(\frac{p+r}{2}+1)} \nonumber \\
&&~\times\exp\Big\{-\frac{1}{2\sigma^2}\big[k(\bm\beta-\bm\mu)^{\D
T}(\bm\beta-\bm\mu)+\lambda\big]\Big\}.~~(3.7.14)
\end{eqnarray*}
其中~$\bm\mu$ 是已知的常数向量, ~$k,~r,~\lambda>0$
都是已知的正常数.\medskip\pause

\item 由式~(3.7.2) 和式~(3.7.14) 可知
~$(\bm{\beta},\sigma^2)$ 联合后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\pi(\bm\beta,\sigma^2|\bm{y})\propto p(\bm{y}|\bm{\beta},\sigma^2)\pi(\bm{\beta},\sigma^2)\nonumber\\
&&\propto (\sigma^2)^{-(\frac{n+p+r}{2}+1)}
\exp\Big\{\!-\frac{1}{2\sigma^2}\left[(n\!-\!p)\hat{\sigma}^2\!+\!\lambda\!+\!H\right]\Big\},~~(3.7.15)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验分布时的后验分布}
\begin{itemize}

\item 其中\vspace{-2mm}
\begin{eqnarray*}
H\!\!&&=(\bm\beta-\hat{\bm\beta})^{\D T} \bm{X}^{\D T} \bm{X}(\bm\beta-\hat{\bm\beta})
+k(\bm\beta-\bm\mu)^{\D T}(\bm\beta-\bm\mu) \nonumber \\
&&=\bm\beta^{\D T}(\bm{X}^{\tau}\bm{X}+k
\bm{I}_p)\bm\beta-2\bm\beta^{\D T}
(\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu)+\hat{\bm\beta}^{\D T}
\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu^{\D T}\bm\mu\nonumber \\
&&=(\bm\beta-\widetilde{\bm\beta})^{\D
T}\widetilde{\bm\Sigma}^{-1}(\bm\beta-\widetilde{\bm\beta})+
\big[\hat{\bm\beta}^{\D T}
\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm{\mu}^{\D
T}\bm{\mu}-\widetilde{\bm\beta}^{\D T}\widetilde{\bm\Sigma}^{-1}
\widetilde{\bm\beta}\big]\nonumber \\
&&=(\bm\beta-\widetilde{\bm\beta})^{\D T}\widetilde{\bm\Sigma}^{-1}
(\bm\beta-\widetilde{\bm\beta})+(\hat{\bm\beta}-\bm\mu)^{\D T}
\bm{A}^{-1}(\hat{\bm\beta}-\bm\mu). \quad (3.7.16)
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 将式(3.7.16)代入式(3.7.15), 得到\vspace{-2mm}
\begin{eqnarray*}
&&\!\!\!\pi(\bm\beta,\sigma^2|\bm{y})\!\propto\!(\sigma^2)^{-(\frac{n+p+r}{2}+1)}
\exp\!\Big\{\!\!-\!\frac{1}{2\sigma^2}\!\left[c_0\!+\!(\bm\beta\!-\!\widetilde{\bm\beta})^{\D
T}\widetilde{\bm\Sigma}^{-1}
(\bm\beta\!-\!\widetilde{\bm\beta})\right]\!\!\Big\},\\
&&\hspace{8.8cm}(3.7.17)
\end{eqnarray*}\\ \vspace{-5mm}\pause

\item 此处\vspace{-2mm}
\begin{eqnarray*}
c_0\!\!&&=(n-p)\hat{\sigma}^2+\lambda+(\hat{\bm\beta}-\bm\mu)^{\D T}
\bm{A}^{-1}(\hat{\bm\beta}-\bm\mu)\nonumber \\
\widetilde{\bm\Sigma}\!\!&&=(\bm{X}^{\tau}\bm{X}+k
\bm{I}_p)^{-1},\quad \bm{A}^{-1}
=k\widetilde{\bm\Sigma}\bm{X}^{\tau}\bm{X}=\left[(\bm{X}^{\tau}\bm{X})^{-1}+k^{-1}\bm{I}_p\right]^{-1}\nonumber\\
\widetilde{\bm\beta}\!\!&&=\big(\bm{X}^{\tau}\bm{X}+k
\bm{I}_p\big)^{-1}\big(\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu\big)=\widetilde{\bm\Sigma}
\big(\bm{X}^{\tau}\bm{X}\hat{\bm\beta}+k\bm\mu\big).~~(3.7.18)
\end{eqnarray*}

\end{itemize}
}

\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验分布时的后验分布}
\begin{itemize}

\item 将式(3.7.17)的右边添加正则化常数，得到
\begin{eqnarray*}
\pi(\bm\beta,\sigma^2|\bm{y})\!\!&&=(2\pi\sigma^2)^{-\frac{p}{2}}|\widetilde{\bm\Sigma}|^{-\frac{1}{2}}
\exp\Big\{-\frac{1}{2\sigma^2}(\bm\beta-\widetilde{\bm\beta})^{\D
T}\widetilde{\bm\Sigma}^{-1}
(\bm\beta-\widetilde{\bm\beta})\Big\}\nonumber \\
&&~~~\times\frac{(c_0/2)^{\frac{n+r}{2}}}{\Gamma\big((n+r)/2\big)}
(\sigma^2)^{-(\frac{n+r}{2}+1)}
\exp\Big\{-\frac{c_0}{2\sigma^2}\Big\}\nonumber \\
&&=\pi_1\big(\bm\beta|\sigma^2,\bm{y}\big)
\pi_2\big(\sigma^2|\bm{y}\big).\hspace{3cm}(3.7.19)
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 由式~(3.7.19) 可见, $(\bm\beta,\sigma^2)$
的联合后验密度是两部分的乘积：一部分是给定~$\sigma^2$ 和~$\bm{y}$
时，~$\bm\beta$
的条件分布~$N_p\big(\widetilde{\bm{\beta}},\sigma^2\widetilde{\bm\Sigma}\big)$
的密度函数； 另一部分是给定~$\bm{y}$ 时, ~$\sigma^2$ 的条件分布
~$\Gamma^{-1}\big((n+r)/2,c_0/2\big)$ 的密度函数.

\end{itemize}
}

\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验分布时的后验分布}
\begin{itemize}

\item 将式~(3.7.19) 对~$\bm\beta$ 积分,
得到~$\sigma^2$ 的边缘后验密度\vspace{-2mm}
$$
\pi_2(\sigma^2|\bm{y})=\frac{(c_0/2)^{\frac{n+r}{2}}}{\Gamma\big((n+r)/2\big)}
(\sigma^2)^{-(\frac{n+r}{2}+1)}
\exp\Big\{-\frac{c_0}{2\sigma^2}\Big\}.~~(3.7.20)\vspace{-2mm}
$$
即~$\sigma^2$
的边缘后验分布是逆伽马分布~$\Gamma^{-1}((n+r)/2,c_0/2),$ 此处~$c_0$
由式~(3.7.18) 中的第一式给出.\medskip\pause

\item 将式~(3.7.17) 对~$\sigma^2$ 积分得到\vspace{-2mm}
\begin{eqnarray*}
\pi_1(\bm\beta|\bm{y})\!\!&&\propto
\left[c_0+(\bm\beta-\widetilde{\bm\beta})^{\D
T}\widetilde{\bm\Sigma}^{-1}
(\bm\beta-\widetilde{\bm\beta})\right]^{-\frac{n+r+p}{2}}\\
&&\propto\Big[1+\frac{1}{n+r}(\bm\beta-\widetilde{\bm\beta})^{\D T}
\widetilde{\bm{B}}^{-1}(\bm\beta-\widetilde{\bm\beta})\Big]^{-\frac{n+r+p}{2}},
\end{eqnarray*}
\\ \vspace{-2mm}
其中~$\widetilde{\bm{B}}=\big[(c_0/(n+r)\big]
\widetilde{\bm\Sigma}~.$
\end{itemize}
}

\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验分布时的后验分布}
\begin{itemize}

\item 上式右边是~$p$ 元~$t$
分布~$\mathscr{T}_p\big(n+r,\widetilde{\bm\beta},\widetilde{\bm{B}}\big)$
密度函数的核. 添加正则化常数, 得到~$\bm\beta$
的边缘后验密度\vspace{-2mm}
\begin{eqnarray*}
&&\!\!\!\pi_1(\bm\beta|\bm{y})\!\!=\!\!\frac{\Gamma\big(\frac{n+r+p}{2}\big)|\widetilde{\bm{B}}|^{-\frac{1}{2}}}
{\Gamma\big(\frac{n+r}{2}\big)\![\pi(n+r)]^{\frac{p}{2}}}\bigg[1\!+\!\frac{1}{n+r}
(\bm\beta\!-\!\widetilde{\bm\beta})^{\D T}
\widetilde{\bm{B}}^{-1}(\bm\beta\!-\!\widetilde{\bm\beta})\bigg]^{-\frac{n+r+p}{2}},\\
&&\hspace{8.5cm}(3.7.21)
\end{eqnarray*}
\\ \vspace{-2mm}
其中~$\bm{\beta}\in \mathbb{R}^p.$\medskip\pause

\end{itemize}
}

\frame{\frametitle{$\bm\beta$ 和~$\sigma^2$
具有正态-逆伽马先验时后验分布的结论}

{\bf 定理 3.7.3} ~\!对由式~\!(3.7.1)\! 给出的正态线性回归模型,若
$(\bm\beta,\sigma^2)$\!\\ \noindent 的联合先验密度 为由式~(3.7.14)
给出的正态-逆伽马先验, 则\medskip\pause

(1)~$(\bm\beta,\sigma^2)$ 的联合后验密度由式~(3.7.19)
给出.\medskip\pause

(2)~误差方差~$\sigma^2$ 的边缘后验分布是由式~(3.7.20) 给出的逆
伽马分布~$\Gamma^{-1}((n+r)/2,c_0/2),$ 此处~$c_0$ 由式~(3.7.18)
中的第一式给出.\medskip\pause

(3)~回归系数~\!$\bm\beta$\! 的边缘后验分布是由式~\!(3.7.21)\!
给出的~\!$p$\! 元~\!$t$\!
分布~\!$\mathscr{T}_p\big(n+r,\widetilde{\bm\beta},\widetilde{\bm{B}}\big),$\!
其中~\!$\widetilde{\bm{B}}=\big[(c_0/(n+r)\big]
\widetilde{\bm\Sigma},$\! 而~\!$\widetilde{\bm\beta}$\!
由式~\!(3.7.18)\! 给出.

}







\end{CJK*}
\end{document}



\frame{\frametitle{}
\begin{itemize}

\item

\item

\item

\end{itemize}
}

\frame{\frametitle{}
\begin{itemize}

\item

\item

\item

\end{itemize}
}
