% $Header: /cvsroot/latex-beamer/latex-beamer/examples/beamerexample4.tex,v 1.4 2004/10/07 20:53:07 tantau Exp $

\documentclass[envcountsect,cjk]{beamer}
%\setbeamertemplate{theorems}[numbered]
% Copyright 2003 by Till Tantau <tantau@users.sourceforge.net>.
%
% This program can be redistributed and/or modified under the terms
% of the LaTeX Project Public License Distributed from CTAN
% archives in directory macros/latex/base/lppl.txt.
%
% Many thanks to Huang Yushuo for helping me with this file
% (I don't speak Chinese...)
%\setbeamercovered{dynamic}
\setbeamercovered{transparent}
%\usepackage{times}
%\usepackage{mathtime}
\usepackage{graphicx}
\usepackage{Picins}
\usepackage{indentfirst}
\usepackage{amsmath,amssymb,amsfonts,amsthm}
\usepackage{multirow}
\usepackage{textcomp}

\usepackage{mathrsfs}
\usepackage{latexsym}
\usepackage{makeidx}% 制作索引
\usepackage{accents}
\usepackage{slashbox}
\usepackage{picinpar}
%\makeindex
\usepackage{undertilde}
\usepackage{bm}

%\usepackage{textcomp}
\setlength{\abovedisplayskip}{2pt plus1pt minus1pt}     %公式前的距离
\setlength{\belowdisplayskip}{2pt plus1pt minus1pt}     %公式后面的距离
\setlength{\arraycolsep}{2pt}   %在一个array中列之间的空白长度, 因为原来的太宽了
\allowdisplaybreaks[4]  % \eqnarray如果很长, 影响分栏、换行和分页
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\renewcommand{\theequation}{\thesection.\arabic{equation}}
\newtheorem{remark}{Remark}
\makeatletter\@addtoreset{equation}{section}\makeatother
%\makeatletter\@addtoreset{section}{part}\makeatother
\newcommand{\D}{\scriptscriptstyle}
\setlength{\parindent}{20pt}                %Paragraph indent amounts.
\setlength{\parskip}{3pt plus1pt minus2pt}  %Vertical distance between par
\setlength{\baselineskip}{20pt plus2pt minus1pt}%Distance between lines in a par.
%\usepackage{graphicx}
\makeatletter
\def\widebar{\accentset{{\cc@style\underline{\mskip10mu}}}}
\def\Widebar{\accentset{{\cc@style\underline{\mskip8mu}}}}
\makeatother
\def\dl{\displaystyle}


\usepackage{CJK}


%\usetheme{Warsaw}
%\usetheme{Hannover}
%\usetheme{Darmstadt}
\usetheme{JuanLesPins}
\AtBeginSection[]{\frame{\tableofcontents[current]}}
\AtBeginPart{\frame{\partpage}}
\begin{document}
  \begin{CJK*}{GBK}{rm}

\renewcommand{\raggedright}{\leftskip=0pt \rightskip=0pt plus 0cm}


    \title[贝叶斯分析]{\bf 贝~~~~叶~~~~斯~~~~分~~~~析}
    \author{韦来生~~~张伟平~~编著}
\date[\today]{中~~国~~科~~大~~出~~版~~社 \\ \vskip 1cm
     第二版, ~2021}

    \frame{\titlepage}


\begin{frame}
  \titlepage
\end{frame}

\begin{frame}{第4章 ~贝叶斯统计推断}
\scriptsize
\tableofcontents
\end{frame}

\section{4.1  条件方法和似然原理}
\subsection{4.1.1 条件方法}
\frame{\frametitle{条件方法}

\begin{itemize}

\item 后验分布~$\pi(\theta|\bm{x})$ 是在样本~$\bm{x}$
给定下~$\theta$ 的条件分布，
基于后验分布的统计推断就意味着只考虑已出现的数据~(样本观测值),
而认为未出现的数据与推断无关，
这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法被称为
“条件方法”.\medskip\pause

\item 它与我们熟悉的
“频率方法”之间具有很大的差别.
例如，在对估计量的无偏性的认识上，经典统计学认为参数~$\theta$ 的
无偏估计~$\hat\theta(\mathbf{X})$ 应满足
~$E[\hat\theta(\mathbf{X})]=\int_{\mathscr{X}} \hat\theta(\bm{x})
p(\bm{x}|\theta)d\bm{x}=\theta,$
其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚未出现过，甚至重复数百次
也不会出现的样本也要在评价估计量~$\hat\theta$ 的好坏中占一席之地,
\!何况在实际中不少估计量只使用一次或
几次，而多数从未出现的样本也要参与平均，是使实际工作者难于理解的，这是
“频率方法”的缺点. 这就是贝叶斯方法中的“条件观点”.
%故在贝叶斯统计推断
%中不用无偏性，而条件方法是容易被实际工作者理解和接受的.
\end{itemize}
}

\subsection{4.1.2 似然原理}
\frame{\frametitle{似然原理}

\begin{itemize}
\item 设~$X\sim~f(x|\theta),$ 而~$\bm{X}=(X_1,\cdots,X_n)$ 是从总体~$X$ 中抽取的
~i.i.d.~\!样本，其联合分布为~$f(\bm{x}|\theta)=f(x_1,\cdots,x_n|\theta).$
当~$\bm{x}$ 固定时，把~$f(\bm{x}|\theta)$ 看成~$\theta$ 的函数,
称为似然函数，记为\vspace{-2mm}
$$L(\theta|\bm{x})=f(\bm{x}|\theta)=\prod\limits_{i=1}^n f(x_i|\theta).$$
\\\vspace{-2mm}\pause

\item 似然函数~$L(\theta|\bm{x})$ 强调它是~$\theta$ 的函数，而样本~$\bm{x}$ 在似然函数中只是一组给定的数据或观察值，
所有与试验有关的~$\theta$ 的信息都被包含在似然函数之中.
使~$L(\theta|\bm{x})$ 取值大的~$\theta$ 比使~$L(\theta|\bm{x})$
取值小的~$\theta,$ 更像是~$\theta$ 的真值.
特别地，使~$L(\theta|\bm{x})$ 在参数空间~$\Theta$ 中
取值达到最大的~$\theta$ 之值~$\hat\theta(\bm{x})$
称为极大似然估计.\medskip\pause

\item 假如两个似然函数成比例，\!比例因子又不依赖~$\theta$,
则它们的极大似然估计是相同的；\!若进一步假定对~$\theta$ 采用
相同的先验分布，\!那么基于给定的~$\bm{x}$ 对~$\theta$
所做的后验推断也是相同的.

\end{itemize}
}

\frame{\frametitle{似然原理}
\begin{itemize}

\item
贝叶斯学派把上述认识概括为似然原理的如下两个要点：\medskip\pause

(1)~有了观察值$\bm{x}$后，在确定关于$\theta$的推断和决策时，所有与试验有关的$\theta$的信息都
被包含在似然函数$L(\theta|\bm{x})$中.\medskip\pause

(2)~如果有两个似然函数是成比例的，比例因子与$\theta$无关,则它们关于$\theta$具有相同信息.
\medskip\pause

\item 统计学两大学派的争论涉及任何统计规范应遵守的公理或原理。其中一个非常简单又十分重要的
基本原理是似然原理，是争论双方都应遵守的公理.
\end{itemize}
}

\frame{\frametitle{似然原理}
\begin{itemize}
\item 可经典统计学派不是这样，他们在寻求极大似然估计
之前是承认似然原理的，但在得到极大似然估计之后，就抛弃了似然原理.\medskip\pause


\item 在获得观测值之后，他们不是把样本观察值看成固定值，而是将样本观测值看成随机变量，
将极大似然估计看成样本的函数，即看成若干独立同分布随机变量的函数，从而
用联合分布~$f(\bm{x}|\theta)$
计算极大似然估计的期望、方差等数字特征，研究这些数字特征的大样本性质.\medskip\pause

\item 但是，依据似然原理，只有按照实际观测到的数据~$\bm{x},$
而不是随机样本, 才能构成推断的依据.
因此贝叶斯统计学中认为无偏性违背了似然原理。由此可见，似然原理把
~4.1.1 小节中叙述的“条件观点” 说得更清楚了.\medskip\pause

\item
下面的例子可以进一步说明经典学派与贝叶斯学派对似然原理的不同观点导致统计推断问题的不同结果.
\end{itemize}
}

\frame{\frametitle{例~4.1.1}

\vspace{-2mm}

\begin{itemize}

\item~{\bf 例~4.1.1}~(Likndley 和 Phillips (1976)) ~设~$\theta$
为上抛一枚硬币出现正面的概率，现要检验如下两个假设：\vspace{-2mm}
$$H_0: ~\theta=1/2\leftrightarrow H_1:~\theta>1/2.$$
\\\vspace{-2mm}
为此做了一系列相互独立抛硬币试验, 结果出现~9 次正面和~3
次反面.\smallskip\pause

\item 由于事先未对``一系列试验"的方式未作明确规定，因此没有足够信息得出总体分布，假定试验方式有如下两种可能：\smallskip\pause

(1)~事先决定独立抛~\!12\! 次硬币，则出现正面的次数~\!$X$\!
服从二项分布~\!$B(n,\theta),$\! 这里~\!$n=12,x=9,$\!
于是相应的似然函数为\vspace{-2mm}
$$L_1(\theta|x)=P_1(X=x|\theta)=\tbinom{n}{x}.\theta^x(1-\theta)^{n-x}=220~\!\theta^9(1-\theta)^3~.$$
\\\vspace{-1mm}\pause

(2)~事先指定试验进行到出现~\!3\! 次反面为止，即第~\!3\! 次
出现反面是发生在第~\!12\! 次抛硬币的试验中，则正面出现的次数~\!$X$\!
服从负二项分布~\!$Nb(r,\theta),$\! 这里~\!$r=3,x=9.$\!
似然函数为\vspace{-2mm}
$$L_2(\theta|x)=P_2(X=x|\theta)=\tbinom{x+r-1}{r-1}\theta^x(1-\theta)^r=55~\!\theta^9(1-\theta)^3~.$$
\end{itemize}
}

\frame{\frametitle{例~4.1.1}
\begin{itemize}

\item 前述似然原理的要点告诉我们，似然函数~$L_i(\theta|x)~(i=1,2)$ 是
我们从试验所需要知道的一切， 而且~$L_1(\theta|x)$ 和~$L_2(\theta|x)$
具有关于~$\theta$ 相同的信息，因为它们作为~$\theta$
的函数是成比例的.
于是，我们实际上不需要知道``一系列试验”的任何事先规定，只需要知道独立地抛硬币出现正面9次，反面3次，这本身
就就告诉我们似然函数与~$\theta^9(1-\theta)^3$ 成比例.\medskip\pause

\item 相反，在经典统计中就不是这样，其统计分析不仅要知道观测值~$x$, 还要完全依赖其分布~$f(x|\theta).$
在经典假设检验中，假定检验的否定域为~\vspace{-2mm}
$$D=\{\bm{X}=(X_1,\cdots,X_{12}):
X=\sum\limits_{i=1}^{12}X_i\geqslant 9\}$$
\\\vspace{-2mm}
其中~$X_i=1$ 表示第~$i$ 次抛硬币出现正面，否则~$X_i=0$
表示出现反面，
则在二项分布模型和负二项分布模型下，将对检验问题将得出完全相反的结论.
具体说明如下：
\end{itemize}
}

\frame{\frametitle{例~4.1.1}
\begin{itemize}

\item 经典统计方法在二项分布模型和负二项分布模型下,按检验的否定域~$D$,获得检验的~$p$
值为\vspace{-2mm}
\begin{eqnarray*}
&&p_1=P_1\bigg(X\geqslant
9\Big|\theta=\frac{1}{2}\bigg)=\sum_{x=9}^{12}
P_1\bigg(X=x\Big|\theta=\frac{1}{2}\bigg)=0.075,\\
&&p_2=P_2\bigg(X\geqslant
9\Big|\theta=\frac{1}{2}\bigg)=\sum_{x=9}^\infty
P_2\bigg(X=x\Big|\theta=\frac{1}{2}\bigg)=0.033,
\end{eqnarray*}
\\\vspace{-2mm}
如果取检验水平为~$\alpha=0.05,$
则这两个模型将得出完全不同的结论，即前者应接受~$H_0,$
后者应拒绝~$H_0.$\medskip\pause

\item 这一现象不会在贝叶斯分析中出现，对检验问题中的参数~$\theta$ 赋予适当的先验分布，在贝叶斯假设检验
问题中对这两个不同模型都应拒绝~$H_0.$
这个结论只与似然函数有关，而与总体是二项分布还是负二项分布无关~(详见例~4.4.6).
\end{itemize}
}


\section{4.2  贝叶斯点估计}

\subsection{4.2.1 贝叶斯点估计的定义}
\frame{\frametitle{ 贝叶斯点估计方法}

\begin{itemize}

\item 有了后验分布后, 可从后验分布出发,
按经典方法~(用后验分布代替通常的样本分布) 求未知参数~$\theta$
的点估计，如后验众数估计、后验中位数估计和后验期望估计等,
其定义如下：\medskip\pause

\item {\bf 定义~4.2.1}
~使后验密度~$\pi(\theta|\bm{x})$ 达到最大时~$\theta$
的值作为~$\theta$ 的估计量，称为后验众数估计,
也称为广义极大似然估计或后验极大似然估计, 记为~$\hat{\theta}_{\D
MD}$；用后验分布的中位数作为~$\theta$ 的估计量, 称为~$\theta$
的后验中位数估计，记为~$\hat{\theta}_{\D ME}$；
用后验分布的期望作为~$\theta$ 的估计量，称为后验期望估计,
记为~$\hat{\theta}_{\D E}.$ 三个估计都称为贝叶斯估计,
在不会引起混淆的情况下 上述三个估计皆用~$\hat{\theta}_{\D B}$
来记.\medskip\pause

\item {\bf 注~4.2.1} ~一般场合下这三种估计是不同的, 但当后验密度为单峰对称时,
$\theta$ 的上述三种贝叶斯估计重合. 使用时可根据需要选用其中的一种.
一般来说, 当先验分布为共轭先验时, 求上述三种估计比较容易.


\end{itemize}
}


\frame{\frametitle{点估计的例子}

\begin{itemize}

\item {\bf 例~4.2.1} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 是从正态总体
~$N(\theta,\sigma^2)$ 中抽取的简单样本，其中~$\sigma^2$ 已知.
取~$\theta$ 的先验为共轭先验分布\\
\noindent $N(\mu,\tau^2),$ 求~$\theta$ 的贝叶斯估计.\medskip\pause

\item {\bf 例~4.2.2} ~为估计不合格品率~$\theta,$ 今从一批产品中随机抽取~$n$ 件,其中不合格品数~$X\sim
B(n,\theta),$ 若取~$\theta$ 的先验分布为~$Be(1,1),$ 即~$\theta$
的先验分布为~(0,1) 上的均匀分布，并假定~$X=0.$ 求~$\theta$
的后验中位数估计.
\end{itemize}
}

\frame{\frametitle{点估计的例子}

\begin{itemize}
\item {\bf 例~4.2.3} ~设随机变量~~$X\sim
f(x|\theta)=e^{-(x-\theta)}\cdot I_{[\theta,\infty)}(x),$ 此处\\
\noindent $-\infty<\theta<+\infty$ 为位置参数, 取~$\theta$
的先验分布为柯西 分布，
即先验密度~$h(\theta)=\frac{1}{\pi(1+\theta^2)},~-\infty<\theta<+\infty,$
求~$\theta$ 的后验众数估计.\medskip\pause


\item {\bf 例~4.2.4}
~设~$X_{1},\cdots,X_{n}$ 为从正态总体~$N(\theta,\sigma^2)$
中抽取的简单样本, 其中~$\sigma^2>0$ 已知，$\theta>0$
未知，取~$\theta$
的先验分布为无信息先验，即~$\pi(\theta)=I_{(0,\infty)}(\theta),$
求~$\theta$ 的后验期望估计.\medskip\pause

\item 这种限制参数空间~$(\theta>0)$ 的情形,
若用经典方法很难对付.
由此可见贝叶斯方法在这种情形更合理，计算也方便.\medskip\pause

%\item {\bf 例~4.2.5} ~设~$X_{1},\cdots,X_{n}~iid\!\sim\!
%f(x|\theta)=\theta^{-1}\exp\{-x/\theta\},~\!x>0,$ $ \theta>0,$
%当观察到前~r 个样本~$X_{(1)}\leq X_{(2)}\leq \cdots\leq X_{(r)}$
%时就停止，此处~$X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)}$
%为样本~$X_{1},\cdots,X_{n}$ 的次序统计量，取~$\theta$
%的先验分布为无信息先验~$\pi(\theta)=1/\theta,~\theta>0$,
%求可靠性函数~$R(s)=P(X\geq s)=e^{-\frac{s}{\theta}},~s>0$
%的后验期望估计.
\end{itemize}
}


\subsection{4.2.2 贝叶斯点估计的精度-估计的误差}
\frame{\frametitle{ 贝叶斯点估计的精度--估计的误差$^*$}

\begin{itemize}

\item 在经典方法中衡量一个估计量的优劣看其均方误差~(MSE)
大小, 均方误差越小越好. 对贝叶斯估计~$\delta(\bm{x}),$
衡量优劣用如下定义的后验均方误差~(简记为 PMSE)\vspace{-2mm}
$$PMSE(\delta(\bm{x}))=E^{\theta|\bm{x}}[(\theta-\delta(\bm{x}))^2]\vspace{-2mm}
$$
来度量估计量的精度, PMSE 越小越好.\medskip\pause

\item 特别若~$\delta(\bm{x})=E(\theta|\bm{x})$ 时,
则~$\delta(\bm{x})$ 的~PMSE 即后验方差, 即\vspace{-2mm}
$$PMSE(\delta(\bm{x}))=E^{\theta|\bm{x}}[(\theta-\delta(\bm{x}))^2]=Var(\theta|\bm{x}).\vspace{-5mm}
$$

\end{itemize}
}

\frame{\frametitle{ 贝叶斯点估计的精度--估计的误差$^*$}

\begin{itemize}

\item 记~$\theta$ 的后验均值~$E(\theta|\bm{x})=\mu^{\pi}(\bm{x}),$
后验方差~$V^{\pi}(\bm{x})=Var(\theta|\bm{x}),$ 则~PMSE
与后验方差~$V^{\pi}(\bm{x})$ 的关系如下:\vspace{-2mm}
\begin{eqnarray*}
PMSE(\delta(\bm{x}))
\!\!&=&\!\!E^{\theta|\bm{x}}[(\theta-\mu^{\pi}(\bm{x}))+(\mu^{\pi}(\bm{x})-\delta(\bm{x}))]^2 \\
&=&\!\!V^{\pi}(\bm{x})+(\mu^{\pi}(\bm{x})-\delta(\bm{x}))^2\geq
V^{\pi}(\bm{x}).
\end{eqnarray*}\\ \vspace{-2mm}
且等号成立的充要条件是~$\delta(\bm{x})=\mu^{\pi}(\bm{x}),$
即~$\theta$ 的后验均值估计使~PMSE 达到最小.\medskip\pause

\item 后验期望估计是在~PMSE
准则下的最优估计. 这就是为什么习惯上在后验众数估计、
后验中位数估计和后验期望估计这三种估计中常取后验期望~$\mu^{\pi}(\bm{x})$
作为~$\theta$ 的贝叶斯估计.
\end{itemize}
}

\frame{\frametitle{ 贝叶斯点估计的精度--例~4.2.5}

\begin{itemize}

\item {\bf 例~4.2.5}~(续例~4.2.1) ~~设~$X|\theta\sim
N(\theta,\sigma^2),$ 其中~$\sigma^2$ 已知. 令~$X_{1},\cdots,X_{n}$
为从总体~$X$ 中抽取的~i.i.d.
样本，记~$\mathbf{X}=(X_{1},\cdots,X_{n})$.\medskip\pause

(1) 若~$\theta$ 的先验分布为无信息先验~$\pi(\theta)\equiv 1,$
求~$\theta$ 的后验期望估计及后验方差.\medskip\pause

(2) 若取~$\theta$ 的先验分布为~$\theta\sim N(\mu,\tau^2),$
求~$\theta$ 的后验期望估计~$\hat{\theta}_{E}$ 的方差，以及~$\theta$
的经典估计~$\delta(\bm{x})=\bar{x}$ 的PMSE，将二者进行比较.
\end{itemize}
}

\subsection{4.2.3 贝叶斯点估计的几个例子}

\frame{\frametitle{例~4.2.6}
\begin{itemize}

\item {\bf 例~4.2.6}
~为估计产品不合格品率~$\theta,$ 今从一批产品中随机抽取~$n$ 件检查,
检查结果为~$X_1,\cdots,X_n,$ 其中~$X_{i}=1$ 表示抽出的第~$i$
件不合格，\!$X_{i}=0$ 表示抽出的第~$i$ 件合格，
\!不合格品数~$X=\sum\limits_{i=1}^{n}X_{i}.$ 若取~$\theta$
的先验分布为共轭先验~$Be(a,b),$~其中$\alpha,\beta$已知.\smallskip\pause

(1) 求~$\theta$ 的后验期望估计及后验方差；\smallskip\pause

(2) 当取~\!$\alpha\!=\!\beta\!=1\!$, 即先验分布~\!$\pi(\theta)$\!
为均匀分布 ~\!$U(0,1)$\! 时，求~\!$\theta$\!
 的后验期望估计和后验众数估计，并将其进行比较.\smallskip\pause

(3) 当~$\alpha=\beta=1$ 时，求~$\theta$
的后验期望估计的后验方差和后验众数估计的后验均方误差，
并将其进行比较.\medskip\pause

\item 后验期望估计及其后验方差为\vspace{-2mm}
$$\hat{\theta}_{E}=\frac{X+a}{n+a+b},~~V^{\pi}(x)=\frac{(x+\alpha)(n-x+\beta)}
{(n+\alpha+\beta)^2(n+\alpha+\beta+1)}.
$$\pause

\end{itemize}
}

\frame{\frametitle{例~4.2.6}
\begin{itemize}

%\item

\item 当先验分布取~\!$\alpha=1,\beta=1,$\! 则~\!$\pi(\theta)$\! 是均匀分布~\!$U(0,1)$\! 时有\vspace{-1mm}
$$\hat{\theta}_{\D MD}=X\big/n,\qquad \hat{\theta}_{\D E}=(X+1)\big/(n+2).
$$\\\vspace{-2mm}\pause

\item 对两个估计作如下说明:\medskip\pause

(i) $\theta$ 的后验众数估计~(即广义MLE) 就是经典统计学中的~MLE,
即为无信息先验分布~$U(0,1)$ 下的贝叶斯估计.
贝叶斯学派对这种现象的看法是:
任何使用经典统计方法的人都自觉或不自觉地使用贝叶斯方法,
即经典统计方法下的许多估计量是特殊先验分布下的贝叶斯估计.\medskip\pause

(ii) $\theta$ 的后验期望估计要比后验众数更合适一些,
下面列出四个特殊试验结果:
\end{itemize}
}

\frame{\frametitle{例~4.2.6}

\begin{itemize}

\item \qquad {\bf 表~3.4.1~~不合格品率~$\theta$ 的两种贝叶斯估计的比较表}
\begin{table}[h]
\small\scriptsize \vspace{-0mm}
\begin{tabular}{|c| c| c| c |
c|}\hline 试验号&样本量~n&不合格品数~x&$\hat\theta_{\D
MD}=x/n$&$\hat\theta_{\D E}=(x+1)/(n+2)$\\\hline 1    & 3 & 0 & 0 &
0.200 \\\hline 2    &10 & 0 & 0 & 0.083 \\\hline 3    & 3 & 3 & 1 &
0.800 \\\hline 4    &10 & 10 & 1 & 0.917 \\\hline
\end{tabular}
\end{table}
\pause

\item 1 号试验与~2 号试验各抽~3 个与~10 个, 其中没有一个不合格,
这两件事在人们心目中留下的印象是不同的, 后者的质量要比前者更信得过.
但~$\hat{\theta}_{\D MD}$ 皆为~0, 显示不出二者的差别,
而~$\hat{\theta}_{\D E}$ 可显示出二者的差别.%\medskip
\end{itemize}
}

\frame{\frametitle{例~4.2.6}
\begin{itemize}

\item 对~3 号和~4 号试验, 也有类似问题. 显然 我们看到, 当~$x=0$ 或~$x=n$ 时,
$\hat{\theta}_{\D MD}=0$ 或~$1,$ 这种估计未免太极端一些,
而~$\hat{\theta}_{\D E}$ 可以看作是对它的修正, 更合理些.
所以在实际中人们更愿意选用后验均值估计作为贝叶斯估计.
由于~$\hat{\theta}_{\D MD}$ 与经典估计相同, 故贝叶斯
估计~$\hat{\theta}_{\D E}$ 显示出相对于经典估计的优点.\medskip\pause

\item 故可见: 作为~$\theta$ 的估计,
后验均值估计常优于后验众数估计.\medskip\pause

\item 由~(2) 可知~$\theta$ 的后验分布为贝塔分布~$
Be(x+1,n-x+1)$, 易知~$\hat{\theta}_{E}$ 的后验方差为\vspace{-2mm}
$$V^{\pi}(x)=\frac{(x+1)(n-x+1)}{(n+2)^2(n+3)},$$


\end{itemize}
}

\frame{\frametitle{例~4.2.7}
\begin{itemize}

\item 而~$\hat{\theta}_{MD}$ 的后验均方误差为\vspace{-2mm}
\begin{eqnarray*}
&&PMSE(\hat{\theta}_{MD})=V^{\pi}(x)+(\hat{\theta}_{MD}-\hat{\theta}_{E})^2\\
&&~~=\frac{(x+1)(n-x+1)}{(n+2)^2(n+3)}+\left(\frac{x+1}{n+2}-\frac{x}{n}\right)^2
\geqslant V^{\pi}(x).
\end{eqnarray*}
可见后验期望估计的精度比后验众数高.\medskip\pause

\item {\bf 例~4.2.7} ~设~$X_{1},\cdots,X_{n}~iid\!\sim\!
f(x|\theta)=\theta^{-1}\exp\{-x/\theta\},~\!x>0,$ $ \theta>0,$
当观察到前~r 个样本~$X_{(1)}\leq X_{(2)}\leq \cdots\leq X_{(r)}$
时就停止，此处~$X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)}$
为样本~$X_{1},\cdots,X_{n}$ 的次序统计量，取~$\theta$
的先验分布为无信息先验~$\pi(\theta)=1/\theta,~\theta>0$,
求可靠性函数~$R(s)=P(X\geq s)=e^{-\frac{s}{\theta}},~s>0$
的后验期望估计及其后验方差.
\end{itemize}
}


\frame{\frametitle{离散情形的例子--例~4.2.8}

\begin{itemize}

\item
下面的例子给出了样本分布和先验分布都是离散分布时,
如何求贝叶斯估计.\medskip\pause

\item {\bf 例~4.2.8}
~设一批产品不合格率为~$\theta,$
检查是一个接一个地进行，直到发现第一个不合格产品就停止检查. ~设~$X$
为发现第一个不合格品时已检查的产品数, 则~$X$ 服从几何分布.
假设参数~$\theta$ 只能取~$1/4,~2/4,~3/4$
三个值，且取这三个值的概率相同，如今获得一个样本观测值~$x=3,$
求~$\theta$ 的后验众数估计，并计算它的后验均方误差.\medskip\pause

\item 将后验分布列表如下：\vspace{-2mm}
$$\begin{tabular}{c|c c c  }\hline
$\theta$ ~&~~~~1/4~~~~&~~~~2/4~~~~&~~~~3/4~~~~\\\hline
~~~~$P(\theta=i/4|X=3)$~~~~&~~9/20~~&~~8/20~~& 3/20\\\hline
\end{tabular}$$
\end{itemize}
}

\frame{\frametitle{应用实例--例~4.2.9}

\begin{itemize}

\item{\bf 例~4.2.9} ~保险公司原本没有设立车祸保险项目.
现考虑增设此项目，需要了解车祸发生情况.
设一年中每千人开车者发生车祸的次数~$X|\lambda\sim P(\lambda),$
即参数为~$\lambda$ 的泊松分布. 保险公司认为~$\lambda$
的先验分布为伽马分布~$\Gamma(35,1).$
为慎重起见，通过对愿意购买车祸保险的~2000
人进行调查，发现他们一年中有~85 人次车祸发生. 假
定每次车祸，保险公司平均支付~1000 元人民币.
保险公司增设广告宣传这项保险，一年费用~50 万人民币.
若每张保单收保险费~50 元人民币，一年可卖出保单~10
万张，按这样收费，保险公司一年能盈利多少？
\end{itemize}
}

\subsection{4.2.4 多参数情形}
\frame{\frametitle{多参数情形的后验分布}
\begin{itemize}

\item 若~$\bm\theta=(\theta_{1},\cdots,\theta_{p})^\tau$ 是向量, $\bm\theta$ 的后验分布为
~$\pi(\bm\theta|\bm{x}),$ 估计\\
\noindent $\bm\theta$ 的方法如下：\medskip\pause

\item (1)~后验众数估计：即从后验分布出发用广义极大似然估计获得使后验密度达到极大时~$\bm\theta$ 的值作为
 后验众数估计.\medskip\pause

\item (2)~后验期望估计：\!$\bm{\mu}^{\pi}(\bm{x})=E^{\bm\theta|\bm{x}}(\bm\theta)
=(\mu_{1}^{\pi}(\bm{x}),\cdots,\mu_{p}^{\pi}(\bm{x}))^\tau.$
估计量的精度用后验协方差阵~(记为~$Cov^{\pi}(\bm{x})$)
来衡量\vspace{-2mm}
$$Cov^{\pi}(\bm{x})=E^{\bm\theta|\bm{x}}[(\bm\theta-\bm{\mu}^{\pi}(\bm{x}))(\bm\theta-\bm{\mu}^{\pi}(\bm{x}))^\tau].\vspace{-5mm}
$$\pause

\item 对~$\bm\theta$ 的任一估计$\bm\delta(\bm{x})$，其后验协方差阵可分解为\vspace{-2mm}
\begin{eqnarray*}
&&Cov(\delta)=E^{\bm\theta|\bm{x}}\big[(\bm\theta-\bm\delta(\bm{x}))(\bm\theta-\bm\delta(\bm{x}))^\tau\big
]\\
&&=Cov^{\pi}(\bm{x})+(\bm{\mu}^{\pi}(\bm{x})-\bm\delta(\bm{x}))(\bm{\mu}^{\pi}(\bm{x})-\bm\delta(\bm{x}))^\tau\geq
Cov^{\pi}(\bm{x}).
\end{eqnarray*}\\ \vspace{-2mm}
可见后验均值估计仍使后验协方差矩阵达到最小.

\end{itemize}
}


\section{4.3  贝叶斯区间估计}
\subsection{4.3.1 可信区间定义及例子}

\frame{\frametitle{贝叶斯可信区间的定义}

\begin{itemize}

\item {\bf 定义~4.3.1}~(可信区间)
~设参数~$\theta$ 的后验分布为~$\pi(\theta|\bm{x}),$
对给定的样本~$\bm{x}$ 和概率~$0<\alpha<1$
 ~(通常~$\alpha$ 取较小的数), 若存在两个统计量~$\hat{\theta}_{1}(\bm{x})$
和~$\hat{\theta}_{2}(\bm{x}),$ 使得\vspace{-2mm}
$$P(\hat{\theta}_{1}\leq\theta\leq\hat{\theta}_{2}|\bm{x})\geq 1-\alpha,\vspace{-2mm}
$$
则称~$[\hat{\theta}_{1},\hat{\theta}_{2}]$ 为~$\theta$
的可信水平为~$1-\alpha$ 的贝叶斯可信区间.\medskip\pause

\item 而满足\vspace{-1mm}
$$P(\theta\geq \hat{\theta}_{\D L}|\bm{x})\geq 1-\alpha\vspace{-1mm}
$$
的~$\hat{\theta}_{L}(x)$ 称为~$\theta$ 的可信水平为~$1-\alpha$
的可信下限.\medskip\pause

\item 而满足\vspace{-1mm}
$$P(\theta\leq \hat{\theta}_{\D U}|\bm{x})\geq 1-\alpha\vspace{-1mm}
$$
的~$\hat{\theta}_{U}(\bm{x})$ 称为~$\theta$ 的可信水平为~$1-\alpha$
的 可信上限.
\end{itemize}
}

\frame{\frametitle{贝叶斯可信区间与置信区间的本质差别}

\begin{itemize}

\item 基于后验分布~$\pi(\theta|x),$ 在给定~$x$ 和~$1-\alpha$ 后求得的可信区间,
如~~$1-\alpha=0.9$  的可信区间为~~$[1.2,2.0],$
~这时我们可以写为\vspace{-2mm}
$$P(1.2\leq\theta\leq2.0|x)=0.90~.\vspace{-2mm}
$$
既可以说``$\theta$ 属于这个区间的概率为~0.9" 也可以说``$\theta$
落入这个区间的概率为~0.90". 可对置信区间就不能这样说.
因为经典统计方法认为~$\theta$ 为常数, 它要么~$\theta$ 在~$[1.2,2.0]$
之内, 要么在其外，不能说``$\theta$ 落在~$[1.2,2.0]$
中的概率为~0.90," 而只能说``~100 次重复使用这个置信区间，大约有~90
次能覆盖~$\theta$."
这种频率解释对仅使用此区间估计一次或两次的人来说是毫无意义的.
可见贝叶斯可信区间简单、自然易被人们接受.%和理解.
%事实上很多实际工作者把求得的置信区间当成可信区间去用.
\medskip\pause

\item 经典统计方法寻求置信区间有时是困难的，要设法构造一个枢轴变量，
%它的表达式与~$\theta$ 有关, 而它的分布要与~$\theta$ 无关.
\!这是一项技术性很强的工作，有时找枢轴变量的分布相当困难.
~而求可信区间只需要利用后验分布，不需要寻求另外的分布，
与经典统计方法相比要简单得多.
\end{itemize}
}

\frame{\frametitle{例子}

\begin{itemize}

\item {\bf 例~4.3.1} ~设~~$X_{1},\cdots,X_{n}$ 是从正态总体
~~$N(\theta,\sigma^2)$ 中抽取的简单样本, 其中~$\sigma^2$ 已知.
$\theta$ 的先验分布是~$N(\mu,\tau^2),$ 其中~$\mu,~\tau^2$ 已知.
求~$\theta$ 的可信水平~$1-\alpha$ 的可信区间.\medskip\pause

\item 看一个数值例子. 在儿童智商测验的例子中，设测验结果~$X$ $\sim
N(\theta,100),$ 其中~$\theta$ 为被测验儿童智商~IQ 真值, $\theta$
的先验分布是~$N(100,225),$ 当该儿童测验得分~$x=115$ 时，由例~4.2.1
的结果可算得~$\theta$ 的后验分布 是~$N(110.38,8.32^2),$
因此求得~$\theta$ 的可信系数~0.95 的可信区间为\vspace{-2mm}
$$[\mu(x)-1.96 \eta,\mu(x)+1.96 \eta]=[94.07,126.69].\vspace{-5mm}
$$\pause

\item 在这个例子中, 若不用先验信息, 用经典方法~$X\sim
N(\theta,100),$ $x=115$ 可求~$\theta$ 的置信系数~0.95
的置信区间为\vspace{-2mm}
$$[115-10\times 1.96,115+10\times 1.96]=[95.4,134.6].\vspace{-2mm}
$$
这两个区间是不同的，区间长度也不同. 可信区间长度短了一些,
这是由于利用了先验信息.
\end{itemize}
}

\frame{\frametitle{例~4.3.2}

{\bf 例~4.3.2}
~彩色电视机的寿命服从指数分布~$Exp\{1/\theta\},$
其密度函数为\vspace{-2mm}
$$f(x|\theta)=\theta^{-1}\exp\big\{-x/\theta\big\}\cdot I_{(0,\infty)}(x),\vspace{-1mm}
$$
其中~$\theta>0$ 为彩电的平均寿命. 现从一批彩电中随机抽取~$n$
台进行寿命试验，试验进行到第~\!$r~(1\leq r \leq n)$ 台失效为止,
其失效时间为~\!$t_1\leq t_2\leq\cdots\leq t_r,$\! 其它~\!$n-r$\!
台彩电直到试验停止时还未失效，
这类试验称为定数截尾寿命试验，所得样本~\!$(t_1,t_2,\cdots,t_r)$\!
称为定数截尾样本，假定~$\theta$ 的先验分布为逆伽玛
分布~$\Gamma^{-1}(\alpha,\beta),$
求此批彩电的平均寿命和平均寿命的可信下限.%\medskip\pause

}

\frame{\frametitle{例~4.3.2}
\begin{itemize}

\item {\bf 解}
~设抽取的~$n$ 台彩电的寿命为~$X_1,X_2,\cdots,X_n,$
令~$X_{(1)}\leqslant \cdots \leqslant X_{(n)}$\!
为其次序统计量，\!记~\!$t_1=X_{(1)},\cdots,t_r=X_{(r)},$\!
易知\pause\vspace{-2mm}
$$\hspace{3cm}
T\!=\!\sum_{j=1}^{r}t_{j}+(n-r)t_{r}\hspace{2cm}(4.3.2)\vspace{-2mm}
$$
是~$\theta$ 的充分统计量，且给定~$\theta$ 时~$2T/\theta\sim
\chi_{2r}^{2},$ 故~$T$ 的密度函数为\pause\vspace{-2mm}
\begin{equation*}
g(t|\theta)=\frac{\theta^{-r}}{\Gamma(r)}t^{r-1}\exp\Big\{-\frac{t}{\theta}\Big\}\cdot
I_{(0,\infty)}(t)\quad (\theta>0).\vspace{-2mm}
\end{equation*}\pause

\item 设~$\theta$ 的先验为共轭先验，其密度函数为\vspace{-2mm}
$$
\qquad\pi(\theta)=\frac{\beta^\alpha}{\Gamma(\alpha)}\theta^{-(\alpha+1)}
\exp\Big\{-\frac{\beta}{\theta}\Big\}\cdot
I_{(0,\infty)}(\theta),\qquad(4.3.3)\vspace{-2mm}
$$

\end{itemize}
}

\frame{\frametitle{例~4.3.2}
\begin{itemize}

\item 由定理~3.4.2(3) 可知~$\theta$ 的后验密度为\vspace{-2mm}
$$
\pi(\theta|t)=\frac{(t+\beta)^{r+\alpha}}{\Gamma(r+\alpha)}
\theta^{-(r+\alpha+1)} \exp\Big\{-\frac{t+\beta}{\theta}\Big\}\cdot
I_{(0,\infty)}(\theta),~(4.3.4)\vspace{-2mm}
$$
即~$\theta$
的后验分布为逆伽马分布~$\Gamma^{-1}(r+\alpha,t+\beta).$\medskip\pause


\item 因此，$\theta$ 的后验期望估计就是彩电的平均寿命，故有
$$ \hspace{2cm} \hat\theta_E=E(\theta|t)=\frac{t+\beta}{r+\alpha-1}.\hspace{2.4cm}(4.3.5)\vspace{-4mm}$$
\pause

\item 为了在构造~$\theta$ 的可信下限时方便查表，
需要对~$\theta$ 的后验分布~$\Gamma^{-1}(r+\alpha,t+\beta)$
做一些变换：\medskip\pause

(1) ~若~$\theta|t \sim \Gamma^{-1}(r+\alpha,t+\beta),$
则\vspace{-2mm} $\theta^{-1}|t \sim \Gamma(r+\alpha,t+\beta);$
\medskip\pause

(2) ~若~$\theta^{-1}|t \sim \Gamma(r+\alpha,t+\beta),$ 则
$2(t+\beta)\theta^{-1}|t\sim \chi^2_{2(r+\alpha)},$
其中~$f=2(r+\alpha)$ 为~$\chi^2$ 分布的自由度.
\medskip\pause

\end{itemize}
}

\frame{\frametitle{$\theta$的贝叶斯估计和可信下限} \vspace{-2mm}

\begin{itemize}

\item 设~$\chi^2_f(\eta)$ 是自由度为~$f$ 的~$\chi^2$ 分布的上侧~$\eta$ 分位数，则有\vspace{-2mm}
$$P\bigg(\frac{2(t+\beta)}{\theta}\leq \chi^2_f(\eta)~\!\big|~\!t\bigg)
=P\bigg(\frac{2(t+\beta)}{\chi^2_f(\eta)}\leq\theta~\!\Big|~\!t\bigg)=1-\eta.$$\\
\vspace{-2mm}\pause

\item 于是可得 $\theta$ 的~$1-\eta$ 的可信下限为\vspace{-2mm}
$$\hspace{3cm}\hat\theta_L=\frac{2(t+\beta)}{\chi^2_f(\eta)},\hspace{3cm}(4.3.6)$$

\item 下面是一个具体数字的例子. 为求出彩电平均寿命~$\theta$ 的
贝叶斯估计的具体值，需要确定先验分布中超参数~$\alpha$ 和~$\beta$
的值. 我国彩电 生产实验室和一些独立的实验室收集到~13142
台彩电寿命试验的数据，共计~5369812 台时，此外还有~9240
台彩电进行了三年现场跟踪试验，总共进行了~5547810
台时试验，试验中总共失效台数不超过~250 台.
\end{itemize}
}

\frame{\frametitle{例子}

\begin{itemize}

\item 对如此大量先验信息加工整理后，确认我国彩电平均寿命不低于~30000~小时，它的~$10\%
$ 的分位数~$\theta_{0.1}$
大约为~11250~小时，经过一些专家认定，这两个数据符合我国八十年代彩电
寿命的实际情况，也是留有余地的. \medskip\pause

\item 由此可列出如下两个方程\vspace{-2mm}
\begin{eqnarray*}
\left\{\begin{array}{ll} &\dl\frac{\beta}{\alpha-1}=30000~\!;\vspace{-1mm}\\
&\hspace{8cm}(4.3.7)\vspace{-1mm}\\
&\dl\int_0^{11250}\!\!\!\!\!\pi(\theta)d\theta=0.1~\!,\end{array}\right.
\end{eqnarray*}\\ \vspace{-2mm}
其中第一个方程式由先验分布为逆伽玛分布~~$\Gamma^{-1}(\alpha,\beta)$
的数学期望 ~$E(\theta)=\beta/(\alpha-1)$ 确定的.
在计算机上解此方程组得\vspace{-2mm}
$$\hspace{2cm}
\alpha=2.9914,\qquad \beta=59742.\hspace{2cm}(4.3.8)\vspace{-6mm}
$$
\end{itemize}
}


\frame{\frametitle{$\theta$ 的贝叶斯估计和可信下限} \vspace{-2mm}

\begin{itemize}

\item 由式~(4.3.8) 可知
~$\theta$ 的先验分布为$ \Gamma^{-1}(2.9914,59742),$
后验分布~$\theta|t \sim
\Gamma^{-1}(r+2.9914,t+59742).$\medskip\pause

\item 现随机抽取~100 台彩电，在规定条件下连续进行~400 小时寿命试验，没有发生一台失效，这时总试验
时间为\vspace{-2mm}
$$\hspace{1.5cm} t=100\times 400=40000~\mbox{小时}, \qquad r=0.\hspace{1cm}(4.3.9)$$
\\\vspace{-2mm}\pause

\item 由于后验分布~$\theta|t \sim
\Gamma^{-1}(r+2.9914,t+59742),$ 再由式~(4.3.5)、\\(4.3.8) 和~(4.3.9)
可知彩电平均寿命~$\theta$ 的贝叶斯估计为\vspace{-2mm}
$$\hat\theta_B=\frac{\beta+t}{r+\alpha-1}=\frac{59741+40000}{2.9914-1}\approx
50086\mbox{小时}.$$
\end{itemize}
}


\frame{\frametitle{$\theta$ 的贝叶斯估计和可信下限} \vspace{-2mm}
\begin{itemize}

\item 在式~(4.3.6) 中，
%这里~$\alpha=2.9914,~\beta=59741,~t=40000,~r=0,$
~$f=2(r+\alpha)=5.9828,$ 当自由度~$f$ 不是自然数时, ~$\chi^2$
分布表不存在，通过线性插值求得其近似值为~$\chi^2_{5.9828}(0.10)=10.621~\!.$\medskip\pause


\item 最后, 最后由式~(4.3.6)、式~(4.3.8) 和式~(4.3.9)
可得~$\theta$ 的可信系数~$0.90$ 的可信下限为
$$\hat\theta_L=\frac{2(t+\beta)}{\chi^2_f(\eta)}=\frac{2(40000+ 59741)}{10.621}=18782\mbox{小时}.$$
\\\vspace{-2mm}\pause


\item 上述计算表明，八十年代我国彩电的平均寿命大约~50000 小时，而平均寿命的水平~$90\%$ 的可信下限约为
~18800 小时.

\end{itemize}
}








\subsection{4.3.2 最大后验密度~(HPD) 可信区间}

\frame{\frametitle{HPD 可信区间的定义}

\begin{itemize}

\item 等尾可信区间在实际中常被用，计算方便，但不是最好的，最好的可信区间应是区间长度最短的.
若后验分布是单蜂对称，则等尾是最好的.
要使可信区间最短，只有把具有最大后验密度的点都包含在区间的，而在区间外的点后验密度的值
都不会超过区间内的点后验密度的值，
这样的区间称为最大后验密度可信区间，定义如下：\medskip\pause

\item {\bf 定义~4.3.2}
~设参数~$\theta$
的后验密度为~$\pi(\theta|\bm{x})$，对给定的概率\\
\noindent $1-\alpha~(0<\alpha<1),$ 集合~$C$
满足如下条件：\smallskip\pause

(i) ~~$P(\theta\in C~\!|~\!\bm{x})=1-\alpha,$\smallskip\pause

(ii) ~对任给的~$\theta_1\in C$ 和~$\theta_2~\overline\in~C,$ 总有
$\pi(\theta_1~\!|~\!\bm{x})>\pi(\theta_2~\!|~\!\bm{x}),$\\\smallskip\pause

\noindent 则称~$C$ 为~$\theta$ 的可信水平~$1-\alpha$
最大后验密度可信集,
简称为~$1-\alpha$ 的~HPD 可信集~(区间).%\medskip\pause



\end{itemize}
}

\frame{\frametitle{HPD 可信区间}

\vspace{-8mm}

\begin{figure}[h,p,t]
\centering { \includegraphics[scale=0.36,angle=0]{fig351.pdf}}
\centerline{\bf\it 图3.5.1~~HPD可信区间}\label{fig351}\vspace{0mm}
\end{figure}
}


\frame{\frametitle{HPD 可信区间的定义}
\begin{itemize}

\item{\bf 注~4.3.1} ~当后验密度~$\pi(\theta|x)$ 为单峰时，HPD
可信区间总存在；当后验密度
为多峰时，可能得到几个互不连接的区间组成~HPD 可信区间~(见图~3.5.1).
\medskip\pause

\item 当后验分布为单峰对称时，$1-\alpha$ 的~HPD 可信区间易求，它就是等尾的区间. 当后验密度虽为单峰，
但不对称时，寻求~HPD 可信区间并不容易，可用计算机进行数值计算.
例如，当后验密度~$\pi(\theta|x)$ 为单峰
连续函数时，可按下述方法逐步逼近，获得~$\theta$
可信水平为~$1-\alpha$ 的~HPD 可信区间.
\end{itemize}
}

\frame{\frametitle{HPD 可信区间数值计算的程序}
\begin{itemize}

\item (1) ~对给定的~$k$ 建立子程序：解方程~$\pi(\theta|\bm{x})=k$, 解得~$\theta_{1}(k)$ 和~$\theta_{2}(k)$,
从而组成一个区间\vspace{-2mm}
$$C(k)=[\theta_{1}(k),\theta_{2}(k)]=\{\theta:\pi(\theta~\!|~\!\bm{x})\geq k\}.\vspace{-4mm}
$$\pause

\item (2) ~建立第二个子程序，用来计算概率：\vspace{-2mm}
$$P(\theta\in C(k)~\!|~\!\bm{x})=\int_{C(k)}\pi(\theta~\!|~\!\bm{x})d\theta.\vspace{-4mm}
$$\pause

\item (3) ~对给定的~$k$ 若~$P(\theta\in C(k)~\!|~\!\bm{x})\approx 1-\alpha$,
则~$C(k)$ 即为所求的~HPD~可信区间.\medskip\pause

\item 若~$P(\theta\in C(k)~\!|~\!\bm{x})>1-\alpha$，则增大~$k$，再转入~(1) 与~(2);
若~$P(\theta\in C(k)~\!|~\!\bm{x})<1-\alpha$，则减小~$k$，再转入~(1)
与~(2).
\end{itemize}
}

\frame{\frametitle{例子}
\begin{itemize}

\item {\bf 例~4.3.3}
~设~~$X_{1},\cdots,X_{n}~iid \sim N(\theta,\sigma^2)$, $\sigma^2$
已知，$\theta$ 的先验分布为无信息先验， 即~$\pi(\theta)\equiv
1,~\theta\in R_1,$ ~求~$\theta$ 的可信水平为~$1-\alpha$
的~HPD~可信区间.\medskip\pause

\item {\bf 例~4.3.4} ~在例~4.3.2 中已确定彩电的平均寿命~$\theta$ 的后验分布
为逆伽马分布~$\Gamma^{-1}(2.9914,99741),$ 求~$\theta$
的可信水平为~$0.90$ 的最大后验密度(HPD) 可信区间.\medskip\pause

\item 此例中求~HPD 可信区间要用数值方法. 先求出~$\theta$
的可信系数~0.90 的等尾的可信区间~(但它不是~HPD 的),
在此基础上再用求~HPD 可信区间迭代~3 步骤，通过数值方法求出~HPD
可信区间为~[10037,91717].

\end{itemize}
}

\frame{\frametitle{例子}
\begin{itemize}

\item {\bf 例~4.3.5}
~设~$X_{1},\cdots,X_{n}$ 为从柯西分布 ~$C(\theta,1),~\theta>0$
中抽取的简单样本, 取先验~~$\pi(\theta)\equiv 1,~\theta>0,$
求~$\theta$ 的可信水平为~$1-\alpha$ 的~HPD 可信区间.\medskip\pause

\item 这是一个很不容易计算的后验分布，找~$1-\alpha$ 的~HPD\!~可信区间由计算机进行很容易. 如
~$n=5,~\!\bm{x}=(4.0,~\!5.5,~\!7.5,~\!4.5,~\!3.0)$\!\\
\noindent 则通过数值方法求得~$95\%$ HPD~可信区间为~(3.10,~6.06).
相反，对此问题如何求得一个经典置信区间还不很清楚，因求经典置信区间需要构造一个枢轴变量，
找出枢轴变量的分布是一项技术性很强的工作, 相当困难.
而寻求可信区间只需要利用后验分布, 不需要寻求另外的分布,
相对说来要简单得多.
\end{itemize}

}

\subsection{4.3.3 大样本方法}
\frame{\frametitle{1. 一元情形}

\begin{itemize}

\item 设~$X_{1},\cdots,X_{n} ~iid\sim
f(x|\theta)$\!, 记~$\mathbf{X}=(X_{1},\cdots,X_{n})$,$
f_n(\bm{x}|\theta)=$ $\prod\limits_{i=1}^{n}f(x_{i}|\theta)$, $
\pi(\theta)$ 为先验分布， 则\vspace{-3mm}
$$\pi_n(\theta|\bm{x})=\frac{f_n(\bm{x}|\theta)\pi(\theta)}{m_n(\bm{x})}.\vspace{-1mm}
$$
此处~$m_n(\bm{x})$ 为边缘分布.\medskip\pause

\item 在适当条件下可证明：\!当~$n$ 充分大时, 后验分布~$\pi_{n}(\theta|\bm{x})$ 近似服从
~$N\big(\mu^{\pi}(\bm{x}),V^{\pi}(\bm{x})\big)$,
此处~$\mu^{\pi}(\bm{x})$ 和~$V^{\pi}(\bm{x})$
分别为后验均值和后验方差.\medskip\pause

\item 此时~$\theta$ 的可信水平近似为~$1-\alpha$ 的~HPD~可信区间为\vspace{-2mm}
$$
\left(\mu^{\pi}(\bm{x})-u_{\alpha/2}\sqrt{V^{\pi}(\bm{x})},
\mu^{\pi}(\bm{x})+u_{\alpha/2}\sqrt{V^{\pi}(\bm{x})}\right).
$$
\end{itemize}
}

\frame{\frametitle{例子}

\begin{itemize}

\item {\bf 例~4.3.6} (续例~4.3.5) ~由例~4.3.5
中给出的后验密度显然不是正态的，用后验分布的渐近正态分布求 ~$\theta$
的可信水平近似为~$1-\alpha$ 的~HPD~可信区间.\medskip\pause

\item \hspace{1.8cm}{\bf 表~4.3.1~~实际的和近似的后验分位数}
\vspace{2mm}

\begin{tabular}{c|ccccc}
\hline
$\alpha$ &~2.5~&~25~&~50~&~75~&97.5\\
\hline

$\pi(\theta|\bm{x})$ 的~$\alpha$ 分位数& 3.17 & 4.07 & 4.52 &5.00
&6.15\\
\hline

$N(\mu^\pi,V^\pi)$ 的~$\alpha$ 分位数 & 3.08 & 4.05 & 4.55 &
5.06&6.02\\
\hline
\end{tabular}\medskip\pause

\item 由后验分布的渐近正态分布得到~$\theta$ 的可信水平近似~$95\%$
的\\
\noindent HPD 可信区间为~$C=(3.08,~\!6.02),$ 它与在例~4.3.5
中经由计算机计算获得的真实可信水平为~~$95\%$
的~HPD~可信区间为\\
\noindent $(3.10,~\!6.06)$ 非常接近， 这个近似可信区间~$C$
具有实际的后验概率为~0.948, 与~0.95 非常接近.
\end{itemize}
}

\frame{\frametitle{2. 多元情形}

\begin{itemize}

\item {\bf 例~4.3.7}
~设~$\bm{X}\sim N_{p}(\bm\theta,\Sigma)$,$ \pi(\bm\theta)$
为~$N_{p}(\bm\mu,A),$ 其中~$\bm\mu,~A$ 已知，求~$\bm\theta$
的可信水平为~$1-\alpha$ 的可信集.\medskip\pause

\item 类似一元情形，可证明后验密度~$\pi(\bm\theta|\bm{x})$ 是~$
N_{p}(\bm{\mu}^{\pi}(\bm{x}),V^{\pi}(\bm{x})),$
其中~$\bm{\mu}^{\pi}(\bm{x})$和$V^{\pi}(\bm{x})$分别为后验均值向量和后验协方差阵：\vspace{-2mm}
\begin{eqnarray*}
&&\bm{\mu}^{\pi}(\bm{x})=\bm{x}-\Sigma(\Sigma+A)^{-1}(\bm{x}-\bm\mu)~\!,\\
&&
V^{\pi}(\bm{x})=(A^{-1}+\Sigma^{-1})^{-1}=\Sigma-\Sigma(A+\Sigma)^{-1}\Sigma~\!.
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 由多元正态分布理论可知\vspace{-2mm}
$$(\bm\theta-\bm{\mu}^{\pi}(\bm{x}))^\tau
[V^{\pi}(\bm{x})]^{-1}(\bm\theta-\bm{\mu}^{\pi}(\bm{x}))\sim
\chi_{p}^2,\vspace{-5mm}
$$\pause

\item $\bm\theta$ 的~$100(1-\alpha)\%$ 的HPD可信椭球为\vspace{-2mm}
$$
C=\left\{\bm\theta:(\bm\theta-\bm\mu^{\pi}(\bm{x}))'[V^{\pi}(\bm{x})]^{-1}(\bm\theta-\bm\mu^{\pi}(\bm{x}))
\leq\chi_{p}^2(\alpha)\right\}~\!,\vspace{-2mm}
$$
此处~$\chi_{p}^2(\alpha)$ 为~$\chi^2$ 分布的上侧~$\alpha$ 分位数.
\end{itemize}
}



\section{4.4 假设检验}
\subsection{4.4.1 一般方法}

\frame{\frametitle{假设检验的一般方法}

\begin{itemize}

\item 设检验问题仍如第~1.2.3 小节中所述, 即\vspace{-2mm}
$$H_{0}:\theta\in\Theta_{0}\leftrightarrow H_{1}:\theta\in\Theta_{1}.\vspace{-2mm}
$$
经典的假设检验方法中，对上述检验问题要通过对犯~I、II
型错误的概率的大小来评价检验优劣.\smallskip\pause

\item 贝叶斯方法处理假设检验问题是直接了当的.
在求得~$\theta$ 的后验分布~$\pi(\theta|x)$ 后, 计算 ~$\Theta_0$
和~$\Theta_1 $的后验概率\vspace{-2mm}
$$\alpha_{0}=P(\theta\in \Theta_0|x),\qquad \alpha_{1}=P(\theta\in\Theta_1|x),\vspace{-2mm}
$$
比较~$\alpha_0$ 和~$\alpha_1$ 的大小决定接受~$H_0$ 还是~$H_1.$
~$\alpha_0$ 和~$\alpha_1$ 是
综合了样本信息和先验信息得出两个假定发生的概率.
得检验如下:\vspace{-1mm}
$$
\mbox{当}~\alpha_0/\alpha_1
>1~\mbox{时接受}~H_0,~\mbox{否则拒绝}~H_0.\vspace{-5mm}
$$\pause

%\item 由此可见: 贝叶斯假设检验方法是简单的. 与频率方法相比,
%它无需选择检验统计量、确定抽样分布; 无需给出显著性水平, 确定否定域；
%而且容易推广到多重假设检验情形.
\end{itemize}
}

\frame{\frametitle{假设检验的例子}

\begin{itemize}

\item 由此可见: 贝叶斯假设检验方法是简单的. 与频率方法相比,
它无需选择检验统计量、确定抽样分布; 无需给出显著性水平, 确定否定域；
而且容易推广到多重假设检验情形.\smallskip\pause

\item {\bf 例~4.4.1} ~设随机变量~$X$ 是从二项分布~$B(n,\theta)$ 中抽取的一个样本,
取~$\theta$ 的先验分布为均匀分布~$U(0,1),$
求下列检验问题:\vspace{-2mm}
$$H_{0}:~\theta\leq 1/2 \leftrightarrow H_{1}:~\theta>1/2.\vspace{-7mm}
$$\pause

\item 取~$n=5,$可算得各种~$x$ 下后验概率及后验机会比~$\frac{\alpha_0}{\alpha_1}$ 如下

\smallskip
\qquad\qquad \qquad\qquad {\bf 表~4.4.1~~~$\theta$ 的后验机会比} %\vspace{-4mm}
\begin{table}[h]
\small\scriptsize \vspace{-0mm}
\begin{tabular}{c|c c c c c c }\hline
       x& ~~0~~ & ~~1~~ & ~~2~~ & ~~3~~ & ~~4~~ & ~~5~~ \\\hline
$\alpha_0 $& 63/64 & 57/64 & 42/64 & 22/64 & 7/64  & 1/64   \\\hline
$\alpha_1$ & 1/64 & 7/64 & 22/64 & 42/64 & 57/64 & 63/64    \\\hline
$\alpha_0/\alpha_1$ &63.0&8.14&1.91& 0.52& 0.12 & 0.016    \\\hline
\end{tabular}
\end{table}
可见当~$x=0,1,2$ 时接受~$H_0,$ 当~$x=3,4,5$ 时拒绝~$H_0.$
\end{itemize}
}

\subsection{4.4.2 贝叶斯因子}
\frame{\frametitle{贝叶斯因子的定义}

\begin{itemize}

\item {\bf定义~4.4.1}
~设两个假设~$\Theta_{0}$ 和~$\Theta_{1}$ 的先验概率分别为~$\pi_0$
和~$\pi_1,$ 后验概率分别为~$\alpha_0$ 和~$\alpha_1,$
比例~$\alpha_0/\alpha_1$ 称为~$H_0$ 对~$H_1$
的后验机会比，$\pi_0/\pi_1$ 被称为先验机会比，则称\vspace{-2mm}
$$
B^{\pi}(\bm{x})=\frac{\mbox{后验机会比}}{\mbox{先验机会比}}=\frac{\alpha_{0}/\alpha_{1}}{\pi_{0}/\pi_{1}}
=\frac{\alpha_{0}\pi_{1}}{\alpha_{1}\pi_{0}}\vspace{-2mm}
$$
为支持~$H_0$ 的贝叶斯因子. ~$B^{\pi}(\bm{x})$ 取值越大，对~$H_0$
的支持程度越高.\medskip\pause

\item {\bf 注~4.4.1} ~从贝叶斯因子定义看，它既依赖于数据~$\bm{x},$ 又依赖于先验分布~$\pi,$ 对两种机会比相除，
很多人认为，这会减弱先验分布的影响，突出数据的影响.
从这定义上看贝叶斯因子~$B^{\pi}(\bm{x})$ 是反映数据~$\bm{x}$
支持~$H_{0}$ 的程度.
\end{itemize}
}

\subsection{4.4.3 简单假设对简单假设情形}
\frame{\frametitle{简单假设对简单假设}

\begin{itemize}

\item 要解释~$B^{\pi}(\bm{x})$ 的意义，首先看~$\Theta_{0}$ 和~$\Theta_{1}$ 皆为
简单假设的情形，即~$H_{0}:\Theta_{0}=\{\theta_{0}\}\leftrightarrow
H_{1}:\Theta_{1}=\{\theta_{1}\}.$
此时\vspace{-2mm}
$$\alpha_{0}=P(\Theta_{0}|\bm{x})
=\frac{f(\bm{x}|\theta_{0})\pi_{0}}{f(\bm{x}|\theta_{0})\pi_{0}
+f(\bm{x}|\theta_{1})\pi_{1}},\vspace{-2mm}
$$
$$\alpha_{1}=P(\Theta_{1}|\bm{x})
=\frac{f(\bm{x}|\theta_{1})\pi_{1}}{f(\bm{x}|\theta_{0})\pi_{0}
+f(\bm{x}|\theta_{1})\pi_{1}},\vspace{-2mm}
$$\pause

\item 其中~$f(\bm{x}|\theta)$ 为样本的分布，这时后验机会比为\vspace{-2mm}
$$\hspace{3cm}
\frac{\alpha_{0}}{\alpha_{1}}=\frac{\pi_{0}f(\bm{x}|\theta_{0})}
{\pi_{1}f(\bm{x}|\theta_{1})}.\hspace{3cm}(4.4.4)\vspace{-3mm}
$$\pause

\item 故贝叶斯因子为\vspace{-3mm}
$$B^{\pi}(\bm{x})=\frac{\alpha_{0}/\alpha_{1}}{\pi_{0}/\pi_{1}}
=\frac{f(\bm{x}|\theta_{0})}{f(\bm{x}|\theta_{1})}.$$
\end{itemize}
}

\frame{\frametitle{简单假设对简单假设}

\begin{itemize}

\item 如果要拒绝零假设~$H_0,$ 则要求~$\alpha_0/\alpha_1<1,$ 由~(4.4.4) 可见其等价于\vspace{-1mm}
$$
\frac{f(\bm{x}|\theta_{1})}{f(\bm{x}|\theta_{0})}>\frac{\pi_{0}}{\pi_{1}}.\vspace{-1mm}
$$
这与著名的~Neyman-Pearson~引理的基本结果类似，从贝叶斯 观点看,
这个临界值就是两个先验概率比.\medskip\pause

\item 因此可见~$B^{\pi}(\bm{x})$ 正是~$\Theta_{0}\leftrightarrow\Theta_{1}$
的似然比，它通常被认为是由数据给出的
~~$\Theta_{0}\leftrightarrow\Theta_{1}$ ~的机会比.
由于此种情形的贝叶斯因子不依赖于先验分布，
仅依赖于样本的似然比，故贝叶斯因子~$B^{\pi}(\bm{x})$
可视为是数据~$\bm{x}$ 支持~$\Theta_{0}$ 的程度.\medskip\pause

\item {\bf 例~4.4.2} ~设~$X\sim
N(\theta,1),$ ~其中~$\theta$ 的取值有两种可能，非~$0$ 即~$1,$
令~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从总体~$X$ 中抽取的简单样本.
要检验假设\vspace{-2mm}
$$H_{0}:\theta=0\leftrightarrow H_{1}:\theta=1.$$


%\item 如果要拒绝零假设~$H_0,$ 则要求~$\alpha_0/\alpha_1<1,$ 由~(3.6.4) 可见其等价于\vspace{-1mm}
%$$
%\frac{f(\bm{x}|\theta_{1})}{f(\bm{x}|\theta_{0})}>\frac{\pi_{0}}{\pi_{1}}.\vspace{-1mm}
%$$
%这与著名的~Neyman-Pearson~引理的基本结果类似, 从贝叶斯 观点看,
%这个临界值就是两个先验概率比.\medskip\pause
%
%\item 因此可见~$B^{\pi}(\bm{x})$ 正是~$\Theta_{0}\leftrightarrow\Theta_{1}$
%的似然比，它通常被认为是由数据给出的
%~$\Theta_{0}\leftrightarrow\Theta_{1}$ 的机会比.
%由于此种情形的贝叶斯因子 不依赖于先验分布,
%仅依赖于样本的似然比，故贝叶斯因子~$B^{\pi}(\bm{x})$
%可视为是数据~$\bm{x}$ 支持~$\Theta_{0}$ 的程度.\medskip\pause
%
%\item {\bf 例~3.6.2} ~设~$X\sim
%N(\theta,1),$
%其中~$\theta$ 的取值有两种可能，非~0~即~1，令~$\mathbf{X}=(X_{1},\cdots,X_{n})$
%为从总体~$X$ 中抽取的简单样本.要检验假设\vspace{-2mm}
%$$H_{0}:\theta=0\leftrightarrow H_{1}:\theta=1.$$
\end{itemize}
}

\subsection{4.4.4 复杂假设对复杂假设情形}
\frame{\frametitle{复杂假设对复杂假设}
\vspace{-2mm}

\begin{itemize}

\item 考虑下列假设检验问题：\vspace{-2mm}
$$H_{0}:\theta\in\Theta_{0}\longleftrightarrow
H_{1}:\theta\in\Theta_{1},\vspace{-5mm}
$$\pause

\item 将先验分布$\pi(\theta)$写成如下形式：\vspace{-1mm}
$$\pi(\theta)=\left\{\begin{array}{ll}
\pi_{0}g_{0}(\theta),&\mbox{当~}\theta\in\Theta_{0}\\
\pi_{1}g_{1}(\theta),&\mbox{当~}\theta\in\Theta_{1}\\
\end{array}\right.\vspace{-1mm}
$$
其中~$\pi_{0}$ 和~$\pi_{1}$ 分别为~$\Theta_{0}$ 和~$\Theta_{1}$
上的先验概率, ~$g_0(\theta)$ \!和~$g_1(\theta)$ 分别是~$\Theta_{0}$
和~$\Theta_{1}$ 上的概率密度函数. 易见\vspace{-2mm}
$$\int_{\Theta}\pi(\theta)d\theta
=\int_{\Theta_{0}}\pi_{0}g_0(\theta)d\theta
+\int_{\Theta_{1}}\pi_{1}g_1(\theta)d\theta=\pi_{0}+\pi_{1}=1~\!,\vspace{-2mm}
$$
即~$\pi(\theta)$ 是先验密度.%\medskip
\end{itemize}
}

\frame{\frametitle{复杂假设对复杂假设}

\begin{itemize}

\item 在上述记号下，后验概率比为\vspace{-2mm}
$$\frac{\alpha_{0}}{\alpha_{1}}=\frac{\dl\int_{\Theta_{0}}f(\bm{x}|\theta)\pi_{0}g_{0}(\theta)d\theta}
{\dl\int_{\Theta_{1}}f(\bm{x}|\theta)\pi_{1}g_{1}(\theta)d\theta}~.\vspace{-3mm}
$$\pause

\item 故贝叶斯因子可表示为\vspace{-3mm}
$$B^{\pi}(\bm{x})=\frac{\alpha_{0}/\alpha_{1}}{\pi_{0}/\pi_{1}}
=\frac{\dl\int_{\Theta_{0}}f(\bm{x}|\theta)g_{0}(\theta)d\theta}
{\dl\int_{\Theta_{1}}f(\bm{x}|\theta)g_{1}(\theta)d\theta}
=\frac{m_{0}(\bm{x})}{m_{1}(\bm{x})}~\!.\vspace{-3mm}
$$\pause


\end{itemize}
}

\frame{\frametitle{复杂假设对复杂假设}

\begin{itemize}
\item 可见~$B^{\pi}(x)$ 还依赖于~$\Theta_{0}$ 和~$\Theta_{1}$ 上的先验密度~$g_0$ 和~$g_1,$
这时贝叶斯因子虽然已不是似然比， 但仍可看作~$\Theta_{0}$
和~$\Theta_{1}$ 上的加权似然比 (权重分别为~$g_0$ 和~$g_1$).
此时还不能认为对两个假设支持的度量完全由数据~$\bm{x}$ 决定，
它还和~$g_0$ 和~$g_1$ 有关, 只能说它部分地消除了先验分布的影响.
当~$B^{\pi}(\bm{x})$ 对~$g_0$ 和~$g_1$
的选择相对不敏感时，那么在这一情形下才可以说仅仅由
数据来决定上述比值是合理的了.\medskip\pause

\item
若设~$\hat{\theta}_0$ 与~$\hat{\theta}_1$ 分别是~$\theta$
在~$\Theta_{0}$ 和~$\Theta_{1}$ 的~MLE (极大似然估计),
那么经典统计中使用的似然比统计量\vspace{-2mm}
$$\lambda(\bm{x})=\frac{f(\bm{x}|\hat{\theta}_0)}{f(x|\hat{\theta}_1)}
=\frac{\sup_{\theta\in\Theta_0}f(\bm{x}|{\theta}_0)}{\sup_{\theta\in\Theta_1}
f(\bm{x}|{\theta}_1)}\vspace{-2mm}
$$
是贝叶斯因子~$B^{\pi}(\bm{x})$ 的特殊情况，即认为~$g_{0}(\theta)$ 和
~$g_{1}(\theta)$ 的质量全部集中在~$\hat{\theta}_0$
与~$\hat{\theta}_1$ 上.
\end{itemize}
}


\frame{\frametitle{复杂假设对复杂假设}

\begin{itemize}

\item {\bf 例~4.4.3}
~在一个儿童做智力测验问题中，设测验结果~~$X\sim$ $
N(\theta,100),~\theta$ 为这个孩子测验中的智商真值, $\theta$
的先验分布为\\
\noindent $N(100,225).$ 该儿童测验得分~$x=115,$
求下列检验问题:\vspace{-2mm}
$$H_{0}:\theta\leq100\leftrightarrow
H_{1}:\theta>100.\vspace{-5mm}
$$\pause

\item {\bf 例~4.4.4}
~当~$X\sim N(\theta,\sigma^2),~\!\sigma^2$ 已知. 设~$\theta$
的先验分布为无信息先验，即~$\pi(\theta) \equiv 1,~\theta\in
\mathscr{R},$ 求检验问题：\vspace{-2mm}
$$H_{0}:\theta\leq\theta_{0}\longleftrightarrow H_{1}:\theta>\theta_{0}.\vspace{-5mm}
$$\pause

\item {\bf 例~4.4.5} ~设从正态总体~$N(\theta,1)$ 中随机抽取一个容量为~10
的样本~$\mathbf{X}=(X_1,\cdots,X_{10}),$ 算得样本均值
~$\bar{X}=1.5~\!,$ 令~$\theta$
的先验分布为共轭先验分布~$N(0.5,~\!2),$ 求下列检验问题:\vspace{-2mm}
$$H_{0}:\theta\leq 1\longleftrightarrow H_{1}:\theta>1.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{复杂假设对复杂假设}
\begin{itemize}

\item ~由定理~3.2.2(1), 可算得~$\theta$
后验分布为~$N(1.4524,0.3086^2),$ 故有\vspace{-2mm}
$$\alpha_0\!=\!P\big(\theta\leq 1|\bm{x}\big)\!=\!\Phi(-1.4660)\!=\!0.0708,~\alpha_1\!=\!1-\alpha_0\!=\!0.9292.\vspace{-5mm}$$
\pause

\item ~由先验分布~$N(0.5,2)$ 可算得~$H_0$ 与~$H_1$ 成立时的先验概率\vspace{-2mm}
$$\pi_0\!=\!\Phi\Big(\frac{1-0.5}{\sqrt{2}}\Big)\!=\!\Phi(0.3536)\!=\!0.6368,~\pi_1\!=\! 1-\pi_0\!=\! 0.3632.\vspace{-5mm}$$
\pause

\item ~因此叶斯因子为\vspace{-2mm}
$$B^{\pi}(\bm{x})=\frac{\alpha_0/\alpha_1}{\pi_0/\pi_1}
=\frac{0.0762}{1.7533}=0.0435.\vspace{-2mm}
$$
可见，支持~$H_0$
的贝叶斯因子也很小, 应否定~$H_0.$
\end{itemize}
}


\frame{\frametitle{复杂假设对复杂假设}

%\begin{itemize}

\noindent {\bf 注~4.4.3 } 下面的例子是例~4.4.5
的继续，它将告诉我们：贝叶斯因子对
样本数据变化的反映是灵敏的，而对先验信息变化的反映是迟钝的.
由此可见贝叶斯因子~$B^{\pi}(\bm{x})$ 的作用，突出反映数据~$\bm{x}$
支持零假设~$H_{0}$ 的程度.\medskip

\centerline{\bf 表~4.4.2~~样本均值~$\bar{x}$
对Bayes因子的影响}\vspace{-5mm}
\begin{table}[h]
\small\scriptsize \vspace{-1mm}
$$\begin{tabular}{c|c c c c c}\hline

~~~$\bar{x}$  ~~~&~~~  $\alpha_0$  ~~~&~~~  $\alpha_1$  ~~~&~~~
$\alpha_0/\alpha_1$  ~~~&~~~  $\pi_0/\pi_1$ ~~& $B^{\pi}(\bm{x})$
\\\hline

1.5  & 0.0708 & 0.9292 & 0.0762 & 1.7533 & 0.0435  \\\hline

1.4  & 0.1230 & 0.8770 & 0.1403 & 1.7533 & 0.0800   \\\hline

1.3  & 0.1977 & 0.8023 & 0.2464 & 1.7533 & 0.1405  \\\hline

1.2  & 0.2946 & 0.7054 & 0.4176 & 1.7533 &  0.2382 \\\hline

1.1  & 0.4090 & 0.5910 & 0.6920 & 1.7533 &  0.3947 \\\hline

1.0  & 0.5319 & 0.4681 & 1.1363 & 1.7533 &  0.6481 \\\hline

0.9  & 0.6517 & 0.3483 & 1.8711 & 1.7533 &  1.0672 \\\hline

0.8  & 0.7549 & 0.2451 & 3.0800 & 1.7533 &  1.7567 \\\hline

0.7  & 0.8413 & 0.1587 & 5.3012 & 1.7533 &  3.0236 \\\hline

0.6  & 0.9049 & 0.0951 & 9.5152 & 1.7533 &  5.4271 \\\hline

0.5  & 0.9474 & 0.0526 & 18.0114 & 1.7533 &  10.2729 \\\hline
\end{tabular}$$%\vspace{-5mm}
%\end{itemize}
\end{table}
}

\frame{\frametitle{复杂假设对复杂假设}
\begin{itemize}
\item 在例~\!4.4.5\! 中考虑先验分布不变的情况下，让样本均值~$\bar{x}$ 逐渐减少，我们计算后验机会比，
由于先验机会比~(1.7533) 不变，故可很快算得贝叶斯因子. 从表~4.4.2
可以看出，随着 样本均值~$\bar{x}$
的减少，贝叶斯因子在逐渐增大，这说明数据支持零假设~$H_0$
的程度在增大，这与直观感觉是一致的.\medskip\pause

\item 类似地，在表~4.4.3 中若样本容量~$n$ 和样本均值~$\bar{x}$
保持不变，让先验均值~$E(\theta)$ 从~0.5~逐渐增加到~1.5，
同样可算得后验机会比、先验机会比和贝叶斯因子. 从表 ~4.4.3
可以看出，随着先验均值 ~$E(\theta)$
的增加，贝叶斯因子虽有增加，但十分缓慢.\medskip\pause

\item 比较表~4.4.2 和表~4.4.3 可见：贝叶斯因子对
样本信息变化的反映是灵敏的，而对先验信息变化的反映是迟钝的.
\end{itemize}
}

\frame{\frametitle{复杂假设对复杂假设}

\centerline{\bf 表~4.4.3~~先验均值~$E(\theta)$
对贝叶斯因子的影响}\vspace{-7mm}
\begin{table}[h]
\small\scriptsize \vspace{-1mm}
$$\begin{tabular}{c|c c c c c}\hline

~~$E(\theta)$  ~~&~~  $\alpha_0$  ~~&~~  $\alpha_0/(1-\alpha_0)$
~~&~~ $\pi_0$  ~~&~~  $\pi_0/(1-\pi_0)$ ~&$B^{\pi}(\bm{x})$
\\\hline

0.5  & 0.0708 & 0.0761 & 0.6368 & 1.7553 & 0.0435  \\\hline

0.6  & 0.0694 & 0.0746 & 0.6103 & 1.5782 & 0.0472  \\\hline

0.7  & 0.0668 & 0.0715 & 0.5832 & 1.3992 & 0.0511  \\\hline

0.8  & 0.0655 & 0.0701 & 0.5557 & 1.2507 & 0.0560  \\\hline

0.9  & 0.0630 & 0.0672 & 0.5279 & 1.1182 & 0.0601  \\\hline

1.0  & 0.0618 & 0.0658 & 0.5000 & 1.0000 & 0.0658  \\\hline

1.1  & 0.0594 & 0.0632 & 0.4721 & 0.8943 & 0.0707  \\\hline

1.2  & 0.0582 & 0.0618 & 0.4443 & 0.7996 & 0.0773  \\\hline

1.3  & 0.0559 & 0.0592 & 0.4168 & 0.7147 & 0.0828  \\\hline

1.4  & 0.0548 & 0.0580 & 0.3897 & 0.6336 & 0.0915  \\\hline

1.5  & 0.0526 & 0.0555 & 0.3632 & 0.5704 & 0.0973  \\\hline
\end{tabular}$$
\end{table}
}


\subsection{4.4.5 简单假设对复杂假设}
\frame{\frametitle{简单假设对复杂假设}
\vspace{-2mm}

\begin{itemize}

\item 考虑下列假设检验问题：\vspace{-2mm}
$$H_0:\theta=\theta_0\longleftrightarrow H_1:\theta\neq\theta_0.\vspace{-2mm}
$$
这是经典统计中常见的一类检验问题. 当参数~$\theta$
为连续变量时，\!用简单假设~$H_0:\theta=\theta_0$ 是不合理的.
一个合理的假设是改上述检验为\vspace{-2mm}
$$H_0:~\theta\in[\theta_0-\varepsilon,\theta_0+\varepsilon]\longleftrightarrow
H_1:~\theta\notin~[\theta_0-\varepsilon,\theta_0+\varepsilon].\vspace{-2mm}
$$
此处~$\varepsilon$
是较小的正数，可选其为误差范围内一个较小的数.\medskip\pause

\item 下面考虑~$H_0:\theta=\theta_0\longleftrightarrow
H_1:\theta\neq\theta_0$ 的贝叶斯检验如何导出.
对~$H_0:\theta=\theta_0,$ ~\!不能采用连续密度作为先验密度，
一个有效的办法是给~$\theta_0$ 一个正概率~$\pi_0,$
而对~$\theta\neq\theta_0,$ 给一个加权密度~$\pi_{\D1}g_{\D1}(\theta)$
~(其中~$\pi_0+\pi_1=1$), 即~$\theta$ 的先验密度为\vspace{-2mm}
$$\pi(\theta)=\bigg\{\begin{array}{ll}
\pi_{0},&\mbox{当~}\theta=\theta_{0}\\
\pi_{\D1}g_{\D1}(\theta),&\mbox{当~}\theta\neq\theta_{0}
\end{array}\vspace{-2mm}
$$


\end{itemize}
}

\frame{\frametitle{简单假设对复杂假设}

\begin{itemize}

\item 设样本分布为~$f(\bm{x}|\theta)$，则易求边缘分布为\vspace{-2mm}
$$m(\bm{x})=\int_{\Theta}f(\bm{x}|\theta)\pi(\theta)d\theta
=\pi_0f(\bm{x}|\theta_0)+\pi_{\D1}m_{\D1}(\bm{x}).\vspace{-2mm}
$$
其中\vspace{-2mm}
$$m_{\D1}(\bm{x})=\int_{\{\theta\neq\theta_0\}}
f(\bm{x}|\theta)g_{\D1}(\theta)d\theta.\vspace{-2mm}
$$\pause

\item 故~$\theta=\theta_0$ 的后验
概率和~$\theta\neq\theta_0$ 的后验概率分别为\vspace{-2mm}
$$\alpha_0=\pi(\Theta_0|\bm{x})=\frac{\pi_0f(\bm{x}|\theta_0)}{m(\bm{x})},
\quad\alpha_1=\pi(\Theta_1|\bm{x})=\frac{\pi_{\D1}m_{\D1}(\bm{x})}{m(\bm{x})}.\vspace{-2mm}
$$\pause

\item 后验机会比为：\vspace{-2mm}
$$\frac{\alpha_0}{\alpha_1}=\frac{\pi_0f(\bm{x}|\theta_0)}{\pi_{\D1}m_{\D1}
(\bm{x})}.$$
\end{itemize}
}

\frame{\frametitle{简单假设对复杂假设}

\begin{itemize}

\item 于是贝叶斯因子为\vspace{-2mm}
$$B^{\pi}(\bm{x})=\frac{\alpha_0/\alpha_1}{\pi_0/\pi_1}=\frac{f(\bm{x}|\theta_0)}
{m_{\D1}(\bm{x})}.\vspace{-2mm}
$$
可见贝叶斯因子更简单.\medskip\pause

\item 故实际中常是先计算~$B^{\pi}(\bm{x}),$ 后计算
~$\alpha_0$ 和~$\alpha_1.$
因为由贝叶斯因子定义可知~$\alpha_0+\alpha_1=1,$ 可推出\vspace{-2mm}
$$\alpha_0=\pi(\Theta_0|\bm{x})=\left[1+\frac{1-\pi_0}{\pi_0}\cdot\frac{1}{B^{\pi}
(\bm{x})}\right]^{-1}.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{例~4.4.6}

\begin{itemize}
\item {\bf 例~4.4.6}~(续例~4.1.1)
~设~$X\sim B(n,\theta)$，求下列检验\vspace{-2mm}
$$H_0:~\theta=\frac{1}{2}\longleftrightarrow H_1:~\theta>\frac{1}{2}.\vspace{-2mm}
$$
设密度~$g_1(\theta)$
为~(0.5,1)~上的均匀分布~$U(0.5,1).$\medskip\pause

\item ~此例是例~4.1.1 的继续. 此例的结论是：不论是通过贝叶斯因子还是利用后验概率比都应否定~$H_0.$
这个结论只与似然函数有关，而与总体是二项分布还是负二项分布无关.\medskip\pause

\item 相反地, 在经典统计方法就不是这样的结果.
如本例所述, 用经典统计方法, 对二项分布和负二项分布
这两个模型检验问题得出完全不同的结论~(参看例~4.1.1),
即前者接受$H_0,$ 后者拒绝$H_0.$\medskip\pause

\item 这个例子充分说明用贝叶斯方法和经典统计方法进行统计推断，是有本质差别的.
\end{itemize}
}

\subsection{4.4.6 多重假设检验}

\frame{\frametitle{多重假设检验}

\begin{itemize}

\item 多重假设检验并不比两个假设检验更困难,
即直接计算每一个假设的后验概率, 并比较其大小.
设检验问题是\vspace{-2mm}
$$H_{i}:\theta\in\Theta_{i},~i=1,\cdots,k;\vspace{-2mm}
$$
其中~$\Theta_{1}\cup\Theta_{2}\cup\cdots\cup\Theta_{k}=\Theta,$
每个~$\Theta_{i}$ 是参数空间~$\Theta$ 的非空真子集.\medskip\pause

\item  计算~$\Theta_{i}$ 的后验概率\vspace{-2mm}
$$\alpha_i=P(\Theta_{i}|x),~i=1,\cdots,k\vspace{-2mm}
$$
取其最大者, 则认为相应的假设成立.


\end{itemize}
}

\frame{\frametitle{例~4.4.7}

\begin{itemize}
\item {\bf 例~4.4.7}~(续例~4.4.3) ~考虑对儿童做智力测验的情形，
求下列多重检验问题:\vspace{-2mm}
$$H_1:~\theta\leq 90,\quad H_2:~90<\theta<110,\quad H_3:~\theta \geq 110.
$$ \\\vspace{-2mm}\pause

\item {\bf 解} ~由于在例~4.3.1 中已求出~$\theta$ 的后验分布为~$N(110.38,8.32^2),$
查标准正态分布表，得\vspace{-2mm}
\begin{eqnarray*}
&&\alpha_1%=P(\Theta_{1}|x=115)
=P\Big(-\infty<\frac{\theta-110.38}{8.32}\leqslant -2.45~\big|~x=115\Big)=0.007,\\
&&\alpha_2%=P(\Theta_{2}|x=115)
=P\Big(-2,45<\frac{\theta-110.38}{8.32}\leqslant -0.046\big|x=115\Big)=0.473,\\
&&\alpha_3%=P(\Theta_{3}|x=115)
=P\Big(-0.046<\frac{\theta-110.38}{8.32}<+\infty~\big|~x=115\Big)=0.520.
\end{eqnarray*}
\\\vspace{-2mm}
此处~$Z=(\theta-110.38)/8.32\sim N(0,1).$ 由于后验概率~$\alpha_3$
最大，故接受假设~$H_{3}~\!.$

\end{itemize}
}


\section{4.5 预测推断}
\subsection{4.5.1 贝叶斯预测分布}

\frame{\frametitle{预测问题}
\begin{itemize}

\item 预测问题的典型情况是: 若~$X\sim f(x|\theta),$ 获得数据~$Z=z$ 后,
对具有密度为~$g(z|\theta)$ 的随机变量$Z$未来观察值作出预测.
通常假定~$Z$ 和~$X$ 不相关, $f~\mbox{和}~g$
分别为密度函数.\medskip\pause

\item 贝叶斯预测的一般想法如下: 设~$\pi(\theta|x)$ 为~$\theta$ 的后验分布,
于是~$g(z|\theta)\pi(\theta|x)$ 为给定~$X=x$ 的条件下~$(Z,\theta)$
的联合分布, 把它对~$\theta$ 积分得到给定~$X=x$ 时~$Z$
的边缘分布密度作为预测密度.\medskip\pause

\item {\bf 定义~4.5.1}
~设随机变量~$X$ 的密度函数是~$f(x|\theta),~\theta$
的先验密度是~$\pi(\theta).$ 给定~$X=x,$ 随机变量~$Z$
的后验预测密度定义为\vspace{-2mm}
$$
p(z|x)=\int_{\Theta}g(z|\theta)\pi(\theta|x)d\theta.\vspace{-6mm}
$$
\end{itemize}
}

\subsection{4.5.2 例子}
\frame{\frametitle{例~4.5.1}
\begin{itemize}

\item {\bf 例~4.5.1} ~一赌徒在过去~10 次赌博中赢了~3 次，
现要对未来\\
\noindent 5 次赌博中他赢的次数~$Z$ 做出预测. \medskip\pause

\item 这个问题的一般提法是:
在~$n$ 次独立的~Bernoulli 试验成功了~$X$ 次,~$X|\theta\sim
B(n,\theta),$ 成功概率~$\theta$ 的先验分布为~$Be(a,b).$ 对未来~$k$
次独立~Bernoulli 试验成功次数~$Z$ 作预测.\medskip\pause

\item 在此问题中, $n=10,~x=3,~k=5.$
取~$a=b=1,$ %即先验分布为~$Be(1,1)=U(0,1),$
则\vspace{-2mm}
$$p(z|x=3)={5 \choose z}\frac{\Gamma(12)\Gamma(4+z)\Gamma(13-z)}
{\Gamma(4)\Gamma(8)\Gamma(17)}.$$ 计算可得~$z=0,1,2,3,4,5$
时后验预测概率\vspace{-2mm}
\begin{eqnarray*}
    &&p(0|3)=0.1813, \quad p(1|3)=0.3022, \quad p(2|3)=0.2747,\\
    &&p(3|3)=0.1649, \quad p(4|3)=0.0641, \quad p(5|3)=0.01282.
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{例~4.5.1}
\begin{itemize}

\item 由后验预测分布可见, 其概率集中在~$Z=0,1,2,3$ 之间, 即\vspace{-2mm}
$$P_{Z|x}\big(0\leq Z\leq3\big)=0.9231.\vspace{-2mm}
$$
这表明~$[0,3]$ 是~$Z$ 的~$92\%$ 预测区间. 另外分布众数在~$z=1$ 处,
第二大的概率在~$z=2$ 处出现, 可见未来~5 次赌博中胜~1 或~2
次可能性最大.\medskip\pause

\item {\bf 例~4.5.2}
~~\!一颗钻石在一架天平上重复称重~~\!$n$\!~ 次，其结果为\\
\noindent $X_1,\cdots,X_n,$ 若把钻石放在另一架天平上称重，
如何对其称量值作出预测？

\end{itemize}
}

\frame{\frametitle{例~4.5.2}

\begin{itemize}

\item 由定理~3.2.2(1) 的结果可知~$\theta$ 的后验分布
~$\pi(\theta|\bar{x})$ 为~$N(\mu_1,\eta^2_1),$ 即\vspace{-2mm}
$$
\pi(\theta|\bar{x})=\frac{1}{\sqrt{2\pi}\eta_1}
\exp\bigg\{-\frac{1}{2\eta_1^2}(\theta-\mu_1)^2\bigg\},\vspace{-2mm}
$$\pause

\item 其中\vspace{-2mm}
\begin{eqnarray*}
&&\mu_1=\frac{\tau^2}{\sigma_1^2/n+\tau^2}\bar{x}
+\frac{\sigma_1^2/n}{\sigma_1^2/n+\tau^2}\mu,\\
&&\eta_1^2=\frac{\sigma_1^2/n\cdot\tau^2}{\sigma_1^2/n+\tau^2}
=\frac{\sigma_1^2 \tau^2}{\sigma_1^2+n\tau^2}.
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{例~4.5.2}
\begin{itemize}

\item 设第二架天平称得钻石的重量为~$Z,~Z\sim N(\theta,\sigma_2^2),$ 其密度为\vspace{-2mm}
$$
g(z|\theta)=\frac{1}{\sqrt{2\pi}\sigma_2}
\exp\Big\{-\frac{1}{2\sigma_2^2}(z-\theta)^2\Big\}.
$$\\\vspace{-2mm}\pause

\item 由定义~4.5.1 可知，在给定~$\bar{x}$ 条件下，第二架天平称量值~$Z$ 的后验预测密度\vspace{-2mm}
\begin{eqnarray*}
p(z|\bar{x})\!\!\!&&=\int_{-\infty}^{\infty}g(z|\theta)
\pi(\theta|\bar{x})d\theta\\
&&=\frac{1}{2\pi\eta_1\sigma_2}\int_{-\infty}^{\infty}\exp
\bigg\{-\frac{1}{2}\bigg[\frac{(z-\theta)^2}{\sigma_2^2}
+\frac{(\theta-\mu_1)^2}{\eta_1^2}\bigg]\bigg\}d\theta\\
&&=\frac{1}{2\pi\eta_1\sigma_2}\int_{-\infty}^{\infty}\exp
\Big\{-\frac{1}{2}\Big[A\theta^2-2B\theta+C \Big]\Big\}d\theta,
\end{eqnarray*}

\end{itemize}
}

\frame{\frametitle{例~4.5.2}

\begin{itemize}

\item 其中\vspace{-2mm}
$$A=\frac{1}{\sigma_2^2}+\frac{1}{\eta_1^2},
\quad B=\frac{z}{\sigma_2^2}+\frac{\mu_1}{\eta_1^2}, \quad
C=\frac{z^2}{\sigma_2^2}+\frac{\mu_1^2}{\eta_1^2},$$\\\vspace{-2mm}\pause

\item $Z$ 的后验预测密度为\vspace{-2mm}
\begin{eqnarray*}
p(z|\theta)\!\!\!\!&&=\frac{1}{2\pi\eta_1\sigma_2}
\int_{-\infty}^{\infty}\!\!\!\exp
\bigg\{\!\!-\frac{1}{2}\bigg[A\Big(\theta-\frac{B}{A}\Big)^2\!\!\!+\Big(C-\frac{B^2}{A}\Big)\bigg]\bigg\}d\theta,
\nonumber\\
&&=\frac{1}{\sqrt{2\pi A}~\!\eta_1\sigma_2}\exp
\bigg\{-\frac{1}{2}\Big(C-\frac{B^2}{A}\Big)\bigg\}\nonumber\\
&&=\frac{1}{\sqrt{2\pi(\eta_1^2+\sigma_2^2)}}\exp
\bigg\{-\frac{(z-\mu_1)^2}{2(\eta_1^2+\sigma_2^2)}\bigg\},
\end{eqnarray*}\\ \vspace{-2mm}
即后验预测分布为~$N(\mu_1,\eta_1^2+\sigma_2^2).$
\end{itemize}
}

\frame{\frametitle{例~4.5.2~-- 点预测}

\begin{itemize}

\item 后验预测分布的均值、方差分别为\vspace{-2mm}
\begin{eqnarray*}
&&E(Z|\bar{x})=\mu_1=\frac{\tau^2}{\sigma_1^2/n+\tau^2}\bar{x}
+\frac{\sigma_1^2/n}{\sigma_1^2/n+\tau^2}\mu,\\
&& D(Z|\bar{x})=\eta_1^2+\sigma_2^2.
\end{eqnarray*}\\ \vspace{-2mm}\pause

\item 若取预测分布的均值作为~$Z$ 的预测值，则有\vspace{-2mm}
$$\hat Z=\mu_1=\frac{\tau^2}{\sigma_1^2/n+\tau^2}\bar{x}
+\frac{\sigma_1^2/n}{\sigma_1^2/n+\tau^2}\mu.\vspace{-2mm}
$$

\end{itemize}
}


\frame{\frametitle{例~4.5.2~-- 区间预测}

\begin{itemize}

\item 易见~$(Z-\mu_1)\big/\sqrt{\eta_1^2+\sigma_2^2}\sim
N(0,1).$ 为求~$Z$ 的~$1-\alpha~$ $(0<\alpha<1)$
的后验预测区间，令\vspace{-2mm}
$$P\bigg(-u_{\alpha/2}\leq\frac{Z-\mu_1}{\sqrt{\eta_1^2+\sigma_2^2}}\leq
u_{\alpha/2}\Big|\bar{x}\bigg) =1-\alpha,\vspace{-2mm}
$$
此处~$u_{\alpha/2}$ 为~$N(0,1)$ 的上侧~$\alpha/2$
分位数.\medskip\pause

\item 可见~$Z$ 的~$1-\alpha$ 的后验预测区间为\vspace{-2mm}
$$\Big[\mu_1-u_{\alpha/2}\sqrt{\eta_1^2+\sigma_2^2},
~\mu_1+u_{\alpha/2}\sqrt{\eta_1^2+\sigma_2^2}~\Big],\vspace{-2mm}
$$
其中~$\mu_1$ 和~$\eta_1^2$ 分别如前给出.
\end{itemize}
}


\section{4.6 ~假设检验与模型选择*}

\subsection{4.6.1 ~引言}

\frame{\frametitle{引言}

\begin{itemize}

\item 本节内容选自《贝叶斯分析》8.1节、8.2节和8.6节,
由于贝叶斯模型选择与假设检验问题密切相关，故放在此处，第八章的内容不再单独介绍.
\medskip\pause

\item 本章第四节讨论贝叶斯假设检验问题. 与假设检验问题密切
相关的是贝叶斯模型选择问题.
贝叶斯模型选择可以认为是假设检验的特殊形式，下面我们来加以说明~
\medskip\pause

\item 设总体~$X\sim
f(x|\bm\theta),$ 其中~$\bm\theta$
为一未知参数且~$\bm\theta\in\Theta\subset{R}^p$
感兴趣的假设~$H_0:\bm\theta\in\Theta_0\leftrightarrow
H_1:\bm\theta\in\Theta_1$ 等价于比较两个模型\vspace{-2mm}
\begin{eqnarray*}
&&M_0: X~\mbox{有密度}~ f(x|\bm\theta), ~\mbox{其中}~\bm\theta\in\Theta_0;\nonumber\\
&&M_1: X~\mbox{有密度}~ f(x|\bm\theta),
~\mbox{其中}~\bm\theta\in\Theta_1;
\end{eqnarray*}\\\vspace{-2mm}
其中~$\Theta_0=\Theta-\Theta_1.$
\end{itemize}
}

\frame{\frametitle{引言}
\begin{itemize}
\item
令~$g_i(\theta)$ 表示给定真实模型为~$M_i$ 下~$\bm\theta$
的先验密度~$i=0,1.$ 则当有了样本~$\mathbf{X}=(X_1,\ldots,X_n)$
后，我们可以使用贝叶斯因子来比较~$M_0$ 和~$M_1$：\vspace{-2mm}
$$
B_{01}^\pi=\frac{P(\Theta_0|\bm{x})}{P(\Theta_1|\bm{x})}\Big/\frac{\pi_0}{1-\pi_0}
=\frac{m_0(\bm{x})}{m_1(\bm{x})},\vspace{-2mm}
$$
其中~$\pi_0=P^\pi(M_0)=P^\pi(\Theta_0),
~P^\pi(M_1)=P^\pi(\Theta_1)=1-\pi_0,$
\medskip\pause

\item 而\vspace{-2mm}
$$
m_i(\bm{x})=\int_{\Theta_i}f(\bm{x}|\bm\theta)g_i(\bm\theta)d\bm\theta,~i=0,1.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{引言}
\begin{itemize}



\item 因此\vspace{-2mm}
$$
P(M_0|\bm{x})=\bigg[1+\frac{1-\pi_0}{\pi_0}\cdot\frac{1}{B_{01}^{\pi}(\bm{x})}\bigg]^{-1}.\vspace{-1mm}
$$
从而，如果先验密度~$g_0,~g_1$ 被指定，则可以仅仅使用贝叶斯因子
~$B_{01}^\pi$ 进行模型选择.\medskip\pause

\item 进一步，如果~$\pi_0$ 被指定，则可以计算得到模型~$M_0$ 和~$M_1$ 的后验机会比
~$P(\Theta_0|\bm{x})/P(\Theta_1|\bm{x}).$
因而也可以使用后验机会比进行模型选择.\medskip\pause

\item 但贝叶斯因子或后验机会比未必总是容易计算的，可能是得不出积分值. 此时，可以使用~Laplace 逼近方法计算贝叶斯因子.
当样本边缘密度难以计算时, 还可以用蒙特卡洛抽样方法或~MCMC
方法获得贝叶斯因子的模拟结果.
\end{itemize}
}

\subsection{4.6.2 ~正常先验下的贝叶斯模型选择方法}

\frame{\frametitle{1. 一般方法}

\begin{itemize}

\item 假设我们感兴趣的是从候选模型~$M_1,\ldots,M_r$ 中选择一个最佳模型，
则在样本~$\mathbf{X}_n=(X_1,\ldots,X_n)$ 给定的条件下，模型~$M_k$
的后验概率为\vspace{-2mm}
$$
P(M_k|\bm{x}_n)=\frac{P(M_k)\dl\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k}{\sum\limits_{\alpha=1}^r
P(M_\alpha)\dl\int
f_\alpha(\bm{x}_n|\bm{\theta}_\alpha)\pi_\alpha(\bm{\theta}_\alpha)d\bm{\theta}_\alpha},
~~~(4.6.1)\vspace{-2mm}
$$\pause

\item
其中~$f_k(\bm{x}_n|\bm{\theta}_k)$ 为样本~$\bm{x}_n$ 在模型~$M_k$
下的密度，\!\!$P(M_k)$ 为模型~$M_k$ 的先验概率. ~$P(M_k)$
和相应的先验密度~$\pi_k(\bm{\theta}_k)$ 表示我们
对模型~$M_k$ 的初始认识，\!当有了样本~$\bm{x}_n$ 后，\!对模型~$M_k$\\
\noindent 的认识就更新为后验 概率~$P(M_k|\bm{x}_n)$.
\end{itemize}
}

\frame{\frametitle{ 一般方法}
\begin{itemize}

\item 从本质上看，贝叶斯模型选择方法是选择后验概率最大的模型. 因此，后验模型概率
~$P(M_1|\bm{x}_n), \cdots, P(M_r|\bm{x}_n)$
即为模型选择中我们感兴趣的量. 等价于寻求最大化\vspace{-2mm}
$$\qquad
P(M_k)\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k,
\hspace{2.2cm} ~~~(4.6.2)\vspace{-2mm}
$$\pause
的模型.\medskip\pause

\item  其中积分\vspace{-2mm}
$$\qquad
\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k=P(\bm{x}_n|M_k)
\hspace{1.5cm} ~~(4.6.3)\vspace{-2mm}
$$
为样本~$\mathbf{X}_n$ 在模型~$M_k$ 下的边际概率函数（边际似然）,
它度量了指定的先验分布对样本的拟合程度.
\end{itemize}
}

\frame{\frametitle{ 一般方法}
\vspace{-2mm}

\begin{itemize}

\item 对模型的先验概率来说，常用的一种指定为均匀分布\vspace{-1mm}
$$
P(M_k)=1\big/r,\quad k=1,\ldots,r.\vspace{-1mm}
$$
显然这个无信息先验，表示我们对所有候选模型偏好相同.
\medskip\pause

\item 在此先验下，而且后验概率简化为\vspace{-2mm}
$$\qquad
P(M_k|\bm{x}_n)=\frac{\dl\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k}{\sum\limits_{k=1}^r\dl\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k}.~~\qquad(4.6.4)\vspace{-2mm}
$$
尽管均匀先验应用很方便，但有时我们仍偏好非均匀先验.%\medskip\pause

\item 贝叶斯因子是在贝叶斯框架下用于检验假设和比较模型的一个量.
它在评价备选模型的拟合程度方面起重要的角色.
它允许我去考虑对模型进行逐对的比较. 比如说基于后验概率\\
\noindent (4.6.1) 去比较~$M_k$ 和~$M_j.$
\end{itemize}
}

\frame{\frametitle{ 2. 贝叶斯因子方法}
\vspace{-2mm}

\begin{itemize}

\item 由 ~(4.6.1) 式和与上一节类似于的讨论
可知，模型~$M_k$ 和~$M_j$\\
\noindent 的贝叶斯因子为\vspace{-2mm}
\begin{eqnarray*}
B_{kj}^\pi \!\!\!\!&&=\frac{P(M_k|\bm{x}_n)}{P(M_j|\bm{x}_n)}
\Big/\frac{P(M_k)}{P(M_j)}=\frac{P(\bm{x}_n|M_k)}{P(\bm{x}_n|M_j)}\nonumber\\
&&=\dl\int
f_k(\bm{x}_n|\bm{\theta}_k)\pi_k(\bm{\theta}_k)d\bm{\theta}_k\bigg/\dl\int
f_j(\bm{x}_n|\bm{\theta}_j)\pi_j(\bm{\theta}_j)d\bm{\theta}_j.~(4.6.5)
\end{eqnarray*}\\\vspace{-2mm}
当先验概率~$P(M_k)$ 和~$P(M_j)$ 都相等时，贝叶斯因子简化为后验概率比
~$\frac{P(M_k|\bm{x}_n)}{P(M_j|\bm{x}_n)}.$\medskip\pause

\item 由~(4.6.5) 可将模型~$M_k$ 的后验概率通过~$B_{kj}^\pi$ 表示为\vspace{-2mm}
$$
P(M_k|\bm{x}_n)=\bigg[\sum_{j=1}^r\frac{P(M_j)}{P(M_k)}\cdot\frac{1}{B_{kj}^\pi}\bigg]^{-1}.\vspace{-2mm}
$$
因此可以根据模型的后验概率或者所有候选模型进行两两比较的贝叶斯因子，从中选出最优的模型.
\end{itemize}
}

\frame{\frametitle{ 贝叶斯因子方法}
%\begin{itemize}

\begin{table}[ht]
\centering {\bf 表~4.6.1~~Jeffreys 对贝叶斯因子~$B_{kj}^\pi$
取值的解释}\vspace{0mm}
\begin{tabular}{l|l}
  \hline
  % after \\: \hline or \cline{col1-col2} \cline{col3-col4} ...
  ~~贝叶斯因子 & \qquad \qquad\qquad 解释\\\hline
  $B_{kj}^\pi<1$ &    否定模型$M_k$ \\
  $1\leq B_{kj}^\pi<3$ &  对模型$M_k$的支持证据微乎其微 \\
  $3\leq B_{kj}^\pi<10$ & 较强的证据支持$M_k$  \\
  $10\leq B_{kj}^\pi<30$ & 强烈的证据支持$M_k$  \\
  $30\leq B_{kj}^\pi<100$ & 非常强烈的证据支持$M_k$  \\
  $100\leq B_{kj}^\pi$ & 肯定支持$M_k$ \\
  \hline
\end{tabular}
\end{table}

%\end{itemize}
}


\frame{\frametitle{例~4.6.1}

\noindent {\bf 例~4.6.1} ~假设我们研究~8
名司机的事故次数，\!\!且假设各司机是否发生事故相互独立，事故次数
服从参数为~$\lambda$ 的普阿松分布. $\lambda$ 的先验
分布为~$\Gamma(\alpha,\beta),$ 考虑两种先验分布：

$M_1: ~\lambda$ 的先验分布为~$\Gamma(2,2),$ 这个先验反映了~$\lambda$
的均值为~$1$\\
\noindent 的认识.

$M_2: ~\lambda$ 的先验分布为~$\Gamma(1,1),$ 这个先验和~$M_1$
的均值相同，但是反映了较强 的认知~$\lambda$ 的方差比~$M_1$ 的大.

在被调查的~8 个司机中有~3 个人没有出过事故，4~个人出过~1
次事故，1~个人出过~3 次事故. 试对这两种模型进行选择. }


\frame{\frametitle{例~4.6.2}
%\begin{itemize}
\noindent {\bf 例~4.6.2} ~假设我们玩一个打赌游戏~~$n=10$
次，各次游戏是独立进行的,
且假设每次游戏打赌结果服从伯努利~(Bernoulli)\\
\noindent 分布~$B(1,p),$ 其中~$0<p<1$ 为赌赢的概率.
如果我们对游戏很有信心， 则我们会期望~$p>0.5$，否则~$p<0.5$.
考虑如下几种先验选择：

~~~~~$M_1: p\sim Be(0.1,~\!4)$; \quad $M_2: p\sim Be(2,~\!4)$;

~~~~~$M_3: p\sim Be(4,~\!4)$; \quad ~~$M_4: p\sim Be(8,~\!4)$;

\noindent 现知在完成整个游戏后，我们胜利了~2 次.
基于此信息对先验进行选择.\medskip\pause

%\end{itemize}
}

\frame{\frametitle{注释}

\noindent {\bf 注~4.6.1} ~如果先验~$\pi_k(\bm{\theta}_k)$
为不正常先验，则边际似然也不是正常的.
各种“非正常先验下的贝叶斯因子”被提出, 例如后验贝叶斯因子~(Aitkin,
1991)、潜在贝叶斯因子~(Berger and Pericchi,
1996)、分数贝叶斯因子~(O’Hagan,
1995)、基于交叉验证的拟贝叶斯因子~(Gelfand et al., 1992) 等.
详细的介绍请惨看本教材的~8.3 节. }



\subsection{4.6.3 ~贝叶斯模型评价}

\frame{\frametitle{1. ~\it 评价的重要性}

\begin{itemize}

\item 贝叶斯模型的基本想法是指定抽样分布~(似然函数) 和所有未知参数的先验分布，
则贝叶斯模型的任何推断是基于后验分布进行.
%后验推断的结果可以用来进行决策、预报、解释随机结构等等.
但是，后验推断结果的质量严重依赖于指定的模型.
因此对模型的评价是不可忽略的一个重要方面.
本节介绍两种常用的贝叶斯模型评价准则，包括{\bf
贝叶斯预测信息准则~(BPIC)} 和{\bf 偏差信息准则~(DIC)}.\medskip\pause

\item 由于~AIC 和~BIC 准则
是经典统计方法中常用的模型选择的准则，\!下面首先对其作简要的介绍，\!然后引入
~BPIC 和~DIC 准则，BPIC 准则和~DIC 准则是对~AIC 和~BIC 准则的推广.
\end{itemize}
}

\frame{\frametitle{2.~AIC 和~BIC 准则}
\begin{itemize}

\item 极大似然原理是统计学中参数推断的一种重要方法，\!\!日本统计学家~Akaike
(1974) 基于这个原理提出了模型选择的一个准则，称为~AIC 准则,
即\vspace{-2mm}
$$AIC=-2\ln f(\bm{x}_n|\hat{\bm\theta}_{\D MLE})+2p,\vspace{-2mm}
$$
其中~$\hat{\theta}_{\D MLE}$ 是~$\theta$ 的极大似然估计 ~(MLE)，$p$
是参数向量的维数，$2p$ 是惩罚项. 最优模型可以通过最小化 ~AIC
得到.\medskip\pause

\item Schwartz (1978) 在一定的条件下引入~BIC 准则，即\vspace{-2mm}
$$BIC=-2\ln f(\bm{x}_n|\hat{\bm\theta}_{\D MLE})+2p\ln n,\vspace{-2mm}
$$
其中~$p$ 是参数向量的维数，$n$ 为样本大小, $p\ln n$ 是惩罚项.
最优模型可以通过最小化~BIC 得到.
\end{itemize}
}

\frame{\frametitle{3. ~贝叶斯预测信息准则~(BPIC)}
\begin{itemize}

\item 考虑下列两个假设：~(a)
~参数模型~$f(x|\bm\theta)$ 包含了真实的模型~$g(x)=f(x;\bm\theta_{\D
0}),~~\bm{\theta}_{\D 0}\in \Theta,$ 且指定的模型并不远离真实模型.
~(b) ~对数先验的阶为~$\ln \pi(\theta)=O_p(1).$\medskip\pause

\item 在上述两个假定和某些正则条件下， Ando~(2007)
提出贝叶斯预测信息准则 ~(BPIC)：\vspace{-2mm}
$$
BPIC=-2\int_\Theta \ln
f(\bm{x}_n|\bm\theta)\pi(\bm\theta|\bm{x}_n)d\bm\theta+2p,\vspace{-2mm}
$$
其中~$p$ 为模型中参数个数. 最优模型通过最小化~BPIC 得到.
\end{itemize}
}

\frame{\frametitle{3. ~贝叶斯预测信息准则~(BPIC)}
\begin{itemize}

\item 在实际应用中，对数似然的后验均值往往没有解析表达，此时可以使用蒙特卡洛
逼近：\vspace{-2mm}
$$
\int_\Theta \ln
f(\bm{x}_n|\bm\theta)\pi(\bm\theta|\bm{x}_n)d\bm\theta \approx
\frac{1}{L}\sum_{j=1}^L \ln
f(\bm{x}_n|\bm{\theta}^{(j)}),\vspace{-2mm}
$$
其中~$\bm{\theta}^{(1)},\cdots,\bm{\theta}^{(L)}$
为从后验分布~$\pi(\bm\theta|\bm{x}_n)$
中抽取的后验样本.\medskip\pause

\item 这个准则适合于具有较弱的先验信息的情形.
\end{itemize}
}

\frame{\frametitle{4. ~偏差信息准则~(DIC)}
\begin{itemize}

\item 令~~$D(\bm{\theta})=-2\ln f(\bm{x}_n|\bm{\theta}),$
它是常用的模型偏差的一种度量. Spiegelhalter 等~(2002)
指出对数似然期望的后验期望, $\bar{D}=$ $E[D(\bm{\theta})|\bm{x}_n],$
可以作为模型拟合程度的一个贝叶斯度量.
一个模型拟合数据的程度越高，$\bar{D}$ 越小.
下面定义有效参数个数来刻画模型的复杂程度：\vspace{-2mm}
$$p_{\D D}=\bar{D}-D(\bar{\bm{\theta}}_n)=2\ln f(\bm{x}_n|\bar{\bm{\theta}}_n)
-2\int_\Theta \ln
f(\bm{x}_n|\bm{\theta})\pi(\bm{\theta}|\bm{x}_n)d\bm{\theta},\vspace{-2mm}
$$
其中~$\bar{\bm{\theta}}_n$ 为$\theta$的后验分布的均值.\medskip\pause

\item Spiegelhalter 等~(2002)
定义偏差信息准则~(DIC) 为\vspace{-3mm}
$$
DIC=\bar D+p_{\D D}=-2\int_\Theta \ln
f(\bm{x}_n|\bm{\theta})\pi(\bm{\theta}|\bm{x}_n)d\bm{\theta}+p_{\D
D}.\vspace{-3mm}
$$
其中第一项，即~$\bar D$
可解释为模型拟合程度的一个度量，越小越好；第二项, 即~$p_{\D D}$
被认为是模型复杂性的一种度量.
\end{itemize}
}

\frame{\frametitle{ ~偏差信息准则~(DIC)}
\begin{itemize}

\item 上述定义的~DIC
可以改写为\vspace{-2mm}
$$
DIC=D(\bar{\bm{\theta}}_n)+2p_{\D D}=-2\ln
f(\bm{x}_n|\bar{\bm{\theta}}_n)+2p_{\D D},\vspace{-2mm}
$$
其中~$\bar{\bm{\theta}}_n$ 为后验期望. 从形式上看它与~AIC
很相似，因此可以认为~DIC 是~$AIC=D(\hat{\bm{\theta}}_{\D MLE})+2p$
的一个推广，此处~$\hat{\bm{\theta}}_{\D MLE}$ 为~$\theta$
的极大似然估计. 对 非分层模型而言，当~$n$ 充分大时有~$p\approx p_D,
~\hat{\bm{\theta}}_{\D MLE}\approx \bar{\bm{\theta}}_n,$
从而~$DIC\approx AIC.$
\medskip\pause

\item 上述定义的另一个优点是~DIC 可以通过~MCMC 方法~(将在第~5 章介绍)
容易计算其结果. DIC 准则可被用于各种贝叶斯模型选择问题.
\end{itemize}
}





\end{CJK*}
\end{document}



\frame{\frametitle{}
\begin{itemize}

\item

\item

\item

\end{itemize}
}

\frame{\frametitle{}
\begin{itemize}

\item

\item

\item

\end{itemize}
}
