% $Header: /cvsroot/latex-beamer/latex-beamer/examples/beamerexample4.tex,v 1.4 2004/10/07 20:53:07 tantau Exp $

\documentclass[envcountsect,cjk]{beamer}
%\setbeamertemplate{theorems}[numbered]
% Copyright 2003 by Till Tantau <tantau@users.sourceforge.net>.
%
% This program can be redistributed and/or modified under the terms
% of the LaTeX Project Public License Distributed from CTAN
% archives in directory macros/latex/base/lppl.txt.
%
% Many thanks to Huang Yushuo for helping me with this file
% (I don't speak Chinese...)
%\setbeamercovered{dynamic}
\setbeamercovered{transparent}
%\usepackage{times}
%\usepackage{mathtime}
\usepackage{graphicx}
\usepackage{Picins}
\usepackage{indentfirst}
\usepackage{amsmath,amssymb,amsfonts,amsthm}
\usepackage{multirow}
\usepackage{textcomp}

\usepackage{mathrsfs}
\usepackage{latexsym}
\usepackage{makeidx}% 制作索引
\usepackage{accents}
\usepackage{slashbox}
\usepackage{picinpar}
%\makeindex
\usepackage{undertilde}
\usepackage{bm}

%\usepackage{textcomp}
\setlength{\abovedisplayskip}{2pt plus1pt minus1pt}     %公式前的距离
\setlength{\belowdisplayskip}{2pt plus1pt minus1pt}     %公式后面的距离
\setlength{\arraycolsep}{2pt}   %在一个array中列之间的空白长度, 因为原来的太宽了
\allowdisplaybreaks[4]  % \eqnarray如果很长, 影响分栏、换行和分页
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\renewcommand{\theequation}{\thesection.\arabic{equation}}
\newtheorem{remark}{Remark}
\makeatletter\@addtoreset{equation}{section}\makeatother
%\makeatletter\@addtoreset{section}{part}\makeatother
\newcommand{\D}{\scriptscriptstyle}
\def\dl{\displaystyle}

\setlength{\parindent}{20pt}                %Paragraph indent amounts.
\setlength{\parskip}{3pt plus1pt minus2pt}  %Vertical distance between par
\setlength{\baselineskip}{20pt plus2pt minus1pt}%Distance between lines in a par.
%\usepackage{graphicx}
\makeatletter
\def\widebar{\accentset{{\cc@style\underline{\mskip10mu}}}}
\def\Widebar{\accentset{{\cc@style\underline{\mskip8mu}}}}
\makeatother


\usepackage{CJK}


%\usetheme{Warsaw}
%\usetheme{Hannover}
%\usetheme{Darmstadt}
\usetheme{JuanLesPins}
\AtBeginSection[]{\frame{\tableofcontents[current]}}
\AtBeginPart{\frame{\partpage}}
\begin{document}
  \begin{CJK*}{GBK}{rm}

\renewcommand{\raggedright}{\leftskip=0pt \rightskip=0pt plus 0cm}

\title[贝叶斯分析]{\bf 贝~~~~叶~~~~斯~~~~分~~~~析}
    \author{韦来生~~张伟平~~编著}
\date[\today]{中~~国~~科~~大~~出~~版~~社\\ \vskip 1cm
     第二版, ~2021}




    \frame{\titlepage}


\begin{frame}
  \titlepage
\end{frame}

\begin{frame}{第二章 ~先验分布的选取}
%\scriptsize \tableofcontents
\end{frame}


\section{2.1 主观概率}
\subsection{2.1.1 主观概率的定义}




%\end{CJK*}
%\end{document}





%\begin{frame}
\frame{\frametitle{引言和定义}

\begin{itemize}

\item 在经典的统计学中概率是用公理化定义的,
即用非负性、正则性和可加性三条公理定义的. 概率的确定有两种方法:
一是古典方法~(包括几何方法) ; 另一种是 频率方法.
故经典统计研究的对象是能大量重复的随机现象,
不是这类随机现象就不能用频率方法去确定有关事件的概率.
\smallskip\pause

\item 在诸多社会现象、经济领域和决策问题中, “事件”常常是不能大量重复的.
如气象预报“明天是晴天的概率为~0.8,” 就不能用频率去解释,
因天气随时间变化而变化,不可重复. \smallskip\pause

\item 因此主观概率的创立, 使我们在频率解释不能适用的情形也能讨论概率.
从这个意义上说, 主观概率至少是确定概率的频率方法和古典方法的补充.
\smallskip\pause

\item {\bf 定义~7.2.1} ~主观概率是人们根据经验对事件发生机会的个人信念.
\end{itemize}
%\end{frame}
}

\subsection{2.1.2 确定主观概率的方法}
%\begin{frame}
\frame{\frametitle{确定主观概率的方法}

\begin{itemize}

\vspace{-2mm}

\item ~对一些事件进行对比, 确定相对似然性是确定主观概率最简单的办法.
例如, 某工厂已设计好一种新玩具, 决策者要评估新玩具畅销的概率.
~根据新玩具的特点和经验认为畅销~(A) 是不畅销~$(\widebar{A})$
的可能性的~2 倍, 即 $P(A)=2/3,~P(\widebar{A})=1/3.$\pause

\item 利用专家意见来确定主观概率的方法是常用的. 例如,
有一项带有风险的生意, 欲估计成功的概率. 为此
向专家请教这生意成功的可能性有多大. 专家回答大约~0.6,
若他的估计偏保守, 可将成功概率修改为~0.7~(也可以请教几位专家评估,
用成功概率的平均值代替更可靠).\pause

\item 利用历史资料, 做一些对比修正, 确定主观概率. 例如,
某公司经营玩具, 现设计一种新式玩具将投放市场,
要估计未来市场销售情况. 经理查阅了本公司生产的~37 种玩具的销售记录,
得到销售状态如下: $A_{1}:$ 畅销, $A_{2}:$ 一般, $A_{3}:$ 滞销,
分别有~$29,$ $6,~2$ 种, 由历史资料得到销售状态的概率.
根据新玩具的特点，对上述概率作修正确定其销售状态的主观概率.
\end{itemize}
%\end{frame}
}

\section{2.2  利用先验信息确定先验分布}
\subsection{2.2.1  直方图法}

%\begin{frame}
\frame{\frametitle{直方图法}

\begin{itemize}
\item 这个方法与一般直方图法类似, 可以通过下述步骤实现：\pause

(1) ~当参数空间~$\Theta$ 为实轴上的区间时, 先把~$\Theta$
分成一些小区间, 通常为等长的子区间.\smallskip\pause

(2) ~在每个小区间上决定主观概率或按历史数据算出频率.\smallskip\pause

(3) ~绘制直方图, 纵坐标为主观概率或~[频率/小区间长]\smallskip\pause

(4) ~在直方图上画一光滑曲线, 使下方与直方图面积相等.
此曲线即为先验密度~$\pi(\theta)$ (使曲线
与横轴形成的%曲边梯形的
面积为~1)\medskip\pause

\item {\bf 例~2.2.1} ~某医药公司销售人参, 记录了~102 周的销售量,
每周销售最多~35kg, 数据见下表. 要寻求每周平均销售量~$\theta$
的概率分布.\pause

\qquad\qquad{\bf 表~2.2.1~每周平均销售量统计表}
\begin{table}[h]
%\vspace{-6mm}
\small\scriptsize \vspace{-3mm}
\begin{tabular}{c|c c
c c c c c}\hline
销售量(kg)&[0,5]&(5,10]&(10,15]&(15,20]&(20,25]&(25,30]&(30,35]\\\hline
天~~数    & 5 & 27 & 34 & 22 & 10  & 3  & 1 \\\hline 频~~率    &0.05
& 0.26 &0.33 &0.22 &0.10&0.03&0.01\\\hline
\end{tabular}
\end{table}
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{周平均销售量直方图}

\begin{figure}[h,p,t]\label{fig221}
\centering{ \includegraphics[scale=0.52,angle=0]{fig221.pdf}}
\vspace{-2mm}\centerline{\bf\it
图~2.2.1~~周平均销售量直方图}\label{fig221}
\end{figure}
%\end{frame}
}

\subsection{2.2.2 相对似然法 }
%\begin{frame}
\frame{\frametitle{相对似然法}\medskip
\begin{itemize}

\item 此法大多用于~$\Theta$ 为~$(-\infty,\infty)$ 的有限子区间的情形.
方法如下: 对~$\Theta$ 中的各种点的直观“似然”进行比较,
再按确定了的值画图, 即可得到先验密度草图,
用下例来作说明.\medskip\pause

\item 例如,
设~$\Theta=(0,1),$
从确定“最大可能”和“最小可能”的参数点的似然性入手. 设~$\theta
=3/4$ 为最大可能的点, $\theta=0$ 为最小可能的点, 且~$\theta=3/4$
为~$\theta=0$ 的似然性的~3 倍. 再确定~$\theta$ $ =1/4
~\mbox{和}~\theta=1/2~\mbox{及}~\theta=1$ 的相对似然性. 为简单计,
与~$\theta=$ $0$ 的可能性比较, $\theta=1/2$ 和~$\theta=1$ 的可能性~2
倍于~$\theta=0,$ $\theta=1/4$ 的可能性为~$\theta=0$ 的可能性的~1.5
倍. 令基本点~$\theta=0$ 的先验密度为~1,
由此画出~$\tilde{\pi}(\theta).$\medskip\pause

\item 但~$\int_{0}^{1}\tilde{\pi}(\theta)d\theta\!\neq\! 1.$
记~$\pi(\theta)\!=\!c\tilde{\pi}(\theta),$
使~$\int_{0}^{1}\pi(\theta)d\theta\!=\!c\int_{0}^{1}
\tilde{\pi}(\theta)d\theta$ $=1,$ 则~$\pi(\theta)$ 即为~$\theta$
的先验密度.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{相对似然性图}

\begin{figure}[h,p,t]
\centering { \includegraphics[scale=0.65,angle=0]{fig222.pdf}}
\centerline{\bf\it 图~2.2.2~~相对似然性}\label{fig222}\vspace{-2mm}
\end{figure}

%\end{frame}
}



\subsection{2.2.3  选定先验密度函数的形式, 再估计超参数}
%\begin{frame}
\frame{\frametitle{选定先验密度函数的形式, 再估计超参数}

\begin{itemize}

\item {\bf 定义~2.2.1} ~先验分布中的参数称为超参数.\medskip\pause

\item 例如，根据先验信息, 选定~$\theta$ 的先验密度~$\pi(\theta)$
为~$N(\mu,\tau^{2}),$ 则~$\mu$ 和~$\tau^{2}$
称为超参数.\medskip\pause


%\item 根据先验信息, 选定~$\theta$ 的先验密度~$\pi(\theta)$ 的形式.
%如~$\pi(\theta)$ 为~$N(\mu,\tau^{2}),$ 其中~$\mu$ 和~$\tau^{2}$
%称为超参数超参数.\medskip\pause

\item 一般方法：设 %超参数为~$\alpha, ~\beta,$ 记
先验密度为~$\pi(\theta; \alpha, \beta),$ 对其超参数~$\alpha$
和~$\beta$ 作出估计, 得到相合估计~$\hat{\alpha}$ 和~$\hat{\beta},$
由~$\pi$ 为其变元的连续函数，可知~$\pi(\theta;\hat{\alpha},
\hat{\beta})$ 很接近于~$\pi(\theta; \alpha, \beta),$
则~$\pi(\theta;\hat{\alpha}, \hat{\beta})$
即为选定的先验密度函数.\medskip\pause

\item 这个方法的关键是~$\pi(\theta)$ 的形式的选定. 若选择的不合适将导致失误.\medskip\pause

\item {\bf 例~2.2.2} ~在例~2.2.1 中设参数~$\theta$ 为销售量, 选用 ~$N(\mu, \tau^{2})$
作为~$\theta$ 的先验分布~$\pi(\theta),$ 试确定这一先验分布.
\end{itemize}
%\end{frame}
}


%\begin{frame}
\frame{\frametitle{选定先验密度函数的形式, 再估计超参数}

\begin{itemize}

\item 在给定先验分布形式时,
决定超参数的另一方法是从先验信息中获得几个分位数的估计值,
然后通过这些分位数的值确定超参数~(即超参数的估计值), 请看下例.
\medskip\pause


\item {\bf 例~2.2.3} ~设参数~$\theta$ 的取值范围为~$(- \infty,
\infty),$ 先验分布为正态分布, 若从先验信息得知: (1)
先验的中位数为~0, (2) 其~0.25 和~0.75 的分位数分别为~$-1$ 和~$+1,$
试求此先验分布.\medskip\pause

\item 又若在本例中假定~$\theta$ 不是正态分布, 而是柯西分布, 其余条件不变,
即~$\theta \sim \pi(\theta; \alpha,\beta)=\beta/\{\pi
[\beta^{2}+(\theta- \alpha)^{2}]\},$ $\theta\in R_1,$
确定先验分布的问题就转化为求~$\alpha, ~\beta$ 的估计.\medskip\pause

\item 因此, 同样的先验信息有~2 个先验分布可供选择. 若~2 个先验分布差别不大,
可任选其一. 本例中~$N(0,1.48 1^{2})$ 和~$C(0,1)$ 密度函数形状上相似,
但柯西分布的尾部概率较大. 因此, 若~$\theta$ 的先验信息集中在中间,
则选择正态好些, 若先验信息较分散, 选择柯西分布更合适些.
\end{itemize}
%\end{frame}
}

\subsection{2.2.4 定分度和变分度法}
%\begin{frame}
\frame{\frametitle{定分度和变分度法}

\begin{itemize}

\item 这两个方法都是通过专家咨询得到各种主观概率的方法，然后加工整理成累积分布的概率
曲线.\medskip\pause

\item 这两个方法相似，但做法略有差异. 定分度法是把参数可能取值的区间逐次分成长度相等的小区间，
在每个小区间请专家给出主观概率. 变分度
法是把参数可能取值的区间逐次分成机会相等的两个小区间~(长度不必相等)，分点由专家确定.
这里 重要的是专家的信誉要高，经验要多.
这两个方法相比，决策者更愿意用变分度法. 请看下例：\medskip\pause

\item {\bf例~2.2.4}
~一开发商希望获知一个新建的仓库租金~$\theta$ 可能达到的水平是什么？
通过他向专家咨询，获得下列结果~(见表~2.2.3),
求租金的累积概率曲线和租金的概率直方图.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{变分度法实施结果图---图2.2.3} \vspace{-6mm}

\begin{figure}[h,p,t]
\centering{\includegraphics[scale=0.38,angle=0]{fig223.pdf}}
\centerline{\bf\it
图~2.2.3~~变分度法实施结果}\label{fig223}\vspace{-2mm}
\end{figure}
%\end{frame}
}



%\begin{frame}
\frame{\frametitle{租金的累积分布表}

\centerline{\bf 表~2.2.2~~租金的累积概率表} \vspace{-8mm}
$$\begin{tabular}{c|c }\hline
分位数~($\alpha$) &累积概率~(Z($\alpha$))\\\hline \hspace{2cm}
\!2.00
\hspace{2cm} & \hspace{2cm} 0 \hspace{2cm}   \\ %\hline
 2.06 \qquad & \qquad ~0.0625 \\ %\hline
 2.10 \qquad & \qquad 0.125 \\ %\hline
 2.15 \qquad & \qquad 0.250 \\ %\hline
 2.20 \qquad & \qquad 0.500\\ %\hline
 2.25 \qquad & \qquad 0.750 \\ %\hline
 2.30 \qquad & \qquad 0.875 \\ %\hline
 2.35 \qquad & \qquad ~0.9375
 \\ %\hline
 2.40 \qquad & \qquad 1.000\\ \hline
\end{tabular}$$
%\end{frame}
}

\frame{\frametitle{一般方法}

\begin{itemize}

\item 这个方法是根据先验信息给出租金~$\theta$ 的几个分位数~$\alpha$ 的累积概率~$z(\alpha),$ 得到几个点~$(\alpha,z(\alpha));$
\medskip\pause


\item
在平面上将这几个点用一条光滑曲线连接起来得到累积分布函数，简记为~CDF;
\medskip\pause

\item 还可以通过先验分布的~CDF,
获得先验分布的概率直方图，从而获得先验分布的概率密度函数.
\end{itemize}
%\end{frame}
}


%\begin{frame}
\frame{\frametitle{租金累积概率曲线图}

\begin{figure}[h,p,t]
\centering {\includegraphics[scale=0.65,angle=0]{fig224.pdf}}
\centerline{\bf\it
图~2.2.4~~金累积概率曲线图}\label{fig224}\vspace{-2mm}
\end{figure}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{租金的概率分布表}

\centerline{\bf 表~2.2.3~~租金的概率分布表} \vspace{-2mm}
$$\begin{tabular}{c|c c c }\hline
 租金区间    & 分段中点   &累积概率    &分段概率 \\\hline
 2.00-2.05   &  2.025     &0.0575       &0.0575  \\ %\hline
 2.05-2.10   &  2.075     &0.125        &0.0675  \\ %\hline
 2.10-2.15   &  2.125     &0.250        &0.125   \\ %\hline
 2.15-2.20   &  2.175     &0.500        &0.250   \\ %\hline
 2.20-2.25   &  2.225     &0.750        &0.250   \\ %\hline
 2.25-2.30   &  2.275     &0.875        &0.125   \\ %\hline
 2.30-2.35   &  2.325     &0.9375       &0.085   \\ %\hline
 2.35-2.40   &  2.375     &1.000        &0.040   \\ \hline
\end{tabular}$$
由表~2.2.3 中分段中点~$x_i$ 和分段概率~$p_i$ 计算~$\mu$
和~$\sigma^2$ 估计值为：
$$\hat\mu=\sum_{i=1}^8
x_ip_i=2.199,~~\hat{\sigma}^2=\sum_{i=1}^8x_i^2p_i-\hat{\mu}^2\approx
0.086^2$$
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{租金的概率直方图}

\begin{figure}[h,p,t]
\centering{
\includegraphics[scale=0.62,angle=0]{fig225.pdf}}\\
\centerline{\bf\it 图~2.2.5~~租金的概率直方图}\label{fig225}
\end{figure}
%\end{frame}
}




\section{2.3  利用边缘分布~m(x) 确定先验分布}

\subsection{2.3.1 边缘分布的定义及例}

%\begin{frame}
\frame{\frametitle{缘分布的定义}

\begin{itemize}

\item {\bf 定义~2.3.1}~~设~r.v.~$X$ 有概率函数~$f(x|\theta),~\theta$ 有先验分布~$\pi(\theta),$ 则定义 随机变量~$X$ 的边缘分布为\vspace{-2mm}
\begin{eqnarray*}%\label{1.3.1}
&&m(x)=\int_{\Theta}f(x|\theta)dF^{\pi}(\theta)\nonumber\\
&&=\left\{\begin{array}{ll}\dl\int_{\Theta}f(x|\theta)\pi(\theta)d\theta,
&\mbox{当}~\theta~\mbox{为连续随机变量,} \vspace{2mm}
\\ \sum\limits_{i}f(x|\theta_i)\pi(\theta_i), &\mbox{当}~\theta~\mbox{为离散随机变量.}
\end{array}\right.
\end{eqnarray*}\\\vspace{-2mm}
\pause

\item 当先验分布含有未知的超参数~$\lambda$，如~$\pi(\theta)=\pi(\theta|\lambda),$
则边缘分布~$m(x)$ 也依赖~$\lambda,$ 此时可记~$m(x)=m(x|\lambda).$
这种边缘分布在本节后面求后验分布时常用到.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{混合分布及注释}

\begin{itemize}

\item
为了说明边缘分布的统计意义，下面引入混合分布的概念. 设随机变量~$X$
以概率~$\pi$ 在总体~$F_1$ 中取值，以~$(1-\pi)$ 的概率在总体~$F_{2}$
中取值， 若~$F(x|\theta_{1})~\mbox{和}~F(x|\theta_{2})$
分别记这两个总体的分布函数，则~$X$ 的混合分布函数为
~$F(x)=\pi~F(x|\theta_{1})$ $+(1-\pi)F(x|\theta_{2}).$
用概率函数表示，则混合分布为 ~$f(x)=$
$\pi~f(x|\theta_{1})+(1-\pi)f(x|\theta_{2}),$
则称~F(x)~为~$F(x|\theta_{1})$ 和~$F(x|\theta_{2})$ 的混合分布.
而~$\pi$ 和~$1-\pi$ 可以视为随机变量~$\theta$ 的分布，即
~$\pi(\theta_{1})=\pi,~ \pi(\theta_{2})=1-\pi.$
从混合分布中抽取容量为~n 的样本~$X_{1},\cdots,X_{n},$
那么约有~$n\pi(\theta_{1})$ 个抽自 总体~$F(x|\theta_{1}),$ 约有
~$n\pi(\theta_{2})$ 个抽自总体~$F(x|\theta_{2}),$
这样的样本称为混合样本.
\medskip\pause

\item 从混合分布的定义可见, 边缘分布~$m(x)$
是混合分布的推广. 特别当~$\theta$ 为离散随机变量时，边缘分布
~m(x)~是有限或可列个概率函数混合而成， 当~$\theta$
为连续随机变量时，$m(x)$ 可视为无限不可数个密度函数混合而成.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{一个例子}
\vspace{-2mm}

\begin{itemize}

\item {\bf例~2.3.1}
~设给定~$\theta$ 时样本~$X$
服从正态分布~$N(\theta,\sigma^{2}),~\sigma^{2}$ 已知，设~$\theta$
有先验分布~$N(\mu_{\pi},\sigma_{\pi}^{2}),$ 求~$X$
的边缘分布~$m(x).$\smallskip\pause

\item 为简化~$m(x)$ 计算, 令\vspace{-2mm}
$$A=\frac{1}{\sigma^2}+\frac{1}{\sigma_\pi^2},~~B=\frac{x}{\sigma^2}+\frac{\mu_\pi}{\sigma_\pi^2},~~
C=\frac{x^2}{\sigma^2}+\frac{\mu_\pi^2}{\sigma_ \pi^2}.\vspace{-4mm}
$$\pause

\item 因此有\vspace{-3mm}
\begin{eqnarray*}%\label{m}
&&m(x)=\int_{-\infty}^{\infty}f(x|\theta)\pi(\theta)d\theta\nonumber\\
&&=\frac{1}{2\pi\sigma\sigma_{\pi}}
\int_{-\infty}^{\infty}\exp\Big\{-\frac{1}{2}\Big[\frac{(x-\theta)^{2}}{\sigma^{2}}
+\frac{(\mu_\pi-\theta)^{2}}{\sigma^2_{\pi}}\Big]\Big\}d\theta\nonumber\\
&&=\frac{1}{2\pi\sigma\sigma_{\pi}}
\!\int_{-\infty}^{\infty}\!\!\!\exp\Big\{\!\!-\frac{A}{2}\Big(\theta-\frac{B}{A}\Big)^2\Big\}
\exp\Big\{\!\!-\frac{1}{2}\Big(C-\frac{B^2}{A}\Big)\Big\}d\theta\nonumber\\
&&=\frac{1}{\sqrt{2\pi(\sigma^{2}+\sigma_{\pi}^{2})}}
\exp\Big\{-\frac{(x-\mu_{\pi})^{2}}{2(\sigma^{2}+\sigma_{\pi}^{2})}\Big\},
\end{eqnarray*}\\\vspace{-2mm}
即边缘分布~$m(x)$
是正态分布~$N(\mu_{\pi},\sigma^{2}+\sigma_{\pi}^{2}).$
\end{itemize}
%\end{frame}
}

\subsection{2.3.2  选择先验分布的~ML-II 方法}

%\begin{frame}
\frame{\frametitle{选择先验分布的~ML-II 方法}

\begin{itemize}

\item 当观测到样本~$X,$ 若有~2 个先验分布~$\pi_{1}$ 和~$\pi_{2},$ 使得\vspace{-2mm}
\begin{eqnarray*}
m(x|\pi_{1})>m(x|\pi_{2})
\end {eqnarray*}\\\vspace{-2mm}
则认为当先验取~$\pi_{1}$ 时样本~$X$ 出现的似然性比先验取为~$\pi_{2}$
~时的似然性更大， 即认为样本~$X$ 由分布~$m(x|\pi_1)$ 中产生.
这一思想与经典统计方法中的极大似然原理相类似，
%这就如同当似然函数~$L(\theta_{1}|x)>L(\theta_{2}|x)$ 时，认为参数
%取~$\theta_{1}$ 比取~$\theta_{2}$ 更合适，
这儿的~$\pi$ 起似然函数中~$\theta$ 的作用, 这就引入了~ML-II
方法.\medskip\pause

\item {\bf 定义~2.3.2} ~设~$\Gamma$ 为所考虑的先验类， 若存在~$\hat{\pi}
\in\Gamma,$ 有了样本~$\bm{x}=(x_1,\cdots,x_n)$ 后,使得\vspace{-2mm}
\begin{eqnarray*}
m(\bm{x}|\hat{\pi})=\sup_{\pi\in\Gamma}
m(\bm{x}|\pi)=\sup_{\pi\in\Gamma}\prod_{i=1}^n m(x_i|\pi)
\end {eqnarray*}\\\vspace{-2mm}
则称~$\hat{\pi}$ 为类型~II 中最大似然先验, 或简称~ML-II 先验.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{选择先验分布的~ML-II 方法}

\begin{itemize}

\item
若样本~$\mathbf{X}=(X_1,\cdots,X_n)$ 所涉及的先验密度函数的形式已知,
未知的仅是其中的超参数, 如~$\theta\sim N(
\mu_{\pi},\sigma_{\pi}^{2}),$ $\mu_{\pi}$ 和~$\sigma_{\pi}^{2}$
称为超参数, 即先验密度的类~$\Gamma$ 可表为\vspace{-1mm}
\begin{eqnarray*}
\Gamma=\big\{\pi(\theta|\lambda),\lambda\mbox{为超参数(或超参数向量)},
~\lambda\in\Lambda\big\},
\end {eqnarray*}\\\vspace{-1mm}
此处~$\Lambda~\mbox{为}~\lambda~\mbox{的参数空间}.$\medskip\pause

\item 这时寻求~ML-II 先验较为简单. 只要求出这样的~$\hat{\lambda},$使得\vspace{-2mm}
\begin{eqnarray*}
m\big(\bm{x}|\hat{\lambda}\big)=\sup\limits_{\lambda\in\Lambda}
m\big(\bm{x}|\lambda\big)=\sup\limits_{\lambda\in\Lambda}\prod_{i=1}^{n}
m(x_{i}|\lambda)
\end {eqnarray*}\\\vspace{-2mm}
即通过使似然函数极大化方法求出~$\hat{\lambda},$
则先验分布~$\pi\big(\theta|\hat\lambda\big)$ 即为所确定的先验分布.
而 ~$\hat\lambda$ 称为~ML-II 超参数.\medskip\pause

\item {\bf
例~2.3.2}~~设随机变量~$X\sim~N(\theta,\sigma^{2}),$ 其中~$\sigma^2$
已知,又设~$\theta\sim$ $N(\mu_{\pi},\sigma_{\pi}^{2}).$
设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从边缘分布~$m(x|\lambda)$
中抽取的~$iid$ 样本，试确定~$\theta$ 的先验分布.
\end{itemize}
%\end{frame}
}


\subsection{2.3.3  选择先验分布的矩方法}
%\begin{frame}
\frame{\frametitle{选择先验分布的矩方法}

\begin{itemize}

\item 当先验分布~$\pi(\theta|\lambda)$ 的形式已知，但含有未知超参数~$\lambda$
时, 可利用先验分布的矩与边缘分布的矩之间的关系寻求超参数~$\lambda$
的估计量~$\hat{\lambda},$
从而获得先验分布~$\pi(\theta|\hat{\lambda}).$\medskip\pause

\item 这个方法的思想如下：首先，将边缘分布一些阶的矩表成超参数的函数，得到一个方程组或方程；
将方程组或方程中的边缘分布的矩用相应的样本矩代替，得到以超参数为变量的方程或方程组，
解方程或解方程组获得超参数的估计量，从而确定先验分布. \medskip\pause

\item 下面给出具体的步骤

(1) ~计算样本分布~$f(x|\theta)$ 的期望~$\mu(\theta)$
和方差~$\sigma^{2}(\theta),$ 即
\begin{eqnarray*}
\mu(\theta)=E^{X|\theta}(X),\qquad
\sigma^{2}(\theta)=E^{X|\theta}[X-\mu(\theta)]^{2}
\end {eqnarray*}
此处~$E^{X|\theta}$ 表示在给定~$\theta$
的条件下关于条件分布~$f(x|\theta)$ 求期望, 以下类似符号
亦作类似解释.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{选择先验分布的矩方法}

\begin{itemize}

\item (2)
~计算边缘密度~$m(x)=m(x|\lambda)$ 的期望~$\mu_{m}(\lambda)$
和方差~$\sigma_{m}^{2}(\lambda):$ \vspace{-2mm}
\begin{eqnarray*}\label{2.3.2}
\mu_{m}(\lambda)\!\!\!\!
&&=E^{X|\lambda}(X)\!=\!\int_{\mathscr{X}}\!\!x~\! m(x|\lambda)dx
\!=\!\int_{\mathscr{X}}\int_{\Theta}\!x
f(x|\theta)\pi(\theta|\lambda)d\theta
dx\nonumber\\
&&=\int_{\Theta}\Big[\int_{\mathscr{X}}\!\!x
f(x|\theta)dx\Big]\pi(\theta|\lambda)d\theta=\int_{\Theta}\mu(\theta)\pi(\theta|\lambda)
d\theta\nonumber\\
&&=E^{\theta|\lambda}[\mu(\theta)], \hspace{5.5cm} (2.3.4)
\end {eqnarray*}\\ \pause\vspace{-1mm}

\item 以及 \vspace{-3mm}\vspace{-1mm}
\begin{eqnarray*}%\label{2.3.3}
\sigma_{m}^{2}(\lambda)
\!\!\!\!&&=E^{X|\lambda}[X-\mu_{m}(\lambda)]^{2}
\!=\!\int_{\mathscr{X}}[x-\mu_m(\lambda)]^{2}m(x|\lambda)dx\nonumber\\
&&=\int_{\mathscr{X}}\int_{\Theta}[x-\mu_{m}(\lambda)]^{2}f(x|\theta)\pi(\theta|\lambda)d\theta dx\nonumber\\
%&&=\int_{\Theta}
%\Big[\int_{\mathscr{X}}(x-\mu_{m}(\lambda))^{2}f(x|\theta)dx\Big]\pi(\theta|\lambda)d\theta\nonumber\\
&&=\int_{\Theta}E^{X|\theta}\big[x-\mu_{m}(\lambda)\big]^{2}\pi(\theta|\lambda)d\theta,\hspace{2.2cm}
(2.3.5)
\end {eqnarray*}
\end{itemize}
%\end{frame}
}


%\begin{frame}
\frame{\frametitle{选择先验分布的矩方法}

\begin{itemize}

\item 其中\vspace{-1mm}
\begin{eqnarray*}%\label{2.3.4}
E^{X|\theta}\big[x-\mu_{m}(\lambda)\big]^{2}
\!\!\!\!&&=E^{X|\theta}\big[(x-\mu(\theta))+(\mu(\theta)-\mu_{m}(\lambda))\big]^{2}\nonumber\\
&&=E^{X|\theta}\big[x-\mu(\theta)\big]^{2}+E^{X|\theta}\big[\mu{\theta}-\mu_{m}(\lambda)\big]^{2}\nonumber\\
&&=\sigma^{2}(\theta)+\big[\mu(\theta)-\mu_{m}(\lambda)\big]^{2}
\hspace{1cm} (2.3.6)
\end {eqnarray*}\\\vspace{-1mm}\pause

\item 将~(2.3.6) 带入~(2.3.5) 得\vspace{-1mm}
\begin{eqnarray*}%\label{2.3.5}
\sigma_{m}^{2}(\lambda)
\!\!\!\!&&=\int_{\Theta}\sigma^{2}(\theta)\pi(\theta|\lambda)d\theta+
\int\big[\mu(\theta)-\mu_{m}(\lambda)\big]^{2}
\pi(\theta|\lambda)d\theta \nonumber\\
&&=E^{\theta|\lambda}\big[\sigma^{2}(\theta)\big]+E^{\theta|\lambda}\big[\mu(\theta)-\mu_{m}(\lambda)\big]^{2}\hspace{1.2cm}
(2.3.7)
\end {eqnarray*}\\\pause\vspace{-1mm}

\item 由~(2.3.4) 和~(2.3.7)
可见边缘分布的期望~$\mu_{m}(\lambda)$
和方差~$\sigma_{m}^{2}(\lambda)$ 皆与
~$E^{\theta|\lambda}[\mu(\theta)],$ $
E^{\theta|\lambda}[\sigma^{2}(\theta)],$ 和~$E^{\theta|\lambda}
[\mu(\theta)-\mu_{m}(\lambda)]^{2}$ 有关.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{选择先验分布的矩方法}

\begin{itemize}

\item (3) ~当先验分布只含有~2 个超参数~$\lambda_{1},\lambda_{2},~\lambda=(\lambda_1,\lambda_2)$ 时, 用\vspace{-2mm}
\begin{eqnarray*}
\hat{\mu}_{m}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_{i}~~\mbox{和}~~\hat{\sigma}_{m}^{2}=S^2=\frac{1}{n-1}
\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}
\end {eqnarray*}\\\vspace{-2mm}
分别作为~$\mu_{m}(\lambda)$ 和~$\sigma_{m}^{2}(\lambda)$
的估计.\medskip\pause

\item
将~(2.3.4) 和~(2.3.7) 左边的~$\mu_{m}(\lambda)$
和~$\sigma_{m}^{2}(\lambda)$分别用
这两个估计量代替，得方程组\vspace{-1mm}
\begin{eqnarray*}
\left\{\begin{array}{l}\hat{\mu}_{m}=E^{\theta|\lambda}\big[\mu(\theta)\big]\\
\hat{\sigma}_{m}^{2}=E^{\theta|\lambda}
\big[\sigma^{2}(\theta)\big]+E^{\theta|\lambda}\big[\mu(\theta)-\mu_{m}(\lambda)\big]^{2}\end{array}\right.
\end {eqnarray*}\\\vspace{-1mm}
解此方程组，可得超参数~$\lambda_{1}$ 和~$\lambda_{2}$
的估计量~$\hat{\lambda}_{1}$ 和~$\hat{\lambda}_{2}$
以及\\
\noindent $\hat{\lambda}=(\hat{\lambda}_{1},\hat{\lambda}_{2}).$
故~$\pi(\theta|\lambda)$ 可用~$\pi(\theta|\hat{\lambda})$
作为其估计而得到.
\end{itemize}
%\end{frame}
}

%\begin{frame}
\frame{\frametitle{一个例子}

\begin{itemize}

\item {\bf 例~2.3.3} ~设~$X\sim N(\theta,1),$
参数~$\theta$
的先验分布取为共轭先验\\
\noindent $N(\mu_{\pi},\sigma_{\pi}^{2}),$ 其中~$\lambda
=(\mu_{\pi},\sigma_{\pi}^{2})$ 未知.
设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从边缘分布~$m(x|\lambda)$
中抽取的~iid~样本，由样本算出样本均值~$\bar{X}=10,~S^{2} =3.$
试确定~$\theta$ 的先验分布.
\end{itemize}
%\end{frame}
}




\section{2.4 无信息先验}
\subsection{2.4.1 贝叶斯假设与广义先验分布}

\frame{\frametitle{1. 均匀分布与广义先验分布}

Bayes 分析的一个重要特点就是在统计推断时要利用先验信息.
但常常会出现这样的情况: 没有先验信息或者只有极少的先验信息可利用,
但仍想用贝叶斯方法. 此时所需要的是一种无信息先验,
即对参数空间~$\Theta$ 中的任何一点~$\theta$
没有偏爱的先验信息.\pause
%这就引出了无信息先验分布的概念.
\begin{itemize}

\item 若~$\Theta$ 为有限集, 即~$\theta$ 只可能取有限个值,
如~$\theta=\theta_{i},~i=1,2$ $\cdots n,$ 无信息先验给~$\Theta$
中的每个元素以概率~$1/n,$ 即\vspace{-2mm}
$$P(\theta=
\theta_{i})=1/n,~~i=1,2\cdots n\,.\vspace{-6mm}
$$\pause

\item 若~$\Theta$ 为~$R_{1}$ 上的有限区间~$[a,b],$
则取无信息先验为区间~$[a,b]$ 上的均匀分布~$U(a,b)$
~(有时也记为~$R(a,b)$).\smallskip\pause

\item 问题是若参数空间~$\Theta$ 无界, 无信息先验如何选取? 例如
样本分布为~$N(\theta,\sigma^{2}),$ $\sigma^{2}$ 已知,
此时~$\Theta=(-\infty,\infty).$ 若无信息先验取为~$\pi(\theta)\equiv
1,$ 则~$\pi(\theta)$ 不是通常的密度,
因为~$\int_{-\infty}^{\infty}\pi(\theta)d\theta$ $=\infty.$
这就引出广义先验分布的概念.
\end{itemize}
}


\frame{\frametitle{2. 广义先验密度定义及例}\vspace{-2mm}

\begin{itemize}

\item {\bf 定义~2.4.1} ~设随机变量~$X\sim
f(x|\theta),~\theta\in\Theta,$ 若~$\theta$ 的先验分布~$\pi(\theta)$
满足条件: ~(i) $\pi(\theta)\geq0$
且~$\int_{\Theta}\pi(\theta)d\theta=\infty,$ ~(ii)
后验密度~$\pi(\theta|x)$ 是正常密度函数, 则称~$\pi(\theta)$
为广义先验密度.\medskip\pause

\item {\bf 例~2.4.1} ~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
为从~$N(\theta,1)$ 总体中抽取的随机样本, 设~$\theta$
的先验密度~$\pi(\theta)\equiv 1,$ 求~$\theta$ 的后验密度.\pause

{\bf 解} ~由公式~(1.2.1) 可知 \vspace{-4mm}
\begin{eqnarray*}
\pi(\theta|\bm{x})\!\!&=&\!\!\frac{f(\mathbf{
x}|\theta)\pi(\theta)}{\dl\int_{-\infty}^{\infty}
\!\!f(x|\theta)\pi(\theta)d\theta}=
\frac{\exp\Big\{-\frac{1}{2}\sum\limits_{i=1}^{n}(x_{i}-\theta)^{2}\Big\}}{{\dl\int_{-\infty}^{\infty}}
\!\!\exp\Big\{\!-\frac{1}{2}\sum\limits_{i=1}^{n}(x_{i}-\theta)^{2}\Big\}d\theta}\\
&=&\!\!\sqrt{\frac{n}{2\pi}}\exp\Big\{-\frac{n}{2}(\theta-\widebar{x})^{2}\Big\}.
\end{eqnarray*}\vspace{-4mm}
\\ \pause
这是正态分布~$N(\bar{x},1/n)$ 的密度函数,
后验分布~$\pi(\theta|\bm{x})$ 仍为正常的密度函数,
故~$\pi(\theta)\equiv
1$ 为广义无信息先验密度.%它也是一种先验.
\end{itemize}
}


\subsection{2.4.2  位置参数的无信息先验}

\frame{\frametitle{1. 位置参数族}

\begin{itemize}

\item {\bf 定义~2.4.2}
~设总体~$X$ 的密度函数有形式~$f(x-\theta),$ 其样本空间~$\mathscr{X}$
和参数空间~$\Theta$ 皆为实轴~$R,$
则此类密度函数构成的分布族称为位置参数族, ~$\theta\in\Theta$
称为位置参数. \medskip\pause

\item 例如，设~$X\sim N(\theta,\sigma^{2}),$ 其中~$\sigma^{2}$ 已知，
则~$X$ 的密度函数\vspace{-2mm}
$$\frac{1}{\sqrt{2\pi}\sigma}
exp\Big\{\frac{1}{2\sigma^{2}}(x-\theta)^{2}\Big\}=f(x-\theta)\vspace{-2mm}
$$
属于位置参数族，\!$\theta$ 是位置参数.\medskip\pause

\item 又如，$X\sim$ 柯西分布~$C(\mu\,\lambda),~\lambda$
已知，则~$X$ 的密度函数\vspace{-2mm}
$$
\frac{1}{\pi}\cdot\frac{\lambda}{\lambda^{2}+(x-\mu)^{2}}=f(x-\mu)\vspace{-2mm}
$$
也属于位置参数族，\!$\mu$ 是位置参数.
\end{itemize}
}

\frame{\frametitle{ 2. ~位置参数的无信息先验}

\begin{itemize}

%\item 总体分布的密度函数有形式~$f(x-\theta),-\infty<\theta<\infty,$
%则称~$\theta$ 为位置参数.\smallskip\pause

\item 位置参数族具有在平移变换群下的不变性. 对~$X$ 作平移变换
得到~$Y=X+c,$ 同时对~$\theta$ 也作平移变换得到~$\eta=\theta+c.$
显然~$Y$ 的密度函数有形式~$f(y-\eta),~\eta$ 仍为位置参数.
所以~$(X,\theta)$ 与~$(Y,\eta)$ 的统计问题结构相同.
因此主张它们有相同的无信息先验是合理的.\medskip\pause

\item 理解这一点的另一方法:
~$X$ 和~$Y$ 的测量原点不同, 由于测量原点的选择是非常任意的,
所以无信息先验应当与这种选择无关. 如果无信息先验不依赖于原点的选择,
则它在等长区间内的先验概率应当一样. %换言之, 先验密度应当恒等于1.
即取~$\theta$ 的无信息先验密度~$\pi(\theta)$ $\equiv 1.$
它是一个广义先验密度. 可以证明当~$\theta$ 为位置参数时,
其无信息先验密度取为常数~c 或者~1.\medskip\pause

\item {\bf 例~2.4.2}
~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 为从总体~$
N(\theta,\sigma^{2})$ 中抽取的简单样本, $\sigma^{2}$ 已知. $\theta$
的先验为无信息先验, 求~$\theta$ 的后验分布.
\end{itemize}
}


\subsection{2.4.3 刻度参数的无信息先验}

\frame{\frametitle{1. 刻度参数族}

\begin{itemize}
\vspace{-2mm}

\item {\bf 定义~2.4.3} ~设总体~~\!$X$~\! 的密度函数有形式
~~\!$\sigma^{\D{-1}}\varphi(x/\sigma),$~\! 其中\\$\sigma>0$
为刻度参数， 参数空间为~$R^{+}=(0,\infty),$
则此类密度函数构成的分布族称为 刻度参数族.\smallskip\pause

\item 例如,~$X\sim N(0,\sigma^{2}),~X$ 的密度函数\vspace{-2mm}
\begin{eqnarray*}
f(x|\sigma) \!\!\!\!&&=\frac{1}{\sqrt{2\pi}\sigma}
\exp\Big\{-\frac{x^{2}}{2\sigma^{2}}\Big\}\\
&&=\sigma^{-1}\bigg[\frac{1}{\sqrt{2\pi}}
\exp\Big\{-\frac{1}{2}\Big(\frac{x}{\sigma}\Big)^{2}\Big\}\bigg]
=\sigma^{-1}\varphi\Big(\frac{x}{\sigma}\Big)
\end{eqnarray*}\\\vspace{-2mm}
符合上述定义，故属于刻度参数族，$\sigma$ 为刻度参数.
\smallskip\pause

\item 又如, $X$ 服从伽玛分布~$\Gamma(r,\lambda^{-1}),$ 其密度函数\vspace{-2mm}
$$f(x|\lambda)\!=\!\frac{\lambda^{-r}}{\Gamma(r)}x^{r-1}e^{-x/\lambda}
\!=\!\lambda^{-1}\Big[\frac{1}{\Gamma(r)}
\Big(\frac{x}{\lambda}\Big)^{r-1}\!\!e^{-x/\lambda}\Big]
\!=\!\lambda^{-1}\varphi\Big(\frac{x}{\lambda}\Big)\vspace{-2mm}
$$
其中~$r>0$ 已知，它也符合上述定义，因此也属于刻度参数，$\lambda$
为刻度参数.
\end{itemize}
}

\frame{\frametitle{2. 刻度参数的无信息先验}

\begin{itemize}

%\item 设总体分布的密度函数有形式~$\sigma^{\D{-1}}\varphi(x/\sigma),$ 则称~$\sigma>0$
%为刻度参数.\smallskip\pause

\item 刻度参数族具有在刻度变换群下的不变性. 对~$X$ 作变换~$Y=cX,~c>0,$ 同时对~$\sigma$ 作相应的变换~$\eta=c\sigma.$
不难算出~$Y$ 的密度仍为~$\eta^{-1}\varphi(y/\eta).$
可见~$(X,\sigma)$ 和~$(Y,\eta)$ 统计问题的结构相同, 故主张~$\sigma$
与~$\eta$ 的无信息先验相同.\medskip\pause

\item 理解这一点的另一方法: $X$ 和~$Y$ 的度量单位不同,
先验分布应当不依赖于度量单位的选择, 则对任何~$a,~b,~0<a<b,$ $
c>0,~\sigma$ 落在~$[a,b]$ 内的先验概率, 应当等于~$\eta$
落在~$[ca,cb]$ 内的先验概率, 可以证明,
这只有在先验密度为~$1/\sigma$ %(当$\sigma>0, ~\sigma<0$时为0)
时才可能, 即取~$\sigma$ 的无信息先验为
~$\pi(\sigma)=1/\sigma,\quad\sigma>0.$\medskip\pause

\item {\bf 例~2.4.3} ~设总体~$X$ 密度为 ~$f(x|\lambda)=\lambda^{-1}\exp\{-x/\lambda\},~x>0,$
$\lambda>0$ 为刻度参数. 令~$\mathbf{X}=(X_{1},\cdots,X_{n})$
是从上述分布中抽取的简单样本, $\lambda$ 的先验密度为无信息先验,
求其后验密度.
\end{itemize}
}


\subsection{2.4.4  一般情形下的无信息先验}
\frame{\frametitle{ 一般情形下的无信息先验--Jeffreys 无信息先验}

\begin{itemize}
\vspace{-2mm}

\item 对非位置参数族和刻度参数族的无信息先验如何求, 被广泛采用的是
~Jeffreys~(1961) 的方法, 由于推导涉及到变换群和~Harr 测度,
这里只给出结果, 不推导结果是如何得来的.
\medskip \pause

\item 设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 是来自总体~$f(x|\bm\theta)$ 的简单样本,
这里~$\bm\theta$ $=(\theta_{1},\cdots,\theta_{p})$ 为~$p$
维参数向量. 在对~$\bm\theta$ 无先验信息可用时, Jeffreys 用~Fisher
信息阵行列式的平方根作为~$\bm\theta$ 的无信息先验,
此先验称为~Jeffreys 无信息先验. 其求解步骤如下：\medskip \pause

\item  写出样本的对数似然函数\vspace{-2mm}
$$ l(\bm\theta|\mathbf{
x})=\ln\Big[\prod_{i=1}^{n}f(x_{i}|\bm\theta)\Big]=\sum_{i=1}^{n}\ln
f(x_{i}|\bm\theta).\vspace{-4mm}
$$
\end{itemize}
}

\frame{\frametitle{Jeffreyes 无信息先验}
\begin{itemize}

\item 求样本的信息阵\vspace{-2mm}
$$I(\bm\theta)
\!=\!\big(I_{ij}(\bm\theta)\big)_{p \times p}, ~
I_{ij}(\bm\theta)\!=\!E_{\D
\mathbf{X}|\bm\theta}\Big\{\!-\frac{\partial^{2}l}{\partial\theta_{i}
\partial\theta_{j}}\Big\}~~i,j=1,\cdots,p.\vspace{-2mm}
$$\pause
易证在~C-R 正则条件下\vspace{-2mm}
$$I_{ij}(\bm\theta)=E_{\D
\mathbf{X}|\bm\theta}\Big\{-\frac{\partial^{2}l}{\partial\theta_{i}
\partial\theta_{j}}\Big\}=E_{\D
\mathbf{X}|\bm\theta}\Big\{\frac{\partial{l}}{\partial\theta_{i}}\cdot\frac{\partial{l}}
{\partial\theta_{j}}\Big\}.\vspace{-2mm}
$$
\pause

\item 特别对~$p=1,$ 即~$\theta$ 为单参数的情形~$I(\theta)=E_{\D
\mathbf{X}|\theta}\Big\{-\frac{\partial^{2}l}{\partial\theta^{2}}\Big\}.$
\medskip\pause

\item $\bm\theta$ 的无信息先验的密度为~$\pi(\bm\theta)=[det\,
I(\bm\theta)]^{1/2},$ 其中~$det \,I(\theta)$ 表示 ~$p$
阶方阵~$I(\theta)$ 的行列式. 特别~$p=1,$
即单参数场合有\\
\noindent $\pi(\theta)=[I(\theta)]^{1/2}.$
\end{itemize}
}

\frame{\frametitle{Jeffreyes 无信息先验的例子}
\begin{itemize}

\item {\bf 例~2.4.4}
~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$ 是从总体~$N(\mu,\sigma^{2})$
中抽取的简单样本, 记~$\bm\theta=(\mu,\sigma),$ 求~$(\mu,\sigma)$
的联合无信息先验.\medskip\pause

\item 按上述步骤易求~$(\mu,\sigma)$ 的联合无信息先验为~$1/\sigma^{2}.$
它的几个特例为:\smallskip\pause

(1) 当~$\sigma$ 已知时,
$I(\mu)\!=\!E\big\{-\frac{\partial^{2}l(\bm\theta|\bm{x})}{\partial\mu^{2}}\big\}\!=\!n/\sigma^{2},$
故取~$\pi(\mu)\equiv 1.$\smallskip\pause

(2) 当~$\mu$ 已知时,
$I(\sigma)\!=\!E\big\{-\frac{\partial^{2}l(\bm\theta|\bm{x})}{\partial\sigma^{2}}\big\}
\!=\!2n/\sigma^{2},$ 故取~$\pi(\sigma)=$ $
~~~~~~1/\sigma,~\sigma\in(0,\infty).$\smallskip\pause

(3) 当~$\mu$ 和~$\sigma$ 独立时, $\pi(\mu,\sigma)\!=\!\pi(\mu)\cdot
\pi(\sigma)\!=\!1/\sigma,~ \sigma\in(0,\infty).$\medskip\pause

\item 由此可见, 当~$\mu$ 和~$\sigma$ 的先验不独立时,
他们的联合无信息先验为~$1/\sigma^{2};$ 而当~$\mu$ 和~$\sigma$
的先验独立时, 其联合无信息先验为~$1/\sigma.$ ~Jeffreys
最终推荐联合无信息先验用~$\pi(\mu,\sigma)=1/\sigma.$
\end{itemize}
}


\frame{\frametitle{Jeffreyes 无信息先验的例子}
\begin{itemize}


\item {\bf 例~2.4.5} ~设~$\theta$ 为~Benoulli 试验中成功概率,
则在~$n$ 次独立的~Benoulli 试验中, 成功次数~$X\sim b(n,\theta).$
即\vspace{-2mm}
$$ P(X=x)={n \choose x}\theta^{x}(1-\theta)^{n-x},~
x=0,1,\cdots,n.\vspace{-2mm}
$$
求~$\theta$ 的~Jeffreys 先验.\medskip\pause

\item  {\bf 注~2.4.1} ~本例中求出~$\theta$ 的~Jeffreys 先验是~$Be(1/2,1/2),$
我们还可以取~$\theta$ 的无信息先验为~(0,1) 上的均匀分布.
一般说来无信息先验不唯一, 它们对贝叶斯推断影响都很小,
%很少对结果产生较大的影响,
所以任何无信息先验都可以接受.
当今%无论在统计理论还是应用研究中
无信息先验采用越来越多, 就连经典统计学者也认为无信息先验是客观的,
是可以接受的. 这是近几十年中贝叶斯学派研究中最成功的部分.
\end{itemize}
}

\subsection{2.4.5 Reference 先验简介}
\frame{\frametitle{引言}

\begin{itemize}

\item 在参数是一维的情形~Jeffreys 先验被证明是相当成功的. 然而，正如
~Jeffreys 本人注意到的，在多参数情形使用这一先验有时会遇到困难.
他指出：在多个参数之间存在不相关时使用~Jeffreys
先验效果较好，在多个参数之间具有相关性时需要对~Jeffreys
先验进行修改才能使用. \!Reference
先验应运而生，即它是在多维场合通过修改~Jeffreys 先验而获得的.
在一维场合~Reference 先验与~Jeffreys 先验是一致的. \medskip\pause

\item Reference 先验是从信息量的准则出发对无信息先验的一种推广. 其基本思想是：
\!\!当获得观测数据后，使得
参数的先验分布和后验分布之间的~Kullback-Liebler (K-L) 距离最大.
\!由于 ~K-L
距离实际上可视为连续型随机变量的熵，其值越大表示先验信息越少.
在一维情形，Reference 先验和~Jeffreys
先验是相同的；当模型中存在多余参数时，Reference 先验和~Jeffreys
先验是不一样的. \medskip\pause
\end{itemize}
}

\frame{\frametitle{引言}

\vspace{-2mm}
\begin{itemize}

\item Reference 先验首先是由~Bernardo (1979)
提出来的. 一个新的研究领域“客观贝叶斯~(Objective
Bayes)”的创立，带动了~Reference 先验的研究. 自上世纪~80
年代以来，以~Jim Berger
为代表的一些统计学家的努力使其得到了进一步的发展和完善.\medskip\pause

\item 此处我们仅简介~Reference 先验引入的背景和它的定义，感兴趣的读者请研读第~2.4.5~小节的内容.
\medskip\pause

\item {\bf 定义~2.6.2~(K-L 距离)}
~设有两个概率密度函数~$p(x)$ 和~$q(x),$
它们的~Kullback-Leibler~(K-L) 距离定义为
$$KL\big(p(x),q(x)\big)=E_{p}[\ln(p/q)]=\int p(x)
\ln\bigg(\frac{p(x)}{q(x)}\bigg)dx.$$ \vspace{-2mm} \pause

由前面的公式~(2.6.11) 和定义~2.6.2 可见~K-L
距离实际上可视为连续型随机变量的熵, 其越大表示先验信息越少.
\end{itemize}
}


\frame{\frametitle{Reference 先验的定义}

\noindent{\bf 定义~2.6.3}
~\!设样本~\!$\mathbf{X}\!=\!(X_1,\cdots,X_n)$\!
的分布族为~\!$\{p(\bm{x}|\bm{\theta})\!:\bm{\theta}\in\Theta\},$\!
其中~\!$\bm{\theta}$\! 为参数向量~\!(或参数), \!$\Theta$\!
为参数空间；\!$\bm{\theta}$\! 的先验分布为~\!$\pi(\bm{\theta}),$\\
\noindent
令~$\mathscr{P}=\{\pi(\bm{\theta})>0:\int_\Theta\pi(\bm{\theta}|\bm{x})d\bm\theta<\infty\},\!$
此处~$\pi(\bm{\theta}|\bm{x})$ 为~$\bm{\theta}$ 的后验分布.
设先验分布~$\pi(\bm{\theta})$ 到后验分布~$\pi(\bm{\theta}|\bm{x})$
的 ~K-L
距离关于样本\\
\noindent $\bm{x}$ 的期望为
\begin{equation*}
I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})=\int_{\mathscr{X}}p(\bm{x})\bigg[\int_\Theta
\pi(\bm{\theta}|\bm{x})
\ln\Big(\frac{\pi(\bm{\theta}|\bm{x})}{\pi(\bm{\theta})}\Big)d\bm{\theta}\bigg]
d\bm{x},
\end{equation*}
其中~$p(\bm{x})=\int_\Theta
p(\bm{x}|\bm{\theta})\pi(\bm{\theta})d\bm{\theta}$ 为样本~$\bm{x}$
的边缘密度. \smallskip\pause

若~$\pi^*(\bm{\theta})\in\mathscr{P},$ 且满足
\begin{equation*}
I_{\pi^*(\bm{\theta})}(\bm{\theta},\bm{x})=\max_{\substack{\pi(\bm{\theta})}}
\big\{I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})\big\}
\end{equation*}
则称~$\pi^*(\bm{\theta})%=\arg
%{\max\limits_{\substack{\pi(\bm{\theta})}}}~\!I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})
$ 称为参数~$\bm{\theta}$ 的 ~Reference 先验.
 }




\section{2.5 共轭先验分布}
\subsection{2.5.1 共轭先验分布的概念及例}

\frame{\frametitle{\bf 共轭先验分布的定义及例}

\begin{itemize}

\item 另外一种选择先验的方法是在已知样本分布的情形下,
为了理论上的需要常常选参数的先验分布为共轭先验分布.\medskip\pause

\item {\bf 定义~2.5.1} ~设~$\mathscr{F}$ 为~$\theta$ 的先验分布~$\pi$ 构成的分布族,
样本~$X$ 的分布为~$f(x|\theta),$ 如果对任意取的~$\pi\in\mathscr{F}$
及样本~$x,$ 后验分布~$\pi(\theta|x)$ 仍属于~$\mathscr{F},$
则称~$\mathscr{F}$ 是一个共轭先验分布族.\medskip\pause

\item {\bf 注~2.5.1} ~
上述定义中的后验分布~$\pi(\theta|x)$ 的形式不仅依赖先验分布~$\pi,$
还依赖于样本分布族的形式.
离开指定参数及其所在的样本分布族去谈论共轭先验分布是没有 意义的.
因此，指定的先验分布族是否是共轭，要视样本分布族而定. \medskip\pause

\item {\bf 例~2.5.1} ~设~$X\sim~b(n,\theta).$ ~(1) 设~$\theta\sim
\mbox{均匀分布}~U(0,1),$ 证明~$\theta$ 的后验分布为贝塔分布; (2)
若取~$\theta$ 的先验分布为贝塔分布~$Be(a,b),$ 证明~$\theta$
的后验分布仍为贝塔分布. 即样本分布如果为二项分布,
则共轭先验分布为贝塔分布.\medskip\pause

%\item 后验密度的计算公式由~(7.1.1) 式给出,
%其中~$f(x |\theta)$ 是样本的密度函数, 它可以用似然函数~$l(\theta|x)$
%代替.
\end{itemize}
}


\subsection{2.5.2 后验分布的计算及例}
\frame{\frametitle{后验分布的计算}

\begin{itemize}
\item 后验密度的计算公式由~(1.2.1) 式给出,
其中~$f(\bm{x} |\theta)$ 是样本的密度函数,
它可以用似然函数~$l(\theta|\bm{x})$ 代替.\smallskip\pause

\item 在公式~(1.2.1) 式中，$m(\bm{x})$ 是~$\bm{X}$ 的边缘密度. 由于~$m(\bm{x})$ 与~$\theta$ 无关, 故可将~$1/m(\bm{x})$ 看成与~$\theta$ 无关的常数, 因此有\vspace{-2mm}
$$\qquad
\pi(\theta |\bm{x})=f(\bm{x} |\theta) \pi(\theta)\big/m(\bm{x})
\varpropto~f(\bm{x} |\theta) \pi(\theta).\qquad(2.5.3)\vspace{-6mm}
$$\pause

\item 对共轭先验分布情形, 求后验密度可按下列步骤:\smallskip\pause

(1) 写出似然函数~$l(\theta|\bm{x})$ 的核, 即~$l(\theta|\bm{x})$
中与~$\theta$ 有关的因子. 再写出先验密度~$\pi(\theta)$ 的核,
即~$\pi(\theta)$ 中与~$\theta$ 有关的因子.\smallskip\pause

(2) 类似公式~(2.5.3), 写出后验密度的核, 即\vspace{-2mm}
$$
\pi(\theta |\bm{x}) \!\varpropto\! f(\bm{x} |\theta) \pi(\theta)
\!\varpropto\! \{l(\theta|\bm{x})~\mbox{的核}\}\!\cdot\!
\{\pi(\theta)~\mbox{的核}\}.~~(2.5.4)\vspace{-2mm}
$$
即“后验密度核”是“似然函数核与先验密度核之积”.\smallskip\pause

(3) 将公式~(2.5.4) 的右边添加一个正则化常数因子~(可以与~$\bm{x}$
有关), 即可得到后验密度.
\end{itemize}
}


\frame{\frametitle{注释及例子}

\begin{itemize}

\item {\bf 注~2.5.2} ~上述计算后验分布的简化方法,
\!只对先验分布为共轭或无信息先验的情形有效. 当先验分布非上述情形,
获得后验分布的核之后, 如果不能判断后验分布的类型,
就不知道如何添加正则化常数因子将``后验密度的核"变成``后验密度".
此时只有老老实实按公式~$(1.2.1)$ 计算后验密度.\medskip\pause

\item {\bf 续例~2.5.1} ~设~$X\sim~b(n,\theta),$ 若取~$\theta$ 的先验分布为~$Be(a,b),$ 用上面介绍的方法求~$\theta$
的后验分布.\medskip\pause

\item {\bf 例~2.5.2} ~设~$X\sim
N(\theta,\sigma^2),~\sigma^2$ 已知而~$\theta$ 未知. 令~$\theta$
的先验分布~$\pi(\theta)$ 是~$N(\mu,\tau^2),$ 其中超参数~$\mu$
和~$\tau^2$ 已知, 求~$\theta$
的后验分布~$\pi(\theta|x)$.\medskip\pause

\item 在此例中，若进一步假定~$X_{1},\cdots,X_{n}~\mbox{i.i.d.} \sim
N(\theta,\sigma^2),~\sigma^2$ 已知, $\theta\sim N(\mu,\tau^2),$
求~$\theta$ 的后验密度.
\end{itemize}
}

\frame{\frametitle{共轭先验分布的例子}

\begin{itemize}

\item {\bf 例~2.5.3}
~设~$\bm{x}=(X_{1},\cdots,X_{n})$ 为从泊松分布~$P(\theta)$
中抽取的简单样本, $\theta$ 的先验分布为伽玛分布~$\Gamma(b,a).$
证明给定~$\bm{X}=\bm{x}$ 时, $\theta$ 的后验分布仍为伽玛
分布.\medskip\pause

\item {\bf 例~2.5.4}
~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
为从伽玛分布~$\Gamma(r,\lambda)$ 中抽取的简单样本,~$r$ 已知.
假定~$\lambda$ 的先验分布为伽玛分布~$\Gamma(b,a),$
则给定~$\mathbf{X}=\bm{x}$ 时, $\lambda$ 的后验分布仍为伽玛
分布.\medskip\pause

\item 此例表明当样本分布为伽玛分布~$\Gamma(r,\lambda),$ 其中~$r$ 已知,
则~$\lambda$ 的共轭先验是伽玛分布族. 由于指数分布是伽玛分布的特例,
因此当样本分布为指数分布~$Exp(\lambda)$ 时, $\lambda$
的共轭先验也是伽玛分布族.
\end{itemize}
}


\frame{\frametitle{逆伽玛分布的定义及例}

\begin{itemize}

\item {\bf 定义~2.5.3~(逆伽玛分布)} ~若样本~$X$ 的密度函数为\vspace{-2mm}
$$f(x|\lambda)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{-(\alpha+1)}
e^{-\frac{\lambda}{x}},~x>0,\vspace{-2mm}
$$
则称~r.v.~$X$ 的分布为逆伽玛分布,
记为~$X\!\sim\!\Gamma^{-1}(\alpha,\lambda).$
显见，若~$X\sim\Gamma(\alpha,\lambda),$
则~$Y=1/X\sim\Gamma^{-1}(\alpha,\lambda).$\smallskip\pause

\item {\bf 例~2.5.5}
~设~$\mathbf{X}=(X_{1},\cdots,X_{n})$
是从正态分布~$N(\theta,\sigma^2)$ 中抽取的简单样本, 其中~$\theta$
已知, 求~$\sigma^{2}$ 的共轭先验分布.\smallskip\pause
\end{itemize}
}

\frame{\frametitle{共轭先验分布表}

%\centerline{\bf \it 表2.5.1~~共轭先验分布表}
\vspace{-7mm}
$$\begin{tabular}{l|l|l}\hline

{\bf 样本分布~$f(x|\theta)$ } & {\bf 先验分布~$\pi(\theta)$} & {\bf
后验分布~$\pi(\theta|x)$}\pause
\\\hline

正态~$N(\theta,\sigma^2)$ & 正态~$N(\mu,,\tau^2)$ &
正态~$N\Big(\frac{\sigma^2\mu+\tau^2
x}{\sigma^2+\tau^2},\frac{\sigma^2\tau^2}{\sigma^2+\tau^2}\Big)$\pause
\\\hline

伽玛~$\Gamma(r,\theta)$ & 伽玛~$\Gamma(\alpha,\beta)$ &
伽玛~$\Gamma(r+\alpha,x+\beta)$ \\
{\footnotesize($r\!=\!1$ 为指数分布)} & &\pause
\\\hline

均匀~$U(0,\theta)$ & 帕雷托~$Pa(\theta_0,\alpha)$ &
 帕雷托~$Pa(\theta_1,\alpha+1)$\\
 & &{\footnotesize $\theta_1=\max(x,\theta_0)$}\pause
 \\\hline

伽玛~$\Gamma\big(r,1/\theta\big)$ &
逆伽玛~$\Gamma^{-1}(\alpha,\beta)$ &
逆伽玛~$\Gamma^{-1}(r+\alpha,x+\beta)$\pause
\\\hline

泊松~$P(\theta)$ & 伽玛~$\Gamma(\alpha,\beta)$ &
伽玛~$\Gamma(x+\alpha,1+\beta)$\pause
\\\hline

二项~$B(n,\theta)$ & 贝塔~$Be(a,b)$ & 贝塔~$Be(x+a,n-x+b)$
\\
{\footnotesize ($n\!=\!1$ 为两点分布)} & &\pause
\\\hline

负二项~$Nb(r,\theta)$ & 贝塔~$Be(a,b)$ &
贝塔~$Be(r+a,x-r+b)$\\
{\footnotesize ($r\!=\!1$ 为几何分布)} & &\pause
\\\hline

多项~$M(n,\bm\theta)$ & $D(\alpha_1,\cdots,\alpha_k)$ &
$D(x_1+\alpha_1,\cdots,x_k+\alpha_k)$\\
{\footnotesize$\bm\theta\!=\!(\theta_1,\cdots,\theta_k)$} &
{\footnotesize狄利克雷分布} & {\footnotesize
$x_1+\cdots+x_k=n$}\\\hline
\end{tabular}$$
}

\frame{\frametitle{共轭先验分布表的注释}

\begin{itemize}

\item 上式共轭先验分布表中样本分布是对样本大小为~1 的情形
来讨论的. \medskip\pause

\item 当从总体~$X$ 中抽取大小为~$n$ 的样本 ~$X_1,\cdots,
X_n$时，则样本分布应当用样本~$X_1,\cdots, X_n$
的联合分布代替，后验分布应作相应的调整. \medskip\pause

\item 若充分统计量存在，则也可以用充分统计量的分布代替
样本~$X_1,\cdots, X_n$ 的联合分布，此时后验分布也应作相应改动.
\end{itemize}
%\end{frame}
}

\subsection{2.5.3 共轭先验的优点}

\frame{\frametitle{共轭先验的优点}

\begin{itemize}

\item  共轭先验分布具有下列优点: (1) 计算方便; (2)
后验分布的某些参数常可以得到很好的解释.\medskip\pause

\item 如例~2.5.2 中, 后验分布为~$N(\mu_n(\bm x),\eta_n^2),$
其中
\begin{eqnarray*}
\mu_n(\bm{x})\!\!&&=\frac{\sigma^2/n}{\sigma^2/n+\tau^2}\,\mu+\frac{\tau^2}
{\sigma^2/n+\tau^2}\,\bar{x},\\
&&=r_n~\!\mu+(1-r_n)\bar{x},
\end{eqnarray*}
此处~$r_n=\frac{\sigma^2/n}{\sigma^2/n +\tau^2}.$
后验均值~$\mu_n(\bm{x})$ 是样本均值~$\bar{x}$ 和先验均值~$\mu$
的加权平均. 若~$ \sigma^{2}/n$ 很小,
即样本信息量相对于先验信息量很大, 则后验均值主要由~$\bar{x}$ 决定,
反之, 则后验均值主要由先验均值~$\mu$ 来决定.
故后验均值是样本均值和先验均值的一个折衷.
\end{itemize}
}




\section{2.6 最大熵先验*}
\subsection{2.6.1 引言}

\frame{\frametitle{引言}

\begin{itemize}

\item 本章~$\S2.2$
介绍了如何利用先验信息确定先验分布,这是属于先验信息足够多的情形,
$\S2.4$ 介绍了当没有或几乎没有
先验信息时，仍想使用贝叶斯方法，引入了无信息先验分布.
事实上，还有介于上述两种情形之间的一种情形，
即常常有部分先验信息可资利用，除此之外的部分希望尽可能使用无信息先验.
%例如，先验均值被指定，在以此指定值作为均值的先验分布类中，
%寻找最无信息的先验分布，处理这个问题的一个有效方法，需要引入
“最大熵先验”就是针对这一问题提出来的. \medskip\pause

\item 熵与信息论有直接的关系，可以认为它是概率分布固有的不确定性的一种度量.
\end{itemize}
}

\subsection{2.6.2 熵的定义}
\frame{\frametitle{熵与信息}
\begin{itemize}


\item 在随机试验中如果一个随机变量~$X$ 只取 ~$1$ 和~$0$ 两个值
~(例如，\!$X=1$ 表示打靶命中目标，\!$X=0$ 示打靶未命中目标),\\
\noindent试比较下列三种情形：\medskip\pause

~~~~~~~甲： $P(X=1)=0.5, ~\quad P(X=0)=0.5~\!;$\smallskip\pause

~~~~~~~乙： $P(X=1)=0.99, \quad P(X=0)=0.01~\!;$\smallskip\pause

~~~~~~~丙： $P(X=1)=0.7, ~\quad P(X=0)=0.3~\!.$
\medskip\pause

\item
显然甲的不确定性最大，乙的不确定性最小，丙的不确定性介于甲、乙两种情形之间.
因此有必要对随机试验不确定性的程度
给出定量的刻画，我们希望找到一个量，用它作为随机试验不确定性合理的度量.
这个量就是“熵”，它是由美国数学家 申农~(Shannon, 1948) 提出来的.
\end{itemize}
}

\frame{\frametitle{定义}
\begin{itemize}

\item {\bf 定义~2.6.1} ~设随机变量
~$X$ 是离散型的，它的取值为~$a_1,a_2,$ $\cdots$ 至多可列个值，且
~$P(X=a_i)=p_i,~i=1,2,\cdots,$ 则称\vspace{-1mm}
$$H(x)=-\sum\limits_i p_i \ln p_i\vspace{-2mm}
$$
为随机变量~$X$ 的熵~(entropy). 为了允许~$p_i=0,$ 我们规定~$0\cdot
\ln 0=0.$\medskip\pause

\item 下面我们来看射击的例子中三种不同情形下熵的大小: \smallskip\pause

~~~~~~~$H_{\mbox{{\small 甲}}}=-\frac{1}{2}\ln
\frac{1}{2}-\frac{1}{2}\ln \frac{1}{2}=\ln
2=0.6931;$\smallskip\pause

~~~~~~~$H_{\mbox{{\small 乙}}}=-0.99\ln 0.99-0.01\ln
0.01=0.0560;$\smallskip\pause

~~~~~~~$H_{\mbox{{\small 丙}}}=-0.70\ln 0.70-0.30\ln
0.30=0.6109.$\smallskip\pause
\\
这里~$\ln$ 是取以~$e$ 为底的对数.
\!可见甲的熵最大，\!乙的熵最小，\!丙的熵介于二者之间. \!这与
直观感觉相符.
\end{itemize}
}

\subsection{2.6.3 最大熵先验}
\frame{\frametitle{{\bf 1. \it~先验分布的熵}}

\begin{itemize}

\item 设~r.v.~$\theta$ 是离散性的，它的取值为~$\theta_1,\theta_2,\cdots$
至多可列个值，令~$\pi(\theta)$ 为~$\theta$ 的概率分布，
~$\pi(\theta_i)=p_i,~i=1,2,\cdots,$ $ ~\sum\limits_{i} p_i=1,$
则称\vspace{-2mm}
\begin{equation*}
E_n(\pi)=-\sum\limits_{i}
\pi(\theta_i)\ln\pi(\theta_i)=-\sum\limits_i p_i \ln
p_i\vspace{-2mm}
\end{equation*}
为~r.v.~$\theta$ (或先验分布~$\pi$) 的熵.
为了允许~$p_i=\pi(\theta_i)=0,$ 规定~$0\cdot \ln 0=0.$
\medskip\pause

\item {\bf 例~2.6.2} ~设~$\theta$ 为离散型~r.v., 其参数空间为
~$\Theta=\{\theta_1,\cdots,\theta_n\}.$\medskip\pause

~~~~~(1) ~若~$\pi(\theta_k)=1,~\pi(\theta_i)=0,$ 当~$i\ne k,$ 求熵
~$E_n(\pi).$\smallskip

~~~~~(2) ~若~$\pi(\theta_i)=p_i,~i=1,2,\cdots, ~\sum\limits_{i}
p_i=1,$ 则熵~$E_n(\pi)$ 达到最大的充要条件是
~$p_1=p_2=\cdots=p_n=1/n.$ \end{itemize} }

\frame{\frametitle{解释}

\begin{itemize}

\item 有此例~(1) 可见当
~$\pi(\theta_k)=1,~\pi(\theta_i)=0,~\mbox{当}~i\ne k$ 时， r.v.
~$\theta$ 的不确定性最小，因为它以概率~1 取~$\theta=\theta_k.$
因此它的熵为~0, 即不确定性最小，这与直观感觉相符. \medskip\pause

\item 由~(2) 可知当\vspace{-2mm}
$$p_1=p_2=\cdots=p_n=\frac{1}{n}.\vspace{-2mm}
$$
时，对应的熵是\vspace{-2mm}
$$E_n(\pi)=-\sum\limits_{i}^n \frac{1}{n}\ln\frac{1}{n}=\ln n.\vspace{-2mm}
$$
故由~(2) 可见: 离散型~r.v. $\theta$ 的最大熵分布与均匀分布
~(无信息先验分布) 是一致的，对连续型~r.v. 也有类似结果.
\end{itemize}
}

\frame{\frametitle{求最大熵先验的思想方法}

\begin{itemize}

\item 由前面的例子，我们已经看到“无信息”意味着“不确定性最大”，故无信息先验分布应是最大熵所
对应的分布.
所以最大熵原则可以概括为:~无信息先验分布应取参数~$\theta$
变化范围内的最大熵分布.
\medskip\pause

\item 假设已知关于参数~$\theta$
的一部分信息，方便的方法是把这部分已知的信息用对先验分布~$\pi(\theta)$
的约束条件来表示， 例如假定先验分布的矩满足一定的约束条件.
然后在满足这些约束条件的先验分布类中寻找使熵最大化的先验，即在满足给定约束
条件下的先验分布类中，寻找无信息先验分布. \medskip\pause

\item 按上述要求得出的先验分布既包含了已知的先验信息,又是尽可能
无信息~(最大熵) 的先验分布，这就是我们所希望获得的最大熵先验分布.
如何获得最大熵先验，有下列定理.
\end{itemize}
}

\frame{\frametitle{2. ~$\theta$ 为离散型随机变量时的最大熵先验}
%\begin{itemize}

\noindent{\bf 定理~2.6.1} ~设~$\theta$ 为离散型~r.v.,
取值为~$\theta_1,\theta_2,\cdots$ 至多可列个值,\\
\noindent $\theta$ 的先验分布满足下列条件\vspace{-2mm}
$$\quad
E^{\pi}\big[g_k(\theta)\big]=\sum\limits_i
g_k(\theta_i)\pi(\theta_i)=\mu_k, ~~k=1,\cdots,m,\quad(2.6.9)
\vspace{-3mm}
$$
其中~$g_k(\cdot),~ \mu_k ~(k=1,\cdots,m)$
分别表示已知的函数和已知的常数~(当然，此时还隐含有条件~$\sum\limits
_i \pi(\theta_i)=1$), 则满足条件~(2.6.9) 且使~$E_n(\pi)$
最大化的解为\vspace{-2mm}
$$~~\quad
\bar{\pi}(\theta_i)=\frac{\exp\Big\{\sum\limits_{k=1}^m \lambda_k
g_k(\theta_i)\Big\}}{\sum\limits_i \exp\Big\{\sum\limits_{k=1}^m
\lambda_k g_k(\theta_i)\Big\}},~~i=1,2,\cdots,~~\quad(2.6.10)
\vspace{-2mm}
$$
其中~$\lambda_1,\cdots,\lambda_k$ 使得当~$\pi=\bar{\pi}$ 时式
~(2.6.9) 皆成立，即\vspace{-2mm}
\begin{equation*}
\sum\limits_i g_k(\theta_i)\bar{\pi}(\theta_i)=\mu_k,
~~k=1,\cdots,m.\vspace{-2mm}
\end{equation*}
%\end{itemize}
}

\frame{\frametitle{一个例子}

\begin{itemize}

\item {\bf 例~2.6.3} ~设~$\theta$ 的参数空间为
~$\Theta=\{0,1,2,\cdots\},$ 且~$\theta$
的先验分布满足下列条件：~$E^{\pi}(\theta)=5,$ 求~$\theta$
的最大熵先验. \medskip\pause

\item {\bf 解} ~按约束条件~(2.6.9) 可知此处
~$m=1,~g_1(\theta)=\theta,~\mu_1=5,$ 由定理~2.6.1
可知最大熵先验分布为
$$\bar{\pi}(\theta)=e^{\lambda_1\theta}\Big/ \sum\limits_\theta e^{\lambda_1\theta}
=\big(1-e^{\lambda_1}\big)\big(e^{\lambda_1}\big)^\theta,~~\theta=1,2,\cdots.\vspace{-2mm}
$$
\pause

\item 显然，这是成功概率为~$p=1-e^{\lambda_1}$ 的几何分布，其均值为
$$E^{\bar\pi}(\theta)=\frac{1-p}{p}=\frac{e^{\lambda_1}}{1-e^{\lambda_1}}=5.$$
解得~$e^{\lambda_1}=5/6.$ 故最大熵先验分布是成功概率~$p=1-5/6$
$=1/6$ 的几何分布.
\end{itemize}
}

\frame{\frametitle{3. ~连续型随机变量最大熵先验的定义}
\begin{itemize}

\item 若 ~r.v. $\theta$
是连续型的，应用最大熵方法变得复杂了，第一个困难是对连续型随机变量的熵不存在一个完全的、自然的定义.
\medskip\pause

\item Jaynes (1968) 主张定义熵为
$$
E_n(\pi)\!=\!-E^{\pi}\bigg[\ln\frac{\pi(\theta)}{\pi_0(\theta)}
\bigg]\!=\! -\int_{\Theta}\!\!
\pi(\theta)\ln\Big(\frac{\pi(\theta)}{\pi_0(\theta)}\Big)d\theta,~(2.6.11)
$$
其中~$\pi_0(\theta)$
为问题的自然的“不变的”无信息先验~(其定义见~$\S2.4$).
%然而，确定无信息先验的困难和不确定性使这个定义有些不明确，但仍然可以用.
\end{itemize}
}

\frame{\frametitle{$\theta$ 为连续型~r.v. 时的最大熵先验}

\noindent{\bf 定理~2.6.2} ~设~$\theta$ 为~$\Theta=(-\infty, \infty)$
上的连续型~r.v., $\theta$ 的先验分布~$\pi(\theta)$
满足下列条件\vspace{-2mm}
$$\quad
E^{\pi}\big[g_k(\theta)\big]\!=\!\int_{\Theta}
g_k(\theta)\pi(\theta)d\theta\!=\!\mu_k,
~~k=1,\cdots,m,\quad(2.6.12)\vspace{-2mm}
$$
其中~$g_k(\cdot),~\mu_k ~(k=1,\cdots,m)$
分别表示已知的函数和已知的常数, 则满足条件~(2.6.12) 且使~$E_n(\pi)$
最大化的解为\vspace{-1mm}
$$~~\qquad
\widetilde{\pi}(\theta)=\frac{\pi_0(\theta)\cdot\exp\Big\{\sum\limits_{k=1}^m
\lambda_k g_k(\theta)\Big\}}{{\dl\int_\Theta}\pi_0(\theta)\cdot
\exp\Big\{\sum\limits_{k=1}^m \lambda_k
g_k(\theta)\Big\}d\theta},~~\qquad(2.6.13)\vspace{-1mm}
$$
其中~$\lambda_1,\cdots,\lambda_k$ 使得当~$\pi=\widetilde{\pi}$
时式~(2.6.12) 皆成立，即\vspace{-2mm}
\begin{equation*}
\int_\Theta g_k(\theta)\widetilde\pi(\theta)d\theta=\mu_k,
~~k=1,\cdots,m. \vspace{-2mm}
\end{equation*}
}

\frame{\frametitle{一个例子}

\begin{itemize}

\item {\bf 例~2.6.4} ~设~$\theta$ 为~$\Theta=(-\infty,
\infty)$ 上的连续型~r.v., $\theta$ 为位置参数
~(其自然的“不变的”无信息先验是~$\pi_0(\theta)=1$).
已知的先验信息为：$\theta$ 的先验均值之真值为~$\mu,$
先验方差之真值为~$\sigma^2,$ $ \mu$ 和~$\sigma^2$ 已知.
求满足这些已知先验信息的最大熵先验分布.
\medskip\pause

\item 按定理~2.6.2 可求得最大熵先验分布为~$\widetilde{\pi}(\theta)$ 是~$
N(\mu,\sigma^2).$
\end{itemize}
}

%\subsection{2.6.4 Reference 先验简介}
%\frame{\frametitle{引言}
%
%\begin{itemize}
%
%\item 在参数是一维的情形~Jeffreys 先验被证明是相当成功的. 然而，正如
%~Jeffreys 本人注意到的，在多参数情形使用这一先验有时会遇到困难.
%他指出：在多个参数之间存在不相关时使用~Jeffreys
%先验效果较好，在多个参数之间具有相关性时需要对~Jeffreys
%先验进行修改才能使用. \!Reference
%先验应运而生，即它是在多维场合通过修改~Jeffreys 先验而获得的.
%在一维场合~Reference 先验与~Jeffreys 先验是一致的. \medskip\pause
%
%\item Reference 先验是从信息量的准则出发对无信息先验的一种推广. 其基本思想是：
%\!\!当获得观测数据后，使得
%参数的先验分布和后验分布之间的~Kullback-Liebler (K-L) 距离最大.
%\!由于 ~K-L
%距离实际上可视为连续型随机变量的熵，其值越大表示先验信息越少.
%在一维情形，Reference 先验和~Jeffreys
%先验是相同的；当模型中存在多余参数时，Reference 先验和~Jeffreys
%先验是不一样的. \medskip\pause
%\end{itemize}
%}
%
%\frame{\frametitle{引言}
%
%\begin{itemize}
%
%\item Reference 先验首先是由~Bernardo (1979)
%提出来的. 一个新的研究领域“客观贝叶斯~(Objective
%Bayes)”的创立，带动了~Reference 先验的研究. 自上世纪~80
%年代以来，以~Jim Berger
%为代表的一些统计学家的努力使其得到了进一步的发展和完善.
%\medskip\pause
%
%\item {\bf 定义~2.6.2~(K-L 距离)}
%~设有两个概率密度函数~$p(x)$ 和~$q(x),$
%它们的~Kullback-Leibler~(K-L) 距离定义为
%$$KL\big(p(x),q(x)\big)=E_{p}[\ln(p/q)]=\int p(x)
%\ln\bigg(\frac{p(x)}{q(x)}\bigg)dx.$$ \vspace{-2mm} \pause
%
%由前面的公式~(2.6.11) 和定义~2.6.2 可见~K-L
%距离实际上可视为连续型随机变量的熵, 其越大表示先验信息越少.
%\end{itemize}
%}
%
%
%\frame{\frametitle{Reference 先验的定义}
%
%\noindent{\bf 定义~2.6.3}
%~\!设样本~\!$\mathbf{X}\!=\!(X_1,\cdots,X_n)$\!
%的分布族为~\!$\{p(\bm{x}|\bm{\theta})\!:\bm{\theta}\in\Theta\},$\!
%其中~\!$\bm{\theta}$\! 为参数向量~\!(或参数), \!$\Theta$\!
%为参数空间；\!$\bm{\theta}$\! 的先验分布为~\!$\pi(\bm{\theta}),$\\
%\noindent
%令~$\mathscr{P}=\{\pi(\bm{\theta})>0:\int_\Theta\pi(\bm{\theta}|\bm{x})d\bm\theta<\infty\},\!$
%此处~$\pi(\bm{\theta}|\bm{x})$ 为~$\bm{\theta}$ 的后验分布.
%设先验分布~$\pi(\bm{\theta})$ 到后验分布~$\pi(\bm{\theta}|\bm{x})$
%的 ~K-L
%距离关于样本\\
%\noindent $\bm{x}$ 的期望为
%\begin{equation*}
%I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})=\int_{\mathscr{X}}p(\bm{x})\bigg[\int_\Theta
%\pi(\bm{\theta}|\bm{x})
%\ln\Big(\frac{\pi(\bm{\theta}|\bm{x})}{\pi(\bm{\theta})}\Big)d\bm{\theta}\bigg]
%d\bm{x},
%\end{equation*}
%其中~$p(\bm{x})=\int_\Theta
%p(\bm{x}|\bm{\theta})\pi(\bm{\theta})d\bm{\theta}$ 为样本~$\bm{x}$
%的边缘密度. \smallskip\pause
%
%若~$\pi^*(\bm{\theta})\in\mathscr{P},$ 且满足
%\begin{equation*}
%I_{\pi^*(\bm{\theta})}(\bm{\theta},\bm{x})=\max_{\substack{\pi(\bm{\theta})}}
%\big\{I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})\big\}
%\end{equation*}
%则称~$\pi^*(\bm{\theta})%=\arg
%%{\max\limits_{\substack{\pi(\bm{\theta})}}}~\!I_{\pi(\bm{\theta})}(\bm{\theta},\bm{x})
%$ 称为参数~$\bm{\theta}$ 的 ~Reference 先验.
% }



\section{2.7  多层先验（分阶段先验）}
\subsection{2.7.1 多层先验分布的概念}

\frame{\frametitle{多层先验分布的定义}

\begin{itemize}

\item 当所给先验分布中的超参数难于确定时，可以对超参数再给出一个先验，第二个先验称为超先验;
若超先验中 的超参数还是难以确定时，还可以再给出第三个先验，等等.
由先验和超先验决定的一个 新先验就称为多层先验，这是由~Good (1983)
命名的，也叫做分阶段先验. 其想法大致如下：\medskip\pause

\item 第一步：设
~$\Gamma_1=\big\{\pi_{1}(\theta|\lambda):~\pi_{1}~\mbox{的函数形式已知},
~\lambda\in\Lambda\big\};$ 其中~$\Lambda$ 为超参数~$\lambda$
的取值范围，且~$\lambda$ 未知.
\medskip\pause

\item 第二步：设~$\lambda$ 为随机变量\vspace{-2mm}
$$\Gamma_2=\big\{\pi_{2}(\lambda|\delta):~\pi_{2}~\mbox{的函数形式已知},
~\delta\in\Delta\big\};\vspace{-2mm}
$$
其中~$\Delta$ 为~$\delta$ 的取值范围. \medskip\pause

\item 第三步：设~$\delta$ 也是随机变量, 它有先验分布~$\pi_{3}(\delta).$
\end{itemize}
}

\frame{\frametitle{多层先验分布的定义}

\begin{itemize}
\vspace{-2mm}

\item 多层结构与其说是完全新的内容,不如说是先验的一种方便表现方法,任何一个多层先验
都可写成一个一般规范的先验.\medskip\pause

\item 以二层先验为例，这个规范的先验是\vspace{-1mm}
\begin{eqnarray*}
\pi(\theta)=\int_{\Lambda}\pi_{1}(\theta|\lambda)\pi_{2}(\lambda)d\lambda
=\int_{\Lambda}\pi(\theta,\lambda)d\lambda,~~~~(2.7.1)
\end{eqnarray*}\\\vspace{-1mm}
此处~$\theta\sim\pi_{1}(\theta|\lambda),~\!\lambda\sim\pi_{2}(\lambda),~\!\theta
~\mbox{和}~\!\lambda$ 的联合密度为~$\pi(\theta,\lambda)\!=$
$\pi_{1}(\theta|\lambda)\pi_{2}(\lambda),$ 故~$\pi(\theta)$
作为联合密度~$\pi(\theta,\lambda)$ 的边缘密度 就是~$\theta$
的先验密度. \medskip\pause

\item 对于三层的先验，这个规范的先验是\vspace{-1mm}
\begin{eqnarray*}
\pi(\theta)\!\!\!\!&&=\int_{\Lambda}\int_{\Delta}\pi_{1}(\theta|\lambda)
\pi_{2}(\lambda|\delta)\pi_{3}(\delta)d\lambda d\delta\nonumber\\
&&=\int_{\Lambda}\pi_{1}(\theta|\lambda)\bigg[\int_{\Delta}
\pi(\lambda,\delta)d\delta\bigg]d\lambda.~~~~~~~~(2.7.2)
\end{eqnarray*}\\\vspace{-1mm}
其中~$\pi(\lambda,\delta)=\pi_{2}(\lambda|\delta)\pi_{3}(\delta).$
对于更多层的先验，可用类似方法求得规范的先验~$\pi(\theta).$
\end{itemize}
}


\frame{\frametitle{一个例子}

\begin{itemize}

\item 由多层先验按上述方法获得规范的先验~$\pi(\theta)$ 后，视~$\pi(\theta)$ 为
~$\theta$ 的先验分布进行贝叶斯分析，这就与通常先验分布下的贝叶斯分析
无本质差别. \medskip\pause

\item {\bf 例~2.7.1} ~设对某产品的不合格率~$\theta$ 了解较少，只知道~$\theta$
较小.  现需确定~$\theta$ 的先验分布. 决策人经反复思考，决定
考虑用多层先验. 他的思路是这样的：\smallskip\pause

(1) ~开始考虑用~(0,1) 上的均匀分布作为~$\theta$ 的先验分布.
\smallskip\pause

(2) ~后来他觉得不妥，因为产品的不合格率~$\theta$ 较小, 不会超过 0.5,
于是他改用区间~(0,~\!0.5) 上的均匀分布作为先验分布.\smallskip\pause

(3) ~有人对上限~0.5 提出意见，问为什么不可以把上限改成~0.4
呢？也有人建议上限用~0.1, 他也无把握. 这些促使他考虑用分层先验.
\medskip\pause

%最后提出如下方法是：~取$\theta$的先验为
%$(0,\lambda)$上的均匀分布$U(0,\lambda),~0<\lambda<1,~\lambda$是未知的
%超参数. 要确切定出$\lambda$很难，根据大家建议$\lambda$在(0.1,~0.5)上取值，
%故取$\lambda$的超先验为(0.1,~0.5)上的均匀分布$U(0.1,~0.5),$因此分层先验
%如下：

\item 最后提出如下方法是: (i) ~$\theta$ 的先验分布~$\pi_{1}(\theta|\lambda)$ 为~$U(0,\lambda),$ (ii) ~$\lambda$ 的先验分布为~$\pi_{2}(\lambda)$
为~$U(0.1,0.5)$.
\end{itemize}
}

\frame{\frametitle{图~2.7.1}

\begin{figure}[h,p,t]
\centering{
\includegraphics[scale=0.62,angle=0]{fig271.pdf}}\\
\centerline{\bf\it 图~2.7.1~~$\theta$ 的多层先验}\label{fig271}
\end{figure}
}




\subsection{2.7.2  确定多层先验的方法和步骤}
\frame{\frametitle{确定多层先验的方法和步骤}

\begin{itemize}

\item ~首先对未知参数~$\theta$ 给出一个形式已知的密度函数作为先验分布，
即~$\theta\sim\pi_{1}(\theta|\lambda)$, 其中~$\lambda$
为超参数，$\lambda\in\Lambda.$\medskip\pause

\item
~第二步是对超参数~$\lambda$
再给出一个先验分布~$\pi_{2}(\lambda)$.\medskip\pause

\item ~对两层先验, 按公式~(2.7.1) 求得规范的先验~$\pi(\theta).$
对于三层先验，可按公式~(2.7.2) 求得规范的先验;
对更多层的先验，可用类似方法
求得规范的先验~$\pi(\theta).$\medskip\pause

\item 在由多层先验按上述方法获得规范的先验~$\pi(\theta)$ 后，
任一个与多层先验有关的贝叶斯分析问题都可从~$\pi(\theta)$
出发进行，它与通常的贝叶斯分析 无本质差别.
\end{itemize}
}



\subsection{2.7.3
注释}

\frame{\frametitle{注释}
\begin{itemize}

\item 既然可以把一个分层贝叶斯模型转化为规范形式的先验~(即一个单层先验) 模型，为什么我们还要研究多层贝叶斯模型呢？

\item
~因为多层贝叶斯模型允许
我们在建模时，可以把相对复杂的情况分解为一系列简单的情形.
以两层先验为例，$\pi_{1}(\theta|\lambda)$ 和~$\pi_{2}(\lambda)$
都可以是简单的函数形式~(共轭先验或无信息先验等)，但式~(2.7.1)
表示的~$\pi(\theta)$ 可能非常的复杂.\medskip\pause

\item  分层先验模型的另一个重要特点，是便于计算.
以两层先验为例，如果用通常的贝叶斯模型计算~$\bm\theta$ 的后验分布
~$\pi(\bm\theta|\bm{x})$ 和它的某些数字特征， 由于~$\bm\theta$
的联合后验密度没有显式表达而通过积分表示，计算非常困难.
为了克服计算上的难题，首先需要建立容易使用的后验分布的表达式.
即由多层结构各阶段的后验来表达~$\bm\theta$
的联合后验，这些各阶段的后验大多有显式表达，且容易计算.
%最外面一层的积分即使无显式表达，也可通过~6.2
%节的蒙特卡洛逼近方法获得近似计算的结果. 也可以利用~6.5 节和~6.6
%节的马尔科夫链蒙特卡洛`(MCMC) 方法获得近似计算的结果.

\end{itemize}
}



\end{CJK*}
\end{document}



\begin{frame}{}

\begin{itemize}

\item

\item

\item

\end{itemize}
\end{frame}

\begin{frame}{}

\begin{itemize}

\item

\item

\item

\end{itemize}
\end{frame}
