7. 统计回归模型(II)

数学建模

张瑞
中国科学技术大学数学科学学院

统计回归模型

时间序列分析

例 1. 某地区的实际投资额与国民生产总值(GNP)及物价指数连续20年的统计数据如下，试建立一个投资额的模型，根据对未来GNP及物价指数的估计，预测未来的实际投资额。

年份序号 1 2 3 … 20
投资额 90.9 97.4 113.5 … 424.5
GNP 596.7 637.7 691.1 … 3073.0
物价指数 0.7167 0.7277 0.7436 … 2.0688

mm7-ex-invest-1 mm7-ex-invest-2

“投资额:GNP”和“投资额:物价指数”图

简单地看“投资额:GNP”和“投资额:物价指数”图，它们呈现较强的线性关系。

做简单的线性回归

\[y=\beta_0+\beta_1x_1+\beta_2x_2+\epsilon \]
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        322.7250     46.633      6.921      0.000     224.339     421.111
x1             0.6185      0.067      9.242      0.000       0.477       0.760
x2          -859.4790    124.180     -6.921      0.000   -1121.476    -597.482
==============================================================================
R-squared:                       0.991 F-statistic:                     919.9
  1. 看起来$R^2$值有0.99，模型的契合度很高
  2. 普通的线性回归不适合这个问题的原因在于：观察结果并不是独立的。如：前期的投资额对后期的投资额有明显的影响
  3. 这导致随机误差$\epsilon$会出现自相关性

使用时间序列分析 

# linear regression
import statsmodels.api as sm
#
X=np.array([x1, x2]).T
model = sm.OLS(y, sm.add_constant(X)).fit()
print(model.summary())
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.991
Model:                            OLS   Adj. R-squared:                  0.990
Method:                 Least Squares   F-statistic:                     919.9
Date:                Mon, 22 Apr 2019   Prob (F-statistic):           4.73e-18
Time:                        21:34:54   Log-Likelihood:                -77.611
No. Observations:                  20   AIC:                             161.2
Df Residuals:                      17   BIC:                             164.2
Df Model:                           2                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        322.7250     46.633      6.921      0.000     224.339     421.111
x1             0.6185      0.067      9.242      0.000       0.477       0.760
x2          -859.4790    124.180     -6.921      0.000   -1121.476    -597.482
==============================================================================
Omnibus:                        1.151   Durbin-Watson:                   0.802
Prob(Omnibus):                  0.563   Jarque-Bera (JB):                0.867
Skew:                          -0.192   Prob(JB):                        0.648
Kurtosis:                       2.056   Cond. No.                     7.81e+04
==============================================================================

顾名思义，时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势，为了预测未来或者表现分析的其他形式。

  • 时间序列是跟时间有关的。所以基于线性回归模型的假设：观察结果是独立的在这种情况下是不成立的。
  • 时间序列中，由于某些因素（如政策）的连续性，会导致随机误差出现（自）相关性

残差$e_t=y-\hat y$可以作为随机误差的估计值（下标$t$表示是时间序列）。画出残差的自相关系数图，投资额$y$的自相关系数图

mm7-ex-invest-et-ac mm7-ex-invest-ac

from statsmodels.graphics.tsaplots import plot_acf  #自相关图
#
y_hat=model.predict(sm.add_constant(X))
et=y-y_hat
# 画出e_t的自相关系数图
plot_acf(et)
plt.show()

画出$e_t:e_{t-1}$的散点图

mm7-ex-invest-et

自相关性做直观的判断：

  • 如果点集中在1,3象限，则存在正的自相关性
  • 如果点集中在2,4象限，则存在负的自相关性 
y_hat=model.predict(sm.add_constant(X))
et=y-y_hat
plt.clf()
plt.plot(et[0:-1],et[1:],'+')
ax = plt.gca()
ax.spines['bottom'].set_position(('data', 0))
ax.spines['left'].set_position(('data', 0))

plt.show()

考虑如下的模型

\[y_t=\beta_0+\beta_1x_{1t}+\beta_2x_{2t}+\epsilon_t, \epsilon_t=\rho\epsilon_{t-1}+u_t \]

其中$\rho$是自相关系数，$|\rho|\leq 1$，$u_t$相互独立且服务均值为0的正态分布，$t=1,2,\cdots,n$

  • $\rho=0$，无自相关性，为普通的回归模型
  • $\rho>0$，正的自相关性。大多数与经济有关的时间序列都有这种趋势
  • $\rho<0$，负的自相关性。

如何估计$\rho$？用Durbin-Watson统计量

如何消除自相关性？用广义差分法

自回归性的定量诊断: Durbin-Watson检验 

durbin_watson检测结果： 0.8024793257864277

则

\[\hat \rho=1-\frac{DurbinWatson}2 \]
import statsmodels.api as sm
resids = model.resid #残差，与前面的et是一样的
#残差独立性检测,durbin_watson 在2附近说明满足残差独立性
print('durbin_watson检测结果：',sm.stats.durbin_watson(resids))
\[DurbinWatson=\frac{\displaystyle\sum_{t=2}^n(e_t-e_{t-1})^2}{\displaystyle\sum_{t=2}^ne_t^2} \]

则$n$比较大时，近似地有

\[DurbinWatson=\frac{\displaystyle\sum_{t=2}^n(e_t-e_{t-1})^2}{\displaystyle\sum_{t=2}^ne_t^2} \approx 2\left(1-\frac{\displaystyle\sum_{t=2}^n e_t e_{t-1}}{\displaystyle\sum_{t=2}^ne_t^2}\right) \]

而自相关系数$\rho$的估计值$\hat \rho$是

\[\hat \rho=\frac{\displaystyle\sum_{t=2}^n e_t e_{t-1}}{\displaystyle\sum_{t=2}^ne_t^2} \]

即有

\[DurbinWatson\approx 2(1-\hat\rho) \]

由$\hat\rho\in[-1,1]$，则Durbin-Watson值（DW值）在$[0,4]$。

  • $\hat\rho$在$0$附近，$\epsilon_t$的自相关性很弱（或不存在自相关性），此时$DW$在$2$附近
  • $\hat\rho$在$\pm1$附近，$\epsilon_t$的自相关性很强，此时$DW$接近$0$或$4$

要由DW值确定$\epsilon_t$是否存在自相关性，需要在给定的检验水平（显著性水平）下，依照样本容量(n)和回归变量(k，包括常数项)，查D-W分布表，得到临界值$d_L$和$d_U$，

DW值 $[0,d_L]$ $[d_L,d_U]$ $[d_U,4-d_U]$ $[4-d_U,4-d_L]$ $[4-d_L,4]$
相关性 正自相关 不能确定 无自相关性 不能确定 负自相关性

确定有自相关性后，可以估算出$\hat \rho=1-\frac{DW}2$。作广义差分变换

\[y_t^*=y_t-\rho y_{t-1} , x^*_{it}=x_{it}-\rho x_{i,t-1}, i=1,2 \]

将原模型化为

\[y^*_t=\beta_0^*+\beta_1 x_{1t}^*+\beta_2 x_{2t}^*+u_t , \beta_0^*=\beta_0(1-\rho) \]

是普通的回归模型。

对于问题，有$DW=0.8025$，查到显著性水平$a=0.05$，$n=20$, $k=3$时的值$d_L=1.100$, $d_U=1.5367$，因此是正相关 

Critical Values for the Durbin-Watson Test
https://web.stanford.edu/~clint/bench/dwcrit.htm
 19.   2.  1.18037  1.40118
 19.   3.  1.07430  1.53553
 
 20.   2.  1.20149  1.41073
 20.   3.  1.10040  1.53668
 20.   4.  0.99755  1.67634

估算$\hat\rho=0.5988$

用$y^*_t$和$x_{1t}^*$, $x_{2t}^*$做线性回归，得到 

                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        164.0233     21.328      7.690      0.000     118.810     209.237
x1             0.6420      0.064      9.957      0.000       0.505       0.779
x2         -1044.7264    135.146     -7.730      0.000   -1331.224    -758.229
==============================================================================
R-squared:                       0.964
F-statistic:                     212.9

对新模型的殘差做Durbin-Watson检验 

新模型的durbin_watson检测结果： 1.41196

查到$n=19$, $k=3$，$a=0.05$的$d_L$与$d_U$为 

19.   3.  1.07430  1.53553

属于不能确定相关性，靠近无自相关性。

  • 更精确的判定，需要增加数据量 
                           OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.964
Model:                            OLS   Adj. R-squared:                  0.959
Method:                 Least Squares   F-statistic:                     212.9
Date:                Mon, 22 Apr 2019   Prob (F-statistic):           2.96e-12
Time:                        21:54:07   Log-Likelihood:                -71.960
No. Observations:                  19   AIC:                             149.9
Df Residuals:                      16   BIC:                             152.8
Df Model:                           2                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        164.0233     21.328      7.690      0.000     118.810     209.237
x1             0.6420      0.064      9.957      0.000       0.505       0.779
x2         -1044.7264    135.146     -7.730      0.000   -1331.224    -758.229
==============================================================================
Omnibus:                        2.598   Durbin-Watson:                   1.412
Prob(Omnibus):                  0.273   Jarque-Bera (JB):                0.926
Skew:                          -0.341   Prob(JB):                        0.629
Kurtosis:                       3.840   Cond. No.                     3.97e+04
==============================================================================

最终的模型

\[y_t=\hat \rho y_{t-1}+\beta_0^*+\beta_1^*x_{1t}-\beta_1^*\hat\rho x_{1,t-1}+\beta_2^*x_{2t}-\beta_2^*\hat\rho x_{2,t-1} \]

mm7-ex-invest-final

o-真值，+线性回归，*自相关模型

做自相关分析后，得到的模型与线性回归模型相比，没有优势。原因可能是：因变量也是时间序列

判别分析

例 2. 生物学家根据两种蠓虫Af和Apf的触角长和翅长对它们进行了分类。利用数据来建立区分两种蠓虫的模型，并判断给出的3待判样本。

Apf 触角长 1.14 1.18 1.20 1.26 1.281.30
蠓虫 翅长 1.78 1.96 1.86 2.00 2.001.96
Af 触角长 1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56
蠓虫 翅长 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08
待判 触角长 1.24 1.29 1.43
蠓虫 翅长 1.80 1.81 2.03

利用已有的样本数据建立判别模型，用来对未知类别的样本进行分类的问题属于判别分析

判别分析(discriminant analysis)是根据所研究的个体的观测指标来推断该个体所属类型的一种统计方法。

在自然科学和社会科学的研究中经常会碰到这种统计问题。

  • 在地质找矿中我们要根据某异常点的地质结构、化探和物探的各项指标来判断该异常点属于哪一种矿化类型;
  • 医生要根据某人的各项化验指标的结果来判断该人属于什么病症;
  • 调查了某地区的土地生产率、劳动生产率、人均收入、费用水平、农村工业比重等指标,来确定该地区属于哪一种经济类型地区等等。

该方法起源于 1921 年 Pearson 的种族相似系数法,1936 年 Fisher 提出线性判别函数,并形成把一个样本归类到两个总体之一的判别法。

判别问题用统计的语言来表达,就是： 已有 $q$ 个总体 $X_1$ ,$X_2$ , $\cdots$ , $X_q$ ,它们的分布函数分别为 $F_1 ( x )$, $F_2 ( x )$, $\cdots$, $F_q ( x )$ ,每个 $F_i ( x )$ 都是 $p$ 维函数。对于给定的样本 $X$ ,要判断它来自哪一个总体? 当然,应该要求判别准则在某种意义下是最优的,例如错判的概率最小或错判的损失最小等。

  • 目前，判别分析已经成为数据挖掘、机器学习、模式识别（语音识别、图像识别、指纹识别、文本识别）等应用领域的重要理论基础。
  • 最基本的几种判别方法,即距离判别, Bayes判别 和 Fisher 判别 。

距离判别： 距离判别模型的基本思路是，

  • 恰当地定义每个总体的中心，以及样本与中心的距离；
  • 计算待判样本与两个中心的距离，以距离较近作为判别准则

设总体$G$期望值向量为$\vec \mu$，协方差矩阵为$\Sigma$，取$\vec \mu$为总体的中心。样本$\vec x$到总体$G$的马氏距离(Mahalanobis)定义为

\[d(\vec x,G)=\sqrt{(\vec x-\vec \mu)^T\Sigma^{-1}(\vec x-\vec\mu)} \]

则，对于总体$G_1$与$G_2$，样本$\vec x$的判别准则为

\[\begin{cases} \vec x\in G_1, \mbox{if}\ W(\vec x)\geq 0 \\ \vec x\in G_2, \mbox{if}\ W(\vec x)< 0 \\ \end{cases} \]

其中$W(x)=\frac12(d^2(\vec x,G_2)-d^2(\vec x,G_1))$，称为距离判别函数

  • 距离判别函数$W(x)$一般是二次的。
  • 可以证明，当$\Sigma_1=\Sigma_2=\Sigma$时，有
    \[W(\vec x)=\vec a^T(\vec x-\vec\mu), \vec a=\Sigma^{-1}(\vec \mu_1-\vec\mu_2), \vec \mu=\frac12(\vec\mu_1+\vec\mu_2) \]
    此时，$W(x)$是一次的，称为线性距离判别函数，称$\vec a$为判别系数

实际使用中，总体的期望值向量与协方差矩阵需要用训练样本数据来估计。

当$\Sigma_1=\Sigma_2$时，用混合协方差矩阵

\[S_w=\frac{(n_1+1)S_1+(n_2+1)S_2}{n_1+n_2-2} \]

代替上式的$\Sigma$，其中$S_i$是样本$G_i$的协方差矩阵。

# % 原始数据
Apf=np.array([[1.14,1.78],[1.18,1.96],[1.20,1.86],[1.26,2.00],[1.28,2.00],[1.30,1.96]]) #   %Apf蠓虫数据
Af=np.array([[1.24,1.72],[1.36, 1.74],[1.38,1.64],[1.38, 1.90],[ 1.40, 1.70],[1.48, 1.82], [1.38,1.82], [1.54,1.82], [1.56, 2.08]]) #  %Af蠓虫数据
x=np.array([[1.24,1.80],[1.29,1.81],[1.43,2.03]]) #    %待判蠓虫数据
sigma_1=np.cov(Apf.T) #%计算协方差矩阵
sigma_2=np.cov(Af.T)
n1=float(len(Apf)) # %Apf蠓虫样本容量
n2=float(len(Af))  # %Af蠓虫样本容量
c=(2.0*p**2+3*p-1)/(6.0*(p+1))*(1.0/(n1-1.0)+1.0/(n2-1)-1.0/(n1+n2-2))
s=((n1-1)*sigma_1+(n2-1)*sigma_2)/(n1+n2-2.0)  # %混合协方差矩阵
  • 两个总体$G_1$与$G_2$的协方差矩阵是否一致？用Box M检验。

当$G_1$和$G_2$服从正态分布，则

\[M^*=(1-c)M\sim \chi^2(3) \]

其中

\[M=(n_1+n_2-2)\ln|S_w|-(n_1-1)\ln|S_1|-(n2-1)\ln|S_2| \]
\[c=\frac{13}{18}(\frac1{n_1-1}+\frac1{n_2-1}-\frac1{n_1+n_2-2}) \]

假设检验： $H0: \Sigma_1=\Sigma_2$，

给定水平$\alpha$，若概率$p_0=P(M^*>\chi^2_\alpha(3)<\alpha$，则拒绝$H0$，此时，不能使用线性检验函数。

结果 

p-value of Box M:  0.435942364107064

可以使用线性检验函数 

c=(2.0*p**2+3*p-1)/(6.0*(p+1))*(1.0/(n1-1.0)+1.0/(n2-1)-1.0/(n1+n2-2))
s=((n1-1)*sigma_1+(n2-1)*sigma_2)/(n1+n2-2.0)  # %混合协方差矩阵
#print("混合协方差矩阵: ",s)
M=(n1+n2-2)*np.log(np.linalg.det(s))-(n1-1)*np.log(np.linalg.det(sigma_1))-(n2-1)*np.log(np.linalg.det(sigma_2))
M0=(1-c)*M
f=p*(p+1)/2  #%统计量自由度
from scipy.stats import chi2
#print(n1,n2,c,f,M0)
p0=1-chi2.cdf(M0,f) # 卡方分布概率（p值）
print("p-value of Box M(样本的协方差矩阵是否一致？): ",p0)
print(">0.05表示可以用线性判别函数进行分类")

线性判别函数： 

判别系数：  [-58.23643793  38.05867025]  ，常数项：  5.871534358110438

样本判别结果 

[1.24 1.8 ] 2.163957763037814     Apf
[1.29 1.81] -0.36727743121362266  Af
[1.43 2.03] -0.14747128781500862  Af

mm7-ex-apf-distance

sigma1=np.cov(Apf.T) #%计算协方差矩阵
sigma2=np.cov(Af.T)
m1=np.mean(Apf,axis=0)
m2=np.mean(Af,axis=0)
s=((n1-1)*sigma1+(n2-1)*sigma2)/(n1+n2-2.0)  # %混合协方差矩阵
#
a=np.dot(m1-m2, np.linalg.inv(s)) # %计算判别函数的系数
wc=-np.dot(0.5*(m1+m2),a) # %计算判别函数的常数项
print("判别系数： ",a," ，常数项： ",wc)

计算样本判别结果 

for xx in x:
    wx=wc+np.dot(a,xx)
    if wx>=0.0:
        wstr='Apf'
    else:
        wstr="Af"
    print(xx,wx,wstr)
import matplotlib.pyplot as plt
plt.plot(Apf[:,0],Apf[:,1],'*')
plt.plot(Af[:,0],Af[:,1],'+')
plt.plot(x[:,0],x[:,1],'o')
x1=1.1
y1=(-wc-a[0]*x1)/a[1]
x2=1.6
y2=(-wc-a[0]*x2)/a[1]
print(x1,y1,x2,y2)
plt.plot((x1,x2),(y1,y2),'-')
plt.show()

模型检验

  1. 回代误判法：将取自总体$G_1$的$n_1$个样本和$G_2$的$n_2$个样本，逐个代入到判别函数中，并判定其归属。若总共误判数为$m$，则回代误判率的估计值为$\hat p=\frac{m}{n_1+n_2}$
  2. 交叉验证法：将$G_1$和$G_2$的样本中每次取出一个来作为待检样本，剩余的作为训练样本建立判别准则，然后用待检样本进行检验。若总共$n_1+n_2$次检验中，误差的样本个数为$m^*$，则交叉验证误判率的估计值为$\hat p^*=\frac{m^*}{n_1+n_2}$

可以得到，回代误判率的估计值为0, 交叉验证误判率的估计值为$\frac1{15}$。

  • 距离判别法，简单、直观，应用广泛
  • 距离判别法没有考虑到在整体环境中，两个总体出现的概率会不同
  • 距离判别法没有涉及误差造成的损失影响。如：若Apf是某种疾病的载体，而Af是传粉益虫，则将Apf误判成Af造成的危害会很大。

Bayes判别： 在模型中引入总体的先验概率和误判造成的损失函数。

Bayes后验概率: 样本来自总体的先验概率分别是$p_1$，$p_2$（$p_1+p_2=1$），并且两总体的概率密度函数分别是$f_1(x)$和$f_2(x)$，则样本$x$属于$G_i$的概率为

\[P(G_i|x)=\frac{p_if_i(x)}{p_1f_x(x)+p_2f_2(x)} \]

用$R_i$表示样本$x$按某种规则判入$G_i$，$L(j|i)$表示将来自$G_i$的样本误判入$G_j$的损失，而误判的概率为

\[P(j|i)=P(x\in R_j|x\in G_i)=\int_{R_j}f_i(x)dx \]

平均误判损失为期望

\[ECM(R_1,R_2)=L(2|1)P(2|1)p_1+L(1|2)P(1|2)p_2 \]

一个合理的判别准则是，最小化$ECM(R_1,R_2)$

这样，可以得到Bayes判别准则

\[\begin{cases} x\in G_1, \mbox{if}\ \ f_1(x)L(2|1)p_1\geq f_2(x)L(1|2)p_2 \\ x\in G_2, \mbox{otherwise} \end{cases} \]

特别地，当$G_1\sim N(\vec\mu_1, \Sigma_1)$, $G_2\sim N(\vec\mu_2, \Sigma_2)$，且$\Sigma_1=\Sigma_2=\Sigma$时，有

\[\begin{cases} x\in G_1, \mbox{if}\ \ W_B(x)\geq\beta \\ x\in G_2, \mbox{otherwise} \end{cases} \]

其中

\[W_B(x)=\left(\vec x-\frac{\vec \mu_1+\vec\mu_2}2\right)^T\Sigma^{-1}(\vec\mu_1-\vec\mu_2) \]
\[\beta=\ln\frac{L(1|2)p_1}{L(2|1)p_1} \]

当不考虑先验概率（即$p_1=p_2$），也不考虑误差损失时，就是前面介绍的线性距离判别。

  • 样本的先验概率，可以利用历史资料和经验进行估计，或者取训练样本个数的比例。 这样，Apf的先验概率为$p_1=\frac{6}{6+9}=0.4$，Af的先验概率$p_2=\frac{9}{6+9}=0.6$。
  • 考虑到将有毒的Apf误差成益Af的危害更大，可设$L(2|1)=\alpha L(1|2)$, $\alpha>1$，可得$\beta=\ln(\frac{3}{2\alpha})$。

不同$\alpha$值，对应的判别结果 

[1.24 1.8 ]  alpha= 1.5 Apf  alpha= 2.0 Apf  alpha= 2.5 Apf
[1.29 1.81]  alpha= 1.5 Af   alpha= 2.0 Af   alpha= 2.5 Apf
[1.43 2.03]  alpha= 1.5 Af   alpha= 2.0 Apf  alpha= 2.5 Apf

可以看到，考虑误差损失的Bayes判别法比距离判别法更切合实际

Fisher判别：是一种降维的方法。

  • 费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。
  • 选择一个适当的投影轴,使所有的样品点都投影到这个轴上得到一个投影值。
  • 对这个投影轴的方向的要求是：
    • 使每一类内的投影值所形成的类内离差尽可能小，
    • 而不同类间的投影值所形成的类间离差尽可能大。

    mm7-da-fisher

设$G_1$, $G_2$是2个2维总体，期望值向量分别是$\vec\mu_1$, $\vec\mu_2$，且$\vec\mu_1\neq\vec\mu2$，协方差矩阵为$\Sigma_1$, $\Sigma_2$。对任意样本$\vec x$，考虑投影变换$y=\vec a^T \vec x$。最合适的投影向量$\vec a$应该满足约束优化问题：

\[\begin{aligned} \max_a \vec a^TS_b\vec a \\ \mbox{s.t.}\ \ \vec a^T S_e \vec a=1 \end{aligned} \]

其中$S_b=(\vec\mu_1-\vec\mu_2)^T(\vec\mu_1-\vec\mu_2)^T$为类间离散度矩阵， $S_e=\Sigma_1+\Sigma_2$为类内离散度矩阵。用Lagrange乘数法可以得到

\[a=S_e^{-1}(\vec\mu_1-\vec\mu_2) \]

若$\Sigma_1=\Sigma_2=\Sigma$，则有更简单的结果

\[a=\Sigma^{-1}(\vec\mu_1-\vec\mu_2) \]

此时，称$y=a^T\vec x$为Fisher线性判别函数。

可以得到如下的Fisher判别准则，

\[\begin{cases} x\in G_1, \mbox{if}\ \ (\vec\mu_1-\vec\mu_2)^T\Sigma^{-1}x\geq\mu_y \\ x\in G_2, \mbox{Otherwise} \end{cases} \]

其中阈值$\mu_y=\frac12(\vec\mu_1-\vec\mu_2)^T\Sigma^{-1}(\vec\mu_1+\vec\mu_2)$。

称直线$(\vec\mu_1-\vec\mu_2)^T\Sigma^{-1}x = \mu_y$为Fisher线性判别的决策直线。

  • 可以证明，只要两类总体的协方差矩阵相等，则Fisher线性判别准则与线性距离判别准则是相同的。
  • Fisher判别模型是目前模式识别中最重要的分类方法之一，已经成为人工智能领域中获取分类信息和压缩特征空间维数的一个重要方法
  • 使用中，用样本平均值代替$\vec\mu_1$, $\vec\mu_2$。协方差矩阵$S_1$, $S_2$代替$\Sigma_1$, $\Sigma_2$。$\Sigma$用混合协方差矩阵来代替。

mm7-ex-apf-fisher

目录