模式识别复习重点总结Word文件下载.doc
- 文档编号:6973253
- 上传时间:2023-05-07
- 格式:DOC
- 页数:17
- 大小:818.50KB
模式识别复习重点总结Word文件下载.doc
《模式识别复习重点总结Word文件下载.doc》由会员分享,可在线阅读,更多相关《模式识别复习重点总结Word文件下载.doc(17页珍藏版)》请在冰点文库上搜索。
(b)用各种距离表示相似性
(4)特征的生成:
特征包括:
(a)低层特征;
(b)中层特征;
(c)高层特征
(5)数据的标准化:
(a)极差标准化;
(b)方差标准化
4.线性判别方法
(1)两类:
二维及多维判别函数,判别边界,判别规则
二维情况:
(a)判别函数:
()
(b)判别边界:
g(x)=0;
(c)判别规则:
n维情况:
也可表示为:
g1(x)=WTX=0
(2)多类:
3种判别方法(函数、边界、规则)
(A)第一种情况:
M类可有M个判别函数
(b)判别边界:
ωi(i=1,2,…,n)类与其它类之间的边界由gi(x)=0确定
(c)判别规则:
(B)第二种情况:
有M(M_1)/2个判别平面
(b)判别边界:
(c)判别规则:
(C)第三种情况:
(b)判别边界:
gi(x)=gj(x)或gi(x)-gj(x)=0
(c)判别规则:
5.什么是模式空间及加权空间,解向量及解区?
(1)模式空间:
由构成的n维欧氏空间;
(2)加权空间:
以为变量构成的欧氏空间;
(3)解向量:
分界面为H,W与H正交,W称为解向量;
(4)解区:
解向量的变动范围称为解区。
6.超平面的四个基本性质是什么?
性质①:
W与H正交;
性质②:
其中,为x矢量到H的正交投影;
性质③:
性质④:
7.二分法能力如何表示?
N个样品线性可分数目(条件:
样本分布良好):
线性可分概率:
8.广义线性判别方法
(1)非线性→线性
一个非线性判别函数通过映射,变换成线性判别函数:
(2)线性判别
9.分段线性判别方法
1)基于距离:
(1)子类,类判别函数
(2)判别规则
(1)子类:
把ωi类可以分成li个子类:
∴分成l个子类。
子类判别函数:
在同类的子类中找最近的均值
(2)判别规则:
这是在M类中找最近均值。
则把x归于ωj类完成分类
2)基于函数:
(1)子类类判别函数:
对每个子类定义一个线性判别函数为:
在各子类中找最大的判别函数作为此类的代表,则对于M类,可定义M个判别函数gi(x),i=1,2,…..M,因此,决策规则
3)基于凹函数的并:
(1)析取范式,合取范式,凹函数
(2)判别规则
(1)析取范式:
P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)
合取范式:
Q=(L11∨L12∨…∨L1m)∧…∧(Lq1∨Lq2∨…∨Lqm)
凹函数:
Pi=Li1∧Li2∧…∧Lim
(2)判别规则:
设第一类有q个峰,则有q个凹函数。
即P=P1∨P2∨……∨Pq
10.非线性判别方法
(1)集中,分散
(2),均集中
11.分类器的设计
(1)梯度下降法(迭代法):
准则函数,学习规则
(a)准则函数:
J(W)≈J(Wk)+▽JT(W-Wk)+(W-Wk)TD(W-Wk)T/2
其中D为当W=Wk时J(W)的二阶偏导数矩阵
(b)学习规则:
从起始值W1开始,算出W1处目标函数的梯度矢量▽J(W1),则下一步的w值为:
W2=W1-ρ1▽J(W1)其中W1为起始权向量,ρ1为迭代步长,J(W1)为目标函数,▽J(W1)为W1处的目标函数的梯度矢量
在第K步的时候
Wk+1=Wk-ρk▽J(Wk)最佳步长为ρk=||▽J||2/▽JTD▽J
这就是梯度下降法的迭代公式。
(2)感知器法:
准则、学习规则(批量,样本)
其中x0为错分样本
1.错误分类修正wk
如wkTx≤0并且x∈ω1wk+1=wk+ρkx
如wkTx≥0并且x∈ω2wk+1=wk-ρkx
2.正确分类,wk不修正
如wkTx>0并且x∈ω1
如wkTx<0并且x∈ω2
wk+1=wk
(3)最小平方误差准则法(MSE法)(非迭代法):
准则、权向量解
(b)权向量解:
(4)韦—霍氏法(LMS法)(迭代法):
准则,学习规则
W1任意,Wk+1=Wk+ρk(bk-WkTXk)Xk
ρk随迭代次数k而减少,以保证算法收敛于满意的W值
(5)何—卡氏法(H-K法)(迭代法):
准则,,的学习规则
(a)准则:
它的解为:
(b)b,W的学习规则:
其中c为矫正系数,ek为误差矢量,ek=XWk-bk
初始条件W1=X+b1并且b1>
迭代时检测
如果ek≥0时,XW
>
b,系统线性可分,迭代收敛
如果ek<
0时,XW
<
b,系统线性不可分,迭代不收敛
(6)Fisher分类法:
准则函数的建立,权值计算,的选择
(a)准则函数的建立:
投影样本之间的类间分离性越大越好,投影样本的总离散度越小越好。
即可表示为:
其中Sw为类内散布矩阵,Sb为类间散布矩阵
(b)W权值计算:
(c)W0的选择:
Yki表示第i类中第k个样本的投影值
N1为ω1样本数N2为ω2样本数
(7)电位函数分类器:
电位函数,累积电位的计算
(a)电位函数:
电位分布函数有如下三种形式:
α为系数xk为某一特定点
(b)累计电位的计算:
Kk+1(x)=Kk(x)+rk+1K(x,xk)
其中:
xk+1∈ω1并且Kk(xk+1)>
0时rk+1=0
xk+1∈ω1并且Kk(xk+1)≤0时rk+1=1
xk+1∈ω2并且Kk(xk+1)<
xk+1∈ω2并且Kk(xk+1)≥0时rk+1=-1
12.1)二类问题的贝叶斯判别
(1)判别函数的四种形式
(2)决策规则
(3)决策面方程
(4)决策系统的结构
(1)判别函数的四种形式:
(2)判别规则:
(3)决策面方程:
g(x)=0
(4)决策系统的结构
(A)向量特征(B)判别计算(C)阈值单元(D)决策
2)多类问题的贝叶斯判别
(1)判别函数的四种形式:
M类有M个判别函数g1(x),g2(x),…,gm(x).
(2)决策规则:
另一种形式:
(3)决策面方程:
(4)决策系统的结构:
(a)特征向量;
(b)判别计算;
(c)最大选择器;
(d)决策
13.三种最小错误率贝叶斯分类器(正态分布):
判别函数,判别规则,决策面方程
(1)第一种情况:
各个特征统计独立,且同方差情况。
(最简单情况)
(a)判别函数:
(b)判别规则:
(c)决策面方程:
(2)第二种情况:
Σi=Σ相等,即各类协方差相等。
(a)判别函数:
(b)判别规则:
(c)决策面方程:
(3)第三种情况(一般情况):
Σί为任意,各类协方差矩阵不等,二次项xTΣίx与i有关。
所以判别函数为二次型函数。
(b)判别规则:
(c)决策面方程:
14.最小风险贝叶斯分类器:
判别函数,判别规则
(1)判别函数:
条件风险:
αi:
表示把模式x判决为ωi类的一次动作
期望风险:
:
15.聂曼—皮尔逊判决:
(二类):
准则,判别规则,阈值的确定
(1)准则:
(3)阈值的确定:
16.最小最大损失准则判决(二类):
准则,判别规则,的确定
讨论在P(ωi)变化时如何使最大可能风险最小;
风险
通过最小风险与先验概率的关系曲线,确定最大风险,使最大风险最小。
(3)的确定:
17.什么是序贯分类?
序贯:
随着时间的推移可以得到越来越多的信息。
序贯分类决策规则
18.什么是参数估计,非参数估计,监督学习,无监督学习?
参数估计:
先假定研究的问题具有某种数学模型,如正态分布,二项分布,再用已知类别的学习样本估计里面的参数;
非参数估计:
不假定数学模型,直接用已知类别的学习样本的先验知识直接估计数学模型;
监督学习:
在已知类别样本指导下的学习和训练,参数估计和非参数估计都属于监督学习。
无监督学习:
不知道样本类别,只知道样本的某些信息去估计,如:
聚类分析。
19.
(1)最大似然估计算法思想:
准则,求解过程
第i类样本的类条件概率密度:
P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)
原属于i类的学习样本为Xi=(X1,X2,…XN,)Ti=1,2,…M
求θi的最大似然估计就是把P(Xi/θi)看成θi的函数,求出使它最大时的θi值
(2)求解过程:
∵学习样本独立从总体样本集中抽取的
N个学习样本出现概率的乘积
取对数:
对θi求导,并令它为0:
(2)正态分布情况下:
的计算
①∑已知,μ未知,估计μ
②∑,μ均未知
A一维情况:
n=1对于每个学习样本只有一个特征的简单情况:
即学习样本的算术平均
样本方差
B多维情况:
n个特征
估计值:
20.
(1)贝叶斯估计算法思想:
(A)准则:
通过对第i类学习样本Xi的观察,使概率密度分布P(Xi/θ)转化为
后验概率P(θ/Xi),再求贝叶斯估计;
(B)求解过程:
①确定θ的先验分布P(θ),待估参数为随机变量。
②用第i类样本xi=(x1,x2,….xN)T求出样本的联合概率密度分布P(xi|θ),它是θ的函数。
③
利用贝叶斯公式,求θ的后验概率
④
的计算
对μ的估计为
若令P(μ)=N(μ0,σ02)=N(0,1)
21.
(1)贝叶斯学习概念
求出μ的后验概率之后,直接去推导总体分布即
当N↑,μN就反映了观察到N个样本后对μ的最好推测,而σN2反映了这种推测的不确定性,N↑,σN2↓,σN2随观察样本增加而单调减小,且当N→∞,σN2→0
当N↑,P(μ|xi)越来越尖峰突起;
N→∞,P(μ|xi)→σ函数,这个过程成为贝叶斯学习。
(2)正态分布情况下的计算
(A)一维正态:
已知σ2,μ未知
(B)多维正态(已知Σ,估计μ):
22.非参数估计的条件密度计算公式
(1)Parzen窗口估计的三种形式,条件密度的计算
(A)窗口的选择:
(A)方窗函数;
(B)正态窗函数;
(C)指数窗函数
(B)条件密度的计算:
(2)K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法
(A)基本思想:
以x为中心建立空胞,使v↑,直到捕捉到KN个样本为止。
(B)用K-近邻法作后验概率估计的方法:
由KN近邻估计知N个已知类别样
本落入VN内为KN个样本的概率密度估计为
N个样本落入VN内有KN个,KN个样本内有Ki个样本属于ωi类,则联合概率密度:
根据Bayes公式可求出后验概率:
23.分类与聚类的区别是什么?
分类:
用已知类别的样本训练集来设计分类器(监督学习);
聚类(集群):
用事先不知样本的类别,而利用样本的先验知识来构造分类器(无监督学习)。
24.
(1)聚合聚类(系统聚类)的算法
思想:
先把每个样本作为一类,然后根据它们间的相似性和相邻性聚合。
若有n个样本:
(A)设全部样本分为n类;
(B)作距离矩阵D(0);
(C)求最小元素;
(D)将距离平方最小的元素归为一类;
(E)以新类从新分类,作距离矩阵D
(1);
(F)若合并的类数没有达到要求,转(C),否则停止。
(2)分解聚类的算法
把全部样本作为一类,然后根据相似性、相邻性分解。
目标函数:
两类均值方差
(