应用多元统计分析讲稿朱建平.docx
- 文档编号:16446900
- 上传时间:2023-07-13
- 格式:DOCX
- 页数:118
- 大小:138.10KB
应用多元统计分析讲稿朱建平.docx
《应用多元统计分析讲稿朱建平.docx》由会员分享,可在线阅读,更多相关《应用多元统计分析讲稿朱建平.docx(118页珍藏版)》请在冰点文库上搜索。
应用多元统计分析讲稿朱建平
第一章多元分析概述
第一节引言
多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法。
近30年来,随着计算机应用技术
的发展和科研生产的迫切需要,多元统计分析技术被广泛地应用于地质、气象、水文、医学、工业、农业和经济等许多领域,已经成为解决实际问题的有效方法。
然而,随着Internet的日益普及,各行各业都开始采用计算
机及相应的信息技术进行管理和决策,这使得各企事业单位生成、收集、存储和处理数据的能力大大提高,数据量与日俱增,大量复杂信息层出不穷。
在信息爆炸的今天,人们已经意识到数据最值钱的时代已经到来。
显然,大量信息在给人们带来方便的同时也带来一系列问题。
比如:
信息量过大,超过了人们掌握、消化的能力;一些信息真伪难辩,从而给信息的正确应用带来困难;信息组织形式的不一致性导致难以对信息进行有效
统一处理等等,这种变化使传统的数据库技术和数据处理手段已经不能满足要求.Internet的迅猛发展也使得网
络上的各种资源信息异常丰富,在其中进行信息的查找真如大海捞针。
这样又给多元统计分析理论的发展和方法
的应用提出了新的挑战。
多元统计分析起源于上世纪初,1928年Wishart发表论文《多元正态总体样本协差阵的精确分布》,可以说
是多元分析的开端。
20世纪30年代R.A.Fisher、H.Hotelling、S.N.Roy、许宝騄等人作了一系列得奠基性工
作,使多元分析在理论上得到了迅速得发展。
20世纪40年代在心理、教育、生物等方面有不少得应用,但由于
计算量大,使其发展受到影响,甚至停滞了相当长得时间。
20世纪50年代中期,随着电子计算机得出现和发展,使多元分析方法在地质、气象、医学、社会学等方面得到广泛得应用。
20世纪60年代通过应用和实践又完善和
发展了理论,由于新的理论、新的方法不断涌现又促使它的应用范围更加扩大。
20世纪70年代初期在我国才受
到各个领域的极大关注,并在多元统计分析的理论研究和应用上也取得了很多显著成绩,有些研究工作已达到国
际水平,并已形成一支科技队伍,活跃在各条战线上。
在20世纪末与本世纪初,人们获得的数据正以前所未有的速度急剧增加,产生了很多超大型数据库,遍及超级市场销售、银行存款、天文学、粒子物理、化学、医学以及政府统计等领域,多元统计与人工智能和数据库技术相结合,已在经济、商业、金融、天文等行业得到了成功的应用。
为了让人们更好的较为系统地掌握多元统计分析的理论与方法,本书重点介绍多元正态总体的参数估计和假
设检验以及常用的统计方法。
这些方法包括判别分析、聚类分析、主成分分析、因子分析、对应分析、典型相关分析、多维标度法以及多变量的可视化分析等。
与此同时,我们将利用在我国广泛流行的SPSS统计软件来实现
实证分析,做到在理论的学习中体会应用,在应用的分析中加深理论。
第二节应用背景
二、多元统计分析方法的应用
这里我们要通过一些实际的问题,解释选择统计方法和研究目的之间的关系,这些问题以及本书中的大量案
例能够使得读者对多元统计分析方法在各个领域中的广泛应用有一定的了解。
多元分析方法从研究问题的角度可
以分为不同的类,相应有具体解决问题的方法,参看表1.1。
多元统计分析方法在经济管理、农业、医学、教育学、体育科学、生态学、地质学、社会学、考古学、环境保护、军事科学、文学等方面都有广泛的应用,这里我们例举一些实际问题,进一步了解多元统计分析的应用领域,让读者从感性上加深对多元统计分析的认识。
问题
内容
方法
数据或结构性化简
尽可能简单地表示所研究的现象,但不损失很多有用的信息,并希望这种表示能够很容易的解释。
多元回归分析、聚类分析、主成分分析、因子分析、相应分析、多维标度法、可视化分析
分类和组合
基于所测量到的一些特征,给出好的分组方法,对相似的对象或变量分组。
判别分析、聚类分析、主成分分析、可视化分析
变量之间的相关关系
变量之间是否存在相关关系,相关关系又是怎样体现。
多元回归、典型相关、主成分分析、因子分析、相应分析、多维标度法、可视化分析
预测与决策
通过统计模型或最优准则,对未来进行预见或判断。
多元回归、判别分析、聚类
分析、可视化分析
假设的提出及检验
检验由多兀总体参数表示的某种统计假设,能够证实某种假设条件的合理性。
多兀总体参数估计、假设检验
1、城镇居民消费水平通常用八项指标来描述,如人均粮食支出、人均副食支出、人均烟酒茶支出、人均衣着商品支出、人均日用品支出、人均燃料支出、人均非商品支出。
这八项指标存在一定的线性关系。
为了研究城镇居民的消费结构,需要将相关强的指标归并到一起,这实际就是对指标进行聚类分析。
2、在企业经济效益的评价中,涉及到的指标往往很多,如百元固定资产原值实现产值、百元固定资产原值实现利税、百元资金实现利税、百元工业总产值实现利税、百元销售收入实现利税、每吨标准煤实现工业产值、每千
瓦时电力实现工业产值、全员劳动生产率、百元流动资金实现产值。
如何将这些具有错综复杂关系的指标综合成几个较少的因子,既有利于对问题进行分析和解释,又能便于抓住主要矛盾做出科学的评价。
可用主成分分析和
因子分析法。
3、某一产品是用两种不同原料生产的,试问此两种原料生产的产品寿命有无显著差异?
又比如,若考察某商业
行业今年和去年的经营状况,这时需要看这两年经营指标的平均水平是否有显著差异以及经营指标之间的波动是
否有显著差异。
可用多元正态总体均值向量和协差阵的假设检验。
4、按现行统计报表制度,农村家庭纯收入是指农村常住居民家庭总收入中扣除从事生产和非生产经营用支出、
税款和上交承包集体任务金额以后剩余的、可直接用于进行生产的、非生产性建设投资、生产性消费的那一部分
收入。
如果我们收集某年各个省、自治区、直辖市农民家庭人均纯收入的数据,可以用相应分析,揭示全国农民人均纯收入的特征以及各省、自治区、直辖市与各收入指标的关系。
5、某医院已有100个分别患有胃炎、肝炎、冠心病、糖尿病等的病人资料,记录了他们每个人若干项症状指标数据。
如果对于一个新的病人,当也测得这若干项症状指标时,可以利用判别分析方法判定他患的是哪种病。
6、有100种酒,品尝家可以对每两种酒进行品尝对比,给出一种相近程度的得分(越相近得分越高,相差越远
得分越低),希望用这些得分数据来了解这100种酒之间的结构关系。
这样的问题就可以用多维标度法来解决。
7、在地质学中,常常要研究矿石中所含化学成分之间的关系。
设在某矿体中采集了60个标本,对每个标本测得
20个化学成分的含量。
我们希望通过对这20个化学成分的分析,了解矿体的性质和矿体形成的主要原因。
8、对1000个类似的鱼类样本,如何根据测量的特征如体重、身长、鳍数、鳍长、头宽等,我们可以利用聚类分析方法将这类鱼分成几个不同品种。
9、考古学家对挖掘出来的人头盖骨的高、宽等特征来判断是男或女,根据挖掘出的动物牙齿的有关测试指标,判别它是属于哪一类动物牙齿、是哪一个时代的。
10、在高考招生工作中,我们知道每个考生的基本情况,通过分析我们不仅可以了解到学生喜欢学习的科目,还
可以进一步从考生每门课程的成绩,分析出学生的逻辑思维能力、形象思维能力和记忆力等等对学习成绩的影响。
第二章多元正态分布的参数估计
第一节引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵。
例如在研究公司的运营情况
时,要考虑公司的获利能力、资金周转能力、竞争能力以及偿债能力等财务指标;又如在研究国家财政收入时,税收收入、企业收入、债务收入、国家能源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等都是需要同时考察的指标。
显然,如果我们只研究一个指标或是将这些指标割裂开分别研究,是不能从整体上把握研究问题的实质的,解决这些问题就需要多元统计分析方法。
为了更好的探讨这些问题,本
章我们首先论述有关随机向量的基本概念和性质。
在实用中遇到的随机向量常常是服从正态分布或近似正态分布,或虽本身不是正态分布,但它的样本均值近
似于正态分布。
因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。
在
多元统计分析中,多元正态分布占有很重要地位,本书所介绍的方法大都假定数据来之多元正态分布。
为此,
本章将要介绍多元正态分布的定义和有关性质。
然而在实际问题中,多元正态分布中均值向量和协差阵通常是未知的,一般的做法是由样本来估计。
这是本
章讨论的重要内容之一,在此我们介绍最常见的最大似然估计法对参数进行估计,并讨论其有关的性质。
第二节基本概念
一、随机向量
我们所讨论的是多个变量的总体,所研究的数据是同时p个指标(变量),又进行了n次观测得到的,我们
把这个p指标表示为X1X2LXp,常用向量X=(X1X2LXp)'表示对同一个体观测的p个变量。
这里我们应该强调,在多元统计分析中,仍然将所研究对象的全体称为总体,它是由许多(有限和无限)的个体构成的集合,如果构成总体的个体是具有p个需要观测指标的个体,我们称这样的总体为p维总体(或p元总体)。
上面的表示便于人们用数学方法去研究p维总体的特性。
这里“维”(或“元”)的概念,表示共有几个分量。
若观测了n个个体,则可得到如表2.1的数据,称每一个个体的p个变量为一个样品,而全体n个样品组成一个样本。
表2.1数据
变量
序号
X1
X2
L
Xp
1
X11
X12
L
X1p
2
X21
X22
L
X2p
M
M
M
M
M
n
Xn1
Xn2
L
Xnp
在这里横看表2.1,记为
X()(X1,X2,L,Xp),1,2丄,n
表示第个样品的观测值。
竖看表2.1,第j列的元素
Xj(X1j,X2j,L,Xnj),j1,2,L,p
表示对第j个变量Xj的n次观测数值。
因此,表2.1所反映出的样本资料可用矩阵表示为
X11
X12
L
X1p
X
(1)
X21
X22
L
X2p
X
(2)
X
(X1,X2,L,Xp)二
(2.1)
M
M
M
Xn1
Xn2
L
Xnp
X(n)
简记为%
定义2.1将p个随机变量X1,X2,L,Xp的整体称为p维随机向量,记为X(X1,X2,L,Xp)。
在对随机向量的研究仍然限于讨论离散型和连续型两类随机向量。
二、多元分布
先回顾一下一元统计中分布函数和密度函数的定义。
设X是一个随机变量,称F(x)p(Xx)为X的概率分布函数或简称为分布函数,记为X~F(x)o
若随机变量在有限或可列个值xk上取值,记P(Xxk)pk,(k1,2丄)且pk1,则称X为离散型随
k
机变量,称P(XXk)Pk,(k1,2,L)为X的概率分布。
x
设X~F(x),若存在一个非负函数f(x),使得一切实数x有:
F(x)f(t)dt,则称f(x)为X的分布密
度函数,简称为密度函数。
一个函数f(x)能作为某个随机变量X的分布密度函数的重要条件是:
(1)f(x)0,对一切实数x;
(2)f(x)dx1。
定义2.2设X(Xi,X2,L,Xp)是p维随机向量,它的多元分布函数定义为
F(x)=F(X!
X2,L,Xp)P(X1X1,X2X2,L,XpXp)(2.2)
记为X~F(x),其中x(x-\,x2,L,xp)Rp,Rp表示p维欧氏空间。
多维随机向量的统计特性可用它的分布函数来完整地描述。
定义2.3设X(X!
X2,L,Xp)是p维随机向量,若存在有限个或可列个p维数向量禺兀,,,记
P(XXk)Pk,(k1,2,L)且满足piP21,则称X为离散型随机向量,称P(XXk)Pk,
(k1,2,L)为X的概率分布。
设X~F(x)=F(X1,X2,L,Xp),若存在一个非负函数f(x「X2,,Xp),使得对一切x(X1,X2,L,Xp)Rp有
xXp
F(x)=F(X1,X2,L,Xp)Lf(「t2,L心何丄dtp(2.3)
则称X为连续型随机变量,称f(x「X2,,Xp)为分布密度函数,简称为密度函数或分布密度。
一个p元函数f(X1,X2,,Xp)能作为Rp中某个随机向量的密度函数的主要条件是:
(1)f(X1,X2,,Xp)0,(X1,X2,,Xp)Rp;
(2)
f(X1,X2,,Xp)dx1dXp1
离散型随机向量的统计性质可由它的概率分布完全确定,连续型随机向量的统计性质可由它的分布密度完全确
【例2.1】试证函数
X2)
f(X1,X2)
x-i0,x20
0,
其它
为随机向量X(X1,X2)密度函数。
证:
只要验证满足密度函数两个条件即可
X2
0
(1)显然,当x-i0,x20时有f(x-i,x2)0
e(X1e°X2)dx1dx2e以X2)dx1dx2eX2dx2
00000
定义2.4设X(X1,X2,L,Xp)是p维随机向量,称由它的q(p)个分量组成的子向量
X⑴(Xi1,Xi2,L,Xiq)的分布为X的边缘(或边际)分布,相对地把X的分布称为联合分布。
通过变换X中
各分量的次序,总可假定
X⑴正好是X的前q个分量,其余pq个分量为X⑵,则X
X
(1)
X
(2)
q
,相应的
pq
(1)
x
取值也可分为两部分X⑵x("
当X的分布函数是F(X1,X2,L,Xq)时,X
(1)的分布函数即边缘分布函数为:
F(X1,X2,L,Xq)
P(X1X1,L,XqXq)
P(X1X1丄,XqXq,Xq1,L,Xp)
F(X1,X2,L,Xq,,L,)
当X有分布密度
f(X1,X2,,Xp)时(亦称联合分布密度函数),则X⑴也有分布密度,即边缘密度函数为:
fi(Xi,X2,,Xq)
f(Xi,,Xp)dXqi,,dXp
【例22】对例2.1中的X(X,,X2)求边缘密度函数。
解:
f(Xi)
f(x「X2)dx2
(XX2)
edx2e
0
0,
其它
同理f(x2)=
定义2.5
独立的。
【例
2.3】
解:
eX2,x20
0,其它若p个随机变量
问例
f(Xi,X2)=
2.2中的
e(Xi,X2).
Xi,X2,L,Xp的联合分布等于各自的边缘分布的乘积,则称Xi,X2,L,Xp是相互
Xi与X2是否相互独立?
fx1(Xi)=
0,
eXi
Xi
其它
0,x20
0,
f(Xi,X2)=如(为)
这里我们应该注意,由
由于
Xi0
其它
fxJX2),
Xi,X2,L
eX2,X20
0,其它
故Xi与X2相互独立。
Xp相互独立,可推知任何Xi与Xj(ij)独立,但反之不真。
fx2(X2)=
2.6设X(Xi,X2,L,Xp),若E(Xi)(ii丄,p)存在且有限,贝U称(E(Xi),E(X2),L,E(Xp))为X的均值(向量)或数学期望,有时也把E(X)和E(XJ分别记为卩和卩(i,2,L,p),容易推得均值(向量)具有以下性质:
E(X)
,即
E(AX)AE(X)
E(AXB)AE(X)B
E(AXBY)AE(X)BE(Y)
X、Y为随机向量,A、B为大小适合运算的常数矩阵。
Y(Y,Y,L,Yp),称D(X)=E(XE(X))(XE(X))
Cov(Xi,Xp)
Cov(X2,Xp)
p(2.4)
M
Cov(Xp,Xp)
i
(1)
(2)
(3)
其中,
定义2.7设X
Cov(Xi,Xi)
Cov(X2,Xi)M
Cov(Xp,Xi)
(Xi,X2,L,Xp),
Cov(Xi,X2)CovgXz)
M
Cov(Xp,X2)
为X的方差或协差阵,有时把D(X)简记为艺,Cov(Xi,Xj)简记为和Y的协差阵为
ij
从而有艺(ij)pp;称随机向量X
Cov(Xi")
Cov(X2,Y)Cov(X,Y)_E(XE(X))(YE(Y))
M
Cov(Xi,Y>)
Covg,%)
M
Cov(Xi,Yp)
Cov(X2,Yp)
(2.5)
M
Cov(XpM)
Cov(Xp,%)
Cov(Xp,Yp)
当X=Y时,即为D(X)。
若Cov(X,Y)0,则称X和Y不相关,由X和Y相互独立易推得Cov(X,Y)0,即X和Y不相关;但反过来,当X和Y不相关时,一般不能推知它们独立。
当A、B为常数矩阵时,由定义可以推出协方差阵有如下性质:
(1)
(2)
(3)
(4)
对于常数向量a,有D(Xa)D(X)
D(AX)AD(X)AA2A
Cov(AX,BY)ACov(X,Y)B
设X为n维随机向量,期望和协方差存在,记口E(X),艺D(X),A为nn常数阵,则
E(XAX)tr(A习口A口
这里我们应该注意到,对于任何的随机向量X(X1,X2,L,Xp)来说,其协差阵艺都是对称阵,同时总是非
负定(半正定)的。
大多数情况是正定的。
若X(X1,X2,L,Xp)的协差阵存在,且每个分量的方差大于零,则称随机向量X的相关阵为
RCorr(X)(j)pp,其中
Cov(Xj,Xj)j
D(X).D(Xj)—”为Xi与Xj的相关系数。
在数据处理时,为了克服由于指标的量纲不同对统计分析结果带来的影响,
XjE(Xj)vD(Xj),,Xp)°令,
ij
i,j
1,
(2.6)
往往在使用各种统计分析之前,常需
要将每个指标“标准化”,即进行如下变换Xj
1,L,p(2.7)
那么由(2.7)构成的随机向量
XC1(XE(X))
那么,标准化后的随机向量X
1
E(X)E[C(XE(X))]D(X)D[C1(XE(X))]
***
X(X-X2丄
均值和协差阵分别为
1
CE[(X
C1D[(X
E(X))]0
E(X))]C1
diag(11,22丄,pp),有:
C1D(X)C1C12C1R
即标准化数据的协差阵正好是原指标的相关阵。
第三节多元正态分布
一、多元正态分布的定义
1
f(X)2
(X:
e丁
)2
我们先来回顾一元正态分布的密度函数,即为
1…
1/221/2eXp
(2)1/2
(2)
由于(2.8)式中的x,均为一维的数字,可以用(x)代表(x
以将其推广,给出多元正态分布的定义。
定义2.8若p维随机向量X(X1,X2,L,Xp)的密度函数为:
111
-12exp-(x-Q工(x-以(2.9)
2
上式可以改写为f(x)
121尹)()(x
(2.8)
)的转置。
根据上面的表述形式,我们可
f(Xi,X2丄,Xp)
(2)p/2|2|
其中x(X1,X2,L,Xp),卩是p维随机向量,工是p阶正定阵,则称X服从p元正态分布,也称X为p维
正态随机向量,简记为X~NP(⑴艺),显然当p1时,即为一元正态分布密度函数。
可以证明卩为X的均值(向量),艺为X的协差阵。
这里我们应该提及的是,当工0时,艺1不存在,X也就不存在通常意义下的密度函数,然而可以形式的给
艺0及艺0的情况给出一个统一的处理。
(X「X2)服从二元正态分布,则
2
112
2
212
X1与X2的方差,
出一个表达式,是的有些问题可以利用这一形式对
当P
2时,设X
11
12
这里
21
2
1,
2
1
22
2
2分别是
22
2
(1)
是X1与X2的相关系数。
即有
1
H(1~~5
故X1与X2的密度函数为
f(Xi,X2)
1
212(1
2)1/2
exp
1
2~~
2
(1)
(X11)2
2
1
2
2(X11)(X22)(X22)
22
122
0,则X1与X趋于正相关;若
0,则X1与X2趋于负相
对于0,那么X1与X2是相互独立的;若
关。
定理2.1设X~NP(口,艺),则有E(X)口,D(X)艺。
关于这个定理的证明可以参考文献[1],该定理将多元正态分布的参数□和艺赋予了明确的统计意义。
这里我们需要明确的是,多元正态分布的定义不止是一种,更广泛的可以采用特征函数来定义,也可以用一切线
性组合均为正态的性质来定义。
二、多元正态分布的性质
在讨论多元统计分析的理论和方法时,经常用到多元正态变量的某些性质,利用这些性质可使得正态分布的处理
变得容易一些。
1•若X(X1,X2,L,Xp)~Np(山习,工是对角阵,贝yX1,L,Xp相互独立。
2•若X~Np(⑴2),A为sp阶常数阵,d为s维常数向量,则
AXd~Ns(A口d,A2A)
即正态随机向量的线性函数还是正态的。
3•若X~Np(⑴2),将X,卩,艺作如下剖分
x
(1)
(1)q
卩⑵
upq
q
21
pq
q
D1
(1)
(1)⑵⑵则X~Nq(u,211),X~Np-q(u,工22)。
这里需要指出的是:
第一,多元正态分布的任何边缘分布为正态分布,但反之不真。
第二,由于厶2Cov(X⑴,X⑵),故2120表示X
(1)和X⑵不相关,因此可知,对于多元正态变量而言,X
(1)和X⑵
的不相关与独立是等价的。
【例2.4】若X(X「X2,X3)~2(u2)
其中,
1
11
12
13
设
a(0,1,0),
1
00
2
21
22
23
A
0
c,,则
01
3
31
32
33
(1)
X1
aX
(0,1,0)
X2
X2
~N(a
u,a
2a)
X3
其中
1
11
12
13
0
au
(0,1,0)
2
2
a
2a
(0,1,0)21
22
23
1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 应用 多元 统计分析 讲稿 建平