1、分类号U D c密级学校代码!垒皇!劣海疆歹大浮学位论文题目亟旦叠宣圭窒庄鲍建遮丛童窒篁堡堡塞英：丈壁曼墨曼墼曼鱼Q 堕鱼星g Q 望墅卫星!i Q 堕Q 基狸星丛题目旦圣地箜曼垫鱼星茎p 堕丛垫垒g 曼堡曼堕研究生姓名，俊堑姓名呈i 坠职称指导教师割塾撞学位亟单位名称塑避堂堕邮编垒圣Q Q 鱼量申请学位级别亟论文提交日期!生i 月：论文答辩日期学位授予单位童鎏望璧坚盘鲎学位授答辩委员会主席2 013 年6 月独创性声明I I I I I1 1 1 11I I I I MI I P I IP IIIf llY 2 3 6 3 5 61本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得
2、的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。签名：雌日期：馏瞳6=!学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或
3、论文数据库使用或收录本学位论文，并向社会公众提供信息服务。(保密的论文在解密后应遵守此规定)研究生(签名)：姓导师(签名)：期拙武汉理工大学硕士学位论文摘要企业的科技创新是我国技术创新和突破的一个重要方向，给予企业科技创新方面的支持也成为了我国在经济发展方面的一个战略选择。因此国务院批准设立企业技术创新基金，它是利用拨款补助、贷款减息和资金注入等方式扶持和引导企业在科技方面的创新活动的一项政府专项资金。但是，由于我国在科技创新资金扶持的投入是有限的，为了能够选出哪些创新性强、产生的经济效益大、对于社会的贡献更多的科研项目，需要对于企业提交的项目进行立项评审。目前，主要采取的方法是同行评议法，这
4、个方法完全由评审的专家的主观判断来决定项目是否立项，因此建立一个科学、合理的专家库，并对遴选出来评审的专家进行反评估，以提高专家的整体素质是具有实际意义的。本文从项目评审的发展入手，讨论了专家库建设以及评审专家对于项目评审的重要性；提出来我国目前这方面存在的不足，并在借鉴了前人研究的基础上建立了对于评审专家在项目立项阶段的评审进行考核的指标体系，然后通过三角模糊数的层次分析法建立了综合评价体系，从而实现了对于评审专家的反评估。对于提高项目评审的公平和公正有一定积极方面的作用。本文主要包括四个方面的内容：(1)项目评审概述：介绍了我国项目评审的发展情况，项目评审的重要性，我国项目评审目前存在的一
5、些问题，以及对于问题改进方面的一些建议。(2)专家库的应用现状及发展：分析了专家库的建设应该注意的问题，重点对于专家库实现“动态化”进行了探讨，指出了专家库动态管理的关键是对于评审专家的评价。(3)专家评价指标体系的建立：研究了评审专家反评估的指标体系建立的原则和方法，并建立了指标的数学模型，构建了专家评估的综合指标体系。(4)指标权重的确定：基于第四章所构建的评价指标，利用基于三角模糊数的层次分析法确定指标的权重，然后运用实例对于模型进行验证，最后是对于评估结果的分析和建议。关键词：项目评审，专家库管理，综合评价方法A b s t r a c tT h es c i e n t i f i
6、ca n dt e c h n i c a li n n o v a t i o no fm e d i u m-s i z e da n ds m a l le n t e r p r i s e si sa ni m p o r t a n td e v e l o p i n gd i r e c t i o no fo u rc o u n t r y I nr e c e n ty e a r s，t h et e c h n o l o g yo fc h i n ah a sd e v e l o p e dr a p i d l y T h eS t a t eC o u n
7、c i lh a ss e tu pt h et e c h n o l o g yi n n o v a t i o nf u n d H o w e v e r，b e c a u s et h ef u n d so nr e s e a r c ha r er e l a t i v e l yl i m i t e d，w eh a v et oe v a l u a t et h ep r o j e c t si no r d e rt os e l e c tt h ep r o j e c t sw h i c ha r es t r o n gi n n o v a t i
8、 o n，o b v i o u s l ye c o n o m i ca n ds o c i a lb e n e f i t s I nc h i n a，w eu s u a l l yu s ep e e rr e v i e wt oe v a l u a t et h es c i e n c ea n dt e c h n o l o g yp r o j e c t s T h er e s u l t so fp e e rr e v i e wd e t e r m i n et h ef a i r n e s so fe v a l u a t i o n T h
9、i sa r t i c l ew i l ls t a r tw i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g yp r o j e c t sa n di tw i l la l s od i s c u s st h ei m p o r t a n c eo fe x p e r td a t a b a s e Am o r ef a i ra n ds c i e n t i f i cp e r f o r m a n c ee v a l u a t i o ni n d e xs y
10、 s t e mo fs c i e n c ea n dt e c h n o l o g yp r o j e c t sa s s e s s m e n te x p e r t si se s t a b l i s h e do nt h eb a s eo fs u r v e y s，s t a t i s t i c a l，a n a l y s i s，f i l t e ra n de l i m i n a t et h r o u g hal a r g e rn u m b e ro fr a wd a t a T h ed i s c u s s i o no
11、ft h i sa r t i c l em a i n l yi n c l u d e sf o u ra s p e c t s：(1)t h eo u t l i n eo ft h et e c h n o l o g yp r o j e c te v a l u a t i o n：t h i sp a r tw i l ld i s c u s st h ed e v e l o p m e n to ft e c h n o l o g yp r o j e c te v a l u a t i o n,t h ei m p o r t a n c eo ft e c h n
12、 o l o g yp r o j e c te v a l u a t i o n，t h ep r o b l e m so ft h et e c h n o l o g yp r o j e c te v a l u a t i o na n dt h es o l u t i o no ft h ep r o b l e m s(2)T h ed e v e l o p m e n ta n da p p l i c a t i o ns t a t u so fe x p e r td a t a b a s e：i tw i l la n a l y z et h ep r o
13、b l e m so fe s t a b l i s h e re x p e r td a t a b a s e I ta l s of o c u so nt h ed y n a m i co fe x p e r td a t a b a s ea n dc o m et oac o n c l u s i o nt h a tt h ee v a l u a t i o no ft h ee x p e r t si st h ek e yt ot h ed y n a m i co fe x p e r td a t a b a s e(3)T h i sp a r tw i
14、l ld i s c u s st h em e t h o do fb u i l d i n ga ne x p e r te v a l u a t i o ns y s t e ma n dt h em a t h e m a t i c a lm o d e lo fh o wt od e c i d et h ew e i g h to fi n d e x(4)C o n f i r mt h ew e i g h to ft h ei n d e x：T h i sp a r tw i l ld i s c u s sh o wt oc o n f i r mt h ew e
15、i g h to ft h ei n d e xb yu s i n gt h ef i a z z ya n a l y t i ch i e r a r c h yp r o c e s s I tw i l lu s eae x a m p l et ov a l i d a t i n gt h ee x p e r te v a l u a t i o ns y s t e m K e yw o r d s p r o j e c te v a l u a t i o na n dr e v i e w，e x p e r td a t a b a s em a n a g e m
16、e n t，c o m p r e h e n s i v ee v a l u a t i o nm e t h o dI I武汉理工大学硕士学位论文目录摘j i 9：IA b s t r a c t I I第1 章绪论11 1 选题背景及现实意义11 2 国内外研究状况21 2 1 专家库的研究现状21 2 2 科技项目评估方法述评31 2 3 评审专家的评价与选择方法51 3 论文的研究内容71 4 论文的组织结构7第2 章科技项目评审概述92 1 科技项目评审的概念92 1 1 科技项目的概念一92 1 2：科技项目评审的内容102 1 3 科技项目评审的流程112 2 科技项目的选择
17、方法1 22 3 科技项目评审专家的作用1 32 4 我国科技项目评审现状1 42 5 对我国科技项目评审的启示和建议1 52 6 本章小结1 6第3 章评审专家库的管理。1 73 1 评审专家库的概念1 73 1 1 评审专家库建设的原则1 73 1 2 评审专家库的基本结构183 2 专家的入库1 93 3 专家的抽取2 03 4 专家库的动态化管理2 23 5 本章小结2 3第4 章评审专家评估指标体系的建立2 4I I I武汉理工大学硕士学位论文4 1 评价的基本原则2 44 2 评价指标体系的建立2 54 2 1 二号家的个人资历指标2 64 2 2 号家学术性指标2 64 2 3
18、二号家社会认可度指标2 94 2 4 离散型指标2 94 2 5 评审有效型指标3 64 3 非共识项目处理3 74 3 1 非共识项目产生的原因3 74 3 2 对于非共识项目的处理3 84 4 本章：小结3 8第5 章专家绩效综合评估算法研究3 95 1 评审专家的反评估3 95 2 三角模糊数层次分析法与模糊综合评价模型3 95 2 1 专家反评估决策的多目标评价3 95 2 2 层次分析法4 05 2 3 基于三角数的模糊综合评价4 15 3 专家反评估评价体系的建立4 35 4 评价体系的运用4 65 4 1 数据来源4 65 4 2 专家综合评价结果4 75 5 本章小结；。4 8
19、第6 章全文总结与研究展望4 9参：考文献5 0致谢5 3攻读硕士学位期间发表的论文及参加的科研项目5 4I V武汉理工大学硕士学位论文第1 章绪论1 1 选题背景及现实意义技术创新是一个国家发展的动力之源。英国、法国、德国等西方发达国家都将推动科技型企业的发展作为国家的基本国策和强国之路，积极在社会、经济和技术等各方面为企业的技术创新提供条件和创造基础，推动科技型企业的发展，并取得了巨大的成功。2 0 世纪8 0 年代初，我国成立了自然科学基金委员会，面向全国重点资助高等院校和科研机构的研究人员，资助金额一直呈现增长趋势(如图卜1 所示)。1 9 9 9 年我国又成立了科技型中小企业创新基金
20、，通过拨款补助、贷款减息和资金注入等方式扶持和引导科技型企业的技术创新活动，促进科技成果的转化，培育出了一批新型的科技型中小企业，加快了高新技术产业化的进程，对于我国产业及产品结构的整体优化，扩大国内需求，创造新的就业机会等方面起到积极的作用。但是，由于我国创新资金扶持的投入是有限的，为了能够选出哪些创新性强、产生的经济效益大、对于社会的贡献更多的科研项目，一般在项目的立项阶段都会进行立项评审。因此，项目评审专家库的研究就具有现实的意义了。图卜12 0 0 6 2 0 1 2 年我国自然基金的资助金额武汉理工大学硕士学位论文对于项目立项的评审，目前主要是利用同行评议法。同行评议法被认为是在资源
21、分配决策上的一种有效的决策方法，是科研项目评审的生命线。但是，由于客观的原因，其方法本身存在一定的局限性，近几年国内外的学者也对其提出了不少的批评意见，主要包括：(1)有部分项目是自上而下的方式，反映的是上层官员和其赏识的科学家之间的需求，而不是真正国家规划的科技发展方向；(2)由于每年评审的专家相对固定，企业很容易知道评审自己项目专家的联系方式，在制度上存在着泄密的问题；(3)项目的评审过多的牵涉到了“人际关系”在里面，而非学术的优劣。这些问题对同行评议保持公平、公正和公开提出了挑战，并严重的减缓了我国创新的步伐。因此，依据评审专家参与评审的行为对其进行反评估，可以优化评审专家库，并为遴选专
22、业知识扎实、评审态度认真的评审专家提供依据，最终会提高科技项目评审质量。1 2 国内外研究状况1 2 1 专家库的研究现状目前国内外文献对于专家库的研究主要着力于两个方向：一方面是对于项目评审专家库的功能、数据、专家库管理及其后期维护的研究；另一方面是对专家抽取的算法、专家分组、数据安全方面的研究。中外的不少学者基于这两个方向进行了研究。高正源在X X 市原有的专家库信息系统之上，运用数据仓库建模技术，开发了基于w e b 和数据仓库的简单辅助决策系统，提高了专家库的使用效率【l J。李杏娇对于专家库系统查询模块进行了查询优化处理，并利用K N N 算法对于专家信息自动分类进行了探讨【2 J。
23、廖开际、李哲利用S Q LS e r v e 数据库的优点，采用J S P技术实现了专家和用户的互动以及专家知识的共享1 3 J。李军、张动等将专家库分成内网和外网，保证了专家信息安全，并对用户的权限进行了设置【4】。卢奕利用数据挖掘技术，通过神经网络算法，智能的模拟了相关的专家为决策提供客观、有效的建议【5 J。廖荣辉教授建议专家库内专家的基本信息应及时更新，以保障专家选择的科学性，并建立了评价体系对专家的业绩进行评价，为以后专家遴选提供依据【6 J。综合目前国内外学者对于专家库的研究，专家库的建设还具有以下缺陷：(1)专家的信息都是孤立的，缺乏了与之相关联信息的显示；(2)专家的信息检索功
24、2武汉理工大学硕士学位论文能比较简单，可操作性差；(3)专家库主要采取了随机抽取的方式，其很难满足部分评审条件更苛刻与复杂的抽取要求；(4)大部分项目评审专家库系统都没有开发评审专家回避原则的功能。1 2 2 项目评估方法述评1 2 2 1 项目评估方法分类及发展趋势国外自上世纪6 0 年代就开始研究项目评审的方法和理论，托马期霍布斯(T h o m a sH o b b e s)及其学生最开始利用数量方法来评估人们的生存环境，疾病的发病率、死亡率和社会发展及解体的原因【7】。后来发展起来的系统性的评价方法起源于对于社会项目的评价和公共性投资项目的评价【8 J。席酉民对项目评估的理论与方法进行
25、了总结与评述1 9 J。对于项目立项阶段的评审主要包括了定性和定量的评审。一些定性的方法，如：同行评议法、头脑风暴法、经理人员决策法、德尔斐法(D e l p h it e c h n i q u e)等在项目立项阶段的评估中仍然发挥着重要的作用。定量评估自M o R l e y 教授发表的立项选择定量模型以来，定量评估的数学模型已达数百个之多【1 0 1。一些学者对项目立项阶段评审的模型进行了分类，分类的方法和依据各有不同。K L P o l(2 0 0 1)等将项目评估方法分为权重排序法和效益贡献法两大类，其中权重排序法包括评分法、层次分析法和比较法，而效益贡献法则包括成本一效益分析法、经
26、济分析法和决策树法等【1 1 1。刘景江等学者则根据项目评估的发展特点将项目的评价方法分成了决策一事件方、决策过程方和综合评价方三类【l2 1。1 2 2 2 项目评估主要方法述评下面对常用的评价方法进行概述。(1)专家评分法2 0 世纪中期，R D L u c 在定量分析和定性分析的基础上，利用字典方法对于数量有限的方案进行排序，利用专家打分的形式对结果进行规范化，具有很强的数理统计的特征。专家评分法的提出对于后期的同行评议法和模糊综合评价具有启发和引导的作用【1 3】。(2)同行评议法国外早在1 7 世纪中叶就利用同行评议法来对于发表的科技论文进行评估u4 1。到了2 0 世纪3 0 年代
27、同行评议法又被用于在科技项目的立项阶段进行评估，防止科研经费的浪费。目前，主要用于项目的立项，成果的考核、职位及职称3武汉理工大学硕士学位论文的评定等方面u。国内和国外在同行评议法的使用上有些微差别，但基本上都以下面几种形式进行：(D 通讯评估法；会议评估法；现场评估法。其中现场评估主要考察申报项目的基础设施、科研条件等，而会议评估法和专家通讯评估法则在项目评估中使用较多。同行评议的本质是评议主体对被评价对象的价值进行判断。对于创新性较强的项目，同行评议是目前唯一的方法。同行评议具有操作的过程简单，结果简单易用等优点，但其也具有一些缺点。主要体现在：评估专家小组的人数一般在1 0 人左右，评估
28、结果具有偶然性；评审专家自身对于评议标准的把握和理解不同也会造成评审结果的差异；由于同行专家的研究领域相同，大多已经具有=相同的思维定势，容易排斥“创新型”的项目。(3)层次分析法层次分析法(A n a l y t i cH i e r a r c h yP r o c e s s)的原理是首先确定决策的目的，然后在基于此目的的基础上分出准则、方案等层次，最后进行定量和定性的分析。该方法是由美国匹茨堡大学教授萨蒂于2 0 世纪7 0 年代初，提出的一种层次权重决策分析方法。层次分析法在科技项目中的不仅可以用于科技项目的综合排序，也可以用于评估指标体系的构建。但其本身也有一些缺点，评估结论的主观
29、性很大，评审的工作量和准确性受到评审数量对象的影响也很大，因此其主要用于数量级比较小的项目排序，或和其他方法一起使用【l6|。(4)加权优序法加权优序法是通过专家咨询，并分别赋予各序号以相应的评分值，然后综合所有的评价指标，分别计算评价对象的总优序数，并按总优序数大小评定其优劣顺序的方法。加权优序法实质也是一种专家判断法，其优点是应用简单，操作方便，既能处理定量问题，又能处理定性问题。但当评估对象的数量比较多时，加权优序法的结果会失去准确性。而且加权优序法是一种主观方法，其评估结论不具有可重复性，受权重影响较大。在科技项目评估中，加权优序法可与其他方法联合使用，用于对少量同类项目的优选。(5)
30、效用函数法效用函数法n 刀是利用效用这一指标将某些难以量化的指标进行量化，将需要决策的目标因素转化为效用，最后计算决策的总效用，从而进行评估。其反应了目标决策者对于风险的态度，不同的风险态度会得出不同的决策结果。4武汉理工大学硕士学位论文(6)相关性分析相关性分析是指对于评审的项目各个因素的紧密度进行分析的方法，一般可以分为直线相关、等级相关。相关性分析要求因变量是随机的，且为了防止出现虚假相关，对于项目评审中的运用需要科学的指导和准确的认识。1 2 3 评审专家的评价与选择方法由于评审专家的评审意见对于项目最终能否立项有着非常大的影响作用，因此，为了保证项目立项评审的公正性，对于评审专家进行
31、反评价一直都是中外学者研究的重点内容。目前，项目的立项评审大部分都是使用的同行评议法，因此相关的学术讨论也主要是基于同行评议的研究。国外对于评审专家评价的早期研究是先提出了对于评审专家的若干假设，利用问卷调查和实验的方式对于假设进行验证，并基于此结果对于专家的选择提出意见n 铲2 引。S u nYH 教授基于群体决策的评价方法，对于专家评估进行了进一步的研究，推动了其发展。由于不同国家的经济、文化的差异，对于评审专家评估研究的切入点和研究方法也各有不同。我国的自然科学基金委员会成立于1 9 8 6 年，成立时间较晚，随后慢慢暴露出在专家评审方面的一些问题。因此，我国对于专家反评估的研究开始于9
32、 0 年代。对于专家反评估的研究刚开始主要是定性的讨论：同行评议公正性的讨论、建议建立评审专家完善的评估机制髓6 2 7 1。随后，学者对于评价体系建立中专家评价指标的选择上作了大量的研究。赵黎明等人(1 9 9 4)在问卷调查的基础上将评价体系分解为专家的个人信息指标、专家的修养指标、专家的评审业绩指标三大类，不过并没有给出具体指标的量化公式。赵黎明(1 9 9 5)年在其研究基础上给出了评分结果离散率、评审结果命中率及评审结果成功率的数学公式。李淑芬等(1 9 9 5)将专家评价的指标分为专家的学历、职称、专家的获奖情况、专家发表的论文和出版书籍、专家对于学科的熟悉程度等指标，然后利用层次
33、分析法进行了权重的计算。郑称德(2 0 0 2)首先是做了同行评议法的问卷调查，证明了同行评议依然是大多数人认可的项目评审方法，然后对于专家的评价指标选择了经验指标、偏差指标、综合指标进行专家评价。本文对于近年来学者对于评审专家评价方面的研究作了整理，如表卜1 所5武汉理工大学硕士学位论文不。表卜1 评审专家的评价研究作者评价指标说明一专家个人信息指标赵黎明等(1 9 9 4)一专家的修养指标建立了较完善的评价体系，但未给出评价指标的数学公式一专家评审业绩指标一评审项目总次数赵黎明等一项目评分的离散率对于评审业绩指标进行了进一步的细(1 9 9 5)一评审项目的命中率化，并列出了指标的数学模型一项目最终成功率一科研成果及获奖一论文发表量李淑芬等对于建立的评价体系，利用层次分析(1 9 9 5)3 刚一对评审领域的熟悉程度法进行了权重计算一所在单位对专家的评价一学位等信息一评审经验指标郑称德
