1、国际金融组织贷款项目国际金融组织贷款项目绩效评价操作指南财政部国际司2014年2月第一章 指南的目的和使用为推进国际金融组织贷款项目科学化、规范化管理，提高贷款资金使用效益，完善绩效评价管理体系，财政部于2013年3月发布实施了国际金融组织贷款项目绩效评价管理办法（以下简称办法）。本指南是实施办法的配套技术文件，目的在于说明绩效评价工作的有关内容、程序和方法，确保评价工作规范开展，评价结论客观公正，充分发挥评价作用。本指南针对国际金融组织贷款项目的绩效评价工作而设计,使用者主要包括各级财政部门及其他政府部门中负责绩效评价管理的人员、各级国际金融组织贷款项目管理办公室（以下简称项目办）管理人员、
2、参与国际金融组织贷款项目绩效评价的评价人员、咨询专家及其他相关人员。本指南主体按照绩效评价实施流程编写，整体框架如图1-1所示，其中“评价准备”、“评价结果应用与公开”、“质量控制”属于绩效评价管理部门职责，“评价设计”、“评价实施”和“评价报告”属于评价小组职责。图1-1 国际金融组织贷款项目绩效评价流程第二章 评价概要2.1 评价定义国际金融组织贷款项目绩效评价（以下简称绩效评价），是指运用一定的评价准则、指标和方法，结合国际金融组织贷款项目预先设定的绩效目标，对项目绩效进行科学、客观、公正的评价。项目绩效评价以项目目标为导向，对项目全过程进行综合评价，全面考察项目的设计、实施、管理、结果
3、及影响，旨在为改进项目设计、完善项目管理、提升项目绩效、优化政府决策和推广最佳实践提供有效信息。2.2 评价原则绩效评价工作应当遵循以下基本原则：1、依法实施，科学规范。依据国家相关法律、法规和政策制度开展评价工作；评价指标要科学客观，评价方法要合理规范，基础数据要真实准确。2、客观公正，公开透明。坚持中立立场，从客观实际出发，以事实为依据，公平合理开展评价工作；评价结果要依法公开，接受监督。3、统一领导，分级管理。财政部负责总体推进和加强绩效评价工作；中央部门和地方财政部门分别负责本部门、本地区的绩效评价工作。4、目标导向，各方参与。以项目绩效目标作为绩效评价工作的起点和评价标准；在评价过程
4、中推动利益相关方积极参与。2.3 评价对象绩效评价对象即国际金融组织贷款项目，应根据项目所处的不同阶段开展相应的绩效评价工作。对于完工项目，应当于项目完工3年内组织一次完工项目绩效评价。对于在建项目，应当于项目实施期内开展一次在建项目绩效评价，在建项目绩效评价可与项目中期调整检查结合进行。2.4 评价准则绩效评价主要对绩效评价对象（被评国际金融组织贷款项目）的相关性、效率、效果和可持续性四方面（即四个准则）进行评价。每个评价准则下对应若干关键评价问题以及一系列具体评价指标。绩效评价正是通过考察分析各个评价指标的实际达成情况，来衡量被评项目的四方面绩效。1、相关性，是指项目目标与国家、行业和所在
5、区域的发展战略、政策重点以及需求的相符程度；2、效率，是指项目投入和产出的对比关系，即能否以更低的成本或者更快的速度取得预计产出；3、效果，是指项目目标的实现程度以及实际产生的效果和相关目标群体的获益程度；4、可持续性，是指项目实施完工后，其独立运行的能力和产生效益的持续性。完工项目应对上述四方面进行全面评价，在建项目应重点评价相关性、效率和效果。2.5 绩效目标绩效评价是一种以目标为导向的评价体系，即运用特定的分析评价方法，衡量对比项目投入产出、管理效率、实施效果影响等方面符合既定绩效目标的程度，从而评价一个项目成功或顺利与否。绩效目标是绩效评价的基础和前提，是被评价项目计划在一定期限内达到
6、的产出、效果和影响等。绩效目标一般应跟项目内容吻合，科学合理、具体明确、可以衡量，项目绩效目标一般在项目立项阶段的评估文件或设计文件中有明确阐述。2.6 评级方法办法规定，项目绩效分为四个等级，完工项目分别是高度成功、成功、比较成功、不成功；在建项目分别是实施顺利、实施比较顺利、实施不太顺利、难以继续实施。绩效评级的具体做法是：（1）根据绩效评价框架收集有关项目绩效目标完成情况的证据；（2）运用特定的分析方法和打分标准，根据收集整理的证据，对每个评价指标、关键评价问题和评价准则进行递进式打分、评级；（3）根据四个评价准则的权重设置，对四个准则的评价分值进行加权平均，算出项目绩效分值；（4）根据
7、绩效分值确定项目绩效等级。绩效评价分值采用百分制。评价准则的权重、项目绩效分值与对应绩效等级参见表2-1。每个准则的评级规则详见5.2.2节。表2-1 项目绩效分值与绩效等级对应表评价准则完工项目准则权重在建项目准则权重绩效等级90,10080,90)60,80)0,60)相关性10%20%高度相关相关基本相关不相关效率30%50%效率非常高效率高效率一般效率低效果30%20%非常满意满意比较满意不满意可持续性30%10%高度可持续可持续基本可持续不可持续项目绩效完工100%-高度成功成功比较成功不成功在建-100%实施顺利实施比较顺利实施不太顺利难以继续实施2.7 评价步骤绩效评价包括评价准
8、备、评价设计、评价实施、评价报告、评价结果应用五个步骤（评价质量控制贯穿整个评价过程）。每个步骤的详细内容和方法将在以后各章进行阐述。1、评价准备编制评价任务书，成立评价小组等。2、评价设计设计绩效评价实施方案，包括开发绩效评价框架，设计面访、座谈会和实地调研的问题清单，分解任务与制定时间表等。3、评价实施按照评价实施方案收集、整理、审核相关数据资料，评定项目绩效等级，剖析存在问题，形成综合评价结论。4、评价报告在充分听取利益相关方意见的基础上，编写绩效评价报告，并及时上报。5、评价结果应用项目实施部门运用评价结果加强项目管理，提升实施绩效；财政部门运用评价结果与国际金融组织及相关部门沟通，改
9、进战略决策，优化资源配置，推广先进经验。第三章 评价准备绩效评价准备工作围绕编写评价任务书和成立评价小组展开，由管理部门负责。管理部门首先应根据本部门、地区绩效评价年度计划和项目实施情况，确定被评价项目，并着手准备评价工作。3.1 编写评价任务书3.1.1 评价任务书的作用评价任务书是管理部门对绩效评价工作的总体要求，是评价活动必须遵循的核心文件，主要有以下四方面作用： 将年度评价计划中的任务转化为可操作的评价工作； 为评价小组的评价设计和实施提供基础； 为各利益相关方对评价任务达成共识提供基础； 为管理部门控制评价质量、核查评价小组任务完成情况提供依据。3.1.2 评价任务书的内容评价任务书
10、应包括以下内容：评价目的、项目描述、评价范围、利益相关方、关键评价问题、证据收集与分析方法、预期成果、评价小组、实施计划、费用与支付、管理部门责任等。评价任务书格式参见附件一。（1）评价目的评价任务书应明确评价目的，说明为何开展此项评价，评价结果如何应用，由谁使用。（2）项目描述对项目背景、项目目标、项目构成、实施情况等方面进行简要描述，以便评价人员能够迅速了解项目基本情况。 项目背景：项目所在地区的经济社会发展状况，项目所在的领域，项目要解决的主要问题，如贫困地区的基本医疗卫生服务不足问题、城市交通发展瓶颈问题、环境污染问题等。 项目目标：项目的预期目标，要包括项目在一定时期内应实现的绩效目
11、标。 项目构成：为实现项目绩效目标而开展的一系列相关项目内容和活动。 实施情况：项目的实施机构、实施周期、实施地点、实施过程、实施结果。（3）评价范围说明绩效评价的时间范围、地域范围和受益群体范围。评价范围通常与评价目的有关。比如，对于一个以贫困地区儿童为目标受益群体的基础教育项目，如果管理部门只希望评价该项目对贫困女童的作用，受益者群体的评价范围便是贫困女童。（4）利益相关方列举政府部门、国外合作伙伴、项目办、项目实施机构、项目运行机构、目标群体、社区等项目利益相关方，说明他们将在绩效评价中发挥的作用和可能提供的帮助。目的在于促进项目利益相关方的了解，并尽可能从他们那里收集绩效评价所需信息。
12、（5）关键评价问题列出应评价的关键问题。本指南针对四个评价准则统一设计了若干个必须回答的关键评价问题（对于完工项目有11个关键评价问题，对于在建项目有10个关键评价问题）。管理部门可以根据需要强调其中的若干问题，但原则上不宜增加其他关键问题。关键评价问题的内容详见4.2.1节。（6）证据收集和分析方法根据需要，提出本次绩效评价应采用的证据收集方法和分析方法。由于各种方法的实施成本不同，选择方法时要充分考虑预算限制。（7）预期成果说明对绩效评价工作预期成果的要求，包括报告的格式和内容等。管理部门如果要将绩效评价报告提交给国际金融组织，还应完成报告的英文版本。（8）评价小组说明评价小组完成评价任务
13、所需要的知识、能力和经验，以及对评价小组构成的建议。（9）实施计划说明评价任务将要开展的活动及其时间安排，尤其是评价成果提交的时间节点。表3-1列出了评价任务实施的关键时间节点和任务负责人，详细的实施计划由评价小组制定。表3-1评价任务实施计划模板序号活动描述时间安排负责人1签订任务合同XX年XX月管理部门、评价小组2开发绩效评价框架XX年XX月评价小组3形成评价实施方案XX年XX-XX月评价小组4评价实施XX年XX-XX月评价小组5提交报告初稿XX年XX月评价小组6利益相关方反馈XX年XX月管理部门及其他利益相关方7提交评价报告终稿XX年XX月评价小组（10）费用与支付说明评价任务的预算费用
14、和支付方式。（11）管理部门责任写出管理部门在绩效评价中的责任，包括提供相关项目文档，为评价小组提供协调，参与绩效评价实施过程中的某些活动，如实地调研、座谈会和讨论，对绩效评价进行质量控制等。3.1.3 评价任务书的编写步骤评价任务书由管理部门进行编写。编写评价任务书一般包括四个步骤：前期准备、编写评价任务书初稿、与利益相关方沟通、形成评价任务书终稿。（1）前期准备在编写评价任务书之前，评价管理者要明确评价目的，熟悉项目的经济社会背景，了解项目的实施和完成情况，充分掌握项目现有信息资料。在这个阶段，对被评项目进行“可评性”评价非常重要。这包括项目目标是否清晰，项目现有资料完整情况，主要的项目相
15、关人是否能够找到，收集可靠数据的难度大小等。如果项目不具有可评性，那么应该替换掉，否则绩效评价将很难开展，并且造成资源浪费，同时评价结果的有用性也将大打折扣。（2）编写评价任务书初稿管理部门在前期准备和估算评价可用经费、人员和时间等资源的基础上，按照章节3.1.2的内容要求，编写评价任务书初稿。（3）与利益相关方沟通管理部门应就评价任务书初稿与项目主管部门、项目办等利益相关方沟通，充分听取他们的意见和建议。如成立了评价顾问组，还应征求顾问组对评价任务书的意见和建议。（4）形成评价任务书终稿管理部门在充分考虑各方意见和建议的基础上，修订评价任务书初稿，形成评价任务书终稿。3.1.4 评价任务书的
16、质量控制评价任务书对绩效评价的成功实施至关重要，在确定最终评价任务书之前，管理部门应对其质量进行核查，核查问题清单参见专栏3-1。专栏3-1 高质量评价任务书的核查问题清单 为什么要开展此项评价？ 评价涉及哪些利益相关方？ 评价任务是否明确？评价小组能否根据评价任务书开展评价设计，实施评价任务？ 评价任务书是否提出了有关评价方法或实施计划的合理要求？ 对评价报告的要求是否明确？ 是否有足够的资源和时间来完成评价任务？ 在评价实施过程中，管理部门和其他利益相关方能为评价小组提供哪些必要的支持？3.2 成立评价小组管理部门可以直接开展绩效评价，也可以根据需要聘请符合条件的中介机构或外部专家实施绩效
17、评价。无论采取哪种方式，管理部门应指派一名评价管理者负责评价的组织管理和质量控制工作，并组建合格的绩效评价小组实施绩效评价。3.2.1 评价管理者评价管理者应熟悉被评价项目，并履行以下职责： 编写评价任务书； 指导评价小组理解评价任务书内容； 为评价活动提供必要支持； 监督评价活动并实施质量控制； 对评价活动中出现的问题做出及时回应； 在委托合同需要变更时，与评价小组进行协商； 促进评价小组与政策制定者、项目管理者沟通； 审查评价报告初稿是否符合合同和指南的要求； 组织利益相关方对评价报告初稿提出反馈意见； 审定评价报告终稿； 促进评价结果的应用和公开。3.2.2 绩效评价小组（1）评价小组的
18、构成评价小组由绩效评价专家、行业专家等评价人员组成。管理人员可作为评价小组成员（也可担任评价小组组长），评价小组成员不得与项目有直接利益关联。评价小组成员应各具专业特长，通过优势互补使评价小组胜任评价任务。评价小组应具备以下知识和能力： 绩效评价知识和技能：绩效评价的理论知识、操作方法和相关技能，如经济分析、统计分析、社会调查等。 行业知识：熟悉项目所在行业或领域的背景、发展状况、相关政策、专业知识等。 组织协调能力：组织和调动各种资源，协调评价中不同任务的进展，推动评价任务在规定时间内完成。 沟通能力：与利益相关方进行友好沟通，促进利益相关方参与绩效评价，并向项目管理者及时有效地报告评价结果
19、。 熟悉当地情况：熟悉当地文化背景，了解当地经济社会发展重点和相关政策。如项目目标群体涉及少数民族，应了解并尊重其习俗。（2）评价小组组长的职责与资格条件评价小组应指定一名组长，组长需具备以下条件： 具有较为深厚的绩效评价知识和技能； 具有领导力和团队管理技巧； 熟悉被评项目所在行业或领域的政策规定、技术知识、管理模式等； 具备三年以上公共支出项目绩效评价或相关经验； 具有良好的信誉。评价小组组长应履行以下职责： 与管理部门沟通； 领导和管理评价小组日常工作； 协调和整合评价小组内部意见； 确保评价小组按照评价任务书实施评价； 组织编写评价报告。第四章 评价设计绩效评价设计的目的是将评价任务书
20、转化为操作方案，确保评价工作顺利实施。评价设计由评价小组负责，这个阶段的主要成果是绩效评价框架和绩效评价实施方案。在此过程中，评价小组应与管理部门充分沟通并达成一致。评价设计流程如图4-1。图4-1 绩效评价设计流程4.1 前期准备4.1.1 理解评价任务书评价小组应与评价管理者充分沟通，准确理解管理部门的意图和评价任务书的内容，包括评价目的、关键评价问题、现有资料情况、对评价任务的时间和报告要求等。4.1.2 评价任务分解与分工评价小组在充分理解评价任务书后，首先应对评价任务进行分解，即明确应开展哪些活动。评价任务一般包括前期准备、设计、实施、报告等活动，每项活动还可能包括若干子活动。评价小
21、组还要确定每项活动的产出（如项目基础信息表、绩效评价框架、评价实施方案、面访和座谈会的问题清单、评价报告等）。评价小组根据分解后的评价活动和小组成员的专长进行分工。对于需要多个小组成员共同完成的活动，组长应指定一名小组成员负责活动的产出。4.1.3 案卷研究前期准备阶段需要对现有资料进行案卷研究。研究的项目文件主要包括项目评估文件、项目管理手册、项目进展报告、项目中期检查报告、项目完工报告、中方项目总结报告、国际金融组织的其他报告等。其中国际金融组织贷款项目相关文件参见表4-1所示。表4-1 国际金融组织贷款项目相关文件项目阶段主要文件世界银行亚洲开发银行国际农业发展基金欧洲投资银行1、制定国
22、别伙伴战略国别合作伙伴战略国别合作伙伴战略国家战略机遇文件、农发基金战略框架欧投行与发展战略和运营规划2、项目预评估和审批项目评估文件、贷款协议、项目协议行长建议报告、贷款协议、项目协议总裁报告、贷款协议、项目协议贷款协定、项目评估文件、项目协议3、项目实施项目进展报告、中期检查报告、世行检查团检查备忘录项目管理备忘录、项目监测报告项目实施年度报告、检查团备忘录、中期评估报告项目进度报告、年度实施计划、检查团备忘录4、项目完工项目完工报告项目完工报告项目完工报告项目完工报告5、评价项目绩效评价报告项目绩效评价报告项目完工评价报告项目绩效评价报告在案卷研究的基础上，评价小组应形成国际金融组织贷款
23、项目基础信息表，模板如表4-2所示。表4-2 国际金融组织贷款项目基础信息表一、项目概况项目名称中文名称：英文名称：领域根据国际金融组织对项目的分类填写投资金额其中：（国际金融组织名称）贷款 国内配套总金额以人民币为单位国际金融组织贷款以美元为单位国内配套以人民币为单位项目（预）评估时间按实际情况填写贷款协议签订时间按实际情况填写贷款协议生效时间按实际情况填写项目预计和实际开工时间按实际情况填写项目预计和实际完工时间按实际情况填写（在建项目只填写预计完工时间）实施地点按XX省XX市XX县的格式填写项目办包括国家、省、地方各级项目办项目实施和运行机构如果实施和运行机构不同，则分开填写二、项目背景
24、主要从以下几方面描述项目的背景，但不限于这几点，注意提取关键数据和事实：- 项目的提出针对国家经济社会发展的哪些特定需要？（例如：与相关战略、政策或其他重大项目的关系等）- 项目的提出针对所在行业的哪些关键问题？（例如：解决空白问题、瓶颈问题、还是在现有条件下改进提高）- 项目内容和实施区域选择的理由是什么？（例如：该地区最贫困，或具备实施条件，或估计影响较大等）三、项目活动内容和绩效目标项目活动内容和绩效目标按项目评估文件（或设计文件）中的项目组成和绩效目标填写，若其中部分内容有过调整且经过中方和国际金融组织同意，则按调整后的项目组成和绩效目标填写。四、项目利益相关方列举政府部门、国外合作伙
25、伴、项目办、项目实施机构、项目运行机构、目标群体、社区等项目利益相关方。五、项目的监测评价与实施效果介绍项目实施的主要监测与评价活动（包括执行时间、监测内容、基本评价等）以及项目实施实现的主要成效。4.1.4 确定利益相关者评价小组在评价任务书所列项目利益相关者的基础上，通过案卷研究，最终确定项目的利益相关者，并分析他们如何参与项目设计、实施、运行，或使用项目成果（受益）。这一工作有利于评价小组更有针对性地开展面访、座谈会或实地调研，有利于收集到更有效的证据。项目的利益相关者一般包括以下几类： 国际金融组织：为项目提供贷款、赠款和其他援助的国际组织； 中方管理部门：与项目相关的各级政府部门，包
26、括财政部门、发展改革部门、行业部门等； 项目单位：包括各级项目办、负责项目实施和运行的机构； 项目受益者：项目的直接受益者、间接受益者； 其他利益相关者：其他公众、学术界等。4.1.5 制定评价任务时间表为保证评价活动顺利开展，在完成任务分解分工和案卷研究之后，评价小组组长应对每项评价活动做出时间安排，以便对评价进展实施有效控制。评价活动的时间安排应与管理部门、项目办充分协商。表4-3给出了评价任务分解与时间安排模板。表43 绩效评价任务分解与时间安排模板序号评价活动产出负责人时间1评价任务分解与分工评价任务的初步安排评价组长X月X日-X月X日2案卷研究项目基础信息表XXXX月X日-X月X日3
27、开发绩效评价框架项目绩效评价框架评价组长X月X日-X月X日4设计面访问题清单面访问题清单XXXX月X日-X月X日5设计座谈会问题清单座谈会问题清单XXXX月X日-X月X日6设计实地调研问题清单实地调研问题清单XXXX月X日-X月X日7完成绩效评价实施方案绩效评价实施方案评价组长X月X日-X月X日8面访面访记录XXXX月X日-X月X日9举行座谈会座谈会记录XXXX月X日-X月X日10实地调研实地调研记录XXXX月X日-X月X日11证据整理根据指标整理汇总的证据XXXX月X日-X月X日12评价分析形成绩效评价分析结果、评价结论、经验教训和改进建议XXXX月X日-X月X日13撰写绩效评价报告初稿绩效
28、评价报告初稿评价组长X月X日-X月X日14与利益相关方沟通利益相关方的建议和意见汇总评价组长X月X日-X月X日15完善并形成绩效评价报告终稿和报告摘要终稿绩效评价报告终稿和绩效评价报告摘要终稿评价组长X月X日-X月X日说明：1、评价活动可能包括多次面访或实地调研，应该列出每次面访或实地调研的负责人和时间；2、评价小组应根据实际情况对上述活动进行选择或补充。4.2 开发绩效评价框架绩效评价框架是开展绩效评价的核心。绩效评价框架包括评价准则、关键评价问题、评价指标、证据、证据来源、证据收集方法等（见表4-4）。表44 绩效评价框架结构评价准则关键评价问题（一级指标）评价指标（二三级指标）证据证据来
29、源证据收集方法相关性 效率 效果 可持续性 绩效评价框架中使用的术语主要有： 评价准则：包括相关性、效率、效果和可持续性四个评价准则。 关键评价问题：用于进一步理清每个评价准则所包含的关键而又具有共性的项目绩效内容。每个评价准则包括若干个关键评价问题。 评价指标：用于进一步分解和回答关键评价问题，直接针对项目内容和特点，衡量项目绩效实现程度的考核工具。评价指标包括定量指标和定性指标。一个关键评价问题下可以对应有若干个评价指标。 证据：用来测量评价指标，回答关键评价问题，支持评价结论的信息和数据，包括项目数据、事实、利益相关方观点等。 证据来源：说明证据的出处，以便评价人员收集所需证据。 证据收集方法：绩效评价中用于收集各种证据的方法和技术手段，如案卷研究、实地调研、面访、问卷调查等。以下按照图4-2的流程依次介绍如何开发绩效评价框架。图 4-2 绩效评价框架开发流程4.2.1 关键评价问题指南根据四个评价准则设计出若干个必须回答的关键评
