试述中国科学院中国科学院 所科技评价 科技

〔摘 要〕为了对中国科学院的研究所进行更加合理有效的科技评价，本文在探讨了论文等出版物及影响因子、检索系统收录情况和被引频次、获奖成果、专利和软件著作权、项目数和经费、将帅人才这些科学院知识创新工程研究所评价体系基础评价指标元素的基础上，提出了完善指标体系、重视科技成果的应用和社会效益、基于学科专业建立评价模型、分专业领域和学科进行评价、研究指标相关性和把握评价周期等对策建议。使之更适合中国科学院的创新评价需求并达到评价导向和支撑科学院战略管理与绩效管理的需求。
〔关键词〕中国科学院；科技评价；评价指标；评价方法
〔〕A 〔文章编号〕1008－0821（2012）09－0155－05
科技评价作为科研管理和绩效管理的重要工具和手段，是构建科技发展竞争环境的基础，在推动国家科技事业持续健康发展，促进科技资源优化配置方面作用重大。中国科学院的研究所承担着国家的重要科研任务，合理有效的科技评价，不仅可以充分调动研究所和科研人员的积极性，更好地完成科研任务，而且能为国家的科学研究、奖励、管理提供依据和参考，使管理决策部门正确地评价科学活动，合理地制定激励系统，以保证科学系统积极有效的运行，对科研事业和学科的长远发展有举足轻重的意义。
中国科学院研究所科技评价经历了3个阶段：第一阶段的评价特点是采用定量方法进行研究所产出评价，评价结果表现为研究所排名，不与资源配置挂钩。第二阶段的评价特点是定量与定性评价相结合，关注重大创新成果、目标完成度和政策引导，评价结果表现为研究所分类排名并与研究所资源配置有所挂钩，同时反馈评价信息到研究所并为研究所提供咨询建议。第三阶段的主要特点是建立以综合质量评估为根本、以政策导向评估为重点、以基础数据测评为基础的综合质量评估体系，把战略规划评估纳入评价，尝试了创新能力指数评价。
以上评价的3个阶段伴随着中国科学院的知识创新工程。第三阶段的评估体系全面总结和评估了科学院各个研究所的知识创新成果，但也存在一些不足，主要表现为：有科学院特色的评价模式尚待建立，科技评价尚不能有效支撑科学院战略管理和绩效管理的需求，科技评价方法有待完善和进一步创新。目前，中国科学院应总书记“不仅要创造一流的成果、一流的效益、一流的管理，更要造就一流的人才”的要求，开始实施“创新2020”，着力解决关系国家全局和长远发展的重大科技问题。为此，研究所的评价导向应有所调整，应建立以重大产出为导向的研究所评价体系，尤其注重对人才的评价。
本文在讨论了中国科学院知识创新工程研究所评价体系的基础上，提出了一些优化评价指标和评价方法的思路。

1 常用指标分析与优化思路

中国科学院知识创新工程研究所评价体系共包括24个基础指标元素（见表1），其中的很多指标是科研机构常用基础评价指标，也是科技评价必不可少的指标，如论文等出版物以及影响因子、检索系统收录情况和被引频次，获奖成果，专利和软件著作权，项目数和经费，将帅人才等等[3]。下面就在讨论这几项常用指标的基础上提出一些改进思路，使之更适合中国科学院的创新评价需求，达到评价导向和支撑科学院战略管理与绩效管理的需求。

1.1 论文数和影响因子

绝大部分科研机构都把发表科技论文数作为评价单位研究实力和科研人员研究水平的一个重要指标，而且与研究所排名、项目申请、成果申报、职称晋升、待遇奖励等挂钩。科研论文是科研成果的重要表现形式，此项指标数据也很容易获得，但以简单的论文发表数量指标来衡量科研绩效，往往不能反映科研成果的真正价值。首先科研论文有期刊论文、会议论文、综述、摘要、咨询报告等多种类型，论文的类型不同，在数量方面客观上就存在差异。其次，即使同样是期刊论文，刊载论文的期刊的质量和影响力以及论文本身的质量也是千差万别。再次，论文发表数与学科差异和领域有较大关系，如有些需要有长期积累的学科，在短时间内很难有论文等成果产出。还有些学科或领域的期刊较少，发表文章的难易程度也就不一样[4]。因此现在的评价体系都不会把论文数作为单一的评价指标，而是和影响因子相结合。
通常所说的影响因子（Impact Factor，IF)其实是指期刊的影响因子，是美国科学信息研究所（ISI）的期刊引证报告（JCR）中的一项数据。即某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。影响因子作为评价指标已经得到广泛的应用和认可。目前最受推崇和看重的是美国《科学引文索引》（Science Citation Index，SCI）和美国综合性社科文献数据库《社会科学引文索引》（Social Science Citation Index，SSCI）。它们被广泛应用于我国的科研机构排名、项目结题验收、科技奖评选、职称晋升、奖励奖金、基金申请、专家推选等科技评价活动中。SCI和SSCI数据库的主要功能体现在文献检索和引文分析与评价。由于SCI和SSCI的选刊标准和其数据库具有学科全面、学术影响大、覆盖国家广泛等特点，刊物或论文被SCI或SSCI收录和引用在一定程度上就反映了该刊物或论文具有较高的学术水平和较大的国际影响力。但应用实践表明，SCI和SSCI的引文数据用于宏观层次（如国家或研究机构）的整体科研评价具有统计意义，但在微观层次（如某个专业研究所或研究人员）的个体评价中具有一定的局限性[4－6]。其局限性主要在于：期刊的影响因子存在学科或者专业差别，引用峰值存在差异和论文统计类型有差异。
中国科学院的研究所评价体系在论文这项指标上一般考虑SCI和SSCI论文，已经采用德国科技界认为比较合理的、可比性强的、修正影响因子的科技期刊评价指标——相对影响因子[7]。相对影响因子是期刊的影响因子与同学科期刊平均影响因子的比值，排除了学科性质的干扰，便于不同学科期刊之间的比较。杨兵通过实例研究表明，采用相对影响因子概念，不仅为特定期刊的动态分析提供了途径，而且使不同学科专业期刊之间的

摘自：写毕业论文经典网站www.udooo.com

对比研究成为可能，在科研评价中具有合理性和可操作性[8]。但是，期刊影响因子与该期刊上具体的某一篇论文的影响因子或者被引频次，并无必然联系[9]。因为影响因子的统计年限是2年，而某些论文获得较高引用率在时间上具有特殊性[6]，如因期刊出版周期较长、对引文的重视程度不够或重视时间太短，并非大多数论文在发表后的2年里处于被引高峰期。通常有被引高峰期滞后的现象，这就使影响因子的本质意义和表征意义出现不一致[10]。因而，期刊的影响因子并不等同于论文的影响因子，发表在高影响因子期刊上的论文并不代表文章的水平和被引就高[3]，不能将高水平期刊与高水平论文等同起来[11]。
在中国科学院这种以研究为主的科研单位的科技评价中，对于论文评价方面，需要考虑引入新的评价指标来完善评价体系。国外学者近年来提出了一个期刊评价的新指标——特征因子(Eigenfactor)，及其衍生指标——论文影响分值(Article Influence Score)。这两项指标已于2009年1月被应用到JCR数据库和《期刊引用报告》中。特征因子最大的优点就是，它在设计计算法则的过程中考虑了每条引文的价值，而且排除了期刊自引的影响，使得其结果能更好地评价期刊的整体影响力，更能比较客观地反映期刊的重要性。另外，论文影响分值作为特征因子的补充，排除了期刊载文量的影响，使低载文量期刊的影响力也能很好地被体现出来[12－13]。
因此，可以考虑把论文所在刊物的特征因子与按JCR分类的学科平均特征因子之比作为论文的分值。这样可以使论文数和影响因子这种定量评价指标更合理，也能体现研究所在某一学科领域的竞争力状况，有助于研究所找准自身的定位、重大发展方向和培育方向，更好地完成科学院的“一三五”规划。
1.2

源于：毕业论文总结www.udooo.com

检索系统收录情况和被引频次
目前国内常用作评价指标的检索收录系统除SCI和SSCI外，还有报道工程技术各学科文献的《工程索引》（EI），报道会议论文的《科技会议录索引》（ISTP），中国科学院编制的《中国科学引文数据库》（CSCD），以及由南京大学中国社会科学研究评价中心开发研制的《中国社会科学引文索引》（CSSCI）。这些数据库同SCI和SSCI一样，在引文分析和学术评价中有一定的局限性，因而，不能单纯以论文是否被某一数据库收录而作为评价该论文的学术水平的指标[11]。
与前文分析的影响因子一样，数据库收录通常是对整本期刊的收录，所以并非进入检索数据库的每篇论文都有较高的水平和价值，因而评价时通常需要结合被引频次一起使用。被引频次是指在一定的时期内期刊论文被引量的总和。科技活动的继承性和交流性说明，论文被引用越多，其学术影响力就越大[6]。目前，被引频次广泛用作衡量学术水平的定量指标，是院士增选、学科带头人等人才选拔的一项重要评价指标。但是，引文分析自身具有局限性，使得其结果并不是绝对准确和公平的。在使用被引频次作为科技评价指标时，重点应考虑到以下两个因素：自引和伪引。

1.2.1 自引

自引现象在追逐高被引频次的情况下很普遍。有些期刊编辑和论文作者人为操纵“引用”的现象十分严重，即期刊和作者的自引在期刊和论文的被引频次中占有极高的比例，而这种情况在JCR中所给出的引证指标是无法发现的。任胜利在研究中发现，有些论文的被引频次中有90%以上都是由作者的自引所贡献的，对于这类论文的被引频次，在评价中显然不能赋予其学术水平指示的意义[4]。适当的自引表明了研究工作的延续性和继承性，并非不允许，但自引比例如果超过15%～20%，则不尽合理了[3]。因而，不能盲目将高引用与高水平等同起来[11]，建议在计算时可以分别统计自引频次和他引频次，尤其是对前沿领域和领军人才的评价时更应如此。

1.2.2 伪引

如果说以“他引”次数作为评价指标就是合理的，也不完全正确。因为引用还存在反引（批评式引用）、合作者和小团体间的“友情互引”，以及一般意义上的“罗列式引用”（引而不用）等现象；有作为背景的引用，有作为实验方法的引用，还有作为观点的引用等。所以同样是引用，被引文献所起的作用和所体现的学术水平也不尽相同。因此，只考虑被引频次，而不考虑引用的具体情况也是不恰当的[3]。这就需要将定量评价与定性评价相结合，加上同行评议专家的意见来综合评定论文的学术价值。

1.3 获奖成果

大多数科研机构在评价中仅把成果获奖等级、获奖排名和成果数目作为指标，而缺少对成果转化及所创造经济效益等的后续绩效评价指标。虽然中国科学院的评价指标中包括奖励和技术转让两项指标，但计算方式是分开计算的，单对获奖成果这项指标而言，也往往偏重于学术价值，而忽视应用价值。只要成果数目的得分高了，即使在技术转让方面的分值较低，其整体分数也能上去，而且成果数对科研团体或科研个体的评价而言意义重大，因而一些科研人员自然不愿在应用方面花费太多的精力。这导致科技成果转化率偏低，一些科技成果成为“纸上谈兵”，对科研经费是一种“浪费”，对科研价值也是一种“贬值”。因此，在评价研究所的科研成果时，应视情况而定，对理论研究要看重学术高度，而对具有应用价值的理论性成果，应对其实际应用的可行性和意义做出评价[3]，即将成果数的定量评价与实际应用的定性评价相结合，对不同的学科领域，两者采用不同的比重。这更有利于科学院建立以重大产出为导向的研究所评价体系。

1.4 专利和软件著作登记权

一些单位在评价科研成果时对专利格外看重，将申请专利和获授权专利情况与奖金发放和职称评级直接联系，中国科学院在1993年、1999年和2003年的研究所基础评价指标元素中也都包括专利方面的指标。当然，积极申请专利对于保护知识产权无可厚非，对提倡科研成果的开发、转化和应用也具有重要的意义。但是，不能在科研评价中只看重专利的数量，还应关注专利的价值和价值差别。中国科学院知识创新工程评价方法是按照个数计算专利和软件著作登记权的件数，申请计0.3分／件，授权计0.6分／件。但是，目前专利申请的门槛较低，导致专利“满天飞”，很多成为“垃圾”专利，即申请后没有产生任何价值。因而，评价专利的价值，不应只关注专利的数量，而应从长远考虑，从专利成果的转让、转化和带来的社会经济效益等多个角度进行分析评估。可以考虑短期评价与长期评价相结合的方式，即评估当年获得授权的直接按件数计分，评估前一年获得授权的考虑适当的成果转让和社会经济效益权重，评估前两年获授权的再加大权重，以此类推，直到一定年限前的专利和软件著作登记权，若既不能进行转让又不能带来社会经济效益的，可以考虑不再计算其分值。

1.5 项目数和经费

将获批基金、重大项目等的数量和获取科研经费的数额作为评价机构和个人的科研绩效与学术水平的情况普遍存在，并且曾经获得的项目和经费又成为评价下一次项目申请的指标。这样，申请到的项目越多，该单位或个人在评审中就占有更大的优势，而项目的完成情况及成果专利的使用价值等并没有引起足够的重视。这种情况导致部分单位和项目组把精力集中在项目申请上，而忽略后期的产出和绩效，造成科研资源的浪费。因此，在评价中，不能单纯考虑获取科技资源的能力，还应从体现科研工作的效益和效果方面建立指标体系进行综合评价[3]。中国科学院把项目分为几个大类，每一类型按照层次或经费来计分，但项目的完成情况也未纳入评价指标，可以考虑设定适当的权重分值。而且“优者更优”的项目申请情况的存在，使得单用项目和经费来定量评价发展中的研究所和年轻研究人员有一定的缺陷。

1.6 将帅人才

对人才的评价是科技管理和研究所科技评价的重要组成部分，因为将帅人才与其他多项评价指标都有密切的相关性。有了将帅人才才能领导团队获得科研项目和奖励、专利获批、论文发表、技术转让等成果，才有可能做出重大创新贡献。目前对人才的评价主要集中在科技人才自身特征和科技绩效两大维度[14]。中国科学院对将帅人才的评价主要从以下几方面进行：知名杂志编委、国际组织任职、国家级专家委员、两院院士、杰出青年基金获得者和国家主席奖获得者等。但这基本上都是从社会对人才的认可程度方面来评价的，建议可以增加新的评价指标——h指数、g指数以及hg指数等来对将帅人才的个人绩效进行评价。
美国物理学家乔治?赫什(Jorge E.I-Iirsch)于2005年提出了h指数，旨在评价科学家的个人成就。h指数是指一个科学家所发表的论文中，有h篇论文每篇被引次数都不少于h。h指数巧妙地将“质”与“量”结合在一起，建立了发文和引文的关系，这种评价方法在国外得到了广泛的

源于：查抄袭率论文www.udooo.com

应用和肯定，相对于SCI和影响因子等指标，它能够比较准确地反映个人的学术成就。g指数的计算方法是：将论文按照引文数从高到低的顺序排列，g指数是引文累积数量大于等于排序位次平方的最大排序位次。这不仅体现了高被引文献量的增长对科研成果的影响，同时也体现了学术成就的积累性和继承性[15－16]。2010年，S.Alonso在Scientometrics上的文章中提出了用于评价科研人员绩效成果的新指标hg指数。hg指数是该科研人员的h指数和g指数的几何平均数，它融合了h指数和g指数的优点，同时又弱化了它们的不足之处[17]。郭红梅等的研究表明hg指数用于评价科研人员的绩效更为合理[16]。
同时，从科学院对将帅人才的指标定义来看，对科技团队的评价还有待加强。科学院当前的创新目标是要有重大产出和培养一流人才，这都必定需要团队合作才能完成，因而可以增设相应的二级评价指标。

2 评价方法分析与优化思路

对于研究所的科技评价工作，中国科学院已经做了很多尝试并提出了有参考价值的评估模式。不过，因为评价指标的选择和表达还未能有效反映不同性质科技创新活动的特点和科技创新的社会经济效益与影响，所以评价方法在坚持质重于量、分类评价、科学严谨和公开公正的原则下，还需要进一步改革创新，不断丰富、发展和完善。
2.1 定性与定量有机结合，更加重视科技成果的应用和社会经济效益目前，科技评价主要是从定量评价和定性评价两方面来进行。定性评价主要是传统的同行评议方法和手段，定量评价还是以科技直接产出指标测评为主。但鉴于知识测度本身的复杂性，所以，必须将定量评价与定性评价相结合，才能使评价更加合理、公正和客观。
进行同行评议时，还应注意规范专家咨询制度，避免某些人为的倾向性和局限性，如抬高自己研究团队或与自己合作密切团队的水平而贬低同行其他研究团队或个人的能力。通过通信评价、会议评价、调研和现场评价等方式尽量做到公平、公正、公开。同时，由于仅用定量评价指标有一定的缺陷，如发表的SCI论文和专利在实际应用方面没有价值，也不能带来社会经济效益，那也只能算是纸上谈兵罢了。所以在定性评价时应更加关注科技成果的应用情况和所带来的社会经济效益。从定性和定量两方面对同一成果进行评价并得出相应分值后，再赋予它们不同的权重值，最后得出对某一方面成果的综合评价。
在具体对科技人才进行评价时，还要分年龄阶段、分岗位采取适合各自特点的评价方法，对科研、支撑和管理各类人才实行分类评价。尤其要关注处于起步和积累阶段的35岁以下青年人才的评价方法，可以在指标的权重方面有所不同，如加大定性评价的权重。
2.2 根据学科专业的不同，选择评价指标的侧重点和权重科研业绩评价要做到公平、公正，就应充分考虑学科专业之间的差异，制定相应的评价指标权重和体系，避免指标误用和误导。
中国科学院已经在这方面做了一些研究探索，把科研单位分成3类来进行评价：以基础研究为主的科研单位侧重评价高质量论文、奖励和学术交流；以战略高技术研究为主的科研单位侧重评价知识产权、外争经费、承担任务、成果转化、仪器设备、质量规范；以经济社会可持续发展相关研究为主的科研单位侧重评价高质量论文、咨询报告、社会效益和数据积累。不过即使都是以基础研究为主的科研单位，因其学科专业的不同，科技评价指标的侧重点和权重也应有所区别，才能做到真正的公平和公正。如均以基础研究为主的化学和数学方面的研究所，在进行机构间的横向比较时论文数和影响因子这两个评价指标就应赋予不同的权重。与此同时，还应考虑科研机构各项指标的复合，以及机构总量指标和人均指标。俞立平的研究认为总量指标和人均指标复合时，权重7∶3比较合适[18]。
2.3 从综合整体评价过渡到分专业领域和学科方向进行评价中国科学院知识创新工程研究所评价体系是以综合质量评估为根本，但研究所的学科特色体现不够。要评价科学院“一三五”规划：一个定位、三个重大突破和五个重点培育方向，就需要对研究所分专业研究领域和学科方向来进行评价而不是整体的总量评价，以达到关注重大产出的价值导向作用，帮助研究所把握研究方向和发展状态、提升创新能力的诊断作用，以及判断研究所特色、优势和国内外同领域地位的衡量作用。2.4 研究评价指标的相关性
从前文提到的中国科学院研究所评价的24项基本指标可以看出，许多指标之间具有相关性。如重大项目必定有将帅人才主持，也会相应有出版物、学术会议报告、奖励、专利、软件著作权、研究生培养以及重大创新贡献等产出。如果不适当考虑指标的相关性而直接将评价分值相加，就会使优者更优，弱者更弱，不利于发现新的培育方向。但各相关指标选取多大的权重才能使评价更客观和公正还有待进一步研究。

2.5 把握评价周期

研究所的科技评价具有价值导向作用并且与绩效挂钩，这也就给科研人员带来一定的压力。如果评价周期过短，相关的科研和管理人员就得花费不少的时间和精力来应付各种评价，占去宝贵的科研时间；另外有些基础性研究本来就需要长期的积累。因而，应根据实际情况来设定评价周期，可以是5年，10年，甚至20年。对于处在科研起步阶段的35岁以下的青年科技人员，不宜进行严格的年度评价和考核，而是把3年或者5年作为一个评价阶段较为合适。

3 结束语

综上所述，中国科学院知识创新工程的研究所科技评价指标体系有

怎样写论文www.udooo.com

其优点，但评价新时期创新活动——“一三五”规划和“创新2020”又有一定的局限性。因此，随着对科技管理和科技评价研究的深入，应不断创新评价指标和优化评价方法，同时加强评价保障体系建设，增强评估透明度，推进评估工作的规范化与科学化。科学合理地运用评价结果，构建鼓励各类研究所和科技人员竞争发展的平台，达到创造一流的科技成果和造就一流的创新人才的目的，促进科技创新能力的跨越和持续发展。
参考文献
邱均平,嵇丽.美国《科学引文索引》与科学评价研究[J].科研管理,2003,24(4):22-28.
中国科学院科技评价研究组.关于我院科技评价工作的若干思考[J].中国科学院院刊,2007,22(2):104-114.
[3]董灵芝,李鲁滨,雷二庆,等.军队医学科研单位科技评价指标探讨[J].解放军预防医学杂志,2010,28(3):230-233.
[4]任胜利,Ronald Rousseau,祖广安.SCI的引文统计指标及其与研究评价的关系[J].编辑学报,2003,15(1):70-72.
[5]邱均平,嵇丽.美国《科学引文索引》与科学评价研究[J].科研管理,2003,24(4):22-28.
[6]李冠强,刘英,王向婷.从引文指标看高校学报的学术质量[J].图书与情报,2003,（6）:25-26.
[7]方静,朱立志.德国科技界对期刊评价和“影响因子”的意见和建议[J].中国科技期刊研究,2005,16(2):266-267.
[8]杨兵,彭超群,袁赛前,等.相对影响因子在期刊评价和科研评价中的应用[J].编辑学报,2008,20(5):466-468.
[9]SIMONS K.The misused impact factor[J].Science,2008,322(5899):165-165.
[10]林海清,翁志辉.浅议学术期刊常用评价指标及其局限性[J].农业图书情报学刊,2010,22(2):192-194.
[11]沈固朝.合理发挥引文索引在学术评价中的作用[Ｎ].中国社会科学报,2010-04-01，（015）.
[12]任胜利.特征因子(Eigenfactor)：基于引证网络分析期刊和论文的重要性[J].中国科技期刊研究,2009,20(3):415-418.
[13]刘艳华,华薇娜.期刊评价新指标——特征因子[J].情报杂志,2010,29(7):122-126.
[14]李思宏，罗瑾琏，张波.科技人才评价维度与方法进展[J].科学管理研究,2007,25(2):76-79.
[15]邱均平,缪雯婷.h指数在人才评价中的应用[J].科学观察,2007,2(3):17-22.
[16]郭红梅,邵艳娥,金晶,等.科研人员绩效评价改进指标——hg指数[J].情报杂志,2011,30(1):71-73.
[17]S Alonso FJ,Cabrerizo E,Herrera-Viedma F Herrera.Hg-Index：A New Index to Characterize the Scientific Output of Researchers Based on the H-Andg-Indices[J].Scientometrics,2010,（8）:391-400.
[18]俞立平,潘云涛,武夷山.科研机构总量评价指标的改进研究——基于规模、质量、均衡的视角[J].图书情报工作,2010,54(24):27-30,84.
（本文责任编辑：孙国雷）