1近年来中国农科院“量质齐升”
在国家农业科技创新工程的支撑与带动下,中国农科院不断加强基础和应用基础研究,科技创新能力持续提高,论文产出数量与质量逐年提升。
1.1SCI论文数量持续增长
在过去的5年中,中国农科院发表SCI论文数量持续增长,以第一作者或通讯作者单位发文数量从2013年的1557篇增长到2017年的2516篇,年均增长率15.4%。
1.2高水平论文逐年增多
2013年,中国农科院以第一作者或通讯作者单位在《科学》(Science)、《自然》(Nature)、《自然•遗传学》(NatureGenetics)等影响因子高于10的国际高水平期刊发文9篇,2017年增长到24篇。同时,发表高水平论文的学科方向不断拓展,从以前主要集中在作物基因组学、关键基因挖掘、禽流感病毒研究等方面,发展到昆虫学、细胞生物学、微生物学、分析化学、全球气候变化、土壤科学、纳米科学等多学科方向。许多重要研究成果得到国际同行关注,显著提升了全院基础研究在国际学术界的影响力。
2科技论文评价存在的问题与新导向
2.1存在的问题
科技论文评价方法的客观性和准确性是确保评估结果正确的前提。目前,科技文献定量评价主要以引文分析为主,其中,期刊影响因子和被引频次是论文质量评价中最重要的两个指标。然而,期刊影响因子作为期刊等级衡量指标仅代表期刊过去两年的被引用水平,与学术质量之间并非呈线性正比关系,并不具有对学术质量进行精确定量评价的功能。现行论文评价制度存在的缺陷主要表现为:“门槛式”数量评价和“以刊论文式”质量评价。以SCI(科学引文索引)、SSCI(社会科学引文索引)、EI(工程索引)等收录数量为评价标准,以SCI期刊的影响因子评价论文水平,存在着简单化和绝对化的问题。将期刊影响因子、期刊收录数据库等同为论文的质量,混淆了期刊与论文的角色关系,忽视了学科差异、被引用数量差异和科技文献离散分布规律。以影响因子衡量单篇论文质量的评价方法,在学界引起了很大的争议,改变“影响因子至上”的科研评价体系已成为科学共同体的共识。另外,往往仅对少量高质量、高知名度期刊上发表的论文进行重奖,而忽视了专业学科领域权威期刊上发表的高影响力论文。
2.2论文评价新导向
《中华人民共和国国民经济和社会发展第十三个五年规划纲要》、《关于深化体制机制改革加快实施创新驱动发展战略的若干意见》(中发〔2015〕8号)、《“十三五”国家科技创新规划》等,都对改革高等学校和科研院所科研评价制度,建立符合基础研究特点和规律的评价机制做出明确要求,要求确立以创新质量和学术贡献为核心的评价导向,对基础和前沿技术研究实行同行评价,突出中长期目标导向,评价重点要从研究成果数量转向研究质量、原创价值和实际贡献。此外,按照中国科学技术协会、教育部、国家新闻出版广电总局等的《关于准确把握科技期刊在学术评价中作用的若干意见》(科协发学字〔2015〕83号)文件精神,要积极鼓励我国各类公共资金资助的优秀科研成果优先在我国中英文科技期刊上发表,探索建立核心科研成果在我国科技期刊上发表的管理机制,并作为项目结题验收和考核评价的必要条件。
3完善科技论文评价机制的工作思路
3.1指导思想
深入贯彻落实《关于深化体制机制改革加快实施创新驱动发展战略的若干意见》、《“十三五”国家科技创新规划》等文件精神,立足中国农科院数量由倍数增长期进入稳定增长期的现状,着眼中长期发展目标,在稳定发表数量的基础上,努力消除论文评价过度数量化、评价指标简单化的弊端,鼓励科研人员开展稳定研究、强化工作积累、重视原始创新,逐步实现评价重点由研究成果数量向代表性成果研究质量、原创价值、学术影响力转变,由影响因子单一化评价向综合性评价转变,由年度短期目标向中长期目标导向转变。
3.2工作思路
1)突出发文质量。继续坚持突出引导高水平SCI期刊论文,强化对顶尖综合类期刊论文和农业学科内高影响力论文的评价,激励突破性创新工作和本学科领域内有重大影响的创新工作。2)体现学科差异。中国农科院学科分布十分广泛,不同研究领域的整体水平与学术活跃程度存在显著差异,为体现学科公平,实现同类相比,按照科睿唯安JCR(JournalCitationReports,期刊引证报告)各学科领域内的期刊排名设置评价指标,避免仅凭影响因子高低的简单化评价,突出论文在学科领域内的影响力。3)力求统筹兼顾。兼顾年度发文与中长期代表作,从年度论文和中长期论文两个层面开展评价工作,年度评价量质兼顾、突出质量,中长期评价突出代表性论文影响力。兼顾SCI论文和中文论文,既注重国际学术交流与高水平SCI/SSCI,同时,支持加强国内学术交流,进一步重视优质中文期刊论文产出。4)确保标准客观。将学界公认、第三方权威数据库中的学科分类法、期刊排位和论文引用信息作为评价依据。SCI/SSCI论文及期刊采用JCR的数据与学科划分,中文论文及期刊采用《中文核心期刊要目总览》(北京大学2014版)的数据与学科划分。
4中国农科院科技论文评价实践探索
以兼顾发文数量和质量、逐步引导评价重点由发文数量向研究质量和原创价值转变为目标,中国农科院科技管理局深入研究,依托农业信息研究所文献资源发展部,从年度论文评价、中长期代表作评价两个维度,开展全院论文评价。
4.1年度论文评价
1)评价指标。年度论文评价范围为院属各研究所作为第一单位,本评价年度正式见刊发表的所有SCI/SSCI/EI论文及中文核心期刊论文。SCI/SSCI期刊按照影响因子及其在JCR学科亚类中的年度排名进行分级,赋相对分值。其中,影响因子≥20的《科学》(Science)、《自然》(Nature)、《细胞》(Cell)及其系列期刊发文相对分值1.0分,JCR学科排名第一,或影响因子≥8的期刊发文相对分值0.5分,JCR学科排名Top5%期刊发文相对分值0.2分,JCR学科排名Top25%(Q1区)期刊发文相对分值0.1分,其他SCI/SSCI/EI期刊发文相对分值0.025分。期刊若在多个学科亚类出现,以相对排位最优的学科亚类为准。中文核心期刊按照北京大学发行的《中文核心期刊要目总览》(2014版)中各学科的排名进行分级,赋相对分值。中文核心期刊要目总览各学科排名Top5%的期刊发文相对分值1.0分,学科排名Top25%的期刊发文相对分值0.5分,其他中文核心期刊相对分值0.2分。为支持自办期刊发展,中国农科院主办刊物提高20%赋分值。2)评价结果。各研究所填报了年度统计表及清单,经文献资源数据库检索核定,确定各单位指标值。2017年,发文得分排在前5位的分别是作物科学研究所、植物保护研究所、农业资源与农业区划研究所、北京畜牧兽医研究所和农产品加工研究所。
4.2中长期代表作评价
1)评价指标。论文被引频次是反映论文学术影响力最直观的指标。被引频次的相对指标,即将被引频次除以相应学科平均值、期刊平均值以及相应年的平均值,能够消除不同论文的固有差异,以实现不同期刊、不同学科、不同发表时间的论文的比较,使得评价更加准确和客观。目前,以爱思唯尔Sco⁃pus数据库的学科规范化论文影响力(FWCI)和科睿唯安InCites数据库的学科规范化论文影响力(CNCI)为代表的这类被引频次相对指标在论文评价中应用最为广泛。
5总结与建议
研究探索建立更科学的农业科技论文评价方法体系,进一步优化评价机制,对持续推进高水平科技论文产出,提升科研院所整体科技创新能力具有重要意义。结合中国农科院论文评价实践探索,针对科技论文评价主体、评价需求和评价目的,紧扣科技论文定量评价的发展趋势,对改进农业科研机构论文评价工作提出如下建议。
5.1继续强化论文影响力评价导向
论文评价机制对科研人员开展科技创新工作起着“指挥棒”、“风向标”的重要导向作用,应当尽量合理划分指标层级,通过指标及权重设置,确立加强原始创新、突出论文原创性和质量的评价导向,起到推动高水平和高影响力科技论文产出的作用。同时,注意加强不同层级指标权重之间的相对科学性和平衡性。
5.2体现农业学科特点
涉农学科分布广泛,不同学科间差异显著,难以直接进行论文评价对比,因此宜在学科内部进行“同类相比”。另外,农业领域学科交叉融合极为显著,无论是SCI/SSCI的学科分类体系,还是《中文核心期刊要目总览》的学科分类体系,均无法很好地衔接农业学科分类。在论文评价工作中,必须广泛咨询科研管理人员和各领域专家学者的意见,才能真正突出学科领域内学术水平、影响力和同行认可度相对较高的期刊发文。
5.3深化实施中长期代表作制度
2017年,中国农科院试行中长期代表作SCI论文评价,指标运行情况和研究所接受情况良好。在本次中长期代表作评价中,将论文“学科规范化引文影响力”作为主要衡量指标,体现了以论文实际被引次数为核心的原则,实际上是以引文分析为主的定量评价。然而,SCI引文数据及相关索引本身存在一定的局限性,引文分析方法也有时滞性等缺陷。下一步,在全院积极宣传推广中长期论文代表作评价导向与评价方法的同时,有必要在研究所论文遴选推荐、评价方法选取、评价过程规范方面开展更深入的研究和实践,促使代表作制度日臻完善,力争纳入各类科技评价中。
5.4探索研究建立综合指标评价方法
科技论文的质量与早期被引频次、参考文献数目、跨学科参考文献数目、高被引频次及跨学科引证文献数目等指标有密切关系,应当探索将论文本身属性,如作者、机构、参考文献数量、项目基金支持等作为影响因素加入到评价体系中,构成论文的综合指标评价方法,使评价结果更具客观性、准确性和全面性,以更精准、更可靠的评价结果为广大科研人员以及科研管理工作服务。