第15卷 增刊石家庄铁道学院学报Vol.15 Supp.
Aug.20022002年8月 JOURNALOFSHIJIAZHUANGRAILWAYINSTITUTE
关于学术论文质量评价体系的探讨
李惠军 郭 枫 沈英明
(石家庄铁道学院科技处 石家庄 050043)
【摘要】通过对国内学术论文评价方法的分析,就科技论文质量评价方法进行了探讨。
【关键词】学术论文 质量 评价体系
【中图分类号】文献标识码】文章编号】1006-3226(2002)增-0126-03G305 【A 【
1 引言
近年来,学术论文质量评价的研究引起了国内一些高等院校、科研机构和企事业单位的重视,论文评价的结果经常被当作政府决策参考或职工奖励、晋升、评职和计算工作量的量化指标,部分不合理的科研评估方法诱发和助长了科技界的浮躁风气。当前,学术论文评价工作亟待改进。
2 国内3种学术论文评价方法及分析
目前,在国内尚未形成一个通用性较强、比较科学、系统、普遍适用的论文质量评价体系。现有的3种评价方法也各有长处与缺点。
2.1 以期刊整体水平评价该期刊上论文的水平
到目前为止,国家还没有对期刊的“级别”做出过明确的划分,也不能武断地认为在国内权威期刊上发表的论文水平一定高于在非权威期刊上发表的论文水平,但在国际和国内,确实有几个“期刊群”集中了公认的水平较高的期刊,如《科学引文索引》、《工程索引》等,一般来说,这些期刊上收录或发表的论文水平较高,因此,为评选简便起见,可以把科技论文和社科论文划分为“四大检索工具”收录的论文、其它权威刊物收录或发表的论文、一般刊物论文三个层次。
如果以百分制来判别某刊物上论文的水平,那么这几个期刊群上论文可以得到这样的“分数”。
第一层次:“四大检索工具”收录的论文。“四大检索工具”是指《科学引文索引》(《SCI》)、《社会科学引文索引》(《SSCI》)、《工程索引》(《EI》)、《科技会议录索引》(《ISTP》),确定它们为第一个层次,分值为95～100。
第二层次《、《、《中文社会科学引文索引》、人大《复印报刊资料》收录的论文或《中文核心INSPEC》CA》
期刊要目总览》、《中国科技统计源期刊目录》所收录的期刊上发表的论文,分值为85。
第三层次:其它国内期刊上正式发表的论文,分值为75。
以期刊整体水平的评价该期刊上论文的水平是一种简便易行的方法,但也存在论文水平与所在期刊整体水平不相符的情况,即第二层次的期刊上论文水平未必每一篇都很高,第三层次的期刊上也有高水平6
增刊 李惠军等:关于学术论文质量评价体系的探讨 127的论文,要想客观地对某一篇论文进行评判,就不能受一些表面现象的限制,不要过多地考虑论文被检索工具收录的情况、论文发表的期刊、论文作者的职称、发表论文的学术会议的级别等因素,而只是对论文的内在质量进行评判。
2.2 以特定论文的内在水平来评价该论文
某一篇学术论文的内在质量是由其学术价值、创造性、科学性(人文科学论文可以不计此项)、实用性、表达效果等方面的水平决定的,针对科技论文和社科论文的具体情况,可以分别制定考核体系。得分值列于表1。
表1 学术论文考核体系
考察内容
学术价值考察标准国际先进国内先进
一般水平
有重要创新
有创新
没有创新
优 良
中 等
较 差
优 良
中 等
较 差
优 良
中 等
较 差得分值[***********]841064创造性科学性实用性表达效果
学术价值,即论文达到的学术水平;科学性,是指公式推导严谨性、论文中所引用的资料是否完整可靠、方法是否合理、结论是否可靠;创造性,是指同以往已有论文相比,理论、方法的新颖程度,内容的实质特点和进步;实用性,是指读者能够重复实现并证实论文结果、能否带来产生良好社会效益或经济效益、对该专业发展有促进作用;表达效果,是指论文表达是否流畅、条理是否清晰。
对论文“打分”,意图是使学术论文评价更为简便,只是个人的见解,希望得到“抛砖引玉”的效果。在对论文进行评判的实际过程中,应当采用“宜粗不宜细,就高不就低”的原则。
2.3 专家评议
所谓专家评议,是指由有学术委员会专家来评定论文的价值或重要性的一种机制。目前,在我国运用甚广,在许多单位、部门、高校甚至被作为唯一采用的学术论文评价模式。采用专家评议,在别无更好选择的情况下,的确简单易行。从决策角度看,专家评议属非个人决策,因而评价结构具有一定的合理性和公正性。
但一个明显的矛盾是,在具有高度客观性的学术领域,其成果的评价却采取了相当主观的方式。由于专家评议意味着由专家共同充分评价、选择成果的“仲裁人”,这种方法毕竟与实践检验的标准有相当的距离。例如人情票、跨学科评审、走过场、名流免检等。
解决跨学科评审问题的办法可以采取邀请社会上的同行学术专家协助评审。具体操作可以由研究成果管理部门确定协助评审人选,按照既定的评审要求,通过函审或其它评审方式完成评审,然后,再由本单位评审委员会根据内评和外评的结果,进行终审,以确定最后评审结果。解决“人情票”问题则可以采用匿名评审的方式,如北京大学、青岛大学研究生学位论文评审将实行“盲评”。
3 讨论(1)科研活动是一个复杂的过程,科研成果的产生也没有统一模式可循。简单的定量考核方式虽然有
128石 家 庄 铁 道 学 院 学 报第15卷价值的参考指标,但也不能绝对化,更不能把它作为对一切科研人员和机构进行评估的唯一指标。国家还没有评价论文水平的统一标准,事实上,由于专业千差万别,也难以制定出统一标准。各个学校应当结合自身实际,制定自己的评价体系。
(2)论文评价要重质量而不仅仅是看数量。评价一个人学术水平的高低,应当看其究竟取得了什么样的发现或创新的优先权。在这里,质量是首要的,数量是其次的,数量必须服从质量,一个人即使成果不多,但若能做出一项或几项重大发现或创新,也许已经可以算颇有贡献了,反之,若一个人写出了几十篇“学术论文”,却没有任何新的发现或创新,那实在是一种悲哀。如生物学家沃森和克里克都仅以在《自然》(《Nature》)杂志上发表的一篇论文为基础,获得诺贝尔生理学或医学奖。
(3)科学的评估体系应该充分发挥“小同行”评估的作用,让被评估者所从事的某一领域研究的前沿专家来评审他的科研成果。把该领域同行专家对成果的意见和客观的定量指标相结合。定性的好处在于能够反映出简单的定量指标反映不出的东西。当然,定性分析由于人的参与也会受到主观因素的影响,这就要求在评估的方式上也要加以规范和完善。比如对当事人进行约束,科研活动的当事人不能组织评估;另外,也要对评估专家进行约束,如评估专家的意见也应该向当事人保密等。只有这样,评估才能保证公正、合理。
(4)对科研成果进行评估,必须有针对性地区别对待。基础科学和应用科学由于性质不同,评估方法应该有所区别。在基础科学或应用科学内部,由于学科不同,性质也不同,评估工作也应有所区分。比如评估周期,对属于应用科学领域的科研进行评估,周期应该要短一些;而对基础科学的科研评估,周期则要长一些等等。
(5)国家没有从质量(学术、技术)水平方面给科技期刊评价定级的规定。因此,一些单位规定“必须在‘一级’刊物上发表或被‘三大检索工具’摘录×篇”才能晋升正高职称的作法是不太科学的。
(6)为了操作方便,科研管理部门应当将国内期刊群作一个筛选,将它们求一个集合,制作一个新的评价表,在评价时只要参考这一个表就可以了,这是另外一个课题了。
参考文献
[1]王业宁.正确评价基础研究成果[N].光明日报,1996-01-13
[2]李向军.科技论文品质评价方法探讨[J].机械工业高教研究,1998(3):90～92
[3]王荣槐.关于论文的评价原则及其方法[J].高等函授学报,1999(4):11～37
ADiscussionontheAssessmentSystemofthe
QualityofResearchPaper
LiHuijun GuoFeng ShenYingming
(OfficeofScientificResearch,ShijiazhuangRailwayInstitute,Shijiazhuang050043)
【Abstract】Bymeansoftheanalyzingoftheassessmentmethods,theauthorsprovidetheiropinionontheassessmentsystemofthequalityofsciencepapers.
【Keywords】researchpaperquality assessmentsystem
(责任编辑 刘宪福)
第15卷 增刊石家庄铁道学院学报Vol.15 Supp.
Aug.20022002年8月 JOURNALOFSHIJIAZHUANGRAILWAYINSTITUTE
关于学术论文质量评价体系的探讨
李惠军 郭 枫 沈英明
(石家庄铁道学院科技处 石家庄 050043)
【摘要】通过对国内学术论文评价方法的分析,就科技论文质量评价方法进行了探讨。
【关键词】学术论文 质量 评价体系
【中图分类号】文献标识码】文章编号】1006-3226(2002)增-0126-03G305 【A 【
1 引言
近年来,学术论文质量评价的研究引起了国内一些高等院校、科研机构和企事业单位的重视,论文评价的结果经常被当作政府决策参考或职工奖励、晋升、评职和计算工作量的量化指标,部分不合理的科研评估方法诱发和助长了科技界的浮躁风气。当前,学术论文评价工作亟待改进。
2 国内3种学术论文评价方法及分析
目前,在国内尚未形成一个通用性较强、比较科学、系统、普遍适用的论文质量评价体系。现有的3种评价方法也各有长处与缺点。
2.1 以期刊整体水平评价该期刊上论文的水平
到目前为止,国家还没有对期刊的“级别”做出过明确的划分,也不能武断地认为在国内权威期刊上发表的论文水平一定高于在非权威期刊上发表的论文水平,但在国际和国内,确实有几个“期刊群”集中了公认的水平较高的期刊,如《科学引文索引》、《工程索引》等,一般来说,这些期刊上收录或发表的论文水平较高,因此,为评选简便起见,可以把科技论文和社科论文划分为“四大检索工具”收录的论文、其它权威刊物收录或发表的论文、一般刊物论文三个层次。
如果以百分制来判别某刊物上论文的水平,那么这几个期刊群上论文可以得到这样的“分数”。
第一层次:“四大检索工具”收录的论文。“四大检索工具”是指《科学引文索引》(《SCI》)、《社会科学引文索引》(《SSCI》)、《工程索引》(《EI》)、《科技会议录索引》(《ISTP》),确定它们为第一个层次,分值为95～100。
第二层次《、《、《中文社会科学引文索引》、人大《复印报刊资料》收录的论文或《中文核心INSPEC》CA》
期刊要目总览》、《中国科技统计源期刊目录》所收录的期刊上发表的论文,分值为85。
第三层次:其它国内期刊上正式发表的论文,分值为75。
以期刊整体水平的评价该期刊上论文的水平是一种简便易行的方法,但也存在论文水平与所在期刊整体水平不相符的情况,即第二层次的期刊上论文水平未必每一篇都很高,第三层次的期刊上也有高水平6
增刊 李惠军等:关于学术论文质量评价体系的探讨 127的论文,要想客观地对某一篇论文进行评判,就不能受一些表面现象的限制,不要过多地考虑论文被检索工具收录的情况、论文发表的期刊、论文作者的职称、发表论文的学术会议的级别等因素,而只是对论文的内在质量进行评判。
2.2 以特定论文的内在水平来评价该论文
某一篇学术论文的内在质量是由其学术价值、创造性、科学性(人文科学论文可以不计此项)、实用性、表达效果等方面的水平决定的,针对科技论文和社科论文的具体情况,可以分别制定考核体系。得分值列于表1。
表1 学术论文考核体系
考察内容
学术价值考察标准国际先进国内先进
一般水平
有重要创新
有创新
没有创新
优 良
中 等
较 差
优 良
中 等
较 差
优 良
中 等
较 差得分值[***********]841064创造性科学性实用性表达效果
学术价值,即论文达到的学术水平;科学性,是指公式推导严谨性、论文中所引用的资料是否完整可靠、方法是否合理、结论是否可靠;创造性,是指同以往已有论文相比,理论、方法的新颖程度,内容的实质特点和进步;实用性,是指读者能够重复实现并证实论文结果、能否带来产生良好社会效益或经济效益、对该专业发展有促进作用;表达效果,是指论文表达是否流畅、条理是否清晰。
对论文“打分”,意图是使学术论文评价更为简便,只是个人的见解,希望得到“抛砖引玉”的效果。在对论文进行评判的实际过程中,应当采用“宜粗不宜细,就高不就低”的原则。
2.3 专家评议
所谓专家评议,是指由有学术委员会专家来评定论文的价值或重要性的一种机制。目前,在我国运用甚广,在许多单位、部门、高校甚至被作为唯一采用的学术论文评价模式。采用专家评议,在别无更好选择的情况下,的确简单易行。从决策角度看,专家评议属非个人决策,因而评价结构具有一定的合理性和公正性。
但一个明显的矛盾是,在具有高度客观性的学术领域,其成果的评价却采取了相当主观的方式。由于专家评议意味着由专家共同充分评价、选择成果的“仲裁人”,这种方法毕竟与实践检验的标准有相当的距离。例如人情票、跨学科评审、走过场、名流免检等。
解决跨学科评审问题的办法可以采取邀请社会上的同行学术专家协助评审。具体操作可以由研究成果管理部门确定协助评审人选,按照既定的评审要求,通过函审或其它评审方式完成评审,然后,再由本单位评审委员会根据内评和外评的结果,进行终审,以确定最后评审结果。解决“人情票”问题则可以采用匿名评审的方式,如北京大学、青岛大学研究生学位论文评审将实行“盲评”。
3 讨论(1)科研活动是一个复杂的过程,科研成果的产生也没有统一模式可循。简单的定量考核方式虽然有
128石 家 庄 铁 道 学 院 学 报第15卷价值的参考指标,但也不能绝对化,更不能把它作为对一切科研人员和机构进行评估的唯一指标。国家还没有评价论文水平的统一标准,事实上,由于专业千差万别,也难以制定出统一标准。各个学校应当结合自身实际,制定自己的评价体系。
(2)论文评价要重质量而不仅仅是看数量。评价一个人学术水平的高低,应当看其究竟取得了什么样的发现或创新的优先权。在这里,质量是首要的,数量是其次的,数量必须服从质量,一个人即使成果不多,但若能做出一项或几项重大发现或创新,也许已经可以算颇有贡献了,反之,若一个人写出了几十篇“学术论文”,却没有任何新的发现或创新,那实在是一种悲哀。如生物学家沃森和克里克都仅以在《自然》(《Nature》)杂志上发表的一篇论文为基础,获得诺贝尔生理学或医学奖。
(3)科学的评估体系应该充分发挥“小同行”评估的作用,让被评估者所从事的某一领域研究的前沿专家来评审他的科研成果。把该领域同行专家对成果的意见和客观的定量指标相结合。定性的好处在于能够反映出简单的定量指标反映不出的东西。当然,定性分析由于人的参与也会受到主观因素的影响,这就要求在评估的方式上也要加以规范和完善。比如对当事人进行约束,科研活动的当事人不能组织评估;另外,也要对评估专家进行约束,如评估专家的意见也应该向当事人保密等。只有这样,评估才能保证公正、合理。
(4)对科研成果进行评估,必须有针对性地区别对待。基础科学和应用科学由于性质不同,评估方法应该有所区别。在基础科学或应用科学内部,由于学科不同,性质也不同,评估工作也应有所区分。比如评估周期,对属于应用科学领域的科研进行评估,周期应该要短一些;而对基础科学的科研评估,周期则要长一些等等。
(5)国家没有从质量(学术、技术)水平方面给科技期刊评价定级的规定。因此,一些单位规定“必须在‘一级’刊物上发表或被‘三大检索工具’摘录×篇”才能晋升正高职称的作法是不太科学的。
(6)为了操作方便,科研管理部门应当将国内期刊群作一个筛选,将它们求一个集合,制作一个新的评价表,在评价时只要参考这一个表就可以了,这是另外一个课题了。
参考文献
[1]王业宁.正确评价基础研究成果[N].光明日报,1996-01-13
[2]李向军.科技论文品质评价方法探讨[J].机械工业高教研究,1998(3):90～92
[3]王荣槐.关于论文的评价原则及其方法[J].高等函授学报,1999(4):11～37
ADiscussionontheAssessmentSystemofthe
QualityofResearchPaper
LiHuijun GuoFeng ShenYingming
(OfficeofScientificResearch,ShijiazhuangRailwayInstitute,Shijiazhuang050043)
【Abstract】Bymeansoftheanalyzingoftheassessmentmethods,theauthorsprovidetheiropinionontheassessmentsystemofthequalityofsciencepapers.
【Keywords】researchpaperquality assessmentsystem
(责任编辑 刘宪福)