Training Department 培训部
柯氏四级评估法在构建我国公务员培训质量评估体系中的应用
王红军 《继续教育》杂志社
摘要:本文在客观分析我国公务员培训评估现状的基础
上,参照国际流行的先进培训评估理念——柯克帕特里克的四
级评估法,并综合运用公务员培训评估主要方法,形成公务员培训评估指标体系,构建我国公务员培训评估模式,并在公务员培训实践中不断深化、优化。从而推进公务员培训工作的科学化、制度化、现代化,实现提升公务员素质、转变政府职能的目标。
关键词:柯克帕克里克评估法公务员培训评估
一、建立公务员培训质量评估体系的重要性
二、柯克帕特里克四级评估法简介
柯克帕特里克四级培训评估模式(KirkpatrickModel)由
国际著名学者威斯康辛大学(WisconsinUniversity)教授唐纳德.L.柯克帕特里克(Donald.L.Kirkpatrick)于1959年提出,柯克帕特里克的四级评估法是国际上应用最广泛的评估工具,也是最实用的经典指南。该评估法包括四层,即受训人员的反应评估、学习评估、行为评估和结果评估。该评估体系具有科学性、先进性和可操作性强的特点,被业界评为经典培训评估理念。柯克帕特里克的四层培训评估理念已在国际上被广泛认可,一些发达国家公务员培训中心已将该理念应用于公务员培训评估的实践,如英国、美国公务员培训中心在培训中已采用该培训评估方法。
反应评估(Reactions)指评估被培训者的满意程度,受训人员对培训项目的印象如何,包括对教师和培训科目、设施、方法、内容、自己收获的大小等方面的看法。反应层评估主要是在培训项目结束时,通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应。这个层次的评估可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考,但不能作为评估的结果。
学习评估(Learning)指测定被培训者的学习获得程度,是目前最常用的一种评价方式。它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。学习层评估可以采用笔试、实地操作和工作模拟等方法来考查。培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后,知识以及技能的掌握方面有多大程度的提高。
行为改变的评估(Transfer)是考察被培训者的知识运用程度,在培训结束后的一段时间里,由受训人员的上级、同事、下属或者客户观察他们的行为在培训前后工作行为变化的对比,以及受训人员本人的自评。值得注意的是,行为层是考查培训效果的最重要的指标。
结果评估(Results)主要是测评受训人员培训后的工作绩效改善程度,计算培训创造的社会效益和经济效益。
柯克帕特里克把这四层次评估模式和教学设计、胜任特征、绩效管理结合起来进行了一系列的研究之后,强烈建议培训利益相关者要有针对性地对培训活动的效果进行评估。
1.是健全公务员培训教育机制的必然要求
建立公务员培训质量评估体系,实施公务员培训综合评估,是中央加强公务员培训教育工作的一项重要内容。当前,我国的公务员培训仍存在价值定位偏差:管理部门以推动工作开展为目的、培训教育受众以完成培训教育为目的、施教机构以追求利益为目的,教育培训方法陈旧,激励约束机制乏力等问题。公务员培训评估体系的研究建立,既是公务员培训工作机制完善的必然要求,也将是解决上述诸多问题的有效措施。
2.是推动公务员培训工作改革创新的必然要求
一方面,实施公务员培训质量综合评估,可以使培训主管部门从需求出发,设计论证、组织实施培训教育工作,从而解决培训中的强制性、指令性、随意性问题,有效提高计划性、针对性、能动性。另一方面,实施公务员培训综合评估,可以促进培训工作在竞争中发展,推动培训方式创新,推进现代教育技术应用,促使培训管理由粗放型、经验型向科学化、制度化、现代化迈进。
3. 可为公务员培训提供咨询参考
实施公务员培训质量评估,除了能解决宏观指导层面的系列问题(诸如工作定位、指导思想、实现目标)外,还可以为公务员培训工作提供具体的技术和方法。公务员培训管理部门在实践中可以根据评估体系中的技术方法因地、因时、因事选择实施。同时,管理部门、施教机构还可以在依据已建立并实施的评估指标所反映情况的基础上,从公务员队伍素质、公务员结构建设等方面对公务员培训工作进一步发展做出决策。
4.对公务员培训具有明确的导向作用
建立公务员培训质量评估指标体系,实施培训质量评估,一方面通过客观全面地对公务员培训的活动情况、工作水平、发展能力等方面进行综合评估,使培训管理机构明确作用发挥情况、薄弱环节和发展潜力,进一步确立今后的工作内容、目标和方向,避免工作的盲目性。另一方面,可以增强改革培训管理工作的目标性和有效性,引导培训机构建立符合现代培训理念发展规律的组织体制和运行机制,有效地提高公务员培训工作的运行质效。
P.
三、基于柯克帕特里克评估法,构建我国公务员培训质量评估体系
目前,我国公务员培训质量评估体系尚不够完善,定量化评
估指标体系还没有完全建立。欧美发达国家的培训质量评估起步早、发展较快,其先进评估理念对于我国的公务员培训及其评
116
Training Department 培训部
估,具有重要的借鉴意义。时征求公务员培训部门的领导及专家的意见,进行遴选和整合。在办班的过程中,发放学员问卷调查评估表,根据学员的反馈情况和课题组的实际调研对各项指标的效度进行检验,然后优化和整合培训质量评估的各项指标。在此基础上,再次征求培训部门的领导及专家的意见,最后确定评估指标体系的四项一级指标内容:培训方案、培训实施、培训保障和培训效果,并确定该指标体系应包含的20项量化二级指标及其权重。
其中,培训方案评估一级指标包括培训目标设定、培训课程设置、培训时间与进度、培训师资配备、培训考核安排五个二级指标;培训实施评估一级指标包括教学内容、教材资料、教学水平、教学方法、教学组织管理、课程针对性六个二级指标;培训保障评估一级指标包括教学设施、食宿条件、服务质量、培训收费四个二级指标;培训效果评估一级指标包括培训目标实现程度、新理论新知识含量、促进理念和工作态度转变、促进业务能力和综合素质提升、促进岗位工作五个二级指标。
1.我国公务员培训质量评估的指导思想
借鉴柯克帕特里克的评估模式,并结合我国公务员培训实践,构建有效的评估模式,可保证培训评估活动的效果和效率。我国公务员评估模式中的受训人员反应评估、学习评估、行为评估和结果评估应借鉴柯克帕特里克的四层培训评估理念与模式,并结合我国公务员培训的工作实际,丰富其内涵。
开展培训质量评估要按照实事求是、客观公正、注重实效的原则,坚持激励与约束相结合、定量与定性相结合、指导性与操作性相结合,不断总结经验,完善评估指标体系,实现培训质量评估工作科学化、制度化和规范化,增强培训针对性和实效性。
2.我国公务员培训质量评估主要方法
(1)实际调研法。实际调研法包含文献调研法、访谈调查法、
问卷调查法和绩效记录法等。采用这种方法不仅对现有的公务员培训现状及培训需求进行调查研究,而且包括对将来公务员培训前景和走势的分析判断。
4.大力推进我国公务员培训质量评估体系建设的措施建议
(1)建立培训质量评估档案管理制度。培训班主办单位要将
《培训综合评估汇总表》,与学员填写的《培训综合评估表》一起归档保存,保存期不少于两年,为进一步加强和改进培训办班工作提供依据。
(2)专家调查法。以专家为索取信息的主要对象,运用专家在
公务员培训方面的理论与丰富的培训实践经验,对培训质量评估体系的内容、指标内涵、权重等进行分析。该方法分为两种,专家个人调查法,即征求专家个人的意见;头脑风暴法,一般采用专家小组会议的形式进行,专家小组就初步制定的评估指标进行逐一分析,畅所欲言,做到集思广益。因此,要综合运用专家个人调查法和头脑风暴法来构建公务员培训质量评估体系及其指标体系。
(2)建立培训质量评估结果反馈机制。培训班主办单位在培训
质量评估结束后,要及时将评估结果反馈给培训班承办单位和授课教师。培训班综合评估不合格的,主办单位应认真分析存在的问题并进行整改。
(3)跟踪评估法。受训人员评估数据信息的收集时间是培训
前、培训过程中、培训结业时以及培训后三至六个月。及时掌握受训人员的受训情况和评价,以及受训后工作绩效变化、职业身份变化等,建立并及时更新受训人员个人信息库进行跟踪评估,以巩固培训成果、检验培训效果,从而保证培训效果长期化。
(3)建立培训质量评估结果备案机制。培训班主办单位申报下
年度培训计划时,要将本年度所举办的各期培训班的质量评估情况(包括培训的组织过程、质量评估结论、对出现问题的整改意见、《培训质量综合评估汇总表》)报上级主管部门,作为确定其下年度培训计划的依据和参考。
3.构建我国公务员培训质量评估指标体系
设立指标等级标准是对评估对象进行评估的衡量尺度,用以检测评估对象对指标要求达到的程度。因此,非常有必要建立客观定量的评价指标体系,定量与定性结合,以定量为主,指标应当体现科学性、先进性和可操作性。
我国公务员培训质量综合评估是对培训全过程和培训效果的总体评价,公务员培训质量评估指标体系内容及其所占权重应以受训人员的反应评估、学习评估、行为改变的评估和结果评估这四层评价内容为理论依据和设计指南。
四层评价内容分别为:反应评估指受训人员对公务员培训内容、师资、设备、课程安排和培训方式与方法的评价;学习评估是测试受训人员对公务员综合素质、业务能力等的获取程度;行为改变的评估是测评受训人员培训后将所学知识技能向业务或管理工作的转化程度;结果评估主要是测评受训人员培训后的工作绩效提高程度。
课题组在评估量化指标的选择上,以这四层评价内容为基础,拟定与学员培训质量和效果评价关联度较高的各项指标,同
(4)建立培训质量激励约束机制。上级主管部门将对各类培训
班的质量评估情况进行检查,并将检查结果进行通报,对培训质量高的单位予以表彰,对评估不合格的单位取消其承办下年度培训计划内培训班的资格。
(5)建立培训班承办单位收费的使用效益审计机制。要确保培
训费专款专用,从而发挥上级主管部门下拨的员工在职培训经费的最大使用效益。
参考文献
[1](美)柯克帕特里克.修炼主管——一线管理人员的培训与开发[M].人民邮电出版社,2004
[2]汪玉凯.公共经济——公务员公共管理核心内容培训用书[M].中国人事出版社,2006
[3]国家人事部.关于进一步加强国家公务员培训质量评估工作的意见.2006
HUMAN RESOURCE MANAGEMENT P.
117
Training Department 培训部
柯氏四级评估法在构建我国公务员培训质量评估体系中的应用
王红军 《继续教育》杂志社
摘要:本文在客观分析我国公务员培训评估现状的基础
上,参照国际流行的先进培训评估理念——柯克帕特里克的四
级评估法,并综合运用公务员培训评估主要方法,形成公务员培训评估指标体系,构建我国公务员培训评估模式,并在公务员培训实践中不断深化、优化。从而推进公务员培训工作的科学化、制度化、现代化,实现提升公务员素质、转变政府职能的目标。
关键词:柯克帕克里克评估法公务员培训评估
一、建立公务员培训质量评估体系的重要性
二、柯克帕特里克四级评估法简介
柯克帕特里克四级培训评估模式(KirkpatrickModel)由
国际著名学者威斯康辛大学(WisconsinUniversity)教授唐纳德.L.柯克帕特里克(Donald.L.Kirkpatrick)于1959年提出,柯克帕特里克的四级评估法是国际上应用最广泛的评估工具,也是最实用的经典指南。该评估法包括四层,即受训人员的反应评估、学习评估、行为评估和结果评估。该评估体系具有科学性、先进性和可操作性强的特点,被业界评为经典培训评估理念。柯克帕特里克的四层培训评估理念已在国际上被广泛认可,一些发达国家公务员培训中心已将该理念应用于公务员培训评估的实践,如英国、美国公务员培训中心在培训中已采用该培训评估方法。
反应评估(Reactions)指评估被培训者的满意程度,受训人员对培训项目的印象如何,包括对教师和培训科目、设施、方法、内容、自己收获的大小等方面的看法。反应层评估主要是在培训项目结束时,通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应。这个层次的评估可以作为改进培训内容、培训方式、教学进度等方面的建议或综合评估的参考,但不能作为评估的结果。
学习评估(Learning)指测定被培训者的学习获得程度,是目前最常用的一种评价方式。它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。学习层评估可以采用笔试、实地操作和工作模拟等方法来考查。培训组织者可以通过书面考试、操作测试等方法来了解受训人员在培训前后,知识以及技能的掌握方面有多大程度的提高。
行为改变的评估(Transfer)是考察被培训者的知识运用程度,在培训结束后的一段时间里,由受训人员的上级、同事、下属或者客户观察他们的行为在培训前后工作行为变化的对比,以及受训人员本人的自评。值得注意的是,行为层是考查培训效果的最重要的指标。
结果评估(Results)主要是测评受训人员培训后的工作绩效改善程度,计算培训创造的社会效益和经济效益。
柯克帕特里克把这四层次评估模式和教学设计、胜任特征、绩效管理结合起来进行了一系列的研究之后,强烈建议培训利益相关者要有针对性地对培训活动的效果进行评估。
1.是健全公务员培训教育机制的必然要求
建立公务员培训质量评估体系,实施公务员培训综合评估,是中央加强公务员培训教育工作的一项重要内容。当前,我国的公务员培训仍存在价值定位偏差:管理部门以推动工作开展为目的、培训教育受众以完成培训教育为目的、施教机构以追求利益为目的,教育培训方法陈旧,激励约束机制乏力等问题。公务员培训评估体系的研究建立,既是公务员培训工作机制完善的必然要求,也将是解决上述诸多问题的有效措施。
2.是推动公务员培训工作改革创新的必然要求
一方面,实施公务员培训质量综合评估,可以使培训主管部门从需求出发,设计论证、组织实施培训教育工作,从而解决培训中的强制性、指令性、随意性问题,有效提高计划性、针对性、能动性。另一方面,实施公务员培训综合评估,可以促进培训工作在竞争中发展,推动培训方式创新,推进现代教育技术应用,促使培训管理由粗放型、经验型向科学化、制度化、现代化迈进。
3. 可为公务员培训提供咨询参考
实施公务员培训质量评估,除了能解决宏观指导层面的系列问题(诸如工作定位、指导思想、实现目标)外,还可以为公务员培训工作提供具体的技术和方法。公务员培训管理部门在实践中可以根据评估体系中的技术方法因地、因时、因事选择实施。同时,管理部门、施教机构还可以在依据已建立并实施的评估指标所反映情况的基础上,从公务员队伍素质、公务员结构建设等方面对公务员培训工作进一步发展做出决策。
4.对公务员培训具有明确的导向作用
建立公务员培训质量评估指标体系,实施培训质量评估,一方面通过客观全面地对公务员培训的活动情况、工作水平、发展能力等方面进行综合评估,使培训管理机构明确作用发挥情况、薄弱环节和发展潜力,进一步确立今后的工作内容、目标和方向,避免工作的盲目性。另一方面,可以增强改革培训管理工作的目标性和有效性,引导培训机构建立符合现代培训理念发展规律的组织体制和运行机制,有效地提高公务员培训工作的运行质效。
P.
三、基于柯克帕特里克评估法,构建我国公务员培训质量评估体系
目前,我国公务员培训质量评估体系尚不够完善,定量化评
估指标体系还没有完全建立。欧美发达国家的培训质量评估起步早、发展较快,其先进评估理念对于我国的公务员培训及其评
116
Training Department 培训部
估,具有重要的借鉴意义。时征求公务员培训部门的领导及专家的意见,进行遴选和整合。在办班的过程中,发放学员问卷调查评估表,根据学员的反馈情况和课题组的实际调研对各项指标的效度进行检验,然后优化和整合培训质量评估的各项指标。在此基础上,再次征求培训部门的领导及专家的意见,最后确定评估指标体系的四项一级指标内容:培训方案、培训实施、培训保障和培训效果,并确定该指标体系应包含的20项量化二级指标及其权重。
其中,培训方案评估一级指标包括培训目标设定、培训课程设置、培训时间与进度、培训师资配备、培训考核安排五个二级指标;培训实施评估一级指标包括教学内容、教材资料、教学水平、教学方法、教学组织管理、课程针对性六个二级指标;培训保障评估一级指标包括教学设施、食宿条件、服务质量、培训收费四个二级指标;培训效果评估一级指标包括培训目标实现程度、新理论新知识含量、促进理念和工作态度转变、促进业务能力和综合素质提升、促进岗位工作五个二级指标。
1.我国公务员培训质量评估的指导思想
借鉴柯克帕特里克的评估模式,并结合我国公务员培训实践,构建有效的评估模式,可保证培训评估活动的效果和效率。我国公务员评估模式中的受训人员反应评估、学习评估、行为评估和结果评估应借鉴柯克帕特里克的四层培训评估理念与模式,并结合我国公务员培训的工作实际,丰富其内涵。
开展培训质量评估要按照实事求是、客观公正、注重实效的原则,坚持激励与约束相结合、定量与定性相结合、指导性与操作性相结合,不断总结经验,完善评估指标体系,实现培训质量评估工作科学化、制度化和规范化,增强培训针对性和实效性。
2.我国公务员培训质量评估主要方法
(1)实际调研法。实际调研法包含文献调研法、访谈调查法、
问卷调查法和绩效记录法等。采用这种方法不仅对现有的公务员培训现状及培训需求进行调查研究,而且包括对将来公务员培训前景和走势的分析判断。
4.大力推进我国公务员培训质量评估体系建设的措施建议
(1)建立培训质量评估档案管理制度。培训班主办单位要将
《培训综合评估汇总表》,与学员填写的《培训综合评估表》一起归档保存,保存期不少于两年,为进一步加强和改进培训办班工作提供依据。
(2)专家调查法。以专家为索取信息的主要对象,运用专家在
公务员培训方面的理论与丰富的培训实践经验,对培训质量评估体系的内容、指标内涵、权重等进行分析。该方法分为两种,专家个人调查法,即征求专家个人的意见;头脑风暴法,一般采用专家小组会议的形式进行,专家小组就初步制定的评估指标进行逐一分析,畅所欲言,做到集思广益。因此,要综合运用专家个人调查法和头脑风暴法来构建公务员培训质量评估体系及其指标体系。
(2)建立培训质量评估结果反馈机制。培训班主办单位在培训
质量评估结束后,要及时将评估结果反馈给培训班承办单位和授课教师。培训班综合评估不合格的,主办单位应认真分析存在的问题并进行整改。
(3)跟踪评估法。受训人员评估数据信息的收集时间是培训
前、培训过程中、培训结业时以及培训后三至六个月。及时掌握受训人员的受训情况和评价,以及受训后工作绩效变化、职业身份变化等,建立并及时更新受训人员个人信息库进行跟踪评估,以巩固培训成果、检验培训效果,从而保证培训效果长期化。
(3)建立培训质量评估结果备案机制。培训班主办单位申报下
年度培训计划时,要将本年度所举办的各期培训班的质量评估情况(包括培训的组织过程、质量评估结论、对出现问题的整改意见、《培训质量综合评估汇总表》)报上级主管部门,作为确定其下年度培训计划的依据和参考。
3.构建我国公务员培训质量评估指标体系
设立指标等级标准是对评估对象进行评估的衡量尺度,用以检测评估对象对指标要求达到的程度。因此,非常有必要建立客观定量的评价指标体系,定量与定性结合,以定量为主,指标应当体现科学性、先进性和可操作性。
我国公务员培训质量综合评估是对培训全过程和培训效果的总体评价,公务员培训质量评估指标体系内容及其所占权重应以受训人员的反应评估、学习评估、行为改变的评估和结果评估这四层评价内容为理论依据和设计指南。
四层评价内容分别为:反应评估指受训人员对公务员培训内容、师资、设备、课程安排和培训方式与方法的评价;学习评估是测试受训人员对公务员综合素质、业务能力等的获取程度;行为改变的评估是测评受训人员培训后将所学知识技能向业务或管理工作的转化程度;结果评估主要是测评受训人员培训后的工作绩效提高程度。
课题组在评估量化指标的选择上,以这四层评价内容为基础,拟定与学员培训质量和效果评价关联度较高的各项指标,同
(4)建立培训质量激励约束机制。上级主管部门将对各类培训
班的质量评估情况进行检查,并将检查结果进行通报,对培训质量高的单位予以表彰,对评估不合格的单位取消其承办下年度培训计划内培训班的资格。
(5)建立培训班承办单位收费的使用效益审计机制。要确保培
训费专款专用,从而发挥上级主管部门下拨的员工在职培训经费的最大使用效益。
参考文献
[1](美)柯克帕特里克.修炼主管——一线管理人员的培训与开发[M].人民邮电出版社,2004
[2]汪玉凯.公共经济——公务员公共管理核心内容培训用书[M].中国人事出版社,2006
[3]国家人事部.关于进一步加强国家公务员培训质量评估工作的意见.2006
HUMAN RESOURCE MANAGEMENT P.
117