柯氏评估与PDCA融合的机型培训质量体系研究

赵世伟　齐鸣　杨海涛　田子都

[摘 要] 现代民机维修培训反馈与优化体系，有助于培训质量的监控和持续提升。基于柯氏四级评估理论和PDCA循环优化模式，以维修任务和教学组织管理为导向，构建了以课程评估为核心的课程优化体系，阐述了培训过程中不同层面评估的方法和要求，并从不同层面出发，提出优化的流程和目标，实现机型维修培训反馈与优化工作程序的规范性和实效性。

[关键词] 机型培训;反馈与优化;柯氏四级评估;PDCA循环

[基金项目] 2018年度工业和信息化部“民机专项”（2018SACSC-035JS）

[作者簡介] 赵世伟（1980—），男，河北石家庄人，硕士，中国民航大学工程技术训练中心副教授，主要从事航电实践教学与航空维修管理研究。

[中图分类号] G642.0 [文献标识码] A [文章编号] 1674-9324（2022）04-0021-05 [收稿日期] 2021-06-02

一、机型维修培训反馈与优化体系现状

近年来，随着民航事业的发展，对民机维修人员素质要求逐步提高，迫切需要提升维修人员技术能力。因此，民机机型维修培训质量和成效日益受到行业关注，培训效果反馈与内容优化工作的重要性和紧迫性日益凸显，已成为民机持续健康发展不可或缺的支撑。

目前，国内众多民机维修培训机构的课程质量管理体系普遍存在缺陷[1，2]。一是维修培训机构重视培训能力申请和课程开发，忽视内容持续改进，甚至培训教材、资料多年没有改进。二是维修机构的课程质量评价机制和优化方法有待改进。虽然维修培训机构按照法规建立了课程质量体系，但是课程评价维度、频度存在随意性，基于评价结果的课程优化主体责任不清晰。三是维修机构的课程开发体系不完善。

作为民机运营的主要支撑，机型维修培训课程质量关系重大，为此，我国民航局发布咨询通告AC-66-008《维修人员机型资格规范评审及评审结论的应用》，明确“航空运营人、维修单位或维修培训机构应当参考航空器评审报告中认可并由制造厂家发布的机型维修培训规范编制自己的机型、差异或补充维修培训大纲，并根据机队实际构型确定适用的培训课目”。也就是说，未来的机型维修培训课程基于统一的机型维修培训规范，但是应体现各自的特色，这对于课程持续优化改进提出了要求。

柯氏评估模型[3]是世界上最广泛的培训评估工具，PDCA戴明环[4]是一种全面质量管理的理论。本文依托上述两种理论，探索形成一套适用于民机机型维修课程的质量管理体系，目的是持续提升机务维修培训课程质量，进而提升机务维修能力，为我国民机事业发展壮大提供动力。

二、柯氏评估理论和PDCA理论简介

目前，机型维修培训整体是基于教学系统设计理论，按照ADDIE[5]（Analysis，Design Develop，Implement，Evaluate）模型进行开发的，其中的“E”为课程反馈环节，需要进行课程评估和课程优化（图1）。本文以柯氏评估理论为基础对机型维修培训课程的反馈评估进行研究，并以评估体系作为课程优化的核心，借助PDCA理论建立持续提升机型维修培训质量的课程优化体系。

（一）柯氏反馈评估理论

柯氏评估模型通常分为四层级[6]，包括反应层、学习层、行为层、结果层。反应层评估考量参与培训人员对教学设计和安排的响应情况，如培训方案、内容、时间安排等;学习层评估考查培训学员的知识、能力和态度意识获得情况;行为层评估考查培训前后行为的改变和提升，也就是培训对参训人员的知识、态度、思维方式、行为表现等方面产生的正面影响（图2）;结果层评估培训效果收益及绩效的提高情况，衡量培训为个人、组织及社会效益所带来的实际贡献。四个层级高度相关，低层级评估是更高层次评估的基础，高层级评估为进一步优化低层级评估提供依据。

（二）PDCA循环优化理论

PDCA循环优化是质量管理的有效工具，目前在企业质量管理中得到广泛应用，并取得了良好的效果[7，8]。该理论将目标优化程序分为四个阶段：计划（Plan），确定工作目标、制定工作计划等;实施（Do），根据确定的计划、设计的方案等进行具体运作，实现计划中的内容;检查（Check），总结执行计划的结果，分析效果;处理（Action），对检查的结果进行处理，对成功的经验予以肯定，对存在的问题进行总结，若存在没有解决的问题则提交到下一个PDCA循环。

PDCA循环优化理论通过持续改进，在每一次循环中及时总结经验，固化成果，实现课程质量的持续提升。PDCA循环优化过程如图3所示。

三、机型维修培训课程反馈与优化流程体系的设计

机型维修培训课程主要由培训大纲和培训资料、培训组织形式与培训人员、培训实施方式以及培训设备和设施等要素构成，构建课程质量体系的目的是对四要素质量进行改进和提升。培训课程质量体系包括课程反馈评估、要素优化两个环节，这两个环节既紧密联系又有所区别，课程反馈评估是课程优化的基础，课程优化是反馈评估的目的。

（一）机型维修培训课程反馈评估

机型维修培训课程的主要利益相关者包括学员、教员、维修机构和监管局。学员是授课对象，其培训效果与培训课程质量息息相关;教员是课程实施的执行者，直接面对学员，对学员培训效果产生直接影响;维修机构是课程的持续受益者，高水平维修人员是维修机构的核心竞争力;监管局代表民众对民机维修进行监督，高水平维修人员能够有效提升民机维修的安全性。

1.面向学员的反馈评估设计。依据柯氏评估理论，培训课程反馈评估可以分配在培训课程实施前、实施中和完成后三个阶段，开展反应、学习、行为、结果四个层次评估。不同培训阶段开展的评估层次、内容如图4所示。

培训课程实施前，可以安排学员反应评估，具体形式可采用调查问卷或门槛测试，重点了解培训学员的工作背景、培训期望、知识体系等信息。利用所收集信息，确认学员培训资质，从而有效避免培训失败。此外，可以辅助教员及时调整培训内容重点和难点、培训方式等，适应学员学习习惯，提升培训效果。

在培训过程中，实施反应评估和学习评估。反应评估借鉴ICAO TPP TDC培训课程反馈体系模式，结合机型维修培训课程特点，理论课程按照章节或者章节组合进行反应评估，实作课程按照项目或者项目组合进行反应评估，课程结束后进行课程整体的反应评估，从不同角度评估关键培训课程要素质量。反应评估以调查表形式开展，调查主题依据培训进度各有侧重。调查表部分建议主题及条目如表1所示。

学习评估按照局方规定采取传统闭卷考试的方式开展评估，同时应综合学员反应评估的情况，综合反映学员培训课程的收获情况。

培训课程结束后，实施行为评估和结果评估。行为评估和结果评估是目前比较难以开展的评估，因为学员从培训到指导工作，改变行为存在时间延迟，一般认为培训后3～12个月内评估最为合适，其中6个月间隔是最常用的时间。而从改变自身行为到实现培训收益需要的时间间隔会更长，通常有2～3年的时间，并且受到评估成本的制约。综合多方面因素，本文建议在行为评估和结果评估方面采用基本相同的方式，以时间间隔加以区别。综合评估成本和评估效果，建议采用调查问卷的方式开展。调查表分为两种：一种面向培训学员自身或其周边同事;另一种面向学员所在的单位。建议的调研主题如表2所示。

培训后的行为和结果评估应进行多次问卷调查，多次调查结果反映的情况能够更加客观、真实。

2.面向教员的反馈评估设计。面向培训教员的反馈评估程序可以分为培训课程实施过程中和课程完成后两个阶段。反馈评估采取评估单和调查表相结合的方式。培训课程实施阶段的调查，主要是教员针对培训方式与手段、培训设备与设施的选择使用进行调查，同时采用培训机构督导组、同行教员随机抽选的方式进行听课评估。若遇到教员讲授新课程，需要在课程实施前进行新课评估。培训课程完成阶段的调查，可通过调查表的方式评估关键课程要素中存在的问题和困难，用于课程后续的优化。建议的调研主题如表3所示。

3.面向维修机构和局方的反馈评估设计。面向维修单位的反馈评估分为培训课程实施前和完成后两个阶段。培训课程实施前，主要用于确定维修单位的预期培训需求;培训课程实施完成后，对于维修单位的反馈评估可以结合培训学员行为和结果的评估调查共同开展，从而确定培训学员实际培训效果和维修单位的预期差距情况。

面向监管局方的反馈评估配合局方定期检查进行。通常局方负责多个维修培训机构的监管，并且从宏观到微观多个层次与飞机制造商交流，因此，对于机型维修中存在的共性问题，对维修的先进理念和成熟技术的理解具有天然优势。

（二）机型维修培训课程改进优化

课程反馈与优化体系分为计划、实施、检查和处理四个阶段。计划阶段，依据对课程反馈的评估结果，分析适航规章和维修人员岗位职责，进行机型维修培训需求的分析和培训课程的设计;实施阶段，按照大纲的培训目标和课程的设计标准，设置不同的课程类型，按照各类课程的培养方案确定教学资料、分配教员、选择教学场所、配备教学设备，完成课程的组织和实施;检查阶段，对教学实施后的教学效果进行检查，及时发现教学问题，并对课程开发和实施过程进行再次评估、分析和总结;处理阶段，找出问题的解决方法，不断提升教学质量，建立更高的发展目标，然后根据新的发展目标完善培训大纲，重新设计课程开发和培养方案，再次实施、检查，找出存在的问题，提出解决方案并实施。如此反复，教学质量可持续上升。

1.培训课程讲授过程中的检验。完成上述各环节的优化工作后，与用户、厂家及局方多次沟通，收集整理得到初步认可的优化方案，对这些新方案进行整合，便可形成新的机型维修培养方案。以此为依据，实施教学管理和教学内容改革，在教学实施过程中再次检验这些新方案，从中筛选出经过实践确认仍然获得成功的优化案例。同时，在教学过程中，也会发现新的问题以及上一次优化过程中效果不好的案例。最后，课程结束时，将获得成功的优化成果进行固化，形成新的培训大纲或培训管理制度，继续应用于下一次和其他机构的培训中。同时，收集在本次课程实施过程中发现的新问题以及未获得成功的优化案例，转入下一次的PDCA优化流程，实现对培训课程的持续改造。

2.培训需求和课程设计层面的优化。根据反馈意见，从需要调整的培训目标中解析出对应的维修任务和子任务，并对这些任务进行分类和归纳，将其总结为保养、拆卸/安装、调整/试验等工作类型，再逐个分析受训者执行不同类型任务的困難性、重要性和频繁性，最后按逻辑分析法在这些维修任务中挑选出需要增减的培训内容。通过对培训需求的分析，结合学员的工作岗位需求，将已更新的培训知识点按照岗位类别，从ATA章节和难度等级上进行重组，进而对同类岗位培训课程的教学内容、教学手段及考题进行改造，完成对课程的重新设计和优化。

3.课程开发和课程实施层面的优化。通过对反馈问题的收集和整理，分析存在这些问题对应的学员岗位、教员、课程、教学设备、培训场所及培训机构，归纳问题的特点，从不同的反馈结果中发掘出存在于教学资料编制、教员培训、课程编排、教学手段、教学设备和环境、培训管理制度等方面的共性问题和个性差异，寻根求源找出症结，精准解决在课程开发和实施过程中各环节出现的影响教学进度和教学目标实现的因素，在保证符合规章要求和学员安全的框架下尽可能做到因材施教，并提高教学效率和效益。建议的优化内容如表4所示。

在机型维修培训课程管理体系中融入以课程评估为核心的PDCA循环优化模式，可帮助培训机构认识课程反馈与优化的重要意义并引起重视，通过引入该模式可规范培训机构将反馈评估与课程优化的具体方法转变为工作程序，便于形成集中统一的标准流程，最终实现制度化。同时，借助柯氏四级评估理论和以维修任务为导向的优化方法等科学高效的研究方法，可保证评估与优化结果的准确性和实效性，加快课程改进速度，实现培训质量稳步提升。