摘要
开展绩效评估是监测市域产教联合体运行成效的重要手段,具有平衡主体多元价值取向、协调内部资源跨界配置、推动市域产教联合体高质量可持续发展的重要现实意义。基于高质量、重产出、专业化的“三位一体”价值取向,借助平衡记分卡理论,运用层次分析法构建服务贡献、满意程度、运行管理、联合体成长4个一级指标、11个二级指标和28个三级指标组成的市域产教联合体绩效评估指标体系。从协同先行、整体推进、构建生态三方面提出市域产教联合体建设绩效评估的实践策略。
关键词:职业教育;市域产教联合体;绩效评估;指标体系;层次分析法

职业教育市域产教联合体是国家推动现代职业教育体系“一体两翼五重点”改革的重要组成部分,是推动产教深度融合、服务职业教育高质量发展的重要创新性举措。2023年,教育部启动市域产教联合体创建工作,各地政府积极探索培育,呈现出较为丰富的实践样态。2024年10月21日,为进一步提高市域产教联合体建设质量,教育部办公厅印发《关于加强市域产教联合体建设的通知》,在建设内容上提出“深化四个合作”和“推进五金建设”,并制定包含132个观测点的建设标准。国内学者聚焦市域产教联合体在职业教育供给侧结构性改革进程中的重要作用,梳理了区域内教育与产业协同发展的关键要素,从系统论、组织论、制度逻辑等视角明晰其功能定位,学者们普遍认为市域产教联合体具有发展理念一体化、建设主体多元化、发展特色市域化和运作方式实体化等特征,并从制度设计和建设实践的角度指出建设存在信息不通畅、职教资源整合度不高、利益联结关系松散、治理机构不健全等问题。已有研究关注市域产教联合体的价值指向、政策逻辑、实践困境和治理机制等,但系统探讨市域产教联合体评价体系的研究并不多。然而,市域产教联合体的规范建设需要有效的运行监测和合理的绩效评估指引。因此,本研究以国家层面的建设标准为基本遵循,从建设实践的角度探讨开展市域产教联合体建设绩效评估的重要性、必要性和紧迫性,并尝试构建科学合理、可操作的市域产教联合体绩效评估指标体系,以期持续推动市域产教联合体建设和高质量发展,也为监测评估工作提供可鉴之策。
一、开展市域产教联合体建设绩效评估的现实意义
绩效评估本是经济学概念,为更有效地使用公共财政资源,实现“花费更少、做得更好”的目的,我国近年来学习发达国家经验,重视对公共财政支持的职业教育建设项目实施绩效评价,注重考察项目建设的效益、影响、效果等,强调政府公共绩效和结果问责。市域产教联合体的经费保障来源涉及地方教育行政部门、地方政府、企业和学校等多元主体,为保障多元主体的投入与产出效益,需要对建设运行进行客观分析和评价。基于此,开展市域产教联合体建设绩效评估的现实意义主要有以下三个方面。
(一)平衡多元主体价值取向的现实需要
政府、行业、企业、学校和园区五大主体在价值取向存在冲突,导致政行企校协同成效并不理想,融合松散、貌合神离现象时有发生,这些冲突主要源于各个主体的角色定位、职责和目标的不同。现实中由于政府“全局性”和企业“局部性”的差异、企业“逐利性”和学校“育人性”的趋向,多元主体的利益诉求往往难以得到平衡。为平衡多元主体的价值诉求,从政策执行效果的角度出发,对市域产教联合体开展绩效评估是破除主体价值冲突的有效路径。以绩效评估为牵引,重点在凝聚共同价值、塑造共同目标、构筑共同成果等方面发挥方向性牵引功能,切实诊断建设主体在合作办学、合作育人、合作就业、合作发展等方面的成效,营造关注共同价值实现的良性发展文化,以此缓解教育逻辑和市场取向冲突对市域产教联合体建设成效的影响。
(二)协调内部资源跨界配置的战略选择
实现主体间人力、技术、场地、资金、数据等要素资源的有序流动和优化配置是市域产教联合体实体化运行的基本保障,也是推动其可持续发展的重要环节。市域产教联合体以园区为物理实体紧密聚集了多方资源,但区域内各要素禀赋的系统边界影响其流动效率,资源主体的复杂性也提高资源优化配置的难度。开展市域产教联合体绩效评估能基于“资源投入—建设过程—成效产出”的基本建设路径,打破联合体内资源流动壁垒、提升资源使用效率、促进不同属性的资源要素顺畅流动。因而,以绩效评估为系统性牵引,发挥绩效评估的资源连接功能,围绕组织机构架设、决策运行程序、财务制度落实、合作项目建设、主体责任履行、成果产出等方面综合考量资源配置情况,能有效促进知识、人力等学校核心资源与技术、资金等企业资源跨界流动,推动专业、师资、课程、基地“五金”资源的共建共享,实现办学、育人、就业、发展的产教互融。
(三)实现高质量可持续发展的必然要求
对市域产教联合体开展绩效评估是监测其建设水平的重要举措,也是建立建设质量监督保障体系的重要环节。开展绩效评估是对建设目标达成度进行科学研判,旨在精准诊断建设中的问题进而调整策略,最终目标是推动“市域产教联合体建设成为产教融合新形态、区域发展新机制”。因而,以绩效评估为牵引,围绕“权责清晰、组织结构完善”的实体化运行要求、“人才培养、技术创新、服务发展”的发展任务、“教育链、人才链、产业链和创新链融合”的发展目标等核心建设要求,监测联合体发展势态是实现其可持续发展的必然要求。
二、推进市域产教联合体绩效评估的价值取向
市域产教联合体的构建和运行兼具政府逻辑、市场逻辑、教育逻辑、社会逻辑和园区逻辑,带来价值取向异化、角色定位模糊、政策执行偏差、校企合作黏性弱等冲突。在复杂的市域产教联合体建设实践情境下,回答好“为什么评”“评什么”“怎么评”是厘清绩效评估价值取向的关键,也是科学开展绩效评估的前提。
(一)评估目的:坚持质量优先,强化建设目标的指向性
绩效评估目的是实践的基本导向,其关系发展的方向性问题。从实践角度看,市域产教联合体建设绩效源于其价值判断和价值选择,国家推动市域产教联合体建设的根本目标就是进行绩效评估的逻辑起点。因此,对市域产教联合建设开展绩效评估必须紧密围绕人才培养、创新创业和产业经济发展,以此实现评估目标与建设目标相统一。质量本体是市域产教联合体发挥三大功能的基石,因此,绩效评估要始终坚持将高质量理念贯穿人才培养全过程、创新创业全流程和产业发展全周期。具体而言,要注重评估市域产教联合体建设指标的增值变化,注重考察多元协同治理模式的运行实效、共建共享资源平台的功能发挥、服务区域经济发展的效益输出,在此基础上充分发挥绩效评估的引领和激励功能,形成质量为先的良性发展势态。
(二)评估内容:坚持产出导向,强化利益诉求可实现性
绩效评估内容是实践的载体,是市域产教联合体建设增值的具体体现。科学合理的评估内容是分析其建设水平、发展特色、运行障碍,合理诊断成因,促进联合体自我完善、合理调整、整改提高的基础。从联合体的主体利益诉求角度看,省(市)级政府强调政策执行的有效性,即以教促产、以产助教;产业园区的主要目标是通过集聚多种资源带动园区内关联产业的发展;企业遵循市场逻辑,主要目标是通过技术升级、产品研发等带来利润最大化;学校的价值追求是专业建设质量的提升和人才培养质量的提高。各主体利益诉求不同,但均指向各自立场下的产出,即社会发展产出、人才培养产出和经济产出。因此,要将产出导向作为评估内容的核心,结合市域产教联合体建设标准,重点围绕内部治理水平、成长发展能力、经济价值和社会价值贡献、人才培养能力提升等产出因素的信息,进行数据采集、客观描述、智能分析,辅助评估主体进行价值判断,进而依据建设目标进行预警、修正,确保市域产教联合体建设目标的有效达成。
(三)评估模式:坚持专业引领,强化评估结果的科学性
要实现市域产教联合体绩效评估的改进、激励功能,必须以“专业”引领评估全过程。“专业”包含三层意思:一是坚持评估方法的专业性,将实时监测与周期评估相结合,运用信息技术采集联合体建设的过程性数据,体现纵向增值评价,把专家评价和数据评估进行优势互补、有机结合,实现从终结性结论到多元主体根据需求自主进行价值判断的替代性变革;二是坚持评估主体的专业性,评估主体直接影响评估结果的客观性和科学性,受到“大政府、小社会”传统行政理念的影响,行业企业常态化参与评估的意识不强,尚未建立以行业企业为主导的职业教育第三方评价机制,要基于联合体的组织特点组建由行业企业、评估专业人员、职业教育专家组成的专业化的评估队伍,实现评估主体从政府到第三方的实质性转变;三是坚持评估过程的专业性,要注重评估过程的标准化、规范化、精细化,提高信息采集处理、数据价值判断的精准度,提高绩效评估的信度和效度。
三、市域产教联合体绩效评估指标体系的构建
市域产教联合体绩效评估必须坚持高质量、重产出、专业化的“三位一体”价值取向。绩效评估作用的实现有赖于绩效评估指标的设计和实施。绩效评估最关键的是选择什么样的指标或标准。要通过绩效评价促进市域产教联合体多元主体良性互动、协同发展、深度融合,必须“跳出教育看教育”,兼顾经济属性和教育属性,引导联合体实现共生互融。
(一)指标体系的构建过程
1.指标选取的原则
一是系统性和针对性相结合。市域产教联合体具有发展理念一体化、建设主体多元化、发展特色市域化和运作方式实体化等特征。以“市”为基本单元的教育资源和产业资源紧密融合发展必然呈现多种实践样态,具体的建设要素涵盖联合体内的组织管理制度建设、资源共建、人才培养、技术服务等。因此,在构建指标体系时要系统设计,自上而下、层层递进,保证指标的全面性和系统性。同时,要处理好一般和特殊的关系,要体现不同产业类型、不同规模结构、不同资源条件、不同区域特色的市域产教联合体的特点,不同维度指标设计要有针对性,体现评估客体的特殊属性,避免过于笼统宽泛。
二是定性和定量相结合。既要关注市域产教联合体所体现出的教育的公益属性,同时也要关注其经济效益。在构建指标体系时要综合考量利益诉求的多元化和建设要素的幅度,构建兼顾经济价值和社会价值的综合性评估标准,综合运用定性和定量评估方法。例如,联合体内联合培养以学生数作为基本观测点之一,需要用可量化的指标辅以定性指标,从而使指标体系保持客观性的基础上具有一定的弹性。
三是客观性和可行性相结合。绩效评估本质上是一种价值判断,客观性是保证绩效评估科学性的基础,要求评估活动在标准建立、组织实施、结果呈现等环节遵循事实、合乎逻辑,能给予评估对象全面准确画像。基于平衡记分卡(Balanced Score Card,BSC)的指标设计基本流程,评估指标的选取遵循自上而下、从整体到部分的思路,在客观界定市域产教联合体建设战略目标的基础上,层层分解细化发展目标到组织内部的各个单元,通过分类整合、规范化处理,形成符合市域产教联合体建设实际、可量化、易解释的指标。同时,也要综合考虑指标的可观测性、实效性、可操作性,保证绩效评估指标体系能支撑市域产教联合体的决策变更。
2.一级指标的建立
平衡记分卡是由卡普兰和诺顿提出的一种综合性的绩效评估和战略管理工具。它将组织的战略任务逐层分解为具体的运行目标和绩效指标,主要包含财务、客户、内部流程、学习成长四个维度。基于其因果性和平衡性的特征,运用平衡记分卡构建市域产教联合体绩效评估指标体系,既能体现联合体运作呈现的经济效益和社会效益相结合特征,也能在指标体系中综合呈现联合体建设的关键要素。根据平衡记分卡的理论框架,对其四个维度进行转化。首先,BSC理论中财务维度主要关注公司的盈利价值,对市域产教联合体而言,其价值产出主要体现在公共价值实现和经济效益的产出,关注联合体对区域产业与教育融合发展的促进作用,因此,将“财务”维度转化为“服务贡献”;其次,“客户”维度关注“能赢得客户的价值定位”,可将联合体的紧密型利益相关者视作“客户”,关注联合体内组织单元和外部的满意程度,因此,将“客户”转化为“满意程度”;再次,“内部流程”维度是公司对关键领域流程的改革以促进战略目标实现,市域产教联合体战略任务实现的基础是实体化运作,因此,将其转化为“运行管理”,关注组织实体化运作的组织架构、权责分配等;最后,“学习成长”是公司鼓励员工创新发展的战略,对市域产教联合体评价中将其引申为“联合体成长”,关注联合体建设水平的提升和组织内人员自我提升等。基于此,本文将市域产教联合体绩效评估的一级指标(准则层)分解为“服务贡献”“满意程度”“联合体成长”“运行管理”四个维度。
3.二、三级指标的建立
确定一级指标之后,根据市域产教联合体运行现状,结合建设监测指标和建设任务中的要素,参考建设实践中存在的主要问题,对指标进行优化筛选,提炼出二、三级指标。
在服务贡献维度设置人才培养效益、科技经济效益和社会发展效益3个二级指标。人才培养效益考察联合体内学生技术技能培养成果和可持续发展能力,体现为各类技能竞赛获奖率、职业技能等级证书、学生职业核心素养培育、创新创业能力等;科技经济效益主要考察技术升级和研发、产业价值升级,通过服务中小微企业进行新产品开发、技术升级、降低研发成本等带来的产业价值提升等;社会发展效益主要考察服务国家战略发展和区域发展的能力,通过服务制造强国、乡村振兴、共同富裕、“一带一路”倡议等体现,通过区域急需紧缺技术人才培训、区域高技能人才输送、服务区域就业等要素考察。
在满意程度维度设置联合体满意度和社会影响力2个二级指标。通过量化指标考察联合体内部组织成员对自身发展状况的满意度,社会影响力主要考察联合体吸引新成员的能力和权威媒体的正面报道情况。
运行管理维度设置发展规划、内部管理和财务管理3个二级指标。发展规划主要考察发展目标定位与环境的适配性、资源配置与发展环境的适配性;内部管理主要考察决策机构设置健全性、协调机构设置健全性、人事管理制度健全性、项目管理制度健全性和规划决策的执行度;财务管理主要考察联合体财务管理制度健全性和各类资金投入执行率。
联合体成长维度设置专业与产业联动水平、教学与岗位联动水平、科研与生产联动水平3个二级指标,综合设置质性指标和量化指标考察联合体推动教育链与产业链紧密对接的可持续发展能力。专业与产业联动水平主要考察专业布局与产业结构匹配度、联合体实训基地共建水平、产业学院建设水平、课程标准制定水平和课程资源开发水平;教学与岗位联动水平主要考察联合体内实践教学水平、教师企业实践人次和企业职工培训人次;科研与生产联动主要考察技术平台数、专利及知识产权数、技术咨询服务量。
4.指标要素的筛选
为进一步提高绩效评估指标体系的科学性、合理性和可操作性,采用德尔菲法对初步构建的指标进行修正。遴选25名省级市域产教联合体建设单位的相关人员(含园区负责人、学校负责人、企业负责人)、职业教育研究领域专家、教育行政部门领导、教科研及评估机构专家进行打分。第一轮评议表采用李克特(Likert)五点量表收集专家组对指标重要性程度的评分,并请专家提出修改意见。通过线上方式发放专家评议表25份,回收25份,评议表有效率100%。第一轮评议表回收后,根据专家评分和意见对指标进行修正,经综合研判后,剔除3个4分以下的三级指标,增加1个二级指标和2个三级指标,对2个二级指标、4个三级指标名称进行微调。在第一轮评议修正的基础上,设计并发放第二轮评议表确定专家对第一轮修改意见认同度,专家意见集中且协调。根据两轮专家评议,得到较为一致的结果,形成市域产教联合体绩效评估指标体系(表1)。


(二)基于层次分析法的绩效评估指标体系权重分配
评估指标体系的建立是将研究对象的属性和特征进行结构化标识的过程,对指标体系中的构成元素赋予相应权重是其核心所在。市域产教联合体组织内利益诉求存在一定差异,是具有多重属性的跨系统组织,单纯运用定量方法对其进行纯理性的描述,或者仅用质性研究进行思辨分析作出评估决策都难以体现客观性。层次分析法是一种定性和定量相结合的多目标多准则决策方法,在确定指标体系的前提下比传统的定性方法更精确,比定量分析操作更为简易。本研究采用层次分析法,在绩效评估指标体系的基础上明确各层次间的相互关联和隶属关系,构建市域产教联合体绩效评价指标体系层次结构模型,再结合问卷计算三级指标权重,最后得出各级指标权重。
1.构造判断矩阵
对于指标中同时涉及教育质量和经济价值产生的复杂元素,需运用两两比较多次确定,以判断其重要性,指标的重要性由专家评分呈现。本研究先设计专家评分表,邀请专家对每一层次的因素互相比较并打分,运用1—9比例标度对两两比较的因素打分,将相互比较的因素设为i和j(表2)。其次,合并专家矩阵,使用几何平均法得到判断集成矩阵。

2.计算指标权重
指标权重计算是层次分析法的核心环节,通过回收整理得到每位专家对指标的两两重要性判断矩阵,然后分别对三级指标进行权重计算。对每层指标元素进行矩阵集结,检验每个矩阵,通过一致性要求后,对判断矩阵取几何平均值进行合并,得到集成矩阵,计算出特征向量,对特征向量进行归一化处理,得出指标相对应的权重数值(表1)。
3.判断矩阵的一致性检验
在此,已经得出了各指标所对应的权重值,需要对矩阵的一致性进行检验,用以检查和保持决策者判断思维过程的一致性。一致性指标CI计算公式为:[CI=λmax—n(n—1)],当判断矩阵阶数大于2时,需计算一致性指标CI和随机一致性比例CR。若CR小于0.1,则认为判断矩阵具有满意的一致性。以一级指标为例,CR=CI/RI=0.0028<0.1,对二、三级指标进行一致性检验,其CR值均小于0.1,表明判断矩阵一致性较好,指标体系具有应用性和可操作性。从表1中可见,“运行管理”权重值为0.2994,是市域产教联合体建设运行中最重要的一项指标,其次是“服务贡献”和“联合体成长”,说明在评估市域产教联合体发展势态时,要兼顾目标与过程,不仅要关注联合体发展目标的达成,也要关注教育链与产业链在互动过程中的双向成长。三级指标中,权重排前七的分别是服务区域发展规划、技术技能培养成果、产业价值提升、服务对象满意程度、资源配置与发展规划适配性、吸纳新成员能力、资金投入执行率。它们对市域产教联合体运行效益的影响比较大。
四、市域产教联合体建设绩效评估的实践策略
实施市域产教联合体绩效评估本质上是对职业教育产教融合新政策的执行效果进行评价,既是提高建设质量、建设成效的手段,也是产教融合监测管理机制创新的途径。本研究构建的市域产教联合体绩效评估分析框架和指标体系为监测管理提供了行动参考,可从如下几个重要方面来推进。
(一)协同先行:坚持系统设计与特色发展相结合
建设市域产教联合体是一项长期复杂的系统工程,需要多元主体同频共振、协同发力,实现联合体内不同主体之间从点到线的跨越、从线到面的跃升,最终“形成命运共同体”。协同是建设的核心,也是实施评估的关键词,面向不同利益相关者的多样化诉求,要正确处理好当前利益和长远利益、既得利益和潜在利益、个体利益和组织利益之间的关系。从纵向看,要协调各层级主体的关系,形成中央政府、地方政府、联合体分级协同的绩效评估运行体系。中央政府要在规范绩效评估总体规则的同时给予地方政府一定的自主权,地方政府要合理调动联合体和社会组织的评估参与意愿。具体而言,地方政府基于本地市域产教联合体的发展定位、产业面向、组织规划、建设周期提出适用的绩效评估方案。绩效评估方案要综合考虑联合体起步期、增长期、成熟期和调整期等不同发展阶段,确定评估重点。如,起步期需重点考察组织实体化运行和资金投入情况,增长期和成熟期要重点考察专业与产业融合发展、教学与岗位衔接、阶段性服务贡献成果等。联合体应深度参与绩效评估制度、计划、规范的制定,避免自上而下评估带来的“一刀切”现象,以此形成“上下互通、平等合作”的绩效评估运行机制。从横向看,要协调各利益相关者的关系,形成政府、园区、学校、企业、行业、社会公众等共同参与的分层协同的绩效评估运行体系,充分发挥绩效评估提升联合体治理效能的作用。评估决策应该由评估所涉及的利益相关者共同参与决定,而不应成为某类人群或者某个组织的特权。市域产教联合体绩效评估涉及的利益相关者主要有联合体的专兼职管理人员、学生、员工、企业、园区、学校、地方政府等,要在纵向分级协同的基础上,建立利益相关者参与评估决策的机制并激励其参与评估工作。这样才能改变传统职业教育绩效评估工作中政府主导、行业企业附属的模式,使绩效评估成为真正意义上有效推进市域产教联合体现代治理与高质量发展的管理工具。
(二)整体推进:坚持自我评估与外部评估相结合
高质量评估一定是超越被动式、不平等、规范性的评估,是基于自建构、发展性生态的评估。因此,要内外结合整体推进市域产教联合体绩效评估。自我评估并非传统绩效评估工作中的自评环节,而是根据自身建设目标进行的内部质量评估。自我评估是主体和客体相统一的评估,市域产教联合体既是评估主体,也是评估对象。自我评估对市域产教联合体建设提出更高要求,要求其必须在自发的基础上进行全面内部审视,有效实现自我监督并改进。市域产教联合体的自我评估是绩效评估的有机组成部分,自我评估与外部评估之间应是在评估标准和结果相互参照、评估目的和功能相互促进的关系。二者通过各自的评估维度,遵循相同的评估价值取向和不同的评估机制对联合体建设质量进行判断。在实践层面,自我评估要坚持系统思维,服务技术技能人才培养评估包括联合体内教师评价、学生评价、用人单位评价等;服务创新创业评估包括科研评价、社会服务评价、技术创新评价等;服务经济社会发展评估具体从经济发展贡献度、科技创新贡献度、技术升级贡献度等出发,将大数据、人工智能技术运用到自我评估体系中,在智慧校园、智慧园区平台实现数据共享以提高自我评估效能。
(三)构建生态:坚持结果运用与功能发挥相结合
绩效评估不仅评估的过程要高度专业和透明,评估结果也要积极对外公开,并通过后续的评估结果反馈、评估结果应用和绩效改进行动,确保评估的结果能产生影响、评估的建议能得到贯彻落实。绩效评价结果的应用面和是否有利益相关决定着绩效评估作用的大小。绩效评估所具有的激励、诊断、改进和服务作用的发挥需要通过提高绩效评价结果使用的范围和利益相关性实现。首先,市域产教联合体建设单位要依据绩效评估呈现的问题进行内检,积极落实评估意见,加强联合体内部资源配置,优化激励措施和奖补政策,完善内部管理模式,提高运行效率。其次,政府职能部门运用绩效评估结果进行规范管理,央地两级政府可以依据绩效评估结果判断其建设成效,并作为市域产教联合体政策供给和调整的重要参考条件,也可以将其作为新一轮职业教育改革项目、资金分配等的依据,当然还要防止将绩效评估结果与财政拨款简单直接关联带来的负面影响,只能将其作为参考因素,避免评估主体为追求效益弄虚作假行为的发生。最后,要通过媒体等渠道主动向社会公开评估结果,将评估工作计划、评估标准、评估程序、评估结果及结果运用等信息进行公开,接受社会监督的同时提高公众对市域产教联合体的认知,在社会意识层面培育公众正确的产教融合观念,形成市域产教联合体持续发展的良好社会生态。
(作者任雯君系安徽省教育厅高等教育处一级主任科员;倪朦系安徽省教育科学研究院职业教育研究所讲师)