本站原创
摘要： 本文从教育元评估的概念入手，介绍了美国教育评估标准联合委员会（JCSEE）教育评估标准。根据JCSEE评估标准的四个方面，从“实用性”、“可行性”、“合理性”及“准确性”等四个角度，以高职高专院校人才培养工作水平评估中的“学校教育保障”方面为例进行了相关指标设计的分析，并对我国教育元评估的理论研究及实践探索提出了进一步建议。
Abstract： Starting from the concept of education meta-evaluation， this article introduces the education evaluation standard of JCSEE. According to the four aspects of JCSEE evaluation standards， from four angles： "practicability"， "feasibility"， "rationality" and "accuracy"， the paper analyzes the related parameters design with the "school education guarantee" in the evaluation of personnel training work level in higher vocational colleges as an example， and puts forward the suggestions on the theory research and practical explorat
关键词： JCSEE；教育保障；元评估
Key words： JCSEE；educational security；meta-evaluation
1006-4311（2013）23-0266-03
0 引言
近年来，我国对教育评估日益重视，2010年7月29日发布的《国家中长期教育改革和发展规划纲要（2010-2020年）》提出了今后10年教育改革和发展的战略目标，其中涉及到教育评估的有：“健全教学质量保障体系，改进高校教学评估。”“改进管理模式，引入竞争机制，实行绩效评估，进行动态管理。”“整合国家教育质量监测评估机构及资源，完善监测评估体系，定期发布监测评估报告。”
等等。
元评估，英文为meta-evaluation，是对评估的再评估，最早于上世纪六十年代由美国的Scriven，M.教授提出，他定义“meta-evaluation”为对一项评估、评估系统或评估工具的评估。①另一位Stufflebeam，D.L教授于上世纪七十年代将元评估的概念化具体化，认为元评估可以定义为获取和运用那些评估的实用性、可行性、合理性和准确性，以及其系统本质、行为能力、诚信度、受尊重程度和社会责任感方面的描述性和评估性信息，以引导评估并向公众报告该评估的价值和缺陷的过程。②
评估的关键是制定一套较为科学的、并能为人们所普遍接受的评估标准。在美国教育元评估的理论研究和实践探索中，DanielL.Stuffiebeam作为一个积极的方案评估实践者和理论学家，在1975年领导并组建了教育评估标准联合委员会（Joint Committee on Standards for educational evaluation，简称JCSEE）。在Stuffiebeam的领导下，于1981年发布了《教育方案、计划及材料评估的标准》，共有三十项，分成以下四个部分：①实用性（Utility）：确保评估为实际信息需求怎么写作；②可行性（Feasibility）：确保评估是现实的和稳健的；③合理性（Propriety）：确保评估合法且合乎道德地实施；④准确性（Accuracy）：确保评估揭示和传达专业上的充分信息。③
高职高专院校人才培养工作水平评估指标体系中涉及学校教育保障评估的有1项一级指标、3项二级指标见表2。
4.1 从“实用性”角度来看 ①客观方面 笔者曾经对评估后再回访院校的指标数据评估前后进行对比调查，发现各院校在师资队伍建设、设施设备建设等方面都有显著的进步，以评促建的成效还是比较明显的。表3是随机抽取三所院校的有关学校教育保障指标方面的评估前后数据对比表（部分）。从表上也可以很直观地看出，通过评估三所院校较好地贯彻了“以评促建，以评促改，以评促管，评建结合，重在建设”的评估方针，人才培养工作上了一个新的水平。
②主观方面 在上海《高职高专院校人才培养工作水平评估工作手册》上，教育主管部门领导对于评估工作给予了较高的评价，认为通过评估，“一是各院校在解决高等职业教育发展问题的基本途径和根本出路方面形成了统一的认识，为进一步的发展奠定了理论基础和实践标准；二是各院校明确了高等职业教育的主要目标与任务，认真贯彻落实党和国家关于职业教育的方针政策，为培养数以千万计的高级技能型人才作出了贡献。”
教育主管部门也通过自我总结在评估取得的成绩方面达成了共识，明确了高职高专院校人才培养工作评估是教育质量提高的必要措施，形成了高职高专院校人才培养工作评估由政府主导、评估机构操作、被评院校为主体的工作机制，健全了本市高职高专的教育评估体系，最终达到“以评促建、以评促改、以评促管、评建结合、重在建设”的目的。
该项目的研究以全国高职高专院校人才培养工作水平评估委员会主任委员杨应崧教授为总项目组长，项目组成员是十三位有着多年高职教育理论研究和实践的专家学者。教育部高教司对该项目十分重视，自始至终关心和支持项目的进展，高职高专处以及评估处的同志也直接参与了关键环节的研究与实践。项目初步完成后，教育部高教司运用核心成果对全国26所高职高专院校进行了试点评估，在此基础上进行修订完善，并下发了文件《关于全面开展高职高专院校人才培养工作水平评估的通知》（教高厅【2004】16号），要求在全国范围内开展五年一轮的首轮高职高专院校人才培养工作水平评估。
我们说，从项目前期的立项、组织机构的设立、人员配备、到中期运行、调研考察修正、到后期发文、全面铺开，项目的进展经过了充分论证和科学设计，可谓是一步一步扎实推进，我们有理由相信这样一个严密的研究过程出来成果的信度和效度应该是比较可行的。
从表4可以看出，“3.1教学基础设施”从专家赋分及等级来看，10所随机抽取的高职院校的4.5分（含）至5分的院校数有1所、3.5分（含）至4.5分的院校数有3所，2.5分（含）至3.5分的院校数有6所，即等级分布为1A3B6C。这个等级数列是递进式的，虽然不符合正态分布的要求，但是与该省的实际情况较为相符。该省的地理位置处在我国沿海开放地区，属于国内经济发达省份、相对而言占地面积小、人口密集度大，因此寸土寸金土地资源相对稀缺，不可能给高职院校大面积的土地来建校舍。该指标体系是全国通用的指标体系，根据全国的高职院校整体情况来制订，但各个省份具体情况差异较大，该省3.1指标的得分排列呈现出的具有顶级基础设施的院校较少而具有相对偏弱基础设施的院校较多的情况基本符合该省实际。
从“3.2实践教学条件”和“3.3教学经费”这两项二级指标来看，专家组对学校的该两项指标根据实际情况分别有肯定的意见和加强建设的建议，认为有的“学院紧密结合行业新技术的应用，加大经费的投入，各专业都建有真实或仿真职业氛围、软硬配套的校内实训中心和一定数量的校外实习基地，满足了专业实践教学和职业技能鉴定的需要。”针对部分建设薄弱的学院专家提出“希望继续加强教学基础条件建设，全面改善各专业实践教学条件，加强现代教育技术的应用，提高人才培养质量。”等等。根据不同的情况，对于指标“3.2实践教学条件”4.5分（含）至5分的院校数有3所、3.5分（含）至4.5分的院校数有5所，2.5分（含）至3.5分的院校数有2所，即等级分布为3A5B2C；对于指标“3.3教学经费”4.5分（含）至5分的院校数有2所、3.5分（含）至4.5分的院校数有5所，2.5分（含）至3.5分的院校数有3所，即等级分布为2A5B3C，均能基本符合正态分布的要求。
RM=RM1×RM2=RM1×（RM21×a1+RM22×a2+RM23×a3）
=0.98*（0.95*0.3+0.98*0.2+0.98*0.5）=0.95158
R1=RI1×RI2=0.98*0.95=0.931
RE=1-（1-0.9）2=0.99
第二步：计算出总系统的可靠性
R=RM×RI×RE=0.95158*0.931*0.99=87.7%
根据以上计算结果，该项目评估工作总系统可靠性最后结果为8
我国教育评估的理论和实践探索日益深入广泛，并不断丰富着教育评估的理论内涵，教育评估本身也通过吸纳和应用各种科学理论和方法而发展提升。我国教育元评估的理论研究及实践探索意义非凡且任重道远，建议将元评估列入到教育评估制度和体系中，建立多角度、多层面、立体式的元评估框架，以此检验评估成效、纠正评估偏差、发现存在问题并切实加以改进，不断提高评估实践活动的实用性、可行性、合理性和准确性。通过元评估，教育管理部门也可以加强对高等教育的影响和宏观管理，同时有利于评估相似度检测组织的发展和壮大，还可以推动我国教育质量保障体系发展的科学化、专业化，进一步提高学校的办学自主能力。
注释：
①Stufflebeam， D.L. The metaevaluation imperative[J].American journal of evaluation，2001，（2）.
②Stufflebeam D. L. A meta-evaluation [R]. Western Michigan University，School of education，1974：159-161.
③The Joint Committeeon Standards for Edueational Evaluation（1981）Standards for Evaluation of Edueational Programs，Projets， and Materials（P18）Newyork：MeGraw-Hil.
④张伟江，孙祝岭，郭朝红.教育评估的可靠性研究.北京：高等教育出版社，2009.
参考文献：
曲霏.美国高等教育元评估理论初探[J].内江科技，2010，8.
李少华，李汉邦.美国教育评估的元评估发展与启示[J].中国高教研究，2010，11.
[3]王雁，章仁彪.教育元评估的理念与标准辨析[J].中国高等教育评估，2009，1.
[4]李巧玲，朱晓晴.中外高等教育内部教学评估比较[J].科教文汇（上旬刊），2010，5.
[5]杨滨辉.我国高校内部教学评估体系的元评估研究[D].黑龙江：黑龙江大学硕士学位论文，2009.
[6]张伟江，孙祝岭，郭朝红.教育评估的可靠性研究[M].北京：高等教育出版
[7]张伟江，陈效民.学校教育评估指标设计概论[M].北京：高等教育出版社，2011.
Abstract： Starting from the concept of education meta-evaluation， this article introduces the education evaluation standard of JCSEE. According to the four aspects of JCSEE evaluation standards， from four angles： "practicability"， "feasibility"， "rationality" and "accuracy"， the paper analyzes the related parameters design with the "school education guarantee" in the evaluation of personnel training work level in higher vocational colleges as an example， and puts forward the suggestions on the theory research and practical explorat
源于：大学毕业论文www.udooo.com
ion of China's education meta-evaluation.关键词： JCSEE；教育保障；元评估
Key words： JCSEE；educational security；meta-evaluation
1006-4311（2013）23-0266-03
0 引言
近年来，我国对教育评估日益重视，2010年7月29日发布的《国家中长期教育改革和发展规划纲要（2010-2020年）》提出了今后10年教育改革和发展的战略目标，其中涉及到教育评估的有：“健全教学质量保障体系，改进高校教学评估。”“改进管理模式，引入竞争机制，实行绩效评估，进行动态管理。”“整合国家教育质量监测评估机构及资源，完善监测评估体系，定期发布监测评估报告。”
等等。
1 概念的提出
随着高等教育大众化阶段的来临，教育评估日益成为社会关注的热点和焦点，与此同时，评估标准、评估方法是否科学？评估行为本身的质量如何？评估偏差程度究竟有多大？这些对于评估本身的评估问题——即元评估，渐渐被一些专家学者提出。元评估，英文为meta-evaluation，是对评估的再评估，最早于上世纪六十年代由美国的Scriven，M.教授提出，他定义“meta-evaluation”为对一项评估、评估系统或评估工具的评估。①另一位Stufflebeam，D.L教授于上世纪七十年代将元评估的概念化具体化，认为元评估可以定义为获取和运用那些评估的实用性、可行性、合理性和准确性，以及其系统本质、行为能力、诚信度、受尊重程度和社会责任感方面的描述性和评估性信息，以引导评估并向公众报告该评估的价值和缺陷的过程。②
评估的关键是制定一套较为科学的、并能为人们所普遍接受的评估标准。在美国教育元评估的理论研究和实践探索中，DanielL.Stuffiebeam作为一个积极的方案评估实践者和理论学家，在1975年领导并组建了教育评估标准联合委员会（Joint Committee on Standards for educational evaluation，简称JCSEE）。在Stuffiebeam的领导下，于1981年发布了《教育方案、计划及材料评估的标准》，共有三十项，分成以下四个部分：①实用性（Utility）：确保评估为实际信息需求怎么写作；②可行性（Feasibility）：确保评估是现实的和稳健的；③合理性（Propriety）：确保评估合法且合乎道德地实施；④准确性（Accuracy）：确保评估揭示和传达专业上的充分信息。③
2 高职高专院校人才培养工作水平评估简介
为了规范高职高专的教育行为，推动高职高专持续、健康的发展，教育部从2004年开始正式启动高职高专院校人才培养水平评估工作。根据教育部统一的评估方案，高职高专院校人才培养工作水平评估指标体系共有6项一级指标15项二级指标。表1是高职高专院校人才培养工作水平评估指标体系框架，设计者在一级指标和二级指标的框架下列有主要观测点和等级标准。3 涉及“教育保障评估”的指标情况介绍
根据张伟江、陈效民等编著的《学校教育评估指标设计概论》一书（高等教育出版社2011年出版），“学校教育保障”的内涵属于“教育投入”范畴，其大概包括人、财、物以及环境，其中 “人”这一要素可以隶分在“学校教育管理”中，“环境”这一要素可以隶分在“学校教育环境”中，因此本文对于上述要素略去不提，而仅仅分析财和物这两项狭义的“教育保障”，即讨论教育经费保障及教育设施保障方面的元评估。高职高专院校人才培养工作水平评估指标体系中涉及学校教育保障评估的有1项一级指标、3项二级指标见表2。
4 采用JCSEE标准进行元评估案例分析
我们根据JCSEE评价标准的四个方面，从“实用性”、“可行性”、“合理性”及“准确性”等四个角度来简要评价该指标涉及“学校教育保障”的体系设计。4.1 从“实用性”角度来看 ①客观方面 笔者曾经对评估后再回访院校的指标数据评估前后进行对比调查，发现各院校在师资队伍建设、设施设备建设等方面都有显著的进步，以评促建的成效还是比较明显的。表3是随机抽取三所院校的有关学校教育保障指标方面的评估前后数据对比表（部分）。从表上也可以很直观地看出，通过评估三所院校较好地贯彻了“以评促建，以评促改，以评促管，评建结合，重在建设”的评估方针，人才培养工作上了一个新的水平。
②主观方面 在上海《高职高专院校人才培养工作水平评估工作手册》上，教育主管部门领导对于评估工作给予了较高的评价，认为通过评估，“一是各院校在解决高等职业教育发展问题的基本途径和根本出路方面形成了统一的认识，为进一步的发展奠定了理论基础和实践标准；二是各院校明确了高等职业教育的主要目标与任务，认真贯彻落实党和国家关于职业教育的方针政策，为培养数以千万计的高级技能型人才作出了贡献。”
教育主管部门也通过自我总结在评估取得的成绩方面达成了共识，明确了高职高专院校人才培养工作评估是教育质量提高的必要措施，形成了高职高专院校人才培养工作评估由政府主导、评估机构操作、被评院校为主体的工作机制，健全了本市高职高专的教育评估体系，最终达到“以评促建、以评促改、以评促管、评建结合、重在建设”的目的。
4.2 从“可行性”角度来看
首先简述一下本指标体系的来源背景。教育部高等教育司于2000年成立课题组，开展“高职高专教育教学质量监控与教学工作评价体系的研究与实践”，历时三年九个月完成。该项目的核心成果有三个文件：《高职高专院校人才培养工作水平评估方案（试行）》、《评估工作指南（试行）》、《评估专家组工作细则（试行）》。本指标体系就是该核心成果内容里面的重中之重。该项目的研究以全国高职高专院校人才培养工作水平评估委员会主任委员杨应崧教授为总项目组长，项目组成员是十三位有着多年高职教育理论研究和实践的专家学者。教育部高教司对该项目十分重视，自始至终关心和支持项目的进展，高职高专处以及评估处的同志也直接参与了关键环节的研究与实践。项目初步完成后，教育部高教司运用核心成果对全国26所高职高专院校进行了试点评估，在此基础上进行修订完善，并下发了文件《关于全面开展高职高专院校人才培养工作水平评估的通知》（教高厅【2004】16号），要求在全国范围内开展五年一轮的首轮高职高专院校人才培养工作水平评估。
我们说，从项目前期的立项、组织机构的设立、人员配备、到中期运行、调研考察修正、到后期发文、全面铺开，项目的进展经过了充分论证和科学设计，可谓是一步一步扎实推进，我们有理由相信这样一个严密的研究过程出来成果的信度和效度应该是比较可行的。
4.3 从“合理性”的角度来看
该省采用该评估指标体系现场考察的高职院校共有22所，随机抽取其中10所院校，我们来逐项考察“3.1教学基础设施”、“3.2实践教学条件”、“3.3教学经费”的专家赋分及等级情况。每所学校的现场考察评估聘请七位专家，专家涵盖教育评估领域、高等职业教育领域、专业领域等。每位专家对每项二级指标分别赋分，以5分制计分，4.5分（含）至5分等级为A；3.5分（含）至4.5分等级为B；2.5分（含）至3.5分等级为C，2.5分以下等级为D。将专家的赋分求和并计算平均值，可以得出表4结果。从表4可以看出，“3.1教学基础设施”从专家赋分及等级来看，10所随机抽取的高职院校的4.5分（含）至5分的院校数有1所、3.5分（含）至4.5分的院校数有3所，2.5分（含）至3.5分的院校数有6所，即等级分布为1A3B6C。这个等级数列是递进式的，虽然不符合正态分布的要求，但是与该省的实际情况较为相符。该省的地理位置处在我国沿海开放地区，属于国内经济发达省份、相对而言占地面积小、人口密集度大，因此寸土寸金土地资源相对稀缺，不可能给高职院校大面积的土地来建校舍。该指标体系是全国通用的指标体系，根据全国的高职院校整体情况来制订，但各个省份具体情况差异较大，该省3.1指标的得分排列呈现出的具有顶级基础设施的院校较少而具有相对偏弱基础设施的院校较多的情况基本符合该省实际。
从“3.2实践教学条件”和“3.3教学经费”这两项二级指标来看，专家组对学校的该两项指标根据实际情况分别有肯定的意见和加强建设的建议，认为有的“学院紧密结合行业新技术的应用，加大经费的投入，各专业都建有真实或仿真职业氛围、软硬配套的校内实训中心和一定数量的校外实习基地，满足了专业实践教学和职业技能鉴定的需要。”针对部分建设薄弱的学院专家提出“希望继续加强教学基础条件建设，全面改善各专业实践教学条件，加强现代教育技术的应用，提高人才培养质量。”等等。根据不同的情况，对于指标“3.2实践教学条件”4.5分（含）至5分的院校数有3所、3.5分（含）至4.5分的院校数有5所，2.5分（含）至3.5分的院校数有2所，即等级分布为3A5B2C；对于指标“3.3教学经费”4.5分（含）至5分的院校数有2所、3.5分（含）至4.5分的院校数有5所，2.5分（含）至3.5分的院校数有3所，即等级分布为2A5B3C，均能基本符合正态分布的要求。
4.4 从“准确性”的角度来看
张伟江教授、孙祝岭教授和郭朝红研究员的著作《教育评估的可靠性研究》④一书中，首创“可靠性建模”的方式对于教育评估的可靠性进行了研究。根据书中的定义，教育评估的可靠性指教育评估的结果能如实、准确地反映评估对象客观实际情况的概率，从一定程度上也反映了评估的准确性。根据该评估项目实施的流程，该项评估工作的可靠性框图包含的三个系统，即管理系统M、信息系统I和专家系统E的可靠性模型如图1所示。根据《教育评估的可靠性研究》一书，对高职高专院校人才培养工作水平评估项目总系统的可靠性列出算式为：R=RM×RI×RE，由此算出总系统的可靠性。 第一步：分别计算出管理系统可靠性RM、信息系统的可靠性RI、专家系统的可靠性RE。RM=RM1×RM2=RM1×（RM21×a1+RM22×a2+RM23×a3）
=0.98*（0.95*0.3+0.98*0.2+0.98*0.5）=0.95158
R1=RI1×RI2=0.98*0.95=0.931
RE=1-（1-0.9）2=0.99
第二步：计算出总系统的可靠性
R=RM×RI×RE=0.95158*0.931*0.99=87.7%
根据以上计算结果，该项目评估工作总系统可靠性最后结果为8
7.7%。因此总的来说可靠性还是比较高的。
5 建议我国教育评估的理论和实践探索日益深入广泛，并不断丰富着教育评估的理论内涵，教育评估本身也通过吸纳和应用各种科学理论和方法而发展提升。我国教育元评估的理论研究及实践探索意义非凡且任重道远，建议将元评估列入到教育评估制度和体系中，建立多角度、多层面、立体式的元评估框架，以此检验评估成效、纠正评估偏差、发现存在问题并切实加以改进，不断提高评估实践活动的实用性、可行性、合理性和准确性。通过元评估，教育管理部门也可以加强对高等教育的影响和宏观管理，同时有利于评估相似度检测组织的发展和壮大，还可以推动我国教育质量保障体系发展的科学化、专业化，进一步提高学校的办学自主能力。
注释：
①Stufflebeam， D.L. The metaevaluation imperative[J].American journal of evaluation，2001，（2）.
②Stufflebeam D. L. A meta-evaluation [R]. Western Michigan University，School of education，1974：159-161.
③The Joint Committeeon Standards for Edueational Evaluation（1981）Standards for Evaluation of Edueational Programs，Projets， and Materials（P18）Newyork：MeGraw-Hil.
④张伟江，孙祝岭，郭朝红.教育评估的可靠性研究.北京：高等教育出版社，2009.
参考文献：
曲霏.美国高等教育元评估理论初探[J].内江科技，2010，8.
李少华，李汉邦.美国教育评估的元评估发展与启示[J].中国高教研究，2010，11.
[3]王雁，章仁彪.教育元评估的理念与标准辨析[J].中国高等教育评估，2009，1.
[4]李巧玲，朱晓晴.中外高等教育内部教学评估比较[J].科教文汇（上旬刊），2010，5.
[5]杨滨辉.我国高校内部教学评估体系的元评估研究[D].黑龙江：黑龙江大学硕士学位论文，2009.
[6]张伟江，孙祝岭，郭朝红.教育评估的可靠性研究[M].北京：高等教育出版
摘自：写毕业论文经典的网站www.udooo.com
社，2009.[7]张伟江，陈效民.学校教育评估指标设计概论[M].北京：高等教育出版社，2011.