本站原创关键词：TEM4写作测试；EFL写作能力构念；TEM4作文文本
1001-5795（2013）01-0048-0005
1 研究背景
为了提高语言测试的效度和信度，应尽可能减少两种威胁：一是与构念（construct）无关的因素，二是构念代表的不充分性（Messick，1996）。写作测试在提高语言测试真实性的同时，也引入了一些与构念无关的因素，如人工评分的主观性会影响测量的准确性。而科学合理、操作性强的评分标准是减少此类因素影响的重要手段。英语专业四级考试（TEM4）写作测试的评分标准是基于当时的文献和教学大纲由专家设计的（邹申，1997）。该标准采用整体式评分法，而现有研究表明，整体式评分法不太适合ESL/EFL学习者。TEM4既然属于教学检查类测试，应为教学提供充分的反馈信息（高校英语专业四级考试大纲修订小组，2004）。在这方面，分项式评分法显然优于整体式评分法。在外语专业教学指导委员会英语测试组的支持下，笔者采用“基于实验数据式”（data-based）的方法设计了TEM4写作测试的分项式评分标准。在语言测试情境中，受试的写作行为可能受到多种自身及环境因素的影响。本文对受试在TEM4写作测试情景中所写的真实文本展开研究，以便获得基于受试文本的写作能力构念，为评分标准的设计提供实验证据。2文献综述
在大规模、高风险ESIVEFL写作测试中的分项式作文评分标准较少，影响较大的有：Jacobs，et a
1.（1981），Weir（1990），Hamp-Lyones（1991）等。
“ESL作文评分标准”（ESL Composition Profile）由Jacobs及其同事一起开发，包括5个维度，其权重不完全相同：①内容：30%；②结构：20%；③词汇：20%；④语言使用：25%；⑤写作规范：5%。对每个维度的评价又分为四个分数段：优秀、良好、一般、差。Weir（1990）为TEE设计的写作评分标准则涵盖了7个维度，每个维度都分为0到3共4个等级：①内容的切题和充实；②内容的组织；③衔接；④词汇的丰富性；⑤语法；⑥写作规范的准确性Ⅰ：标点符号；⑦写作规范的准确性Ⅱ：拼写。
由Hamp-Lyons（1991）主持设计的“密西根写作评估评分指导”（the Michigan Writing Assesent ScoringGuide，缩写为MWASG），包括3个维度：①思想及表达（ideas and arguments）；②组织结构（rhetorical lea—tures）；③语言使用。每个维度都分成1到6个等级。
在这些评分标准中，普遍涉及的维度包括：①思想表达；②组织结构；③语言的准确性；④语言的得体性；⑤写作规范。
评分标准的设计方法有两种（Fulcher&Didson.2007）：
（1）基于直觉式（i
学位论文www.udooo.com
ntuition-based）：相关专家根据直觉制定评分标准。当然，专家并不是依靠自己的主观印象，而是基于他们的理论和经验决定评分标准所应包括的维度以及各自的权重。但这种方法一般不宜单独使用。（2）基于实验数据式：通过对受试的语言行为样本进行语篇分析或话语分析得出受试的语言行为特征，也可以让评分员对受试的语言行为进行评价，并归纳出他们作为评判依据的语言行为特征。
越来越多的学者主张采用第二种方法。对于二二/外语写作测试而言，这种方法表现为两种模式：
第一，读者一作者互动模式（reader-writer model）：根据评分员的评分行为（策略），归纳出评分员评阅作文时所关注的文本特征。第二，文本特征模式（textcharacteristics model）：经过实验研究，归纳出能够反映受试写作能力的文本特征。这两种方法得到的数据可以互相补充（cumming et al，2001）。
本文试图采用“读者一作者互动模式”，通过问卷调查获得的数据和因子分析做出“文本特征模式”研究的检测设：基于写作能力理论的中国英语专业学生EFL写作能力的构念主要包括思想表达、组织结构、语言的准确性、丰富性、得体性及写作规范等表面特征。
3 研究设计
3.1研究问题
本研究的问题是，TEM4作文文本中表现出的写作能力构念是什么？3.2参加者
从参加2009年TEM4作文评分的评分员中选出22位，他们自愿参加本次试验，其中男性9人，女性13人。他们的教龄从3年到24年，平均教龄约12年；除2位教师没有写作教学经历之外，其他教师的写作教学经历平均约5年。60%的评分员是第一次参加TEM4写作部分的评分。3.3实验过程
参照Cumming（1990）、Connor-Linton（1995）及Shi（2001）的研究方法，让评分员在无评分标准参照的情况下评阅受试的文本，并写出他们的评分依据。在本研究中评分员被要求对23篇2005年TEM4的真实作文进行无评分标准参照的评分o。评分完成后以回顾式书面报告（retrospective written report）的形式写出4—8方面的评分决定的原因，并按重要性排列。具体来说，他们要完成以下工作：
摘自：毕业论文工作总结www.udooo.com
（1）为每篇文章打分；（2）在每篇作文后写出评分理由或依据；
（3）评完所有文章后，总结出您的评分依据，给出每个方面（维度）的权重（每个方面应占分值的百分比）。
20位教师在一个月内完成了评分，另2位教师因故未能按时完成。他们的评分结果以纸质书面文件（6人）和电子邮件（14人）的形式寄给笔者。
反馈材料按照下列步骤处理：
首先，对每一篇作文的评分依据进行汇总9（以第2篇为例，见表1）；
第二，参照Shi（2001）的归类命名方法，即，根据找出的关键词（如内容、结构、语法等）确定能力维度（文本特征）（参见表2：维度及其例子）：
第三，统计每个维度出现的次数及其百分比和每个评分员所提及的维度的总次数（频率）。考虑到归纳能力维度会有一定的主观性，我们邀请一位语言测试方向博士和笔者分别独立分析了第1—8篇作文的维度频率，两人的一致率达到92.7%。
4 研究结果分析
我们把评分员的打分依据分为15个维度，分别统计了它们出现的频率（表略）。按照每个维度出现频率的百分比，维度重要性排列如下：①语言准确（16.4）；②内容切题（15.1）；③结构层次（14.1）；④内容完整充分（9.4）；⑤衔接与连贯（7.9）；⑥字数（7.6）；⑦语言丰富（6.6）；⑧观点明确（4.1）；⑨思想表达清楚（3.8）；⑩语言恰当（3.8）；⑩拼写（3.6）；⑩内容有新意（2.5）；⑩语言功底（2.5）；⑩完成写作任务（1.5）；⑩其他（2）。
对评分员评分依据的文本特征适当合并，即，“内容”包括内容切题、内容完整充分、观点明确、思想表达清楚、内容有新意；“语言能力”包括语言准确、语言丰富、语言恰当、字数、拼写、语言功底；“结构”包括结构层次、衔接与连贯。其权重排列为：语言能力（40.5%）>内容（34.9%）>结构（22%）>完成写作任务（1.5%）>其他（2）。
评分员在评分并写出评分依据后，19位评分员填写了“评分依据及其权重表”。对评分员认为的文本特征维度的权重统计如下（见表3）。由表中的维度权重的平均百分比可知维度重要性的排列为：①内容（35.6）；②语言准确性（25.3）；③结构（21.1）；④语言丰富性（8.1）；⑤语言恰当性（3.5）；⑥卷面（3.3）；⑦字数（2.1）；⑧完成任务（1.9）。把语言准确性、丰富性、恰当性合并为“语言能力”，其权重为39%。那么，各维度的重要性排列为：语言能力（39%）>内容（35.6）>结构（2
1.1）>卷面（3.3）>完成任务（9）。
与评分员实际评分时依据的文本特征的统计结果相比，我们发现两种方法得出的维度重要性排列顺序基本相同。三个重要方面“语言能力”、“内容”和“结构”的排列顺序及其权重相差甚小。从评分员评分依据中得出的文本特征不包含“卷面”，是因为评分员评阅的受试文本是用Word原样输入计算机的电子文本，大多数卷面特征未能保留。5 结论
调查问卷的统计结果显示，理想状态下能够区分受试写作能力的文本特征主要包括：思想表达、准确性、丰富性、组织结构、拼写与标点、卷面、独创性、流利度、得体性。在实际评分中评分员作出评分决定所依据的文本特征涉及：语言准确、内容切题、结构层次、内容完整充分、衔接与连贯、字数、语言丰富、观点明确、思想表达清楚、语言恰当、拼写、内容有新意、语言功底、完成写作任务等维度。两次实验结果所含次维度的对应关系总结为表4。
可见，调查问卷所得到的大部分文本特征都在评分实践中表现出来，但以下次维度似乎未受评分员关注：论据有力、表达流畅、区分事实与观点、衔接手段多样、标点符号正确、大小写正确、段落排列清楚、书写美观、卷面整洁、符合格式要求、修辞手段得当。
如上文所述，评分员所评阅的作文是电子文本，卷面特征无法全部保留，所以评分员没有关注这方面的特征（段落排列清楚、书写美观、卷面整洁、符合格式要求）。另外，电子文本也可能在很大程度上掩盖了标点和大小写方面的错误。而其他次维度，包括论据有力、表达流畅、区分事实与观点、衔接手段多样、修辞手段得当等，没有引起评分员的重视，可能是TEM4作文文本中没有明显表现出这些次维度。因此，在制定评分标准时，可以考虑删除这几个方面。
从评分员评分实践角度看，除“内容充实”这一次维度之外，他们所重视的文本特征都在调查问卷所得到的文本特征中找到对应的项目。不过，有的评分员还对文本或语言能力作出总体评价，这一点在问卷中没有反映。由此我们可以认为，在评分标准中应包括“内容充实”，评分员对作文的总体评价也应受到一定重视。
综上所述，能够表现中国英语专业学生写作能力构念的文本特征应当包括以下方面：
（1）思想表达：内容切题·内容充实·观点明确·论据与论点一致·表达清晰·表达流·有说服力·完成写作任务·有独到见解。
（2）组织结构：段间过渡自然·每段有主题句·第一段提出观点·最后一段得出结论。
（3）语言能力：单词拼写正确·标点符号正确·大小写正确·语法正确·句间衔接自然·句子结构正确·固定搭配正确·习语正确·用词准确·词汇丰富·句子形式多样·语气恰当·语言地道·完成规定词数。
（4）卷面：书写美观·卷面整洁·符合格式要求。
本研究结果为TEM4写作评分标准的制定提供了坚实的实验证据，也为英语专业写作教学指明了方向。
感谢邹申教授的悉心指导和参与实验评分老师的大力支持。