汉语词义标注一致性检验策略和实现

摘要：近年来,语料库建设和语料库语言学的崛起,大规模真实文本的处理自然语言处理的主要战略。语料库的应用范围非常广,对其要求也越来越高。建设高质量的大规模语料库已首要任务。而语料库质量的衡量标准就体现在对语料的多种标注上,词义标注则是非常的一种标注。因此,为了提高词义标注的质量,开展汉语词义标注一致性检验技术及其实现方法的研究,并实现了一个词义标注一致性检验系统。工作量大,仅对动词多义词一致性检验方法的研究。完成的主要工作如下：,在对大规模真实文本研究的基础上,了新的语句抽取及聚类方法。语句抽取短句抽取规则；语句聚类分三步：(1)总结了宾语抽取规则宾语抽取；(2)语料语句的特点,了一种新的语句度计算方法；(3)依据语句度值对语句聚类。,对所用到的语言知识资源分析与转换。(1)《知网》知识资源：对其表示结构及可计算性分析研究,并本课题,对其了两个必要的转换,一个转换是将《知网》的词语定义文件由原来的文件转换为数据库形式存储；另一个是将《知网》的义原文件里的义原表示形式由空格缩进转换为由数字唯一标识的编码,因为原来的表示形式不方便计算机处理：(2)《人民日报》语料资源：对其了词语、拼音、词性、同形、义项、日期和频率的统计、查询与综合处理。,建立标准模式库。标准模式库的作用是使待校验语句与之匹配,来检验词义标注的一致性。对标准模式库的结构及其组成元素了研究,选择动词多义词的各个释义及其对应的宾语范畴作为其构成要素,建立了而向词义标注一致性检验的标准模式库。,一致性检验。对词义标注一致性检验的情况了分类：(1)多义词所在语句的上下文与模式库匹配；(2)多义词所在语句的上下文度计算与模式库匹配；(3)前两类之外的其他情况。不同的匹配类别采取了不同的处理办法。同时,系统自动统计实验数据,于界面上。一致性检验之后,情况,可以对模式库修改、扩充。本课题的创新点及难点是利用宾语语料语句的度计算及一致性检验。实验数据,论文的一致性检验方法是的。关键词：词义标注论文一致性检验论文语句度计算论文《知网》论文语料库论文

摘要5-6

ABSTRACT6-10

第1章 引言10-15

1.1 课题的及10-12

1.2 论文的主要工作12-14

1.2.1 研究内容12-13

1.2.2 研究所需资源13

1.2.3 研究方案13-14

1.3 论文的组织结构14-15

第2章 词义消歧及其评价方法的研究现状15-21

2.1 词义消岐方法的研究现状15-18

2.1.1 词义消歧的研究15-16

2.1.2 词义消歧的研究方法16-18

2.2 词义消岐的评价方法18-20

2.3 小结20-21

第3章 语言知识资源的分析与转换21-33

3.1 《知网》结构与知识表示的分析21-24

3.1.1 《知网》的层次结构21-23

3.1.2 《知网》的知识描述语言23-24

3.1.3 《知网》的特色24

3.2 《知网》可计算性分析24-25

3.3 《知网》的转换25-26

3.3.1 《知网》到数据库的转换25-26

3.3.2 《知网》义原文本转换26

3.4 《人民日报》语料的统计分析与综合处理26-32

3.4.1 生成词频表27-28

3.4.2 单个查询28-32

3.4.3 批量查询32

3.4.4 合表32

3.4.5 筛选32

3.5 小结32-33

第4章 多义词语句抽取及聚类33-59

4.1 多义词语句的抽取33-36

4.2 多义词语句的聚类36-57

4.2.1 多义词特征提取36-40

4.2.2 已有语句度计算方法概述及实验40-52

4.2.3 面向语料语句的度计算方法52-55

4.2.4 语料语句聚类的实验结果及分析55-57

4.3 小结57-59

第5章 标准模式库建立59-62

5.1 标准模式库建立的必要性59

5.2 标准模式库的建立59-61

5.3 小结61-62

第6章 词义标注一致性检验62-69

6.1 词义标注一致性检验62-64

6.2 实验结果与分析64-68

6.3 小结68-69

第7章 总结69-71

致谢71-72