汉语文本自动校对研究
刘亮亮
第一章 文本自动校对概述
文本自动校对是自然语言理解的应用之一,也是自然语言理解的一个研究难题。本章首先介绍了文本自动校对的研究意义,然后介绍了文本自动校对的研究现状,对中英文文本自动校对目前的方法进行归纳和分类,并且对中英文本自动校对问题进行了比较与分析,且指出中文文本自动校对问题中存在的主要问题。最后对文本自动校对的相关理论和技术进行了简单的介绍与分析。
一、文本自动校对的研究背景与意义
(一)研究背景
随着大数据时代的来临和互联网的高速发展,传统的文本工作几乎全部被计算机所取代,新闻、电子书、电子报纸、电子邮件、办公文件等电子文本、博客、微博、社交网络等都成为人们日常生活的一部分,然而文本中的错误也越来越多,特别是自媒体的出现,文本中错误已经是高频出现,并且错误也是千奇百怪,这给传统的校对工作带来了很大的挑战。很多文本错误不仅出现在日常对话的自由短文本中,还经常出现在新闻、公文等正式文本中,因此对文本进行校对是非常有必要的。而目前语音识别应用非常广泛,但语音识别出来的文字也会出现识别错误,如何通过自动的方法对识别后的文本自动校对对提高语音识别的准确率也非常重要。
传统的校对主要依赖人工,通过人来发现和纠正文本中的错误,人工校对效率低、强度大、周期长显然已经不能满足目前文本快速增长的需求。另外,Web信息日益丰富,数据呈爆炸性增长,信息检索在人们的生活中越来越重要,而检索的准确性也依赖于用户输入的检索内容的正确性,Cucerzan通过对搜索引擎查询日志分析发现,超过10%的用户查询中包含了拼写错误[61],因此,如何自动校对检索内容也是一项非常关键的技术。此外,文本自动校对也可以用于OCR识别、语音识别、知识获取等领域。文本自动校对的实现已经成为信息处理技术发展的关键,也是减少人力、物力、财力的关键,因此自动文本校对研究对于理论和应用都具有深远的意义。
文本自动校对是…