“碎片化”在网站图书检索中的应用

伴随着读者在互联网上以自定义主题（词组或短语）为条件,进行相关图书信息搜索的需求越来越多,传统的检索方式由于不适应自然语言的结构而明显落伍,用户希望网站的搜索引擎,能够提供基于内容的、更新更快且更加完备的相关书目信息资源,这就对我们出版社网站的信息架构――信息的组织方式和处理模式――提出了新的挑战.

我们知道,读者自定义的搜索主题是用自然语言表述的,因而必然是由字和词按一定规则构成,当然还可能包含一些符号或标点.再观察我们的图书内容,也同样是由这些基本元素构成的.要想在两者之间建立起联系,并寻找对应关系,就应当从这些基本单元入手.由于汉语中的词比单个字具有更加完整的含义,所以我们把词作为基本的构成单元对待.将描述或构成图书内容的文本,拆分成具有独立含义的词,是寻找内容相关性的基本前提.而这一过程,就是我们所说的“碎片化”.那么,需要对哪些内容对象进行碎片化?碎片化过程依据什么进行?使用什么工具进行碎片化?到底碎片化到什么程度?碎片化是如何影响搜索引擎性能的?碎片化加工可以一劳永逸吗?本文分别来探讨这些问题.

一、碎片化对象选择问题

碎片化就是对文本进行切分,作为一种技术手段,其应用对象的选择一定要与功能目标相一致.所以,我们首先要选择能够最全面描述图书内容的文本,这就是章节目录,其次是内容简介.因为目录中有的词,正文中一定有,而且多是比较重要的词.这对于以内容检索为目的的相关性判断,就可以达到基本要求了.当然,如果有全文,可以使检索的范围更全面,以致不漏掉任何一个词,但同时也会使运算量成几何级数的递增,这一点与数字出版的要求不同,在线搜索功能对性能近乎苛求,所以我们未将正文列入切分范畴.还有,如果有样章,我们可不可以将其作为碎片化对象呢?这要具体分析一下是什么样的样章.一般科技类图书的第一章大多为概述,其后的各章将分别论述很具体的内容.那么,这类概述类的章节最适合作为碎片化对象,而其他表述具体内容的章节,会因其只突出部分特定内容,而造成与该内容相关性高的误判,所以不应做这种选择.还有一个要点值得注意,就是对于整个系统而言,选择对象的原则只能有一个.

二、碎片化过程依据什么进行

即对内容切分时应依据什么标准.要想让计算机像人一样,在充分理解自然语言的基础上,对文本进行合理切分,目前还有很长的路要走,这是计算语言学或人工智能研究的课题.但是,不完全理解并不代表不能切分,我们可以根据规则和经验,依据已有的资源,在掌握一定的自然语言规律的基础上,完成基本正确的切分.虽然这种切分不是基于对自然语言的充分理解,会有一些歧义产生,但应用实践的结果表明,对于本文探讨的以内容检索为目标的应用,这种切分方式是可以满足功能需求的,准确性是我们可接受的.我们在吸取前人经验的基础上,实践过两种切分方式,并分别应用于不同场合.

基于字符匹配的切分方法.即按照一定的策略,将对象文本中的汉字组合（字符串）与一个充分大的词典中的词条进行对照匹配,如果能在词典中找到完全相同的字符串,就能识别出这个词.当然,上述的取词策略非常重要（以后还会谈到）.

基于频率统计的切分方法.直观的看,字的稳定组合就形成了词,因此在上下文中,相邻两字同时出现（共现）的次数越多,就越有可能是词.所以字与字相邻共现的频率能够很好的反映它们成词的可信度.实践中,我们可以通过概率方法将这种相对频度计算出来,当共现概率超过一定数值时,我们就认为这些字构成了一个词.这里有一个前提需要大家注意,就是用于计算共现概率的样本文档（我们称之为语料库）,必须与我们产品的实际内容相吻合,这一点很重要.

上述两种方法为我们进行内容信息的碎片化处理,提供了可行的依据和标准.

三、使用什么工具进行碎片化

在碎片化的方法和参数确定下来以后,我们就可以进行切分操作了,这里离不开两个重要工具.

词库.这是切分时依据的标准.汉语词汇是海量的,我们可以把它分为通用词和专用词两大类,因而就需要有通用词库和专用（业）词库.一般通用词库可以选择标准的或权威机构提供的,词汇量6万-10万个的基本可以够用.

中文自动分词系统.这是一个计算机文本处理的软件工具.我们利用它在内容切分过程中实现如下功能：将文本中两个标点符号之间的汉字,按照我们定义的标准或规则,切分成若干个独立的词汇,并过滤掉其余无意义的单字,再将多次出现的词汇合并,同时记录下该词出现的频率.这样,原本连续的文档,就分解为若干独立的词汇及词频记录,形象地表述就是被“碎片化”了.当然,上述切分是有不同方式的,从左向右的逐字取词称为正向匹配,而从右向左的称为反向匹配,实践表明,反向匹配的正确率高于正向匹配,歧义出现的也比较少.还有,根据取词长度的不同,存在由最大匹配至最小匹配的多种组合方式.在最终决定采取何种切分策略时,应本着在运算速度可接受的前提下,尽可能提高分词质量的原则,不过这可能需要反复进行摸索与评测.

四、碎片化的程度应如何把握

搜索引擎的工作机制是将我们碎片化了的内容,与用户输入的描述搜索条件的语句进行对比匹配,因而,也必须对该搜索条件语句进行碎片化.由于这些条件都是以自然语言形式表述的,所以,要做到完全正确的切分难度很大.一旦切分错误,将带来后续检索和判断的一系列问题,无法保证搜素引擎的质量.鉴于目前的计算机技术尚不能做到对自然语言的完全正确理解,所以,我们只能采取充分匹配的方法,穷尽从最小匹配至最大匹配的所有可能,而不漏掉任何一个词.我们称之为“多粒度”方法.当然,这个原则也必须同样应用到我们对内容的碎片化上.之后的问题,就是如何确定最大匹配值,即最大词长,这与我们的内容有关.大多数情况下,到访出版社网站的客户,其对内容的需求多是与该社出版领域相吻合的,就是说,用户的搜索习惯与出版物的内容特点是有相关性的.所以结论是,碎片化的程度,还要兼顾本社产品的内容特点.五、碎片化对搜索引擎性能的影响

碎片化是搜索引擎进行检索和判断的基础和前提.经过基本的碎片化加工以后,我们可以从出现频率的角度,定量地考察各相关词汇（称为索引词）与内容的相关度,但实践表明,这还不够.由于我们并没有对正文的全部进行碎片化处理,就忽略了章节内容（长短不同）对图书整体相关性产生的影响.因此,我们需要挖掘一些能够定性描述图书核心内容的关 键 词,来补偿或校正这一影响.既然这些词起的是定性作用,那么我们就要赋予其较大的权重,相当于它们所代表的内容以高于平均值的频率出现在总体内容中.实践证明,这一措施对提高搜索引擎的质量做出了重要贡献.那么,到哪里去提取这些描述图书核心内容的关 键 词（也称为特征项）呢?我们把焦点瞄准了网站的产品数据库.经筛选,我们把CIP关 键 词、中图法分类、自定义分类、作译者名、书名、ISBN列为特征项,进行同样的切分,并赋予高权重.因而,我们所讲的碎片化是对所有内容（包括定量的和定性的两部分）而言的广义碎片化.总而言之,碎片化的方式、对象和标准对搜索引擎的性能有重大影响.

六、碎片化是与内容生产永久相伴的

碎片化加工不能一劳永逸,只要新书的生产不停顿,就不断会有新的内容,在经过碎片化处理后,被加入到索引数据库中,否则,搜索引擎就无法检索到它们.正是由于这些新书不断地出现在搜索引擎的结果列表中,网站的新书推荐有了新的途径.因为在新书上市的初期,读者在尚不了解新书信息的情况下,是不可能用书名去进行查询的.而当他们进行主题搜索时,无意中发现了许多新书信息,这势必引起读者的关注,使他们产生阅读的冲动.所以,碎片化处理已成为与新书发布同步的网站日常作业.同时,新书内容中不断涌现的新词,也是我们丰富和完善专业词库的主要来源.

碎片化作为内容结构化处理的一种方式,是我们在出版社网站上的首次尝试,还仅仅是一些探索和实践.在其构思、设计、测试、实施和运维的过程中,我们总结出如下三点基本经验.

专业词库建设,是最重要的基础工作,必须持之以恒的做好.

词库是碎片化加工的必备工具,如果没有专业词库,就无法保证具有自身特点的内容被正确的切分,搜索引擎将显得很不专业,无法发挥出版社网站的资源优势.而专业词库的建设可以有依据词典生成、购写定型产品和基于语料库的统计识别三种途径.我们选择的是第三种,即构建自己的语料库用于词频统计及筛选,该方法不仅花费少、影响因素少,而且能够最大限度地利用本出版社的内容资源,也最切合自身内容特点,并且为以后的扩充和升级词库创造了条件.

必须结合出版社自身特点,并不断总结经验,优化完善.

任何新理论新技术,都不能拿来机械地直接使用,而必须考虑应用对象的特点.出版社有自己的出版领域、产品特色、内容特点、资源形式、数据结构、人才优势,这些都是确定方案及参数的依据和基础.关键在于如何与技术设计相结合,经不断总结经验、测试修改、优化完善,一定可以达到实用化水平.但这是一个逐步实现的过程.

理论与实践、信息技术与出版业务必须紧密结合.

信息技术飞速发展,我们应不断学习和掌握新的理论知识,同时又要敢于实践,才能将创新思想转化为创新实践,从而推动行业的信息化水平不断提高.同时,新技术的应用还要找准突破点,在出版业务有需求、信息技术有可能的结合点上下功夫,就能够取得成功.在开发过程中,既要有突破性的创新逻辑构思,又要兼顾业务需求在模型算法中的合理实现.

网站信息的碎片化加工,是我们在内容结构化处理领域的一次尝试,其目标是为搜索引擎提供结构化的数据基础,是在探索和实现计算机理解自然语言――这一宏伟愿景过程中的一次实践探索.（作者单位系科学出版社）