CN1492367A - 询问应答***及询问应答方法 - Google Patents

Abstract

本发明提供询问应答***及询问应答方法。对于用户以第一语言输入的询问应用具有此第一语言知识源的第一知识数据库和具有第二语言知识源的数据库而求得应答，其中对于此询问检索第一知识数据库求得第一语言的应答候选，将此询问机械翻译成第二语言检索第二知识数据库得到第二语言的应答候选，将第二语言的应答候选机械翻译成第一语言，将第一语言的应答候选与第二语言的应答候选机械翻译成第一语言的结果全按预定基准排序提示给用户。

Description

询问应答***及询问应答方法

技术领域

本发明涉及对用户输入的询问输出应答的询问应答***。

背景技术

以因特网的检索引擎为代表的检索适合用户检索要求的文件并进行归类的文件检索技术正广为普及。但在文件检索中，“想阅读有关……的新闻报道”、“想查阅有关……的万维网页”之类的检索要求虽可满足，而对于“○×公司的经理是谁？”、“富士山高几许？”、“鲸鱼是否将要灭绝？”这类的询问，则不能应答。这就是说，文件检索不过是对文件或文件中的一节作出应答，用户还必须根据文件检索的输出结果，自己探索应答。

作为对于输入的询问输出应答的机构已有询问应答***。询问应答***，例如对于“○×公司的经理是谁？”这类问题并不输出○×公司主页等有关○×公司的文件，而是输出○×公司的经理姓名的应答。此外，对于“富士山高几许”这种询问，则输出“富士山高3776m”的应答。询问应答***例如非特许文献1Wendy G.Lehnert：“TheProcess of Question Answering-A Computer Simulation ofCognition”，Lawrence Erlbaum Associates，Publishers，HillsdateNew Jersey，1978所示，过去都是作为扩展***的一种进行研究，但近年来则作为信息检索与信息提取等研究的发展形式重新受到注意。

例如接受日语询问，应用日语知识源生成应答的单语言询问应答***，通过利用已有的信息检索技术(探索出包含特定单词的文本的技术)与信息提取技术(例如提取出人名、地名、数值等特定种类信息的技术)的组合，能够在某种程度上容易实现。但是在应用单语言知识源生成应答的单语言询问***中存在下述问题。

第一个问题是，为了制成对应于询问的应答，必要的信息量不充分，而这将关系到应答覆盖率与可靠性的降低。例如为了应答日语的询问，有时必要的信息虽于英语的万维网页上有记载但在日语的万维网页上却没有记述，因而不能在实际中应用这种英语信息，而日语单语言询问***在构成应答时是失败的。这就是覆盖率的问题。又例如，对于“○×社の社長は誰か？”这样的询问，对于从日语知识源可以检索到“○×社の社長はA氏である”与“○×社の社長はB氏である”这样两种应答候选而从英语知识源只能检索到“The presidentof ○× Corporation is Mr.A”这样一种应答候选的情形，只能有效利用日语知识源的日语单语言询问应答***，就不能判定应答A氏与B氏哪一个的可靠性高。但在实际中可以认为，作为综合了日语知识与英语知识的A氏的应答，其可靠性高。再有，与询问应答***不同的技术，已知有这样的信息检索装置(例如参考特许文献1：特开平11-219368号公报)，它能在即使检索对象数据库的描述语言与输入关键词的描述语言不同的情形，也可对于输入的关键词获得确实的检索结果的输出。

第二个问题是，为了构成对应于询问的应答，所需的信息在本质上会有偏见。例如对于“鲸鱼是否将要灭绝？”的询问，当作为知识源只利用由进行捕鲸的国家的语言所写成的万维网页上，就只能得到“鲸鱼并非将要灭绝，而是某种鲸鱼正在增殖”这样内容的应答，相反，当只把禁止捕鲸或反对捕鲸的国家语言所写成的万维网页用作知识源时，则仅仅能获得“鲸鱼由于捕鲸国的滥捕正处于灭绝中”这样的内容回答。这样，若将语言限定，就有可能将原本为多样性的观点加以限制。

第三个问题是，每种语言知识源的充实度相异。由于知识源的充实度不同，在许多情形下，会对于某个特定的询问最好是利用对这种询问的应答有充实性的语言A的知识源，而对于另一特定的询问则最好不利用语言A而利用对于此询问的应答充实的语言B的知识源。例如对于有关伊丽莎白女王的询问，英语的万维网页也许是最充实的知识源，而有关相扑的询问则日语的万维网页或许是最充实的知识源。在这类情形下，不能处理此种充实度不同的单语言询问应答***，取决于询问，应答在实质上有很大的偏离。

发明内容

本发明是在考虑到上述问题后而提出的，目的是在对于用户输入的询问输出应答的询问应答***中，有效地利用语言不同的许多知识源，由此来提高应答的覆盖率、可靠性、多样性与稳定性。

本发明的询问应答***是包括对于用户以第一语言输入的询问，应用具有此第一语言知识源的第一知识数据库和具有第二语言知识源的第二知识数据库求得应答的询问应答***，其特征在于此***具有：对于上述询问检索上述第一知识数据库求得第一语言的应答候选的单元；将上述询问机械翻译成第二语言的单元；对于翻译成上述第二语言的询问，检索上述第二知识数据库求得第二语言的应答候选的单元；将上述第二语言的应答候选机械翻译成第一语言的单元；以及将上述第一语言的应答候选与上述第二语言的应答候选机械翻译成第一语言的结果全都依据预定基准排序的单元。

在上述询问应答***的结构中，还具有基于上述排序从上述应答候选中确定其中之一应答的单元。

也可以将上述第一与第二数据库中检索命中件数的多少作为上述基准。

还具备有通过字句处理确定上述各个应答候选的简明性或网罗度的单元，而也可将此简明性或网罗度作为上述基准。

本发明的询问应答方法是包括对于用户以第一语言输入的询问，应用具有此第一语言知识源的第一数据库和具有第二语言知识源的第二知识数据库求得应答的询问应答方法。其特征在于此方法具有：对于上述询问检索上述第一知识数据库求得第一语言的应答候选的步骤；将上述询问机械翻译成第二语言的步骤；对于翻译成上述第二语言的询问，检查上述第二知识数据库求得第二语言的应答候选的步骤；将上述第二语言的应答候选机械翻译成第一语言的步骤；以及将上述第一语言的应答候选与上述第二语言的应答候选机械翻译成第一语言的结果全都依据预定基准排列顺序的步骤。

在上述询问应答方法中，还具有基于上述顺序从上述应答候选中确定其中之一应答的步骤。

也可以将上述第一与第二数据库中检索命中件数的多少作为上述基准。

还具备有通过字句处理确定上述各个应答候选简明性或网罗度的步骤，而也可将此简明性或网罗度作为上述基准。

本发明的询问应答程序是包括对于用户以第一语言输入的询问，应用具有此第一语言知识源的第一数据库和具有第二语言知识源的第二知识数据库求得应答的询问应答程序，其特征在于此程序包括：对于上述询问检索上述第一知识数据库求得第一语言的应答候选的过程；将上述询问机械翻译成第二语言的过程；对于翻译成上述第二语言的询问，检查上述第二知识数据库求得第二语言的应答候选的过程；将上述第二语言的应答候选机械翻译成第一语言的过程；以及将上述第一语言的应答候选与上述第二语言的应答候选机械翻译成第一语言的结果全都依据预定基准排列顺序的过程。

在上述询问应答程序中，还具有基于上述排列顺序从上述应答候选中确定其中之一应答的过程。

还具备有通过字句处理确定上述各个应答候选简明性或网罗度的过程，而也可将此简明性或网罗度作为上述基准。

如上所述，根据本发明的对于用户输入的询问而输出应答的询问应答***，可以有效地利用语言不同的多个知识源，能够因此提高应答的覆盖率、可靠性、多样性与稳定性。

附图说明

图1是概示本发明一实施形式的询问应答***结构的框图。

图2是例示实施形式的信息提取单元中处理步骤的流程图。

图3是例示实施形式的检索单元中处理步骤的流程图。

图4是例示实施形式的翻译单元中处理步骤的流程图。

图5是例示实施形式的应答构成单元中处理步骤的流程图。

图6示明由实施形式的询问应答***求得的应答候选的输出方法的一例。

图7示明由实施形式的询问应答***求得的应答候选的输出方法的另一例。

具体实施形式

下面参照附图说明本发明的实施形式。

图1是概示本发明一实施形式的询问应答***结构的框图。这种询问应答***例如可用通用计算机以及于此计算机上工作的软件实现。而且包括由输入单元与输出单元组成的用户接口4、检索单元10、信息提取单元15、应答生成单元与翻译单元19。用户接口4采用键盘或鼠标等输入装置、显示器等输出装置与硬件、检索单元10、信息提取单元15、应答生成单元18、翻译单元19能作为在通用操作***下工作的计算机程序模块实现。

本发明虽然包含处理任意多种语言知识源的情形，但在实施形式的说明中，为方便起见，设定处理语言1与语言2组成的两种语言的知识源，例如语言1假设为“日语”，语言2假设为“英语”。

下面首先说明本***的整体处理步骤，然后详述主要模块的具体处理步骤。

整体处理步骤

图1中以虚线箭头示明关于询问的信息流，以实线箭头示明关于应答的信息流。

信息提取单元15首先从以多种语言描述的文件16、17中进行信息提取，对每一种语言形成知识数据库13、14。

当用户从输入单元6输入语言1(在此为日语)的询问后，此输入的询问即转送给输入单元6检索单元10与翻译单元19。翻译单元19将此询问翻译成语言2(在此为英语)的询问，转送给检索单元10。

检索单元10对于输入单元6转送来的询问检索语言1(日语)的知识数据库(下面称作“日语知识数据库”)13，再对由翻译单元19翻译成英语的询问检索语言2(英语)的知识数据库(下面称作英语知识数据库)14。将这样求得的日语知识数据库13的检索结果(语言1的应答候选)转送给应答生成单元18，而将英语知识数据库14的检索结果(语言2的应答候选)转送给翻译单元19。然后翻译单元19将语言2的应答候选翻译成语言1转送给应答生成单元18。也即将英语描述的应答候选译成日语而转送给应答生成单元18。

从以上所述，应答生成单元18得到了统一到语言1(日语)的应答候选。此应答生成单元18于应答候选间进行比较，判定应答的顺序，将应答信息传送给输出单元8。在以上处理中，与已有询问应答***不同的主要之处是，将作为检索结果取得的不同语言的回答候选之中至少一种语言的应答候选，通过翻译单元19进行机械翻译，在应答候选统一到另一种语言同时，对于此进行了语言统一的回答候选组，由应答生成部18进行比较处理。

下面对于上述问题按照信息提取单元15、检索单元10、翻译单元19、生成单元18各个的处理顺序，作详细说明。

信息提取单元的处理步骤

图2是例示信息提取单元15的处理的流程图。

信息提取单元15读入以语言i(i＝1，2，…)写成的第j文件(j＝1，2，…)，利用已有的信息提取技术从该文件提取信息，将其结果登录于语言i的知识数据库中。

这里，作为信息提取的具体方法例如有语形学和模式匹配等方法。举例来说，当知识源为日语而文件16中包括“○×社(社長○×太郎)”这种表示时，将其进行语形学分析得到以下分析结果：

“/○×社<专有名词>/(<符号>/社長<普通名词>/：<符号>/○×太郎<专有名词>/)<符号>”这里的“/”表示词类的分割。

在此假定，通过采用将“/X<专有名词>/(<符号>/社長<普通名词>/：<符号>/Y<专有名词>/)<符号>”这种语形的排列改写为

“  X[PRESIDENT＝＝Y]”

这样的知识表示的信息提取规则，可以得到

“○×社[PRESIDENT＝＝○×太郎]”这样的知识。

又例如通过采用将

“/X<专有名词>/の<助词>/Y<专有名词>/社長<普通名词>”这种语形的排列改写为

“X[PRESIDENT＝＝Y]”这样的知识表示的信息提取规则，同样能从“○×社の○×太郎社長…”获得

“○×社”PRESIDENT＝＝○×太郎”的知识。

再有，例如当知识源为英语时，通过进行词类检测(Part-of-Speech tagging)来代替语形分析，可以从文件17中的“Taro ○×，president of ○× Corporation，…”这种表示，获得例如

“○×__Corporation[PRESIDENT＝＝Toro__○×]”这样的表现形式的知识。

此外，在上述这种表现形识的知识中，也可附加作为源的文件的识别号。这样，就能在以后阶段掌握能由哪种文件文本获得各种知识数据。

信息提取单元15将以上求得的各种知识按每种语言登录于知识数据库13、14中。

检索单元的处理

图3是例示检索单元10的处理的流程图。

检索单元10首先从输入单元6接收用户的询问(步骤S11)，再由翻译单元19接收该询问的翻译结果(步骤S12)。然后对于由语言i(i＝1，2，…)写成的各询问生成检索条件。例如将“○×社の社長は？”的日语询问由检索单元10变换为“○×社[PRESIDENT＝＝*]”这样表现形式的检索条件(步骤13)。这里的符号“*”表示字分割。检索单元10应用生成的检索条件检索日语知识数据库13(步骤15)。由此，例如进行“○×社[PRESIDENT＝＝○×太郎]这种数据的匹配，作为应答候选能得到”“○×太郎”。一般可以得到多个应答候选。

检索单元10对于日语以外的询问也进行同样的处理。具体地说，例如对于英语的询问“Who is the president of ○× Corporation？”，可将其变换为“○×_Corporation[PRESIDENT＝＝*]”这样的检索条件(步骤S14)，应用它检索英语知识数据库14(步骤S15)，由此作为应答候得到“Taro_○×”。

检索单元10于步骤S16判定现在处理中的询问的语言是否与用户输入的询问语言相同？根据此判定结果将应答候选再接转送给应答生成单元18(步骤17)或是翻译单元19(步骤18)。例如用户询问的输入语言是日语时，则通过日语知识数据库13的检索求得的应答候选原样地转送给应答生成单元18，而通过英语知识数据库14的检索取得的应答候选则传送给用户翻译成日语的翻译单元19。

翻译单元的处理

图4(a)例示翻译单元19的询问处理程序的流程图，图4(b)例示翻译单元19的应答处理程序的流程图。翻译单元19对询问进行机械翻译转送给检索单元10。此外将应答候选进行机械翻译转送给应答生成单元18。

例如当从输入单元6接收到“○×社の社長は？”(步骤S21)，翻译单元即将其机械翻译成“Who is the president of ○×Corporation？”(步骤S22)，将该机械翻译的结果转送给检索单元10(步骤S23)。另一方面，当从检索单元10接收到“Taro_○×”这样的应答候选字符串(步骤S24)后，翻译单元19将其机械翻译成“○×太郎”(步骤2 5)，并将此翻译结果转送给应答生成单元18(步骤S26)。

应答生成单元的处理步骤

图5是例示本实施形式的应答生成单元18的处理步骤的流程图。

应答生成单元18首先从检索单元10接收应答候选(步骤S27)，然后还从翻译单元19接收应答候选(步骤S28)。如上所述，从检索单元10接收的应答候选的语言与从翻译单元19接收的应答候选语言是相同的。例如用户以日语询问时，从检索单元1 0接收的应答候选乃是从日语知识数据库13的检索取得的日语的应答候选本身，另一方面由翻译单元19接收的应答候选，则是将检索单元10检索英语知识数据库14所得的英语的应答候选翻译成日语的结果。这样，应答生成单元18只处理一种语言。

应答生成单元18对应答候选进行相互比较处理(步骤S29)。由此确定应答的顺序，将最佳应答或附有顺序的应答转送给输出部8(步骤30)。下面详述应答的顺序的判定方法。

应答顺序的确定方法

再次考虑假设输入“○×社の社長は？”这样的日语询问的情形，而在此利用“信息提取单元的处理步骤”所述的，将“/X<专有名词>/の<助词>/Y<专有名词>/社長<普通名词>”这样的语形排列改写为“X[PRESIPENT＝＝Y]这样的知识表示的信息提取规则，同时假定在日语知识数据库13的形成中所用的日语文件16内包含有：

(a)“○×社の○×太郎社長”

(b)“○×社の○×社長”

(c)“○×社は…△△社ヘの出资を決あた。 ○×社の△△社長に対する期待は大きい。”这样的表示。

作为应答候选，可得到“○×太郎”、“○×”与“△△”等。这里“△△”的应答候选，在上述(c)的“○×社の△△社長(に対する期待は大きい)”的表示中，虽可由于信息提取规则的匹配得到，但在实际中假定其作为应答是不妥的(此外，即使信息提取的精度高，但由于还要考虑到在原始文件本身中也会有写得不真实的情形，一般在应答候选中混杂有不妥当内容的可能性不小)。

在此，检索日语知识数据库13的结果，假设得到“○×太郎”这样的应答候补3件，“○×”这样的应答候选1件，“△△”这样的应答候选1件。在把“○×社の社長は？”这样的日语询问翻译成英语，再基于此询问译成英语的结果来检索英语知识数据库14时，设将由此检索的应答候选翻译成日语的结果得到了“○×太郎”这样的应答候选2件，“○×”这样的回答候选1件。在以上情形下，例如可以依据单纯的多数决定法决定应答的顺序。

图6例示由本实施形式的询问应答***求得的应答候选的输出方法。这里的多个应答(候选)1～3(“○×太郎”、“○×”、“△△”)，在从日语知识数据库13的检索结果与从英语知识数据库14的检索结果中，按命中的顺序分类(202)。图6中，由黑圆点“●”所示的标记204表示命中的知识数据。此种标记204在表203中按知识源不同进行区分显示，用户据此可判断知识数据的语言类别。上述这种标记显示只不过是一个例子。例如取代标记204也可示以文件ID等。此外，也可对标记204设置为可点来，根据用户的单击指示，显示知识源文件中的相应处所。

在图6的显示例中，应答2“○×”与应答3“△△”的日语知识数据库13中的命中件数都是1。在采用已有的单一语言知识源的询问应答***中不能判断采用哪种回答为佳。但在本发明的实施形式中，由于应答2“○×”不仅能从日语知识源而且也能从英语知识源求得，故可判定其比只能从日语知识源得到的应答3“△△”的可靠性高。

在图6的显示例中，为使用户能选择应答候选的输出方法，设有复迭框201，在此选择的是“多数决定”。

作为输出方法的其他选择方式，与多数决定的形式相反，有以应答候选的独特性(珍稀性)为基准附以顺序显示的“唯一性”，有以应答候选的网罗性(详尽度)为基准排序显示的“网罗性”，有以应答的简明性为基准附以顺序显示的“简明性”等。此外，也可以不以单纯地将命中件数的多寡作为基准分类，例如可进行这样的排序：使日语知识数据库13与英语知识数据库14各命中1次(命中数总计为2)的应答候选，优先于于日语知识数据库13中两次命中的应答候选。

又例如，应答候选“○×”是“○×太郎”的部分字符串一事，容易基于字句处理判定。因此也可以将信息量更多的“○×太郎”一方优先地显示。

根据网罗性或简明性观点来确定应答候选顺序的另一例子示明于图7中。这里的询问“酵素つて何？”是要求把所用词的定义作为应答的日语询问(300)。在处理上述询问300的情形，信息提取部15例如将包含“…は…の一種です”这样的表示的文本(例如语句或段落)视作所用词的定义，而预先将其提取出。此外，例如对于英语的知识源，则把包含“…is a kind of…”或“…is a type of…”这类惯用表示的文本视作定义，预先提取出。

如图7例示，假定对于日语知识数据库13的定义表示的检索，作为应答得到了例如下述的文本：

A1：“酵素は、触媒の一種です。触媒とは、化学反応を速ある…”

A2：“酵素は触媒の一種。”再有，通过将日语的“酵素つて何？”作机械翻译则得到“What is anenzyme？”这样的英语询问，通过对英语知识数据库14的定义表示的检索，假定作为应答得到了“An enzyme is a kind of catalyst”这样的文本。

将上述英语的应答通过机械翻译翻译成日语后，例如得到A2′：“酵素は触媒の一種です。”据此，应答生成单元18从检索单元18接收到上述应答A1与A2而从翻译单元19接收到A2′。

在上述情形下，应答生成部18例如对A1、A2与A2′的各个进行语形分析，求出单词的“不同”，以此为基础，进行应答候选的整理与排定优先顺序。

具体地说，根据应答A1，得到不同的单词：“酵素、触媒、一種、化学、反応”；根据A2与A2′则得到不同的单词：“酵素、触媒、一種”。由此可知，A2与A2′作为应答是等价的，而A1比A2与A2′的网罗性(详细度)高。将上述结论示明于图7中。按照网罗性高的顺序排列给用户以提示。

相反，在用户追求“简洁性”的原则，则可按照图7所示相反的顺序进行显示。

在以上的说明中是对于应答候选是排序，将据此分类的结果提示给用户，但也可将上述顺序只显示1件最大的。

通过在文件检索中利用机械翻译等的例如用日语检索要求来实现英语文件检索的交叉语言信息检索(cross-language informationretrieval)这种技术，已是周知的，但这终究是为了对文件进行排序而来计算检索要求与各个文件的类似度，这同除进行机械翻译外还进行应答候选相互间比较以选定最佳应答的本发明的实施形式是不同的。

Claims (8)

1.一种询问应答***，它是对于用户以第一语言输入的询问应用具有此第一语言知识源的第一知识数据库和具有第二语言知识源的第二知识数据库求得应答的询问应答***，其特征在于此***具有：

对于上述询问，检索上述第一知识数据库，求得第一语言的应答候选的单元；

将上述询问机械翻译成第二语言的单元；

对于翻译成上述第二语言的询问，检索上述第二知识数据库，求得第二语言的应答候选的单元；

将上述第二语言的应答候选机械翻译成第一语言的单元；以及

将上述第一语言的应答候选与上述第二语言的应答候选机械翻译成第一语言的结果全都依据预定基准排序的单元。

2.权利要求1所述的询问应答***，其特征在于，此***还具有基于上述排序从上述应答候选中确定其中之一个应答的单元。

3.权利要求1所述的询问应答***，其特征在于，以将上述第一与第二数据库中检索命中件数的多少作为上述基准。

4.权利要求1所述的询问应答***，其特征在于，它还具备有通过字句处理确定上述各个应答候选的简明性或网罗度的单元，并将此简明性或网罗度作为上述基准。

5.一种询问应答方法，它是对于用户以第一语言输入的询问，应用具有此第一语言知识源的第一数据库和具有第二语言知识源的第二知识数据库求得应答的询问应答方法。其特征在于此方法具有：

对于上述询问检索上述第一知识数据库求得第一语言的应答候选的步骤；

将上述询问机械翻译成第二语言的步骤；

对于翻译成上述第二语言的询问，检查上述第二知识数据库求得第二语言的应答候选的步骤；

将上述第二语言的应答候选机械翻译成第一语言的步骤；以及

将上述第一语言的应答候选与上述第二语言的应答候选机械翻译成第一语言的结果全都依据预定基准排序的步骤。

6.权利要求5所述的询问应答方法，其特征在于，此询问应答方法还具有基于上述排序从上述应答候选中确定其中之一个应答的步骤。

7.权利要求5所述的询问应答方法，其特征在于，以将上述第一与第二数据库中检索命中件数的多少作为上述基准。

8.权利要求5所述的询问应答方法，其特征在于，它还具备有通过字句处理确定上述各个应答候选的简明性或网罗度的步骤，并将此简明性或网罗度作为上述基准。

Images