CN112632234A - 人机交互方法、装置、智能机器人和存储介质 - Google Patents
人机交互方法、装置、智能机器人和存储介质 Download PDFInfo
- Publication number
- CN112632234A CN112632234A CN201910955688.1A CN201910955688A CN112632234A CN 112632234 A CN112632234 A CN 112632234A CN 201910955688 A CN201910955688 A CN 201910955688A CN 112632234 A CN112632234 A CN 112632234A
- Authority
- CN
- China
- Prior art keywords
- sentence
- statement
- corpus
- stem
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 20
- 238000005034 decoration Methods 0.000 abstract description 3
- 239000013589 supplement Substances 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种人机交互方法、装置、智能机器人和存储介质，该方法包括：智能机器人接收用户输入的第一语句并对其进行主干提取，以得到第一语句的语句主干。然后，在预先建立的语料库中确定与此语句主干在语义上匹配的第二语句。最终，智能机器人会根据第二语句对第一语句进行响应，从而实现人机交互。经过对第一语句的主干提取，能够将第一语句中的修饰和补充部分全部剔除，避免非主干部分对语义匹配过程产生干扰，最大程度避免出现机器人匹配不到第二语句的情况，这也就进一步地避免出现机器人无法对第一语句进行响应的情况，保证人机交互的正常进行。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人机交互方法、装置、智能机器人和存储介质。
背景技术
随着人工智能技术的发展，各种智能机器人越来越多地进入人们的生活，比如服务机器人、清洁机器人、自移动售货机器人等等。为了方便用户的使用，智能机器人通常都支持多种人机交互方式，比如基于触摸操作的人机交互方式以及基于语音的交互方式等等。
但无论是何种交互方式，在实际应用中，在接收到用户输入的对话内容后，智能机器人通常会先确定出对话内容的语义，进一步地，根据语义输出与对话内容对应的应答内容，从而实现了人机交互。
发明内容
本发明实施例提供一种人机交互方法、装置、智能机器人和存储介质，用以保证人机对话的正常进行，避免出现无法对用户输入语句进行响应的情况。
本发明实施例提供一种人机交互方法，包括：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
本发明实施例提供一种人机交互装置，包括：
接收模块，用于接收用户输入的第一语句；
提取模块，用于对所述第一语句进行主干提取，以得到语句主干；
第一确定模块，用于在语料库中，确定与所述语句主干语义匹配的第二语句；
响应模块，用于根据所述第二语句对所述第一语句进行响应。
本发明实施例提供一种智能机器人，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
在本发明实施例中，用户与智能机器人进行人机交互时，可以向智能机器人发出交互语句即第一语句。智能机器人会采集此第一语句，并对其进行主干提取，以得到第一语句的语句主干。然后，在预先建立的语料库中确定与语句主干在语义上匹配的第二语句。最终，智能机器人根据第二语句对第一语句进行响应，从而实现人机交互。
若直接使用第一语句进行语义匹配，则在匹配过程中，第一语句中的非主干部分会对匹配产生影响，很容易出现匹配不到第二语句的情况。而对第一语句进行主干提取，能够将第一语句中的修饰和补充部分全部剔除，避免非主干部分对语义匹配过程产生干扰，最大程度避免出现匹配不到第二语句的情况，这也就进一步地避免出现机器人无法对第一语句进行响应的情况，保证人机交互的正常进行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人机交互方法的流程图；
图2为本发明实施例提供的另一种人机交互方法的流程图；
图3为本发明实施例提供的一种第二语句确定方式的流程图；
图4为本发明实施例提供的步骤304的一种具体实现方式的流程图；
图5为本发明实施例提供的一种人机交互装置的结构示意图；
图6为与图5所示实施例提供的人机交互装置对应的智能机器人的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义，“多个”一般包含至少两个。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
在详细介绍本发明实施例提供的人机交互方法之前，先对目前如何实现用户与智能机器人之间的交互进行介绍：一种最常见的方式是将用户输入的语句输入语义识别模型中，以由此模型来对语句进行分类，分类结果即为语句的语义。然后，智能机器人再进一步根据识别出的语义输出相应的响应结果，从而实现人机交互。
使用这种方式时，语义识别的准确性会直接到响应结果的准确性。而要保证语义识别模型的识别效果就又需要预先获取对应于对每种语义的大量语料，以用此大量语料作为训练样本进行模型训练，此时就对语料的收集提出了较高的要求。同时，由于不同语义所对应的训练样本往往又是存在内容重复的，这种重复会导致语义识别效果不理想。另外，在实际应用中，由于训练样本的限制，语义识别模型通常不能学习到全部语义。当用户输入的语句是一个语义模型未学习到的全新语义时，则无法保证语义识别的效果，此时往往还需要针对此全新语义重新收集语料并重新训练语义识别模型。可见，使用语义识别模型来得到语句会存在上述问题。
为了避免上述问题，下面结合以下的实施例对本文提供的人机交互方法进行详细介绍。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
实际应用中，该人机交互方法可以由诸如服务机器人、清洁机器人、自移动售货机器人等智能机器人来执行，当然，该人机交互方法也可以由诸如在线购物***中集成的人机交互插件(或者称为人机交互接口、人机交互功能模块)来执行，该人机交互方法还可以由诸如智能家电、智能穿戴设备等智能终端来执行。泛泛而言，该人机交互方法可以适用于任何支持以语音方式与用户进行交互的设备、***中。
图1为本发明实施例提供的一种人机交互方法的流程图，如图1所示，该方法可以包括如下步骤：
101、接收用户输入的第一语句。
智能机器人可以配置有供用户输入交互语句的操作屏幕，此时，输入的交互语句表现为文字形式。另外，智能机器人上还可以安装有诸如麦克风等拾音器件，当用户说出一条交互语句时，智能机器人便可以通过此拾音器件采集到语音形式的交互语句。本实施例以及下述各实施例中，用户输入交互语句均被称为第一语句，此第一语句可以是文字形式的交互语句，也可以是对语音形式的交互语句进行文字转化后得到的文字内容。
当然，在不同的应用场景中，第一语句的内容也是多种多样的。比如，当用户想要查询天气情况时，可以对智能机器人发出“明天的天气如何”这样的第一语句。当用户在购物时，又可以对智能机器人发出“最近有什么团购吗”这样的第一语句。
102、对第一语句进行主干提取，以得到语句主干。
接着，智能机器人会对接收到的第一语句进行主干提取。一种可选地方式，智能机器人内可以配置有标注模型，则第一语句会被输入至标注模型，以由此模型输出与第一语句对应的标注结果。智能机器人可以根据输出的标注结果对第一语句进行主干提取，得到第一语句的语句主干。
具体来说，标注模型可以采用BIO标注方法对第一语句进行标注。假设用户输入的第一语句为“我要办理一张银行卡用于存工资”。此语句被输入至标注模型后，可选地，可以以字为单位进行划分，标注模型会为每一个单字都生成一个标注结果，再由所有的标注结果组成标注序列。针对上述的第一语句，标注模型输出的标注序列为“BIIIIIIIOOOOO”。可选地，还可以以词为单位对第一语句进行划分也即是对其进行分词处理，每个词语会对应于一个标注结果。承接上述举例，第一语句的分词结果为“我要办理一张银行卡用于存工资”，标注模型输出的标注序列为“BIIIIOOOO”。
无论是上述哪种方式得到的标注序列，序列中的“B”用以表示语句主干的开始，“I”用以表示语句中干的中间，“O”用以表示非语句主干。此时，智能机器人便可以将上述标注序列中“B”和“I”所对应的文字确定为第一语句的语句主干，并将其提取出来。
其中，标注模型通常采用的是有监督的训练方式，也即是需要人工将获取到的训练语料进行主干标注，再将人工标注过的训练样本输入模型进行训练，从而得到标注模型。在实际应用中，可选地，标注模型具体可以为隐马尔科夫模型(Hidden Markov Model，简称HMM)、条件随机场(Conditional RandomField，简称CRF)模型、最大熵模型(MaximumEntropy Model，简称MEM)、长短期记忆网络(Long Short-Term Memory，简称LSTM)模型等等。
103、在语料库中，确定与语句主干语义匹配的第二语句。
智能机器人提取出第一语句的语句主干后，还会将此语句主干与预先建立的语料库中包含的语句进行语义匹配，从而在语料库中搜索出与语句主干在语义上匹配的第二语句。而此在语义上匹配主要是由语句主干和语料库中语句之间的语义相似度体现出来的。
对于第二语句的搜索方式，一种可选地方式，智能机器人可以先对语句主干和语料库包含的语句进行字词划分，此处的字词划分既可以是以字为单位进行的划分，也可以是对语句的分词处理。基于划分结果，再依次计算语句主干与语料库中语句之间的文字重合率。此文字重合率可以理解为语句之间的语义相似度，文字重合率越高，语句之间的语义相似度越高。则最常见一种的方式，可以将语料库中与语句主干具有最高文字重合率的语句直接确定为第二语句。
另一种可选地方式，语句主干和语料库中的语句可以分别组成语句对，智能机器人可以将语句对依次输入语义匹配模型中，以由语义匹配模型为每个语句对输出一个0～1的分值。此分值表示一个语句对中两个句子之间的语义相似度。智能机器人可以将语料库中最高语义相似度对应的语句确定为第二语句。
其中，与标注模型类似的，在训练语义匹配模型时，也需要人工将训练语料中的每个语句对的语义相似度进行标注，也即是采用有监督的训练来训练此语义匹配模型。并且可选地，在实际应用中，上述的语义匹配模型具体可以为变换双向编码表示(Bidirectional Encoder Representation FromTransformers，简称BERT)模型、深度语义匹配模型(Deep Structured Semantic Models，简称DSSM)、孪生神经网络模型(Siamesenetwork)等等。
需要说明的有，通过上述方式确定出的第二语句与第一语句的语句主干具有较高的语义相似度。虽然二者的语义一般无法实现完全相同，但在实际应用中，可以将二者的语义视为相同，以方便进一步根据此第二语句对包含语句主干的第一语句进行响应。
104、根据第二语句对第一语句进行响应。
在确定出第二语句后，智能机器人可以根据第二语句以及确定第二语句过程中使用到的语料库为依据对第一语句进行响应，也即是输出与第一语句对应的应答语句。此应答语句即为下述实施例中的第五语句。以最常见的问答交互场景为例，对第一语句的响应具体为智能机器人根据第二语句从语料库中确定出第一语句对应的答案即第五语句。
综上，在上述提供的人机交互方法中，智能机器人接收用户输入的第一语句并对其进行主干提取，以得到第一语句的语句主干。然后，在预先建立的语料库中确定与此语句主干在语义上匹配的第二语句。最终，智能机器人根据准确地第二语句对第一语句进行响应，从而实现人机交互。一方面，经过主干提取，能够将第一语句中的修饰和补充部分全部剔除，避免非主干部分对语义匹配过程产生干扰，最大限度避免出现匹配不到第二语句的情况，这也就进一步地避免出现机器人无法对第一语句进行响应的情况，保证人机交互的正常进行。另一方面，正如步骤103中描述的，对于提取出的语句主干，是根据语句主干搜索匹配出与其语义匹配的第二语句的，也即是通过搜索匹配的方式来确定语句主干的语义的。由于在搜索匹配的过程中并不会使用到语义识别模型，因此也就避免了在使用语义识别模型过程中产生的上述各种问题。
图1所示实施例中确定第二语句的依据是第一语句的语句主干，这样可以改善匹配不到第二语句的情况。在实际应用中，当然也存在直接使用第一语句就可以匹配到第二语句的情况。基于此，图2为本发明实施例提供的另一种人机交互方法的流程图，如图2所示，该方法可以包括如下步骤：
201、接收用户输入的第一语句。
上述步骤201的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此不再赘述。
202、在语料库中确定是否存在与第一语句语义匹配的第三语句，若存在，则执行步骤203，若不存在，则执行步骤204～206。
203、根据第三语句对第一语句进行响应。
智能机器人可以先以第一语句为依据确定与其语义匹配的第三语句，其确定过程与上述实施例步骤103中根据第一语句的语句主干确定第二语句的过程一致，具体过程可以参见步骤103中的相关描述，在此不再赘述。除了图1所示实施例中提供的方式，还可以使用下述如图3、图4所示的方式来确定出第三语句，具体描述可以参见以下描述。
若按照上述方式确定出在语料库中存在与第一语句语义匹配的第三语句，第一语句和第三语句之间的语义相似度应该是大于预设阈值的，此时，第一语句和第三语句的语义可以视为相同。则智能机器人可以直接根据此第三语句对第一语句进行响应。若按照上述方式确定语料库中不存在与第一语句语义匹配的第三语句，则智能机器人会进一步执行下述的步骤204～206。
204、对第一语句进行主干提取，以得到语句主干。
图1所示实施例中已经提供了一种主干提取的方式。除此之外，另一种可选地方式，智能机器人对获取到的第一语句进行分词、词性划分，再对得到的结果进行语法分析，以得到语法分析结果。此语法分析结果中可以包括第一语句中各词语在第一语句中所承担的语句成分。其中，语句成分可以包括主语、谓语、宾语、定语、状语等等。然后，根据语法分析结果进行主干提取。
举例来说，假设用户输入的第一语句为“我想知道如何办理银行卡”，则智能机器人对此第一语句进行分词、词性划分后得到的结果为：“我”为人称代词，“想”为动词，“知道”为动词，“如何”为副词，“办理”为动词，“银行卡”为名词；并进一步根据词语词性进行语法分析，语法分析结果可以为：“我”是“知道”的主语，“想”是“知道”的状语，“办理”是“知道”的宾语，“如何”是“办理”的状语，“银行卡”是“办理”的宾语。则根据上述语法分析结果可知，对于“知道”这一动词，有与其连接的宾语，并且此宾语后续也连接有其他词语，此时，可以直接将动词“知道”后续连接的词语“如何办理银行卡”一并提取为语句主干。
此处需要说明的有，在实际应用中，为了提高流程的整体实施速度，步骤202和步骤204也可以同时进行。只不过若在语料库中能够直接确定出与第一语句语义匹配的第三语句，则步骤204中提取出的语句主干也就不会被使用到。
205、在语料库中，确定与提取出的语句主干语义匹配的第二语句。
206、根据第二语句对第一语句进行响应。
上述步骤205～206的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此不再赘述。
本实施例中，智能机器人在接收到第一语句后，先直接使用此第一语句进行语义匹配。若能够匹配到第三语句，就直接根据此第三语句来对第一语句进行响应。这种情况下，语句的响应流程较为简洁，能够在一定程度上保证语句响应的快速和准确。若根据第一语句不能匹配到第三语句，则智能机器人再会对第一语句进行主干提取，并利用提取出的语句主干进行语义匹配处理，并根据匹配到的额第二语句完成对第一语句的响应。执行本实施例所示的流程能够避免出现匹配不到与第一语句语义匹配的第二语句或第三语句的情况，保证人机交互的正常进行。
根据上述各实施例中的描述可知，根据第一语句的语句主干确定与其语义匹配的第二语句，对于实现正常的人机交互是一个重要过程。虽然上述实施例中也已经提供了多种第二语句的确定方式，但在实际使用中发现，使用文字重合率来确定第二语句，其的泛化能力较弱；使用语义匹配模型来确定第二语句又存在计算量大、计算过程复杂的问题。
为了改善上述问题，可选地，可以结合下述的图3、图4所示的方式来确定第二语句，下述方式实际上是文字重合率和语义匹配模型的结合使用。
301、对语句主干和语料库包含的语句进行字词划分。
302、根据划分结果，确定语句主干和语料库包含的语句之间的文字重合率。
303、根据文字重合率从语料库中搜索第四语句。
304、从搜索出的第四语句中确定第二语句。
具体来说，智能机器人可以先对语句主干和语料库包含的语句进行字词划分。基于划分结果，再依次计算语句主干与语料库中语句之间的文字重合率。此部分处理过程可以参见图1所示实施例步骤103中的相关描述。除了上述方式，由于语句主干中不同词性的词语对于句子语义具有不同程度的影响，比如动词对语义的影响大于名词对语义的影响，因此，可选地，还可以为语句主干中的不同词性的词语设置不同的权重值，再根据此权重值计算文字重合率。接着，从语料库中搜索出文字重合率高于预设阈值的语句，以将这些语句确定为第四语句，第四语句的数量通常为多个。
在实际应用中，文字重合率是一个0～1之间的数值，则搜索第四语句使使用的预设阈值可以设置为一个较大的数值，比如0.8，使其形成一个较为严苛的搜索条件，这样搜索出的第四语句均与第一语句的语句主干具有较高文字重合度。此时，智能机器人可以随机将其中的一句确定为第二语句。
但上述这种从第四语句中随机选取第二语句的方式显然比较粗糙，导致第二语句准确度不高。因此，步骤304的另一种实现方式可以如图4所示：
3041、计算语句主干和第四语句之间的第一语义相似度。
3042、将第一语义相似度不小于第一预设阈值的第四语句输入语义匹配模型。
智能机器人先计算语句主干与第四语句之间的第一语义相似度。可选地，此第一语义相似度可以具体体现为两个语句的编辑距离或者余弦相似度等等。第一语义相似度可以理解为从文字差异角度间接判断两语句间的语义相似度。
然后，比较第一语义相似度与第一预设阈值之间，将第一语义相似度不小于第一阈值的第四语句划分至第一分组，将第一语义相似度小于第一阈值的第四语句划分至第二分组。即相较于第二分组，第一分组内的第四语句与第一语句的语句主干之间具有更高的第一语义相似度，二者从文字表面上更加接近。
接着，将语句主干和第一分组中的语句输入语义匹配模型中。此时，语句主干分别和第一分组中的第四语句会组成语句对，语义匹配模型会为每个语句对输出一个第二语义相似度，此第二相似度是直接从语义角度判断语句间相似度的。其中，第一语义相似度和第二语义相似度都可以是一个0～1之间的数值。
3043、若语义匹配模型输出的第二语义相似度不小于第二预设阈值，则从第一语义相似度不小于第一预设阈值的第四语句中确定第二语句。
若语义模型输出的第二语义相似度不小于第二预设阈值，表明由第一分组中第四语句和语句主干不仅文字表面接近并且语义也高度相似，此时，智能机器人可以将第一分组中最大第二语义相似度对应的第四语句确定为第二语句。
3044、若语义匹配模型输出的第二语义相似度小于第二预设阈值，则将第一语义相似度小于第一预设阈值的第四语句输入语义匹配模型。
3045、根据语义匹配模型输出的第二语义相似度，从第一语义相似度不满足第一预设阈值的第四语句中确定第二语句。
若语义匹配模型输出的第二语义相似度小于第二预设阈值，表明第一分组中第四语句和语句主干仅仅是文字表面的接近，语义并不相同，此时，第一分组中的第四语句被全部舍弃。智能机器人会再将第二分组中的第四语句输入语义匹配模型。语义匹配模型会为每个由语句主干和第二分组中第四语句构成的语句对生成第二语义相似度。智能机器人可以将第二分组中最高第二语义相似度对应的第四语句确定为第二语句。
其中，上述的第一预设阈值和第二预设阈值可以根据实际需求设置为0～1之间的一个数值，二者可以相等或不等，并且二者之间也没有大小关系的限定。比如可以将第一预设阈值设置为0.5，第二预设阈值设置为0.8。
图3和图4所示实施例总体来说是，智能机器人先以文字重合率为依据从语料库中搜索出一部分语句作为第四语句。然后，再通过相似度计算算法结合语义匹配模型的方式从第四语句中确定出与第一语句的语句主干在语义上最匹配的第二语句。可见，在上述实施例中，智能机器人依旧是通过先检索再匹配的方式来确定出语句主干的语义的，也即是确定出与第一语句的语句主干在语义上匹配的第二语句的。语义确定的过程中并不会使用到语义识别模型，也就自然可以避免因使用语义识别模型产生的各种问题。
同时，根据图3、图4所示的实施例可知，智能机器人先通过计算算法计算出第四语句与语句主干之间的第一语义相似度，通过第一语义相似度对第四语句进行一次筛选。然后只把第一语义相似度不小于第一预设阈值的第四语句即第一分组内的第四语句输入至语义匹配模型。此时，语义匹配模型只需对第一分组内的第四语句进行计算，与计算全部的第四语句相比，能够大大降低语义模型的计算量，从而能够保证第二语句被快速确定出来。
在利用上述各实施例提供的方式确定出第二语句后，智能机器人会根据此第二语句对第一语句进行响应，从而实现人机交互。在实际应用中，常见的人机交互类型通常包括单轮对话即问答或者多轮对话。交互类型不同，其的响应的过程往往也不尽相同。
具体来说，当交互类型为问答时，在确定第二语句过程中使用的语料库为问答语料库，其中记录有问答语句对。例如，“我想下载手机银行”以及“扫描我身上的二维码即可下载”是问答语料库中的一对问答对。由于第二语句为存在于问答语料库中的一个问题，则根据问答语料库中的问答语句对，智能机器人可以直接找到并输出此问题对应的答案，此答案也即是第一语句的响应结果即第五语句。
当交互类型为多轮对话时，在确定第二语句过程中使用的语料库为意图语料库，其中记录有语句与所属意图之间的对应关系，此语句的意图可以理解为语句的语义。比如，语句“我想办理银行卡”，与其具有对应关系的意图为“办卡”。智能机器人在确定出第二语句的同时也得到了此第二语句的意图，则智能机器人会将此第二语句对应的意图以及第二语句之前上文语句对应的对话状态一并输入自身配置的对话***中，以由此对话***确定出对应于第一语句的应答语句即第五语句。
可见，本发明提供的人机交互方法既适用于单轮对话即问答场景又适用于多轮对话场景。这样的话只需在智能机器人内部署一套***即可使智能机器人同时具有问答或多轮对话的交互功能，使得智能机器人内部交互***的部署更为简洁。
以下将详细描述本发明的一个或多个实施例的人机交互装置。本领域技术人员可以理解，这些人机交互装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图5为本发明实施例提供的一种人机交互装置的结构示意图，如图5所示，该装置包括：
接收模块11，用于接收用户输入的第一语句。
提取模块12，用于对所述第一语句进行主干提取，以得到语句主干。
第一确定模块13，用于在语料库中，确定与所述语句主干语义匹配的第二语句。
响应模块14，用于根据所述第二语句对所述第一语句进行响应。
可选地，所述人机交互装置还包括：第二确定模块21，用于在所述语料库中，确定是否存在与所述第一语句语义匹配的第三语句。
所述响应模块14，用于若存在所述第三语句，则根据所述第三语句对所述第一语句进行响应。
所述第一确定模块13，用于若不存在所述第三语句，则在所述语料库中，确定与所述第一语句的语句主干语义匹配的第二语句。
可选地，所述第一确定模块13具体包括：
划分单元131，用于对所述语句主干和所述语料库包含的语句进行字词划分。
第一确定单元132，用于根据划分结果，确定所述语句主干和所述语料库包含的语句之间的文字重合率。
搜索单元133，用于根据所述文字重合率从所述语料库中搜索所述第四语句。
第二确定单元134，用于从搜索出的所述第四语句中确定所述第二语句。
可选地，所述第二确定单元134具体用于：计算所述语句主干和所述第四语句之间的第一语义相似度；将所述第一语义相似度不小于第一预设阈值的第四语句输入语义匹配模型；若所述语义匹配模型输出的第二语义相似度不小于第二预设阈值，则从所述第一语义相似度不小于所述第一预设阈值的第四语句中确定所述第二语句。
可选地，所述第二确定单元134，还用于若所述语义匹配模型输出的第二语义相似度小于所述第二预设阈值，则将所述第一语义相似度小于所述第一预设阈值的第四语句输入所述语义匹配模型；以及根据所述语义匹配模型输出的第二语义相似度，从所述第一语义相似度小于所述第一预设阈值的第四语句中确定所述第二语句。
可选地，所述人机交互装置中的提取模块12具体包括：
分析单元121，用于对所述第一语句进行语法分析，以得到所述第一语句中各词语的词性在所述第一语句中对应的语句成分。
提取单元122，用于根据所述语句成分对所述第一语句进行主干提取，以得到语句主干。
可选地，所述人机交互装置中的响应模块14具体包括：
确定单元141，用于根据所述第二语句，在所述问答语料库中确定与所述第二语句满足问答关系的第五语句。
输出单元142，用于输出所述第五语句。
可选地，所述响应模块14具体还包括：输入单元143。
确定单元141，用于在所述意图语料库中确定所述第二语句对应的意图。
输入单元143，用于将所述意图输入至对话***，以由所述对话***确定与所述第二语句对应的第五语句。
输出单元142，用于输出所述第五语句。
图5所示人工交互装置可以执行前述图1至图4所示实施例提供的人机交互方法，本实施例未详细描述的部分，可参考对图1至图4所示实施例的相关说明，在此不再赘述。
以上描述了人机交互装置的内部功能和结构，在一个可能的设计中，人机交互装置的结构可实现为智能机器人中的一部分，如图6所示，该智能机器人可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该智能机器人执行前述图1至图4所示实施例中提供的人机交互方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
可选地，所述处理器31还用于执行前述图1至图4所示实施例中的全部或部分步骤。
其中，所述智能机器人的结构中还可以包括通信接口33，用于与其他设备或通信网络通信。
另外，本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来。
为便于理解，结合如下的应用场景对以上提供的人机交互方法的具体实现进行示例性说明。
以银行这种公共服务场景为例，银行中可能会设置诸如服务机器人等智能终端设备。在用户进入银行对自己想要办理的业务进行咨询时，可以向此服务机器人发问即第一语句：“我要办理一张银行卡用于存工资”。此时，智能机器人可以利用如图3所示的方式，在语料库中搜索出以下语句“我想办一张银行卡”、“你能帮我办理一张银行卡吗”以及“我想办理贷款”。然后，再利用如图4所示方式分别计算出第一语句和上述语句的第一语义相似度为0.67,0.56以及0.21。假设第一预设阈值设置为0.5，第二预设阈值设置为0.8，则上述三个语句中，“我想办一张银行卡”和“你能帮我办理一张银行卡吗”会被划分至第一分组内，“我想办理贷款”会被划分至第二分组内。
此时，智能机器人会将第一语句以及第一分组内的语句输入至语义匹配模型中，则语义匹配模型输出的针对第一分组内的语句输出的第二语义相似度分别为0.16和0.12，均未达到第二预设阈值。则智能机器人会再将第二分组内的语句输入语义匹配模型，此时模型输出的第二语义相似度为0.006，依旧未达到第二预设阈值。
上述处理结果表明，若直接使用第一语句是有可能无法得到与其语义匹配的第二语句的，归其原因是因为第一语句中的非主干部分对语义匹配造成了干扰。为了避免这种干扰。智能机器人会对前述的第一语句进行主干提取，以得到第一语句的语句主干为“我想办理一张银行卡”。此时，智能机器人会再以此语句主干为依据，从语料库中确定出与此语句主干在语义上匹配的第四语句为：“我想办一张银行卡”、“你能帮我办理一张银行卡吗”以及“我想办理贷款”。与上述过程相似的，智能机器人计算这三个第四语句分别与语句主干之间的第一语义相似度为0.875、0.7以及0.29。则“我想办一张银行卡”、“你能帮我办理一张银行卡吗”的第一语义相似度都大于第一预设阈值，则二者会被换分到第一分组内，而“我想办理贷款”会被划分至第二分组内。
智能机器人将第一分组内的“我想办一张银行卡”、“你能帮我办理一张银行卡吗”以及语句主干“我想办理一张银行卡”输入语义匹配模型。模型对于这两个第四语句输出的第二语义相似度分别为0.99和0.85，均达到第二预设阈值，智能机器人可以将最高的第二语义相似度对应的第四语句确定为第二语句，第二语句即为“我想办一张银行卡”。
上述举例对应于图2所示实施例的流程图。在实际应用中，与图1所示实施例对应的，智能机器人还可以在接收到第一语句后，便直接对其进行主干提取，并利用语句主干确定与第一语句在语义上匹配的第二语句，具体过程同样可以参见上述举例，在此不再赘述。
确定出第二语句之后，当交互类型为问答时，由于问答语料库中记录的是问答对，因此，智能机器人会在问答语料库中直接确定出与第二语句“我想办一张银行卡”满足问答关系的第五语句为“请取号并排队等候办理业务”，从而实现了人机交互。
当交互类型为多轮对话时，由于意图语料库中记录的是语句与意图之间的对应关系，则智能机器人可以直接根据第二语句“我想办一张银行卡”确定出其的意图为“办卡”，并将此“办卡”的意图输入至对话***，以由对话***确定相应的第五语句“请将身份证放置于证件扫描处”，从而实现了人机交互。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种人机交互方法，其特征在于，包括：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
2.根据权利要求1所述的方法，其特征在于，所述接收用户输入的第一语句之后，所述方法还包括：
在所述语料库中，确定是否存在与所述第一语句语义匹配的第三语句；
若存在所述第三语句，则根据所述第三语句对所述第一语句进行响应；
若不存在所述第三语句，则在所述语料库中，确定与提取出的所述语句主干语义匹配的第二语句。
3.根据权利要求1所述的方法，其特征在于，所述在语料库中，确定与所述语句主干语义匹配的第二语句，包括：
对所述语句主干和所述语料库包含的语句进行字词划分；
根据划分结果，确定所述语句主干和所述语料库包含的语句之间的文字重合率；
根据所述文字重合率从所述语料库中搜索所述第四语句；
从搜索出的所述第四语句中确定所述第二语句。
4.根据权利要求3所述的方法，其特征在于，所述从搜索出的所述第四语句中确定所述第二语句，包括：
计算所述语句主干和所述第四语句之间的第一语义相似度；
将所述第一语义相似度不小于第一预设阈值的第四语句输入语义匹配模型；
若所述语义匹配模型输出的第二语义相似度不小于第二预设阈值，则从所述第一语义相似度不小于所述第一预设阈值的第四语句中确定所述第二语句。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述语义匹配模型输出的第二语义相似度小于所述第二预设阈值，则将所述第一语义相似度小于所述第一预设阈值的第四语句输入所述语义匹配模型；
根据所述语义匹配模型输出的第二语义相似度，从所述第一语义相似度小于所述第一预设阈值的第四语句中确定所述第二语句。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一语句进行语句主干提取，以得到语句主干，包括：
对所述第一语句进行语法分析，以得到所述第一语句中各词语在所述第一语句中对应的语句成分；
根据所述语句成分对所述第一语句进行主干提取，以得到语句主干。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述语料库为问答语料库，所述根据所述第二语句对所述第一语句进行响应，包括：
根据所述第二语句，在所述问答语料库中确定与所述第二语句满足问答关系的第五语句；
输出所述第五语句。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述语料库为意图语料库，所述根据所述第二语句对所述第一语句进行响应，包括：
在所述意图语料库中确定所述第二语句对应的意图；
将所述意图输入至对话***，以由所述对话***确定与所述第二语句对应的第五语句；
输出所述第五语句。
9.一种人机交互装置，其特征在于，包括：
接收模块，用于接收用户输入的第一语句；
提取模块，用于对所述第一语句进行主干提取，以得到语句主干；
第一确定模块，用于在语料库中，确定与所述语句主干语义匹配的第二语句；
响应模块，用于根据所述第二语句对所述第一语句进行响应。
10.一种智能机器人，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
11.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：
接收用户输入的第一语句；
对所述第一语句进行主干提取，以得到语句主干；
在语料库中，确定与所述语句主干语义匹配的第二语句；
根据所述第二语句对所述第一语句进行响应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955688.1A CN112632234A (zh) | 2019-10-09 | 2019-10-09 | 人机交互方法、装置、智能机器人和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955688.1A CN112632234A (zh) | 2019-10-09 | 2019-10-09 | 人机交互方法、装置、智能机器人和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112632234A true CN112632234A (zh) | 2021-04-09 |
Family
ID=75283356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910955688.1A Pending CN112632234A (zh) | 2019-10-09 | 2019-10-09 | 人机交互方法、装置、智能机器人和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112632234A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308212A (zh) * | 2023-05-11 | 2023-06-23 | 广州佰锐网络科技有限公司 | 一种基于数字人视频的业务办理方法、存储介质及*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015046183A (ja) * | 2014-10-30 | 2015-03-12 | 日本電信電話株式会社 | 対話装置、方法、及びプログラム |
| JP2016115294A (ja) * | 2014-12-18 | 2016-06-23 | バイドゥ ネットコム サイエンス アンド テクノロジー（ペキン） カンパニー リミテッド | 情報検索方法及びデバイス |
| CN105955963A (zh) * | 2016-05-25 | 2016-09-21 | 北京谛听机器人科技有限公司 | 一种机器人问答交互开放平台及交互方法 |
| CN106777018A (zh) * | 2016-12-08 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 一种智能聊天机器人中对输入语句的优化方法及装置 |
| CN107562816A (zh) * | 2017-08-16 | 2018-01-09 | 深圳狗尾草智能科技有限公司 | 用户意图自动识别方法及装置 |
| CN107679039A (zh) * | 2017-10-17 | 2018-02-09 | 北京百度网讯科技有限公司 | 用于确定语句意图的方法和装置 |
| CN108536665A (zh) * | 2017-03-02 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种确定语句一致性的方法及装置 |
| CN109657232A (zh) * | 2018-11-16 | 2019-04-19 | 北京九狐时代智能科技有限公司 | 一种意图识别方法 |
| CN109684632A (zh) * | 2018-12-12 | 2019-04-26 | 深圳前海达闼云端智能科技有限公司 | 一种自然语义理解的方法、装置、计算设备 |
| US20190243900A1 (en) * | 2017-03-03 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Automatic questioning and answering processing method and automatic questioning and answering system |
-
2019
- 2019-10-09 CN CN201910955688.1A patent/CN112632234A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015046183A (ja) * | 2014-10-30 | 2015-03-12 | 日本電信電話株式会社 | 対話装置、方法、及びプログラム |
| JP2016115294A (ja) * | 2014-12-18 | 2016-06-23 | バイドゥ ネットコム サイエンス アンド テクノロジー（ペキン） カンパニー リミテッド | 情報検索方法及びデバイス |
| CN105955963A (zh) * | 2016-05-25 | 2016-09-21 | 北京谛听机器人科技有限公司 | 一种机器人问答交互开放平台及交互方法 |
| CN106777018A (zh) * | 2016-12-08 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 一种智能聊天机器人中对输入语句的优化方法及装置 |
| CN108536665A (zh) * | 2017-03-02 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种确定语句一致性的方法及装置 |
| US20190243900A1 (en) * | 2017-03-03 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Automatic questioning and answering processing method and automatic questioning and answering system |
| CN107562816A (zh) * | 2017-08-16 | 2018-01-09 | 深圳狗尾草智能科技有限公司 | 用户意图自动识别方法及装置 |
| CN107679039A (zh) * | 2017-10-17 | 2018-02-09 | 北京百度网讯科技有限公司 | 用于确定语句意图的方法和装置 |
| CN109657232A (zh) * | 2018-11-16 | 2019-04-19 | 北京九狐时代智能科技有限公司 | 一种意图识别方法 |
| CN109684632A (zh) * | 2018-12-12 | 2019-04-26 | 深圳前海达闼云端智能科技有限公司 | 一种自然语义理解的方法、装置、计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 朱频频: "《智能客户服务技术与应用》", 31 January 2019, 中国铁道出版社, pages: 154 - 159 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308212A (zh) * | 2023-05-11 | 2023-06-23 | 广州佰锐网络科技有限公司 | 一种基于数字人视频的业务办理方法、存储介质及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108536681B (zh) | 基于情感分析的智能问答方法、装置、设备及存储介质 | |
| CN109509470B (zh) | 语音交互方法、装置、计算机可读存储介质及终端设备 | |
| WO2019201098A1 (zh) | 问答交互方法和装置、计算机设备及计算机可读存储介质 | |
| CN108509416B (zh) | 句意识别方法及装置、设备和存储介质 | |
| JP2017505964A (ja) | 機械学習に基づく自動タスク分類 | |
| CN113314119B (zh) | 语音识别智能家居控制方法及装置 | |
| CN108536807B (zh) | 一种信息处理方法及装置 | |
| CN112487824B (zh) | 客服语音情感识别方法、装置、设备及存储介质 | |
| CN109584865A (zh) | 一种应用程序控制方法、装置、可读存储介质及终端设备 | |
| CN112071310B (zh) | 语音识别方法和装置、电子设备和存储介质 | |
| KR101677859B1 (ko) | 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치 | |
| CN108287848B (zh) | 用于语义解析的方法和*** | |
| CN112669842A (zh) | 人机对话控制方法、装置、计算机设备及存储介质 | |
| CN112632248A (zh) | 问答方法、装置、计算机设备和存储介质 | |
| CN105869622B (zh) | 中文热词检测方法和装置 | |
| Chakraborty et al. | Knowledge-based framework for intelligent emotion recognition in spontaneous speech | |
| CN111326160A (zh) | 一种纠正噪音文本的语音识别方法、***及存储介质 | |
| Sugiura et al. | Situated spoken dialogue with robots using active learning | |
| CN117278675A (zh) | 一种基于意图分类的外呼方法、装置、设备及介质 | |
| CN112632234A (zh) | 人机交互方法、装置、智能机器人和存储介质 | |
| CN116561284A (zh) | 智能应答方法、装置、电子设备及介质 | |
| CN112989794A (zh) | 模型训练方法、装置、智能机器人和存储介质 | |
| CN113239164A (zh) | 多轮对话流程构建方法、装置、计算机设备及存储介质 | |
| CN112988987B (zh) | 人机交互方法、装置、智能机器人和存储介质 | |
| Samanta et al. | A Reconfigurable Gaussian Base Normalization Deep Neural Network Design for an Energy-Efficient Voice Activity Detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |