CN112802483B - 优化意图识别置信度阈值的方法、装置及存储介质 - Google Patents

优化意图识别置信度阈值的方法、装置及存储介质 Download PDF

Info

Publication number
CN112802483B
CN112802483B CN202110399139.8A CN202110399139A CN112802483B CN 112802483 B CN112802483 B CN 112802483B CN 202110399139 A CN202110399139 A CN 202110399139A CN 112802483 B CN112802483 B CN 112802483B
Authority
CN
China
Prior art keywords
intention
threshold
value
threshold value
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399139.8A
Other languages
English (en)
Other versions
CN112802483A (zh
Inventor
陈帆
吴文睿
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Shanmao Qidong Information Technology Co ltd
Original Assignee
Nanjing Shanmao Qidong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Shanmao Qidong Information Technology Co ltd filed Critical Nanjing Shanmao Qidong Information Technology Co ltd
Priority to CN202110399139.8A priority Critical patent/CN112802483B/zh
Publication of CN112802483A publication Critical patent/CN112802483A/zh
Application granted granted Critical
Publication of CN112802483B publication Critical patent/CN112802483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种优化意图识别置信度阈值的方法、装置及存储介质，属于人机交互机器人领域。优化意图识别置信度阈值的方法，包括：设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。本发明解决了现有技术中的人工设置意图识别置信度阈值所依赖的个人感性经验，提升会话机器人的自然语言的理解能力，本发明可以实现自动定期更新阈值，且数据更合理，以使得对话机器人的意图识别准确度、识别率高。

Description

优化意图识别置信度阈值的方法、装置及存储介质
技术领域
本发明涉及人机交互机器人领域，具体地说，涉及一种优化意图识别置信度阈值的方法、装置及存储介质。
背景技术
人机对话机器人在使用过程中，会涉及到用户语言的意图识别。根据实现训练的模型，会对句子给出不同意图的置信度，当其高于特定阈值时，***可明确该句子所表达的意图，低于阈值时，则进入意图不识别状态。阈值设置过低，会导致意图识别误差偏大，阈值设置过高，则会导致意图识别率过低。而且随时间、应用场景的变化，也会导致最初预设的表现良好的意图识别阈值不适合新环境。
如何自动定期更新、且更合理的阈值，以使得对话机器人意图识别准确度、识别率长期处于较优状态，是急需解决的技术问题。
发明内容
本申请提供一种优化意图识别置信度阈值的方法、装置及存储介质，以解决固定阈值导致意图识别准确度、识别率低的问题。
第一方面，本申请公开了一种优化意图识别置信度阈值的方法，包括：
设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；
将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。
进一步的技术方案，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值包括以下步骤：
步骤（1）：运行意图识别模型，记录每条人机会话内容、该会话内容的意图识别结果以及对应的意图识别置信度值Ctx；
步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：
如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话；
如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话***通过追问方式询问用户意图是否为Ix后，用户给予肯定回答或者后续人机交互按照既定故事基本操作进行，则判定用户实际意图为Ix；
步骤（3）：通过公式（1）计算意图识别召回率，通过公式（2）计算准确率，进而计算整体效益值：
召回率
Figure 761425DEST_PATH_IMAGE001
（1）
准确率
Figure 412986DEST_PATH_IMAGE002
（2）
式中，ix0、ix1、ix2的默认值为0，当ix0=1时，表示阈值以上识别正确；ix1=1时，表示阈值以下识别正确；ix2=1时，表示阈值以上识别错误；
整体效益值Bt=Rt*Pt。
进一步的技术方案，所述意图识别最优阈值Ftmax的确定方法如下：
确定不同的阈值Ft中对应的整体效益值为最大值Bmax时，该阈值作为最优阈值Ftmax；其中，Bmax需满足如下条件：Bmax取值对应的召回率、准确率高于预先设置的最低值；且Bmax是满足前述情况下的各整体效益值Bt中的最大值。
第二方面，本申请提供一种优化意图识别置信度阈值的装置，该装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现如本申请中的一个或多个所述的优化意图识别置信度阈值方法的步骤。
第三方面，本申请提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如本申请中的一个或多个所述的优化意图识别置信度阈值方法的步骤。
有益效果
1)本发明可周期性自动计算并更新意图识别置信度阈值，避免***一次性设置阈值后，会话识别效果逐步退化情况发生，使***持续保持较优状态。
2)本发明提出通过判定会话过程中，用户后续操作是否按照故事剧本进行，来推测当前意图识别是否正确，这种方法具有统计层面的正确性。使用该方法，无需人工介入，即可判断会话过程中***做出的意图识别结果是否正确，使得通过程序自动化优化会话效果成为可能。
3)准确率公式中，以阈值以上识别准确数量及阈值以上识别错误数为分母，排除阈值以下识别正确及错误数对准确率的影响，可使准确率能更准确的反应阈值对正确性的影响。
4)本发明的整体效益值计算公式，整体效益值与意图召回率、意图识别准确率正相关，实现了不同置信度阈值下量化用户体验效果的目的。
5)本发明解决了人工设置意图识别置信度阈值所依赖的个人感性经验，提升会话机器人的理解自然语言能力，本发明可以实现自动定期更新阈值，且数据更合理，以使得对话机器人的意图识别准确度、识别率高。
附图说明
图1为本申请实施例提供的一种优化意图识别置信度阈值的方法的流程示意图；
图2为本申请实施例提供的在实际应用中的阈值自动更新设置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的应用场景：本申请可以应用于具有自动问答功能的客服机器人相关领域，比如自助查询、自助订单办理、客服服务等。
在客服机器人应用场景中，首先需要识别用户实际意图，方法是对用户语句进行分析，比较置信度是否大于某个阈值，判定用户实际意图与机器人***的预设意图是否一致。而现有技术中的客服机器人的阈值设置都是人工输入固定的值，对阈值的优化也是凭人工的主观判断，缺乏科学合理的参考机制。而本发明可以自动化进行阈值优化，对客服机器人提供了可量化的优化方式。如图2所示，配置阈值时可以选择开启阈值自动更新设置。
实施例一
图1为本申请实施例提供的一种优化意图识别置信度阈值的方法，如图1所示，该方法包括：
设置n个阈值Ft，1<=t<=n，各阈值间隔为sp，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；
将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。
步骤（1）：运行意图识别模型，记录人机会话、会话过程中的意图识别结果以及对应的意图识别置信度值Ctx；
步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：
如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话，如果是，用户实际意图为Ix，如果不是，则用户实际意图不是Ix；
如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话***通过追问方式询问用户意图是否为Ix后，用户给予肯定回答，或者即使用户给予否定回答，但是用户在后续人机交互按照既定故事基本操作进行，则判定用户实际意图为Ix，其他情形则判定用于实际意图不是Ix；
步骤（3）：通过公式（1）计算意图识别召回率，通过公式（2）计算准确率，进而计算整体效益值：
召回率
Figure 743123DEST_PATH_IMAGE001
（1）
准确率
Figure 403912DEST_PATH_IMAGE002
（2）
式中，ix0、ix1、ix2的默认值为0，当ix0=1时，表示阈值以上识别正确；ix1=1时，表示阈值以下识别正确；ix2=1时，表示阈值以上识别错误；
用户实际意图识别结果如下表1所示：
表1
Figure 811759DEST_PATH_IMAGE003
整体效益值Bt=Rt*Pt。
所述意图识别最优阈值Ftmax的确定方法如下：
确定不同的阈值Ft中对应的整体效益值为最大值Bmax时，该阈值作为最优阈值Ftmax；其中，Bmax需满足如下条件：Bmax取值对应的召回率、准确率高于预先设置的最低值；且Bmax是满足前述情况下的各整体效益值Bt中的最大值。
以应用在客服机器人场景中为例。
假设该客服机器人***仅包含两个意图，分别记为:意图1“查询话费余额”；意图2“查询套餐”，人工初始设置阈值为0.8，最低准确率为0.7，最低召回率为0.25。
优化意图识别置信度阈值的方法如下：
步骤一. 根据会话日志对用户语句进行实际意图识别
用户句子输入后，首先进入意图识别模型，得到意图识别的置信度Ctx。在用户完成整个交互流程后，可以得到人机交互的完整会话日志。
根据会话日志分析用户实际意图。判定方法如下：
一是：当置信度值Ctx大于等于阈值Ft，日志数据如下表2所示。会话***判断用户是否按照预设的后续操作进行会话，由于得到了用户点击“查询套餐”按钮的操作，因此将用户语句“话费套餐选择”的真实意图判定为“查询套餐”。
表2
Figure 181692DEST_PATH_IMAGE004
二是：当置信度值Ctx小于阈值Ft，日志数据如下表3所示。会话***通过追问方式询问用户意图是否为“查询套餐”后，由于得到了用户肯定回复，因此将用户语句“哪种套餐流量多2020”的真实意图判定为“查询套餐”。
表3
Figure 183146DEST_PATH_IMAGE005
步骤二：根据会话日志中的用户语句，进行不同阈值下的意图识别召回率、准确率及整体效益值计算。
对会话日志中的所有用户语句进行统计，如下表4所示：
表4
Figure 178784DEST_PATH_IMAGE006
示例性设置6个阈值：0.9，0.8，0.7，0.6，0.5，0.4，实际使用过程可以设置更加细粒度的阈值进行计算。根据公式分别计算在不同的阈值下的召回率Rt，准确率Pt及整体效益值Bt。具体计算过程如下表5所示：
表5
Figure 457450DEST_PATH_IMAGE007
根据以上计算结果，当阈值为0.7时，整体效益值Bt最大。
步骤三：更新阈值
根据最新的阈值计算判定是否更新阈值，当前阈值为0.8，而阈值为0.7时，其准确率为0.85大于最低准确率为0.7，其召回率为0.33大于最低召回率为0.25，因此将***阈值更新为0.7。
实施例二
本申请提供一种优化意图识别置信度阈值的装置，该装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现实施例一所述的方法。
应理解，本实施例中，存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器
指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
实施例三
本申请提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述的方法。
存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的方法，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (4)

1.优化意图识别置信度阈值的方法，其特征在于，包括：
设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值，包括以下步骤：
步骤（1）：运行意图识别模型，记录人机会话、会话过程中的意图识别结果以及对应的意图识别置信度值Ctx；
步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：
如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话；
如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话***通过追问方式询问用户意图是否为Ix后，用户给予肯定回答或者后续人机交互按照既定故事基本操作进行，则判定用户实际意图为Ix；
通过公式（1）计算意图识别召回率，通过公式（2）计算准确率，进而计算整体效益值：
召回率
Figure DEST_PATH_IMAGE001
（1）
准确率
Figure 297634DEST_PATH_IMAGE002
（2）
式中，ix0、ix1、ix2的默认值为0，当ix0=1时，表示阈值以上识别正确；ix1=1时，表示阈值以下识别正确；ix2=1时，表示阈值以上识别错误；
整体效益值Bt=Rt*Pt；
将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。
2.根据权利要求1所述优化意图识别置信度阈值的方法，其特征在于，所述意图识别最优阈值Ftmax的确定方法如下：
确定不同的阈值Ft中对应的整体效益值为最大值Bmax时，该阈值作为最优阈值Ftmax；其中，Bmax需满足如下条件：Bmax取值对应的召回率、准确率高于预先设置的最低值；且Bmax是满足前述情况下的各整体效益值的最大值。
3.优化意图识别置信度阈值的装置，其特征在于，该装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现如权利要求1至2中任一项所述的优化意图识别置信度阈值方法的步骤。
4.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至2中任一项所述的优化意图识别置信度阈值方法的步骤。
CN202110399139.8A 2021-04-14 2021-04-14 优化意图识别置信度阈值的方法、装置及存储介质 Active CN112802483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399139.8A CN112802483B (zh) 2021-04-14 2021-04-14 优化意图识别置信度阈值的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399139.8A CN112802483B (zh) 2021-04-14 2021-04-14 优化意图识别置信度阈值的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112802483A CN112802483A (zh) 2021-05-14
CN112802483B true CN112802483B (zh) 2021-06-29

Family

ID=75811334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399139.8A Active CN112802483B (zh) 2021-04-14 2021-04-14 优化意图识别置信度阈值的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112802483B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823276B (zh) * 2021-09-29 2023-06-02 成都启英泰伦科技有限公司 一种语音识别阈值设置方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129599B2 (en) * 2007-10-18 2015-09-08 Nuance Communications, Inc. Automated tuning of speech recognition parameters
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
CN103578468B (zh) * 2012-08-01 2017-06-27 联想(北京)有限公司 一种语音识别中置信度阈值的调整方法及电子设备
CN103700368B (zh) * 2014-01-13 2017-01-18 联想(北京)有限公司 用于语音识别的方法、语音识别装置和电子设备
CN110111775B (zh) * 2019-05-17 2021-06-22 腾讯科技（深圳）有限公司 一种流式语音识别方法、装置、设备及存储介质
CN112182189B (zh) * 2020-10-10 2023-06-30 网易（杭州）网络有限公司 一种对话处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112802483A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109255486B (zh) 一种策略配置的优化方法及装置
CN108733508B (zh) 用于控制数据备份的方法和***
CN107122369B (zh) 一种业务数据处理方法、装置和***
CN107609028B (zh) 一种低效率sql语句的确定方法及装置
CN110287229B (zh) 一种数据统计处理方法及装置
CN111161728B (zh) 一种智能设备的唤醒方法、装置、设备及介质
CN112348110B (zh) 模型训练及图像处理方法、装置、电子设备和存储介质
JP2019512126A (ja) 機械学習システムをトレーニングする方法及びシステム
WO2021169271A1 (zh) 雷雨天气预测模型的训练方法及雷雨天气预测方法
CN112802483B (zh) 优化意图识别置信度阈值的方法、装置及存储介质
CN114943307A (zh) 一种模型训练的方法、装置、存储介质以及电子设备
CN110414572B (zh) 一种图像识别的方法及装置
CN103617146A (zh) 一种基于硬件资源消耗的机器学习方法及装置
CN114511358A (zh) 工程建设材料价格估算方法、装置、电子设备及存储介质
CN111159169B (zh) 数据治理方法及设备
CN108942925A (zh) 机器人的控制方法和装置
CN113222245A (zh) 居民用户月度电量电费异常核查方法及***、存储介质
CN110874635A (zh) 一种深度神经网络模型压缩方法及装置
CN115567371B (zh) 一种异常检测方法、装置、设备及可读存储介质
CN114997879B (zh) 一种支付路由方法、装置、设备和存储介质
CN108735214A (zh) 设备的语音控制方法及装置
CN113889086A (zh) 语音识别模型的训练方法、语音识别方法及相关装置
CN115130577A (zh) 一种欺诈号码识别方法、装置及电子设备
CN110134361B (zh) 设备的音量调节方法、计算机设备及计算机可读存储介质
CN114462679A (zh) 基于深度学习的网络流量预测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant