CN111182162B - 基于人工智能的电话质检方法、装置、设备和存储介质 - Google Patents
基于人工智能的电话质检方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111182162B CN111182162B CN201911367527.7A CN201911367527A CN111182162B CN 111182162 B CN111182162 B CN 111182162B CN 201911367527 A CN201911367527 A CN 201911367527A CN 111182162 B CN111182162 B CN 111182162B
- Authority
- CN
- China
- Prior art keywords
- processed
- neural network
- call
- input
- call information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000007689 inspection Methods 0.000 title claims abstract description 48
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 83
- 238000005516 engineering process Methods 0.000 claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 29
- 210000002569 neuron Anatomy 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000003058 natural language processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000012372 quality testing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/5175—Call or contact centers supervision arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42221—Conversation recording systems
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能领域，提供一种基于人工智能的电话质检方法、装置、设备和存储介质。方法包括：获取多个待处理的通话录音；为每一个待处理的通话录音标注对应的得分；通过预置的序列神经网络模型将多个待处理的通话录音转化成多个待处理的文本信息；通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率；将核心关键词的频率作为输入xi，标注的通话评分作为理想输出yi输入至神经网络，得到目标神经网络；将目标神经网络部署至客户端；接收用户输入的通话信息，通过理想权值计算得到通话信息的得分，并将通话信息的得分返回给用户。提升电话质检的效率。
Description
技术领域
本发明涉及监控领域，尤其涉及一种基于人工智能的电话质检方法、装置、设备和存储介质。
背景技术
在呼叫中心运营中接通率、通话时长、投诉率、客户满意度等各项指标数据十分重要。这些数据直接对应的是不同人员之间的业务素质差距，现在很多的监控和质检都通过人工抽检的方式，质检员要负责质量监控、流程管理、指标管理、现场跟进、报告撰写、文化建设，还要负责知识库管理、业务培训、员工反馈指导等多个环节的质检，不仅耗时而且耗精力，并且只能完成30％左右的话务质检，效率比较低。标准可以相同、指标设定可以相同，结果可能不相同，关键是质检人员使用标准的目的不一样，方法不一样，思路不一样，质检结果的准确性较低。
发明内容
本发明提供了一种通过配置基于人工智能的电话质检方法，提升电话质检的效率。
第一方面，本发明提供一种基于人工智能的电话质检方法，包括：
获取多个待处理的通话录音；
为每一个待处理的通话录音标注对应的得分；
通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息；
通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率；
将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络；
将所述目标神经网络部署至客户端；
接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络；
通过所述目标神经网络中的所述神经元权值计算得到所述通话信息的得分，并将所述通话信息的得分返回给用户。
在一些可能的设计中，通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率之前，方法还包括：
为每一个待处理的文本信息生成唯一的标识ID号；
根据待处理的文本信息的应用程序编程接口API参数构造超文本传输协议HTTP请求；
通过HTTP请求以及LTP技术对待处理的文本信息提取中文分词；
匹配数据库中收录的词汇，将匹配度低于阈值的词汇删除，以得到匹配度高于阈值的词汇。
在一些可能的设计中，通过所述预置的序列神经网络模型将多个待处理的通话录音转化成多个待处理的文本信息，包括：
获取多个训练语音样本；
将所述训练语音样本输入至所述预置的序列神经网络模型，通过自然语言处理NLP算法、所述语音信息以及所述语音信息对应的文本标签更新所述预置的序列神经网络模型的神经元权值，以得到目标模型；
调整所述目标模型的神经元的权值，并更新所述预置的序列神经网络模型；
通过所述更新后的预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息。
在一些可能的设计中，接收用户输入的通话信息，通过客户端将通话信息输入至目标神经网络，包括：
在提示用户输入通话信息时，通过所述客户端开启麦克风应用；
在收到指示消息后，通过所述客户端提示用户输入通话信息；
在获得通话信息时，通过所述客户端对通话信息去除噪声、去除背景声音以及对通话信息压缩，得到完成预处理的通话信息；
通过客户端判断完成预处理的通话信息是否符合输入预设规则；
若不符合预设规则，则命所述令客户端提示用户重新输入；
若符合预设规则，则通过所述客户端将用户输入的完成预处理的通话信息上传至服务端；
将完成预处理的通话信息输入至目标神经网络。
在一些可能的设计中，获取多个待处理的通话录音之前，方法还包括：
剔除通话时长小于阈值的所述待处理的通话录音；
为所述待处理的通话录音加入多个特征项，所述特征项至少包括：是否首次通话、行业录音平均时长以及用户电话评价的满意度。
在一些可能的设计中，通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率，包括：
核心关键词对应的频率通过
计算，其中Fw是指核心关键词的频率，N是指核心关键词出现的句子数，M是指待处理的文本信息的句子数。
在一些可能的设计中，所述通过将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络之前，所述通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率之后，所述方法还包括：
若所述神经网络的输出yj与n个有效特征输入x1，x2，…，xn对应连接的权值为w1，w2，…，wn，则所述神经网络通过
初始化权值。
第二方面，本发明提供一种基于人工智能的电话质检装置，具有实现对应于上述第一方面提供的基于人工智能的电话质检平台的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
所述基于人工智能的电话质检装置包括：
输入输出模块，用于获取多个待处理的通话录音；
处理模块，用于为每一个待处理的通话录音标注对应的得分；通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息；通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率；通过所述输入输出模块将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络；将所述目标神经网络部署至客户端；通过所述输入输出模块接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络；通过所述目标神经网络中的所述神经元权值计算得到所述通话信息的得分，并将所述通话信息的得分返回给用户。
在一些可能的设计中，所述处理模块还用于：
为每一个所述待处理的文本信息生成唯一的标识ID号；
根据所述待处理的文本信息的应用程序编程接口API参数构造超文本传输协议HTTP请求；
通过所述HTTP请求以及LTP技术对待处理的文本信息提取中文分词；
匹配数据库中收录的词汇，将匹配度低于阈值的词汇删除，以得到匹配度高于阈值的词汇。
在一些可能的设计中，所述处理模块还用于：
获取多个训练语音样本；
将所述训练语音样本输入至所述预置的序列神经网络模型，通过自然语言处理NLP技术、所述语音信息以及所述语音信息对应的文本标签更新所述预置的序列神经网络模型的神经元权值，以得到目标模型；
调整所述目标模型的神经元的权值，并更新所述预置的序列神经网络模型；
通过更新后的预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息。
在一些可能的设计中，所述处理模块还用于：
在提示用户输入所述通话信息时，通过所述客户端开启麦克风应用；
在收到所述指示消息后，通过所述客户端提示用户输入通话信息；
在获得通话信息时，通过所述客户端对所述通话信息去除噪声、去除背景声音以及对所述通话信息压缩，得到完成预处理的通话信息；
通过所述客户端判断所述完成预处理的通话信息是否符合输入预设规则；
若不符合预设规则，则命令所述客户端提示用户重新输入；
若符合预设规则，则通过所述客户端将用户输入的所述完成预处理的通话信息上传至服务端；
将所述完成预处理的通话信息输入至所述目标神经网络。
在一些可能的设计中，所述处理模块还用于：
剔除通话时长小于阈值的所述待处理的通话录音；
为所述待处理的通话录音加入多个特征项，所述特征项至少包括：是否首次通话、行业录音平均时长以及用户电话评价的满意度。
在一些可能的设计中，所述处理模块还用于：
所述核心关键词对应的频率通过
计算，其中Fw是指所述核心关键词的频率，N是指所述核心关键词出现的句子数，M是指所述待处理的文本信息的句子数。
在一些可能的设计中，所述处理模块还用于：
若所述神经网络的输出yj与n个所述有效特征输入x1，x2，…，xn对应连接的权值为w1，w2，…，wn，则所述神经网络通过
初始化权值。
本发明又一方面提供了一种基于人工智能的电话质检设备，其包括至少一个连接的处理器、存储器、输入输出单元，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述各方面所述的方法。
本发明又一方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明通过语音转换技术将通话语音的全量转化文本，再通过LTP技术将转换成文本后获取关键核心词并统计核心关键词，通过将统计的核心关键词输入至神经网络以得到此次通话录音的得分，通过智能质检，使得规则的检测更加客观，质检更加精准，智能质检***有效节约时间成本，完成优化人员配置，本发明通过人工智能的实时质检，不仅节省了人工质检的时间，还能很好的统计和分析，客户的具体需求和投诉点，并总结出相关规律，协助业务的开展和投诉的解决。
附图说明
图1为本发明实施例中基于人工智能的电话质检方法的流程示意图；
图2为本发明实施例中基于人工智能的电话质检装置的结构示意图；
图3为本发明实施例中基于人工智能的电话质检设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本发明中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行。
为解决上述技术问题，本发明主要提供以下技术方案
本发明通过语音转换技术将通话语音的全量转化文本，再通过LTP技术将转换成文本后获取关键核心词并统计核心关键词，通过将统计的核心关键词输入至神经网络以得到此次通话录音的得分。通过智能质检，实现规则客观，质检精准。智能质检***有效节约时间成本，完成优化人员配置。通过人工智能的实时质检，不仅节省了人工质检的时间，还能很好的统计和分析，客户的具体需求和投诉点，并总结出相关规律，协助业务的开展和投诉的解决。
请参照图1，以下对本发明提供一种基于人工智能的电话质检方法进行举例说明，所述方法包括：
101、获取多个待处理的通话录音。
通话录音是指通过监测电话线路上的语音通讯信号，并将这些信号转化为可以保存和回放的介质的一种技术或方法。通话录音的采样指标包括格式、采样频率、采样精度、声道、压缩率以及每秒数据量。
102、为每一个待处理的通话录音标注对应的得分。
得分为此次通话录音的质量打分，通过用户输入评估。以电话评分为例为例，比如客服电话质量评估，对于它可以有几点考虑，它的通话时长，通话声音大小，通话用词等，就称为电话的属性或特征。而对于通话时长：20分钟，声音大小：适中，通话用词：“您”这个词汇出现了40次，这样一组数据，我们称为一个示例或者样本，而当电话每一条属性都如这样展开时，所构成的集合可以称之为数据集。在其中对于那些属性的具体取值，称为属性值。属性构成的空间我们称之为“属性空间”，“样本空间”或“输入空间”。例如：对于电话评分，他有三个属性：通话时长，通话声音大小，通话用词。以每个属性为一条坐标，生成一个三维的坐标空间。每一通电话，我们都可以在这个形成的三维空间中找到他们各自的对应位置，因此，也称每一个示例为一个特征向量。从数据中学到模型的过程称为“学习”或“训练”，整个过程通过执行某个学习算法来实现。训练过程中使用的数据称为“训练数据”，其中每个样本称之为“训练样本”，所有训练样本组成的集合称之为“训练集”。学得模型对应了关于数据的某种潜在的规律，因此称之为“假设”；这种潜在规律自身，则称之为“真相”，学习过程就是为了找出或者逼近真相。因为我们最终是需要做一些类似于‘预测’性的东西，即帮我们判断在我们面前的电话是否合格。我们需要在之前的样本的基础上加上一点标注，即满足这里的合格叫做标记，而有标记的样本我们称之为样例。
103、通过预置的序列神经网络模型将多个待处理的通话录音转化成多个待处理的文本信息。
预置的序列神经网络模型是指将人类的语音中的词汇内容转换为计算机可读的输入。序列神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。序列神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
104、通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率。
语言技术平台提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。LTP提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。从应用角度来看，LTP为用户提供了下列组件：针对单一自然语言处理任务，生成统计机器学习模型的工具。针对单一自然语言处理任务，调用模型进行分析的编程接口。使用流水线方式将各个分析工具结合起来，形成一套统一的中文自然语言处理***。***可调用的，用于中文语言处理的模型文件。针对单一自然语言处理任务，基于云端的编程接口。
105、将核心关键词对应的频率作为输入xi，标注的得分作为理想输出yi输入至初始神经网络，通过损失函数训练初始神经网络中的神经元权值，得到目标神经网络。
损失函数为
其中m为待处理的通话语音的数量，b和λ为常数，||w||1为w的L1范数。
神经网络是指一种复制这种密集的神经元网络的算法。通过一次处理多个数据流，计算机能够显著减少处理数据所需的时间。将这种技术应用于深度学习已经产生了人工神经网络。这些人工神经网络由输入节点、输出节点和节点层组成。
输入节点，用于接收数据的输入节点。
输出节点，用于输出结果数据。
节点层，用于将从输入节点输入的数据转换为输出节点可以使用的内容。节点层是指在输入节点和输出节点之间的多个隐藏节点，节点层也可以成为隐藏层。当数据通过这些隐藏节点前进时，神经网络使用逻辑来决定将数据传递给下一个隐藏节点。
106、将目标神经网络部署至客户端。
部署是指将神经网络的配置文件、用户手册、帮助文档等进行收集、打包、安装、配置、发布的过程。软件部署过程的主要特征有：过程覆盖度、过程可变更性、过程间协调和模型抽象。已经提出一些抽象的软件部署模型，用于有效地指导部署过程，包括应用模型、企业模型、站点模型、产品模型、策略模型和部署模型。
107、接收用户输入的通话信息，通过客户端将通话信息输入至目标神经网络。
输入层的每个节点，都要与的隐藏层每个节点做点对点的计算，计算的方法是加权求和+激活。利用隐藏层计算出的每个值，再用相同的方法，和输出层进行计算。隐藏层用都是用逻辑回归函数作激活函数，而输出层用的是线性函数。这是因为线性函数可以保持之前任意范围的数值缩放，便于和样本值作比较，而逻辑回归的数值范围只能在0～1之间。起初输入层的数值通过网络计算分别传播到隐藏层，再以相同的方式传播到输出层，最终的输出值和样本值作比较，计算出误差。
108通过目标神经网络中的神经元权值计算得到通话信息的得分，并将通话信息的得分返回给用户。
本发明通过语音转换技术将通话语音的全量转化文本，再通过LTP技术将转换成文本后获取关键核心词并统计核心关键词，通过将统计的核心关键词输入至神经网络以得到此次通话录音的得分。通过智能质检，实现规则客观，质检精准。智能质检***有效节约时间成本，完成优化人员配置。通过人工智能的实时质检，不仅节省了人工质检的时间，还能很好的统计和分析，客户的具体需求和投诉点，并总结出相关规律，协助业务的开展和投诉的解决。
一些实施方式中，通通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率之前，方法还包括：
为每一个待处理的文本信息生成唯一的标识ID号；
根据待处理的文本信息的应用程序编程接口API参数构造超文本传输协议HTTP请求；
通过HTTP请求以及LTP技术对待处理的文本信息提取中文分词；
匹配数据库中收录的词汇，将匹配度低于阈值的词汇删除，以得到匹配度高于阈值的词汇。
上述实施方式中，通过超文本传输协议连接语言技术平台，并通过语言技术平台将文本进行分词。
一些实施方式中，通过预置的序列神经网络模型将多个待处理的通话录音转化成多个待处理的文本信息，包括：
获取多个训练语音样本；
将训练语音样本输入至预置的序列神经网络模型，通过自然语言处理NLP算法、语音信息以及语音信息对应的文本标签更新预置的序列神经网络模型的神经元权值，以得到目标模型；
调整目标模型的神经元的权值，并更新预置的序列神经网络模型；
通过更新后的预置的序列神经网络模型将多个待处理的通话录音转化成多个待处理的文本信息。
上述实施方式中，通过训练好的目标模型，可以通过计算机将通话录音转化成对应的文本序列。
一些实施方式中，接收用户输入的通话信息，通过客户端将通话信息输入至目标神经网络，包括：
在提示用户输入通话信息时，通过客户端开启麦克风应用；
在收到指示消息后，通过客户端提示用户输入通话信息；
在获得通话信息时，通过客户端对通话信息去除噪声、去除背景声音以及对通话信息压缩，得到完成预处理的通话信息；
通过客户端判断完成预处理的通话信息是否符合输入预设规则；
若不符合预设规则，则命令客户端提示用户重新输入；
若符合预设规则，则通过客户端将用户输入的完成预处理的通话信息上传至服务端；
将完成预处理的通话信息输入至目标神经网络。
上述实施方式中，通过开启麦克风和客户端接收用户输入的通话信息。
一些实施方式中，获取多个待处理的通话录音之前，方法还包括：
剔除通话时长小于阈值的待处理的通话录音；
为待处理的通话录音加入多个特征项，特征项至少包括：是否首次通话、行业录音平均时长以及用户电话评价的满意度。
上述实施方式中，审核用户输入的无效语音信息。对于原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量数据的审核。
一些实施方式中，通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率，包括：
核心关键词对应的频率通过
计算，其中Fw是指核心关键词的频率，N是指核心关键词出现的句子数，M是指待处理的文本信息的句子数。
上述实施方式中，每个对象出现的次数与总次数的比值是频率。
一些实施方式中，通过将核心关键词对应的频率作为输入xi，标注的得分作为理想输出yi输入至初始神经网络，通过损失函数训练初始神经网络中的神经元权值，得到目标神经网络之前，通过语言技术平台LTP技术对待处理的文本信息进行分词，得到多个核心关键词以及核心关键词对应的频率之后，方法还包括：
若神经网络的输出yj与n个有效特征输入x1，x2，…，xn对应连接的权值为w1，w2，…，wn，则神经网络通过
初始化权值。
上述实施方式中，通过初始化神经网络的权值加快神经网络的训练。
如图2所示的一种基于人工智能的电话质检装置20的结构示意图，其可应用于基于人工智能的电话质检。本发明实施例中的基于人工智能的电话质检装置能够实现对应于上述图1所对应的实施例中所执行的基于人工智能的电话质检方法的步骤。基于人工智能的电话质检装置20实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述基于人工智能的电话质检装置可包括输入输出模块201和处理模块202，所述处理模块202和输入输出模块201的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。输入输出模块201可用于控制所述输入输出模块201的输入、输出以及获取操作。
一些实施方式中，所述输入输出模块201可用于获取多个待处理的通话录音；
所述处理模块202可用于为每一个待处理的通话录音标注对应的得分；通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息；通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率；通过所述输入输出模块将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络；将所述目标神经网络部署至客户端；通过所述输入输出模块接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络；通过所述目标神经网络中的所述神经元权值计算得到所述通话信息的得分，并将所述通话信息的得分返回给用户。
一些实施方式中，所述处理模块202还用于：
通过预置的序列神经网络模型将所述多个待处理的通话录音转换成待处理的文本信息；
为每一个所述待处理的文本信息生成唯一的标识ID号；
根据所述待处理的文本信息的应用程序编程接口API参数构造超文本传输协议HTTP请求；
通过所述HTTP请求以及LTP技术对待处理的文本信息提取中文分词；
匹配数据库中收录的词汇，将匹配度低于阈值的词汇删除，以得到匹配度高于阈值的词汇。
一些实施方式中，所述处理模块202还用于：
获取多个训练语音样本；
将所述训练语音样本输入至所述预置的序列神经网络模型，通过自然语言处理NLP技术、所述语音信息以及所述语音信息对应的文本标签更新所述预置的序列神经网络模型的神经元权值，以得到目标模型；
调整所述目标模型的神经元的权值，并更新所述预置的序列神经网络模型；
通过所述更新后的预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息。
一些实施方式中，所述处理模块202还用于：
在提示用户输入所述通话信息时，通过所述客户端开启麦克风应用；
在收到所述指示消息后，通过所述客户端提示用户输入通话信息；
在获得通话信息时，通过所述客户端对所述通话信息去除噪声、去除背景声音以及对所述通话信息压缩，得到完成预处理的通话信息；
通过所述客户端判断所述完成预处理的通话信息是否符合输入预设规则；
若不符合预设规则，则命令所述客户端提示用户重新输入；
若符合预设规则，则通过所述客户端将用户输入的所述完成预处理的通话信息上传至服务端；
将所述完成预处理的通话信息输入至所述目标神经网络。
一些实施方式中，所述处理模块202还用于：
剔除通话时长小于阈值的所述待处理的通话录音；
为所述待处理的通话录音加入多个特征项，所述特征项至少包括：是否首次通话、行业录音平均时长以及用户电话评价的满意度。
一些实施方式中，所述处理模块202还用于：
所述核心关键词对应的频率通过
计算，其中Fw是指所述核心关键词的频率，N是指所述核心关键词出现的句子数，M是指所述待处理的文本信息的句子数。
一些实施方式中，所述处理模块202还用于：
若所述神经网络的输出yj与n个所述有效特征输入x1，x2，…，xn对应连接的权值为w1，w2，…，wn，则所述神经网络通过
初始化权值。
上面从模块化功能实体的角度分别介绍了本发明实施例中的基于人工智能的电话质检装置，以下从硬件角度介绍一种基于人工智能的电话质检设备，如图3所示，其包括：处理器、存储器、输入输出单元(也可以是收发器，图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1所对应的实施例中基于人工智能的电话质检方法对应的程序。例如，当计算机设备实现如图2所示的基于人工智能的电话质检装置20的功能时，所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由基于人工智能的电话质检装置20执行的基于人工智能的电话质检方法中的各步骤。或者，所述处理器执行所述计算机程序时实现上述图2所对应的实施例的基于人工智能的电话质检装置20中各模块的功能。又例如，该计算机程序可以为图1所对应的实施例中基于人工智能的电话质检方法对应的程序。
所称处理器可以是中央处理单元(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入输出单元也可以用接收器和发送器代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为输入输出单元。该输入输出可以为收发器。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。
Claims (9)
1.一种基于人工智能的电话质检方法，其特征在于，所述方法包括：
获取多个待处理的通话录音；
为每一个待处理的通话录音标注对应的得分；
通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息；
通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率；
将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络；
将所述目标神经网络部署至客户端；
接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络；
通过所述目标神经网络中的所述神经元权值计算得到所述通话信息的得分，并将所述通话信息的得分返回给用户；
所述通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率，包括：
所述核心关键词对应的频率通过
计算，其中Fw是指所述核心关键词的频率，N是指所述核心关键词出现的句子数，M是指所述待处理的文本信息的句子数。
2.根据权利要求1所述的方法，其特征在于，所述通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率之前，所述方法还包括：
为每一个所述待处理的文本信息生成唯一的标识ID号；
根据所述待处理的文本信息的应用程序编程接口API参数构造超文本传输协议HTTP请求；
通过所述HTTP请求以及LTP技术对待处理的文本信息提取中文分词；
匹配数据库中收录的词汇，将匹配度低于阈值的词汇删除，得到匹配度高于阈值的词汇。
3.根据权利要求1所述的方法，其特征在于，所述通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息，包括：
获取多个训练语音样本；
将所述训练语音样本输入至所述预置的序列神经网络模型，通过自然语言处理NLP算法、所述训练语音样本以及所述训练语音样本对应的文本标签更新所述预置的序列神经网络模型的神经元权值，以得到目标模型；
调整所述目标模型的神经元的权值，并更新所述预置的序列神经网络模型；
通过更新后的所述预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息。
4.根据权利要求1所述的方法，其特征在于，所述接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络，包括：
在提示用户输入所述通话信息时，通过所述客户端开启麦克风应用；
在收到指示消息后，通过所述客户端提示用户输入通话信息；
在获得通话信息时，通过所述客户端对所述通话信息去除噪声、去除背景声音以及对所述通话信息压缩，得到完成预处理的通话信息；
通过所述客户端判断所述完成预处理的通话信息是否符合输入预设规则；
若不符合预设规则，则命令所述客户端提示用户重新输入；
若符合预设规则，则通过所述客户端将用户输入的所述完成预处理的通话信息上传至服务端；
将所述完成预处理的通话信息输入至所述目标神经网络。
5.根据权利要求1所述的方法，其特征在于，所述获取多个待处理的通话录音之前，所述方法还包括：
剔除通话时长小于阈值的所述待处理的通话录音；
为所述待处理的通话录音加入多个特征项，所述特征项至少包括：是否首次通话、行业录音平均时长以及用户电话评价的满意度。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述通过将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络之前，所述通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率之后，所述方法还包括：
若所述神经网络的输出yj与n个有效特征输入x1，x2，…，xn对应连接的权值为w1,w2,…，wn，则所述神经网络通过
b＝0初始化权值，所述
用于表示所述n个有效特征输入中2个有效特征输入与对应权值的乘积的总和，所述b＝0用于表示所述损失函数中常数b的取值为0，所述
包括所述常数b和有效特征输入的求和数量。
7.一种基于人工智能的电话质检装置，其特征在于，所述装置包括：
输入输出模块，用于获取多个待处理的通话录音；
处理模块，用于为每一个待处理的通话录音标注对应的得分；通过预置的序列神经网络模型将所述多个待处理的通话录音转化成多个待处理的文本信息；通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率；通过所述输入输出模块将所述核心关键词对应的频率作为输入xi，标注的所述得分作为理想输出yi输入至初始神经网络，通过损失函数训练所述初始神经网络中的神经元权值，得到目标神经网络；将所述目标神经网络部署至客户端；通过所述输入输出模块接收用户输入的通话信息，通过所述客户端将所述通话信息输入至所述目标神经网络；通过所述目标神经网络中的所述神经元权值计算得到所述通话信息的得分，并将所述通话信息的得分返回给用户；
所述通过语言技术平台LTP技术对所述待处理的文本信息进行分词，得到多个核心关键词以及所述核心关键词对应的频率，包括：
所述核心关键词对应的频率通过
计算，其中Fw是指所述核心关键词的频率，N是指所述核心关键词出现的句子数，M是指所述待处理的文本信息的句子数。
8.一种基于人工智能的电话质检设备，其特征在于，所述设备包括：
至少一个处理器、存储器和输入输出单元；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-6中任一项所述的方法。
9.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367527.7A CN111182162B (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的电话质检方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367527.7A CN111182162B (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的电话质检方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111182162A CN111182162A (zh) | 2020-05-19 |
| CN111182162B true CN111182162B (zh) | 2023-04-25 |
Family
ID=70652188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911367527.7A Active CN111182162B (zh) | 2019-12-26 | 2019-12-26 | 基于人工智能的电话质检方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111182162B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723204B (zh) * | 2020-06-15 | 2021-04-02 | 龙马智芯（珠海横琴）科技有限公司 | 语音质检区域的校正方法、装置、校正设备及存储介质 |
| CN111753994B (zh) * | 2020-06-22 | 2023-11-03 | 深圳鲲云信息科技有限公司 | Ai芯片的数据处理方法、装置和计算机设备 |
| CN112163434B (zh) * | 2020-10-20 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的文本翻译方法、装置、介质及电子设备 |
| CN112911072A (zh) * | 2021-01-28 | 2021-06-04 | 携程旅游网络技术（上海）有限公司 | 呼叫中心音量识别方法、装置、电子设备、存储介质 |
| CN113132523B (zh) * | 2021-04-19 | 2023-05-26 | 广州绿怡信息科技有限公司 | 通话检测模型训练方法及通话检测方法 |
| CN113179352B (zh) * | 2021-05-25 | 2023-04-07 | 北京捷通华声科技股份有限公司 | 通话质量的确定方法、确定装置以及计算机可读存储介质 |
| CN113724708A (zh) * | 2021-07-23 | 2021-11-30 | 山东环维通讯科技有限公司 | 一种语音转化成文本智能核单的质检*** |
| CN115499545A (zh) * | 2022-09-13 | 2022-12-20 | 上海浦东发展银行股份有限公司 | 一种电话客服绩效评分方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885726A (zh) * | 2017-11-06 | 2018-04-06 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检***、方法及计算机可读存储介质 |
| CN110378587A (zh) * | 2019-07-08 | 2019-10-25 | 上海辰尚信息科技有限公司 | 智能质检方法、***、介质以及设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5855290B2 (ja) * | 2014-06-16 | 2016-02-09 | パナソニックＩｐマネジメント株式会社 | 接客評価装置、接客評価システム及び接客評価方法 |
| CN106776806A (zh) * | 2016-11-22 | 2017-05-31 | 广东电网有限责任公司佛山供电局 | 呼叫中心质检语音的评分方法和*** |
| CN108806667B (zh) * | 2018-05-29 | 2020-04-17 | 重庆大学 | 基于神经网络的语音与情绪的同步识别方法 |
| CN108962282B (zh) * | 2018-06-19 | 2021-07-13 | 京北方信息技术股份有限公司 | 语音检测分析方法、装置、计算机设备及存储介质 |
| CN109961801A (zh) * | 2019-01-16 | 2019-07-02 | 深圳壹账通智能科技有限公司 | 智能服务评价方法、计算机可读存储介质和终端设备 |
| CN110310663A (zh) * | 2019-05-16 | 2019-10-08 | 平安科技（深圳）有限公司 | 违规话术检测方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-12-26 CN CN201911367527.7A patent/CN111182162B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885726A (zh) * | 2017-11-06 | 2018-04-06 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检***、方法及计算机可读存储介质 |
| CN110378587A (zh) * | 2019-07-08 | 2019-10-25 | 上海辰尚信息科技有限公司 | 智能质检方法、***、介质以及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111182162A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111182162B (zh) | 基于人工智能的电话质检方法、装置、设备和存储介质 | |
| CN107612893B (zh) | 短信的审核***和方法以及构建短信审核模型方法 | |
| CN111046132B (zh) | 一种检索多轮对话的客服问答处理方法及其*** | |
| KR102288249B1 (ko) | 정보 처리 방법, 단말기, 및 컴퓨터 저장 매체 | |
| WO2022095380A1 (zh) | 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质 | |
| CN110232109A (zh) | 一种网络舆情分析方法以及*** | |
| CN110688454A (zh) | 咨询对话处理的方法、装置、设备及存储介质 | |
| CN110910283A (zh) | 生成法律文书的方法、装置、设备和存储介质 | |
| CN109857846B (zh) | 用户问句与知识点的匹配方法和装置 | |
| CN112036842B (zh) | 一种科技服务智能匹配装置 | |
| CN110929011A (zh) | 一种对话分析方法、装置和设备 | |
| CN113297365B (zh) | 一种用户意向判定方法、装置、设备及存储介质 | |
| CN112235470B (zh) | 基于语音识别的来电客户跟进方法、装置及设备 | |
| CN114282498B (zh) | 一种应用于电力交易的数据知识处理*** | |
| CN117520503A (zh) | 基于llm模型的金融客服对话生成方法、装置、设备及介质 | |
| CN116452212B (zh) | 一种智能客服商品知识库信息管理方法及*** | |
| CN112288584A (zh) | 保险报案处理方法、装置、计算机可读介质及电子设备 | |
| CN113010664B (zh) | 一种数据处理方法、装置及计算机设备 | |
| CN115510192A (zh) | 一种新闻事件脉络关系检测方法及装置 | |
| CN114462376A (zh) | 基于rpa和ai的庭审笔录生成方法、装置、设备及介质 | |
| CN114239602A (zh) | 会话方法、装置和计算机程序产品 | |
| CN115080732A (zh) | 投诉工单处理方法、装置、电子设备和存储介质 | |
| CN111552785A (zh) | 人机交互***数据库更新方法、装置、计算机设备和介质 | |
| CN111178068A (zh) | 一种基于对话情绪检测的催收暴力倾向评价方法和装置 | |
| CN117453895B (zh) | 一种智能客服应答方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |