CN116665646A - 方言数据自动筛选识别方法、装置、设备及其存储介质 - Google Patents
方言数据自动筛选识别方法、装置、设备及其存储介质 Download PDFInfo
- Publication number
- CN116665646A CN116665646A CN202310714727.5A CN202310714727A CN116665646A CN 116665646 A CN116665646 A CN 116665646A CN 202310714727 A CN202310714727 A CN 202310714727A CN 116665646 A CN116665646 A CN 116665646A
- Authority
- CN
- China
- Prior art keywords
- sequence
- dialect
- voice
- text
- asr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012216 screening Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 241001672694 Citrus reticulata Species 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims description 63
- 238000012795 verification Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例属于识别过程优化技术领域,涉及一种方言数据自动筛选识别方法、装置、设备及其存储介质,用于辅助电销人员进行方言数据先验识别,包括将待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列;将待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列;计算第一文本序列和第二文本序列的编辑距离;通过所述编辑距离识别待测语音序列是否为方言序列。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见。
Description
技术领域
本申请涉及识别过程优化技术领域,用于辅助电销人员进行方言数据先验识别,尤其涉及一种方言数据自动筛选识别方法、装置、设备及其存储介质。
背景技术
随着金融科技行业的兴起,金融行业里电销客服人员一直都是与客户直接进行语音通话交流的主流方式,但是,由于语言的语系差异,方言识别一直是语音识别的一大难题。语音识别***支持方言需要收集方言语音数据进行标注,然后用这些有标注的语音数据训练语音识别模型。而方言识别主要面临的问题是方言数据稀缺,较难获取。在真实生产场景下,方言数据占比可能只占1%的比例。也就是说人工听取1万条录音,只能找到1条方言数据,因此方言数据收集效率积极低下,成本非常高。传统方言数据筛选往往需要先训练一个方言语种识别模型来筛选方言数据,但是方言语种模型同时也需要先有方言数据进行训练。然后训练出对应的方言识别模型来筛选方言数据。
因此,现有技术在进行方言数据识别时,存在总想以方言数据训练识别模型的技术偏见,而且方言数据的获取又存在数据稀缺的问题。
发明内容
本申请实施例的目的在于提出一种方言数据自动筛选识别方法、装置、设备及其存储介质,以解决现有技术在进行方言数据识别时,存在总想以方言数据训练识别模型的技术偏见,而且方言数据的获取又存在数据稀缺的问题。
为了解决上述技术问题,本申请实施例提供一种方言数据自动筛选识别方法,采用了如下所述的技术方案:
一种方言数据自动筛选识别方法,包括下述步骤:
获取待测语音序列和所述待测语音序列的来源地区标识;
将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;
将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;
采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;
基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;
若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
进一步的,在执行所述获取待测语音序列和所述待测语音序列的来源地区标识的步骤之后,所述方法还包括:
获取预先采集的普通话语音识别语料;
根据预设的语义标注方式,对所述普通话语音识别语料中每一句普通话序列进行语义标注,获取标注完成的普通话语音识别语料,其中,所述语义标注方式包括采用训练完成的中文自然语言处理模型进行语义标注;
按照预设的比例关系,将所述标注完成的普通话语音识别语料划分为训练集和测试集。
进一步的,在执行所述将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列的步骤之前,所述方法还包括:
将所述训练集输入初始化后的混合结构型ASR语音识别模型,进行模型预训练,获得初步训练完成的混合结构型ASR语音识别模型;
将所述测试集输入初步训练完成的混合结构型ASR语音识别模型,进行识别验证;
若识别验证失败,则调整所述初始化后的混合结构型ASR语音识别模型的训练参数,重新进行混合结构型ASR语音识别模型预训练;
若识别验证成功,则获得预训练完成的混合结构型ASR语音识别模型。
进一步的,在执行所述将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列的步骤之前,所述方法还包括:
将所述训练集输入初始化后的端到端型ASR语音识别模型,进行模型预训练,获得初步训练完成的端到端型ASR语音识别模型;
将所述测试集输入初步训练完成的端到端型ASR语音识别模型,进行识别验证;
若识别验证失败,则调整所述初始化后的端到端型ASR语音识别模型的训练参数,重新进行端到端型ASR语音识别模型预训练;
若识别验证成功,则获得预训练完成的端到端型ASR语音识别模型。
进一步的,所述采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离的步骤,具体包括:
获取所述第一文本序列中的文字内容和文字数量;
获取所述第二文本序列中的文字内容和文字数量;
采用对比方式,获取所述第一文本序列和所述第二文本序列中不同的文字内容;
统计所述第一文本序列和所述第二文本序列中的文字总数量;
计算所述不同的文字内容在所述文字总数量中的占比值;
将所述占比值设置为所述第一文本序列和所述第二文本序列间的编辑距离。
进一步的,所述基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列的步骤,具体包括:
判断所述编辑距离是否超过预设的差异阈值;
若未超过,则所述待测语音序列为普通话序列;
若超过,则所述待测语音序列为方言序列。
进一步的,在执行所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤之前,所述方法还包括:
获取预先根据地区信息所划分的方言类别表,其中,所述地区信息包括全国行政区划信息;
所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤,具体包括:
根据所述全国行政区划信息,识别出所述来源地区标识对应的地区信息;
根据所述来源地区标识对应的地区信息和所述方言类别表,确定所述方言序列所属的方言类别。
为了解决上述技术问题,本申请实施例还提供一种方言数据自动筛选识别装置,采用了如下所述的技术方案:
一种方言数据自动筛选识别装置,包括:
待测数据准备模块,用于获取待测语音序列和所述待测语音序列的来源地区标识;
第一文本序列获取模块,用于将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;
第二文本序列获取模块,用于将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;
编辑距离计算模块,用于采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;
方言序列识别模块,用于基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;
方言类别确定模块,用于若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现上述所述的方言数据自动筛选识别方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述所述的方言数据自动筛选识别方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例所述方言数据自动筛选识别方法,通过获取待测语音序列和所述待测语音序列的来源地区标识;将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图;
图2根据本申请的方言数据自动筛选识别方法的一个实施例的流程图;
图3是图2所示步骤204的一个具体实施例的流程图;
图4根据本申请的方言数据自动筛选识别装置的一个实施例的结构示意图;
图5是图4所示模块404的一个具体实施例的结构示意图;
图6根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的方言数据自动筛选识别方法一般由服务器/终端设备执行,相应地,方言数据自动筛选识别装置一般设置于服务器/终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
为了便于理解,首先介绍一下ASR语音识别模型的发展过程,最初根据GMM(高斯混合模型)-HMM(隐马尔科夫模型)构建ASR语音识别模型,随着深度学习神经网络的快速发展,DNN(深度神经网络)-HMM(隐马尔科夫模型)构建ASR语音识别模型逐渐代替了GMM-HMM构建ASR语音识别模型,随着循环神经网络和端对端模型的提出,又逐渐采用CTC(Connectionist Temporal Classification)准则+LSTM(长短时记忆模型)构建端对端的ASR语音识别模型。
继续参考图2,示出了根据本申请的方言数据自动筛选识别方法的一个实施例的流程图。所述的方言数据自动筛选识别方法,包括以下步骤:
步骤201,获取待测语音序列和所述待测语音序列的来源地区标识。
本实施例中,所述待测语音序列可以为通过电销坐席端而采集的语音序列,所述语音序列包括普通话语音序列或者方言语音序列。
本实施例中,在执行所述获取待测语音序列和所述待测语音序列的来源地区标识的步骤之后,所述方法还包括:获取预先采集的普通话语音识别语料;根据预设的语义标注方式,对所述普通话语音识别语料中每一句普通话序列进行语义标注,获取标注完成的普通话语音识别语料,其中,所述语义标注方式包括采用训练完成的中文自然语言处理模型进行语义标注;按照预设的比例关系,将所述标注完成的普通话语音识别语料划分为训练集和测试集。
通过预先采集普通话语音识别语料,并进行语义标注,避免了以往对方言数据进行识别时,需要先行采集方言,但方言数据又较为缺少问题。采用反向测试的方式,以更加容易采集到的普通话语音识别语料作为模型训练语料,解决了进行方言数据识别时需要采集正向语料,造成采集困难的问题,其中,正向语料指识别方言数据就采集方言数据作为训练语料,方言数据即为正向语料。
步骤202,将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式。
本实施例中,在执行所述将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列的步骤之前,所述方法还包括:将所述训练集输入初始化后的混合结构型ASR语音识别模型,进行模型预训练,获得初步训练完成的混合结构型ASR语音识别模型;将所述测试集输入初步训练完成的混合结构型ASR语音识别模型,进行识别验证;若识别验证失败,则调整所述初始化后的混合结构型ASR语音识别模型的训练参数,重新进行混合结构型ASR语音识别模型预训练;若识别验证成功,则获得预训练完成的混合结构型ASR语音识别模型。
通过普通话语音识别语料训练出混合结构型ASR语音识别模型,再通过预训练完成的混合结构型ASR语音识别模型,对未知的待测语音序列进行识别,若为普通话序列,获得对应的输出结果,若非为普通话序列,也可输出相应的输出序列。
步骤203,将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式。
本实施例中,对端到端型ASR语音识别模型的构建,在原有CTC准则+LSTM构建端对端的ASR语音识别模型,引入了神经网络注意力机制(Attention),采用Conformer模型替换LSTM模型,其中,Conformer模型是Google在2020年提出的语音识别模型,基于Transformer改进而来,主要的改进点在于Transformer在提取长序列依赖的时候更有效,而卷积则擅长提取局部特征,因此将卷积应用于Transformer的Encoder层,同时提升模型在长期序列和局部特征上的效果。
本实施例中,在执行所述将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列的步骤之前,所述方法还包括:将所述训练集输入初始化后的端到端型ASR语音识别模型,进行模型预训练,获得初步训练完成的端到端型ASR语音识别模型;将所述测试集输入初步训练完成的端到端型ASR语音识别模型,进行识别验证;若识别验证失败,则调整所述初始化后的端到端型ASR语音识别模型的训练参数,重新进行端到端型ASR语音识别模型预训练;若识别验证成功,则获得预训练完成的端到端型ASR语音识别模型。
通过普通话语音识别语料训练出端到端型ASR语音识别模型,再通过预训练完成的端到端型ASR语音识别模型,对未知的待测语音序列进行识别,若为普通话序列,获得对应的输出结果,若非为普通话序列,也可输出相应的输出序列。
步骤204,采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离。
继续参考图3,图3是图2所示步骤204的一个具体实施例的流程图,包括:
步骤301,获取所述第一文本序列中的文字内容和文字数量;
步骤302,获取所述第二文本序列中的文字内容和文字数量;
步骤303,采用对比方式,获取所述第一文本序列和所述第二文本序列中不同的文字内容;
步骤304,统计所述第一文本序列和所述第二文本序列中的文字总数量;
步骤305,计算所述不同的文字内容在所述文字总数量中的占比值;
步骤306,将所述占比值设置为所述第一文本序列和所述第二文本序列间的编辑距离。
通过对混合结构型ASR语音识别模型输出的第一文本序列和对端到端型ASR语音识别模型输出的第二文本序列,进行计算,获得第一文本序列和第二文本序列间的编辑距离。显然,若未知的待测语音序列为普通话序列,则所述第一文本序列和所述第二文本序列间的编辑距离较小,若未知的待测语音序列为方言序列,则所述第一文本序列和所述第二文本序列间的编辑距离较大。根据这一特性,通过两个不同模型输出的文本序列,判断所述待测语音序列是否为方言序列,更加科学合理。
步骤205,基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列。
本实施例中,所述基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列的步骤,具体包括:判断所述编辑距离是否超过预设的差异阈值;若未超过,则所述待测语音序列为普通话序列;若超过,则所述待测语音序列为方言序列。
步骤206,若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
本实施例中,在执行所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤之前,所述方法还包括:获取预先根据地区信息所划分的方言类别表,其中,所述地区信息包括全国行政区划信息;
本实施例中,所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤,具体包括:根据所述全国行政区划信息,识别出所述来源地区标识对应的地区信息;根据所述来源地区标识对应的地区信息和所述方言类别表,确定所述方言序列所属的方言类别。
本申请通过获取待测语音序列和所述待测语音序列的来源地区标识;将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见,使用普通话语料作为训练语料,更加容易收集,且更加科学化和合理化。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中,通过将待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;计算所述第一文本序列和所述第二文本序列间的编辑距离;通过所述编辑距离识别所述待测语音序列是否为方言序列。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见,更加科学化和智能化。
进一步参考图4,作为对上述图2所示方法的实现,本申请提供了一种方言数据自动筛选识别装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所述的方言数据自动筛选识别装置400包括:待测数据准备模块401、第一文本序列获取模块402、第二文本序列获取模块403、编辑距离计算模块404、方言序列识别模块405和方言类别确定模块406。其中:
待测数据准备模块401,用于获取待测语音序列和所述待测语音序列的来源地区标识;
第一文本序列获取模块402,用于将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;
第二文本序列获取模块403,用于将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;
编辑距离计算模块404,用于采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;
方言序列识别模块405,用于基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;
方言类别确定模块406,用于若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
在本申请的一些具体的实施方式中,所述方言数据自动筛选识别装置400还包括训练数据获取模块,所述训练数据获取模块用于获取预先采集的普通话语音识别语料;还用于根据预设的语义标注方式,对所述普通话语音识别语料中每一句普通话序列进行语义标注,获取标注完成的普通话语音识别语料,其中,所述语义标注方式包括采用训练完成的中文自然语言处理模型进行语义标注;还用于按照预设的比例关系,将所述标注完成的普通话语音识别语料划分为训练集和测试集。
在本申请的一些具体的实施方式中,所述方言数据自动筛选识别装置400还包括第一训练模块,所述第一训练模块用于将所述训练集输入初始化后的混合结构型ASR语音识别模型,进行模型预训练,获得初步训练完成的混合结构型ASR语音识别模型;还用于将所述测试集输入初步训练完成的混合结构型ASR语音识别模型,进行识别验证;还用于若识别验证失败,则调整所述初始化后的混合结构型ASR语音识别模型的训练参数,重新进行混合结构型ASR语音识别模型预训练;还用于若识别验证成功,则获得预训练完成的混合结构型ASR语音识别模型。
在本申请的一些具体的实施方式中,所述方言数据自动筛选识别装置400还包括第二训练模块,所述第二训练模块用于将所述训练集输入初始化后的端到端型ASR语音识别模型,进行模型预训练,获得初步训练完成的端到端型ASR语音识别模型;还用于将所述测试集输入初步训练完成的端到端型ASR语音识别模型,进行识别验证;还用于若识别验证失败,则调整所述初始化后的端到端型ASR语音识别模型的训练参数,重新进行端到端型ASR语音识别模型预训练;还用于若识别验证成功,则获得预训练完成的端到端型ASR语音识别模型。
继续参考图5,图5是图4所示模块404的一个具体实施例的结构示意图,所述编辑距离计算模块404包括第一获取子模块501、第二获取子模块502、对比子模块503、文字总数量统计子模块504、占比计算子模块505和编辑距离确定子模块506,其中:
第一获取子模块501,用于获取所述第一文本序列中的文字内容和文字数量;
第二获取子模块502,用于获取所述第二文本序列中的文字内容和文字数量;
对比子模块503,用于采用对比方式,获取所述第一文本序列和所述第二文本序列中不同的文字内容;
文字总数量统计子模块504,用于统计所述第一文本序列和所述第二文本序列中的文字总数量;
占比计算子模块505,用于计算所述不同的文字内容在所述文字总数量中的占比值;
编辑距离确定子模块506,用于将所述占比值设置为所述第一文本序列和所述第二文本序列间的编辑距离。
本申请通过获取待测语音序列和所述待测语音序列的来源地区标识;将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图6,图6为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过***总线相互通信连接存储器6a、处理器6b、网络接口6c。需要指出的是,图中仅示出了具有组件6a-6c的计算机设备6,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器6a至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器6a可以是所述计算机设备6的内部存储单元,例如该计算机设备6的硬盘或内存。在另一些实施例中,所述存储器6a也可以是所述计算机设备6的外部存储设备,例如该计算机设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器6a还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中,所述存储器6a通常用于存储安装于所述计算机设备6的操作***和各类应用软件,例如方言数据自动筛选识别方法的计算机可读指令等。此外,所述存储器6a还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器6b在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器6b通常用于控制所述计算机设备6的总体操作。本实施例中,所述处理器6b用于运行所述存储器6a中存储的计算机可读指令或者处理数据,例如运行所述方言数据自动筛选识别方法的计算机可读指令。
所述网络接口6c可包括无线网络接口或有线网络接口,该网络接口6c通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本实施例提出的计算机设备,属于识别过程优化技术领域,用于辅助电销人员与客户进行语音沟通时进行方言数据先验识别。本申请通过获取待测语音序列和所述待测语音序列的来源地区标识;将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被处理器执行,以使所述处理器执行如上述的方言数据自动筛选识别方法的步骤。
本实施例提出的计算机可读存储介质,属于识别过程优化技术领域,用于辅助电销人员与客户进行语音沟通时进行方言数据先验识别。本申请通过获取待测语音序列和所述待测语音序列的来源地区标识;将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。以普通话的两种不同ASR模型,识别相同的语音序列,若为普通话,都可测出,编辑距离较小,若为方言,则两个ASR模型识别结果差异较大,编辑距离较远,既解决了搜集大批量方言语料较为困难的问题,也克服了必须以方言语料训练识别模型的技术偏见。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.一种方言数据自动筛选识别方法,其特征在于,包括下述步骤:
获取待测语音序列和所述待测语音序列的来源地区标识;
将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;
将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;
采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;
基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;
若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
2.根据权利要求1所述的方言数据自动筛选识别方法,其特征在于,在执行所述获取待测语音序列和所述待测语音序列的来源地区标识的步骤之后,所述方法还包括:
获取预先采集的普通话语音识别语料;
根据预设的语义标注方式,对所述普通话语音识别语料中每一句普通话序列进行语义标注,获取标注完成的普通话语音识别语料,其中,所述语义标注方式包括采用训练完成的中文自然语言处理模型进行语义标注;
按照预设的比例关系,将所述标注完成的普通话语音识别语料划分为训练集和测试集。
3.根据权利要求2所述的方言数据自动筛选识别方法,其特征在于,在执行所述将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列的步骤之前,所述方法还包括:
将所述训练集输入初始化后的混合结构型ASR语音识别模型,进行模型预训练,获得初步训练完成的混合结构型ASR语音识别模型;
将所述测试集输入初步训练完成的混合结构型ASR语音识别模型,进行识别验证;
若识别验证失败,则调整所述初始化后的混合结构型ASR语音识别模型的训练参数,重新进行混合结构型ASR语音识别模型预训练;
若识别验证成功,则获得预训练完成的混合结构型ASR语音识别模型。
4.根据权利要求2所述的方言数据自动筛选识别方法,其特征在于,在执行所述将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列的步骤之前,所述方法还包括:
将所述训练集输入初始化后的端到端型ASR语音识别模型,进行模型预训练,获得初步训练完成的端到端型ASR语音识别模型;
将所述测试集输入初步训练完成的端到端型ASR语音识别模型,进行识别验证;
若识别验证失败,则调整所述初始化后的端到端型ASR语音识别模型的训练参数,重新进行端到端型ASR语音识别模型预训练;
若识别验证成功,则获得预训练完成的端到端型ASR语音识别模型。
5.根据权利要求1所述的方言数据自动筛选识别方法,其特征在于,所述采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离的步骤,具体包括:
获取所述第一文本序列中的文字内容和文字数量;
获取所述第二文本序列中的文字内容和文字数量;
采用对比方式,获取所述第一文本序列和所述第二文本序列中不同的文字内容;
统计所述第一文本序列和所述第二文本序列中的文字总数量;
计算所述不同的文字内容在所述文字总数量中的占比值;
将所述占比值设置为所述第一文本序列和所述第二文本序列间的编辑距离。
6.根据权利要求1或5所述的方言数据自动筛选识别方法,其特征在于,所述基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列的步骤,具体包括:
判断所述编辑距离是否超过预设的差异阈值;
若未超过,则所述待测语音序列为普通话序列;
若超过,则所述待测语音序列为方言序列。
7.根据权利要求1所述的方言数据自动筛选识别方法,其特征在于,在执行所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤之前,所述方法还包括:
获取预先根据地区信息所划分的方言类别表,其中,所述地区信息包括全国行政区划信息;
所述通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别的步骤,具体包括:
根据所述全国行政区划信息,识别出所述来源地区标识对应的地区信息;
根据所述来源地区标识对应的地区信息和所述方言类别表,确定所述方言序列所属的方言类别。
8.一种方言数据自动筛选识别装置,其特征在于,包括:
待测数据准备模块,用于获取待测语音序列和所述待测语音序列的来源地区标识;
第一文本序列获取模块,用于将所述待测语音序列输入预训练完成的混合结构型ASR语音识别模型,获取第一文本序列,其中,所述混合结构型ASR语音识别模型为DNN-HMM架构模式;
第二文本序列获取模块,用于将所述待测语音序列输入预训练完成的端到端型ASR语音识别模型,获取第二文本序列,其中,所述端到端型ASR语音识别模型为Conformer+CTC架构模式;
编辑距离计算模块,用于采用对比计算的方式,获取所述第一文本序列和所述第二文本序列间的编辑距离;
方言序列识别模块,用于基于预设的差异阈值和所述编辑距离,识别所述待测语音序列是否为方言序列;
方言类别确定模块,用于若所述待测语音序列为方言序列,则通过所述待测语音序列的来源地区标识,确定所述方言序列所属的方言类别。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的方言数据自动筛选识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的方言数据自动筛选识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310714727.5A CN116665646A (zh) | 2023-06-15 | 2023-06-15 | 方言数据自动筛选识别方法、装置、设备及其存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310714727.5A CN116665646A (zh) | 2023-06-15 | 2023-06-15 | 方言数据自动筛选识别方法、装置、设备及其存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116665646A true CN116665646A (zh) | 2023-08-29 |
Family
ID=87711684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310714727.5A Pending CN116665646A (zh) | 2023-06-15 | 2023-06-15 | 方言数据自动筛选识别方法、装置、设备及其存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116665646A (zh) |
-
2023
- 2023-06-15 CN CN202310714727.5A patent/CN116665646A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034069B (zh) | 用于生成信息的方法和装置 | |
WO2021218028A1 (zh) | 基于人工智能的面试内容精炼方法、装置、设备及介质 | |
CN110245232B (zh) | 文本分类方法、装置、介质和计算设备 | |
CN107862058B (zh) | 用于生成信息的方法和装置 | |
CN113722438B (zh) | 基于句向量模型的句向量生成方法、装置及计算机设备 | |
CN111694937A (zh) | 基于人工智能的面试方法、装置、计算机设备及存储介质 | |
WO2021139316A1 (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
CN114461777B (zh) | 智能问答方法、装置、设备及存储介质 | |
CN112199954B (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 | |
CN117275466A (zh) | 一种业务意图识别方法、装置、设备及其存储介质 | |
CN116841846A (zh) | 一种实时日志异常检测方法、装置、设备及其存储介质 | |
CN117034230A (zh) | 一种数据校验方法、装置、设备及其存储介质 | |
CN116610784A (zh) | 一种保险业务场景问答推荐方法及其相关设备 | |
CN116881446A (zh) | 一种语义分类方法、装置、设备及其存储介质 | |
CN113609833B (zh) | 文件的动态生成方法、装置、计算机设备及存储介质 | |
CN113569741A (zh) | 图像试题的答案生成方法、装置、电子设备及可读介质 | |
CN116665646A (zh) | 方言数据自动筛选识别方法、装置、设备及其存储介质 | |
CN112131378A (zh) | 用于识别民生问题类别的方法、装置及电子设备 | |
CN114866818B (zh) | 视频推荐方法、装置、计算机设备及存储介质 | |
CN117234505A (zh) | 一种交互页面生成方法、装置、设备及其存储介质 | |
CN116825087A (zh) | 一种发音识别方法、装置、设备及其存储介质 | |
CN117290503A (zh) | 一种服务质量评价方法、装置、设备及其存储介质 | |
CN117057362A (zh) | 基于人工智能的意图识别方法、装置、设备及存储介质 | |
CN117493563A (zh) | 一种会话意图分析方法、装置、设备及其存储介质 | |
CN116467166A (zh) | 一种缺陷信息处理方法、装置、设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |