CN112562682A - 基于多人通话的身份识别方法、***、设备及存储介质 - Google Patents
基于多人通话的身份识别方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN112562682A CN112562682A CN202011394092.8A CN202011394092A CN112562682A CN 112562682 A CN112562682 A CN 112562682A CN 202011394092 A CN202011394092 A CN 202011394092A CN 112562682 A CN112562682 A CN 112562682A
- Authority
- CN
- China
- Prior art keywords
- audio
- sub
- text
- person
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 7
- 238000013518 transcription Methods 0.000 claims description 7
- 230000035897 transcription Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 7
- 238000013475 authorization Methods 0.000 abstract 1
- 238000010415 tidying Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 241001415846 Procellariidae Species 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了基于多人通话的身份识别方法、***、设备及存储介质，该方法包括：将原始对话语音就转换获得第一文本；将具有多位用户参与的对话语音分割为多个对话语句音频；将每个对话语句音频切割为多段子音频和对应每个对话语句音频的第二文本；自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；基于每段子音频的声纹特征信息，获得用户的子音频集合；根据每个子音频集合中子音频所对应的第二文本进行汇总得到第三文本，将第三文本输入身份识别神经网络获得子音频集合对应的预设身份，本发明能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，大大减少人力，提高工作效率；提升授权等场景的安全性能。
Description
技术领域
本发明涉及语音识别领域，具体地说，涉及基于多人通话的身份识别方法、***、设备及存储介质。
背景技术
多人通话情况复杂，存在各种转接情况，导致一通电话的左声道中出现多个说话人，直接使用该批数据进行模型训练严重影响模型效果，若人工标注，则工作量太大，费时费力，使用本发明可以大量减少人力。其次，看音频文本花费的时间远小于听完一通音频，并且在某些情况下倍速听取不可行。
因此，本发明提供了一种基于多人通话的身份识别方法、***、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于多人通话的身份识别方法、***、设备及存储介质，克服了现有技术的困难，能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，大大减少人力，提高工作效率。
本发明的实施例提供一种基于多人通话的身份识别方法，包括以下步骤：
S110、将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
S120、将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
S130、将每个所述对话语句音频根据预设时长为单位切割为多段子音频，基于所述对话语句音频的时序，切割所述第一文本，获得对应每个所述子音频的第二文本；
S140、自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
S150、基于将每段子音频的声纹特征信息进行聚类，获得属于不同用户的所述子音频集合；
S160、根据每个所述子音频集合中所述子音频所对应的第二文本进行汇总得到第三文本，将所述第三文本输入身份识别神经网络获得所述子音频集合对应的预设身份。
优选地，所述步骤S130中，将时长不满足预设时长的子音频进行局部复制以使所有所述子音频满足预设时长。
优选地，所述步骤S150中，通过uisrnn网络获得属于不同用户的所述子音频集合
优选地，所述步骤S160之后还包括以下步骤：
S170、获得每个所述预设身份对应的对话语音和对应的第三文本。
优选地，所述步骤S170之后还包括以下步骤：
S180、当所述预设身份包括客户和供应商，自所述客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在所述供应商预设的产品库中搜索包含所述关键词的产品。
优选地，所述原始对话语音具有至少一位用户和多位供应商，所述供应商具有各自的产品库，则自所述客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词。
本发明的实施例还提供一种基于多人通话的身份识别***，用于实现上述的基于多人通话的身份识别方法，所述基于多人通话的身份识别***包括：
转写模块，将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
分割模块，将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
切割模块，将每个所述对话语句音频根据预设时长为单位切割为多段子音频，基于所述对话语句音频的时序，切割所述第一文本，获得对应每个所述子音频的第二文本；
特征模块，自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
聚类模块，基于将每段子音频的声纹特征信息进行聚类，获得属于不同用户的所述子音频集合；身份模块，根据每个所述子音频集合中所述子音频所对应的第二文本进行汇总得到第三文本，将所述第三文本输入身份识别神经网络获得所述子音频集合对应的预设身份。
本发明的实施例还提供一种基于多人通话的身份识别设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述基于多人通话的身份识别方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述基于多人通话的身份识别方法的步骤。
本发明的目的在于提供基于多人通话的身份识别方法、***、设备及存储介质，能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，能够自动对多人通话的原始对话语音进行对话的分类和准确的标签标注，便于进行模型训练，避免了人工标注，大大减少人力，提高工作效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于多人通话的身份识别方法的流程图。
图2至4是实施本发明的基于多人通话的身份识别方法的过程示意图。
图5是本发明的基于多人通话的身份识别***的模块示意图。
图6是本发明的基于多人通话的身份识别设备的结构示意图。
图7是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的基于多人通话的身份识别方法的流程图。如图1所示，本发明的实施例提供一种基于多人通话的身份识别方法，包括以下步骤：
S110、将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
S120、将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
S130、将每个所述对话语句音频根据预设时长为单位切割为多段子音频，基于所述对话语句音频的时序，切割所述第一文本，获得对应每个所述子音频的第二文本；
S140、自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
S150、基于将每段子音频的声纹特征信息进行聚类，获得属于不同用户的所述子音频集合；
S160、根据每个所述子音频集合中所述子音频所对应的第二文本进行汇总得到第三文本，将所述第三文本输入身份识别神经网络获得所述子音频集合对应的预设身份。
S170、获得每个所述预设身份对应的对话语音和对应的第三文本。
S180、当所述预设身份包括客户和供应商，自所述客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在所述供应商预设的产品库中搜索包含所述关键词的产品。
在一个优选方案中，所述步骤S130中，将时长不满足预设时长的子音频进行局部复制以使所有所述子音频满足预设时长。
在一个优选方案中，预设时长的取值范围是1秒至10秒，例如：1秒、2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒等，不以此为限。
在一个优选方案中，所述步骤S150中，通过uisrnn网络获得属于不同用户的所述子音频集合。
在一个优选方案中，原始对话语音具有至少一位用户和多位供应商，供应商具有各自的产品库，则自客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词。
在一个优选方案中，在所有的供应商预设的产品库中搜索包含关键词的产品并进行推荐值排序后，将推荐值最高的至少一产品信息发送给客户。
本发明要解决的问题是提出一种适用于基于多人通话的身份识别方法，即做到对通话进行说话人分段并给出各说话人的身份类别，例如酒店场景下，各说话人的身份类别为酒店、供应商、客人及公司内部同事四种之一。
本发明提出一种适用于基于多人通话的身份识别方法。主要有以下几个步骤：
1)对音频进行通道分离，并使用VAD(语音活动检测Voice Activity Detection,VAD)按句进行切割，基本保证每段仅有一个说话人。
2)对每段音频提取声学特征stft(短时傅里叶变换音频特征)，使用Res-CNN提取声纹特征作为uisrnn(可以是Google UIS-RNN，即无界交错状态回归神经网络UIS-RNN算法)的输入，实现把已切分的语音段划分到相同说话人。
3)接入asr转写，基于文本分类模型确认各段音频的说话人身份。
故本发明可使asr转写的篇章结构更加清晰，标记出各句对应说话人类别，能够让工作人员在不听录音的情况下直接清晰的了解通话情况，直接减少工作人员在每通音频上花费的时间，大大减少人力，提高工作效率。
本发明提出一种基于多人通话的身份识别方法，可以包括前期处理、说话人聚类、各说话人身份类别确认、结果整合返回四个部分。该技术包括以下步骤：
步骤一：前期处理：通话多为8k，为了防止特殊情况，将非8k的通话降采样为8k。右声道统一为内部客服，故进行通道分离，只选取左声道音频。对于实时进入的音频流，通过VAD按句进行切割并且删除静音部分。提取每段音频stft特征，并将其作为Res-CNN网络输入得到声纹特征
步骤二：说话人聚类：使用谷歌提出的uisrnn网络，直接将各段说话人划分给同一说话人。
步骤三：各说话人身份确认部分：接入asr(自动语音识别技术，Automatic SpeechRecognition)转写，将同一说话人的asr转写文本拼接形成长文本，并将每通说话人顺序标识与对应文本以字典形式存储。jieba分词(结巴中文分词)等处理后通过文本分类模型得到该段身份，在酒店场景下该段身份为客人、供应商、酒店、公司内部同事四种之一。对于不同说话人之间身份预测相同的情况，以“身份_i”的形式展示，比如说话人聚类部分的两个说话人身份均被预测为客人，则首先出现的为“客人_1”，其次为“客人_2”。
步骤四：整合上述三步返回结果，按照所需格式返回最终结果。
本发明提出一种多通话人身份确认***，适用于每日大量新进用户通话的情况。本发明不需搭建用户声纹库，可节省大量的存储成本及时间，能够上线后即时使用。本发明应用在模型训练数据选取阶段及海燕平台展示页面，可直接选取训练数据无需标注人员标注，模型结果可靠性提升。在海燕平台上展示各段说话人身份，结合asr转写，可在没有音频辅助的情况下清晰了解通话情况，节省工作人员听取每通音频了解情况的时间，加快工作人员工作速度，节省人力成本。
在一个实施例中，本发明中的音频切割模块主要有说话人改变检测切割，其通过定位音频中说话人发生改变的点进行切割，目前的方法主要有基于距离度量及基于模型搜索，两类方法都是基于声学特征衡量两段音频间的差异，根据阈值进行判断。而模型搜索多适用于集内说话人的情况，不适用于每日大量新进用户上。聚类模块多采用谷歌提出的有监督聚类技术，采用uis-rnn网络，避免了传统聚类技术对说话人数量的判断问题。对于身份确认模块，目前方法主要针对会议记录等场景，多为闭集说话人辨认，即音频中出现的说话人均属于已知的说话人集合，但如果每日大量新进用户通话，为其构建声纹库需要巨大的存储成本且判断其实际身份信息意义不大。
在一个优选例中，在本案实施中处理流程主要分为四大部分：前期处理、说话人聚类、各说话人身份类别确认、结果整合返回。具体实施步骤如下：
步骤1：前期处理。
酒店每天大量电话通道音频，多为8k，但以防特殊情况，将非8k的通话降采样为8k；通话均为双通道，在任何情况下，每通通话的右声道均为客服且只有其一个说话人，而左声道由于转接等情况存在多个说话人，因此需进行通道分离，选取左声道音频进行后续处理；通道分离后，原本客服讲话的部分变成了静音段，基于VAD按句进行切割并删除静音部分。这里VAD为每50ms检测一次，若连续0.5s均为静音部分，则认为一句话结束，在此进行音频切割。为了提升准确率，对于长于4s的音频片段按照每段4s进行切割，对于最后一段不足4s的进行自我复制；对于其余不足4s的片段，复制其本身至4s；最后根据各段stft特征放入模型得到512维声纹特征
步骤2：说话人聚类
说话人聚类直接采用uisrnn网络结构，本发明输入维度N*M*512，N为电话通数，M为每通片段数，直接输出各对应的说话人出现顺序标识。
步骤3：各说话人身份类别确认
每日大量新进用户通话，且同一用户进线具有一段时间内频繁，多数时间内安静等特点，识别出每个说话人的具体身份信息无实际意义。因此将说话人身份汇总为四类：供应商、酒店、客人及公司内部同事。本发明接入asr转写，将每通通话中同一说话人的文本拼接成长文本，基于文本分类确定各说话人身份类别。为了更好的整合返回结果，这里将说话人与对应文本做成字典形式。
步骤4：结果整合返回
由于音频切割、说话人聚类、各说话人身份确认结果分开返回，这里综合后按说话人出现顺序返回每通通话各说话人对应的说话时间段。对于每通通话中不同说话人之间身份预测相同的情况，以“身份_i”的形式展示，比如说话人聚类部分的两个说话人身份均被预测为客人，则首先出现的为“客人_1”，其次为“客人_2。
图2至4是实施本发明的基于多人通话的身份识别方法的过程示意图。参考图2至4所示，本发明的实施过程如下：
参考图2，将具有客户A和用户B的一段原始对话语音就进行自语音到文字的转换获得第一文本，第一文本为“您是否有旅游打算？你好！我是想去北海道滑雪。大概什么时候？今年冬天。您和您的家人一起去么？对的，我和我太太两个人一起去。”将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频，得到6个对话语句音频分别为：“您是否有旅游打算？”11、“你好！我是想去北海道滑雪。”12、“大概什么时候？”13、“今年冬天。”14、“您和您的家人一起去么？”15、“对的，我和我太太两个人一起去。”16。
将每个对话语句音频根据时长2秒为单位切割为多段子音频，基于对话语句音频的时序，切割第一文本，获得对应每个子音频的第二文本，例如将对话语句音频12(“你好！我是想去北海道滑雪。”)。根据每两秒一段切割为三个子音频121(时长2秒)、子音频122(时长2秒)、子音频123(时长1秒)，并且对话语句音频的时序，切割第一文本，获得对应前述三个个子音频的三个第二文本“你好！我是”、“想去北海道”、“滑雪”。将时长不满足预设时长的子音123(时长1秒)进行局部复制得到子音123’(“滑雪滑雪”时长2秒)以满足预设时长。
然后，将每段子音频的声纹特征信息输入声纹特征神经网络进行聚类，获得属于不同用户的子音频集合，
即第一位用户的子音频集合包括了对话语句音频11、对话语句音频13、对话语句音频15，根据每个子音频集合中子音频所对应的第二文本进行汇总得到第三文本，第三文本为“您是否有旅游打算？”“大概什么时候？”“您和您的家人一起去么？”，将第三文本输入身份识别神经网络获得子音频集合对应的预设身份为旅游网站客服，并且在对话语句音频11、对话语句音频13、对话语句音频15上分别标示旅游网站客服的标签，与其他的对话语句音频进行区别。
同理，第二位用户的子音频集合包括了对话语句音频12、对话语句音频14、对话语句音频16，根据每个子音频集合中子音频所对应的第二文本进行汇总得到第三文本，第三文本为“你好！我是想去北海道滑雪。”“今年冬天”“对的，我和我太太两个人一起去。”，将第三文本输入身份识别神经网络获得子音频集合对应的预设身份为旅游产品用户，并且在对话语句音频12、对话语句音频14、对话语句音频16上分别标示旅游网站客服的标签，与其他的对话语句音频进行区别。
最后，自旅游产品用户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在旅游网站客服预设的产品库中搜索包含关键词的产品，并发送产品信息给旅游产品用户，本实施例中，自旅游网站客服得产品库中，找到“今年冬天”“北海道滑雪”的旅游产品推送给旅游产品用户。本实施例中的旅游网站客服可以是真人也可以是AI对话机器人，不以此为限。
图5是本发明的基于多人通话的身份识别***的模块示意图。如图5所示，本发明的实施例还提供一种基于多人通话的身份识别***，用于实现上述的基于多人通话的身份识别方法，基于多人通话的身份识别***5包括：
转写模块501，将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
分割模块502，将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
切割模块503，将每个对话语句音频根据预设时长为单位切割为多段子音频，基于对话语句音频的时序，切割第一文本，获得对应每个子音频的第二文本；
特征模块504，自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
聚类模块505，将每段子音频的声纹特征信息输入声纹特征神经网络进行聚类，获得属于不同用户的子音频集合；
身份模块506，根据每个子音频集合中子音频所对应的第二文本进行汇总得到第三文本，将第三文本输入身份识别神经网络获得子音频集合对应的预设身份。
整合模块507，获得每个预设身份对应的对话语音和对应的第三文本。
推送模块508，预设身份包括客户和供应商，自客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在供应商预设的产品库中搜索包含关键词的产品，并发送产品信息给客户。在一个变形例中，原始对话语音可以具有至少一位用户和多位供应商，供应商具有各自的产品库，则自客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在所有的供应商预设的产品库中搜索包含关键词的产品并进行推荐值排序后，将推荐值最高的至少一产品信息发送给客户，从而提高产品信息的购买转化率。
在另一种实施例中，本发明通过采集的语音信号流中分辨出不同说话人的说话片段并标注身份，主要分为4个相对独立的模块：1)音频切割模块，移除静噪音部分并将音频切割成多个片段；2)声纹特征提取模块，依据特征提取声纹特征，主要有ivector、dvector；3)聚类模块，依据提取的声纹特征通过聚类技术将各片段划分给相同说话人。4)身份确认模块，确定各说话人的具体身份。
本发明的基于多人通话的身份识别***能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，能够自动对多人通话的原始对话语音进行对话的分类和准确的标签标注，便于进行模型训练，避免了人工标注，大大减少人力，提高工作效率。
本发明实施例还提供一种基于多人通话的身份识别设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于多人通话的身份识别方法的步骤。
如上所示，该实施例本发明的基于多人通话的身份识别***能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，能够自动对多人通话的原始对话语音进行对话的分类和准确的标签标注，便于进行模型训练，避免了人工标注，大大减少人力，提高工作效率。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图6是本发明的基于多人通话的身份识别设备的结构示意图。下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于多人通话的身份识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例本发明的基于多人通话的身份识别***能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，能够自动对多人通话的原始对话语音进行对话的分类和准确的标签标注，便于进行模型训练，避免了人工标注，大大减少人力，提高工作效率。
图7是本发明的计算机可读存储介质的结构示意图。参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的目的在于提供基于多人通话的身份识别方法、***、设备及存储介质，本发明的基于多人通话的身份识别***能够辅助客服整理多人通话材料，减少工作人员在每通音频上花费的时间，能够自动对多人通话的原始对话语音进行对话的分类和准确的标签标注，便于进行模型训练，避免了人工标注，大大减少人力，提高工作效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于多人通话的身份识别方法，其特征在于，包括以下步骤：
S110、将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
S120、将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
S130、将每个所述对话语句音频根据预设时长为单位切割为多段子音频，基于所述对话语句音频的时序，切割所述第一文本，获得对应每个所述子音频的第二文本；
S140、自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
S150、基于将每段子音频的声纹特征信息进行聚类，获得属于不同用户的所述子音频集合；
S160、根据每个所述子音频集合中所述子音频所对应的第二文本进行汇总得到第三文本，将所述第三文本输入身份识别神经网络获得所述子音频集合对应的预设身份。
2.根据权利要求1所述的基于多人通话的身份识别方法，其特征在于，所述步骤S130中，将时长不满足预设时长的子音频进行局部复制以使所有所述子音频满足预设时长。
3.根据权利要求1所述的基于多人通话的身份识别方法，其特征在于，所述步骤S150中，通过uisrnn网络获得属于不同用户的所述子音频集合。
4.根据权利要求1至3中任意一项所述的基于多人通话的身份识别方法，其特征在于，所述步骤S160之后还包括以下步骤：
S170、获得每个所述预设身份对应的对话语音和对应的第三文本。
5.根据权利要求5所述的基于多人通话的身份识别方法，其特征在于，所述步骤S170之后还包括以下步骤：
S180、当所述预设身份包括客户和供应商，自所述客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词，在所述供应商预设的产品库中搜索包含所述关键词的产品。
6.根据权利要求6所述的基于多人通话的身份识别方法，其特征在于，所述原始对话语音具有至少一位用户和多位供应商，所述供应商具有各自的产品库，则自所述客户的对话语音对应的第三文本中提取出现次数最多的至少一个关键词。
7.一种基于多人通话的身份识别***，用于实现权利要求1所述的基于多人通话的身份识别方法，其特征在于，包括：
转写模块，将具有多位用户参与的原始对话语音就进行自语音到文字的转换获得第一文本；
分割模块，将具有多位用户参与的对话语音进行基于静音抑制检测的分割，获得多个对话语句音频；
切割模块，将每个所述对话语句音频根据预设时长为单位切割为多段子音频，基于所述对话语句音频的时序，切割所述第一文本，获得对应每个所述子音频的第二文本；
特征模块，自子音频提取音频特征，输入深度学习网络，获得子音频的声纹特征信息；
聚类模块，基于将每段子音频的声纹特征信息进行聚类，获得属于不同用户的所述子音频集合；
身份模块，根据每个所述子音频集合中所述子音频所对应的第二文本进行汇总得到第三文本，将所述第三文本输入身份识别神经网络获得所述子音频集合对应的预设身份。
8.一种基于多人通话的身份识别设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任意一项所述基于多人通话的身份识别方法的步骤。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至6任意一项所述基于多人通话的身份识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011394092.8A CN112562682A (zh) | 2020-12-02 | 2020-12-02 | 基于多人通话的身份识别方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011394092.8A CN112562682A (zh) | 2020-12-02 | 2020-12-02 | 基于多人通话的身份识别方法、***、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112562682A true CN112562682A (zh) | 2021-03-26 |
Family
ID=75047505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011394092.8A Pending CN112562682A (zh) | 2020-12-02 | 2020-12-02 | 基于多人通话的身份识别方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112562682A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299279A (zh) * | 2021-05-18 | 2021-08-24 | 上海明略人工智能(集团)有限公司 | 用于关联语音数据和检索语音数据的方法、装置、电子设备和可读存储介质 |
| CN113380271A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 情绪识别方法、***、设备及介质 |
| CN113571085A (zh) * | 2021-07-24 | 2021-10-29 | 平安科技（深圳）有限公司 | 语音分离方法、***、装置和存储介质 |
| CN114299957A (zh) * | 2021-11-29 | 2022-04-08 | 北京百度网讯科技有限公司 | 声纹分离方法、装置、电子设备以及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8543402B1 (en) * | 2010-04-30 | 2013-09-24 | The Intellisis Corporation | Speaker segmentation in noisy conversational speech |
| CN106782507A (zh) * | 2016-12-19 | 2017-05-31 | 平安科技（深圳）有限公司 | 语音分割的方法及装置 |
| CN107886955A (zh) * | 2016-09-29 | 2018-04-06 | 百度在线网络技术（北京）有限公司 | 一种语音会话样本的身份识别方法、装置及设备 |
| CN109767757A (zh) * | 2019-01-16 | 2019-05-17 | 平安科技（深圳）有限公司 | 一种会议记录生成方法和装置 |
| CN110335612A (zh) * | 2019-07-11 | 2019-10-15 | 招商局金融科技有限公司 | 基于语音识别的会议记录生成方法、装置及存储介质 |
| CN111063341A (zh) * | 2019-12-31 | 2020-04-24 | 苏州思必驰信息科技有限公司 | 复杂环境中多人语音的分割聚类方法及*** |
| CN111091835A (zh) * | 2019-12-10 | 2020-05-01 | 携程计算机技术（上海）有限公司 | 模型训练的方法、声纹识别的方法、***、设备及介质 |
| CN111105801A (zh) * | 2019-12-03 | 2020-05-05 | 云知声智能科技股份有限公司 | 一种角色语音分离方法及装置 |
| CN111312256A (zh) * | 2019-10-31 | 2020-06-19 | 平安科技（深圳）有限公司 | 语音身份识别的方法、装置及计算机设备 |
-
2020
- 2020-12-02 CN CN202011394092.8A patent/CN112562682A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8543402B1 (en) * | 2010-04-30 | 2013-09-24 | The Intellisis Corporation | Speaker segmentation in noisy conversational speech |
| CN107886955A (zh) * | 2016-09-29 | 2018-04-06 | 百度在线网络技术（北京）有限公司 | 一种语音会话样本的身份识别方法、装置及设备 |
| CN106782507A (zh) * | 2016-12-19 | 2017-05-31 | 平安科技（深圳）有限公司 | 语音分割的方法及装置 |
| CN109767757A (zh) * | 2019-01-16 | 2019-05-17 | 平安科技（深圳）有限公司 | 一种会议记录生成方法和装置 |
| CN110335612A (zh) * | 2019-07-11 | 2019-10-15 | 招商局金融科技有限公司 | 基于语音识别的会议记录生成方法、装置及存储介质 |
| CN111312256A (zh) * | 2019-10-31 | 2020-06-19 | 平安科技（深圳）有限公司 | 语音身份识别的方法、装置及计算机设备 |
| CN111105801A (zh) * | 2019-12-03 | 2020-05-05 | 云知声智能科技股份有限公司 | 一种角色语音分离方法及装置 |
| CN111091835A (zh) * | 2019-12-10 | 2020-05-01 | 携程计算机技术（上海）有限公司 | 模型训练的方法、声纹识别的方法、***、设备及介质 |
| CN111063341A (zh) * | 2019-12-31 | 2020-04-24 | 苏州思必驰信息科技有限公司 | 复杂环境中多人语音的分割聚类方法及*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113299279A (zh) * | 2021-05-18 | 2021-08-24 | 上海明略人工智能(集团)有限公司 | 用于关联语音数据和检索语音数据的方法、装置、电子设备和可读存储介质 |
| CN113571085A (zh) * | 2021-07-24 | 2021-10-29 | 平安科技（深圳）有限公司 | 语音分离方法、***、装置和存储介质 |
| CN113571085B (zh) * | 2021-07-24 | 2023-09-22 | 平安科技（深圳）有限公司 | 语音分离方法、***、装置和存储介质 |
| CN113380271A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 情绪识别方法、***、设备及介质 |
| CN114299957A (zh) * | 2021-11-29 | 2022-04-08 | 北京百度网讯科技有限公司 | 声纹分离方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10692500B2 (en) | Diarization using linguistic labeling to create and apply a linguistic model | |
| CN112562682A (zh) | 基于多人通话的身份识别方法、***、设备及存储介质 | |
| CN107945805B (zh) | 一种智能化跨语言语音识别转化方法 | |
| CN111128223B (zh) | 一种基于文本信息的辅助说话人分离方法及相关装置 | |
| CN111933129A (zh) | 音频处理方法、语言模型的训练方法、装置及计算机设备 | |
| CN110047481B (zh) | 用于语音识别的方法和装置 | |
| US10062385B2 (en) | Automatic speech-to-text engine selection | |
| CN110689877A (zh) | 一种语音结束端点检测方法及装置 | |
| JP2019211749A (ja) | 音声の始点及び終点の検出方法、装置、コンピュータ設備及びプログラム | |
| CN111968679A (zh) | 情感识别方法、装置、电子设备及存储介质 | |
| CN107562760A (zh) | 一种语音数据处理方法及装置 | |
| US20220238118A1 (en) | Apparatus for processing an audio signal for the generation of a multimedia file with speech transcription | |
| CN112669842A (zh) | 人机对话控制方法、装置、计算机设备及存储介质 | |
| CN111489743A (zh) | 一种基于智能语音技术的运营管理分析*** | |
| CN114330371A (zh) | 基于提示学习的会话意图识别方法、装置和电子设备 | |
| CN108364655B (zh) | 语音处理方法、介质、装置和计算设备 | |
| CN111949778A (zh) | 一种基于用户情绪的智能语音对话方法、装置及电子设备 | |
| EP4352630A1 (en) | Reducing biases of generative language models | |
| CN113793599B (zh) | 语音识别模型的训练方法和语音识别方法及装置 | |
| CN112087726A (zh) | 彩铃识别的方法及***、电子设备及存储介质 | |
| CN115691500A (zh) | 一种基于时延神经网络的电力客服语音识别方法及装置 | |
| CN115168563A (zh) | 一种基于意图识别的机场服务引导方法、***及装置 | |
| CN112397053B (zh) | 语音识别方法、装置、电子设备及可读存储介质 | |
| CN114974294A (zh) | 一种多模态语音通话信息抽取方法及*** | |
| CN108364654B (zh) | 语音处理方法、介质、装置和计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |