CN113707182B - 声纹识别方法、装置、电子设备及存储介质 - Google Patents
声纹识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113707182B CN113707182B CN202111091629.8A CN202111091629A CN113707182B CN 113707182 B CN113707182 B CN 113707182B CN 202111091629 A CN202111091629 A CN 202111091629A CN 113707182 B CN113707182 B CN 113707182B
- Authority
- CN
- China
- Prior art keywords
- voiceprint information
- voiceprint
- information
- audio data
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000015654 memory Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 238000003062 neural network model Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种声纹识别方法、装置、电子设备及存储介质，属于声纹识别技术领域。该方法包括：基于第一声纹信息的设备类型、多个第二声纹信息的设备类型、第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，确定第一声纹信息与多个第二声纹信息分别对应的第二相似度，进而确定与第一声纹信息匹配的目标声纹信息。如此，在确定目标声纹信息时，考虑到了各个声纹信息对应的设备类型，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。
Description
技术领域
本公开涉及声纹识别技术领域，特别涉及一种声纹识别方法、装置、电子设备及存储介质。
背景技术
随着声纹识别技术的不断发展，声纹识别技术广泛应用于用户身份确认的场景中。目前，在对用户进行身份确认时，通常是获取用户的音频数据，基于该音频数据的声纹信息，在声纹信息库中检索，确定与该音频数据的声纹信息匹配的声纹信息，再将匹配的声纹信息所关联的身份信息确定为当前用户的身份信息，如此，根据用户的声纹信息实现了对用户的身份确认，其中，声纹信息库用于存储多个音频数据以及该多个音频数据相关联的声纹信息和用户信息。
相关技术中，声纹信息库所存储的多个音频数据，可能是通过不同音频采集设备如移动终端内置麦克风、台式计算机外联麦克风或专用采集设备采集得到的，在进行声纹检索时，由于音频采集设备的类型不同，导致声纹识别的准确率较低。
发明内容
本公开实施例提供了一种声纹识别方法、装置、电子设备及存储介质，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。该技术方案如下步骤。
一方面，提供了一种声纹识别方法，该方法包括：
获取第一音频数据的第一声纹信息；
确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，该多个第二音频数据由不同类型的音频采集设备采集得到；
基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度；
基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
在一些实施例中，基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度包括：
将该第一声纹信息、该第一声纹信息的设备类型、多个该第二声纹信息、多个该第二声纹信息的设备类型以及多个该第一相似度输入声纹模型，通过该声纹模型，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
在一些实施例中，基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息包括：
按照第二相似度由高到低的排列次序进行排序，选取排列次序位于前目标位数的第二相似度对应的第二声纹信息，确定为该目标声纹信息。
在一些实施例中，获取第一音频数据的第一声纹信息之后，该方法还包括：
基于该第一音频数据的第一声纹信息，分别在多个声纹信息库中进行检索，得到该多个第二音频数据的第二声纹信息，该多个声纹信息库分别用于存储由对应多个音频采集设备所采集的多个音频数据的声纹信息；
基于该多个第二音频数据的第二声纹信息，执行该确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度的步骤。
在一些实施例中，分别在多个声纹信息库中进行检索之前，该方法还包括：
确定该第一声纹信息的设备类型，在该设备类型对应的声纹信息库中进行检索，若该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息，则分别在多个其他声纹信息库中进行检索。
在一些实施例中，基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息之后，该方法还包括：
获取与该目标声纹信息关联的用户信息，将该用户信息确定为与该第一音频数据匹配的用户信息。
一方面，提供了一种声纹识别装置，该装置包括：
获取模块，用于获取第一音频数据的第一声纹信息；
第一相似度确定模块，用于确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，该多个第二音频数据由不同类型的音频采集设备采集得到；
第二相似度确定模块，用于基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度；
声纹信息确定模块，用于基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
在一些实施例中，该第二相似度确定模块，用于：
将该第一声纹信息、该第一声纹信息的设备类型、多个该第二声纹信息、多个该第二声纹信息的设备类型以及多个该第一相似度输入声纹模型，通过该声纹模型，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
在一些实施例中，该声纹信息确定模块，用于：
按照第二相似度由高到低的排列次序进行排序，选取排列次序位于前目标位数的第二相似度对应的第二声纹信息，确定为该目标声纹信息。
在一些实施例中，该装置还包括：
检索模块，用于基于该第一音频数据的第一声纹信息，分别在多个声纹信息库中进行检索，得到该多个第二音频数据的第二声纹信息，该多个声纹信息库分别用于存储由对应多个音频采集设备所采集的多个音频数据的声纹信息；
基于该多个第二音频数据的第二声纹信息，执行该确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度的步骤。
在一些实施例中，该检索模块，还用于：
确定该第一声纹信息的设备类型，在该设备类型对应的声纹信息库中进行检索，若该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息，则分别在多个其他声纹信息库中进行检索。
在一些实施例中，该装置还包括：
用户信息确定模块，用于获取与该目标声纹信息关联的用户信息，将该用户信息确定为与该第一音频数据匹配的用户信息。
一方面，提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该程序代码由该一个或多个处理器加载并执行以实现上述声纹识别方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该程序代码由处理器加载并执行以实现上述声纹识别方法所执行的操作。
本公开实施例提供的技术方案，基于待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第一相似度以及各个声纹信息对应的设备类型，来确定待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第二相似度，进而确定与待识别音频数据的声纹信息匹配的目标声纹信息，如此，在确定目标声纹信息时，考虑到了各个声纹信息对应的设备类型，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种声纹识别方法的实施环境示意图；
图2是本公开实施例提供的一种声纹识别方法的流程图；
图3是本公开实施例提供的一种声纹识别方法的流程图；
图4是本公开实施例提供的一种声纹识别装置的流程图；
图5是本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
首先，针对本公开实施例中涉及的应用场景进行描述：
本公开实施例涉及的声纹识别方法可应用于用户的身份确认场景。例如，该声纹识别方法可以应用于特殊案件中身份确认的业务场景中，根据案件相关人员的音频数据与声纹信息库中的音频数据进行声纹比对，能够确定出该案件相关人员的身份信息。或者，该声纹识别方法还可以应用于身份验证场景中，根据待验证用户的音频数据与声纹信息库中的音频数据进行声纹比对，能够确定出该声纹信息库中是否存在与待验证用户的音频数据匹配的声纹信息，以确定该待验证用户是否为合法用户。当然，该声纹识别方法还可以应用于其他身份确认的场景，本公开实施例对此不加以限定。
相关技术中，在一些实施例中，声纹信息库所存储的多个音频数据，是通过不同音频采集设备如移动终端内置麦克风、台式计算机外联麦克风或专用采集设备采集得到的，进而，在基于待识别音频数据和声纹信息库中的参考音频数据进行声纹比对时，可能会产生不同类型的音频采集设备所采集的音频数据之间的声纹比对的问题，由于音频采集设备的类型不同，会造成声纹识别的误差，降低了声纹识别的准确率。在另一些实施例中，声纹信息库所存储的多个音频数据，是通过同一音频采集设备如专用采集设备采集得到的，进而，在基于待识别音频数据和声纹信息库中的参考音频数据进行声纹比对时，由于仅在同设备类型的声纹信息库中进行声纹检索，减少了声纹检索的检索范围，降低了声纹匹配的成功率。
图1是本公开实施例提供的一种声纹识别方法的实施环境示意图，参见图1，该实施环境包括：第一电子设备101和第二电子设备102。
第一电子设备101为终端设备，具体是用户(如特定人员)所操作的终端设备(为便于描述后续采用终端来指代第一电子设备101)。在一些实施例中，终端为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种。终端具有通信功能，可以接入有线网络或无线网络。终端可以泛指多个终端中的一个，本实施例仅以终端来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。
在一些实施例中，终端关联有声纹识别平台，该声纹识别平台提供有声纹识别的功能。本公开实施例中，终端用于响应于对第一音频数据的识别操作，向服务器发送对该第一音频数据的识别请求。
第二电子设备102为服务器(为便于描述后续采用服务器来指代第二电子设备102)，具体是指声纹识别平台的后台服务器。在一些实施例中，服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式文件***，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器与终端可以通过有线或无线通信方式进行直接或间接的连接，本公开实施例对此不作限定。可选地，上述服务器的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器还可以包括其他功能服务器，以便提供更全面且多样化的服务。
本公开实施例中，服务器用于获取第一音频数据的第一声纹信息，确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度，基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
图2是本公开实施例提供的一种声纹识别方法的流程图，参见图2，该方法由服务器执行，包括以下步骤。
201、服务器获取第一音频数据的第一声纹信息。
202、服务器确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，该多个第二音频数据由不同类型的音频采集设备采集得到。
203、服务器基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
204、服务器基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
本公开实施例提供的技术方案，基于待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第一相似度以及各个声纹信息对应的设备类型，来确定待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第二相似度，进而确定与待识别音频数据的声纹信息匹配的目标声纹信息，如此，在确定目标声纹信息时，考虑到了各个声纹信息对应的设备类型，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。
图3是本公开实施例提供的一种声纹识别方法的流程图，参见图3，图3以终端和服务器为执行主体，对方案进行说明，该方法包括以下步骤。
301、终端响应于对第一音频数据的识别操作，向服务器发送对该第一音频数据的识别请求。
其中，第一音频数据为待进行声纹识别的音频数据。以特殊案件的身份确认场景为例，第一音频数据可以是案件相关人员的音频数据，以身份验证场景为例，第一音频数据可以是待验证的用户的音频数据。在一些实施例中，第一音频数据由移动终端内置麦克风采集得到，或者由台式计算机外联麦克风采集得到，或者由专用采集设备采集得到。当然，第一音频数据还可以由其他音频采集设备采集得到。本公开实施例对此不加以限定。
本公开实施例中，第一音频数据的识别请求用于请求对该第一音频数据进行声纹识别，以获取与该第一音频数据关联的用户信息。本公开实施例中所涉及到的用户信息为经用户授权或经过各方充分授权的信息。如此，根据用户的声纹信息实现了对用户的身份确认。
在一些实施例中，终端展示有声纹识别页面，该声纹识别页面提供有上传音频数据的功能控件，用户通过在该声纹识别页面中进行操作，能够将该第一音频数据上传至终端，相应过程为：终端响应于对该声纹识别页面中上传音频数据的功能控件的触发操作，展示多个候选音频数据，响应于对任一个候选音频数据的选择操作，将被选中的候选音频数据上传至终端，则终端获取该被选中的候选音频数据，也即是获取到了该第一音频数据。
进一步地，该声纹识别页面提供有声纹识别的功能控件，对第一音频数据的识别操作可以是对该功能控件的触发操作，用户通过触发该声纹识别页面中的功能控件，能够触发终端向服务器发送该第一音频数据的识别请求，相应过程为：终端响应于对该声纹识别页面中声纹识别的功能控件的触发操作，向服务器发送该第一音频数据的识别请求。
在一个具体示例中，第一音频数据由当前终端的内置麦克风采集得到。例如，第一音频数据可以是终端所存储的本地通话记录中的通话音频，相应地，终端响应于对该上传音频数据的功能控件的触发操作，展示终端所存储的本地通话记录中的通话音频，响应于对任一个通话音频的选择操作，将被选中的通话音频上传至终端，则终端获取该被选中的通话音频，也即是获取到了第一音频数据，进而基于该第一音频数据，向服务器发送该第一音频数据的识别请求。
302、服务器响应于接收到对第一音频数据的识别请求，获取该第一音频数据的第一声纹信息。
其中，声纹是用电声学仪器显示的携带言语信息的声波频谱，声纹信息是通过滤波器、模型等方法提取出的能够表征说话人的信息。应理解地，由于人在讲话时使用的发声器官(舌、牙齿、喉头、肺、鼻腔)在尺寸和形态方面每个人的差异很大，所以任何两个人的声纹都有差异。在一些实施例中，第一声纹信息为用于表征第一音频数据的声纹的特征向量。
在一些实施例中，服务器响应于接收到对第一音频数据的识别请求，获取该第一音频数据的识别请求携带的该第一音频数据，提取该第一音频数据的第一声纹信息。在一种可选的实施例中，服务器采用神经网络模型，来提取该第一音频数据的第一声纹信息，相应过程为：服务器提取该第一音频数据的语音声学特征，将该语音声学特征输入神经网络模型，通过该神经网络模型对该语音声学特征进行处理，输出该语音声学特征的声纹特征，将该声纹特征作为该第一音频数据的声纹信息。
其中，该神经网络模型从底层向上层依次包括输入层、卷积层、池化层、全连接层和输出层。输入层用于将服务器所获取的语音声学特征输入神经网络模型，并将所输入的语音声学特征转化为数字矩阵，使输入特征标准化，以便该神经网络模型进行后续运算过程；卷积层用于对输入层生成的数字矩阵进行卷积运算，基于该卷积运算的结果对语音声学特征进行特征提取，该神经网络模型可以包括一个或多个卷积层；池化层用于将卷积层获得的特征提取值进行量化，来获得维度较小的矩阵，以便对声纹特征进一步提取，该神经网络模型可以包括一个或多个池化层；全连接层用于将提取到的声纹特征通过权值矩阵，整合为完整的声纹特征；输出层用于将全连接层整合得到的声纹特征输出。声纹特征是指神经网络模型的全连接层所输出的特征。相应地，服务器基于神经网络模型确定声纹信息的具体过程可以包括：服务器将提取得到的第一音频数据的语音声学特征输入神经网络模型，依次通过该神经网络模型的输入层、卷积层及全连接层，通过神经网络模型的卷积层对该语音声学特征进行卷积处理，得到卷积层输出的语音声学特征，通过全连接层对输入的语音声学特征进行非线性组合，输出该语音声学特征的声纹特征，将该声纹特征作为该第一音频数据的声纹信息。
其中，语音声学特征可以为语音的梅尔频谱倒谱系数(Mel Frequency CepstrumCoefficient，MFCC)，或感知线性预测系数(Perceptual Linear Predictive，PLP)，或滤波器组特征(Filter Bank Feature)等，当然，该语音声学特征也可以为原始语音即该第一音频数据。
上述实施例是基于神经网络模型提取第一声纹信息的过程，在另一些实施例中，服务器还能够采用其他声纹提取方式，来提取该第一声纹信息。本公开实施例对获取声纹信息的过程不加以限定。
303、服务器确定该第一声纹信息的设备类型，基于该第一音频数据的第一声纹信息，在该设备类型对应的声纹信息库中进行检索，若该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息，则执行步骤304。
本公开实施例中，服务器关联有多个声纹信息库，该多个声纹信息库分别用于存储由对应多个音频采集设备所采集的多个音频数据的声纹信息，也即是一个声纹信息库对应一个音频采集设备。例如，该多个声纹信息库可以包括移动终端内置麦克风对应的声纹信息库(用于存储由移动终端内置麦克风所采集的多个音频数据的声纹信息)、台式计算机外联麦克风对应的声纹信息库(用于存储由台式计算机外联麦克风所采集的多个音频数据的声纹信息)、专用采集设备对应的声纹信息库(用于存储由专用采集设备所采集的多个音频数据的声纹信息)。其中，音频数据的声纹信息为用于表征音频数据的声纹的特征向量。
在一些实施例中，服务器确定该第一声纹信息的设备类型的过程为：服务器基于该第一音频数据的音频标识和目标对应关系，确定该音频标识对应的设备类型，将该音频标识对应的设备类型确定为该该第一音频数据的设备类型，也即是该第一声纹信息的设备类型。其中，目标对应关系包括多个音频数据的音频标识以及该多个音频标识对应的设备类型。音频标识可以是音频数据的名称、编号、ID(Identification，身份标识符)等。可选地，该目标对应关系存储在声纹信息库中。可选地，设备类型采用设备的one-hot序列来表示，该one-hot序列为用于标识设备类型的一段编码。
在一些实施例中，服务器确定该第一声纹信息的设备类型后，利用Faiss向量检索引擎，基于该第一音频数据的第一声纹信息，在该设备类型对应的声纹信息库中进行检索，若该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息，则执行步骤304。
其中，Faiss向量检索引擎是一个开源的相似向量检索库，其检索原理是通过计算待识别声纹和参考声纹之间的相似度，选取达到相似度阈值的声纹作为可匹配的声纹。相似度阈值为预先设定的相似度分值，通过对计算得到的相似度和预先设定的相似度分值进行比对，来确定对应的参考声纹能否作为可匹配的声纹。例如，若计算得到的待识别声纹与参考声纹之间的相似度为80，预先设定的相似度分值为75，则确定参考声纹能够作为可匹配的声纹。
如此，面对高维空间中的海量数据时，提供了高效且可靠的检索方法，能够快速检索得到可匹配的部分声纹信息，减少了后续声纹识别所参考的数据量，提高了服务器的运算效率。为便于描述，后续采用检索相似度来代表声纹检索时所计算得到的相似度。
在一种可选的实施例中，服务器利用Faiss向量检索引擎进行声纹检索的过程为：服务器基于该第一声纹信息和该设备类型对应的声纹信息库所包括的多个声纹信息，确定该第一声纹信息和该多个声纹信息分别对应的检索相似度，若存在检索相似度达到相似度阈值的声纹信息，则表示该设备类型对应的声纹信息库中存在与该第一声纹信息可匹配的声纹信息，若不存在检索相似度达到相似度阈值的声纹信息，则表示该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息。在一些实施例中，检索相似度采用特征距离来表示，例如欧氏距离。应理解地，距离越大，检索相似度越小，距离越小，检索相似度越大。
需要说明的是，步骤303为可选步骤。在一些实施例中，服务器获取该第一音频数据的第一声纹信息后，无需执行步骤303中优先在同设备类型的声纹信息库中检索的过程，基于该第一音频数据的第一声纹信息，在多个声纹信息库中进行检索即可。
304、服务器基于该第一音频数据的第一声纹信息，分别在多个其他声纹信息库中进行检索，得到多个第二音频数据的第二声纹信息，该多个第二音频数据由不同类型的音频采集设备采集得到。
本公开实施例中，多个第二音频数据的第二声纹信息与第一声纹信息之间满足相似度条件。其中，相似度条件用于筛选出可匹配的多个第二音频数据的第二声纹信息。在一些实施例中，相似度条件为检索相似度达到预先设定的相似度分值。在一些实施例中，第二声纹信息为用于表征第二音频数据的声纹的特征向量。
需要说明的是，服务器分别在多个声纹信息库中进行检索的过程参见步骤303中的声纹检索过程，不再赘述。在一些实施例中，步骤303中提到的相似度分值和步骤304中提到的相似度分值相同，或者，在另一些实施例中，步骤303中提到的相似度分值和步骤304中提到的相似度分值不同。
上述步骤303至步骤304是服务器自动优先检索同设备类型的声纹信息库，在未检索到与该第一声纹信息匹配的声纹信息的情况下，再在该多个声纹信息库中进行扩展检索的过程。其中，该多个声纹信息库可以包括同设备类型的声纹信息库，也可以不包括同设备类型的声纹信息库。在另一些实施例中，上述过程还能够由用户来触发，也即是用户在触发声纹识别功能时，可指定一个或多个声纹信息库进行声纹检索。例如，用户可以优先指定同设备类型的声纹信息库进行声纹检索，相应过程为：终端响应于对该声纹识别页面中多个候选声纹信息库中目标声纹信息库的触发操作，向服务器发送指示在该目标声纹信息库对该第一音频数据进行声纹检索的请求；进一步地，若同设备类型的声纹信息库的检索结果无法满足用户需求，则用户可选择多个声纹信息库进行扩展检索，以扩大数据范围。
305、服务器确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度。
本公开实施例中，第一相似度是指基于声纹相似度算法计算得到的相似度。在一些实施例中，服务器基于声纹相似度算法，确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度。如此，通过计算声纹信息之间的第一相似度，能够更加精准地确定出声纹信息之间的相似度，进一步提升了声纹识别的准确性。
在一些实施例中，对于任一个第二声纹信息，服务器基于该第一声纹信息和该第二声纹信息所包括的特征维度、每个特征维度的特征值以及每个特征维度所占的权重，来计算该第一声纹信息和该第二声纹信息分别对应的第一相似度。在另一些实施例中，服务器确定第一相似度的过程，还能够采用其他声纹相似度算法来实现。例如，采用距离算法、相关系数算法或模型算法中任一种。
306、服务器基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
本公开实施例中，第二相似度是指基于声纹模型计算得到的相似度。在一些实施例中，服务器确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度包括：服务器将该第一声纹信息、该第一声纹信息的设备类型、多个该第二声纹信息、多个该第二声纹信息的设备类型以及多个该第一相似度输入声纹模型，通过该声纹模型，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
在一些实施例中，声纹模型为XGBoost(eXtreme Gradient Boosting，分布式梯度提升)模型。声纹模型用于对声纹信息之间的第二相似度进行预测。
本申请实施例所采用的声纹模型为已训练完成的模型。在一些实施例中，服务器获取多组样本声纹数据以及该多组样本声纹数据的相似度标签，基于该多组样本声纹数据以及该多组样本声纹数据的相似度标签，进行模型训练，得到声纹模型。其中，每组样本声纹数据包括待识别声纹信息、待识别声纹信息的设备类型、多个参考声纹信息、该多个参考声纹信息的设备类型、待识别声纹信息分别以及该多个参考声纹信息分别对应的第一相似度。具体地，声纹模型的训练过程包括：在第一次迭代过程中，分别将该多组样本声纹数据输入初始模型，得到第一次迭代过程的相似度训练结果；基于第一次迭代过程的相似度训练结果与多组样本声纹数据的相似度标签，确定损失函数，基于损失函数，对初始模型中的模型参数进行调整；将第一次迭代调整后的模型参数作为第二次迭代的模型参数，再进行第二次迭代；重复多次上述迭代过程，在第N次过程中，以第N-1次迭代调整后的模型参数作为新的模型参数，进行模型训练，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为声纹模型。其中，N为正整数，且N大于1。可选地，训练满足的目标条件可以为初始模型的训练迭代次数达到目标次数，该目标次数可以是预先设定的训练迭代次数；或者，训练满足的目标条件可以为损失值满足目标阈值条件，如损失值小于0.00001。本公开实施例对此不作限定。
在上述实施例中，按照音频采集设备的类型对声纹信息库进行分库管理，在保证声纹信息库的覆盖范围的情况下，通过声纹模型来进行相似度的运算，减小了因音频采集设备的类型不同而造成的声纹识别的误差，提高了声纹识别的准确性。
307、服务器基于多个第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
在一些实施例中，服务器确定与该第一声纹信息匹配的目标声纹信息包括：服务器按照第二相似度由高到低的排列次序进行排序，选取排列次序位于前目标位数的第二相似度对应的第二声纹信息，确定为该目标声纹信息。其中，目标数目为预先设定的固定数目，如1或10。
308、服务器获取与该目标声纹信息关联的用户信息，将该用户信息确定为与该第一音频数据匹配的用户信息。
在一些实施例中，声纹信息库还存储有多个音频数据所关联的用户信息。
309、服务器将与该目标声纹信息关联的用户信息返回至终端。
310、终端接收该与该目标声纹信息关联的用户信息，展示与该目标声纹信息关联的用户信息。
本公开实施例提供的技术方案，基于待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第一相似度以及各个声纹信息对应的设备类型，来确定待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第二相似度，进而确定与待识别音频数据的声纹信息匹配的目标声纹信息，如此，在确定目标声纹信息时，考虑到了各个声纹信息对应的设备类型，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图4是本公开实施例提供的一种声纹识别装置的结构示意图，参见图4，该装置包括：
获取模块401，用于获取第一音频数据的第一声纹信息；
第一相似度确定模块402，用于确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，该多个第二音频数据由不同类型的音频采集设备采集得到；
第二相似度确定模块403，用于基于该第一声纹信息的设备类型、多个该第二声纹信息的设备类型以及多个该第一相似度，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度；
声纹信息确定模块404，用于基于多个该第二相似度，确定与该第一声纹信息匹配的目标声纹信息。
本公开实施例提供的技术方案，基于待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第一相似度以及各个声纹信息对应的设备类型，来确定待识别音频数据的声纹信息与多个音频数据的声纹信息分别对应的第二相似度，进而确定与待识别音频数据的声纹信息匹配的目标声纹信息，如此，在确定目标声纹信息时，考虑到了各个声纹信息对应的设备类型，减小了因音频采集设备的类型不同而造成的识别误差，提高了声纹识别的准确率。
在一些实施例中，该第二相似度确定模块403，用于：
将该第一声纹信息、该第一声纹信息的设备类型、多个该第二声纹信息、多个该第二声纹信息的设备类型以及多个该第一相似度输入声纹模型，通过该声纹模型，确定该第一声纹信息与多个该第二声纹信息分别对应的第二相似度。
在一些实施例中，该声纹信息确定模块404，用于：
按照第二相似度由高到低的排列次序进行排序，选取排列次序位于前目标位数的第二相似度对应的第二声纹信息，确定为该目标声纹信息。
在一些实施例中，该装置还包括：
检索模块，用于基于该第一音频数据的第一声纹信息，分别在多个声纹信息库中进行检索，得到该多个第二音频数据的第二声纹信息，该多个声纹信息库分别用于存储由对应多个音频采集设备所采集的多个音频数据的声纹信息；
基于该多个第二音频数据的第二声纹信息，执行该确定该第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度的步骤。
在一些实施例中，该检索模块，还用于：
确定该第一声纹信息的设备类型，在该设备类型对应的声纹信息库中进行检索，若该设备类型对应的声纹信息库中不存在与该第一声纹信息匹配的声纹信息，则分别在多个其他声纹信息库中进行检索。
在一些实施例中，该装置还包括：
用户信息确定模块，用于获取与该目标声纹信息关联的用户信息，将该用户信息确定为与该第一音频数据匹配的用户信息。
需要说明的是：上述实施例提供的声纹识别装置在进行声纹识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的声纹识别装置与声纹识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本公开实施例中的电子设备可以提供为一种服务器，图5是本公开实施例提供的一种服务器的结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)501和一个或多个的存储器502，其中，该一个或多个存储器502中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器501加载并执行以实现上述各个方法实施例中服务器执行的声纹识别方法。当然，该服务器500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器500还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的声纹识别方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (8)
1.一种声纹识别方法，其特征在于，所述方法包括：
获取第一音频数据的第一声纹信息；
确定所述第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，所述多个第二音频数据由不同类型的音频采集设备采集得到；
将所述第一声纹信息、所述第一声纹信息的设备类型、多个所述第二声纹信息、多个所述第二声纹信息的设备类型以及多个所述第一相似度输入声纹模型，通过所述声纹模型，确定所述第一声纹信息与多个所述第二声纹信息分别对应的第二相似度；
基于多个所述第二相似度，确定与所述第一声纹信息匹配的目标声纹信息。
2.根据权利要求1所述的方法，其特征在于，所述基于多个所述第二相似度，确定与所述第一声纹信息匹配的目标声纹信息包括：
按照第二相似度由高到低的排列次序进行排序，选取排列次序位于前目标位数的第二相似度对应的第二声纹信息，确定为所述目标声纹信息。
3.根据权利要求1所述的方法，其特征在于，所述获取第一音频数据的第一声纹信息之后，所述方法还包括：
基于所述第一音频数据的第一声纹信息，分别在多个声纹信息库中进行检索，得到所述多个第二音频数据的第二声纹信息，所述多个声纹信息库分别用于存储由对应多个音频采集设备所采集的多个音频数据的声纹信息；
基于所述多个第二音频数据的第二声纹信息，执行所述确定所述第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度的步骤。
4.根据权利要求3所述的方法，其特征在于，所述分别在多个声纹信息库中进行检索之前，所述方法还包括：
确定所述第一声纹信息的设备类型，在所述设备类型对应的声纹信息库中进行检索，若所述设备类型对应的声纹信息库中不存在与所述第一声纹信息匹配的声纹信息，则分别在多个其他声纹信息库中进行检索。
5.根据权利要求1所述的方法，其特征在于，所述基于多个所述第二相似度，确定与所述第一声纹信息匹配的目标声纹信息之后，所述方法还包括：
获取与所述目标声纹信息关联的用户信息，将所述用户信息确定为与所述第一音频数据匹配的用户信息。
6.一种声纹识别装置，其特征在于，所述装置包括：
获取模块，用于获取第一音频数据的第一声纹信息；
第一相似度确定模块，用于确定所述第一声纹信息与多个第二音频数据的第二声纹信息分别对应的第一相似度，所述多个第二音频数据由不同类型的音频采集设备采集得到；
第二相似度确定模块，用于将所述第一声纹信息、所述第一声纹信息的设备类型、多个所述第二声纹信息、多个所述第二声纹信息的设备类型以及多个所述第一相似度输入声纹模型，通过所述声纹模型，确定所述第一声纹信息与多个所述第二声纹信息分别对应的第二相似度；
声纹信息确定模块，用于基于多个所述第二相似度，确定与所述第一声纹信息匹配的目标声纹信息。
7.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求5任一项所述的声纹识别方法所执行的操作。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的声纹识别方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111091629.8A CN113707182B (zh) | 2021-09-17 | 2021-09-17 | 声纹识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111091629.8A CN113707182B (zh) | 2021-09-17 | 2021-09-17 | 声纹识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113707182A CN113707182A (zh) | 2021-11-26 |
| CN113707182B true CN113707182B (zh) | 2024-06-25 |
Family
ID=78661465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111091629.8A Active CN113707182B (zh) | 2021-09-17 | 2021-09-17 | 声纹识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113707182B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448735A (zh) * | 2018-12-21 | 2019-03-08 | 深圳创维－Rgb电子有限公司 | 基于声纹识别的视频参数调整方法、装置及读存储介质 |
| CN111785283A (zh) * | 2020-05-18 | 2020-10-16 | 北京三快在线科技有限公司 | 一种声纹识别模型训练方法、装置、电子设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101909250B1 (ko) * | 2012-06-07 | 2018-10-17 | 주식회사 케이티 | 단말의 음성 정보에 기초하여 서비스 타입을 결정하는 음성 인식 서버, 서비스 타입에 따라 단말로 컨텐츠를 제공하는 컨텐츠 서버, 단말 및 방법 |
| WO2017113370A1 (zh) * | 2015-12-31 | 2017-07-06 | 华为技术有限公司 | 声纹检测的方法和装置 |
| EP3744152B1 (en) * | 2018-01-22 | 2024-07-24 | Nokia Technologies Oy | Privacy-preserving voiceprint authentication apparatus and method |
| CN109147798B (zh) * | 2018-07-27 | 2023-06-09 | 北京三快在线科技有限公司 | 语音识别方法、装置、电子设备及可读存储介质 |
| CN110808053B (zh) * | 2019-10-09 | 2022-05-03 | 深圳市声扬科技有限公司 | 一种驾驶员身份验证方法、装置及电子设备 |
| CN111261172B (zh) * | 2020-01-21 | 2023-02-10 | 北京爱数智慧科技有限公司 | 一种声纹识别方法和装置 |
| CN111291345A (zh) * | 2020-02-24 | 2020-06-16 | 平安科技（深圳）有限公司 | 声纹数据处理方法、装置、计算机设备和存储介质 |
| CN112331217B (zh) * | 2020-11-02 | 2023-09-12 | 泰康保险集团股份有限公司 | 声纹识别方法和装置、存储介质、电子设备 |
| CN112435673B (zh) * | 2020-12-15 | 2024-05-14 | 北京声智科技有限公司 | 一种模型训练方法及电子终端 |
| CN113253964A (zh) * | 2021-06-24 | 2021-08-13 | 武汉中科瑞华生态科技股份有限公司 | 数据管理方法、装置、设备及存储介质 |
-
2021
- 2021-09-17 CN CN202111091629.8A patent/CN113707182B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448735A (zh) * | 2018-12-21 | 2019-03-08 | 深圳创维－Rgb电子有限公司 | 基于声纹识别的视频参数调整方法、装置及读存储介质 |
| CN111785283A (zh) * | 2020-05-18 | 2020-10-16 | 北京三快在线科技有限公司 | 一种声纹识别模型训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113707182A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610709B (zh) | 一种训练声纹识别模型的方法及*** | |
| CN106683680B (zh) | 说话人识别方法及装置、计算机设备及计算机可读介质 | |
| CN105976812B (zh) | 一种语音识别方法及其设备 | |
| KR101780760B1 (ko) | 가변길이 문맥을 이용한 음성인식 | |
| CN106991312B (zh) | 基于声纹识别的互联网反欺诈认证方法 | |
| CN111309966B (zh) | 音频匹配方法、装置、设备及存储介质 | |
| CN108989349A (zh) | 用户帐号解锁方法、装置、计算机设备及存储介质 | |
| CN111508524B (zh) | 语音来源设备的识别方法和*** | |
| CN109670073B (zh) | 一种信息转换方法及装置、交互辅助*** | |
| CN111179940A (zh) | 一种语音识别方法、装置及计算设备 | |
| CN113314119A (zh) | 语音识别智能家居控制方法及装置 | |
| CN103488782A (zh) | 一种利用歌词识别音乐情感的方法 | |
| CN111222005B (zh) | 声纹数据重排序方法、装置、电子设备及存储介质 | |
| Birla | A robust unsupervised pattern discovery and clustering of speech signals | |
| CN111737515B (zh) | 音频指纹提取方法、装置、计算机设备和可读存储介质 | |
| CN111462775B (zh) | 音频相似度确定方法、装置、服务器及介质 | |
| CN113707182B (zh) | 声纹识别方法、装置、电子设备及存储介质 | |
| CN111968650A (zh) | 语音匹配方法、装置、电子设备及存储介质 | |
| CN116052644A (zh) | 基于平凡发音的说话人识别方法及相关设备 | |
| KR20170091888A (ko) | 음악에 적합한 테마를 자동으로 태깅하는 방법 및 시스템 | |
| CN113628637A (zh) | 一种音频识别方法、装置、设备及存储介质 | |
| CN103474063A (zh) | 语音辨识***以及方法 | |
| CN114840707A (zh) | 歌曲匹配方法及其装置、设备、介质、产品 | |
| CN113744759A (zh) | 音色模板定制方法及其装置、设备、介质、产品 | |
| CN113420178A (zh) | 一种数据处理方法以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |