JP7110292B2 - 話者検証のためのニューラルネットワーク - Google Patents
話者検証のためのニューラルネットワーク Download PDFInfo
- Publication number
- JP7110292B2 JP7110292B2 JP2020154566A JP2020154566A JP7110292B2 JP 7110292 B2 JP7110292 B2 JP 7110292B2 JP 2020154566 A JP2020154566 A JP 2020154566A JP 2020154566 A JP2020154566 A JP 2020154566A JP 7110292 B2 JP7110292 B2 JP 7110292B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- utterance
- neural network
- utterances
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 208
- 238000012795 verification Methods 0.000 title description 157
- 238000000034 method Methods 0.000 claims description 89
- 230000015654 memory Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 34
- 230000005236 sound signal Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000006403 short-term memory Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims 2
- 238000012549 training Methods 0.000 description 215
- 230000008569 process Effects 0.000 description 39
- 238000010200 validation analysis Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000007477 logistic regression Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 238000001994 activation Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000011524 similarity measure Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007115 recruitment Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
当該話者表現は、決定された発声に基づいて決定されるユーザの音声の区別的な特徴を示すニューラルネットワークの出力を含むことができる。
122 トレーニング・サンプル
122a シミュレートされた検証発声
122b シミュレートされた加入発声
130 ネットワーク
140 トレーニングされたニューラル・ネットワーク
141a マッチングする話者
141b マッチングしない話者
144 話者検証モデル
152 加入発声(複数可)
154 検証発声
156 検証結果
Claims (20)
- データ処理ハードウェアにより、第1の発声を表す複数のオーディオフレームを取得するステップと、
前記データ処理ハードウェアにより、トレーニングされたニューラルネットワークを使用して前記第1の発声に対する話者表現を生成するステップであって、
前記話者表現は前記第1の発声の話者の区別的な特徴を示し、
前記トレーニングされたニューラルネットワークは長短期メモリ(LSTM)レイヤおよび完全に接続された線形レイヤを含み、
前記LSTMレイヤは、入力として前記複数のオーディオフレームを受け取るように構成され、
前記完全に接続された線形レイヤは、
入力として前記LSTMレイヤの出力を受け取り、
出力として前記第1の発声に対する前記話者表現を生成するように構成される、生成するステップと、
前記データ処理ハードウェアにより、ユーザデバイスの加入したユーザに対する話者モデルを取得するステップであって、
前記話者モデルは加入段階の間に以前に決定され、前記加入したユーザにより話される1つまたは複数の第2の発声に基づいて、前記加入したユーザの音声の区別的な特徴を特徴づける、取得するステップと、
前記データ処理ハードウェアにより、前記第1の発声に対する前記話者表現と前記加入したユーザに対する前記話者モデルとの間の類似性スコアが、類似性スコア閾値を満たすかどうかを決定するステップと、
前記類似性スコアが前記類似性スコア閾値を満たすときに、前記データ処理ハードウェアにより、前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証するステップと、
を含む、方法。 - 前記類似性スコアが前記類似性スコア閾値を満たすときに、前記データ処理ハードウェアにより、前記第1の発声に基づいて前記ユーザデバイスの前記加入したユーザに対する前記話者モデルを更新するステップをさらに含む、
請求項1に記載の方法。 - 前記複数のオーディオフレームは固定長を含む、
請求項1に記載の方法。 - 前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証したことに応答して、前記データ処理ハードウェアにより、低電力状態からより完全に特徴付けられた状態に前記ユーザデバイスの動作を遷移するステップをさらに含む、
請求項1に記載の方法。 - 前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証したことに応答して、
前記データ処理ハードウェアにより、前記第1の発声における1つまたは複数の言葉を処理するステップと、
前記データ処理ハードウェアにより、前記第1の発声における1つまたは複数の言葉に基づいたアクションを実行するステップをさらに含む、
請求項1に記載の方法。 - 前記第1の発声と前記1つまたは複数の第2の発声の各々が、同一の所定のフレーズを含む、
請求項1に記載の方法。 - 前記話者表現と前記話者モデルとの間の前記類似性スコアが、前記話者表現に対する値のベクトルと前記話者モデルに対する値のベクトルとの間の余弦距離を含む、
請求項1に記載の方法。 - 前記ユーザデバイスの前記加入したユーザに対する前記話者モデルを取得するステップは、前記ユーザデバイスのメモリハードウェアから前記話者モデルを検索するステップを含む、
請求項1に記載の方法。 - 前記第1の発声を特徴付ける前記複数のオーディオフレームを取得するステップは、
前記第1の発声の生のオーディオ信号を受信するステップと、
前記第1の発声の前記生のオーディオ信号を複数のオーディオフレームに分割するステップであって、各々の生のオーディオフレームは前記生のオーディオ信号の各部分を含む、分割するステップと、
各々の生のオーディオフレームの前記生のオーディオ信号の各部分を、前記第1の発声の各分割を特徴付ける各オーディオ特徴に変換するステップと、
を含む請求項1に記載の方法。 - 前記トレーニングされたニューラルネットワークを使用して前記第1の発声に対する前記話者表現を生成するステップより前に、前記データ処理ハードウェアにおいてリモートコンピューティングデバイスからネットワークを介して前記トレーニングされたニューラルネットワークを受信するステップを
さらに含む請求項1に記載の方法。 - ユーザデバイスのデータ処理ハードウェアと、
前記ユーザデバイスのメモリハードウェアであり、前記データ処理ハードウェアと通信し、前記データ処理ハードウェアにより実行されたときに複数の動作を実行する命令を格納するメモリハードウェアと、
を備えるシステムであって、
前記複数の動作は、
第1の発声を表す複数のオーディオフレームを取得する動作と、
トレーニングされたニューラルネットワークを使用して前記第1の発声に対する話者表現を生成する動作であって、
前記話者表現は前記第1の発声の話者の区別的な特徴を示し、
前記トレーニングされたニューラルネットワークは長短期メモリ(LSTM)レイヤおよび完全に接続された線形レイヤを含み、
前記LSTMレイヤは、入力として前記複数のオーディオフレームを受け取るように構成され、
前記完全に接続された線形レイヤは、入力として前記LSTMレイヤの出力を受け取り、出力として前記第1の発声に対する前記話者表現を生成するように構成される、生成する動作と、
前記ユーザデバイスの加入したユーザに対する話者モデルを取得する動作であって、
前記話者モデルは加入段階の間に以前に決定され、前記加入したユーザにより話される1つまたは複数の第2の発声に基づいて、前記加入したユーザの音声の区別的な特徴を特徴づける、取得する動作と、
前記第1の発声に対する前記話者表現と前記加入したユーザに対する前記話者モデルとの間の類似性スコアが、類似性スコア閾値を満たすかどうかを決定する動作と、
前記類似性スコアが前記類似性スコア閾値を満たすときに、前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証する動作と、
を含む、システム。 - 前記複数の動作は、
前記類似性スコアが前記類似性スコア閾値を満たすときに、前記第1の発声に基づいて前記ユーザデバイスの前記加入したユーザに対する前記話者モデルを更新する動作をさらに含む、
請求項11に記載のシステム。 - 前記複数のオーディオフレームは固定長を含む、
請求項11に記載のシステム。 - 前記複数の動作は、
前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証したことに応答して、低電力状態からより完全に特徴付けられた状態に前記ユーザデバイスの動作を遷移するステップをさらに含む、
請求項11に記載のシステム。 - 前記複数の動作は、
前記第1の発声の前記話者を前記ユーザデバイスの前記加入したユーザとして認証したことに応答して、
前記第1の発声における1つまたは複数の言葉を処理する動作と、
前記第1の発声における1つまたは複数の言葉に基づいたアクションを実行する動作をさらに含む、
請求項11に記載のシステム。 - 前記第1の発声と前記1つまたは複数の第2の発声の各々が、同一の所定のフレーズを含む、
請求項11に記載のシステム。 - 前記話者表現と前記話者モデルとの間の前記類似性スコアが、前記話者表現に対する値のベクトルと前記話者モデルに対する値のベクトルとの間の余弦距離を含む、
請求項11に記載のシステム。 - 前記ユーザデバイスの前記加入したユーザに対する前記話者モデルを取得する動作は、前記ユーザデバイスのメモリハードウェアから前記話者モデルを検索する動作を含む、
請求項11に記載のシステム。 - 前記第1の発声を特徴付ける前記複数のオーディオフレームを取得する動作は、
前記第1の発声の生のオーディオ信号を受信する動作と、
前記第1の発声の前記生のオーディオ信号を複数のオーディオフレームに分割する動作であって、各々の生のオーディオフレームは前記生のオーディオ信号の各部分を含む、分割する動作と、
各々の生のオーディオフレームの前記生のオーディオ信号の各部分を、前記第1の発声の各分割を特徴付ける各オーディオ特徴に変換する動作と、
を含む請求項11に記載のシステム。 - 前記複数の動作は、
前記トレーニングされたニューラルネットワークを使用して前記第1の発声に対する前記話者表現を生成するステップより前に、前記データ処理ハードウェアにおいてリモートコンピューティングデバイスからネットワークを介して前記トレーニングされたニューラルネットワークを受信する動作を
さらに含む請求項11に記載のシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022115625A JP7362851B2 (ja) | 2015-09-04 | 2022-07-20 | 話者検証のためのニューラルネットワーク |
JP2023171420A JP2024001111A (ja) | 2015-09-04 | 2023-10-02 | 話者検証のためのニューラルネットワーク |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/846,187 | 2015-09-04 | ||
US14/846,187 US9978374B2 (en) | 2015-09-04 | 2015-09-04 | Neural networks for speaker verification |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019108765A Division JP6766221B2 (ja) | 2015-09-04 | 2019-06-11 | 話者検証のためのニューラルネットワーク |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022115625A Division JP7362851B2 (ja) | 2015-09-04 | 2022-07-20 | 話者検証のためのニューラルネットワーク |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021006913A JP2021006913A (ja) | 2021-01-21 |
JP7110292B2 true JP7110292B2 (ja) | 2022-08-01 |
Family
ID=56853791
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556908A Active JP6542386B2 (ja) | 2015-09-04 | 2016-07-27 | 話者検証のためのニューラルネットワーク |
JP2019108765A Active JP6766221B2 (ja) | 2015-09-04 | 2019-06-11 | 話者検証のためのニューラルネットワーク |
JP2020154566A Active JP7110292B2 (ja) | 2015-09-04 | 2020-09-15 | 話者検証のためのニューラルネットワーク |
JP2022115625A Active JP7362851B2 (ja) | 2015-09-04 | 2022-07-20 | 話者検証のためのニューラルネットワーク |
JP2023171420A Pending JP2024001111A (ja) | 2015-09-04 | 2023-10-02 | 話者検証のためのニューラルネットワーク |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556908A Active JP6542386B2 (ja) | 2015-09-04 | 2016-07-27 | 話者検証のためのニューラルネットワーク |
JP2019108765A Active JP6766221B2 (ja) | 2015-09-04 | 2019-06-11 | 話者検証のためのニューラルネットワーク |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022115625A Active JP7362851B2 (ja) | 2015-09-04 | 2022-07-20 | 話者検証のためのニューラルネットワーク |
JP2023171420A Pending JP2024001111A (ja) | 2015-09-04 | 2023-10-02 | 話者検証のためのニューラルネットワーク |
Country Status (8)
Country | Link |
---|---|
US (5) | US9978374B2 (ja) |
EP (3) | EP3621070B1 (ja) |
JP (5) | JP6542386B2 (ja) |
KR (2) | KR102026396B1 (ja) |
CN (1) | CN107924682A (ja) |
DE (1) | DE112016004008T5 (ja) |
GB (1) | GB2556459B (ja) |
WO (1) | WO2017039884A1 (ja) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
KR20230137475A (ko) | 2013-02-07 | 2023-10-04 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
CA2954839A1 (en) * | 2016-01-22 | 2017-07-22 | Wal-Mart Stores, Inc. | Systems and methods of enabling forecasting |
US9978367B2 (en) * | 2016-03-16 | 2018-05-22 | Google Llc | Determining dialog states for language models |
US10373612B2 (en) * | 2016-03-21 | 2019-08-06 | Amazon Technologies, Inc. | Anchored speech detection and speech recognition |
CN105933323B (zh) * | 2016-06-01 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 声纹注册、认证方法及装置 |
US10311219B2 (en) * | 2016-06-07 | 2019-06-04 | Vocalzoom Systems Ltd. | Device, system, and method of user authentication utilizing an optical microphone |
US20180018973A1 (en) | 2016-07-15 | 2018-01-18 | Google Inc. | Speaker verification |
KR102596430B1 (ko) * | 2016-08-31 | 2023-10-31 | 삼성전자주식회사 | 화자 인식에 기초한 음성 인식 방법 및 장치 |
US9824692B1 (en) | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
WO2018053537A1 (en) | 2016-09-19 | 2018-03-22 | Pindrop Security, Inc. | Improvements of speaker recognition in the call center |
AU2017327003B2 (en) | 2016-09-19 | 2019-05-23 | Pindrop Security, Inc. | Channel-compensated low-level features for speaker recognition |
KR20180082033A (ko) * | 2017-01-09 | 2018-07-18 | 삼성전자주식회사 | 음성을 인식하는 전자 장치 |
WO2018195185A1 (en) * | 2017-04-20 | 2018-10-25 | Google Llc | Multi-user authentication on a device |
KR102125549B1 (ko) * | 2017-04-20 | 2020-06-22 | 한국전자통신연구원 | 심층신경망 기반 음성 인식 시스템을 위한 발화 검증 방법 |
US10592725B2 (en) * | 2017-04-21 | 2020-03-17 | General Electric Company | Neural network systems |
DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10325602B2 (en) | 2017-08-02 | 2019-06-18 | Google Llc | Neural networks for speaker verification |
CN107301864B (zh) * | 2017-08-16 | 2020-12-22 | 重庆邮电大学 | 一种基于Maxout神经元的深度双向LSTM声学模型 |
WO2019140689A1 (en) * | 2018-01-22 | 2019-07-25 | Nokia Technologies Oy | Privacy-preservign voiceprint authentication apparatus and method |
CN110232909B (zh) * | 2018-03-02 | 2024-07-23 | 北京搜狗科技发展有限公司 | 一种音频处理方法、装置、设备及可读存储介质 |
CN108597523B (zh) * | 2018-03-23 | 2019-05-17 | 平安科技(深圳)有限公司 | 说话人认证方法、服务器及计算机可读存储介质 |
US10937438B2 (en) | 2018-03-29 | 2021-03-02 | Ford Global Technologies, Llc | Neural network generative modeling to transform speech utterances and augment training data |
CN108495143A (zh) | 2018-03-30 | 2018-09-04 | 百度在线网络技术(北京)有限公司 | 视频推荐的方法和装置 |
US10853911B2 (en) * | 2018-04-17 | 2020-12-01 | Google Llc | Dynamic adaptation of images for projection, and/or of projection parameters, based on user(s) in environment |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
GB2573809B (en) * | 2018-05-18 | 2020-11-04 | Emotech Ltd | Speaker Recognition |
JP6980603B2 (ja) * | 2018-06-21 | 2021-12-15 | 株式会社東芝 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
KR102655791B1 (ko) * | 2018-08-27 | 2024-04-09 | 삼성전자주식회사 | 화자 인증 방법, 화자 인증을 위한 학습 방법 및 그 장치들 |
CN109344713B (zh) * | 2018-08-31 | 2021-11-02 | 电子科技大学 | 一种姿态鲁棒的人脸识别方法 |
CN109284406B (zh) * | 2018-09-03 | 2021-12-03 | 四川长虹电器股份有限公司 | 基于差异循环神经网络的意图识别方法 |
KR20200027331A (ko) * | 2018-09-04 | 2020-03-12 | 엘지전자 주식회사 | 음성 합성 장치 |
WO2020068056A1 (en) * | 2018-09-25 | 2020-04-02 | Google Llc | Speaker diarization using speaker embedding(s) and trained generative model |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
CN110289003B (zh) * | 2018-10-10 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 一种声纹识别的方法、模型训练的方法以及服务器 |
KR102608470B1 (ko) | 2018-10-23 | 2023-12-01 | 삼성전자주식회사 | 데이터 인식 장치 및 방법과 트레이닝 장치 및 방법 |
KR102172925B1 (ko) * | 2018-10-25 | 2020-11-02 | 광주과학기술원 | 딥러닝 기반 기후 변화 예측 시스템의 동작 방법 |
US10810993B2 (en) * | 2018-10-26 | 2020-10-20 | Deepmind Technologies Limited | Sample-efficient adaptive text-to-speech |
KR102438671B1 (ko) * | 2018-12-03 | 2022-08-31 | 구글 엘엘씨 | 텍스트 독립 화자 인식 |
KR102570070B1 (ko) | 2018-12-27 | 2023-08-23 | 삼성전자주식회사 | 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치 |
US20210264161A1 (en) * | 2018-12-28 | 2021-08-26 | Vizit Labs, Inc. | Systems and methods for image or video performance heat map generation |
US11031017B2 (en) * | 2019-01-08 | 2021-06-08 | Google Llc | Fully supervised speaker diarization |
DE102019201456B3 (de) * | 2019-02-05 | 2020-07-23 | Sivantos Pte. Ltd. | Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes |
US11019201B2 (en) | 2019-02-06 | 2021-05-25 | Pindrop Security, Inc. | Systems and methods of gateway detection in a telephone network |
US11468886B2 (en) | 2019-03-12 | 2022-10-11 | Lg Electronics Inc. | Artificial intelligence apparatus for performing voice control using voice extraction filter and method for the same |
US10923111B1 (en) | 2019-03-28 | 2021-02-16 | Amazon Technologies, Inc. | Speech detection and speech recognition |
US12015637B2 (en) * | 2019-04-08 | 2024-06-18 | Pindrop Security, Inc. | Systems and methods for end-to-end architectures for voice spoofing detection |
US11960843B2 (en) * | 2019-05-02 | 2024-04-16 | Adobe Inc. | Multi-module and multi-task machine learning system based on an ensemble of datasets |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11848023B2 (en) * | 2019-06-10 | 2023-12-19 | Google Llc | Audio noise reduction |
KR102316537B1 (ko) | 2019-06-21 | 2021-10-22 | 한양대학교 산학협력단 | 잡음 환경에 강인한 화자 인식을 위한 심화신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치 |
CN110610708B (zh) * | 2019-08-31 | 2021-10-15 | 浙江工业大学 | 一种基于布谷鸟搜索算法的声纹识别攻击防御方法 |
US11900246B2 (en) | 2019-09-02 | 2024-02-13 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing user based on on-device training |
US11341988B1 (en) * | 2019-09-23 | 2022-05-24 | Apple Inc. | Hybrid learning-based and statistical processing techniques for voice activity detection |
US11361761B2 (en) * | 2019-10-16 | 2022-06-14 | International Business Machines Corporation | Pattern-based statement attribution |
CN111712874B (zh) * | 2019-10-31 | 2023-07-14 | 支付宝(杭州)信息技术有限公司 | 用于确定声音特性的方法、***、装置和存储介质 |
US11741986B2 (en) * | 2019-11-05 | 2023-08-29 | Samsung Electronics Co., Ltd. | System and method for passive subject specific monitoring |
CN110782901B (zh) * | 2019-11-05 | 2021-12-24 | 深圳大学 | 一种识别网络电话语音的方法、存储介质及装置 |
US11238847B2 (en) * | 2019-12-04 | 2022-02-01 | Google Llc | Speaker awareness using speaker dependent speech model(s) |
KR20220137921A (ko) * | 2020-02-03 | 2022-10-12 | 핀드롭 시큐리티 인코포레이티드 | 음성 생체 인식의 크로스-채널 등록 및 인증 |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11508380B2 (en) * | 2020-05-26 | 2022-11-22 | Apple Inc. | Personalized voices for text messaging |
US11688412B2 (en) * | 2020-06-15 | 2023-06-27 | Tencent America LLC | Multi-modal framework for multi-channel target speech separation |
CN111739521B (zh) * | 2020-06-19 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 电子设备唤醒方法、装置、电子设备及存储介质 |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
KR20220040875A (ko) * | 2020-09-24 | 2022-03-31 | 삼성전자주식회사 | 음성 인식 서비스를 위한 등록 사용자에 대한 화자 인증 학습 장치 및 그 동작 방법 |
CN111933152B (zh) * | 2020-10-12 | 2021-01-08 | 北京捷通华声科技股份有限公司 | 注册音频的有效性的检测方法、检测装置和电子设备 |
US11315575B1 (en) * | 2020-10-13 | 2022-04-26 | Google Llc | Automatic generation and/or use of text-dependent speaker verification features |
WO2022086045A1 (ko) * | 2020-10-22 | 2022-04-28 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR102590540B1 (ko) * | 2020-11-30 | 2023-10-18 | 주식회사 마음에이아이 | 인공 신경망 학습 방법과 이를 이용한 발음 평가 방법 |
US20220254331A1 (en) * | 2021-02-05 | 2022-08-11 | Cambium Assessment, Inc. | Neural network and method for machine learning assisted speech recognition |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150127336A1 (en) | 2013-11-04 | 2015-05-07 | Google Inc. | Speaker verification using neural networks |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5167004A (en) * | 1991-02-28 | 1992-11-24 | Texas Instruments Incorporated | Temporal decorrelation method for robust speaker verification |
JPH064097A (ja) * | 1992-06-18 | 1994-01-14 | Seiko Epson Corp | 話者認識方法 |
JPH07210197A (ja) * | 1994-01-14 | 1995-08-11 | Nippondenso Co Ltd | 話者識別方法 |
JPH08171398A (ja) * | 1994-12-16 | 1996-07-02 | Matsushita Electric Ind Co Ltd | データ認識装置、辞書作成装置及び学習装置 |
JPH08227408A (ja) * | 1995-02-22 | 1996-09-03 | Meidensha Corp | ニューラルネットワーク |
CA2239340A1 (en) * | 1997-07-18 | 1999-01-18 | Lucent Technologies Inc. | Method and apparatus for providing speaker authentication by verbal information verification |
CA2239339C (en) * | 1997-07-18 | 2002-04-16 | Lucent Technologies Inc. | Method and apparatus for providing speaker authentication by verbal information verification using forced decoding |
FR2795848B1 (fr) * | 1999-07-01 | 2001-08-17 | Commissariat Energie Atomique | Systeme d'intelligence artificielle pour la classification d'evenements, d'objets ou de situations a partir de signaux et de parametres discriminants issus de modeles |
FR2842643B1 (fr) * | 2002-07-22 | 2004-09-03 | France Telecom | Normalisation de score de verification dans un dispositif de reconnaissance vocale de locuteur |
US7509257B2 (en) * | 2002-12-24 | 2009-03-24 | Marvell International Ltd. | Method and apparatus for adapting reference templates |
US20080208578A1 (en) * | 2004-09-23 | 2008-08-28 | Koninklijke Philips Electronics, N.V. | Robust Speaker-Dependent Speech Recognition System |
CN101278350B (zh) * | 2005-09-29 | 2011-05-18 | 皇家飞利浦电子股份有限公司 | 通过分割的特征比较而自动生成播放列表的方法和设备 |
EP2182512A1 (en) * | 2008-10-29 | 2010-05-05 | BRITISH TELECOMMUNICATIONS public limited company | Speaker verification |
CN102810311B (zh) * | 2011-06-01 | 2014-12-03 | 株式会社理光 | 说话人估计方法和说话人估计设备 |
GB2493956A (en) * | 2011-08-24 | 2013-02-27 | Inview Technology Ltd | Recommending audio-visual content based on user's personal preerences and the profiles of others |
US8498864B1 (en) * | 2012-09-27 | 2013-07-30 | Google Inc. | Methods and systems for predicting a text |
US9230550B2 (en) * | 2013-01-10 | 2016-01-05 | Sensory, Incorporated | Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination |
US9502038B2 (en) * | 2013-01-28 | 2016-11-22 | Tencent Technology (Shenzhen) Company Limited | Method and device for voiceprint recognition |
CN103971690A (zh) | 2013-01-28 | 2014-08-06 | 腾讯科技(深圳)有限公司 | 一种声纹识别方法和装置 |
US9343068B2 (en) * | 2013-09-16 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for controlling access to applications having different security levels |
US20150095017A1 (en) * | 2013-09-27 | 2015-04-02 | Google Inc. | System and method for learning word embeddings using neural language models |
WO2015060867A1 (en) * | 2013-10-25 | 2015-04-30 | Intel Corporation | Techniques for preventing voice replay attacks |
CN104751842B (zh) * | 2013-12-31 | 2019-11-15 | 科大讯飞股份有限公司 | 深度神经网络的优化方法及*** |
US8812320B1 (en) * | 2014-04-01 | 2014-08-19 | Google Inc. | Segment-based speaker verification using dynamically generated phrases |
US10540979B2 (en) * | 2014-04-17 | 2020-01-21 | Qualcomm Incorporated | User interface for secure access to a device using speaker verification |
CN104167208B (zh) * | 2014-08-08 | 2017-09-15 | 中国科学院深圳先进技术研究院 | 一种说话人识别方法和装置 |
CN104732977B (zh) * | 2015-03-09 | 2018-05-11 | 广东外语外贸大学 | 一种在线口语发音质量评价方法和*** |
CN105518708B (zh) * | 2015-04-29 | 2018-06-12 | 北京旷视科技有限公司 | 用于验证活体人脸的方法、设备和计算机程序产品 |
US10115055B2 (en) * | 2015-05-26 | 2018-10-30 | Booking.Com B.V. | Systems methods circuits and associated computer executable code for deep learning based natural language understanding |
JP6671020B2 (ja) * | 2016-06-23 | 2020-03-25 | パナソニックIpマネジメント株式会社 | 対話行為推定方法、対話行為推定装置及びプログラム |
-
2015
- 2015-09-04 US US14/846,187 patent/US9978374B2/en active Active
-
2016
- 2016-07-27 CN CN201680028481.4A patent/CN107924682A/zh active Pending
- 2016-07-27 DE DE112016004008.3T patent/DE112016004008T5/de active Pending
- 2016-07-27 WO PCT/US2016/044181 patent/WO2017039884A1/en active Application Filing
- 2016-07-27 EP EP19206059.8A patent/EP3621070B1/en active Active
- 2016-07-27 KR KR1020197018377A patent/KR102026396B1/ko active IP Right Grant
- 2016-07-27 EP EP16760220.0A patent/EP3278331B1/en active Active
- 2016-07-27 GB GB1717774.2A patent/GB2556459B/en active Active
- 2016-07-27 EP EP22179382.1A patent/EP4084000A3/en active Pending
- 2016-07-27 KR KR1020177030673A patent/KR101995547B1/ko active IP Right Grant
- 2016-07-27 JP JP2017556908A patent/JP6542386B2/ja active Active
-
2018
- 2018-04-30 US US15/966,667 patent/US10586542B2/en active Active
-
2019
- 2019-06-11 JP JP2019108765A patent/JP6766221B2/ja active Active
-
2020
- 2020-01-24 US US16/752,007 patent/US11107478B2/en active Active
- 2020-09-15 JP JP2020154566A patent/JP7110292B2/ja active Active
-
2021
- 2021-08-03 US US17/444,384 patent/US11961525B2/en active Active
-
2022
- 2022-07-20 JP JP2022115625A patent/JP7362851B2/ja active Active
-
2023
- 2023-10-02 JP JP2023171420A patent/JP2024001111A/ja active Pending
- 2023-10-11 US US18/485,069 patent/US20240038245A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150127336A1 (en) | 2013-11-04 | 2015-05-07 | Google Inc. | Speaker verification using neural networks |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7110292B2 (ja) | 話者検証のためのニューラルネットワーク | |
US10325602B2 (en) | Neural networks for speaker verification | |
US11545155B2 (en) | System and method for speaker recognition on mobile devices | |
CN108417217B (zh) | 说话人识别网络模型训练方法、说话人识别方法及*** | |
US20160293167A1 (en) | Speaker recognition using neural networks | |
TWI423249B (zh) | 用於文字相關之說話者認證之電腦實施方法、電腦可讀取儲存媒體及系統 | |
US20150294670A1 (en) | Text-dependent speaker identification | |
WO2017162053A1 (zh) | 一种身份认证的方法和装置 | |
Duraibi et al. | Suitability of Voice Recognition Within the IoT Environment | |
Khemiri et al. | Automatic speaker verification using nearest neighbor normalization (3N) on an iPad tablet |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7110292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |