JPH07287592A - オーディオデータセグメントのクラスタリング方法 - Google Patents
オーディオデータセグメントのクラスタリング方法Info
- Publication number
- JPH07287592A JPH07287592A JP7082897A JP8289795A JPH07287592A JP H07287592 A JPH07287592 A JP H07287592A JP 7082897 A JP7082897 A JP 7082897A JP 8289795 A JP8289795 A JP 8289795A JP H07287592 A JPH07287592 A JP H07287592A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- audio
- clusters
- speakers
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 239000012530 fluid Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 30
- 238000012549 training Methods 0.000 abstract description 22
- 238000012545 processing Methods 0.000 abstract description 7
- 230000007704 transition Effects 0.000 description 30
- 238000009826 distribution Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000003595 spectral effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000012804 iterative process Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
Abstract
(57)【要約】
【目的】 オーディオデータストリーム内にインデック
スを作成する。 【構成】 オーディオストリームはオーディオデータソ
ース１２から与えられ、該データは、会話を行うスピー
カー、オーディオトラックを伴う記録ビデオ、または他
のオーディオソースによって与えられることが可能であ
る。オーディオデータはオーディオプロセッサ１４へ送
られ、オーディオプロセッサは汎用コンピュータのよう
な任意の公知デバイスであることが可能であり、本発明
に従って構成されることが可能である。オーディオプロ
セッサはオーディオデータインデックス１６を出力す
る。
スを作成する。 【構成】 オーディオストリームはオーディオデータソ
ース１２から与えられ、該データは、会話を行うスピー
カー、オーディオトラックを伴う記録ビデオ、または他
のオーディオソースによって与えられることが可能であ
る。オーディオデータはオーディオプロセッサ１４へ送
られ、オーディオプロセッサは汎用コンピュータのよう
な任意の公知デバイスであることが可能であり、本発明
に従って構成されることが可能である。オーディオプロ
セッサはオーディオデータインデックス１６を出力す
る。
Description
【０００１】
【産業上の利用分野】本発明は会話記録データにおける
未知のスピーカー（話す人）の初期クラスリングの改良
された方法に関する。
未知のスピーカー（話す人）の初期クラスリングの改良
された方法に関する。
【０００２】より詳細には、本発明はオーディオ記録デ
ータにおける未知のスピーカーのクラスタリングでの尤
度（likelihood）算出の際の距離再計算の方法に関す
る。
ータにおける未知のスピーカーのクラスタリングでの尤
度（likelihood）算出の際の距離再計算の方法に関す
る。
【０００３】
【従来の技術】オーディオおよびビデオ記録は、コンシ
ューマグレード（消費者レベル）の記録装置の発展によ
って今や一般のものとなっている。後の再生のための過
去の記録としてビジネスミーティング、講義、もしくは
バースデーパーティーが記録されることは今や稀なこと
ではない。不幸にして、オーディオおよびビデオ媒体の
両者は、所望の記録部分にアクセスする際のアシストと
なる外部またはオーディオ情報をほとんど与えない。書
籍においては、巻頭の目次および巻末の索引によってイ
ンデックス化が与えられ、このインデックス化によって
読者は複数の著者の確認および複数の著者の参照を容易
に行うことが可能である。同様のインデックス化方法が
オーディオストリームにおいて有用であり、ユーザーは
特定のスピーカーの会話部分を確認することが可能とな
る。ほとんどのビデオ記録に関連する限られたデータ量
は、見る者が確実におよび容易に所望の関心部分にアク
セスするための充分な情報を与えない。このため見る者
は記録内容を順に調べて所望の情報を検索しなければな
らない。
ューマグレード（消費者レベル）の記録装置の発展によ
って今や一般のものとなっている。後の再生のための過
去の記録としてビジネスミーティング、講義、もしくは
バースデーパーティーが記録されることは今や稀なこと
ではない。不幸にして、オーディオおよびビデオ媒体の
両者は、所望の記録部分にアクセスする際のアシストと
なる外部またはオーディオ情報をほとんど与えない。書
籍においては、巻頭の目次および巻末の索引によってイ
ンデックス化が与えられ、このインデックス化によって
読者は複数の著者の確認および複数の著者の参照を容易
に行うことが可能である。同様のインデックス化方法が
オーディオストリームにおいて有用であり、ユーザーは
特定のスピーカーの会話部分を確認することが可能とな
る。ほとんどのビデオ記録に関連する限られたデータ量
は、見る者が確実におよび容易に所望の関心部分にアク
セスするための充分な情報を与えない。このため見る者
は記録内容を順に調べて所望の情報を検索しなければな
らない。
【０００４】例えばスピーカー（話し手）やトピック
（主題）を示すノートのような、記録中に取られたノー
トが検索の補助となることが可能である。このようなノ
ートは構造的アウトラインを与えるが、ビデオ媒体とノ
ート媒体との間には直接的な相関がないため、ノートの
内容を共にしたビデオ上の時刻の補完を強いられる。こ
のことは、非相関媒体におけるイベントノートは通常イ
ベントの継続時間を含まないという事実によって複雑化
する。加えて、そのようなノート化またはインデックス
化は非常に煩わしい。コンピュータシステムがイベント
期間中のノート取得に使用されることが可能であり、該
システムは同時に記録されるかまたは事前に記録され
る。キーボードを使用するテキストベースシステムがこ
の場合に使用されることが可能であるが、ほとんどの人
はタイプするよりもかなり速く話すため、内容を記述す
るコンピュータ生成テキストラベルをリアルタイムで作
成することは相当な努力を必要とする。
（主題）を示すノートのような、記録中に取られたノー
トが検索の補助となることが可能である。このようなノ
ートは構造的アウトラインを与えるが、ビデオ媒体とノ
ート媒体との間には直接的な相関がないため、ノートの
内容を共にしたビデオ上の時刻の補完を強いられる。こ
のことは、非相関媒体におけるイベントノートは通常イ
ベントの継続時間を含まないという事実によって複雑化
する。加えて、そのようなノート化またはインデックス
化は非常に煩わしい。コンピュータシステムがイベント
期間中のノート取得に使用されることが可能であり、該
システムは同時に記録されるかまたは事前に記録され
る。キーボードを使用するテキストベースシステムがこ
の場合に使用されることが可能であるが、ほとんどの人
はタイプするよりもかなり速く話すため、内容を記述す
るコンピュータ生成テキストラベルをリアルタイムで作
成することは相当な努力を必要とする。
【０００５】
【発明が解決しようとする課題】オーディオストリーム
において異なるスピーカーを示すスピーカーチェンジマ
ーカーは、異なるシーケンシャルデータへのランダムア
クセスを可能とする。リアルタイム設定においては、そ
のようなオーディオセグメンテーションは、記録が行わ
れている時にその記録の中へ有用なインデックスを作成
する際の補助となり得る。各セグメントは１個人による
発声を表す。同一のスピーカーによる発声は結合され、
また同様に参照されてインデックスが形成される。会話
におけるポーズまたは沈黙期間もまたオーディオインデ
ックス形成において重要である。
において異なるスピーカーを示すスピーカーチェンジマ
ーカーは、異なるシーケンシャルデータへのランダムア
クセスを可能とする。リアルタイム設定においては、そ
のようなオーディオセグメンテーションは、記録が行わ
れている時にその記録の中へ有用なインデックスを作成
する際の補助となり得る。各セグメントは１個人による
発声を表す。同一のスピーカーによる発声は結合され、
また同様に参照されてインデックスが形成される。会話
におけるポーズまたは沈黙期間もまたオーディオインデ
ックス形成において重要である。
【０００６】オーディオストリーム内にインデックスを
作成することは、リアルタイムであっても処理後であっ
ても、ユーザーが特定のオーディオデータセグメントを
認識することを可能にする。例えばこのことは、ユーザ
ーが記録を拾い読みして特定のスピーカーに対応するオ
ーディオセグメントを選択したり、次のスピーカーへ記
録を早送りすることを可能にする。加えて、スピーカー
の順序を知ることは、会話または会話の内容に関する内
容情報を与えることも可能である。
作成することは、リアルタイムであっても処理後であっ
ても、ユーザーが特定のオーディオデータセグメントを
認識することを可能にする。例えばこのことは、ユーザ
ーが記録を拾い読みして特定のスピーカーに対応するオ
ーディオセグメントを選択したり、次のスピーカーへ記
録を早送りすることを可能にする。加えて、スピーカー
の順序を知ることは、会話または会話の内容に関する内
容情報を与えることも可能である。
【０００７】
【課題を解決するための手段】隠れマルコフモデル（Ｈ
ＭＭ）が使用されて個々のスピーカーがモデル化される
ことが可能である。スピーカーモデル（複数）は、ガウ
シアン出力分布を伴う多重状態ＨＭＭ（複数）と１つの
tied silenceモデル（結合された無音モデル）とから成
る。スピーカーが知られておりトレーニングデータが使
用可能である場合、そのようなＨＭＭはBaum-Welchプロ
シジャーを使用して最初にトレーニングされることが可
能である。これとは別に、音声波形の初期セグメンテー
ションに対して尤度距離を使用する集塊性の階層的クラ
スタリングの方法を最初に実行し、初期セグメンテーシ
ョンを使用して個々のスピーカーＨＭＭをトレーニング
することによって個々のＨＭＭは初期化されることが可
能である。次にスピーカーＨＭＭは以下に述べるように
繰り返し再トレーニングされることが可能である。
ＭＭ）が使用されて個々のスピーカーがモデル化される
ことが可能である。スピーカーモデル（複数）は、ガウ
シアン出力分布を伴う多重状態ＨＭＭ（複数）と１つの
tied silenceモデル（結合された無音モデル）とから成
る。スピーカーが知られておりトレーニングデータが使
用可能である場合、そのようなＨＭＭはBaum-Welchプロ
シジャーを使用して最初にトレーニングされることが可
能である。これとは別に、音声波形の初期セグメンテー
ションに対して尤度距離を使用する集塊性の階層的クラ
スタリングの方法を最初に実行し、初期セグメンテーシ
ョンを使用して個々のスピーカーＨＭＭをトレーニング
することによって個々のＨＭＭは初期化されることが可
能である。次にスピーカーＨＭＭは以下に述べるように
繰り返し再トレーニングされることが可能である。
【０００８】ＨＭＭのネットワークが形成され、多数の
スピーカーを含む音声がモデル化される。ＨＭＭネット
ワークを使用し、ネットワークを介する最も確からしい
状態シーケンスに基づきオーディオストリームがセグメ
ンテーションされる。このセグメンテーションはリアル
タイムで行われることが可能であり、オーディオストリ
ームが形成され記録されている時であってもセグメント
情報はオーディオストリームと相関がとられて該ストリ
ームと共に保存される。記録後の動作においては、続い
てモデルの再トレーニングとオーディオストリームの再
セグメンテーションが行われることが可能であり、再ト
レーニングされたモデルからセグメンテーションで変化
が生じる間、繰り返し処理が続けられる。
スピーカーを含む音声がモデル化される。ＨＭＭネット
ワークを使用し、ネットワークを介する最も確からしい
状態シーケンスに基づきオーディオストリームがセグメ
ンテーションされる。このセグメンテーションはリアル
タイムで行われることが可能であり、オーディオストリ
ームが形成され記録されている時であってもセグメント
情報はオーディオストリームと相関がとられて該ストリ
ームと共に保存される。記録後の動作においては、続い
てモデルの再トレーニングとオーディオストリームの再
セグメンテーションが行われることが可能であり、再ト
レーニングされたモデルからセグメンテーションで変化
が生じる間、繰り返し処理が続けられる。
【０００９】セグメンテーションが完了される場合、オ
ーディオストリームはオーディオインデックスを伴な
い、オーディオストリームは個々人に従う発声に分離さ
れる。電話の呼び出し音のような非音声音もまた検出さ
れてセグメンテーションされることが可能である。
ーディオストリームはオーディオインデックスを伴な
い、オーディオストリームは個々人に従う発声に分離さ
れる。電話の呼び出し音のような非音声音もまた検出さ
れてセグメンテーションされることが可能である。
【００１０】本発明は、スピーカーに従うオーディオ記
録におけるオーディオデータセグメントの流動的クラス
タリングの方法を開示する。該方法は、オーディオデー
タをクラスタに分割し、各クラスタペアに対してクラス
タ間距離を算出するステップと、最小クラスタ間距離を
有する２つのクラスタを結合するステップとを含む。繰
り返し処理が行われ、該処理においては全てのクラスタ
に対する距離が再計算され、最小クラスタ間距離を有す
る２つのクラスタが結合される。繰り返し処理は、所望
のスピーカー数に対するクラスタが得られるまで行われ
る。
録におけるオーディオデータセグメントの流動的クラス
タリングの方法を開示する。該方法は、オーディオデー
タをクラスタに分割し、各クラスタペアに対してクラス
タ間距離を算出するステップと、最小クラスタ間距離を
有する２つのクラスタを結合するステップとを含む。繰
り返し処理が行われ、該処理においては全てのクラスタ
に対する距離が再計算され、最小クラスタ間距離を有す
る２つのクラスタが結合される。繰り返し処理は、所望
のスピーカー数に対するクラスタが得られるまで行われ
る。
【００１１】このようにして得られたクラスタが使用さ
れて個々のＨＭＭスピーカーモデルがトレーニングされ
ることが可能である。これらスピーカーモデルは次に並
列に結合されてスピーカーネットワークＨＭＭを形成す
る。スピーカーネットワークＨＭＭが使用され、スピー
カーネットワークを介する最適パスを見出すことによっ
てスピーカーに従うオーディオデータのセグメンテーシ
ョンが決定されることが可能である。
れて個々のＨＭＭスピーカーモデルがトレーニングされ
ることが可能である。これらスピーカーモデルは次に並
列に結合されてスピーカーネットワークＨＭＭを形成す
る。スピーカーネットワークＨＭＭが使用され、スピー
カーネットワークを介する最適パスを見出すことによっ
てスピーカーに従うオーディオデータのセグメンテーシ
ョンが決定されることが可能である。
【００１２】本発明はまた、オーディオ記録データに対
してスピーカーに従う電子インデックスを相関付けるプ
ロセッサ制御によるシステムを開示する。該システムは
複数の個々のスピーカーからの音声を与えるオーディオ
ソースを含み、オーディオソースはオーディオプロセッ
サによって処理されてスペクトル特徴データとなる。シ
ステムプロセッサはスペクトル特徴データをオーディオ
プロセッサから受信し、尤度比に基づき推定スピーカー
モデルを生成する。該スピーカーモデルのデータセグメ
ントは同一のスピーカーによって発生されたものであ
り、該スピーカーモデルが並列に結合されてスピーカー
ネットワークが形成される。スピーカーネットワークは
システムプロセッサによって使用され、異なる個々のス
ピーカーモデルに対応するオーディオデータセグメント
が決定される。
してスピーカーに従う電子インデックスを相関付けるプ
ロセッサ制御によるシステムを開示する。該システムは
複数の個々のスピーカーからの音声を与えるオーディオ
ソースを含み、オーディオソースはオーディオプロセッ
サによって処理されてスペクトル特徴データとなる。シ
ステムプロセッサはスペクトル特徴データをオーディオ
プロセッサから受信し、尤度比に基づき推定スピーカー
モデルを生成する。該スピーカーモデルのデータセグメ
ントは同一のスピーカーによって発生されたものであ
り、該スピーカーモデルが並列に結合されてスピーカー
ネットワークが形成される。スピーカーネットワークは
システムプロセッサによって使用され、異なる個々のス
ピーカーモデルに対応するオーディオデータセグメント
が決定される。
【００１３】システムプロセッサは同一スピーカーに対
応するオーディオデータセグメントを収集してスピーカ
ーモデルを維持することが可能である。新たなスピーカ
ーネットワークがシステムプロセッサによって決定され
てオーディオデータが再セグメンテーションされる。
応するオーディオデータセグメントを収集してスピーカ
ーモデルを維持することが可能である。新たなスピーカ
ーネットワークがシステムプロセッサによって決定され
てオーディオデータが再セグメンテーションされる。
【００１４】
【実施例】図１は一般化されたオーディオ処理システム
１０のブロック図を示し、該システムにおいて本発明が
実施されることが可能である。一般に、オーディオスト
リームはオーディオデータソース１２から与えられ、該
データは、会話を行うスピーカー、オーディオトラック
を伴う記録ビデオ、または他のオーディオソースによっ
て与えられることが可能である。オーディオデータはオ
ーディオプロセッサ１４へ送られ、オーディオプロセッ
サは汎用コンピュータのような任意の公知デバイスであ
ることが可能であり、本発明に従って構成されることが
可能である。オーディオプロセッサはオーディオデータ
インデックス１６を出力する。
１０のブロック図を示し、該システムにおいて本発明が
実施されることが可能である。一般に、オーディオスト
リームはオーディオデータソース１２から与えられ、該
データは、会話を行うスピーカー、オーディオトラック
を伴う記録ビデオ、または他のオーディオソースによっ
て与えられることが可能である。オーディオデータはオ
ーディオプロセッサ１４へ送られ、オーディオプロセッ
サは汎用コンピュータのような任意の公知デバイスであ
ることが可能であり、本発明に従って構成されることが
可能である。オーディオプロセッサはオーディオデータ
インデックス１６を出力する。
【００１５】図２はオーディオインデックスシステムの
一般化されたフロー図を示す。図２に示されるステップ
は以下により詳細に説明されるが、図２は本発明により
記述される方法の概観を与えるものである。
一般化されたフロー図を示す。図２に示されるステップ
は以下により詳細に説明されるが、図２は本発明により
記述される方法の概観を与えるものである。
【００１６】オーディオ波形２０はボックス２２のステ
ップにおける入力である。ボックス２２におけるオーデ
ィオストリームは、処理されるべきオーディオの部分を
含むことが可能であるが、オーディオストリーム内の全
てのスピーカーからの音声を含まなければならない。説
明を目的として、オーディオストリーム全体がボックス
２２のステップにおける入力である。ボックス２４のス
テップは音声信号データをスペクトル特徴ベクトルへ変
換する。例えば、１２次のケプストラムが２０ｍｓごと
に算出されることが可能である。
ップにおける入力である。ボックス２２におけるオーデ
ィオストリームは、処理されるべきオーディオの部分を
含むことが可能であるが、オーディオストリーム内の全
てのスピーカーからの音声を含まなければならない。説
明を目的として、オーディオストリーム全体がボックス
２２のステップにおける入力である。ボックス２４のス
テップは音声信号データをスペクトル特徴ベクトルへ変
換する。例えば、１２次のケプストラムが２０ｍｓごと
に算出されることが可能である。
【００１７】オーディオデータクラスタの初期化はボッ
クス２６のステップで行われ、この初期化は、集塊性の
階層的クラスタリングを使用してデータを初期パーティ
ションへクラスタリングすることを含む。所望のスピー
カークラスタ数が得られるまで、集塊性のクラスタ間距
離が再計算され、最近接クラスタが併合される。
クス２６のステップで行われ、この初期化は、集塊性の
階層的クラスタリングを使用してデータを初期パーティ
ションへクラスタリングすることを含む。所望のスピー
カークラスタ数が得られるまで、集塊性のクラスタ間距
離が再計算され、最近接クラスタが併合される。
【００１８】ボックス２８のステップにおいて、ＨＭＭ
スピーカーモデルは初期クラスタリングデータに基づき
各スピーカーに対してトレーニングされる。複数の個々
のスピーカーモデルは、該モデルを並列に結合すること
によってボックス３０のステップにおいて結合され、会
話のＨＭＭスピーカーネットワークが形成される。
スピーカーモデルは初期クラスタリングデータに基づき
各スピーカーに対してトレーニングされる。複数の個々
のスピーカーモデルは、該モデルを並列に結合すること
によってボックス３０のステップにおいて結合され、会
話のＨＭＭスピーカーネットワークが形成される。
【００１９】ボックス３２のステップはＨＭＭスピーカ
ーネットワークを使用し、入力されるオーディオストリ
ームのセグメンテーションを行う。セグメンテーション
はビタビ(Viterbi) デコーディングを使用して行われ、
スピーカーネットワークを介する最も確からしい状態シ
ーケンスが見出され、状態パスがスピーカーを変更する
場合にはマーキングが施される。
ーネットワークを使用し、入力されるオーディオストリ
ームのセグメンテーションを行う。セグメンテーション
はビタビ(Viterbi) デコーディングを使用して行われ、
スピーカーネットワークを介する最も確からしい状態シ
ーケンスが見出され、状態パスがスピーカーを変更する
場合にはマーキングが施される。
【００２０】セグメンテーションとインデックス化の確
度は、ボックス２８のステップに戻ってスピーカーモデ
ルを再トレーニングすることによる後処理の適用で改善
されることが可能であり、この場合ボックス３２のステ
ップからのセグメンテーション情報が使用される。再ト
レーニングと再セグメンテーションの繰り返しは、ボッ
クス３２のステップでのセグメンテーションで大きな変
化が生じなくなるまで続けられることが可能である。オ
ーディオセグメントとスピーカーを示す、結果として得
られるインデックスは、ボックス３４のステップにおけ
る出力となる。
度は、ボックス２８のステップに戻ってスピーカーモデ
ルを再トレーニングすることによる後処理の適用で改善
されることが可能であり、この場合ボックス３２のステ
ップからのセグメンテーション情報が使用される。再ト
レーニングと再セグメンテーションの繰り返しは、ボッ
クス３２のステップでのセグメンテーションで大きな変
化が生じなくなるまで続けられることが可能である。オ
ーディオセグメントとスピーカーを示す、結果として得
られるインデックスは、ボックス３４のステップにおけ
る出力となる。
【００２１】隠れマルコフモデル（ＨＭＭ）によるモデ
ル化は音声認識で一般的に使用される統計的方法であ
り、ワード全体、もしくは単音のようなサブワードがモ
デル化される。未知の発声の認識は、その発声が最も確
からしく与えられるモデルもしくはモデルのシーケンス
を見出すことに基づいている。ＨＭＭはスピーカーの識
別においても使用されることが可能である。モデルはス
ピーカーの発音に対して作成され、その場合発音は特定
のワードについてのものであっても自然な音声について
のものであってもよい。スピーカーの識別は、未知の発
声が最も確からしく与えられるスピーカーモデルを見出
すことによって行われる。未知の発声が複数のスピーカ
ーからの音声を含む場合、スピーカーは最も確からしい
スピーカーモデルのシーケンスを見出すことによって識
別される。
ル化は音声認識で一般的に使用される統計的方法であ
り、ワード全体、もしくは単音のようなサブワードがモ
デル化される。未知の発声の認識は、その発声が最も確
からしく与えられるモデルもしくはモデルのシーケンス
を見出すことに基づいている。ＨＭＭはスピーカーの識
別においても使用されることが可能である。モデルはス
ピーカーの発音に対して作成され、その場合発音は特定
のワードについてのものであっても自然な音声について
のものであってもよい。スピーカーの識別は、未知の発
声が最も確からしく与えられるスピーカーモデルを見出
すことによって行われる。未知の発声が複数のスピーカ
ーからの音声を含む場合、スピーカーは最も確からしい
スピーカーモデルのシーケンスを見出すことによって識
別される。
【００２２】理論的に、ＨＭＭは状態のシーケンスから
成り、該状態シーケンスは定められた時間間隔で状態間
に発生する遷移を伴う。ある状態への遷移が行われるた
びに、その状態の出力特性が発生される。音声認識およ
びスピーカー識別の両者において、これらの出力はその
時間間隔に対する音声のスペクトル推定を表す。例えば
ケプストラムがその例である。ケプストラムはスペクト
ルエンベロープ（包絡線）の推定であり、音声認識およ
びスピーカー識別で一般に使用される。ケプストラム
は、スペクトルの対数のフーリエ逆変換であり、スペク
トルエンベロープと周期的音声ソースとを分離するよう
作用する。
成り、該状態シーケンスは定められた時間間隔で状態間
に発生する遷移を伴う。ある状態への遷移が行われるた
びに、その状態の出力特性が発生される。音声認識およ
びスピーカー識別の両者において、これらの出力はその
時間間隔に対する音声のスペクトル推定を表す。例えば
ケプストラムがその例である。ケプストラムはスペクト
ルエンベロープ（包絡線）の推定であり、音声認識およ
びスピーカー識別で一般に使用される。ケプストラム
は、スペクトルの対数のフーリエ逆変換であり、スペク
トルエンベロープと周期的音声ソースとを分離するよう
作用する。
【００２３】状態間の遷移は出力のシーケンスを特定す
る。状態間遷移および各状態出力に確率を関連付けるこ
とによって、ＨＭＭが使用されて音声を統計的にモデル
化することが可能となる。システムの出力のみが観測さ
れるため「隠れ（hidden) 」という言葉が用いられる。
即ち、基礎となる状態シーケンスは推定され得るのみで
ある。
る。状態間遷移および各状態出力に確率を関連付けるこ
とによって、ＨＭＭが使用されて音声を統計的にモデル
化することが可能となる。システムの出力のみが観測さ
れるため「隠れ（hidden) 」という言葉が用いられる。
即ち、基礎となる状態シーケンスは推定され得るのみで
ある。
【００２４】より形式的には、ＨＭＭ Ｌ は、Ｓ0...
ＳN-1 のＮ個の状態、状態ｉから状態ｊへの遷移確率ａ
ij,i=0...N-1,j=0...N-1、ならびに状態ｉで出力ｘを生
じる確率を与える確率分布ｂi (x) ,i=0...N-1、から成
る。例えば、ｂi (x) は特徴ベクトル xに対する多変数
ガウス分布であることが可能である。加えて、遷移可能
であるが出力を発生しないヌル状態が存在する。図３は
５状態のＨＭＭを示す。状態Ｓ0 から状態Ｓ1 、Ｓ2 ま
たはＳ3 への遷移確率は画一的であり、即ち、ａ0j=1/
3,j=1,2,3である。状態Ｓi ,i=1,2,3については、自己
遷移および状態Ｓ4 への遷移が存在し、それらは等確率
である。従ってａii=1/2およびａi4=1/2,i=1,2,3であ
る。状態Ｓ4 については遷移は常にＳ0 へ行われ、従っ
てａ40=1である。状態Ｓ1 、Ｓ2 、およびＳ3 に関連す
る出力分布は、それぞれｂ1 (x) 、ｂ2 (x) 、およびｂ
3 (x) である。状態Ｓ0 およびＳ4 はヌル状態であり、
従って関連する出力を有さない。状態Ｓ0 とＳ4 を結合
することによって等価なＨＭＭが形成されることがかの
うである。しかし、ＨＭＭを結合してより大きなＨＭＭ
ネットワークを形成するタスクを簡素化するために、こ
のことは行われない。これについては以下に説明が行わ
れる。ＨＭＭに関するより深い検討は、Rabiner による
「A Tutorial on Hidden Markov Models and Selected
Applications in Speech Recognition」(Proc.IEEE,vo
l.77,No.2,February,1989,pp.257-285)に見出される。
ＳN-1 のＮ個の状態、状態ｉから状態ｊへの遷移確率ａ
ij,i=0...N-1,j=0...N-1、ならびに状態ｉで出力ｘを生
じる確率を与える確率分布ｂi (x) ,i=0...N-1、から成
る。例えば、ｂi (x) は特徴ベクトル xに対する多変数
ガウス分布であることが可能である。加えて、遷移可能
であるが出力を発生しないヌル状態が存在する。図３は
５状態のＨＭＭを示す。状態Ｓ0 から状態Ｓ1 、Ｓ2 ま
たはＳ3 への遷移確率は画一的であり、即ち、ａ0j=1/
3,j=1,2,3である。状態Ｓi ,i=1,2,3については、自己
遷移および状態Ｓ4 への遷移が存在し、それらは等確率
である。従ってａii=1/2およびａi4=1/2,i=1,2,3であ
る。状態Ｓ4 については遷移は常にＳ0 へ行われ、従っ
てａ40=1である。状態Ｓ1 、Ｓ2 、およびＳ3 に関連す
る出力分布は、それぞれｂ1 (x) 、ｂ2 (x) 、およびｂ
3 (x) である。状態Ｓ0 およびＳ4 はヌル状態であり、
従って関連する出力を有さない。状態Ｓ0 とＳ4 を結合
することによって等価なＨＭＭが形成されることがかの
うである。しかし、ＨＭＭを結合してより大きなＨＭＭ
ネットワークを形成するタスクを簡素化するために、こ
のことは行われない。これについては以下に説明が行わ
れる。ＨＭＭに関するより深い検討は、Rabiner による
「A Tutorial on Hidden Markov Models and Selected
Applications in Speech Recognition」(Proc.IEEE,vo
l.77,No.2,February,1989,pp.257-285)に見出される。
【００２５】対象物のシーケンスをモデル化するネット
ワークＨＭＭは、以下のように個々のＨＭＭを並列に結
合することにより作成される。認識されるＬ個の対象物
の各々に対するＨＭＭをＬi ,i=1,...,Mとする。先に述
べたように、対象物は単語、単音、またはスピーカーの
いづれであってもよい。ネットワークＨＭＭは、許容さ
れる全ての対象物シーケンスに対して対象物ＨＭＭ間の
遷移を付加することにより作成される。図４において、
ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 によって３つの対象物
がモデル化されている。これら対象物は、遷移により示
されるように任意の順序で発生可能である。状態Ｓ0 は
ヌル状態であり、従って出力を発生しない。Ｓ0 から
は、対象物ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 への遷移は
等確率となる。全ての対象物ＨＭＭからの遷移は状態Ｓ
R に向かい、次に状態Ｓ0 への遷移となる。
ワークＨＭＭは、以下のように個々のＨＭＭを並列に結
合することにより作成される。認識されるＬ個の対象物
の各々に対するＨＭＭをＬi ,i=1,...,Mとする。先に述
べたように、対象物は単語、単音、またはスピーカーの
いづれであってもよい。ネットワークＨＭＭは、許容さ
れる全ての対象物シーケンスに対して対象物ＨＭＭ間の
遷移を付加することにより作成される。図４において、
ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 によって３つの対象物
がモデル化されている。これら対象物は、遷移により示
されるように任意の順序で発生可能である。状態Ｓ0 は
ヌル状態であり、従って出力を発生しない。Ｓ0 から
は、対象物ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 への遷移は
等確率となる。全ての対象物ＨＭＭからの遷移は状態Ｓ
R に向かい、次に状態Ｓ0 への遷移となる。
【００２６】Ｔ個の出力Ｘ＝ｘ1...ｘT のシーケンスが
与えられる場合、どの対象物ＨＭＭシーケンスが最も確
からしく出力シーケンスＸを発生したかを決定すること
により認識が実行される。これにはビタビアルゴリズム
が使用され、最も確からしく出力Ｘを発生したネットワ
ークを介する状態シーケンスが見出される。シーケンス
内の各状態は、認識される対象物の内の１つのＨＭＭに
対して特定されるため、最も確からしい状態シーケンス
は認識対象物のシーケンスを特定する。図５はビタビア
ルゴリズムの結果を概略的に示す。ｘ軸は時間を示し、
ｙ軸はネットワークＨＭＭ内の現行状態を示す。ＨＭＭ
Ｌ1 、Ｌ2 、およびＬ3 に対応する状態はｙ軸上の領
域によって示される。与えられた出力を結果としてもた
らし得る状態シーケンスが多数存在可能であるが、ビタ
ビアルゴリズムは最も確からしい状態シーケンスを見出
す。図５はビタビパスを示す。時刻ｔ0 において最も確
からしい対象物はＬ1 である。時刻ｔ1 において対象物
はＬ2 であり、ｔ2 においてはＬ3 である。時刻ｔ3 に
おいて最も確からしい対象物はＬ1 となる。
与えられる場合、どの対象物ＨＭＭシーケンスが最も確
からしく出力シーケンスＸを発生したかを決定すること
により認識が実行される。これにはビタビアルゴリズム
が使用され、最も確からしく出力Ｘを発生したネットワ
ークを介する状態シーケンスが見出される。シーケンス
内の各状態は、認識される対象物の内の１つのＨＭＭに
対して特定されるため、最も確からしい状態シーケンス
は認識対象物のシーケンスを特定する。図５はビタビア
ルゴリズムの結果を概略的に示す。ｘ軸は時間を示し、
ｙ軸はネットワークＨＭＭ内の現行状態を示す。ＨＭＭ
Ｌ1 、Ｌ2 、およびＬ3 に対応する状態はｙ軸上の領
域によって示される。与えられた出力を結果としてもた
らし得る状態シーケンスが多数存在可能であるが、ビタ
ビアルゴリズムは最も確からしい状態シーケンスを見出
す。図５はビタビパスを示す。時刻ｔ0 において最も確
からしい対象物はＬ1 である。時刻ｔ1 において対象物
はＬ2 であり、ｔ2 においてはＬ3 である。時刻ｔ3 に
おいて最も確からしい対象物はＬ1 となる。
【００２７】ＨＭＭに対するパラメータは、次に、遷移
確率ａijおよび出力確率ｂi (x) である。これらパラメ
ータは、ＨＭＭによってモデル化された対象物によって
既に発生されたことがわかっている出力Ｘを用いてＨＭ
Ｍをトレーニングすることにより学習されることが可能
である。Baum-Welchプロシジャーとして知られているア
ルゴリズムが一般に使用される。このアルゴリズムは、
トレーニングデータＸの尤度を最大にするパラメータ値
を繰り返し処理により見出すアルゴリズムである。該ア
ルゴリズムは、パラメータの初期推定から開始する。続
いて以下のステップが実行される。（１）トレーニング
データに基づき、状態間遷移確率および状態からの出力
確率を算出する。（２）これらの確率を使用し、遷移確
率ａijおよび出力確率ｂi (x) の推定値を算出する。ス
テップ（１）および（２）は収束が得られるまで繰り返
される。
確率ａijおよび出力確率ｂi (x) である。これらパラメ
ータは、ＨＭＭによってモデル化された対象物によって
既に発生されたことがわかっている出力Ｘを用いてＨＭ
Ｍをトレーニングすることにより学習されることが可能
である。Baum-Welchプロシジャーとして知られているア
ルゴリズムが一般に使用される。このアルゴリズムは、
トレーニングデータＸの尤度を最大にするパラメータ値
を繰り返し処理により見出すアルゴリズムである。該ア
ルゴリズムは、パラメータの初期推定から開始する。続
いて以下のステップが実行される。（１）トレーニング
データに基づき、状態間遷移確率および状態からの出力
確率を算出する。（２）これらの確率を使用し、遷移確
率ａijおよび出力確率ｂi (x) の推定値を算出する。ス
テップ（１）および（２）は収束が得られるまで繰り返
される。
【００２８】前述のように、隠れマルコフモデルが使用
されてスピーカー識別を目的として個々のスピーカーが
モデル化されることが可能である。図６に示されるよう
に、（特定の発声に対向する）個々の発声スタイルが３
５状態ＨＭＭ６０を使用してモデル化されることが可能
である。状態Ｓ0 はヌル状態であり、出力を発生する状
態Ｓ1,...,Ｓ32およびＳSIL への遷移を伴う。これらの
遷移確率はｐ1,...,ｐ32およびｐSIL により与えられ
る。これら出力発生状態の各々は、確率ｑi を伴う自己
遷移、ならびに確率１−ｑi を伴う最終ヌル状態Ｓ34へ
の遷移を有している。ヌル状態Ｓ34は確率１で初期ヌル
状態Ｓ0 へ遷移する。各非ヌル状態はガウシアン出力分
布を有しており、平均ベクトルおよび対角共分散マトリ
ックスにより特性付けられる。
されてスピーカー識別を目的として個々のスピーカーが
モデル化されることが可能である。図６に示されるよう
に、（特定の発声に対向する）個々の発声スタイルが３
５状態ＨＭＭ６０を使用してモデル化されることが可能
である。状態Ｓ0 はヌル状態であり、出力を発生する状
態Ｓ1,...,Ｓ32およびＳSIL への遷移を伴う。これらの
遷移確率はｐ1,...,ｐ32およびｐSIL により与えられ
る。これら出力発生状態の各々は、確率ｑi を伴う自己
遷移、ならびに確率１−ｑi を伴う最終ヌル状態Ｓ34へ
の遷移を有している。ヌル状態Ｓ34は確率１で初期ヌル
状態Ｓ0 へ遷移する。各非ヌル状態はガウシアン出力分
布を有しており、平均ベクトルおよび対角共分散マトリ
ックスにより特性付けられる。
【００２９】図７はサイレンス（無音）サブネットワー
クを示す。該サブネットワークは直列に接続された３状
態から成る。各状態は、通常もしくは結合されたガウシ
アン出力分布を有し、該分布はラベルＳＩＬで示されて
いる。この出力分布はまた、スピーカーモデル６０のサ
イレンス状態６２における出力分布と同一であり、該分
布は状態ラベルＳＩＬで示されている。サイレンスサブ
ネットワークは長時間間隔の無音状態をモデル化する
が、会話の発声におけるポーズや短時間間隔の無音状態
に対しては適切でない。これらポーズや短時間間隔の無
音状態は、個々のスピーカーモデルにおけるサイレンス
状態６２によってモデル化される。スピーカーＨＭＭの
サイレンス状態における出力分布は全て結合されてサイ
レンスサブネットワークにおける出力分布となる。
クを示す。該サブネットワークは直列に接続された３状
態から成る。各状態は、通常もしくは結合されたガウシ
アン出力分布を有し、該分布はラベルＳＩＬで示されて
いる。この出力分布はまた、スピーカーモデル６０のサ
イレンス状態６２における出力分布と同一であり、該分
布は状態ラベルＳＩＬで示されている。サイレンスサブ
ネットワークは長時間間隔の無音状態をモデル化する
が、会話の発声におけるポーズや短時間間隔の無音状態
に対しては適切でない。これらポーズや短時間間隔の無
音状態は、個々のスピーカーモデルにおけるサイレンス
状態６２によってモデル化される。スピーカーＨＭＭの
サイレンス状態における出力分布は全て結合されてサイ
レンスサブネットワークにおける出力分布となる。
【００３０】スピーカーＨＭＭの各々は、与えられたス
ピーカーの発声スタイルに対してトレーニングされなけ
ればならない。このトレーニングは先に述べたBaum-Wel
chアルゴリズムを使用して行われ、遷移確率ａij、およ
びガウシアン出力確率ｂi (x) に対する平均および対角
共分散が推定される。ＨＭＭパラメータの初期推定値は
次のように得られる。全ての遷移確率が画一的に設定さ
れ、この結果、与えられた状態からの全ての遷移は等確
率となる。ガウシアン出力分布を初期化するために、ス
ピーカーに対するトレーニングデータから全体平均およ
び対角共分散マトリックスが算出される。全ての状態に
対するガウシアン出力分布についての共分散マトリック
スが全体的共分散マトリックスに設定される。全体平均
に小さな定数を加えることによって平均が設定され、そ
の場合該定数は異なる各状態に対するランダム要素に対
して加えられる。Baum-Welch繰り返し処理がスピーカー
のトレーニングデータを用いて次に実行される。
ピーカーの発声スタイルに対してトレーニングされなけ
ればならない。このトレーニングは先に述べたBaum-Wel
chアルゴリズムを使用して行われ、遷移確率ａij、およ
びガウシアン出力確率ｂi (x) に対する平均および対角
共分散が推定される。ＨＭＭパラメータの初期推定値は
次のように得られる。全ての遷移確率が画一的に設定さ
れ、この結果、与えられた状態からの全ての遷移は等確
率となる。ガウシアン出力分布を初期化するために、ス
ピーカーに対するトレーニングデータから全体平均およ
び対角共分散マトリックスが算出される。全ての状態に
対するガウシアン出力分布についての共分散マトリック
スが全体的共分散マトリックスに設定される。全体平均
に小さな定数を加えることによって平均が設定され、そ
の場合該定数は異なる各状態に対するランダム要素に対
して加えられる。Baum-Welch繰り返し処理がスピーカー
のトレーニングデータを用いて次に実行される。
【００３１】認識されるスピーカーが事前にわかってい
る場合、Baum-Welchアルゴリズムに対するトレーニング
データは、３０秒から１分の各スピーカーに対する音声
データを使用して得られる。音声はスピーカーの通常の
発声スタイルを表さなければならないが、この場合使用
される実際の単語は重要でない。
る場合、Baum-Welchアルゴリズムに対するトレーニング
データは、３０秒から１分の各スピーカーに対する音声
データを使用して得られる。音声はスピーカーの通常の
発声スタイルを表さなければならないが、この場合使用
される実際の単語は重要でない。
【００３２】スピーカーおよびサイレンスサブネットワ
ークに加えて、ガーベッジ（garbage)サブネットワーク
が頻繁に使用され、スピーカーモデルまたは存在可能な
非音声音の内の１つによって特定されない任意のスピー
カーがモデル化される。ガーベッジネットワークの形態
は、図６に示されるスピーカーネットワークのそれと同
じである。しかし、アプリケーションに依存してガーベ
ッジネットワークは異なるデータを使用してトレーニン
グされる。例えば、ガーベッジサブネットワークが使用
されて非音声音がモデル化される場合、それはスピーカ
ーモデルとしてトレーニングされなければならないが、
この場合非音声データが使用される。システムに対して
未知のスピーカーをモデル化する場合、トレーニングデ
ータを得る１つの方法は、既知の各スピーカーからの音
声の部分を使用することである。
ークに加えて、ガーベッジ（garbage)サブネットワーク
が頻繁に使用され、スピーカーモデルまたは存在可能な
非音声音の内の１つによって特定されない任意のスピー
カーがモデル化される。ガーベッジネットワークの形態
は、図６に示されるスピーカーネットワークのそれと同
じである。しかし、アプリケーションに依存してガーベ
ッジネットワークは異なるデータを使用してトレーニン
グされる。例えば、ガーベッジサブネットワークが使用
されて非音声音がモデル化される場合、それはスピーカ
ーモデルとしてトレーニングされなければならないが、
この場合非音声データが使用される。システムに対して
未知のスピーカーをモデル化する場合、トレーニングデ
ータを得る１つの方法は、既知の各スピーカーからの音
声の部分を使用することである。
【００３３】ガーベッジモデルをトレーニングする際に
全てのスピーカーからの全てのデータが必ずしも使用さ
れないことは重要である。全ての有効なデータを使用す
ることは、各スピーカーモデルに対してよりもガーベッ
ジモデルに対してより多くのトレーニングデータを与
え、全てのスピーカーに対してより確実なスピーカーモ
デルを作成する効果を有する。従って、結果として得ら
れるＨＭＭネットワークはほとんどの音声をガーベッジ
として分類する。
全てのスピーカーからの全てのデータが必ずしも使用さ
れないことは重要である。全ての有効なデータを使用す
ることは、各スピーカーモデルに対してよりもガーベッ
ジモデルに対してより多くのトレーニングデータを与
え、全てのスピーカーに対してより確実なスピーカーモ
デルを作成する効果を有する。従って、結果として得ら
れるＨＭＭネットワークはほとんどの音声をガーベッジ
として分類する。
【００３４】１実施例において、入力オーディオトレー
ニングデータは８ＫＨｚでサンプルされ、１０ｍｓごと
に特徴ベクトルが算出される。例えば、各フレームに対
する特徴ベクトルは、２５ｍｓウィンドウ下のサンプル
に関する２０次の線型予測符号化（ＬＰＣ）を行うこと
によって算出されることが可能であり、従ってＬＰＣス
ペクトルから２０個のケプストラム定数が算出されるこ
とが可能である。
ニングデータは８ＫＨｚでサンプルされ、１０ｍｓごと
に特徴ベクトルが算出される。例えば、各フレームに対
する特徴ベクトルは、２５ｍｓウィンドウ下のサンプル
に関する２０次の線型予測符号化（ＬＰＣ）を行うこと
によって算出されることが可能であり、従ってＬＰＣス
ペクトルから２０個のケプストラム定数が算出されるこ
とが可能である。
【００３５】いくつかの場合においては、認識されるス
ピーカーは事前にわかっていない。しかし、スピーカー
モデルに対する初期推定を得ることがそのような場合に
も必要である。この初期推定は、階層的な集塊性のクラ
スタリングを使用して行われ、異なるスピーカーとして
認識されるデータのラフな区分が作成される。
ピーカーは事前にわかっていない。しかし、スピーカー
モデルに対する初期推定を得ることがそのような場合に
も必要である。この初期推定は、階層的な集塊性のクラ
スタリングを使用して行われ、異なるスピーカーとして
認識されるデータのラフな区分が作成される。
【００３６】スピーカーに従うデータの区分を与えるこ
とによってスピーカーサブネットワークの初期推定を得
るために、階層的な集塊性のクラスタリングが使用され
ることが可能である。このデータは次にスピーカーＨＭ
ＭのBaum-Welchトレーニングに対するトレーニングデー
タとして使用されることが可能である。
とによってスピーカーサブネットワークの初期推定を得
るために、階層的な集塊性のクラスタリングが使用され
ることが可能である。このデータは次にスピーカーＨＭ
ＭのBaum-Welchトレーニングに対するトレーニングデー
タとして使用されることが可能である。
【００３７】セグメンテーションされていないデータ
は、最初に等しい長さのセグメントに分割され、各セグ
メントは数秒の音声から成る。これらのセグメントは階
層的クラスタリングに対する初期クラスタ集合として使
用される。該アルゴリズムは、最初に全てのクラスタペ
アについてのクラスタ間距離を算出し、次に最も近い２
つのクラスタを併合することによって進行する。このプ
ロセスは所望のスピーカークラスタ数が得られるまで繰
り返される。このプロセスが図８に概略的に示されてい
る。スピーカー数が未知の場合、このアルゴリズムが使
用されてスピーカー数が推定されることが可能である。
その場合、最近接クラスタの併合は、最近接クラスタ間
距離が定められたスレショルドを越えるまで継続する。
スレショルドを越えるとクラスタリングは中止され、そ
の時のクラスタ数がスピーカー数の推定値として使用さ
れる。
は、最初に等しい長さのセグメントに分割され、各セグ
メントは数秒の音声から成る。これらのセグメントは階
層的クラスタリングに対する初期クラスタ集合として使
用される。該アルゴリズムは、最初に全てのクラスタペ
アについてのクラスタ間距離を算出し、次に最も近い２
つのクラスタを併合することによって進行する。このプ
ロセスは所望のスピーカークラスタ数が得られるまで繰
り返される。このプロセスが図８に概略的に示されてい
る。スピーカー数が未知の場合、このアルゴリズムが使
用されてスピーカー数が推定されることが可能である。
その場合、最近接クラスタの併合は、最近接クラスタ間
距離が定められたスレショルドを越えるまで継続する。
スレショルドを越えるとクラスタリングは中止され、そ
の時のクラスタ数がスピーカー数の推定値として使用さ
れる。
【００３８】図８は、スピーカーでラベル付けされてい
るインターバル集合上の階層的クラスタリング１００を
概略的に示す。オリジナルインターバル１０２は、Ｃ、
Ｌ、およびＴで３つのスピーカーに対してラベル付けさ
れたツリーのリーフによって示される。そのような全て
のインターバルについてのインターバル間距離が算出さ
れ、１０４に示されるように最も近接する２つのインタ
ーバルが併合される。
るインターバル集合上の階層的クラスタリング１００を
概略的に示す。オリジナルインターバル１０２は、Ｃ、
Ｌ、およびＴで３つのスピーカーに対してラベル付けさ
れたツリーのリーフによって示される。そのような全て
のインターバルについてのインターバル間距離が算出さ
れ、１０４に示されるように最も近接する２つのインタ
ーバルが併合される。
【００３９】この最近接クラスタ併合プロセスは、所望
のクラスタ数が形成されるまで繰り返される。３つのク
ラスタに対し、それらクラスタに対応する３つの分岐が
示されている。第１のクラスタ１０６はほとんどスピー
カーＣからのインターバルを含み、第２のクラスタ１０
８はほとんどスピーカーＬからのインターバルを含み、
第３のクラスタ１１０はほとんどスピーカーＴからのイ
ンターバルを含む。
のクラスタ数が形成されるまで繰り返される。３つのク
ラスタに対し、それらクラスタに対応する３つの分岐が
示されている。第１のクラスタ１０６はほとんどスピー
カーＣからのインターバルを含み、第２のクラスタ１０
８はほとんどスピーカーＬからのインターバルを含み、
第３のクラスタ１１０はほとんどスピーカーＴからのイ
ンターバルを含む。
【００４０】スピーカー数が未知の場合、距離に対する
スレショルドが設定され、スレショルドが越えられた場
合にクラスタの併合が中止される。このことは線１１２
により概略的に示されており、該線は４つのクラスタを
生成する。（クラスタ１は２つに分割されている。）ク
ラスタＸが単一セグメントＸ＝ｘかまたはセグメント集
合Ｘ＝ｘ1,ｘ2,...から成ると仮定する。クラスタＸお
よびＹ間の距離はｄ（Ｘ，Ｙ）により表される。前述の
システムにおいて、セグメント間距離はガウシアン分布
の仮定に基づき尤度比によって導出された。ｘ＝
ｓ1,...,ｓr はある１つのセグメント内のデータを表
し、ｙ＝ｓr+1,...,ｓn はその他のセグメント内のデー
タを表し、ｚ＝ｓ1,...,ｓn は合成セグメント内のデー
タを表すものとする。Ｌ（ｘ，θx ）はｘシーケンスの
尤度とし、ここでθx はガウシアン分布のパラメータに
対する推定値である。同様にＬ（ｙ，θy ）はｙシーケ
ンスの尤度とし、Ｌ（ｚ，θz ）は合成シーケンスｚの
尤度とする。λは尤度比を表すとすると、次式のように
表される。
スレショルドが設定され、スレショルドが越えられた場
合にクラスタの併合が中止される。このことは線１１２
により概略的に示されており、該線は４つのクラスタを
生成する。（クラスタ１は２つに分割されている。）ク
ラスタＸが単一セグメントＸ＝ｘかまたはセグメント集
合Ｘ＝ｘ1,ｘ2,...から成ると仮定する。クラスタＸお
よびＹ間の距離はｄ（Ｘ，Ｙ）により表される。前述の
システムにおいて、セグメント間距離はガウシアン分布
の仮定に基づき尤度比によって導出された。ｘ＝
ｓ1,...,ｓr はある１つのセグメント内のデータを表
し、ｙ＝ｓr+1,...,ｓn はその他のセグメント内のデー
タを表し、ｚ＝ｓ1,...,ｓn は合成セグメント内のデー
タを表すものとする。Ｌ（ｘ，θx ）はｘシーケンスの
尤度とし、ここでθx はガウシアン分布のパラメータに
対する推定値である。同様にＬ（ｙ，θy ）はｙシーケ
ンスの尤度とし、Ｌ（ｚ，θz ）は合成シーケンスｚの
尤度とする。λは尤度比を表すとすると、次式のように
表される。
【００４１】
【数１】
【００４２】クラスタリングの際に使用される距離計量
は−ｌｏｇ（λ）である。音声データは単一のガウシア
ン分布では充分にモデル化されないため、尤度比はガウ
シアン分布の混成結合に拡張される。セグメンテーショ
ンされていないデータが最初に使用され、Ｍ個のガウシ
アン分布の混成に対する平均および共分散マトリックス
が推定される。次にこれらは残りの解析により確定され
る。Ｎi ( ｓ）＝Ｎ（ｓ：Ｍi , σi ）はｉ番目の混成
要素に関連するガウシアン分布とし、ｇi （ｘ）はデー
タシーケンスｘを使用して推定されたｉ番目の混成要素
に対する重みとする。ｇi （ｘ）はＮi ( ｓ）が最大と
なるｘ内のサンプルの割合である。従ってｘシーケンス
の尤度は次式のように表される。
は−ｌｏｇ（λ）である。音声データは単一のガウシア
ン分布では充分にモデル化されないため、尤度比はガウ
シアン分布の混成結合に拡張される。セグメンテーショ
ンされていないデータが最初に使用され、Ｍ個のガウシ
アン分布の混成に対する平均および共分散マトリックス
が推定される。次にこれらは残りの解析により確定され
る。Ｎi ( ｓ）＝Ｎ（ｓ：Ｍi , σi ）はｉ番目の混成
要素に関連するガウシアン分布とし、ｇi （ｘ）はデー
タシーケンスｘを使用して推定されたｉ番目の混成要素
に対する重みとする。ｇi （ｘ）はＮi ( ｓ）が最大と
なるｘ内のサンプルの割合である。従ってｘシーケンス
の尤度は次式のように表される。
【００４３】
【数２】
【００４４】ここでθx ＝（ｇ1 （ｘ）,..., ｇ
M （ｘ））である。尤度Ｌ（ｙ，θy ）も同様に算出さ
れる。合成シーケンスに対する尤度Ｌ（ｚ，θz ）の算
出において、混成要素に対する重みｇi （ｚ）として次
式を得る。
M （ｘ））である。尤度Ｌ（ｙ，θy ）も同様に算出さ
れる。合成シーケンスに対する尤度Ｌ（ｚ，θz ）の算
出において、混成要素に対する重みｇi （ｚ）として次
式を得る。
【００４５】
【数３】
【００４６】クラスタリングに対する距離計量、ｄL ＝
−ｌｏｇ（λL ）は従って式（１）を使用して算出され
ることが可能である。
−ｌｏｇ（λL ）は従って式（１）を使用して算出され
ることが可能である。
【００４７】本発明のクラスタリングプロシジャーは、
クラスタを含むインターバルにおけるインターバル間距
離の最大、最小、もしくは平均を使用するよりもむしろ
式（１）を使用して集塊性のクラスタ間距離を再計算す
る点において、通常の階層的クラスタリングと異なって
いる。従って式（２）および（３）により与えられる尤
度の計算効率が重要となる。これはクラスタリングレベ
ルの各々において距離が再計算されるためである。
クラスタを含むインターバルにおけるインターバル間距
離の最大、最小、もしくは平均を使用するよりもむしろ
式（１）を使用して集塊性のクラスタ間距離を再計算す
る点において、通常の階層的クラスタリングと異なって
いる。従って式（２）および（３）により与えられる尤
度の計算効率が重要となる。これはクラスタリングレベ
ルの各々において距離が再計算されるためである。
【００４８】加えて、スピーカーチェンジの事前確率は
Ｍ個のスピーカーを伴うマルコフデュレーションモデル
を使用して算出されることが可能である。Ｓi はセグメ
ントｉの期間中のスピーカーを表し、Ｍはスピーカー数
を表すとする。Ｓi は、各スピーカーａに対してＰ
r 〔Ｓi+1 ＝ａ｜Ｓi ＝ａ〕＝ｐ、および各スピーカー
ａおよびｂ（ａに等しくない）に対してＰr 〔Ｓi+1 ＝
ｂ｜Ｓi ＝ａ〕＝（１−ｐ）／（Ｍ−１）を伴うマルコ
フ連鎖であると仮定する。セグメントｉに対するスピー
カーがセグメントｉ＋ｎに対しても発声する確率Ｐ
r 〔Ｓi+n ＝Ｓi 〕は、２状態マルコフ連鎖を使用して
算出されることが可能であり、その場合連鎖の状態１は
時刻ｉにおけるスピーカーを表し、状態２は他の全ての
スピーカーを表す。この連鎖に対する遷移確率マトリッ
クスＰは次式のように表される。
Ｍ個のスピーカーを伴うマルコフデュレーションモデル
を使用して算出されることが可能である。Ｓi はセグメ
ントｉの期間中のスピーカーを表し、Ｍはスピーカー数
を表すとする。Ｓi は、各スピーカーａに対してＰ
r 〔Ｓi+1 ＝ａ｜Ｓi ＝ａ〕＝ｐ、および各スピーカー
ａおよびｂ（ａに等しくない）に対してＰr 〔Ｓi+1 ＝
ｂ｜Ｓi ＝ａ〕＝（１−ｐ）／（Ｍ−１）を伴うマルコ
フ連鎖であると仮定する。セグメントｉに対するスピー
カーがセグメントｉ＋ｎに対しても発声する確率Ｐ
r 〔Ｓi+n ＝Ｓi 〕は、２状態マルコフ連鎖を使用して
算出されることが可能であり、その場合連鎖の状態１は
時刻ｉにおけるスピーカーを表し、状態２は他の全ての
スピーカーを表す。この連鎖に対する遷移確率マトリッ
クスＰは次式のように表される。
【００４９】
【数４】
【００５０】このマトリックスに関し、Ｐr 〔Ｓi+n ＝
Ｓi 〕＝（Ｐn ）11である。Ｐを対角化することによ
り、Ｐr 〔Ｓi+n ＝Ｓi 〕は次式のようによりクローズ
した形態で表されることが可能である。
Ｓi 〕＝（Ｐn ）11である。Ｐを対角化することによ
り、Ｐr 〔Ｓi+n ＝Ｓi 〕は次式のようによりクローズ
した形態で表されることが可能である。
【００５１】
【数５】
【００５２】この式を使用して、２つの与えられたクラ
スタが同一のスピーカーまたは２つの異なるスピーカー
によって生成される事前確率を算出することが可能であ
る。Ｃをスピーカーチェンジが発生するインターバル数
とし、ｎi をｉ番目のインターバル長とすると、デュレ
ーションバイアスは次式のように定義される。
スタが同一のスピーカーまたは２つの異なるスピーカー
によって生成される事前確率を算出することが可能であ
る。Ｃをスピーカーチェンジが発生するインターバル数
とし、ｎi をｉ番目のインターバル長とすると、デュレ
ーションバイアスは次式のように定義される。
【００５３】
【数６】
【００５４】デュレーションバイアスされた距離はｄD
（Ｘ，Ｙ）＝−ｌｏｇ（λL ）−ｌｏｇ（λD ）として
定義される。
（Ｘ，Ｙ）＝−ｌｏｇ（λL ）−ｌｏｇ（λD ）として
定義される。
【００５５】図９に示されるスピーカーセグメンテーシ
ョンネットワーク１２０は、各スピーカーに対するサブ
ネットワーク６０と、サイレンスおよびガーベッジに対
するオプショナルなサブネットワーク６４および１２２
とから成る。ガーベッジは、オーディオ中の未知のスピ
ーカーまたは非音声音のような、スピーカーまたはサイ
レンスモデルによってモデル化されない音声または音と
して定義される。スピーカー、ガーベッジ、およびサイ
レンスサブネットワークは以下に述べるように得られ
る。ネットワークモデルは、２またはそれ以上のスピー
カーによるバックグランドノイズを伴う会話をモデル化
する。
ョンネットワーク１２０は、各スピーカーに対するサブ
ネットワーク６０と、サイレンスおよびガーベッジに対
するオプショナルなサブネットワーク６４および１２２
とから成る。ガーベッジは、オーディオ中の未知のスピ
ーカーまたは非音声音のような、スピーカーまたはサイ
レンスモデルによってモデル化されない音声または音と
して定義される。スピーカー、ガーベッジ、およびサイ
レンスサブネットワークは以下に述べるように得られ
る。ネットワークモデルは、２またはそれ以上のスピー
カーによるバックグランドノイズを伴う会話をモデル化
する。
【００５６】ネットワーク６０のような個々のスピーカ
ーサブネットワークは互いに並列に結合され、各サブネ
ットワークから外部への遷移確率は小さいペナルティ定
数εに固定されて、孤立サンプルに基づくスピーカーチ
ェンジが抑制される。各スピーカーサブネットワーク６
０はＬ個の状態を伴うＨＭＭから成り、それらＨＭＭは
並列に接続される。各状態は、ガウシアン出力分布、自
己遷移、および他状態への遷移を有する。
ーサブネットワークは互いに並列に結合され、各サブネ
ットワークから外部への遷移確率は小さいペナルティ定
数εに固定されて、孤立サンプルに基づくスピーカーチ
ェンジが抑制される。各スピーカーサブネットワーク６
０はＬ個の状態を伴うＨＭＭから成り、それらＨＭＭは
並列に接続される。各状態は、ガウシアン出力分布、自
己遷移、および他状態への遷移を有する。
【００５７】初期ヌル状態からスピーカー、ガーベッ
ジ、およびサイレンスサブネットワークへの遷移確率は
画一的である。スピーカー、ガーベッジ、およびサイレ
ンスモデルから外部への遷移確率ペナルティは定数εに
設定される。原理的に、これら遷移確率はスピーカーに
依存し、トレーニング期間中に学習される。しかし、簡
素化を目的として、スピーカーの事前確率は画一値に仮
定され、スピーカーを離れる確率εは経験的に選択され
て孤立サンプルに基づくスピーカーチェンジが抑制され
る。
ジ、およびサイレンスサブネットワークへの遷移確率は
画一的である。スピーカー、ガーベッジ、およびサイレ
ンスモデルから外部への遷移確率ペナルティは定数εに
設定される。原理的に、これら遷移確率はスピーカーに
依存し、トレーニング期間中に学習される。しかし、簡
素化を目的として、スピーカーの事前確率は画一値に仮
定され、スピーカーを離れる確率εは経験的に選択され
て孤立サンプルに基づくスピーカーチェンジが抑制され
る。
【００５８】実際には、この遷移確率は著しく小さい。
（１０-20 のオーダーである。）従って各スピーカーモ
デルから外部への遷移は、スピーカーからスピーカーへ
の切替にペナルティを与えるよう作用する。
（１０-20 のオーダーである。）従って各スピーカーモ
デルから外部への遷移は、スピーカーからスピーカーへ
の切替にペナルティを与えるよう作用する。
【００５９】スピーカー間の会話をインデックス化する
ことは単に、観測された特徴ベクトルに関する与えられ
たシーケンスであるネットワークモデルを介する最も確
からしい状態シーケンスを見出すことである。スピーカ
ーサブネットワークが初期化された後、スピーカーセグ
メンテーションネットワークを介する最も確からしい状
態シーケンスを見出すことによりスピーカーセグメンテ
ーションが実行され、状態パスがスピーカーを変更する
時点でマーキングが施される。最適な状態が１つのスピ
ーカーモデルから他のスピーカーモデルへ切り替わる場
合にスピーカーチェンジが発生する。最適な状態シーケ
ンスを見出すことはビタビアルゴリズムを使用して達成
される。セグメンテーションの確度は、セグメンテーシ
ョンされたデータを使用してスピーカーサブネットワー
クを再トレーニングすることによって改善されることが
可能である。このセグメンテーションおよび再トレーニ
ングのプロセスは、セグメンテーションにおいて変化が
生じなくなるまで繰り返される。
ことは単に、観測された特徴ベクトルに関する与えられ
たシーケンスであるネットワークモデルを介する最も確
からしい状態シーケンスを見出すことである。スピーカ
ーサブネットワークが初期化された後、スピーカーセグ
メンテーションネットワークを介する最も確からしい状
態シーケンスを見出すことによりスピーカーセグメンテ
ーションが実行され、状態パスがスピーカーを変更する
時点でマーキングが施される。最適な状態が１つのスピ
ーカーモデルから他のスピーカーモデルへ切り替わる場
合にスピーカーチェンジが発生する。最適な状態シーケ
ンスを見出すことはビタビアルゴリズムを使用して達成
される。セグメンテーションの確度は、セグメンテーシ
ョンされたデータを使用してスピーカーサブネットワー
クを再トレーニングすることによって改善されることが
可能である。このセグメンテーションおよび再トレーニ
ングのプロセスは、セグメンテーションにおいて変化が
生じなくなるまで繰り返される。
【００６０】確度の改善のために、音声のセグメンテー
ションが繰り返し実行され、各セグメンテーションの後
にスピーカーモデルが再トレーニングされる。このこと
はセグメンテーションの確度を向上させ、特にスピーカ
ートレーニングデータが適用不可能な場合に有効であ
る。
ションが繰り返し実行され、各セグメンテーションの後
にスピーカーモデルが再トレーニングされる。このこと
はセグメンテーションの確度を向上させ、特にスピーカ
ートレーニングデータが適用不可能な場合に有効であ
る。
【００６１】繰り返し再セグメンテーションアルゴリズ
ムが図１０に示される。最初に、トレーニングデータ集
合がボックス１３０のステップで与えられ、ボックス１
３２のステップでスピーカーもでるがトレーニングされ
る。このデータは、既知のスピーカーからのトレーニン
グデータであるかまたは階層的クラスタリングを使用し
て区分されたデータであることが可能である。次にボッ
クス１３４のステップでこれらスピーカーモデルに基づ
きセグメンテーションが実行される。ボックス１３４の
ステップでのセグメンテーションが大きく変化する場
合、この改善されたセグメンテーションはスピーカーに
対する新たなトレーニングデータとして使用され、ボッ
クス１３２のステップでスピーカーモデルが再トレーニ
ングされる。このプロセスはボックス１３６のステップ
でセグメンテーションが変化しなくなるまで続けられ
る。
ムが図１０に示される。最初に、トレーニングデータ集
合がボックス１３０のステップで与えられ、ボックス１
３２のステップでスピーカーもでるがトレーニングされ
る。このデータは、既知のスピーカーからのトレーニン
グデータであるかまたは階層的クラスタリングを使用し
て区分されたデータであることが可能である。次にボッ
クス１３４のステップでこれらスピーカーモデルに基づ
きセグメンテーションが実行される。ボックス１３４の
ステップでのセグメンテーションが大きく変化する場
合、この改善されたセグメンテーションはスピーカーに
対する新たなトレーニングデータとして使用され、ボッ
クス１３２のステップでスピーカーモデルが再トレーニ
ングされる。このプロセスはボックス１３６のステップ
でセグメンテーションが変化しなくなるまで続けられ
る。
【００６２】図１１は、オーディオ記録データのスピー
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明の１実施例を示す。オーディオ
記録入力１９１はオーディオプロセッサ１９２によって
スペクトル特徴データへ処理され、システムプロセッサ
１９４へ与えられる。スペクトル特徴データは、システ
ムプロセッサ１９４による後の繰り返し処理のためにメ
モリ１９７に記憶されることが可能である。
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明の１実施例を示す。オーディオ
記録入力１９１はオーディオプロセッサ１９２によって
スペクトル特徴データへ処理され、システムプロセッサ
１９４へ与えられる。スペクトル特徴データは、システ
ムプロセッサ１９４による後の繰り返し処理のためにメ
モリ１９７に記憶されることが可能である。
【００６３】オーディオプロセッサ１９２によってシス
テムプロセッサ１９４へ与えられるスペクトルデータ
は、最初にセグメンテーションおよびクラスタリングさ
れ、初期スピーカーモデルをトレーニングしてスピーカ
ーネットワークを作成するためのデータが与えられる。
スペクトルデータはシステムプロセッサ１９４によって
再び処理される。スペクトルデータは、システムプロセ
ッサ１９４によって作成されたスピーカーネットワーク
を使用してシステムプロセッサ１９４によって処理され
る。オーディオストリームにおいて新たなセグメントの
各々が検出されると、システムプロセッサ１９４はタイ
ムソース１９３からタイムスタンプを得る。タイムスタ
ンプは、オーディオ入力１９１の記録からのオーディオ
データに関する記録アドレスもしくは記憶時間を示す。
タイムソース１９３は、例えば、記録が開始される時に
始動する時計であることが可能であり、もしくは、記憶
媒体に接続された記録デバイスから時間を記録するデバ
イスであることが可能である。このタイムスタンプは、
セグメントの作成者の識別子と共にメモリ１９５に記憶
され、後にスピーカーに従うインデックスへ収集され
る。
テムプロセッサ１９４へ与えられるスペクトルデータ
は、最初にセグメンテーションおよびクラスタリングさ
れ、初期スピーカーモデルをトレーニングしてスピーカ
ーネットワークを作成するためのデータが与えられる。
スペクトルデータはシステムプロセッサ１９４によって
再び処理される。スペクトルデータは、システムプロセ
ッサ１９４によって作成されたスピーカーネットワーク
を使用してシステムプロセッサ１９４によって処理され
る。オーディオストリームにおいて新たなセグメントの
各々が検出されると、システムプロセッサ１９４はタイ
ムソース１９３からタイムスタンプを得る。タイムスタ
ンプは、オーディオ入力１９１の記録からのオーディオ
データに関する記録アドレスもしくは記憶時間を示す。
タイムソース１９３は、例えば、記録が開始される時に
始動する時計であることが可能であり、もしくは、記憶
媒体に接続された記録デバイスから時間を記録するデバ
イスであることが可能である。このタイムスタンプは、
セグメントの作成者の識別子と共にメモリ１９５に記憶
され、後にスピーカーに従うインデックスへ収集され
る。
【００６４】図１２は、スピーカーが事前にわかってい
ない場合にオーディオストリームのインデックスを決定
する前述の方法に関するアプリケーションを記述するも
のである。ボックス２００のステップは処理されるオー
ディオデータを選択する。先に述べたように、このステ
ップで使用されるオーディオは、処理されるオーディオ
ストリーム内の少なくとも全てのスピーカーからの音声
を有する部分を含むことが可能であるが、オーディオス
トリーム全体に関して議論を進めることとする。ボック
ス２０２のステップにおいて、オーディオストリームは
セグメントに分解され、このセグメントは通常等しく短
い長さである。これら初期セグメントは初期クラスタと
して後のステップで使用される。ボックス２０６のステ
ップは各クラスタについてクラスタ間距離を算出し、ボ
ックス２０８のステップは最小距離を有する２つのクラ
スタを併合する。ボックス２１０のステップにおいて所
望数よりも多くのクラスタが存在する場合、ボックス２
０６のステップにおいて新たなクラスタ間距離が算出さ
れ、ボックス２１０のステップにおいて２つの最近接ク
ラスタが再び併合される。この処理は所望のクラスタ数
が残るまで繰り返される。所望のクラスタ数は、クラス
タ間のトータル距離制限かもしくは集合数に基づくこと
が可能である。例えば、オーディオセグメント内のスピ
ーカー総数は、トレーニングデータが使用不可能な場合
であっても知られていることが可能である。そのような
数の初期クラスタが決定されるまで併合を行うようシス
テムが設定されることが可能である。
ない場合にオーディオストリームのインデックスを決定
する前述の方法に関するアプリケーションを記述するも
のである。ボックス２００のステップは処理されるオー
ディオデータを選択する。先に述べたように、このステ
ップで使用されるオーディオは、処理されるオーディオ
ストリーム内の少なくとも全てのスピーカーからの音声
を有する部分を含むことが可能であるが、オーディオス
トリーム全体に関して議論を進めることとする。ボック
ス２０２のステップにおいて、オーディオストリームは
セグメントに分解され、このセグメントは通常等しく短
い長さである。これら初期セグメントは初期クラスタと
して後のステップで使用される。ボックス２０６のステ
ップは各クラスタについてクラスタ間距離を算出し、ボ
ックス２０８のステップは最小距離を有する２つのクラ
スタを併合する。ボックス２１０のステップにおいて所
望数よりも多くのクラスタが存在する場合、ボックス２
０６のステップにおいて新たなクラスタ間距離が算出さ
れ、ボックス２１０のステップにおいて２つの最近接ク
ラスタが再び併合される。この処理は所望のクラスタ数
が残るまで繰り返される。所望のクラスタ数は、クラス
タ間のトータル距離制限かもしくは集合数に基づくこと
が可能である。例えば、オーディオセグメント内のスピ
ーカー総数は、トレーニングデータが使用不可能な場合
であっても知られていることが可能である。そのような
数の初期クラスタが決定されるまで併合を行うようシス
テムが設定されることが可能である。
【００６５】初期クラスタリングが完了すると、ボック
ス２１２のステップは個々のスピーカーモデルＨＭＭの
トレーニングを行う。これら個々のモデルはボックス２
１４のステップにおいて並列に結合され、スピーカーを
離れることに対するペナルティが付与される。サイレン
スおよびガーベッジモデルがボックス２１２のステップ
で発生されておらず、ネットワークに付加されていない
場合、それらはボックス２１６のステップで付加される
ことが可能である。ボックス２１８のステップにおい
て、オーディオストリームはスピーカーセグメンテーシ
ョンネットワークを使用してセグメントに分割される。
ボックス２２０のステップにおいて、セグメントは各セ
グメントに対するスピーカーの識別子によりマーキング
される。
ス２１２のステップは個々のスピーカーモデルＨＭＭの
トレーニングを行う。これら個々のモデルはボックス２
１４のステップにおいて並列に結合され、スピーカーを
離れることに対するペナルティが付与される。サイレン
スおよびガーベッジモデルがボックス２１２のステップ
で発生されておらず、ネットワークに付加されていない
場合、それらはボックス２１６のステップで付加される
ことが可能である。ボックス２１８のステップにおい
て、オーディオストリームはスピーカーセグメンテーシ
ョンネットワークを使用してセグメントに分割される。
ボックス２２０のステップにおいて、セグメントは各セ
グメントに対するスピーカーの識別子によりマーキング
される。
【００６６】ボックス２２２のステップは前の繰り返し
処理においてセグメンテーションが大きく変化したかど
うかをチェックする。もしそうである場合、ボックス２
１２のステップにおいてモデルが再トレーニングされ、
改良されたモデルを用いてセグメンテーションの繰り返
し処理が実行される。再トレーニングの結果として大き
な変化が生じない場合、繰り返し処理は完了し、個々の
モデルによって同様にマーキングされたセグメントを収
集することによって記録に対するインデックスが作成さ
れる。
処理においてセグメンテーションが大きく変化したかど
うかをチェックする。もしそうである場合、ボックス２
１２のステップにおいてモデルが再トレーニングされ、
改良されたモデルを用いてセグメンテーションの繰り返
し処理が実行される。再トレーニングの結果として大き
な変化が生じない場合、繰り返し処理は完了し、個々の
モデルによって同様にマーキングされたセグメントを収
集することによって記録に対するインデックスが作成さ
れる。
【００６７】スピーカーに従うオーディオデータセグメ
ントのクラスタリングの方法が、オーディオデータに関
するスピーカーインデックス化のためのスピーカーネッ
トワークへの入力に対する多くの実施例に関連して本文
中に記述されてきたが、それらの修正、変形、および拡
張を伴う他のアプリケーション、実施、修正、変形、お
よび拡張は本発明の範囲である。
ントのクラスタリングの方法が、オーディオデータに関
するスピーカーインデックス化のためのスピーカーネッ
トワークへの入力に対する多くの実施例に関連して本文
中に記述されてきたが、それらの修正、変形、および拡
張を伴う他のアプリケーション、実施、修正、変形、お
よび拡張は本発明の範囲である。
【００６８】
【発明の効果】以上説明したように、本発明の方法によ
れば、オーディオストリーム内にインデックスを作成す
ることが可能となり、リアルタイムであっても処理後で
あっても、ユーザーが特定のスピーカーに関連するオー
ディオデータセグメントを認識することが可能となる。
れば、オーディオストリーム内にインデックスを作成す
ることが可能となり、リアルタイムであっても処理後で
あっても、ユーザーが特定のスピーカーに関連するオー
ディオデータセグメントを認識することが可能となる。
【図１】本発明が実施されることが可能である一般化さ
れたオーディオ処理システムのブロック図である。
れたオーディオ処理システムのブロック図である。
【図２】オーディオインデックスシステムの一般化され
たフロー図である。
たフロー図である。
【図３】５状態隠れマルコフモデル（ＨＭＭ）を示す図
である。
である。
【図４】ＨＭＭによってモデル化される３つの対象物の
ＨＭＭネットワークを示す図である。
ＨＭＭネットワークを示す図である。
【図５】ビタビアルゴリズムの結果を概略的に示す図で
ある。
ある。
【図６】個々のスピーカーの発声スタイルをモデル化す
る３５状態ＨＭＭを示す図である。
る３５状態ＨＭＭを示す図である。
【図７】サイレンスサブネットワークを示す図である。
【図８】スピーカーでラベル付けされたインターバル集
合上の階層的クラスタリングを概略的に示す図である。
合上の階層的クラスタリングを概略的に示す図である。
【図９】各スピーカーに対するサブネットワークと、サ
イレンスおよびガーベッジに対するオプショナルなサブ
ネットワークとから成るスピーカーセグメンテーション
ネットワークを示す図である。
イレンスおよびガーベッジに対するオプショナルなサブ
ネットワークとから成るスピーカーセグメンテーション
ネットワークを示す図である。
【図１０】繰り返し再セグメンテーションアルゴリズム
を概略的に示す図である。
を概略的に示す図である。
【図１１】オーディオ記録データのスピーカーに従うイ
ンデックスを作成および記憶するシステムにおける本発
明の１実施例を示す図である。
ンデックスを作成および記憶するシステムにおける本発
明の１実施例を示す図である。
【図１２】スピーカーが未知の場合にオーディオストリ
ームのインデックスを決定する本発明に従う方法を示す
図である。
ームのインデックスを決定する本発明に従う方法を示す
図である。
１２ オーディオデータソース １４ オーディオプロセッサ １６ オーディオデータインデックス ６０ ３５状態ＨＭＭ １２０ スピーカーセグメンテーションネットワーク
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ドナルド ジー．キンバー アメリカ合衆国 カリフォルニア州 94040 マウント ビュー ヴィクター ストリート 678 ナンバー ３
Claims (3)
- 【請求項１】 複数のスピーカーからの音声を有するオ
ーディオデータ記録におけるオーディオデータセグメン
トの流動的クラスタリングの方法であって、 ａ）前記オーディオデータ内の少なくとも全てのスピー
カーからの音声を有する前記オーディオデータの部分を
与えるステップと、 ｂ）前記オーディオ部分をデータクラスタへ分割するス
テップと、 ｃ）各クラスタペアのクラスタ間距離を算出するステッ
プと、 ｄ）最小クラスタ間距離を有する２つのクラスタを結合
して新たなクラスタとするステップと、 ｅ）所望のクラスタ数が得られるまで前記ステップ
ｂ）、ｃ）、およびｄ）を繰り返すステップと、 を含む、オーディオデータセグメントのクラスタリング
方法。 - 【請求項２】 前記所望のクラスタ数は前記オーディオ
データの前記複数のスピーカー数に基づく、請求項１に
記載の方法。 - 【請求項３】 前記所望のクラスタ数は各クラスタペア
間の最大距離に基づく、請求項１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22652594A | 1994-04-12 | 1994-04-12 | |
| US226525 | 1994-04-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07287592A true JPH07287592A (ja) | 1995-10-31 |
| JP3745403B2 JP3745403B2 (ja) | 2006-02-15 |
Family
ID=22849267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08289795A Expired - Fee Related JP3745403B2 (ja) | 1994-04-12 | 1995-04-07 | オーディオデータセグメントのクラスタリング方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5659662A (ja) |
| JP (1) | JP3745403B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090272A (ja) * | 2006-09-29 | 2008-04-17 | Honda Research Inst Europe Gmbh | 子供に向けられた発話を使用してモデル・ベースの音声の区分化をブートストラップすること、および認識システム |
| JP2015516091A (ja) * | 2012-07-09 | 2015-06-04 | ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． | 声紋特徴モデルを更新するための方法及び端末 |
| CN111524527A (zh) * | 2020-04-30 | 2020-08-11 | 合肥讯飞数码科技有限公司 | 话者分离方法、装置、电子设备和存储介质 |
Families Citing this family (106)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1097276A (ja) * | 1996-09-20 | 1998-04-14 | Canon Inc | 音声認識方法及び装置並びに記憶媒体 |
| US6961700B2 (en) * | 1996-09-24 | 2005-11-01 | Allvoice Computing Plc | Method and apparatus for processing the output of a speech recognition engine |
| US5864807A (en) * | 1997-02-25 | 1999-01-26 | Motorola, Inc. | Method and apparatus for training a speaker recognition system |
| US5889523A (en) * | 1997-11-25 | 1999-03-30 | Fuji Xerox Co., Ltd. | Method and apparatus for dynamically grouping a plurality of graphic objects |
| US6009392A (en) * | 1998-01-15 | 1999-12-28 | International Business Machines Corporation | Training speech recognition by matching audio segment frequency of occurrence with frequency of words and letter combinations in a corpus |
| US6073096A (en) * | 1998-02-04 | 2000-06-06 | International Business Machines Corporation | Speaker adaptation system and method based on class-specific pre-clustering training speakers |
| US6684186B2 (en) * | 1999-01-26 | 2004-01-27 | International Business Machines Corporation | Speaker recognition using a hierarchical speaker model tree |
| US6404925B1 (en) | 1999-03-11 | 2002-06-11 | Fuji Xerox Co., Ltd. | Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition |
| US6421645B1 (en) * | 1999-04-09 | 2002-07-16 | International Business Machines Corporation | Methods and apparatus for concurrent speech recognition, speaker segmentation and speaker classification |
| US6345253B1 (en) | 1999-04-09 | 2002-02-05 | International Business Machines Corporation | Method and apparatus for retrieving audio information using primary and supplemental indexes |
| US6345252B1 (en) * | 1999-04-09 | 2002-02-05 | International Business Machines Corporation | Methods and apparatus for retrieving audio information using content and speaker information |
| US6424946B1 (en) * | 1999-04-09 | 2002-07-23 | International Business Machines Corporation | Methods and apparatus for unknown speaker labeling using concurrent speech recognition, segmentation, classification and clustering |
| US6434520B1 (en) * | 1999-04-16 | 2002-08-13 | International Business Machines Corporation | System and method for indexing and querying audio archives |
| US7283964B1 (en) * | 1999-05-21 | 2007-10-16 | Winbond Electronics Corporation | Method and apparatus for voice controlled devices with improved phrase storage, use, conversion, transfer, and recognition |
| US7739114B1 (en) * | 1999-06-30 | 2010-06-15 | International Business Machines Corporation | Methods and apparatus for tracking speakers in an audio stream |
| DE19933541C2 (de) | 1999-07-16 | 2002-06-27 | Infineon Technologies Ag | Verfahren für ein digitales Lerngerät zur digitalen Aufzeichnung eines analogen Audio-Signals mit automatischer Indexierung |
| US6567775B1 (en) | 2000-04-26 | 2003-05-20 | International Business Machines Corporation | Fusion of audio and video based speaker identification for multimedia information access |
| JP2001318694A (ja) * | 2000-05-10 | 2001-11-16 | Toshiba Corp | 信号処理装置、信号処理方法および記録媒体 |
| US6542869B1 (en) | 2000-05-11 | 2003-04-01 | Fuji Xerox Co., Ltd. | Method for automatic analysis of audio including music and speech |
| US6748356B1 (en) | 2000-06-07 | 2004-06-08 | International Business Machines Corporation | Methods and apparatus for identifying unknown speakers using a hierarchical tree structure |
| US7249018B2 (en) * | 2001-01-12 | 2007-07-24 | International Business Machines Corporation | System and method for relating syntax and semantics for a conversational speech application |
| US7472062B2 (en) * | 2002-01-04 | 2008-12-30 | International Business Machines Corporation | Efficient recursive clustering based on a splitting function derived from successive eigen-decompositions |
| US7035807B1 (en) * | 2002-02-19 | 2006-04-25 | Brittain John W | Sound on sound-annotations |
| JP2003308091A (ja) * | 2002-04-17 | 2003-10-31 | Pioneer Electronic Corp | 音声認識装置、音声認識方法および音声認識プログラム |
| US20030236663A1 (en) * | 2002-06-19 | 2003-12-25 | Koninklijke Philips Electronics N.V. | Mega speaker identification (ID) system and corresponding methods therefor |
| US7383509B2 (en) * | 2002-09-13 | 2008-06-03 | Fuji Xerox Co., Ltd. | Automatic generation of multimedia presentation |
| US7284004B2 (en) * | 2002-10-15 | 2007-10-16 | Fuji Xerox Co., Ltd. | Summarization of digital files |
| US6816834B2 (en) * | 2002-10-23 | 2004-11-09 | Jon Jaroker | System and method for secure real-time high accuracy speech to text conversion of general quality speech |
| US7539086B2 (en) * | 2002-10-23 | 2009-05-26 | J2 Global Communications, Inc. | System and method for the secure, real-time, high accuracy conversion of general-quality speech into text |
| US7231349B2 (en) * | 2003-05-30 | 2007-06-12 | Microsoft Corporation | Method and apparatus for compressing asymmetric clustering language models |
| US20050249080A1 (en) * | 2004-05-07 | 2005-11-10 | Fuji Xerox Co., Ltd. | Method and system for harvesting a media stream |
| US7433820B2 (en) * | 2004-05-12 | 2008-10-07 | International Business Machines Corporation | Asynchronous Hidden Markov Model method and system |
| US7454337B1 (en) | 2004-05-13 | 2008-11-18 | The United States Of America As Represented By The Director, National Security Agency, The | Method of modeling single data class from multi-class data |
| US8938390B2 (en) | 2007-01-23 | 2015-01-20 | Lena Foundation | System and method for expressive language and developmental disorder assessment |
| US9355651B2 (en) | 2004-09-16 | 2016-05-31 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
| US8078465B2 (en) * | 2007-01-23 | 2011-12-13 | Lena Foundation | System and method for detection and analysis of speech |
| US10223934B2 (en) | 2004-09-16 | 2019-03-05 | Lena Foundation | Systems and methods for expressive language, developmental disorder, and emotion assessment, and contextual feedback |
| US9240188B2 (en) | 2004-09-16 | 2016-01-19 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
| CN1773536A (zh) * | 2004-11-11 | 2006-05-17 | 国际商业机器公司 | 生成话音纪要的方法、设备和*** |
| US7777125B2 (en) * | 2004-11-19 | 2010-08-17 | Microsoft Corporation | Constructing a table of music similarity vectors from a music similarity graph |
| US8078463B2 (en) * | 2004-11-23 | 2011-12-13 | Nice Systems, Ltd. | Method and apparatus for speaker spotting |
| US7634406B2 (en) * | 2004-12-10 | 2009-12-15 | Microsoft Corporation | System and method for identifying semantic intent from acoustic information |
| US7876357B2 (en) | 2005-01-31 | 2011-01-25 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
| US8606383B2 (en) | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
| US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
| US20060174203A1 (en) | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Viewfinder for shared image device |
| US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
| US9489717B2 (en) | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
| US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US20060221197A1 (en) * | 2005-03-30 | 2006-10-05 | Jung Edward K | Image transformation estimator of an imaging device |
| US7920169B2 (en) | 2005-01-31 | 2011-04-05 | Invention Science Fund I, Llc | Proximity of shared image devices |
| US20060170956A1 (en) | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
| US9191611B2 (en) | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
| US8233042B2 (en) | 2005-10-31 | 2012-07-31 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
| US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US9167195B2 (en) | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US9621749B2 (en) | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
| US8072501B2 (en) * | 2005-10-31 | 2011-12-06 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
| US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
| US8681225B2 (en) | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
| US7872675B2 (en) | 2005-06-02 | 2011-01-18 | The Invention Science Fund I, Llc | Saved-image management |
| US7782365B2 (en) | 2005-06-02 | 2010-08-24 | Searete Llc | Enhanced video/still image correlation |
| US9076208B2 (en) | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
| US8964054B2 (en) | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
| US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
| US20070222865A1 (en) | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
| US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
| US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
| US8253821B2 (en) | 2005-10-31 | 2012-08-28 | The Invention Science Fund I, Llc | Degradation/preservation management of captured data |
| US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US8825482B2 (en) | 2005-09-15 | 2014-09-02 | Sony Computer Entertainment Inc. | Audio, video, simulation, and user interface paradigms |
| US20070120980A1 (en) * | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
| KR100679051B1 (ko) * | 2005-12-14 | 2007-02-05 | 삼성전자주식회사 | 복수의 신뢰도 측정 알고리즘을 이용한 음성 인식 장치 및방법 |
| WO2007086042A2 (en) * | 2006-01-25 | 2007-08-02 | Nice Systems Ltd. | Method and apparatus for segmentation of audio interactions |
| WO2008091947A2 (en) * | 2007-01-23 | 2008-07-31 | Infoture, Inc. | System and method for detection and analysis of speech |
| US7870136B1 (en) * | 2007-05-24 | 2011-01-11 | Hewlett-Packard Development Company, L.P. | Clustering data with constraints |
| JP5313466B2 (ja) * | 2007-06-28 | 2013-10-09 | ニュアンス コミュニケーションズ，インコーポレイテッド | 音声の再生に同期して音声の内容を表示させる技術 |
| WO2009098332A1 (es) * | 2008-02-08 | 2009-08-13 | Agnitio, S.L. | Dispositivo de reconocimiento de locutor |
| US8537978B2 (en) | 2008-10-06 | 2013-09-17 | International Business Machines Corporation | Method and system for using conversational biometrics and speaker identification/verification to filter voice streams |
| EP2216775B1 (en) * | 2009-02-05 | 2012-11-21 | Nuance Communications, Inc. | Speaker recognition |
| US9043207B2 (en) * | 2009-11-12 | 2015-05-26 | Agnitio S.L. | Speaker recognition from telephone calls |
| US9129605B2 (en) | 2012-03-30 | 2015-09-08 | Src, Inc. | Automated voice and speech labeling |
| TW201417093A (zh) * | 2012-10-19 | 2014-05-01 | Hon Hai Prec Ind Co Ltd | 具有影音檔處理功能的電子裝置及影音檔處理方法 |
| US10114148B2 (en) * | 2013-10-02 | 2018-10-30 | Nec Corporation | Heterogeneous log analysis |
| US9842586B2 (en) | 2014-07-09 | 2017-12-12 | Genesys Telecommunications Laboratories, Inc. | System and method for semantically exploring concepts |
| JP6392051B2 (ja) * | 2014-09-22 | 2018-09-19 | 株式会社東芝 | 電子機器、方法およびプログラム |
| KR102306538B1 (ko) | 2015-01-20 | 2021-09-29 | 삼성전자주식회사 | 콘텐트 편집 장치 및 방법 |
| US10133538B2 (en) * | 2015-03-27 | 2018-11-20 | Sri International | Semi-supervised speaker diarization |
| US10141009B2 (en) | 2016-06-28 | 2018-11-27 | Pindrop Security, Inc. | System and method for cluster-based audio event detection |
| AU2017327003B2 (en) | 2016-09-19 | 2019-05-23 | Pindrop Security, Inc. | Channel-compensated low-level features for speaker recognition |
| WO2018053537A1 (en) | 2016-09-19 | 2018-03-22 | Pindrop Security, Inc. | Improvements of speaker recognition in the call center |
| US11417343B2 (en) | 2017-05-24 | 2022-08-16 | Zoominfo Converse Llc | Automatic speaker identification in calls using multiple speaker-identification parameters |
| US10637898B2 (en) * | 2017-05-24 | 2020-04-28 | AffectLayer, Inc. | Automatic speaker identification in calls |
| WO2019113477A1 (en) | 2017-12-07 | 2019-06-13 | Lena Foundation | Systems and methods for automatic determination of infant cry and discrimination of cry from fussiness |
| KR20200140235A (ko) * | 2017-12-27 | 2020-12-15 | 스피치 테크놀로지 센터 리미티드 | 대상 화자의 음성 모델을 구축하기 위한 방법 및 디바이스 |
| US11289097B2 (en) | 2018-08-28 | 2022-03-29 | Dell Products L.P. | Information handling systems and methods for accurately identifying an active speaker in a communication session |
| US11024291B2 (en) | 2018-11-21 | 2021-06-01 | Sri International | Real-time class recognition for an audio stream |
| WO2020159917A1 (en) | 2019-01-28 | 2020-08-06 | Pindrop Security, Inc. | Unsupervised keyword spotting and word discovery for fraud analytics |
| US11019201B2 (en) | 2019-02-06 | 2021-05-25 | Pindrop Security, Inc. | Systems and methods of gateway detection in a telephone network |
| US11646018B2 (en) * | 2019-03-25 | 2023-05-09 | Pindrop Security, Inc. | Detection of calls from voice assistants |
| US12015637B2 (en) | 2019-04-08 | 2024-06-18 | Pindrop Security, Inc. | Systems and methods for end-to-end architectures for voice spoofing detection |
| KR20210041974A (ko) * | 2019-10-08 | 2021-04-16 | 에스케이하이닉스 주식회사 | 전자 장치 및 전자 장치의 제조 방법 |
| US11776550B2 (en) * | 2021-03-09 | 2023-10-03 | Qualcomm Incorporated | Device operation based on dynamic classifier |
| CN117079667B (zh) * | 2023-10-16 | 2023-12-22 | 华南师范大学 | 一种场景分类方法、装置、设备和可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1261472A (en) * | 1985-09-26 | 1989-09-26 | Yoshinao Shiraki | Reference speech pattern generating method |
-
1995
- 1995-04-07 JP JP08289795A patent/JP3745403B2/ja not_active Expired - Fee Related
-
1996
- 1996-09-09 US US08/710,013 patent/US5659662A/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090272A (ja) * | 2006-09-29 | 2008-04-17 | Honda Research Inst Europe Gmbh | 子供に向けられた発話を使用してモデル・ベースの音声の区分化をブートストラップすること、および認識システム |
| JP2015516091A (ja) * | 2012-07-09 | 2015-06-04 | ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． | 声紋特徴モデルを更新するための方法及び端末 |
| US9685161B2 (en) | 2012-07-09 | 2017-06-20 | Huawei Device Co., Ltd. | Method for updating voiceprint feature model and terminal |
| CN111524527A (zh) * | 2020-04-30 | 2020-08-11 | 合肥讯飞数码科技有限公司 | 话者分离方法、装置、电子设备和存储介质 |
| CN111524527B (zh) * | 2020-04-30 | 2023-08-22 | 合肥讯飞数码科技有限公司 | 话者分离方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5659662A (en) | 1997-08-19 |
| JP3745403B2 (ja) | 2006-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3745403B2 (ja) | オーディオデータセグメントのクラスタリング方法 | |
| JP3805809B2 (ja) | オーディオデータのセグメンテーション方法 | |
| JP3926858B2 (ja) | スピーカーデータのクラスタリング方法 | |
| US5606643A (en) | Real-time audio recording system for automatic speaker indexing | |
| JP4141495B2 (ja) | 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置 | |
| CN106683677B (zh) | 语音识别方法及装置 | |
| CN106683661B (zh) | 基于语音的角色分离方法及装置 | |
| Szöke et al. | Comparison of keyword spotting approaches for informal continuous speech. | |
| JP4195428B2 (ja) | 多数の音声特徴を利用する音声認識 | |
| Friedland et al. | The ICSI RT-09 speaker diarization system | |
| CN112435654B (zh) | 通过帧***对语音数据进行数据增强 | |
| JPH05204394A (ja) | ワードスポッティング法 | |
| CN112509560B (zh) | 一种基于缓存语言模型的语音识别自适应方法和*** | |
| CN112767921A (zh) | 一种基于缓存语言模型的语音识别自适应方法和*** | |
| Ney et al. | An overview of the Philips research system for large vocabulary continuous speech recognition | |
| Young | Acoustic modelling for large vocabulary continuous speech recognition | |
| JP4705535B2 (ja) | 音響モデル作成装置及び音声認識装置並びに音響モデル作成プログラム | |
| Li | Combination and generation of parallel feature streams for improved speech recognition | |
| Gereg et al. | Semi-automatic processing and annotation of meeting audio recordings | |
| JP4839555B2 (ja) | 音声標準パタン学習装置、方法および音声標準パタン学習プログラムを記録した記録媒体 | |
| Ramachandrula et al. | Implementation of Discrete HMMs for Isolated Spoken Word Recognition | |
| Gopalakrishnan | Current Methods in Continuous Speech Recognition | |
| Karafiát | Study of Linear Transforms applied to LVCSR system training | |
| Kosaka et al. | Discrete-Mixture HMMs-based Approach for Noisy Speech Recognition | |
| Smyth | Segmental sub-word unit classification using a multilayer perceptron |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |