JP2008287340A - Speech content identification apparatus and individual identification apparatus - Google Patents
Speech content identification apparatus and individual identification apparatus Download PDFInfo
- Publication number
- JP2008287340A JP2008287340A JP2007129363A JP2007129363A JP2008287340A JP 2008287340 A JP2008287340 A JP 2008287340A JP 2007129363 A JP2007129363 A JP 2007129363A JP 2007129363 A JP2007129363 A JP 2007129363A JP 2008287340 A JP2008287340 A JP 2008287340A
- Authority
- JP
- Japan
- Prior art keywords
- utterance content
- vowel
- lip
- spectrum graph
- identification device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、発話者が発話する際の***動作から発話内容を識別する発話内容識別装置及び発話者個人を識別する個人識別装置に関する。 The present invention relates to an utterance content identification device for identifying utterance content from a lip movement when a utterer speaks, and an individual identification device for identifying an individual speaker.
発話者が任意の言語(例えば、日本語)を発話する際の***動作を利用して、発話した内容(日本語発話内容)を識別する従来方法として、次に述べる方法が非特許文献1に開示されている。
Non-Patent
この非特許文献1に開示されている従来方法(以下、従来の母音識別方法という)は、発話者の***の上下(A1,A2)及び左右(B1,B2)と、下顎とに基準点(A3)を設定し、***の横幅W(B1〜B2)、***の縦幅H(A1〜A2)及び上唇から下顎までの距離HX(A1〜A3)の3つの変数を測定し、発話した際の横幅W、縦幅H及び距離HXの変化を算出することにより、発話内容を識別するものである。 The conventional method disclosed in Non-Patent Document 1 (hereinafter, referred to as a conventional vowel identification method) uses reference points (upper and lower (A1, A2) and left and right (B1, B2) and lower jaws of the speaker's lips). When A3) is set and three variables are measured: lip width W (B1 to B2), lip height H (A1 to A2) and upper lip to lower jaw distance HX (A1 to A3) Utterance content is identified by calculating changes in the horizontal width W, vertical width H, and distance HX.
この従来の母音識別方法では、例えば、2つの母音「あ」と「い」とを続けて発話する場合、「あ」と発話する場合の3つの変数(W1、H1、HX1)とし、「い」と発話した場合の3つの変数(W2、H2、HX2)とすると、この場合の連続発話パターン(2連続母音発話パターン)は、6つの変数に関連付けられることになり、変数がどの様に変化するのかを算出することによって、「あ」と「い」との連続発話パターンを識別している。 In this conventional vowel identification method, for example, when two vowels “A” and “I” are uttered in succession, three variables (W1, H1, HX1) when uttering “A” are used. ”Is the three variables (W2, H2, HX2), the continuous utterance pattern (two continuous vowel utterance patterns) in this case is related to six variables, and how the variable changes By calculating whether or not to perform, the continuous utterance pattern of “A” and “I” is identified.
このような従来の母音識別方法を含めた、発話内容を識別する従来方法は、「あ」、「い」、「1」、「2」等が発話された場合に、発話内容を50音の行列とはみなしていない。例えば、従来方法では、果物の「イチゴ」という発話内容を識別する際に、「い」+「ち」+「ご」の結合した行列とみなして識別しておらず、予めデータベースに登録しておいた「イチゴ」という単語のパターンと一致するか否かによって識別している。
しかしながら、発話内容を識別する従来方法では、データベースに単語自体を登録しておくことを前提とし、発話内容を、一個一個の単語が集合した単語集合として識別しており、発話内容として発話される可能性がある単語すべてをデータベースに登録しておく必要があり、当該データベースのデータ量が膨大になるという問題がある。 However, in the conventional method for identifying the utterance content, the utterance content is identified as a word set in which individual words are gathered on the premise that the word itself is registered in the database, and the utterance content is uttered. It is necessary to register all possible words in the database, and there is a problem that the amount of data in the database becomes enormous.
また、発話内容を識別する従来方法では、発話内容として発話される可能性がある単語すべてをデータベースに登録しておく必要があるばかりか、この単語の数だけ、対応する***動作のパターンも規定しておかなければならず、当該***動作のパターンを記憶しておくデータベースのデータ量も膨大になるという問題がある。 In addition, in the conventional method for identifying utterance contents, not only the words that may be uttered as utterance contents need to be registered in the database, but also the corresponding lip movement patterns are defined by the number of words. There is a problem that the amount of data in the database for storing the pattern of the lip movement becomes enormous.
さらに、発話内容を識別する従来方法では、母音を連続して発音した連続発音時における母音同士の相互影響、すなわち、前発音の影響が後発音に色濃く反映され、結果として前発音によって、後発音が同じ母音であっても、***動作が異なり、この結果、発話者が発話する際の***動作から発話内容を識別する場合の誤差(識別誤差)が大きくなるという問題がある。 Furthermore, in the conventional method for identifying the utterance content, the mutual effect of vowels during continuous pronunciation of vowels, that is, the influence of pre-pronunciation is reflected in the post-pronunciation, and as a result, the post-pronunciation by the pre-pronunciation Even if they are the same vowel, the lip movement is different, and as a result, there is a problem that an error (identification error) when identifying the utterance content from the lip movement when the speaker speaks becomes large.
つまり、連続する母音を発話者が発音する際の***動作をパターン化して検出することが困難であり、また、連続する母音以外について発話者が発話する際の***動作をパターン化しようとした場合、発話者それぞれの個人差によって、当該パターン化する際に設定する各種パラメータを綿密に調整し、この調整した各種パラメータに応じて***動作のパターンを規定しなければならないので、やはり、データベースのデータ量が膨大になるという問題がある。 In other words, it is difficult to pattern and detect lip movement when a speaker pronounces continuous vowels, and when trying to pattern lip movement when a speaker utters other than continuous vowels Since various parameters to be set when patterning must be carefully adjusted according to individual differences of each speaker, and lip movement patterns must be defined according to these adjusted parameters. There is a problem that the amount becomes enormous.
また、連続する母音以外について、発話者が発話した発話内容を推定する場合に、発音に要する時間の長短によって、得られる***動作が左右され、結果として全く別の単語や文章を識別してしまい、やはり、識別誤差が大きくなるという問題がある。 In addition, when estimating the utterance content spoken by a speaker other than continuous vowels, the lip movement obtained depends on the length of time required for pronunciation, and as a result, completely different words and sentences are identified. After all, there is a problem that the identification error becomes large.
そこで、本発明では、前記した問題を解決し、***動作を識別する際に用いるデータベースのデータ量を抑え、且つ、***動作から発話内容を識別する際の識別誤差を小さくすることができる発話内容識別装置及び***動作の特徴から個人を識別することができる個人識別装置を提供することを目的とする。 Therefore, the present invention solves the above-described problems, suppresses the amount of data in the database used for identifying lip movement, and reduces the identification error when identifying utterance contents from lip movement. It is an object of the present invention to provide a personal identification device capable of identifying an individual from the characteristics of the identification device and lip movement.
前記課題を解決するため、請求項1に記載の発話内容識別装置は、撮影手段で撮影された、発話者が発話している際の***部分の映像から当該発話者の***動作を得て、この***動作から発話内容を識別する発話内容識別装置であって、画像処理手段と、動作測定手段と、データ変換手段と、母音行列生成手段と、発話内容識別手段と、を備える構成とした。
In order to solve the above-described problem, the speech content identification device according to
かかる構成によれば、発話内容識別装置は、画像処理手段によって、***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する。続いて、発話内容識別装置は、動作測定手段によって、画像処理手段で抽出した特徴点の位置の変化を、***動作の履歴である動作履歴として測定する。そして、発話内容識別装置は、データ変換手段によって、動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換する。なお、数値解析として、フーリエ変換、関数近似等の信号処理が挙げられる。そして、発話内容識別装置は、母音行列生成手段によって、データ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、前記発話内容に含まれる単語を、母音行列として生成する。
そして、発話内容識別装置は、発話内容識別手段によって、母音行列生成手段で生成された母音行列と、予め母音行列として特定のジャンルの単語を登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、発話内容を識別する。
According to this configuration, the utterance content identification device extracts the position of a preset feature point in the lip portion based on the difference in the pixel values of the images constituting the lip portion image by the image processing means. Subsequently, the utterance content identification device measures a change in the position of the feature point extracted by the image processing unit as an operation history, which is a history of lip operation, by the operation measurement unit. Then, the speech content identification device converts the motion history measured by the motion measurement means by the data conversion means into a motion spectrum graph represented by a plurality of preset spectrum components. Numerical analysis includes signal processing such as Fourier transform and function approximation. The utterance content identification device collates the operation spectrum graph converted by the data conversion means by the vowel matrix generation means with the vowel sample data previously stored as the operation spectrum graph of the vowels, and is included in the utterance content Generated as a vowel matrix.
Then, the utterance content identification device compares the vowel matrix generated by the vowel matrix generation means by the utterance content identification means with a language table in which words of a specific genre are registered in advance as the vowel matrix. The content of the utterance is identified by detecting the word that matches.
請求項2に記載の発話内容識別装置は、請求項1に記載の発話内容識別装置において、前記***部分の映像に距離画像が含まれており、前記画像処理手段が、前記距離画像から前記***部分の奥行きの変位を検出することを特徴とする。
The utterance content identification device according to
かかる構成によれば、発話内容識別装置は、画像処理手段によって、***部分の奥行きの変位を検出することで、発話時の正確な動作を抽出することができる。なお、距離画像は、撮影手段にステレオカメラを採用することで得ることができる。なお、この場合、当該ステレオカメラは、通常の映像も出力する必要がある。 According to such a configuration, the utterance content identification device can extract an accurate operation at the time of utterance by detecting the displacement of the depth of the lip portion by the image processing means. The distance image can be obtained by adopting a stereo camera as the photographing means. In this case, the stereo camera needs to output a normal video.
請求項3に記載の発話内容識別装置は、請求項1又は2に記載の発話内容識別装置において、前記画像処理手段が、前記***部分の上下左右端の少なくとも一点を前記特徴点として抽出することを特徴とする。
The utterance content identification device according to
かかる構成によれば、発話内容識別装置は、画像処理手段によって、上下左右端の少なくとも一点を特徴点として抽出することで、***部分の変化を正確に捉えることができる。 According to such a configuration, the utterance content identification device can accurately grasp the change in the lip portion by extracting at least one of the upper, lower, left and right ends as a feature point by the image processing means.
請求項4に記載の発話内容識別装置は、請求項1乃至3に記載の発話内容識別装置において、前記母音行列生成手段が、前記発話内容に含まれる単語を、当該単語を構成する母音の5音にそれぞれ対応した数値に置き換え、前記発話内容識別手段が、前記数値又は符号と前記動作スペクトルグラフとの関係を規定した言語テーブルを用いることを特徴とする。
The utterance content identification device according to
かかる構成によれば、発話内容識別装置は、母音行列生成手段によって、単語を構成する母音の5音を数値に置き換え、発話内容識別手段によって、並べた数値と動作スペクトルグラフとの関係を規定した言語テーブルを用いることで、発話内容に含まれる単語中の子音に拘わらず、単語中の母音の関係のみで当該単語が動作スペクトルグラフに置き換えられる。 According to this configuration, the utterance content identification device uses the vowel matrix generation means to replace the five vowels constituting the word with numerical values, and the utterance content identification means defines the relationship between the arranged numerical values and the motion spectrum graph. By using the language table, regardless of the consonant in the word included in the utterance content, the word is replaced with the motion spectrum graph only by the relationship of the vowel in the word.
請求項5に記載の個人識別装置は、撮影手段で撮影された、発話者が発話している際の***部分の映像から当該発話者の***動作を得て、この***動作の相違から個人を識別する個人識別装置であって、画像処理手段と、動作測定手段と、データ変換手段と、母音行列生成手段と、発話内容識別手段と、個人識別手段と、を備える構成とした。
The personal identification device according to
かかる構成によれば、個人識別装置は、画像処理手段によって、***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する。続いて、個人識別装置は、動作測定手段によって、画像処理手段で抽出した特徴点の位置の変化を、***動作の履歴である動作履歴として測定する。そして、個人識別装置は、データ変換手段によって、動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換する。そして、個人識別装置は、母音行列生成手段によって、データ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、発話された言語の母音を識別し、前記発話内容に含まれる単語を、母音行列として生成する。そして、個人識別装置は、発話内容識別手段によって、母音行列生成手段で生成した母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、発話内容を識別する。そして、個人識別装置は、個人識別手段によって、発話内容識別手段で識別された発話内容及びデータ変換手段で変換された動作スペクトルグラフと、予め発話内容をパスワードとして発話者が発話する際の動作スペクトルグラフと当該パスワードとを対応付けた個人パターンとを照合して、発話者の個人識別を行う。 According to such a configuration, the personal identification device extracts the position of a preset feature point in the lip portion based on the difference in pixel values of the images constituting the lip portion image by the image processing means. Subsequently, the personal identification device measures a change in the position of the feature point extracted by the image processing means as an action history that is a history of lip movement by the action measuring means. Then, the personal identification device converts the motion history measured by the motion measurement means by the data conversion means into a motion spectrum graph represented by a plurality of preset spectrum components by numerical analysis. Then, the personal identification device collates the operation spectrum graph converted by the data conversion unit by the vowel matrix generation unit with the vowel sample data previously stored as the operation spectrum graph of the vowel, and the vowel of the spoken language And a word included in the utterance content is generated as a vowel matrix. Then, the personal identification device compares the vowel matrix generated by the vowel matrix generation means with the utterance content identification means and the language table in which words of a specific genre are registered in advance as vowel matrices, and the vowel matrices match. The content of the utterance is identified by detecting the word. Then, the personal identification device includes an utterance content identified by the utterance content identification means and an operation spectrum graph converted by the data conversion means by the personal identification means, and an operation spectrum when the utterer speaks using the utterance contents as a password in advance. The individual pattern of the speaker is identified by collating the personal pattern in which the graph is associated with the password.
請求項6に記載の個人識別装置は、請求項5に記載の個人識別装置において、前記個人パターンが、複数の発話者間にて異なる動作スペクトルグラフであり、複数の発話者を識別する際に用いる個人識別動作スペクトルグラフを含むことを特徴とする。
The personal identification device according to
かかる構成によれば、個人識別装置は、個人を識別する際に用いる個人パターンに、複数の発話者間にて異なる動作スペクトルグラフである個人識別動作スペクトルグラフを含むことで、複数の発話者から個人の識別を行うことができる。 According to such a configuration, the personal identification device includes a personal identification operation spectrum graph that is an operation spectrum graph that is different among a plurality of speakers in a personal pattern used when identifying an individual. Individual identification can be performed.
請求項7に記載の個人識別装置は、請求項5又は6に記載の個人識別装置において、前記個人識別手段が、前記発話内容識別手段で識別された発話内容と前記パスワードとが一致する場合と、前記データ変換手段で変換された動作スペクトルグラフと前記個人パターンに対応付けられている動作スペクトルグラフとが一致する場合との少なくとも一方が成立した場合又は双方とも成立した場合のみに、前記発話者の個人識別を行うことを特徴とする。
The personal identification device according to
かかる構成によれば、個人識別装置は、個人識別手段によって、発話内容とパスワードとが一致する場合と、変換された動作スペクトルグラフと個人パターンの動作スペクトルグラフとが一致する場合との少なくとも一方が成立した場合又は双方とも成立した場合のみに個人が識別されることで、確実に発話者個人を特定することができる。なお、ここでいう一致とは、完全一致であってもよいし、予め、ある程度の許容範囲(許容幅)を持たせておいてもよい。つまり、識別された発話内容及び動作スペクトルグラフが、個人パターンに含まれているパスワード及び動作スペクトルグラフの許容幅に収まっていれば、発話者個人を特定することができる。 According to this configuration, the personal identification device has at least one of the case where the utterance content and the password match by the personal identification means and the case where the converted operation spectrum graph and the operation spectrum graph of the personal pattern match. An individual is identified only when it is established or when both are established, so that an individual speaker can be identified reliably. Here, the term “match” may be complete match, or a certain allowable range (allowable width) may be given in advance. That is, if the identified utterance content and the motion spectrum graph are within the allowable range of the password and the motion spectrum graph included in the personal pattern, the individual speaker can be specified.
請求項1に記載の発明によれば、発話内容に含まれる単語を母音行列として定義し、予め特定ジャンルの単語を母音行列として登録しておいた言語テーブルと生成した母音行列とを比較することで、発話内容を識別しているので、当該言語テーブルのデータ量を抑えることができる。また、***動作における母音を発音する際の各個人による誤差が容易に識別できることから、母音単体の識別は高精度に行うことができ、その結果、母音行列が得られれば、言語テーブルに登録しておいた単語から、該当する単語を高精度に特定することができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。 According to the first aspect of the present invention, a word included in the utterance content is defined as a vowel matrix, and a language table in which words of a specific genre are registered in advance as a vowel matrix is compared with the generated vowel matrix. Thus, since the utterance content is identified, the data amount of the language table can be suppressed. In addition, since individual error in vowel pronunciation in lip movement can be easily identified, vowels can be identified with high accuracy.As a result, if a vowel matrix is obtained, it is registered in the language table. Since the corresponding word can be specified with high accuracy from the stored word, the identification error when identifying the utterance content from the lip movement can be reduced.
請求項2に記載の発明によれば、***部分の奥行きの変位を検出することで、発話時の正確な動作を抽出することができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。 According to the second aspect of the present invention, it is possible to extract an accurate motion at the time of utterance by detecting the displacement of the depth of the lip portion, so that an identification error when identifying the utterance content from the lip motion is reduced. Can be small.
請求項3に記載の発明によれば、上下左右端の少なくとも一点を特徴点として抽出することで、***部分の変化を正確に捉えることができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。 According to the third aspect of the present invention, since the change of the lip portion can be accurately captured by extracting at least one of the upper, lower, left and right ends as the feature point, the identification when identifying the utterance content from the lip movement The error can be reduced.
請求項4に記載の発明によれば、発話内容に含まれる単語中の母音の関係のみで当該単語が動作スペクトルグラフに置き換えられ、母音行列が得られるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。 According to the fourth aspect of the present invention, since the word is replaced with the motion spectrum graph based only on the relationship between the vowels in the word included in the utterance content, and the vowel matrix is obtained, when identifying the utterance content from the lip motion The identification error can be reduced.
請求項5に記載の発明によれば、識別した発話内容と、予め登録しておいた、当該発話内容を発話者が発話する際の個人パターンとを照合することで、発話内容が一致し、且つ、当該発話内容が発せられた際の個人パターン、つまり、***動作から得られる各単語を区切る際の時間の違い等の個人差が一致すれば、***動作の特徴から個人を識別することができる。
According to the invention described in
請求項6に記載の発明によれば、動作スペクトルグラフに共通動作スペクトルグラフと個人識別動作スペクトルグラフとを含むことで、個人識別動作スペクトルグラフから個人ごとの発話時の特徴を検出することができ、複数の発話者から個人の識別を行うことができる。 According to the sixth aspect of the present invention, it is possible to detect the characteristics at the time of speech for each individual from the individual identification operation spectrum graph by including the common operation spectrum graph and the individual identification operation spectrum graph in the operation spectrum graph. Individuals can be identified from a plurality of speakers.
請求項7に記載の発明によれば、パスワード及び動作スペクトルグラフが一致した場合に個人が識別されることで、確実に発話者個人を特定することができる。 According to the seventh aspect of the present invention, an individual speaker can be reliably identified by identifying the individual when the password and the operation spectrum graph match.
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
(発話内容識別装置の構成)
図1は、発話内容識別システムのブロック図である。この図1に示すように、発話内容識別システムは、発話内容識別装置1(個人識別装置を包含)と、撮影手段2とから構成されている。発話内容識別装置1の構成の説明に先立ち、撮影手段2について説明する。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(Configuration of utterance content identification device)
FIG. 1 is a block diagram of an utterance content identification system. As shown in FIG. 1, the utterance content identification system includes an utterance content identification device 1 (including a personal identification device) and photographing
撮影手段2は、発話者が発話している際に、当該発話者の***部分を撮影するためのものである。この撮影手段2で撮影された映像は、発話内容識別装置1に入力される。この実施形態では、***部分の奥行きの変位を検出可能なステレオカメラを採用している。なお、***部分の映像は、発話者が発話している間、継続して撮影されたものである。また、***部分とは、***の周囲だけではなく、発話者の顔面下部まで(鼻下から下顎まで)を含んでもよい。
The photographing means 2 is for photographing the lip portion of the speaker when the speaker is speaking. The video imaged by the imaging means 2 is input to the utterance
発話内容識別装置1は、撮影手段2で撮影された発話者の***部分の映像から、当該発話者が発話した発話内容を識別するもので、画像処理手段3と、動作測定手段5と、データ変換手段7と、発話内容識別手段9と、言語テーブル記憶手段11と、個人識別手段13と、個人パターン記憶手段15とを備えている。なお、発話内容識別装置1には音声は入力されておらず、撮影手段2で撮影された映像のみから発話内容を識別(推定)している。つまり、実際に発話者は、発声していなくてもよく、いわゆる口パク(発声せずに発声時と同様の***動作を行うこと)でよい。
The utterance
また、この発話内容識別装置1は、発話者が発話した日本語の発話内容を識別するものであるが、日本語以外の言語(例えば、英語、ドイツ語等)について発話内容を識別しようとした場合、言語テーブル記憶手段11に記憶されている言語テーブル(詳細は後記)として、日本語以外の言語に対応するものが用意できれば、発話内容を識別可能となる。また、日本語以外の言語を発話した個人を識別しようとした場合、個人パターン記憶手段15に記憶されている個人パターン(詳細は後記)として、日本語以外の言語に対応するものが用意できれば、個人を識別可能となる。
In addition, this utterance
画像処理手段3は、撮影手段2で撮影された***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出するものである。ここで、図2を参照して、抽出する特徴点について説明する。図2に示すように、***部分の特徴点は、***部分の上端(***上部の上端部2点(a1、a2)の中点)A点、下端B点、左端C点、右端D点の4点である。なお、各点は、***部分を示す赤色の画素値を有する画素と、顔面部分を示す肌色の画素値を有する画素との画素値の差が最大となる画素(境界となる画素)、つまり、***上部(上唇)及び***下部(下唇)の最端座標に位置する画素が対象となっている。
The image processing means 3 extracts the position of a preset feature point in the lip portion based on the difference in pixel values of the images constituting the lip portion image taken by the photographing
また、この実施形態では、画像処理手段3は、図2に示したように4点を特徴点として抽出しているが、これに限定されるものではなく、任意個数(4点未満でもよいし、5点以上でもよい)の点を特徴点として抽出してもよい。例えば、***部分の映像として、発話者の顔面下部が撮影されている場合、下顎の頂点を特徴点として抽出してもよい。この場合、顎部の肌色の画素値を有する画素と首部の肌色の画素値を有する画素との画素値の差(輝度の差)が最大となる画素で、且つ、最下端に位置する画素を抽出すればよい。図1に戻る。 In this embodiment, the image processing means 3 extracts four points as feature points as shown in FIG. 2, but the present invention is not limited to this, and an arbitrary number (less than four points may be used). May be extracted as feature points. For example, when the lower part of the speaker's face is photographed as an image of the lip, the vertex of the lower jaw may be extracted as a feature point. In this case, the pixel having the maximum pixel value difference (luminance difference) between the pixel having the skin color pixel value of the jaw and the pixel having the skin color pixel value of the neck and the pixel located at the lowermost end Extract it. Returning to FIG.
そして、この画像処理手段3は、撮影手段2から***部分の映像が継続して入力される限り、各画像について、特徴点を抽出し続ける。つまり、画像処理手段3は、1つの画像について、4点を抽出し、映像を構成する複数の画像(通常、1秒間に30フレーム)ごとに抽出していき、抽出した特徴点を、***部分の映像を撮影していた時刻に沿った時系列データとして、出力することとなる。
The image processing means 3 continues to extract feature points for each image as long as the image of the lip portion is continuously input from the photographing
動作測定手段5は、画像処理手段3で抽出された特徴点の位置について、当該特徴点の位置の変化を、***動作の履歴である動作履歴として測定するものである。そして、この動作測定手段5では、画像処理手段3で抽出された4点(又は5点)の特徴点それぞれについて、特徴点それぞれの変化について、動作履歴を測定する。なお、画像処理手段3に***部分の映像が継続して入力され、特徴点が抽出された際に、一定時間、特徴点の変化が無い場合、つまり、***部分の映像には変化がない(動きがない)場合、この動作測定手段5によって、発話者は発話していないと判定される。この実施形態では、一定時間は2秒間と設定している。
The action measuring means 5 measures the change in the position of the feature point as the action history that is the history of the lip action for the position of the feature point extracted by the image processing means 3. The
ここで、図3を参照して、動作履歴(動作履歴グラフ)の例について説明する。この図3に示した動作履歴グラフは、***下部(下唇)のB点(図2参照)の変化について示したものであり、横軸に時間t(ms)、縦軸に変位y(mm)を取ったものである。この動作履歴グラフの例に示したように、下唇は、時間経過により、一旦下がって(14msで最も下がる(約51mm))、その後上がっている。図1に戻る。 Here, an example of an operation history (operation history graph) will be described with reference to FIG. The movement history graph shown in FIG. 3 shows changes in point B (see FIG. 2) of the lower lip (lower lip), with the horizontal axis representing time t (ms) and the vertical axis representing displacement y (mm). ). As shown in the example of the operation history graph, the lower lip is once lowered (lowered most in 14 ms (about 51 mm)) with time, and then raised. Returning to FIG.
データ変換手段7は、動作測定手段5で測定された動作履歴(動作履歴グラフ)を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換するものである。このデータ変換手段7では、動作測定手段5で測定された4つ(又は5つ)の動作履歴それぞれを、動作スペクトルグラフに変換する。この実施形態では、数値解析にフーリエ変換を採用している。なお、この数値解析には、フーリエ変換以外に、動作履歴グラフを関数に見立てて近似する関数近似(関数を近似で求める近似法)や、動作履歴グラフについて微小時間ごとの特徴点の移動量を基に解析する方法等を採用してもよい。
The
ここで、図4を参照して、動作スペクトルグラフの例について説明する。この図4は、横軸に周波数を取って、縦軸にスペクトル強度を取ったものである。この動作スペクトルグラフの例は、発話者が「あ」という母音を発話した際に、画像処理手段3で下顎部の特徴点を抽出し、この特徴点について、動作測定手段5で動作履歴を測定したものを、データ変換手段7で変換したものである。 Here, an example of an operation spectrum graph will be described with reference to FIG. In FIG. 4, the horizontal axis represents frequency and the vertical axis represents spectral intensity. In the example of the motion spectrum graph, when the speaker utters the vowel “A”, the feature point of the lower jaw is extracted by the image processing means 3, and the motion history is measured by the motion measurement means 5 for this feature point. Is converted by the data conversion means 7.
このように、動作スペクトルグラフは、特徴的なピークを有したもの、この例では、検出されたスペクトルにおいて、周波数が“1”のところにピークが存在となる。この特徴的なピークは、発話者が発話する際に、***部分の動作が以下に述べるようになるために生じるものである。すなわち、***部分の動作は、発話時にまず開かれ、ある形状に変形され、母音一語が発音された後に、閉じられるという一連の動作の繰り返しになる。そしてこのとき、母音一語の発音では、***部分が開かれてから閉じられるまでの一連の動作について、多少の個人差はあるものの、動作履歴グラフが非常に周期的になる。この結果、母音発音時には、必ず特徴的な周波数が現出することになる。 Thus, the operating spectrum graph has a characteristic peak. In this example, a peak exists at a frequency of “1” in the detected spectrum. This characteristic peak occurs because the movement of the lip portion is described below when the speaker speaks. That is, the movement of the lip portion is a series of operations that are first opened at the time of utterance, transformed into a certain shape, and closed after a single vowel is pronounced. At this time, in the pronunciation of a single vowel, the motion history graph becomes very periodic, although there are some individual differences in the series of operations from the opening to closing of the lip. As a result, a characteristic frequency always appears at the time of vowel pronunciation.
なお、データ変換手段7において、フーリエ変換を用いて動作スペクトルグラフを識別する場合、発話者が発話した際の動作速度(発話速度)が速くなったり遅くなったりしても、現出する様々なパターン(スペクトルパターン)は周波数の位置が異なるだけで、パターン形状が変化することがない。つまり、このデータ変換手段7では、パターン全体の位置、つまり、周波数間の比を求めることにより、発話者がいかなる発話速度で発話しても、発話内容に対応した動作スペクトルグラフを得ることができる。 Note that when the motion spectrum graph is identified by using the Fourier transform in the data conversion means 7, various appearing even if the operation speed (speech speed) when the speaker speaks increases or decreases. Patterns (spectral patterns) only differ in frequency position, and the pattern shape does not change. In other words, the data conversion means 7 can obtain an operation spectrum graph corresponding to the utterance content regardless of the utterance speed of the utterer by obtaining the position of the entire pattern, that is, the ratio between the frequencies. .
そして、この様々なパターンを有する動作スペクトルグラフには、複数の発話者間にて共通に現れる動作スペクトルグラフである共通動作スペクトルグラフと、複数の発話者間にて異なる動作スペクトルグラフであり、複数の発話者を識別する際に用いる個人識別動作スペクトルグラフとがある。図1に戻る。 The motion spectrum graph having various patterns includes a common motion spectrum graph that is a motion spectrum graph that appears in common among a plurality of speakers, and a motion spectrum graph that is different among a plurality of speakers. And a personal identification operation spectrum graph used for identifying a speaker. Returning to FIG.
発話内容識別手段9は、データ変換手段7で変換された動作スペクトルグラフから発話された言語の母音を割り出し(識別し)、発話者が発した発話内容に含まれる単語を、母音行列として生成する母音行列生成手段9aを備え、この母音行列生成手段9aで生成した母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、発話内容を識別するものである。
The utterance
母音行列生成手段9aは、データ変換手段7で変換された動作スペクトルグラフと、予め保持されている母音サンプルデータとを照合し、発話された言語の母音を識別している。この母音サンプルデータは、画像処理手段3で抽出した特徴点ごとに保持されている。 The vowel matrix generation means 9a collates the motion spectrum graph converted by the data conversion means 7 with vowel sample data held in advance, and identifies the vowels of the spoken language. This vowel sample data is held for each feature point extracted by the image processing means 3.
そして、この発話内容識別手段9では、各特徴点について、母音サンプルデータと照合処理を行って、この照合処理した結果最も一致していたもの(例えば、特徴点が4点の場合、2点の特徴点が「あ」の母音サンプルデータと一致していた場合、「あ」とする)と識別する。 Then, in the utterance content identification means 9, each feature point is collated with the vowel sample data, and the result of this collation processing is the best match (for example, if there are 4 feature points, 2 points If the feature point matches the vowel sample data of “A”, it is identified as “A”).
母音は、発話者が発している言語が日本語であるので、「あいうえお」の5音となる。なお、日本語以外の言語が発せられている場合には、当該言語に対応したものとなる。そして、発話内容識別手段9では、この5音をそれぞれに対応した数値(又は符号)に置き換えることとしており、この実施形態では、あ=1、い=2、う=3、え=4、お=5と置き換えている。また、動作測定手段5において、発話者は発話していないと判定された場合、発話前及び発話終了(***動作無し)=0と置き換えている。 There are five vowel sounds “aiueo” because the language spoken by the speaker is Japanese. In addition, when a language other than Japanese is emitted, it corresponds to the language. Then, the utterance content identification means 9 replaces these five sounds with numerical values (or codes) corresponding to the respective sounds. In this embodiment, A = 1, I = 2, U = 3, E = 4, O = 5. Further, when it is determined by the motion measuring means 5 that the speaker is not speaking, it is replaced with 0 before speaking and the end of speaking (no lip motion) = 0.
母音行列は、発話内容に含まれる単語について、あ=1、い=2、う=3、え=4、お=5と置き換えて時系列順に並べたものである。つまり、この母音行列は、母音と子音とからなる50音中の任意個数が任意の順序で結合されて様々な単語が作られているという前提に基づき、当該単語に含まれている子音を除外した母音を数値で置き換えたものとなる。 In the vowel matrix, words included in utterance contents are arranged in chronological order by replacing A = 1, I = 2, U = 3, E = 4, and O = 5. In other words, this vowel matrix excludes consonants contained in the word based on the premise that various words are created by combining arbitrary numbers of 50 vowels and consonants in any order. The vowels are replaced with numerical values.
例えば、単語の“いんこ”(インコ)は母音行列「0250」となる。また、位置を示す単語の“うえ”(上)、“した”(下)、“ひだり”(左)、“みぎ”(右)は、それぞれ「0340」(“うえ”)、「0210」(“した”の母音は「いあ」)、「02120」(“ひだり”の母音は「いあい」)、「0220」(“みぎ”の母音は「いい」)となる。 For example, the word “inko” (parrot) becomes the vowel matrix “0250”. In addition, the words “up” (up), “done” (bottom), “hidari” (left), and “migi” (right) indicating the position are “0340” (“up”), “0210” ( The vowel of “do” is “Ia”), “02120” (the vowel of “hidari” is “Iai”), and “0220” (the vowel of “Migi” is “good”).
特定のジャンルは、各言語に存在する単語を分類するための種々の区分を示すものであり、例えば、「動物」、「果物」、「防犯具」、「携帯電話」等が挙げられる。そして、動物の“いんこ”(母音行列0250)と、果物の“りんご”(母音行列0250)と、防犯具の“きんこ”(金庫)(母音行列0250)とが同じ母音行列となることから、特定のジャンルを設定しておかないと、区別できないことになる。 The specific genre indicates various categories for classifying words existing in each language, and examples thereof include “animal”, “fruit”, “security device”, “mobile phone”, and the like. Then, the animal “inko” (vowel matrix 0250), the fruit “apple” (vowel matrix 0250), and the security equipment “kinko” (safe) (vowel matrix 0250) are the same vowel matrix. Unless a specific genre is set, it cannot be distinguished.
言語テーブルは、各言語に存在する単語について、特定ジャンルごとの単語を、母音行列として予め登録しておいたものである。例えば、特定ジャンル「果物」の言語テーブルの場合、「りんご、みかん、なし、ばなな、・・・」等の単語が登録されている。また、特定ジャンル「携帯電話」の言語テーブルの場合、「電話、番号、メール、通話、カレンダー、通話帳、カメラ、・・・」等の単語が登録されている。そして、「果物」の言語テーブルを採用していた場合、この言語テーブルには果物名のみが登録されているので、先程述べた母音行列0250と一致する単語として「りんご」が検出されることになり、「いんこ」及び「きんこ」は排除されることになる。 In the language table, for each word in each language, words for each specific genre are registered in advance as a vowel matrix. For example, in the case of the language table of the specific genre “fruit”, words such as “apple, orange, none, banana,...” Are registered. In the case of the language table of the specific genre “mobile phone”, words such as “phone, number, mail, call, calendar, call book, camera,...” Are registered. When the “fruit” language table is employed, only the fruit name is registered in this language table, and therefore “apple” is detected as a word that matches the vowel matrix 0250 described above. That is, “Inko” and “Kinko” will be excluded.
このように、言語テーブルは、特定ジャンルごとの単語を登録しておくことで、異なるジャンル間で母音行列が同じになる単語の検出が可能となる。ただし、言語テーブルに、特定ジャンルごとの単語を登録しておいても、母音行列が同じなる単語が多数存在する場合(例えば、特定のジャンルの単語として「駅名」、「県名」を登録する場合)、正確に単語を検出することが困難になるおそれが生じる。この場合、二次的な選択手段を構築する必要がある。 In this way, by registering words for each specific genre in the language table, it is possible to detect words having the same vowel matrix between different genres. However, even if words for each specific genre are registered in the language table, if there are many words having the same vowel matrix (for example, “station name” and “prefecture name” are registered as words of a specific genre) ), It may be difficult to detect words accurately. In this case, it is necessary to construct a secondary selection means.
この二次的な選択手段は、発話内容識別装置1に予めディスプレイやスピーカ等の提示手段とキーボードやマウス等の操作手段とを接続しておいて、発話者又は当該装置1の操作者に対し、提示手段によって、母音行列生成手段9aで生成された母音行列が同じになる特定のジャンルの単語を、選択画面や音声アナウンスで提示することで、該当する単語を操作手段で選択させるものである。
This secondary selection means is configured such that a presentation means such as a display and a speaker and an operation means such as a keyboard and a mouse are connected in advance to the utterance
例えば、特定ジャンル「県名」の言語テーブルに登録されている単語「奈良」と「佐賀」とは、母音行列が同じ(双方とも母音行列0110)になっているので、発話者が発話している際の***部分の映像が処理され結果、母音行列生成手段9aにより母音行列0110が生成された場合には、選択画面に「「奈良」と「佐賀」のどちらですか?「奈良」の場合は、数字の“1”(予め設定した任意のキー)を、「佐賀」の場合は、数字の“9”9を押下してください。」と提示する。 For example, the words “Nara” and “Saga” registered in the language table of the specific genre “prefecture name” have the same vowel matrix (both vowel matrix 0110), so that the speaker speaks. If the vowel matrix 0110 is generated by the vowel matrix generation means 9a as a result of processing the video of the lip portion at the time of being, is it “Nara” or “Saga” on the selection screen? For “Nara”, press the number “1” (any preset key). For “Saga”, press the number “9” 9 ".
ただし、このような場合でも、「県名」の言語テーブルをさらに、地方ごとに構築しておけば、このような二次的な選択手段を用いなくてもよい。つまり、「県名」の言語テーブルを更に細分化した、「九州地方の県名」の言語テーブルと「近畿地方の県名」の言語テーブルとを構築しおけばよい(佐賀は九州地方に属し、奈良は近畿地方に属しています)。このように、言語テーブルをいかに詳細にジャンル分けして構築するかという構築法によって、二次的な選択手段を用いることなく、母音行列から高精度に発話内容を識別することができる。 However, even in such a case, if a language table of “prefecture name” is further constructed for each region, such secondary selection means need not be used. In other words, the “Kyushu region name” language table and the “Kinki region prefecture name” language table can be constructed by further subdividing the “prefecture name” language table (Saga belongs to the Kyushu region). Nara belongs to the Kinki region). As described above, the construction method of how to categorize and construct the language table in detail makes it possible to identify the utterance contents with high accuracy from the vowel matrix without using secondary selection means.
ここで、図5を参照して、母音行列生成手段9aによる母音識別方法について説明する。
まず、母音行列生成手段9aは、データ変換手段7で変換された動作スペクトルグラフを読み込む(ステップS1)。続いて、母音行列生成手段9aは、予め保持されているフィルタ(所定周波数の周波数帯域を通すバンドパスフィルタ)Anを読み出す(ステップS2)。
Here, a vowel identification method by the vowel matrix generation means 9a will be described with reference to FIG.
First, the vowel matrix generation means 9a reads the operation spectrum graph converted by the data conversion means 7 (step S1). Subsequently, the vowel
そして、母音行列生成手段9aは、ピークが規定内(所定周波数の周波数帯域内)に存在するか否かを判定し(ステップS3)、ピークが規定内に存在すると判定しなかった場合(ステップS3、No)にフィルタAnのn(フィルタ番号)をn+1に変更し(ステップS4)、このnが6以上か否かを判定する(ステップS5)。
Then, the vowel
そして、母音行列生成手段9aは、nが6以上でない場合(ステップS5、No)、ステップS2に戻り、nが6以上の場合(ステップS5、Yes)、該当するフィルタAn無しとして、動作を終了する。また、母音行列生成手段9aは、ステップS3にてピークが規定内に存在すると判定した場合(ステップS3、Yes)、該当するフィルタAnのフィルタ番号を得る(ステップS6)。なお、ステップS5において、nを6以上としているのは、あくまでもスペクトル成分を分類する際の一例であり、nは任意数とすることができる。
The vowel matrix generation means 9a returns to step S2 if n is not 6 or more (step S5, No), and terminates the operation with no corresponding filter An if n is 6 or more (step S5, Yes). To do. If the vowel
そして、母音行列生成手段9aは、データ変換手段7で変換された動作スペクトルグラフの数だけ(すなわち、画像処理手段3で抽出した特徴点の数だけ)、同様の母音識別方法を用いて、フィルタ番号を得る。 Then, the vowel matrix generation means 9a uses the same vowel identification method as the number of motion spectrum graphs converted by the data conversion means 7 (that is, the number of feature points extracted by the image processing means 3). Get a number.
そして、この母音行列生成手段9aでは、フィルタ番号を得ることで、特徴的なピークがどの周波数帯域で現出しているのかが判明することとなる。このとき、複数の発話者間において、ある程度、発話速度に個人差が生じているが、母音一語では、ほぼ同じ速度となるため、現出する特徴的なピークの平均値を取った場合、発話者それぞれの発話速度と当該平均値との差は小さい(ほとんどない)。すなわち、複数の発話者間における発話速度に関してグラフを求めると、標準偏差が小さいグラフとなる。このため、4つ又は5つの動作スペクトルグラフにおいて、特徴的なピークがどの位置に現出するかを測定することにより、母音の識別(推定)が可能となる。 In the vowel matrix generation means 9a, by obtaining the filter number, it becomes clear in which frequency band the characteristic peak appears. At this time, there are individual differences in the speaking speed to some extent among the plurality of speakers, but since the vowel one word is almost the same speed, when taking the average value of the characteristic peaks that appear, The difference between the speaking rate of each speaker and the average value is small (almost no). That is, when a graph is obtained with respect to the speaking speed among a plurality of speakers, a graph with a small standard deviation is obtained. Therefore, it is possible to identify (estimate) vowels by measuring at which position a characteristic peak appears in four or five motion spectrum graphs.
このとき、***部分の上下左右端の4つの特徴点、又は、この4つの特徴点及び下顎部の特徴点を含めた5つの特徴点は、それぞれ独特の動きをするため、4つ又は5つの特徴点の動作履歴は発音される母音によって大きく異なることになる。この結果、これらの特徴点の動作履歴グラフを変換した動作スペクトルグラフは、発音される母音によって大きく異なることになる。 At this time, the four feature points on the upper, lower, left and right ends of the lip part, or the five feature points including the four feature points and the feature point of the lower jaw part each have a unique movement, so The operation history of the feature points varies greatly depending on the vowel that is pronounced. As a result, the motion spectrum graph obtained by converting the motion history graph of these feature points varies greatly depending on the vowel to be pronounced.
このため、この母音行列生成手段9aでは、4つ又は5つの動作スペクトルグラフを比較して、母音を識別する際に、特徴的なピークが現出する範囲を予め設定しておく必要があり、該当するスペクトル成分(特徴的なピークをとるスペクトル成分)が他のスペクトル成分に比べて、一定以上の強さを持っているか否かを判定基準としている。 For this reason, in this vowel matrix generation means 9a, it is necessary to set a range in which a characteristic peak appears in advance when comparing vowels by comparing four or five operation spectrum graphs, The determination criterion is whether or not the corresponding spectral component (spectral component having a characteristic peak) has a certain level of strength or more compared to other spectral components.
例えば、5つの動作スペクトルグラフを比較する場合、「下顎部の特徴点の動作履歴グラフを変換した動作スペクトルグラフ及び下唇(***下部)の特徴点の動作履歴グラフを変換した動作スペクトルグラフにおいて、スペクトル成分(フィルタ番号)2−4近傍に強いスペクトルを持つ(2−4近傍に特徴的なピークが存在する)場合には母音と識別する」等の母音識別条件を予め設定しておいて、この母音行列生成手段9aでは、動作履歴グラフを比較することによって、母音の識別(推定)を行っている。 For example, when comparing five motion spectrum graphs, “in the motion spectrum graph obtained by converting the motion history graph of the feature point of the lower jaw and the motion spectrum graph obtained by converting the motion history graph of the feature point of the lower lip (lower lip) A vowel identification condition such as “identify as a vowel when the spectrum component (filter number) 2-4 has a strong spectrum in the vicinity (a characteristic peak exists in the vicinity of 2-4)” is set in advance. In the vowel matrix generation means 9a, vowels are identified (estimated) by comparing operation history graphs.
この場合、母音行列生成手段9aでは、母音識別条件としてさらに、「上唇(***上部)の特徴点の動作履歴グラフを変換した動作スペクトルグラフにおいて、スペクトル成分4−6に強いスペクトルを持つ(4−6に特徴的なピークが存在する)、且つ、左端及び右端の特徴点の動作履歴グラフを変換した動作スペクトルグラフにおいて、直流成分(フーリエ変換した場合のサイン波の周波数成分を指す)以外強いスペクトルはない(特徴的なピークは存在しない)場合には、母音「あ」とする」を設定しておき、これらをすべて満たした場合には、母音「あ」を識別結果として出力する。 In this case, the vowel matrix generation means 9a further has a strong spectrum in the spectrum component 4-6 in the operation spectrum graph obtained by converting the operation history graph of the feature point of the upper lip (upper lip) as the vowel identification condition (4- 6) and a strong spectrum other than a direct current component (refers to a frequency component of a sine wave when Fourier transformed) in an operation spectrum graph obtained by converting an operation history graph of feature points at the left and right ends. If there is no (a characteristic peak does not exist), the vowel “A” is set, and if all of these are satisfied, the vowel “A” is output as the identification result.
言語テーブル記憶手段11は、言語テーブルを予め記憶してあるもので、一般的なハードディスク等によって構成されている。この言語テーブルは、発話内容識別手段9によって適宜読み出される。この実施形態では、日本語に関する言語テーブルが記憶されている。
The language
ここで、図6を参照して、発話者が「上(うえ)」、「下(した)」、「左(ひだり)」、「右(みぎ)」と発話した際に、発話内容識別装置1によって識別された識別率について説明する。これら「上(うえ)」、「下(した)」、「左(ひだり)」及び「右(みぎ)」は、発話内容識別装置1をヒューマンインターフェースに採用する場合に、例えば、何らかの操作画面に表示されたカーソル移動に必要な単語である。
Here, referring to FIG. 6, when the speaker speaks “up”, “down”, “left”, “right”, the utterance content identification device The identification rate identified by 1 will be described. These “Up”, “Down”, “Left” and “Right” are used when, for example, the utterance
この図6に示したように、4つの特徴点(識別率(4点))と5つの特徴点(識別率(5点))とを比較した場合、「下(した)」以外の「上(うえ)」、「左(ひだり)」及び「右(みぎ)」は、5つの特徴点の方が、識別率は高くなっている。 As shown in FIG. 6, when four feature points (identification rate (4 points)) and five feature points (identification rate (5 points)) are compared, “up” other than “below” (Up), “Left (hidari)”, and “Right (migi)” have higher identification rates for the five feature points.
そして、これらの単語が、発話者の***部分を撮影した映像から正確に識別されることで、発話内容識別装置1を用いると、騒音等の多い環境で音声によらず、或いは、キーボードやマウス等の操作手段(図示せず)を直接扱わずに、信頼性の高いヒューマンインターフェースを構築することが可能になる。図1に戻る。
These words are accurately identified from the video obtained by photographing the lip portion of the speaker, so that when the utterance
個人識別手段13は、発話内容識別手段9で識別された発話内容と、予め登録しておいた、発話内容を発話者が発話する際の個人パターンとを照合することで、発話者の個人識別を行うものである。
The
個人パターンは、パスワードとして、発話者の個人差が大きく現出するように平常通り何らかの言葉を発し、この言葉を発した際の***部分の映像から得られた動作スペクトルグラフ(個人識別動作スペクトルグラフ)と当該パスワードとを対応付けたものである。つまり、この個人パターンは、***動作から得られる各単語を区切る際の時間の違い等の個人差を、個人識別動作スペクトルグラフとして反映させたものである。 As a personal pattern, as a password, a certain word is uttered as usual so that the individual difference of the speaker appears greatly, and a motion spectrum graph (personal identification motion spectrum graph) obtained from the image of the lip when this word is spoken ) And the password are associated with each other. That is, this personal pattern reflects individual differences such as time differences when dividing each word obtained from the lip movement as a personal identification action spectrum graph.
この個人識別手段13は、発話内容識別手段9で識別された発話内容とパスワードとが一致し、且つ、データ変換手段7で変換された動作スペクトルグラフと個人パターンに対応付けられている動作スペクトルグラフとが一致する場合に、発話者の個人識別を行っている。 The personal identification means 13 is an operation spectrum graph in which the utterance content identified by the utterance content identification means 9 matches the password, and the motion spectrum graph converted by the data conversion means 7 is associated with the personal pattern. The speaker is personally identified when the above matches.
また、この個人識別手段13は、発話内容識別手段9で識別された発話内容とパスワードとが一致する場合と、データ変換手段7で変換された動作スペクトルグラフと個人パターンに対応付けられている動作スペクトルグラフとが一致する場合との少なくとも一方が成立した場合に、発話者の個人識別を行うこととすることもできる。
In addition, the
この場合、個人識別手段13では、発話者が発話した発話内容とパスワードとが一致する場合のみで個人識別を行うこともできる。ただし、Aさんの個人パターンに「開けドア」と登録されていて、Aさんが「開けドア」と発話又は別のBさんが「開けドア」と発話し、双方とも発話内容が「開けドア」と識別されれば、発話者Aさんと識別することになる。 In this case, the personal identification means 13 can also perform personal identification only when the content of the utterance spoken by the speaker matches the password. However, Mr. A's personal pattern is registered as "open door", and Mr. A speaks "open door" or another B speaks "open door", and both utterances are "open door". Is identified as the speaker A.
また、個人識別手段13では、データ変換手段7で変換された動作スペクトルグラフと個人パターンに対応付けられている動作スペクトルグラフとが一致する場合のみで個人識別を行うこともできる。ただし、Aさんの個人パターンに「開けドア」と登録されていて、Aさんが「開けごま」と発話した場合であっても、動作スペクトルグラフが一致(いずれかの動作スペクトルグラフが一致)さえすれば、発話者Aさんと識別することになる。 In addition, the personal identification means 13 can perform personal identification only when the motion spectrum graph converted by the data conversion means 7 matches the motion spectrum graph associated with the personal pattern. However, even if Mr. A's personal pattern is registered as “open door” and Mr. A speaks “open sesame”, the motion spectrum graphs match (any motion spectrum graph matches) Then, the speaker A is identified.
個人パターン記憶手段15は、個人パターンを予め記憶してあるもので、一般的なハードディスク等によって構成されている。この個人パターンは、個人識別手段13によって適宜読み出される。この実施形態では、日本語に関する個人パターンが記憶されている。 The personal pattern storage means 15 stores personal patterns in advance, and is constituted by a general hard disk or the like. This personal pattern is appropriately read out by the personal identification means 13. In this embodiment, personal patterns relating to Japanese are stored.
この発話内容識別装置1によれば、母音行列生成手段9aによって、発話内容に含まれる単語を母音行列として生成し、発話内容識別手段9によって、予め特定ジャンルの単語を母音行列として登録しておいた言語テーブルと比較することで、発話内容を識別しており、言語テーブルに登録しておいた単語から、該当する単語を高精度に特定することができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。
According to this utterance
また、発話内容識別装置1によれば、画像処理手段3によって、上下左右端の少なくとも一点を特徴点として抽出することで、***部分の変化を正確に捉えることができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。
Further, according to the utterance
さらに、発話内容識別装置1によれば、個人識別手段13によって、識別した発話内容と、予め登録しておいた、当該発話内容を発話者が発話する際の個人パターンとを照合することで、発話内容が一致し、且つ、当該発話内容が発せられた際の個人パターン、つまり、***動作から得られる各単語を区切る際の時間や個人差が一致すれば、***動作の特徴から個人を識別することができる。
Furthermore, according to the utterance
そして、発話内容識別装置1によれば、個人パターンに個人識別動作スペクトルグラフを含むことで、当該個人識別動作スペクトルグラフから個人ごとの発話時の特徴を検出することができ、複数の発話者から個人の識別を行うことができる。
Then, according to the utterance
なお、発話内容識別装置1に入力される***部分の映像を撮影する撮影手段2に、通常の映像を出力すると共に、距離画像を出力するステレオカメラを用いてもよい。そして、画像処理手段3によって、***部分の奥行きの変位(Z軸方向の変位)を検出することで、発話時の正確な動作を抽出することができるので、***動作から発話内容を識別する際の識別誤差を小さくすることができる。
In addition, you may use the stereo camera which outputs a normal image and the distance image to the imaging | photography means 2 which image | photographs the image | video of the lip part input into the speech
(発話内容識別装置の動作)
次に、図7に示すフローチャートを参照して、発話内容識別装置1の動作について説明する(適宜、図1参照)。
まず、発話内容識別装置1は、画像処理手段3によって、撮影手段2から入力された***部分の映像から特徴点を抽出する(ステップS11)。続いて、発話内容識別装置1は、動作測定手段5によって、画像処理手段3で抽出された特徴点の変化を、動作履歴(動作履歴グラフ)として測定する(ステップS12)。
(Operation of utterance content identification device)
Next, the operation of the utterance
First, the utterance
そして、発話内容識別装置1は、データ変換手段7によって、動作測定手段5で測定された動作履歴グラフを数値解析し、動作スペクトルグラフに変換する(ステップS13)。そして、発話内容識別装置1は、母音行列生成手段9aによって、動作スペクトルグラフから母音を識別し、母音行列を得て、発話内容識別手段9によって、言語テーブル記憶手段11に記憶されている言語テーブルと照合することで、発話内容を識別する(ステップS14)。
Then, the utterance
さらに、発話内容識別装置1は、個人識別手段13によって、発話内容識別手段9で識別された発話内容及びデータ変換手段7で変換された動作スペクトルグラフと、個人パターン記憶手段15に記憶されている個人パターンとを照合することで、発話者個人を識別する(ステップS15)。
Further, the utterance
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、発話内容識別装置1として説明したが、各構成の処理を実施可能にコンピュータ言語で記述した発話内容識別プログラム(又は個人識別プログラム)として構成することも可能である。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, although the present embodiment has been described as the utterance
1 発話内容識別装置
2 撮影手段
3 画像処理手段
5 動作測定手段
7 データ変換手段
9 発話内容識別手段
9a 母音行列生成手段
11 言語テーブル記憶手段
13 個人識別手段
15 個人パターン記憶手段
DESCRIPTION OF
Claims (7)
前記***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する画像処理手段と、
この画像処理手段で抽出した特徴点の位置の変化を、前記***動作の履歴である動作履歴として測定する動作測定手段と、
この動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換するデータ変換手段と、
このデータ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、発話された言語の母音を識別し、前記発話内容に含まれる単語を、母音行列として生成する母音行列生成手段と、
この母音行列生成手段で生成された母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、前記発話内容を識別する発話内容識別手段と、
を備えることを特徴とする発話内容識別装置。 An utterance content identification device that obtains the lip movement of the utterer from the image of the lip portion when the utterer is uttered by the photographing means, and identifies the utterance content from the lip movement,
Image processing means for extracting a position of a preset feature point in the lip portion based on a difference in pixel values of images constituting the video of the lip portion;
An action measuring means for measuring a change in the position of the feature point extracted by the image processing means as an action history that is a history of the lip action;
Data conversion means for converting the operation history measured by the action measurement means into an action spectrum graph represented by a plurality of preset spectrum components by numerical analysis;
The motion spectrum graph converted by this data conversion means is collated with the vowel sample data previously stored as the vowel motion spectrum graph, the vowels of the spoken language are identified, and the words included in the utterance content are identified. Vowel matrix generating means for generating a vowel matrix;
The vowel matrix generated by the vowel matrix generation means is compared with a language table in which words of a specific genre are registered in advance as vowel matrices, and the utterance content is detected by detecting a word that matches the vowel matrix. Utterance content identification means for identifying
An utterance content identification device comprising:
前記画像処理手段は、前記距離画像から前記***部分の奥行きの変位を検出することを特徴とする請求項1に記載の発話内容識別装置。 The image of the lip part includes a distance image,
The utterance content identification device according to claim 1, wherein the image processing unit detects a displacement of a depth of the lip portion from the distance image.
前記発話内容識別手段は、前記数値又は符号と前記動作スペクトルグラフとの関係を規定した言語テーブルを用いることを特徴とする請求項1乃至3に記載の発話内容識別装置。 The vowel matrix generation means replaces the word included in the utterance content with a numerical value or a code corresponding to each of the five vowel sounds constituting the word,
The utterance content identification device according to claim 1, wherein the utterance content identification unit uses a language table that defines a relationship between the numerical value or code and the motion spectrum graph.
前記***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する画像処理手段と、
この画像処理手段で抽出した特徴点の位置の変化を、前記***動作の履歴である動作履歴として測定する動作測定手段と、
この動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換するデータ変換手段と、
このデータ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、発話された言語の母音を識別し、前記発話内容に含まれる単語を、母音行列として生成する母音行列生成手段と、
この母音行列生成手段で生成された母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、前記発話内容を識別する発話内容識別手段と、
この発話内容識別手段で識別された発話内容及び前記データ変換手段で変換された動作スペクトルグラフと、予め発話内容をパスワードとして発話者が発話する際の動作スペクトルグラフと当該パスワードとを対応付けた個人パターンとを照合して、前記発話者の個人識別を行う個人識別手段と、
を備えることを特徴とする個人識別装置。 A personal identification device that obtains the lip motion of the speaker from the image of the lip portion when the speaker is speaking, which is photographed by the photographing means, and identifies the individual from the difference in the lip motion,
Image processing means for extracting a position of a preset feature point in the lip portion based on a difference in pixel values of images constituting the video of the lip portion;
An action measuring means for measuring a change in the position of the feature point extracted by the image processing means as an action history that is a history of the lip action;
Data conversion means for converting the operation history measured by the action measurement means into an action spectrum graph represented by a plurality of preset spectrum components by numerical analysis;
The motion spectrum graph converted by this data conversion means is collated with the vowel sample data previously stored as the vowel motion spectrum graph, the vowels of the spoken language are identified, and the words included in the utterance content are identified. Vowel matrix generating means for generating a vowel matrix;
The vowel matrix generated by the vowel matrix generation means is compared with a language table in which words of a specific genre are registered in advance as vowel matrices, and the utterance content is detected by detecting a word that matches the vowel matrix. Utterance content identification means for identifying
An individual in which the utterance content identified by the utterance content identification unit and the operation spectrum graph converted by the data conversion unit, the operation spectrum graph when the utterer speaks using the utterance content as a password in advance, and the password are associated with each other Personal identification means for performing personal identification of the speaker by matching a pattern;
A personal identification device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129363A JP4849630B2 (en) | 2007-05-15 | 2007-05-15 | Utterance content identification device and personal identification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129363A JP4849630B2 (en) | 2007-05-15 | 2007-05-15 | Utterance content identification device and personal identification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008287340A true JP2008287340A (en) | 2008-11-27 |
JP4849630B2 JP4849630B2 (en) | 2012-01-11 |
Family
ID=40147026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007129363A Expired - Fee Related JP4849630B2 (en) | 2007-05-15 | 2007-05-15 | Utterance content identification device and personal identification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4849630B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6258442B1 (en) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | Action specifying device, action specifying method, and action specifying program |
CN111274846A (en) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | Method and system for identifying opening and closing actions |
JP2022098927A (en) * | 2020-12-22 | 2022-07-04 | Necプラットフォームズ株式会社 | Authentication device, authentication method and program |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62239231A (en) * | 1986-04-10 | 1987-10-20 | Kiyarii Rabo:Kk | Speech recognition method by inputting lip picture |
JPH06301393A (en) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | Voice block detector and voice recognition system |
JPH09179583A (en) * | 1995-12-15 | 1997-07-11 | At & T Corp | Method and device for authorizing voice and video data from individual |
JPH10243938A (en) * | 1997-03-04 | 1998-09-14 | Fuji Xerox Co Ltd | Voice detector |
JPH11219421A (en) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | Image recognizing device and method therefor |
JP2000200098A (en) * | 1999-01-07 | 2000-07-18 | Sony Corp | Device and method for study, and device and method for recognition |
JP2001167283A (en) * | 1999-12-10 | 2001-06-22 | Yukinobu Kunihiro | Face motion analyzing device and storage medium with stored program for analyzing face motion |
JP2004240154A (en) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | Information recognition device |
JP2005276230A (en) * | 2005-04-18 | 2005-10-06 | Toshiba Corp | Image recognition apparatus |
WO2005109830A1 (en) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | Conversation assisting device and conversation assisting method |
JP2005353016A (en) * | 2004-06-09 | 2005-12-22 | Cci:Kk | Evaluation and method for action pattern identification of moving image |
JP2006079456A (en) * | 2004-09-10 | 2006-03-23 | Nippon Signal Co Ltd:The | Utterance identification method and password collation device using it |
-
2007
- 2007-05-15 JP JP2007129363A patent/JP4849630B2/en not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62239231A (en) * | 1986-04-10 | 1987-10-20 | Kiyarii Rabo:Kk | Speech recognition method by inputting lip picture |
JPH06301393A (en) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | Voice block detector and voice recognition system |
JPH09179583A (en) * | 1995-12-15 | 1997-07-11 | At & T Corp | Method and device for authorizing voice and video data from individual |
JPH10243938A (en) * | 1997-03-04 | 1998-09-14 | Fuji Xerox Co Ltd | Voice detector |
JPH11219421A (en) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | Image recognizing device and method therefor |
JP2000200098A (en) * | 1999-01-07 | 2000-07-18 | Sony Corp | Device and method for study, and device and method for recognition |
JP2001167283A (en) * | 1999-12-10 | 2001-06-22 | Yukinobu Kunihiro | Face motion analyzing device and storage medium with stored program for analyzing face motion |
JP2004240154A (en) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | Information recognition device |
WO2005109830A1 (en) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | Conversation assisting device and conversation assisting method |
JP2005353016A (en) * | 2004-06-09 | 2005-12-22 | Cci:Kk | Evaluation and method for action pattern identification of moving image |
JP2006079456A (en) * | 2004-09-10 | 2006-03-23 | Nippon Signal Co Ltd:The | Utterance identification method and password collation device using it |
JP2005276230A (en) * | 2005-04-18 | 2005-10-06 | Toshiba Corp | Image recognition apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6258442B1 (en) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | Action specifying device, action specifying method, and action specifying program |
JP2018073081A (en) * | 2016-10-28 | 2018-05-10 | 三菱電機インフォメーションシステムズ株式会社 | Motion specification device, motion specification method, and motion specification program |
CN111274846A (en) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | Method and system for identifying opening and closing actions |
CN111274846B (en) * | 2018-12-04 | 2023-09-19 | 北京嘀嘀无限科技发展有限公司 | Method and system for identifying opening and closing actions |
JP2022098927A (en) * | 2020-12-22 | 2022-07-04 | Necプラットフォームズ株式会社 | Authentication device, authentication method and program |
JP7140409B2 (en) | 2020-12-22 | 2022-09-21 | Necプラットフォームズ株式会社 | Authentication device, authentication method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4849630B2 (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3469582B1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
CN106503646B (en) | Multi-mode emotion recognition system and method | |
US9672829B2 (en) | Extracting and displaying key points of a video conference | |
Mariooryad et al. | Compensating for speaker or lexical variabilities in speech for emotion recognition | |
US9047866B2 (en) | System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type | |
KR100586767B1 (en) | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input | |
JP6336676B2 (en) | Method and apparatus for synthesizing voice based on facial structure | |
JP6654611B2 (en) | Growth type dialogue device | |
JP6154155B2 (en) | Spoken dialogue system using prominence | |
Sahoo et al. | Emotion recognition from audio-visual data using rule based decision level fusion | |
US10806393B2 (en) | System and method for detection of cognitive and speech impairment based on temporal visual facial feature | |
JPS62239231A (en) | Speech recognition method by inputting lip picture | |
JP2010256391A (en) | Voice information processing device | |
US20080004879A1 (en) | Method for assessing learner's pronunciation through voice and image | |
CN111326178A (en) | Multi-mode speech emotion recognition system and method based on convolutional neural network | |
CN110111778B (en) | Voice processing method and device, storage medium and electronic equipment | |
US8219386B2 (en) | Arabic poetry meter identification system and method | |
CN113327620A (en) | Voiceprint recognition method and device | |
CN112017633A (en) | Voice recognition method, voice recognition device, storage medium and electronic equipment | |
JP4849630B2 (en) | Utterance content identification device and personal identification device | |
JP2013088552A (en) | Pronunciation training device | |
JP2007316330A (en) | Rhythm identifying device and method, voice recognition device and method | |
JP4775961B2 (en) | Pronunciation estimation method using video | |
JP2019152737A (en) | Speaker estimation method and speaker estimation device | |
US20220262363A1 (en) | Speech processing device, speech processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111014 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |