JP2008287340A - 発話内容識別装置及び個人識別装置 - Google Patents
発話内容識別装置及び個人識別装置 Download PDFInfo
- Publication number
- JP2008287340A JP2008287340A JP2007129363A JP2007129363A JP2008287340A JP 2008287340 A JP2008287340 A JP 2008287340A JP 2007129363 A JP2007129363 A JP 2007129363A JP 2007129363 A JP2007129363 A JP 2007129363A JP 2008287340 A JP2008287340 A JP 2008287340A
- Authority
- JP
- Japan
- Prior art keywords
- utterance content
- vowel
- lip
- spectrum graph
- identification device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】発話内容識別装置1は、撮影手段2で撮影された、発話者が発話している際の***部分の映像から当該発話者の***動作を得て、この***動作から発話内容を識別するものであって、***部分の特徴点の位置を抽出する画像処理手段3と、動作履歴グラフを測定する動作測定手段5と、動作スペクトルグラフに変換するデータ変換手段7と、母音行列を生成する母音行列生成手段9aと、発話内容を識別する発話内容識別手段9と、を備えた。
【選択図】図1
Description
渡辺 「読唇による2連母音識別」 日本機械学会論文集C編、55巻、509号、1989年 1月
そして、発話内容識別装置は、発話内容識別手段によって、母音行列生成手段で生成された母音行列と、予め母音行列として特定のジャンルの単語を登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、発話内容を識別する。
(発話内容識別装置の構成)
図1は、発話内容識別システムのブロック図である。この図1に示すように、発話内容識別システムは、発話内容識別装置1(個人識別装置を包含)と、撮影手段2とから構成されている。発話内容識別装置1の構成の説明に先立ち、撮影手段2について説明する。
まず、母音行列生成手段9aは、データ変換手段7で変換された動作スペクトルグラフを読み込む(ステップS1)。続いて、母音行列生成手段9aは、予め保持されているフィルタ(所定周波数の周波数帯域を通すバンドパスフィルタ)Anを読み出す(ステップS2)。
次に、図7に示すフローチャートを参照して、発話内容識別装置1の動作について説明する(適宜、図1参照)。
まず、発話内容識別装置1は、画像処理手段3によって、撮影手段2から入力された***部分の映像から特徴点を抽出する(ステップS11)。続いて、発話内容識別装置1は、動作測定手段5によって、画像処理手段3で抽出された特徴点の変化を、動作履歴(動作履歴グラフ)として測定する(ステップS12)。
2 撮影手段
3 画像処理手段
5 動作測定手段
7 データ変換手段
9 発話内容識別手段
9a 母音行列生成手段
11 言語テーブル記憶手段
13 個人識別手段
15 個人パターン記憶手段
Claims (7)
- 撮影手段で撮影された、発話者が発話している際の***部分の映像から当該発話者の***動作を得て、この***動作から発話内容を識別する発話内容識別装置であって、
前記***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する画像処理手段と、
この画像処理手段で抽出した特徴点の位置の変化を、前記***動作の履歴である動作履歴として測定する動作測定手段と、
この動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換するデータ変換手段と、
このデータ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、発話された言語の母音を識別し、前記発話内容に含まれる単語を、母音行列として生成する母音行列生成手段と、
この母音行列生成手段で生成された母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、前記発話内容を識別する発話内容識別手段と、
を備えることを特徴とする発話内容識別装置。 - 前記***部分の映像に、距離画像が含まれており、
前記画像処理手段は、前記距離画像から前記***部分の奥行きの変位を検出することを特徴とする請求項1に記載の発話内容識別装置。 - 前記画像処理手段は、前記***部分の上下左右端の少なくとも一点を前記特徴点として抽出することを特徴とする請求項1又は2に記載の発話内容識別装置。
- 前記母音行列生成手段は、前記発話内容に含まれる単語を、当該単語を構成する母音の5音にそれぞれ対応した数値又は符号に置き換え、
前記発話内容識別手段は、前記数値又は符号と前記動作スペクトルグラフとの関係を規定した言語テーブルを用いることを特徴とする請求項1乃至3に記載の発話内容識別装置。 - 撮影手段で撮影された、発話者が発話している際の***部分の映像から当該発話者の***動作を得て、この***動作の相違から個人を識別する個人識別装置であって、
前記***部分の映像を構成する画像の画素値の差に基づいて、当該***部分における予め設定した特徴点の位置を抽出する画像処理手段と、
この画像処理手段で抽出した特徴点の位置の変化を、前記***動作の履歴である動作履歴として測定する動作測定手段と、
この動作測定手段で測定された動作履歴を、数値解析することで、予め設定した複数のスペクトル成分で表される動作スペクトルグラフに変換するデータ変換手段と、
このデータ変換手段で変換された動作スペクトルグラフと、予め母音の動作スペクトルグラフとして保持されている母音サンプルデータとを照合し、発話された言語の母音を識別し、前記発話内容に含まれる単語を、母音行列として生成する母音行列生成手段と、
この母音行列生成手段で生成された母音行列と、予め特定のジャンルの単語を母音行列として登録しておいた言語テーブルとを比較し、母音行列が一致した単語を検出することで、前記発話内容を識別する発話内容識別手段と、
この発話内容識別手段で識別された発話内容及び前記データ変換手段で変換された動作スペクトルグラフと、予め発話内容をパスワードとして発話者が発話する際の動作スペクトルグラフと当該パスワードとを対応付けた個人パターンとを照合して、前記発話者の個人識別を行う個人識別手段と、
を備えることを特徴とする個人識別装置。 - 前記個人パターンは、複数の発話者間にて異なる動作スペクトルグラフであり、複数の発話者を識別する際に用いる個人識別動作スペクトルグラフを含むことを特徴とする請求項5に記載の個人識別装置。
- 前記個人識別手段は、前記発話内容識別手段で識別された発話内容と前記パスワードとが一致する場合と、前記データ変換手段で変換された動作スペクトルグラフと前記個人パターンに対応付けられている動作スペクトルグラフとが一致する場合との少なくとも一方が成立した場合又は双方とも成立した場合のみに、前記発話者の個人識別を行うことを特徴とする請求項5又は6に記載の個人識別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129363A JP4849630B2 (ja) | 2007-05-15 | 2007-05-15 | 発話内容識別装置及び個人識別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129363A JP4849630B2 (ja) | 2007-05-15 | 2007-05-15 | 発話内容識別装置及び個人識別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008287340A true JP2008287340A (ja) | 2008-11-27 |
JP4849630B2 JP4849630B2 (ja) | 2012-01-11 |
Family
ID=40147026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007129363A Expired - Fee Related JP4849630B2 (ja) | 2007-05-15 | 2007-05-15 | 発話内容識別装置及び個人識別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4849630B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6258442B1 (ja) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
CN111274846A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种张闭动作识别的方法和*** |
JP2022098927A (ja) * | 2020-12-22 | 2022-07-04 | Necプラットフォームズ株式会社 | 認証装置、認証方法及びプログラム |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62239231A (ja) * | 1986-04-10 | 1987-10-20 | Kiyarii Rabo:Kk | ***画像入力による音声認識方法 |
JPH06301393A (ja) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 音声区間検出装置及び音声認識装置 |
JPH09179583A (ja) * | 1995-12-15 | 1997-07-11 | At & T Corp | 個人からの音声および映像データを認証のために利用する方法および装置 |
JPH10243938A (ja) * | 1997-03-04 | 1998-09-14 | Fuji Xerox Co Ltd | 音声検出装置 |
JPH11219421A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 画像認識装置及び画像認識装置方法 |
JP2000200098A (ja) * | 1999-01-07 | 2000-07-18 | Sony Corp | 学習装置および学習方法、並びに認識装置および認識方法 |
JP2001167283A (ja) * | 1999-12-10 | 2001-06-22 | Yukinobu Kunihiro | 顔面運動解析装置および顔面運動解析のためのプログラムを記憶した記憶媒体 |
JP2004240154A (ja) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | 情報認識装置 |
JP2005276230A (ja) * | 2005-04-18 | 2005-10-06 | Toshiba Corp | 画像認識装置 |
WO2005109830A1 (ja) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | 会話支援装置及び会話支援方法 |
JP2005353016A (ja) * | 2004-06-09 | 2005-12-22 | Cci:Kk | 動画像の行動パターン識別の評価と方法 |
JP2006079456A (ja) * | 2004-09-10 | 2006-03-23 | Nippon Signal Co Ltd:The | 発話識別方法及びこれを用いたパスワード照合装置 |
-
2007
- 2007-05-15 JP JP2007129363A patent/JP4849630B2/ja not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62239231A (ja) * | 1986-04-10 | 1987-10-20 | Kiyarii Rabo:Kk | ***画像入力による音声認識方法 |
JPH06301393A (ja) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 音声区間検出装置及び音声認識装置 |
JPH09179583A (ja) * | 1995-12-15 | 1997-07-11 | At & T Corp | 個人からの音声および映像データを認証のために利用する方法および装置 |
JPH10243938A (ja) * | 1997-03-04 | 1998-09-14 | Fuji Xerox Co Ltd | 音声検出装置 |
JPH11219421A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 画像認識装置及び画像認識装置方法 |
JP2000200098A (ja) * | 1999-01-07 | 2000-07-18 | Sony Corp | 学習装置および学習方法、並びに認識装置および認識方法 |
JP2001167283A (ja) * | 1999-12-10 | 2001-06-22 | Yukinobu Kunihiro | 顔面運動解析装置および顔面運動解析のためのプログラムを記憶した記憶媒体 |
JP2004240154A (ja) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | 情報認識装置 |
WO2005109830A1 (ja) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | 会話支援装置及び会話支援方法 |
JP2005353016A (ja) * | 2004-06-09 | 2005-12-22 | Cci:Kk | 動画像の行動パターン識別の評価と方法 |
JP2006079456A (ja) * | 2004-09-10 | 2006-03-23 | Nippon Signal Co Ltd:The | 発話識別方法及びこれを用いたパスワード照合装置 |
JP2005276230A (ja) * | 2005-04-18 | 2005-10-06 | Toshiba Corp | 画像認識装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6258442B1 (ja) * | 2016-10-28 | 2018-01-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
JP2018073081A (ja) * | 2016-10-28 | 2018-05-10 | 三菱電機インフォメーションシステムズ株式会社 | 動作特定装置、動作特定方法及び動作特定プログラム |
CN111274846A (zh) * | 2018-12-04 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种张闭动作识别的方法和*** |
CN111274846B (zh) * | 2018-12-04 | 2023-09-19 | 北京嘀嘀无限科技发展有限公司 | 一种张闭动作识别的方法和*** |
JP2022098927A (ja) * | 2020-12-22 | 2022-07-04 | Necプラットフォームズ株式会社 | 認証装置、認証方法及びプログラム |
JP7140409B2 (ja) | 2020-12-22 | 2022-09-21 | Necプラットフォームズ株式会社 | 認証装置、認証方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4849630B2 (ja) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3469582B1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
CN106503646B (zh) | 多模态情感辨识***及方法 | |
US9672829B2 (en) | Extracting and displaying key points of a video conference | |
Mariooryad et al. | Compensating for speaker or lexical variabilities in speech for emotion recognition | |
US9047866B2 (en) | System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type | |
KR100586767B1 (ko) | 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법 | |
JP6336676B2 (ja) | 顔構造に基づいて声を合成する方法および装置 | |
JP6654611B2 (ja) | 成長型対話装置 | |
JP6154155B2 (ja) | プロミネンスを使用した音声対話システム | |
Sahoo et al. | Emotion recognition from audio-visual data using rule based decision level fusion | |
US10806393B2 (en) | System and method for detection of cognitive and speech impairment based on temporal visual facial feature | |
JPS62239231A (ja) | ***画像入力による音声認識方法 | |
JP2010256391A (ja) | 音声情報処理装置 | |
US20080004879A1 (en) | Method for assessing learner's pronunciation through voice and image | |
CN111326178A (zh) | 基于卷积神经网络的多模态语音情感识别***及方法 | |
CN110111778B (zh) | 一种语音处理方法、装置、存储介质及电子设备 | |
US8219386B2 (en) | Arabic poetry meter identification system and method | |
CN113327620A (zh) | 声纹识别的方法和装置 | |
CN112017633A (zh) | 语音识别方法、装置、存储介质及电子设备 | |
JP4849630B2 (ja) | 発話内容識別装置及び個人識別装置 | |
JP2013088552A (ja) | 発音トレーニング装置 | |
JP2007316330A (ja) | 韻律識別装置及び方法、並びに音声認識装置及び方法 | |
JP4775961B2 (ja) | 映像を用いた発音の推定方法 | |
JP2019152737A (ja) | 話者推定方法および話者推定装置 | |
US20220262363A1 (en) | Speech processing device, speech processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111014 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |