JP4650888B2 - 発話検出装置、方法及びプログラム - Google Patents
発話検出装置、方法及びプログラム Download PDFInfo
- Publication number
- JP4650888B2 JP4650888B2 JP2005262751A JP2005262751A JP4650888B2 JP 4650888 B2 JP4650888 B2 JP 4650888B2 JP 2005262751 A JP2005262751 A JP 2005262751A JP 2005262751 A JP2005262751 A JP 2005262751A JP 4650888 B2 JP4650888 B2 JP 4650888B2
- Authority
- JP
- Japan
- Prior art keywords
- lip
- pattern
- image frame
- correlation value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
s_max(t,t−i)=si(sx(t,i),sy(t,i))
である。
s_max(t,t−i)=1
sx(t,i)=(W1−W0)/2
sy(t,i)=(H1−H0)/2
になる。
s(t,t−1)=1.0、
(Δx(t,t−1),Δy(t,t−1))=(0,0)
となる。
2,22 A/Dコンバータ
10 画像処理装置
11 CPU
12 RAM
13 ROM
21 マイク
30 音声認識装置
Claims (11)
- 少なくとも話者の***を撮像する撮像手段と、
前記撮像手段により連続的に撮像された画像フレーム中において、前記話者の***の特徴を表しかつ前記***の形状を追跡して特定するための***特徴パターンを特定する***特徴パターン特定手段と、
前記撮像手段により連続的に撮像された画像フレーム中において、前記***特徴パターンの位置によって特定される***を囲む矩形領域である***パターンを包含する矩形領域である***包含パターンを特定する***包含パターン特定手段と、
前記撮像手段により連続的に撮像された画像フレーム中の、特定の画像フレームにおける前記***特徴パターンによって特定される前記***パターンと、前記特定の画像フレームの直前に撮像された1または連続複数の画像フレーム中の前記***包含パターンとを比較し、これらの相関値を算出する相関値算出手段と、
前記相関値算出手段の算出結果に基づいて前記***の変動量を算出する変動量算出手段と、
前記変動量算出手段により算出された変動量に基づいて発話区間であるか否かを検出する発話区間検出手段と、
を備えたことを特徴とする発話検出装置。 - 前記撮像手段により連続的に撮像された画像フレーム中の、特定の画像フレームから、前記***特徴パターンを検出する検出手段を更に備え、
前記***特徴パターン特定手段は、前記撮像手段により連続的に撮像された画像フレーム中において、前記検出手段により検出された前記***特徴パターンを追跡して、前記***特徴パターンを特定すること
を特徴とする請求項1に記載の発話検出装置。 - 前記相関値算出手段は、前記特定の画像フレームにおける前記***特徴パターンによって特定される前記***パターンと、前記特定の画像フレームの直前に撮像された連続複数の画像フレームのうちの任意の画像フレームの前記***包含パターンと、の最も高い相関値を各々算出する
請求項1または請求項2に記載の発話検出装置。 - 前記相関値算出手段は、前記特定の画像フレームにおける前記***パターンと、前記特定の画像フレームの直前に撮像された連続複数の画像フレームのうちの任意の画像フレームの前記***包含パターンと、の最も高い相関値、及び前記***包含パターンにおける前記最も高い相関値が得られた位置を各々算出し、
前記変動量算出手段は、前記相関値算出手段によって前記連続複数の画像フレームについて各々算出された、前記最も高い相関値、及び前記最も高い相関値が得られた位置に基づいて前記***の変動量を算出する
請求項1〜請求項3の何れか1項に記載の発話検出装置。 - 前記***特徴パターンは、少なくとも話者の口角、上唇、下唇のいずれかの濃度パターンである
請求項1〜請求項4の何れか1項に記載の発話検出装置。 - 少なくとも話者の***を撮像し、
前記連続的に撮像された画像フレーム中において、前記話者の***の特徴を表しかつ前記***の形状を追跡して特定するための***特徴パターンを特定し、
前記連続的に撮像された画像フレーム中において、前記***特徴パターンの位置によって特定される***を囲む矩形領域である***パターンを包含する矩形領域である***包含パターンを特定し、
前記連続的に撮像された画像フレーム中の、特定の画像フレームにおける前記***特徴パターンによって特定される前記***パターンと、前記特定の画像フレームの直前に撮像された1または連続複数の画像フレーム中の前記***包含パターンとを比較し、これらの相関値を算出し、
前記相関値算出結果に基づいて前記***の変動量を算出し、
前記算出された変動量に基づいて発話区間であるか否かを検出すること
を特徴とする発話検出方法。 - 更に、前記連続的に撮像された画像フレーム中の、特定の画像フレームから、前記***特徴パターンを検出し、
前記***特徴領域の特定では、前記***特徴領域として、前記連続的に撮像された画像フレーム中において、前記検出手段により検出された前記***特徴パターンを追跡して、前記***特徴パターンを特定すること
を特徴とする請求項6に記載の発話検出方法。 - 前記相関値算出では、前記特定の画像フレームにおける前記***特徴パターンによって特定される前記***パターンと、前記特定の画像フレームの直前に撮像された連続複数の画像フレームのうちの任意の画像フレームの前記***包含パターンと、の最も高い相関値を各々算出すること
を特徴とする請求項6または請求項7に記載の発話検出方法。 - 前記相関値算出では、前記特定の画像フレームにおける前記***パターンと、前記特定の画像フレームの直前に撮像された連続複数の画像フレームのうちの任意の画像フレームの前記***包含パターンと、の最も高い相関値、及び前記***包含パターンにおける前記最も高い相関値が得られた位置を各々算出し、
前記変動量算出では、前記連続複数の画像フレームについて各々算出された、前記最も高い相関値、及び前記最も高い相関値が得られた位置に基づいて前記***の変動量を算出すること
を特徴とする請求項6〜請求項8の何れか1項に記載の発話検出方法。 - 前記***特徴パターンは、少なくとも話者の口角、上唇、下唇のいずれかの濃度パターンである
請求項6〜請求項9の何れか1項に記載の発話検出方法。 - コンピュータに、
少なくとも話者の***を撮像させ、
前記連続的に撮像された画像フレーム中において、前記話者の***の特徴を表しかつ前記***の形状を追跡して特定するための***特徴パターンを特定させ、
前記連続的に撮像された画像フレーム中において、前記***特徴パターンの位置によって特定される***を囲む矩形領域である***パターンを包含する矩形領域である***包含パターンを特定させ、
前記連続的に撮像された画像フレーム中の、特定の画像フレームにおける前記***特徴パターンによって特定される前記***パターンと、前記特定の画像フレームの直前に撮像された1または連続複数の画像フレーム中の前記***包含パターンとを比較し、これらの相関値を算出させ、
前記相関値算出結果に基づいて前記***の変動量を算出させ、
前記算出された変動量に基づいて発話区間であるか否かを検出させること
を特徴とする発話検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262751A JP4650888B2 (ja) | 2005-09-09 | 2005-09-09 | 発話検出装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262751A JP4650888B2 (ja) | 2005-09-09 | 2005-09-09 | 発話検出装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007079624A JP2007079624A (ja) | 2007-03-29 |
JP4650888B2 true JP4650888B2 (ja) | 2011-03-16 |
Family
ID=37939906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005262751A Expired - Fee Related JP4650888B2 (ja) | 2005-09-09 | 2005-09-09 | 発話検出装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4650888B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449307B2 (en) | 2017-07-10 | 2022-09-20 | Samsung Electronics Co., Ltd. | Remote controller for controlling an external device using voice recognition and method thereof |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6044819B2 (ja) * | 2012-05-30 | 2016-12-14 | 日本電気株式会社 | 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム |
CN105741838B (zh) | 2016-01-20 | 2019-10-15 | 百度在线网络技术(北京)有限公司 | 语音唤醒方法及装置 |
JP6775387B2 (ja) * | 2016-11-11 | 2020-10-28 | 日本電信電話株式会社 | 推定方法及び推定システム |
JP7023131B2 (ja) * | 2018-02-08 | 2022-02-21 | 三菱電機株式会社 | 音声出力制御装置、及び音声出力制御プログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091466A (ja) * | 2000-09-12 | 2002-03-27 | Pioneer Electronic Corp | 音声認識装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11149296A (ja) * | 1997-09-10 | 1999-06-02 | Oki Electric Ind Co Ltd | 単語認識装置 |
JP2005114576A (ja) * | 2003-10-08 | 2005-04-28 | Hitachi Software Eng Co Ltd | 両親媒性分子固定化ビーズ、その製造方法、及びキャピラリビーズアレイのビーズ配列方法 |
-
2005
- 2005-09-09 JP JP2005262751A patent/JP4650888B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091466A (ja) * | 2000-09-12 | 2002-03-27 | Pioneer Electronic Corp | 音声認識装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449307B2 (en) | 2017-07-10 | 2022-09-20 | Samsung Electronics Co., Ltd. | Remote controller for controlling an external device using voice recognition and method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2007079624A (ja) | 2007-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4986433B2 (ja) | 物体を認識および追跡する装置及び方法 | |
JP6165959B1 (ja) | 顔検出追跡方法、顔検出追跡装置、ロボット頭部の回動制御方法及びロボット頭部の回動制御システム | |
US7472063B2 (en) | Audio-visual feature fusion and support vector machine useful for continuous speech recognition | |
JP4216668B2 (ja) | 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法 | |
JP4952625B2 (ja) | 透視変換歪み発生文書画像補正装置および方法 | |
CN112088315A (zh) | 多模式语音定位 | |
JP4650888B2 (ja) | 発話検出装置、方法及びプログラム | |
JP2007042072A (ja) | 追跡装置 | |
US10997979B2 (en) | Voice recognition device and voice recognition method | |
JP2011059186A (ja) | 音声区間検出装置及び音声認識装置、プログラム並びに記録媒体 | |
JP7438684B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4860289B2 (ja) | ロボット装置 | |
JP2007094104A5 (ja) | ||
Hussain et al. | Hand gesture recognition system with real-time palm tracking | |
Liu et al. | A visual voice activity detection method with adaboosting | |
JP2008015848A (ja) | 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 | |
JP2008009728A (ja) | 表情認識方法及び表情認識装置 | |
JP2006268563A (ja) | 個人認証装置、個人認証処理方法、そのためのプログラム及び記録媒体 | |
JP3823760B2 (ja) | ロボット装置 | |
US20150039314A1 (en) | Speech recognition method and apparatus based on sound mapping | |
JP2021179721A (ja) | 会話情報推定装置、方法、及びプログラム | |
Yau et al. | Visual speech recognition using motion features and hidden markov models | |
JP6916130B2 (ja) | 話者推定方法および話者推定装置 | |
JP2019049829A (ja) | 目的区間判別装置、モデル学習装置、及びプログラム | |
Petsatodis et al. | Voice activity detection using audio-visual information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4650888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |