JP2840816B2 - 表情検出装置 - Google Patents
表情検出装置Info
- Publication number
- JP2840816B2 JP2840816B2 JP5273795A JP5273795A JP2840816B2 JP 2840816 B2 JP2840816 B2 JP 2840816B2 JP 5273795 A JP5273795 A JP 5273795A JP 5273795 A JP5273795 A JP 5273795A JP 2840816 B2 JP2840816 B2 JP 2840816B2
- Authority
- JP
- Japan
- Prior art keywords
- average power
- video signal
- frequency
- facial expression
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】この発明は表情検出装置に関し、
さらに詳しくは、離れた場所を結ぶコンピュータグラフ
ィックスを利用したテレビ会議の参加者の表情検出や、
実時間でコンピュータグラフィックスにより作成した顔
の表情検出など、人間の顔の表情を実時間で検出する表
情検出装置に関する。
さらに詳しくは、離れた場所を結ぶコンピュータグラフ
ィックスを利用したテレビ会議の参加者の表情検出や、
実時間でコンピュータグラフィックスにより作成した顔
の表情検出など、人間の顔の表情を実時間で検出する表
情検出装置に関する。
【0002】
【従来の技術および発明が解決しようとする課題】人物
の顔の表情認識は、高度な符号化通信やコンピュータの
能動的なインタフェースの研究において重要な基礎技術
である。たとえば「大谷,北村,竹村,岸野:“臨場感
通信会議における3次元顔画像の実時間表示”,信学技
報,HC-92-61,pp.23-28(1993.1.)」に開示されているよ
うなコンピュータ制御による通信会議システムにおいて
は、表情認識が実現されれば、伝送すべき情報の高圧縮
率が達成できるとともに、より高度な強調作業などへの
応用が期待できる。
の顔の表情認識は、高度な符号化通信やコンピュータの
能動的なインタフェースの研究において重要な基礎技術
である。たとえば「大谷,北村,竹村,岸野:“臨場感
通信会議における3次元顔画像の実時間表示”,信学技
報,HC-92-61,pp.23-28(1993.1.)」に開示されているよ
うなコンピュータ制御による通信会議システムにおいて
は、表情認識が実現されれば、伝送すべき情報の高圧縮
率が達成できるとともに、より高度な強調作業などへの
応用が期待できる。
【0003】上述した臨場感通信会議における従来の表
情検出方法では、顔の数カ所にマーカーを貼り付け、そ
のマーカーの動きを追跡することによって顔の表情を検
出していた。しかし、このような方法ではマーカーなど
の検出補助用具を必要とするため、表情検出を実行する
ための前準備に時間がかかるという問題があった。ま
た、ロバスト(堅牢)性が低いため、ヘルメットのずれ
や脈拍などの外乱要因によって誤動作を生じやすいとい
う問題もあった。
情検出方法では、顔の数カ所にマーカーを貼り付け、そ
のマーカーの動きを追跡することによって顔の表情を検
出していた。しかし、このような方法ではマーカーなど
の検出補助用具を必要とするため、表情検出を実行する
ための前準備に時間がかかるという問題があった。ま
た、ロバスト(堅牢)性が低いため、ヘルメットのずれ
や脈拍などの外乱要因によって誤動作を生じやすいとい
う問題もあった。
【0004】また、コンピュータビジョンの分野では、
顔の特徴部位(目、鼻、口など)の位置や形状を画像か
ら抽出し、その測定量に基づいて顔の表情認識を試みて
いる例が多い。しかし、画像の特徴量として各部位の形
状や位置を写真などの静止画像から正確に抽出すること
は、撮影条件や被験者の面相に強く依存するため、非常
に困難であると同時に、複雑な処理アルゴリズムが必要
となり、実時間処理を実現するための障害となってい
た。
顔の特徴部位(目、鼻、口など)の位置や形状を画像か
ら抽出し、その測定量に基づいて顔の表情認識を試みて
いる例が多い。しかし、画像の特徴量として各部位の形
状や位置を写真などの静止画像から正確に抽出すること
は、撮影条件や被験者の面相に強く依存するため、非常
に困難であると同時に、複雑な処理アルゴリズムが必要
となり、実時間処理を実現するための障害となってい
た。
【0005】ところで、時間変化に着目した顔の表情認
識についてはいくつかの報告がなされている。たとえば
「M.Rosenblum,Y.Yacoob and L.Davis: “Human Emotio
n Recognition form Motion Using a Radial Basis Fun
ction Network Architecture”,Proceedings of the IE
EE Workshop on Motion of Non-rigit and Articulated
Objects, pp.43-49(1994)」では、動画像中の表情によ
る顔表面の変化に着目し、オプティカルフローを用いた
認識を試みているが、非常に多次元の特徴となるため、
隠れマルコフモデル(HMM:Hidden Markov Model )
による認識には向かず、処理が複雑で計算量が多いとい
う問題があった。
識についてはいくつかの報告がなされている。たとえば
「M.Rosenblum,Y.Yacoob and L.Davis: “Human Emotio
n Recognition form Motion Using a Radial Basis Fun
ction Network Architecture”,Proceedings of the IE
EE Workshop on Motion of Non-rigit and Articulated
Objects, pp.43-49(1994)」では、動画像中の表情によ
る顔表面の変化に着目し、オプティカルフローを用いた
認識を試みているが、非常に多次元の特徴となるため、
隠れマルコフモデル(HMM:Hidden Markov Model )
による認識には向かず、処理が複雑で計算量が多いとい
う問題があった。
【0006】HMMを利用した動画像認識の例として、
たとえば「大和,大谷,石井:“隠れマルコフモデルを
用いた動画像からの人物の行動認識”,信学会論文誌D-
II,Vol.J76-D-II,No.12,pp2556-2563(1993.12.) 」で
は、テニスプレーヤの動き認識を試みているが、画像の
特徴化に用いている輝度値のメッシュ特徴が人物表情の
ように類似度が高い場合は必ずしも有効でなく、類似し
たカテゴリへの分類には弱いなどの課題が残っていた。
たとえば「大和,大谷,石井:“隠れマルコフモデルを
用いた動画像からの人物の行動認識”,信学会論文誌D-
II,Vol.J76-D-II,No.12,pp2556-2563(1993.12.) 」で
は、テニスプレーヤの動き認識を試みているが、画像の
特徴化に用いている輝度値のメッシュ特徴が人物表情の
ように類似度が高い場合は必ずしも有効でなく、類似し
たカテゴリへの分類には弱いなどの課題が残っていた。
【0007】この発明は上記のような問題点を解決する
ためになされたもので、ロバスト性の高い表情検出装置
を提供することを目的とする。
ためになされたもので、ロバスト性の高い表情検出装置
を提供することを目的とする。
【0008】この発明の他の目的は、顔にマーカーを貼
り付けるなどの前準備を行なうことなく、実時間で顔の
表情を検出できる表情検出装置を提供することである。
り付けるなどの前準備を行なうことなく、実時間で顔の
表情を検出できる表情検出装置を提供することである。
【0009】この発明のさらに他の目的は、処理が単純
で計算量が少ない表情検出装置を提供することである。
で計算量が少ない表情検出装置を提供することである。
【0010】この発明のさらに他の目的は、HMMを適
用することにより高い表情認識率を得ることが可能な表
情検出装置を提供することである。
用することにより高い表情認識率を得ることが可能な表
情検出装置を提供することである。
【0011】
【課題を解決するための手段】請求項1に係る表情検出
装置は、撮影手段、ウェーブレット変換手段、平均電力
算出手段、および差分算出手段を備える。撮影手段は、
人物の顔を撮影して映像信号を生成する。ウェーブレッ
ト変換手段は、映像信号をウェーブレット変換すること
により所定の各帯域ごとに空間周波数領域の周波数信号
を生成する。平均電力算出手段は、各帯域ごとに周波数
信号の平均電力を算出する。差分算出手段は、平均電力
算出手段から順次与えられる平均電力と、人物の顔が無
表情のときにその顔から得られる対応の平均電力との差
分を算出する。
装置は、撮影手段、ウェーブレット変換手段、平均電力
算出手段、および差分算出手段を備える。撮影手段は、
人物の顔を撮影して映像信号を生成する。ウェーブレッ
ト変換手段は、映像信号をウェーブレット変換すること
により所定の各帯域ごとに空間周波数領域の周波数信号
を生成する。平均電力算出手段は、各帯域ごとに周波数
信号の平均電力を算出する。差分算出手段は、平均電力
算出手段から順次与えられる平均電力と、人物の顔が無
表情のときにその顔から得られる対応の平均電力との差
分を算出する。
【0012】請求項2に係る表情検出装置は、上記請求
項1の構成に加えて、抽出手段をさらに備える。抽出手
段は、映像手段から与えられる映像信号の中から人物の
顔の表情が出やすい所定領域に対応する部分を抽出して
ウェーブレット変換手段に与える。
項1の構成に加えて、抽出手段をさらに備える。抽出手
段は、映像手段から与えられる映像信号の中から人物の
顔の表情が出やすい所定領域に対応する部分を抽出して
ウェーブレット変換手段に与える。
【0013】
【作用】請求項1に係る表情検出装置においては、人物
の顔が撮影されて映像信号が生成される。その生成され
た映像信号はウェーブレット変換されることにより所定
の各帯域ごとに空間周波数領域の周波数信号が生成さ
れ、さらに各帯域ごとにその生成された周波数信号の平
均電力が算出される。そして、その算出された平均電力
と、無表情の顔から得られる対応の平均電力との差分が
算出される。このように映像信号を一旦ウェーブレット
変換しているため、ロバスト性の高い表情検出が可能と
なる。
の顔が撮影されて映像信号が生成される。その生成され
た映像信号はウェーブレット変換されることにより所定
の各帯域ごとに空間周波数領域の周波数信号が生成さ
れ、さらに各帯域ごとにその生成された周波数信号の平
均電力が算出される。そして、その算出された平均電力
と、無表情の顔から得られる対応の平均電力との差分が
算出される。このように映像信号を一旦ウェーブレット
変換しているため、ロバスト性の高い表情検出が可能と
なる。
【0014】請求項2に係る表情検出装置においては、
上記請求項1の作用に加えて、表情が出やすい部分だけ
を映像信号の中から抽出してウェーブレット変換してい
るため、より正確な表情検出が可能となる。
上記請求項1の作用に加えて、表情が出やすい部分だけ
を映像信号の中から抽出してウェーブレット変換してい
るため、より正確な表情検出が可能となる。
【0015】
【実施例】以下、この発明に係る表情検出装置の一実施
例を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。
例を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。
【0016】図1は、この発明の一実施例による表情検
出装置の全体構成を示すブロック図である。図1を参照
して、この表情検出装置は、人間の顔を撮影するための
CCD(Charge Coupled Device )カメラ10と、CC
Dカメラ10から与えられるアナログ映像信号AVの中
から高域成分を除去するローパスフィルタ(LPF)1
2と、ローパスフィルタ12から与えられるアナログ低
域映像信号AVLをデジタル低域映像信号DVLに変換
するA/D変換器14と、A/D変換器14から与えら
れるデジタル低域映像信号DVLの中から後述する予め
定められた部分だけを抽出する抽出部16と、抽出部1
6によって抽出されたデジタル低域映像信号DVLeを
ウェーブレット(Wavelet )変換することにより所定の
各帯域ごとに空間周波数領域の周波数信号Fを生成する
ウェーブレットフィルタ18と、各帯域ごとにその生成
された周波数信号Fの平均電力Pcを算出する平均電力
算出部20と、この平均電力Pcに対応して無表情のと
きの平均電力Pnが予め格納されている定常状態記憶メ
モリ22と、それら平均電力PcおよびPnの差分を算
出することにより特徴ベクトルFVを生成する差分算出
部24とを備える。
出装置の全体構成を示すブロック図である。図1を参照
して、この表情検出装置は、人間の顔を撮影するための
CCD(Charge Coupled Device )カメラ10と、CC
Dカメラ10から与えられるアナログ映像信号AVの中
から高域成分を除去するローパスフィルタ(LPF)1
2と、ローパスフィルタ12から与えられるアナログ低
域映像信号AVLをデジタル低域映像信号DVLに変換
するA/D変換器14と、A/D変換器14から与えら
れるデジタル低域映像信号DVLの中から後述する予め
定められた部分だけを抽出する抽出部16と、抽出部1
6によって抽出されたデジタル低域映像信号DVLeを
ウェーブレット(Wavelet )変換することにより所定の
各帯域ごとに空間周波数領域の周波数信号Fを生成する
ウェーブレットフィルタ18と、各帯域ごとにその生成
された周波数信号Fの平均電力Pcを算出する平均電力
算出部20と、この平均電力Pcに対応して無表情のと
きの平均電力Pnが予め格納されている定常状態記憶メ
モリ22と、それら平均電力PcおよびPnの差分を算
出することにより特徴ベクトルFVを生成する差分算出
部24とを備える。
【0017】次に、この表情検出装置の動作について説
明する。まず被験者の顔の正面にCCDカメラ10を取
付ける。このCCDカメラ10は、常に定位置から被験
者の顔を撮影するように被験者に装着されたヘルメット
などに固定される。図2は、CCDカメラ10によって
撮影した被験者の顔の画像を示す。
明する。まず被験者の顔の正面にCCDカメラ10を取
付ける。このCCDカメラ10は、常に定位置から被験
者の顔を撮影するように被験者に装着されたヘルメット
などに固定される。図2は、CCDカメラ10によって
撮影した被験者の顔の画像を示す。
【0018】表情を検出するのに先立って、予め無表情
のときの平均電力Pnを定常状態記憶メモリ22に格納
しておく。この平均電力Pnの詳細は後述する。
のときの平均電力Pnを定常状態記憶メモリ22に格納
しておく。この平均電力Pnの詳細は後述する。
【0019】表情を検出するに当たっては、まずCCD
カメラ10によって被験者の顔が撮影され、それにより
生成されたアナログ映像信号AVがローパスフィルタ1
2に与えられる。ローパスフィルタ12はその与えられ
たアナログ映像信号AVの中から高域成分を除去し、低
域アナログ映像信号AVLをA/D変換器14に与え
る。一般に人間の顔には、毛穴、凹凸、産毛などがある
ために、このアナログ映像信号AVにはそれらに起因す
る高域成分が大量に含まれているが、このような高域成
分は顔の表情を検出するためには全く不要なものであ
る。また、SN比の低いアナログ映像信号AVには大量
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、ロ
ーパスフィルタ12は、表情の検出を行なうために必要
な低域成分のみを通過させることによってこの装置の誤
動作を防止するためのものである。
カメラ10によって被験者の顔が撮影され、それにより
生成されたアナログ映像信号AVがローパスフィルタ1
2に与えられる。ローパスフィルタ12はその与えられ
たアナログ映像信号AVの中から高域成分を除去し、低
域アナログ映像信号AVLをA/D変換器14に与え
る。一般に人間の顔には、毛穴、凹凸、産毛などがある
ために、このアナログ映像信号AVにはそれらに起因す
る高域成分が大量に含まれているが、このような高域成
分は顔の表情を検出するためには全く不要なものであ
る。また、SN比の低いアナログ映像信号AVには大量
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、ロ
ーパスフィルタ12は、表情の検出を行なうために必要
な低域成分のみを通過させることによってこの装置の誤
動作を防止するためのものである。
【0020】A/D変換器14は、その与えられる低域
アナログ映像信号AVLを低域デジタル映像信号DVL
に変換する。この低域デジタル映像信号DVLは抽出部
16に与えられ、この低域デジタル映像信号DVLの一
部DVLeが抽出される。この実施例では、図2に示さ
れるように目および眉を含む検出領域161と口を含む
検出領域162とが切り出される。つまり、映像信号D
VLの中から検出領域161および162に対応する部
分DVLeのみが抽出される。このように目、眉および
口を検出領域と定めたのは、これらが表情による変化が
顕著に現れる部位だからである。したがって検出領域は
上述した領域に限定されることなく、たとえば皺の生じ
やすい額を検出領域に設定してもよい。
アナログ映像信号AVLを低域デジタル映像信号DVL
に変換する。この低域デジタル映像信号DVLは抽出部
16に与えられ、この低域デジタル映像信号DVLの一
部DVLeが抽出される。この実施例では、図2に示さ
れるように目および眉を含む検出領域161と口を含む
検出領域162とが切り出される。つまり、映像信号D
VLの中から検出領域161および162に対応する部
分DVLeのみが抽出される。このように目、眉および
口を検出領域と定めたのは、これらが表情による変化が
顕著に現れる部位だからである。したがって検出領域は
上述した領域に限定されることなく、たとえば皺の生じ
やすい額を検出領域に設定してもよい。
【0021】このようにして抽出された映像信号DVL
eはウェーブレットフィルタ18に与えられ、ここでウ
ェーブレット変換が行なわれる。ウェーブレット変換と
は、画像の周波数領域への変換手法の1種であり、高周
波ほど変換基底幅が狭くなるオーバラップ変換と考えら
れる。画像を周波数領域に変換するウェーブレットフィ
ルタ18は、帯域分割フィルタと考えることができ、図
3に示すようなフィルタバンクを多段階に組合せること
によって実現することができる。図3に示されるよう
に、1つのフィルタバンクは、水平方向分割用のローパ
スフィルタ26およびハイパスフィルタ28と、垂直方
向分割用のローパスフィルタ34,42およびハイパス
フィルタ36,44と、ダウンサンプラ30,32,3
8,40,46,48とを備える。
eはウェーブレットフィルタ18に与えられ、ここでウ
ェーブレット変換が行なわれる。ウェーブレット変換と
は、画像の周波数領域への変換手法の1種であり、高周
波ほど変換基底幅が狭くなるオーバラップ変換と考えら
れる。画像を周波数領域に変換するウェーブレットフィ
ルタ18は、帯域分割フィルタと考えることができ、図
3に示すようなフィルタバンクを多段階に組合せること
によって実現することができる。図3に示されるよう
に、1つのフィルタバンクは、水平方向分割用のローパ
スフィルタ26およびハイパスフィルタ28と、垂直方
向分割用のローパスフィルタ34,42およびハイパス
フィルタ36,44と、ダウンサンプラ30,32,3
8,40,46,48とを備える。
【0022】抽出部16からの映像信号DVLeは、原
イメージとしてローパスフィルタ26およびハイパスフ
ィルタ28に与えられる。ローパスフィルタ26を通過
した信号はダウンサンプラ30によって圧縮され、さら
にローパスフィルタ34およびハイパスフィルタ36に
与えられる。ローパスフィルタ34を通過した信号はダ
ウンサンプラ38によって圧縮され、さらに次段のフィ
ルタバンクに与えられる。ハイパスフィルタ36を通過
した信号はダウンサンプラ40によって圧縮され、図4
に示された周波数帯域183に現れる。
イメージとしてローパスフィルタ26およびハイパスフ
ィルタ28に与えられる。ローパスフィルタ26を通過
した信号はダウンサンプラ30によって圧縮され、さら
にローパスフィルタ34およびハイパスフィルタ36に
与えられる。ローパスフィルタ34を通過した信号はダ
ウンサンプラ38によって圧縮され、さらに次段のフィ
ルタバンクに与えられる。ハイパスフィルタ36を通過
した信号はダウンサンプラ40によって圧縮され、図4
に示された周波数帯域183に現れる。
【0023】他方、ハイパスフィルタ28を通過した信
号はダウンサンプラ32によって圧縮され、さらにロー
パスフィルタ42およびハイパスフィルタ44に与えら
れる。ローパスフィルタ42を通過した信号はダウンサ
ンプラ46によって圧縮され、図4に示された周波数帯
域182に現れる。ハイパスフィルタ44を通過した信
号はダウンサンプラ48によって圧縮され、図4に示さ
れた周波数帯域181に現れる。
号はダウンサンプラ32によって圧縮され、さらにロー
パスフィルタ42およびハイパスフィルタ44に与えら
れる。ローパスフィルタ42を通過した信号はダウンサ
ンプラ46によって圧縮され、図4に示された周波数帯
域182に現れる。ハイパスフィルタ44を通過した信
号はダウンサンプラ48によって圧縮され、図4に示さ
れた周波数帯域181に現れる。
【0024】次段のフィルタバンクに与えられた映像信
号は同様に、図4に示された3つの周波数帯域184〜
186に分割される。さらにその次の段のフィルタバン
クに与えられた映像信号も同様に、3つの周波数帯域1
87〜189に分割される。この終段のフィルタバンク
におけるローパスフィルタ34を通過した信号はダウン
サンプラ38によって圧縮され、図4に示された周波数
帯域190に現れる。したがって、周波数帯域181に
は最高の空間周波数が含まれ、周波数帯域190には最
低の空間周波数が含まれる。
号は同様に、図4に示された3つの周波数帯域184〜
186に分割される。さらにその次の段のフィルタバン
クに与えられた映像信号も同様に、3つの周波数帯域1
87〜189に分割される。この終段のフィルタバンク
におけるローパスフィルタ34を通過した信号はダウン
サンプラ38によって圧縮され、図4に示された周波数
帯域190に現れる。したがって、周波数帯域181に
は最高の空間周波数が含まれ、周波数帯域190には最
低の空間周波数が含まれる。
【0025】図5は、眉および目を含む検出領域161
の映像信号が上記のような3段のフィルタバンクを通過
した場合の画像を示す。この画像は可視化するために各
帯域ごとにバイアスをかけている。
の映像信号が上記のような3段のフィルタバンクを通過
した場合の画像を示す。この画像は可視化するために各
帯域ごとにバイアスをかけている。
【0026】ウェーブレットフィルタ18中のローパス
フィルタ26,34,42およびハイパスフィルタ2
8,36,44には、完全可逆性、線形位相に近い位相
特性、急峻な遮断特性、周波数応答の直交性などの条件
が必要とされるが、これらの条件にはトレードオフがあ
る。この実施例では、遮断特性は比較的低いが直線位相
特性を持った32次の直交ミラーフィルタが用いられ
る。
フィルタ26,34,42およびハイパスフィルタ2
8,36,44には、完全可逆性、線形位相に近い位相
特性、急峻な遮断特性、周波数応答の直交性などの条件
が必要とされるが、これらの条件にはトレードオフがあ
る。この実施例では、遮断特性は比較的低いが直線位相
特性を持った32次の直交ミラーフィルタが用いられ
る。
【0027】図5に示されたようにウェーブレットフィ
ルタ18を通過した画像では、その周波数特性とともに
画像上での位置情報が保存されている。この情報量は原
画像と同一であるので、これから特徴を得ることは困難
である。また、このまま特徴として用いたとすると、C
CDカメラ10の位置の変動や個人差の影響を強く受け
てしまう。そこで、この発明では各帯域ごとの平均電力
の増減のみを特徴とする手法が採用されている。したが
って、ウェーブレットフィルタ18によって各帯域ごと
に生成された空間周波数Fは平均電力算出部20に与え
られ、ここで空間周波数Fの平均電力Pcが各帯域ごと
に算出される。
ルタ18を通過した画像では、その周波数特性とともに
画像上での位置情報が保存されている。この情報量は原
画像と同一であるので、これから特徴を得ることは困難
である。また、このまま特徴として用いたとすると、C
CDカメラ10の位置の変動や個人差の影響を強く受け
てしまう。そこで、この発明では各帯域ごとの平均電力
の増減のみを特徴とする手法が採用されている。したが
って、ウェーブレットフィルタ18によって各帯域ごと
に生成された空間周波数Fは平均電力算出部20に与え
られ、ここで空間周波数Fの平均電力Pcが各帯域ごと
に算出される。
【0028】表情が表出される際には顔の構成要素の形
状や大きさ、傾き等が変化する。この変化が各々の周波
数帯域内に与える影響を特徴とする。たとえば被験者が
目を閉じた場合は、それまで電力の存在していた水平周
波数成分が減少し、逆に電力の少なかった垂直高周波成
分が増加する。
状や大きさ、傾き等が変化する。この変化が各々の周波
数帯域内に与える影響を特徴とする。たとえば被験者が
目を閉じた場合は、それまで電力の存在していた水平周
波数成分が減少し、逆に電力の少なかった垂直高周波成
分が増加する。
【0029】表情が変化した場合、高周波数帯域181
〜183では顕著な電力変化は認められないが、低周波
数帯域184〜189では顕著な電力変化が認められ
る。これは、ウェーブレットフィルタ18を通過した後
の高域成分には主に画像のエッジ情報が含まれ、低域成
分には顔の構成要素の形状情報が含まれているからであ
る。このことは、表情変化に伴なうエッジ方向や強度の
変化に比べ、形状そのものの変化のほうが特徴として有
効であることを示す。したがって、この実施例では周波
数帯域184〜189内の平均電力Pcが好ましく用い
られる。
〜183では顕著な電力変化は認められないが、低周波
数帯域184〜189では顕著な電力変化が認められ
る。これは、ウェーブレットフィルタ18を通過した後
の高域成分には主に画像のエッジ情報が含まれ、低域成
分には顔の構成要素の形状情報が含まれているからであ
る。このことは、表情変化に伴なうエッジ方向や強度の
変化に比べ、形状そのものの変化のほうが特徴として有
効であることを示す。したがって、この実施例では周波
数帯域184〜189内の平均電力Pcが好ましく用い
られる。
【0030】図6は、被験者が驚いた場合に口を含む検
出領域162から得られた周波数帯域185の平均電力
Pcの変化を示すグラフである。この表の横軸はフレー
ム数を示し、縦軸は平均電力を示す。驚きの表情が現れ
た場合、口が縦に開かれるため、帯域185に現れる水
平の低域成分の電力が顕著に増加する。
出領域162から得られた周波数帯域185の平均電力
Pcの変化を示すグラフである。この表の横軸はフレー
ム数を示し、縦軸は平均電力を示す。驚きの表情が現れ
た場合、口が縦に開かれるため、帯域185に現れる水
平の低域成分の電力が顕著に増加する。
【0031】図7は、被験者が瞬きをした場合に眉およ
び目を含む領域161から得られる周波数帯域185お
よび186の平均電力の変化を示すグラフである。図7
に示されるように、瞬きが行なわれると、目が細くなる
ので帯域185に現れる水平の低域成分の平均電力が瞬
間的に減少し、帯域186に現れる垂直の低域成分の平
均電力が瞬間的に増加する。
び目を含む領域161から得られる周波数帯域185お
よび186の平均電力の変化を示すグラフである。図7
に示されるように、瞬きが行なわれると、目が細くなる
ので帯域185に現れる水平の低域成分の平均電力が瞬
間的に減少し、帯域186に現れる垂直の低域成分の平
均電力が瞬間的に増加する。
【0032】このように、ウェーブレット変換により得
られた空間周波数の低域成分における平均電力は、顔の
表情に応じて変化する。平均電力算出部20において算
出されたこのような平均電力Pcは各フレームごとに差
分算出部24に与えられる。差分算出部24では、この
算出された平均電力Pcと定常状態記憶メモリ22から
与えられる無表情の平均電力Pnとの差分が算出され
る。ここで、定常状態記憶メモリ22には、算出された
平均電力Pcに対応するような平均電力Pnが格納され
ていなければならない。したがって、表情を検出するの
に先立って、まず無表情の顔を撮影し、上記と同様にウ
ェーブレット変換を行ない、さらに帯域184〜189
の平均電力を算出して定常状態記憶メモリ22に予め格
納しておく必要がある。したがって、算出された平均電
力Pcと無表情の平均電力Pnとの差分が差分算出部2
4から特徴ベクトルFVとして出力される。特徴ベクト
ルFVは、無表情を基準とした顔の変位を示す。
られた空間周波数の低域成分における平均電力は、顔の
表情に応じて変化する。平均電力算出部20において算
出されたこのような平均電力Pcは各フレームごとに差
分算出部24に与えられる。差分算出部24では、この
算出された平均電力Pcと定常状態記憶メモリ22から
与えられる無表情の平均電力Pnとの差分が算出され
る。ここで、定常状態記憶メモリ22には、算出された
平均電力Pcに対応するような平均電力Pnが格納され
ていなければならない。したがって、表情を検出するの
に先立って、まず無表情の顔を撮影し、上記と同様にウ
ェーブレット変換を行ない、さらに帯域184〜189
の平均電力を算出して定常状態記憶メモリ22に予め格
納しておく必要がある。したがって、算出された平均電
力Pcと無表情の平均電力Pnとの差分が差分算出部2
4から特徴ベクトルFVとして出力される。特徴ベクト
ルFVは、無表情を基準とした顔の変位を示す。
【0033】以上のようにこの実施例によれば、顔の映
像信号を一旦ウェーブレット変換しているため、ロバス
ト性が高く、画面内で顔が多少移動しても、あるいは多
少照明条件が異なっていても、表情を正確に検出するこ
とができる。また、単純な構成のフィルタによってウェ
ーブレット変換が行なわれるため、処理が簡潔で計算量
が少ない。そのため、実時間で表情の検出を行なうこと
ができる。
像信号を一旦ウェーブレット変換しているため、ロバス
ト性が高く、画面内で顔が多少移動しても、あるいは多
少照明条件が異なっていても、表情を正確に検出するこ
とができる。また、単純な構成のフィルタによってウェ
ーブレット変換が行なわれるため、処理が簡潔で計算量
が少ない。そのため、実時間で表情の検出を行なうこと
ができる。
【0034】また、表情の出やすい眉、目および口を含
む検出領域161,162のみを抽出しているため、表
情変化と無関係な顔の動きによって誤動作を引起こすこ
とはなく、より正確な表情検出が可能となる。
む検出領域161,162のみを抽出しているため、表
情変化と無関係な顔の動きによって誤動作を引起こすこ
とはなく、より正確な表情検出が可能となる。
【0035】また、この実施例によって得られた特徴ベ
クトルFVをベクトル量子化し、HMMを用いて表情の
認識を行なうことも可能である。このようにHMMによ
る時間変化と組合せれば、より高い認識率を得ることが
可能となる。
クトルFVをベクトル量子化し、HMMを用いて表情の
認識を行なうことも可能である。このようにHMMによ
る時間変化と組合せれば、より高い認識率を得ることが
可能となる。
【0036】
【発明の効果】請求項1に係る表情検出装置によれば、
顔の映像信号をウェーブレット変換し、それにより得ら
れた空間周波数の平均電力を無表情のときの平均電力と
比較するようにしているため、ロバスト性の高い表情検
出が可能である。
顔の映像信号をウェーブレット変換し、それにより得ら
れた空間周波数の平均電力を無表情のときの平均電力と
比較するようにしているため、ロバスト性の高い表情検
出が可能である。
【0037】請求項2に係る表情検出装置によれば、表
情の出やすい映像信号のみを抽出しているため、より正
確な表情検出が可能である。
情の出やすい映像信号のみを抽出しているため、より正
確な表情検出が可能である。
【図1】この発明の実施例による表情検出装置の全体構
成を示すブロック図である。
成を示すブロック図である。
【図2】図1中のCCDカメラによって撮影された画像
であり、その中には図1中の抽出部によって抽出される
検出領域が示される。
であり、その中には図1中の抽出部によって抽出される
検出領域が示される。
【図3】図1中のウェーブレットフィルタを構成する1
つのフィルタバンクの構成を示すブロック図である。
つのフィルタバンクの構成を示すブロック図である。
【図4】図1中のウェーブレットフィルタによって得ら
れた空間周波数の画像の構成図である。
れた空間周波数の画像の構成図である。
【図5】図2に示された眉および目を含む検出領域の映
像信号が実際に図1中のウェーブレットフィルタを通過
した場合における空間周波数の画像である。
像信号が実際に図1中のウェーブレットフィルタを通過
した場合における空間周波数の画像である。
【図6】被験者が怒った場合に図1中の平均電力算出部
から得られる平均電力の変化を示すグラフである。
から得られる平均電力の変化を示すグラフである。
【図7】被験者が瞬きをした場合に図1中の平均電力算
出部から得られる平均電力の変化を示すグラフである。
出部から得られる平均電力の変化を示すグラフである。
10 CCDカメラ 12 ローパスフィルタ 14 A/D変換器 16 抽出部 18 ウェーブレットフィルタ 20 平均電力算出部 22 定常状態記憶メモリ 24 差分算出部 181〜190 周波数帯域 AV アナログ映像信号 AVL 低域アナログ映像信号 DVL,DVLe 低域デジタル映像信号 F 空間周波数 Pc,Pn 平均電力
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/24 - 7/68
Claims (2)
- 【請求項1】 人物の顔を撮影して映像信号を生成する
撮影手段と、 前記映像信号をウェーブレット変換することにより所定
の各帯域ごとに空間周波数領域の周波数信号を生成する
ウェーブレット変換手段と、 前記各帯域ごとに前記周波数信号の平均電力を算出する
平均電力算出手段と、 前記平均電力算出手段から順次与えられる平均電力と、
前記人物の顔が無表情のときにその顔から得られる対応
の平均電力との差分を算出する差分算出手段とを備えた
表情検出装置。 - 【請求項2】 前記撮影手段から与えられる映像信号の
中から前記人物の顔の表情が出やすい所定領域に対応す
る部分を抽出して前記ウェーブレット変換手段に与える
抽出手段をさらに備えたことを特徴とする請求項1に記
載の表情検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5273795A JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5273795A JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08249447A JPH08249447A (ja) | 1996-09-27 |
JP2840816B2 true JP2840816B2 (ja) | 1998-12-24 |
Family
ID=12923248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5273795A Expired - Lifetime JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2840816B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1953675A1 (en) | 2007-01-30 | 2008-08-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999053443A1 (en) * | 1998-04-13 | 1999-10-21 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
JP2002169582A (ja) * | 2000-11-29 | 2002-06-14 | Canon Inc | 音声合成装置及びその制御方法、コンピュータ可読メモリ |
JP3903783B2 (ja) | 2001-12-14 | 2007-04-11 | 日本電気株式会社 | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
JP2003219218A (ja) * | 2002-01-23 | 2003-07-31 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP4641389B2 (ja) * | 2004-06-03 | 2011-03-02 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
JP4757173B2 (ja) | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP2011113318A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
-
1995
- 1995-03-13 JP JP5273795A patent/JP2840816B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1953675A1 (en) | 2007-01-30 | 2008-08-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US8165399B2 (en) | 2007-01-30 | 2012-04-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US8494233B2 (en) | 2007-01-30 | 2013-07-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JPH08249447A (ja) | 1996-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及*** | |
JP4939968B2 (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
CN107123091B (zh) | 一种基于深度学习的近红外人脸图像超分辨率重建方法 | |
US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
JP2840816B2 (ja) | 表情検出装置 | |
CN104584531A (zh) | 图像处理装置以及图像显示装置 | |
JP2008152789A (ja) | 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法 | |
JP2008009728A (ja) | 表情認識方法及び表情認識装置 | |
Wang et al. | VitaSi: A real-time contactless vital signs estimation system | |
JP3414683B2 (ja) | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 | |
CN111246116B (zh) | 一种用于屏幕上智能取景显示的方法及移动终端 | |
JPH08263623A (ja) | 可塑性物体特徴検出装置 | |
CN110321782B (zh) | 一种检测人体特征信号的*** | |
Comaniciu et al. | Adaptive resolution system for distributed surveillance | |
JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN116567349A (zh) | 基于多摄像机的视频展示方法、装置及存储介质 | |
Kuang et al. | Shuffle-rPPGNet: Efficient network with global context for remote heart rate variability measurement | |
JP3784474B2 (ja) | ジェスチャー認識方法および装置 | |
CN113920023A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
JPH0714208B2 (ja) | 動画像伝送方式 | |
JP3401511B2 (ja) | 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置 | |
JP2008059108A (ja) | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム | |
KR20040079637A (ko) | 3차원 얼굴기술자를 이용한 얼굴인식방법 및 장치 | |
Balakrishnan et al. | Stereopsis method for visually impaired to identify obstacles based on distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980901 |