JP2000259831A - 表情検出装置 - Google Patents
表情検出装置Info
- Publication number
- JP2000259831A JP2000259831A JP11058785A JP5878599A JP2000259831A JP 2000259831 A JP2000259831 A JP 2000259831A JP 11058785 A JP11058785 A JP 11058785A JP 5878599 A JP5878599 A JP 5878599A JP 2000259831 A JP2000259831 A JP 2000259831A
- Authority
- JP
- Japan
- Prior art keywords
- muscle
- facial
- frame
- expression
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 顔動画像を用いて、実時間で表情の変化を検
出することができる表情検出装置を提供することを目的
とする。 【解決手段】 特徴点追跡部３は、第１フレームの画像
を用いて、頭部領域の特徴点を選択する。そして、各フ
レームごとに特徴点を追跡する。ドロネー網構成部４
は、各フレームごとに特徴点を頂点としてドロネー網を
構成する。筋肉収縮率算出部５は、ドロネー網を用いて
表情筋モデルを特徴点の移動に基づき変位させることに
より表情筋モデルの変化を求める。
出することができる表情検出装置を提供することを目的
とする。 【解決手段】 特徴点追跡部３は、第１フレームの画像
を用いて、頭部領域の特徴点を選択する。そして、各フ
レームごとに特徴点を追跡する。ドロネー網構成部４
は、各フレームごとに特徴点を頂点としてドロネー網を
構成する。筋肉収縮率算出部５は、ドロネー網を用いて
表情筋モデルを特徴点の移動に基づき変位させることに
より表情筋モデルの変化を求める。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理に関し、
さらに詳しくは、顔面の特徴点の変化に基づき表情筋の
収縮率を算出して表情を検出する表情検出装置に関す
る。
さらに詳しくは、顔面の特徴点の変化に基づき表情筋の
収縮率を算出して表情を検出する表情検出装置に関す
る。
【０００２】
【従来の技術】遠隔地のユーザが仮想的なシーンを介し
て通信する場合に、ユーザの表情や身体をコンピュータ
グラフィックにより描写することは、アイコンタクトや
高精度の画像の生成が可能となるという利点がある。さ
らに、システムが表情およびジェスチャの意味を理解し
て、標準的な動きに変換したり形成することができれ
ば、コミュニケーションの円滑化を図ることが可能とな
る。
て通信する場合に、ユーザの表情や身体をコンピュータ
グラフィックにより描写することは、アイコンタクトや
高精度の画像の生成が可能となるという利点がある。さ
らに、システムが表情およびジェスチャの意味を理解し
て、標準的な動きに変換したり形成することができれ
ば、コミュニケーションの円滑化を図ることが可能とな
る。
【０００３】本出願人は、不特定多数の人物の顔動画像
から、その表情を認識することができる表情認識方法を
提案している（「顔動画像からの表情認識方法（特開平
１０−２５５０４３号公報）」）。この手法では、顔動
画像から特徴ベクトルを抽出するステップと、各表情ご
とに複数の隠れマルコフモデルを作成するステップと、
隠れマルコフモデルによって特徴ベクトルを生成する確
率を算出するステップとを有し、最大の確率を算出した
隠れマルコフモデルに対応する表情を認識結果として出
力する。
から、その表情を認識することができる表情認識方法を
提案している（「顔動画像からの表情認識方法（特開平
１０−２５５０４３号公報）」）。この手法では、顔動
画像から特徴ベクトルを抽出するステップと、各表情ご
とに複数の隠れマルコフモデルを作成するステップと、
隠れマルコフモデルによって特徴ベクトルを生成する確
率を算出するステップとを有し、最大の確率を算出した
隠れマルコフモデルに対応する表情を認識結果として出
力する。
【０００４】
【発明が解決しようとする課題】しかしながら、上述し
た従来の手法では、基本的な６表情（怒り、嫌悪、恐
れ、悲しみ、幸福、驚き）の分別を目的とするものであ
り、表情の変化を検出することができないという問題が
ある。さらに、表情やジェスチャを理解するためには、
人の顔や身体の動きを精密にかつ実時間で高速に検出す
ることが要求される。
た従来の手法では、基本的な６表情（怒り、嫌悪、恐
れ、悲しみ、幸福、驚き）の分別を目的とするものであ
り、表情の変化を検出することができないという問題が
ある。さらに、表情やジェスチャを理解するためには、
人の顔や身体の動きを精密にかつ実時間で高速に検出す
ることが要求される。
【０００５】本発明は、このような問題を解決するため
になされたものであり、その目的は実時間で表情の変化
を検出することができる表情検出装置を提供することで
ある。
になされたものであり、その目的は実時間で表情の変化
を検出することができる表情検出装置を提供することで
ある。
【０００６】
【課題を解決するための手段】請求項１に係る表情検出
装置は、表情筋をモデル化した表情筋モデルを用いて表
情筋の収縮に起因する表情動作を検出する表情検出装置
であって、第１フレームの画像を用いて、頭部領域にお
ける特徴点を選択する選択手段と、連続する各フレーム
の画像において、特徴点を追跡する追跡手段と、各フレ
ームの画像ごとに、特徴点の変位に応じて表情筋モデル
を変化させることにより、表情筋の収縮率を算出する収
縮率算出手段とを備える。
装置は、表情筋をモデル化した表情筋モデルを用いて表
情筋の収縮に起因する表情動作を検出する表情検出装置
であって、第１フレームの画像を用いて、頭部領域にお
ける特徴点を選択する選択手段と、連続する各フレーム
の画像において、特徴点を追跡する追跡手段と、各フレ
ームの画像ごとに、特徴点の変位に応じて表情筋モデル
を変化させることにより、表情筋の収縮率を算出する収
縮率算出手段とを備える。
【０００７】請求項２に係る表情検出装置は、請求項１
に係る表情検出装置であって、表情筋は、第１の表情筋
と、第１の表情筋と異なる第２の表情筋とを含み、表情
筋モデルは、第１の表情筋に対応する線分モデルと、第
２の表情筋に対応する楕円モデルとを含み、収縮率算出
手段は、各フレームの画像ごとに、特徴点に基づきドロ
ネー網を構成する構成手段と、第１の表情筋の収縮率を
算出する第１の算出手段と、第２の表情筋の収縮率を算
出する第２の算出手段とを含み、第１の算出手段は、各
フレームの画像ごとに、対応するドロネー網を用いて線
分モデルの座標を変化させる第１の変位手段と、各フレ
ームの画像ごとに、第１フレームの画像における線分モ
デルの長さと変化後の線分モデルの長さとの比を求める
手段とを含み、第２の算出手段は、各フレームの画像ご
とに、対応するドロネー網を用いて楕円モデルの座標を
変化させる第２の変位手段と、各フレームの画像ごと
に、第１フレームの画像における楕円モデルの周長と変
化後の楕円モデルの周長さとの比を求める手段とを含
む。
に係る表情検出装置であって、表情筋は、第１の表情筋
と、第１の表情筋と異なる第２の表情筋とを含み、表情
筋モデルは、第１の表情筋に対応する線分モデルと、第
２の表情筋に対応する楕円モデルとを含み、収縮率算出
手段は、各フレームの画像ごとに、特徴点に基づきドロ
ネー網を構成する構成手段と、第１の表情筋の収縮率を
算出する第１の算出手段と、第２の表情筋の収縮率を算
出する第２の算出手段とを含み、第１の算出手段は、各
フレームの画像ごとに、対応するドロネー網を用いて線
分モデルの座標を変化させる第１の変位手段と、各フレ
ームの画像ごとに、第１フレームの画像における線分モ
デルの長さと変化後の線分モデルの長さとの比を求める
手段とを含み、第２の算出手段は、各フレームの画像ご
とに、対応するドロネー網を用いて楕円モデルの座標を
変化させる第２の変位手段と、各フレームの画像ごと
に、第１フレームの画像における楕円モデルの周長と変
化後の楕円モデルの周長さとの比を求める手段とを含
む。
【０００８】請求項３に係る表情検出装置は、請求項１
に係る表情検出装置であって、選択手段は、第１フレー
ムの画像を構成するピクセルごとに、輝度勾配の相関行
列を算出する手段と、各相関行列における第１固有値と
第１固有値より小さい第２固有値とを算出する手段と、
第２固有値の大きい順に、所定数のピクセルを特徴点と
して選択する手段とを含む。
に係る表情検出装置であって、選択手段は、第１フレー
ムの画像を構成するピクセルごとに、輝度勾配の相関行
列を算出する手段と、各相関行列における第１固有値と
第１固有値より小さい第２固有値とを算出する手段と、
第２固有値の大きい順に、所定数のピクセルを特徴点と
して選択する手段とを含む。
【０００９】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳しく説明する。なお、図中同一符号は同一
または相当部分を示す。
を参照して詳しく説明する。なお、図中同一符号は同一
または相当部分を示す。
【００１０】本発明の実施の形態に係る表情検出装置に
ついて図１を用いて説明する。図１は、本発明の実施の
形態における表情検出装置１の全体構成を示す概略ブロ
ック図である。図１を参照して、表情検出装置１は、画
像入力部２、特徴点追跡部３、ドロネー網構成部４、筋
肉収縮率算出部５、出力部６、ビデオカメラ７および表
示装置８を備える。表情検出装置１は、ビデオカメラ７
から受ける顔動画像に基づき、表情の変化を検出する。
ついて図１を用いて説明する。図１は、本発明の実施の
形態における表情検出装置１の全体構成を示す概略ブロ
ック図である。図１を参照して、表情検出装置１は、画
像入力部２、特徴点追跡部３、ドロネー網構成部４、筋
肉収縮率算出部５、出力部６、ビデオカメラ７および表
示装置８を備える。表情検出装置１は、ビデオカメラ７
から受ける顔動画像に基づき、表情の変化を検出する。
【００１１】図１に示す表情検出装置１の処理の概要
を、図２を用いて説明する。図２は、図１に示す表情検
出装置１の処理の概要を説明するためのフローチャート
である。図２を参照して、ステップＳ１−１では、画像
入力部２を用いて、ビデオカメラ７から顔動画像を取込
む。ステップＳ１−２では、特徴点追跡部３において、
顔画上の特徴点を検出し、連続するフレームでの特徴点
の位置を追跡する。ステップＳ１−３では、ドロネー網
構成部４により、各フレームごとに、特徴点を用いてド
ロネー網を構成する。ステップＳ１−４では、筋肉収縮
率算出部５において、表情筋の収縮率を算出する。ステ
ップＳ１−５では、出力部６により、筋肉収縮率算出部
５の処理結果を外部（たとえば、表示装置８）に出力す
る。
を、図２を用いて説明する。図２は、図１に示す表情検
出装置１の処理の概要を説明するためのフローチャート
である。図２を参照して、ステップＳ１−１では、画像
入力部２を用いて、ビデオカメラ７から顔動画像を取込
む。ステップＳ１−２では、特徴点追跡部３において、
顔画上の特徴点を検出し、連続するフレームでの特徴点
の位置を追跡する。ステップＳ１−３では、ドロネー網
構成部４により、各フレームごとに、特徴点を用いてド
ロネー網を構成する。ステップＳ１−４では、筋肉収縮
率算出部５において、表情筋の収縮率を算出する。ステ
ップＳ１−５では、出力部６により、筋肉収縮率算出部
５の処理結果を外部（たとえば、表示装置８）に出力す
る。
【００１２】次に、図１に示す特徴点追跡部３について
説明する。特徴点追跡部３は、顔面上の特徴点を選択す
る処理と、特徴点を追跡して変位ベクトルを求める処理
とを行なう。
説明する。特徴点追跡部３は、顔面上の特徴点を選択す
る処理と、特徴点を追跡して変位ベクトルを求める処理
とを行なう。
【００１３】ここで、特徴点追跡部３における特徴点の
選択処理を図３を用いて説明する。図３は、図１に示す
特徴点追跡部３における特徴点の選択処理について説明
するためのフローチャートである。図３を参照して、ス
テップＳ２−１では、第１フレームの画像を用いて、各
ピクセルごとに輝度勾配の勾配ベクトルを算出する。ス
テップＳ２−２では、各ピクセルごとに輝度勾配の相関
行列を求める。相関行列は、式（１）で表現される。
選択処理を図３を用いて説明する。図３は、図１に示す
特徴点追跡部３における特徴点の選択処理について説明
するためのフローチャートである。図３を参照して、ス
テップＳ２−１では、第１フレームの画像を用いて、各
ピクセルごとに輝度勾配の勾配ベクトルを算出する。ス
テップＳ２−２では、各ピクセルごとに輝度勾配の相関
行列を求める。相関行列は、式（１）で表現される。
【００１４】
【数１】
【００１５】ここで、記号ｇx 、ｇy は、それぞれ正方
形の画面上でのｘ、ｙ方向の輝度勾配の平均値を示して
いる。
形の画面上でのｘ、ｙ方向の輝度勾配の平均値を示して
いる。
【００１６】ステップＳ２−３では、ピクセルを相関行
列の第２固有値の大きさ順に並べる。ここで相関行列の
第２固有値とは、式（１）の相関行列における固有値の
うち小さい方の値を言う。ステップＳ２−４では、第２
固有値の大きいピクセルから所定数のピクセルまでを特
徴点として選択する。
列の第２固有値の大きさ順に並べる。ここで相関行列の
第２固有値とは、式（１）の相関行列における固有値の
うち小さい方の値を言う。ステップＳ２−４では、第２
固有値の大きいピクセルから所定数のピクセルまでを特
徴点として選択する。
【００１７】図４は、特徴点の選択処理の結果を説明す
るための図である。図４では、顔面上にマークされた点
Ｆが、特徴点を示している。図４に示すように、特徴点
追跡部３により、複数のピクセルが特徴点として選択さ
れる。
るための図である。図４では、顔面上にマークされた点
Ｆが、特徴点を示している。図４に示すように、特徴点
追跡部３により、複数のピクセルが特徴点として選択さ
れる。
【００１８】次に、図１に示す特徴点追跡部３における
特徴点の追跡処理を図５を用いて説明する。図５は、図
１に示す特徴点追跡部３における特徴点の追跡処理につ
いて説明するためのフローチャートである。図３の手法
により第１フレームの画像から顔面上の特徴点を選択し
た後、図５に示す手法を用いて連続するフレームにおけ
る特徴点の位置を追跡する。図５を参照して、ステップ
Ｓ３−１では、特徴点ごとに勾配ベクトルを算出する。
ステップＳ３−２では、特徴点ごとに式（１）を用いて
輝度勾配の相関行列を計算する。ステップＳ３−３で
は、相関行列の第２固有値を求め、第２固有値が所定の
しきい値よりも大きいか否かを判定する。第２固有値が
所定のしきい値（たとえば、“０”）よりも大きい場合
（追跡成功）、ステップＳ３−４に移る。ステップＳ３
−４では、式（２）および式（３）を用いて特徴点の変
位ベクトルｄ＝［ｄx 、ｄy ］を求める。
特徴点の追跡処理を図５を用いて説明する。図５は、図
１に示す特徴点追跡部３における特徴点の追跡処理につ
いて説明するためのフローチャートである。図３の手法
により第１フレームの画像から顔面上の特徴点を選択し
た後、図５に示す手法を用いて連続するフレームにおけ
る特徴点の位置を追跡する。図５を参照して、ステップ
Ｓ３−１では、特徴点ごとに勾配ベクトルを算出する。
ステップＳ３−２では、特徴点ごとに式（１）を用いて
輝度勾配の相関行列を計算する。ステップＳ３−３で
は、相関行列の第２固有値を求め、第２固有値が所定の
しきい値よりも大きいか否かを判定する。第２固有値が
所定のしきい値（たとえば、“０”）よりも大きい場合
（追跡成功）、ステップＳ３−４に移る。ステップＳ３
−４では、式（２）および式（３）を用いて特徴点の変
位ベクトルｄ＝［ｄx 、ｄy ］を求める。
【００１９】
【数２】
【００２０】ここで、記号Ｉ（Ｘ）、Ｊ（Ｘ）は、輝度
分布をそれぞれ表わしている。第２固有値が所定のしき
い値よりも小さい場合（追跡失敗）、ステップＳ３−５
に移り、特徴点でないピクセルのうち第２固有値の大き
いピクセルを、順に新たな特徴点として選択する。
分布をそれぞれ表わしている。第２固有値が所定のしき
い値よりも小さい場合（追跡失敗）、ステップＳ３−５
に移り、特徴点でないピクセルのうち第２固有値の大き
いピクセルを、順に新たな特徴点として選択する。
【００２１】次に、図１に示すドロネー網構成部４につ
いて説明する。ドロネー網構成部４では、各フレームご
とに、特徴点を結合してドロネー網（Delaunay triangu
lation）を構成する。ドロネー網の詳細については、文
献１（Lawson,C.L.,Transforming triangulations,Disc
rete Math.,3(1972)pp365-372 ）および文献２（de Ber
g ,M.,van Kreveld,M.,Overmars,M.,Schwarzkopf,O.:Co
mputational Geometry,Chapter 9.Springer-Verlag(199
7)）に詳細が示されている。
いて説明する。ドロネー網構成部４では、各フレームご
とに、特徴点を結合してドロネー網（Delaunay triangu
lation）を構成する。ドロネー網の詳細については、文
献１（Lawson,C.L.,Transforming triangulations,Disc
rete Math.,3(1972)pp365-372 ）および文献２（de Ber
g ,M.,van Kreveld,M.,Overmars,M.,Schwarzkopf,O.:Co
mputational Geometry,Chapter 9.Springer-Verlag(199
7)）に詳細が示されている。
【００２２】ドロネー網とは、任意の位置に配置された
点を頂点とするように三角形で平面を埋め尽くした図形
であって、頂点の接続関係を変化させたときに三角形の
最小角がこれ以上小さくならない図形を言う。図６は、
ドローネ網構成部４における処理の結果を説明するため
の図であり、図４に対応している。図６では、顔面上に
マークされた特徴点Ｆを線分で結ぶことにより、網目状
のドローネ網が構成されている。上述したように、全フ
レームに対してドロネー網を構成する。なお、ドロネー
網を構成するアルゴリズムとしては、特徴点の個数がＮ
個のときに、Ｎｌｏｇ（Ｎ）のオーダの計算量のものが
最も高速であり、当該アルゴリズムを使用する。
点を頂点とするように三角形で平面を埋め尽くした図形
であって、頂点の接続関係を変化させたときに三角形の
最小角がこれ以上小さくならない図形を言う。図６は、
ドローネ網構成部４における処理の結果を説明するため
の図であり、図４に対応している。図６では、顔面上に
マークされた特徴点Ｆを線分で結ぶことにより、網目状
のドローネ網が構成されている。上述したように、全フ
レームに対してドロネー網を構成する。なお、ドロネー
網を構成するアルゴリズムとしては、特徴点の個数がＮ
個のときに、Ｎｌｏｇ（Ｎ）のオーダの計算量のものが
最も高速であり、当該アルゴリズムを使用する。
【００２３】任意の点の関数値を求める際、任意の点が
含まれる三角形（ドロネー網）の頂点の関数値から線形
補間により任意の点の関数値を求めると誤差が小さくな
る。すなわち、線形内挿の精度が最大となる。本発明の
実施の形態においては、ドロネー網を、表情筋モデルを
構成する点の動き（変位ベクトル）を周辺の特徴点の動
き（変位ベクトル）から線形補間により求めるために用
いる。
含まれる三角形（ドロネー網）の頂点の関数値から線形
補間により任意の点の関数値を求めると誤差が小さくな
る。すなわち、線形内挿の精度が最大となる。本発明の
実施の形態においては、ドロネー網を、表情筋モデルを
構成する点の動き（変位ベクトル）を周辺の特徴点の動
き（変位ベクトル）から線形補間により求めるために用
いる。
【００２４】ここで、ドロネー網を用いて点の動きを算
出する処理について、図７を用いて説明する。図７は、
ドロネー網を用いて点の動きを算出する処理の概要を説
明するための図である。図７において、記号ａ、ｂ、ｃ
は、三角形（ドロネー網）の頂点を構成する点であり、
点ｐ０は、頂点ａ、ｂ、ｃからなる三角形に含まれる任
意の点を表わす。この場合、線形補間により、点ｐ０の
速度Ｕは、式（４）で表わされる。
出する処理について、図７を用いて説明する。図７は、
ドロネー網を用いて点の動きを算出する処理の概要を説
明するための図である。図７において、記号ａ、ｂ、ｃ
は、三角形（ドロネー網）の頂点を構成する点であり、
点ｐ０は、頂点ａ、ｂ、ｃからなる三角形に含まれる任
意の点を表わす。この場合、線形補間により、点ｐ０の
速度Ｕは、式（４）で表わされる。
【００２５】 Ｕ＝αＵａ＋βＵｂ＋γＵｃ …（４） ここで、記号Ｕａ、Ｕｂ、Ｕｃはそれぞれ、頂点ａ、
ｂ、ｃの速度を表わしている。また、α、β、γはそれ
ぞれ、図７に示すように点ｐ０の重心座標を表わしてい
る。
ｂ、ｃの速度を表わしている。また、α、β、γはそれ
ぞれ、図７に示すように点ｐ０の重心座標を表わしてい
る。
【００２６】次に、図１に示す筋肉収縮率算出部５につ
いて説明する。筋肉収縮率算出部５では、表情動作を引
起す表情筋（線形筋、楕円筋、関節筋）の収縮率を算出
することにより、表情の変化を検出する。
いて説明する。筋肉収縮率算出部５では、表情動作を引
起す表情筋（線形筋、楕円筋、関節筋）の収縮率を算出
することにより、表情の変化を検出する。
【００２７】図８は、基本的な表情動作について説明す
るための図である。図８に示すように、基本的な表情動
作として、１９種類の動作が挙げられる。内部の眉の引
上げ（ＡＵ１）、外部の眉の引上げ（ＡＵ２）、眉の引
下げ（ＡＵ４）、鼻の脇に皺を寄せる（ＡＵ９）、唇を
引上げる（ＡＵ１０）、鼻の下にしわを寄せる（ＡＵ１
１）、唇の端を引上げる（ＡＵ１２）、頬を膨らます
（ＡＵ１３）、唇の端を引下げる（ＡＵ１５）、下唇を
引下げる（ＡＵ１６）、あごの先を引上げる（ＡＵ１
７）、唇を左右に伸ばす（ＡＵ２０）唇を結ぶ（ＡＵ２
３）、口を閉じる（ＡＵ２４）、口を開く（ＡＵ２
５）、あごを下げて口を開く（ＡＵ２６）、および口を
尖らす（ＡＵ２８）である。これらの表情動作は基本的
な６表情の構成要素であり、これらの組合わせによりほ
ぼすべての表情を表現することが可能である。
るための図である。図８に示すように、基本的な表情動
作として、１９種類の動作が挙げられる。内部の眉の引
上げ（ＡＵ１）、外部の眉の引上げ（ＡＵ２）、眉の引
下げ（ＡＵ４）、鼻の脇に皺を寄せる（ＡＵ９）、唇を
引上げる（ＡＵ１０）、鼻の下にしわを寄せる（ＡＵ１
１）、唇の端を引上げる（ＡＵ１２）、頬を膨らます
（ＡＵ１３）、唇の端を引下げる（ＡＵ１５）、下唇を
引下げる（ＡＵ１６）、あごの先を引上げる（ＡＵ１
７）、唇を左右に伸ばす（ＡＵ２０）唇を結ぶ（ＡＵ２
３）、口を閉じる（ＡＵ２４）、口を開く（ＡＵ２
５）、あごを下げて口を開く（ＡＵ２６）、および口を
尖らす（ＡＵ２８）である。これらの表情動作は基本的
な６表情の構成要素であり、これらの組合わせによりほ
ぼすべての表情を表現することが可能である。
【００２８】図９は、図１に示す筋肉収縮率算出部５の
要部の構成を示すブロック図である。図９を参照して、
筋肉収縮率算出部５は、線形筋対応収縮率算出部１０、
楕円筋対応収縮率算出部１２、関節筋対応収縮率算出部
１４および出力部１６を備える。線形筋対応収縮率算出
部１０では、特徴点の動きから線形筋モデルの変化を算
出することにより線形筋の収縮率を算出する。楕円筋対
応収縮率算出部１２では、特徴点の動きから楕円筋モデ
ルの変化を算出することにより楕円筋の収縮率を算出す
る。関節筋対応収縮率算出部１４では、特徴点の変化か
らあごの回転角の変化量を求めて、関節筋の収縮率を算
出する。これらの収縮率によって、表情動作の程度が表
現される。なお、総称的に、線形筋モデルおよび楕円筋
モデルを表情筋モデルと称す。
要部の構成を示すブロック図である。図９を参照して、
筋肉収縮率算出部５は、線形筋対応収縮率算出部１０、
楕円筋対応収縮率算出部１２、関節筋対応収縮率算出部
１４および出力部１６を備える。線形筋対応収縮率算出
部１０では、特徴点の動きから線形筋モデルの変化を算
出することにより線形筋の収縮率を算出する。楕円筋対
応収縮率算出部１２では、特徴点の動きから楕円筋モデ
ルの変化を算出することにより楕円筋の収縮率を算出す
る。関節筋対応収縮率算出部１４では、特徴点の変化か
らあごの回転角の変化量を求めて、関節筋の収縮率を算
出する。これらの収縮率によって、表情動作の程度が表
現される。なお、総称的に、線形筋モデルおよび楕円筋
モデルを表情筋モデルと称す。
【００２９】次に、線形筋対応収縮率算出部１０につい
て説明する。顔面の多くの筋肉は、一端を頭蓋骨に接合
し、他端を皮膚に接合する線形筋である。筋肉の収縮に
伴い線形筋で接合した皮膚は、頭蓋骨と接合した側に移
動する。そこで、線形筋を線分で近似する（線形筋モデ
ル）。図１０は、表情筋モデルと表情動作との関係を説
明するための図である。図１０において、表情動作ＡＵ
１、ＡＵ２、…が指示す線分が線形筋モデルである。た
とえば、額の表情筋が収縮することにより、表情動作Ａ
Ｕ１、ＡＵ２に代表されるように複数の表情が表出され
る。
て説明する。顔面の多くの筋肉は、一端を頭蓋骨に接合
し、他端を皮膚に接合する線形筋である。筋肉の収縮に
伴い線形筋で接合した皮膚は、頭蓋骨と接合した側に移
動する。そこで、線形筋を線分で近似する（線形筋モデ
ル）。図１０は、表情筋モデルと表情動作との関係を説
明するための図である。図１０において、表情動作ＡＵ
１、ＡＵ２、…が指示す線分が線形筋モデルである。た
とえば、額の表情筋が収縮することにより、表情動作Ａ
Ｕ１、ＡＵ２に代表されるように複数の表情が表出され
る。
【００３０】線形筋対応収縮率算出部１０では、特徴点
の動きから線分（線形筋モデル）の長さの変化量を算出
することにより線形筋の収縮率を算出する。なお、線形
筋モデルの初期状態の長さは、第１フレームにおける線
形筋モデルの座標に基づき決定する。
の動きから線分（線形筋モデル）の長さの変化量を算出
することにより線形筋の収縮率を算出する。なお、線形
筋モデルの初期状態の長さは、第１フレームにおける線
形筋モデルの座標に基づき決定する。
【００３１】図１１は、線形筋対応収縮率算出部１０の
構成の概要を示すブロック図である。図１１を参照し
て、線形筋対応収縮率算出部１０は、データ入力部２
０、線形補間実行部２２、比計算部２４および収縮率出
力部２５を含む。
構成の概要を示すブロック図である。図１１を参照し
て、線形筋対応収縮率算出部１０は、データ入力部２
０、線形補間実行部２２、比計算部２４および収縮率出
力部２５を含む。
【００３２】データ入力部２０には、特徴点の追跡結果
から得られる各特徴点の変位ベクトルと線形筋モデル
（線分）の２つの端点の座標とが与えられる。線形補間
実行部２２は、各フレームごとに、ドロネー網を用いて
線形筋モデルの端点の変位ベクトルを算出し、変化後の
線分（２つの端点間）の距離を求める。比計算部２４
は、初期状態の線分の長さと変化後の線分の長さとの比
を算出する。収縮率出力部２６は、比計算部２４の処理
結果を外部に出力する。
から得られる各特徴点の変位ベクトルと線形筋モデル
（線分）の２つの端点の座標とが与えられる。線形補間
実行部２２は、各フレームごとに、ドロネー網を用いて
線形筋モデルの端点の変位ベクトルを算出し、変化後の
線分（２つの端点間）の距離を求める。比計算部２４
は、初期状態の線分の長さと変化後の線分の長さとの比
を算出する。収縮率出力部２６は、比計算部２４の処理
結果を外部に出力する。
【００３３】図１２は、線形筋対応収縮率算出部１０の
処理の概要を説明するためのフローチャートである。図
１２を参照して、ステップＳ４−１では、ドロネー網を
用いて線分の端点について近傍の３つの特徴点を選択
し、３つの特徴点の変位ベクトルから線形補間により端
点における変位ベクトルを算出する。ステップＳ４−２
では、端点の座標に算出された変位ベクトルを加える。
これにより、線分の端点の座標を更新する。そして、更
新した座標を用いて２つの端点間の距離を求める。な
お、ステップＳ４−１およびＳ４−２は、線形補間実行
部２２において処理する。ステップＳ４−３では、第１
フレームにおける線分の長さとステップＳ４−２で求め
た端点間の距離との比を算出する。当該比を、線形筋の
収縮率とする。
処理の概要を説明するためのフローチャートである。図
１２を参照して、ステップＳ４−１では、ドロネー網を
用いて線分の端点について近傍の３つの特徴点を選択
し、３つの特徴点の変位ベクトルから線形補間により端
点における変位ベクトルを算出する。ステップＳ４−２
では、端点の座標に算出された変位ベクトルを加える。
これにより、線分の端点の座標を更新する。そして、更
新した座標を用いて２つの端点間の距離を求める。な
お、ステップＳ４−１およびＳ４−２は、線形補間実行
部２２において処理する。ステップＳ４−３では、第１
フレームにおける線分の長さとステップＳ４−２で求め
た端点間の距離との比を算出する。当該比を、線形筋の
収縮率とする。
【００３４】次に、楕円筋対応収縮率算出部１２につい
て説明する。顔面の楕円筋は目および口の周辺について
おり、楕円筋の収縮に伴い目および口が閉じる。そこ
で、楕円筋を楕円で近似する（楕円筋モデル）。図１０
において、表情動作ＡＵ２３、ＡＵ２４、…が指示す楕
円が楕円筋モデルである。たとえば、口のまわりの楕円
筋が収縮することにより、表情動作ＡＵ２３、ＡＵ２
４、ＡＵ２５、ＡＵ２８に代表されるように複数の表情
が表出される。
て説明する。顔面の楕円筋は目および口の周辺について
おり、楕円筋の収縮に伴い目および口が閉じる。そこ
で、楕円筋を楕円で近似する（楕円筋モデル）。図１０
において、表情動作ＡＵ２３、ＡＵ２４、…が指示す楕
円が楕円筋モデルである。たとえば、口のまわりの楕円
筋が収縮することにより、表情動作ＡＵ２３、ＡＵ２
４、ＡＵ２５、ＡＵ２８に代表されるように複数の表情
が表出される。
【００３５】楕円筋対応収縮率算出部１２では、特徴点
の動きから楕円（楕円筋モデル）の周の長さの変化量を
算出することにより楕円筋の収縮率を算出する。なお、
楕円筋モデルの初期状態の周長は、第１フレームにおけ
る楕円筋モデルの周長に基づき決定する。
の動きから楕円（楕円筋モデル）の周の長さの変化量を
算出することにより楕円筋の収縮率を算出する。なお、
楕円筋モデルの初期状態の周長は、第１フレームにおけ
る楕円筋モデルの周長に基づき決定する。
【００３６】図１３は、楕円筋対応収縮率算出部１２の
構成の概要を示すブロック図である。図１３を参照し
て、楕円筋対応収縮率算出部１２は、データ入力部３
０、線形補間実行部３２、比計算部３４および収縮率出
力部３６を含む。
構成の概要を示すブロック図である。図１３を参照し
て、楕円筋対応収縮率算出部１２は、データ入力部３
０、線形補間実行部３２、比計算部３４および収縮率出
力部３６を含む。
【００３７】データ入力部３０には、特徴点の追跡結果
から得られる各特徴点の変位ベクトルと楕円筋モデル
（楕円）の周上の複数の点の座標とが与えられる。線形
補間実行部３２では、各フレームごとに、ドロネー網を
用いて楕円筋モデルの周上の複数の点の変位ベクトルを
算出し、変化後の周長を求める。比計算部３４は、初期
状態の楕円の周長と変化後の周長との比を算出する。収
縮率出力部３６は、比計算部３４の処理結果を外部に出
力する。
から得られる各特徴点の変位ベクトルと楕円筋モデル
（楕円）の周上の複数の点の座標とが与えられる。線形
補間実行部３２では、各フレームごとに、ドロネー網を
用いて楕円筋モデルの周上の複数の点の変位ベクトルを
算出し、変化後の周長を求める。比計算部３４は、初期
状態の楕円の周長と変化後の周長との比を算出する。収
縮率出力部３６は、比計算部３４の処理結果を外部に出
力する。
【００３８】図１４は、楕円筋対応収縮率算出部１２の
処理の概要を説明するためのフローチャートである。図
１４を参照して、ステップＳ５−１では、ドロネー網を
用いて、楕円周上の複数の点の座標のそれぞれについて
近傍の３つの特徴点を選択する。そして、楕円周上の複
数の点のそれぞれに対して、３つの特徴点の変位ベクト
ルから線形補間により変位ベクトルを算出する。ステッ
プＳ５−２では、楕円周上の複数点の座標のそれぞれ
に、算出した変位ベクトルをそれぞれ加える。これによ
り、楕円周上の複数点の座標を更新する。そして、更新
した楕円周上の複数点を順につないだ線の長さの総和を
求める。当該総和を新たな楕円の周長とする。なお、ス
テップＳ５−１およびＳ５−２は、線形補間実行部３２
において処理する。ステップ５−３では、第１フレーム
における楕円の周長とステップＳ５−２で求めた楕円の
周長との比を算出する。当該比を、楕円筋の収縮率とす
る。
処理の概要を説明するためのフローチャートである。図
１４を参照して、ステップＳ５−１では、ドロネー網を
用いて、楕円周上の複数の点の座標のそれぞれについて
近傍の３つの特徴点を選択する。そして、楕円周上の複
数の点のそれぞれに対して、３つの特徴点の変位ベクト
ルから線形補間により変位ベクトルを算出する。ステッ
プＳ５−２では、楕円周上の複数点の座標のそれぞれ
に、算出した変位ベクトルをそれぞれ加える。これによ
り、楕円周上の複数点の座標を更新する。そして、更新
した楕円周上の複数点を順につないだ線の長さの総和を
求める。当該総和を新たな楕円の周長とする。なお、ス
テップＳ５−１およびＳ５−２は、線形補間実行部３２
において処理する。ステップ５−３では、第１フレーム
における楕円の周長とステップＳ５−２で求めた楕円の
周長との比を算出する。当該比を、楕円筋の収縮率とす
る。
【００３９】次に、関節筋対応収縮率算出部１４につい
て説明する。関節筋は、あごの開閉に関与する。そこ
で、特徴点のうち最も下側に位置する特徴点の回転角の
変化量から、関節筋の収縮率を算出する。頭部を図１５
に示すように円柱と仮定する。図１５において、記号Ｖ
は特徴点を、円柱Ｈは頭部モデルを、記号Φは回転軸を
それぞれ表わしている。頭部（円柱Ｈ）は回転軸Φを中
心として回転する。
て説明する。関節筋は、あごの開閉に関与する。そこ
で、特徴点のうち最も下側に位置する特徴点の回転角の
変化量から、関節筋の収縮率を算出する。頭部を図１５
に示すように円柱と仮定する。図１５において、記号Ｖ
は特徴点を、円柱Ｈは頭部モデルを、記号Φは回転軸を
それぞれ表わしている。頭部（円柱Ｈ）は回転軸Φを中
心として回転する。
【００４０】図１６は、関節筋対応収縮率算出部１４の
構成の概要を示すブロック図である。図１６を参照し
て、関節筋対応収縮率算出部１４は、データ入力部４
０、回転角変化量算出部４２、変化量積算部４４および
あご回転角出力部４６を含む。
構成の概要を示すブロック図である。図１６を参照し
て、関節筋対応収縮率算出部１４は、データ入力部４
０、回転角変化量算出部４２、変化量積算部４４および
あご回転角出力部４６を含む。
【００４１】データ入力部４０には、特徴点の追跡結果
から得られる各特徴点の変位ベクトルが与えられる。回
転角変化量算出部４２では、頭部領域の特徴点のうち最
も下側に位置する特徴点の回転角の変化量を求める。変
化量積算部４４では、あごの回転角の変化量を積算す
る。あご回転角出力部４６は、変化量積算部４４の処理
結果を外部に出力する。
から得られる各特徴点の変位ベクトルが与えられる。回
転角変化量算出部４２では、頭部領域の特徴点のうち最
も下側に位置する特徴点の回転角の変化量を求める。変
化量積算部４４では、あごの回転角の変化量を積算す
る。あご回転角出力部４６は、変化量積算部４４の処理
結果を外部に出力する。
【００４２】図１７は、関節筋対応収縮率算出部１４の
処理の概要を説明するためのフローチャートである。図
１７を参照して、ステップＳ６−１では、まず頭部領域
の下端の特徴点を選択する。ステップＳ６−２では、頭
部領域の下端に位置する特徴点の変位ベクトルの平均値
から、式（５）を用いてあごの回転角の変化量ρを求め
る。
処理の概要を説明するためのフローチャートである。図
１７を参照して、ステップＳ６−１では、まず頭部領域
の下端の特徴点を選択する。ステップＳ６−２では、頭
部領域の下端に位置する特徴点の変位ベクトルの平均値
から、式（５）を用いてあごの回転角の変化量ρを求め
る。
【００４３】
【数３】
【００４４】ここで、記号Ｖｚは、頭部を円柱と仮定し
た場合における特徴点のＺ座標であり、△ＶT は、顔の
対称軸方向への特徴点の移動量をそれぞれ表わしてい
る。なお、ステップＳ６−１およびＳ６−２は、回転角
変化量算出部４２において処理する。ステップＳ６−３
では、あごの回転角の変化量（式（５））を第１フレー
ムから処理対象としているフレームまで積算する。積算
した結果を、あごの回転角とする。
た場合における特徴点のＺ座標であり、△ＶT は、顔の
対称軸方向への特徴点の移動量をそれぞれ表わしてい
る。なお、ステップＳ６−１およびＳ６−２は、回転角
変化量算出部４２において処理する。ステップＳ６−３
では、あごの回転角の変化量（式（５））を第１フレー
ムから処理対象としているフレームまで積算する。積算
した結果を、あごの回転角とする。
【００４５】このように、線形筋対応収縮率算出部１
０、楕円筋対応収縮率算出部１２、および関節筋対応収
縮率算出部１４により、１９種類の表情動作に対応する
表情筋の収縮率が算出される。したがって、各表情筋の
収縮率に基づき表情動作の程度および表情動作の変化の
度合いを求めることができる。
０、楕円筋対応収縮率算出部１２、および関節筋対応収
縮率算出部１４により、１９種類の表情動作に対応する
表情筋の収縮率が算出される。したがって、各表情筋の
収縮率に基づき表情動作の程度および表情動作の変化の
度合いを求めることができる。
【００４６】表情動作と基本的な６表情とは図１８に示
す関係にある。当該関係については、文献３（Pelacha
u,C.,Badler,N.I.,Steedman,M.:Generating facial exp
ressions for speech,Cognitive Science,20(1)(1996)p
p1-46）に詳細が記載されている。たとえば、驚きは、
表情動作ＡＵ１、ＡＵ２、ＡＵ５およびＡＵ２６の足し
合わせにより実現される。したがって、図１８に示す関
係を本装置に適用することにより、表情および表情の変
化を検出することが可能となる。
す関係にある。当該関係については、文献３（Pelacha
u,C.,Badler,N.I.,Steedman,M.:Generating facial exp
ressions for speech,Cognitive Science,20(1)(1996)p
p1-46）に詳細が記載されている。たとえば、驚きは、
表情動作ＡＵ１、ＡＵ２、ＡＵ５およびＡＵ２６の足し
合わせにより実現される。したがって、図１８に示す関
係を本装置に適用することにより、表情および表情の変
化を検出することが可能となる。
【００４７】なお、本発明の実施の形態では顔面上の特
徴点の動きから表情筋の収縮率を推定して個別の表情動
作の変化を求めている。この手法は、特徴点の動きから
頭部の動きを推定する手法と組合せることにより、表情
筋の位置を組合せて表情筋の位置を追従させることによ
り、頭部の動きもある場合にも容易に拡張することが可
能となる。
徴点の動きから表情筋の収縮率を推定して個別の表情動
作の変化を求めている。この手法は、特徴点の動きから
頭部の動きを推定する手法と組合せることにより、表情
筋の位置を組合せて表情筋の位置を追従させることによ
り、頭部の動きもある場合にも容易に拡張することが可
能となる。
【００４８】今回表示された実施の形態は、すべての点
で例示であって制限的なものではないと考えられるべき
である。本発明の範囲は上記した実施の形態の説明では
なくて特許請求の範囲によって示され、特許請求の範囲
と均等の意味および範囲内でのすべての変更が含まれる
ことが意図される。
で例示であって制限的なものではないと考えられるべき
である。本発明の範囲は上記した実施の形態の説明では
なくて特許請求の範囲によって示され、特許請求の範囲
と均等の意味および範囲内でのすべての変更が含まれる
ことが意図される。
【００４９】
【発明の効果】以上のように、本発明の表情検出装置に
よれば、基本的な６表情（怒り、嫌悪、恐れ、悲しみ、
幸福、驚き）の分別のみならず、表情動作を精密に検出
することが可能となる。これにより、実時間で表情の変
化が検出可能となり、さらに表情の検出力を向上させる
ことが可能となる。
よれば、基本的な６表情（怒り、嫌悪、恐れ、悲しみ、
幸福、驚き）の分別のみならず、表情動作を精密に検出
することが可能となる。これにより、実時間で表情の変
化が検出可能となり、さらに表情の検出力を向上させる
ことが可能となる。
【００５０】また、表情変化を画像情報で送信するのに
対して、収縮率を表情パラメータ（約数１０個）として
送ることにより情報量の圧縮が可能となる。
対して、収縮率を表情パラメータ（約数１０個）として
送ることにより情報量の圧縮が可能となる。
【図１】本発明の実施の形態における表情検出装置１の
全体構成を示す概略ブロック図である。
全体構成を示す概略ブロック図である。
【図２】図１に示す表情検出装置１の処理の概要を説明
するためのフローチャートである。
するためのフローチャートである。
【図３】図１に示す特徴点追跡部３における特徴点の選
択処理について説明するためのフローチャートである。
択処理について説明するためのフローチャートである。
【図４】特徴点の選択処理の結果について説明するため
の図である。
の図である。
【図５】図１に示す特徴点追跡部３における特徴点の追
跡処理について説明するためのフローチャートである。
跡処理について説明するためのフローチャートである。
【図６】ドロネー網構成部４における処理の結果を説明
するための図である。
するための図である。
【図７】ドロネー網を用いて点の動きを算出する処理の
概要を説明するための図である。
概要を説明するための図である。
【図８】基本的な表情動作について説明するための図で
ある。
ある。
【図９】図１に示す筋肉収縮率算出部５の要部の構成を
示すブロック図である。
示すブロック図である。
【図１０】表情筋モデルと表情動作との関係を説明する
ための図である。
ための図である。
【図１１】線形筋対応収縮率算出部１０の構成の概要を
示すブロック図である。
示すブロック図である。
【図１２】線形筋対応収縮率算出部１０の処理の概要を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図１３】楕円筋対応収縮率算出部１２の構成の概要を
示すブロック図である。
示すブロック図である。
【図１４】楕円筋対応収縮率算出部１２の処理の概要を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図１５】関節筋対応収縮率算出部１４における頭部モ
デルについて説明するための図である。
デルについて説明するための図である。
【図１６】関節筋対応収縮率算出部１４の構成の概要を
示すブロック図である。
示すブロック図である。
【図１７】関節筋対応収縮率算出部１４の処理の概要を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図１８】表情動作と基本的な６表情との関係を説明す
るための図である。
るための図である。
１ 表情検出装置 ２ 画像入力部 ３ 特徴点追跡部 ４ ドロネー網構成部 ５ 筋肉収縮率算出部 ６ 出力部 ７ ビデオカメラ ８ 表示装置 １０ 線形筋対応収縮率算出部 １２ 楕円筋対応収縮率算出部 １４ 関節筋対応収縮率算出部 ２０、３０、４０ データ入力部 ２２、３２ 線形補間実行部 ２４、３４ 比計算部 ２６、３６ 収縮率出力部 ４２ 回転角変化量算出部 ４４ 変化量積算部 ４６ あご回転角出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Ｆターム(参考） 5B057 AA07 CA13 CB13 CB16 CD18 CG06 CH01 DB03 DC05 5L096 AA09 BA02 BA18 CA02 CA04 DA01 EA02 EA23 FA12 FA34 FA45 FA67 FA68 GA09 HA04
Claims (3)
- 【請求項１】 表情筋をモデル化した表情筋モデルを用
いて前記表情筋の収縮に起因する表情動作を検出する表
情検出装置であって、 第１フレームの画像を用いて、頭部領域における特徴点
を選択する選択手段と、 連続する各フレームの画像において、前記特徴点を追跡
する追跡手段と、 各フレームの画像ごとに、前記特徴点の変位に応じて前
記表情筋モデルを変化させることにより、前記表情筋の
収縮率を算出する収縮率算出手段とを備える、表情検出
装置。 - 【請求項２】 前記表情筋は、 第１の表情筋と、 前記第１の表情筋と異なる第２の表情筋とを含み、 前記表情筋モデルは、 前記第１の表情筋に対応する線分モデルと、 前記第２の表情筋に対応する楕円モデルとを含み、 前記収縮率算出手段は、 各フレームの画像ごとに、前記特徴点に基づきドロネー
網を構成する構成手段と、 前記第１の表情筋の収縮率を算出する第１の算出手段
と、 前記第２の表情筋の収縮率を算出する第２の算出手段と
を含み、 前記第１の算出手段は、 各フレームの画像ごとに、対応する前記ドロネー網を用
いて前記線分モデルの座標を変化させる第１の変位手段
と、 各フレームの画像ごとに、前記第１フレームの画像にお
ける前記線分モデルの長さと前記変化後の線分モデルの
長さとの比を求める手段とを含み、 前記第２の算出手段は、 各フレームの画像ごとに、対応する前記ドロネー網を用
いて前記楕円モデルの座標を変化させる第２の変位手段
と、 各フレームの画像ごとに、前記第１フレームの画像にお
ける前記楕円モデルの周長と前記変化後の楕円モデルの
周長さとの比を求める手段とを含む、請求項１記載の表
情検出装置。 - 【請求項３】 前記選択手段は、 前記第１フレームの画像を構成するピクセルごとに、輝
度勾配の相関行列を算出する手段と、 各前記相関行列における第１固有値と前記第１固有値よ
り小さい第２固有値とを算出する手段と、 前記第２固有値の大きい順に、所定数のピクセルを前記
特徴点として選択する手段とを含む、請求項１記載の表
情検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11058785A JP2000259831A (ja) | 1999-03-05 | 1999-03-05 | 表情検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11058785A JP2000259831A (ja) | 1999-03-05 | 1999-03-05 | 表情検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000259831A true JP2000259831A (ja) | 2000-09-22 |
Family
ID=13094241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11058785A Pending JP2000259831A (ja) | 1999-03-05 | 1999-03-05 | 表情検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000259831A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020046515A (ko) * | 2000-12-14 | 2002-06-21 | 오지수 | 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 |
| KR20020048462A (ko) * | 2000-12-16 | 2002-06-24 | 오지수 | 웹과 오프라인에서 실시간 2d / 3d 렌더링기술 |
| JP2006155084A (ja) * | 2004-11-26 | 2006-06-15 | Olympus Corp | 情報端末装置及び状態表示システム |
| EP1921498A2 (en) | 2006-10-31 | 2008-05-14 | Sony Corporation | Image storage device, imaging device, image storage method and program |
| US8407055B2 (en) | 2005-08-05 | 2013-03-26 | Sony Corporation | Information processing apparatus and method for recognizing a user's emotion |
| CN110263671A (zh) * | 2019-05-30 | 2019-09-20 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| WO2021171538A1 (ja) * | 2020-02-28 | 2021-09-02 | 三菱電機株式会社 | 表情認識装置及び表情認識方法 |
-
1999
- 1999-03-05 JP JP11058785A patent/JP2000259831A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020046515A (ko) * | 2000-12-14 | 2002-06-21 | 오지수 | 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 |
| KR20020048462A (ko) * | 2000-12-16 | 2002-06-24 | 오지수 | 웹과 오프라인에서 실시간 2d / 3d 렌더링기술 |
| JP2006155084A (ja) * | 2004-11-26 | 2006-06-15 | Olympus Corp | 情報端末装置及び状態表示システム |
| JP4573634B2 (ja) * | 2004-11-26 | 2010-11-04 | オリンパス株式会社 | 情報端末装置及び状態表示システム |
| US8407055B2 (en) | 2005-08-05 | 2013-03-26 | Sony Corporation | Information processing apparatus and method for recognizing a user's emotion |
| EP1921498A2 (en) | 2006-10-31 | 2008-05-14 | Sony Corporation | Image storage device, imaging device, image storage method and program |
| EP1921498A3 (en) * | 2006-10-31 | 2008-12-17 | Sony Corporation | Image storage device, imaging device, image storage method and program |
| US8254639B2 (en) | 2006-10-31 | 2012-08-28 | Sony Corporation | Image storage device, imaging device, image storage method, and program |
| CN110263671A (zh) * | 2019-05-30 | 2019-09-20 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| CN110263671B (zh) * | 2019-05-30 | 2023-03-31 | 量子动力（深圳）计算机科技有限公司 | 一种可快速标定肌肉特征的面具及其加工方法 |
| WO2021171538A1 (ja) * | 2020-02-28 | 2021-09-02 | 三菱電機株式会社 | 表情認識装置及び表情認識方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379996B2 (en) | Deformable object tracking | |
| Mao et al. | Using Kinect for real-time emotion recognition via facial expressions | |
| Terzopoulos et al. | Analysis and synthesis of facial image sequences using physical and anatomical models | |
| Wang et al. | Video analysis of human dynamics—a survey | |
| Chen et al. | 3D model-based continuous emotion recognition | |
| CN110083202A (zh) | 与近眼显示器的多模交互 | |
| KR102441171B1 (ko) | 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법 | |
| CN114219878A (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
| JP2008102902A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| Velloso et al. | AutoBAP: Automatic coding of body action and posture units from wearable sensors | |
| CN111479087A (zh) | 3d监控场景控制方法、装置、计算机设备及存储介质 | |
| Kowalski et al. | Holoface: Augmenting human-to-human interactions on hololens | |
| JP2000259831A (ja) | 表情検出装置 | |
| Jazouli et al. | A $ P recognizer for automatic facial emotion recognition using Kinect sensor | |
| Otsuka et al. | Extracting facial motion parameters by tracking feature points | |
| CN116645717A (zh) | 一种基于PCANet+和LSTM的微表情识别方法及*** | |
| EP4123588A1 (en) | Image processing device and moving-image data generation method | |
| CN115937432A (zh) | 基于多模态输入的人体动作重建***及方法 | |
| JP5092093B2 (ja) | 画像処理装置 | |
| TWI240891B (en) | Method of controlling the computer mouse by tracking user's head rotation and eyes movement | |
| JP6461394B1 (ja) | 画像生成装置及び画像生成プログラム | |
| Bevacqua et al. | Multimodal sensing, interpretation and copying of movements by a virtual agent | |
| Tao et al. | Tracking facial features using probabilistic network | |
| CN111784808A (zh) | 一种基于交叉映射的面部动画构建方法 | |
| Hou et al. | Smooth adaptive fitting of 3D face model for the estimation of rigid and nonrigid facial motion in video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030708 |