JP5276454B2 - 表情測定方法、表情測定プログラムならびに表情測定装置 - Google Patents
表情測定方法、表情測定プログラムならびに表情測定装置 Download PDFInfo
- Publication number
- JP5276454B2 JP5276454B2 JP2009009462A JP2009009462A JP5276454B2 JP 5276454 B2 JP5276454 B2 JP 5276454B2 JP 2009009462 A JP2009009462 A JP 2009009462A JP 2009009462 A JP2009009462 A JP 2009009462A JP 5276454 B2 JP5276454 B2 JP 5276454B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- feature
- feature point
- points
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この文献では、解析手段としてオプティカルフローを用いており、顔全体の中から変化の大きい部分を捉えることができるほか、画像中の任意の領域を指定して、その領域における移動量の平均値等を求めることができるようになっている。
この文献では、左右対称となる部位を特徴点として定め、その対称となる特徴点どうしのX座標・Y座標の差を、それぞれ2乗した上で重みづけしたものを加算し、表情の左右対称度を表す診断データX1を計算している。また、目のまわりにあって左右対称となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、目の緊張度を表す診断データX2を計算している。また、頬面の重心となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、頬の緊張度を表す診断データX3を計算している。また、左右口角の内側と外側となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、口角の角度を表す診断データX4を計算している。
この文献では、顔画像の唇の左右端2点、右眉の左右端2点、左眉の左右端2点の相対的移動変化量から、「驚き」、「面白さ」、「困惑」、「納得」、「面白さ」、などといった心理状態を推定している。また、移動変化量(位置変化率)として、各点のX座標、Y座標の変化をXY平面にプロットし、そのプロットされた点がどの領域に属するかで、心理状態を特定している。
また、精神疾患の症状の一つとして、被検者の顔面の左側の動きと右側の動きとの間に時間的なズレ(時間差)があることが知られている。したがって、そのような左側の動きと右側の動きとの間の時間差を求めるための技術が求められる。
また、本発明第7の構成による表情測定プログラムは、被検者の顔面の動画像を取得するステップS1と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から1以上の特徴点を不動特徴点として抽出するステップS2と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を左側可動特徴点として抽出するステップS3と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を右側可動特徴点として抽出するステップS4と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップS5と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップS6と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第8の構成による表情測定装置は、被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、被検者の顔の動画像を取得する手順1と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から1以上の特徴点を不動特徴点として抽出する手順2と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を左側可動特徴点として抽出する手順3と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を右側可動特徴点として抽出する手順4と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順5と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順6と、からなる表情測定プログラムを備えたことを特徴としている。
また、本発明第4の構成による表情測定方法は、第1または第2の発明の構成に加え、前記手順2では、前記不動特徴点を1以上抽出し、前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ2以上抽出し、前記手順5では、前記不動特徴点1つと前記左側可動特徴点2つの3点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、前記手順6では、前記不動特徴点1つと前記右側可動特徴点2つの3点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第5の構成による表情測定方法は、第1または第2の発明の構成に加え、前記手順2では、前記不動特徴点を2以上抽出し、前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ1以上抽出し、前記手順5では、前記不動特徴点2つと前記左側可動特徴点1つの3点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、前記手順6では、前記不動特徴点2つと前記右側可動特徴点1つの3点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第6の構成による表情測定方法は、第1または第2の発明の構成に加え、前記手順2では、前記不動特徴点を2以上抽出し、前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ2以上抽出し、前記手順5では、前記不動特徴点を基準とする座標系における前記不動特徴点2つと前記左側可動特徴点1つの3点または前記不動特徴点1つと前記左側可動特徴点2つの3点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、前記手順6では、前記不動特徴点を基準とする座標系における前記不動特徴点2つと前記右側可動特徴点1つの3点または前記不動特徴点1つと前記右側可動特徴点2つの3点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
図1は、実施例1にかかる表情測定装置の構成を示す説明図である。
図1において、表情測定装置10は、情報処理装置(計算機11)と、ビデオカメラ12を備える。計算機11は外部装置としてディスプレイ11fとキーボード11gを備えており、検査者2は、ディスプレイ11fとキーボード11gにより表情測定装置10を制御し、あるいは、表情測定結果の観察等を行う。
また、ビデオカメラ12は被検者1の顔部を撮影するものであり、計算機11の内部に備えるビデオキャプチャ11eによって映像を取得する。ビデオカメラ12のフレームレートは30〜60FPS(Frame Per Second)程度である。
計算機11は、このほか、CPU(中央演算処理装置)11aと、クロック11bと、ディスプレイ11fに画像信号を送信するグラフィックカード11cと、キーボード11gからの入力信号を受信する入力端子11dと、プログラム記憶領域14およびデータ記憶領域15の記憶領域が確保された記憶装置13と、メモリ16をその内部に備える。
メモリ16には、被検者1の表情を測定する過程で生成される各種のデータ(たとえば、不動特徴点座標16a、左側可動特徴点座標16b、右側可動特徴点座標16c、元画像データ16dなど)が一時的に記憶される。これらの各データの内容については、後で説明する。
そして、プログラム記憶領域14には、ビデオキャプチャ11eによって取得された画像を元画像データ16dとして記録するビデオ画像取得プログラム14aと、元画像データ16dから被検者1の表情の左右の変化を測定する表情測定プログラム14bが記録されている。表情測定プログラム14bの処理内容については後で説明する。
ビデオ画像取得プログラム14aにより、被検者1の顔画像が元画像データ16dとして記録される度に、表情測定プログラム14bがステップS1〜ステップS7の処理を行う。すなわち、ビデオ画像取得プログラム14bは、ビデオカメラ12のフレームレートと同じ間隔で繰り返し処理を行うこととなる。
不動特徴点は、表情の変化が現れにくい、被検者1の目頭、鼻の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図3に示すように、被検者1の目頭31L、31Rのほか、鼻の部位に貼り付けたマーカ33の位置をこの画像データから算出し、その座標を不動特徴点座標16aとしてメモリ16に記録する。
具体的な抽出方法については、このあとの実施例2〜3で説明する。
左側可動特徴点(右側可動特徴点)は、表情の変化が現れやすい、被検者1の眉毛の両端、眼尻、頬、口角の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図3に示すように、被検者1の眼尻32L、32Rのほか、頬の部位に貼り付けたマーカ35L、35R、口角の部位に貼り付けたマーカ36L、36Rの位置を画像データから算出し、その座標を左側可動特徴点座標16b(右側可動特徴点座標16c)としてメモリ16に記録する。
具体的な抽出方法については、このあとの実施例2〜3で説明する。
なお、算出された特徴量は、左側特徴量15a(右側特徴量15b)としてデータ記憶領域15に記録する。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
また、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
図3の例でいえば、ステップS2にて鼻部分のマーカ33に対応する不動特徴点を抽出し、ステップS3(ステップS4)にて左口角(右口角)付近のマーカ36L(36R)に対応する左側可動特徴点(右側不動特徴点)を抽出する。
そして、図4(a)に示すように、ステップS5では、マーカ33に対応する不動特徴点と、マーカ36Lに対応する左側可動特徴点との間の距離XLを左側特徴量として算出し、ステップS6では、不動特徴点とマーカ36Rに対応する右側可動特徴点との間の距離XRを右側特徴量として算出する。
図4(b)は、距離XLおよび距離XRを表す時系列データであり、被検者1の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点1つと可動特徴点1つの2点で定まる距離を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
図3の例でいえば、ステップS2にて鼻部分のマーカ33に対応する不動特徴点を抽出し、ステップS3(ステップS4)にて左頬(右頬)部分のマーカ35L(35R)と、左口角(右口角)付近のマーカ36L(36R)に対応する左側可動特徴点(右側不動特徴点)を抽出する。
そして、図5(a)に示すように、ステップS5では、マーカ35Lおよびマーカ36Lに対応する左側可動特徴点と、マーカ33に対応する不動特徴点とを結んだ2直線のなす角度θLを左側特徴量として算出し、ステップS6では、マーカ35Rおよびマーカ36Rに対応する右側可動特徴点と、マーカ33に対応する不動特徴点とを結んだ2直線のなす角度θRを右側特徴量として算出する方法がある。
図5(b)は、角度θLおよび角度θRを表す時系列データであり、被検者1の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる2つのベクトルで定義される内積の値を以って定量化する例が考えられる。
このように、不動特徴点1つと可動特徴点2つの3点で定まる角度、面積もしくは内積等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
図3の例でいえば、ステップS2にて両眼の目頭31Lおよび31Rに対応する不動特徴点を抽出し、ステップS3(ステップS4)にて左頬(右側)部分のマーカ35L(35R)に対応する左側可動特徴点(右側不動特徴点)を抽出する。
そして、図6(a)に示すように、ステップS5では、目頭31Rに対応する不動特徴点およびマーカ35Lに対応する左側可動特徴点と、目頭31Lに対応する不動特徴点とを結んだ2直線のなす角度θLを左側特徴量として算出し、ステップS6では、目頭31Lに対応する不動特徴点およびマーカ35Rに対応する右側可動特徴点と、目頭31Rに対応する不動特徴点とを結んだ2直線のなす角度θRを右側特徴量として算出する方法がある。
図6(b)は、角度θLおよび角度θRを表す時系列データであり、被検者1の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる2つのベクトルで定義される内積の値を以って定量化する例が考えられる。
図7(b)は、座標(XL,YL)および座標(XR,YR)を表す時系列データであり、被検者1の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点2つと可動特徴点1つの3点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
図3の例でいえば、ステップS2にて両眼の目頭31Lおよび31Rに対応する不動特徴点を抽出し、ステップS3(ステップS4)にて左眼尻(右眼尻)部分32L(32R)と、左口角(右口角)付近のマーカ36L(36R)に対応する左側可動特徴点(右側不動特徴点)を抽出する。
そして、図8(a)に示すように、ステップS5では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、左眼尻32L、マーカ36Lおよび目頭31Lの三点で定義される三角形の重心位置座標(XL,YL)を左側特徴量として算出し、ステップS6では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、右眼尻32R、マーカ36Rおよび目頭31Rの三点で定義される三角形の重心位置座標(XR,YR)を左側特徴量として算出する方法がある。
図8(b)は、座標(XL,YL)および座標(XR,YR)を表す時系列データであり、被検者1の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点2つと可動特徴点2つの4点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
実施例2は、被検者1の顔が撮影された元画像データ16dから、被検者1の顔面に貼り付けたマーカの位置を特定するための方法について説明している。
そして、マーカ33、35L、35R、36L、36Rは白と黒の2色で構成されており、元画像データ16dの各画素の明るさで閾値を定め、画像処理を行うことで、これらマーカを抜き出すことが可能である。すなわち、元画像データ16dの画素のうち、マーカの外輪を抽出するため、一定値以上の暗さとなる部分を図9(a)のように抜き出す。抜き出した画像には、マーカ35R、36R、33、36L、35Lに対応する領域91a〜95aのほか、マーカに対応しない領域96〜99が含まれることがある。したがって、抜き出した領域がマーカであることを確認するために、図9(a)の各領域91a〜95a、96〜99の中から、一定値以上の明るさとなる部分を図9(b)のように抜き出す。領域91b〜95bのように、白と黒の2色で構成される領域であれば、これらがマーカであると判断して、各領域91a〜95aの中心部分が不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定される。
実施例3は、被検者1の顔が撮影された元画像データ16dから、マーカを用いることなしに被検者1の眼の位置を、特定するための方法について説明している。
図10において、101は元画像データ16dの微分画像であり、被検者1の瞼の淵部分などといった被検者の眼の特徴的部分が現れる。積算方向102に従って、各画素の明るさを積算してゆくと、その横方向ヒストグラムが103の通りとなり、ヒストグラムが最大値104を取るライン105上に瞼があると推測できる。
図11において、111はその切り出し画像であり、被験者のプルキンエ像を取る瞳孔の中心部分が現れる。積算方向112に従って各画素の明るさを積算してゆくと、そのヒストグラムが113の通りとなり、ヒストグラムが極大値114L、114Rを取る2つのライン115L、115R上に眼の中心があると推測できる。そして、3つのライン105、115L、115Rの交差する2点を基準として、被検者の左眼の領域116L、右眼の領域116Rを特定することができる。
こういった問題を解消するため、ひとつ前のコマにて撮影したフレーム画像で特定された眼尻や目頭の位置の情報を活用しながら、あるいは、別の画像処理技術を活用しながら、眼尻や目頭の位置を特定することが好ましい。
2 検査者
10 表情測定装置
11 計算機
11a CPU
11b クロック
11c グラフィックカード
11d 入力端子
11e ビデオキャプチャ
11f ディスプレイ
11g キーボード
12 ビデオカメラ
13 記憶装置
14 プログラム記憶領域
14a ビデオ画像取得プログラム
14b 表情測定プログラム
15 データ記憶領域
15a 左側特徴量
15b 右側特徴量
15c 画像データ
16 メモリ
16a 不動特徴点座標
16b 左側可動特徴点座標
16c 右側可動特徴点座標
16d 元画像データ
17 赤外照明
33、35L、35R、36L、36R マーカ
31L、31R 目頭
32L、32R 眼尻
91a〜95a、91b〜95b、96〜99 領域
101 微分画像
102、112 積算方向
103 横方向ヒストグラム
104 最大値
105 横方向ライン
106 切り出し領域
111 切り出し画像
113 縦方向ヒストグラム
114L、114R 極大値
115L、115R 縦方向ライン
116L 左眼領域
116R 右眼領域
Claims (8)
- 被検者の顔の動画像を取得する手順1と、
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第1のヒストグラムを生成し、第1のヒストグラムが最大値に対応する前記微分画像の第1のラインを指定し、前記微分画像から、第1のラインを含む周囲領域を切り出す手順1Aと、
第1のラインを含む周囲領域の画素値を縦方向で積算して得られる第2のヒストグラムを生成し、第2のヒストグラムの2つの極大値に対応する第2のラインおよび第3のラインを指定し、第2のラインおよび第3のラインが第1のラインと交差する2点を基準として、前記被検者の左眼の領域および右眼の領域を特定する手順1Bと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から1以上の特徴点を不動特徴点として抽出する手順2と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を左側可動特徴点として抽出する手順3と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を右側可動特徴点として抽出する手順4と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順5と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順6と、
を含み、
手順2ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
手順3ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
手順4ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことによって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定方法。 - 前記手順2では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、
前記手順3および手順4では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出する
ことを特徴とする請求項1に記載の表情測定方法。 - 前記手順2では、前記不動特徴点を1以上抽出し、
前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ1以上抽出し、
前記手順5では、前記不動特徴点1つと前記左側可動特徴点1つとの間の距離を前記左側特徴量として算出し、
前記手順6では、前記不動特徴点1つと前記右側可動特徴点1つとの間の距離を前記右側特徴量として算出する
ことを特徴とする請求項1または請求項2に記載の表情測定方法。 - 前記手順2では、前記不動特徴点を1以上抽出し、
前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ2以上抽出し、
前記手順5では、前記不動特徴点1つと前記左側可動特徴点2つの3点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、
前記手順6では、前記不動特徴点1つと前記右側可動特徴点2つの3点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項1または請求項2に記載の表情測定方法。 - 前記手順2では、前記不動特徴点を2以上抽出し、
前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ1以上抽出し、
前記手順5では、前記不動特徴点2つと前記左側可動特徴点1つの3点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、
前記手順6では、前記不動特徴点2つと前記右側可動特徴点1つの3点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項1または請求項2に記載の表情測定方法。 - 前記手順2では、前記不動特徴点を2以上抽出し、
前記手順3および前記手順4では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ2以上抽出し、
前記手順5では、前記不動特徴点を基準とする座標系における前記不動特徴点2つと前記左側可動特徴点1つの3点または前記不動特徴点1つと前記左側可動特徴点2つの3点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、
前記手順6では、前記不動特徴点を基準とする座標系における前記不動特徴点2つと前記右側可動特徴点1つの3点または前記不動特徴点1つと前記右側可動特徴点2つの3点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項1または請求項2に記載の表情測定方法。 - 被検者の顔面の動画像を取得するステップS1と、
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第1のヒストグラムを生成し、第1のヒストグラムが最大値に対応する前記微分画像の第1のラインを指定し、前記微分画像から、第1のラインを含む周囲領域を切り出すステップ1Aと、
第1のラインを含む周囲領域の画素値を縦方向で積算して得られる第2のヒストグラムを生成し、第2のヒストグラムの2つの極大値に対応する第2のラインおよび第3のラインを指定し、第2のラインおよび第3のラインが第1のラインと交差する2点を基準として、前記被検者の左眼の領域および右眼の領域を特定するステップ1Bと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から1以上の特徴点を不動特徴点として抽出するステップS2と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を左側可動特徴点として抽出するステップS3と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を右側可動特徴点として抽出するステップS4と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップS5と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップS6と、
を含み、
ステップS2ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
ステップS3ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
ステップS4ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことによって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定プログラム。 - 被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、
前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、
被検者の顔の動画像を取得するステップS1と、
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第1のヒストグラムを生成し、第1のヒストグラムが最大値に対応する前記微分画像の第1のラインを指定し、前記微分画像から、第1のラインを含む周囲領域を切り出すステップ1Aと、
第1のラインを含む周囲領域の画素値を縦方向で積算して得られる第2のヒストグラムを生成し、第2のヒストグラムの2つの極大値に対応する第2のラインおよび第3のラインを指定し、第2のラインおよび第3のラインが第1のラインと交差する2点を基準として、前記被検者の左眼の領域および右眼の領域を特定するステップ1Bと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から1以上の特徴点を不動特徴点として抽出するステップS2と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を左側可動特徴点として抽出するステップS3と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から1以上の特徴点を右側可動特徴点として抽出するステップS4と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップS5と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップS6と、
を含み、
ステップS2ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
ステップS3ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
ステップS4ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことからなる表情測定プログラムを備えた表情測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009462A JP5276454B2 (ja) | 2009-01-20 | 2009-01-20 | 表情測定方法、表情測定プログラムならびに表情測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009462A JP5276454B2 (ja) | 2009-01-20 | 2009-01-20 | 表情測定方法、表情測定プログラムならびに表情測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010166939A JP2010166939A (ja) | 2010-08-05 |
JP5276454B2 true JP5276454B2 (ja) | 2013-08-28 |
Family
ID=42699620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009009462A Expired - Fee Related JP5276454B2 (ja) | 2009-01-20 | 2009-01-20 | 表情測定方法、表情測定プログラムならびに表情測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5276454B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469179B (zh) * | 2014-12-22 | 2017-08-04 | 杭州短趣网络传媒技术有限公司 | 一种将动态图片结合到手机视频中的方法 |
JP6467966B2 (ja) * | 2015-02-13 | 2019-02-13 | オムロン株式会社 | 健康管理補助装置及び健康管理補助方法 |
JP6651366B2 (ja) * | 2015-03-31 | 2020-02-19 | ポーラ化成工業株式会社 | 顔の見た目印象の決定因子の抽出方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236759A (ja) * | 2001-02-08 | 2002-08-23 | New Industry Research Organization | 遠隔看護システム |
JP2003044873A (ja) * | 2001-08-01 | 2003-02-14 | Univ Waseda | 顔の3次元モデルの作成方法及びその変形方法 |
JP2005196645A (ja) * | 2004-01-09 | 2005-07-21 | Nippon Hoso Kyokai <Nhk> | 情報提示システム、情報提示装置、及び情報提示プログラム |
JP2006305260A (ja) * | 2005-04-28 | 2006-11-09 | Ichiro Hagiwara | 表情診断支援装置 |
JP4799105B2 (ja) * | 2005-09-26 | 2011-10-26 | キヤノン株式会社 | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2008204200A (ja) * | 2007-02-20 | 2008-09-04 | Space Vision:Kk | 顔解析システム及びプログラム |
-
2009
- 2009-01-20 JP JP2009009462A patent/JP5276454B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010166939A (ja) | 2010-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4876687B2 (ja) | 注目度計測装置及び注目度計測システム | |
EP2772828B1 (en) | Individual body discrimination device and individual body discrimination method | |
JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
JP4929828B2 (ja) | 立体性認証方法、立体性認証装置および立体性認証プログラム | |
Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
CN108875485A (zh) | 一种底图录入方法、装置及*** | |
JP6908743B2 (ja) | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 | |
Datcu et al. | Noncontact automatic heart rate analysis in visible spectrum by specific face regions | |
US20080304736A1 (en) | Method of estimating a visual evaluation value of skin beauty | |
JP2011150595A (ja) | 顔形状評価装置、顔形状評価方法、及び顔形状評価プログラム | |
JP2012069133A (ja) | 立体性認証方法、立体性認証装置および立体性認証プログラム | |
JP2023073375A (ja) | 皮膚の歪み測定方法 | |
Sugimoto et al. | A method for detecting transitions of emotional states using a thermal facial image based on a synthesis of facial expressions | |
JP2009082338A (ja) | エントロピーを用いた肌の鑑別方法 | |
CN114999646A (zh) | 新生儿运动发育评估***、方法、装置及存储介质 | |
JP5276454B2 (ja) | 表情測定方法、表情測定プログラムならびに表情測定装置 | |
JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
CN111275754B (zh) | 一种基于深度学习的脸部痘印比例计算方法 | |
JP6709868B1 (ja) | 解析方法、解析システム及び解析プログラム | |
KR101779840B1 (ko) | 미소 검출 기반 얼굴 분석 장치 및 방법 | |
JP6886773B2 (ja) | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 | |
Malasinghe et al. | Remote heart rate extraction using microsoft kinecttm V2. 0 | |
Wong | Contactless heart rate monitor for multiple persons in a video | |
Rawat et al. | Real-Time Heartbeat Sensing with Face Video using a Webcam and OpenCV | |
Chen | Autonomic activity from human videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |