JP6166981B2 - 表情解析装置及び表情解析プログラム - Google Patents
表情解析装置及び表情解析プログラム Download PDFInfo
- Publication number
- JP6166981B2 JP6166981B2 JP2013166710A JP2013166710A JP6166981B2 JP 6166981 B2 JP6166981 B2 JP 6166981B2 JP 2013166710 A JP2013166710 A JP 2013166710A JP 2013166710 A JP2013166710 A JP 2013166710A JP 6166981 B2 JP6166981 B2 JP 6166981B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- image feature
- feature amount
- index
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims description 330
- 238000004364 calculation method Methods 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 72
- 238000004458 analytical method Methods 0.000 claims description 48
- 238000010195 expression analysis Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 description 83
- 230000008569 process Effects 0.000 description 39
- 238000012545 processing Methods 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 238000010606 normalization Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000000611 regression analysis Methods 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 6
- 230000008451 emotion Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 241001169121 Gabriella Species 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000010473 stable expression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
画像処理により人物の顔を表す顔画像に基づいて顔の表情を認識する表情認識技術が提案されている。認識される表情は、例えば、怒り、嫌悪、恐れ、幸福、悲しみ、驚き、といった基本6感情である。
例えば、非特許文献1には、顔画像の表情毎の強度を取得する方法が記載されている。この方法は、画像中の顔領域を検出し、顔領域を切り出して画像サイズを正規化し、正規化された顔画像を等分割し、各分割ブロックについての出力パターン毎の頻度を連結した顔画像特徴ベクトルを算出する過程を含む。この方法は、さらに、顔画像特徴ベクトルを独立変数とし、表情毎に学習処理により得られた回帰係数を用いて、表情毎の強度を計算する過程を含む。算出した強度の最大値に対応する表情が、認識された表情と定められる。
[2]の構成によれば、統合指標に対する強度と確率の寄与の表情による相違が考慮されるので、判定された表情の信頼性が向上する。
[3]の構成によれば、単純ベイズ推定法を用いることによって、簡素な処理によって第2の指標を計算することができる。また、ローカルバイナリパターンを用いることで、画像特徴量やその画像特徴量に応じた頻度の計算に係る処理量を低減することができる。また、ローカルバイナリパターンは、画素間の信号値の大小関係を示すものであるため、画像データの取得状況によって、例えば、照明状態に揺らぎが生じても頑健に表情を判定することができる。
前記第2指標計算部は、前記局所画像特徴量の出現頻度に基づく出力値を出力する弱識別器を前記分割ブロック毎に備え、前記弱識別器からの出力値を前記分割ブロック毎に重み付け加算して前記確率を計算する強識別器を表情毎に備えることを特徴とする。
[4]の構成によれば、分割ブロック毎に、局所画像特徴量の第2の指標への寄与が考慮されるので、判定された表情の信頼性が向上する。
前記表情決定部は、予め定めた区間における表情毎の統合指標の平均値又は総和値が最大となる表情を定めることを特徴とする。
[5]の構成によれば、被写体となる人物の表情が一時的に変化しても、統合指標の平均値又は総和値をとることで変化による統合指標の変化が緩和されるため安定した表情の認識を行うことができる。
前記表情決定部は、予め定めた区間に含まれるフレーム毎の統合指標の最大値について当該区間内の総和値が最大となる表情を定めることを特徴とする。
[6]の構成によれば、被写体となる人物の表情が一時的に変化しても、統合指標の最大値について予め定めた区間内の総和値をとるため、表情の変化による統合指標の変化が緩和されるため安定した表情の認識を行うことができる。
本実施形態に係る表情解析装置1の構成について説明する。
図1は、本実施形態に係る表情解析装置1の構成を示すブロック図である。
表情解析装置1は、画像データ取得部101、顔領域抽出部102、画像特徴量計算部105、第1指標計算部106、第2指標計算部108、及び表情決定部109を含んで構成される。
顔領域抽出部102は、その機能構成として、顔領域検出部103と解析領域決定部104とを含んで構成される。
顔領域検出部103は、顔検出処理において、公知の顔検出処理(例えば、AdaBoost)を用いる。AdaBoostを用いた顔検出処理は、例えば、PAUL VIOLA,MICHEAL J.JONES,“Robust Real−Time Face Detection”,International Journal of Computer Vision, 2004,Vol.57,No.2,137−154に開示されている。その他、顔領域検出部103は、特開2005−49854号公報に記載の顔検出処理を用いてもよい。
また、画像特徴量計算部105は、解析領域データが示す解析領域における画素毎の信号値に基づいて局所画像特徴量を計算する。計算した局所画像特徴量を第2指標計算部108に出力する。
局所画像特徴量は、画像の局所的な特徴を示す画像特徴量である。以下の説明では、局所画像特徴量を、単に局所特徴量と呼ぶことがある。画像特徴量計算部105は、例えば、LBP(Local Binary Patterns;ローカルバイナリパターン)を用いてもよい。LBPは、解析領域に含まれる注目画素の信号値と、注目画素の周辺の画素(周辺画素)の信号値との大小関係を二値化したパターン(バイナリパターン)を示す特徴量である。
画像特徴量計算部105は、解析領域に含まれる各画素(但し、解析領域の外縁の画素を除く)についてLBPを算出してもよいし、水平方向又は垂直方向に予め定めた間隔(例えば、2画素)でLBPを算出してもよい。LBPの算出例については、後述する。
表情強度推定部107は、画像特徴量計算部105から入力された画像特徴量に基づいて表情毎の強度を示す表情強度値を推定し、推定した表情強度値を正規化部107’に出力する。表情強度推定部107は、表情毎に予め定めたパラメータを用いて回帰分析処理を行って、それぞれの表情の表情強度値を計算する。これにより、表情毎の主観的な強度を示す表情強度値が得られる。回帰分析処理に用いるパラメータは、予め事前学習を行って定めておく。回帰分析処理の例については、後述する。
正規化部107’は、例えば式(1)に示すように表情毎の表情強度値Ieを、表情強度の表情間の総和で除算(正規化)して、画像特徴量[X]が与えられているときに、それぞれの表情eの正規化した強度p1(e|[X])を第1指標として計算する。[…]は、ベクトル又は行列を示す。
表情決定部109は、表情を定める際、例えば、式(2)に示すように第1指標と第2指標を対数領域で所定の重み付けにより加算する。
式(2)は、第1指標の対数値log(p1(e|[X]))に重み係数を乗ずる例を示しているが、これには限られず、第2指標の対数値log(p2(e|l1,l2,…,ln))に重み係数を乗じてもよい。
以下の説明では、表情決定部109での重み付け加算とは、特に断らない限り対数領域での重み付け加算を意味し、線形領域での重み係数によるべき乗値の乗算も含む。線形領域での重み係数によるべき乗値の乗算は、対数領域での重み付け加算に相当するためである。
即ち、表情決定部109は、式(2)を用いる代わりに式(3)を用いて表情e’を定めてもよい。
これにより、統合指標に対する第1指標と第2指標の寄与における表情による相違が考慮されるので、判定された表情の信頼性が向上する。
次に、第2指標、即ち確率p2(e|l1,l2,…,ln)を計算する処理の例として単純ベイズ推定法を用いる例について説明する。
第2指標計算部108は、例えば、式(4)を用いて、確率p2(e|l1,l2,…,ln)と比例関係にあるq2(e|l1,l2,…,ln)を計算する。
局所画像特徴量lkの頻度が多項分布に従うと仮定すると,p(lk|e)は、式(7)に示すように、上述した度数t(e,lk)を用いて定めることができる。
次に、本実施形態に係る表情強度推定部107の構成について説明する。
図2は、本実施形態に係る表情強度推定部107の構成を示すブロック図である。
表情強度推定部107は、入力された画像特徴量[X]に対して独立に回帰分析処理を行って表情強度値を計算する構成部を表情毎に有する。例えば、表情強度推定部107は、怒り回帰部1071、嫌悪回帰部1072、恐れ回帰部1073、幸福回帰部1074、悲しみ回帰部1075、及び驚き回帰部1076を含んで構成される。これらの構成部は、それぞれの感情e、つまり、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」のそれぞれに係る表情強度値Ieを正規化部107’に出力する。
線形回帰分析処理は、式(8)に示すように入力である画像特徴量[X]に対して線形となる出力として対応する表情eの表情強度値Ieを計算する処理である。
次に、パラメータの事前学習について説明する。
事前学習を行う際、画像データ、その画像データが示す顔についての表情毎の表情強度値及び表情を対応付けた学習用データのセットを、多数(例えば、1,000個又はそれよりも多い)含む画像データベースが記憶された記憶媒体を準備しておく。事前学習では、学習用データのセットに含まれる表情毎の表情強度値と表情が、それぞれの教師値(supervised value)として用いられる。
なお、評価者は一人でもよいし、複数でもよい。評価者が複数である場合、各評価者によって付された表情強度教師値の平均値を、事前学習に用いてもよい。
図3に示すように、画像データベースは、表情毎に、各人物のニュートラル顔表情からピーク顔表情までの度合いがそれぞれ異なる画像データと、その表情強度教師値がそれぞれ対応付けられたデータのセットで形成されている。図3に示す例では、表情教師値は、上から順に、それぞれ「幸福」、「幸福」、「驚き」、を示す4、4、6である。
ニュートラル顔表情とは、いずれの判定対象の表情も表れていない中立的な状態である。ニュートラル顔表情には、例えば、無表情、その他、判別困難な表情が該当する。ピーク顔表情とは、その表情が最も極端に表れた表情である。
また、表情が「驚き」について表情強度教師値は、それぞれ最低値0、最高値100である。ニュートラル顔表情、ピーク顔表情に対して表情強度教師値は、それぞれ最低値0、最高値100である。表情強度教師値は、例えば、第3行目の左端から右端に順に、0、7、43、88、100となる。
Patrick Lucey,Jeffrey F. Cohn,Takeo Kanade,Jason Saragih and Zara Ambadar,“The Extended Cohn−Kanade Dataset (CK+): A Complete dataset for action unit and emotion−specified expression”, the Third IEEE Workshop on CVPR for Human Communicative Behavior Analysis,pp.94−101, 2010.
次に、顔領域データの例について説明する。
図4は、顔領域データの一例を示す図である。
図4には、上段から順に画像データ2、顔領域データ2aが示されている。
画像データ2は、ある人物の頸部よりも上部の画像を示すデータである。画像データ2の下部に示されている下向きの矢印は、画像データ2から顔領域データ2aが生成されることを示す。顔領域データ2aは、画像データ2から、例えば、Violaらが提案した顔検出方法を用いて抽出された顔を含む領域を示すデータである。この顔検出方法は、例えば、次の論文に記載されている。
P.Viola et al.”Robust Real−Time Face Detection”,International Journal of Computer Vision,vol.57, no.2,pp.137−154,2004.
抽出された顔領域データ2aは、その後、所定のサイズ(例えば、水平画素数LX×垂直画素数LY)に正規化した画像を示す解析領域データ2b(図5)を生成するために用いられる。
図5の上段の解析領域データ2bに表されている格子は、解析領域が予め定めた大きさの分割ブロックに細分化されていることを示す。上述した実施形態では、この分割ブロック内のそれぞれについて、局所画像特徴量としてLBPが算出され、LBP毎の度数を示すヒストグラムが画像特徴量[X]として算出される。
本実施形態では、図5の下段に示されているように、解析領域データ2bは、表情を表す際に重要な手掛かりとなる部位が大部分を占める分割ブロックに細分化してもよい。例えば、分割ブロック3aには、両目と両眉が含まれる。分割ブロック3bには、鼻が含まれる。分割ブロック3cには、口が含まれる。そして、分割ブロック毎に、局所画像特徴量(例えば、LBP)、画像特徴量(例えば、前述のヒストグラム)が算出されてもよい。
なお、細分化された分割ブロックの形状は、上述したように四角形に限られず、任意の形状(例えば、円形、三角形、等)でよい。
局所画像特徴量として、LBPの例について説明する。
図6は、LBPの例を説明する図である。
LBPは、上述したように注目画素p0の信号値と、各周辺画素p1−p8の信号値との大小関係で二値化したバイナリパターンを示す特徴量である。図6の上部は、各画素が四角形で示され、それぞれの四角形では、p1等の符号が周辺画素p1等を示し、48等の数値が信号値を示す。周辺画素p1−p8は、いずれも注目画素p0に隣接する画素である。周辺画素p1−p8の順序は、注目画素の左上の周辺画素p1を起点として右回りである。
画像特徴量計算部105は、図6の下部に示すように、周辺画素p1−p8のそれぞれについて定められた数値(1又は0)を、上位の桁からより下位の桁に順次配列して8桁の二進数をLBPとして形成する。図6に示す例では、形成されたLBPは、01011000である。このLBPは、十進数で88に相当する。
図7は、算出されたヒストグラムの例を示す図である。
図7の左上部、右上部、下部は、ヒストグラム1、ヒストグラム2、連結ヒストグラムをそれぞれ示す。いずれのヒストグラムも、横軸は特徴量を示し、縦軸は特徴量毎の頻度を示す。
ヒストグラム1は、ある分割ブロック(分割ブロック1)について算出されたヒストグラムである。ヒストグラム2は、分割ブロック1とは異なる分割ブロック(分割ブロック2)について算出されたヒストグラムである。連結ヒストグラムは、分割ブロック1と分割ブロック2からなる解析領域全体について取得したヒストグラムである。連結ヒストグラムの上部に示された下向きの矢印は、連結ヒストグラムがヒストグラム1とヒストグラム2を横軸方向に連結して形成されたことを示す。この場合には、解析領域全体の画像特徴量の次元数は、分割ブロック1に係る次元数と分割ブロック2に係る次元数の和となる。
次に、本実施形態に係る表情認識処理について説明する。
図8は、本実施形態に係る表情認識処理の例を示すフローチャートである。
(ステップS101)画像データ取得部101には、フレーム毎に画像データが入力され、入力された画像データを顔領域抽出部102に出力する。その後、ステップS102に進む。
(ステップS102)顔領域抽出部102は、画像データ取得部101から入力された画像データが示す顔領域データを抽出し、抽出した顔領域データから解析領域データを定める。顔領域抽出部102は、定めた解析領域データを画像特徴量計算部105に出力する。
その後、ステップS103に進む。
(ステップS105)正規化部107’は、表情強度推定部107から入力された表情毎の表情強度値を正規化して、表情毎の強度を示す第1指標を計算し、計算した表情毎の第1指標を表情決定部109に出力する。その後、ステップS106に進む。
(ステップS106)第2指標計算部108は、画像特徴量計算部105から入力された局所画像特徴量に基づいて第2の演算を行って、それぞれの表情をとる第2指標を計算する。その後、ステップS107に進む。
(ステップS108)表情決定部109は、計算した統合指標が最も高い表情を定める。表情決定部109は、定めた表情を示す表情種別情報を表情解析装置1の外部に出力する。その後、図8に示す処理を終了する。
図9は、事前学習に係る処理の例を示すフローチャートである。
(ステップS201)画像データ取得部101には、学習用データのセット毎に、その一部である画像データが入力され、入力された画像データを顔領域抽出部102に出力する。その後、ステップS202に進む。
(ステップS202)表情強度推定部107には、入力された画像データに対応する表情強度教師値が入力される。また、表情決定部109には、入力された画像データに対応する表示教師値が入力される。その後、ステップS203に進む。
その後、ステップS204に進む。
(ステップS204)画像特徴量計算部105は、顔領域抽出部102から入力された解析領域データの画像特徴量を計算し、計算した画像特徴量を表情強度推定部107に出力する。また、画像特徴量計算部105は、その解析領域データの画像データについて局所画像特徴量を計算し、計算した局所画像特徴量を第2指標計算部108に出力する。その後、ステップS205に進む。
その後、図9に示す処理を終了する。
第1指標計算部106は、表情強度推定部107に代えて、表情強度推定部107aを備えてもよい。
図10は、表情強度推定部107aの構成例を示す図である。
表情強度推定部107aは、表情e毎にニューラルネットワークを用いて第2の演算を行い、表情毎の表情強度値を計算する強度推定部1071a〜1076aを備える。つまり、表情強度推定部107は、怒り強度推定部1071a、嫌悪強度推定部1072a、恐れ強度推定部1073a、幸福強度推定部1074a、悲しみ強度推定部1075a、及び驚き強度推定部1076aを含んで構成される。強度推定部1071a〜1076aのそれぞれは、入力された画像特徴量[X]を用いて、それぞれの感情e毎の表情強度値Ieを算出し、算出した表情強度値Ieをそれぞれ正規化部107’に出力する。
図11は、表情毎の強度推定部1071a〜1076aに含まれるニューラルネットワークの構成例を示す図である。
図11に示すニューラルネットワークは、神経回路網における入出力特性を模した処理部の階層を3層備える階層型ニューラルネットワークである。これらの階層は、左から順に入力層、中間層及び出力層である。
入力層、中間層、出力層には、それぞれI個、Im(Imは、1よりも大きい予め定めた整数、例えば、I)個、1個の節点(ニューロン)In−1〜In−I、Md−1〜Md−Im、Otを備える。
節点Md−1〜Md−Imは、それぞれの入力信号として要素X1〜XIをそれぞれの重み係数で重み付け加算して荷重和にバイアス値を加算して値uを算出する。節点Md−1〜Md−Imは、値uについての出力関数f(u)を用いて出力信号yを算出する。節点Md−1〜Md−Imは、生成した出力信号yを出力層の節点Otに出力する。
事前学習では、表情決定部109において学習用データを用いて算出した認識率が最大となるように、重み係数wと連立して節点毎のパラメータを定める。
図12は、表情強度推定部107bの構成例を示す図である。
表情強度推定部107bは、1個のニューラルネットワークを含んで構成され、全ての表情eのそれぞれに係る表情強度値Ieを出力する。表情強度推定部107bに含まれるニューラルネットワークは、出力層において表情e毎に節点Ot−e(eは、例えば、1から6までの整数)を備える点が、図11に示すニューラルネットワークと異なる。表情強度推定部107bに含まれるニューラルネットワークは、その他の点において図11に示すニューラルネットワークと同様である。
表情解析装置1は、第2指標計算部108に代えて、第2指標計算部108cを備えてもよい。
第2指標計算部108cは、画像特徴量計算部105から入力された画像特徴量[X]に基づいて、AdaBoost識別器を用いて、それぞれの表情eをとる確率p2(e|[X])を第2指標として計算する。画像特徴量[X]は、上述したように局所画像特徴量(例えば、LBP)毎の出現頻度を示すデータである。
AdaBoost識別器は、識別対象物を識別する複数の弱識別器(weak classifier)と、これらの弱識別器に対応付けられた強識別器(strong classifier)から形成される識別器である。以下の説明では、AdaBoost識別器を単にAdaBoostと呼ぶことがある。
第2指標計算部108cは、表情e(例えば、上述した「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」)毎のAdaBoost1081b−1〜1081b−6と、AdaBoost1081b−1〜1081b−6からの出力値に基づいて表情e毎の第2指標を計算する正規化部1082bを含んで構成される。各々のAdaBoost1081b−eは、複数の弱識別器w−e−1、w−e−2、…と、1つの強識別器s−eとで構成される。
正規化部1082bは、各AdaBoost1081b−eの出力値Oeを、全AdaBoost1081b−1〜1081b−eの出力値の総和で除した値を、その表情の第2指標p2(e|[X])として算出する。
また、表情決定部109は、その区間に含まれる、フレーム毎の統合指標の最大値のみを、各表情について加算して、各表情についての統合指標の総和値を計算してもよい。そして、表情決定部109は、計算した統合指標の総和値が最大となる表情(代表表情)をその区間における表情と定めてもよい。この場合も、判定される表情の揺らぎが緩和され、信頼度が向上する。
また、第1指標計算部106は、第1の演算として、画像特徴量[X]に基づいてAdaBoost識別器を用いて出力値を第1指標として計算してもよい。
103…顔領域検出部、104…解析領域決定部、105…画像特徴量計算部、
106…第1指標計算部、107、107a、107b…表情強度推定部、
107’…正規化部、108、108c…第2指標計算部、109…表情決定部
Claims (7)
- 取得した画像から顔が表された顔領域を抽出する顔領域抽出部と、
前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算部と、
前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第1の演算を行って表情毎の強度を計算する第1指標計算部と、
前記局所画像特徴量に基づいて第2の演算を行って表情毎の確率を計算する第2指標計算部と、
前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定部と、
を備える表情解析装置。 - 前記表情決定部は、前記強度と前記確率を表情毎に異なる係数で重み付けして前記統合指標を算出し、前記統合指標が最大となる表情を定めることを特徴とする請求項1に記載の表情解析装置。
- 前記局所画像特徴量は、ローカルバイナリパターンであって、
前記第2指標計算部は、前記第2の演算として単純ベイズ推定法を用いて前記表情毎の確率を計算することを特徴とする請求項1又は2に記載の表情解析装置。 - 前記第2指標計算部は、
前記局所画像特徴量の出現頻度に基づく出力値を出力する弱識別器を前記分割ブロック毎に備え、
前記弱識別器からの出力値を前記分割ブロック毎に重み付け加算して前記確率を計算する強識別器を表情毎に備えることを特徴とする請求項1から3のいずれかに記載の表情解析装置。 - 前記表情決定部は、予め定めた区間における表情毎の統合指標の平均値又は総和値が最大となる表情を定めることを特徴とする請求項1から4のいずれかに記載の表情解析装置。
- 前記表情決定部は、予め定めた区間に含まれるフレーム毎の統合指標の最大値について当該区間内の総和値が最大となる表情を定めることを特徴とする請求項1から4のいずれかに記載の表情解析装置。
- 表情解析装置が備えるコンピュータに、
取得した画像から顔が表された顔領域を抽出する顔領域抽出手順、
前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算手順、
前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第1の演算を行って表情毎の強度を計算する第1指標計算手順、
前記局所画像特徴量に基づいて第2の演算を行って表情毎の確率を計算する第2指標計算手順、
前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定手順、
を実行させるための表情解析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013166710A JP6166981B2 (ja) | 2013-08-09 | 2013-08-09 | 表情解析装置及び表情解析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013166710A JP6166981B2 (ja) | 2013-08-09 | 2013-08-09 | 表情解析装置及び表情解析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015035172A JP2015035172A (ja) | 2015-02-19 |
JP6166981B2 true JP6166981B2 (ja) | 2017-07-19 |
Family
ID=52543629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013166710A Active JP6166981B2 (ja) | 2013-08-09 | 2013-08-09 | 表情解析装置及び表情解析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6166981B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2964705T3 (es) * | 2016-05-06 | 2024-04-09 | Univ Leland Stanford Junior | Plataformas móviles y portátiles de captura y retroalimentación de vídeo para la terapia de trastornos mentales |
JP2018148528A (ja) | 2017-03-09 | 2018-09-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
JP6962123B2 (ja) * | 2017-10-04 | 2021-11-05 | 株式会社豊田中央研究所 | ラベル推定装置及びラベル推定プログラム |
JP2020188386A (ja) * | 2019-05-15 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
JP7474553B2 (ja) | 2021-01-15 | 2024-04-25 | Kddi株式会社 | 対象物の領域画像毎に異なる入力中間層を用いてラベルを推定するプログラム、装置及び方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4871552B2 (ja) * | 2004-09-10 | 2012-02-08 | パナソニック株式会社 | 情報処理端末 |
JP4240108B2 (ja) * | 2006-10-31 | 2009-03-18 | ソニー株式会社 | 画像記憶装置、撮像装置、画像記憶方法およびプログラム |
JP5913940B2 (ja) * | 2011-12-01 | 2016-05-11 | キヤノン株式会社 | 画像認識装置、画像認識装置の制御方法、およびプログラム |
-
2013
- 2013-08-09 JP JP2013166710A patent/JP6166981B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015035172A (ja) | 2015-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Afifi | 11K Hands: Gender recognition and biometric identification using a large dataset of hand images | |
Zafar et al. | Face recognition with Bayesian convolutional networks for robust surveillance systems | |
Zerrouki et al. | Combined curvelets and hidden Markov models for human fall detection | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
JP6166981B2 (ja) | 表情解析装置及び表情解析プログラム | |
Kobayashi et al. | Three-way auto-correlation approach to motion recognition | |
Vishwakarma et al. | Integrated approach for human action recognition using edge spatial distribution, direction pixel and-transform | |
Demirkus et al. | Hierarchical temporal graphical model for head pose estimation and subsequent attribute classification in real-world videos | |
Ouyang et al. | Robust automatic facial expression detection method based on sparse representation plus LBP map | |
Jia et al. | Saliency detection via a unified generative and discriminative model | |
Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
Verma et al. | Estimation of sex through morphometric landmark indices in facial images with strength of evidence in logistic regression analysis | |
Uddin et al. | An indoor human activity recognition system for smart home using local binary pattern features with hidden markov models | |
Venkat et al. | Recognizing occluded faces by exploiting psychophysically inspired similarity maps | |
Kartheek et al. | Local optimal oriented pattern for person independent facial expression recognition | |
JP6101470B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
US11138417B2 (en) | Automatic gender recognition utilizing gait energy image (GEI) images | |
JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
Sharma et al. | Solving image processing critical problems using machine learning | |
CN116580442A (zh) | 基于可分离卷积的微表情识别方法、装置、设备及介质 | |
Dixit et al. | Multi-feature based automatic facial expression recognition using deep convolutional neural network | |
CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
Tommandru et al. | An Automated Framework for Patient Identification and Verification Using Deep Learning. | |
Jamshed et al. | Grey wolf optimization (GWO) with the convolution neural network (CNN)-based pattern recognition system | |
Gu et al. | Lite general network and MagFace CNN for micro-expression spotting in long videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6166981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |