JP6101470B2 - 顔表情解析装置および顔表情解析プログラム - Google Patents
顔表情解析装置および顔表情解析プログラム Download PDFInfo
- Publication number
- JP6101470B2 JP6101470B2 JP2012237877A JP2012237877A JP6101470B2 JP 6101470 B2 JP6101470 B2 JP 6101470B2 JP 2012237877 A JP2012237877 A JP 2012237877A JP 2012237877 A JP2012237877 A JP 2012237877A JP 6101470 B2 JP6101470 B2 JP 6101470B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- analysis
- image data
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims description 447
- 238000010195 expression analysis Methods 0.000 title claims description 96
- 238000000611 regression analysis Methods 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 10
- 238000013178 mathematical model Methods 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000007935 neutral effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 241001169121 Gabriella Species 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、顔表情解析装置および顔表情解析プログラムに関する。
人物の顔画像が含まれる画像データを解析し、顔表情を６種類（Ａｎｇｅｒ；怒り、Ｄｉｓｇｕｓｔ；嫌悪、Ｆｅａｒ；恐れ、Ｈａｐｐｉｎｅｓｓ；幸せ、Ｓａｄｎｅｓｓ；悲しみ、Ｓｕｒｐｒｉｓｅ；驚き）に分類し、その強度を計算する技術が知られている（例えば、非特許文献１参照）。
Peng Yang, Qingshan Liu, Dimitris N. Metaxas, "RankBoost with l1 regularization for Facial Expression Recognition and Intensity Estimation", IEEE International Conference on Computer Vision (ICCV), pp. 1018-1025, 2009
上記の非特許文献１に記載された技術を適用した情報処理装置は、複数の顔画像について顔表情の強さ（度合）の順位を求めることができる。しかしながら、その情報処理装置は、顔画像ごとに、人間により主観的に得られる顔表情の強さに近い顔表情の強度値を求めることができない。
そこで、本発明は、上記の問題を解決するためになされたものであり、顔画像について、顔表情を分類するとともに、人間の感覚に近い顔表情の強度値を得ることができる、顔表情解析装置および顔表情解析プログラムを提供することを目的とする。
そこで、本発明は、上記の問題を解決するためになされたものであり、顔画像について、顔表情を分類するとともに、人間の感覚に近い顔表情の強度値を得ることができる、顔表情解析装置および顔表情解析プログラムを提供することを目的とする。
［１］上記の課題を解決するため、本発明の一態様である顔表情解析装置は、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、前記画像特徴量計算部が計算した前記画像特徴量と前記画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、数式モデルが有するパラメータ値を前記顔表情種別ごとに更新する回帰分析部と、前記回帰分析部が更新した前記パラメータ値を適用した前記数式モデルに、前記画像特徴量計算部が計算した画像特徴量を適用して、前記顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する顔表情評価部と、を備えることを特徴とする。
ここで、画像特徴量として、例えば、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓ、ローカルバイナリパターン、または拡張ローカルバイナリパターンを適用できる。
ここで、画像特徴量として、例えば、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓ、ローカルバイナリパターン、または拡張ローカルバイナリパターンを適用できる。
［２］上記［１］記載の顔表情解析装置において、前記回帰分析処理は、線形回帰分析処理、ロジスティック回帰分析処理、またはサポートベクトル回帰分析処理のいずれかであることを特徴とする。
［３］上記［１］または［２］いずれか記載の顔表情解析装置において、前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、前記区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算し、最大の前記総和値に対応する顔表情種別を選出する、ことを特徴とする。
［４］上記［３］記載の顔表情解析装置において、前記顔表情評価部は、前記複数フレームよりも少ないフレーム数おきに、前記所定区間を前記フレーム数分ずらすことを特徴とする。
［５］上記の課題を解決するため、本発明の一態様である顔表情解析プログラムは、コンピュータを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、前記画像特徴量計算部が計算した前記画像特徴量と前記画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、数式モデルが有するパラメータ値を前記顔表情種別ごとに更新する回帰分析部と、前記回帰分析部が更新した前記パラメータ値を適用した前記数式モデルに、前記画像特徴量計算部が計算した画像特徴量を適用して、前記顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する顔表情評価部と、として機能させる。
［３］上記［１］または［２］いずれか記載の顔表情解析装置において、前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、前記区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算し、最大の前記総和値に対応する顔表情種別を選出する、ことを特徴とする。
［４］上記［３］記載の顔表情解析装置において、前記顔表情評価部は、前記複数フレームよりも少ないフレーム数おきに、前記所定区間を前記フレーム数分ずらすことを特徴とする。
［５］上記の課題を解決するため、本発明の一態様である顔表情解析プログラムは、コンピュータを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、前記画像特徴量計算部が計算した前記画像特徴量と前記画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、数式モデルが有するパラメータ値を前記顔表情種別ごとに更新する回帰分析部と、前記回帰分析部が更新した前記パラメータ値を適用した前記数式モデルに、前記画像特徴量計算部が計算した画像特徴量を適用して、前記顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する顔表情評価部と、として機能させる。
本発明によれば、顔画像について、顔表情を分類するとともに、人間の感覚に近い顔表情の強度値を得ることができる。
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である顔表情解析装置は、切替制御によって学習処理および顔表情解析処理を切り替えて実行する。学習処理は、顔表情解析装置が、顔表情種別ごとに、顔表情の度合（強度）がそれぞれ異なる顔画像データ列における各顔画像データの顔領域の画像特徴量と、評価者の主観評価による顔表情の度合を示す顔表情強度教師値との対応関係を回帰分析して、顔表情種別ごとの回帰モデルにおけるパラメータ値を求める処理である。また、顔表情解析処理は、顔表情解析装置が、顔表情種別ごとに学習済の回帰モデルに、評価用の顔画像データ（評価顔画像データ）における顔領域の画像特徴量を適用して、顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する処理である。
［第１の実施の形態］
本発明の第１実施形態である顔表情解析装置は、切替制御によって学習処理および顔表情解析処理を切り替えて実行する。学習処理は、顔表情解析装置が、顔表情種別ごとに、顔表情の度合（強度）がそれぞれ異なる顔画像データ列における各顔画像データの顔領域の画像特徴量と、評価者の主観評価による顔表情の度合を示す顔表情強度教師値との対応関係を回帰分析して、顔表情種別ごとの回帰モデルにおけるパラメータ値を求める処理である。また、顔表情解析処理は、顔表情解析装置が、顔表情種別ごとに学習済の回帰モデルに、評価用の顔画像データ（評価顔画像データ）における顔領域の画像特徴量を適用して、顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する処理である。
図１は、本発明の第１実施形態である顔表情解析装置の機能構成を示すブロック図である。同図に示すように、顔表情解析装置１は、画像データ取得部１０と、顔表情強度教師値取得部２０と、顔領域抽出部３０と、画像特徴量計算部４０と、回帰分析部５０と、回帰モデル記憶部６０と、顔表情評価部７０と、モード切替部８０とを備える。
モード切替部８０は、例えば、顔表情解析装置１がプログラムを実行することにより実現される切替制御により、顔表情解析装置１を学習モードから顔表情解析モード、または顔表情解析モードから学習モードに切り替える。学習モードは、顔表情解析装置１が事前処理および学習処理を実行する動作モードである。また、顔表情解析モードは、顔表情解析装置１が顔表情解析処理を実行する動作モードである。なお、モード切替部８０は、例えば、操作者による顔表情解析装置１の切替操作にしたがって、学習モードと顔表情解析モードとを切替えてもよい。
モード切替部８０により顔表情解析装置１を学習モードに設定している場合、顔表情解析装置１は、画像データ取得部１０と、顔表情強度教師値取得部２０と、顔領域抽出部３０と、画像特徴量計算部４０と、回帰分析部５０と、回帰モデル記憶部６０とを機能させる。また、モード切替部８０により顔表情解析装置１を顔表情解析モードに設定している場合、顔表情解析装置１は、画像データ取得部１０と、顔領域抽出部３０と、画像特徴量計算部４０と、回帰モデル記憶部６０と、顔表情評価部７０とを機能させる。
画像データ取得部１０は、図示しない外部装置が供給する画像データを取り込む。具体的に、顔表情解析装置１が学習モードに設定されているとき、画像データ取得部１０は、例えば、顔画像データベースから複数の顔画像データを取り込む。顔画像データベースは、例えば、顔表情の種類別に、複数人の顔表情の度合がそれぞれ異なる顔画像データ列の集合を格納したデータベースである。また、顔表情解析装置１が顔表情解析モードに設定されているとき、画像データ取得部１０は、例えば、撮影装置または記録装置が供給する、顔表情解析のための評価顔画像データを取り込む。
画像データ（顔画像データ、評価顔画像データ）は、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ静止画像データを顔領域抽出部３０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームを画像データとして、順次またはあらかじめ決定された所定フレーム数おきに顔領域抽出部３０に供給する。
顔表情解析装置１が学習モードに設定されているとき、顔表情強度教師値取得部２０は、図示しない外部装置が供給する顔表情強度教師値を取り込み、この顔表情強度教師値を回帰分析部５０に供給する。外部装置は、例えば、前記の顔画像データベースまたはコンピュータ装置等の情報処理装置である。顔表情強度教師値は、顔画像データベースに格納された、顔表情種別ごとの顔画像データ列について、各顔画像データにおける顔表情の度合を、評価者の主観評価にしたがって表した値である。一例として、顔表情強度教師値を、下限値（例えば“０（ゼロ）”）から上限値（例えば“１００”）までの整数で表す。このとき、顔表情強度教師値が小さいほど顔表情の度合が小さく、顔表情強度教師値が大きいほど顔表情の度合が大きい。
なお、評価者は一人でもよいし、複数でもよい。評価者が複数である場合、各評価者によって付された値の平均値を顔表情強度教師値としてもよい。
なお、評価者は一人でもよいし、複数でもよい。評価者が複数である場合、各評価者によって付された値の平均値を顔表情強度教師値としてもよい。
顔表情解析装置１が学習モードに設定されているとき、画像データ取得部１０が取り込む顔画像データと、この画像データに対応して顔表情強度教師値取得部２０が取り込む顔表情強度教師値との対データは、顔表情解析装置１における教師データである。
顔領域抽出部３０は、画像データ取得部１０が供給する画像データ（顔画像データまたは評価顔画像データ）を取り込み、この画像データから顔の解析領域を抽出する。顔領域抽出部３０は、その機能構成として、顔領域検出部３１と、解析領域決定部３２とを備える。
顔領域検出部３１は、取り込んだ画像データについて顔検出処理を実行し、その画像データから顔領域を検出する。この顔領域のデータ（顔領域データ）は、例えば矩形の画像データである。顔領域検出部３１が実行する顔検出処理のアルゴリズムとして、公知の顔検出アルゴリズム（例えば、ＡｄａＢｏｏｓｔ）を適用できる。なお、公知の顔検出アルゴリズムについては、例えば、PAUL VIOLA, MICHAEL J. JONES, "Robust Real-Time Face Detection", International Journal of Computer Vision, 2004, Vol. 57, No. 2, pp. 137-154に、詳細が開示されている。
解析領域決定部３２は、顔領域検出部３１が検出した顔領域データを所定画素サイズに正規化する。そして、解析領域決定部３２は、正規化した顔領域データ（正規化顔領域データ）から解析領域を抽出する。具体的に、解析領域決定部３２は、顔領域データを、例えば水平方向１２８画素×垂直方向１２８画素の正規化顔領域データに正規化する。すなわち、解析領域決定部３２は、顔領域データを所定画素サイズの矩形画像に拡大または縮小する画像処理を実行して、正規化顔領域データを生成する。つまり、画像データに含まれる顔の大きさは画像データによって様々であるため、解析領域決定部３２は、顔領域を拡大または縮小させて、全ての画像データにおける顔領域の解像度を同程度にする。これにより、解像度が異なる顔領域データの情報量を略均等（均等を含む）にすることができる。
解析領域決定部３２は、正規化顔領域データから、画像特徴量を計算するための解析領域を決定し、この解析領域のデータ（解析領域データ）を抽出する。解析領域は、例えば、正規化顔領域内の中心部の円（楕円または真円）領域である。そして、解析領域決定部３２は、例えば、解析領域の中心を通る水平方向の直線で当該解析領域を二分し、その上部の領域を上部解析領域（第１の解析部分領域）、下部の領域を下部解析領域（第２の解析部分領域）として決定する。言い換えると、解析領域決定部３２は、正規化顔領域に内接する円形または楕円形よりも小さな円形または楕円形の解析領域を上下（縦）方向に二分して上部解析領域および下部解析領域を決定する。
画像特徴量計算部４０は、顔領域抽出部３０が抽出した解析領域データの画像特徴量を計算する。
具体的に、顔表情解析装置１が学習モードに設定されて実行する事前処理において、画像特徴量計算部４０は、解析領域決定部３２が決定した解析領域における上部解析領域からＳｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ（ＳＩＦＴ）特徴量またはＳｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等の局所特徴量を計算する。画像特徴量計算部４０は、全ての顔画像データについての局所特徴量についてクラスタリング処理を実行することによってクラスタを生成する。クラスタリング処理として、画像特徴量計算部４０は、例えばＫ平均法を適用する。また、画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にクラスタを生成する。そして、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのクラスタを記憶する。
なお、画像特徴量計算部４０は、学習処理において用いる全ての顔画像データについての上部解析領域および下部解析領域それぞれに対するクラスタを、外部装置から供給を受けて記憶してもよい。
具体的に、顔表情解析装置１が学習モードに設定されて実行する事前処理において、画像特徴量計算部４０は、解析領域決定部３２が決定した解析領域における上部解析領域からＳｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ（ＳＩＦＴ）特徴量またはＳｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等の局所特徴量を計算する。画像特徴量計算部４０は、全ての顔画像データについての局所特徴量についてクラスタリング処理を実行することによってクラスタを生成する。クラスタリング処理として、画像特徴量計算部４０は、例えばＫ平均法を適用する。また、画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にクラスタを生成する。そして、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのクラスタを記憶する。
なお、画像特徴量計算部４０は、学習処理において用いる全ての顔画像データについての上部解析領域および下部解析領域それぞれに対するクラスタを、外部装置から供給を受けて記憶してもよい。
顔表情解析装置１が学習モードに設定されて実行する学習処理、または顔表情解析モードに設定されて実行する顔表情解析処理において、画像特徴量計算部４０は、解析領域決定部３２が決定した解析領域における上部解析領域からＳＩＦＴ特徴量、またはＳＵＲＦ等の局所特徴量を計算する。そして、画像特徴量計算部４０は、これら局所特徴量を、事前処理において記憶した上部解析領域に対するクラスタに分類し、各クラスタをビン、各クラス多の要素数を頻度とするヒストグラム（Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓ）を生成する。画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。例えば、画像特徴量計算部４０は、上部解析領域に対する１７５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに、下部解析領域に対する１２５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結し、解析領域全体として３００次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
なお、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓについては、例えば、Gabriella Csurka, Christopher R. Dance, Lixin Fan, Jutta Willamowski, Gedric Bray, "Visual Categorization with Bag of Keypoints", Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74, 2004に、詳細が開示されている。
顔表情解析装置１が学習モードに設定されているとき、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として回帰分析部５０に供給する。また、顔表情解析装置１が顔表情解析モードに設定されているとき、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として顔表情評価部７０に供給する。
顔表情解析装置１が学習モードに設定されているとき、回帰分析部５０は、画像特徴量計算部４０が供給する、顔画像データに対する画像特徴量を取り込み、また、顔表情強度教師値取得部２０が供給する、当該顔画像データに対する顔表情強度教師値を取り込む。
回帰分析部５０は、顔画像データに対する画像特徴量とその顔画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、回帰モデルが有するパラメータ値を顔表情種別ごとに更新する。回帰モデルは、顔領域の画像特徴量から顔表情の度合を示す顔表情強度値を計算するための計算手段である。この回帰モデルは、可変のパラメータを有し、パラメータ値を更新可能とする数式モデルである。回帰分析部５０は、例えば、顔表情種別が“怒り”である回帰分析において、顔表情種別が“怒り”である顔画像データについては顔表情強度教師値そのものを用いる一方、顔表情種別が“怒り”以外である顔画像データについては顔表情強度教師値を“０（ゼロ）”として用いて、回帰処理を実行する。そして、回帰分析部５０は、回帰処理によって得られるパラメータ値を、回帰モデル記憶部６０に書き込む。なお、回帰分析部５０は、顔表情種別ごとの回帰分析処理を実行するのではなく、顔画像データに対する画像特徴量とその顔画像データに対応付けられた全顔表情における顔表情強度教師値とを用いて回帰分析処理を実行してもよい。
回帰モデル記憶部６０は、回帰分析部５０が供給するパラメータ値を、顔表情種別ごとに記憶する。回帰モデル記憶部６０は、例えば、磁気ハードディスク装置または半導体記憶装置により実現される。
顔表情解析装置１が顔表情解析モードに設定されているとき、顔表情評価部７０は、画像特徴量計算部４０が供給する、評価顔画像データに対する画像特徴量を取り込む。また、顔表情評価部７０は、顔表情種別ごとに、回帰モデル記憶部６０から回帰モデルのパラメータ値を読み込む。そして、顔表情評価部７０は、各回帰モデルに画像特徴量を適用して顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する。そして、顔表情評価部７０は、最大の顔表情強度値と、選出された顔表情種別を示す顔表情種別情報とを出力する。
図２は、顔表情解析装置１が学習モードに設定されて学習処理を実行する際に用いる、顔画像データベースのデータ構造の一部分を概念的に示す図である。同図に示すように、顔画像データベースは、顔表情種別ごとに、各人物（被写体）のニュートラル顔表情からピーク顔表情まで顔表情の度合がそれぞれ異なる顔画像データ列の集合に、当該顔表情の種類を示すラベルを対応付けて構成した顔画像データ群を格納している。顔表情種別は、例えば、怒り、嫌悪、恐れ、幸せ、悲しみ、および驚きの６種類である。ニュートラル顔表情は、人物の中立的な顔表情であり、例えば、人物の無表情な顔つきから表情の種類を判別困難な程度の顔つきまでを示す表情である。つまり、ニュートラル顔表情には、顔表情の幅がある。ピーク顔表情は、人物の感情を豊かに表現した顔表情であり、例えば、怒り、嫌悪、恐れ、幸せ、悲しみ、驚き等の感情を強く表現した顔つきを示す。
顔画像データベースとして、例えば、Patrick Lucey, Jeffrey F. Cohn, Takeo Kanade, Jason Saragih, Zara Ambadar, "The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression", the Third IEEE Workshop on CVPR for Human Communicative Behavior Analysis, pp. 94-101, 2010に記載された、Cohn-Kanade Facial Expression Databaseを適用できる。
図３は、顔表情解析装置１が学習モードに設定されて学習処理を実行する際に用いる顔表情強度教師値を、顔画像データに対応付けて示す図である。同図に示すように、顔表情強度教師値は、顔画像データ群における顔表情種別ごとの各被写体の顔画像データ列それぞれについて、各顔画像データの顔表情の度合を、評価者による主観評価にしたがって下限値“０（ゼロ）”から上限値“１００”までの整数で表されている。このように、ニュートラル顔表情からピーク顔表情に顔表情が変化する顔画像列に対し、顔表情強度教師値の下限値および上限値を設けることを必須の条件としてもよいし、必須の条件としなくてもよい。
図３において、顔表情種別が“幸せ”である第１の被写体の顔画像データ列について、ニュートラル顔表情に対応する顔表情強度教師値が“０（ゼロ）”、顔表情の度合が大きくなるにしたがって、顔表情強度教師値が例えば“８”、“４６”、“８３”等と大きくなり、ピーク顔表情に対応する顔表情強度教師値が“１００”となっている。また、顔表情種別が“幸せ”である第２の被写体の顔画像データ列について、ニュートラル顔表情に対応する顔表情強度教師値が“０（ゼロ）”、顔表情の度合が大きくなるにしたがって、顔表情強度教師値が例えば“６”、“５２”、“７９”等と大きくなり、ピーク顔表情に対応する顔表情強度教師値が“１００”となっている。また、顔表情種別が“驚き”である顔画像データ列について、ニュートラル顔表情に対応する顔表情強度教師値が“０（ゼロ）”、顔表情の度合が大きくなるにしたがって、顔表情強度教師値が例えば“７”、“４３”、“８８”等と大きくなり、ピーク顔表情に対応する顔表情強度教師値が“１００”となっている。
図４は、画像データと、この画像データから抽出された顔領域データと、この顔領域データを正規化して得られた正規化顔領域データとを模式的に示す図である。つまり、同図は、画像データ取得部１０が取得する画像データ２と、顔領域検出部３１が検出する顔領域データ２ａと、解析領域決定部３２が正規化（ここでは、縮小）する正規化顔領域データ２ｂとを時系列に示している。同図に示すように、画像データ２は、人物の首より上側を含む画像である。顔領域データ２ａは、画像データ２から抽出された顔を含む画像である。顔を含む画像とは、例えば、人物の顔表情を決定付ける顔の主要なパーツ（両眉毛、両目、鼻、口）を含む画像である。正規化顔領域データ２ｂは、顔領域データ２ａを水平画素数ＬＸ×垂直画素数ＬＹサイズに正規化した画像である。水平画素数ＬＸと垂直画素数ＬＹとの長さの関係は、例えば、水平画素数ＬＸ＝垂直画素数ＬＹである。
図５は、解析領域決定部３２が正規化顔領域データ２ｂから決定した解析領域を、視覚的に分かり易く線描画した図である。同図に示すように、解析領域決定部３２は、水平画素数ＬＸ×垂直画素数ＬＹの正規化顔領域データ２ｂの中心位置を中心として、正規化顔領域データ２ｂに含まれる円形の解析領域３を決定する。解析領域３の水平方向の径は、例えば水平画素数ＬＸの０．８倍の長さであり、垂直方向の径は、例えば垂直画素数ＬＹの０．８倍の長さである。このように、解析領域３の径を正規化顔領域データ２ｂの内接円の径よりも小さくすることにより、顔の認識や顔表情認識にとって重要度が低い髪の毛、耳、イヤリング等の情報を除外することができる。解析領域決定部３２は、解析領域３の水平方向であって且つその中心を通る直線で、解析領域３を上部解析領域３Ｕと下部解析領域３Ｄとに区分する。このように区分することにより、上部解析領域３Ｕは両眉毛および両目を含み、下部解析領域３Ｄは鼻頭および口を含むこととなる。
図６は、画像特徴量計算部４０によって生成された、上部解析領域における特徴量のヒストグラムと、下部解析領域における特徴量のヒストグラムと、これら二つのヒストグラムが連結された、解析領域全体における特徴量のヒストグラムとを模式的に示した図である。同図は、上部解析領域における特徴量のヒストグラムの後に、下部解析領域における特徴量のヒストグラムを連結した例である。このように、画像特徴量計算部４０が、分割された各領域でヒストグラムを生成して連結することにより、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに位置情報を加えることができる。
なお、画像特徴量計算部４０は、下部解析領域における特徴量のヒストグラムの後に、上部解析領域における特徴量のヒストグラムを連結することによって、解析領域全体における特徴量のヒストグラムを生成してもよい。
なお、画像特徴量計算部４０は、下部解析領域における特徴量のヒストグラムの後に、上部解析領域における特徴量のヒストグラムを連結することによって、解析領域全体における特徴量のヒストグラムを生成してもよい。
図７は、回帰分析部５０が実行する回帰分析処理における一つの回帰モデルを模式的に示した図である。同図において、横軸は回帰式における独立変数を表し、本実施形態では顔画像データの顔領域の画像特徴量である。縦軸は回帰式における従属変数を表し、本実施形態では顔表情強度教師値である。同図における複数の四角形印は、画像特徴量とこの画像特徴量に対する顔表情強度教師値との対応関係の分布を示している。また、同図において曲線で表されている実線は、回帰分析部５０が実行する回帰分析処理の結果得られる回帰式を示すグラフである。
回帰モデルとして例えば線形回帰モデルを適用した場合、回帰分析部５０は、線形回帰分析処理として、画像特徴量および顔表情強度教師値の関係を、下記の式（１）に示す積和関数にモデル化する。ただし、Ｙは顔表情強度教師値であり、Ｘｉは画像特徴量（ｉ＝１，・・・，Ｉ）である。また、α、βｉはパラメータである。
回帰分析部５０は、画像特徴量とこの画像特徴量に対する顔表情強度教師値との対応関係を例えば最小二乗法によって回帰させることにより、式（１）に示す積和関数を推計する。具体的に、式（１）が画像特徴量とこの画像特徴量に対する顔表情強度教師値との対データに対して最適な近似式となるように、回帰分析部５０は、近似誤差の二乗和が最小となるパラメータα、βｉを、例えば最急降下法によって求める。回帰分析部５０は、回帰分析処理において、相関が強い（例えば、相関係数が０．５以上である）独立変数の一方を削除することによって多重共線を排除または抑制してもよい。また、全ての顔表情種別に共通して“０（ゼロ）”である独立変数（画像特徴量）について、回帰分析部５０は、その独立変数を削除する処理を行ってもよい。
次に、顔表情解析装置１の動作について、学習処理と顔表情解析処理とに分けて説明する。
まず、学習モードに設定された顔表情解析装置１は、学習処理において用いる全ての顔画像データを顔画像データベースから取り込んで、以下の事前処理を実行する。すなわち、顔表情解析装置１では、画像データ取得部１０が顔画像データベースから顔画像データを取り込み、顔領域抽出部３０がその取り込んだ顔画像データのサイズを正規化して解析領域（上部解析領域および下部解析領域）を抽出する。次に、画像特徴量計算部４０が、上部解析領域からＳＩＦＴ特徴量またはＳＵＲＦ等の局所特徴量を計算する。画像特徴量計算部４０は、全ての顔画像データについての局所特徴量についてクラスタリング処理を実行することによってクラスタを生成する。また、画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にクラスタを生成する。次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのクラスタを記憶する。
まず、学習モードに設定された顔表情解析装置１は、学習処理において用いる全ての顔画像データを顔画像データベースから取り込んで、以下の事前処理を実行する。すなわち、顔表情解析装置１では、画像データ取得部１０が顔画像データベースから顔画像データを取り込み、顔領域抽出部３０がその取り込んだ顔画像データのサイズを正規化して解析領域（上部解析領域および下部解析領域）を抽出する。次に、画像特徴量計算部４０が、上部解析領域からＳＩＦＴ特徴量またはＳＵＲＦ等の局所特徴量を計算する。画像特徴量計算部４０は、全ての顔画像データについての局所特徴量についてクラスタリング処理を実行することによってクラスタを生成する。また、画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にクラスタを生成する。次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのクラスタを記憶する。
次に、顔表情解析装置１の学習処理について説明する。
図８は、顔表情解析装置１が実行する学習処理の手順を示すフローチャートである。
ステップＳ１において、画像データ取得部１０は、例えば、顔画像データベースに格納された複数の顔画像データから一つの顔画像データを取り込み、この顔画像データを顔領域抽出部３０に供給する。
次に、ステップＳ２において、顔表情強度教師値取得部２０は、ステップＳ１の処理において取り込まれた顔画像データに対応する顔表情強度教師値を、外部装置（例えば、顔画像データベース）から取り込み、この顔表情強度教師値を回帰分析部５０に供給する。
図８は、顔表情解析装置１が実行する学習処理の手順を示すフローチャートである。
ステップＳ１において、画像データ取得部１０は、例えば、顔画像データベースに格納された複数の顔画像データから一つの顔画像データを取り込み、この顔画像データを顔領域抽出部３０に供給する。
次に、ステップＳ２において、顔表情強度教師値取得部２０は、ステップＳ１の処理において取り込まれた顔画像データに対応する顔表情強度教師値を、外部装置（例えば、顔画像データベース）から取り込み、この顔表情強度教師値を回帰分析部５０に供給する。
次に、ステップＳ３において、顔領域抽出部３０は、画像データ取得部１０が供給する顔画像データを取り込み、この顔画像データから顔の解析領域を抽出する。具体的に、顔領域検出部３１は、取り込んだ顔画像データに対して顔検出処理を実行し、その顔画像データから人物の顔領域を検出する。
次に、解析領域決定部３２は、顔領域検出部３１が検出した顔領域データを所定画素サイズ（例えば、水平方向１２８画素×垂直方向１２８画素）に正規化する。次に、解析領域決定部３２は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域（上部解析領域および下部解析領域）を決定する。
次に、解析領域決定部３２は、顔領域検出部３１が検出した顔領域データを所定画素サイズ（例えば、水平方向１２８画素×垂直方向１２８画素）に正規化する。次に、解析領域決定部３２は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域（上部解析領域および下部解析領域）を決定する。
次に、ステップＳ４において、画像特徴量計算部４０は、顔領域抽出部３０が抽出した解析領域データの画像特徴量を計算する。具体的に、画像特徴量計算部４０は、上部解析領域からＳＩＦＴ特徴量またはＳＵＲＦ等の局所特徴量を計算する。次に、画像特徴量計算部４０は、これら局所特徴量を、事前処理において記憶した上部解析領域に対するクラスタに分類し、各クラスタをビン、各クラスタの要素数を頻度とするヒストグラムを生成する。また、画像特徴量計算部４０は、下部解析領域からＳＩＦＴ特徴量またはＳＵＲＦ等の局所特徴量を計算する。次に、画像特徴量計算部４０は、これら局所特徴量を、事前処理において記憶した下部解析領域に対するクラスタに分類し、各クラスタをビン、各クラスタの要素数を頻度とするヒストグラムを生成する。
次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
次に、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として回帰分析部５０に供給する。
次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
次に、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として回帰分析部５０に供給する。
次に、ステップＳ５において、顔画像データベースから取り込むべき全ての顔画像データの取り込みが完了した場合（Ｓ５：ＹＥＳ）、顔表情解析装置１はステップＳ６の処理に移す。一方、顔画像データベースから取り込むべき全ての顔画像データの取り込みが完了していない場合（Ｓ５：ＮＯ）は、顔表情解析装置１はステップＳ１の処理に戻す。
ステップＳ６において、回帰分析部５０は、顔画像データに対応する画像特徴量および顔表情強度教師値の対データを用いて、顔表情種別ごとに回帰分析処理を実行することにより、回帰モデルが有するパラメータ値を更新する。次に、回帰分析部５０は、回帰処理を行って得られるパラメータ値を、回帰モデル記憶部６０に供給する。
次に、ステップＳ７において、回帰モデル記憶部６０は、回帰分析部５０が供給するパラメータ値を、顔表情種別ごとに記憶する。
次に、ステップＳ７において、回帰モデル記憶部６０は、回帰分析部５０が供給するパラメータ値を、顔表情種別ごとに記憶する。
図９は、顔表情解析装置１が実行する顔表情解析処理の手順を示すフローチャートである。
ステップＳ２１において、画像データ取得部１０は、例えば、撮影装置または記録装置が供給する、顔表情解析のための評価顔画像データを取り込み、この顔画像データを顔領域抽出部３０に供給する。
ステップＳ２１において、画像データ取得部１０は、例えば、撮影装置または記録装置が供給する、顔表情解析のための評価顔画像データを取り込み、この顔画像データを顔領域抽出部３０に供給する。
次に、ステップＳ２２において、顔領域抽出部３０は、画像データ取得部１０が供給する評価顔画像データを取り込み、この評価顔画像データから顔の解析領域を抽出する。具体的に、顔領域検出部３１は、取り込んだ評価顔画像データに対して顔検出処理を実行し、その評価顔画像データから人物の顔領域を検出する。
次に、解析領域決定部３２は、顔領域検出部３１が検出した顔領域データを所定画素サイズ（例えば、水平方向１２８画素×垂直方向１２８画素）に正規化する。次に、解析領域決定部３２は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域（上部解析領域および下部解析領域）を決定する。
次に、解析領域決定部３２は、顔領域検出部３１が検出した顔領域データを所定画素サイズ（例えば、水平方向１２８画素×垂直方向１２８画素）に正規化する。次に、解析領域決定部３２は、正規化顔領域データから解析領域を抽出し、この解析領域から二つの解析部分領域（上部解析領域および下部解析領域）を決定する。
次に、ステップＳ２３において、画像特徴量計算部４０は、顔領域抽出部３０が抽出した解析領域データの画像特徴量を計算する。例えば、画像特徴量計算部４０は、解析領域決定部３２が決定した解析領域における上部解析領域および下部解析領域それぞれのデータについて、学習処理におけるステップＳ４の処理と同様にＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算する。
次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
次に、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として顔表情評価部７０に供給する。
次に、画像特徴量計算部４０は、上部解析領域および下部解析領域それぞれについてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
次に、画像特徴量計算部４０は、解析領域全体のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを、画像特徴量として顔表情評価部７０に供給する。
次に、ステップＳ２４において、顔表情評価部７０は、画像特徴量計算部４０が供給する、評価顔画像データに対する画像特徴量を取り込む。次に、顔表情評価部７０は、顔表情種別ごとに、回帰モデル記憶部６０から回帰モデルのパラメータ値を読み込み、各回帰モデルに画像特徴量を適用して、顔表情種別ごとに顔表情強度値を計算する。
次に、ステップＳ２５において、顔表情評価部７０は、最大の顔表情強度値に対応する顔表情種別を選出する。次に、顔表情評価部７０は、最大の顔表情強度値と、選出された顔表情種別を示す顔表情種別情報とを出力する。
本発明の第１実施形態である顔表情解析装置１は、顔画像データから抽出された顔の解析領域の画像特徴量と、顔画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、回帰モデルが有するパラメータ値を顔表情種別ごとに更新する。顔表情強度教師値は、顔画像データの顔表情の度合についての、評価者による主観評価に基づく数値である。そして、顔表情解析装置１は、顔表情種別ごとの回帰モデルに、評価顔画像データの顔の解析領域の画像特徴量を適用して、顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する。
したがって、第１実施形態によれば、顔画像を含む評価顔画像データについて、顔表情を分類するとともに、人間の感覚に近い顔表情の強度値を得ることができる。
［第２の実施の形態］
本発明の第２実施形態では、第１実施形態における回帰分析部５０が、ロジスティック回帰モデルを用いて、回帰分析処理を実行する。回帰モデルとしてロジスティック回帰モデルを適用した場合、回帰分析部５０は、ロジスティック回帰分析処理として、画像特徴量および顔表情強度教師値の関係を、下記の式（２）に示す関数にモデル化する。ただし、Ｙは顔表情強度教師値、Ｘｉは画像特徴量（ｉ＝１，・・・，Ｉ）である。また、α、βｉはパラメータである。
本発明の第２実施形態では、第１実施形態における回帰分析部５０が、ロジスティック回帰モデルを用いて、回帰分析処理を実行する。回帰モデルとしてロジスティック回帰モデルを適用した場合、回帰分析部５０は、ロジスティック回帰分析処理として、画像特徴量および顔表情強度教師値の関係を、下記の式（２）に示す関数にモデル化する。ただし、Ｙは顔表情強度教師値、Ｘｉは画像特徴量（ｉ＝１，・・・，Ｉ）である。また、α、βｉはパラメータである。
回帰分析部５０は、画像特徴量とこの画像特徴量に対する顔表情強度教師値との対応関係を回帰させてパラメータα、βｉを求める。本実施形態によれば、回帰分析部５０は、画像特徴量Ｘｉに対する顔表情強度教師値Ｙが０から１００までの間（０≦Ｙ≦１００）に収まる回帰式を得ることができる。
［第３の実施の形態］
本発明の第３実施形態では、第１実施形態における回帰分析部５０が、サポートベクトル回帰モデルを用いて、回帰分析処理を実行する。本実施形態では、回帰分析部５０は、サポートベクトル回帰分析処理として、下記の式（３）の形で、画像特徴量Ｘｉ（ｉ＝１，・・・，Ｉ）と顔表情強度教師値Ｙとを関係付ける。
本発明の第３実施形態では、第１実施形態における回帰分析部５０が、サポートベクトル回帰モデルを用いて、回帰分析処理を実行する。本実施形態では、回帰分析部５０は、サポートベクトル回帰分析処理として、下記の式（３）の形で、画像特徴量Ｘｉ（ｉ＝１，・・・，Ｉ）と顔表情強度教師値Ｙとを関係付ける。
式（３）において、φは、Ｉ次元の特徴量ベクトルをＪ次元のベクトル（行ベクトル）に写像する写像関数である。本実施形態では、この関数φによるカーネルトリックを用いる。βｊ（ｊ＝１，・・・，Ｊ）は、関数φによる写像後のベクトルの要素それぞれに対応する重み係数である。また、αはバイアス項である。回帰分析部５０は、入力される多数の教師データを用いて式（３）の形の回帰を行い、パラメータα，β１，・・・，βＪを求める。なお、パラメータの算出自体は、例えばニュートン法に基づき、既存のサポートベクトル回帰の学習法を適用することができる。
［第４の実施の形態］
前述した第１実施形態から第３実施形態いずれかである顔表情解析装置１を顔表情解析モードに設定し、動画像データを供給して顔表情解析処理を実行させた場合、顔表情解析装置１が生成する、一連のキーフレームそれぞれの顔表情種別情報に、周囲と異なる種類の顔表情種別情報が突発的に現出する場合がある。周囲と異なる種類の顔表情種別情報が突発的に現出する原因は、例えば、顔を撮影する際の照明による影やカメラに対する顔の向き等が顔表情に影響したり、顔表情強度値のばらつきが影響したりすることである。
本発明の第４実施形態である顔表情解析装置は、この突発的に現出する顔表情種別情報をノイズとみなして除去するものである。
前述した第１実施形態から第３実施形態いずれかである顔表情解析装置１を顔表情解析モードに設定し、動画像データを供給して顔表情解析処理を実行させた場合、顔表情解析装置１が生成する、一連のキーフレームそれぞれの顔表情種別情報に、周囲と異なる種類の顔表情種別情報が突発的に現出する場合がある。周囲と異なる種類の顔表情種別情報が突発的に現出する原因は、例えば、顔を撮影する際の照明による影やカメラに対する顔の向き等が顔表情に影響したり、顔表情強度値のばらつきが影響したりすることである。
本発明の第４実施形態である顔表情解析装置は、この突発的に現出する顔表情種別情報をノイズとみなして除去するものである。
本実施形態である顔表情解析装置の構成は第１実施形態と同様であるため、図１のブロック図を参照して説明する。
顔表情解析装置１の顔表情評価部７０は、複数フレーム分の画像データを含む区間（時間、フレーム数）ごとに、顔表情強度値の平均（例えば、各画像データに基づいて得られた顔表情強度値の最大値の平均）を計算し、平均値を当該区間における代表顔表情強度値とする。
顔表情解析装置１の顔表情評価部７０は、複数フレーム分の画像データを含む区間（時間、フレーム数）ごとに、顔表情強度値の平均（例えば、各画像データに基づいて得られた顔表情強度値の最大値の平均）を計算し、平均値を当該区間における代表顔表情強度値とする。
また、顔表情評価部７０は、上記の区間ごとに、顔表情種別ごとに顔表情強度値の総和を計算し、総和値（重要度）が最大となる顔表情の種類（代表顔種別）を示す顔表情種別情報を生成する。例えば、顔表情評価部７０は、上記の区間ごとに代表顔種別を選定する。具体的に、顔表情評価部７０は、上記の区間ごとに、この区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算する。つまり、顔表情評価部７０は、下記の式（４）に示す総和値Ｓ（ｅ）を計算する。ただし、ｅは顔表情種別、ｆはフレームを表す。また、Ｉ（ｅ，ｆ）は、顔表情種別ｅのフレームｆにおける顔表情強度値を示す。
総和値Ｓ（ｅ）は、当該区間における顔表情種別ｅの重要度を表わす。顔表情評価部７０は、総和値Ｓ（ｅ）が最大となる顔表情種別ｅを当該区間における代表顔種別として選定し、この代表顔種別を示す顔表情種別情報を生成する。
図１０は、動画像データを取り込んだ顔表情解析装置１が顔表情解析処理を実行することによって顔表情評価部７０で得られる、フレームｆごとの顔表情種別ｅに対する顔表情強度値Ｉ（ｅ，ｆ）の一例を示す図である。同図において、網掛けされた顔表情強度値は、各フレームにおける顔表情強度値の最大値である。具体的に、同図に示す時刻（ｔ−２）から時刻（ｔ＋３）までの６フレームの区間において、顔表情評価部７０は、フレームごとの顔表情強度値の最大値（フレーム内の網掛けの数値）の平均を計算し、平均値を当該区間における代表顔表情強度値とする。同図によれば、顔表情評価部７０は、時刻（ｔ−２）における「悲しみ」の顔表情強度値“６８．３”と時刻（ｔ−１）における「悲しみ」の顔表情強度値“７０．１”と時刻ｔにおける「幸せ」の顔表情強度値“７８．２”と時刻（ｔ＋１）における「悲しみ」の顔表情強度値“７４．５”と時刻（ｔ＋２）における「悲しみ」の顔表情強度値“７２．２”と時刻（ｔ＋３）における「悲しみ」の顔表情強度値“７４．５”との平均値“７３．０”を得る。顔表情評価部７０は、この平均値“７３．０”を代表顔表情強度値とする。
また、顔表情評価部７０は、図１０に示す区間において、６フレームそれぞれに対する顔表情強度値の最大値のみを顔表情種別ごとに足し合わせることによって当該顔表情種別ごとの顔表情強度値の総和を計算する。つまり、顔表情評価部７０は、顔表情種別が「幸せ」に関する総和値“７８．２”と、顔表情種別が「悲しみ」に関する総和値“３５９．６”とを得る。また、顔表情評価部７０は、顔表情種別が「怒り」、「嫌悪」、「恐れ」、および「驚き」に関する総和値“０”を得る。そして、顔表情評価部７０は、総和値が最大となる顔表情種別として顔表情種別「悲しみ」を当該区間における代表顔種別として選定し、この代表顔種別を示す顔表情種別情報を生成する。
図１１は、顔表情解析装置１の出力結果を模式的に示した図である。同図における上段のグラフは、第１実施形態である顔表情解析装置１に動画像データを供給した場合に、顔表情解析装置１が出力する顔表情強度値を時系列に示したグラフである。このグラフは、横軸を時間軸とし、縦軸を顔表情強度値としている。このグラフが示すように、第１実施形態である顔表情解析装置１が出力する顔表情強度値は、時間経過に対してばらつきがある。
また、このグラフの直下に示す△、○、および□記号（顔表情記号と呼ぶ）は、顔表情解析装置１が出力する顔表情種別情報を示す記号であり、グラフの時間軸に対応付けて図示されている。ここでは、△は幸せ、○は驚き、□は怒りを示す記号である。このグラフ直下の一連の顔表情記号によれば、幸せを示す顔表情の中に、突発的に驚きや怒りの顔表情が現出している。
また、図１１における下段のグラフは、本実施形態である顔表情解析装置１に動画像データを供給した場合に、顔表情解析装置１が出力する顔表情強度値を時系列に示したグラフである。このグラフも、横軸を時間軸とし、縦軸を顔表情強度値としている。このグラフが示すように、本実施形態である顔表情解析装置１は、複数フレーム（例えば１０フレーム）ごと（Ｔ１，Ｔ２，Ｔ３，・・・）ではあるが、ばらつきを抑えた顔表情強度値を出力することができ、複数の区間を含む時間における顔表情強度値の信頼度を向上させることができる。
また、このグラフ直下の顔表情記号によれば、突発的な顔表情が現出することなく、安定した顔表情分類の結果が示されている。つまり、本実施形態である顔表情解析装置１は、顔表情強度値の重要度が最大となるように顔表情の分類を行うことによって顔表情のノイズを除去し、顔表情分類の精度を高めることができる。
［第４の実施の形態の変形例］
上述した第４実施形態では、顔表情上解析装置１は、区間ごと（例えば、６フレームごとや１０フレームごと）に顔表情強度値および顔表情種別情報を得るものであった。
本発明の第４実施形態の変形例である顔表情解析装置は、上記の区間を時間方向にずらしながら顔表情強度値および顔表情種別情報を得るものである。つまり、顔表情評価部７０は、一区間に含まれる複数フレームよりも少ないフレーム数おきに、当該区間をそのフレーム数分ずらし、顔表情強度値の平均（区間における各画像データに基づいて得られた顔表情強度値の最大値の平均）を計算し、平均値を当該区間における代表顔表情強度値とする。
上述した第４実施形態では、顔表情上解析装置１は、区間ごと（例えば、６フレームごとや１０フレームごと）に顔表情強度値および顔表情種別情報を得るものであった。
本発明の第４実施形態の変形例である顔表情解析装置は、上記の区間を時間方向にずらしながら顔表情強度値および顔表情種別情報を得るものである。つまり、顔表情評価部７０は、一区間に含まれる複数フレームよりも少ないフレーム数おきに、当該区間をそのフレーム数分ずらし、顔表情強度値の平均（区間における各画像データに基づいて得られた顔表情強度値の最大値の平均）を計算し、平均値を当該区間における代表顔表情強度値とする。
また、顔表情評価部７０は、上記の区間ごとに、顔表情の種類別に顔表情強度値の総和を計算し、総和値が最大となる顔表情の種類（代表顔種別）を示す顔表情種別情報を生成する。例えば、顔表情評価部７０は、上記の区間ごとに、この区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算する。そして、顔表情評価部７０は、総和値が最大となる顔表情種別を当該区間における代表顔種別として選定し、この代表種別を示す顔表情種別情報を生成する。
図１２は、顔表情解析装置１の出力結果を模式的に示した図である。同図における各グラフは、本変形例である顔表情解析装置１に動画像データを供給した場合に、顔表情解析装置１が出力する顔表情強度値を時系列に示したグラフである。各グラフは、横軸を時間軸とし、縦軸を顔表情強度値としている。時刻ｔ１、時刻ｔ２、および時刻ｔ３は、連続するフレームに対する時刻である。また、時間（ｔｐ＋ｔｆ）は、一区間である。
また、各グラフの直下にある△記号（顔表情記号）は、顔表情解析装置１が出力する顔表情種別情報を示す記号（例えば、幸せを示す）であり、グラフの時間軸に対応付けて図示されている。これらグラフ直下の顔表情記号によれば、連続する時刻ｔ１、時刻ｔ２、および時刻ｔ３それぞれにおいて、安定した顔表情分類の結果が示されている。
図１２における上段のグラフおよび顔表情記号は、時刻（ｔ１−ｔｐ）から時刻（ｔ１＋ｔｆ）までの区間を対象として、顔表情評価部７０が代表顔表情強度値を計算し、また、代表顔種別を示す顔表情種別情報を生成することを示している。
また、同図における中段のグラフおよび顔表情記号は、時刻（ｔ２−ｔｐ）から時刻（ｔ２＋ｔｆ）までの区間を対象として、顔表情評価部７０が代表顔表情強度値を計算し、また、代表顔種別を示す顔表情種別情報を生成することを示している。
また、同図における下段のグラフおよび顔表情記号は、時刻（ｔ３−ｔｐ）から時刻（ｔ３＋ｔｆ）までの区間を対象として、顔表情評価部７０が代表顔表情強度値を計算し、また、代表顔種別を示す顔表情種別情報を生成することを示している。
また、同図における中段のグラフおよび顔表情記号は、時刻（ｔ２−ｔｐ）から時刻（ｔ２＋ｔｆ）までの区間を対象として、顔表情評価部７０が代表顔表情強度値を計算し、また、代表顔種別を示す顔表情種別情報を生成することを示している。
また、同図における下段のグラフおよび顔表情記号は、時刻（ｔ３−ｔｐ）から時刻（ｔ３＋ｔｆ）までの区間を対象として、顔表情評価部７０が代表顔表情強度値を計算し、また、代表顔種別を示す顔表情種別情報を生成することを示している。
つまり、図１２によれば、顔表情解析装置１は、ばらつきを抑えて信頼度を向上させた顔表情強度値および安定した顔表情種別情報を、フレームごとに出力することができる。
［その他の実施の形態］
上述した本発明の第１実施形態から第４実施形態ならびに変形例において、画像特徴量計算部４０は、画像特徴量としてＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを求める他に、例えば、ローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ；ＬＢＰ）、または拡張ローカルバイナリパターン（拡張ＬＢＰ）を用いてもよい。
上述した本発明の第１実施形態から第４実施形態ならびに変形例において、画像特徴量計算部４０は、画像特徴量としてＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを求める他に、例えば、ローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ；ＬＢＰ）、または拡張ローカルバイナリパターン（拡張ＬＢＰ）を用いてもよい。
ローカルバイナリパターンは、画像特徴量計算部４０が、解析領域において走査し選択する注目画素と、この注目画素の周辺画素（例えば、８個の隣接画素）とをそれぞれ比較し大小関係を二値化することによって得られるバイナリパターンを特徴量とするものである。画像特徴量計算部４０は、解析領域に含まれる各画素を注目画素として順次走査してもよいし、所定数の画素間隔で離散的に走査してもよい。
なお、ローカルバイナリパターンについては、例えば、Timo Ojala, Matti Pietikainen, Senior Member, IEEE and Topi Maenpaa, "Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, July 2002に、詳細が開示されている。
なお、ローカルバイナリパターンについては、例えば、Timo Ojala, Matti Pietikainen, Senior Member, IEEE and Topi Maenpaa, "Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, July 2002に、詳細が開示されている。
具体的に、顔領域抽出部３０の解析領域決定部３２は、正規化顔領域データを格子状に分割（例えば、水平方向および垂直方向それぞれに８分割）する。つまり、解析領域決定部３２は、正規化顔領域データの各分割ブロックデータを解析領域データとする。画像特徴量計算部４０は、各分割ブロックデータについて、例えば画素ごとにＬＢＰを計算する。そして、画像特徴量計算部４０は、全てのＬＢＰのパターンをビン、各パターンの出力回数を頻度とするヒストグラムを生成する。そして、画像特徴量計算部４０は、各分割ブロックのヒストグラムを連結した連結ヒストグラムを顔画像特徴量とする。
また、拡張ローカルバイナリパターンは、上記のローカルバイナリパターンを時系列方向に拡張して得られるバイナリパターンを特徴量とするものである。つまり、拡張ローカルバイナリパターンは、顔表情解析装置１が評価顔画像データとして動画像データを取り込む場合に有用な特徴量である。画像特徴量計算部４０は、動画像データにおける現キーフレームの特徴量をローカルバイナリパターンとして求める際に、現キーフレームと現キーフレームよりも過去のキーフレームとの画素の比較結果もバイナリパターンに含める。
なお、拡張ＬＢＰについては、例えば、Guoying Zhao, Matti Pietikainen, "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", IEEE Transactions on Patterns Analysis and Machine Intelligence, vol. 29, no. 6, June 2007に、詳細が開示されている。
なお、拡張ＬＢＰについては、例えば、Guoying Zhao, Matti Pietikainen, "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", IEEE Transactions on Patterns Analysis and Machine Intelligence, vol. 29, no. 6, June 2007に、詳細が開示されている。
また、回帰分析部５０に線形回帰モデルまたはサポートベクトル回帰モデルのいずれかを適用してパラメータ値を求めた場合、顔表情評価部７０から出力される顔表情強度値が、下限値（例えば“０（ゼロ）”）から上限値（例えば“１００”）までの範囲内に収まらない場合がある。
そこで、回帰分析部５０に線形回帰モデルまたはサポートベクトル回帰モデルのいずれかを適用する場合、顔表情評価部７０は、求めた顔表情強度値が“０（ゼロ）”未満であるときは“０（ゼロ）”、“１００”を超えるときは“１００”として、顔表情強度値を出力してもよい。
そこで、回帰分析部５０に線形回帰モデルまたはサポートベクトル回帰モデルのいずれかを適用する場合、顔表情評価部７０は、求めた顔表情強度値が“０（ゼロ）”未満であるときは“０（ゼロ）”、“１００”を超えるときは“１００”として、顔表情強度値を出力してもよい。
または、回帰分析部５０に線形回帰モデルまたはサポートベクトル回帰モデルのいずれかを適用した顔表情解析装置１に、各評価顔画像データについて顔認識処理を実行して人物を識別する顔認識処理部をさらに備えてもよい。この場合、顔表示解析装置１が顔表情解析モードに設定された場合、所定期間において顔認識処理部が認識した人物ごとに、顔表情評価部７０に、顔表情強度値の最大値ｉｎｔｍａｘと最小値ｉｎｔｍｉｎとを用いて、下記の式（５）によって顔表情強度値ｉｎｔを０から１００までの範囲内の値ｉｎｔ’に正規化してもよい。
上述した本発明の第１実施形態から第４実施形態ならびに変形例では、回帰分析部５０が実行する回帰分析処理として、線形回帰分析処理、ロジスティック回帰分析処理、およびサポートベクトル回帰分析処理を示した。回帰分析部５０が実行する回帰分析処理は、これらの例に限定されることなく、他の回帰分析処理も適用できる。例えば、回帰分析部５０は、ニューラルネットワークによる学習処理を回帰分析処理に適用してもよい。
また、上述した各実施形態および変形例である顔表情解析装置１の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための顔表情解析プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された顔表情解析プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の顔表情解析プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
１ 顔表情解析装置
１０ 画像データ取得部
２０ 顔表情強度教師値取得部
３０ 顔領域抽出部
３１ 顔領域検出部
３２ 解析領域決定部
４０ 画像特徴量計算部
５０ 回帰分析部
６０ 回帰モデル記憶部
７０ 顔表情評価部
１０ 画像データ取得部
２０ 顔表情強度教師値取得部
３０ 顔領域抽出部
３１ 顔領域検出部
３２ 解析領域決定部
４０ 画像特徴量計算部
５０ 回帰分析部
６０ 回帰モデル記憶部
７０ 顔表情評価部
Claims (4)
- 画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量計算部が計算した前記画像特徴量と前記画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、数式モデルが有するパラメータ値を前記顔表情種別ごとに更新する回帰分析部と、
前記回帰分析部が更新した前記パラメータ値を適用した前記数式モデルに、前記画像特徴量計算部が計算した画像特徴量を適用して、前記顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する顔表情評価部と、
を備え、
前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、前記区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算し、最大の前記総和値に対応する顔表情種別を選出する、
ことを特徴とする顔表情解析装置。 - 前記顔表情評価部は、前記複数フレームよりも少ないフレーム数おきに、前記所定区間を前記フレーム数分ずらす
ことを特徴とする請求項１記載の顔表情解析装置。 - 前記回帰分析処理は、線形回帰分析処理、ロジスティック回帰分析処理、またはサポートベクトル回帰分析処理のいずれかである
ことを特徴とする請求項１または２記載の顔表情解析装置。 - コンピュータを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データから顔の解析領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記解析領域の画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量計算部が計算した前記画像特徴量と前記画像データに対応付けられた顔表情種別ごとの顔表情強度教師値とを用いて回帰分析処理を実行することにより、数式モデルが有するパラメータ値を前記顔表情種別ごとに更新する回帰分析部と、
前記回帰分析部が更新した前記パラメータ値を適用した前記数式モデルに、前記画像特徴量計算部が計算した画像特徴量を適用して、前記顔表情種別ごとに顔表情強度値を計算し、最大の顔表情強度値に対応する顔表情種別を選出する顔表情評価部と、
として機能させるための顔表情解析プログラムであって、
前記顔表情評価部は、複数フレーム分の画像データを含む所定区間ごとに、前記区間内のフレームにおいて顔表情強度値が最大となる場合の顔表情強度値のみの総和値を顔表情種別ごとに計算し、最大の前記総和値に対応する顔表情種別を選出する、
顔表情解析プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012237877A JP6101470B2 (ja) | 2012-07-23 | 2012-10-29 | 顔表情解析装置および顔表情解析プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012162748 | 2012-07-23 | ||
| JP2012162748 | 2012-07-23 | ||
| JP2012237877A JP6101470B2 (ja) | 2012-07-23 | 2012-10-29 | 顔表情解析装置および顔表情解析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014041587A JP2014041587A (ja) | 2014-03-06 |
| JP6101470B2 true JP6101470B2 (ja) | 2017-03-22 |
Family
ID=50393766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012237877A Active JP6101470B2 (ja) | 2012-07-23 | 2012-10-29 | 顔表情解析装置および顔表情解析プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6101470B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6318765B2 (ja) * | 2014-03-27 | 2018-05-09 | 富士通株式会社 | 情報処理装置、評価器の構築方法、及びプログラム |
| CN105095911B (zh) | 2015-07-31 | 2019-02-12 | 小米科技有限责任公司 | 敏感图片识别方法、装置以及服务器 |
| JP6633476B2 (ja) * | 2016-08-26 | 2020-01-22 | 日本電信電話株式会社 | 属性推定装置、属性推定方法および属性推定プログラム |
| KR20180057096A (ko) * | 2016-11-21 | 2018-05-30 | 삼성전자주식회사 | 표정 인식과 트레이닝을 수행하는 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007065969A (ja) * | 2005-08-31 | 2007-03-15 | Osaka Prefecture Univ | 表情から心理状態を推定する方法 |
| JP2012048360A (ja) * | 2010-08-25 | 2012-03-08 | Sony Corp | Ｉｄ価値評価装置、ｉｄ価値評価システム、及びｉｄ価値評価方法 |
-
2012
- 2012-10-29 JP JP2012237877A patent/JP6101470B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014041587A (ja) | 2014-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vu et al. | Masked face recognition with convolutional neural networks and local binary patterns | |
| Makhmudkhujaev et al. | Facial expression recognition with local prominent directional pattern | |
| Jang et al. | Registration-free Face-SSD: Single shot analysis of smiles, facial attributes, and affect in the wild | |
| Mäkinen et al. | An experimental comparison of gender classification methods | |
| Ouellet | Real-time emotion recognition for gaming using deep convolutional network features | |
| Wang et al. | Learning and matching of dynamic shape manifolds for human action recognition | |
| Agrawal et al. | Facial expression detection techniques: based on Viola and Jones algorithm and principal component analysis | |
| Vukadinovic et al. | Fully automatic facial feature point detection using Gabor feature based boosted classifiers | |
| Nicolle et al. | Facial action unit intensity prediction via hard multi-task metric learning for kernel regression | |
| Danelakis et al. | A survey on facial expression recognition in 3D video sequences | |
| Savran et al. | Non-rigid registration based model-free 3D facial expression recognition | |
| JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Do et al. | Real-time and robust multiple-view gender classification using gait features in video surveillance | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| JP6101470B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Wu et al. | Privacy leakage of sift features via deep generative model based image reconstruction | |
| Dey et al. | Computer vision based gender detection from facial image | |
| JP6166981B2 (ja) | 表情解析装置及び表情解析プログラム | |
| US8655084B2 (en) | Hand-based gender classification | |
| Allaert et al. | Advanced local motion patterns for macro and micro facial expression recognition | |
| Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
| JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
| Weerasekera et al. | Robust asl fingerspelling recognition using local binary patterns and geometric features | |
| Khellat-Kihel et al. | Gender and ethnicity recognition based on visual attention-driven deep architectures | |
| Ayre-Storie et al. | Deep learning-based human posture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150901 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6101470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |