JP7409134B2 - 画像処理方法、画像処理プログラム、および画像処理装置 - Google Patents

画像処理方法、画像処理プログラム、および画像処理装置 Download PDF

Info

Publication number
JP7409134B2
JP7409134B2 JP2020021932A JP2020021932A JP7409134B2 JP 7409134 B2 JP7409134 B2 JP 7409134B2 JP 2020021932 A JP2020021932 A JP 2020021932A JP 2020021932 A JP2020021932 A JP 2020021932A JP 7409134 B2 JP7409134 B2 JP 7409134B2
Authority
JP
Japan
Prior art keywords
image
movement
importance
correction
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021932A
Other languages
English (en)
Other versions
JP2021128476A (ja
Inventor
亮介 川村
健太郎 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020021932A priority Critical patent/JP7409134B2/ja
Priority to US17/157,602 priority patent/US11941498B2/en
Publication of JP2021128476A publication Critical patent/JP2021128476A/ja
Application granted granted Critical
Publication of JP7409134B2 publication Critical patent/JP7409134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理方法、画像処理プログラム、および画像処理装置に関する。
近年の画像処理技術の発達にともない、人間の顔の動き（例えば、表情）を検出して利用する技術が開発されている。例えば、人間の顔の動きから心理状態の機微な変化を認識し、心理状態の変化に応じた処理を行うシステムの開発が行われている。
これに関し、表情の認識に関連する技術が知られている（例えば、特許文献１および特許文献２）。
特開２０１０－０５５３９５号公報 特開２００１－３０７１２３号公報
ところで、例えば、様々な顔の向きに対して頑健に顔の動きを検出するために、画像に写る顔の向きに応じた補正処理を行ってから、顔の動きの認識モデルの入力することが行われている。しかしながら、顔の動きの検出時に認識モデルが重要視している顔の部分は、動きによって異なる。そのため、検出する顔の動きによらず一律に補正した画像を用いて顔の動きの検出を行うと、顔の動きの検出精度が低下してしまうことがある。
１つの側面では、本発明は、顔の動きの検出精度を向上させることを目的とする。
本発明の一つの態様の画像処理方法は、入力画像から顔の複数の特徴点を検出し、画像から所定の顔の動きを検出する処理における画像内の領域の重要度であって画像内の当該領域を遮蔽したときに当該処理による検出結果に生じる変化の大きさから得られる重要度を示す重要度情報を参照し、重要度情報が示す第１の閾値以下の重要度を有する画像領域に対応する１又は複数の点を、入力画像から検出された複数の特徴点のうちから選択し、選択された１又は複数の点を用いて入力画像を補正して補正画像を生成し、認識モデルに補正画像を入力して得られた出力に基づいて、入力画像に所定の顔の動きが発生しているかを判定する、処理を含む。
顔の動きの検出精度を向上させることができる。
例示的なアクションユニット情報を示す図である。 例示的な心理状態情報を示す図である。 例示的な画像からのＡＵの検出処理を示す図である。 例示的な顔の特徴点を示す図である。 実施形態に係る画像処理装置のブロック構成を例示する図である。 例示的な遮蔽感度マップの生成を示す図である。 所定範囲の重要度を有する領域を重要度のヒストグラムを用いても表した例を示す図である。 実施形態に係る重要度情報に基づく補正点の特定処理の動作フローを例示する図である。 実施形態に係る補正点情報の例を説明する図である。 実施形態に係る動きの大きさに基づく補正点の特定の例を説明する図である。 実施形態に係る動きの大きさに基づく補正点の特定処理の動作フローを例示する図である。 重要度情報により特定された補正点と動きの大きさに基づき特定された補正点との集合を例示する図である。 実施形態に係る補正処理とＡＵ検出処理の流れの例を説明する図である。 実施形態に係るＡＵごとの認識モデルの生成処理の動作フローを例示する図である。 ＡＵごとに生成されたＡＵ認識モデルを用いたＡＵ認識処理の動作フローを例示する図である。 実施形態に係る心理状態判定処理の動作フローを例示する図である。 実施形態に係る所定期間の心理状態を示す表示画面を例示する図である。 実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
上述のように、人間の顔の動きを検出するための技術が開発されている。例えば、人間の表情を記述する手法の１つに、例えば、ＦＡＣＳ（Facial Action Coding System）がある。ＦＡＣＳは、顔面筋肉の解剖学的知見を基礎としており、顔の動作が顔の動作単位であるアクションユニット（ＡＵ：Action Unit）でコード化されて記述される。様々なＡＵが定義されており、各ＡＵには、ＡＵ１から始まるＡＵ番号が割り振られている。
図１は、例示的なアクションユニット情報１００を示す図である。図１のアクションユニット情報１００では、ＡＵ番号と、そのＡＵ番号と対応するＡＵの動きとが対応づけて登録されている。例えば、ＡＵ４は眉を内側に下げる動きである。これらのＡＵを用いることで、表情の微細な変化を記述することができる。そして、ＡＵの変化を認識することで、心理状態を推定することができる。
図２は、例示的な心理状態情報２００を示す図である。図２の心理状態情報２００では、心理状態と、その心理状態において表情から検出されるＡＵ番号とが対応づけて登録されている。例えば、画像に写る人物が喜んでいる場合、その人物の表情からはＡＵ１２、およびＡＵ２５が検出される傾向がある。そのため、画像に写る人物の表情からＡＵ１２およびＡＵ２５が検出された場合、画像に写る人物が喜んでいると判定することができる。そして、例えば、この様に画像に写る人物の表情に発生しているＡＵを検出し、検出されたＡＵと対応する心理状態を心理状態情報２００から特定することで、画像に写る人物の心理状態を推定することが可能である。
ところで、例えば、様々な顔の向きに対して頑健にＡＵを認識するために、顔の特徴点を用いて画像に写る顔に向きに応じた補正処理を行ってからＡＵの認識モデルに画像を入力することが行われている。
図３は、例示的な画像からのＡＵの検出処理を示す図である。例えば、人物がＡＵの認識において好ましい向きで写っている参照画像を用意する。参照画像は、例えば、顔が傾いておらず、また、顔が正面を向いていて、所定サイズ以上の大きさで写っている画像であってよい。
そして、例えば、図３に示すように、顔が傾いている画像などの入力画像がＡＵの検出対象として入力されたとする。この場合に、まず、参照画像と入力画像とのそれぞれで顔の特徴点の検出が行われる。顔の特徴点を検出するための様々な顔ランドマーク検出手法が知られており、一例では、顔から６８点の特徴点をランドマークとして検出する手法が用いられてよい。
図４は、例示的な顔の６８点の特徴点を示す図である。図４に示すように、顔の輪郭、目、鼻、口の周辺に特徴点が定められている。なお、実施形態で利用可能な顔のランドマークとして用いる特徴点は、図４に示す６８点に限定されるものではなく、その他の数および配置の特徴点が用いられてもよい。ここでは、参照画像および入力画像において、これらの６８点の特徴点を検出して用いる例を述べる。
続いて、写っている人物の顔のスケールの違い、移動、回転の影響を減少させるように入力画像に補正処理を実行する。補正処理では、入力画像で検出された特徴点の配置を参照画像で検出された対応する特徴点の配置に合わせるように、入力画像が補正されてよい。なお、入力画像と、参照画像とで対応する特徴点とは、例えば、入力画像および参照画像の双方の画像から検出された図４の番号が一致する特徴点であってよい。一例では、入力画像の補正にはProcrustes法が用いられてよい。
その後、補正処理により得られた補正画像は、図３に示すように、ＡＵの認識モデルに入力され、補正画像において発生しているＡＵの検出が行われる。そして、心理状態情報２００に基づいて、検出されたＡＵから画像に写る人物の心理状態を推定することができる。
しかしながら、例えば、認識モデルが顔の動きの検出時に重要視している顔の部分は、検出する顔の動きによって異なり得る。例えば、ＡＵ１のように眉の動き検出する場合と、ＡＵ１５のように唇の動き検出する場合とでは、ＡＵの動きの発生を検出する上で重要な顔の部分が異なり得る。
それにもかかわらず、例えば、図３に示すように、様々なＡＵの動きの検出を共通する補正画像を用いて実行すると、ＡＵによっては補正によりＡＵの検出に重要な顔の部分の動きが抑え込まれてしまったりすることがある。その結果、顔の動きの検出精度が低下することがある。そのため、顔の動きの検出精度を向上させることのできる更なる技術の提供が望まれている。
以下で述べる実施形態では、検出対象とする顔の動きごとに、補正に用いる好ましい特徴点を特定する。そして、検出対象とする顔の動きごとに特定された好ましい特徴点を用いて検出対象とする顔の動きごとに補正画像を生成する。続いて、得られた補正画像を認識モデルに入力して検出対象とする顔の動きの検出を行う。この様に、検出対象とする顔の動きごとに個別に補正画像を生成して認識モデルに入力し、顔の動きの検出を行うため、実施形態によれば顔の動きの検出精度を向上させることができる。その結果、表情の認識精度も向上させることができる。
なお、以下では、顔の動きとしてＡＵを用いる例を説明するが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、その他の顔の動きが用いられてもよい。一例では、眉の動き、および口の動きというように、顔のパーツごとの動きを対象に実施形態が適用されてもよい。以下、実施形態を更に詳細に説明する。
図５は、実施形態に係る画像処理装置５００のブロック構成を例示する図である。画像処理装置５００は、例えば、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末、サーバコンピュータなどの画像を処理する情報処理装置であってよい。そして、画像処理装置５００は、実施形態に係る顔の動きの検出処理を実行してよい。
画像処理装置５００は、例えば、制御部５０１、記憶部５０２、および通信部５０３を含む。制御部５０１は、例えば、画像処理装置５００の全体を制御してよい。制御部５０１は、例えば、検出部５１１、選択部５１２、補正部５１３、判定部５１４、および出力部５１５などを含み、またその他の機能部を含んでもよい。画像処理装置５００の記憶部５０２は、例えば、アクションユニット情報１００、心理状態情報２００、および後述する補正点情報９００などの情報を記憶していてよい。通信部５０３は、例えば、制御部５０１の指示に従って他の装置とデータを通信してよい。これらの各部の詳細および記憶部５０２に格納されている情報の詳細については後述する。
続いて、顔の複数の特徴点のうちからの顔の動きと対応する補正画像の生成に用いるのに好ましい特徴点の特定について説明する。なお、以下では、補正に用いるのに好ましい点として特定された特徴点を、補正点と呼ぶことがある。
［重要度情報による補正点の特定］
本発明者らは、検出対象とする顔の動きがあった場合に、その動きのある領域の周囲に、動きは小さいが検出対象とする顔の動きの検出に寄与する領域があることに着目した。
例えば、認識モデルによる検出対象の顔の動きの検出に画像中のどの領域が重要であるかを示す重要度を、検出対象の動きの発生している画像上で評価することで、重要度情報を生成することができる。重要度情報には、一例では、遮蔽感度マップ（Occlusion sensitivity map）などの重要度マップを用いることができる。しかしながら、実施形態に係る重要度情報は、遮蔽感度マップに限定されるものではなく、検出対象とする顔の動きの検出における画像内の各領域の重要度を示す情報であれば、その他の手法で生成された情報であってもよい。
図６は、例示的な遮蔽感度マップの生成を示す図である。例えば、図６（ａ）に示すように、遮蔽感度マップの生成では、制御部５０１は、画像の一部をパッチで遮蔽して認識モデルに入力する。この時、遮蔽されたパッチの箇所が認識モデルでの認識に重要な領域であれば、出力層で正解の出力値が低下する。一方、遮蔽されたパッチの箇所が認識モデルでの認識に重要でない領域である場合、出力層で正解の出力値はあまり変化しない。
例えば、図６（ｂ）および図６（ｃ）は、認識モデルでＡＵ１２：唇端を張り上げる動きを検出する場合のパッチの位置に応じた出力層での正解の出力値への影響を示している。ＡＵ１２は、唇の動きであるため、例えば、図６（ｂ）に示すように、顔の目などを隠しても、認識モデルの認識結果には影響が小さく、正解の出力値の変化は小さい。一方で、例えば、図６（ｃ）に示すように、唇をパッチで隠してしまうと、出力層での正解の出力値が顕著に低下する。
制御部５０１は、例えば、画像を走査するようにパッチを移動させながら、パッチの位置に対応づけて出力層で正解の出力値の変化を記録する。そして、制御部５０１は、画像内で各領域が認識モデルでの動きの検出に重要な領域であるか否かを示す重要度を、正解の出力値の低下の度合いから評価し、それに基づいて重要度情報を生成してよい。
図６（ｄ）は、ＡＵ１２の動きが発生している画像に対して、ＡＵ１２の認識モデルで作成した重要度情報を例示している。図６（ｄ）に示すように、顔の中であってもＡＵ１２の発生部位から大きく離れた領域では、認識対象のＡＵ１２の動きがほとんど伝搬しておらず、重要度において背景などの表情とは無関係な領域と大きな差がなく一様に低い重要度を示している（図６の領域Ａ）。一方、ＡＵ１２は唇の動きであるため、唇の周辺の動きのある領域は高い重要度を示している（図６の領域Ｂ）。そして、検出対象の動きの発生している重要な領域（図６の領域Ｂ）の周辺に、動きは小さいが検出対象の動きの検出に寄与する所定範囲の重要度を有する領域がある（図６の領域Ｃ）。実施形態では、この所定範囲の重要度を有する領域に含まれる特徴点を、検出対象の顔の動きを検出する認識モデルに入力するための補正画像の生成に用いる補正点として特定する。
なお、図７は、所定範囲の重要度を有する領域を、重要度のヒストグラムを用いても表した例を示す図である。図７のヒストグラムでは、横軸に重要度がとられており、縦軸にその重要度の検出数がとられている。なお、図７の例では、画像中で検出された最大の重要度を１．０として、重要度を正規化している。この場合に、制御部５０１は、例えば、第１の閾値以下で第２の閾値以上の範囲を有する所定範囲の重要度の領域を、図６（ｄ）の動きは小さいが検出対象の動きの検出に寄与する領域（領域Ｃ）と対応する画像領域として特定してよい。なお、所定範囲は、例えば、第２の閾値として用いる下限の重要度が０．４～０．６の範囲の値、また、第１の閾値として用いる上限の重要度が０．７～０．９の範囲の値などで上限と下限が定められていてよい。一例では、所定範囲は、０．５～０．７の範囲であってよい。この場合に、例えば、図７において重要度が０．５未満の領域は、図６（ｄ）の領域Ａと対応していてよく、また、図７において重要度が０．７よりも上の領域は、図６（ｄ）の領域Ｂと対応していてよい。そして、実施形態では、制御部５０１は、例えば以上で述べた認識モデルによる検出対象の動きの認識に重要な領域の周囲にある所定範囲の重要度を有する領域に含まれる特徴点を、補正に用いる補正点として特定してよい。
なお、補正点の抽出に用いる重要度の所定範囲は、一例では、以下のように設定することができる。例えば、検出対象の動きの発生している所定以上の動きのある特徴点は含まず、かつ、その周辺の動きが所定以下で小さい特徴点は含むように所定範囲の上限を定めることができる。また、背景などの表情とは無関係な領域や、検出対象の動きのある領域から離れた顔領域が除かれて、認識モデルによる検出対象の動きの検出にある程度寄与する所定以上の重要度を有する領域を含むように所定範囲の下限を設定することができる。なお、所定範囲は、例えば、検出対象の動きごとに個別に定められてよい。また、所定範囲は、例えば、以上の要件を満たす領域が抽出されるように、経験則に基づいて設定されてもよい。
以上のように設定した所定範囲の重要度を有する領域に含まれる特徴点は、例えば、位置の動きは小さいが、その位置が検出対象の動きの検出に寄与している。そのため、これらの特徴点の位置を、参照画像での位置に合わせるように入力画像を補正することで、その内部にある重要度の高い領域での検出対象の動きが保存されるように画像が補正することができる。
従って、以上のように所定範囲の重要度を有する領域に含まれる特徴点を補正点として特定し、補正点と対応する点を用いて補正処理を行うことで、検出対象の動きの検出に適した補正画像を生成することができる。そして、得られた補正画像を認識モデルに入力して動きの検出を実行することで、動きの検出精度を高めることができる。従って、実施形態によれば表情の認識精度を向上させることができる。なお、別な実施形態では制御部５０１は、例えば、第１の閾値以下の重要度の領域を、所定範囲の重要度を有する画像領域として特定してもよい。
続いて、以上で述べた、重要度情報による補正点の特定処理の動作フローの例を説明する。図８は、実施形態に係る重要度情報に基づく補正点の特定処理の動作フローを例示する図である。例えば、制御部５０１は、補正点の特定対象のＡＵの指定とともに、補正点の特定処理の実行指示が入力されると、図８の動作フローを開始してよい。
ステップ８０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ８０１と表記する）において制御部５０１は、補正点の特定対象のＡＵの発生している画像と参照画像とを読み出す。
Ｓ８０２において制御部５０１は、補正点の特定対象のＡＵの発生している画像と参照画像とのそれぞれで顔領域を抽出する。
Ｓ８０３において制御部５０１は、補正点の特定対象のＡＵの発生している画像と参照画像とのそれぞれで、顔領域から特徴点を検出する。
Ｓ８０４において制御部５０１は、参照画像に基づいて、補正点の特定対象のＡＵの発生している画像を補正する。一例では、制御部５０１は、所定の特徴点の位置が、参照画像での対応する特徴点の位置に合うように、補正点の特定対象のＡＵの発生している画像を補正し、補正画像を生成してよい。なお、補正に用いる所定の特徴点は、一例では、発生しているＡＵによらず、動きや個人差の少ない特徴点であってよい。
Ｓ８０５において制御部５０１は、認識モデルを用いて重要度情報を作成する。なお、重要度情報の作成に用いる認識モデルは、例えば、補正点の特定対象のＡＵの発生の有無を検出するように学習された認識モデルであってよい。一例では、認識モデルは、補正点の特定対象のＡＵの発生の有無をラベルした画像データを教師データとして学習を行うことで、ＡＵごとに個別に生成された認識モデルであってよい。また、別の実施形態では認識モデルは、図３に例示するように、様々なＡＵが発生している複数の画像に、その画像で発生しているＡＵがラベルされている教師データを用いて、画像に発生しているＡＵを特定するように学習された認識モデルであってもよい。
Ｓ８０６において制御部５０１は、補正画像に対して生成した重要度情報と、補正画像から検出された特徴点とを重ね合わせる。
Ｓ８０７において制御部５０１は、重要度情報において所定範囲の重要度を有する画像領域に含まれる特徴点を補正点として特定する。なお、所定範囲は、一例では、図７を参照して述べたように設定されてよい。
Ｓ８０８において制御部５０１は、補正点の特定対象のＡＵと対応づけて、特定した補正点を補正点情報９００に登録し、補正点が登録された補正点情報９００を記憶部５０２に記憶して、本動作フローは終了する。
図９は、実施形態に係る補正点情報９００の例を説明する図である。図９（ａ）には、補正点情報９００の例が示されている。補正点情報９００では、ＡＵ番号と、そのＡＵの検出の際の補正処理で用いる補正点とが対応づけて登録されている。なお、図６～図８を参照して述べた、重要度情報による補正点の特定では、ＡＵごとに個別に補正点が特定されるため、例えば、図９（ｂ）に示すように、異なるＡＵでは補正点も異なり得、ＡＵごとに適した補正を行うことができる。
また、重要度情報による補正点の特定では、検出対象のＡＵの動きのある領域の周辺領域にある特徴点が補正点として特定される。そのため、これらの補正点を参照画像での配置に合わせるように画像を補正することで、その内部にある重要度の高い領域で検出対象の動きが保存されるように画像が補正することができる。そして、得られた補正画像を認識モデルに入力して動きの検出を実行することで、動きの検出精度を高めることができる。従って、実施形態によれば表情の認識精度を向上させることができる。
［ＡＵの動きの発生による動きの大きさに基づく補正点の特定］
続いて、ＡＵの動きの発生による動きの大きさが小さい特徴点を、ＡＵごとに補正点として特定する処理について述べる。例えば、検出対象のＡＵに動きが発生したときに動きの小さい特徴点は、検出対象のＡＵの動きへの影響を抑えて補正ができると考えられるため、そのＡＵの検出の際に補正点として用いることが好ましい。そこで、実施形態ではＡＵごとに、そのＡＵの動きが発生しても動きが小さい特徴点を、補正に用いる補正点として特定する。
図１０は、実施形態に係るＡＵごとの動きの小さい特徴点の特定の例を説明する図である。例えば、補正点の特定対象のＡＵの動きが発生していない複数の画像を用意する。また、特定対象のＡＵの動きが発生していない複数の画像のそれぞれと対応する特定対象のＡＵの動きが発生している画像も用意する。なお、特定対象のＡＵの動きが発生している画像と、対応する特定対象のＡＵの動きが発生していない画像とは、一例では、同一人物が対象ＡＵの動作を行った状態と、行っていない状態とで、所定の許容範囲内で同じ撮影条件下で撮影された画像であってよい。撮影条件は、例えば、被写体との撮影距離、撮影の角度、光の当たり具合などの条件を含んでよい。
続いて、用意した対象ＡＵの動きが発生していない画像のデータセットと、対象ＡＵの動きが発生している画像のデータセットとのそれぞれで、特徴点の検出を行い、各特徴点の座標群を出力する。例えば、対象ＡＵの動きが発生していない画像から抽出された６８点の特徴点のそれぞれの座標を（ｘ０ｉ，ｙ０ｉ）（ｉ＝１～６８）とする。また、対象ＡＵの動きが発生している画像から抽出された６８点の特徴点のそれぞれの座標を（ｘ１ｉ，ｙ１ｉ）（ｉ＝１～６８）とする。
この場合に、制御部５０１は、対応する画像の特徴点ごとに（ｘ０ｉ，ｙ０ｉ）の座標群と（ｘ１ｉ，ｙ１ｉ）の座標群とで座標の差分が閾値（例えば、第３の閾値）以下であるかを判定する。そして、制御部５０１は、座標の差分が閾値以下である特徴点を、対象ＡＵが発生したときに動きの小さい特徴点として特定してよい。例えば、閾値として有意差を用いても良い。すなわち、制御部５０１は、（ｘ０ｉ，ｙ０ｉ）の座標群と（ｘ１ｉ，ｙ１ｉ）の座標群とでｘ座標およびｙ座標のいずれにおいても有意差がない場合、座標の差分が閾値以下であると判定しても良い。なお、有意差の有無は、統計学的手法を用いて判定することができ、一例では、ｔ検定を用いて判定されてよい。なお、別の実施形態では制御部５０１は、（ｘ０ｉ，ｙ０ｉ）と（ｘ１ｉ，ｙ１ｉ）との座標間の距離が、発生している最大の座標間の距離に対して所定の割合以下の特徴点を、座標の差分が閾値以下である特徴点として特定してもよい。所定の割合は、一例では、１０％～２０％などの範囲の値であってよい。
そして、制御部５０１は、例えば、以上のようにして特定された対象ＡＵの動きが発生しても動きが小さい特徴点を、補正点として特定してよい。例えば、以上で述べたように、所定の顔の動きの発生している第１の画像に含まれる複数の特徴点のそれぞれと、第１の画像と対応する所定の顔の動きの発生していない第２の画像に含まれる複数の特徴点のそれぞれとの間の差分が第３の閾値以下である特徴点を補正点として特定することができる。
続いて、以上で述べた、動きの大きさに基づく補正点の特定処理の動作フローの例を説明する。
図１１は、実施形態に係る動きの大きさに基づく補正点の特定処理の動作フローを例示する図である。例えば、制御部５０１は、動きの大きさに基づく補正点の特定処理の実行指示が入力されると、図１１の動作フローを開始してよい。
Ｓ１１０１において制御部５０１は、補正点の特定対象ＡＵの動きが発生している画像群と、補正点の特定対象ＡＵに動きが発生していない画像群とを読み込む。
Ｓ１１０２において制御部５０１は、補正点の特定対象ＡＵの動きが発生しても動きの小さい特徴点を特定する。例えば、制御部５０１は、図１０で述べたように、対象ＡＵの動きが発生していない画像と対象ＡＵの動きが発生している画像との間で、特徴点の座標を比較することで、対象ＡＵが発生しても動きの小さい特徴点を特定してよい。
Ｓ１１０３において制御部５０１は、対象ＡＵと対応づけて、動きの小さい特徴点を補正点として補正点情報９００に登録し、補正点が登録された補正点情報９００を記憶部５０２に記憶して、本動作フローは終了する。図９を参照して述べたように、補正点情報９００には、例えば、ＡＵ番号と、そのＡＵの検出の際の補正処理で用いる補正点とが対応づけて登録されてよい。
なお、図１０～図１１を参照して述べた特徴点の動きの大きさに基づく補正点の特定でも、ＡＵごとに個別に補正点が特定されるため、例えば、図９（ｂ）に示すように、異なるＡＵでは特定された補正点も異なり得る。そのため、特徴点の動きに基づき特定された補正点を用いて補正処理を行うことで、ＡＵごとに適した補正を行うことができる。
また、補正点情報９００にＡＵごとに登録される補正点は、図１２に示すように、重要度情報により特定された補正点と、特徴点の動きの大きさに基づき特定された補正点との積集合であってもよい。この場合、重要度情報による補正点の特定処理と動きの大きさに基づく補正点の特定処理とにおいて共通して特定された補正点に基づいて、画像の補正処理が実行される。また、別の実施形態では、重要度情報により特定された補正点と、特徴点の動きの大きさに基づき特定された補正点とのいずれか一方が補正点情報９００に登録されてもよい。更に別の実施形態では、重要度情報により特定された補正点と、特徴点の動きの大きさに基づき特定された補正点との和集合が補正点情報９００に登録されてもよい。また、補正点情報９００には重要度情報により特定された補正点と、特徴点の動きの大きさに基づき特定された補正点とが区別されて、個別に登録されていてもよい。
そして、以上で述べたように、ＡＵごとに特定された補正点に基づいて、画像の補正処理を行うことで、ＡＵごとに適した補正を行うことができる。そのため、実施形態によればＡＵの検出精度を向上させることができる。以下、ＡＵごとに特定した補正点に基づく補正処理とＡＵの検出処理を説明する。
図１３は、実施形態に係る補正処理とＡＵ検出処理の流れの例を説明する図である。例えば、人物がＡＵの認識において好ましい向きで写っている参照画像を用意する。例えば、参照画像は、顔が傾いておらず、顔が正面を向いていて、所定サイズ以上の大きさで写っている画像であってよい。そして、例えば、図１３に示すように、顔が傾いている画像などの入力画像が表情の判定対象として入力されたとする。
この場合に、制御部５０１は、参照画像と入力画像とのそれぞれで顔の特徴点を検出する。そして、制御部５０１は、補正点情報９００からＡＵごとに補正点の情報を読み出し、読み出した補正点と対応する１又は複数の特徴点を特定し、特定した１又は複数の特徴点の配置を、参照画像での配置に合わせるように入力画像を補正する。それにより、制御部５０１は、ＡＵごとに補正画像を生成することができる。例えば、図１３では、補正点情報９００から読み出したＡＵごとの補正点と対応する１又は複数の特徴点を用いて、ＡＵ１用の補正画像、ＡＵ２用の補正画像、…というように、ＡＵごとに補正画像がそれぞれ生成されている。
そして、制御部５０１は、以上のように生成された各ＡＵ用の補正画像を、各ＡＵ用の認識モデルに入力して、対象ＡＵの発生の有無を検出してよい。例えば、図１３では制御部５０１は、ＡＵ１用の補正画像をＡＵ１用の認識モデルに入力し、ＡＵ１の発生の有無を判定する。また、制御部５０１は、ＡＵ２用の補正画像をＡＵ２用の認識モデルに入力し、ＡＵ２の発生の有無を判定する。
なお、個々のＡＵ用の認識モデルは、例えば、以下のように生成することができる。まず、認識モデルを作成する対象のＡＵの発生の有無がラベルされている画像データを用意する。そして、制御部５０１は、対象のＡＵの発生の有無がラベルされている画像データを、対象ＡＵと対応する補正点情報９００の補正点と対応する特徴点を用いて補正して、対象ＡＵ用の補正画像を生成する。続いて、制御部５０１は、得られた対象ＡＵ用の補正画像を教師データとして対象ＡＵを検出するように認識モデルの学習を行うことで、対象ＡＵ用の認識モデルを作成することができる。以下、ＡＵごとの認識モデルの生成処理を更に説明する。
図１４は、実施形態に係るＡＵごとの認識モデルの生成処理の動作フローを例示する図である。例えば、制御部５０１は、認識モデルの生成対象のＡＵの指定とともに認識モデルの生成処理の実行指示が入力されると、図１４の動作フローを開始してよい。
Ｓ１４０１において制御部５０１は、参照画像と指定された認識モデルを生成する対象ＡＵの動き有りの画像群と対象ＡＵの動き無しの画像群とを読み込む。
Ｓ１４０２において制御部５０１は、読み込んだ画像から顔領域を抽出する。Ｓ１４０３において制御部５０１は、読み込んだ画像の顔領域から顔の特徴点を検出する。
Ｓ１４０４において制御部５０１は、補正点情報９００から対象ＡＵと対応する補正点の情報を取得し、補正点と対応する１又は複数の点を検出された顔の特徴点のうちから選択する。
Ｓ１４０５において制御部５０１は、選択した１又は複数の点を、参照画像で補正点と対応する１又は複数の特徴点の配置に合わせるように、対象ＡＵの動き有りの画像群と対象ＡＵの動き無しの画像群とを補正して補正画像を生成する。
Ｓ１４０６において制御部５０１は、対象ＡＵの動きの有無をラベルした補正画像を教師データとして用い、対象ＡＵの動きが発生しているかを判定するように学習を行った学習済みの認識モデルを生成し、本動作フローは終了する。なお、モデルの学習は、例えば、ディープラーニング、サポートベクターマシンなどの既知の様々な機械学習の手法を用いて実施することができる。
以上で述べたように、例えば、補正点情報９００に登録されている対象ＡＵごとの補正点に基づいて、補正点と対応する特徴点を特定し、補正点と対応する特徴点を用いて画像の補正を行う。そして、生成された補正画像を用いてモデルの学習を行うことで、対象ＡＵの発生の有無を検出するための認識モデルを生成することができる。なお、例えば、所定範囲の重要度を有する画像領域を用いて、補正して得られた複数の補正画像を教師データとして、機械学習を実行することで、対象ＡＵの発生の有無を検出するための認識モデルを生成してもよい。そして、各ＡＵごとに生成された認識モデルを用いて各ＡＵごとにＡＵ発生の有無を検出することができる。
図１５は、ＡＵごとに生成された認識モデルを用いたＡＵ認識処理の動作フローを例示する図である。例えば、制御部５０１は、ＡＵ認識処理の実行指示が入力されると、図１５の動作フローを開始してよい。
Ｓ１５０１において制御部５０１は、ＡＵの発生の有無を検出する対象の画像の入力を受け付ける。例えば、制御部５０１は、ユーザによって指定された画像を記憶部５０２から読み込んでよい。
Ｓ１５０２において制御部５０１は、入力された画像から顔領域を抽出する。そして、Ｓ１５０３において制御部５０１は、顔領域から特徴点を検出する。
Ｓ１５０４において制御部５０１は、補正点情報９００を参照し、顔領域から検出した特徴点のうちから、ＡＵごとに補正点と対応する１または複数の特徴点を選択する。
Ｓ１５０５において制御部５０１は、ＡＵごとに選択した１または複数の特徴点を用いて補正処理を行ってＡＵごとに補正画像を生成する。
Ｓ１５０６において制御部５０１は、ＡＵごとに生成した補正画像を、対応するＡＵごとの認識モデルに入力して、ＡＵの発生の有無を判定し、本動作フローは終了する。なお、ＡＵごとの認識モデルは、例えば、図１４の動作フローで生成されるＡＵごとに生成した補正画像を用いて学習が行われた認識モデルであってよい。そして、以上のようにＡＵごとに特定した補正点と対応する１または複数の特徴点を用いて補正画像を生成し、ＡＵごとに生成された認識モデルを用いてＡＵの発生の有無を判定するため、入力画像に発生しているＡＵを高い精度で検出することが可能である。そのため、実施形態によれば、表情の認識精度を向上させることができる。
なお、以上に述べた動作フローの処理を含む実施形態に係る処理は、画像処理装置５００などの１つの装置に実装されてもよいし、別の実施形態では、複数の装置による連携で実装されてもよい。例えば、サーバコンピュータと、クライアントの端末とで実施形態に係る処理が実装されてもよい。以下、画像処理装置５００がサーバコンピュータとして動作し、クライアントの端末から心理状態判定処理の実行指示を受信すると、心理状態を判定する処理について例示する。
図１６は、実施形態に係る心理状態判定処理の動作フローを例示する図である。例えば、画像処理装置５００の制御部５０１は、クライアントの端末から心理状態判定処理の実行指示を受信すると、図１６の動作フローを開始してよい。なお、画像処理装置５００は、図１６の動作フローとは別の処理で、クライアントの端末から撮影装置で所定期間に撮影された心理状態の判定対象の人物の写る複数の画像を受信し、記憶部５０２に記憶していてよい。
Ｓ１６０１において画像処理装置５００の制御部５０１は、所定期間に撮影された判定対象の人物が写る複数の画像を読み出す。なお、所定期間は、例えば、人物の心理状態を検出する期間であってよい。一例では、制御部５０１は、５分～１０分などの所定期間において、５秒～２０秒おきなどの所定の間隔で撮影された複数の画像に対して処理を実行してよい。
Ｓ１６０２において制御部５０１は、読み出した複数の画像にＡＵ認識処理を実行する。ＡＵ認識処理では、制御部５０１は、例えば、複数の画像のそれぞれを入力画像として、図１５のＡＵ認識処理を実行することで、複数の画像のそれぞれにおいて発生しているＡＵを検出してよい。
Ｓ１６０３において制御部５０１は、複数の画像の各画像ごとに、発生している心理状態を特定する。例えば、制御部５０１は、画像において発生しているＡＵの組が当てはまる心理状態を心理状態情報２００から特定して、画像に写る人物に発生している心理状態を特定してよい。一例として、画像からＡＵ１、ＡＵ２、ＡＵ１２、ＡＵ２５が検出されている場合には、制御部５０１は、これらのＡＵの組と対応する心理状態：喜び、うれしい驚きを検出してよい。
Ｓ１６０４において制御部５０１は、読み出した複数の画像において検出された心理状態の回数を心理状態ごとに集計する。
Ｓ１６０５において制御部５０１は、例えば、集計の結果得られた画像に写る人物の心理状態を示す情報を出力し、本動作フローは終了する。例えば、制御部５０１は、集計した心理状態を表示するための表示情報を生成し、心理状態判定処理の実行指示を送信してきたクライアントの端末に表示情報を出力してよい。クライアントの端末は、表示情報を受信すると、例えば、クライアントの端末が備えるディスプレイなどの表示装置に、画像に写る人物の所定期間の心理状態を示す表示画面１７００を表示させてよい。
図１７は、実施形態に係る所定期間の心理状態を示す表示画面１７００を例示する図である。表示画面１７００には、所定期間に検出された画像に写る人物の心理状態の集計結果が示されている。例えば、横軸は、所定期間に検出された喜び、怒り、驚き、…などの心理状態であり、縦軸は心理状態の検出数である。図１７の例では、所定期間に喜びと、驚き、うれしい驚きの感情が検出されており、対象人物が所定期間においてこれらの心理状態にあることを推定することができる。そして、これらの心理状態の情報は、例えば、判定対象の人物の心理状態が安定しているかなどを判定したり、判定対象の人物の業務管理や、診断などに利用したりすることができる。
以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、重要度情報に基づいて特定された補正点を、補正処理で補正に用いる１または複数の特徴点の特定に利用しない場合には、図８の動作フローは省略されてもよい。また、動きの大きさに基づき特定された補正点を、補正処理で補正に用いる１または複数の特徴点の特定に利用しない場合には、図１１の動作フローは省略されてもよい。
また、上述の実施形態では、心理状態の検出対象として人間を例に説明を行っているが、実施形態はこれに限定されるものではない。例えば、心理状態の検出対象は、犬、猫などのペット、およびその他の動物であってもよい。
また、上述の実施形態では、顔の動きとしてＡＵ単位で動きを検出する例を述べているが、実施形態は、ＡＵ単位での動きの検出に限定されるものではない。例えば、別の実施形態では、眉の動き、口の動きといった部位ごとに顔の動きが検出されてもよい。そして、この場合に、部位ごとに動きを検出する認識モデルを用いて重要度情報を生成したり、動きの少ない特徴点を特定したりして補正点が特定されてもよい。例えば、図１のアクションユニット情報１００では、ＡＵ１、ＡＵ２、ＡＵ４は眉の動きに関するＡＵであるため、制御部５０１は、これらの複数のＡＵをまとめた動きに対して補正点を特定してもよい。
また、上述の実施形態では、参照画像を用いて、補正点と対応する入力画像の１または複数の特徴点が、補正点と対応する参照画像での１または複数の特徴点の配置に合うように補正を行う例を述べているが、実施形態はこれに限定されるものではない。別の実施形態では補正の際に参照画像は用いられなくてもよい。例えば、制御部５０１は、補正点と対応する入力画像の１または複数の特徴点が、予め参照画像からＡＵごとの特定されている補正点と対応する所定の特徴点の座標などの配置に合うように入力画像を補正してもよい。
また、上述の実施形態では、ＡＵの発生している１つの画像に対して生成した重要度情報に基づいてそのＡＵと対応する補正点を特定する例を述べているが、実施形態はこれに限定されるものではない。別の実施形態では、或るＡＵの発生している複数の画像から生成した複数の重要度情報に基づいてそのＡＵと対応する補正点が特定されてもよい。
更には、上述の実施形態では、全てのＡＵの検出に上述の実施形態を適用する例を述べているが、実施形態はこれに限定されるものではない。別の実施形態では、複数のＡＵのうちの一部のＡＵの検出に上述の実施形態を適用し、残りのＡＵの検出には、別の手法が用いられてもよい。
また、上述の実施形態では、認識モデルの出力層の正解の出力値に基づいて重要度を評価する例を述べているが、別の実施形態では、認識モデルの出力層の正解の出力値が、そのまま重要度を表す指標として用いられてもよい。
また、上述の実施形態では、第１の閾値以下で第２の閾値以上の範囲を有する所定範囲の重要度の領域から補正点を特定して補正点情報９００として記憶部５０２に記憶し、補正処理で参照する例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では制御部５０１は、重要度情報が示す第１の閾値以下の重要度を有する画像領域に対応する１又は複数の点を、入力画像から検出された複数の特徴点のうちから選択してもよい。
なお、上述の実施形態において、例えば、図１５のＳ１５０３の処理では、画像処理装置５００の制御部５０１は、検出部５１１として動作する。また、例えば、図１５のＳ１５０４の処理では、画像処理装置５００の制御部５０１は、選択部５１２として動作する。例えば、図１５のＳ１５０５の処理では、画像処理装置５００の制御部５０１は、補正部５１３として動作する。例えば、図１５のＳ１５０６の処理では、画像処理装置５００の制御部５０１は、判定部５１４として動作する。例えば、図１６のＳ１６０５の処理では、画像処理装置５００の制御部５０１は、出力部５１５として動作する。
図１８は、実施形態に係る画像処理装置５００を実現するためのコンピュータ１８００のハードウェア構成を例示する図である。図１８の画像処理装置５００を実現するためのハードウェア構成は、例えば、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、および入出力インタフェース１８０７を備える。なお、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７は、例えば、バス１８０８を介して互いに接続されている。
プロセッサ１８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１８０１は、メモリ１８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部５０１の一部または全部の機能を提供する。例えば、画像処理装置５００のプロセッサ１８０１は、記憶装置１８０３に格納されているプログラムを読み出して実行することで、検出部５１１、選択部５１２、補正部５１３、判定部５１４、および出力部５１５として動作する。
メモリ１８０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでよい。記憶装置１８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
読取装置１８０４は、プロセッサ１８０１の指示に従って着脱可能記憶媒体１８０５にアクセスする。着脱可能記憶媒体１８０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。
なお、上述の記憶部５０２は、例えばメモリ１８０２、記憶装置１８０３、および着脱可能記憶媒体１８０５を含んでよい。例えば、画像処理装置５００の記憶装置１８０３には、アクションユニット情報１００、心理状態情報２００、および補正点情報９００が格納されている。
通信インタフェース１８０６は、プロセッサ１８０１の指示に従って、他の装置と通信する。一例では、通信インタフェース１８０６は、有線または無線通信で画像を撮影するカメラなどの撮影装置や、クライアントの端末などの他の装置とデータを送受信してよい。通信インタフェース１８０６は、上述の通信部５０３の一例である。
入出力インタフェース１８０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
実施形態に係る各プログラムは、例えば、下記の形態で画像処理装置５００に提供される。
（１）記憶装置１８０３に予めインストールされている。
（２）着脱可能記憶媒体１８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。
なお、図１８を参照して述べた画像処理装置５００を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部５０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
１００ アクションユニット情報
２００ 心理状態情報
５００ 画像処理装置
５０１ 制御部
５０２ 記憶部
５０３ 通信部
５１１ 検出部
５１２ 選択部
５１３ 補正部
５１４ 判定部
５１５ 出力部
９００ 補正点情報
１７００ 表示画面
１８００ コンピュータ
１８０１ プロセッサ
１８０２ メモリ
１８０３ 記憶装置
１８０４ 読取装置
１８０５ 着脱可能記憶媒体
１８０６ 通信インタフェース
１８０７ 入出力インタフェース
１８０８ バス

Claims (7)

  1. 入力画像から顔の複数の特徴点を検出し、
    画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第１の閾値以下の重要度を有する画像領域に対応する１又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択し、
    選択された前記１又は複数の点を用いて前記入力画像を補正して補正画像を生成し、
    認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する、
    処理を含むことを特徴とするコンピュータが実行する画像処理方法。
  2. 前記画像領域は、前記第１の閾値以下で第２の閾値以上の重要度を有する前記画像領域である、
    ことを特徴とする請求項１に記載の画像処理方法。
  3. 前記選択する処理は、前記所定の顔の動きの発生している第１の画像に含まれる複数の特徴点のそれぞれと、前記第１の画像と対応する前記所定の顔の動きの発生していない第２の画像に含まれる複数の特徴点のそれぞれとの間の差分が第３の閾値以下である特徴点に対応する前記１又は複数の特徴点を選択する処理を含む、
    ことを特徴とする請求項１または２に記載の画像処理方法。
  4. 前記認識モデルは、前記所定の顔の動きが発生していることがラベルされている複数の画像と、前記所定の顔の動きが発生していないことがラベルされている複数の画像とを前記画像領域を用いて補正して得られた複数の補正画像を教師データとして、機械学習を実行することによって生成された学習済みモデルである、
    ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
  5. 前記所定の顔の動きは、アクションユニットの１つであり、
    前記入力画像に対する前記判定での前記アクションユニットの動きの発生の有無の判定結果と、前記入力画像に対する他のアクションユニットの発生の有無の情報とに基づいて、前記入力画像に写る顔の心理状態を示す情報を出力する、ことを更に含む、
    ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
  6. 入力画像から顔の複数の特徴点を検出し、
    画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第１の閾値以下の重要度を有する画像領域に対応する１又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択し、
    選択された前記１又は複数の点を用いて前記入力画像を補正して補正画像を生成し、
    認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する、
    処理をコンピュータに実行させる画像処理プログラム。
  7. 入力画像から顔の複数の特徴点を検出する検出部と、
    画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第１の閾値以下の重要度を有する画像領域に対応する１又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択する選択部と、
    選択された前記１又は複数の点を用いて前記入力画像を補正して補正画像を生成する補正部と、
    認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する判定部と、
    を含む、画像処理装置。
JP2020021932A 2020-02-12 2020-02-12 画像処理方法、画像処理プログラム、および画像処理装置 Active JP7409134B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020021932A JP7409134B2 (ja) 2020-02-12 2020-02-12 画像処理方法、画像処理プログラム、および画像処理装置
US17/157,602 US11941498B2 (en) 2020-02-12 2021-01-25 Facial motion detection and image correction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021932A JP7409134B2 (ja) 2020-02-12 2020-02-12 画像処理方法、画像処理プログラム、および画像処理装置

Publications (2)

Publication Number Publication Date
JP2021128476A JP2021128476A (ja) 2021-09-02
JP7409134B2 true JP7409134B2 (ja) 2024-01-09

Family

ID=77178029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021932A Active JP7409134B2 (ja) 2020-02-12 2020-02-12 画像処理方法、画像処理プログラム、および画像処理装置

Country Status (2)

Country Link
US (1) US11941498B2 (ja)
JP (1) JP7409134B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004210A1 (ja) * 2022-07-01 2024-01-04 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN115578780B (zh) * 2022-12-07 2023-04-07 广东省科学院江门产业技术研究院有限公司 一种基于大数据的农产品及食品冷链溯源管理***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186303A (ja) 2007-01-30 2008-08-14 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307123A (ja) 2000-02-18 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
JP2010055395A (ja) 2008-08-28 2010-03-11 Canon Inc 画像処理装置及び方法、プログラム、記憶媒体
CN106687989B (zh) * 2014-10-23 2021-06-29 英特尔公司 面部表情识别的方法、***、可读介质和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186303A (ja) 2007-01-30 2008-08-14 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Giota Stratou, et al，Refactoring facial expressions: An automatic analysis of natural occurring facial expressions in iterative social dilemma，2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII)，米国，IEEE，2018年，p.427－p.433，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8273635
Tadas Baltrusaitis, et al，Cross-dataset learning and person-specific normalisation for automatic Action Unit detection，2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG)，米国，IEEE，2015年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7284869

Also Published As

Publication number Publication date
US20210248357A1 (en) 2021-08-12
US11941498B2 (en) 2024-03-26
JP2021128476A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
JP5791364B2 (ja) 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
JP5077164B2 (ja) 追跡装置及び追跡方法
Wang et al. Focal boundary guided salient object detection
TW201327478A (zh) 面部特徵向量之建構
CN109977906B (zh) 手势识别方法及***、计算机设备及存储介质
JP7409134B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
CN110197149B (zh) 耳部关键点检测方法、装置、存储介质及电子设备
US11676361B2 (en) Computer-readable recording medium having stored therein training program, training method, and information processing apparatus
US10964046B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
Li et al. Multi-human parsing with a graph-based generative adversarial model
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
Kawulok et al. Dynamics of facial actions for assessing smile genuineness
US11715197B2 (en) Image segmentation method and device
JP6635208B1 (ja) 検索装置、検索方法、およびプログラム
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
JP6948959B2 (ja) 画像処理システム及び画像処理方法
JP2023161956A (ja) 物体追跡装置、物体追跡方法、及びプログラム
JP6119439B2 (ja) 画像管理プログラム、画像管理方法及び画像管理装置
TWI646445B (zh) Automatic extraction and eye movement analysis system for dynamic comparison of interest regions
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
JP2020101922A (ja) 画像処理装置、画像処理方法およびプログラム
JP7359306B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
JP2019200527A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150