JP2016170542A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2016170542A JP2016170542A JP2015048766A JP2015048766A JP2016170542A JP 2016170542 A JP2016170542 A JP 2016170542A JP 2015048766 A JP2015048766 A JP 2015048766A JP 2015048766 A JP2015048766 A JP 2015048766A JP 2016170542 A JP2016170542 A JP 2016170542A
- Authority
- JP
- Japan
- Prior art keywords
- image
- attribute
- case
- unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 89
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 88
- 230000008569 process Effects 0.000 description 55
- 238000005286 illumination Methods 0.000 description 34
- 230000014509 gene expression Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
顔識別において、比較する2つの顔画像の撮影条件が異なることによる画像の変動は、顔識別の精度に大きな影響を及ぼす。画像の変動の原因となる撮影条件には、照明条件、表情、隠れ、経年変化、顔向き等がある。顔向きを例に撮影条件について説明する。顔向きとは、顔をどの方向から撮影するかということである。顔は、複雑な形状をしている。そのため、撮影された画像は、顔向きにより前面になる顔の部分が変化することで、見た目がめまぐるしく変化する。特に顔識別では、同じ人物における顔向きが異なる顔画像の見た目の変化は、異なる人物間に由来する顔画像の見た目の変化よりも大きく、人物を識別する大きな妨げになっていることが知られている(非特許文献1)。
二つ目の方法は、非特許文献3に示される方法のように、一方の顔画像を、もう一方の顔画像の撮影条件で見たときの見た目を推定して、新しい顔画像を生成する方法である。そうすることで、撮影条件が同じ(変動がない)条件で2つの顔を識別することができる。非特許文献3では、入力された顔の目や鼻等を部品ごとに処理が実行される。例えば目については、多くの人物の目の事例画像と、同じ人物の目を異なる撮影条件で撮影した事例画像と、が、予め対応づけて保持されている。処理の際には、保持されている目の事例画像の中から、入力された目の画像と最も似ているものが一つ選択される。そして、選択された目の事例画像に対応する別の撮影条件の事例画像が選択される。以上の処理を目や鼻等の全ての部品に対して行うことで、あたかも入力された顔を別の撮影条件で撮影したかのような画像を生成することができる。
つまり、非特許文献3の方法では、入力と似ている事例画像をひとつだけ検索するという制約のため、有限の事例画像では十分に入力を表現できないという課題がある。
そこで、本発明は、事例画像が入力された顔と十分に類似する人物を含まない場合でも、入力された顔に類似する画像を生成することを目的とする。
本実施形態では、撮像装置による撮影対象のオブジェクトとして人間の顔を扱う。本実施形態の処理として、人物の違いを顔画像から識別する顔識別を例に説明する。変動の例としては、オブジェクトと撮像装置との位置関係によって生じる見えの異なりを説明する。オブジェクトと撮像装置との位置関係によって生じる見えの異なりによる変動には、画像中のオブジェクトの向きや、画像中に写るオブジェクトの解像度(画像中のオブジェクトの大きさ)等の変動が挙げられる。
図1は、顔向きによる変動の一例を示す図である。図1(a)は、正面から撮影された人の顔を示している。図1(b)は、図1(a)の顔が手前から見て右方向を向いた(Yaw方向に回転した)際の状況を示している。本実施形態では簡便のため、図1に示すようなYaw方向の角度の変動のみを例として、正面向きの顔画像(a)と右向きの顔画像(b)との変動を扱う処理について説明する。以下では、図1に示す顔のYaw方向の撮影角度の違いを、単に顔向き変動とする。
図2は、本実施形態におけるオブジェクト識別装置1000の機能構成等の一例を示す図である。オブジェクト識別装置1000は、画像を入力する画像入力部1100、画像を識別する画像識別部1200、登録画像を保持する登録画像記録部1300、オブジェクトの識別結果及び属性判定結果を出力する外部出力部1400等を含む。オブジェクト識別装置1000は、画像処理装置の一例である。
オブジェクト識別装置1000は、CPU等の単一のプロセッサを有し、各機能構成要素の機能を前記プロセッサにより実行することとしてもよい。また、オブジェクト識別装置1000は、各機能構成要素がそれぞれ別個にCPU等のプロセッサを有し、各機能構成要素のプロセッサにより各機能構成要素の処理が実行されることとしてもよい。
オブジェクト識別装置1000が単一のプロセッサを有す場合、以下のようになる。即ち、前記プロセッサがオブジェクト識別装置1000の記憶部に記憶されたプログラムに基づき処理を実行することによって、後述するオブジェクト識別装置1000の機能及び後述するフローチャートの処理が実現される。
登録画像記録部1300は、画像入力部1100から供給された画像データを、識別すべき人物の画像を記録・保持する辞書を記録している。以下では、登録画像記録部1300に保持された識別すべき人物の画像を、単に登録画像とする。登録画像記録部1300は、保持する登録画像を人物ごとに分類し、それぞれ同一のカテゴリとして保持する。登録画像記録部1300は、それぞれの登録画像に対応する顔向き、照明条件等の変動条件を示す属性情報を記録している。登録画像記録部1300は、繰り返し書き換え可能な半導体メモリ等で構成される。登録画像記録部1300は、画像データを数十枚、又は、それ以上保持するために十分に大容量な記憶装置を持つことが望ましい。
画像識別部1200は、画像入力部1100から受付けた顔画像がどのカテゴリに属するか、つまり、予め登録画像記録部1300に登録された人物のうちどれに属するかを出力する。画像識別部1200の処理の詳細に関しては、図3等で後述する。画像識別部1200は、専用回路(ASIC)又は、プロセッサ(リコンフィギュラブルプロセッサ、DSP、CPU等)等で構成される。又は、画像識別部1200の処理は、単一の専用回路又は汎用回路(PC用CPU)内部によりプログラムが実行されることによって、実現されてもよい。
なお、外部出力部1400の出力の方法は、上に挙げた限りではなく、外部出力部1400は、出力データを設定されたアドレスにメールで送信する等してもよい。更に、外部出力部1400は、出力データを複数の方法で出力してもよい。
図3は、オブジェクト識別装置1000による顔画像識別処理の一例を示したフローチャートである。図3を参照して、オブジェクト識別装置1000が顔画像を識別する実際の処理について説明する。
S1101において、画像入力部1100は、処理すべき入力画像を取得する。
S1102において、画像入力部1100は、S1101で取得した入力画像に対して、顔検出処理を行う。
S1104において、画像識別部1200は、S1102で顔が検出された入力画像を入力として、顔のカテゴリ、即ち人物を判定する処理を行う。カテゴリ判定処理では、画像識別部1200は、登録画像それぞれについて、入力画像で検出された顔に係る人物とどれほど同一人物らしいかを表す類似度を算出する。画像識別部1200は、登録画像それぞれについて算出した類似度を比較して、最も高い類似度に対応する登録画像のカテゴリを、入力画像のカテゴリとして判定する。S1104の処理の詳細は、図4等で後述する。
オブジェクト識別装置1000は、図3の一連の処理を、リアルタイムで実行し、外部出力部1400を介してリアルタイムでカテゴリ判定結果を出力することもできる。リアルタイムとは、ユーザに遅延を感じさせないように、設定された期間内に処理が完了することを意味する。図3には、一連の処理の終了が記されていない。しかし、オブジェクト識別装置1000は、ユーザによるオブジェクト識別装置1000のユーザインターフェースを介した操作に基づいて、停止又は一時停止できるようにしてもよい。
S1201において、画像識別部1200は、画像入力部1100から顔が検出された入力画像を受け付ける。前記入力画像は、静止画であり、人物の顔が1つだけ撮影されているものとする。
S1202において、画像識別部1200は、登録画像として、登録画像記録部1300に予め保持されている顔画像を1つ取得する。
S1204において、画像識別部1200は、登録画像記録部1300に保持されている全ての登録画像について入力画像との識別処理を行ったか否かを判定する。画像識別部1200は、登録画像記録部1300に保持されている全ての登録画像について入力画像との識別処理を行ったと判定した場合、全ての登録画像について入力画像に対する類似度を得たとして、S1205の処理に進む。画像識別部1200は、登録画像記録部1300に保持されている全ての登録画像について入力画像との識別処理を行っていないと判定した場合、S1202の処理に進む。
図5は、画像識別部1200の機能構成等の一例を示す図である。図6は、S1203の識別処理の一例を示すフローチャートである。図5、図6を参照して、図4のS1203の処理の概要について説明する。
画像識別部1200は、特徴抽出部1210、類似度算出部1220等を含む。特徴抽出部1210は、入力画像、登録画像から特徴量を抽出する。類似度算出部1220は、特徴抽出部1210により入力画像と登録画像とから抽出された特徴量に基づいて、入力画像と登録画像との類似度を算出する。
S1301において、特徴抽出部1210は、S1201で取得された入力画像を取得する。入力画像は、図4の処理における入力画像と同じであり、顔が一つ写る画像であるとする。
S1302において、特徴抽出部1210は、S1202で取得された入力画像と識別する登録画像を取得する。
S1304において、類似度算出部1220は、S1303で抽出された入力画像と登録画像との特徴量に基づいて、入力画像と登録画像との類似度を算出する。
図6のS1303、S1304の処理の詳細については、(識別処理における特徴抽出処理)、(識別処理における類似度算出処理)の章で後述する。図4のカテゴリ判定処理では、登録画像記録部1300は、登録された顔画像を、登録画像として保持しているとした。また、登録画像記録部1300は、S1303で得られた登録画像の特徴量を保存することが望ましい。そうすることで、特徴抽出部1210は、再度、入力画像を得た場合に登録画像の特徴量を抽出する処理をせずに済むので、処理の負担の軽減が図れる。
図6のS1303の処理の詳細について説明する。S1303において、特徴抽出部1210は、顔が写っている入力画像から、個人の識別に必要な特徴量を抽出する。本実施形態では、特徴抽出部1210は、以下のように特徴量を抽出する。
まず、特徴抽出部1210は、入力画像の上に目・鼻・口等の代表的な顔の器官の位置を表す特徴点を検出する。特徴抽出部1210は、特徴点を設定する方法として、公知の技術を用い、例えば以下の参考文献1の技術を用いる。
参考文献1:Active Shape Models − Their Training and Application: T.F. Cootes, C.J. Taylor, D. Cooper, and J. Graham: 1998
そして、特徴抽出部1210は、正規化した入力画像に対して、特徴量を抽出する矩形領域を設定する。特徴抽出部1210は、領域の大きさを、任意に設定できるが、個人の特徴をよく表す目や口等の器官がもれなく入るように、しかし背景等は入らないように、一辺が目幅のおおよそ1.5倍程度の正方形を顔の中央に設定することが望ましい。
そして、特徴抽出部1210は、設定した矩形領域内の画素値を、左上から右下の順に抽出する。そして、特徴抽出部1210は、抽出した画素値を一列につなげたベクトルを取得する。特徴抽出部1210は、取得したベクトルを前記設定した矩形領域内の画像の特徴量とする。
図6のS1304の処理の詳細について説明する。S1304において、類似度算出部1220は、S1303で取得された入力画像の特徴量と登録画像の特徴量とに基づいて、入力画像と登録画像との類似度を算出する。類似度算出部1220は、類似度として任意の指標を算出してよいが、大きいほど特徴量が類似することを示すような指標を類似度として算出することが望ましい。類似度算出部1220は、例えば、特徴量のベクトル同士が成す角度のコサインを類似度として算出してもよいし、特徴量のベクトル間のユークリッド距離の逆数を類似度として算出してもよい。
図3の顔識別処理の実行の前に、登録画像記録部1300により予め実行される登録画像の登録処理について説明する。図7は、登録画像記録部1300の機能構成等の一例を示す図である。
登録画像記録部1300は、画像内の顔の向きを検出する顔向き検出部1310、新しい顔画像を生成する変動データ生成部1320、登録画像を保持する登録画像保持部1330等を含む。
登録画像記録部1300は、登録用入力画像から、複数の異なる属性情報(顔向き等)を有する登録画像を生成して登録する。それにより、登録画像記録部1300には、識別すべき入力画像としてどんな顔向きの画像が入力されてきても、前記入力画像と顔向き変動のない(同じ属性情報を持つ)登録画像は、少なくとも1つ登録されていることになる。そのため、画像識別部1200は、前記入力画像と前記入力画像と変動のない登録画像とで類似度の算出を行うことができ、精度良くカテゴリ判定ができることとなる。登録画像記録部1300は、どのような顔向きの画像をどれだけ生成するかを、登録画像保持部1330の容量、顔画像の一組あたりの識別に係る期間等に基づいて、決定する。登録画像記録部1300は、顔向きが角度10度から15度刻みの変動をもつ複数の顔画像を生成しておくことが望ましい。
図8は、変動データ生成部1320の機能構成等の一例を示す図である。図9は、変動データ生成処理の一例を示すフローチャートである。図10は、変動データ生成処理の一例を説明するための図である。図8、図9、図10を参照して、別の顔向きを持つ新しい顔画像を生成する処理の詳細について説明する。本実施形態において、変動データ生成部1320は、変動データの生成処理として、手前から見て右を向いた顔であるという条件の目の領域についての画像を生成する処理を行うとする。
変動データ生成部1320は、画像中の顔領域を抽出する顔領域抽出部1321、入力画像を近似するため事例データの線形結合を求める近似表現部1322、事例データを保持する事例データ保持部1323を含む。また、変動データ生成部1320は、顔の部分領域の画像から全体の顔画像を合成するデータ合成部1324等を含む。
S1402において、顔向き検出部1310は、S1401で取得した登録用入力画像に写る顔の顔向きを検出する。本実施形態では、顔向き検出部1310は、前記登録用入力画像に写る顔の顔向きを正面向きであると検出する。顔向きを検出する方法としては、以下の参考文献2等の公知の技術がある。
参考文献2:Support vector machine based multi−view face detection and recognition: Y. Li, S. Gong, J. Sherrah, and H. Liddell: 2004
S1403において、顔領域抽出部1321は、登録用入力画像から目・鼻・口等の部分領域を抽出する。部分領域を抽出する方法としては、図6の特徴抽出部1210の説明で述べたように、顔画像の上に特徴点を設定し、設定した特徴点に基づいて領域を切り出す方法等がある。本実施形態において、顔領域抽出部1321は、登録用入力画像から目の部分領域を抽出することとし、抽出した画像を部分領域画像xとする。
また、事例データ保持部1323は、登録画像保持部1330に保持される右向きの顔が写る登録画像から抽出した目の部分領域画像をN人分、正面向きの事例画像と同じ人物同士で対応付けて保持しており、保持している部分領域画像を右向きの事例画像とする。更に、正面向きの事例画像と右向きの事例画像とは、同じ人物の間で予め対応づけられているとする。N人分の右向きの事例画像をR=[r1、r2、r3、・・・、rN]と表す。rn(nは、1<=n<=Nを満たす自然数)は、右向きの事例画像の一つ一つを表す。また、Rは、一つ一つの右向きの事例画像を並べてベクトルとして表現したものである。
S1404において、近似表現部1322は、S1403で抽出された部分領域画像xと同じく顔向きが正面向きである顔の目の部分に対応する事例画像を、事例データ保持部1323から、取得する。近似表現部1322は、事例データ保持部1323の保持する顔の目の部分に対応する事例画像の中から、顔向きが正面向きであることを示す属性情報を持つ事例画像を抽出する。そして、近似表現部1322は、事例画像のうち少なくとも1枚以上を線形結合することにより部分領域画像xを近似的に再現する。より具体的には、近似表現部1322は、次の式(1)を最も満たすN次元の線形結合係数ベクトルαを求める。
参考文献3:Regression shrinkage and selection via the lasso: R. Tibshiran: 1996
参考文献3の方法を用いて求まるαは、ほとんどの要素がゼロのベクトルとなり、一部の事例画像のみを線形和する疎な線形結合係数ベクトルとなる。
S1408において、データ合成部1324は、生成処理の最後の段階として、S1405で合成して得られた目・鼻・口等の部分領域ごとの画像を、全体の顔画像として再構成する。データ合成部1324は、S1403で得られた顔の特徴点の座標に基づいて、得られたS1405で合成された部分領域の画像を貼り合わせる方法等で再構成を行う。
S1409において、変動データ生成部1320は、S1408で再構成された全体の顔画像を、顔向きが右向きであることを示す属性情報と共に登録画像保持部1330に保存する。
以上が、本実施形態の処理の説明である。
本実施形態の処理により、オブジェクト識別装置1000は、事例画像が入力された顔と十分に類似する人物を含まない場合でも、入力された顔に類似する画像を生成することができる。本実施形態のオブジェクト識別装置1000は、複数の事例画像を組み合わせて入力を表現するような制約にすることで、非特許文献3の技術に比べて、有限の事例画像でも十分に入力を表現できるようになった。
本実施形態では、オブジェクト識別装置1000は、従来技術において利用されている顔についての有用な仮定を利用するようにした。顔についての有用な仮定とは、次の二つの仮定である。
一つ目の仮定は、人間の顔というものは無限のバリエーションを持ち、一人一人で異なるものだが、目、鼻、口等の部品に分解すると顔全体に比べて極めて少ないバリエーションしかないとういうものである。
二つ目の仮定を言い換えると、以下のようになる。即ち、顔の三次元形状は、顔の画像上の見た目からを暗黙的に予測される。別の撮影条件での顔の見た目は、予測された前記撮影条件における顔の三次元形状から予測される、ということになる。
近似表現部1322は、式(2)を用いて、入力と類似する事例画像に大きな重みを与えて線形結合するよう制約することで、入力の三次元形状を正しく予測し、従来技術に比べて、入力を精度よく近似表現することができる。
実施形態1では顔向き変動を生成する場合を例に、登録画像から、変動が加えられた画像を予め生成しておく処理について説明した。対して本実施形態では、登録画像と識別対象の画像とのそれぞれについて処理を行い、ともに正面向きの顔を生成してカテゴリ判定する処理について説明する。本実施形態におけるオブジェクト識別装置1000の機能構成の詳細は、登録画像記録部の詳細以外は、実施形態1と同様である。
本実施形態における予め顔画像を登録する処理について説明する。図11は、登録画像記録部2300の機能構成等の一例を示す図である。登録画像記録部2300は、検出部2310、変動データ生成部2320、登録画像保持部2330等を含む。顔向き検出部2310、変動データ生成部2320の詳細は、それぞれ実施形態1の顔向き検出部1310、変動データ生成部1320の詳細と同様である。
登録画像記録部2300と実施形態1の登録画像記録部1300との差異は、以下の点である。即ち、登録画像保持部2330は、画像入力部1100から受付けた顔画像を直接登録画像として保存せず、前記顔画像を正面向きに変換した顔画像を一つだけ、顔向きが正面向きであることを示す属性情報と共に保存することである。
図12は、カテゴリ判定処理の一例を示すフローチャートである。本実施形態の図12の処理は、実施形態1における図4のカテゴリ判定処理に対応する処理である。図12を参照しながら、本実施形態におけるオブジェクト識別装置1000が入力画像のカテゴリを判定する処理について説明する。S1202〜S1205の処理は、図4と同様である。
S2101において、画像識別部1200は、画像入力部1100から、顔が検出された入力画像を受付ける。
S2102において、画像識別部1200は、S2101で取得した入力画像を変換し、顔向きが正面向きになるような顔画像を一つだけ生成する。
対して本実施形態では、オブジェクト識別装置1000は、登録画像記録部2300に登録されている登録画像と識別対象の入力画像とをともに正面向きへ変換することで、登録画像と入力画像とを顔向き変動がない条件で識別できる。
本実施形態の処理により、識別処理において、入力画像と類似度を算出する必要がある登録画像の数は、一つのカテゴリにつき一つとなり、一つのカテゴリにつき複数の登録画像と類似度を算出する必要があった実施形態1の場合に比べて、少なくなる。そのため、オブジェクト識別装置1000は、識別処理において、入力画像と登録画像との類似度の算出の処理の負担を軽減できる。
実施形態1では、オブジェクト識別装置1000は、本実施形態の場合と比べて類似度を算出する処理の回数が多くなるが、登録画像の登録の際及び入力画像の入力の際に変動データ生成処理を行う必要がないという利点がある。
オブジェクト識別装置1000は、使用する状況に応じて、実施形態1の処理か本実施形態の処理かを選択することができる。
実施形態1、2では、画像の変動として顔向き変動を例に説明した。本実施形態では、画像の変動として照明変動を例にオブジェクト識別装置1000の処理を説明する。顔の照明変動とは、顔を照らす照明条件の変化による、顔の陰の付き方による画像の変動である。顔の陰の付き方は、顔向きと同様に顔の三次元形状に依存する変動である。そのため、オブジェクト識別装置1000は、実施形態1で説明した処理と同様の処理で照明変動が加わった変動画像を生成できる。
図13は、照明による変動の一例を示す図である。図13(a)は、正面から照明が当たっている正面向きの顔を示す。図13(b)は、手前から見て右側から照明が当たっている図13(a)と同一人物の正面向きの顔を示す。本実施形態では、顔の正面からの照明条件の顔画像(a)から、右からの照明条件の顔画像(b)を生成する処理について説明する。
本実施形態におけるオブジェクト識別装置1000の機能構成の詳細は、照明検出部3310を含むこと及び変動データ生成部の詳細以外は、実施形態1と同様である。
図14は、変動データ生成部3320の機能構成等の一例を示す図である。本実施形態では、実施形態1の場合と異なり、オブジェクト識別装置1000は、顔の照明条件を検出する照明検出部3310を含む。また、事例データ保持部3323は、正面からの照明条件の事例画像と、右からの照明条件の事例画像と、を含む。
照明検出部3310の処理について説明する。照明検出部3310は、入力画像に写る一つの顔について照明条件として、顔の左右どちらに光源があるかを判定する。以下で、本実施形態における照明条件を判定する方法を説明する。
次に、照明検出部3310は、抽出した部分画像をバイリニア法等で縮小して、低解像度の部分画像を取得する。照明検出部3310は、顔の目鼻立ちが消えて個人を判定することが不可能だが、顔の全体的な明暗や陰影はわずかに残る程度の部分画像を取得するのが望ましい。
基底ベクトルを予め求めておく方法としては、線形判別分析等の公知の手法がある。オブジェクト識別装置1000は、予め、左に光源がある条件の縮小部分画像、及び正面に光源がある条件の縮小部分画像、を多数用意しておくことで、二つの照明条件の部分画像を最も識別し得る境界として、基底ベクトルを一つ求めることができる。説明した方法では、顔がある特定の方向を向いている、特に本実施形態では正面を向いていることを仮定している。
参考文献4:Illumination Cones for Recognition Under Variable Lighting: A. S. Georghiades, D. J. Kriegman, P. N. Belhumeur: 1998
本実施形態の処理により、オブジェクト識別装置1000は、照明条件の異なる変動データを生成し、識別処理、登録処理に利用することができる。
実施形態1〜3では、画像の変動として顔向き変動、及び照明変動を例に説明した。実施形態1〜3では、オブジェクト識別装置1000は、顔向き変動、照明変動等の変動のうち、一つの変動が加わった変動画像を生成することとした。しかし、オブジェクト識別装置1000は、顔向き及び照明等、複数の変動が複合した変動画像も生成することができる。その場合、オブジェクト識別装置1000は、変動が複合した条件の数だけ、事例データ保持部に顔画像を保持しておけばよい。
以上のような処理の例としては、警察で行う監視カメラからの容疑者捜索等ある。監視カメラ映像は、視野が広く顔ひとつひとつの解像度が低く、目視での顔の識別が難しい場合がある。また、警察の手元にある容疑者の顔写真は、撮影されてから年月が経っている場合もあり、経年変化を考慮しなければいけない可能性もある。
また、オブジェクト識別装置1000は、経年変化についても、ある時点で撮影した顔画像と年数が経過してから撮影した顔画像とを対応づけて保持しておくことで、顔画像から、その人物が経年変化した顔を予測できる。更に、オブジェクト識別装置1000は、顔の表情の変化についても、ある表情で撮影した顔画像と別の表情で撮影した顔画像とを対応づけて保持しておくことで、顔画像から、その人物の表情の変化した顔を予測できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (13)
- 入力顔画像を再現するように、前記入力顔画像の第1の属性を有する事例画像の線形結合の重み付けを決定する決定手段と、
前記第1の属性を有する前記事例画像に対応する第2の属性を有する前記事例画像を、前記決定手段により決定された前記重み付けで線形結合して合成する合成手段と、
を有する画像処理装置。 - 前記第1の属性を有する前記事例画像から線形結合に利用される顔画像を抽出する抽出手段を更に有し、
前記決定手段は、前記入力顔画像を再現するように、前記抽出手段により抽出された前記顔画像の線形結合の重み付けを決定し、
前記合成手段は、前記抽出手段により抽出された前記顔画像に対応する前記第2の属性を有する前記事例画像を、前記決定手段により決定された前記重み付けで線形結合して合成する請求項1記載の画像処理装置。 - 前記抽出手段は、前記第1の属性を有する前記事例画像から線形結合に利用される顔画像として、前記入力顔画像と類似する顔画像を抽出する請求項2記載の画像処理装置。
- 前記決定手段は、前記入力顔画像の部分領域画像を再現するように、前記部分領域画像に対応する前記第1の属性を有する前記事例画像の線形結合の重み付けを決定する請求項1乃至3何れか1項記載の画像処理装置。
- 前記第1の属性を有する前記入力顔画像の入力を受け付ける受付手段を更に有する請求項1乃至4何れか1項記載の画像処理装置。
- 前記第1の属性を有する前記事例画像と前記第2の属性を有する前記事例画像とを対応付けて保持する保持手段を更に有し、
前記決定手段は、前記入力顔画像を再現するように、前記保持手段が保持する前記第1の属性を有する前記事例画像の線形結合の重み付けを決定し、
前記合成手段は、前記第1の属性を有する前記事例画像に対応する前記保持手段が保持する第2の属性を有する事例画像を、前記決定手段により決定された前記重み付けで線形結合して合成する請求項1乃至5何れか1項記載の画像処理装置。 - 前記入力顔画像の有する画像の変動に関する属性を、前記第1の属性として取得する取得手段を更に有し、
前記決定手段は、前記取得手段により取得された前記第1の属性を有する入力顔画像を再現するように、前記第1の属性を有する事例画像の線形結合の重み付けを決定する請求項1乃至6何れか1項記載の画像処理装置。 - 前記決定手段は、前記入力顔画像を再現するような前記第1の属性を有する前記事例画像の線形結合の重み付けとして、前記入力顔画像の内部の画素値を並べたベクトルを再現するように、前記第1の属性を有する事例画像の内部の画素値を並べたベクトルの線形結合の重み付けを決定し、
前記第1の属性を有する前記事例画像に対応する前記第2の属性を有する前記事例画像の内部の画素値を並べたベクトルを、前記決定手段により決定された前記重み付けで線形結合して合成することで、前記第2の属性を有する前記事例画像を、前記決定手段により決定された前記重み付けで線形結合して合成する請求項1乃至7何れか1項記載の画像処理装置。 - 前記決定手段は、前記入力顔画像を再現するような前記第1の属性を有する前記事例画像の線形結合の重み付けとして、前記入力顔画像の内部の画素値を並べたベクトルを線形変換した特徴量を再現するように、前記第1の属性を有する事例画像の内部の画素値を並べたベクトルを線形変換した特徴量の線形結合の重み付けを決定し、
前記第1の属性を有する前記事例画像に対応する前記第2の属性を有する前記事例画像の内部の画素値を並べたベクトルを線形変換した特徴量を、前記決定手段により決定された前記重み付けで線形結合して合成することで、前記第2の属性を有する前記事例画像を、前記決定手段により決定された前記重み付けで線形結合して合成する請求項1乃至7何れか1項記載の画像処理装置。 - 前記決定手段は、前記第1の属性を有する前記入力顔画像と、前記第1の属性を有する前記事例画像の線形和と、の差分が小さくなるようにすることで、前記入力顔画像を再現するように、前記第1の属性を有する前記事例画像の線形結合の重み付けを決定する請求項1乃至9何れか1項記載の画像処理装置。
- 前記第1の属性と前記第2の属性とは、顔の向き、照明条件、解像度、表情、年齢のうち、少なくとも1つに関する属性である請求項1乃至10何れか1項記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
第1の属性を有する入力顔画像を再現するように、前記第1の属性を有する事例画像の線形結合の重み付けを決定する決定ステップと、
前記第1の属性を有する前記事例画像に対応する第2の属性を有する前記事例画像を、前記決定ステップで決定された前記重み付けで線形結合して合成する合成ステップと、
を含む画像処理方法。 - コンピュータに、
第1の属性を有する入力顔画像を再現するように、前記第1の属性を有する事例画像の線形結合の重み付けを決定する決定ステップと、
前記第1の属性を有する前記事例画像に対応する第2の属性を有する前記事例画像を、前記決定ステップで決定された前記重み付けで線形結合して合成する合成ステップと、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048766A JP6624794B2 (ja) | 2015-03-11 | 2015-03-11 | 画像処理装置、画像処理方法及びプログラム |
US15/059,820 US10558851B2 (en) | 2015-03-11 | 2016-03-03 | Image processing apparatus and method of generating face image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048766A JP6624794B2 (ja) | 2015-03-11 | 2015-03-11 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016170542A true JP2016170542A (ja) | 2016-09-23 |
JP6624794B2 JP6624794B2 (ja) | 2019-12-25 |
Family
ID=56887964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015048766A Active JP6624794B2 (ja) | 2015-03-11 | 2015-03-11 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10558851B2 (ja) |
JP (1) | JP6624794B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019133029A1 (en) * | 2017-12-28 | 2019-07-04 | Facebook, Inc. | Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6700791B2 (ja) | 2016-01-05 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6789762B2 (ja) * | 2016-11-02 | 2020-11-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6558388B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像処理装置 |
KR20190013224A (ko) * | 2017-08-01 | 2019-02-11 | 엘지전자 주식회사 | 이동 단말기 |
US11095814B2 (en) | 2018-05-25 | 2021-08-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US10783398B1 (en) * | 2018-10-22 | 2020-09-22 | Shutterstock, Inc. | Image editor including localized editing based on generative adversarial networks |
US10885363B2 (en) | 2018-10-25 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Spoof detection using structured light illumination |
US10783388B2 (en) * | 2018-10-26 | 2020-09-22 | Alibaba Group Holding Limited | Spoof detection using multiple image acquisition devices |
US10746599B2 (en) * | 2018-10-30 | 2020-08-18 | Variable, Inc. | System and method for spectral interpolation using multiple illumination sources |
US11170242B2 (en) | 2018-12-26 | 2021-11-09 | Advanced New Technologies Co., Ltd. | Spoof detection using dual-band fluorescence |
US10970574B2 (en) | 2019-02-06 | 2021-04-06 | Advanced New Technologies Co., Ltd. | Spoof detection using dual-band near-infrared (NIR) imaging |
US11328043B2 (en) | 2019-03-15 | 2022-05-10 | Advanced New Technologies Co., Ltd. | Spoof detection by comparing images captured using visible-range and infrared (IR) illuminations |
CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5745668A (en) * | 1993-08-27 | 1998-04-28 | Massachusetts Institute Of Technology | Example-based image analysis and synthesis using pixelwise correspondence |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2012008816A (ja) * | 2010-06-25 | 2012-01-12 | Univ Of Aizu | 認証カード、カード認証端末、カード認証サーバおよびカード認証システム |
JP2014199519A (ja) * | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 物体識別装置、物体識別方法及びプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7010144B1 (en) * | 1994-10-21 | 2006-03-07 | Digimarc Corporation | Associating data with images in imaging systems |
US20020186878A1 (en) * | 2001-06-07 | 2002-12-12 | Hoon Tan Seow | System and method for multiple image analysis |
AU2004273275A1 (en) * | 2003-08-29 | 2005-03-24 | Nec Corporation | Object posture estimation/correlation system using weight information |
US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
KR101378372B1 (ko) * | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체 |
US8085982B1 (en) * | 2008-06-20 | 2011-12-27 | Google Inc. | Object tracking in video with visual constraints |
US20120105467A1 (en) * | 2009-06-15 | 2012-05-03 | Hui Chao | Image And Theme Artwork Management |
US8306314B2 (en) * | 2009-12-28 | 2012-11-06 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of objects |
WO2011150445A1 (en) * | 2010-05-31 | 2011-12-08 | Silverbrook Research Pty Ltd | Method of displaying projected page image of physical page |
US20120054575A1 (en) * | 2010-08-27 | 2012-03-01 | Jeyhan Karaoguz | Method and system for error protection of 3d video |
US9542975B2 (en) * | 2010-10-25 | 2017-01-10 | Sony Interactive Entertainment Inc. | Centralized database for 3-D and other information in videos |
US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
US9251402B2 (en) * | 2011-05-13 | 2016-02-02 | Microsoft Technology Licensing, Llc | Association and prediction in facial recognition |
US9323980B2 (en) * | 2011-05-13 | 2016-04-26 | Microsoft Technology Licensing, Llc | Pose-robust recognition |
US9013485B2 (en) * | 2011-06-30 | 2015-04-21 | Adobe Systems Incorporated | Systems and methods for synthesizing high fidelity stroke data for lower dimension input strokes |
US9489925B2 (en) * | 2013-01-04 | 2016-11-08 | Texas Instruments Incorporated | Using natural movements of a hand-held device to manipulate digital content |
US9280701B2 (en) * | 2014-05-08 | 2016-03-08 | Shutterfly, Inc. | Grouping face images using statistic distribution estimate |
JP6472184B2 (ja) | 2014-07-29 | 2019-02-20 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
-
2015
- 2015-03-11 JP JP2015048766A patent/JP6624794B2/ja active Active
-
2016
- 2016-03-03 US US15/059,820 patent/US10558851B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5745668A (en) * | 1993-08-27 | 1998-04-28 | Massachusetts Institute Of Technology | Example-based image analysis and synthesis using pixelwise correspondence |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2012008816A (ja) * | 2010-06-25 | 2012-01-12 | Univ Of Aizu | 認証カード、カード認証端末、カード認証サーバおよびカード認証システム |
JP2014199519A (ja) * | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 物体識別装置、物体識別方法及びプログラム |
Non-Patent Citations (3)
Title |
---|
VETTER, T.; POGGIO, T.: "Linear Object Classes and Image Synthesis From a Single Example Image", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE [ONLINE], vol. 19, no. 7, JPN6019009232, July 1997 (1997-07-01), pages 733 - 742, XP000698171, ISSN: 0003996780, DOI: 10.1109/34.598230 * |
YIN, Q. ET AL.: "An Associate-Predict Model for Face Recognition", CVPR 2011 [ONLINE], JPN6019009236, June 2011 (2011-06-01), pages 497 - 504, XP032037996, ISSN: 0003996782, DOI: 10.1109/CVPR.2011.5995494 * |
向川康博 外2名: "複数の顔画像の組合わせによる任意方向・任意表情の顔画像の生成", 電子情報通信学会論文誌, vol. 80, no. 6, JPN6019009234, June 1997 (1997-06-01), pages 1555 - 1562, ISSN: 0003996781 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019133029A1 (en) * | 2017-12-28 | 2019-07-04 | Facebook, Inc. | Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition |
US10573349B2 (en) | 2017-12-28 | 2020-02-25 | Facebook, Inc. | Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition |
Also Published As
Publication number | Publication date |
---|---|
US20160267339A1 (en) | 2016-09-15 |
JP6624794B2 (ja) | 2019-12-25 |
US10558851B2 (en) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6624794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6368709B2 (ja) | 3次元身体データを生成する方法 | |
WO2021036059A1 (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
US8819015B2 (en) | Object identification apparatus and method for identifying object | |
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
JP5899472B2 (ja) | 人物属性推定システム、及び学習用データ生成装置 | |
CN108549873A (zh) | 三维人脸识别方法和三维人脸识别*** | |
CN111327828B (zh) | 拍照方法、装置、电子设备及存储介质 | |
JP6207210B2 (ja) | 情報処理装置およびその方法 | |
US20130251246A1 (en) | Method and a device for training a pose classifier and an object classifier, a method and a device for object detection | |
JP2000306095A (ja) | 画像照合・検索システム | |
SE528068C2 (sv) | Igenkänning av 3D föremål | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
CN108388889B (zh) | 用于分析人脸图像的方法和装置 | |
JP2015185034A (ja) | 画像認識装置、画像認識方法およびプログラム | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
JP6202938B2 (ja) | 画像認識装置および画像認識方法 | |
JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
JP2009289210A (ja) | 重要物体認識装置および重要物体認識方法ならびにそのプログラム | |
JP2014199519A (ja) | 物体識別装置、物体識別方法及びプログラム | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
JP2012027617A (ja) | パターン識別装置、パターン識別方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6624794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |