JP4238542B2 - 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム - Google Patents
顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム Download PDFInfo
- Publication number
- JP4238542B2 JP4238542B2 JP2002253328A JP2002253328A JP4238542B2 JP 4238542 B2 JP4238542 B2 JP 4238542B2 JP 2002253328 A JP2002253328 A JP 2002253328A JP 2002253328 A JP2002253328 A JP 2002253328A JP 4238542 B2 JP4238542 B2 JP 4238542B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- orientation
- image
- conversion
- face orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置およびその方法、並びに、顔の向き推定プログラム(以下、顔の向き推定方式と記載する)に関するものである。
【0002】
【従来の技術】
従来、この種の技術として、特開2001−291108号公報、特開平11−281661号公報に記載の方式が知られている。特開2001−291108号公報に記載の記載のブロック図を図20に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を3Dモデルに張り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。
【0003】
また、特開11−281661号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。
【0004】
【発明が解決しようとする課題】
これらの従来技術の第1の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。
【0005】
その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種(白人・黒人・黄色人種)による色や顔の形状の違いや、顔以外の領域(背景部分)の輝度などの影響を受けやすいことである。
【0006】
本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明では以下の特徴により、上記の目的を達成している。
【0008】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。
【0009】
また、前記顔向き推定装置において、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする。
【0010】
また、前記顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする。
【0011】
また、前記顔向き推定装置において、前記特定方向顔向き判定手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする。
【0012】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする。
【0013】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする。
【0014】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする。
【0015】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする。
【0016】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする。
【0017】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか1つ、またはいずれかの組み合わせを用いることを特徴とする。
【0018】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか1つ、またはいずれかの組み合わせを用いることを特徴とする。
【0019】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする。
【0020】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする。
【0021】
また、前記顔向き推定装置において、前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする。
【0022】
また、前記顔向き推定装置において、前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする。
【0023】
また、前記顔向き変換手段において、画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする。
【0024】
また、前記顔向き推定装置において、前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする。
【0025】
また、前記顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の9種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする。
【0026】
また、前記顔向き推定装置において、前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする。
【0027】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定方法において、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする。
【0028】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする。
【0029】
【発明の実施の形態】
以下、本発明の一実施形態による顔向き推定装置を図面を参照して説明する。
【0030】
まず、本発明における顔向き推定の原理を説明する。
【0031】
なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は+で、左側を向いている場合は−、上を向いている場合は+、下を向いている場合は−の角度を用いることとする。特に明記しない場合、φは左右方向、θは上下方向の角度を表すものとする。γ、ψはφ,θの組み合わせで表される3次元方向とする。
【0032】
例えば、正面以外の方向を向いている顔に対し−ψ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔はψの方向を向いていることとなる。一般的に、γ以外の方向を向いている顔に対しγ−ψ分の顔向き変換を施したとき、変換後の顔がγの方向を向いた顔であれば、変換前の顔はψの方向を向いていることとなる。
【0033】
この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。
【0034】
顔立体形状モデルとは人物の顔形状を3次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。
【0035】
顔立体形状モデルに関しては、特開2000−322577号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。
【0036】
しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向および顔の位置が既知であることが要求される。
【0037】
このため、本発明では、変換前の顔向き方向をψと仮定し、ψ方向を向いた人物顔モデルを作成し、そのモデルをγ方向へ(γ−ψ)の方向変換を行うことで、γの方向の顔向き変換をおこなうこととする。
【0038】
補正後の顔向き方向の角度γとしては、任意の角度について行っても良いが、以下では特にγ(φ,θ)=(0,0)度の場合、つまり正面顔への顔向き変換について説明する。
【0039】
上記の顔向き変換方法の動作について、図2に示す横に+30度を向いた顔を含んだ入力画像を例に説明する。
【0040】
ここでは、θ=0として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度(φ,θ)の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。
【0041】
まず、入力画像の顔の向きは未知であるため、顔の向きをφ=−20度と仮定する。この場合、図3に示すような−20度傾いた顔立体形状モデルを用意する。図4のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図18に示したように、入力画像の画素Pを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素Pに対して行うことをマッピングと呼ぶ。次に、入力画像をマッピングした顔モデルが正面を向くように+20度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、+30度を向いた顔を−20度向いた顔と誤って仮定しているため、正しいマッピングを行えず、得られる変換後の顔は正面顔とはならない。
【0042】
続いて、図2の入力顔画像の向きを+30度と仮定した場合では、得られた両目の位置を利用し、図6の+30度傾いた顔立体形状モデルに入力顔画像を図7に示すように位置合わせすることができる。そして、図19に示すようにマッピングした顔モデルが正面を向くように−30度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで+30度の仮定が正しいかの判定を行える。
【0043】
このように、入力画像の顔向きをφと設定し、φを向いた顔立体形状モデルに入力顔画像をマッピングし、−φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きがφとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。
【0044】
なお、上記の説明ではマッピングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図5に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。
【0045】
(構成の説明)
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。
【0046】
図1を参照すると、本発明の実施の形態は画像入力手段1と、顔向き変換手段2と、特定方向顔向き評価手段3と、顔向き出力手段4とを含む。
【0047】
画像入力手段1では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。
【0048】
顔向き変換手段2では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をφと仮定し、(γ−φ)角度分変換する画像処理を施す。顔向き変換手段2は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、φ方向を向いた顔モデルをγ方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、+90度から−90度の1度毎に顔立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段3では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きがγ方向を向いた顔かの評価を行う。顔向き変換手段2および特定方向顔向き評価手段3はループ構成であり、様々な顔向きにおける評価を行う。
【0049】
顔向き出力手段4では、特定方向顔向き評価手段3での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。
【0050】
(動作の説明)
以下、図8に示すフローチャートを用いて第一の実施形態における顔向き推定の動作を説明する。画像入力手段1では、画像を取得し(ステップA1)、
取得した画像の両目の位置を抽出し、それぞれ(Er,El)とする(ステップA2)。両目の位置の取得方法については、ユーザーが手動で与えても、特開平11−281661号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。
【0051】
なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点(両目)の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、256x256画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を(97,100)、左目の座標を(160,100)にするように画像を幾何学変換(平行移動・縮小拡大・回転)操作で行うことができる。
【0052】
顔向き変換手段2では、入力手段1で得られた両目の位置を利用して、顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きをφと仮定し、入力画像の顔向きと最も類似するφ方向を向いた顔立体形状モデルを以下のステップで抽出する。
【0053】
まず、ある探索角φに対し、φ度向きの顔立体形状モデルを生成する(ステップA3)。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッピングする(ステップA4)。そして、0度(正面)へ−φ度の向き補正(ステップA5)を行う。
【0054】
特定方向顔向き評価手段3では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する(ステップA6)。
【0055】
正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式(1)に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度S1とする方法を用いる。
【0056】
【数1】
【0057】
ただし、F(x,y)、T(x,y)はそれぞれ入力画像およびテンプレート画像の座標(x,y)における輝度値を表す関数であり、Xmax,Ymaxはそれぞれ画像の横および縦幅を表す定数である。
【0058】
顔の向きの探索角φが設定角度内かの判定を行う(ステップ7)。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は-90度から+90度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ3,4,5,6の処理を繰り返す(ステップA8)。
【0059】
新たに仮定する角度は前回の探索角度を1度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。
【0060】
顔向き出力手段4では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う(ステップA9)。
【0061】
上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図9に示すフローチャートを用いて本発明の動作の説明を行う。
【0062】
図9において、上下方向の角度θを制御するステップA17、A18を設けたことと、A3に代わり上下方向の角度θにも対応した3Dモデル作成ステップA13を設けたこと、A9に代わり上下方向の角度θにも対応した顔向き方向出力ステップA19を設けたこと以外は図8と同様の構成となっており、同一構成要素には同一符号を付してある。
【0063】
顔向き変換手段2では、探索範囲内の(φ,θ)の全ての組み合わせをについて3Dモデルを生成する(図9ステップA13)。
【0064】
特定方向顔向き評価手段3では、正面顔度を計算することで、最も正面顔度の高い(φ,θ)を出力することで顔向き推定を行う(ステップA19)。
【0065】
上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。
【0066】
(発明の他の実施の形態)
(第2の実施形態)
次に、第2の実施形態を図10を参照して詳細に説明する。図10は本発明の第2の実施形態による顔向き推定の主要部構成を示すフローチャート図である。
【0067】
図10において、第2の実施形態による顔向き推定の主要部は左右対称度を計算するステップA26を設けた以外は図8に示す第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【0068】
人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色・顔の形に影響を受けずに計算を行える。
特定方向顔向き評価手段3では、計算方法として式(2)に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度S2を計算する。これにより横向き方向の顔の向きφを推定する。(ステップA26)
本方法を用いて横向き方向φを最初に推定したのち、図9に示した方法を用いて上下方向の向きθを推定することも可能である。
【0069】
【数2】
【0070】
(第3の実施形態)
次に、第3の実施形態を図10を参照して詳細に説明する。以上の説明では、変換後の角度を0度、つまり正面としたが、正面以外の角度を利用してもよく、図11のように、例えば真横の90度としてもよい。つまりこの場合では、入力画像の顔向きをφと仮定し、φ傾いた顔立体形状モデルに入力顔画像をマッピングし、(90−φ)度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きがφと判定できる。
【0071】
図12は本発明の第3の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図12において、本発明の第3の実施形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップA35と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップA36とを設けた以外は図8に示す第1の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【0072】
(第4の実施形態)
次に、第4の実施形態を図13を参照して詳細に説明する。
【0073】
いままでの説明では、入力画像中の顔向き(φ,θ)を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図13は本発明の第4の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図13において、第4の実施形態による顔向き推定方法の主要部は図9に示す本発明の第一の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【0074】
様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、−90度から+90度までの5度おきの角度に対しての処理を並列に行い、最も高い正面顔度を持つ角度を出力する。
【0075】
(第5の実施形態)
次に、第5の実施形態を図14を参照して詳細に説明する。第5の実施形態は、第1の実施形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第1〜4の実施形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を3次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。
【0076】
このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図14に示すような楕円体を用いる。図14の+印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。
【0077】
(第6の実施形態)
次に、第6の実施形態を詳細に説明する。
【0078】
本発明の第6の実施形態は、第1〜5の実施形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ・ワーピングを用いた顔向き変換を行うことを特徴とする。
【0079】
ワーピングとは人の顏が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。
【0080】
例えば、人物Aの正面向きの顔画像をImgA0、人物Aの+30度向きの顔画像をImgA30とした際に、ImgA0の画素がImgA30のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを
【0081】
【数3】
【0082】
とする。このとき、人物Bの正面向きの顔画像をImgB0、ImgA0の画素がImgB0のどの画素に対応しているかを示す変換ベクトルを
【0083】
【数4】
【0084】
とすると、人物Bの+30度向きの顔画像ImgB30は、ImgA0を
【0085】
【数5】
【0086】
変換することで求めることができる。
【0087】
この変換パラメータの推定および変換画像の合成については、D. Beymer, A. Shashua, and T. Poggio, Example Based Image Analysis and Synthesis, A.I.Memo 1431, MIT, 1993に詳しい。
【0088】
(第7の実施形態)
次に、第7の実施形態を詳細に説明する。
【0089】
本発明の第7の実施形態は、第1〜6の実施形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。
【0090】
第1〜6の実施形態では、顔向き推定方向の出力を角度(φ,θ)として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。
【0091】
例えば、顔向き方向を正面・上・下・右・右上・右下・左・左上・左下の9つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度(φ,θ)を以下のようなしきい値処理により行う。
正面: −5<=φ<=+5 かつ −5<=θ<=+5
上: −5<φ<+5 かつ +5<θ
下: −5<φ<+5 かつ θ<−5
右: φ<−5 かつ −5<θ<+5
右上: φ<−5 かつ +5<θ
右下: φ<−5 かつ θ<−5
左: +5<φ かつ −5<θ<+5
左上: +5<φ かつ +5<θ
左下: +5<φ かつ θ<−5
また、9つのカテゴリーを代表する角度(φ,θ)に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度(φ,θ)として例えば、
正面: (0,0)
上: (0,+10)
下: (0,-10)
右: (-10,0)
右上: (-10,+10)
右下: (-10,-10)
左: (+10,0)
左上: (+10,+10)
左下: (+10,-10)
の9通りの組み合わせ例を選び、これらのみを用いて顔向き方向のカテゴリー分類を行うことができる。
【0092】
(第8及び第9の実施形態)
次に、第8,9の実施形態を図16および図17を参照して詳細に説明する。図16,17はそれぞれ第8および第9の実施形態による顔向き推定装置の主要部構成を示すブロック図である。
【0093】
図16,17において、第8および第9の実施形態による顔向き推定装置の主要部は照明変動除去手段10,11を設けた以外は図1に示す本発明の第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【0094】
また、同一構成要素の動作は本発明の第1の実施形態による顔向き推定装置の主要部と同様である。本発明の第8および第9の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。
【0095】
照明方向の影響とは、図15に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、顔画像(Xmax,Ymax)の画素をXmax×Ymax次元のベクトル
【0096】
【数6】
【0097】
とみなして作られる画像空間による方法を用いる。
【0098】
ある顔向きにおける様々な照明変動を受けたN個の顔画像ベクトル
【0099】
【数7】
【0100】
が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。
【0101】
そこで、照明変動成分を表す空間の基底ベクトルを主成分分析を用いて求める。式(3)に示すように、画像ベクトル
【0102】
【数8】
【0103】
を並べて作成される行列Sの共分散行列Vを求め、Vの固有値σiが大きい順に固有ベクトル
【0104】
【数9】
【0105】
をM個求める。
【0106】
【数10】
【0107】
【数11】
【0108】
は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像ベクトルに含まれる照明変動成分は、M−1個の固有ベクトル
【0109】
【数12】
【0110】
を用いて近似することができる。つまり、
【0111】
【数13】
【0112】
が照明変動成分を表す空間の基底ベクトルとなる。入力画像の顔画像ベクトルを、固有ベクトル
【0113】
【数14】
【0114】
に射影したベクトル
【0115】
【数15】
【0116】
が入力画像中の照明変動を表しており、入力画像から照明変動成分
【0117】
【数16】
【0118】
を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報PRMU2001-162 pp.59-64を参照のこと。
【0119】
上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。
【0120】
次に、第8の実施形態を図16を参照して詳細に説明する。図16に示す実施形態が図1に示す第1の実施形態と異なる点は、任意顔向きでの照明変動除去手段10を設けた点である。任意顔向きでの照明変動除去手段10は、画像入力手段1で取得した顔画像における照明変動除去を行う。
【0121】
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。
【0122】
次に、第9の実施形態を図17を参照して詳細に説明する。
【0123】
図17に示す実施形態が図1に示す第1の実施形態と異なる点は、特定顔向きでの照明変動除去手段11を設けた点である。特定顔向きでの照明変動除去手段11は、顔向き変換手段2で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図16に示した実施形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向きγに対して照明変動除去を行うだけで済む。
【0124】
以上、本願発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本願発明を実施することも可能である。この場合、第1の実施の形態においては、顔向き変換手段2、特定方向顔向き変換手段3等をコンピュータによって実現するプログラムを作成し、コンピュータに備えるCPU等によって当該プログラムを実行することによって、本願発明が実現可能である。
【0125】
【発明の効果】
第1の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顔向き評価を行うことができることである。
【0126】
このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のブロック図である。
【図2】 +30度の方向を向いた入力顔画像を示す図である。
【図3】−20度の顔立体形状モデルの正面へ変換を示す図である。
【図4】−20度の顔立体形状モデルに入力画像をマッピングした図である。
【図5】顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図である。
【図6】 +30度の顔立体形状モデルの正面へ変換を示す図である。
【図7】 +30度の顔立体形状モデルに入力画像をマッピングした図である。
【図8】本発明の動作を説明するためのフローチャートである。
【図9】本発明の動作を説明するためのフローチャートである。
【図10】本発明の第2の実施の動作を説明するためのフローチャートである。
【図11】 +30度の顔立体形状モデルの真横へ変換を示す図である。
【図12】本発明の第3の実施の動作を説明するためのフローチャートである。
【図13】本発明の第5の実施の動作を説明するためのフローチャートである。
【図14】楕円体を用いた顔立体形状モデルを示す図である。
【図15】照明変動を受けた画像の例を示す図である。
【図16】本発明の第8の実施の形態のブロック図である。
【図17】本発明の第9の実施の形態のブロック図である。
【図18】マッピングを用いた顔向き方向変換の例を示す図である。
【図19】マッピングを用いた顔向き方向変換の例を示す図である。
【図20】従来技術を説明するブロック図である。
【符号の説明】
1 画像入力装置
2 顔向き変更手段
3 特定方向顔向き評価手段
4 顔向き出力手段
10 任意顔向きでの照明変動除去手段
11 特定顔向きでの照明変動除去手段
Claims (21)
- 画像中の顔の向きを推定する顔向き推定装置において、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより
顔向き変換顔の第二画像を作成する顔向き変換手段と、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、
前記顔向き変換顔が特定角度γを向いている信頼度を算出する特定方向顔向き評価手段と、を備え
前記特定方向顔向き評価手段の評価結果に基づいて
前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分(γ―ψ)を画像中の顔向き角度として推定することを特徴とする顔向き推定装置。 - 請求項1に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、
前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする顔向き推定装置。 - 請求項1に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成することを特徴とする顔向き推定装置。 - 請求項1〜3のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、前記顔向き変換顔と前記特定角度の複数の顔画像の平均画像から作成された特定角度平均顔の画像と前記第二画像との類似度を評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出することを特徴とする顔向き推定装置。 - 請求項1〜4のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを推定する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする顔向き推定装置。 - 請求項5に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする顔向き推定装置。 - 請求項6に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする顔向き推定装置。 - 請求項1〜4のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする顔向き推定装置。 - 請求項1〜8のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、
人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする顔向き推定装置。 - 請求項1〜9のいずれか一項に記載の顔向き推定装置において、前記顔向き変換手段は、前記第二画像として、上下方向または左右方向に角度ψ(φ,θ)ごとに回転させて変換した画像を複数画像作成し、前記特定方向顔向き評価手段において、前記複数画像のそれぞれと第三画像との類似度について評価を行うことを特徴とする顔向き推定装置。
- 請求項9に記載の顔向き推定装置において、
前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか1つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。 - 請求項9〜11のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする顔向き推定装置。 - 請求項12に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする顔向き推定装置。 - 請求項12に記載の顔向き推定装置において、
前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする顔向き推定装置。 - 請求項9〜11のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする顔向き推定装置。 - 請求項15に記載の顔向き変換手段において、
画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする顔向き推定装置。 - 請求項1〜16のいずれか一項に記載の顔向き推定装置において、
前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。 - 請求項17に記載の顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の9種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする顔向き推定装置。
- 請求項17、18のいずれか一項に記載の顔向き推定装置において、
前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。 - 画像中の顔の向きを推定する顔向き推定方法において、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより顔向き変換顔の第二画像を作成する顔向き変換ステップと、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出する特定方向顔向き評価ステップと、を含み、
前記特定方向顔向き評価ステップにおける評価結果に基づいて、前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分(γ―ψ)を 画像中の顔向き角度として推定することを特徴とする顔向き推定方法。 - 画像中の顔の向きを推定する顔向き推定プログラムにおいて、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより顔向き変換顔の第二画像を作成する顔向き変換ステップと、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出する特定方向顔向き評価ステップと、を含み、
前記特定方向顔向き評価ステップにおける評価結果に基づいて
前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分(γ―ψ)を 画像中の顔向き角度として推定するステップと、をコンピュータに実行させることを特徴とする顔向き推定プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253328A JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
PCT/JP2003/010742 WO2004025564A1 (ja) | 2002-08-30 | 2003-08-26 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253328A JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004094491A JP2004094491A (ja) | 2004-03-25 |
JP4238542B2 true JP4238542B2 (ja) | 2009-03-18 |
Family
ID=31986281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002253328A Expired - Lifetime JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4238542B2 (ja) |
WO (1) | WO2004025564A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4130820B2 (ja) | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
JP2006158701A (ja) * | 2004-12-08 | 2006-06-22 | Hitachi Medical Corp | 医用画像処理装置 |
JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
JP2006338329A (ja) | 2005-06-02 | 2006-12-14 | Seiko Epson Corp | 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体 |
JP4501003B2 (ja) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | 顔姿勢検出システム |
JP4830585B2 (ja) * | 2006-03-31 | 2011-12-07 | トヨタ自動車株式会社 | 画像処理装置および画像処理方法 |
JP4577301B2 (ja) * | 2006-11-24 | 2010-11-10 | トヨタ自動車株式会社 | 顔向き検知装置 |
JP4831623B2 (ja) * | 2007-03-29 | 2011-12-07 | Kddi株式会社 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
JP5244345B2 (ja) * | 2007-08-09 | 2013-07-24 | パナソニック株式会社 | 顔認証装置 |
JP2009199417A (ja) * | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
JP5127531B2 (ja) * | 2008-03-27 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
CN101673346B (zh) * | 2008-09-09 | 2013-06-05 | 日电(中国)有限公司 | 对图像进行处理的方法、设备和*** |
JP5127735B2 (ja) * | 2009-01-30 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
JP5442746B2 (ja) * | 2009-10-01 | 2014-03-12 | 三洋電機株式会社 | 画像表示装置 |
KR101184097B1 (ko) | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
JP5772825B2 (ja) | 2010-07-07 | 2015-09-02 | 日本電気株式会社 | 画像処理学習装置、画像処理学習方法、および画像処理学習プログラム |
US9412010B2 (en) | 2011-07-15 | 2016-08-09 | Panasonic Corporation | Posture estimation device, posture estimation method, and posture estimation program |
JP5656809B2 (ja) * | 2011-11-22 | 2015-01-21 | 日本電信電話株式会社 | 会話映像表示システム |
JP5768265B2 (ja) * | 2012-05-24 | 2015-08-26 | 株式会社日立国際電気 | 類似画像検索システム |
JP5781017B2 (ja) * | 2012-06-05 | 2015-09-16 | 日本電信電話株式会社 | 映像会話システム |
KR101791604B1 (ko) | 2012-09-11 | 2017-10-30 | 삼성전자주식회사 | 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체 |
JP6355306B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
WO2015005426A1 (ja) * | 2013-07-10 | 2015-01-15 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
JP6355307B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
JP6897082B2 (ja) | 2016-12-13 | 2021-06-30 | 富士通株式会社 | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 |
JP2018101212A (ja) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | 車載器および顔正面度算出方法 |
KR101906431B1 (ko) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | 2d 이미지 인식에 기반한 3d 모델링 방법 및 그 시스템 |
KR102236469B1 (ko) * | 2019-03-08 | 2021-04-07 | 동국대학교 산학협력단 | 운전자 부주의 측정 장치와 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP3926059B2 (ja) * | 1999-05-12 | 2007-06-06 | 日本電気株式会社 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
-
2002
- 2002-08-30 JP JP2002253328A patent/JP4238542B2/ja not_active Expired - Lifetime
-
2003
- 2003-08-26 WO PCT/JP2003/010742 patent/WO2004025564A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
Publication number | Publication date |
---|---|
JP2004094491A (ja) | 2004-03-25 |
WO2004025564A1 (ja) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4238542B2 (ja) | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム | |
US9881204B2 (en) | Method for determining authenticity of a three-dimensional object | |
KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
CN102087703B (zh) | 确定正面的脸部姿态的方法 | |
US8331619B2 (en) | Image processing apparatus and image processing method | |
JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 | |
US7486808B2 (en) | Image processing device, image processing method and image processing program | |
US7876931B2 (en) | Face recognition system and method | |
EP1677250B9 (en) | Image collation system and image collation method | |
JP5836095B2 (ja) | 画像処理装置、画像処理方法 | |
WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
JP4445454B2 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3926507B2 (ja) | 目位置及び顔位置検出装置 | |
JP2007004767A (ja) | 画像認識装置、方法およびプログラム | |
JP2007249280A (ja) | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム | |
JP2000105829A (ja) | 顔パーツ検出方法及びその装置 | |
JP4874914B2 (ja) | 顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラム | |
JPWO2020213166A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
JP2004038531A (ja) | 物体の位置検出方法および物体の位置検出装置 | |
JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
JP2000268161A (ja) | 実時間表情検出装置 | |
JP7107380B2 (ja) | 推定装置、推定方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20021129 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050715 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070115 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4238542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |