JP6044909B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6044909B2 JP6044909B2 JP2014553895A JP2014553895A JP6044909B2 JP 6044909 B2 JP6044909 B2 JP 6044909B2 JP 2014553895 A JP2014553895 A JP 2014553895A JP 2014553895 A JP2014553895 A JP 2014553895A JP 6044909 B2 JP6044909 B2 JP 6044909B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- unit
- face
- normal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Description
本発明は、画像に含まれる人物の顔を補正する画像処理装置及び画像処理方法に関するものである。
従来、人物を被写体として撮影した画像から、人物の顔が含まれる顔領域を検出し、その顔領域内の特徴量に基づいて画像を補正する技術が開示されている。例えば特許文献1に記載の技術では、顔領域を検出し、検出した顔領域の特徴量を用いて、被写体の人種、年代、性別などを推論し、その推論結果に適合する補正パラメータを設定して、顔領域の肌色調整および逆光時の明るさ補正を行っている。
この場合において、特許文献1に記載の技術では、人種、年代を複数のカテゴリーに分類し、これらのカテゴリー、性別、逆光の有無の組合せごとに、補正項目を設定し、各項目毎に、補正パラメータとして、各階調の増減量または増減率を設定した設定テーブルを作成して、メモリに保存している。そして、被写体の人種、年代、性別などの推論結果を設定テーブルと照合することにより、推論結果に応じた補正パラメータを読み出すようにしている。
しかしながら、特許文献1に記載の技術では、各階調の増減量または増減率を、具体的に、どのように設定するかについては記載されていない。しかも、補正内容としては、肌色調整、逆光時の明るさ補正、シミ除去処理、肌のスムージング補正が例示されているだけである。
このため、特許文献1に記載の技術は、逆光時の明るさ補正のように、顔領域全体の明るさを一律に補正する場合には有効であると考えられる。しかしながら、特許文献1に記載の技術では、各階調の増減量または増減率の設定に関する具体的な設定方法が記載されていないため、例えば実際の人物撮影によく使用される反射板を用いて顔の影の部分を明るくするなどの、人物の顔の表面と光源の向きに応じて、影の部分を明るくするような効果を得るのは困難である。
本発明は、前記従来の課題を解決するもので、人物の顔の影の部分を明るくすることができる画像処理装置及び画像処理方法を提供することを目的とする。
本発明の一局面に係る画像処理装置は、入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備える。
本発明の一局面に係る画像処理方法は、入力画像信号から人物の顔を含む顔領域を検出する顔検出ステップと、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定ステップと、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正ステップとを含む。
本発明によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量を、顔領域の入力画像信号の画素値に加算することにより、人物の顔の影の部分を明るくすることができる。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
(第1実施形態)
図1は、第1実施形態の画像処理装置1の構成を示すブロック図である。図2は、顔検出部11により検出される顔領域を概略的に示す図である。図1に示されるように、画像処理装置1は、顔検出部11、決定部12、信号補正部13及び表示部14を備える。
図1は、第1実施形態の画像処理装置1の構成を示すブロック図である。図2は、顔検出部11により検出される顔領域を概略的に示す図である。図1に示されるように、画像処理装置1は、顔検出部11、決定部12、信号補正部13及び表示部14を備える。
顔検出部11は、公知の方法を用いて、入力画像信号に基づき、人物の顔を含む顔領域を検出する。顔領域の検出方法としては、顔の特徴点を持つ学習データベースを用いる方法や、入力画像を縮小又は拡大しながら、顔の明暗の特徴を持つ単純な白黒パターンと照合し、顔領域を絞り込んでいく方法などがある。顔検出部11は、この第1実施形態では、図2に示されるように、矩形の顔領域110を検出する。顔検出部11は、顔領域110の開始点(X0,Y0)及び終了点(X1,Y1)を信号補正部13に出力する。
なお、本実施形態では、顔領域を検出する手段を基に説明したが、これ以外にも眼領域などの顔構成部分のみを抽出し、その位置関係を基に、入力画像信号の補正領域である矩形領域を決めてもよい。例えば眼の領域を抽出し、両眼間距離より矩形領域を決定してもよい。
決定部12は、入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、顔領域110の入力画像信号に付加する画素値の付加量を決定する。決定部12は、法線推定部21、光源情報保存部22及び付加量算出部23を備える。
図3は、図1に示される法線推定部21の構成を示すブロック図である。図4は、法線推定部21により推定される法線ベクトルを概略的に示す図である。図5は、x方向の微分フィルタの一例を示す図である。図6は、y方向の微分フィルタの一例を示す図である。図7は、空間フィルタの一例を示す図である。
法線推定部21は、x方向微分処理部31、y方向微分処理部32、空間フィルタ処理部33,34及び正規化処理部35を備える。法線推定部21は、フレームごとに、入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、画像が表す立体(具体的には人物の顔)の表面(以下、「画像表面」と称する)の法線方向を画素ごとに推定する。ここで、法線方向は、2次元画像における2つの座標値(X成分、Y成分)に、高さ情報(Z成分)を加えた3次元の法線ベクトル(X,Y,Z)により表される。すなわち、法線推定部21は、法線方向を表す法線ベクトルを生成する。この明細書では、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義する。言い換えると、この明細書では、画像表面は、明るい方が暗い方に比べて観察者に近いと定義する。これは、人間の単眼情報を用いた距離視覚特性では、「明るいものほど近く感じる傾向がある」ことに基づいたものである。
図4において、例えばx,y,z座標系の原点を、法線方向を推定する推定対象画素とする。図4において、推定対象画素に比べて+x方向及び−y方向の領域A1の画素値が大きく、かつ、推定対象画素に比べて−x方向及び+y方向の領域A2の画素値が小さい場合には、法線方向を表す法線ベクトルNは、x軸においては−x方向に傾き、y軸においては+y方向に傾く。
したがって、推定対象画素と、その推定対象画素に隣接する隣接画素との間で画素値の差異が大きくなると、推定対象画素における画像表面は、画像が存在するxy平面に対して垂直な面に近づく。つまり、推定対象画素と、その推定対象画素に隣接する隣接画素との間で画素値の差異が大きくなると、法線ベクトルが画像を含むxy平面に対して平行に近づく。言い換えると、法線ベクトル(X,Y,Z)のうちX成分もしくはY成分が大きくなる。このように、2次元の平面データである入力画像信号から、3次元である人物の顔の凹凸度合いを推定できるようにしている。
具体的には、この実施形態では、x方向微分処理部31は、例えば図5に示される微分フィルタを用いて、推定対象画素及びx方向に隣接する2画素の合計3画素の画素値を処理することにより、推定対象画素のx方向における微分処理を行う。x方向微分処理部31は、推定対象画素のx方向における微分処理結果(第1微分値の一例に相当)を空間フィルタ処理部33に出力する。
y方向微分処理部32は、例えば図6に示される微分フィルタを用いて、推定対象画素及びy方向に隣接する2画素の合計3画素の画素値を処理することにより、推定対象画素のy方向における微分処理を行う。y方向微分処理部32は、推定対象画素のy方向における微分処理結果(第2微分値の一例に相当)を空間フィルタ処理部34に出力する。
空間フィルタ処理部33,34は、例えば図7に示される平滑フィルタを用いて、x方向微分処理部31の微分処理結果及びy方向微分処理部32の微分処理結果に対して、それぞれ、推定対象画素及び推定対象画素を取り囲む8画素の合計9画素の画素値を処理することにより、推定対象画素の空間フィルタ処理(平滑処理の一例に相当)を行う。
空間フィルタ処理部33は、空間フィルタ処理結果(第1平滑値に相当)を正規化処理部35に出力する。空間フィルタ処理部34は、空間フィルタ処理結果(第2平滑値に相当)を正規化処理部35に出力する。この空間フィルタ処理によって、微分処理結果の小さな変動を抑えることにより、画像表面の法線方向を効率良く推定することができる。
法線推定部21は、空間フィルタ処理部33の空間フィルタ処理結果を法線ベクトル(X,Y,Z)のX成分とする。また、法線推定部21は、空間フィルタ処理部34の空間フィルタ処理結果を法線ベクトル(X,Y,Z)のY成分とする。また、法線推定部21は、予め定められた固定値Ziを保持している。そして、法線推定部21は、固定値Ziを法線ベクトル(X,Y,Z)のZ成分とする。固定値Ziは、3次元の法線ベクトルを得るためのもので、Zi=1またはZi=0.5などの適当な値とすればよい。法線推定部21は、保持する固定値Ziを法線ベクトルのZ成分とすることにより、x方向及びy方向の2次元データから3次元の法線ベクトルが得られるようにしている。
正規化処理部35は、法線ベクトル(X,Y,Z)の大きさが予め定められた一定値V(例えばV=1)になるように、法線ベクトル(X,Y,Z)を正規化する。すなわち、正規化処理部35は、(dX2+dY2+dZ2)1/2=Vを満たすように正規化した法線ベクトル(dX,dY,dZ)を算出する。正規化処理部35は、算出した法線ベクトル(dX,dY,dZ)を付加量算出部23に出力する。
本実施形態において、x方向微分処理部31が第1微分処理部の一例に相当し、y方向微分処理部32が第2微分処理部の一例に相当し、x方向が第1方向の一例に相当し、y方向が第2方向の一例に相当し、z方向が第3方向の一例に相当し、X成分が第1方向の成分の一例に相当し、Y成分が第2方向の成分の一例に相当し、Z成分が第3方向の成分の一例に相当する。
図1に戻って、光源情報保存部22は、顔の影の部分を明るくするために仮想的に設けられた、1個又は複数の光源に関する情報を予め保存している。光源に関する情報は、光源の照明方向及び光源の光強度を含む。光源情報保存部22は、保存している光源に関する情報を付加量算出部23に出力する。言い換えると、付加量算出部23は、光源情報保存部22に保存されている光源に関する情報を読み出す。
光源情報保存部22は、光源の照明方向を表す3次元の光源ベクトルを保存している。光源情報保存部22は、光源の照明方向として、例えば人物に対して下方から照明するような方向を保存している。このような光源を追加することにより、反射板を用いて顔の影の部分を明るくするような効果を得ることができる。なお、この実施形態では、光源からの照明光は平行光としている。このため、太陽光を反射板で反射したような効果を得ることができる。
図8、図9は、ランバートの拡散反射モデルを説明する図である。図10は、付加量算出部23により算出される付加量を説明する図である。図11は、図10に対する比較例を説明する図である。図12、図13は、付加量算出部23による付加量の算出を説明する図である。
付加量算出部23は、法線推定部21により推定された法線ベクトルと、光源情報保存部22に保存されている光源ベクトルとの成す角度αに応じた画素値(つまり輝度)の付加量を画素ごとに算出する。
ランバートの拡散反射モデルでは、図8に示されるように、光源Pからの光源ベクトルLと、反射面Qの法線ベクトルNとの成す角度がαのとき、式(1)が成り立つ。
ID=|L|×|N|×cosα×C×IL (1)
ここで、IDは反射輝度、|L|は光源ベクトルLの大きさ、|N|は法線ベクトルNの大きさ、Cは定数、ILは入射輝度である。
ここで、IDは反射輝度、|L|は光源ベクトルLの大きさ、|N|は法線ベクトルNの大きさ、Cは定数、ILは入射輝度である。
式(1)から分かるように、ランバートの拡散反射モデルでは、図9に示されるように、角度αが小さい場合には、反射光の輝度IDは大きくなり、角度αが大きくなって90度に近づくほど、反射光の輝度IDは小さくなる。
本実施形態において、入力画像信号により表される画像が撮影などにより得られたときの光源の入射輝度及び入射方向は未知である。そこで、本実施形態では、入力画像信号により表される画像は、既に、ランバートの拡散反射モデルによる拡散反射が付加された状態であると考える。
そして、付加量算出部23は、法線推定部21により推定された法線ベクトルと光源情報保存部22に保存されている光源ベクトルとの成す角度αの変化量Δαをパラメータとする式(2)により、付加量ΔIを画素ごとに算出する。
ΔI=Iin×sinα×Δα (2)
ここで、Iinは、入力画像信号の各画素の画素値である。式(2)から分かるように、ΔI/Δαは、図10に示されるように、sinαに比例する。これによって、顔の影の部分を明るくすることができる。
ここで、Iinは、入力画像信号の各画素の画素値である。式(2)から分かるように、ΔI/Δαは、図10に示されるように、sinαに比例する。これによって、顔の影の部分を明るくすることができる。
なお、式(1)の両辺をαで微分することによりΔI/Δαを導出した場合には、ΔI/Δαは、図11に示されるように、(−sinα)に比例する。この場合には、画像の立体感を強調することができる。すなわち、本実施形態で用いられる式(2)は、立体感を強調する効果と反対に、顔の影の部分を明るくする効果を得るために、式(1)の両辺をαで微分した上で符号を反転させることにより、ΔI/Δαが、(−sinα)ではなくて(+sinα)に比例するようにしたものと言える。
本実施形態では、付加量算出部23は、関数F1(Iin),F2(α)及び定数K0を用いた式(3)により、変化量Δαを算出する。
Δα=F1(Iin)×F2(α)×K0 (3)
図12は、入力画像信号の画素値Iinの関数であるF1(Iin)の一例を示す。図13は、角度αの関数であるF2(α)の一例を示す。なお、本実施形態では、データは8ビットで表される。F1(Iin)は0≦F1(Iin)<1の範囲の値である。F2(α)は0≦F2(α)≦1の範囲の値である。
関数F1(Iin)は、図12に示されるように、入力画像信号の画素値Iinが0から所定値Iin1の範囲では、F1(Iin)=K1(0≦K1<1、例えばK1=0.5)の定数である。すなわち、画素値Iinが小さい値のときに、付加量ΔIが大きくなると、画像の階調が入力画像信号からずれるため、K1をF1(Iin)の上限としている。所定値Iin1は、最大画素値(本実施形態では255)に対して、ある程度小さい値に設定すればよい。所定値Iin1を例えば最大画素値の20%程度とすると、Iin1=50とすることができる。
また、関数F1(Iin)は、画素値Iinが所定値Iin1を超えると線形に減少し、画素値Iinが所定値Iin2で、F1(Iin)=0としている。すなわち、画素値Iinが大きい値のときに、付加量ΔIが大きくなることにより画素値が飽和するのを防止している。所定値Iin2は、最大画素値(本実施形態では255)にある程度近い値に設定すればよい。所定値Iin2を例えば最大画素値の80%程度とすると、Iin2=200とすることができる。
関数F2(α)は、図13に示されるように、角度αが予め定められた特定角度α0のときに最大値K2(0≦K2≦1、例えばK2=1)に設定され、角度αが特定角度α0からずれると、減少するように設定されている。すなわち、関数F2(α)は、角度αが特定角度α0のときに、付加量ΔIが大きくなるように、設定されている。この特定角度α0は、人間の顔の凹凸の傾向や、光源情報保存部22に保存されている光源の照明方向などに基づき、予め定められている。なお、特定角度は1つに限られない。例えば複数の特定角度を中心に付加量がそれぞれ大きくなるように、関数F2(α)を設定することも可能である。
式(3)において、K0は、0≦K0≦255の範囲の定数である。本実施形態では、定数K0は、光源情報保存部22に保存されている光源の光強度に応じた値に設定されている。すなわち、付加量算出部23は、光源情報保存部22に保存されている光源の光強度が大きい場合には、例えばK0=200に設定し、光源情報保存部22に保存されている光源の光強度が小さい場合には、例えばK0=50に設定する。
以上のように、関数F1(Iin),F2(α)及び定数K0が設定されているため、式(3)により、適切な値の変化量Δαを得ることができる。その結果、付加量算出部23は、式(2)により、適切な値の付加量ΔIを算出することができる。
図14は、x方向の補正ゲインGxの一例を示す図である。図15は、y方向の補正ゲインGyの一例を示す図である。
信号補正部13は、補正ゲインGx,Gyを保持する。信号補正部13は、付加量算出部23により算出された付加量ΔIに対し、x方向について補正ゲインGxを乗算し、y方向について補正ゲインGyを乗算して、ΔIg=Gx×Gy×ΔIにより付加量ΔIgを得る。
補正ゲインGx,Gyは、それぞれ図14、図15に示されるように、顔領域110(図2)の境界から離れた中央部ではGx=Gy=1の上限値に設定され、顔領域110の境界に近づくにつれて線形に減少するように設定され、顔領域110の境界でGx=Gy=0に設定されている。補正ゲインGx,Gyを付加量ΔIに乗算することにより、付加量ΔIは、顔領域110の境界付近においてなだらかに減少する。その結果、顔領域110の境界において、付加量ΔIにより画素値に段差が生じるのを防止することができる。
信号補正部13は、顔検出部11により検出された顔領域110の各画素の画素値Iinに対し、補正ゲインGx,Gyが乗算された付加量ΔIgを加算して、補正画素値Icを、Ic=Iin+ΔIgにより算出する。信号補正部13は、算出した補正画素値Icを出力画像信号として表示部14に出力する。表示部14は、例えば液晶表示パネルを備え、信号補正部13からの出力画像信号に基づき画像を表示する。なお、例えばプリンタをさらに備え、信号補正部13からの出力画像信号に基づき画像を印刷してもよい。
以上のように、第1実施形態によれば、法線推定部21による画像表面の法線ベクトルを推定し、光源情報保存部22に保存された光源ベクトルと法線ベクトルとの成す角度αに応じて画素値の付加量を算出している。したがって、画像に含まれる人物の顔の影の部分を、実際の人物撮影で用いられる反射板により明るくするような効果を得ることができる。
なお、この第1実施形態において、光源情報保存部22が、複数の光源の照明方向を保存している場合には、付加量算出部23は、光源ごとに付加量を算出する。例えば光源情報保存部22が、主光源の照明方向と、副光源の照明方向とを保存している場合には、付加量算出部23は、法線ベクトルと主光源の光源ベクトルとの成す角度α1に基づき、主光源の付加量ΔI1を算出し、法線ベクトルと副光源の光源ベクトルとの成す角度α2に基づき、副光源の付加量ΔI2を算出する。
信号補正部13は、主光源用の補正ゲインGx1,Gy1と、副光源用の補正ゲインGx2,Gy2とを保持する。ここで、各補正ゲインGx1,Gy1,Gx2,Gy2の上限値UL(Gx1),UL(Gy1),UL(Gx2),UL(Gy2)は、UL(Gx1)+UL(Gx2)=1、UL(Gy1)+UL(Gy2)=1を満たすように設定されている。但し、UL(Gx1)>UL(Gx2)、UL(Gy1)>UL(Gy2)に設定されている。すなわち、主光源用の補正ゲインの上限値は、副光源用の補正ゲインの上限値に比べて大きくなるように設定されている。
信号補正部13は、補正ゲインGx1,Gy1を付加量ΔI1に乗算し、補正ゲインGx2,Gy2を付加量ΔI2に乗算する。このように、この第1実施形態では、光源情報保存部22に保存されている光源に関する情報を全て使用する。
(第2実施形態)
図16は、第2実施形態の画像処理装置1aの構成を示すブロック図である。図17は、第2実施形態の光源情報保存部22aに保存されている光源の照明方向を概略的に示す図である。図16では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第1実施形態との相違点を中心に、第2実施形態が説明される。
図16は、第2実施形態の画像処理装置1aの構成を示すブロック図である。図17は、第2実施形態の光源情報保存部22aに保存されている光源の照明方向を概略的に示す図である。図16では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第1実施形態との相違点を中心に、第2実施形態が説明される。
図16に示される第2実施形態の画像処理装置1aは、第1実施形態の画像処理装置1において、決定部12に代えて決定部12aを備え、信号補正部13に代えて信号補正部13aを備える。決定部12aは、図1に示される決定部12において、光源情報保存部22に代えて光源情報保存部22aを備え、付加量算出部23に代えて付加量算出部23aを備え、新たに光源選択部24を備える。
光源情報保存部22aは、光源に関する情報として、例えば8種類の光源の照明方向と、例えば3種類の光源の光強度とを保存している。光源情報保存部22aに保存されている8種類の光源の照明方向は、図17に示されるように、左下からの照明方向22LD、下からの照明方向22D、右下からの照明方向22RD、右からの照明方向22R、右上からの照明方向22RU、上からの照明方向22U、左上からの照明方向22LU、左からの照明方向22Lである。光源情報保存部22aに保存されている3種類の光源の光強度は、強、中、弱の3種類である。
光源選択部24は、例えば使用者が操作する操作部及び操作内容を案内する表示画面を備えるユーザインタフェースである。なお、光源選択部24が専用の表示画面を備えるのに代えて、光源選択部24は、表示画面として表示部14を利用してもよい。
使用者は、光源選択部24を用いて、光源情報保存部22aに保存されている8種類の光源の照明方向から、使用する照明方向を選択する。また、使用者は、光源選択部24を用いて、光源情報保存部22aに保存されている3種類の光源の光強度から、使用する光強度を選択する。
使用者は、光源選択部24を用いて、例えば、下からの照明方向22Dを主光源として選択し、かつ、左下からの照明方向22LD及び右下からの照明方向22RDを副光源として選択するなどのように、複数の光源を選択してもよい。この場合には、使用者は、光源選択部24を用いて、選択した各光源の光強度を選択すればよい。
光源情報保存部22aは、光源選択部24により選択された照明方向を表す光源ベクトルを付加量算出部23aに出力する。また、光源情報保存部22aは、光源選択部24により選択された光強度を付加量算出部23aに出力する。言い換えると、付加量算出部23aは、光源選択部24により選択された光源ベクトル及び光強度を光源情報保存部22aから読み出す。
付加量算出部23aは、第1実施形態の付加量算出部23と同様に、式(3)により変化量Δαを算出し、その変化量Δαを用いて式(2)により付加量ΔIを算出する。この場合において、付加量算出部23aは、式(3)の定数K0を、光源選択部24を用いて選択された光源の光強度が強の場合には例えばK0=200に設定し、中の場合には例えばK0=128に設定し、弱の場合には例えばK0=50に設定する。
信号補正部13aは、光源選択部24の選択内容に応じて、補正ゲインを設定する。信号補正部13aは、光源選択部24を用いて、主光源及び2個の副光源が選択された場合には、例えば、主光源の補正ゲインの上限値を0.6に設定し、副光源の補正ゲインの上限値をそれぞれ0.2に設定することにより、補正ゲインの合計を1に正規化する。
以上のように、第2実施形態によれば、光源情報保存部22aは、複数の光源に関する情報を保存し、光源選択部24により光源が選択されるため、使用者は、入力画像に応じて、好みの光源の照明方向及び光強度を選択することができる。したがって、例えば入力画像の人物の顔の向きに応じて、最も好適な照明方向を選択することができる。また、好みの方向から反射板により照明したような効果を得ることができる。
また、第2実施形態によれば、光源の光強度を選択することができるため、顔の影の部分の明るさ度合いを好みに合わせて調整することができる。また、複数の照明方向を選択することにより、顔の影の部分の解消を、より自然に行うことができる。また、例えば、主光源を強に設定し、副光源を中に設定することで、顔の影の部分の解消を、より自然に行うことができる。
(第3実施形態)
図18は、第3実施形態の画像処理装置1bの構成を示すブロック図である。図18では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第1実施形態との相違点を中心に、第3実施形態が説明される。
図18は、第3実施形態の画像処理装置1bの構成を示すブロック図である。図18では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。以下、第1実施形態との相違点を中心に、第3実施形態が説明される。
図18に示される第3実施形態の画像処理装置1bは、第1実施形態の画像処理装置1において、決定部12に代えて決定部12bを備える。決定部12bは、図1に示される決定部12において、光源情報保存部22を備えておらず、新たに向き検出部25及び光源設定部26を備える。
向き検出部25は、公知の方法を用いて、顔検出部11から得られる入力画像信号に基づき、人物の顔の向きを検出する。顔の向きの検出方法としては、入力画像を縮小又は拡大しながら、顔の明暗の特徴を持つ単純な白黒パターンと照合し、顔領域を絞り込んでいく顔領域の検出方法において、横向きの顔の特徴を持つパターンを追加する方法がある。また、複数の顔の向きにおける学習データベースを用いて、顔の向きを検出する方法もある。
向き検出部25は、この第3実施形態では、顔検出部11により検出された顔領域について顔の向きを検出する。なお、向き検出部25は、顔検出部11による顔領域の検出とは別に、入力画像信号に基づき、顔の向きを検出してもよい。
光源設定部26は、向き検出部25により検出された顔の向きに応じて、光源の照明方向を設定する。光源設定部26は、例えば、向き検出部25により検出された顔の向きが右向きの場合には、右斜め下からの照明方向を設定し、左向きの場合には、左斜め下からの照明方向を設定する。光源設定部26は、設定した光源の照明方向を表す光源ベクトルを付加量算出部23に出力する。
以上のように、第3実施形態によれば、向き検出部25により検出された顔の向きに応じて、光源設定部26により光源の照明方向が設定されている。したがって、常に下方から反射板により照明することにより顔の影の部分を明るくするような効果を自動的に得ることができる。
なお、上記第3実施形態では、光源設定部26は、予め設定された光源の光強度を保持しておき、保持している光強度を付加量算出部23に出力するようにしてもよい。あるいはまた、光源設定部26に代えて、付加量算出部23が、予め設定された光源の光強度を保持してもよい。この場合において、付加量算出部23は、光強度を、式(3)の定数K0の値として保持するようにしてもよい。
また、上記第3実施形態では、光源設定部26は、上記第2実施形態のように、複数の光源の照明方向及び光強度を保持してもよい。そして、光源設定部26は、向き検出部25により検出された顔の向きに基づき、効果の程度に応じて光源の光強度を強く設定してもよい。これによって、顔の影の部分の解消を、より自然に行うことができる。その際、光源設定部26は、最も効果の高い照明方向を主方向として主光源の光強度を強く設定し、残りの照明方向を副方向として副光源の光強度を弱く設定してもよい。また、光源設定部26は、顔検出時の評価関数を基に、その評価値の高さに応じて光源の光強度を強く設定してもよい。
(第4実施形態)
図19は、第4実施形態の画像処理装置1cの構成を示すブロック図である。図19では、第3実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第4実施形態では、フレームごとに入力される入力画像信号において、顔の向きがフレームごとに変化する。すなわち、第4実施形態の入力画像信号は動画を表す。以下、第3実施形態との相違点を中心に、第4実施形態が説明される。
図19は、第4実施形態の画像処理装置1cの構成を示すブロック図である。図19では、第3実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第4実施形態では、フレームごとに入力される入力画像信号において、顔の向きがフレームごとに変化する。すなわち、第4実施形態の入力画像信号は動画を表す。以下、第3実施形態との相違点を中心に、第4実施形態が説明される。
図19に示される第4実施形態の画像処理装置1cは、第3実施形態の画像処理装置1bにおいて、決定部12bに代えて決定部12cを備える。決定部12cは、図18に示される決定部12bにおいて、向き検出部25に代えて向き検出部25cを備え、光源設定部26に代えて光源設定部26cを備え、新たに光源補正部27を備える。
向き検出部25cは、第3実施形態の向き検出部25と同様に、公知の方法により、人物の顔の向きを検出する。向き検出部25cは、フレームごとに入力される入力画像信号に基づき、顔の向きをフレームごとに検出する。光源設定部26cは、向き検出部25cによりフレームごとに検出された顔の向きに応じて、光源の照明方向を表す光源ベクトルをフレームごとに設定する。光源設定部26cは、設定した光源ベクトルをフレームごとに光源補正部27に出力する。
光源補正部27は、向き検出部25cにより検出される顔の向きに連動して、光源設定部26cによりフレームごとに設定される光源の照明方向(つまり光源ベクトル)のフレーム間における変化量を制限する。光源補正部27は、例えば式(4)により、光源設定部26cから出力される光源ベクトルをフレームごとに補正する。光源補正部27は、補正後の光源ベクトルをフレームごとに付加量算出部23に出力する。
Lc(t)=B1×L(t)+B2×Lc(t−1) (4)
ここで、Lc(t)は、現フレームにおける補正後の光源ベクトルであり、L(t)は、現フレームにおいて光源設定部26cにより設定された光源ベクトルであり、Lc(t−1)は、現フレームの1つ前のフレームにおいて光源設定部26cにより設定された光源ベクトルL(t−1)が、光源補正部27により補正された補正後の光源ベクトルであり、B1,B2は、それぞれ重み付け係数である。重み付け係数B1,B2は、B1+B2=1に設定されるものであり、例えば、B1=B2=0.5に設定してもよい。本実施形態において、現フレームは第1フレームの一例に相当し、現フレームの1つ前のフレームは第2フレームの一例に相当する。
ここで、Lc(t)は、現フレームにおける補正後の光源ベクトルであり、L(t)は、現フレームにおいて光源設定部26cにより設定された光源ベクトルであり、Lc(t−1)は、現フレームの1つ前のフレームにおいて光源設定部26cにより設定された光源ベクトルL(t−1)が、光源補正部27により補正された補正後の光源ベクトルであり、B1,B2は、それぞれ重み付け係数である。重み付け係数B1,B2は、B1+B2=1に設定されるものであり、例えば、B1=B2=0.5に設定してもよい。本実施形態において、現フレームは第1フレームの一例に相当し、現フレームの1つ前のフレームは第2フレームの一例に相当する。
以上のように、第4実施形態によれば、現フレームの補正後の光源ベクトルを、設定された現フレームの光源ベクトルと、現フレームの1つ前のフレームの光源ベクトルとに基づき、算出しているため、フレームごとに設定される光源の照明方向の変化が緩やかになるように、フレーム間における照明方向の変化量が制限される。したがって、光源の照明方向がフレームごとに大きく変化して表示部14に表示される動画がちらつくような事態を抑制することができる。また、顔の影の部分の揺らぎが少なくなるため、反射板で明るくしたような効果をより好適に得ることができる。
なお、上記第4実施形態では、光源設定部26cは、予め設定された光源の光強度を保持しておき、保持している光強度を付加量算出部23に光源補正部27を介して出力するようにしてもよい。あるいはまた、光源設定部26cに代えて、付加量算出部23が、予め設定された光源の光強度を保持してもよい。この場合において、付加量算出部23は、光強度を式(3)の定数K0として保持するようにしてもよい。
(第5実施形態)
図20は、第5実施形態の画像処理装置1dの構成を示すブロック図である。図20では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第5実施形態では、フレームごとに入力される入力画像信号は動画を表す。以下、第1実施形態との相違点を中心に、第5実施形態が説明される。
図20は、第5実施形態の画像処理装置1dの構成を示すブロック図である。図20では、第1実施形態と同一又は類似の要素には同一又は類似の符号が付されている。なお、第5実施形態では、フレームごとに入力される入力画像信号は動画を表す。以下、第1実施形態との相違点を中心に、第5実施形態が説明される。
図20に示される第5実施形態の画像処理装置1dは、第1実施形態の画像処理装置1において、決定部12に代えて決定部12dを備え、新たに動き検出部15及び領域補正部16を備える。決定部12dは、図1に示される決定部12において、新たに法線補正部28を備える。
動き検出部15は、公知の方法により、入力画像信号により表される画像の動きベクトルを検出する。動き検出部15は、例えば、入力画像信号により表される画像を複数のブロックに仮想的に分割し、現フレームの画像のブロックが現フレームの1つ前のフレームの画像のどのブロックに近いかを探索して照合することにより、ブロックごとに動きベクトルを求める。
領域補正部16は、顔検出部11により検出された顔領域110(図2)を、動き検出部15により検出された動きベクトルを用いて補正する。領域補正部16は、顔検出部11により検出された顔領域110を、例えば式(5)により補正して、顔領域Rc(t)を得る。領域補正部16は、補正により得られた顔領域Rc(t)を信号補正部13に出力する。
Rc(t)=C1×R(t)+C2×Rv(t−1) (5)
ここで、R(t)は、現フレームにおいて顔検出部11により検出された顔領域であり、Rv(t−1)は、現フレームの1つ前のフレームにおいて顔検出部11により検出された顔領域R(t−1)を、当該顔領域R(t−1)に近いブロックの動きベクトルにより移動させた領域であり、C1,C2は、重み付け係数である。重み付け係数C1,C2は、C1+C2=1に設定されるものであり、例えば、C1=C2=0.5に設定してもよい。
ここで、R(t)は、現フレームにおいて顔検出部11により検出された顔領域であり、Rv(t−1)は、現フレームの1つ前のフレームにおいて顔検出部11により検出された顔領域R(t−1)を、当該顔領域R(t−1)に近いブロックの動きベクトルにより移動させた領域であり、C1,C2は、重み付け係数である。重み付け係数C1,C2は、C1+C2=1に設定されるものであり、例えば、C1=C2=0.5に設定してもよい。
法線補正部28は、法線推定部21により推定された法線ベクトルを、動き検出部15により検出された動きベクトルを用いて補正する。法線補正部28は、法線推定部21により推定された法線ベクトルを、例えば式(6)により補正して、法線ベクトルNc(t)を得る。法線補正部28は、補正により得られた法線ベクトルNc(t)を付加量算出部23に出力する。
Nc(t)=D1×N(t)+D2×Nv(t−1) (6)
ここで、N(t)は、現フレームにおいて法線推定部21により推定された法線ベクトルであり、Nv(t−1)は、現フレームの1つ前のフレームにおいて法線推定部21により推定された法線ベクトルを、当該法線ベクトルの推定対象画素が含まれるブロックの動きベクトルにより移動させた法線ベクトルであり、D1,D2は、重み付け係数である。重み付け係数は、D1+D2=1に設定されるものであり、例えば、D1=D2=0.5に設定してもよい。本実施形態において、現フレームは第1フレームの一例に相当し、現フレームの1つ前のフレームは第2フレームの一例に相当する。
ここで、N(t)は、現フレームにおいて法線推定部21により推定された法線ベクトルであり、Nv(t−1)は、現フレームの1つ前のフレームにおいて法線推定部21により推定された法線ベクトルを、当該法線ベクトルの推定対象画素が含まれるブロックの動きベクトルにより移動させた法線ベクトルであり、D1,D2は、重み付け係数である。重み付け係数は、D1+D2=1に設定されるものであり、例えば、D1=D2=0.5に設定してもよい。本実施形態において、現フレームは第1フレームの一例に相当し、現フレームの1つ前のフレームは第2フレームの一例に相当する。
以上のように、第5実施形態によれば、顔検出部11により検出された顔領域を、動き検出部15により検出された動きベクトルを用いて、領域補正部16により補正しているため、滑らかに移動する顔領域を得ることができる。その結果、フレーム間で動画がちらつくのを防止することができる。
また、第5実施形態によれば、法線推定部21により推定された法線ベクトルを、動き検出部15により検出された動きベクトルを用いて、法線補正部28により補正しているため、滑らかに移動する法線ベクトルを取得することができる。その結果、付加量が大きく変動することにより動画がちらつくのを防止することができる。したがって、第5実施形態によれば、より効果的に顔の影の部分を明るくすることができる。
上記第5実施形態の画像処理装置1dは、領域補正部16及び法線補正部28の両方を備えているが、本発明は、これに限られない。例えば、法線補正部28を備えず、領域補正部16のみを備える画像処理装置であってもよい。この実施形態でも、滑らかに移動する顔領域を得ることができる。
上記各実施形態において、法線推定部21は、入力画像信号に基づき、法線方向を推定しているが、本発明は、これに限られない。法線推定部は、例えば顔検出部11により検出された顔領域の入力画像信号に基づき、顔領域において、法線方向を推定するようにしてもよい。なお、法線推定部21の各部をハードウェア回路で構成して、上記各実施形態のように、顔領域に関係なく、一律に入力画像信号に基づき、法線方向を推定する処理を自動的に行うようにすると、装置構成を簡素化することができる。
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
本発明の一局面に係る画像処理装置は、入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備える。
この構成によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量が、顔領域の入力画像信号の画素値に加算される。したがって、人物の顔の影の部分を明るくすることができ、隣接画素の画素値が異なれば、例えば顔の額と頬の入力画像信号の画素値が同じであっても、頬の部分のみ明るくすることができる。
また、上記の画像処理装置において、前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記付加量を算出する付加量算出部とを含み、前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出するとしてもよい。
この構成によれば、顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、2次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。
また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。言い換えれば、顔に下から反射光を照射し、目の下の隈を薄くし、頬のくすみを少なくするような美顔効果を得ることができる。
また、上記の画像処理装置において、前記光源情報保存部には、前記光源の照明方向として互いに異なる複数の照明方向が保存され、前記決定部は、使用者による操作に応じて、前記光源情報保存部から前記複数の照明方向のうち少なくとも1つの照明方向を選択する光源選択部をさらに含み、前記付加量算出部は、前記光源選択部により選択された前記光源の照明方向を用いて、前記付加量を算出するとしてもよい。
この構成によれば、光源の照明方向として互いに異なる複数の照明方向が保存されており、この保存されている複数の照明方向のうち少なくとも1つの照明方向が、使用者による操作に応じて選択される。そして、選択された光源の照明方向を用いて付加量が算出される。したがって、使用者が好みの照明方向を選択することにより、好みの方向から反射板により照明したような効果を得ることができる。
また、上記の画像処理装置において、前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記顔領域において前記顔の向きを検出する向き検出部と、前記顔の向きに基づき、前記顔を照明する仮想的に設けられた光源の照明方向を設定する光源設定部と、前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記法線推定部により推定された前記法線方向と、前記光源設定部により設定された前記光源の照明方向とに基づき、前記付加量を算出する付加量算出部とを含み、前記光源設定部は、前記顔の正面の下方から前記顔を照明するように前記光源の照明方向を設定し、前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出するとしてもよい。
この構成によれば、顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、2次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。
また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。
また、顔領域において顔の向きが検出され、顔の向きに基づき顔を照明する仮想的に設けられた光源の照明方向が設定される。ここで、顔の正面の下方から顔を照明するように光源の照明方向が設定される。したがって、顔の正面の下方から反射板により顔を照明したような効果を常に得ることができる。
また、上記の画像処理装置において、前記決定部は、前記光源設定部により設定された前記光源の照明方向を補正する光源補正部をさらに含み、前記入力画像信号は、フレームごとに入力され、前記向き検出部は、前記顔の向きをフレームごとに検出し、前記光源設定部は、前記顔の向きに基づき、前記光源の照明方向を表す光源ベクトルをフレームごとに設定し、第1フレームの1つ前のフレームが第2フレームと定義され、前記光源補正部は、前記光源設定部により設定された前記光源ベクトルをフレームごとに補正し、前記付加量算出部は、前記光源補正部により補正された前記光源ベクトルを用いて、前記付加量をフレームごとに算出し、前記第1フレームにおいて前記光源補正部により補正された補正光源ベクトルLc(t)は、前記第1フレームにおいて前記光源設定部により設定された光源ベクトルL(t)と、前記第2フレームにおいて前記光源設定部により設定された光源ベクトルL(t−1)が前記光源補正部により補正された補正光源ベクトルLc(t−1)とを用いて、求められるとしてもよい。
この構成によれば、フレームごとに検出された顔の向きに基づき、光源の照明方向を表す光源ベクトルがフレームごとに設定される。設定された光源ベクトルがフレームごとに補正される。第1フレームにおいて補正された補正光源ベクトルLc(t)は、第1フレームにおいて設定された光源ベクトルL(t)と、第2フレームにおいて設定された光源ベクトルL(t−1)が補正された補正光源ベクトルLc(t−1)とを用いて、求められる。このように、第1フレームにおいて設定された光源ベクトルをそのまま用いるのではなくて、第1フレームにおいて設定された光源ベクトルと第2フレームにおいて補正された補正光源ベクトルとを用いて得られた第1フレームの補正光源ベクトルを用いて、付加量が算出される。したがって、第2フレームと第1フレームとの間における光源の照明方向の変化量を低減することができる。その結果、光源の照明方向の変化に起因する第2フレームと第1フレームとの間における画像のちらつきを抑制することができる。
また、上記の画像処理装置において、フレームごとに入力される前記入力画像信号に基づき、隣接するフレーム間の動きベクトルをフレームごとに検出する動き検出部と、前記動きベクトルに基づき、前記顔検出部により検出された前記顔領域を補正して補正顔領域を出力する領域補正部とをさらに備え、前記補正顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、前記決定部は、前記画素値の差異の大きさと前記定義とに基づき、前記補正顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記補正顔領域の前記入力画像信号に付加する画素値の付加量を算出する付加量算出部とを含み、第1フレームの1つ前のフレームが第2フレームと定義され、前記顔検出部は、前記顔領域をフレームごとに検出し、前記領域補正部は、前記顔領域をフレームごとに補正し、前記法線推定部は、前記画素値の差異が大きくなると前記補正顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出し、前記信号補正部は、前記補正顔領域の前記入力画像信号の画素値に前記付加量を加算し、前記第1フレームにおいて前記領域補正部により補正された補正顔領域Rc(t)は、前記第1フレームにおいて前記顔検出部により検出された顔領域R(t)と、前記第2フレームにおいて前記顔検出部により検出された顔領域R(t−1)を前記動きベクトルにより移動させた領域Rv(t−1)とを用いて、求められるとしてもよい。
この構成によれば、フレームごとに入力される入力画像信号に基づき、隣接するフレーム間の動きベクトルがフレームごとに検出される。動きベクトルに基づき、顔領域が補正されて補正顔領域が出力される。補正顔領域において、入力画像信号の画素値が大きい画素は、入力画像信号の画素値が小さい画素に比べて凸であると定義され、この定義と画素値の差異の大きさとに基づき、補正顔領域に含まれる顔の表面の法線方向が推定される。ここで、画素値の差異が大きくなると補正顔領域を含む平面に対して法線方向が平行に近づくように、法線方向が推定される。したがって、2次元の平面データである入力画像信号から、人物の顔の凹凸度合いを推定することができる。
また、推定された法線方向と、保存されている光源の照明方向及び光強度とに基づき、補正顔領域の入力画像信号に付加する画素値の付加量が算出される。ここで、法線方向と光源の照明方向との成す角度が大きくなると付加量が小さくなるように、付加量が算出される。したがって、人物の顔の凹凸度合いに応じて、顔の影の部分を反射板により明るくするような効果を得ることができる。
また、顔領域がフレームごとに検出され、検出された顔領域がフレームごとに補正される。第1フレームにおいて補正された補正顔領域Rc(t)は、第1フレームにおいて検出された顔領域R(t)と、第2フレームにおいて検出された顔領域R(t−1)を動きベクトルにより移動させた領域Rv(t−1)とを用いて、求められる。このように、第1フレームにおいて検出された顔領域をそのまま用いるのではなくて、第1フレームにおいて検出された顔領域と、第2フレームにおいて検出された顔領域を動きベクトルにより移動させた領域とを用いて得られた第1フレームの補正顔領域を用いている。したがって、第2フレームと第1フレームとの間における顔領域の移動を、動きベクトルを考慮して滑らかにすることができる。その結果、顔領域の移動に起因する第2フレームと第1フレームとの間における画像のちらつきを抑制することができる。
また、上記の画像処理装置において、前記決定部は、前記動きベクトルに基づき、前記法線推定部により推定された前記法線方向を表す法線ベクトルをフレームごとに補正する法線補正部をさらに含み、前記付加量算出部は、前記法線補正部により補正された補正後の前記法線ベクトルを用いて、前記付加量をフレームごとに算出し、前記第1フレームにおいて前記法線補正部により補正された補正後の法線ベクトルNc(t)は、前記第1フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルN(t)と、前記第2フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルN(t−1)を前記動きベクトルにより移動させた法線ベクトルNv(t−1)とを用いて、求められるとしてもよい。
この構成によれば、動きベクトルに基づき、推定された法線方向を表す法線ベクトルがフレームごとに補正される。第1フレームにおいて補正された補正後の法線ベクトルNc(t)は、第1フレームにおいて推定された法線方向を表す法線ベクトルN(t)と、第2フレームにおいて推定された法線方向を表す法線ベクトルN(t−1)を動きベクトルにより移動させた法線ベクトルNv(t−1)とを用いて、求められる。このように、第1フレームにおいて推定された法線方向を表す法線ベクトルをそのまま用いるのではなくて、第1フレームにおいて推定された法線方向を表す法線ベクトルと、第2フレームにおいて推定された法線方向を表す法線ベクトルを動きベクトルにより移動させた法線ベクトルとを用いて求められた第1フレームの補正後の法線ベクトルを用いている。したがって、第2フレームと第1フレームとの間における法線ベクトルの変化を、動きベクトルを考慮して滑らかにすることができる。その結果、法線ベクトルの変化に起因する第2フレームと第1フレームとの間における画像のちらつきを抑制することができる。
また、上記の画像処理装置において、前記入力画像信号における各画素は、第1方向及び前記第1方向に直交する第2方向にマトリクス状に配列され、前記法線推定部は、前記法線方向を推定する推定対象画素の画素値に対して前記第1方向に微分処理を行って第1微分値を出力する第1微分処理部と、前記推定対象画素の画素値に対して前記第2方向に微分処理を行って第2微分値を出力する第2微分処理部と、前記第1微分値に対して平滑処理を行って第1平滑値を出力し、かつ前記第2微分値に対して平滑処理を行って第2平滑値を出力する空間フィルタ処理部とを含み、前記法線推定部は、予め定められた固定値を保持し、前記第1平滑値を、前記法線方向を表す法線ベクトルの前記第1方向の成分とし、前記第2平滑値を前記法線ベクトルの前記第2方向の成分とし、前記固定値を前記法線ベクトルの第3方向の成分とすることにより前記法線ベクトルを生成するとしてもよい。
この構成によれば、推定対象画素の画素値に対して第1方向に微分処理が行われて第1微分値が出力され、この第1微分値に対して平滑処理が行われて第1平滑値が出力され、この第1平滑値が法線ベクトルの第1方向の成分とされる。推定対象画素の画素値に対して第2方向に微分処理が行われて第2微分値が出力され、この第2微分値に対して平滑処理が行われて第2平滑値が出力され、この第2平滑値が法線ベクトルの第2方向の成分とされる。また、予め定められた固定値が法線ベクトルの第3方向の成分とされる。
このように、第1微分値及び第2微分値に対して平滑処理が行われるため、第1微分値及び第2微分値の小さい変動が抑制される。その結果、法線ベクトルを効率良く生成することができる。また、第3方向の成分を固定値としているため、2次元である顔領域の入力画像信号から3次元である法線ベクトルを簡易に生成することができる。
また、上記の画像処理装置において、前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度と、前記入力画像信号の各画素の画素値とから、前記付加量を算出するとしてもよい。
この構成によれば、法線方向と光源の照明方向との成す角度と、入力画像信号の各画素の画素値とから、付加量が算出される。したがって、顔の凹凸度合いに対する照明角度を考慮することにより、適切な値の付加量を算出することができる。また、例えば、法線方向と光源の照明方向との成す角度と入力画像信号の各画素の画素値とにより付加量を表す関数、式またはテーブルを用いることにより、付加量を容易に算出することができる。
また、上記の画像処理装置において、前記付加量算出部は、下記式を用いて前記付加量ΔIを算出するとしてもよい。
ΔI=Iin×sinα×Δα
Δα=F1(Iin)×F2(α)×K0
ここで、Iinは、前記入力画像信号の画素値であり、αは、前記法線方向と前記光源の照明方向との成す角度であり、F1(Iin)は、画素値Iinが0から所定値Iin1の範囲ではF1(Iin)=K1(0≦K1<1)の定数となり、画素値Iinが所定値Iin1を超えると画素値Iinに応じて線形に減少し、画素値Iinが所定値Iin2(Iin1<Iin2)でF1(Iin)=0となる関数であり、F2(α)は、角度αが予め定められた特定角度α0のときに最大値K2(0≦K2≦1)に設定され、角度αが特定角度α0からずれると、減少するように設定された関数であり、K0は、前記光源の光強度に応じて設定される定数である。
ΔI=Iin×sinα×Δα
Δα=F1(Iin)×F2(α)×K0
ここで、Iinは、前記入力画像信号の画素値であり、αは、前記法線方向と前記光源の照明方向との成す角度であり、F1(Iin)は、画素値Iinが0から所定値Iin1の範囲ではF1(Iin)=K1(0≦K1<1)の定数となり、画素値Iinが所定値Iin1を超えると画素値Iinに応じて線形に減少し、画素値Iinが所定値Iin2(Iin1<Iin2)でF1(Iin)=0となる関数であり、F2(α)は、角度αが予め定められた特定角度α0のときに最大値K2(0≦K2≦1)に設定され、角度αが特定角度α0からずれると、減少するように設定された関数であり、K0は、前記光源の光強度に応じて設定される定数である。
この構成によれば、F1(Iin)は、画素値Iinが0から所定値Iin1の範囲ではF1(Iin)=K1(0≦K1<1)の定数であるため、入力画像信号における画素値が小さい範囲では、画像が明るくなり過ぎるのを防止することができる。また、F1(Iin)は、画素値Iinが所定値Iin1を超えると画素値Iinに応じて線形に減少し、画素値Iinが所定値Iin2でF1(Iin)=0となるため、入力画像信号の画素値が大きい範囲では、画素値が飽和するのを防止することができる。
また、F2(α)は、角度αが予め定められた特定角度α0のときに最大値K2(0≦K2≦1)に設定され、角度αが特定角度α0からずれると、減少するように設定された関数であるため、特定角度α0のみ、付加量を増加することができる。また、K0は、光源の光強度に応じて設定される定数であるため、光源の光強度に応じて適切な値の付加量を得ることができる。その結果、式ΔI=Iin×sinα×Δαによって、顔の影の部分を好適に明るくすることができる。
本発明の一局面に係る画像処理方法は、入力画像信号から人物の顔を含む顔領域を検出する顔検出ステップと、前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定ステップと、前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正ステップとを含む。
この構成によれば、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量が、顔領域の入力画像信号の画素値に加算される。したがって、人物の顔の影の部分を明るくすることができる。
本発明に係る画像処理装置及び画像処理方法は、人物の顔を含む顔領域の入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき決定された画素値の付加量を、顔領域の入力画像信号の画素値に加算することにより、人物の顔の影の部分を明るくすることができる画像処理装置及び画像処理方法として有用である。
Claims (9)
- 入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備え、
前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、
前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記付加量を算出する付加量算出部とを含み、
前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出することを特徴とする画像処理装置。 - 前記光源情報保存部には、前記光源の照明方向として互いに異なる複数の照明方向が保存され、
前記決定部は、使用者による操作に応じて、前記光源情報保存部から前記複数の照明方向のうち少なくとも1つの照明方向を選択する光源選択部をさらに含み、
前記付加量算出部は、前記光源選択部により選択された前記光源の照明方向を用いて、前記付加量を算出することを特徴とする請求項1記載の画像処理装置。 - 入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部とを備え、
前記顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記顔領域において前記顔の向きを検出する向き検出部と、
前記顔の向きに基づき、前記顔を照明する仮想的に設けられた光源の照明方向を設定する光源設定部と、
前記画素値の差異の大きさと前記定義とに基づき、前記顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記法線推定部により推定された前記法線方向と、前記光源設定部により設定された前記光源の照明方向とに基づき、前記付加量を算出する付加量算出部とを含み、
前記光源設定部は、前記顔の正面の下方から前記顔を照明するように前記光源の照明方向を設定し、
前記法線推定部は、前記画素値の差異が大きくなると前記顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出することを特徴とする画像処理装置。 - 前記決定部は、前記光源設定部により設定された前記光源の照明方向を補正する光源補正部をさらに含み、
前記入力画像信号は、フレームごとに入力され、
前記向き検出部は、前記顔の向きをフレームごとに検出し、
前記光源設定部は、前記顔の向きに基づき、前記光源の照明方向を表す光源ベクトルをフレームごとに設定し、
第1フレームの1つ前のフレームが第2フレームと定義され、
前記光源補正部は、前記光源設定部により設定された前記光源ベクトルをフレームごとに補正し、
前記付加量算出部は、前記光源補正部により補正された前記光源ベクトルを用いて、前記付加量をフレームごとに算出し、
前記第1フレームにおいて前記光源補正部により補正された補正光源ベクトルLc(t)は、前記第1フレームにおいて前記光源設定部により設定された光源ベクトルL(t)と、前記第2フレームにおいて前記光源設定部により設定された光源ベクトルL(t−1)が前記光源補正部により補正された補正光源ベクトルLc(t−1)とを用いて、求められることを特徴とする請求項3記載の画像処理装置。 - 入力画像信号から人物の顔を含む顔領域を検出する顔検出部と、
前記顔領域の前記入力画像信号において、隣接する画素間における画素値の差異の大きさに基づき、前記顔領域の前記入力画像信号に付加する画素値の付加量を決定する決定部と、
前記顔領域の前記入力画像信号の画素値に前記付加量を加算する信号補正部と、
フレームごとに入力される前記入力画像信号に基づき、隣接するフレーム間の動きベクトルをフレームごとに検出する動き検出部と、
前記動きベクトルに基づき、前記顔検出部により検出された前記顔領域を補正して補正顔領域を出力する領域補正部とを備え、
前記補正顔領域において、前記入力画像信号の画素値が大きい画素は、前記入力画像信号の画素値が小さい画素に比べて凸であると定義され、
前記決定部は、
前記画素値の差異の大きさと前記定義とに基づき、前記補正顔領域に含まれる前記顔の表面の法線方向を推定する法線推定部と、
前記顔を照明する仮想的に設けられた光源の照明方向及び光強度を保存している光源情報保存部と、
前記法線推定部により推定された前記法線方向と、前記光源情報保存部に保存されている前記光源の照明方向及び光強度とに基づき、前記補正顔領域の前記入力画像信号に付加する画素値の付加量を算出する付加量算出部とを含み、
第1フレームの1つ前のフレームが第2フレームと定義され、
前記顔検出部は、前記顔領域をフレームごとに検出し、
前記領域補正部は、前記顔領域をフレームごとに補正し、
前記法線推定部は、前記画素値の差異が大きくなると前記補正顔領域を含む平面に対して前記法線方向が平行に近づくように、前記法線方向を推定し、
前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度が大きくなると前記付加量が小さくなるように、前記付加量を算出し、
前記信号補正部は、前記補正顔領域の前記入力画像信号の画素値に前記付加量を加算し、
前記第1フレームにおいて前記領域補正部により補正された補正顔領域Rc(t)は、前記第1フレームにおいて前記顔検出部により検出された顔領域R(t)と、前記第2フレームにおいて前記顔検出部により検出された顔領域R(t−1)を前記動きベクトルにより移動させた領域Rv(t−1)とを用いて、求められることを特徴とする画像処理装置。 - 前記決定部は、前記動きベクトルに基づき、前記法線推定部により推定された前記法線方向を表す法線ベクトルをフレームごとに補正する法線補正部をさらに含み、
前記付加量算出部は、前記法線補正部により補正された補正後の前記法線ベクトルを用いて、前記付加量をフレームごとに算出し、
前記第1フレームにおいて前記法線補正部により補正された補正後の法線ベクトルNc(t)は、前記第1フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルN(t)と、前記第2フレームにおいて前記法線推定部により推定された法線方向を表す法線ベクトルN(t−1)を前記動きベクトルにより移動させた法線ベクトルNv(t−1)とを用いて、求められることを特徴とする請求項5記載の画像処理装置。 - 前記入力画像信号における各画素は、第1方向及び前記第1方向に直交する第2方向にマトリクス状に配列され、
前記法線推定部は、
前記法線方向を推定する推定対象画素の画素値に対して前記第1方向に微分処理を行って第1微分値を出力する第1微分処理部と、
前記推定対象画素の画素値に対して前記第2方向に微分処理を行って第2微分値を出力する第2微分処理部と、
前記第1微分値に対して平滑処理を行って第1平滑値を出力し、かつ前記第2微分値に対して平滑処理を行って第2平滑値を出力する空間フィルタ処理部とを含み、
前記法線推定部は、予め定められた固定値を保持し、前記第1平滑値を、前記法線方向を表す法線ベクトルの前記第1方向の成分とし、前記第2平滑値を前記法線ベクトルの前記第2方向の成分とし、前記固定値を前記法線ベクトルの第3方向の成分とすることにより前記法線ベクトルを生成することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記付加量算出部は、前記法線方向と前記光源の照明方向との成す角度と、前記入力画像信号の各画素の画素値とから、前記付加量を算出することを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
- 前記付加量算出部は、下記式を用いて前記付加量ΔIを算出することを特徴とする請求項8記載の画像処理装置。
ΔI=Iin×sinα×Δα
Δα=F1(Iin)×F2(α)×K0
ここで、Iinは、前記入力画像信号の画素値であり、αは、前記法線方向と前記光源の照明方向との成す角度であり、F1(Iin)は、画素値Iinが0から所定値Iin1の範囲ではF1(Iin)=K1(0≦K1<1)の定数となり、画素値Iinが所定値Iin1を超えると画素値Iinに応じて線形に減少し、画素値Iinが所定値Iin2(Iin1<Iin2)でF1(Iin)=0となる関数であり、F2(α)は、角度αが予め定められた特定角度α0のときに最大値K2(0≦K2≦1)に設定され、角度αが特定角度α0からずれると、減少するように設定された関数であり、K0は、前記光源の光強度に応じて設定される定数である。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/008409 WO2014102878A1 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6044909B2 true JP6044909B2 (ja) | 2016-12-14 |
JPWO2014102878A1 JPWO2014102878A1 (ja) | 2017-01-12 |
Family
ID=51020042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014553895A Expired - Fee Related JP6044909B2 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9652662B2 (ja) |
JP (1) | JP6044909B2 (ja) |
WO (1) | WO2014102878A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6423625B2 (ja) | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6442209B2 (ja) * | 2014-09-26 | 2018-12-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6896811B2 (ja) * | 2015-04-15 | 2021-06-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10303973B2 (en) | 2015-04-15 | 2019-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data |
JP6641181B2 (ja) * | 2016-01-06 | 2020-02-05 | キヤノン株式会社 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
JP2017138927A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム |
JP6700840B2 (ja) * | 2016-02-18 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
CN105890768B (zh) * | 2016-03-31 | 2019-02-12 | 浙江大华技术股份有限公司 | 一种红外图像非均匀性校正的方法及装置 |
JP6869652B2 (ja) * | 2016-07-01 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP7020075B2 (ja) * | 2017-11-22 | 2022-02-16 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
JP7307541B2 (ja) * | 2018-12-19 | 2023-07-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2021145385A (ja) * | 2019-08-21 | 2021-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097657A (ja) * | 2008-01-11 | 2008-04-24 | Canon Inc | 画像処理装置及び方法 |
JP2008225971A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
JP2009021964A (ja) * | 2007-07-13 | 2009-01-29 | Kao Corp | 画像合成装置、画像合成方法及び画像合成プログラム |
JP2009211151A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4277534B2 (ja) | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
CN1910623B (zh) * | 2005-01-19 | 2011-04-20 | 松下电器产业株式会社 | 图像变换方法、纹理映射方法、图像变换装置和服务器客户机*** |
US20120120071A1 (en) * | 2010-07-16 | 2012-05-17 | Sony Ericsson Mobile Communications Ab | Shading graphical objects based on face images |
-
2012
- 2012-12-27 WO PCT/JP2012/008409 patent/WO2014102878A1/ja active Application Filing
- 2012-12-27 JP JP2014553895A patent/JP6044909B2/ja not_active Expired - Fee Related
-
2015
- 2015-03-09 US US14/642,444 patent/US9652662B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225971A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
JP2009021964A (ja) * | 2007-07-13 | 2009-01-29 | Kao Corp | 画像合成装置、画像合成方法及び画像合成プログラム |
JP2008097657A (ja) * | 2008-01-11 | 2008-04-24 | Canon Inc | 画像処理装置及び方法 |
JP2009211151A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014102878A1 (ja) | 2017-01-12 |
US20150178550A1 (en) | 2015-06-25 |
WO2014102878A1 (ja) | 2014-07-03 |
US9652662B2 (en) | 2017-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6044909B2 (ja) | 画像処理装置及び画像処理方法 | |
US9800797B2 (en) | Image processing apparatus and method, and program to capture an object with enhanced appearance | |
US8164594B2 (en) | Image processing device, image processing method, program, storage medium and integrated circuit | |
US11069057B2 (en) | Skin diagnostic device and skin diagnostic method | |
US20160110846A1 (en) | Automatic display image enhancement based on user's visual perception model | |
US20140368558A1 (en) | Image display apparatus and method of controlling same | |
CN105959490A (zh) | 控制方法、控制装置及电子装置 | |
JP2009180583A (ja) | ディスプレイの輝度ムラ評価方法および装置 | |
US20240119915A1 (en) | System and method for compensation of reflection on a display device | |
KR101715489B1 (ko) | 화상 생성 장치 및 화상 생성 방법 | |
JP2016009203A (ja) | 皺検出装置および皺検出方法 | |
CN109599068B (zh) | 一种vr设备及其控制方法 | |
JP6415022B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6257268B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6432159B2 (ja) | 情報表示装置、情報表示方法、および情報表示プログラム | |
CN116524877A (zh) | 车载屏幕亮度调节方法、装置、电子设备和存储介质 | |
US10741147B1 (en) | Driving display device with voltage compensation based on load estimation | |
JP2017084302A (ja) | 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法 | |
US20130106845A1 (en) | Stereoscopic image display apparatus | |
JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
JP3937022B2 (ja) | 画像処理装置及び撮像機 | |
CN118337980A (zh) | 一种适应亮度大幅变更环境的xr模拟方法、介质及*** | |
US20130076733A1 (en) | Image processing apparatus, image processing method, and image processing program | |
KR20110050306A (ko) | 동영상 화질 측정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6044909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |