JP2011070283A - 顔画像高解像度化装置、及びプログラム - Google Patents
顔画像高解像度化装置、及びプログラム Download PDFInfo
- Publication number
- JP2011070283A JP2011070283A JP2009218955A JP2009218955A JP2011070283A JP 2011070283 A JP2011070283 A JP 2011070283A JP 2009218955 A JP2009218955 A JP 2009218955A JP 2009218955 A JP2009218955 A JP 2009218955A JP 2011070283 A JP2011070283 A JP 2011070283A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- face
- difference
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000056 organ Anatomy 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000003702 image correction Methods 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】膨大な演算や、メモリなどを必要とすることなく、1つの入力画像のみを用いて高解像度化する。
【解決手段】拡大画像生成部101は、顔画像である入力画像から拡大画像を生成する。モデル生成部102は、複数の学習画像から統計処理によってモデルを生成する。輪郭位置情報取得部103は、拡大画像をモデルに適応させることによって顔器官の輪郭位置情報を抽出する。顔器官画像生成部104は、輪郭位置情報と学習画像とに基づいて顔器官の高解像度画像を生成する。高解像度画像生成部105は、高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する。画像修正部106は、顔高解像度画像を縮小した顔画像と入力画像との差分画像に基づいて顔高解像度画像を修正する。出力部107は、修正された顔高解像度画像を出力する。
【選択図】図1
【解決手段】拡大画像生成部101は、顔画像である入力画像から拡大画像を生成する。モデル生成部102は、複数の学習画像から統計処理によってモデルを生成する。輪郭位置情報取得部103は、拡大画像をモデルに適応させることによって顔器官の輪郭位置情報を抽出する。顔器官画像生成部104は、輪郭位置情報と学習画像とに基づいて顔器官の高解像度画像を生成する。高解像度画像生成部105は、高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する。画像修正部106は、顔高解像度画像を縮小した顔画像と入力画像との差分画像に基づいて顔高解像度画像を修正する。出力部107は、修正された顔高解像度画像を出力する。
【選択図】図1
Description
本発明は、1つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置、及びプログラムに関する。
画像の高解像度化手法には、一般に、主に共一次内挿法などの補間フィルタを用いることにより画素数を増やす手法が知られているが、さらに以下の手法がある。
予め鮮鋭な画像とそれをぼかした画像とを用意し、その局所的周波数特性をベクトル量子化器に学習させることにより、輪郭強調に関する既知情報を取得し、ウェーブレット展開により、画像の局所的周波数特性を抽出し、それをベクトル量子化器によって分類・加工することによって輪郭強調を行う(例えば、非特許文献1参照)。
また、複数枚の画像を用いて高解像度化を行う技術が知られている(例えば、非特許文献2参照)。動画像で撮影した場合、動画像のフレームを高解像度化する際に前後のフレームを参照する。カメラや、被写体にわずかでも動きがあれば、参照フレームの画素値は、処理フレームとは異なる位置で、同じ被写体の同じ輝度変化を標本化した値になっている。そこで、フレーム間の動きを検出し、その動きに合わせて、参照フレームの画素値を処理フレームの標本値として追加する。このようにして、処理フレームにおける標本点の密度を高めた後に、再構成処理によって高解像度画像の画素値を算出する。
「空間可変な加重係数を用いた学習型超解像処理」片山真太郎、呂健明、関屋大雄、谷萩、隆嗣 平成19年度電子情報通信学会東京支部学生会研究発表会
「再構成型超解像処理の高速化アルゴリズム」田中正行、奥富正敏 情処研究報告 2004-CVIM-146
しかしながら、上述した共一次内挿法などの補間フィルタを用いた手法では、高い周波数成分は生成されず、出力画像がぼやけたものになってしまう。
また、非特許文献1の手法では、パッチ毎に高解像度化を行うため、見た目には滑らかに見えるパーツの輪郭線にエッジ等などの特徴抽出が行われると、パッチ隣接部分でノイズが乗ってしまう場合があり、顔認識用の画像としては適さないという問題がある。
また、非特許文献2では、動きを正確に検出できれば、高周波成分を復元することが可能である。しかし、高解像度の画像を取り扱うために多くのフレームが必要となり、また多くのフレーム間で動き検出を行うために膨大な演算とメモリとが必要となるという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、膨大な演算や、メモリなどを必要とすることなく、1つの入力画像のみを用いて高解像度化することができる顔画像高解像度化装置、及びプログラムを提供することにある。
上述した課題を解決するために、本発明は、1つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置であって、入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成手段と、複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成手段と、前記拡大画像生成手段により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得手段と、前記輪郭位置情報取得手段により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成手段と、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成手段と、前記高解像度画像生成手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成手段により取得した顔高解像度画像を修正する画像修正手段と、前記画像修正手段により修正された顔高解像度画像を出力する出力手段とを備えることを特徴とする顔画像高解像度化装置である。
本発明は、上記の発明において、前記モデル生成手段は、前記複数の学習画像における顔器官の輪郭を構成する複数点の座標を設定し、前記座標が設定された全ての学習画像を前記入力画像のサイズに縮小し、前記縮小された全ての学習画像を、元サイズまで拡大してぼかし画像を生成し、前記全てのぼかし画像の顔器官部分を、所定のマッピング手法により共通形状に変形することにより前記モデルを生成することを特徴とする。
本発明は、上記の発明において、前記顔器官画像生成手段は、前記輪郭位置情報取得手段により取得した輪郭位置情報に基づいて、前記学習画像の顔器官の輪郭位置情報を変形させることにより、顔器官の高解像度画像を生成することを特徴とする。
本発明は、上記の発明において、前記高解像度画像取得手段は、前記拡大画像生成手段により拡大された入力画像の拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得することを特徴とする。
本発明は、上記の発明において、前記高解像度画像取得手段は、前記拡大画像生成手段により拡大された入力画像の拡大画像にモルフォロジ処理を施し、該モルフォロジ処理された拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得することを特徴とする。
本発明は、上記の発明において、前記画像修正手段は、前記複数の学習画像毎に、各学習画像を前記入力画像と同じサイズに縮小して第1縮小画像を作成し、前記第1縮小画像に高解像度化を行って第1高解像度画像を作成し、該第1高解像度画像を前記入力画像のサイズに縮小した第2縮小画像を作成し、前記第1縮小画像と前記第2縮小画像との差分である第1差分画像を作成し、前記各学習画像と前記第1高解像度画像との差分である第2差分画像を求め、前記入力画像と同じサイズの前記第1差分画像の各領域のパターンとその領域に該当する前記第2差分画像上のパターンとを関連付けて差分パターン学習データとして保存しておき、前記第1差分画像中の領域のパターンと類似するパターンを、前記差分パターン学習データ内から探索し、その類似するパターンに関連付けられたデータに基づいて、前記第2差分画像を生成し、前記高解像度画像取得手段により取得した顔高解像度画像を、前記第2差分画像に基づいて修正することを特徴とする。
本発明は、上記の発明において、前記画像修正手段は、前記高解像度画像取得手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像における画素値に基づいて、前記輪郭位置情報取得手段により取得した輪郭位置情報を修正することにより、前記高解像度画像取得手段により取得した顔高解像度画像を修正することを特徴とする。
また、上述した課題を解決するために、本発明は、1つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置のコンピュータに、入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成機能、複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成機能、前記拡大画像生成機能により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得機能、前記輪郭位置情報取得機能により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成機能、前記顔器官画像生成機能により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成機能、前記高解像度画像生成機能により生成した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成機能により取得した顔高解像度画像を修正する画像修正機能、前記画像修正手段により修正された顔高解像度画像を出力する出力機能を実行させることを特徴とするプログラムである。
この発明によれば、膨大な演算や、メモリなどを必要とすることなく、1つの入力画像のみを用いて高解像度化することができる。
以下、本発明の一実施形態を、図面を参照して説明する。
本発明では、1つの画像のみを用いて高解像度化することとし、認識に必要となる顔器官の輪郭線を高精度に復元することができるよう、顔器官毎に高解像度化を行う。また、画素値のみを元に復元するのではなく、まず顔器官の輪郭位置情報を抽出することにより、輪郭部分をぼかすことなく、またノイズを乗せることなく復元することを可能にする。複数の学習画像に基づいて統計処理によって生成されたモデルに適応させることによって、顔器官の輪郭情報を抽出し、抽出された輪郭情報を元に学習画像を変形させ、その変形画像を元に目といった顔器官の高解像度化画像を生成する。以下、詳細に説明する。
本発明では、1つの画像のみを用いて高解像度化することとし、認識に必要となる顔器官の輪郭線を高精度に復元することができるよう、顔器官毎に高解像度化を行う。また、画素値のみを元に復元するのではなく、まず顔器官の輪郭位置情報を抽出することにより、輪郭部分をぼかすことなく、またノイズを乗せることなく復元することを可能にする。複数の学習画像に基づいて統計処理によって生成されたモデルに適応させることによって、顔器官の輪郭情報を抽出し、抽出された輪郭情報を元に学習画像を変形させ、その変形画像を元に目といった顔器官の高解像度化画像を生成する。以下、詳細に説明する。
図1は、本発明の実施形態による顔画像高解像度化装置の構成を示すブロック図である。図において、顔画像高解像度化装置は、拡大画像生成部101、モデル生成部102、輪郭位置情報取得部103、顔器官画像生成部104、高解像度画像生成部105、画像修正部106、及び出力部107から構成される。
拡大画像生成部101は、入力された低解像度の顔画像を用いて補間処理を行って拡大画像を生成する。モデル生成部102は、複数の学習画像に基づいてAAM等の統計処理によってモデルを生成する。輪郭位置情報取得部103は、拡大画像生成部101によって生成された拡大画像を、生成されたモデルに適応させることによって、目、鼻、口といった顔器官の輪郭情報を抽出する。
顔器官画像生成部104は、輪郭情報を元にして学習画像を変形させることにより顔器官の画像を生成する。高解像度画像生成部105は、高解像度化した顔器官画像を組み合わせることにより、顔の高解像度画像を取得する。画像修正部106は、高解像度化した画像を再度縮小し、入力画像との差分をとることにより、その差分値を元に高解像度化した画像を修正する。出力部107は、修正を行った顔画像を高解像度画像として出力する。
次に、上述した拡大画像生成部101について説明する。
拡大画像生成部101は、入力された低解像度顔画像を近隣の画素の情報を用いて補間することにより拡大する。補間の手法には、最近傍補間法や、線形補間法(参考文献1:C言語で学ぶ実践画像処理 オーム社 平成11年12月8日初版 pp.131〜135)などがあり、どの補間手法を用いて拡大を行ってもよい。入力された低解像度の顔画像は、既に顔検出器や、顔向き推定器を経て得られた画像とし、顔の大きさや、向いている方向が既知のものとする。
拡大画像生成部101は、入力された低解像度顔画像を近隣の画素の情報を用いて補間することにより拡大する。補間の手法には、最近傍補間法や、線形補間法(参考文献1:C言語で学ぶ実践画像処理 オーム社 平成11年12月8日初版 pp.131〜135)などがあり、どの補間手法を用いて拡大を行ってもよい。入力された低解像度の顔画像は、既に顔検出器や、顔向き推定器を経て得られた画像とし、顔の大きさや、向いている方向が既知のものとする。
次に、上述したモデル生成部102について説明する。
ここでは、Active Appearance Model(AAM、参考文献2:T.F. Cootes, Active Appearance Models Computer Vision- ECCV 1998, Vol. II, LNCS 1407, pp.484-498,1998)を用いた統計モデルの構築方法について説明する。まず、顔の各器官の輪郭を構成する点の座標を入力する。ここでは、目について説明する。図2に示す目201に対して、輪郭中の点(L0〜L11)の座標を、次式(1)で示すように与える。手作業で設定してもよいし、認識処理等によって自動的に設定するようにしてもよい。
ここでは、Active Appearance Model(AAM、参考文献2:T.F. Cootes, Active Appearance Models Computer Vision- ECCV 1998, Vol. II, LNCS 1407, pp.484-498,1998)を用いた統計モデルの構築方法について説明する。まず、顔の各器官の輪郭を構成する点の座標を入力する。ここでは、目について説明する。図2に示す目201に対して、輪郭中の点(L0〜L11)の座標を、次式(1)で示すように与える。手作業で設定してもよいし、認識処理等によって自動的に設定するようにしてもよい。
各点の座標を並べたベクトルを、次式(2)に示すように、xで表し、これらの平均をx´と表す。
xは、形状を表し、x´は、平均形状を表している。xはx´からの偏差を主成分分析して得られる固有ベクトルPsを用いて、次式(3)と表すことができる。
次に、全ての学習画像を、最近傍法や、線形補間法など(参考文献1)により、入力画像のサイズに縮小し、さらに拡大画像生成部101で入力画像に対して施した手法と同じ補間手法を用いて、元のサイズまで拡大を行ったぼかし画像を生成する。拡大画像生成部101で生成された画像をモデルにフィッテングさせるため、なるべく同じ状態になるよう学習画像をぼかしておく。
次に、それら全てのぼかし画像上の顔器官部分を、所定のマッピング手法(参考文献3:ディジタル映像処理 オーム社出版局 社団法人 映像情報メディア学会 編者 平成12年4月25日 第1版発行 pp.117、参考文献4:(1998). Journal of Applied Statistics, 25, 155-171 A review of image warping methods C.A. Glasbey)などにより、共通の形状(例えば、平均形状x´)に変形する。これにより、形状について正規化された明度分布gを得る。明度分布gについても、それらの平均した平均明度分布g´からの偏差を主成分分析して得られる固有ベクトルPgを用いて、次式(4)と表すことができる。
最後に、形状とテクスチャ間の単位を正規化する行列Wを用いて、次式(5)を作成する。
行列Wは、形状パラメータを単位変動させたときの明度分布の変動量を求めることにより得られるものである。
これを主成分分析すると、数式(6)と表すことができる。
Qは、固有ベクトルであり、cは、物体の画像上の形状と明度分布との両方を表し、入力画像を最も良く近似するcを求めれば、顔器官の輪郭位置情報が得られる。
これらのモデルは、予め作っておけばよく、学習画像を顔の向きごとに用意してモデルを作成しておいてもよいし、正面顔などのある特定の向きしか入力されないことが分かっている場合などには、その向きで撮影された学習画像を元にモデルを生成しておけばよい。
次に、輪郭位置情報取得部103について説明する。
入力画像上の顔器官部分の画像を最も良く近似するAAMを探索することにより輪郭の座標値を取得する。例えば、目の領域画像Iin_eyeとし、AAMで合成された画像Im_eyeとすると、数式(6)のcを変えて、差分ベクトルδIeye=Iin_eye−Im_eyeを最小化することで、入力を最もよく近似するAAMを求める。cから数式(6)及び数式(3)と逆変形することにより、輪郭の点座標xを求めることができる。
入力画像上の顔器官部分の画像を最も良く近似するAAMを探索することにより輪郭の座標値を取得する。例えば、目の領域画像Iin_eyeとし、AAMで合成された画像Im_eyeとすると、数式(6)のcを変えて、差分ベクトルδIeye=Iin_eye−Im_eyeを最小化することで、入力を最もよく近似するAAMを求める。cから数式(6)及び数式(3)と逆変形することにより、輪郭の点座標xを求めることができる。
次に、顔器官画像生成部104について説明する。
顔器官画像生成部104は、ぼかしていない元の学習画像において、顔器官の輪郭座標を、輪郭位置情報取得部103により算出した入力画像の顔器官輪郭の座標値に合うよう変形する。図3は、顔器官画像生成部104による顔器官の輪郭座標変形を説明するための概念図である。301に学習画像上の右目の画像を示し、302に入力画像上の右目輪郭位置座標に合わせて変形を行った右目画像を示す。それらの変形画像の平均画像を作成し、顔器官の画像を生成する。平均画像ではなく、ある特定の学習画像を変形させた顔器官画像をそのまま用いても良い。
顔器官画像生成部104は、ぼかしていない元の学習画像において、顔器官の輪郭座標を、輪郭位置情報取得部103により算出した入力画像の顔器官輪郭の座標値に合うよう変形する。図3は、顔器官画像生成部104による顔器官の輪郭座標変形を説明するための概念図である。301に学習画像上の右目の画像を示し、302に入力画像上の右目輪郭位置座標に合わせて変形を行った右目画像を示す。それらの変形画像の平均画像を作成し、顔器官の画像を生成する。平均画像ではなく、ある特定の学習画像を変形させた顔器官画像をそのまま用いても良い。
次に、高解像度画像生成部105について説明する。
高解像度画像生成部105は、拡大画像生成部101で生成された入力画像を線形拡大した拡大画像に、顔器官画像生成部104で生成された顔器官画像を貼り付けるか、あるいは、線形拡大した画像にモルフォロジ処理を施した画像に、顔器官画像生成部104で生成された顔器官画像を貼り付けることで、高解像度画像を生成する。
高解像度画像生成部105は、拡大画像生成部101で生成された入力画像を線形拡大した拡大画像に、顔器官画像生成部104で生成された顔器官画像を貼り付けるか、あるいは、線形拡大した画像にモルフォロジ処理を施した画像に、顔器官画像生成部104で生成された顔器官画像を貼り付けることで、高解像度画像を生成する。
モルフォロジ(参考文献5:コンピュータ画像処理 オーム社出版局 田村秀行編者 平成14年12月20第1版発行 pp.162)とは、与えられた2値画像、または濃淡画像からの特徴抽出を目的とした集合的操作からなる対象図形の変形手法の理論体系であり、その演算は、処理対象画像と構造要素との間の集合演算で定義されている。
ここでは、まず、3×3のマスク内の最大値に、そのマスク内の画素全てを置き換える処理を画像全部に施す膨張処理を行い、膨張処理を施した画像において、3×3のマスク内の画素全てを、マスク内の最小値に置き換える処理を施す。図4には、モルフォロジ処理を施した画像401が示されている。この画像に顔器官画像生成部104で生成された高解像度化した目、鼻、口などの顔器官画像を貼り付けてもよい。
次に、画像修正部106について説明する。
図5は、画像修正部106の動作を説明するための概念図である。画像修正部106は、まず、作成した高解像度画像Imhを入力画像と同じサイズに縮小し、高解像度縮小画像Imsと、入力画像Iinとの差分画像Rを取得する。ここでは、各画素値を、次式(7)で表すとする。
図5は、画像修正部106の動作を説明するための概念図である。画像修正部106は、まず、作成した高解像度画像Imhを入力画像と同じサイズに縮小し、高解像度縮小画像Imsと、入力画像Iinとの差分画像Rを取得する。ここでは、各画素値を、次式(7)で表すとする。
この差分画像Rを元に高解像度画像Imhを修正する。修正の方法としては、例えば、この差分画像R(図5の501)を、線形補間法により高解像度画像Imhと同じサイズまで拡大を行って差分拡大画像Rh(図5の502)を作成し、各画素で次式(8)に示す計算を行い、修正画像を作成してもよい。あるいは、以下で説明する差分パターン学習データを元に修復してもよい。
次に、差分パターン学習データの作成の仕方の一例を説明する。
まず、入力画像サイズの差分画像を作成する。すなわち、学習画像Iを入力画像と同じサイズに縮小することにより縮小画像Isを作成し、上述した方法(拡大画像生成部101〜高解像度画像生成部105)で高解像度化を行い、高解像度画像Ihを作成する。次に、作成した高解像度画像Ihを入力画像のサイズに縮小した縮小画像Ihsを作成し、初めに縮小した画像IsとIhsとの差分画像を作成する。
まず、入力画像サイズの差分画像を作成する。すなわち、学習画像Iを入力画像と同じサイズに縮小することにより縮小画像Isを作成し、上述した方法(拡大画像生成部101〜高解像度画像生成部105)で高解像度化を行い、高解像度画像Ihを作成する。次に、作成した高解像度画像Ihを入力画像のサイズに縮小した縮小画像Ihsを作成し、初めに縮小した画像IsとIhsとの差分画像を作成する。
次に、上記入力画像サイズの差分画像と対応付けるために、元の解像度の学習画像Iと作成した高解像度化画像Ihとの差分画像とを求める。
最後に、低解像度(入力画像と同じサイズ)の差分画像の各領域のパターンとその領域に該当する高解像度の差分画像上のパターンとを関連付けて保存し、差分パターン学習データとする。
図6は、関連付けられた差分パターン学習データの一例を示す概念図である。601は、低解像度の差分画像中の領域のパターン、602は、その領域に該当する高解像度の差分画像中のパターンを示している。低解像度の差分画像上のある領域中のパターンと類似するパターンを正規化相関などの手法(参考文献6:コンピュータ画像処理 オーム社出版局 田村秀行編者 平成14年12月20第1版発行 pp.253−255)により、差分パターン学習データ内から探索し、その関連付けデータを元に、高解像度画像の差分画像を作成する。例えば、パターン601に類似したパターンには、パターン602を当てはめることにより、高解像度の差分画像を生成する。この差分画像を元に、高解像度画像Imhを、数式(8)などにより修正する。
また、輪郭情報を利用し、差分画像を元に輪郭位置を推定してもよい。例えば、差分画像において、目尻点にあたる画素値が入力画像より小さければ、目が大きく復元されたと推定できるので、輪郭座標点を内側にずらす。例えば、図7に示す右目領域の差分画像701において、目尻点(輪郭点L0)にあたる画素Mの値が閾値未満(例えば、128未満)のときは、同図(b)に示す画像702の輪郭点L0のx座標を4、L1を2、L11を2だけ増やすなどの処理を施し、画像703とする。同様に、差分画像上の目尻点に隣接する外側(画素N)の画素値が大きければ、目が小さく復元されたと推定できるので、輪郭座標点を外側にずらすといった処理を行ってもよい。目尻のみでなく、それぞれの輪郭座標点で、同様の処理を施してもよい。
上述したように、画像修正部106では、差分画像Rを元に作成した高解像度画像に修正を施すが、閾値等を設定し、該閾値に基づいて修復が必要ないと判定した場合などには、この処理を施す必要はない。そして、出力部107では、上述した高解像度化された画像を出力する。
上述した実施形態によれば、パーツ毎に輪郭位置情報を取得することにより、輪郭部分をぼかすことなく、また、ノイズを乗せることなく、高解像度化することを可能にする。このように、より精度良く、輪郭部分を高解像度化することにより、認識といった処理に適した画像を生成することができるといった効果が得られる。
なお、上述した拡大画像生成部101、モデル生成部102、輪郭位置情報取得部103、顔器官画像生成部104、高解像度画像生成部105、画像修正部106、及び出力部107などによる処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
101 拡大画像生成部
102 モデル生成部
103 輪郭位置情報取得部
104 顔器官画像生成部
105 高解像度画像生成部
106 画像修正部
107 出力部
102 モデル生成部
103 輪郭位置情報取得部
104 顔器官画像生成部
105 高解像度画像生成部
106 画像修正部
107 出力部
Claims (8)
- 1つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置であって、
入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成手段と、
複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成手段と、
前記拡大画像生成手段により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得手段と、
前記輪郭位置情報取得手段により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成手段と、
前記顔器官画像生成手段により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成手段と、
前記高解像度画像生成手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成手段により取得した顔高解像度画像を修正する画像修正手段と、
前記画像修正手段により修正された顔高解像度画像を出力する出力手段と
を備えることを特徴とする顔画像高解像度化装置。 - 前記モデル生成手段は、
前記複数の学習画像における顔器官の輪郭を構成する複数点の座標を設定し、
前記座標が設定された全ての学習画像を前記入力画像のサイズに縮小し、
前記縮小された全ての学習画像を、元サイズまで拡大してぼかし画像を生成し、
前記全てのぼかし画像の顔器官部分を、所定のマッピング手法により共通形状に変形することにより前記モデルを生成する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 前記顔器官画像生成手段は、
前記輪郭位置情報取得手段により取得した輪郭位置情報に基づいて、前記学習画像の顔器官の輪郭位置情報を変形させることにより、顔器官の高解像度画像を生成する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 前記高解像度画像取得手段は、
前記拡大画像生成手段により拡大された入力画像の拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 前記高解像度画像取得手段は、
前記拡大画像生成手段により拡大された入力画像の拡大画像にモルフォロジ処理を施し、該モルフォロジ処理された拡大画像に、前記顔器官画像生成手段により生成された高解像度化された顔器官画像を貼り付けて高解像度画像を取得する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 前記画像修正手段は、
前記複数の学習画像毎に、各学習画像を前記入力画像と同じサイズに縮小して第1縮小画像を作成し、
前記第1縮小画像に高解像度化を行って第1高解像度画像を作成し、該第1高解像度画像を前記入力画像のサイズに縮小した第2縮小画像を作成し、前記第1縮小画像と前記第2縮小画像との差分である第1差分画像を作成し、前記各学習画像と前記第1高解像度画像との差分である第2差分画像を求め、前記入力画像と同じサイズの前記第1差分画像の各領域のパターンとその領域に該当する前記第2差分画像上のパターンとを関連付けて差分パターン学習データとして保存しておき、
前記第1差分画像中の領域のパターンと類似するパターンを、前記差分パターン学習データ内から探索し、その類似するパターンに関連付けられたデータに基づいて、前記第2差分画像を生成し、前記高解像度画像取得手段により取得した顔高解像度画像を、前記第2差分画像に基づいて修正する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 前記画像修正手段は、
前記高解像度画像取得手段により取得した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像における画素値に基づいて、前記輪郭位置情報取得手段により取得した輪郭位置情報を修正することにより、前記高解像度画像取得手段により取得した顔高解像度画像を修正する
ことを特徴とする請求項1記載の顔画像高解像度化装置。 - 1つの低解像度の顔画像から高解像度な顔画像を生成する顔画像高解像度化装置のコンピュータに、
入力画像である低解像度の顔画像に補間処理を施して拡大画像を生成する拡大画像生成機能、
複数の学習画像に基づいて、統計処理によってモデルを生成するモデル生成機能、
前記拡大画像生成機能により生成された拡大画像を、前記モデル生成手段により生成されたモデルに適応させることによって、顔画像を構成する目、鼻、口といった顔器官の輪郭位置情報を抽出する輪郭位置情報取得機能、
前記輪郭位置情報取得機能により取得した輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する顔器官画像生成機能、
前記顔器官画像生成機能により生成された高解像度化された顔器官画像を組み合わせることにより顔高解像度画像を生成する高解像度画像生成機能、
前記高解像度画像生成機能により生成した顔高解像度画像を縮小した顔画像と前記入力画像との差分画像に基づいて、前記高解像度画像生成機能により取得した顔高解像度画像を修正する画像修正機能、
前記画像修正手段により修正された顔高解像度画像を出力する出力機能
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218955A JP2011070283A (ja) | 2009-09-24 | 2009-09-24 | 顔画像高解像度化装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218955A JP2011070283A (ja) | 2009-09-24 | 2009-09-24 | 顔画像高解像度化装置、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011070283A true JP2011070283A (ja) | 2011-04-07 |
Family
ID=44015535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009218955A Pending JP2011070283A (ja) | 2009-09-24 | 2009-09-24 | 顔画像高解像度化装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011070283A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2506172A (en) * | 2012-09-24 | 2014-03-26 | Vision Semantics Ltd | Improving the quality of portions of an image or video |
US9436981B2 (en) | 2011-12-12 | 2016-09-06 | Nec Corporation | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program |
JP2021057057A (ja) * | 2016-05-06 | 2021-04-08 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム |
CN113936308A (zh) * | 2020-07-08 | 2022-01-14 | 清华大学 | 人脸识别方法、装置及电子设备 |
WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
-
2009
- 2009-09-24 JP JP2009218955A patent/JP2011070283A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9436981B2 (en) | 2011-12-12 | 2016-09-06 | Nec Corporation | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program |
GB2506172A (en) * | 2012-09-24 | 2014-03-26 | Vision Semantics Ltd | Improving the quality of portions of an image or video |
GB2506172B (en) * | 2012-09-24 | 2019-08-28 | Vision Semantics Ltd | Improvements in resolving video content |
JP2021057057A (ja) * | 2016-05-06 | 2021-04-08 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム |
US11937929B2 (en) | 2016-05-06 | 2024-03-26 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders |
CN113936308A (zh) * | 2020-07-08 | 2022-01-14 | 清华大学 | 人脸识别方法、装置及电子设备 |
WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Enhanced blind face restoration with multi-exemplar images and adaptive spatial feature fusion | |
CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
CN106778928B (zh) | 图像处理方法及装置 | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
US8923392B2 (en) | Methods and apparatus for face fitting and editing applications | |
CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
KR102493492B1 (ko) | 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치 | |
CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
KR102303002B1 (ko) | 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치 | |
WO2022148248A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品 | |
JP2011070283A (ja) | 顔画像高解像度化装置、及びプログラム | |
Wang et al. | Joint framework for single image reconstruction and super-resolution with an event camera | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
KR20210019835A (ko) | 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
Ye et al. | Real3d-portrait: One-shot realistic 3d talking portrait synthesis | |
Zhu et al. | Learning spatio-temporal sharpness map for video deblurring | |
CN114240811A (zh) | 一种基于多张图像生成新图像的方法 | |
Hu et al. | Towards effective learning for face super-resolution with shape and pose perturbations | |
CN116895037A (zh) | 基于边缘信息和多尺度交叉融合网络的帧***方法及*** | |
CN113421186A (zh) | 使用生成对抗网络的非监督视频超分辨率的设备和方法 | |
Wang et al. | Heatmap-aware pyramid face hallucination | |
Rrmoku et al. | Data augmentation techniques for expanding the dataset in the task of image processing | |
Li et al. | Hdtr-net: A real-time high-definition teeth restoration network for arbitrary talking face generation methods |