JP5775413B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像の輝度補正を行う技術に関する。

デジタルカメラ等の撮像装置では、撮影により撮像素子より出力された画像信号に対して様々な補正処理あるいはフィルタ処理を含む現像処理を行い、補正後の画像信号を記録用の画像として出力している。補正処理及びフィルタ処理には、画像の変倍処理や色補正処理や手ぶれ補正処理、輝度補正処理等がある。

近年、撮像装置の中には、輝度の高い被写体が主被写体の背後に存在する、所謂逆光シーンであっても、輝度の高い被写体と輝度の低い主被写体とを、白飛びあるいは黒潰れさせずに、ダイナミックレンジの広い画像を撮影可能なものがある。ダイナミックレンジの広い画像の生成方法の１つに、例えば輝度の低い暗部の輝度レベルを上昇させる等、画像の輝度成分に応じて輝度補正（トーンマッピング）を行うものがある。特に、輝度の低い領域の輝度補正処理は（デジタル）覆い焼き処理と呼ばれ、逆光シーンにおいて主被写体に対して覆い焼き処理を行うことで、ダイナミックレンジの広い画像を記録する事が可能である。

覆い焼き処理では、記録用の画像のうち、輝度が低くかつ低周波数成分の領域に対して輝度補正を行うため、記録用の画像の輝度成分で構成される輝度画像の低周波数成分を抽出したローパス画像（参照画像）を参照し、輝度補正係数を決定する。撮像装置において参照画像の生成を安価かつ少ないリソースで実現するために、一度輝度画像を縮小して画素数を少なくした上でローパスフィルタを適用し、フィルタリング後の縮小画像を記録用の画像大に拡大する方法が用いられることがある。このような固定の縮小率を用いる変倍処理の工程を経て参照画像を生成する場合、次のような問題が生じうる。

記録用の画像は、撮像装置の設定により様々な画素数及びアスペクト比で記録可能であるため、記録用の画像の画素数によっては固定の縮小率で縮小処理した場合に、計算上、縮小後のライン数が整数値にならない場合がある。画像データの構造上、単位画素について画素値の情報が保持されるため縮小後に整数値とならない端数のラインに対応する、１画素未満の情報については縮小処理時に失われることになる。このようにして得られた縮小後の画像に対しての拡大処理を経て生成された参照画像は、記録用の画像と同サイズに拡大されたとしても、縮小処理時に失われた情報があるため、参照画像と記録用の画像とで画素ごとの対応がとれていないことになる。即ち、このような参照画像を参照して決定された輝度補正係数で覆い焼き処理を行った場合、好適な補正結果が得られなかった。

特許文献１には、縮小処理において変換できない端数の領域が存在する場合に、該領域を排除せずに画素として縮小処理し、拡大時に記録用の画像より多くなった余剰画素を除外することで、記録用の画像と同サイズの参照画像を生成することが開示されている。

特開２０１０−２１９５２号公報

しかしながら、特許文献１では記録用の画像に対して変倍処理が適用されることが考慮されていなかった。所望の画素数の画像を記録するために、撮像素子から出力された画像（原画像）に対して縮小処理を適用した後、種々のフィルタ処理を行なって記録用の画像を生成する場合、以下のような問題が生じる。

例えば、撮像素子から出力された原画像が、図５（ａ）に示されるように８００pixel×６００pixelで構成される場合を考える。原画像５００は、画像処理において参照されるＯＢ（Optical Black）領域５０１と、被写体に対応した画素値を有する有効画素領域５０２とで構成されている。有効画素領域５０２の全体を用いて記録用の画像を生成する場合、原画像５００の縮小処理後に適用されるフィルタ処理では、フィルタのタップ数に応じて縮小処理後の有効画素領域５０２よりも少ない画素数の画像が出力されることになる。このため、記録用の画像を所望の画素数とするためには、フィルタのタップ数を考慮して縮小処理の縮小率を決定することになる。例えばフィルタのタップ数が垂直方向及び水平方向ともに２０である場合、即ち垂直方向あるいは水平方向の２０画素を参照して１画素の画素値を算出する場合、１８０pixel×１６０pixelの画像を記録用の画像として生成するためには、原画像５００に対して縮小率３／１０の縮小処理が行われる。縮小処理の結果、原画像５００は図５（ｂ）に示されるような２４０pixel×１８０pixelの縮小画像５１０に変換され、該画像に対してフィルタ処理を行うことで、１８０pixel×１６０pixelの記録用の画像５１１が得られる。図の例では、記録用の画像５１１の位置は、縮小画像５１０の左上端を原点とする座標系において記録用の画像５１１の左上端の座標が（５０，１０）であるものとして規定されている。

一方、このような記録用の画像５１１に対する輝度補正係数決定用の参照画像は、補正効果を良好にするために原画像５００から、記録用の画像５１１に対応する領域の輝度画像から生成されることが好ましい。原画像５００において記録用の画像５１１に対応する領域は、図５（ａ）において領域５０３として示さる。このとき、原画像５００の左上端を原点とする座標系における領域５０３の左上端の座標は、縮小処理における縮小率が３／１０であったことから計算上、
ｘ＝５０÷（３／１０）＝１６６．６６６・・・
ｙ＝１０÷（３／１０）＝ ３３．３３３・・・
のように小数値となる。上述したように画像データの構造上、該座標は四捨五入等により整数値に変換される。このような変換後の座標に応じて領域５０３から抽出した画像を用いて参照画像を生成した場合、抽出した画像がそもそも記録用の画像と厳密に同一の被写体像を含んでいない。つまり、このような参照画像に基づいて決定された輝度補正係数で覆い焼き処理を行った場合、好適な補正結果が得られないことになる。即ち、参照画像と記録用の画像との位置ずれを修正し、画素ごとの対応がとれた参照画像を生成する必要がある。

本発明は、上述の問題点に鑑みてなされたものであり、記録用の画像と輝度補正係数決定用の参照画像間の位置ずれを低減し、好適な輝度補正処理を行う画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
処理対象の画像を取得する取得手段と、取得手段により取得された処理対象の画像に対して第１の縮小率の縮小処理を行なって得られた画像から、予め設定された画素数を有する記録用の画像を生成する生成手段と、取得手段により取得された処理対象の画像から、生成手段により生成される記録用の画像に対応する領域の輝度画像を抽出する抽出手段と、抽出手段により抽出された対応する領域の輝度画像に対して第１の縮小率とは異なる第２の縮小率の縮小処理を行い、予め設定された画素数よりも少ない画素数を有する輝度画像を生成する縮小手段と、縮小手段により生成された縮小処理後の輝度画像に対して、第１の縮小率を第２の縮小率で除した値の拡大率で拡大処理を行い、予め設定された画素数を有する、記録用の画像の輝度補正係数決定用の参照画像を生成する拡大手段と、記録用の画像の各画素について、参照画像の同一座標の画素の輝度値から決定された輝度補正係数で輝度補正を行う補正手段と、を有し、抽出手段は、対応する領域が１画素未満の画素を含む場合、対応する領域を１画素未満の画素を含まない領域に変更して対応する領域の輝度画像を抽出し、拡大手段は、抽出手段による対応する領域の変更がなされた場合に、縮小処理後の輝度画像の各画素に対応する参照画像における領域の重心を、抽出手段による対応する領域の変更の情報及び拡大率に基づいて、参照画像と記録用の画像間における被写体像の位置ずれ量が最小となる位置に変更して参照画像を生成することを特徴とする。

このような構成により本発明によれば、記録用の画像と輝度補正係数決定用の参照画像間の位置ずれを低減し、好適な輝度補正処理を行うことが可能となる。

本発明の実施形態に係る画像処理ユニット１００の機能構成を示したブロック図 本発明の実施形態に係る覆い焼きゲイン生成処理を示したフローチャート 本発明の実施形態に係る、入力画像データ、記録用の画像データ、及び輝度補正係数決定用の輝度画像データの関係を示した図 本発明の実施形態に係る、拡大処理前の画像データの画素に対応する拡大処理後の画像データにおける領域の重心を説明するための図 従来技術の問題点を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、現像画像に対して覆い焼き処理を行う画像処理ユニットを備えるデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された画像に対して輝度値に応じた輝度補正処理を行うことが可能な任意の機器に適用可能である。

＜画像処理ユニット１００の構成＞
図１は、本発明の実施形態に係る画像処理ユニット１００の機能構成を示すブロック図である。なお、画像処理ユニット１００は、本実施形態のデジタルカメラが有する不図示の制御部によって制御されるものとする。画像処理ユニット１００には、該制御部の制御のもと、不図示の撮像部より撮像された入力画像データ、記録用の画像データの画素数を示す情報、及び現像処理に係る各種画像処理の補正パラメータが入力されるものとする。

信号補正部１０１は、入力画像データに対してシェーディング補正、黒引きノイズ補正、フリッカー補正等の所定の信号処理を行う。なお、本実施形態の入力画像データは、ベイヤ配列の撮像素子より出力されたＲ、Ｇ、及びＢ（赤、緑、及び青）の３種類のデータで構成されるカラー画像データである。入力画像データは、ベイヤ配列の撮像素子より出力された画像データであるため、単位画素についてＲ、Ｇ、Ｂのいずれかの色の画素データが一定規則で配列されている。例えば入力画像データのうち、水平方向の奇数ラインにはＲ、Ｇ、Ｒ、Ｇ、・・・の順で画素データが並び、偶数ラインにはＧ、Ｂ、Ｇ、Ｂ、・・・の順で画素データが並んでいる。信号補正部１０１は、所定の信号処理を行なって得られた画像データを後述する現像画像縮小部１０２及びウィンドウ領域算出部１０５に出力する。

現像画像縮小部１０２は、入力された画像データに対して記録用の画像データの画素数に応じて縮小処理を行い、得られた画像データを現像処理部１０３に出力する。具体的には現像画像縮小部１０２は、入力された画像データのうち現像処理に必要な領域（有効画素領域）をウィンドウ処理によって切り出し、該領域の画像データに対してローパスフィルタを適用した後、間引き処理を行うことにより画像データの縮小を行う。現像画像縮小部１０２において適用されるローパスフィルタの係数は、例えば［１ ２ １］等、縮小率に応じて折り返し歪みが生じないように設定された適切な係数が用いられる。なお、現像画像縮小部１０２における縮小率（第１の縮小率）は、画像処理ユニット１００に入力された記録用の画像データの画素数に応じて決定される。

現像処理部１０３は、現像画像縮小部１０２における縮小処理後のベイヤ形式の画像データに対して公知の同時化処理を行い、各画素が輝度及び色差信号の情報を有する画像データへの変換を行う。また現像処理部１０３は、変換した画像データに対して、ホワイトバランス調整等の所定の画像処理を画像処理ユニット１００に入力された補正パラメータに基づいて実行し、補正後の画像データを後述する覆い焼き処理部１０４に出力する。

輝度画像抽出部１０５は、信号補正部１０１において信号処理が適用されて入力された画像データのうち、輝度成分のみを抽出した輝度画像データを生成する。具体的には輝度画像抽出部１０５は、ベイヤ形式の画像データに対して、各色の色データから輝度値への変換処理を行う。このとき輝度値への変換に用いられる算出式は、ＲＧＢ形式からＹＣｂＣｒ形式への変換式や、ＲＧＢ形式からＨＳＶ形式への変換式等、任意の輝度値への変換式が用いられてよい。そして輝度画像抽出部１０５は、得られた輝度画像データをウィンドウ領域抽出部１０６に出力する。

ウィンドウ領域抽出部１０６は、入力された輝度画像データから、後述する覆い焼き処理部１０４における覆い焼き処理の処理対象の画像データ、即ち記録用の画像データに対応する領域に含まれる画像データを、ウィンドウ処理によって切り出す。なお、該ウィンドウ処理によって抽出される領域は、輝度画像データの画素単位で抽出されるものとする。輝度画像データにおける記録用の画像データに対応する領域は、第１の縮小率によっては１画素未満の画素を含むことがある。このような場合、ウィンドウ領域抽出部１０６は１画素未満の画素を含まないよう、抽出する領域を変更するものとする。ウィンドウ領域抽出部１０６は、記録用の画像データに対応する領域の輝度画像データを抽出した後、抽出した輝度画像データを第１輝度画像縮小部１０７及び第２輝度画像縮小部１１１に出力する。

第１輝度画像縮小部１０７は、入力された、記録用の画像データに対応する輝度画像データに対して縮小処理を行う。本実施形態において、第１輝度画像縮小部１０７はビットシフト演算を正規化する方法を用いて縮小処理を実行する。具体的には第１輝度画像縮小部１０７は、例えば縮小率（第２の縮小率）が垂直方向及び水平方向ともに１／１０である場合、まず入力された輝度画像データをそれぞれの方向に１０画素ずつ、計１００画素の画素値を取得して積分する。さらに予め設定されたゲイン係数として１０を積分値に乗じた後、１０ビット右シフトさせることにより、第１輝度画像縮小部１０７は縮小処理を行う。なお、第１輝度画像縮小部１０７における縮小処理の手法はこれに限られず、任意の手法が用いられても良いことは容易に想像されよう。第１輝度画像縮小部１０７は、縮小処理後の輝度画像データを第１ＬＰＦ１０８に出力する。

第１ＬＰＦ１０８は、輝度画像の低周波数成分を抽出するローパスフィルタである。第１ＬＰＦ１０８に入力された縮小処理後の輝度画像データは、フィルタリング処理によって低周波数成分のみの輝度画像データとなる。第１ＬＰＦ１０８は、フィルタ処理後の輝度画像データを第１輝度画像拡大部１０９に出力する。

第１輝度画像拡大部１０９は、入力されたフィルタ処理後の輝度画像データに対して拡大処理を行い、記録用の画像データと同じ画素数を有する輝度画像データを生成する。具体的には第１輝度画像拡大部１０９は、第１の縮小率を第２の縮小率で除した値を拡大率として、フィルタ処理後の輝度画像データの拡大処理を行う。そして第１輝度画像拡大部１０９は、得られたフィルタ処理後の輝度画像データを第１輝度補正係数決定部１１０に出力する。

該拡大処理では、フィルタ処理後の輝度画像データの各画素を単純に拡大するのではなく、拡大処理により増加する画素の画素値は補間処理や外挿処理等によって算出するものとする。拡大対象の輝度画像データの各画素は、第１輝度画像縮小部１０７における縮小処理により複数の画素で構成される領域の画素値の積分によって生成されている。このため、拡大対象の輝度画像データの各画素の画素値は、該画素の生成時に参照された領域に対応する、拡大処理後の輝度画像データの領域の重心位置の画素の画素値に相当する。つまり、拡大処理後の輝度画像データにおいて、拡大対象の輝度画像データの画素に相当する画素（以下、単に「相当する画素」とする）に挟まれる画素（重心間の画素）の画素値は、該画素の周辺の相当する画素の画素値及びその距離を用いた補間処理によって生成される。また、相当する画素には挟まれない、即ち拡大処理後の輝度画像データの外周部分の画素については、外挿処理によって画素値を算出するものとする。

なお、拡大処理後の輝度画像データは、後述する覆い焼き処理部１０４で行われる覆い焼き処理において用いられる輝度補正係数を決定するために、第１輝度補正係数決定部１１０で参照される。即ち、第１輝度画像拡大部１０９で生成される拡大処理後の輝度画像データは、輝度補正係数決定用の参照画像データである。記録用の画像データと参照画像データとは同数の画素を有しており、互いの画像データの同一座標にある画素は１対１で対応付けられる。つまり、参照画像データの１つの画素について決定された輝度補正係数は、記録用の画像データにおける該画素と同一座標の画素の補正係数である。このため、第１輝度画像拡大部１０９における拡大処理では、記録用の画像データと参照画像データとで、被写体像の位置ずれ量が最小となるように補間処理及び外挿処理が実行される。

第１輝度補正係数決定部１１０は、入力された参照画像データの画素の各々について、該画素の輝度値から輝度補正係数を決定する。輝度補正係数は、例えばガンマ関数を用いて輝度値ごとに決定される値であり、本実施形態では、画像処理ユニット１００内に設けられた不図示の不揮発性メモリにルックアップテーブルとして、輝度値ごとの輝度補正係数が格納されているものとする。第１輝度補正係数決定部１１０は、不揮発性メモリよりルックアップテーブルを読み出し、参照画像データの画素の各々について輝度補正係数を決定した後、画素の座標情報に該画素の輝度補正係数が関連付けられた輝度補正データを覆い焼き処理部１０４に出力する。

なお、本実施形態の画像処理ユニット１００は、記録用の画像データの輝度補正係数を決定するラインとして、第１輝度画像縮小部１０７乃至第１輝度補正係数決定部１１０と、第２輝度画像縮小部１１１乃至第２輝度補正係数決定部１１４の２ライン設ける。しかしながら、本発明の実施はこれに限られるものではない。第２輝度画像縮小部１１１乃至第２輝度補正係数決定部１１４のブロックで行われる処理は、基本的には第１輝度画像縮小部１０７乃至第１輝度補正係数決定部１１０の処理と同様であるため、各ブロックで行われる処理の説明は省略する。両ラインは、第２輝度画像縮小部１１１及び第２輝度画像拡大部１１３で行われる、縮小処理の縮小率及び拡大処理の拡大率のみが異なる。本実施形態では、第１輝度画像縮小部１０７において垂直方向及び水平方向ともに１／１０の縮小率の縮小処理を行うのに対し、第２輝度画像縮小部１１１では、垂直方向及び水平方向ともに１／１００の縮小率の縮小処理を行うものとする。なお、第２輝度画像拡大部１１３における拡大処理の拡大率は、出力する輝度画像データの画素数は第１輝度画像拡大部１０９と同数であるため、該縮小率によって拡大率が変化することは容易に理解されよう。

また、本実施形態では、信号補正部１０１により信号処理された画像データから、覆い焼き処理部１０４で用いられる輝度補正データを出力する構成を覆い焼きゲイン生成部１２０と称して、以下説明するものとする。なお、覆い焼きゲイン生成部１２０は、輝度画像抽出部１０５乃至第２輝度補正係数決定部１１４で構成される。

覆い焼き処理部１０４は、第１輝度補正係数決定部１１０及び第２輝度補正係数決定部１１４から入力された、輝度補正データに基づいて、記録用の画像データの対応する画素の輝度補正処理（覆い焼き処理）を行う。具体的には覆い焼き処理部１０４は、第１輝度補正係数決定部１１０及び第２輝度補正係数決定部１１４から入力された２種類の輝度補正データの各々を用いて輝度補正処理を行なう。そして各々の輝度補正処理の結果得られた輝度補正後の画像データを加算平均処理することにより、覆い焼き処理部１０４は最終的に記録する画像データ（出力画像データ）を生成する。

なお、本実施形態ではハードウェアとして画像処理ユニット１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

＜覆い焼きゲイン生成処理＞
このような構成をもつ本実施形態の画像処理ユニット１００の覆い焼きゲイン生成部１２０における覆い焼きゲイン生成処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、デジタルカメラが備える不図示の制御部が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより画像処理ユニット１００を制御することで実現できる。なお、本覆い焼きゲイン生成処理は、例えば画像処理ユニット１００に入力された入力画像データについての、信号補正部１０１における信号処理が完了した際に開始されるものとして説明する。

なお、以下の説明では図５と同様に、入力画像データの画像サイズが８００pixel×６００pixel、第１の縮小率が水平方向及び垂直方向ともに３／１０、記録用の画像データの画像サイズが２４０pixel×１８０pixelである場合を例に説明する。また、以下の説明では簡単のため、第１輝度画像縮小部１０７乃至第１輝度補正係数決定部１１０のラインのみを用いて補正係数データを生成する方法について説明する。なお、第１輝度画像縮小部１０７における縮小処理の第２の縮小率は、上述したように水平方向及び垂直方向ともに１／１０であるものとする。

また以下では、ウィンドウ処理や位置変更の処理の説明は、簡単のため処理対象となる領域あるいは画像データの左上端の座標の算出方法についてのみ説明するが、実際は左上端に加え、例えば右下端の座標の算出等の処理が同様に行われることは理解されよう。

Ｓ２０１で、輝度画像抽出部１０５は、入力された信号補正部１０１における信号処理後の入力画像データから、輝度画像データを生成する。そして輝度画像抽出部１０５は、生成した輝度画像データをウィンドウ領域抽出部１０６に出力する。

Ｓ２０２で、ウィンドウ領域抽出部１０６は、現像画像縮小部１０２における縮小処理後の画像データ（現像縮小画像データ）の左上端を原点とする座標系（ｘ’，ｙ’）における、記録用の画像データに対応する領域の左上端の座標を算出する。具体的にはウィンドウ領域抽出部１０６は、現像画像縮小部１０２で行われる縮小処理の第１の縮小率を、画像処理ユニット１００に入力された記録用の画像データの画素数の情報及び現像処理部１０３において適用される画像処理のタップ数の情報とから算出する。そしてウィンドウ領域抽出部１０６は、入力画像データの画像サイズと第１の縮小率とから現像縮小画像データの画像サイズを把握し、現像処理部１０３において適用される画像処理のタップ数とから、記録用の画像データに対応する領域の左上端の座標を算出する。このとき、「現像縮小画像データにおける記録用の画像データに対応する領域の左上端の座標」は図３に示すように
（ｘ_０’，ｙ_０’）＝（５０，１０）
であるものとする。

Ｓ２０３で、ウィンドウ領域抽出部１０６は、Ｓ２０１で生成された輝度画像データの左上端を原点とする座標系（ｘ，ｙ）における、記録用の画像データに対応する領域の左上端の座標を算出する。具体的にはウィンドウ領域抽出部１０６は、Ｓ２０２で算出した「現像縮小画像データにおける記録用の画像データに対応する領域の左上端の座標」を第１の縮小率で除することにより、「輝度画像データにおける記録用の画像データに対応する領域の左上端の座標」を算出する。このとき、「輝度画像データにおける記録用の画像データに対応する領域の左上端の座標」は、
ｘ_０＝５０÷（３／１０）＝１６６．６６６・・・
ｙ_０＝１０÷（３／１０）＝ ３３．３３３・・・
となる。

しかしながら、例示のように第１の縮小率によっては「輝度画像データにおける記録用の画像データに対応する領域の左上端の座標」は、画像データとして処理できない１画素未満の画素を含むことがある。このためウィンドウ領域抽出部１０６は、「輝度画像データにおける記録用の画像データに対応する領域の左上端の座標」が整数とならない場合は、小数点以下を四捨五入することにより該座標を整数値に変換する。即ち、上記の例では座標は、
（ｘ_０changed，ｙ_０changed）＝（１６７，３３）
に変換される。

Ｓ２０４で、ウィンドウ領域抽出部１０６は、Ｓ２０３で得られた「輝度画像データにおける記録用の画像データに対応する領域の左上端の座標」の情報に従って、記録用の画像データに対応する領域の輝度画像データを抽出する。そしてウィンドウ領域抽出部１０６は、抽出した輝度画像データを第１輝度画像縮小部１０７に出力する。

Ｓ２０５で、第１輝度画像縮小部１０７は、入力された輝度画像データに対して、第２の縮小率での縮小処理を行う。そして第１輝度画像縮小部１０７は、得られた縮小処理後の輝度画像データを第１ＬＰＦ１０８に出力する。さらに第１ＬＰＦ１０８は、入力された縮小処理後の輝度画像データに対して低周波領域成分のみを通過させるフィルタリング処理を行い、得られたフィルタ処理後の輝度画像データを第１輝度画像拡大部１０９に出力する。

Ｓ２０６で、第１輝度画像拡大部１０９は、入力されたフィルタ処理後の輝度画像データに対して、第１の縮小率を第２の縮小率で除した値の拡大率ｒで拡大処理を行う。本実施形態の例では拡大率ｒは
ｒ＝（３／１０）÷（１／１０）＝３倍
となる。

（拡大処理の詳細）
ここで、第１輝度画像拡大部１０９が行う拡大処理について、具体的な処理の内容をいかに説明する。上述したように第１輝度画像拡大部１０９において拡大処理を行なって出力される参照画像データは、記録用の画像データと同数の画素数を有する。また参照画像データは、参照画像データと記録用の画像データとを同一座標の画素が重なるように重ねた場合、画像間における被写体像の位置ずれ量が最小となるように生成される。

第１輝度画像拡大部１０９はまず、ウィンドウ領域抽出部１０６における輝度画像データの抽出時に、記録用の画像データに対応する領域の変更が行われたか否かを判断する。記録用の画像データに対応する領域の変更が行われていた場合、第１輝度画像拡大部１０９は、変更後の領域の左上端の座標と、現像縮小画像データの座標系において、実際の記録用の画像データ領域の左上端の座標との位置ずれ量Δｆ＝（Δｆ_ｘ，Δｆ_ｙ）を算出する。上述の例の場合、変更後の領域の左上端の座標は１６７であるため、第１の縮小率を用いて現像縮小画像データの座標系に変換すると該座標は
ｘ_０changed’＝１６７×（３／１０）＝５０．１
ｙ_０changed’＝ ３３×（３／１０）＝ ９．９
となる。即ち、ウィンドウ領域抽出部１０６において抽出された輝度画像データは、その時点で記録用の画像データと左上端の座標が
Δｆ_ｘ＝ｘ_０changed’−ｘ_０’＝５０．１−５０＝＋０．１
Δｆ_ｙ＝ｙ_０changed’−ｙ_０’＝ ９．９−１０＝−０．１
の位置ずれを生じていることになる。

また第１輝度画像拡大部１０９は、生成する参照画像データにおける、フィルタ処理後の輝度画像データの各画素に対応する領域の重心位置を算出する。具体的には第１輝度画像拡大部１０９は最初に、単に拡大率ｒで拡大処理を行なって得られる拡大処理後の輝度画像データにおいて、フィルタ処理後の輝度画像データの各画素に対応する領域の重心位置の、該領域の左上端からの位置ずれ量を取得する。図４は、単に拡大率ｒの拡大処理を行なった場合に得られる拡大処理後の輝度画像データの左上端部を示している。図示されるように、フィルタ処理後の輝度画像データの左上端の画素に対応する領域４００の中央に重心４０１が存在している。このとき、領域４００の左上端からの重心４０１の位置ずれ量Δｇ＝（Δｇ_ｘ，Δｇ_ｙ）は、拡大率（ｒ＝３倍）を用いて
Δｇ_ｘ＝ｒ×（１／２）＝３×（１／２）＝１．５
Δｇ_ｙ＝ｒ×（１／２）＝３×（１／２）＝１．５
と表せる。即ち、単に拡大率ｒの拡大処理を行う場合、補間処理あるいは外挿処理の基準となる、フィルタ処理後の輝度画像データの各画素に対応する領域の重心は、各領域の左上端から算出した重心位置ずれ量Δｇ分離れた位置にある。

しかしながら、先にも述べたとおり画像データの構造上、移動は画素単位で行われる必要がある。このため、算出した重心位置ずれ量Δｇと、輝度画像データの抽出時に生じた位置ずれ量Δｆとの和（移動基準値Δｆ＋Δｇ：該重心の記録用の画像データに対する実際の位置ずれ量）が１画素未満の値を含む場合、算出した該移動基準値を整数値に丸める必要がある。このとき第１輝度画像拡大部１０９は、補間処理及び外挿処理を伴う拡大処理の結果得られる参照画像データと、記録用の画像データとを同一座標の画素が一致するように重ねた際に、両画像データの被写体像の位置ずれ量が最小となるように移動基準値を丸める。具体的には第１輝度画像拡大部１０９は、移動基準値の小数点以下の値を切り上げた場合と切り捨てた場合とについて、移動基準値からの変化量を比較し、該変化量が最小となる方法で移動基準値を丸める。

具体的には第１輝度画像拡大部１０９は、切り上げた場合の移動基準値の増加分（Ａ）、及び切り捨てた場合の移動基準値の減少分（Ｂ）について絶対値をとる。第１輝度画像拡大部１０９は、この結果の絶対値の値が小さい（０に近い）値がＡである場合は切り上げにより移動基準値を丸め、Ｂである場合は切り捨てを行うことで移動基準値を丸めることで、移動基準値を整数値に変更する。上述の数値例では、切り上げた場合の移動基準値の増加分及び切り捨てた場合の移動基準値の減少分それぞれの絶対値は、
・ｘ座標
Ａ_ｘ＝ＡＢＳ（ＲＯＵＮＤＵＰ（Δｆ_ｘ＋Δｇ_ｘ）−（Δｆ_ｘ＋Δｇ_ｘ））
＝ＡＢＳ（ＲＯＵＮＤＵＰ（ ０．１＋１．５）−（ ０．１＋１．５））
＝ＡＢＳ（２−１．６）＝０．４
Ｂ_ｘ＝ＡＢＳ（ＲＯＵＮＤＤＯＷＮ（Δｆ_ｘ＋Δｇ_ｘ）−（Δｆ_ｘ＋Δｇ_ｘ））
＝ＡＢＳ（ＲＯＵＮＤＤＯＷＮ（ ０．１＋１．５）−（ ０．１＋１．５））
＝ＡＢＳ（１−１．６）＝０．６
・ｙ座標
Ａ_ｙ＝ＡＢＳ（ＲＯＵＮＤＵＰ（Δｆ_ｙ＋Δｇ_ｙ）−（Δｆ_ｙ＋Δｇ_ｙ））
＝ＡＢＳ（ＲＯＵＮＤＵＰ（−０．１＋１．５）−（−０．１＋１．５））
＝ＡＢＳ（２−１．４）＝０．６
Ｂ_ｙ＝ＡＢＳ（ＲＯＵＮＤＤＯＷＮ（Δｆ_ｘ＋Δｇ_ｙ）−（Δｆ_ｘ＋Δｇ_ｙ））
＝ＡＢＳ（ＲＯＵＮＤＤＯＷＮ（−０．１＋１．５）−（−０．１＋１．５））
＝ＡＢＳ（１−１．４）＝０．４
（ただし、ＡＢＳは絶対値、ＲＯＵＮＤＵＰは切り上げ値、ＲＯＵＮＤＤＯＷＮは切り下げ値をそれぞれ出力する関数である）
となり、ｘ成分はＡ＜Ｂであるから移動基準値を切り上げによって整数値に変更し、ｙ成分はＢ＜Ａであるから移動基準値を切り捨てによって整数値に変更する。このため、拡大処理によって生成される参照画像データのうち、フィルタ処理後の輝度画像データの左上端の画素に対応する領域の重心の、記録用の画像データの左上端からの最終的な位置ずれ量（Δｇ_ｘfinal，Δｇ_ｙfinal）は、
Δｇ_ｘfinal＝ＲＯＵＮＤＵＰ（Δｆ_ｘ＋Δｇ_ｘ）＝２
Δｇ_ｙfinal＝ＲＯＵＮＤＯＷＮ（Δｆ_ｘ＋Δｇ_ｙ）＝１
となる。

即ち、第１輝度画像拡大部１０９は、生成する参照画像データの左上端から最終的な位置ずれ量分移動した位置に、フィルタ処理後の輝度画像データの左上の画素に対応する領域の重心が移動するように調整する。つまり、フィルタ処理後の輝度画像データの左上端以外の画素に対応する領域の重心は、左上端の画素に対応する領域の重心に合わせて位置が変更されることになる。

第１輝度画像拡大部１０９は、このようにフィルタ処理後の輝度画像データの各画素に対応する領域の重心の、参照画像データにおける位置を決定した後、補間処理及び外挿処理を行なって、記録用の画像データと同数の画素数を有する参照画像データを生成する。そして第１輝度画像拡大部１０９は、生成した参照画像データを第１輝度補正係数決定部１１０に出力する。

Ｓ２０７で、第１輝度補正係数決定部１１０は、入力された参照画像データの画素の各々の輝度値に基づいて輝度補正係数を決定し、画素の座標情報に関連付けて輝度補正データとして出力する。具体的には第１輝度補正係数決定部１１０は、画像処理ユニット１００が有する不図示の不揮発性メモリから、輝度補正係数決定用のルックアップテーブルを読み出し、対象画素の輝度値に応じたきど補正係数の情報を取得する。そして第１輝度補正係数決定部１１０は、対象画素の座標情報に、該画素の輝度補正係数を関連付けて、輝度補正データとして覆い焼き処理部１０４に出力し、覆い焼きゲイン生成処理を完了する。

このようにすることで、輝度補正係数決定用の参照画像データを生成する際に、輝度画像の抽出時に生じた位置ずれを加味して、記録用の画像データと参照画像データとの間の被写体像の位置ずれを最小にすることができる。

以上説明したように、本実施形態の画像処理装置は、記録用の画像と輝度補正係数決定用の参照画像間の位置ずれを低減し、好適な輝度補正処理を行うことができる。具体的には画像処理装置は、取得した処理対象の画像に対して縮小処理を行なって得られた画像から、予め設定された画素数を有する記録用の画像を生成する。また処理対象の画像から、記録用の画像に対応する領域の輝度画像を抽出して縮小処理を行い、予め設定された画素数よりも少ない画素数を有する輝度画像を生成する。なお、記録用の画像に対応する領域が１画素未満の画素を含む場合は、該対応する領域を１画素未満の画素を含まない領域に変更して輝度画像を抽出する。さらに画像処理装置は縮小処理後の輝度画像に対して拡大処理を行い、予め設定された画素数を有する、記録用の画像の輝度補正係数決定用の参照画像を生成する。このとき、輝度画像を抽出する領域の変更がなされた場合は、縮小処理後の輝度画像の各画素に対応する領域の重心を、該対応する領域の変更の情報及び拡大率に基づいて、参照画像と記録用の画像間における被写体像の位置ずれ量が最小となる位置に変更して参照画像を生成する。

［変形例］
上述した実施形態では、単位画素ごとに画像処理が行われるため、画素単位で輝度画像を抽出する領域を変更するものとして説明した。本変形例では、画像処理に係る回路が複数（所定数）の画素を同時処理する場合に、画像処理ユニット１００の各ブロックで行われる処理について説明する。

本変形例では、画像処理ユニット１００のうち、信号補正部１０１、現像画像縮小部１０２、輝度画像抽出部１０５、及びウィンドウ領域抽出部１０６が、４画素を同時に処理する構成であるものとする。なお、他のブロックについては、４画素の同時処理を行わず、１画素ずつの処理を行うものとする。また、複数画素を同時処理可能なブロックで処理した後、１画素ずつ出力する回路は、公知の技術を用いればよい。例えば輝度画像抽出部１０５では、入力された複数画素に対して重み付け加算を行うことで、１サイクルあたりの出力画素数を削減すればよい。

このような構成の場合、ウィンドウ領域抽出部１０６で行われる、輝度画像データから記録用の画像データに対応する領域を抽出する際の処理が、上述の実施形態とは異なる。即ち、ウィンドウ処理における入力ウィンドウの設定が、４画素単位、即ち垂直方向及び水平方向の各々の画素数が４の倍数となる必要がある。このため、上述の実施形態のように記録用の画像データに対応する領域の左上端の座標が
ｘ_０＝５０÷（３／１０）＝１６６．６６６・・・
ｙ_０＝１０÷（３／１０）＝ ３３．３３３・・・
である場合、対応する領域の変更は、変更後の左上端の座標が４の倍数となるように行われる。この場合、変更後の左上端の座標は
（ｘ_０changed，ｙ_０changed）＝（１６８，３２）
となる。

本変形例では、このように輝度画像データから記録用の画像データに対応する領域を抽出する際に、上述の実施形態とは異なる方法で領域の変更がなされる。しかしながら、該変更により生じた位置ずれの情報は、第１輝度画像拡大部１０９において加味されて位置ずれが補正されるため、上述の実施形態と同様に、記録用の画像データと参照画像データとの間の被写体像の位置ずれを最小にすることができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 処理対象の画像を取得する取得手段と、
   前記取得手段により取得された前記処理対象の画像に対して第１の縮小率の縮小処理を行なって得られた画像から、予め設定された画素数を有する記録用の画像を生成する生成手段と、
   前記取得手段により取得された前記処理対象の画像から、前記生成手段により生成される前記記録用の画像に対応する領域の輝度画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記対応する領域の輝度画像に対して前記第１の縮小率とは異なる第２の縮小率の縮小処理を行い、前記予め設定された画素数よりも少ない画素数を有する輝度画像を生成する縮小手段と、
   前記縮小手段により生成された前記縮小処理後の輝度画像に対して、前記第１の縮小率を前記第２の縮小率で除した値の拡大率で拡大処理を行い、前記予め設定された画素数を有する、前記記録用の画像の輝度補正係数決定用の参照画像を生成する拡大手段と、
   前記記録用の画像の各画素について、前記参照画像の同一座標の画素の輝度値から決定された輝度補正係数で輝度補正を行う補正手段と、を有し、
   前記抽出手段は、前記対応する領域が１画素未満の画素を含む場合、前記対応する領域を１画素未満の画素を含まない領域に変更して前記対応する領域の輝度画像を抽出し、
   前記拡大手段は、前記抽出手段による前記対応する領域の変更がなされた場合に、前記縮小処理後の輝度画像の各画素に対応する前記参照画像における領域の重心を、前記抽出手段による前記対応する領域の変更の情報及び前記拡大率に基づいて、前記参照画像と前記記録用の画像間における被写体像の位置ずれ量が最小となる位置に変更して前記参照画像を生成する
   ことを特徴とする画像処理装置。
2. 前記生成手段が、所定数の画素単位で前記記録用の画像を生成する処理を行う場合に、
   前記抽出手段は、前記対応する領域が前記所定数の画素単位で処理した際に前記所定数に満たない画素での処理が行われると判断した場合に、前記対応する領域を前記所定数に満たない画素についての処理が行われない画素数の領域に変更して前記対応する領域の輝度画像を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記拡大手段は、前記抽出手段による前記対応する領域の変更がなされた場合に、前記第１の縮小率の縮小処理を行なって得られた画像における、前記変更がなされた前記対応する領域と前記記録用の画像との位置ずれ量に、前記縮小処理後の輝度画像の各画素に対応する前記参照画像における領域の重心と該領域の左上端との位置ずれ量とを加えて得られる移動基準値を算出し、該移動基準値の小数点以下を切り上げた値から該移動基準値を減じた値、及び該移動基準値の小数点以下を切り捨てた値から該移動基準値を減じた値のうち、０に近い値に対して前記移動基準値を加算した値だけ移動した位置に、前記縮小処理後の輝度画像の各画素に対応する前記参照画像における領域の重心を変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記拡大手段は、前記縮小処理後の輝度画像の各画素の画素値を、該画素に対応する前記参照画像における領域の重心の画素値とし、前記参照画像の該重心間の画素については周辺の重心の画素値からの補間処理で算出し、前記参照画像のそれ以外の画素の画素値は外挿処理により算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記拡大処理による前記縮小処理後の輝度画像の各画素に対応する前記参照画像における領域の重心の位置の変更は、垂直方向及び水平方向について行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 処理対象の画像を取得する取得工程と、
   前記取得工程において取得された前記処理対象の画像に対して第１の縮小率の縮小処理を行なって得られた画像から、予め設定された画素数を有する記録用の画像を生成する生成工程と、
   前記取得工程において取得された前記処理対象の画像から、前記生成工程において生成される前記記録用の画像に対応する領域の輝度画像を抽出する抽出工程と、
   前記抽出工程において抽出された前記対応する領域の輝度画像に対して前記第１の縮小率とは異なる第２の縮小率の縮小処理を行い、前記予め設定された画素数よりも少ない画素数を有する輝度画像を生成する縮小工程と、
   前記縮小工程において生成された前記縮小処理後の輝度画像に対して、前記第１の縮小率を前記第２の縮小率で除した値の拡大率で拡大処理を行い、前記予め設定された画素数を有する、前記記録用の画像の輝度補正係数決定用の参照画像を生成する拡大工程と、
   前記記録用の画像の各画素について、前記参照画像の同一座標の画素の輝度値から決定された輝度補正係数で輝度補正を行う補正工程と、を有し、
   前記抽出工程において、前記対応する領域が１画素未満の画素を含む場合、前記対応する領域を１画素未満の画素を含まない領域に変更して前記対応する領域の輝度画像が抽出され、
   前記拡大工程において、前記抽出工程における前記対応する領域の変更がなされた場合に、前記縮小処理後の輝度画像の各画素に対応する前記参照画像における領域の重心を、前記抽出工程における前記対応する領域の変更の情報及び前記拡大率に基づいて、前記参照画像と前記記録用の画像間における被写体像の位置ずれ量が最小となる位置に変更して前記参照画像が生成される
   ことを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images