JP4507719B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、電子カメラで撮影された撮影画像を加工する画像処理装置および画像処理プログラムに関する。

近年、撮像素子により被写体像を光電変換して撮影画像のデジタルデータ（撮影画像データ）を生成する電子カメラが急速に普及している。そして、撮影画像データの各種パラメータをコンピュータ上で調整してユーザーの意図に沿った画像を作り込むことも一般的に行われるようになっている。
ここで、特許文献１にはデジタル画像をコンピュータ上で再生する場合において、日時、撮影場所等の撮影状況に関する付帯情報を撮影画像データと関連付けてコンピュータに受け渡す構成の画像再生装置が開示されている。
特開２０００−６６３１２号公報

ところで、電子カメラの撮像素子の出力には暗電流成分による黒レベル分のノイズが含まれており、電子カメラでは撮像素子の一部を遮光して黒レベルを検出し、画像レベルから検出した黒レベルを減算することで黒レベル補正を行っている。そのため、コンピュータ上で撮影画像データを加工して画像の明るさを調整する場合には、電子カメラで行われた黒レベル補正の情報があれば画像の明るさの調整基準となり、補正可能範囲も明確となる。

しかし、従来、電子カメラが生成した撮影画像データには黒レベル補正の情報が残されておらず、ユーザーがコンピュータ上で画像処理を行う場合には画像データからどのような黒レベル補正が行われたかを判断することが極めて困難であった。また、上記の特許文献１においても、付帯情報には電子カメラが行った画像処理の内容を示す情報は含まれてはいない。したがって、ユーザーはコンピュータ上で画像の明るさを調整する場合には試行錯誤を繰り返さざるを得ず、コンピュータ上で画像データの微細な明るさの調整を行おうとするユーザーの要求には十分対応できていないのが実情であった。

本発明は上記従来技術の課題を解決するためのものであって、コンピュータ等を利用した事後的な画像処理において、電子カメラの行った黒レベル補正の情報に基づいてユーザーが画面の明るさを調整できる画像処理装置を提供することである。

請求項１の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理装置であって、前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む読込部と、前記黒レベル基準データと前記画像データとの対応関係を表示する表示部と、前記黒レベル基準データを変更するための入力部と、前記入力部で変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する補正処理部と、を有することを特徴とする。

請求項２の発明は、請求項１の発明において、前記表示部は、前記黒レベル基準データの現在値および変更可能範囲と、前記画像データに基づく再生画像と、を表示することを特徴とする。
請求項３の発明は、請求項１または請求項２の発明において、前記黒レベル基準データは複数の値からなり、該複数の値は前記画像データを水平方向または垂直方向に分割した処理単位ごとにそれぞれ関連付けされており、前記処理単位から任意に選択される指定位置の黒レベル基準データを変更する場合において、前記補正処理部は、前記指定位置の水平方向または垂直方向に近接する前記処理単位の黒レベル基準データを前記指定位置の黒レベル基準データの変化に連動させて変更し、前記指定位置から所定範囲までの黒レベル基準データの変化を滑らかに補間することを特徴とする。

請求項４の発明は、請求項１から請求項３の発明において、前記電子カメラは、前記画像データの黒レベル補正を行うクランプ部をさらに有し、前記黒レベル基準データが、前記クランプ部における黒レベル補正に使用されたデータであることを特徴とする。
請求項５の発明は、請求項１から請求項４の発明において、前記電子カメラの撮影条件と、該撮影条件に基づく前記黒レベル基準データのオフセット値との対応関係を格納した記録部をさらに有し、前記補正処理部は、前記電子カメラの撮影条件に基づいて、該撮影条件に対応する前記オフセット値を前記記録部から取得し、前記オフセット値に基づいて前記画像データの黒レベルを補正することを特徴とする。

請求項６の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理プログラムであって、前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む手順と、前記黒レベル基準データと前記画像データとの対応関係を表示する手順と、操作者の入力により変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する手順と、をコンピュータに実行させる。

本発明では、電子カメラの行った黒レベル補正に関する黒レベル基準データが画像データに関連付けて表示される。そして、電子カメラの行った黒レベル補正の情報に基づいてユーザーが画面の明るさを調整できるので、コンピュータ等を利用した事後的な画像処理において、より微細な黒レベルの補正を容易に行うことが可能となる。特に電子カメラのＲＡＷデータ（撮像素子から出力された生データ）をコンピュータ上のソフトウエアで加工する場合にその効果が顕著である。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。
（第１実施形態の説明）
図１は第１実施形態の画像処理装置の機能ブロック図である。本実施形態は、パーソナルコンピュータ等に画像処理プログラムを実行させて画像処理装置を構成する例である。

まず、図２に基づいて本実施形態の対象となる撮影画像データの概要を説明する。撮影画像データは電子カメラによって生成されたものであって、画像データと黒レベル基準データとを有している。画像データは、電子カメラの撮像素子の有効画素領域の出力に基づいて生成されたデータであって、電子カメラの撮影光学系で結像された被写体像が記録されている。一方、黒レベル基準データは、有効画素領域の外周に隣接して形成され、その表面が遮光膜で覆われてなる遮光領域（オプティカルブラック領域）の出力に基づくデータである。

撮像素子における遮光領域の出力は、被写体光が入射されない部分、すなわち、被写体像の黒色に相当するデータとみなすことができる。したがって、電子カメラではこの遮光領域の出力を用いて画像データの黒レベル補正を行っている。
図２の例では、画像データの右側に位置する遮光領域の部分に、電子カメラで水平方向の各行の黒レベル補正に使用されたクランプデータが記録されている（図２（ｂ）参照）。画像データの各行の末尾には、その行の補正に使用されたクランプデータデータがそれぞれ関連づけされて記録されている。本実施形態では、上記のクランプデータが水平方向の黒レベル基準データを構成する。なお、電子カメラによってはすべての行を同一の黒レベル値で補正する場合や、複数行単位で同一の黒レベル値で補正する場合も想定でき、これらの場合には、クランプデータは処理単位に対応する分が記録されていることとなる。

次に本実施形態の画像処理装置１の構成を説明する。画像処理装置１は、マイクロプロセッサ２と、メモリ３と、バスインターフェース部４と、表示ドライバ部５と、ディスクドライブ部６と、各部を接続するシステムバス７とを有している。また、画像処理装置１には、キーボードやポインティングデバイス等の入力手段８と、モニタ９とが接続されている。

マイクロプロセッサ２は画像処理装置１の各部を制御し、後述の画像処理プログラムを実行して撮影画像データの黒レベルを補正する。メモリ３には、撮影条件（例えば、カメラの機種による撮像素子の特性、撮影時間、露出補正など）と、この撮影条件の組み合わせに応じて変化する黒レベル基準データのオフセット値との対応関係がテーブル化されて記憶されている。なお、黒レベル基準データのオフセット値は、予め統計的に求められた値であってもよく、ユーザーがカスタマイズしたデータであってもよい。

バスインターフェース部４は、画像処理装置１に接続された周辺機器とのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。表示ドライバ部５はモニタ９に画像出力を行う。ディスクドライブ部６は、光磁気記録媒体に対してデータの読み出し／書き込みを実行する。
第１実施形態の画像処理装置１は上記のように構成され、以下、図３の流れ図に従って本実施形態の画像処理プログラムの動作を説明する。

ステップＳ１０１：マイクロプロセッサ２は、バスインターフェース部４に接続された記録媒体（またはバスインターフェース部４に接続された電子カメラ自体）や、ディスクドライブ部６に挿入された光磁気記録媒体などから撮影画像データを読み込む。
ステップＳ１０２：マイクロプロセッサ２は、画像データおよび黒レベル基準データに関する表示をモニタ９に出力する。図４に示すように、モニタ９上の中央部には画像データの再生画像１０が表示される。また、モニタ９上の再生画像１０の左側には、黒レベル基準データに基づく黒レベル値の現在値を表示する表示領域１１が表示される。この表示領域１１には、画像データの水平方向の各行に対応する黒レベル値が表示されている。

モニタ９上の表示領域１１では、黒レベル値の上限「Ｈ」および下限「Ｌ」（変更可能範囲）と、各行ごとの黒レベル値の現在値とが表示される。図４に示すように、表示領域１１には画面上下方向における黒レベル値の変化がグラフ状に表示されることとなる。また、表示領域１１内には、いずれかの行を指定するためのポインタ１２が表示され、入力手段８からの入力によりポインタ１２を各表示領域内で移動できるようになっている（なお、図４では仮想的に指定行を一点鎖線で示す）。そして、モニタ９の表示領域の近傍には、ポインタ１２で指定された行に対応する黒レベル値の数値が表示されるようになっている。

したがって、ユーザーは撮影画像データの画像データ（再生画像）およびクランプデータに基づく黒レベル値を、モニタ９上の再生画像１０および表示領域１１で確認し、画像データの黒レベル値の変更可能範囲や画面上下方向の黒レベル値の変化を明確に把握して、補正の要否を判断することができる。
ステップＳ１０３：マイクロプロセッサ２は、再生表示された画像データの変更操作をユーザーが終了するか否か（例えば、別の撮影画像データの読み込み指示や画像処理プログラムの終了指示があるか）を判定する。変更操作をユーザーが終了する場合（ＹＥＳ側）には、マイクロプロセッサ２は現在の撮影画像データに対する処理を終了する。このとき、撮影画像データを任意の記録媒体に保存するようにしてもよい。一方、変更操作をユーザーが終了しない場合（ＮＯ側）には、マイクロプロセッサ２はステップＳ１０４に移行する。

ステップＳ１０４：マイクロプロセッサ２は、オート補正モードがＯＦＦか否かを判定する。オート補正モードがＯＦＦの場合（ＹＥＳ側）にはマイクロプロセッサ２はステップＳ１０５に移行する。一方、オート補正モードがＯＮの場合（ＮＯ側）にはマイクロプロセッサ２はステップＳ１０６に移行する。
ステップＳ１０５：この場合には、マイクロプロセッサ２はユーザーの入力に基づいて画像データの黒レベル補正を行う。ユーザーは入力手段８で表示領域１１のポインタ１２を操作して黒レベル値を変更する行を指定する。次に、ユーザーは指定行でポインタ１２を左右にスライドさせるか、あるいは黒レベル値の数値を直接入力することで指定行の黒レベル値を変更する。

例えば、画像データの表現範囲が１２ｂｉｔ（０〜４０９５ＬＳＢ：数値が多いほど薄い）である場合について説明すると、指定行の黒レベル値が２００ＬＳＢの場合には、再生画像が２００〜４０９５ＬＳＢの階調で表現されている。そして、ユーザーが明るめの画像を希望する場合には黒レベル値を増加して、暗めの画像を希望する場合には黒レベル値を減少する。そして、マイクロプロセッサ２は、変更前後の黒レベル値の差分に基づいて画像データの黒レベルを再補正し、画像データの指定行の黒レベル基準データを変更後の黒レベル値のデータで更新する。

ここで、上記補正において指定された行の黒レベルのみを補正すると、再生画像で補正された指定行のみが周囲から浮き上がってしまうことがある。そのため、マイクロプロセッサ２は、指定行の上下で近接する所定範囲の行についても指定行の黒レベル補正に連動させて黒レベル補正を行うようにしてもよい（図５参照）。
例えば、マイクロプロセッサ２は、指定行から所定範囲の行について、指定行の黒レベル値の変更量に補間係数を乗じた値を現在の黒レベル値に加算して補正する。これにより、指定行から所定範囲までの黒レベル値の変化は滑らかなものとなる。上記の補間係数は０より大きく１未満であって、指定行から離間するにつれて小さくなるように設定される。特に指定行から所定範囲までの黒レベル値が曲線状に変化するように補間係数が設定されるのが好ましい。なお、補間係数の演算には、例えばスプライン補間などの公知の補間方法を適用することができる。

そして、ステップＳ１０５で黒レベル補正が実行された後、マイクロプロセッサ２はステップＳ１０２に移行して、黒レベルが再補正された再生画像と更新後の黒レベル値とをモニタ９に表示する。これにより、ユーザーは黒レベル補正の適否を判断することができる。
ステップＳ１０６：この場合には、マイクロプロセッサ２はユーザーの設定によって、以下の（１）から（３）の補正処理を選択的に実行する。

（１）暗転現象の補正
「暗転現象」とは、黒レベル補正に使用する遮光領域の近傍に高輝度被写体が位置するときに、高輝度被写体付近の遮光領域に迷光が侵入して信号レベルが引き上げられてしまい、黒レベル補正後の画像が筋状に暗く沈んでしまう現象をいう（図６参照）。この補正モードでは、マイクロプロセッサ２は図７に示す以下の処理を実行する。

まず、マイクロプロセッサ２は、上下に隣接する行の黒レベル基準データの差（空間変化量）を各行ごとにそれぞれ演算する（Ｓ２０１）。次に、マイクロプロセッサ２は演算した空間変化量が閾値以上である特異点を検出する（Ｓ２０２）。この特異点のある行は暗転現象の開始点（または終了点）に該当する。そして、マイクロプロセッサ２は、特異点に対応する範囲（暗転現象の発生した行）の黒レベル値を、特異点の行における空間変化量に基づいて補正し、画像データの黒レベルを補正する（Ｓ２０３）。上記動作により、画像処理装置による後処理工程においても黒レベル基準データを用いて撮影画像の暗転現象を緩和させることができ、より良好な撮影画像を得ることができる。

（２）シェーディング補正
電子カメラの撮像素子の出力には、センサの感度むら等の影響で振幅に局所的なひずみ（シェーディング）が生じるので、これを補正するものである。この補正モードでは、マイクロプロセッサ２は図８に示す以下の処理を実行する。
まず、マイクロプロセッサ２は、上下方向の一定間隔毎に黒レベル値をサンプリングし、これらの黒レベル基準データの差（空間変化量）を演算する（Ｓ３０１）。次に、マイクロプロセッサ２は、任意のサンプリング点の黒レベル値をオフセット量に設定する（Ｓ３０２）。マイクロプロセッサ２は、Ｓ３０２のオフセット量に各行の空間変化量に基づく値を加算して、シェーディング補正係数を各行ごとに演算する（Ｓ３０３）。そして、マイクロプロセッサ２は、各行毎にシェーディング補正係数を黒レベル値から減じて、画像データの黒レベルを補正する（Ｓ３０４）。上記動作により、画像処理装置による後処理工程においても黒レベル基準データを用いて画面上下方向のシェーディング補正を行うことができ、より良好な撮影画像を得ることができる。

（３）撮影条件に基づくオフセット値による補正
この補正モードでは、マイクロプロセッサ２は、ユーザーにより予め指定された撮影条件の設定（カメラの機種、撮影時間、露出補正など）に基づいて、メモリ３から黒レベル基準データのオフセット値を読み出し、該オフセット値によって画像データの黒レベルを補正する。上記動作により、画像処理装置による後処理工程において撮影条件ごとに異なる黒レベル補正を簡便に行うことができ、ユーザーの意図する撮影画像を容易に得ることができる。

そして、ステップＳ１０６で黒レベル補正が実行された後、マイクロプロセッサ２はステップＳ１０２に移行して、黒レベルが再補正された再生画像と更新後の黒レベル値とをモニタ９に表示する。これにより、ユーザーは黒レベル補正の適否を判断することができ、さらに補正が必要な場合にはＳ１０５のマニュアル補正によって、ユーザーの意図する撮影画像を実現することができる。

（第２実施形態の説明）
図９は第２実施形態の画像処理プログラムにおける表示画面の一例を示す図である。第２実施形態は第１実施形態の変形例であって、画像データの水平方向の各行についてはクランプデータを用いた黒レベル補正を行い、かつ垂直方向の各列についても遮光領域のデータを用いた補正処理を行う例である。なお、第１実施形態と同一の構成には同一符号を付して説明を省略する。

第２実施形態のマイクロプロセッサ２は、有効画素領域の上方または下方に位置する遮光領域の生データから垂直方向の各列に対応する黒レベル基準データを生成する。そして、図９に示すモニタ９の再生画像１０の上側には、画像データの垂直方向の各列における黒レベル値が表示される表示領域１１が設定されている。
第２実施形態では、ユーザーは垂直方向の各列についても表示領域１１のポインタ１２を操作して任意の列の黒レベル値を変更し、画像データの黒レベルを再補正することができる。なお、画像データの垂直方向に対応する黒レベル値は、遮光領域に対応するデータ領域における不使用部分に所定の形式で上書きされて保存される。

また、第２実施形態では画像データの垂直方向の黒レベル値を変更できるので、画面左右方向のシェーディング補正が可能となることに加えて、画面の上下端まで及ぶブルーミングの補正が可能となる。ここで、「ブルーミング」とは、ＣＣＤで高輝度被写体を撮影した場合に画素の飽和容量を越えた電子が発生し、ＣＣＤの読み出し線の方向に沿って隣接画素に電子が漏れ出してしまう現象をいう（図１０参照）。

このブルーミングの補正については、上記の暗転現象の補正とほぼ同様の工程でマイクロプロセッサ２が補正することもできる。すなわち、マイクロプロセッサ２は左右に隣接する列の黒レベル基準データの差（空間変化量）を各列ごとにそれぞれ演算する。次に、マイクロプロセッサ２は演算した空間変化量が閾値以上である特異点を検出する。この特異点のある列はブルーミングの開始点（または終了点）に該当する。そして、マイクロプロセッサ２は、特異点に対応する範囲（ブルーミングの発生した列）の黒レベル値を空間変化量に基づいて変更し、画像データの黒レベルを補正する。

ここで、ブルーミングの補正において黒レベル値から特異点の列の空間変化量をそのまま減じると、高輝度被写体の部分で補正箇所が筋状に暗く沈んでしまって不自然な画像となってしまう（図１１参照）。そのため、ブルーミングの補正では、特異点の列の空間変化量を補正値としてそのまま用いるのではなく、空間変化量に所定の係数を乗じた値（例えば、空間変化量の５０〜８０％の値）を補正値として使用するのが好ましい。

上記動作により、画像処理装置による後処理工程において画面の上下端まで及ぶブルーミングが緩和され、より良好な撮影画像を得ることができる。
（請求項と実施形態との対応関係）
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。

「読込部」にはバスインターフェース部４，ディスクドライブ部６が対応する。「表示部」にはモニタ９が対応する。「入力部」には入力手段８が対応する。「補正処理部」、「特異点判定部」および「補正係数生成部」にはマイクロプロセッサ２が対応する。「記録部」にはメモリ３が対応する。請求項８〜１０のプログラムはマイクロプロセッサ２によって実行される。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記の暗転現象、シェーディング補正、ブルーミング補正については、ユーザーによるマニュアル補正（Ｓ１０５）によっても補正することが勿論可能である。

また、上記実施形態では、コンピュータ上で画像処理装置を実現する例を説明してきたが、例えば電子カメラに上記プログラムを実行させて、撮影後の画像の暗転現象やブルーミングなどを電子カメラ上で自動補正できるようにしてもよい。なお、この場合には黒レベル値を外部に表示することは必ずしも要しない。

本発明は、電子カメラの撮影画像を加工する画像処理装置および画像処理プログラムに適用することができる。

第１実施形態の画像処理装置の機能ブロック図 撮影画像データの概要説明図 第１実施形態の画像処理プログラムの動作を示す流れ図 第１実施形態の画像処理プログラムにおける表示画面の一例を示す図 指定行から所定範囲までの黒レベル基準データの補間を説明する図 暗転現象の説明図 暗転現象の補正の流れ図 シェーディング補正の流れ図 第２実施形態の画像処理プログラムにおける表示画面の一例を示す図 ブルーミングの説明図 特異点の列の空間変化量をそのまま適用してブルーミング補正をした場合の説明図

符号の説明

１ 画像処理装置
２ マイクロプロセッサ
３ メモリ
４ バスインターフェース部
５ 表示ドライバ部
６ ディスクドライブ部
７ システムバス
８ 入力手段
９ モニタ
１０ 再生画像
１１ 黒レベル値の表示領域
１２ ポインタ

Claims (6)

1. 有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理装置であって、
   前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む読込部と、
   前記黒レベル基準データと前記画像データとの対応関係を表示する表示部と、
   前記黒レベル基準データを変更するための入力部と、
   前記入力部で変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する補正処理部と、
   を有することを特徴とする画像処理装置。
2. 前記表示部は、前記黒レベル基準データの現在値および変更可能範囲と、前記画像データに基づく再生画像と、を表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記黒レベル基準データは複数の値からなり、該複数の値は前記画像データを水平方向または垂直方向に分割した処理単位ごとにそれぞれ関連付けされており、
   前記処理単位から任意に選択される指定位置の黒レベル基準データを変更する場合において、前記補正処理部は、前記指定位置の水平方向または垂直方向に近接する前記処理単位の黒レベル基準データを前記指定位置の黒レベル基準データの変化に連動させて変更し、前記指定位置から所定範囲までの黒レベル基準データの変化を滑らかに補間することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記電子カメラは、前記画像データの黒レベル補正を行うクランプ部をさらに有し、
   前記黒レベル基準データが、前記クランプ部における黒レベル補正に使用されたデータであることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記電子カメラの撮影条件と、該撮影条件に基づく前記黒レベル基準データのオフセット値との対応関係を格納した記録部をさらに有し、
   前記補正処理部は、前記電子カメラの撮影条件に基づいて、該撮影条件に対応する前記オフセット値を前記記録部から取得し、前記オフセット値に基づいて前記画像データの黒レベルを補正することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理プログラムであって、
   前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む手順と、
   前記黒レベル基準データと前記画像データとの対応関係を表示する手順と、
   操作者の入力により変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する手順と、
   をコンピュータに実行させるための画像処理プログラム。

Images