JP4774915B2 - 撮像装置、階調補正方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置と、それに用いられる階調補正方法及びプログラムに関するものである。

従来、デジタルカメラでは、撮影時の光量不足を補うためのストロボ装置が内蔵されたものが一般的である。ところが、ストロボ光が届く範囲は限られているため、遠くの場所や広い範囲を撮影するような場合には十分な光量が得られないことがある。これを解決する方法として、例えば下記特許文献１には、ストロボ撮影時には、最大Ｙ信号（輝度信号）となるときの露出量がＣＣＤのダイナミックレンジの７０％〜１００％程度となるように絞りやシャッタを制御する露出補正を行うことによって、より明るい被写体は明るく、暗い被写体は暗く撮影できるようにする技術が記載されている。
特願平７−２７４０６２号公報

しかしながら、上記方法は、明るい被写体部分の階調が維持できる範囲内で露出を高く補正するものであるため、必ずしも良好な撮影結果が得られるとは限らなかった。例えば夜景撮影時に、ストロボ光が十分に照射される近距離の被写体（主たる被写体）と、ストロボ光がの届かない遠距離の背景（風景）とが画角内に存在する場合には、近距離の被写体にはストロボ光により十分な明るさが得られるものの、ストロボ光が届かない遠距離の背景部分は暗いままとなる。そのため、明るい近距離部分はまだしも、暗い遠距離部分については階調表現が極めて乏しい画像となざるを得ないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像した画像の明るい部分と暗い部分との双方に十分な階調表現を確保することができる撮像装置、階調補正方法、及びプログラムを提供することを目的とする。

請求項１記載の発明は、
被写体を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出手段と、
入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出手段により検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成手段と、
前記生成手段により生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正手段と、
を備えたことを特徴とする。
また、請求項２記載の発明は、更に、
前記検出手段は、前記ヒストグラムを所定の輝度方向に順番にみていったときに、所定数以上の画素の存在する部分から前記所定数以上の画素の存在しない部分へと変化する第１の境界位置と、所定数以上の画素の存在しない部分から前記所定数以上の画素の存在する部分へと変化する第２の境界位置とを複数検出することで、前記ヒストグラム上に交互に位置する前記第１の領域部分と前記第２の領域部分を夫々複数検出することを特徴とする。
また、請求項３記載の発明は、更に、
前記第１の変換曲線とは異なる第２の変換曲線に対応する第２の階調補正情報を記憶した記憶手段と、
前記記憶手段に記憶された第２の階調補正情報を、前記生成手段により生成された第１の階調補正情報に変更する変更手段と、を更に備え、
前記生成手段は、前記第２の変換曲線における前記境界位置に対応する入力輝度の前後での連続性を変化させた第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成し、
前記階調補正手段は、前記記憶手段に記憶された前記第１の階調補正情報または前記第２の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正することを特徴とする。
また、請求項４記載の発明は、更に、
前記生成手段は、前記第１の領域部分に前記第２の変換曲線を対応させ、前記第２の領域部分に対しては前記第２の変換曲線とは異なる変換曲線を挿入するようにして前記第１の変換曲線を特定することを特徴とする。
また、請求項５記載の発明は、更に、
撮影して得られた画像データ内の各被写体に対応した各領域部分と、当該画像データにおける輝度分布を示すヒストグラム上に偏在する各領域部分との相関が強くなる所定の撮影状況であるか否かを判断する判断手段と、
前記階調補正手段は、前記撮像手段により取得された画像データの階調を補正する際に、前記判断手段により前記所定の撮影状況であると判断された場合には、前記変更手段により変更された前記第１の階調補正情報を用いて階調を補正し、前記所定の撮影状況でないと判断された場合には、前記変更手段により変更される前の前記第２の階調補正情報を用いて階調を補正することを特徴とする。
また、請求項６記載の発明は、更に、
前記判断手段は、夜間のストロボ発光による撮影である場合に、画像データ内の近距離にある被写体と遠距離にある被写体の各々に対応した２つの領域部分と、当該画像データにおける輝度分布を示すヒストグラム上の輝度値の高い側と輝度値の低い側の両側に偏在する２つの領域部分との相関が強くなる前記所定の撮影状況であると判断することを特徴とする。
また、請求項７記載の発明は、更に、
前記判断手段は、ストロボ発光による撮影であるか否かの条件と、撮影者の指示操作による指定条件との両方で、前記所定の撮影状況であるか否かを判断することを特徴とする。
また、請求項８記載の発明は、更に、
前記検出手段は、前記ヒストグラム上の各輝度レベル部分に存在する画素数が、撮影画像の全画素の中で占める割合に応じて、前記第１の領域部分と前記第２の領域部分を検出することを特徴とする。
また、請求項９記載の発明は、更に、
前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を変化させる制御手段を更に備えたことを特徴とする。
また、請求項１０記載の発明は、更に、
前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、ユーザーが任意に変化させることを特徴とする。
また、請求項１１記載の発明は、更に、
前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、撮影画像に基づいて自動的に変化させることを特徴とする。
また、請求項１２記載の発明は、更に、
前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、輝度の明るい側と暗い側とで異なる画素の数となるように設定することを特徴とする。
また、請求項１３記載の発明は、更に、
前記階調補正手段により前記階調補正が行われた後の撮像画像の画像データを記録する画像記録手段を備えたことを特徴とする。
また、請求項１４記載の発明は、
被写体を撮像して画像データを取得する撮像手段を備えた撮像装置を制御する階調補正方法であって、
前記撮像装置に、
前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成ステップと、
前記ヒストグラム生成ステップにより生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出ステップと、
入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出ステップにより検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成ステップと、
前記生成ステップにより生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正ステップと、
を実行させることを特徴とする。
また、請求項１５記載の発明は、
被写体を撮像して画像データを取得する撮像手段を備えた撮像装置が有するコンピュータを、
前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出手段と、
入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出手段により検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成手段と、
前記生成手段により生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正手段と、
して機能させることを特徴とする。

また、請求項９の発明にあっては、前記検出手段は、前記ヒストグラム生成手段により生成されたヒストグラムに相離間し偏在する複数の分布域を検出し、前記階調補正手段は、前記検出手段により検出された各々の分布域にそれぞれ対応する複数の画素部分に対して前記階調補正を行うものとした。

以上のように本発明においては、撮像画像における特定の明るさ範囲の被写体部分や、例えば撮像画像のヒストグラムに偏在する分布域により判断される明るさ範囲の異なる複数の被写体部分について、それらの明るさの階調幅を拡大（コントラストを増大）させることができるようにした。よって、撮像画像における暗い被写体部分についても、十分なコントラストを得ることができるため、撮像した画像の明るい部分と暗い部分との双方に十分な階調表現を確保することが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラ１の電気的構成の概略を示すブロック図である。

デジタルカメラ１はシステムの全体の制御を行うＣＰＵ２を中心として、以下の各部から構成されている。図においてレンズブロック３は、沈胴式のズームレンズ及びフォーカスレンズを含む光学系の駆動機構を示したブロックであり、その駆動源であるモーター４の駆動を制御するためのモータードライバ５がバス６を介してＣＰＵ２と接続されている。そして、ＣＰＵ２からの制御信号に応じ、モータードライバ５がモーター４を駆動することにより、上記光学系が光軸方向へ移動される。また、バス６には、必要に応じてストロボ光を発光する発光管、及びその駆動回路等を含むストロボ回路７（ストロボ発光手段）も接続されている。

また、デジタルカメラ１は撮像手段としてＣＣＤ８を有している。ＣＣＤ８は、ＣＰＵ２の命令に従いタイミング発生器（ＴＧ：Timing Generator）９が生成するタイミング信号に基づき垂直／水平ドライバ１０によって駆動され、上記光学系によって結像された被写体の光学像に応じたアナログの撮像信号をアナログ信号処理部１１に出力する。アナログ信号処理部１１は、ＣＣＤ８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号を画像処理部１２へ出力する。

画像処理部１２は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、ガンマ補正、画素補間などのデジタル信号処理を行う。画像処理部１２で変換されたＹＵＶデータは順次ＳＤＲＡＭ１３に格納されるとともに、撮影用の記録（ＲＥＣ）モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶モニタ（ＬＣＤ）１４へ送られてスルー画像として画面表示される。

また、シャッターキーが押された撮影処理実行時においてＳＤＲＡＭ１３に一時記憶された画像データ（ＹＵＶデータ）は、ＣＰＵ２により圧縮され、ＳＤＲＡＭ１３内のバッファ領域（以後、単に画像バッファという。）にいったん蓄積された後、最終的には所定のフォーマットの画像ファイルとして外部メモリ１５に記録される。外部メモリ１５は図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードである。外部メモリ１５に記録された画像ファイルは、再生モードにおいてユーザーの選択操作に応じてＣＰＵ２に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ１３に展開された後、液晶モニタ（ＬＣＤ）１４に表示される。

フラッシュメモリ１６はプログラムメモリであると同時に内蔵画像メモリであって、フラッシュメモリ１６にはプログラム領域と、前記外部メモリ１５（メモリカード）が装着されていない状態にあるとき撮影画像（圧縮後の画像データ）が記憶される画像記憶領域とが確保されている。なお、本実施の形態では、主として前記外部メモリ１５が本発明の画像記録手段として機能する。

前記プログラム領域には、ＣＰＵ２にカメラ全体を制御させるためのプログラムやデータが格納されており、特に本実施の形態においては、ＣＰＵ２を本発明の検出手段、特性生成手段（第１の生成手段、第２の生成手段）、制御手段として機能させるためのプログラムと、後述する動作に必要なデータが記憶されている。さらに、プログラム領域には、上記のプログラムやデータ以外にもユーザーによる設定操作に応じて、または自動的に設定されたデジタルカメラ１の各種機能に関する設定データが記憶されている。

また、デジタルカメラ１は、図示しないシャッターキーや、電源キー、モード切替スイッチ、ズームアップ及びズームダウンボタン等を含むキー入力部１７を有している。キー入力部１７は、ユーザーによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ２へ送る。

図２は、前記画像処理部１２の構成を示すブロック図である。なお、ここでは、画像処理部１２と前記ＳＤＲＡＭ１３との間のデータの流れを分かり易く表現するために、ＣＰＵ２及びバス６などは省略してある。また、図中のＣＣＤ出力とは、撮影時にＣＣＤ８からアナログ信号処理部１１を介して出力されたデジタルの無加工の画像データ（以後、ＲＡＷデータという。）のことである。

このＲＡＷデータは、バッファメモリとして用いられるＳＤＲＡＭ１３の画像領域にいったん保持された後、そこから画像処理部１２に読み出されて処理される。なお、ＲＡＷデータをＳＤＲＡＭ１３の画像領域に保持せずに、画像処理部１２にて直接処理するような構成であってもよい。また、バッファメモリとしては、ＳＤＲＡＭ１３に限らず、ＤＲＡＭなどであってもよく、これらの構成については特に限定されるものではない。

画像処理部１２はワンチップのＬＳＩからなり、主としてＲＡＷデータに所定のＷＢゲインを乗算するホワイトバランス処理部（ＷＢ処理部）２１と、８ビットから８ビットへの輝度変換特性（ガンマカーブ）のデータが格納されるガンマルックアップテーブル（ＬＵＴ）２２と、このガンマルックアップテーブル２２を参照して、ＷＢゲイン後のＲＡＷデータの階調補正を行うである本発明の階調補正手段であるガンマ補正部２３と、階調補正後のＲＡＷデータをＹＵＶ変換するＹＵＶ変換部２４と、ホワイトバランス処理部２１によってＷＢゲインを乗算された後のＲＡＷデータにおける明るさの分布状態、すなわち輝度レベル別の画素の分布状態を示すヒストグラムを生成する本発明のヒストグラム生成手段であるヒストグラム生成部２５とから構成されている。

なお、画像処理部１２で行う前述した各処理については、汎用性、装置サイズ、コストなどを考慮して、その全てまたは一部をＣＰＵ２においてソフト的に行うような構成としてもよい。ただし、すべての処理をソフトウエアで行うとＣＰＵ２の処理負担が大きく、かつ処理時間がかかるため、少なくともホワイトバランス処理部２１と、ガンマ補正部２３、ＹＵＶ変換部２４における基本処理については本実施の形態のようにハードウェアで構成する方が望ましい。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。図３は、デジタルカメラ１において撮影時に行われる、主として本発明に係る信号処理の手順を示すフローチャートである。

例えば静止画の撮影を行う場合において、まず、ＣＰＵ３２は、シャッタスピードや絞り値などの撮影条件のパラメータ設定により露出調整を行った後、シャッタキーが押下されたときのタイミングで撮影処理を行い、ＣＣＤ８からアナログ処理回路１１を介してデジタルの画像データであるＲＡＷデータを取得する（ステップＳ１）。このＲＡＷデータは、画像処理部１２を介していったんＳＤＲＡＭ１３の所定領域に保持される。

ここで、ＣＰＵ２は、ガンマカーブ変更が必要であるか否かを判断する（ステップＳ２）。本実施の形態では、ユーザーによりストロボ光を強制発光する撮影モードが選択されている場合、及び前述した露出調整に際してストロボ発光を伴う露出調整を行った場合に、ガンマカーブ変更が必要であると判断する（撮影者が任意にガンマカーブ変更の要・不要を設定できるようにしてもよく、ストロボ発光と撮影者の設定のＡＮＤ条件またはＯＲ条件でガンマカーブ変更の必要性を判断してもよい）。

そして、上記のような所定条件に基づきガンマカーブ変更が不要であると判断された場合（ステップＳ２でＮＯ）、ＣＰＵ２は、画像処理部１２の前記ガンマルックアップテーブル（ＬＵＴ）２２に、後述するガンマカーブ変更に際して基準となる標準のガンマカーブのデータを書き込む（ステップＳ３）。図５（ａ）は、上記ガンマカーブを示した図である。

その後、ＳＤＲＡＭ１３から読み出したＲＡＷデータを画像処理部１２に与えて、ホワイトバランス処理、ガンマ補正、ＹＵＶ変換の各画像処理、すなわち通常の画像処理を行わせる（ステップＳ４）。すなわちＳＤＲＡＭ１３から読み出したＲＡＷデータに、ホワイトバランス処理部２１がＲＧＢ毎のホワイトバランスゲイン（ＷＢゲイン）を乗じることで色信号の調整を行った後、ガンマ補正部２３が標準のガンマカーブに従った階調補正を行い、ＹＵＶ変換部２４が、補正後の画像データを明るさの情報である輝度信号Ｙと、色の情報である色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）に変換してＳＤＲＡＭ１３の所定領域に出力する。

しかる後、ＣＰＵ２は、ＳＤＲＡＭ１３から前記輝度及び色差信号を読み出し、所定の方式による圧縮を行い撮影画像として外部メモリ１５に記録する（ステップＳ５）。

一方、撮影時に例えばストロボ光を強制発光する撮影モードが選択されており、ガンマカーブ変更が必要であると判断された場合（ステップＳ２でＹＥＳ）、ＣＰＵ２は以下の処理を実行することにより、図５（ａ）に示した標準のガンマカーブを、例えば同図（ｃ）に示したようなガンマカーブに変更した後、前述した画像処理を画像処理部１２に行わせる。

すなわちＣＰＵ２は、まずステップＳ６〜ステップＳ１９の処理によって、ヒストグラム生成部２５により生成された撮像画像のヒストグラムについて、明るさが分布している輝度範囲（以下、有用データ範囲という。）と、明るさが分布していない輝度範囲（以下、無用データ範囲という。）とを検索する。すなわち、撮像画像のヒストグラムが、例えば図６（ａ）に示したように、互いに離間する２つの分布域Ａ，Ｂ、すなわち分布の偏り部分（分布の山）が存在するものである場合には、低輝度側の第１の有用データ範囲（Ｄａｔａｌ）、及び高輝度側の第２の有用データ範囲（Ｄａｔａ２）と、第１及び第２の有用データ範囲（Ｄａｔａｌ，Ｄａｔａ２）の間に存在する第１の無用データ範囲（ＮｏＤａｔａｌ）、及び第２の有用データ範囲の高輝度側に存在する第２の無用データ範囲（ＮｏＤａｔａ２）とを検索する。

以下、具体的な処理を述べると、ＣＰＵ２は、撮像画像のヒストグラムにおける明るさの分布数（有用データ範囲の数）を示す変数（Ｎ）、有用データ範囲及び無用データ範囲の検索に使用する検索輝度レベル（ＳｅａｒｃＬｅｖｅｌ）をそれぞれ初期化（”０”をセット）し、かつその検索輝度レベルを後の演算で必要となるＮｏＤａｔａ０＿Ｅｎｄに代入する（ステップＳ６）。

次に、前記分布数Ｎに１を加算し（ステップＳ７）、一つ目の無用データ範囲の検索を開始する。まず設定されている検索輝度レべル（処理開始時は”０”）に存在するピクセル数が全画素の１％未満であるか否かを確認する（ステップＳ８）。そして、１％未満でなければ（ステップＳ８でＮＯ）、検索輝度レべルに１を加算し（ステップＳ９）、検索輝度レべルで２５５になるまでは（ステップＳ１０でＮＯ）、上記確認を繰り返す。

その間、いずれかの検索輝度レべルにおいて、そのレベルに存在するピクセル数が全画素の１％未満となったときには（ステップＳ８でＹＥＳ）、そのときの検索輝度レべルを、無用データ範囲の開始位置の輝度レベルを示すＮｏＤａｔａＮ＿Ｓｔａｒｔ（処理開始当初ではＮｏＤａｔａ１＿Ｓｔａｒｔ）としてセット（記憶）する（ステップＳ１１）。

引き続き、検索輝度レべルに１を加算した後（ステップＳ１２）、今度は加算後の検索輝度レべルに存在するピクセル数が全画素の１％以上であるか否かを確認する（ステップＳ１３）。そして、上記ピクセル数が全画素の１％以上でなく、かつ検索輝度レべルが２５５でなければ（ステップＳ１３，Ｓ１４が共にＮＯ）、ステップＳ１２へ戻って検索輝度レべルにさらに１を加算した後、ステップＳ１３の確認を繰り返す。やがて、加算後の検索輝度レべルに存在するピクセル数が全画素の１％以上となったら、つまり無用データ範囲が途切れたら（ステップＳ１３でＹＥＳ）、そのときの検索輝度レべルを、無用データ範囲の終了位置の輝度レベルを示すＮｏＤａｔａＮ＿Ｅｎｄ（処理開始当初ではＮｏＤａｔａ１＿Ｅｎｄ）としてセット（記憶）する（ステップＳ１５）。また、ステップＳ１２〜Ｓ１４を繰り返す間にステップＳ１３の判別結果がＹＥＳとなったら、前記ＮｏＤａｔａＮ＿Ｅｎｄとして最大値（２５５）をセットする（ステップＳ１５）。

ここで、本実施の形態では、上述したように任意の輝度レベルが無用データ範囲と有用データ範囲とのどちらに属するのかを、任意の輝度レベルのピクセル数が撮影全画素に占める割合で判断し、その判断基準となる閾値を１％としたが、係る閾値については適宜変更することができる。また、係る閾値は割合に限らず所定のピクセル数とすることもできる。また、それらの閾値をユーザーが事前に又は任意の時点で設定（指定）できるようにしてもよい。また、撮影画像に基づいて自動的に変化させてもよい。さらには、それらの閾値を、所定の輝度よりも明るい側と暗い側とで変えるようにしてもよい。

そして、以上の処理により有用データ範囲（ＤａｔａＮ）のデータとしてＮｏＤａｔａ（Ｎ−１）＿Ｅｎｄ，ＮｏＤａｔａＮ＿Ｓｔａｒｔを登録（記憶）し、かつ無用データ範囲（ＮｏＤａｔａＮ）のデータとしてＮｏＤａｔａＮ＿Ｓｔａｒｔ，ＮｏＤａｔａＮ＿Ｅｎｄを登録（記憶）する（ステップＳ１６）。

以後、検索輝度レべルに１を加算した後（ステップＳ１７）、加算後の検索輝度レべルが最大値（２５５）以上でなければ（ステップＳ１８でＮＯ）、ステップＳ７へ戻って前述した処理を繰り返すことにより、二つ目以降の有用データ範囲、及び無用データ範囲を順に検索して登録（記憶）する。そして、前述した処理を繰り返す間に検索輝度レべルが最大値（２５５）以上となったら（ステップＳ１８でＹＥＳ）、ガンマカーブ変更処理を行う（ステップＳ１９）。

図４は、ガンマカーブ変更処理の内容を示すフローチャートである。係る処理では、まずヒストグラムにデータ（明るさ）の存在した全ての有用データ範囲（Ｄａｔａ１，Ｄａｔａ２，・・・）の幅である全有効データ幅（ＡｌｌＤａｔａ）を求める（ステップＳ１０１）。次に、図５（ａ）に示した基準となる標準のガンマカーブのデータを、最小値（０）を含む上記の全有効データ幅の範囲内の最大入力レベルに対応する出力レベルが予め決められている目標輝度（Ｔａｒｇｅｔ）となるよう変更するための変更倍率（Ｒａｔｉｏ）、すなわち図５（ｂ）に実線で示したように、同図に破線で示した基準のガンマカーブを、出力レンジを変えずに入力レンジを全有効データ幅に狭めた状態に変形させたときのカーブとするのに必要な補正倍率（Ｒａｔｉｏ）を
Ｒａｔｉｏ ＝ Ｔａｒｇｅｔ／Ａｌｌｄａｔａ
により算出する（ステップＳ１０２）。なお、本実施の形態において目標輝度（Ｔａｒｇｅｔ）は”２５５”であり、図５（ｂ）は、その場合の変形目標となるガンマカーブの例を示した図である。

次に、算出した補正倍率（Ｒａｔｉｏ）が１倍より大きいか否かを判断し、１倍より大きくない場合、すなわち撮像画像のヒストグラムにおいて全輝度レベルに明るさが分布している（全範囲が有用データ範囲である）場合には（ステップＳ１０３でＮＯ）、その時点でガンマカーブ変更処理を中止して図３の処理に戻る。そして、ガンマ補正部２３による標準のガンマカーブに従ったガンマ補正（階調補正）を伴う通常の画像処理、つまりステップＳ２でガンマカーブ変更が不要であると判断された場合と同様の画像処理を画像処理部１２に行わせる（ステップＳ４）。しかる後、処理後の画像を外部メモリ１５に記録する（ステップＳ５）。

一方、補正倍率（Ｒａｔｉｏ）が１倍より大きい場合には（ステップＳ１０３でＹＥＳ）、引き続き、その補正倍率（Ｒａｔｉｏ）が、予め決められている最大補正倍率（ＲａｔｉｏＭａｘ）よりも大きいか否かを確認する（ステップＳ１０４）。そして、算出した補正倍率（Ｒａｔｉｏ）が最大補正倍率（ＲａｔｉｏＭａｘ）よりも大きい場合には（ステップＳ１０４でＹＥＳ）、補正倍率（Ｒａｔｉｏ）を最大補正倍率（ＲａｔｉｏＭａｘ）に修正する（ステップＳ１０５）。これは撮像画像が真っ暗であった場合等におけるガンマカーブの変更度合を一定以内に制限するためである。

次に、基準のガンマカーブに、ステップＳ１０２で算出した補正倍率（Ｒａｔｉｏ）、又はステップＳ１０５で修正した補正倍率（Ｒａｔｉｏ）をかけることにより、それを参照用のガンマカーブ（以後、参照用カーブという。）にいったん変換する（ステップＳ１０６）。すなわち基準のガンマカーブのデータを内部メモリ（又はＳＤＲＡＭ１３の作業領域でもよい。）に展開し、それを補正倍率（Ｒａｔｉｏ）に応じたデータに書き換える。しかる後、上記参照用カーブのデータを用い、以下の手順により最終的に使用する補正カーブを描くデータを生成する。 まず、変数Ｎに１をセットする（ステップＳ１０７）。そして、変数Ｎで示される有用データ範囲（ＤａｔａＮ）の輝度レベル範囲（ＮｏＤａｔａ（Ｎ−１）＿Ｅｎｄ〜ＮｏＤａｔａＮ＿Ｓｔａｒｔ）のデータとして、上記の参照用カーブにおけるＤａｔａＮの輝度範囲のカーブ部分をそのまま描くデータを生成する（ステップＳ１０８）。引き続き、変数Ｎで示される無用データ範囲（ＮｏＤａｔａＮ）の輝度レベル範囲（ＮｏＤａｔａＮ＿Ｓｔａｒｔ〜ＮｏＤａｔａＮ＿Ｅｎｄ）のデータとして、有用データ範囲（ＤａｔａＮ）の最大レベルの入力に対応する出力を維持した直線を描くデータを生成する（ステップＳ１０９）。さらに、変数Ｎが最大値（明るさの分布数）となるまで（ステップＳ１１０でＮＯ）、変数Ｎに１を加えた後（ステップＳ１１１）、ステップＳ１０８，Ｓ１０９の処理を繰り返す。

これにより、図５（ｃ）に実線で示したような補正カーブ（破線は基準のガンマカーブ）のデータを新たに生成する。つまり無用データ範囲（明るさが分布していない輝度範囲）の入力に対する出力側の階調割当てを無くし、その分を有用データ範囲（明るさが分布している輝度範囲）の入力に対する出力側に広い階調を割り当てるガンマカーブを生成する。なお、図５（ｃ）は、前述した処理において、ステップＳ１０２で算出された補正倍率（Ｒａｔｉｏ）が修正されず使用された場合に生成される補正カーブを示した図である。

そして、上記補正カーブのデータ生成が終了したら（ステップＳ１１０がＹＥＳ）、画像処理部１２の前記ガンマルックアップテーブル２２に、生成した補正カーブのデータを書き込む（ステップＳ１１２）。これによりガンマカーブ変更処理を終了し、図３の処理に戻る。しかる後、補正カーブに従った通常と異なるガンマ補正（階調補正）を伴う画像処理を画像処理部１２に行わせた後（ステップＳ４）、処理後の画像を外部メモリ１５に記録する（ステップＳ５）。

図６（ｂ）は、ステップＳ４の処理後の撮像画像におけるヒストグラムを便宜的に示した図であり、処理前のヒストグラムが、同図（ａ）に示したものであって互いに離間する２つの分布の分布域Ａ，Ｂが存在していた場合の例である。この場合においては、上述した補正カーブに従ってガンマ補正（階調補正）が行われることにより、双方の分布域Ａ，Ｂの範囲が、処理以前に各々の高輝度側に存在していた無用データ範囲（明るさが分布していない輝度範囲）を消失させるよう、それぞれ高輝度側に拡大されることとなる。また、双方の分布域Ａ，Ｂの高さは、それぞれの面積が処理前と同じ面積となる高さとなる。

なお、図６（ｂ）は、前述したステップＳ１０２において補正倍率（Ｒａｔｉｏ）の算出に使用する目標輝度（Ｔａｒｇｅｔ）が最大レベル（２５５）である場合の例であり、目標輝度（Ｔａｒｇｅｔ）がそれ以下の例えば”２２０”である場合には、分布域Ｂの範囲の高輝度側が”２２０”となり、かつそれに対応して分布域Ａの分布範囲の高輝度側が分布域Ｂと離間した輝度となる。

以上のように本実施の形態においては、ストロボ撮影によって撮像された画像における明るさの分布が、図６（ａ）に示したように暗い側の分布域Ａと明るい側の分布域Ｂとに偏在しているような場合には、上述した補正カーブに従ってガンマ補正（階調補正）を行うことにより、その明るさの分布を、図６（ｂ）に示したように双方の分布域Ａ，Ｂが高輝度側にそれぞれ拡大された状態に自動的に補正することができる。

したがって、夜間でのストロボ撮影時に、ストロボ光が十分に照射される近距離の被写体（主たる被写体）と、ストロボ光がの届かない遠距離の背景（風景）とが画角内に存在する場合であっても、記録画像には、全体の階調関係を保持しながら暗い部分（遠距離の背景）と明るい部分（近距離の被写体）に十分な階調を割り当てることができ、画像内の明るい部分と暗い部分との双方に十分なコントラストを確保する、つまり十分な階調表現を確保することができる。

ここで、本実施の形態においては、基準となるカンマカーブから生成する補正カーブを、無用データ範囲（明るさが分布していない輝度範囲）の入力に対する出力側の階調割当てを無くし、その分の全てを有用データ範囲（明るさが分布している輝度範囲）の入力に対する出力側の階調に割り当てるガンマカーブとしたが、前記補正カーブは、無用データ範囲の出力側の階調幅の一部を有用データ範囲の出力側の階調に割り当てるようなガンマカーブとしてもよい。

また、本実施の形態においては、各画像部分に対して高輝度側を広げる階調補正を行ったが、低輝度側を広げる階調補正を行うようにしてもよく、高輝度側と低輝度側の両方を広げる階調補正を行うようにしてもよい。

また、図３のステップＳ６〜ステップＳ１９の処理では、撮像画像のヒストグラムから、明るさが分布している全ての分布域Ａ，Ｂの輝度範囲（有用データ範囲）を検索し、それらの輝度範囲の入力に対する出力側の階調幅を拡大させるようにしたが、ヒストグラムに偏在する分布域の一部（１又は複数）を検索し、検索した分布域の有用データ範囲の出力側の階調幅を、検索した分布域の有用データ範囲以外の輝度範囲の出力側の階調を無くすように、又は減少させるように拡大させてもよい。

さらに、ヒストグラムに偏在する複数の分布域における有用データ範囲の出力側の階調幅を拡大させるときには、その拡大の度合を分布域毎に変えてもよい。例えば互いに接する分布域について、明るい側の分布域の拡大の度合を暗い側の分布域の拡大の度合よりも大きくするようにしてもよい。その場合には、例えば図５（ａ）に示したような基準となるカンマカーブから補正カーブを生成する際、基準となるカンマカーブに、分布域毎に目標輝度（Ｔａｒｇｅｔ）を変えて異なる補正倍率（Ｒａｔｉｏ）をかけることにより、図５（ｂ）に示したような参照用カーブを分布域毎に個別に生成し、生成した複数の参照用カーブにおける、各参照用カーブが対応する分布域（輝度範囲）のカーブ部分を使用することにより補正カーブを生成すればよい。

また、本実施の形態では、前述したガンマカーブ変更に関する処理（図３のステップＳ６〜Ｓ１９の処理）をストロボ撮影時に限定して行うようにしたが、スト口ボ発光を伴わない撮影時にも行わせるようにしても構わない。

また、本実施の形態では、夜間等のスト口ボ撮影時で撮影される撮影画像について、手前の被写体部分と奥の被写体部分とを識別する処理、及び双方の被写体部分に対する輝度補正処理を、撮影画像のヒストグラムにおける明るさの分布域の検索処理と、その検索結果に基づいた新たなガンマカーブの生成（ガンマルックアップテーブル２２のデータ書き換え）によって、簡易的にではあるが高速に行えるようにしたが、手前の被写体部分と奥の被写体部分とを撮影画像のヒストグラム以外の情報に基づく他の方法で正確に識別できる構成とした場合は、ガンマルックアップテーブル２２のデータ書き換えに加えて、識別した被写体部分に対して個別に輝度補正のための画像処理を施すようにしてもよい。

また、本発明をデジタルカメラに適用した場合について説明したが、これに限らず本発明は、例えば静止画撮影機能を有するデジタルビデオカメラや、カメラ付き携帯電話、カメラ付きＰＤＡといった他の撮像装置にも適用することができる。また、撮像した画像を記録する構成を有することなく、撮像した画像を他の装置に出力する構成の撮像装置等にも適用することができる。

本発明に係るデジタルカメラの電気的構成を示すブロック図である。 同デジタルカメラにおける画像処理部の構成を示すブロック図である。 撮影時の本発明に係る信号処理の手順を示すフローチャートである。 ガンマカーブ変更処理の内容を示すフローチャートである。 （ａ）は標準のガンマカーブ、（ｂ）は参照用のガンマカーブ、（ｃ）は補正カーブの例をそれぞれ示した図である。 （ａ）は撮像画像のヒストグラムの一例、（ｂ）は、（ａ）に対応する記録画像のヒストグラムの一例を示す図である。

符号の説明

１ デジタルカメラ
２ ＣＰＵ
７ ストロボ回路
８ ＣＣＤ
１２ 画像処理部
１３ ＳＤＲＡＭ
１５ 外部メモリ
１６ フラッシュメモリ
２１ ホワイトバランス処理部（ＷＢ処理部）
２２ ガンマルックアップテーブル（ＬＵＴ）
２３ ガンマ補正部
２４ ＹＵＶ変換部
２５ ヒストグラム生成部

Claims (15)

1. 被写体を撮像して画像データを取得する撮像手段と、
   前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出手段と、
   入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出手段により検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成手段と、
   前記生成手段により生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正手段と、
   を備えたことを特徴とする撮像装置。
2. 前記検出手段は、前記ヒストグラムを所定の輝度方向に順番にみていったときに、所定数以上の画素の存在する部分から前記所定数以上の画素の存在しない部分へと変化する第１の境界位置と、所定数以上の画素の存在しない部分から前記所定数以上の画素の存在する部分へと変化する第２の境界位置とを複数検出することで、前記ヒストグラム上に交互に位置する前記第１の領域部分と前記第２の領域部分を夫々複数検出することを特徴とする請求項１記載の撮像装置。
3. 前記第１の変換曲線とは異なる第２の変換曲線に対応する第２の階調補正情報を記憶した記憶手段と、
   前記記憶手段に記憶された第２の階調補正情報を、前記生成手段により生成された第１の階調補正情報に変更する変更手段と、を更に備え、
   前記生成手段は、前記第２の変換曲線における前記境界位置に対応する入力輝度の前後での連続性を変化させた第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成し、
   前記階調補正手段は、前記記憶手段に記憶された前記第１の階調補正情報または前記第２の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正することを特徴とする請求項１または２記載の撮像装置。
4. 前記生成手段は、前記第１の領域部分に前記第２の変換曲線を対応させ、前記第２の領域部分に対しては前記第２の変換曲線とは異なる変換曲線を挿入するようにして前記第１の変換曲線を特定することを特徴とする請求項３記載の撮像装置。
5. 撮影して得られた画像データ内の各被写体に対応した各領域部分と、当該画像データにおける輝度分布を示すヒストグラム上に偏在する各領域部分との相関が強くなる所定の撮影状況であるか否かを判断する判断手段と、
   前記階調補正手段は、前記撮像手段により取得された画像データの階調を補正する際に、前記判断手段により前記所定の撮影状況であると判断された場合には、前記変更手段により変更された前記第１の階調補正情報を用いて階調を補正し、前記所定の撮影状況でないと判断された場合には、前記変更手段により変更される前の前記第２の階調補正情報を用いて階調を補正することを特徴とする請求項３または４記載の撮像装置。
6. 前記判断手段は、夜間のストロボ発光による撮影である場合に、画像データ内の近距離にある被写体と遠距離にある被写体の各々に対応した２つの領域部分と、当該画像データにおける輝度分布を示すヒストグラム上の輝度値の高い側と輝度値の低い側の両側に偏在する２つの領域部分との相関が強くなる前記所定の撮影状況であると判断することを特徴とする請求項５記載の撮像装置。
7. 前記判断手段は、ストロボ発光による撮影であるか否かの条件と、撮影者の指示操作による指定条件との両方で、前記所定の撮影状況であるか否かを判断することを特徴とする請求項５記載の撮像装置。
8. 前記検出手段は、前記ヒストグラム上の各輝度レベル部分に存在する画素数が、撮影画像の全画素の中で占める割合に応じて、前記第１の領域部分と前記第２の領域部分を検出することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
9. 前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を変化させる制御手段を更に備えたことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
10. 前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、ユーザーが任意に変化させることを特徴とする請求項９記載の撮像装置。
11. 前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、撮影画像に基づいて自動的に変化させることを特徴とする請求項９記載の撮像装置。
12. 前記制御手段は、前記検出手段が前記第１の領域部分と前記第２の領域部分の連続性を判断するための画素の数を、輝度の明るい側と暗い側とで異なる画素の数となるように設定することを特徴とする請求項９記載の撮像装置。
13. 前記階調補正手段により前記階調補正が行われた後の撮像画像の画像データを記録する画像記録手段を備えたことを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
14. 被写体を撮像して画像データを取得する撮像手段を備えた撮像装置を制御する階調補正方法であって、
    前記撮像装置に、
    前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成ステップと、
    前記ヒストグラム生成ステップにより生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出ステップと、
    入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出ステップにより検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成ステップと、
    前記生成ステップにより生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正ステップと、
    を実行させることを特徴とする階調補正方法。
15. 被写体を撮像して画像データを取得する撮像手段を備えた撮像装置が有するコンピュータを、
    前記撮像手段により取得された画像データにおける輝度分布を示すヒストグラムを生成するヒストグラム生成手段と、
    前記ヒストグラム生成手段により生成されたヒストグラム上において、所定数以上の画素の存在する輝度が連続する第１の領域部分と、前記所定数以上の画素の存在しない輝度が連続する第２の領域部分との境界位置を検出する検出手段と、
    入力される輝度値と出力される輝度値との関係を示す変換曲線であって、前記第１の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより広く、前記第２の領域部分の輝度値に対応して変換される出力側の輝度値の幅がより狭くなるように、前記検出手段により検出された境界位置に対応する入力輝度の前後で変換曲線の連続性が変化するような第１の変換曲線を特定し、この特定された第１の変換曲線に対応する第１の階調補正情報を生成する生成手段と、
    前記生成手段により生成された第１の階調補正情報に従って前記撮像手段により取得された画像データの階調を補正する階調補正手段と、
    して機能させることを特徴とするプログラム。

Images