JP2005294921A - 画像処理装置および方法 - Google Patents

Abstract

【課題】低感度と高感度の撮像信号を広ダイナミックレンジ処理して、ダイナミックレンジの異なる複数の広ダイナミックレンジ画像を生成する画像処理装置を提供。
【解決手段】信号処理部26は、撮像素子への露光により生成した撮像信号をディジタル変換した高感度の主画素データと低感度の副画素データとをそれぞれ前処理回路106,114に入力して前処理しγ補正回路120,122にてγ補正する。LUT 130には、特性が異なる複数の変換テーブルが備えられ、積算ブロック回路116は、積算ブロック回路116にて検出したブロック最大値に応じたダイナミックレンジ合成処理画像を複数作成するようにLUT 130内の変換テーブルを選択し、γ補正回路120,122の出力と変換テーブルの出力とを乗算させ、乗算結果を加算させて複数の広ダイナミックレンジ処理画像データを生成させる。
【選択図】図１

Description

本発明は、撮像素子にて生成される撮像信号を処理する画像処理装置に係り、たとえば、それぞれ感度が異なる撮像信号を処理して広ダイナミックレンジの処理画像データを生成する画像処理装置および方法に関するものである。

近年、CCD固体撮像素子やCMOS型撮像素子を搭載したディジタルカメラが普及している。このようなディジタルカメラでは、撮像素子の出力信号をディジタル信号に変換して、撮像素子の各画素にて生成された画素信号をディジタル画像信号として処理することにより、所望の画像信号を半導体メモリ等の情報記録媒体に記録することができる。

固体撮像素子の受光部には、フォトダイオードが垂直および水平走査方向にそれぞれ複数配列されて光電変換を行う画素をそれぞれ形成している。最近、撮像素子の受光面積の小型化と、画素数の増大とにより、画素密度が高まるとともに画素面積が小さくなってきている。このため撮像素子のダイナミックレンジが比較的狭く、所望の階調が再現可能なようにダイナミックレンジを拡大したり、露出を変更したりすることが行われている。

たとえば特許文献１は、露光条件の異なる２枚の画像を合成するテレビジョンカメラ装置を開示している。また、特許文献２には、撮影時に露光量を変えながら複数コマを連写するブラケット撮影を行う電子スチルカメラが開示されている。
特開２００１−９４８７０号公報 特開平１１−４３８０号公報

しかしながら、カメラの撮影者が撮影する被写界について、ディジタルカメラで撮影した結果をモニタ表示しておおよその写り具合を確認することができるが、たとえば、液晶表示パネルにモニタ表示される画像で撮影状態を確認する際、撮影画像がベストであるのか、またはそうではないのかをその詳細を判別することが困難であるという問題があった。つまり被写体のダイナミックレンジがどの程度あるのかを操作者が判断することは困難である。

また、ブラケッティング撮影により、露出値を変更しながら複数コマの撮像画像を得る場合には、同一タイミングにて被写体を撮影することができないので、動いているような物体では同一画像を得ることができない。また、ブラケッティング撮影では、ハイライト部分をも含めてよりよく再現するように撮影することができず、ハイライト部分の階調性を再現するためには、他のアンダー部分に対して黒つぶれ状態となるような露出を与える必要があり、この場合、全体として暗い画像となってしまうおそれがある。

また、ハイライト領域再現が「やわらかい」か「硬い」かのいずれかが選ばれるかは好みによって異なるので、その自由度を上げたいという要求がある。さらに、より広ダイナミックレンジ化処理を行う場合であっても、ダイナミックレンジが少ない被写界の撮影シーンで、必要以上に広ダイナミックレンジ化を行うと画像を全体的に暗くしてしまうという問題が発生する。したがって、撮影時において撮影者が必要なダイナミックレンジを適切に判断することが困難であるという問題があった。

本発明はこのような従来技術の欠点を解消し、低感度の撮像信号と高感度の撮像信号とを広ダイナミックレンジ処理して、ダイナミックレンジの異なる複数の広ダイナミックレンジ画像を生成する画像処理装置および方法を提供することを目的とする。

本発明は上述の課題を解決するために、被写界を撮像する撮像手段に配設される高感度画素からの第１の撮像信号と低感度画素からの第２の撮像信号とを処理する画像処理装置において、この装置は、同一露光による第１および第２の撮像信号を前処理し、第１および第２の撮像信号をディジタル値に変換し、前処理および変換後の第１の画像データおよび第２の画像データを出力する前処理手段と、前処理手段にて処理された第１および第２の画像データをそれぞれ階調変換する複数の変換特性をそれぞれ有する第１および第２の階調変換手段と、第１および第２の階調変換手段の階調変換出力を合成する演算手段と、階調変換手段における階調変換特性を自動的に選択して、複数のダイナミックレンジの複数コマの合成処理画像データを生成させる自動階調処理手段とを含むことを特徴とする。

この場合、この装置は、被写界の最大ダイナミックレンジを検出する検出手段を含み、自動階調処理手段は、検出手段による検出結果に基づいて、階調変換特性を選択するとよく、また、検出手段は、前処理されて生成される第２の画像データに基づいて最大ダイナミックレンジを検出するとよく、さらに自動階調処理手段は、最大ダイナミックレンジに応じて複数のダイナミックレンジの複数コマの合成処理画像データを生成させる処理を制限するとよい。

また、この装置は、撮像手段を含む撮像装置であるとよく、さらに合成処理画像データを記録する記録手段を含むとよい。また、この装置は、撮像手段を制御する制御手段を含み、制御手段は、被写界を段階露出にて撮像させる露光量ブラケット撮影モードを有するとよく、さらに制御手段は、露光量ブラケット撮影モードにて生成される複数コマの第１および第２の撮像信号から第１および第２の画像データをそれぞれの撮影コマについて生成させるとよい。

また、本発明は上述の課題を解決するために、被写界を撮像する撮像手段に配設される高感度画素からの第１の撮像信号と低感度画素からの第２の撮像信号とを処理する画像処理方法において、この方法は、同一露光による第１および第２の撮像信号を前処理し、第１および第２の撮像信号をディジタル値に変換し、前処理および変換後の第１の画像データおよび第２の画像データを出力する前処理工程と、前処理工程にて処理された第１および第２の画像データを複数の変換特性にてそれぞれ階調変換する第１および第２の階調変換工程と、第１および第２の階調変換工程にてそれぞれ階調変換した値を合成する演算工程と、階調変換工程にて処理する階調変換特性を自動的に選択して、複数のダイナミックレンジの複数コマの合成処理画像データを生成させる自動階調処理工程とを含むことを特徴とする。

この場合、この方法は、被写界の最大ダイナミックレンジを検出する検出工程を含み、自動階調処理工程は、検出工程による検出結果に基づいて、階調変換特性を選択するとよく、また、検出工程は、前処理されて生成される第２の画像データに基づいて最大ダイナミックレンジを検出するとよく、さらに自動階調処理工程は、最大ダイナミックレンジに応じて複数のダイナミックレンジの複数コマの合成処理画像データを生成させる処理を制限するとよい。

また、この方法は、合成処理画像データを記録する記録工程を含むとよく、また、撮像手段を制御する制御工程を含み、被写界を段階露出にて撮像させる露光量ブラケット撮影モードにて被写界を撮像するとよく、この場合、制御工程は、露光量ブラケット撮影モードにて生成される複数コマの第１および第２の撮像信号から第１および第２の画像データをそれぞれの撮影コマについて生成させるとよい。

本発明によれば、撮像素子に配設された低感度の副画素と高感度の主画素とから得られるそれぞれの撮像信号を用いて広ダイナミックレンジ処理する際に、変換特性の異なる階調変換テーブルにて処理し合成することにより、ダイナミックレンジが異なる複数の広ダイナミックレンジ画像を自動的に生成して、その処理画像データを出力し、情報記録媒体等に記録することができる。

また、たとえばブロック積算値等の測光結果からブロック最大値等の被写界のダイナミックレンジを計測して、そのダイナミックレンジまでの階調を再現可能な段階までの広ダイナミックレンジ化処理を自動的に行い、さらにその段階を超える広ダイナミックレンジ化処理を行わないように自動的に制限することができるので、撮影シーンに応じた適切な処理が行われて処理負荷を軽減するとともに、記録枚数が無用に増大することを防止することができる。

さらに、このような適切な範囲にて自動的に広ダイナミックレンジ処理化処理された複数の高品質処理画像から、ユーザが好まれる画像を選択して最終画像として使用することができる。また、露出補正を伴う段階撮影を併用して、複数の広ダイナミックレンジ処理を行うことができ、この場合さらに、ユーザの好みの画像を選択する幅が広がり、たとえばハイライト階調再現について好みの画像を選択する自由度を拡大することができる。

次に添付図面を参照して本発明による画像処理装置および方法の実施例を詳細に説明する。

図２を参照すると、本発明による画像処理装置および方法をディジタルカメラに適用した実施例が示されている。図示するようにディジタルカメラ20は、撮像部22にて撮像される被写界の画像信号をアナログ・フロントエンド回路(AFE) 24と信号処理部26と圧縮符号化部28とにて処理し、記録装置30に装填される情報記録媒体にその処理データを記録する撮像装置であり、また、撮像画像を表示部32にモニタ表示可能な撮像装置である。

撮像部22は、不図示の撮像レンズ、絞り、メカニカルシャッタおよびこれらを駆動する駆動回路と、撮像レンズを介して結像される光学像を光電変換する固体撮像素子とを含む撮像ユニットであり、被写界の光学像を固体撮像素子の撮像面に結像させて所定時間露光することにより結像画像に応じたカラー撮像信号を出力する。

固体撮像素子は、たとえば図３に示す撮像素子300のように、有効画素によるイメージング領域310が、水平走査方向に1416画素配置され垂直走査方向に2128画素配置された２次元イメージセンサであり、本実施例では各垂直電荷転送路VCCDおよび水平電荷転送路が電荷結像素子（CCD）にて形成されたCCD型固体撮像素子を使用している。なお撮像素子300はCMOS型イメージセンサにて構成してもよい。これらイメージング領域310の周辺には、感光領域を遮光して光学的黒レベルの信号生成を行うオプチカルブラック(OB)部がイメージング領域310の周囲上下左右に所定幅で配置されているがその図示を省略する。

撮像素子300の撮像面に配置される光電変換部の画素を構成するフォトダイオード周辺の構成を図４に部分的に示すと、図示するように、フォトダイオードPDは、たとえば８角形の多角形に形成されて、その上面に斜めおよび水平方向に屈曲して形成した遮光部材310およびその下層の分離領域等により、フォトダイオードPDの感光領域を相対的に受光面積の大きい主画素PDLと相対的に受光面積が小さい副画素PDSとに分割した二重感光領域構成である。主画素PDLは、副画素PDSに較べてその面積比に応じて信号電荷生成量が多く受光感度が高くなるため画素PDLは同一光量を受光する場合、画素PDSに較べて速く飽和する。この様子を図５に示す。

同図では一例として主画素PDLと副画素PDSとの面積比が４：１の場合の入力輝度に対する撮像素子出力を示すグラフであり、主画素出力500は、100％輝度レベルにて飽和し、副画素出力510は400％輝度レベルまで飽和しない状態が示されて感度比が16対１となっている。副画素出力510のうち100％ないし400％輝度レベルの値を主画素出力500に合成すると特性520に示されるように、ハイライト部分の階調再現が可能なようにダイナミックレンジを拡大させることができる。

図４に戻ってこれら画素PDLおよび画素PDSにて生成される信号電荷は、それぞれ隣接する垂直電荷転送路VCCDの一領域に対する読出しパルスに応じて、それぞれ対応する垂直電荷転送路VCCDの領域に画素PDLおよび画素PDSにて生成される信号電荷を独立してシフトさせて読み出すことができる。また、これら画素PDLおよび画素PDSにて生成される信号電荷をともに垂直電荷転送路VCCDに読み出して混合して一組の組画素として転送することもできる。

各フォトダイオードPDは、水平および垂直走査方向にそれぞれ１／２画素間隔分ずつずらして平面配置されており、各垂直電転送路VCCDは各フォトダイオードPD間をジグザグ状に縫うように配設されている。各VCCDの各領域には不図示の転送電極が接続されて、印加される電位に応じたポテンシャル井戸を形成するとともに、ポテンシャル井戸の位置を変化させる垂直転送パルスが供給されることにより、フォトダイオードPDからシフトされた信号電荷を水平電荷転送路（不図示）方向に転送する。

なお、これらフォトダイオードPDの上面には、たとえばRGB原色色フィルタまたは補色型色フィルタと、光を各主画素PDLおよび副画素PDSに集光させるためのマイクロレンズとが、たとえば各フォトダイオードPD単位で積層配置されているがそれらの図示を省略している。信号電荷は垂直電荷転送路(VCCD)を垂直転送しさらに水平転送パルスによって水平電荷転送路を水平転送する。水平転送した信号電荷は水平電荷転送路の終端に接続された不図示の出力アンプにて検出されて、出力アンプは信号電荷量に応じた電気信号を各画素の画素値を表す画素信号として撮像部22から出力する。

図２に戻って、撮像部22の撮像素子300、撮像レンズ、絞りおよびメカニカルシャッタは、タイミング信号生成回路(TG) 40から供給されるレリーズ信号（S1,S2）および電子シャッタ制御信号(ES)およびメカニカルシャッタ開閉信号等のタイミング信号、転送パルス等の駆動パルスおよび各種制御信号等に応じたタイミングにて駆動される。

撮像部22の出力はアナログ・フロントエンド回路(AFE) 24に接続され、AEF 24は、撮像部22の出力を相関二重サンプリングする相関二重サンプル回路(CDS)と、増幅回路と、アナログ/ディジタル(AD)変換回路とを含むアナログ信号処理回路である。本実施例におけるAD変換回路は、入力信号をたとえば14ビットディジタル信号に変換して出力する。AFE 24は、撮像信号をディジタルに変換して生成したディジタル画像信号を信号処理部26に出力する。AFE 24は、TG 40から供給される画素クロック等のタイミング信号によって各画素値を処理する。

タイミング信号生成回路(TG) 40は、制御回路(CPU) 50から与えられる制御信号に応じてこれらタイミング信号を生成する。また、タイミング制御回路40による露出期間中に制御回路50からスピードライト52に発光制御信号が出力されると、TG 40は、スピードライト52を発光させるタイミングを制御する信号を出力し、制御回路50からの指示に応じて閃光時間のタイミングを調節して照射時間を制御することができる。

AFE 24の出力に接続された信号処理回路26は、入力されるディジタル画素信号を演算処理して撮像のための各種情報を生成し、また、入力される画素信号から所望の画像信号を作成する画像形成処理部である。信号処理回路26は、バス60に接続されるメモリ(DRAM) 54に画像信号を格納させるとともに一旦格納したデータに対して、主画素PDLおよび副画素PDSの各データを順次処理をして、これら主画素PDLおよび副画素PDSからの画像データを合成することにより、広ダイナミックレンジの画像データを生成する処理機能を有している。メモリ54は、主画素PDLによる１フレームの画像データと副画素PDSによる画像データとの少なくとも２フレーム分記憶する記憶領域を有している。なおメモリ54の記憶容量は、たとえば露出量ブラケット撮影（段階露出）を行う際の撮影間隔に応じてさらに複数フレーム分の画像データを格納する記憶領域を有するとよい。また、メモリ54の記憶容量は、後述するダイナミックレンジ・ブラケット処理モードによって生成される処理画像のフレーム数に応じて、処理後の複数コマの画像データを一旦蓄積記しておく記憶領域を含むとよい。

信号処理回路26は、バス60を介して制御回路50の制御を受けて各種処理を行い、これら信号処理回路26および制御回路50の機能等により、ダイナミックレンジ幅を所定量変更して処理した複数コマの処理画像を自動的に生成するダイナミックレンジ・ブラケット処理モードを有している。このダイナミックレンジ・ブラケット処理モードは、操作者によってモード設定されると有効に機能するように予め機能選択することができる。この信号処理回路26の詳細構成については後述する。

バス60には、さらに圧縮符号化部28と記録装置30と表示部32とが接続されている。圧縮符号化処理部30は、信号処理回路26にて処理された画像データを情報記録媒体に記録したり、外部へ伝送したりするための情報量抑圧を行う処理部であり、撮影した静止画および動画像に応じた圧縮符号化処理を施す。圧縮符号化した符号化データはたとえば記録装置30に送られて、半導体メモリや光ディスク等の情報記録媒体に記録される。また信号処理回路26にて表示用のデータを作成した場合や、圧縮符号化部28にて符号化データが復号されて表示用データが作成された場合、それら表示データが表示部32に供給されると表示部32は入力した表示データに応じた画像および映像を液晶表示パネル等の表示装置に表示する。

バス60に接続された制御回路(CPU) 50は、撮像記録およびモニタ再生等を制御するコンピュータ回路およびその周辺回路であり、各部を制御するファームウェアによって作動し、操作部70にて操作および設定される操作情報に応じて各部を制御する制御信号を各機能部に供給する。

信号処理回路26の詳細構成図を図１に示す。図示するように信号処理回路26は、主画素PDLにて生成されて入力される主画素データ(high)のうち、オプチカルブラック(OB)部分を処理して黒基準を算出するともにOB部分のデータを削除して出力するOB処理部100と、各画素値を演算して分光特性を補正するリニアマトリックス処理部102と、各色成分の分光感度を補正するとともにホワイトバランス(WB)を調節する演算処理を行うWBゲイン処理部104とを含み、これらは主画素PDLからの主画素データ(high)に対する前処理を行う前処理回路106を構成している。

さらに信号処理回路26は、副画素PDSにて生成されて入力される副画素データ(low)のうち、オプチカルブラック(OB)部分を処理して黒基準レベルを算出するともにOB部分のデータを削除するOB処理部108と、各画素値をマトリックス演算するリニアマトリックス処理部110と、ホワイトバランス(WB)を整える演算処理を行うWBゲイン処理部112とを含み、これらは副画素PDSからの副画素データ(low)に対する前処理を行う前処理回路114を構成している。リニアマトリックス処理部110は、三原色R,G,B画素データおよび輝度データYHを生成し得られた画像データにマトリクス処理を施し、処理後の画像データY,Cr,Cbを生成する。リニアマトリックス処理部110の出力は、WBゲイン処理部112とともに積算ブロック回路116に接続されている。

積算ブロック回路116は、リニアマトリックス処理部110にて生成される画像データYに基づいて、イメージング領域310に設定した測光エリア内の各ブロックの平輝度および最大値等を検出する演算回路である。詳しくは図３に示したようにイメージング領域310の中央部に水平方向に16ブロックおよび垂直方向に16×16ブロックに分割した16×16分割積算エリア320を設定し、これら256ブロックの輝度レベルをそれぞれブロック毎に積算した値の平均値をブロック積算値として算出し、このブロック積算値が最大であるブロック最大値Gmaxを検出する。また積算ブロック回路116は、算出したブロック積算値を制御回路50に出力して撮影の際の露出量(EV)を制御回路50に決定させるTTL測光機能を有している。積算ブロック回路116は検出したブロック最大値Gmaxを自動階調処理回路118に出力する。

自動階調処理回路118は、積算ブロック回路116から供給されるブロック最大値Gmaxに基づいて、ダイナミックレンジ（以下、”Ｄレンジ”と略記する場合がある）がそれぞれ異なる複数のＤレンジ処理画像を生成させるダイナミックレンジ・ブラケット処理を行う際に、処理するダイナミックレンジを順次決定し、決定したダイナミックレンジに対応する階調変換特性の合成テーブルを自動的に選択する自動階調処理機能を有する。自動階調処理回路118は、撮像画像を合成処理する際のダイナミックレンジを決定し、階調変換特性を選択することにより、ダイナミックレンジが異なる複数画像の合成画像データを作成させる機能を有する。本実施例における自動階調処理回路118は、ダイナミックレンジをたとえば６段階に分割し、これら複数段階に応じた階調変換特性を選択する。具体的には、後述するγ補正回路122とルックアップテーブル130に格納された変換テーブルとを各ダイナミックレンジに応じて順次選択する。

また、自動階調処理回路118は、異なるダイナミックレンジの処理画像の作成コマ数を積算ブロック回路116から供給されるブロック最大値Gmaxに基づいて自動的に制限する機能を有する。具体的には、自動階調処理回路118は、被写界のダイナミックレンジが主画素PDLによる高感度側の画像で表現できるダイナミックレンジの何倍であるかを、撮影シーンの状態、たとえばブロック最大値Gmaxに基づいて判断し、ダイナミックレンジ・ブラケットモードが設定されると、そのブロック最大値Gmaxを含むダイナミックレンジまでの処理を行い、そのダイナミックレンジを超える段階のダイナミックレンジ画像の生成処理を自動的に行わないように制御する。

この被写界のダイナミックレンジの算出処理を説明すると、自動階調処理回路118は、図５に示したように主画素PDLの最大値が14[bit]で表され、副画素PDSの飽和レベルが主画素の1/4になるので、副画素PDSの値は"0〜4095"の12[bit]で表され、この最大値"4095"をダイナミックレンジ400％とする算出式(1)により被写界のダイナミックレンジDｘを決定する。

Dｘ＝ブロック最大値Gmax ×400[%] / (4095) [%] ・・・（１）
なお、自動階調処理回路118は、たとえば自動露出時において制御回路50から制御される実際の露出量および露出補正量等を考慮して、処理するダイナミックレンジの幅を制限してもよい。

図１に戻って、WBゲイン処理部104,112の出力は前処理回路106,114の出力を構成し、それぞれγ補正回路120,122に接続されている。γ補正回路120,122はそれぞれ14ビットデータの主画素データ(high)および最大12ビットデータの副画素データ(low)のガンマ（γ）を補正する回路であり、一方のγ補正回路120は、画像信号の出力形態等の処理目的に応じた階調にそれぞれ補正してたとえば８ビットにて表される主画素データ(high)を出力する。他方のγ補正回路122は、副画素データ(low)を補正する複数の変換テーブルを備え、自動階調処理回路118から供給される選択信号により選択される変換特性の変換テーブルを用いて副画素データ(low)を階調変換する点でγ補正回路120と異なり、変換後の副画素データ(low)を出力する。主画素PDLを処理するγ補正回路120の出力はルックアップテーブル(LUT) 130に接続されている。

ルックアップテーブル(LUT) 130は、主画素PDLからの主画素画像データ(high)に対し、ゲインを調節する複数段階のダイナミックレンジ・パラメータに応じた階調特性があらかじめそれぞれ設定されたゲインテーブル(h_gain) 132を含む階調変換回路である。さらにルックアップテーブル(LUT) 130は、副画素PDSからの副画素画像データ(low)に対し、ゲインを調節する複数段階のダイナミックレンジ・パラメータに応じた階調特性があらかじめそれぞれ設定されたゲインテーブル(l_gain) 134を含む。これらゲインテーブル(h_gain) 132とゲインテーブル(l_gain) 134とには、それぞれ、６段階のダイナミックレンジに対応する複数の変換テーブルが格納されて、それぞれの変換テーブルは、入力データを８ビットデータに変換して出力する。

ゲインテーブル(h_gain) 132の出力と、このテーブル変換前の値、つまりγ補正回路120の出力とが入力データを乗算する乗算器140に接続されている。また、ゲインテーブル(l_gain) 134の出力と、副画素PDSから生成されて処理されたγ補正回路122の出力とが入力データを乗算する乗算器142に接続されている。さらに乗算器140,142の各出力は、入力データを加算演算する加算器144に接続されて、加算器144の出力がリミッタ回路146に接続されている。リミッタ回路146は、加算器144の出力データをたとえば８ビット幅のデータに制限する回路であり、値"256"以上のデータが入力した場合に値"255"の固定値を出力する。リミッタ回路146の出力は信号処理部26の出力を形成し、バスインタフェースを介してバス60に接続される。このように、ゲインテーブル(h_gain) 132は、γ補正回路120の出力に接続されて、主画素PDLの値を階調変換する際の重みを決定するテーブル値が設定されている。また、ゲインテーブル(l_gain) 134は、γ補正回路122の出力に接続されて、副画素PDSの値を階調変換する際の重みを決定するテーブル値が設定されている。

ここで、ルックアップテーブル(LUT) 130に格納された階調変換テーブルと広ダイナミックレンジ合成処理とについて説明する。この広ダイナミックレンジ合成処理の合成式を示すと、リミッタ回路146に出力される合成後の値"data"は、次式(2)により導かれる。

"data"＝(high+MIN(high/th,1)×low)×MAX(1-lg(high/th),p) ・・・（２）
＝MAX(1-lg(high/th),p)×high＋(MAX(1-lg(high/th),p)×MIN(high/th,1))×low ・・・（３）
ここで、
h_gain＝MAX(1-lg(high/th),p) ・・・（４）
l_gain＝MAX(1-lg(high/th),p)×MIN(high/th,1))＝h_gain×wl ・・・（５）
とすると、
data＝h_gain×high＋l_gain×low ・・・（６）
である。

式(6)で示されるように、主画素データ(high)とゲインテーブル(h_gain) 132とを乗算器140にて乗算した演算結果と、副画素データ(low)とゲインテーブル(l_gain) 134とを乗算器142にて乗算した演算結果とを加算器144にて加算した演算結果がリミッタ回路146に出力される。

LUT 130のゲインテーブル(h_gain) 132は、たとえば図６に示すような入出力特性600を有し、実施例ではパラメータ"th","p","lg"に応じて設定された複数種類（６パターン）の変換テーブルを備えている。また、ゲインテーブル(l_gain) 134は、図６に示した入出力特性にたとえば図７に示す入出力特性700が乗算されるものであり、実施例ではパラメータ"th","p","lg"に応じて設定された複数種類（６パターン）の変換テーブルを備えている。

自動階調処理回路118は、図８に示すように、複数段階(a)〜(f)の処理パターンにダイナミックレンジ処理を切り替えるために、たとえば400[％]までのダイナミックレンジを各段階のダイナミックレンジ閾値D12、D23、D34、D54、D56およびD56以上の６段階毎に処理範囲を分割し、これら範囲毎に対応する副画素γテーブル(BLUT 0〜5)と合成テーブル(MIXLUT 0〜5)とを対応関係表800に基づいてそれぞれ選択する。自動階調処理回路118は、副画素γテーブル(BLUT：0〜5)のいずれかを処理段階毎に順次選択する選択信号をγ補正回路122に出力し、また合成テーブル(MIXLUT：0〜5)のいずれかを処理段階毎に順次選択する選択信号をルックアップテーブル(LUT) 130に出力する。この選択信号は、たとえば副画素γテーブル(BLUT 0〜5)および合成テーブル(MIXLUT 0〜5)のそれぞれのアドレスを直接指定するテーブル番号等のアドレス情報でよい。なお、自動階調処理回路118は、ブロック最大値Gmaxを含む段階までの広ダイナミックレンジ化の合成処理を実行させて、それを超える段階のダイナミックレンジ処理を行わないように制限することができる。

図２に戻って制御回路(CPU) 50は、操作部70にて操作および設定される操作情報に応じて各部を制御するシステム制御部であり、マイクロコンピュータ回路とそのファームウェアおよびデータを記憶する記憶素子やコンピュータ周辺回路等を含む。

制御回路50は、操作部70にて検出されるレリーズ操作のシャッタレリーズ半押し(S1)を認識すると、被写界を予備撮影させて測光および測距して撮影制御情報を取得し、これら撮影制御情報に基づいて露出値とフォーカス位置とを制御するとともに、撮像映像を表示部32にモニタ表示させる制御を行う。

制御回路50はさらに、シャッタレリーズ全押し(S2)を認識すると、被写界をたとえば撮影制御情報に基づいて本撮影させる。制御回路50は、操作部70から露光量ブラケット撮影モードが指示されると、決定した露出値とその露出値をプラス補正および（または）マイナス補正した露出値とにて段階露出撮影する露光量ブラケット撮影を制御する。露光量ブラケット撮影モードでは、たとえば、補正量が-1/3EV,0EV,+1/3EV,+2/3EV,+1EV,...等の段階露出による連続撮影を行う。

さらに制御回路50は、操作部70からダイナミックレンジ・ブラケット処理モードが指示されると、撮影画像データに対する広ダイナミックレンジ合成処理を、複数の異なるダイナミックレンジ画像を得られるように信号処理部26を制御する機能を有する。本実施例では、露光量ブラケット撮影時において、さらにダイナミックレンジ・ブラケット処理モードが設定されている状態にて、プラス補正側で撮影する際に複数の広ダイナミックレンジ処理画像を生成することができ、この場合、マイナス補正側での撮影時と、無補正（±0EV）撮影時には、広ダイナミックレンジ処理画像を生成する処理を１コマなどに制限することができる。

以上のような構成で、本実施例におけるディジタルカメラ20の動作を図９を参照して説明すると、同図にはディジタルカメラ20の基本的な撮像シーケンスが示されている。まず、シャッタレリーズ半押し後の期間S1では、メカニカルシャッタが解放されるとともに、モニタ画像撮影のための撮像制御がその撮像信号に基づいて行われて露出量および焦点調節が自動調節されるとともに、その撮像画像が間引き処理されてたとえば毎秒15〜30フレームの動画像が表示部32にモニタ表示される。

そこでシャッタレリーズ全押しが検出されると期間S2において、電子シャッタパルスESが撮像部22の撮像素子300に与えられる。撮像素子300は不要電荷の高速掃き出しの後、電子シャッタパルスESに応じたタイミングにて掃き出しを停止するとともに、メカニカルシャッタは引き続き解放されている。撮像素子300では受光量に応じた信号電荷の生成が行われ、メカニカルシャッタが閉成して露光時間が終了すると主画素PDLにて生成された信号電荷を主画素PDLに対するフィールドシフトパルスFS1に応動して垂直および水平電荷転送路に読み出して転送し、信号電荷に応じた画素信号を出力する。これら主画素PDLからの画素信号はAFE 24および信号処理部26にて処理されてメモリ54に格納される。

次いで副画素PDSに対するフィールドシフトパルスFS2がTG 40から撮像素子300に供給されると、副画素PDSにて生成された信号電荷が垂直および水平電荷転送路に読み出されて、信号電荷に応じた画素信号が出力される。これら副画素PDSからの画素信号はAFE 24および信号処理部26にて処理されてメモリ54に格納される。この副画素取り込みが行われるとともに、信号処理部26では、既に主画素取り込みによってメモリ54に格納した主画素信号に対し自動ホワイトバランス調整、画素欠陥補正、OB処理、リニアマトリックス補正およびホワイトバランスゲイン処理等の前処理が施される。

副画素取り込みが完了すると、メモリ54に格納されている副画素信号について信号処理部26にて前処理が施された後、これら前処理後の主画素PDLおよび副画素PDSの各画像データを階調合成して広ダイナミックレンジ化する自動階調処理が施され、処理後の広ダイナミックレンジ化された合成画像データは信号処理部26からたとえば圧縮符号化処理部28に出力されて圧縮符号化され、記録装置30にて情報記録媒体にその符号化データが記録され、こうして一連の撮像シーケンスが終了する。

ここで、ダイナミックレンジ・ブラケット撮影モードと、露光量ブラケット撮影モードとが設定された場合のディジタルカメラ20の動作を図10を参照して説明すると、まずステップS1000にて操作部70への操作情報によって、Dレンジ・ブラケット撮影モードと露光量ブラケット撮影モードとが指示されると各モードがオン状態に設定される。次いでS1010にてレリーズスイッチS1のオン操作が検出されると、ステップS1020に進んで予備撮影動作状態に移行する。この動作は図９に示したS1期間と同様に、メカニカルシャッタが解放されて動画像撮影が開始されて、その動画像信号から自動露出および自動焦点調節のための撮像制御情報が生成されるとともに撮像した動画像がモニタ表示される。

次にS1030にてレリーズスイッチS2のオン操作が検出されると、ステップS1040に進んで本撮像が行われる。この場合、露光量ブラケット撮影モードが設定されているので、露出補正段階に応じた露出量は複数段階のうちのいずれかが選択される。

この本撮像動作は図９に示したS2期間と同様に、メカニカルシャッタが継続して解放された状態にて電子シャッタパルスESに応じた露出タイミングにて一コマの露光が開始されて、次の段階露出撮影の際の電子シャッタ動作（電荷掃き出し動作）またはメカニカルシャッタの閉成により露光が完了する。ステップS1040では、図９に示した期間S2と同様に、主画素PDLおよび副画素PDSのそれぞれにて生成された信号電荷に応じた画素信号が信号処理部26にてそれぞれ前処理されてメモリ54に格納される。信号処理部26は、これらメモリ54に取り込まれた画素信号を処理し、さらに、被写体に応じた範囲の広ダイナミックレンジ化の処理を行う。詳しくは、ステップS1050では、信号処理部26の前処理回路114にて副画素入力データがマトリクス処理を施されて画像データY,Cr,Cbに変換され、ステップS1050にて輝度信号を表す画像データYが積算ブロック回路116に入力される。

ステップS1050では、イメージング領域310における256ブロックの輝度レベルをそれぞれブロック毎に積算し、それらの中で値が最大であるブロック最大値Gmaxが検出される（ステップS1060）。なお、本実施例では副画素PDSから生成した画像データYからブロック最大値Gmaxを算出したがこれに限らず、たとえば主画素PDLの生成信号電荷と副画素PDSの生成信号電荷とをそれぞれ垂直電荷転送路VCCDに混合して撮像素子300から読み出して前処理した画像信号データから各ブロックの積算値およびブロック最大値Gmaxを求めるようにしてもよい。

自動階調処理回路118は、そのブロック最大値Gmaxに基づいて上式（１）を演算して被写界のダイナミックレンジDｘを認識し、たとえばＤレンジ100[％]から、ダイナミックレンジDxを含む最小限度のＤレンジxx[%]までの範囲のダイナミックレンジを選択する。これらＤレンジは、本実施例ではたとえば図８および図11に示すようにダイナミックレンジ閾値"D12未満"、"D23"、"D34"、"D45"、および"D56以上"毎に６段階(a)〜(f)にそれぞれ分割されて、自動階調処理回路118は、たとえば、認識したダイナミックレンジDxが200[％]であった場合には、段階(a),(b),(c)および(d)に対応する変換テーブルを順次選択する。

本ルーチンでは、まず段階(a) の範囲に対応する副画素γテーブルBLUT0と合成テーブルMIXLT0とが選択される。これらテーブルを選択する選択信号は、それぞれγ補正回路122およびLUT 130に供給されて、各回路は、選択されたテーブルを使用して入力画像データを階調変換する。テーブル変換された画像データは、乗算器140,142および加算器144にて合成演算されて、リミッタ回路146を介して出力される。信号処理部26の出力データは、たとえば圧縮符号化部28にて符号化された後、その処理画像データは記録装置30に供給されて情報記録媒体に記録される（S1090）。

次にステップS1100に進むと、次のＤレンジ処理の有無が確認されて、処理有り(Yes)の場合には、ステップS1080に戻って次の範囲の段階(b)に対応する副画素γテーブル(BLUT1)と合成テーブル(MIXLT1)とが選択されて以降の処理が続行される。逆にステップS1100にて次の段階のＤレンジ処理が無い(No)と判断した場合にはステップS1110に進む。

たとえば、ダイナミックレンジDxが200[％]であった場合には、図11に示す範囲までの段階(d)に対応する副画素γテーブル(BLUT3)と合成テーブル(MIXLUT3)とによる広ダイナミックレンジ処理が行われる。ステップS1110に進むと、次の段階露出による撮影が有るか否かが判定されて、撮影有り(Yes)と判断した場合には、ステップS1040に戻って、露出量ブラケット撮影に応じた段階露出による本撮像が一コマ分行われて以降の処理が継続される。設定された補正範囲の段階露出撮影が終了し、さらにそれぞれの撮影において、設定されたＤレンジ・ブラケット処理が完了し、処理画像データがたとえば情報記録媒体に記録完了すると、本ディジタルカメラ20は撮影待機状態に復帰する。

ここで図12を参照すると、ダイナミックレンジ処理が100％、130％、230％および400％である場合の合成階調変換特性を示している。なお、同図において、ダイナミックレンジ処理が130％および300％場合の階調変換特性は図の煩雑化を避けるためその図示を省略している。図示するように、被写体輝度に応じた最終信号処理画像の出力レベル（０〜255レベル）において、ダイナミックレンジ処理100％の場合を特性1200にて示し、130％の場合を特性1210にて示し、230％の場合を特性1220にて示し、400％の場合を特性1230にて示している。

なお、たとえば被写界輝度のダイナミックレンジが350％であることがブロック最大値Gmaxにより検出された場合には、図11から段階(f)までの処理を行うことを決定し、段階(a)から段階(f)までの100〜400％の広ダイナミックレンジ処理画像を一つの露出について６段階分処理画像を作成して記録することができる。

本実施例では、段階露出の露光量ブラケット撮影のそれぞれのコマごとに、特性1200〜特性1230にて示されるように、ブロック最大値Gmaxに応じて制限した範囲内の複数の広ダイナミックレンジ処理がなされた複数画像を合成処理して作成し、情報記録媒体に記録している。これは、たとえば、測光により得られる適正露出値よりもオーバー露出方向にプラス補正して撮影する場合などに、高輝度圧縮をかける合成処理を行うことができるので、ハイライト領域の階調を再現可能な合成画像データを記録保存することができる。なお、ブロック最大値が100％以下の場合では、各段階露出においてそれぞれ１つのダイナミックレンジ処理を行って処理画像を記録するとよい。また、処理範囲を制限しているので、たとえばブロック最大値が低い100％以下のダイナミックレンジの画像データについて、たとえば400％の広ダイナミックレンジ化処理を行うことが制限されるので過剰な処理を防止するとともに、情報記録媒体の記録領域を圧迫することを防止することができる。

図２に示す実施例におけるディジタルカメラにおける信号処理部の詳細構成例を示すブロック図である。 本発明が適用された画像処理装置をディジタルカメラに適用した場合のブロック図である。 撮像部に備えられる撮像素子のイメージング領域とイメージング領域に設定される16×16分割積算エリアを示す概略図である。 撮像素子の受光部の構成例を示す図である。 撮像素子の主画素と副画素との面積比が４：１の場合の入力輝度に対する撮像素子出力状態を示す図である。 ルックアップテーブル(LUT)内のゲインテーブル(h_gain)の入出力性の一例を示す図である。 ルックアップテーブル(LUT)内のゲインテーブル(l_gain)の入出力性の一例を示す図である。 複数段階(a)〜(f)の処理パターンに対応する副画素γテーブル(BLUT 0〜5)と合成テーブル(MIXLUT 0〜5)との対応関係を示す図である。 実施例におけるディジタルカメラの基本的な撮像シーケンスを示す図である。 ダイナミックレンジ・ブラケット撮影モード、露光量ブラケット撮影モードが設定されたディジタルカメラの動作を表すフローチャートである。 ダイナミックレンジ閾値"D12","D23","D34","D45","D56"にてダイナミックレンジを６段階(a)〜(f)に分割し、各段階に対応する副画素γテーブル(BLUT 0〜5)および合成テーブル(MIXLUT 0〜5)を選択する動作を説明するための図である。 ダイナミックレンジ処理が100％、130％、230％および400％である場合の合成階調変換特性例を示す図である。

符号の説明

20 ディジタルカメラ
22 撮像部
26 信号処理部
50 制御回路(CPU)
54 メモリ(DRAM)
106,114 前処理回路
116 積算ブロック回路
118 自動階調処理回路
120,122 γ補正回路
130 ルックアップテーブル(LUT)
132 ゲインテーブル(h_gain)
134 ゲインテーブル(l_gain)
140,142 乗算器
144 加算器
146 リミッタ回路

Claims (15)

1. 被写界を撮像する撮像手段に配設される高感度画素からの第１の撮像信号と低感度画素からの第２の撮像信号とを処理する画像処理装置において、該装置は、
   同一露光による第１および第２の撮像信号を前処理し、該第１および第２の撮像信号をディジタル値に変換し、前記前処理および変換後の第１の画像データおよび第２の画像データを出力する前処理手段と、
   該前処理手段にて処理された前記第１および第２の画像データをそれぞれ階調変換する複数の変換特性をそれぞれ有する第１および第２の階調変換手段と、
   該第１および第２の階調変換手段の階調変換出力を合成する演算手段と、
   前記階調変換手段における階調変換特性を自動的に選択して、複数のダイナミックレンジの複数コマの合成処理画像データを生成させる自動階調処理手段とを含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、該装置は、前記被写界の最大ダイナミックレンジを検出する検出手段を含み、
   前記自動階調処理手段は、前記検出手段による検出結果に基づいて、前記階調変換特性を選択することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、前記検出手段は、前記前処理されて生成される第２の画像データに基づいて前記最大ダイナミックレンジを検出することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、前記自動階調処理手段は、前記最大ダイナミックレンジに応じて複数のダイナミックレンジの複数コマの合成処理画像データを生成させる処理を制限することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、該装置は、前記撮像手段を含む撮像装置であることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、該装置は、前記合成処理画像データを記録する記録手段を含むことを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、該装置は、前記撮像手段を制御する制御手段を含み、該制御手段は、前記被写界を段階露出にて撮像させる露光量ブラケット撮影モードを有することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、前記制御手段は、前記露光量ブラケット撮影モードにて生成される複数コマの第１および第２の撮像信号から前記第１および第２の画像データを前記それぞれの撮影コマについて生成させることを特徴とする画像処理装置。
9. 被写界を撮像する撮像手段に配設される高感度画素からの第１の撮像信号と低感度画素からの第２の撮像信号とを処理する画像処理方法において、該方法は、
   同一露光による第１および第２の撮像信号を前処理し、該第１および第２の撮像信号をディジタル値に変換し、前記前処理および変換後の第１の画像データおよび第２の画像データを出力する前処理工程と、
   該前処理工程にて処理された前記第１および第２の画像データを複数の変換特性にてそれぞれ階調変換する第１および第２の階調変換工程と、
   該第１および第２の階調変換工程にてそれぞれ階調変換した値を合成する演算工程と、
   前記階調変換工程にて処理する階調変換特性を自動的に選択して、複数のダイナミックレンジの複数コマの合成処理画像データを生成させる自動階調処理工程とを含むことを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法において、該方法は、前記被写界の最大ダイナミックレンジを検出する検出工程を含み、
    前記自動階調処理工程は、前記検出工程による検出結果に基づいて、前記階調変換特性を選択することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法において、前記検出工程は、前記前処理されて生成される第２の画像データに基づいて前記最大ダイナミックレンジを検出することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、前記自動階調処理工程は、前記最大ダイナミックレンジに応じて複数のダイナミックレンジの複数コマの合成処理画像データを生成させる処理を制限することを特徴とする画像処理方法。
13. 請求項９に記載の画像処理方法において、該方法は、前記合成処理画像データを記録する記録工程を含むことを特徴とする画像処理方法。
14. 請求項９に記載の画像処理方法において、該方法は、前記撮像手段を制御する制御工程を含み、前記被写界を段階露出にて撮像させる露光量ブラケット撮影モードにて前記被写界を撮像することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法において、前記制御工程は、前記露光量ブラケット撮影モードにて生成される複数コマの第１および第２の撮像信号から前記第１および第２の画像データをそれぞれの撮影コマについて生成させることを特徴とする画像処理方法。

Images