JP2011244309A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、第１のラインと異なる固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する合成処理部を備える。
【選択図】図１１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

一般的に監視用途などに利用されるカメラシステムでは、逆光シーンの撮影や、屋内と屋外の同時撮影などにおいて、暗部から明部まで画像が破たんすることなく表示できる広ダイナミックレンジの特性が要求される。この広ダイナミックレンジ特性を実現するため、従来、様々な手法が提案されている。例えば、ＣＣＤ、ＣＭＯＳイメージセンサなどの撮像素子における露光や読み出しを工夫することによって、高ダイナミックレンジ特性を実現する方法がいくつかある。

撮像素子における露光を工夫する最も一般的な方法として、複数回露光方式と呼ばれている方法がある。複数回露光方式は、長時間露光によって暗部の感度を高めた画像と短時間露光によって明部の白とびを抑えた画像を合成して広ダイナミックレンジの画像を生成する。

複数回露光方式では、ＣＭＯＳイメージセンサの一つの行において、長時間露光と短時間露光を交互に行い、それぞれの露光から得られた信号を交互に読み出す。そのため、長時間露光のデータは、露光期間が最大で１ビデオフレーム期間Ｔｆの半分に設定されてしまう。これは、ビデオフレーム期間Ｔｆが最長の露光期間として設定できる通常のイメージセンサの動作に比べて、最長の露光期間が半分になるため、感度が半分になってしまう。その結果、複数回露光方式は暗部の感度を劣化させる。

また、複数回露光方式では、動く被写体に対して偽色と呼ばれる現象が発生するという問題点がある。これは、従来、長時間露光と短時間露光を交互に行う際、短時間露光と長時間露光の露光期間の間に１ビデオフレーム期間Ｔｆの半分の時間であるＴ２の分だけ時間差が生じている。そのため、この時間差の間に動く被写体が存在すると、短時間露光の画像と長時間露光の画像が同一にならない。その結果、偽色が発生する。

また、イメージセンサの画素が、赤、緑、青のカラーフィルタによって区別されるとき、合成処理において長時間露光の信号と短時間露光の信号を選択する際、異なる色信号が選択された場合、各色信号の間で同時刻性が失われてしまう。そのため、色成分比が実際の被写体とはずれてしまい、後段で行われるカメラ信号処理中の色再現（デモザイク）処理時に本来ありえない色が生成されてしまう。

これらの偽色は、背景と動く被写体の輝度差が大きい場合に、動く被写体のエッジに顕著に現れ画質劣化の原因となる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、第１のラインと異なる固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する合成処理部を備える、画像処理装置が提供される。

上記第１の露光期間から第１の信号電荷を読み出す時刻と、第２の露光期間から第２の信号電荷を読み出す時刻との間の時間差は、固体撮像素子の１ライン分の読み出しにかかる期間の整数倍であってもよい。

上記第２の露光期間は、第１の露光期間の中間であってもよい。

上記第２の露光期間による露光は、第１の露光期間内に複数回行われてもよい。

上記合成処理部は、第１の画像データと、複数の第２の画像データを合成してもよい。

複数の第２の画像データは、合成前に平均化処理又は加算処理されてもよい。

上記第１のライン上の単位画素は、常に第１の露光期間で露光され、第２のライン上の単位画素は、常に第２の露光期間で露光されてもよい。

上記第１のライン上の単位画素は、第１の露光期間と第２の露光期間を交互に入れ替えて露光され、第２のライン上の単位画素は、第１のライン上と反対に第２の露光期間と第１の露光期間を交互に入れ替えて露光されてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、第１のラインと異なる固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成するステップを備える、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、第１のラインと異なる固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する手段としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本発明によれば、異なる露光期間によって得られる画像データの合成により広ダイナミックレンジ画像を取得する際、低照度時の感度を維持しながら、偽色を回避することができる。

イメージセンサの構成例を示す図である。 単位画素の回路構成例を示す図である。 画素信号読み出し時の各信号線のタイミングを示す図である。 従来の動作を説明するための図である。 時刻ｔ１におけるライン位置を示す図である。 時刻ｔ３におけるライン位置を示す図である。 合成処理を説明するための図である。 イメージセンサの構成例を示す図である。 第１の実施形態の動作を説明するための図である。 時刻ｔ２におけるライン位置を示す図である。 画像処理装置の構成例を示す図である。 本実施形態のタイミングを示す図である。 第２の実施形態の動作を説明するための図である。 時刻ｔ３におけるライン位置を示す図である。 画像処理装置の構成例を示す図である。 本実施形態のタイミングを示す図である。 第３の実施形態の動作を説明するための図である。 時刻ｔ４におけるライン位置を示す図である。 画像処理装置の構成例を示す図である。 本実施形態のタイミングを示す図である。 第４の実施形態の動作を説明するための図である。 時刻ｔ５におけるライン位置を示す図である。 画像処理装置の構成例を示す図である。 本実施形態のタイミングを示す図である。 第５の実施形態の動作を説明するための図である。 時刻ｔ２，ｔ３におけるライン位置を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態

＜１．第１の実施形態＞
［第１の実施形態の構成］
本実施形態は従来例の複数回露光方式に対し、新たなイメージセンサ駆動方法を適用するものである。以下にＣＭＯＳイメージセンサを用い、複数回露光の一例として２回露光方式を採用した場合の操作方法の概略を説明する。

本実施形態のイメージセンサ１０の構成は、従来と同じである。
図１は、本発明の一実施形態に係る固体撮像素子、例えばＣＭＯＳイメージセンサ１０の構成例を示す図である。イメージセンサ１０は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２０が行列状（マトリクス状）に２次元配置されてなる画素アレイ部１１を有する。また、イメージセンサ１０は、画素アレイ部１１の周辺回路として、例えば、Ｖデコーダ（垂直走査部）１２、カラム信号処理回路１３、カラム選択回路１４、Ｈデコーダ１５等を有する構成となっている。

画素アレイ部１１には、単位画素２０が行列状に２次元配置されている。単位画素２０は、列ごとに垂直信号線ＳＩＧが配線され、ラインごとに駆動制御線、例えば転送制御線ＴＲＳとリセット制御線ＲＳＴおよび選択制御線ＳＥＬが配線されている。

図２に、単位画素２０の回路構成例を示す。単位画素２０は、光電変換素子、例えばフォトダイオードＰＤに加えて、例えば転送トランジスタＴ１、リセットトランジスタＴ２、増幅トランジスタＴ３及び選択トランジスタＴ４の四つのトランジスタを有する画素構成となっている。

転送トランジスタＴ１は、フォトダイオードＰＤのカソード電極と電荷電圧変換部であるフローティングディフュージョンＦＤとの間に接続されている。また、転送トランジスタＴ１のゲート電極は、転送制御線ＴＲＳに接続されている。転送トランジスタＴ１は、フォトダイオードＰＤで光電変換が行われたことにより蓄積された信号電荷を、ゲート電極（制御電極）に転送パルスが与えられることによってフローティングディフュージョンＦＤに転送する。

リセットトランジスタＴ２は、画素電源ＶＤＤにドレイン電極が、フローティングディフュージョンＦＤにソース電極がそれぞれ接続されている。また、リセットトランジスタＴ２のゲート電極は、リセット制御線ＲＳＴに接続されている。リセットトランジスタＴ２は、フォトダイオードＰＤからフローティングディフュージョンＦＤへの信号電荷の転送に先立って、ゲート電極にリセットパルスが与えられることによってフローティングディフュージョンＦＤの電位を所定電位にリセットする。

増幅トランジスタＴ３は、フローティングディフュージョンＦＤにゲート電極が、画素電源ＶＤＤにドレイン電極がそれぞれ接続されている。増幅トランジスタＴ３は、リセットトランジスタＴ２によってリセットされた後のフローティングディフュージョンＦＤの電位をリセットレベルとして出力する。さらに、増幅トランジスタＴ３は、転送トランジスタＴ１によって信号電荷が転送されたあとのフローティングディフュージョンＦＤの電位を信号レベルとして出力する。

選択トランジスタＴ４は、例えば、ドレイン電極が増幅トランジスタＴ３のソース電極に、ソース電極が垂直信号線ＳＩＧにそれぞれ接続されている。また、選択トランジスタＴ４のゲート電極は、選択制御線ＳＥＬに接続されている。選択トランジスタＴ４は、ゲート電極に選択パルスが与えられることによってオン状態となり、単位画素２０を選択状態として増幅トランジスタＴ３から出力される電気信号を垂直信号線ＳＩＧに出力する。

なお、選択トランジスタＴ４については、画素電源ＶＤＤと増幅トランジスタＴ３のドレイン電極との間に接続した構成とすることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタＴ４を省略し、増幅トランジスタＴ３を選択トランジスタＴ４として兼用する３トランジスタの構成であってもよい。さらに、増幅トランジスタＴ３を複数の単位画素間で共有する構成などであってもよい。

図１に示すＶデコーダ１２は、ライン選択回路とドライバ回路を備えている。ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。ライン選択回路は、走査制御部の制御のもと、画素アレイ部１１の各単位画素２０をライン単位で垂直走査するための転送パルス、リセットパルスおよび選択パルス等の画素駆動パルスを発生する。

ドライバ回路は、ライン選択回路による垂直走査に同期して、単位画素２０の各トランジスタＴ１，Ｔ２，Ｔ４をＯＮ／ＯＦＦするための所定電圧とされた転送パルス、リセットパルスおよび選択パルスを単位画素２０に供給する。また、ドライバ回路は、垂直走査に同期して、単位画素２０の各トランジスタＴ１，Ｔ２，Ｔ４をＯＮ／ＯＦＦするための電圧の中間的な電圧（以下、「中間電圧」と記述する）の転送パルスを単位画素２０に供給する処理も可能とされている。

カラム信号処理回路１３は、画素アレイ部１１の各列に対して単一に配されている。カラム信号処理回路１３は、垂直走査によって選択された読み出しラインの各単位画素２０から垂直信号線ＳＩＧを通して出力される電気信号に対して所定の信号処理を行い、単位画素２０から読み出された信号電荷に応じた画素信号を生成して一時的に保持する。例えば、カラム信号処理回路１３は、信号処理としてＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理を行い、リセットノイズや増幅トランジスタＴ３の閾値ばらつき等の画素固有の固定パターンノイズを低減させる。また、カラム信号処理回路１３は、アナログ信号をデジタル信号に変換するＡＤ変換処理等も行う。

カラム選択回路１４は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。カラム選択回路１４は、画素アレイ部１１の画素列ごとの水平走査を行い、カラム信号処理回路１３に一時的に保持されている画素信号を、水平走査順にＨデコーダ１５で読み出させる。

Ｈデコーダ１５は、水平選択スイッチ等によって構成されており、カラム信号処理回路１３に一時的に保持されている画素信号を、カラム選択回路１４による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。

走査制御部は、Ｖデコーダ１２やカラム選択回路１４の動作を制御して、画素アレイ部１１の単位画素２０をライン単位で垂直方向に走査する、また垂直走査によって読み出された各画素の信号を水平走査によって出力させる。

画素信号読み出し時の各信号線のタイミングを図３に示す。図３（Ａ）は、ｎ行目の選択制御線ＳＥＬ＿ｎにおける選択信号を示している。選択制御線ＳＥＬ＿ｎにおける選択信号は、ｎ行目（Line(n)）の画素を選択する選択信号である。同様に、図３（Ｂ）は、ｎ＋１行目の選択制御線ＳＥＬ＿ｎ＋１における選択信号を示している。図３（Ｃ）は、ｎ行目のリセット制御線ＲＳＴ＿ｎにおけるリセット信号を示している。リセット制御線ＲＳＴ＿ｎにおけるリセット信号は、ｎ行目（Line(n)）の画素におけるフローティングディフュージョンＦＤの電位を所定電位にリセットする信号である。図３（Ｄ）は、ｎ行目の転送制御線ＴＲＳ＿ｎにおける転送信号を示している。転送制御線ＴＲＳ＿ｎにおける転送信号は、ｎ行目（Line(n)）の画素において、蓄積された信号電荷をフローティングディフュージョンＦＤに転送する信号である。

ここで、選択制御線ＳＥＬ＿ｎにおいて選択信号がハイレベル「Ｈ」とされたとき、ｎ行目（Line(n)）の画素が選択される。そして、リセット制御線ＲＳＴ＿ｎにおいてリセット信号がハイレベル「Ｈ」とされたとき、ｎ行目（Line(n)）の画素におけるフローティングディフュージョンＦＤが所定電位にリセットされる。その後、所定の露光期間が経過したとき、転送制御線ＴＲＳ＿ｎにおける転送信号がハイレベル「Ｈ」とされて、ｎ行目（Line(n)）の画素で所定の露光期間中に蓄積された電荷がフローティングディフュージョンＦＤに転送される。

このようにｎ行目（Line(n)）の画素が駆動されると、図３（Ｅ）に示す垂直信号線ＳＩＧにおける信号がカラム信号処理回路１３に供給されることになる。

カラム信号処理回路１３は、フローティングディフュージョンＦＤがリセットされたときの電気信号と、フローティングディフュージョンＦＤに対して露光期間中に蓄積された電荷が転送されたときの信号の差分演算を行うことにより、画素間の固定ばらつきノイズを除去した画素信号を生成して一時保持する。この保持されている画素信号が、カラム選択回路１４で行われる水平走査によって順次読み出されて画像信号の出力が行われる。

［従来の動作］
次に、図４〜図６を参照して、従来の動作について説明する。
図４（Ａ）は、画素アレイ中のｎ行目（Line(n)）に着目した場合の、フォトダイオードに蓄積された信号電荷の時間変化を表す。

複数回露光方式の一例である２回露光方式では、カメラシステムとしての１ビデオフレーム期間Ｔｆ（例えば１／３０ｓ）に画素アレイを２回走査（scan）することによって、長時間露光による信号と短時間露光による信号の２つの画像信号を読み出すことができる。図４（Ｂ）に示すように、長時間露光の画像信号はＴｆの半分の期間であるＴ１＝Ｔｌを光の蓄積期間とし、時刻ｔ１で読み出される。一方、短時間露光の画像信号を読み出すためには、Ｔ２の期間において、時刻ｔ１から蓄積された信号電荷に対し、時刻ｔ２で一旦リセットをかけることによって、いわゆるシャッタ動作を行う。そして、Ｔｓ期間を露光期間として、時刻ｔ３で短時間露光の画像信号が読み出される。

これらの行読み出し動作は、画素アレイにおいて１行目から順次行われて行く。例えば、図４（Ｃ）に示すように、ｎ＋１行目（Line(n+1)）はｎ行目（Line(n)）の次に読み出される。その結果、図４（Ｄ）に示すように、イメージセンサからは、Ｔｆの半分の周期である１Ｖ期間（Ｔｖ）で長時間露光の１画面分のデータ、又は短時間露光の１画面分のデータが出力され、長時間露光の１画面分のデータと短時間露光の１画面分のデータが交互に出力される。

図５に時刻ｔ１で、図６に時刻ｔ３で画素アレイ中のラインが選択されている状況を示す。図６に示すように、シャッタ動作を行うために選択されているｓ行目（Line(s)）は、読み出しを行うために選択されているｎ行目（Line(n)）より走査方向に先行したラインに設定される。具体的には、ｎ行目からｓ行目までの走査にかかる時間が蓄積時間Ｔｓに相当するように、ｓ行目がｎ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ＝（ｓ−ｎ）×Ｔｈを満たすようにｓ行目がｎ行目に対して設定される。

上記のプロセスにより出力された長時間露光と短時間露光による２種の画像データは、イメージセンサ後段の信号処理システムにおいて、１ビデオフレーム期間Ｔｆごとに１枚の画像データとして合成され、一般的なカメラ信号処理がなされた後にビデオ信号に変換されて出力される。ここで、合成の方法としては、例えば図７（Ａ）に示すような出力データ値が被写体の輝度に応じて得られるとき、画素ごとに、短時間露光の信号値に、長時間露光期間と短時間露光期間との露光比（Ｔｌ／Ｔｓ）を乗じて、長時間露光と露光期間を揃えた輝度値を算出する。そして、短時間露光の信号値に露光比を乗じて算出した輝度値と、長時間露光の輝度値（信号値）を、予め設定されている閾値と比較する。比較の結果、長時間露光の輝度値が所定の閾値よりも低い場合は長時間露光のデータを選択し、長時間露光の輝度値が所定の閾値よりも大きい場合は短時間露光のデータを露光比倍したものを選択する、といった方法により画素ごとにデータを選択配置していく。

複数回露光方式では、以上のような方法により広ダイナミックレンジの画像を取得することができるが、長時間露光のデータは、露光期間が最大で１ビデオフレーム期間Ｔｆの半分に設定されてしまう。これは、ビデオフレーム期間Ｔｆが最長の露光期間として設定できる通常のイメージセンサ動作に比べて、最長の露光期間が半分になるため、感度が半分になってしまう。その結果、複数回露光方式は暗部の感度を劣化させる。

また、複数回露光方式では、動く被写体に対して偽色と呼ばれる現象が発生するという問題点がある。これは、従来例では、短時間露光の画像と長時間露光の画像の露光期間の間に１ビデオフレーム期間Ｔｆの半分の時間であるＴ２の分だけ時間差が生じている。そのため、この時間差の間に動く被写体が存在すると、短時間露光の画像と長時間露光の画像が同一にならない。その結果、偽色が発生する。

また、イメージセンサの画素が、赤、緑、青のカラーフィルタによって区別されるとき、例えば図７（Ｂ）の合成処理における長時間露光の信号と短時間露光の信号の選択において、異なる色信号が選択された場合、各色信号の間で同時刻性が失われてしまう。そのため、色成分比が実際の被写体とはずれてしまい、後段で行われるカメラ信号処理中の色再現（デモザイク）処理時に本来ありえない色が生成されてしまう。

これらの偽色は、背景と動く被写体の輝度差が大きい場合に、動く被写体のエッジに顕著に現れ画質劣化の原因となる。

以上より、短時間露光画像と長時間露光画像の合成により広ダイナミックレンジ画像を取得する方法において、低照度時の感度を維持しながら、偽色を回避できる手法が望まれていた。

［第１の実施形態の動作］
従来は、画素アレイの走査において、図４に示すように、長時間露光、短時間露光、それぞれフレーム毎に交互に、１行ずつ選択読み出しを行う方式であった。

本実施形態では、図８に示すように、ライン毎に、長時間露光用のラインと短時間露光用のラインを設定し、画素アレイを走査する。一般に、イメージセンサでは、ベイヤー方式と呼ばれるＲ，Ｇ，Ｂのカラーフィルタ配列が用いられる。ベイヤー配列では、Ｒ，Ｇからなるライン１本とＧ，Ｂからなるライン１本を合わせた２本のラインで１組とすることができる。よって、本実施形態では、ベイヤー配列の２本のラインごとに、長時間露光（Ｌｎ，Ｌｎ＋１）を１組、短時間露光（Ｓｎ，Ｓｎ＋１）を１組というように対応させる。長時間露光用のライン（Ｌｎ，Ｌｎ＋１）と短時間露光用のライン（Ｓｎ，Ｓｎ＋１）は、隣り合う。

本実施形態の走査方法を図９及び図１０に示す。長時間露光に対応するラインＬｎの蓄積期間Ｔｌと信号電荷の関係を図９（Ａ）に示す。長時間露光のラインＬｎは、例えば１ビデオフレーム期間Ｔｆを蓄積期間Ｔｌとする。一方、短時間露光に対応するラインＳｎの蓄積期間Ｔｓと信号電荷の関係を図９（Ｂ）に示す。短時間露光のラインＳｎについては、時刻ｔ１でシャッタ動作を行い、読み出し時刻ｔ２までの時間差が蓄積期間Ｔｓとなる。なお、図９（Ｂ）では、シャッタ動作で掃き出されるシャッタ動作直前までの信号電荷の蓄積に対応する線は省略している（以下の図も同じ）。

図１０に時刻ｔ２で画素アレイ中のラインが選択されている状況を示す。図１０に示すように、シャッタ動作を行うために選択されているＳｓ行目（Line(Ss)）は、短時間露光の信号データの読み出しを行うために選択されているＳｎ行目（Line(Sn)）より走査方向に先行したラインに設定される。具体的には、Ｓｎ行目からＳｓ行目までの走査にかかる時間が蓄積時間Ｔｓに相当するように、Ｓｓ行目がＳｎ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ＝（Ｓｓ−Ｓｎ）×Ｔｈを満たすようにＳｓ行目がＳｎ行目に対して設定される。

ラインの読み出し順序は、図８に示すように、ラインＳｎ，Ｓｎ＋１，Ｌｎ，Ｌｎ＋１，Ｓｎ＋２，Ｓｎ＋３，Ｌｎ＋２，Ｌｎ＋３が連続するラインであった場合、図９（Ｃ）〜（Ｆ）に示すようにラインＳｎ→Ｌｎ→Ｓｎ＋１→Ｌｎ＋１→Ｓｎ＋２→Ｌｎ＋２→Ｓｎ＋３→Ｌｎ＋３の順序で読み出しを行う。

カメラのシステム構成を図１１に示す。カメラは、イメージセンサ１０と、画像処理装置１００を備える。そして、画像処理装置１００は、ラインメモリ１０２と、カメラコントロール部１０４と、合成処理部１０６と、カメラ信号処理部１０８を備える。

ラインメモリ１０２は、イメージセンサ１０のカラム選択回路１４から出力された画像信号を露光期間ごとに分離して、露光期間ごとの画像信号のタイミングを一致させて出力する。ラインメモリ１０２への画像データの書き込みや読み出しが制御されて、例えば長時間露光と短時間露光の画像信号のタイミングを一致させて、画像信号を合成処理部１０６に出力する。

合成処理部１０６は、短時間露光の画像信号と長時間露光の画像信号を合成することで、ダイナミックレンジの拡張された画像信号を生成して、カメラ信号処理部１０８に出力する。

カメラ信号処理部１０８は、合成処理部１０６から供給された画像信号を用いて種々のカメラ信号処理を行う。例えば、カメラ信号処理部１０８は、ホワイトバランス調整やデモザイク処理、画質調整などの信号処理を行う。

カメラコントロール部１０４は、ユーザ操作等に応じて制御信号を生成してカメラの各部に制御信号を供給することで、カメラがユーザ操作に応じた動作となるように制御する。また、カメラコントロール部１０４は、イメージセンサ１０を制御して、例えば長時間露光の画像と短時間露光の画像の画像信号を生成させる。

タイミング図を図１２に示す。イメージセンサ１０の後段の画像処理装置１００は、１行分のラインメモリ１０２を有する。ラインメモリ１０２には、例えば、１行分（例えばラインＳｎ）の短時間露光の信号データが保存される。そして、次のライン読み出しのタイミングにおいて、イメージセンサ１０からラインＬｎの長時間露光の信号データが出力され、それと同時に画像処理装置１００では、ラインメモリ１０２からラインＳｎの信号データが読み出される。これら２種の画素データは対応する列（カラム）毎に合成処理部１０６に送られ、合成処理部１０６は、ワイドダイナミックレンジ画像生成のための合成処理をする。

以上のような処理とすると、長時間蓄積のデータと短時間蓄積のデータは、垂直方向で隣り合うベイヤーパターンの間で合成される。その結果、合成された画像の解像度は劣化することとなる。しかしながら、例えばビデオカメラなどが、高解像度の静止画撮影とＨＤレベルの動画撮影の両方の機能を備える際、イメージセンサ１０としては、５Ｍpixelなどの多画素のイメージセンサ１０が用いられる。

静止画撮影モードでは、イメージセンサ１０の全画素を走査することによって、多くの画素の画像データが出力される。一方、動画撮影モードでは、垂直方向（Ｖ）の走査において、ラインの間引き、または、ライン間の画素加算読み出しを行い、画素サイズを下げている。つまり、図８と同様に、ベイヤー配列の組み合わせに対応して、連続する２行を１組として、間引き又は加算が行われる。よって、本実施形態も、このようなビデオカメラなどの動画機能において実施すれば、解像度の劣化は問題とならない。

以上の方法により、本実施形態では、図９に示すように、長時間露光の蓄積期間Ｔｌの間に、短時間露光の蓄積期間Ｔｓが設定される。その結果、従来方式で発生していた長時間露光と短時間露光の露光期間の時刻差がほぼ解消され、ダイナミックレンジ画像の合成において、偽色の発生を抑制できる。

また、長時間露光と短時間露光はＬｎとＳｎというようにライン毎に独立して設定される。その結果、長時間露光の蓄積期間Ｔｌを１ビデオフレーム期間Ｔｆ分取ることができ、従来例で問題となっていた感度低下も生じない。

なお、図９（Ａ）及び図１０に示した上記実施形態では、長時間露光ではシャッタ操作をしていないが、長時間露光に対してもシャッタ動作を行い、露光期間を調整することも可能である。

＜２．第２の実施形態＞
次に、第２の実施形態について説明する。
本実施形態の走査方法を図１３及び図１４に示す。

本実施形態は、第１の実施形態に対し、図１３（Ａ），図１３（Ｂ）に示すように、長時間露光のラインＬｎと短時間露光のラインＳｎの読み出しに時間差Ｔｄを設け、短時間露光のラインＳｎの露光期間Ｔｓが、長時間露光のラインＬｎの露光期間Ｔｌのほぼ中間になるように設定する。

ラインＬｎとラインＳｎの読み出し時間差がＴｄのとき、１行の走査期間をＴｈとするとＴｄ／Ｔｈで算出されるライン数分（Ｎｄとする）だけ、図１６に示すように、短時間露光のラインＳｎの読み出しを長時間露光Ｌｎの読み出しに対して早めればよい。

長時間露光のラインＬｎの読み出しに続いて読み出される短時間露光のデータは、図１３（Ｃ）及び図１３（Ｇ）に示すように、ラインＳｋのデータである。図１４にある時刻で画素アレイ中のラインが選択されている状況を示す。図１４に示すように、シャッタ動作を行うために選択されているＳｓ行目（Line(Ss)）は、短時間露光の信号データの読み出しを行うために選択されているＳｋ行目（Line(Sk)）より走査方向に先行したラインに設定される。具体的には、Ｓｋ行目からＳｓ行目までの走査にかかる時間が蓄積時間Ｔｓに相当するように、Ｓｓ行目がＳｋ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ＝（Ｓｓ−Ｓｋ）×Ｔｈを満たすようにＳｓ行目がＳｋ行目に対して設定される。

本実施形態の画像処理装置２００の構成を図１５に示す。基本的に第１の実施形態と同様であるが、本実施形態では、イメージセンサ１０からのラインＬｎのデータ出力とラインＳｎのデータ出力の間で、時刻差Ｔｄ、つまりライン本数の換算でＮｄ本分の時間差があるので、システムのラインメモリも、最低Ｎｄ本分が必要となる。

以上のようにすると、短時間露光の信号データは、長時間露光の信号データのほぼ中間の信号データに対応する。その結果、それぞれの信号データの時刻差がなくなり、より、偽色が発生しにくい設定となる。

以上、第１の実施形態、第２の実施形態は、長時間露光と短時間露光の２種の露光期間を設定した場合を例としたが、例えば、長時間露光と２種の短時間露光の組み合わせなど、３種以上の露光期間の設定をしてもよい。この時、イメージセンサ上のラインの選択は、長時間、短時間１、短時間２でそれぞれ２行ずつ、合計６本の行を一組として、３種のライン読み出しを交互に切り替えて出力する。

＜３．第３の実施形態＞
次に、図１７〜図２０を参照して、第３の実施形態について説明する。
本実施形態の走査方法を図１７及び図１８に示す。

本実施形態では、第２の実施形態に対し、一つの短時間露光のラインＳｎにおいて、露光期間の異なる２種の信号データを取得する。つまり、図１０（Ｂ）に示すように、短時間露光において、短時間露光１の露光期間ＴＳ１と短時間露光２の露光期間Ｔｓ２の２種の露光期間を設定する。

長時間露光のラインＬｎの読み出しに続いて読み出される短時間露光のデータは、図１７（Ｃ）、図１７（Ｅ）及び図１７（Ｇ）に示すように、ラインＳｋのデータであり、更にその後はラインＳｍのデータである。図１８にある時刻で画素アレイ中のラインが選択されている状況を示す。図１８に示すように、シャッタ動作を行うために選択されているＳｓ行目（Line(Ss)）は、短時間露光１の信号データの読み出しを行うために選択されているＳｋ行目（Line(Sk)）より走査方向に先行したラインに設定される。更に、短時間露光１の信号データの読み出しを行うために選択されており、短時間露光２のシャッタ動作となるＳｋ行目（Line(Sk)）は、短時間露光２の信号データの読み出しを行うために選択されているＳｍ行目（Line(Sm)）より走査方向に先行したラインに設定される。

具体的には、Ｓｋ行目からＳｓ行目までの走査にかかる時間が蓄積時間Ｔｓ２に相当するように、Ｓｋ行目がＳｍ行目より走査方向に先行したラインに設定される。また、Ｓｋ行目からＳｓ行目までの走査にかかる時間が蓄積時間Ｔｓ１に相当するように、Ｓｓ行目がＳｋ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ２＝（Ｓｋ−Ｓｍ）×Ｔｈを満たすようにＳｋ行目がＳｍ行目に対して設定される。また、Ｔｓ１＝（Ｓｓ−Ｓｋ）×Ｔｈを満たすようにＳｓ行目がＳｋ行目に対して設定される。

本実施形態の画像処理装置３００の構成を図１９に示す。ラインメモリは、短時間露光１用第１ラインメモリ３０２と、短時間露光２用の第２ラインメモリ３０３の２種が用意される。第１ラインメモリ３０２及び第２ラインメモリ３０３に蓄積されたラインＳｎのデータは、図２０に示すようにイメージセンサ１０からのラインＬｎのデータの出力と同時に読み出される。そして、二つの短時間蓄積のデータと一つの長時間蓄積のデータが合成処理部３０６で合成される。

以上の方法によって、第３の実施形態は、３種の露光期間の異なる画像データを取得することができ、よりダイナミックレンジの広い画像を生成することが可能となる。

＜４．第４の実施形態＞
次に、図２１〜図２４を参照して、第４の実施形態について説明する。
本実施形態の走査方法を図２１及び図２２に示す。

本実施形態の走査方法は、上述した第３の実施形態と同様であるが、短時間露光として、同じ露光期間の信号データを２回取得する。また、第３の実施形態では、１回目の短時間露光１の読み出し動作と２回目の短時間露光２のシャッタ動作が、時刻ｔ２で同時刻である。一方、本実施形態では、１回目の短時間露光１の読み出し動作の時刻ｔ２と、２回目の短時間露光２のシャッタ動作の時刻ｔ３に時間差があるようにしてもよい。

図２２にある時刻で画素アレイ中のラインが選択されている状況を示す。図２２に示すように、シャッタ動作を行うために選択されているＳｓ行目（Line(Ss)）は、短時間露光１の信号データの読み出しを行うために選択されているＳｋ行目（Line(Sn)）より走査方向に先行したラインに設定される。具体的には、Ｓｋ行目からＳｓ行目までの走査にかかる時間が蓄積時間Ｔｓ１に相当するように、Ｓｓ行目がＳｋ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ１＝（Ｓｓ−Ｓｋ）×Ｔｈを満たすようにＳｓ行目がＳｋ行目に対して設定される。

また、シャッタ動作を行うために選択されているＳｓ２行目（Line(Ss2)）は、短時間露光２の信号データの読み出しを行うために選択されているＳｍ行目（Line(Sm)）より走査方向に先行したラインに設定される。具体的には、Ｓｓ２行目からＳｍ行目までの走査にかかる時間が蓄積時間Ｔｓ１に相当するように、Ｓｓ２行目がＳｍ行目より走査方向に先行したラインに設定される。つまり、１Ｈ期間をＴｈとすると、Ｔｓ２＝（Ｓｓ２−Ｓｍ）×Ｔｈを満たすようにＳｓ２行目がＳｍ行目に対して設定される。

そして、図２３に示すように、第１ラインメモリ３０２及び第２ラインメモリ３０３の後段の平均化部４０５が、同じ露光期間のラインＳｎの二つの信号データの平均化処理を行い、合成処理部３０６が二つの短時間蓄積のデータと一つの長時間蓄積のデータを合成する。なお、平均化部４０５の代わりに加算部４０５がラインＳｎの二つの信号データの加算処理をしてもよい。

以上によれば、１ビデオフレーム期間Ｔｆ内で移動する動く被写体に対して、短時間露光の信号の平均化処理が可能となる。その結果、第２の実施形態に比べて、偽色の発生を軽減することが可能となる。

＜５．第５の実施形態＞
次に、図２５及び図２６を参照して、第５の実施形態について説明する。
第１〜第４の実施形態では、長時間露光と短時間露光の設定をラインごとに固定した場合を示したが、本実施形態では、これらの設定をイメージセンサ１０の動作中に変更する。

例えば、図２５（Ａ）及び図２５（Ｂ）に示すように、１ビデオフレーム期間Ｔｆごとに長時間露光の設定ラインと短時間露光の設定ラインを交互に入れ替える。つまり、ラインＳｎに着目すると、期間Ｔｆ＿１では短時間露光の設定がなされ、露光期間Ｔｓに蓄積された信号が時刻ｔ２で読み出される。そして、次の期間Ｔｆ＿２では長時間露光の設定がなされ、１ビデオフレーム期間Ｔｆに等しい蓄積期間Ｔｌに蓄積された信号が時刻ｔ４において読み出される。また、ラインＬｎに着目すると、露光期間の設定がＳｎの逆になされる。つまり、ライン毎に長時間露光の信号データと短時間露光の信号データが１ビデオフレームごとに交互に得られることとなる。

以上によれば、あるフレーム期間の１つの画素の信号データが例えば長時間露光のデータであったとき、長時間露光のデータと合成可能な短時間露光のデータは、同じフレーム期間内の隣の画素のデータ、又は同じ画素の一つ前のフレーム期間の信号データである。合成処理の際、短時間露光データは、上記二つの中から選択することが可能となる。

従って、例えば、被写体が静止している場合は、同じ画素の時間的に異なるデータを合成することで、解像度を損なわない画像を生成できる。そして、被写体が動いている場合は、隣り合う画素の同じフレーム期間内データを使用することにより、解像度は犠牲となるが、動く被写体に付随する偽色を抑制した画像を生成できる。

本実施形態の場合の画像処理装置１００の構成は、図１１に示す第１の実施形態と同様である。図１４の構成を例とすると、ラインＳｎのデータが、短時間露光、長時間露光に限らず、常にラインメモリ１０２に記録されてから読み出しが行われる。なお、長時間露光の設定ラインと短時間露光の設定ラインの入れ替えは、１ビデオフレーム期間Ｔｆごとの入れ替えに限定されず、２ビデオフレーム期間ごとなど他のパターンでもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

上記実施形態では、短時間露光データを１ビデオフレーム期間内に１回又は２回読み出す例について説明したが、本発明はこの例に限定されない。例えば、短時間露光データを１ビデオフレーム期間内に３回以上読み出してもよい。回数を増すことによって、更に偽色を低減することができる。

１０ イメージセンサ
１１ 画素アレイ部
１２ Ｖデコーダ
１３ カラム信号処理回路
１４ カラム選択回路
１５ Ｈデコーダ
２０ 単位画素
１００，２００，３００，４００ 画像処理装置
１０２，２０２ ラインメモリ
１０４，２０４ カメラコントロール部
１０６，２０６，３０６，４０６ 合成処理部
１０８ カメラ信号処理部
３０２，４０２ 第１ラインメモリ
３０３，４０３ 第２ラインメモリ
４０５ 平均化部

Claims (10)

1. 第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、前記第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、前記第１のラインと異なる前記固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する合成処理部を備える、画像処理装置。
2. 前記第１の露光期間から前記第１の信号電荷を読み出す時刻と、前記第２の露光期間から前記第２の信号電荷を読み出す時刻との間の時間差は、前記固体撮像素子の１ライン分の読み出しにかかる期間の整数倍である、請求項１に記載の画像処理装置。
3. 前記第２の露光期間は、前記第１の露光期間の中間である、請求項１又は２に記載の画像処理装置。
4. 前記第２の露光期間による露光は、前記第１の露光期間内に複数回行われる、請求項１又は２に記載の画像処理装置。
5. 前記合成処理部は、前記第１の画像データと、複数の前記第２の画像データを合成する、請求項４に記載の画像処理装置。
6. 複数の前記第２の画像データは、合成前に平均化処理又は加算処理される、請求項４又は５に記載の画像処理装置。
7. 前記第１のライン上の単位画素は、常に前記第１の露光期間で露光され、前記第２のライン上の単位画素は、常に第２の露光期間で露光される、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記第１のライン上の単位画素は、前記第１の露光期間と前記第２の露光期間を交互に入れ替えて露光され、前記第２のライン上の単位画素は、前記第１のライン上と反対に前記第２の露光期間と前記第１の露光期間を交互に入れ替えて露光される、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、前記第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、前記第１のラインと異なる前記固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成するステップを備える、画像処理方法。
10. 第１の露光期間で露光された固体撮像素子の第１のライン上の単位画素から読み出された第１の信号電荷に基づく第１の画像データと、前記第１の露光期間に含まれて第１の露光期間より短い第２の露光期間で露光された、前記第１のラインと異なる前記固体撮像素子の第２のライン上の単位画素から読み出された第２の信号電荷に基づく第２の画像データを合成する手段としてコンピュータを機能させるためのプログラム。

Images