JP7362441B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

一般的な、ネットワークカメラや車載カメラでトンネルの出口付近や、ビルの出入り口付近など暗部と明部を同時に撮影した場合、黒潰れまたは白飛びが発生し、一方の領域しか映像で確認することができない。

このため、撮像装置のダイナミックレンジを拡大する技術は多く検討されてきた。例えば、露光時間の異なる映像を複数回撮影し合成する方式（フレーム合成方式）や、１回の撮影でゲインの異なる映像を複数枚生成し合成する方式（ゲイン切り替え方式）などがある。フレーム合成方式は、撮影回数を増やすことで高いダイナミックレンジを実現できるが、動く被写体では２重像など不自然な残像として映像に映る。一方、ゲイン切り替え方式は、撮影が１回のため動き被写体に対しては効果的だが、高いダイナミックレンジを実現することが困難である。

特許文献１には、領域毎に蓄積時間を変更できる撮像装置が開示されている。この撮像装置では、映像内の明部と暗部で異なる露光時間を設定できるため、フレーム合成方式と同等以上の、高いダイナミックレンジの映像を取得できる。また、撮影は、一回のみで行われるため、動き被写体に対しても不自然な残像が映像に映らない。

特許第５６６５９０７号公報

しかしながら、特許文献１の技術では、領域の境界部分で映像に段差が発生し、不自然な映像になる可能性がある。また、領域の数が多いほど境界部分は多くなるため、より不自然な映像になりやすくなる。従って、ダイナミックレンジを十分確保できる映像では、不必要に領域を増やさないことが望ましい。

本発明の目的は、ダイナミックレンジを拡大しつつ、画素領域の境界部分の段差を抑制することができるようにすることである。

本発明の撮像装置は、少なくとも１つの画素からなる複数の画素領域毎に異なる電荷蓄積時間を設定可能な撮像部と、前記画素領域毎に画素値のヒストグラムを算出する算出部と、前記画素領域毎のヒストグラムに基づいて、前記画素領域毎の電荷蓄積時間を決定する決定部と、前記画素領域毎のヒストグラムに基づいて、前記画素領域の数を増減させる増減部と、を有する。

本発明によれば、ダイナミックレンジを拡大しつつ、画素領域の境界部分の段差を抑制することができる。

撮像装置の構成例を示すブロック図である。 撮像部の構成例を示すブロック図である。 画素部の構成例を示す回路図である。 画素部の駆動シーケンスを示すタイミングチャートである。 領域の分割数を増減するフローチャートである。 領域の分割数を増やす一例を示す図である。 領域の分割数を減らす一例を示す図である。 分割数を増やす一例を示す図である。 分割数を減らす一例を示す図である。 分割数を減らす一例を示す図である。 分割数を増やす一例を示す図である。 分割数を減らす一例を示す図である。 分割数を減らす一例を示す図である。

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

（第１の実施形態）
以下に図１を参照して、第１の実施形態に係る撮像装置１００の構成および機能について説明する。撮像装置１００は、撮像部１０１、ヒストグラム算出部１０２、領域増減部１０３、露光量決定部１０４、記憶部１０５、露光制御部１０６、ゲイン調整部１０７、およびインタフェース部（Ｉ／Ｆ部）１０８を有する。

撮像部１０１は、ＣＭＯＳイメージセンサであり、光を光電変換して電荷を蓄積する複数の画素を有する。また、撮像部１０１は、領域毎に電荷蓄積時間を変えることができる。また、撮像部１０１は、アナログ／デジタル変換を行い、２次元画像のデジタル信号を出力する。

ヒストグラム算出部１０２は、撮像部１０１から出力されたデジタル値より、撮像部１０１の領域毎に画素値のヒストグラムを算出する。領域増減部１０３は、撮像部１０１における領域の分割数を増減させる。露光量決定部１０４は、ヒストグラム算出部１０２で生成したヒストグラムを基に、撮像部１０１の領域毎の適正な電荷蓄積時間（露光マップ）を決定する。記憶部１０５は、露光量決定部１０４で決定した露光マップを記憶する記憶部であり、例えばＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。露光制御部１０６は、記憶部１０５の露光マップを基に、撮像部１０１に対して、露光量決定部１０４により決定された領域毎の電荷蓄積時間を制御する。

ゲイン調整部１０７は、記憶部１０５に保持された露光マップを基に、撮像部１０１の領域毎の画素値のゲインを調整して増幅する。撮像部１０１が領域毎で異なる電荷蓄積時間で電荷を蓄積しても、ゲイン調整部１０７が領域毎に増幅することにより、撮像装置１００の全体で各領域の露出量が同じになる。

Ｉ／Ｆ部１０８は、ゲイン調整部１０７で出力したデジタル値を、撮像装置１００の外部へ出力する電気信号へ変換する。出力する電気信号は、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）などである。

次に、図２を参照して、撮像部１０１の構成例を説明する。撮像部１０１は、画素部２０１、水平走査回路２０２、垂直走査回路２０３、ＣＤＳ部２０４、およびアナログデジタル変換部（ＡＤＣ部）２０５を有する。

画素部２０１は、複数の画素が行列状に配置され、行単位で画素信号をＣＤＳ部２０４に出力する。垂直走査回路２０３は、画素部２０１の複数の画素の行を順に選択する。ＣＤＳ部２０４は、画素の信号レベルからリセットレベルを引くことで、画素で生じる読み出しノイズを低減する。ＡＤＣ部２０５は、ＣＤＳ部２０４より出力されるアナログ信号をデジタル信号に変換し、デジタル信号を保持する。水平走査回路２０２は、ＡＤＣ部２０５に保持されている複数の画素信号の列を順に選択して出力させる。なお、ＣＤＳ部２０４とＡＤＣ部２０５の処理の順番は、逆でもよい。

次に、図３を参照して、画素部２０１の構成例について説明する。図３は、画素部２０１が、４個の画素３４１～３４４を有する場合を示すが、画素部２０１は、それ以上の画素を有する。

画素３４１は、素子３０１，３０２，３０３，３０４，３０５，３０６を有する。画素３４２は、素子３１１，３１２，３１３，３１４，３１５，３１６を有する。画素３４３は、素子３２１，３２２，３２３，３２４，３２５，３２６を有する。画素３４４は、素子３３１，３３２，３３３，３３４，３３５，３３６を有する。

光電変換素子３０１，３１１，３２１，３３１は、フォトダイオードであり、光から電荷（電子）を発生させる。転送スイッチ３０２は、信号φＴＸ＿１に応じて、光電変換素子３０１に蓄積された電荷をフローティングディフュージョン（ＦＤ）部３０３に転送する。転送スイッチ３１２は、信号φＴＸ＿２に応じて、光電変換素子３１１に蓄積された電荷をＦＤ部３１３に転送する。転送スイッチ３２２は、信号φＴＸ＿３に応じて、光電変換素子３２１に蓄積された電荷をＦＤ部３２３に転送する。転送スイッチ３３２は、信号φＴＸ＿４に応じて、光電変換素子３３１に蓄積された電荷をＦＤ部３３３に転送する。垂直走査回路２０３は、信号φＴＸ＿１～φＴＸ＿４を出力する。転送スイッチは、ＭＯＳＦＥＴである。垂直走査回路２０３は、領域別に露光制御をするため、領域が異なる画素であれば異なる信号で転送スイッチを制御する。

垂直走査回路２０３は、行毎に、信号φＲＳＴ１およびφＲＳＴ２を出力する。リセットスイッチ３０４は、信号φＲＳＴ１に応じて、ＦＤ部３０３の電荷量をリセットする。リセットスイッチ３１４は、信号φＲＳＴ１に応じて、ＦＤ部３１３の電荷量をリセットする。リセットスイッチ３２４は、信号φＲＳＴ２に応じて、ＦＤ部３２３の電荷量をリセットする。リセットスイッチ３３４は、信号φＲＳＴ２に応じて、ＦＤ部３３３の電荷量をリセットする。リセットスイッチは、ＭＯＳＦＥＴである。

増幅器３０５，３１５，３２５，３３５は、ＭＯＳＦＥＴであり、それぞれ、ＦＤ部３０３，３１３，３２３，３３３に蓄積された電荷量に応じた電圧を出力する。

垂直走査回路２０３は、行毎に、信号φＳＥＬ１およびφＳＥＬ２を出力する。選択スイッチ３０６は、信号φＳＥＬ１に応じて、増幅器３０５の出力電圧を、信号線３５１を介してＣＤＳ部２０４に出力する。選択スイッチ３１６は、信号φＳＥＬ１に応じて、増幅器３１５の出力電圧を、信号線３５２を介してＣＤＳ部２０４に出力する。選択スイッチ３２６は、信号φＳＥＬ２に応じて、増幅器３２５の出力電圧を、信号線３５１を介してＣＤＳ部２０４に出力する。選択スイッチ３３６は、信号φＳＥＬ２に応じて、増幅器３３５の出力電圧を、信号線３５２を介してＣＤＳ部２０４に出力する。選択スイッチは、ＭＯＳＦＥＴである。

通常の撮像装置の場合、光電変換素子３０１，３１１，３２１，３３１の電荷を蓄積する時間は、すべて同じである。また、通常の撮像装置では、同じ行の転送スイッチ３０２と３１２は、同じ信号φＴＸ１により制御され、同じ行の転送スイッチ３２２と３３２は、同じ信号φＴＸ２により制御される。

これに対し、本実施形態では、転送スイッチ３０２，３１２，３２２，３３２は、領域毎に異なる信号φＴＸ＿１～φＴＸ＿４を用いる。これにより、光電変換素子３０１，３１１１，３２１，３３１の電荷蓄積時間は、領域毎で変更することが可能である。例えば、画素３４１と画素３４２と画素３４３と画素３４４は、それぞれ、異なる領域に存在し、異なる電荷蓄積時間に設定することが可能である。

次に、図４を参照して、画素３４１と画素３４２の駆動シーケンスを示すタイミングチャートを説明する。まず、時刻ｔ４０１において、転送信号φＴＸ＿１とφＴＸ＿２とリセット信号φＲＳＴは、ローレベルからハイレベルへと遷移する。これにより、光電変換素子３０１と３１１は、リセット状態となる。

次いで、時刻ｔ４０２において、転送信号φＴＸ＿１とφＴＸ＿２は、ハイレベルからローレベルへと遷移する。これにより、光電変換素子３０１と３１１の電荷蓄積が開始する。

次いで、時刻ｔ４０３において、転送信号φＴＸ＿２は、ローレベルからハイレベルへと遷移する。これにより、光電変換素子３１１は、リセット状態とする。

次いで、時刻ｔ４０４において、転送信号φＴＸ＿２は、ハイレベルからローレベルへと遷移する。これにより、光電変換素子３１１の電荷蓄積は、再度開始する。この時刻ｔ４０３とｔ４０４のタイミングを変えることで、画素３４２は画素３４１とは独立に、電荷蓄積時間を自由に設定することができる。なお、画素３４１も同様に電荷蓄積時間を設定できるが、図４では電荷蓄積時間を最大値に設定している。

次いで、時刻ｔ４０５において、信号φＳＥＬ１は、ローレベルからハイレベルへと遷移する。これにより、選択スイッチ３０６と３１６は、それぞれ、リセットレベルをＣＤＳ部２０４に転送する。

次いで、時刻ｔ４０６において、信号φＲＳＴ１とφＳＥＬ１は、ハイレベルからローレベルへ遷移する。

次いで、時刻ｔ４０７において、転送信号φＴＸ＿１とφＴＸ＿２は、ローレベルからハイレベルへと遷移する。これにより、転送スイッチ３０２は、光電変換素子３０１の電荷をＦＤ部３０３に転送し、転送スイッチ３１２は、光電変換素子３１１の電荷をＦＤ部３１３に転送する。

次いで、時刻ｔ４０８において、転送信号φＴＸ＿１とφＴＸ＿２は、ハイレベルからローレベルへと遷移する。

次いで、時刻ｔ４０９において、信号φＳＥＬ１は、ローレベルからハイレベルへと遷移する。これにより、選択スイッチ３０６と３１６は、それぞれ、ＦＤ部３０３と３１３の電荷量に基づく画素信号をＣＤＳ部２０４に転送する。ＣＤＳ部２０４は、時刻ｔ４０９で転送された画素信号から時刻ｔ４０６で転送されたリセットレベルの信号を引いた値を、最終的な画素信号として出力する。

次いで、時刻ｔ４１０において、信号φＳＥＬ１は、ハイレベルからローレベルへと遷移する。時刻ｔ４１１以降は、再び時刻ｔ４０１からｔ４１０を繰り返す。

撮像部１０１は、ローリングシャッタ動作で駆動されており、各々の行の画素信号を、行毎に順次読み出す。すなわち、画素３４３と画素３４４は、画素３４１と画素３４２から遅れたタイミングで、同様のタイミングチャートに従って読み出される。

次に、図５を参照して、領域を増減するフローを説明する。まず、ステップＳ５０１にて、領域増減部１０３は、画素部２０１の現在の領域の分割数が最小か否か判定する。この最小値は、撮像装置１００の構造で決まり、最小の分割数が大きいほど撮像装置１００の回路は複雑になる。領域増減部１０３は、分割数が最小でない場合には、ステップＳ５０２に進み、分割数が最小である場合には、ステップＳ５０５に進む。

ステップＳ５０２にて、領域増減部１０３は、画素部２０１の領域の分割数を減らした場合の画像をデジタルゲインにより疑似的に生成し、この画像の飽和レベルと黒レベルの画素数の合計を算出する。ステップＳ５０２の処理の詳細は図７を用いて説明する。

続いて、ステップＳ５０３にて、領域増減部１０３は、飽和レベルと黒レベルの画素数の合計が、閾値η１以下である場合には、ステップＳ５０４に進み、飽和レベルと黒レベルの画素数の合計が、閾値η１以下でない場合には、ステップＳ５０５に進む。

ステップＳ５０４にて、領域増減部１０３は、画素部２０１の領域の分割数を減らし、図５の処理を終了する。

ステップＳ５０５にて、領域増減部１０３は、画素部２０１の現在の領域の分割数が最大か否かを判定する。この最大値は、全画素としてもよいし、撮像装置１００を搭載した機器のユーザーが自由に設定してもよい。領域増減部１０３は、分割数が最大でない場合には、ステップＳ５０６に進み、分割数が最大である場合には、図５の処理を終了する。

ステップＳ５０６にて、領域増減部１０３は、撮像部１０１の画像全体の飽和レベルと黒レベルの画素数の合計を算出する。

続いて、ステップＳ５０７にて、領域増減部１０３は、撮像部１０１の画像全体の飽和レベルと黒レベルの画素数の合計が閾値η２以上である場合には、ステップＳ５０８に進む。また、領域増減部１０３は、撮像部１０１の画像全体の飽和レベルと黒レベルの画素数の合計が閾値η２以上でない場合には、図５の処理を終了する。

ステップＳ５０８にて、領域増減部１０３は、画素部２０１の領域の分割数を増やし、図５の処理を終了する。

続いて、図６を参照して、領域の分割数を増やす一例を説明する。画像６０１は、ステップＳ５０８にて領域の分割数を増やす前の撮像部１０１から出力される画像であり、４つの領域に分割されている。画像６０２は、ステップＳ５０８にて領域の分割数を増やした後の撮像部１０１から出力される画像であり、１６の領域に分割されている。ヒストグラム６０３は、画像６０１の全体のヒストグラムである。領域増減部１０３は、ヒストグラム６０３より飽和レベルと黒レベルの画素数の合計を算出する。ヒストグラム６０４は、画像６０２の全体のヒストグラムであり、分割数を増やしたことで飽和レベルと黒レベルの画素数の合計が減少している。領域増減部１０３は、ヒストグラム６０３より、飽和レベルと黒レベルの数がη２以上の場合には、領域の数を４つから１６に変化させる。これにより、画像全体で飽和レベルと黒レベルの画素数の合計が減り、ダイナミックレンジが拡大する。

続いて、図７を参照して、領域の分割数を減らす一例を説明する。画像７０１は、ステップＳ５０４にて領域の分割数を減らす前の撮像部１０１から出力される画像であり、４つの領域に分割されている。画像７０２は、画像７０１にデジタルゲインを施した画像である。画像７０１の左上と左下の領域が２倍、画像７０１の右上と右下の領域が０．５倍のデジタルゲインを施している。ヒストグラム７０３は、画像７０２の全体のヒストグラムである。画像７０４は、ステップＳ５０４にて領域の分割数を減らした後の撮像部１０１から出力される画像であり、１つの領域となっている。ヒストグラム７０５は、画像７０４のヒストグラムである。画像７０２のデジタルゲインの値は、画像全体の露出として、ヒストグラム７０３の平均値が画素の中間値（図７では２０４８）になるよう制御される。なお、デジタルゲイン値により仮想的に画像７０２を生成する処理は、図９と図１２でも実施するが、その説明は割愛する。図７のように制御することで、画像全体で飽和レベルと黒レベルの画素数の合計が増えるが、ダイナミックレンジが十分確保できるように、閾値η１を設定していれば、画像への影響は小さくなる。

続いて、図８を参照して、画素部２０１の領域毎に飽和レベルと黒レベルの画素数の合計を算出し分割数を増やす一例を説明する。図８では、ステップＳ５０６の飽和レベルと黒レベルの画素数の合計の算出方法と、ステップＳ５０７の分割数を増やすか否かの判定方法が、図６とは異なる。画像８０１は、ステップＳ５０８にて領域の分割数を増やす前の撮像部１０１から出力される画像であり、４つの領域に分割されている。画像８０２は、ステップＳ５０８にて領域の分割数を増した後の撮像部１０１から出力される画像であり、１６の領域に分割されている。ヒストグラム８０３、８０４、８０５、８０６は、それぞれ、画像８０１の左上、右上、左下、右下の領域のヒストグラムである。ヒストグラム８０７は、画像８０１の全体のヒストグラムである。ヒストグラム８０８は、画像８０２の全体のヒストグラムである。領域増減部１０３は、ヒストグラム８０３、８０４、８０５、８０６により、画像８０１の左上、右上、左下、右下のそれぞれの領域で飽和レベルと黒レベルの画素数の合計を算出し、その合計が閾値η３を超える領域の数を算出する。領域増減部１０３は、その合計が閾値η３を超える領域が閾値θ１以上である場合には、領域の分割数を増やし、領域の数を４つから１６に増やす。図８の例は、図６の例に比べて、局所的な飽和レベルと黒レベルに対して（例えば、電球の光）、領域増加の判定がされやすくなる。そのため、領域が増加した際の、局所的な白飛や黒潰れの映像が発生しづらくなる。

続いて、図９を参照して、画素部２０１の領域毎に飽和レベルと黒レベルの画素数の合計を算出し分割数を減らす一例を説明する。図９では、ステップＳ５０２の飽和レベルと黒レベルの画素数の合計の算出方法と、ステップＳ５０３の分割数を減らす否かの判定方法が、図７の手法とは異なる。画像９０１は、ステップＳ５０４にて領域の分割数を減らす前の撮像部１０１から出力される画像であり、１６の領域に分割されている。画像９０２は、ステップＳ５０４にて領域の分割数を減らした後の撮像部１０１から出力される画像であり、４つの領域に分割されている。ヒストグラム９０３、９０４、９０５、９０６は、それぞれ、画像９０１の領域の分割数を４つに減らした場合の画像の左上、右上、左下、右下の領域のヒストグラムである。領域増減部１０３は、画像９０１の全体からデジタルゲインを施すなどをして、画像９０１の領域の分割数を４つに減らした仮想的な画像を生成し、この仮想的な画像からヒストグラム９０３、９０４、９０５、９０６を算出する。ヒストグラム９０７は、画像９０１の全体のヒストグラムである。ヒストグラム９０８は、画像９０２の画像全体のヒストグラムである。領域増減部１０３は、ヒストグラム９０３、９０４、９０５、９０６より、仮想的な画像の左上、右上、左下、右下のそれぞれの領域毎の飽和レベルと黒レベルの画素数の合計を算出し、その合計が閾値η４を超える領域の数を算出する。領域増減部１０３は、その合計が閾値η４を超える領域の数が閾値θ２以下である場合には、領域の分割数を減らし、領域の数を１６から４つに減らす。図９の例は、図７の手法に比べて、局所的な飽和レベルと黒レベルがあった際の、領域の減少を防ぐことができる。そのため、領域が減少した際の、局所的な白飛や黒潰れの映像が発生しづらくなる。

（第２の実施形態）
続いて、図１０を参照して、第２の実施形態における、領域毎に電荷蓄積時間の最大値と最小値の比を算出し分割数を減らす一例を説明する。第２の実施形態では、領域増減部１０３は、飽和レベルと黒レベルの画素数からではなく、電荷蓄積時間の最大値と最小値の比から、分割数を減らすか否かを判定する。また、分割数を増やす方法は、第１の実施形態と同じ方法を使う。

図１０では、ステップＳ５０３の分割数を減らすか否かの判定を、図７のようなステップＳ５０２の飽和レベルと黒レベルの画素数の合計ではなく、電荷蓄積時間の最大値と最小値の比より行う。なお、この電荷蓄積時間は、露光量決定部１０４により、１フレーム前の値より算出され、ヒストグラム算出部１０２より算出されたヒストグラムの平均値が画素の中間値（図１０で２０４８）になるように決定される。画像１００１は、ステップＳ５０４にて領域の分割数を減らす前の撮像部１０１から出力される画像であり、１６の領域に分割されている。画像１００２は、ステップＳ５０４にて領域の分割数を減らした後の撮像部１０１から出力される画像であり、４つの領域に分割されている。領域増減部１０３は、画像１００１の領域の分割数を減らした場合の領域毎の光電変換素素子の電荷蓄積時間の最大値と最小値の比を算出する。領域増減部１０３は、領域毎の電荷蓄積時間の最大値と最小値の比の最大値が閾値θ２以下の場合には、領域の分割数を減らし、領域の数を１６から４つに減らす。図１０の方法は、図９の方法に比べて、飽和レベルと黒レベルの画素の算出が必要ないため、少ない演算量で分割を減らすか否かの判定ができる。

（第３の実施形態）
続いて、図１１を参照して、第３の実施形態における、領域毎に飽和レベルと黒レベルの画素数の合計が多い領域の分割数を増やす一例を説明する。第３の実施形態では、画像全体で分割数を増減させるのではなく、部分的に領域の分割を増減させる。

図１１では、ステップＳ５０６の飽和レベルと黒レベルの画素数の合計の算出方法と、ステップＳ５０７の分割数を増やすか否かの判定方法が、図６とは異なる。また、図１１では、図６のように、画像全体で分割数を増加させるのではなく、分割数の増加が必要な領域のみ分割数を増加させる。

画像１１０１は、ステップＳ５０８にて領域の分割数を増やす前の撮像部１０１から出力される画像であり、４つの領域に分割されている。画像１１０２は、ステップＳ５０８にて領域の分割数を増やした後の撮像部１０１から出力される画像であり、７つの領域に分割されている。ヒストグラム１１０３、１１０４、１１０５、１１０６は、それぞれ、画像１１０１の左上、右上、左下、右下のヒストグラムである。ヒストグラム１１０７は、画像１１０２の左下の４つの領域内のヒストグラムである。領域増減部１０３は、ヒストグラム１１０３、１１０４、１１０５、１１０６により、画像１１０１の左上、右上、左下、右下のそれぞれの領域で飽和レベルと黒レベルの画素数の合計を算出する。領域増減部１０３は、飽和レベルと黒レベルの画素数の合計が閾値η５を超える領域の分割数を増やす。

図１１では、ヒストグラム１１０５から算出された飽和レベルと黒レベルの画素数の合計が閾値η５を超えているため、領域増減部１０３は、画像１１０１の左下の領域の分割数を４つに増やす。結果として、画像１１０２の通りの分割数となる。これにより、ヒストグラム１１０５とヒストグラム１１０７を比較すると、飽和レベルと黒レベルの画素数の合計が減り、ダイナミックレンジが広い画像が取得可能となる。図１１は、画像全体で分割数を増減させる図８に比べて、分割が必要な箇所だけ分割数を増やしている。そのため、領域の境界部分が減り、不自然な段差が減少する。また、ヒストグラム算出部１０２の演算量が減り、消費電力の削減の観点で有利である。

続いて、図１２を参照して、第３の実施形態における、分割数の多い領域で飽和レベルと黒レベルの画素数の合計を算出し分割数を減らす一例を説明する。図１２では、ステップＳ５０２の飽和レベルと黒レベルの画素数の合計の算出方法と、ステップＳ５０３の分割数を減らすか否かの判定方法が、図７とは異なる。また、図１２では、図７のように、画像全体で分割数を減らすのではなく、分割数の減らす必要な領域のみ分割数を減らす。

画像１２０１は、ステップＳ５０４にて領域の分割数を減らす前の撮像部１０１から出力される画像であり、７つの領域に分割され、特に左下の分割数が多い。画像１２０２は、ステップＳ５０４にて領域の分割数を減らした後の撮像部１０１から出力される画像であり、４つの領域に分割されている。ヒストグラム１２０３は、画像１２０１の左下の領域（一部の領域）の分割数を４つから１つに減らした場合の領域から算出したヒストグラムである。領域増減部１０３は、画像１２０１からデジタルゲインを施すなどをして、画像１２０１の左下の領域の分割数を４つから１つに減らした場合の仮想的な画像を生成し、この仮想的な画像の左下の領域からヒストグラム１２０３を算出する。ヒストグラム１２０４は、画像１２０２の左下の領域のヒストグラムである。領域増減部１０３は、ヒストグラム１２０３より、飽和レベルと黒レベルの画素数の合計を算出し、その合計が閾値η６以下であるか否かを判定する。領域増減部１０３は、その合計が閾値η６以下である場合には、ヒストグラム１２０３を算出した領域の分割数を減らし、画像１２０２の通りの分割数となる。ヒストグラム１２０４は、ヒストグラム１２０３に比べて、飽和レベルと黒レベルの画素数が増えるが、領域の境界部分が減り、不自然な段差が減少する。

続いて、図１３を参照して、第３の実施形態における、隣接する領域の電荷蓄積時間が同じ場合には、その隣接する領域を結合することで分割数を減らす一例を説明する。図１３では、ステップＳ５０２における飽和レベルと黒レベルの画素数の算出と、ステップＳ５０３の判定が必要なくなり、ステップＳ５０４にて隣接する領域の電荷蓄積時間が同じ場合には、その隣接する領域を結合することで分割数を減らす。

画像１３０１は、ステップＳ５０４にて領域の分割数を減らす前の撮像部１０１から出力される画像であり、１６の領域に分割されている。画像１３０２は、ステップＳ５０４にて領域の分割数を減らした後の撮像部１０１から出力される画像であり、７つの領域に分割されている。領域増減部１０３は、画像１３０１で隣接する領域の光電変換素子の電荷蓄積時間が同じ場合には、その隣接する領域を同じ領域とするように結合することにより、領域の分割数を減らす。すると、画像１３０２の通りの分割数となる。図１３の方法は、図１２の方法に比べ、領域の境界部分が減り、不自然な段差が減少する。また、ヒストグラム算出部１０２の演算量が減り、消費電力の削減の観点で有利である。

撮像装置１００は、デジタルカメラまたはビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラまたは車載カメラ等に適用可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０１ 撮像部、１０２ ヒストグラム算出部、１０３ 領域増減部、１０４ 露光量決定部、１０６ 露光制御部、１０７ ゲイン調整部

Claims (17)

1. 少なくとも１つの画素からなる複数の画素領域毎に異なる電荷蓄積時間を設定可能な撮像部と、
   前記画素領域毎に画素値のヒストグラムを算出する算出部と、
   前記画素領域毎のヒストグラムに基づいて、前記画素領域毎の電荷蓄積時間を決定する決定部と、
   前記画素領域毎のヒストグラムに基づいて、前記画素領域の数を増減させる増減部と、
   を有することを特徴とする撮像装置。
2. 前記撮像部に対して、前記決定部により決定された前記画素領域毎の電荷蓄積時間を制御する制御部をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像部は、前記決定部により決定された前記画素領域毎の電荷蓄積時間を基に、前記画素領域毎の画素値のゲインを調整するゲイン調整部をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記増減部は、飽和レベルと黒レベルの画素数を基に、前記画素領域の数を増減させることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
5. 前記増減部は、前記画素領域の数を減らした場合の画像の飽和レベルと黒レベルの画素数の合計が第１の閾値以下である場合に、前記画素領域の数を減らすことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
6. 前記増減部は、前記撮像部の画像全体の飽和レベルと黒レベルの画素数の合計が第２の閾値以上である場合に、前記画素領域の数を増やすことを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
7. 前記増減部は、前記画素領域毎の飽和レベルと黒レベルの画素数の合計が第３の閾値を超える画素領域の数が第４の閾値以上である場合に、前記画素領域の数を増やすことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
8. 前記増減部は、前記画素領域の数を減らした場合の画素領域毎の飽和レベルと黒レベルの画素数の合計が第５の閾値を超える画素領域の数が第６の閾値以下である場合に、前記画素領域の数を減らすことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
9. 前記増減部は、前記画素領域毎の飽和レベルと黒レベルの画素数の合計が第７の閾値を超える画素領域の数を増やすことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
10. 前記増減部は、一部の画素領域の数を減らした場合の画素領域の飽和レベルと黒レベルの画素数の合計が第８の閾値以下である場合に、前記画素領域の数を減らすことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
11. 前記増減部は、前記画素領域毎の電荷蓄積時間を基に、前記画素領域の数を増減させることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
12. 前記増減部は、前記画素領域の数を減らした場合の画素領域毎の電荷蓄積時間の最大値と最小値の比の最大値が第９の閾値以下である場合に、前記画素領域の数を減らすことを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
13. 前記増減部は、隣接する画素領域の電荷蓄積時間が同じ場合には、前記隣接する画素領域を結合することにより、前記画素領域の数を減らすことを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
14. 前記増減部は、２以上の前記画素領域を結合することにより、前記画素領域の数を減らし、
    前記決定部は、前記２以上の画素領域の電荷蓄積時間または対応する前記ヒストグラムに基づいて、前記結合された画素領域の電荷蓄積時間を決定することを特徴とする請求項１に記載の撮像装置。
15. 前記増減部は、画素領域を分割することにより前記画素領域の数を増やし、
    前記決定部は、分割前の前記画素領域の電荷蓄積時間または対応する前記ヒストグラムに基づいて、前記分割後の画素領域の電荷蓄積時間を決定することを特徴とする請求項１に記載の撮像装置。
16. 前記増減部は、前記複数の画素領域のうち、一部の画素領域の数を増減させることを特徴とする請求項１に記載の撮像装置。
17. 少なくとも１つの画素からなる複数の画素領域毎に異なる電荷蓄積時間を設定可能な撮像部を有する撮像装置の制御方法であって、
    前記画素領域毎に画素値のヒストグラムを算出する算出ステップと、
    前記画素領域毎のヒストグラムに基づいて、前記画素領域毎の電荷蓄積時間を決定する決定ステップと、
    前記画素領域毎のヒストグラムに基づいて、前記画素領域の数を増減させる増減ステップと、
    を有することを特徴とする撮像装置の制御方法。

Images