JP2022093914A - 撮像装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】現在の撮像と次の撮像とで画像がずれる場合でも、画像全体にわたって適切な露光を行うことを可能とする。【解決手段】撮像装置は、固体撮像素子ユニットと、算出手段と、決定手段を有する。固体撮像素子ユニットは、個別に露光条件を制御することができる複数の領域を有する。算出手段は、撮像装置への制御情報に基づいて、現撮像時の画像中の各部分に対応する固体撮像素子ユニット上の位置と各部分に対応する次撮像時の位置との間の距離である移動量と位置の移動の方向を算出する。決定手段は、現撮像時の撮像画像の輝度分布情報と、算出手段が算出した移動量と方向に基づいて、次撮像時に使用される各領域の露光条件を決定する。【選択図】図１

Description

本発明は、撮像装置、その制御方法およびプログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮像装置においては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）といった固体撮像素子が用いられる。一般的に、固体撮像素子のダイナミックレンジは、自然界のダイナミックレンジと比較して狭いことが知られている。そのため、広いダイナミックレンジ（ハイダイナミックレンジ）を有するシーンを通常の方法で撮像すると黒潰れや白飛びなどが発生することがある。
この課題を解決するため、撮像される画面を輝度に応じて複数の領域に分類し、領域ごとにピクセル露光時間や、ピクセルのゲインなどの露光条件を制御する技術が提案されている（例えば特許文献１）。特許文献１に記載の技術では、予備撮像での情報から露光条件を決定し、露光条件に従って本撮像を実行することで、ハイダイナミックレンジシーンの撮像を可能とする。

特開２０１０－１３６２０５号公報

しかしながら、ズームレンズを有する撮像装置では、予備撮像と本撮像との間に画角が変更されると、予備撮像で得られた情報が本撮像において適切で無くなる可能性がある。それにより、明領域と暗領域の境界において白飛びや黒つぶれが発生する可能性がある。

本発明が解決しようとする課題は、現在の撮像と次の撮像とで画像がずれる場合でも、画像全体にわたって適切な露光を行うことを可能とすることである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、個別に露光条件を制御することができる複数の領域を有する固体撮像素子ユニットと、撮像装置への制御情報に基づいて、現撮像時の画像中の各部分に対応する前記固体撮像素子ユニット上の位置と各部分に対応する次撮像時の位置との間の距離である移動量と位置の移動の方向を算出する算出手段と、現撮像時の撮像画像の輝度分布情報と、前記算出手段が算出した移動量と方向に基づいて、次撮像時に使用される各領域の露光条件を決定する決定手段とを有する。

本発明の実施形態１に係る撮像装置のブロック図。 撮像装置で撮像された画像の例を示す図。 図２Ａの画像から生成された輝度の分布を示す図。 ズーム制御による画角の変化を説明する図。 ズームイン制御での注目位置の移動の方向を説明する図。 実施形態１においてズームイン制御のために生成された次撮像に適用する輝度の分布を示す図。 露光条件を決定するテーブルの一例を示す図。 実施形態１に係る撮像装置の動作を示すフローチャート。 実施形態２においてズームイン制御のために生成された次撮像に適用する輝度の分布を示す図。 ズームイン前の画像の輝度の分布をズームイン後の画像における輝度の分布にそのまま拡大した模式図。 実際のズームイン後の輝度の分布を示す模式図。 実施形態２と異なる手法で生成された次撮像時の輝度の分布を示す図。 実施形態２で生成された次撮像時の輝度の分布を示す図。 実施形態２における輝度の補間方法を説明する図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

＜実施形態１＞
本実施形態では、現撮像時の画角と次撮像時の画角の変化に基づいて、現撮像時の撮像画像の輝度分布情報を補正し、次撮像時の撮像画像の輝度分布情報を得る。そして、次撮像時の撮像画像の輝度分布情報から次撮像時に使用される各領域の露光条件を決定する。

＜全体構成＞
図１は、本実施形態に係る撮像装置１、およびそれを備えるネットワーク監視システムを図１に示す。
撮像装置１は、結像光学系１０、ズーム制御機構１１、固体撮像素子ユニット１２、制御部１３、および転送部１４を備える。
結像光学系１０はズームレンズを有し、ズーム制御機構１１は結像光学系１０のズーム機能を制御し、結像光学系１０の画角を制御することができる。
結像光学系１０に導入された光は、固体撮像素子ユニット１２で受けられ、固体撮像素子ユニット１２の光電変換によって撮像が行われる。固体撮像素子ユニット１２は、多数のピクセルを有しており、各ピクセルは個別に露光条件を制御することができる。
撮像装置１は、動画像を撮像することができ、固体撮像素子ユニット１２は一度の撮像で動画像の１フレームに相当する撮像データを生成する。

制御部１３は固体撮像素子ユニット１２を制御する。
転送部１４は、有線または無線のネットワークを介して、外部のクライアント装置１５に接続されている。転送部１４は、制御部１３で処理された画像データをクライアント装置１５へ転送する。また、外部のクライアント装置１５は、結像光学系１０の撮像画角制御（つまりズーム制御）などのための制御コマンドをネットワークを介して撮像装置１に送信する。転送部１４は制御コマンドを受信する。撮像装置１は、制御コマンドに対するレスポンスをクライアント装置１５に送信する。
クライアント装置１５は、例えばパーソナルコンピュータである。また、クライアント装置１５は、ネットワークを介して撮像装置１に電力を供給してもよい。

＜制御部＞
制御部１３は、例えばＣＰＵ（Central Processing Unit）であって、図示しない記憶装置に格納されたコンピュータプログラムに従って、動作する。
制御部１３は、領域別補正部１３１、現像処理部１３２、領域別輝度情報生成部１３３、移動情報算出部１３４、露光条件決定部１３５を有する。これらの要素は、コンピュータプログラムを制御部１３が実行することにより実現される。図１では、制御部１３の要素のすべてが固体撮像素子ユニット１２とは別に設けられているが、制御部の一部の機能、またはすべての機能が、固体撮像素子ユニット１２内に含まれていてもよい。

領域別補正部１３１は、固体撮像素子ユニット１２から供給された撮像データにおいて各領域の明るさを補正し、実空間での各領域の明るさに近づけた画像データを生成する。
現像処理部１３２は、領域別補正部１３１から供給された画像データに対して、ホワイトバランス補正、ディベイヤー、ノイズリダクション、シャープネス補正、ガンマ補正などの現像処理を行う。現像処理部１３２で処理された画像データは、転送部１４に供給され、クライアント装置１５に転送される。
但し、領域別補正部１３１での補正や、現像処理部１３２での現像処理を行わずに、撮像データまたは画像データをクライアント装置１５に転送してもよい。

＜領域別輝度情報生成＞
領域別輝度情報生成部１３３は、領域別補正部１３１から供給された画像データに基づいて、領域別輝度情報を生成する。領域別輝度情報は、画像内の輝度の分布を示す輝度分布情報である。図２Ａおよび図２Ｂを参照して、領域別輝度情報生成部１３３の処理を説明する。
図２Ａは、固体撮像素子ユニット１２で撮像されて領域別補正部１３１で補正された画像データの画像である。一例として、図２Ａは、夜間にヘッドライトを点灯させた自動車の画像であり、輝度のコントラストが大きい。図２Ｂは、領域別輝度情報生成部１３３によって生成された領域別輝度情報が表す輝度の分布を示す。図２Ｂより明らかなように、自動車の車体部分が暗く、ヘッドライトとヘッドライトで照らされている領域が明るい輝度の分布を領域別輝度情報は表している。

領域別輝度情報生成部１３３は、領域別輝度情報を露光条件決定部１３５に供給する。
図２Ｂでは、画像を横方向に１２、縦方向に８の領域に分けた例を示すが、画像中の領域の数は、この例に限定されず、固体撮像素子ユニット１２のピクセル数に応じて任意に設定してよい。また、図２Ｂでは、５段階の輝度を有する画像の例を示すが、輝度の段階の数もこの例に限定されず、任意に設定することができる。

＜移動情報算出＞
移動情報算出部１３４には、ズーム制御機構１１を制御するズーム制御情報（画角制御情報）が供給される。ズーム制御情報は転送部１４から供給される制御コマンドでもよいし、転送部１４から供給されてズーム制御機構１１から転送される制御コマンドでもよい。
移動情報算出部１３４は、ズーム制御情報を監視して、現撮像時の画角と次撮像時の画角の変化があるか否かを判断する。画角の変化がある場合、移動情報算出部１３４は、画角の変化に基づいて、現撮像時の画像中の各部分に対応する固体撮像素子ユニット１２上の各位置と、各部分に対応する次撮像時の固体撮像素子ユニット１２上の各位置との間の距離である移動量を算出する。つまり、移動情報算出部１３４は、現撮像フレームと次撮像フレームでの同一部分の移動量を算出する。また、画角の変化がある場合、移動情報算出部１３４は、画角の変化に基づいて、各位置の移動の方向を算出する。「固体撮像素子ユニット１２上の位置」とは、固体撮像素子ユニット１２の撮像領域に含まれる位置であり、例えばピクセルであってよい。移動情報算出部１３４は、画像中の多数の部分について、位置の移動量と移動の方向を算出する。移動情報算出部１３４は、算出した移動量と移動の方向を示す情報である移動情報を露光条件決定部１３５に供給する。

図３は、ズーム制御による画角の変化を示す。θ１はワイド撮像（ズームアウト）での撮像画角であり、θ２はテレ撮像（ズームイン）での撮像画角である。固体撮像素子ユニット１２の全体撮像領域の高さをＡと想定する。画像中のある部分に対応する固体撮像素子ユニット１２上の位置のズーム制御の前後での縦方向の移動量は、現撮像時の画像中の当該部分の位置と、θ１と、θ２と、Ａの関数として算出される。ある部分に対応する固体撮像素子ユニット１２上の位置のズーム制御の前後での横方向の移動量は、現撮像時の画像中の当該部分の位置と、θ１と、θ２と、固体撮像素子ユニット１２の全体撮像領域の幅の関数として算出される。すなわち、画像中の中央の部分に対応する位置は、ズーム制御の前後で変化しないが、他の部分に対応する位置は、ズーム制御の前後の画角の変化に応じて変化する。
図４は、ズームイン制御での固体撮像素子ユニット１２上の位置の移動の方向を示す。ズームイン制御があっても、視野の中央部では位置は変化しないが、周辺部は次撮像時に矢印で示すように拡大する。ズームアウト制御では、周辺部は次撮像時に縮小する。

＜露光条件決定＞
露光条件決定部１３５には、移動情報算出部１３４で算出された移動情報（多数の位置の移動量と方向）と、領域別輝度情報生成部１３３で生成された現撮影時の領域別輝度情報（現撮像時の撮像画像の輝度分布情報）が供給される。露光条件決定部１３５は、移動情報算出部１３４で算出された移動情報と領域別輝度情報生成部１３３で生成された領域別輝度情報に基づいて、次撮像時に使用される各領域（例えば各ピクセル）の露光条件を決定し、決定した露光条件で固体撮像素子ユニット１２を駆動する。
具体的には、露光条件決定部１３５は、まず、現撮像時の領域別輝度情報に移動情報を適用し、次撮像時の領域別輝度情報（輝度分布情報）を生成する。
ズームイン制御の場合には、露光条件決定部１３５は、図２Ｂに例示する現撮像時の領域別輝度情報に、図４に模式的に示す移動情報を適用し、次撮像時の領域別輝度情報を生成する。図５は、露光条件決定部１３５で生成された、次撮像時の領域別輝度情報が表す輝度の分布を示す。図５の分布は、図２Ｂの分布を全体的に拡大したものに相当する。つまり、撮像画角の変更に伴い、図２Ｂの分布が図５では縦横２倍に拡大されている。したがって、図５では、２ｘ２ピクセル毎に同じ明るさとなっている。
ズームアウト制御の場合には、現撮像時の領域別輝度情報で表される分布を縮小した分布が得られるように、露光条件決定部１３５は、次撮像時の領域別輝度情報を生成する。

次撮像時の領域別輝度情報を生成した後、露光条件決定部１３５は、次撮像時に使用される各領域の露光条件を決定する。具体的には、次撮像時の領域別輝度情報に示される各領域の輝度を、図６に例示する露光条件を決定するテーブルに当てはめ、露光量（ＥＶ値）を決定する。すなわち、領域別輝度情報で明るい輝度が指定された領域には低いＥＶ値を当てはめ、暗い輝度が指定された領域には高いＥＶ値を当てはめることで、白トビや黒ツブレを抑制する。そして、露光条件決定部１３５は、決定したＥＶ値を固体撮像素子ユニット１２に通知する。固体撮像素子ユニット１２は、通知されたＥＶ値から各領域の電荷蓄積時間およびゲインを決定し、決定した電荷蓄積時間およびゲインを用いて、次の撮像を行う。
あるいは、露光条件決定部１３５は、次撮像時の領域別輝度情報に示される各領域の輝度を、図６に例示する露光条件を決定するテーブルに当てはめ、電荷蓄積時間およびゲインを決定してもよい。この場合、固体撮像素子ユニット１２は、露光条件決定部１３５から通知された電荷蓄積時間およびゲインを用いて、次の撮像を行う。

上記の通り、領域別補正部１３１は、固体撮像素子ユニット１２から供給された撮像データに対して、各領域の明るさを補正する。この補正においては、露光条件決定部１３５で決定された各領域の露光条件を使用し、各領域の露光条件の改善のない実空間での各領域の明るさを得る。したがって、領域別輝度情報生成部１３３が生成する領域別輝度情報は、実空間での輝度の分布を示す。

従来の撮像装置では、次撮像時の露光条件を、現撮像時と次撮像時の画像のずれを考慮せずに決定していた。そのため、自動車のヘッドライトなどの輝度の高い領域を高いＥＶ値で露光したり、ヘッドライトで照らされていない背景領域を低いＥＶ値で露光したりしてしまう場合があった。そのため、現撮像時と次撮像時の画像のずれによって、白トビや黒ツブレが発生してしまう場合があった。しかし、本実施形態に係る撮像装置では、次撮像時の露光条件を、現撮像時と次撮像時の画像のずれを考慮して決定している。これにより、ズーム制御による画角変更に伴って、現在の撮像と次の撮像とで画像がずれる場合でも、白飛びや黒つぶれを抑制した撮像が可能となっている。

＜フローチャート＞
図７のフローチャートを用いて、実施形態１に係る撮像装置の動作を説明する。以下の説明は、次撮像の露光条件を決定する処理の流れに注目し、他の処理は詳しく説明しない。
まず、Ｓ１１で撮像を行う（動画像の１フレームに相当する撮像データを得る）。次に、Ｓ１２で領域別輝度情報生成部１３３が領域別輝度情報を生成する。続いて、Ｓ１３で次撮像時にズーム制御があるかないかを判定する。ズーム制御がある場合には、動作はＳ１４に進み、ズーム制御が無い場合には、動作はＳ１６に進む。

Ｓ１４では、撮像装置への制御情報（具体的には、ズーム制御情報）から、移動情報算出部１３４が移動情報を算出し、露光条件決定部１３５に供給する。Ｓ１５で、移動情報算出部１３４からの移動情報を用いて、領域別輝度情報生成部１３５からの現撮影時の領域別輝度情報を補正することで、露光条件決定部１３５が次撮像時の領域別輝度情報を算出する。Ｓ１６において、次撮像時の領域別輝度情報と、露光条件を決定するテーブルから、露光条件決定部１３５は次撮像時の領域別の露光条件を決定する。Ｓ１６の後、動作はＳ１１に戻る。こうして、露光条件決定部１３５で決定された領域別の露光条件を用いて、固体撮像素子ユニット１２は撮像を行う。

Ｓ１３の判断が否定の場合、露光条件決定部１３５は領域別輝度情報生成部１３３から供給された現撮影時の領域別輝度情報をそのまま次撮影時の領域別輝度情報として使用し、次撮像時の領域別の露光条件を決定する。

＜実施形態２＞
本実施形態に係る撮像装置１の構成は、図１を参照して説明した実施形態１のものと同じである。但し、露光条件決定部１３５による次撮像時の撮像画像の領域別輝度情報（輝度分布情報）の生成手法が異なる。本実施形態では、現撮像時の撮像画像の輝度分布情報から次撮像時の撮像画像の輝度分布情報を得る際、次撮像時の注目領域の輝度を、現撮像時の注目領域の輝度と現撮像時の注目領域に隣接する複数の隣接領域の輝度を用いて、補間して算出する。

図８は、本実施形態において、ズームイン制御のために露光条件決定部１３５で生成された、次撮像時の領域別輝度情報が表す輝度の分布を示す。図８は、実施形態１の図５に対応する。つまり、図８は、ズームイン制御の場合には、露光条件決定部１３５が、図２Ｂに例示する現撮像時の領域別輝度情報に、図４に模式的に示す移動情報を適用して生成した次撮像時の領域別輝度情報に対応する。
図８と図５を比べてわかるように、図８では、各々の領域の輝度は、当該領域の輝度と周囲の領域の輝度を用いて補間して決定されているため、図５のように必ずしも２ｘ２ピクセル毎に同じ明るさになっているわけではない。このように、次撮像時の領域別輝度情報を求める際、次撮像時の注目領域の輝度を、現撮像時の注目領域の輝度と現撮像時の注目領域に隣接する複数の隣接領域の輝度を用いて、補間して算出することで、より好適な露光条件で撮像することができる。つまり、更に白トビや黒ツブレを抑制することができる。
ここで「注目領域」とは、固体撮像素子ユニット１２の撮像領域に含まれる領域であり、複数のピクセルから構成されている。

＜実施形態２の効果＞
図９Ａは、領域別輝度情報生成部１３３で生成されたズームイン前の画像の輝度の分布をズームイン後の画像における輝度の分布にそのまま拡大した概略図である。つまり、図９Ａは実施形態１で露光条件決定部１３５によって生成された領域別輝度情報の輝度の分布を示す。領域２１の左側隣接領域２２に太陽がさす窓が存在し、右側隣接領域２３は暗い壁になっているような場合、領域２１内に明暗部の境界が存在する。
しかし、実際には、ズームイン後の輝度の分布は図９Ｂに示すものであったとする。この場合、領域２１の左半分の領域２４の輝度は、左側隣接領域２２の輝度より小さく、領域２１の右半分の領域２５の輝度より大きい。領域２１の右半分の領域２５の輝度は、領域２１の左半分の領域２４の輝度より小さく、右側隣接領域２３の輝度より大きい。したがって、図９Ａの輝度の分布に依存して撮像すると、領域２１の左半分の領域２４はやや露出アンダーになり、右半分の領域２５はやや露出オーバーになる。

また、図９Ｃに示すように、仮に領域２１の全体の輝度を左側隣接領域２２の輝度と右側隣接領域２３の輝度の平均値または中間値に決定すると、領域２１の左半分の領域２４はやや露出オーバーになり、右半分の領域２５はやや露出アンダーになる。
図９Ｄは、本実施形態において露光条件決定部１３５で生成された次撮像時の輝度の分布を示す。本実施形態では、露光条件決定部１３５は、注目領域の輝度と注目領域に隣接する複数の隣接領域の輝度を用いて、補間して注目領域の輝度を算出する。ここでは、領域２１内の領域２４，２５の相対位置も考慮される。したがって、領域２１の左半分の領域２４の輝度を高めに設定し、右半分の領域２５の輝度を低めに設定することができる。その結果、左半分の領域２４、右半分の領域２５の各々について、更に適正な露光条件で撮像することができる。

＜補間の手法＞
具体的には、現撮影時と次撮影時の間にズーム制御機構１１がズームイン制御する場合、露光条件決定部１３５は、以下の式１を用いて、ズームイン後（次撮像時）の注目領域の輝度Ｋを算出することができる。
K = (1-a-b)C + a{(1-α)L + αR} + b{(1-β)U + βD} ．．．（式１）

ここで、Ｃ、Ｌ、Ｒ、Ｕ、Ｄは、それぞれズームイン前（現撮像時）の注目領域、左側隣接領域、右側隣接領域、上側隣接領域、下側隣接領域の輝度である（図１０参照）。また、αは、ズームイン後（次撮像時）の注目領域の重心から、ズームイン前（現撮像時）の左側隣接領域までの相対距離であり、βは、ズームイン後（次撮像時）の注目領域の重心から、ズームイン前（現撮像時）の上側隣接領域までの相対距離である。
ａ、ｂは、重みづけ係数である。重みづけ係数ａは、次撮像時の注目領域の輝度Ｋへの現撮像時の左右の隣接領域の輝度Ｌ、Ｒの影響を決定づける。重みづけ係数ａが大きいほど、現撮像時の左右の隣接領域の輝度Ｌ、Ｒが次撮像時の注目領域の輝度Ｋに大きく反映され、重みづけ係数ａが小さいほど、現撮像時の注目領域の輝度Ｃが次撮像時の注目領域の輝度Ｋに大きく反映される。重みづけ係数ｂは、次撮像時の注目領域の輝度Ｋへの現撮像時の上下の隣接領域の輝度Ｕ、Ｄの影響を決定づける。重みづけ係数ｂが大きいほど、現撮像時の上下の隣接領域の輝度Ｕ、Ｄが次撮像時の注目領域の輝度Ｋに大きく反映され、重みづけ係数ｂが小さいほど、現撮像時の注目領域の輝度Ｃが次撮像時の注目領域の輝度Ｋに大きく反映される。
したがって、露光条件決定部１３５は、現撮像時の注目領域および隣接領域の輝度、次撮像時の注目領域の重心と現撮像時の隣接領域までの相対距離、ならびに移動情報算出部１３４で算出された移動量と方向に基づいて、次撮像時の注目領域の輝度を算出する。

重みづけ係数ａ、ｂは、互いに同じでもよいし、異なってもよい。また、露光条件決定部１３５は、同じ画像でも領域ごとに重みづけ係数ａ、ｂを変えてもよいし、シーンに応じて重みづけ係数ａ、ｂを変えてもよい。以下に重みづけ係数ａ、ｂの設定の例を説明する。
現撮像時の左側隣接領域の輝度Ｌと右側隣接領域の輝度Ｒの差が大きいほど、露光条件決定部１３５は重みづけ係数ａを大きく設定するのが好ましい。ＬとＲの差が大きいほど、ズームイン前の注目領域内に横方向の明暗部の境界が存在する可能性が高いためである。重みづけ係数ａを大きく設定することにより、これらの隣接領域の輝度Ｌ、Ｒが次撮像時の注目領域の輝度Ｋに大きく反映されるように、露光条件決定部１３５は、次撮像時の注目領域の輝度Ｋを算出する。
同様に、現撮像時の上側隣接領域の輝度Ｕと下側隣接領域の輝度Ｄの差が大きいほど、露光条件決定部１３５は重みづけ係数ｂを大きく設定するのが好ましい。ＵとＤの差が大きいほど、ズームイン前の注目領域内に縦方向の明暗部の境界が存在する可能性が高いためである。重みづけ係数ｂを大きく設定することにより、これらの隣接領域の輝度Ｕ、Ｄが次撮像時の注目領域の輝度Ｋに大きく反映されるように、露光条件決定部１３５は、次撮像時の注目領域の輝度Ｋを算出する。
かくして露光条件決定部１３５は、現撮像時の注目領域に一方向に並ぶ２つの隣接領域の輝度差（│Ｌ－Ｒ│または│Ｕ－Ｄ│）が大きいほど、隣接領域の輝度が次撮像時の注目領域の輝度Ｋに大きく反映されるように、次撮像時の注目領域の輝度Ｋを算出する。

換言すると、互いに反対側の方向にある現撮像時の左側隣接領域の輝度Ｌと右側隣接領域の輝度Ｒの差が小さいほど、ズームイン前の注目領域内に横方向の明暗部の境界が存在する可能性が低い。同様に、現撮像時の上側隣接領域の輝度Ｕと下側隣接領域の輝度Ｒの差が小さいほど、ズームイン前の注目領域内に縦方向の明暗部の境界が存在する可能性が低い。このため、ＬとＲの輝度差、ＵとＤの輝度差が小さいほど、ａやｂの値を小さくしたほうが良い。特に、ＬとＲの差、ＵとＤの差がいずれも特定の閾値未満の場合には、ａ＝ｂ＝０に設定するのが好ましい。この場合、隣接領域の輝度を用いた補間を行わずに、現撮像時の注目領域の輝度Ｃを次撮像時の注目領域の輝度Ｋに設定することになる（式（１）において、ａ＝ｂ＝０であれば、Ｋ＝Ｃである）。
この場合、明暗部の境界が存在する領域のみで補間処理を行うことになるため、補間処理の負荷を小さくすることができる。

現撮影時と次撮影時の間にズーム制御機構１１がズームアウト制御する場合には、現撮像時の領域別輝度情報で表される分布を縮小した分布が得られるように、露光条件決定部１３５は、次撮像時の領域別輝度情報を生成する。
ズームアウト制御の場合には、ズームイン制御の場合とは異なり、現撮像時の複数の領域が、次撮像時に１つの領域内に位置することになる。そこで、露光条件決定部１３５は、現撮像時の複数の領域の輝度（現撮像時の注目領域の輝度と現撮像時の注目領域に隣接する複数の隣接領域の輝度）を平均して、次撮像時の注目領域の輝度を算出することが好ましい。
また、ズームアウト制御の場合には、次撮像時の撮像画角の周辺部において、参照するべき輝度情報が不足している部分がある。したがって、露光条件決定部１３５は、次撮像時の撮影画角の周辺部にある注目領域の輝度を、現撮影時の現撮像時の注目領域および隣接領域の輝度から推定することが好ましい。

＜その他の実施形態＞
以上、本発明の実施形態を説明したが、上記の説明は本発明を限定するものではなく、本発明の技術的範囲において、構成要素の削除、追加、置換を含む様々な変形例が考えられる。

例えば、上記の実施形態では、動画像の各フレームの撮像時に各領域の露光条件を決定する。したがって、特許文献１に記載の技術のように、人に見せない参照用の画像を得る予備撮像と、人に見せる画像を得る本撮像という概念はない。しかし、上記の実施形態を修正して、人に見せない参照用の画像を得る予備撮像から、人に見せる画像を得る本撮像での各領域の露光条件を決定してもよい。

上記の実施形態では、ズーム制御すなわち画角変更に伴って、現在の撮像と次の撮像とで画像がずれる場合に、次撮像時に使用される各領域の露光条件を決定する。しかし、ズーム制御ではなく、パンまたはチルトに伴うカメラの視野の移動によって、現在の撮像と次の撮像とで画像がずれる場合に、次撮像時に使用される各領域の露光条件を決定してもよい。この場合、移動情報算出部１３４は、パンまたはチルトの制御情報に基づいて、画像中の多数の部分について、位置の移動量と移動の方向を算出する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。この場合、記録媒体から読み出されたプログラム（プログラムコード）自体が実施形態の機能を実現することになる。また、当該プログラムを記録した記録媒体は本発明を構成することができる。
また、コンピュータが読み出したプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
図２に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。ＦＰＧＡは、Ｆｉｅｌｄ―Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

１…撮像装置
１１…ズーム制御機構
１２…固体撮像素子ユニット
１３…制御部
１４…転送部
１３３…領域別輝度情報生成部
１３４…移動情報算出部
１３５…露光条件決定部

Claims (14)

1. 個別に露光条件を制御することができる複数の領域を有する固体撮像素子ユニットと、
   撮像装置への制御情報に基づいて、現撮像時の画像中の各部分に対応する前記固体撮像素子ユニット上の位置と各部分に対応する次撮像時の位置との間の距離である移動量と位置の移動の方向を算出する算出手段と、
   現撮像時の撮像画像の輝度分布情報と、前記算出手段が算出した移動量と方向に基づいて、次撮像時に使用される各領域の露光条件を決定する決定手段と
   を有することを特徴とする撮像装置。
2. 画角を変更する変更手段をさらに有し、
   前記算出手段は、現撮像時の画角と次撮像時の画角の変化に基づいて、前記移動量と前記方向を算出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、次撮像時の注目領域の輝度を、現撮像時の注目領域の輝度と現撮像時の注目領域に隣接する複数の隣接領域の輝度を用いて、補間して算出して、次撮像時の注目領域の露光条件を決定する
   ことを特徴とする請求項２に記載の撮像装置。
4. 現撮影時と次撮影時の間に前記変更手段がズームイン制御する場合、前記決定手段は、現撮像時の注目領域および隣接領域の輝度、次撮像時の注目領域の重心と現撮像時の隣接領域までの相対距離、ならびに前記算出手段で算出された前記移動量と前記方向に基づいて、次撮像時の注目領域の輝度を算出する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は、現撮像時の注目領域に一方向に並ぶ２つの隣接領域の輝度差が大きいほど、これらの隣接領域の輝度が次撮像時の注目領域の輝度に大きく反映されるように、次撮像時の注目領域の輝度を算出する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記決定手段は、現撮像時の注目領域に縦方向に並ぶ２つの隣接領域の輝度差、および現撮像時の注目領域に横方向に並ぶ２つの隣接領域の輝度差が、いずれも特定の閾値未満の場合には、隣接領域の輝度を用いた補間を行わずに、現撮像時の注目領域の輝度を次撮像時の注目領域の輝度に設定する
   ことを特徴とする請求項４または５に記載の撮像装置。
7. 現撮影時と次撮影時の間に前記変更手段がズームイン制御する場合、前記決定手段は、以下の式を用いて、次撮像時の注目領域の輝度Ｋを算出する
   ことを特徴とする請求項４に記載の撮像装置。
   K = (1-a-b)C + a{(1-α)L + αR} + b{(1-β)U + βD}
   ここで、Ｃ、Ｌ、Ｒ、Ｕ、Ｄは、それぞれ現撮像時の注目領域、左側隣接領域、右側隣接領域、上側隣接領域、下側隣接領域の輝度であり、αは、次撮像時の注目領域の重心から現撮像時の左側隣接領域までの相対距離であり、βは、次撮像時の注目領域の重心から現撮像時の上側隣接領域までの相対距離であり、ａ、ｂは、重みづけ係数である。
8. 前記決定手段は、現撮像時の左側隣接領域の輝度Ｌと右側隣接領域の輝度Ｒの差が大きいほど、重みづけ係数ａを大きく設定する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記決定手段は、現撮像時の上側隣接領域の輝度Ｕと下側隣接領域の輝度Ｄの差が大きいほど、重みづけ係数ｂを大きく設定する
   ことを特徴とする請求項７または８に記載の撮像装置。
10. 前記決定手段は、現撮像時の上側隣接領域の輝度Ｕと下側隣接領域の輝度Ｄの差、および現撮像時の左側隣接領域の輝度Ｌと右側隣接領域の輝度Ｒの差が、いずれも特定の閾値未満の場合には、重みづけ係数ａ、ｂをゼロに設定し、現撮像時の注目領域の輝度Ｃを次撮像時の注目領域の輝度Ｋに設定する
    ことを特徴とする請求項７から９のいずれか１項に記載の撮像装置。
11. 現撮影時と次撮影時の間に前記変更手段がズームアウト制御する場合、前記決定手段は、現撮像時の注目領域の輝度と現撮像時の注目領域に隣接する複数の隣接領域の輝度を平均して、次撮像時の注目領域の輝度を算出する
    ことを特徴とする請求項２から１０のいずれか１項に記載の撮像装置。
12. 現撮影時と次撮影時の間に前記変更手段がズームアウト制御する場合、前記決定手段は、次撮像時の撮影画角の周辺部にある注目領域の輝度を、現撮影時の現撮像時の注目領域および隣接領域の輝度から推定する
    ことを特徴とする請求項２から１１のいずれか１項に記載の撮像装置。
13. 個別に露光条件を制御することができる複数の領域を有する固体撮像素子ユニットを備える撮像装置の制御方法であって、
    撮像装置への制御情報に基づいて、現撮像時の画像中の各部分に対応する前記固体撮像素子ユニット上の位置と各部分に対応する次撮像時の位置との間の距離である移動量と位置の移動の方向を算出することと、
    現撮像時の撮像画像の輝度分布情報と、算出した移動量と方向に基づいて、次撮像時に使用される各領域の露光条件を決定することと
    を有することを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

Images