JP2015061178A - 撮像システム、撮像システムの駆動方法、撮像装置、撮像装置の駆動方法 - Google Patents

Abstract

【課題】従来の撮像装置は、一の第１の領域の信号の読み出し期間と、他の第１の領域の信号の読み出し期間との間に、第２の領域の信号の読み出し期間がある。この場合、複数の第１の領域の境界に被写体として移動体を含むと、画像内の移動体の像が第１の領域同士の境界で不連続となる課題が生じる。
【解決手段】撮像領域のうちの第１の画素領域の画素の信号を読み出す第１の読み出しと、撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、第２の読み出し、第１の読み出し、第３の読み出しの順に行い、複数の分割領域の一部同士が、互いに他方の分割領域の行あるいは列の画素を挟むように、第２の読み出しと、第３の読み出しとを行うことを特徴とする撮像システム、撮像装置である。
【選択図】図１

Description

本発明は、撮像システム、撮像システムの駆動方法、撮像装置、撮像装置の駆動方法に関する。

撮像領域の画素から信号を読み出す撮像装置が知られている。特許文献１には、撮像領域を分割した複数の第１の画素領域と、撮像領域の内部で、複数の第１の画素領域の各々よりも、領域の単位面積あたりの信号が読み出される画素数が少ない第２の画素領域とを設定する撮像装置が記載されている。第２の画素領域は、第１の画素領域に比して解像度が低い。特許文献１の撮像装置は、複数の第１の画素領域のそれぞれの信号を読み出すことで、撮像領域全体の信号を得る。さらに、特許文献１の撮像装置は、一の第１の画素領域、第２の画素領域、他の第１の画素領域、第２の画素領域の順で信号を読み出す。これにより、特許文献１に記載の撮像システムは、撮像領域全体の信号に基づく画像を高解像度で得ることができ、さらに、第２の画素領域の信号に基づく画像を高フレームレートで得ることができる。

特開２００９−１７１５４５号公報

特許文献１の撮像装置は、一の第１の領域の信号の読み出し期間と、他の第１の領域の信号の読み出し期間との間に、第２の領域の信号の読み出し期間がある。この場合、複数の第１の領域の境界に被写体として移動体を含むと、画像内の移動体の像が第１の領域同士の境界で不連続となる課題が生じる。

本発明の一の態様は、各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、前記複数の画素の信号の読み出しを制御する制御部とを有し、前記制御部が、前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせ、前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように配置されていることを特徴とする撮像システムである。

また、本発明の一の態様は、各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、前記複数の画素の信号の読み出しを制御する走査回路を有し、前記走査回路が、前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせ、前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように配置されていることを特徴とする撮像装置である。

また、本発明の一の態様は、各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置の駆動方法であって、前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に行い、前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように、前記第２の読み出しと、前記第３の読み出しとを行うことを特徴とする撮像装置の駆動方法である。

また、本発明の一の態様は、各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、前記複数の画素の信号の読み出しを制御する制御部とを有する撮像システムの駆動方法であって、前記制御部が、前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせるとともに、前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように、前記第２の読み出しと、前記第３の読み出しとを行うことを特徴とする撮像システムの駆動方法である。

本発明によれば、移動体の像が、第１の画素領域同士の境界で不連続となりにくい撮像装置、撮像システムを提供できる。

第１の実施形態による撮像領域を示す図である。 境界補正を示すフローチャートである。 全体領域の補間を説明するための図である。 境界補正を示す図である。 撮像システムの構成例を示す図である。 撮像システムの駆動方法を示すタイミングチャートである。 再生・表示部を示す図である。 第２の実施形態による画面分割とフレーム期間を示す図である。 第３の実施形態による画素配置を示す図である。 第３の実施形態による読み出し方式を示す図である。 第３の実施形態による駆動方法を示すタイミングチャートである。 第４の実施形態による輝度変動を示す図である。

（第１の実施形態）
撮像装置１２０（図５）は、行列状の画素を有する。各画素は、被写体からの光を電荷に光電変換し、電荷を蓄積するフォトダイオードを含む。また、撮像装置１２０は、フォトダイオードから垂直信号線に出力された信号をサンプリングする回路やノイズを除去するためのＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路を有する。撮像装置１２０は、不図示の垂直シフトレジスタによって、信号を取り出す行の画素が選択されると、垂直信号線上に出力された信号が上述の回路によりサンプリングされ、水平シフトレジスタが順次走査を行う。これにより、上記の回路によりサンプリングされた信号が撮像装置１２０の外部へと出力される。

図１（ｂ）は本発明の第１の実施形態による撮像装置の撮像領域（有効画素領域）を模式的に表した図であり、図１（ａ）は参考例による撮像装置の有効画素領域を模式的に表した図である。撮像装置１２０（図５）は、撮像領域１０を有する。撮像領域１０は、垂直位置（行）及び水平位置（列）の行列状に配置された複数の画素を有する。撮像領域１０は、撮像装置の有効画素領域である。垂直シフトレジスタは、撮像領域１００の画素行を選択して、選択した画素行の画素から信号を読み出す。垂直シフトレジスタは、撮像領域１００の画素行を間引き走査する。間引き走査によって選択される画素行を図１（ｂ）では第１の画素領域Ａとして示している。また、垂直シフトレジスタは、撮像領域１００の一部の分割領域１１ａの画素行を走査することで、分割領域１１ａの画素行から信号を読み出す。垂直シフトレジスタは、撮像領域１００の他の一部の分割領域１１ｂの画素行を走査することで、分割領域１１ｂの画素行から信号を読み出す。垂直シフトレジスタが第１の画素領域Ａを走査することにより、撮像装置は、撮像領域１００全体の低解像度の画像を生成するための信号を出力する。そして、垂直シフトレジスタが分割領域１１ａ、１１ｂをそれぞれ走査することにより、分割領域１１ａ、１１ｂの高解像度の画像を生成するための信号を出力する。図１（ｂ）では、９行目から１６行目において、分割領域１１ａに含まれる画素行と、分割領域１１ｂに含まれる画素行とが互いに異なる分割領域に含まれる画素行に挟まれるように（くし型状）配置されている。分割領域１１ａ、１１ｂは互いに重複しない領域である。第２の画素領域１１は、分割領域１１ａ、１１ｂを合わせた領域である。

図１（ａ）及び（ｂ）において、第２の画素領域１１の１画面分の信号を出力するのに要する時間（１フレーム期間）が第１の画素領域Ａの１画面分の信号を出力するのに要する時間（１フレーム期間）よりも長い場合がある。その場合、第１の画素領域Ａの画像の更新間隔は第２の領域１１の画像の更新間隔に律則される。本実施形態の撮像装置は、第２の画素領域１１を複数の分割領域１１ａ及び１１ｂに分割する。そして、垂直レジスタは図１（ｃ）に示すように、分割領域１１ａ、第１の画素領域Ａ、分割領域１１ｂ、第１の画素領域Ａの順に撮像領域の走査を行う。これにより、第１の画素領域Ａから、第２の画素領域１１よりも高いフレームレートで信号を読み出すことができる。第１の読み出しは、第１の画素領域Ａからの信号の読み出しであり、第２の読み出しは、分割領域１１ａからの信号の読み出しであり、第３の読み出しは、分割領域１１ｂからの信号の読み出しである。

ただし、図１（ａ）の動作とした場合は、分割領域１１ａに属する垂直位置（行）１１と、分割領域１１ｂに属する垂直位置１３付近の境界部分に動体が含まれる場合に、第１の画素領域Ａの読み出し期間があることによって、動体が境界部で不連続になる。本実施形態では、分割領域１１ａと１１ｂの画素配置を図１（ｂ）のように、くし型に交互に配置することで、分割領域１１ａ及び１１ｂの境界部分に動体の重なる部分を作り、境界部における動体の不連続を低減する。

図２は、本実施形態による境界補正方法を示すフローチャートである。撮像システムは、撮像装置から出力された分割領域１１ａ及び１１ｂの補正を行う。まず、ステップ３０では、撮像システムは、撮像装置から出力された分割領域１１ａ及び１１ｂを取得する。次に、ステップ３１では、撮像システムは、それぞれの分割領域１１ａ及び１１ｂにおいて、くし型に分割したことによって欠落した画素と第１の画素領域Ａの画素の内部補間を行う。次に、ステップ３２では、撮像システムは、分割領域１１ａ及び１１ｂ間で重畳する部分において特徴点抽出を行う。次に、ステップ３３では、撮像システムは、一致する特徴点を用いて分割領域１１ａ及び１１ｂを合成することにより、第２の画素領域１１に対応する１枚の画像を得る。

図３（ａ）及び（ｂ）は、図２のステップ３１の分割領域内部補間で行われる分割領域１１ａ及び１１ｂのそれぞれの隣接画素による補間を示す図である。撮像装置の画像出力時は、図３（ａ）のように、分割領域１１ａには、分割領域１１ｂ及び第１の画素領域Ａのデータがなく、分割領域１１ｂには、分割領域１１ａ及び第１の画素領域Ａのデータがない。そこで、図３（ａ）の分割領域１１ａ及び１１ｂをそれぞれ上下の隣接する画素を用いて補間し、図３（ｂ）のような分割領域１１ａ及び１１ｂを得る。このとき、分割領域１１ａ内の領域１２ａと分割領域１１ｂ内の領域１２ｂは、同じ被写体を含む重なる画像データとなる。分割領域１１ａ及び１１ｂの補間時に、第１の画素領域Ａの領域を含む部分は第１の画素領域Ａのデータを代用として用いる。なお、分割領域１１ａ及び１１ｂの補間に際しては、上下の隣接画素に限定するものでない。例えば、図１（ｂ）の分割領域１１ａにおいて、垂直位置９の場合でいえば、垂直位置７、８、１０、１２の上下及び斜め方向のデータを用いそれぞれに重み付けを行った後、垂直位置９のデータを補間してもよい。

図４は、図２のステップ３２の重畳部特徴点抽出とステップ３３の重畳部合成で行われる境界補正を示す図である。図５に示す信号処理回路部１３０は、補間後の分割領域１１ａ、１１ｂの信号によって画像Ｐ１１ａ、Ｐ１１ｂを生成する。被写体１３ａと分割画像Ｐ１１ｂにおける被写体１３ｂにおいて特徴点抽出を行うと、分割画像Ｐ１１ａ及びＰ１１ｂの重畳する領域で特徴点１４が一致する。この一致する特徴点１４を用いて、分割画像Ｐ１１ａ及びＰ１１ｂの画像合成を行うことにより、第２の画素領域１１に対応する１枚の画像Ｐ１１ｃが得られる。画像Ｐ１１ｃは、被写体１３ｃを有する。

図５は、本発明の第１の実施形態による撮像システムの構成例を示す図である。撮像システム１００は、光学部１１０、撮像装置１２０、信号処理回路部（信号処理部）１３０、記録・通信部１４０、タイミング制御回路部（制御部）１５０、システムコントロール部１６０、及び再生・表示部１７０を有する。光学部１１０は、被写体からの光を撮像装置１２０の複数の画素が２次元状に配置された撮像領域１０（図１（ｂ））に結像させ、被写体の像を形成する。撮像装置１２０は、図１（ｂ）の撮像領域１０を有する。撮像装置１２０は、タイミング制御回路部１５０からの信号に基づくタイミングで、撮像領域１０の各画素に結像された光に応じた信号を出力する。タイミング制御回路部１５０は、撮像装置１２０の複数の画素の信号の読み出しを制御する。

撮像装置１２０から出力された信号は、信号処理回路部１３０に入力される。信号処理回路部１３０は、プログラムなどによって定められた方法に従って、入力された電気信号に対してアナログデジタル変換などの処理を行う。信号処理回路部１３０での処理によって得られた信号は、記録・通信部１４０に出力される。記録・通信部１４０は、画像を形成するための信号を再生・表示部１７０に出力する。再生・表示部１７０は、動画や静止画像を再生・表示する。記録・通信部１４０は、信号処理回路部１３０からの信号を入力し、システムコントロール回路部１６０と通信を行うほか、不図示の記録媒体に、画像を形成するための信号を記録する動作を行う。

本実施形態では、信号処理回路部１３０は、図２のフローチャートの処理により、第１の画素領域Ａ及び分割領域１１ａ，１１ｂの画素信号を合成することにより１枚の画像を生成する。ステップ３０では、信号処理回路部１３０は、分割領域１１ａ及び１１ｂをメモリに取り込む。次に、ステップ３１では、信号処理回路部１３０は、図３で示されるように、メモリに取り込まれたそれぞれの分割領域１１ａ及び１１ｂ毎に第１の画素領域Ａ等の欠陥画素を隣接する有効な画素値で補間し、メモリに保存する。補間方法は、例えば線形補間が挙げられる。次に、ステップ３２では、信号処理回路部１３０は、メモリに保存された補間後の分割領域１１ａ及び１１ｂにおいて、分割領域１１ａ及び１１ｂのそれぞれの重畳する領域において、特徴点抽出を行い、メモリに保存する。抽出方法は、例えばＳＩＦＴ法が挙げられる。次に、ステップ３３では、信号処理回路部１３０は、メモリに保存された特徴点を用いて、補間後の分割領域１１ａ及び１１ｂを合成する。合成方法は、例えばアフィン変換による変形合成が挙げられる。上記の補間、特徴点抽出、合成の方法は、一般のパノラマカメラに用いられるアルゴリズムを用いても良い。

また、信号処理回路部１３０は、第１の画素領域Ａの補間を行う。第１の画素領域Ａは、縦方向に間引きされているため、アスペクト比が被写体のアスペクト比と合うように、例えば縦方向を線形補間する。もしくは、横方向をアスペクト比が合うように、第１の画素領域Ａを間引いても良い。

本実施形態では、第２の画素領域１１を２つの分割領域１１ａ及び１１ｂに分割する例を説明する。図１（ｂ）の撮像領域１０は、撮像装置１２０において、垂直位置を制御する垂直シフトレジスタと水平位置を制御する水平シフトレジスタにより制御され、信号が読み出される。撮像領域１０には、入射光に応じて電気信号を生成する画素が行列状に配置されている。垂直シフトレジスタと水平シフトレジスタは、それぞれ画素の垂直方向と水平方向を走査し、図５で示されるシステムコントロール回路部１６０による制御に基づいて走査の方法を変えることが可能である。

図１（ｂ）では、説明の簡単のために、撮像領域１０が３２列×２４行の画素からなる例を示している。また、撮像装置１２０は、撮像領域１０の周囲に、補正のために用いられる、遮光されたオプティカルブラック画素を設けてもよい。

図６は、撮像システムの駆動方法の一例を示すタイミングチャートである。図６では、撮像領域１０における各行の画素から信号を読み出す動作を行うタイミングが示されており、四角部分がパターンで塗りつぶされている期間に当該行の画素からの信号を撮像装置１２０が出力する動作を示す。まず、時間「１」〜「９」では、分割領域１１ａの読み出しを行う。分割領域１１ａは、行「２」〜「５」等を有する。次に、時間「１０」〜「１４」では、第１の画素領域Ａの読み出しを行う。第１の画素領域Ａは、行「１」及び「６」等を有する。次に、時間「１５」〜「２４」では、分割領域１１ｂの読み出しを行う。分割領域１１ｂは、行「９」及び「１１」等を有する。次に、時間「２５」〜「２９」では、第１の画素領域Ａの読み出しを行う。第１の画素領域Ａは、行「１」及び「６」等を有する。上記の時間「１」〜「２９」を１周期として、処理を繰り返す。つまり、複数の分割領域１１ａ及び１１ｂのそれぞれの読み出し期間の間に、第１の画素領域Ａの読み出し期間を設ける。

上記の分割領域１１ａの読み出し期間では、垂直シフトレジスタは、行「２」から行「５」までを順次走査し、その後、行「７」、「８」、行「１０」、行「１４」、行「１６」を走査する。各行の走査を終えてから、次の行の走査を行う前に、水平シフトレジスタは、当該行の列を列「１」から最後の列まで順次走査する。これにより、分割領域１１ａの信号が出力される。

次に、第１の画素領域Ａの読み出し期間では、垂直シフトレジスタはリセットされ、先頭の行に処理を戻す。そして、垂直シフトレジスタは、行「１」、行「６」、行「１２」、行「１８」、行「２４」を走査し、第１の画素領域Ａが出力される。

次に、分割領域１１ｂの読み出し期間では、行「９」、行「１１」、行「１３」、行「１５」、行「１７」、そして行「１９」から行「２３」までを順次走査し、分割領域１１ｂから信号が出力される。

次に、再び、第１の画素領域Ａの読み出し期間として、垂直シフトレジスタが第１の画素領域Ａを順次走査する。これにより、撮像装置は、第１の画素領域Ａの信号を出力する。

以上のように、分割領域１１ａ及び１１ｂの合成画像を１画面分更新する期間中に第１の画素領域Ａを２画面分更新することになる。これ以降も、上述の動作を繰り返すので、第１の画素領域Ａと第２の画素領域１１は、更新周期が２：１の割合となる。

撮像装置１２０は、分割領域１１ａ，１１ｂ及び第１の画素領域Ａを信号処理回路部１３０に出力する。信号処理回路部１３０は、図２の処理により、画像合成を行う。再生・表示部１７０は、低解像度の第１の画素領域Ａを高フレームレートで表示し、高解像度の分割領域１１ａ，１１ｂの合成画像を低フレームレートで表示する。

次に、分割領域１１ａ，１１ｂ及び第１の画素領域Ａの各画素の蓄積時間について説明する。撮像領域１０の各画素は、入射光に応じて電荷を蓄積し、蓄積された電荷量に応じた信号が撮像装置１２０から出力される。蓄積時間の長短によっても、信号の大きさが変化する。図６の行「６」では、第１の画素領域Ａの蓄積時間を表している。また、図６の行「２」では、分割領域１１ａの蓄積時間を表している。分割領域１１ｂの蓄積時間は、分割領域１１ａの蓄積時間と同じである。

第１の画素領域Ａの蓄積時間と分割領域１１ａの蓄積時間は、それぞれの画素の取り得る最大の蓄積時間を示しているが、これよりも短い蓄積時間に設定したい場合には、蓄積時間の途中の任意のタイミングで画素をリセットすればよい。より具体的には、図５のタイミング制御回路部１５０は、画素に対して画素をリセットする信号を出力する。また、第１の画素領域Ａの蓄積時間は、分割領域１１ａの蓄積時間よりも短い。撮像装置１２０内の増幅回路もしくは図５の信号処理回路部１３０が、第１の画素領域Ａの信号を増幅することで、第１の画素領域Ａと第２の分割領域１１との蓄積時間の差によって生じる信号レベルの差を補正するようにしても良い。また、撮像装置１２０内の増幅回路もしくは図５の信号処理回路部１３０が、第１の画素領域Ａの信号を、第２の画素領域１１の信号より高い増幅率で増幅するようにしても良い。

図７は、図５の再生・表示部１７０の表示例を示す図であり、再生・表示部１７０としてのモニタを表す。左側には、分割領域１１ａ，１１ｂの合成後の動画Ｄ１１を示している。右側には、第１の画素領域Ａの信号を用いて生成した動画を示している。ここでは、１つのモニタに動画Ｄ１１及び動画ＤＡを表示しているが、動画Ｄ１１及び動画ＤＡを異なるモニタに表示しても良い。動画Ｄ１１は解像度が高いため、動画Ｄ１１を表示するときに、一部の領域を切り出して表示しても良い。例えば、撮像システムを監視システムとして利用することができる。その場合は、第１の画素領域Ａの信号によって生成した動画ＤＡをフレームレート重視の動体監視用動画とし、第２の画素領域１１の信号によって生成した動画Ｄ１１を異常時における細部確認用動画として用いることが可能である。

図５において、システムコントロール回路部１６０は、撮像システムの動作を統括的に制御するものであり、光学部１１０、タイミング制御回路部１５０、記録・通信部１４０、及び再生・表示部１７０の駆動を制御する。また、システムコントロール回路部１６０は、例えば記録媒体である不図示の記録装置を備え、ここに撮像システムの動作を制御するのに必要なプログラムなどが記録される。タイミング制御回路部１５０は、制御手段であるシステムコントロール回路部１６０による制御に基づいて撮像装置１２０及び信号処理回路部１３０の駆動タイミングを制御する。システムコントロール回路部１６０には、例えば、上述の動画Ｄ１１及び動画ＤＡをどのように決定するのかといったプログラムが記録されていても良い。その場合は、動作の開始に先立って第１の画素領域Ａ及び分割領域１１ａ，１１ｂの画素配置を決定する。システムコントロール回路部１６０は、不図示のインターフェース手段を介してユーザーによる操作を受け付けるように構成されていても良い。撮像システムを上述した監視システムとして利用する際に、動画Ｄ１１の細部確認表示領域をユーザーが指定することができる。

以上、説明した本実施形態によれば、第１の画素領域Ａの更新周期を短くした場合でも、分割領域１１ａ，１１ｂの合成時の分割境界の不連続性を補正し、良好な画質の合成画像を得ることが可能である。その結果、第１の画素領域Ａに基づく、高フレームレートで低解像度の画像と、第２の画素領域１１に基づく、低フレームレートで高解像度の画像とを得ることができる。

ここでは、２つの分割領域１１ａ及び１１ｂに分割しているが、分割する数は３以上でも良く、求められる第１の画素領域Ａの更新速度を踏まえて画像を分割すれば良い。分割領域１１ａ及び１１ｂは、更新間隔と蓄積時間を均一にするため、分割境界領域をくし型化する前の状態で均等分割する必要がある。また、くし型にして重畳する範囲は、３つの部分以上の重畳を避けるため、分割領域１１ａ，１１ｂのそれぞれの部分の行数の半分以下である必要がある。

分割する数が３以上の場合は、内部の分割領域では上下に重畳部分あるのに対し、上下端の分割領域では片方しかないため、上下端の分割領域と内部の分割領域に重畳範囲の差が生じる。よって、分割する数が３以上の場合は、更新間隔と蓄積時間を合わせるために、画面端の分割領域の画面端方向にダミー読み領域を設けても良い。この場合、ダミー読み領域の範囲は重畳領域の範囲と同じ行数が好適である。

なお、本実施形態の撮像装置は、第１の画素領域Ａを、画素の行単位で撮像領域を間引いた領域としていた。そして、本実施形態の撮像装置は、画素の行単位で第２の画素領域１１を分割していた。他の例として、撮像装置が、第１の画素領域Ａを、画素の列単位で撮像領域を間引いた領域とし、第２の画素領域１１を画素の列単位で分割するようにしても良い。この場合には、画素の列を選択する水平シフトレジスタが、本実施形態で述べた垂直シフトレジスタのように動作すればよい。本実施形態では、複数の分割領域の一部同士が、互いに他方の分割領域の行あるいは列の画素を挟むように配置されている。

また、本実施形態では、垂直シフトレジスタが画素行を選択していたが、シフトレジスタの代わりにデコーダとしても良い。つまり、本実施形態の撮像装置は、画素行を走査するシフトレジスタやデコーダのような走査回路を有していれば良い。

また、本実施形態の撮像装置は、第１の画素領域Ａは、撮像領域を間引いた領域としていた。他の例として、垂直シフトレジスタが複数の画素行を同時に選択することで、複数の画素行の信号を混合した信号を撮像装置が出力するようにしても良い。この場合、第１の画素領域Ａは、撮像領域全体であっても良い。撮像装置が、第１の画素領域Ａとして、複数の画素行の信号を混合した信号を出力する領域を設定することによって、撮像システムは、第１の画素領域Ａに基づく、低解像度の画像を生成することができる。

また、本実施形態の撮像装置は、第１の画素領域Ａとして設定される画素行を、フレームごとに異ならせるようにしても良い。同様に、本実施形態の撮像装置は、第２の画素領域１１として設定される画素行を、フレームごとに異ならせるようにしても良い。

（第２の実施形態）
図８（ａ）〜（ｄ）は、本発明の第２の実施形態によるフレーム期間と画面分割の組み合わせ例を示す図である。第１のフレーム期間が間引き画像の読み出し期間に対応し、第２のフレーム期間が第１のフレーム期間の画素を除く分割領域の読み出し期間に対応する。図８（ａ）は、本発明の第１の実施形態による第１のフレーム期間と第２のフレーム期間である。図８（ａ）は概略図であるため、分割領域１１ａ、１１ｂ、１１ｃの各境界は単に接しているように描いているが、実際にはくし型に重畳する範囲を持つ。図８（ａ）では、撮像装置は、Ａ、１１ａ、Ａ、１１ｂ、Ａ、１１ｃの順で信号を出力する。図８（ｂ）〜（ｄ）は、この組み合わせを変えた例を示す。

図８（ｂ）は、第２のフレーム期間の分割領域１１ａ及び１１ｂが撮像領域１０の全領域では無く、部分領域であり、かつ分割領域１１ａ及び１１ｂが連続している場合である。この場合、動作シーケンスとしては第１の実施形態と同一であるが、分割領域１１ａと分割領域１１ｂの水平方向の読み出し時間が図８（ａ）と比較して短くなるため、第２のフレーム期間の読み出し時間が短くなり、全体の更新周期をより短くすることができる。分割領域１１ａ及び１１ｂの境界が実際にはくし型に重畳する範囲を持つことは、図８（ａ）と同様である。

図８（ｃ）は、第１の実施形態とは逆に、第１のフレーム期間が画素領域Ａ及びＢの分割読み出し期間に対応し、第２のフレーム期間が第２の画素領域１１の全体読み出し期間に対応する場合である。図８（ｃ）では、Ａ、１１、Ｂ、１１の順に画素から信号を読み出す。この場合、高フレームレートの第１の画素領域をＡ、Ｂに分割するため、図８（ａ）、（ｂ）のように低フレームレートの画素領域を分割する場合に比して、移動体の不連続を低減できる。また、更新周期は長くなるが、第１の画素領域Ａ及びＢの蓄積時間を伸ばすことができる。画素領域Ａ、Ｂの境界が実際にはくし型に重畳する範囲を持つことは、図８（ａ）と同様である。

図８（ｄ）は、図８（ｃ）の画素領域Ａ及びＢを撮像領域全体で無く、分割領域にした例である。この場合、図８（ｃ）に比べ、画素領域Ａ及びＢの読み出しにおける水平走査期間が短いので、さらに第２の画素領域１１の時分割による不連続を少なくすることができる。画素領域Ａ及びＢの境界が実際には、くし型に重畳する範囲を持つことは、図８（ａ）と同様である。

（第３の実施形態）
次に、図９、図１０、図１１を用いて、本発明の第３の実施形態による撮像システムを説明する。本実施形態は、第１の実施形態の撮像装置１２０の複数の画素上にベイヤー型のカラーフィルターを配した場合の例である。

図９は、図１（ｂ）の撮像領域１０にベイヤー型のカラーフィルターを配した場合を示している。赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色ごとに第１の画素領域Ａ、分割領域１１ａ、分割領域１１ｂを配している。

図１０は、本実施形態におけるチャンネル別読み出しを示す図である。本実施形態では、色ごとに別々の垂直信号線で信号が読み出される。よって、Ｒ、Ｇｒ、Ｇｂ、Ｂの合計４チャンネルの出力で出力される。Ｇｒは左右が赤（Ｒ）の画素に挟まれた緑（Ｇ）の画素であり、Ｇｂは左右が青（Ｂ）の画素に挟まれた緑（Ｇ）の画素である。Ｒ及びＧｒの画素は、増幅回路及びサンプリング回路を介して、図の上側のチャンネルから読み出される。Ｂ及びＧｂの画素は、増幅回路及びサンプリング回路を介して、図の下側のチャンネルから読み出される。色毎に異なるチャンネルから信号が出力される。また、図５の信号処理回路部１３０は、色別での取り込みだけでなく、色に係る信号処理を行う。例えば、信号処理回路部１３０は、デモザイクやカラーバランスに係る信号処理を行う。

図１１は、本実施形態におけるＲチャンネルに係る画素からの信号を読み出す動作の一例を示すタイミングチャートである。本実施形態では、色ごとにチャンネルを分けて信号出力をしているため、タイミングチャート自体は図６に示したタイミングと同一の読み出し方式となる。本実施形態では、一般的なベイヤー配列によるカラーフィルター配置を示したが、配置はこれに限らない。例えば、赤、緑、青、白等の配列でもよい。

（第４の実施形態）
第１の実施形態において、図１（ｂ）の垂直位置（行）「１２」の第１の画素領域Ａは、分割領域１１ａの補間にしか用いなかった。ただし、垂直位置「１２」の第１の画素領域Ａは、第２の画素領域１１の１フレームに対し、２フレーム分あるので、第２の画素領域１１に比べ経時的な動体情報をより多く含む。

図１２は、分割数が６分割の場合の第１の画素領域Ａのある画素に注目した場合の輝度変動を示す図である。第１の画素領域Ａが高速フレームに対応し、分割領域１１ａ及び１１ｂは低速フレームに対応する。第１の画素領域Ａの注目画素の変動が大きい場合、対応する位置の分割領域１１ａ及び１１ｂの被写体は、被写体ブレのためにぼけてしまい、特徴点抽出が正常に行えなくなる。図２の重畳部合成ステップ３３において、信号処理回路部１３０は、第１の画素領域Ａの注目画素の信号の輝度時間的変動量が閾値より大きい場合に、その注目画素の信号を重畳部合成に用いないようにすることで、合成誤差を低減し、より高品位の合成画像を得る。変動量は、例えば、分散を用いる。

以上のように、第１〜第４の実施形態によれば、撮像した被写体の不連続の少ない高解像度の低フレームレートの分割領域１１ａ，１１ｂの合成画像と低解像度の高フレームレートの第１の画素領域Ａを同時に得ることができる。複数の異なる分割領域１１ａ及び１１ｂを読み出す場合、分割領域１１ａ及び１１ｂは読み出し行をくし型に交互に配し、分割領域１１ａ及び１１ｂごとに補間し、分割境界の連続性を得ることにより、画像が分割境界において不連続となることを抑制できる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 撮像領域、１１ａ，１１ｂ 分割領域、Ａ 第１の画素領域、１２０ 撮像装置、１３０ 信号処理回路部、１５０ タイミング制御回路部

Claims (9)

1. 各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、
   前記複数の画素の信号の読み出しを制御する制御部とを有し、
   前記制御部が、
   前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、
   前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせ、
   前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように配置されていることを特徴とする撮像システム。
2. さらに、前記制御部により読み出された第１の画素領域及び第２の画素領域の画素信号を合成することにより１枚の画像を生成する信号処理部を有することを特徴とする請求項１記載の撮像システム。
3. 前記信号処理部は、前記複数の分割領域の各画像を補間し、前記補間した各画像の特徴点を抽出し、前記抽出した特徴点を用いて前記補間した各画像を合成することにより、１枚の画像を生成することを特徴とする請求項２記載の撮像システム。
4. 前記第１の画素領域の信号は、前記第２の画素領域の信号より高い増幅率で増幅されることを特徴とする請求項１〜３のいずれか１項に記載の撮像システム。
5. 前記撮像装置は、前記複数の画素上に配されたカラーフィルターを有し、色毎に異なるチャンネルから信号を出力することを特徴とする請求項１〜４のいずれか１項に記載の撮像システム。
6. 前記信号処理部は、前記第１の画素領域の注目画素の信号の時間的変動量が閾値より大きい場合には、前記第１の画素領域の注目画素の信号を用いないで前記合成を行うことを特徴とする請求項２又は３記載の撮像システム。
7. 各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、
   前記複数の画素の信号の読み出しを制御する走査回路を有し、
   前記走査回路が、
   前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、
   前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせ、
   前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように配置されていることを特徴とする撮像装置。
8. 各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置の駆動方法であって、
   前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、
   前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、
   他の分割領域の前記画素の信号を読み出す第３の読み出しとを、
   前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に行い、
   前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように、前記第２の読み出しと、前記第３の読み出しとを行うことを特徴とする撮像装置の駆動方法。
9. 各々が光に基づく信号を生成する複数の画素が行列状に配置された撮像領域を有する撮像装置と、
   前記複数の画素の信号の読み出しを制御する制御部とを有する撮像システムの駆動方法であって、
   前記制御部が、
   前記撮像領域のうちの第１の画素領域の前記画素の信号を読み出す第１の読み出しと、
   前記撮像領域を分割した複数の分割領域のうちの一の分割領域の前記画素からの信号を読み出す第２の読み出しと、他の分割領域の前記画素の信号を読み出す第３の読み出しとを、前記第２の読み出し、前記第１の読み出し、前記第３の読み出しの順に前記撮像装置に行わせるとともに、
   前記複数の分割領域の一部同士が、互いに他方の前記分割領域の行あるいは列の前記画素を挟むように、前記第２の読み出しと、前記第３の読み出しとを行うことを特徴とする撮像システムの駆動方法。

Images