JP2010056953A - 撮像装置、画像処理装置及び撮像システム - Google Patents

Abstract

【課題】高解像度の画像を高速に生成することができる撮像装置、画像処理装置及び撮像システムを提供する。
【解決手段】光分割部２により、入射光を複数に分割し、それぞれを複数の撮像素子３に入射させている。複数の撮像素子のうち、１つはフルピクセルの画像（高解像度画像）を、残りは光分割部により分割された光の数に応じて間引かれた画像（低解像度画像）を撮影する。そして、タイミング制御部４により、各撮像素子の撮影タイミング、データ転送タイミングが制御される。画像処理部７は、低解像度画像間の移動ベクトルを算出し、高解像度画像に加算することにより、高解像度画像を生成する。
【選択図】図１

Description

本発明は、高速撮影が可能な撮像装置、画像処理装置及び撮像システムに関する。

高速で連続して撮影が可能な高速撮像装置がある。
高速撮像装置で高速撮影を行う場合には、固体撮像素子の画素からデータを出力するために要する処理時間、つまり処理レートが問題となる。

高速撮影を行う手法の一つとして、複数の撮像素子により短い間隔で撮影を行う方法がある。
各撮像素子は、入射した光を光電変換し、画像信号を生成する。
ここで、各撮像素子が短い間隔で次の撮影を行うためには、画像信号を各撮像素子から読み出す必要がある。
例えば１０万画素を有する固体撮像素子によって１万枚／秒という撮影速度で撮影を行おうとすると、１ＧＨｚの速さで画像信号の読み出しを行わなければならない。しかし、メモリの読み出し・書き込み速度などの観点から、撮像素子からの読み出し処理の高速化には限界がある。

このような問題を解決する方法が、例えば、特許文献１〜３などに開示されている。
特許文献１には、画素周辺記録型の撮像素子として、比較的面積の大きい個々のフォトダイオードから斜めに直線的に延びる電荷結合素子からなる電荷信号蓄積部を備える画素周辺記録型の撮像素子（斜行ＣＣＤ型撮像素子）が開示されている。
特許文献１に開示された斜行ＣＣＤ型撮像素子では、撮影中は電荷信号が素子外に読み出されることなく、各画素の周辺に設けられた画像信号蓄積部に連続的に上書きされる。そして、撮影終了後に画像信号蓄積部に蓄積された電化信号が全て読み出される。

他の方法として、素子内に画素ごとの撮像データを多数蓄積するのではなく、データの転送速度を向上させた技術が特許文献２に開示されている。
特許文献２には、列並列ＣＭＯＳセンサと呼ばれる固体撮像素子により、撮像素子の列ごとにデータ検出回路とＡ／Ｄ変換回路を設けることで、データの出力を並列化して、撮像素子からの画像信号読み出し速度を向上させている。

上述した特許文献１、２に開示された技術とは別のアプローチとして、例えば特許文献３に開示された技術がある。
特許文献３には、入射光を３分割する光分割プリズムを備え、分割した入射光を複数個の撮像素子で光電変換する技術が開示されている。
すなわち、１つの撮像素子からの読み出し時間短縮の限界を破るために、第１の撮像素子が１枚目の画像データの画像信号を生成する。そして、これが読み出される間に、第２の撮像素子が２枚目の画像データの画像信号を生成する、といったように、各撮像素子の撮影タイミングをずらして高速撮影を可能にしている。これら複数の撮像素子には、例えばプリズム等により入射光を分割して入射させている。
特開２００１−３４５４４１号公報 特開２００５−３２３３３１号公報 特開平４−６８８７６号公報

特許文献１に開示された技術では、撮影速度が出力レートに影響されないというメリットはあるが、メモリ容量によって撮影可能枚数、即ち撮影時間が限られてしまう、という不利益がある。
例えば撮影可能枚数が最大１００枚、すなわちメモリに１００枚分までしか画像信号を記憶できない高速撮影装置では、１０１枚目以降の画像を保存することが当然できない。
この問題は、メモリの容量を大きくすることによってある程度解決できるが、メモリの容量を増やそうとすると、その物理的サイズ自体を大きくせざるを得ず、近年小型化が要求されている撮像装置においてはこのような解決方法を採りづらい。
また、メモリの物理的サイズが他の構成要素を圧迫し、固体撮像素子の画素数を減らさなければならなくなったり、又は各画素間のピッチを拡げなければならなくなったりといった問題も生じる。
さらに、高い解像度で撮影を行いたい場合には、画素の数を増加させるとともに各画素間の配列ピッチを狭くする必要があるが、メモリのサイズを小さくしなければならなくなってしまう。

また、特許文献２に開示された技術では、高解像度での高速撮影については改善されているが、超高速で高解像度の撮影には未だ十分に対応できていない、という不利益があった。
さらに、特許文献３に開示された技術でも、近年要求されているように、高解像度の画像を高速に撮影することは難しい、という不利益があった。

本発明は、高解像度の画像を高速に生成することができる撮像装置、画像処理装置及び撮像システムを提供する。

上記した不利益を解消するために、第１の発明の撮像装置は、入射光の光量を複数に分割する光分割部と、前記複数に分割された光をそれぞれ入射し、入射された光量に応じて画像信号を生成し、前記生成した画像信号を後段の回路に転送する複数の撮像素子と、前記撮像素子の画像信号生成タイミング及び、生成した画像信号を転送する転送タイミングを制御するタイミング制御部と、を有し、前記複数の撮像素子のうち、少なくとも１つは他の撮像素子よりも高解像度の画像を生成し、前記タイミング制御部は、高解像度画像を生成する撮像素子のデータ転送中に前記他の撮像素子の撮像動作を複数回実行させて画像信号を生成させ、生成された画像信号のデータ転送を実行させる。

第２の発明の画像処理装置は、少なくとも１つの高解像度画像信号と、前記高解像度画像信号に続いて等間隔で生成された、前記高解像度画像と同一の被写体が撮影された複数の低解像度画像信号とを取得し、前記複数の低解像度画像信号を基に、前記高解像度画像信号を補完し、前記複数の低解像度画像信号に対応する複数の高解像度画像信号を生成する。

第３の発明の撮像システムは、入射光を複数に分割する光分割部と、前記複数に分割された光をそれぞれ入射し、入射された光に応じて画像信号を生成する複数の撮像素子と、前記複数の撮像素子から転送された画像信号に対して、所定の画像処理を行う画像処理部と、前記撮像素子の画像信号生成タイミング及び、生成した画像信号を転送する転送タイミングを制御するタイミング制御部と、を有し、前記複数の撮像素子のうち、少なくとも１つは他の撮像素子よりも高解像度の画像を生成し、前記タイミング制御部は、高解像度画像を生成する撮像素子のデータ転送中に前記他の撮像素子の撮像動作を複数回実行させ、当該撮像動作に続いてデータ転送も実行させ、前記画像処理部は、所定の画像処理として、前記複数の低解像度画像信号を基に、前記高解像度画像信号を補完し、前記複数の低解像度画像信号に対応する複数の高解像度画像信号を生成する処理を行う。

本発明は、高解像度の画像を高速に生成することができる。

以下、本発明の撮像システム１００について説明する。
＜第１実施形態＞
以下、撮像システム１００の第１実施形態について説明する。
図１は、撮像システム１００の構成の一例を示したブロック図である。
図１に示すように、撮像システム１００は、光学系１、光分割部２、複数の撮像素子３、タイミング制御部４、複数の１次データ記憶部５、２次データ記憶部６、画像処理部７、記憶装置８、モニタ画像処理部９、モニタ１０を有する。

なお、撮像システム１００は、撮像部１０１と、画像処理システム１０２とを有する。
撮像部１０１は、光学系１、光分割部２、撮像素子３、タイミング制御部４、１次データ記憶部５、２次データ記憶部６を有する。
画像処理システム１０２は、画像処理部７、記憶装置８、モニタ画像処理部９、モニタ１０を有する。
撮像部１０１は、入射した光を基に画像信号を生成し、画像処理システムが画像信号を画像処理して画像データとして出力し、記憶や表示などの各種処理を行う。

光学系１は、レンズ等を有し、被写体からの反射光を光分割部２に入射させる。
光分割部２は、光学系１を介して入射した光を４つに分割する。
光分割部２は、例えば図２に示すように、複数のプリズムを有する。

図２は、第１実施形態の光分割部２の構成の一例を示す図である。
図２に示すように、光分割部２は３つのプリズム２１〜２３を有する。
それぞれのプリズム２１〜２３は、例えば三角プリズムであり、１方向からの入射光を２方向に分割する。
図２に示すように、本第１実施形態では、プリズム２１〜２３によって、入射光は４分割され、それぞれ異なる撮像素子３へ入射するようになっている。ここで、光分割部２によって分割される光の数が、撮像素子３の数に対応している。

本発明では、光分割部のプリズムの数及び、入射光を分割する数については特に限定しない。しかし、分割する数を多くしても、光量が足りなくなったり、撮像素子のコストがかさんだりするため、入射光を分割する数については３〜６程度がよい。

撮像素子３は、それぞれ入射した光を画像信号に変換する撮像素子である。
撮像素子３は、光分割部２の分割した光に対応した複数の撮像素子からなる。
本第１実施形態では、光分割部２が光を４つに分割するため、４つの撮像素子３Ａ〜３Ｄを有する。
撮像素子３Ａ〜３Ｄは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの半導体撮像素子で構成されればよい。
これらの撮像素子３Ａ〜３Ｄは、本実施形態では、例えば以下のような撮像能力を有する。
すなわち、例えばシャッタ時間は５０μｓ、フルピクセル（例えば１９００×１２８０ピクセル、以下高解像度画像）の画像を撮影可能であり、高解像度画像のデータ転送時間が１ｍｓである。シャッタは、画像全体を同時にシャッタリングできる電子式グローバルシャッタを用いる。また、データ転送時間とは、撮像素子３Ａ〜３Ｄ内で生成された画像信号がＡ／Ｄ（アナログ／デジタル）変換されて１次データ記憶部５Ａ〜５Ｄまで転送が完了されるまでの時間である。
本実施形態では、撮像素子３Ａが高解像度画像を生成し、撮像素子３Ｂ〜３Ｄは、光分割部２により分割された入射光に応じて１／４にデータを間引かれた画像信号（以下低解像度画像）を出力するものとする。

なお、撮像素子３Ａ〜３Ｄには、図２に示すように分割された入射光が入射される。４個の撮像素子３Ａ〜３Ｄにより生成された画像信号は、後に連続した画像データとなるため、撮像素子３Ａ〜３Ｄそれぞれのピクセル位置が互いにぴったりと重なっている必要がある。これは、あらかじめ（例えば撮像システム１００の構築時に）補正と確認を行うことにより実現される。

タイミング制御部４は、撮像素子３Ａ〜３Ｄのシャッタタイミングや、撮像素子３Ａ〜３Ｄからの画像信号読み出しタイミングを制御するための制御ブロックである。タイミング制御部４は、例えばクロック信号を出力してタイミング制御を行う。タイミング制御部４のタイミング制御については、詳しくは後述する。
１次データ記憶部５は、撮像素子３の生成した画像信号を一時的に記憶するバッファメモリである。
複数の１次データ記憶部５は、撮像素子３と同数だけ用意されており、それぞれ対応する撮像素子３から転送される画像信号を記憶する。したがって、本第１実施形態では、４個の１次データ記憶部５Ａ〜５Ｄが用意されている。
１次データ記憶部５Ａ〜５Ｄは、例えばＤＲＡＭ（Dynamic Random Access Memory）で構成される。
１次データ記憶部５Ａは撮像素子３Ａの、１次データ記憶部５Ｂは撮像素子３Ｂの、１次データ記憶部５Ｃは撮像素子３Ｃの、１次データ記憶部５Ｄは撮像素子３Ｄの画像信号をそれぞれ記憶する。

２次データ記憶部６は、１次データ記憶部５Ａ〜５Ｄから転送された画像信号を並列書き込みなどの手法により記憶される。２次データ記憶部６は、例えばＨＤＤ（Hard Disk Drive）等の大容量記憶装置である。

画像処理部７は、２次データ記憶部６（撮像部１０１）から画像信号を取得し、画素間補完、時系列配列、データ圧縮・符号化などの画像処理を行い、デジタル画像データを生成する。そして、例えばストリーミング配信可能なデータ形式に変換する。
画像処理部７が行う画像処理の詳細については後述する。
記憶装置８は、画像処理部７が生成したストリーミング配信可能な形式のデジタル画像データを記憶する記憶媒体である。記憶装置８は、例えばＨＤＤ等の大容量記憶装置や、ＤＶＤ、ＢＤ（Blu-ray Disc）などの光ディスクドライブ等である。

モニタ画像処理部９は、撮像部１０１の撮像素子３Ａ〜３Ｄのいずれか１つから画像信号を取得して、リアルタイムでモニタリングできるようにモニタ画像処理を行い、モニタ１０に出力する。
モニタ１０は、撮像部１０１において撮影されている画像をリアルタイムでモニタリングするためのモニタ装置である。

以上説明したような構成により、撮像部１０１が生成した画像信号を、画像処理システム１０２が取得して画像処理を行い、記憶したり出力したりすることができる。

次に、第１実施形態における、タイミング制御部４による撮像素子３Ａ〜３Ｄの撮影タイミング及び転送タイミング制御処理について説明する。
図３は、第１実施形態における、タイミング制御部４による撮像素子３Ａ〜３Ｄの撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。

図３においては、黒い太線が撮影タイミング（シャッタタイミング）を、その後に続く斜線部が画像信号の転送タイミング（データ出力に要する時間）を示している。
図３に示すように、タイミング制御部４は、まず撮像素子３Ａの撮影を行う（図３のｔ１）。図３において、撮像素子３Ａの撮影が最初に行われた時点を以下では便宜上０とする。
そして、撮像素子３Ａの撮影を行った次のタイミングで撮像素子３Ｂの撮影を行うように制御する（ｔ２）。
以下同様に、撮像素子３Ｃ、３Ｄにも同じ間隔で撮影を行わせる（ｔ３、ｔ４）。
タイミング制御部４は、撮像素子３Ｄまで撮影を行わせたら、次は再度撮像素子３Ｂ、３Ｃ、３Ｄの順に撮影を行わせる（ｔ５、ｔ６、ｔ７）。
その次は、再度撮像素子３Ａによる撮影となる。本撮像素子システムでは、最初に撮像素子Ａによる撮影がなされてから、次に撮像素子Ａによる撮影が行われるまでが１つの撮像単位となっており、これを以下１セットと称する。１セットの撮影は、例えば１ｍｓ（ミリ秒）間に行われる。この場合、図３における撮影タイミング間は、１／７ｍｓということになる。

さて、本撮像素子システムでは、４つの撮像素子３Ａ〜３Ｄに対して、光分割部２により入射光を４つに分割して入射させている。そして、撮像素子３Ａのみ高解像度画像信号を生成し、他の３つの撮像素子３Ｂ〜３Ｄはデータ量を１／４に間引かれた低解像度画像を生成している。
したがって、撮像素子３Ｂ〜３Ｄが生成する低解像度画像のデータ量は、撮像素子３Ａが生成する画像のデータ量のそれぞれ１／４であることになる。
上述したように高解像度画像のデータ転送時間が１ｍｓである。したがって、図３において、撮像素子３Ａのデータ転送時間は１ｍｓであるが、撮像素子３Ｂ〜３Ｄのデータ転送時間は１ｍｓの１／４で１／４ｍｓである。図３に示す１目盛りは１／７ｍｓであるので、撮像素子３Ｂ〜３Ｄの読み出しには２目盛り分かかることになる。
すなわち、図３に示すように、ｔ１から撮像素子３Ａが１ｍｓかかってデータ出力を行っている間に、撮像素子３Ｂ〜３Ｄは１／７ｍｓずつずらしながら２回ずつ撮影を行い、データ出力も行うことになる。撮像素子３Ａのデータ出力は１ｍｓの時点で終了するが、２回目の撮像素子３Ｄの出力がまた終了しておらず、これが終了するのが８／７ｍｓの時点である。

以上のように、タイミング制御部４は、図３に示すように撮像素子３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｂ、３Ｃ、３Ｄの順に撮影タイミングをずらして撮影を行わせる。そして、この組み合わせを１セットとして、以降繰り返す。
上述したようなタイミング制御部４の制御により、各撮像素子から画像信号が出力される。
各タイミングにおいて出力される画像信号を、以下のように称する。
撮像素子３Ａから出力される画像は、Ａｎ（ｎは正の整数であり、上述した１セットの撮影が繰り返された回数を示す）である。
撮像素子３Ｂから出力される画像は、ｂｎ１（上述した１セットの中での１回目の画像）、ｂｎ２（１セットの中での２回目の画像）である。
撮像素子３Ｃから出力される画像は、ｃｎ１（上述した１セットの中での１回目の画像）、ｃｎ２（１セットの中での２回目の画像）である。
撮像素子３Ｄから出力される画像は、ｄｎ１（上述した１セットの中での１回目の画像）、ｄｎ２（１セットの中での２回目の画像）である。

次に、画像処理システム１０２の画像処理部７における画像処理について説明する。
以下説明する画像処理部７の画像処理では、撮像素子３Ａ〜３Ｄが上述したタイミング制御部４の制御に応じて生成した１セット分の画像信号Ａ１、ｂ１１、ｃ１１、ｄ１１、ｂ１２、ｃ１２、ｄ１２を使用して行うとする。

画像処理部７は、まず高解像度画像信号Ａ１を１／４に間引いた低解像度画像ａ１１を生成する。
撮像素子３Ａにより生成された画像Ａ１は、上述したように高解像度画像であり、画像ｂ１１〜ｄ１２は１／４に間引かれた低解像度画像であるため、これらを同列に処理するためにＡ１の低解像度画像を生成する。
次に、隣接するタイミングで撮影された画像間の移動ベクトルを算出する。すなわち、画像ａ１１とｂ１１、ｂ１１とｃ１１、ｃ１１とｄ１１、ｄ１１とｂ１２、ｂ１２とｃ１２、ｃ１２とｄ１２の画像間における移動ベクトルを算出する。

画像処理部７の移動ベクトル算出方法としては、本発明では特に限定しないが、高速で移動する物体を撮影した画像を処理することを想定して、例えば回転ベクトル画像処理手法や時空間移動ベクトル法を利用すればよい。
回転ベクトル画像処理手法は、回転ベクトルを用いた時空間移動ベクトル法により画像中における移動体を抽出する方法である。
時空間移動ベクトル法は、ブロックマッチング処理により２枚の画像間の移動体を検出する方法である。

次に、高解像度画像信号Ａ１に対して、画像間の移動ベクトルを順次加えていく。すなわち、画像信号Ａ１に対して、ａ１１とｂ１１間の移動ベクトルを加えることにより、高解像度画像信号Ｂ１１を得ることができる。同様に、画像信号Ｂ１１に対してｂ１１とｃ１１間の移動ベクトルを加えることにより、高解像度画像信号Ｃ１１を得ることができる。以下同様に、高解像度画像信号Ｄ１１、Ｂ１２、Ｃ１２、Ｄ１２を生成する。

画像処理部７は、以上のようにして画像間補完を行い、１セット分の高解像度画像信号Ａ１、Ｂ１１、Ｃ１１、Ｄ１１、Ｂ１２、Ｃ１２、Ｄ１２を得る。
ただし、低解像度画像間の移動ベクトルによる補完だけでは十分な補完ができない場合には、例えば特開２００４−２０８３３９に開示されている、低解像度の画像から高解像度の画像を生成する技術を利用して高解像度画像を生成するようにすればよい。
そして、画像処理部７は、上述した処理により得られた複数の高解像度画像を生成された時系列順に並べ、例えばノイズ除去や、コントラスト調整、圧縮・符号化などの付加処理を行って、画像データを生成する。

以上説明したような撮像システム１００によれば、高速に高解像度画像を撮影することができる。上述した例では、例えば１／７ｍｓごとに高解像度画像を撮影することができる。したがって、１秒間に７０００枚の高解像度画像を撮影することができる。
ただし、本発明において、撮像素子３Ａ〜３Ｂに撮影を行わせる間隔は、１／７ｍｓには限定されない。上述したように、撮影の間隔は、１セット分を何秒とするかによって変わってくる。本実施形態では、１セットを１ｍｓとすることにより１秒間に７０００枚という撮影速度を得たが、１セットの時間を変化させることにより、より多くの画像、あるいはより少ない画像を１秒間に撮影することが可能となる。

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。
第２実施形態は、第１実施形態とほぼ同様の構成を有するが、光分割部２の構成が若干異なり、光を３つに分割する。これに応じて、撮像素子３も３個（３Ａ〜３Ｃ）になり、１次データ記憶部５も３個（３Ａ〜３Ｃ）で構成される。また、構成の変化に応じて、タイミング制御部４による撮像素子３の撮影タイミング及び転送タイミング制御処理が第１実施形態と若干異なっている。
以下では第１実施形態と異なる点について説明する。

まず、第２実施形態では、光分割部２は図４に示すような構成を有する。
図４は、第２実施形態の光分割部２の構成の一例を示す図である。
図４に示すように、第２実施形態では、光分割部２は２つのプリズム２４、２５を有する。
光分割部２は、このような構成により、入射光の１／２の光量の光１本と、入射光の１／４の光量の光２本とに分割する。
ここでは、入射光の１／２の光量の光が撮像素子３Ａに、入射光の１／４の光量の光が撮像素子３Ｂ及び３Ｃに入射されるとする。

次に、第２実施形態のタイミング制御部４による撮像素子３Ａ〜３Ｃの撮影タイミング及び転送タイミング制御処理について説明する。
図５は、第２実施形態における、タイミング制御部４による撮像素子３Ａ〜３Ｃの撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。

図５において、黒い太線が撮影タイミング（シャッタタイミング）を、その後に続く斜線部が画像信号の転送タイミング（データ出力に要する時間）を示している。
図５に示すように、タイミング制御部４は、まず撮像素子３Ａの撮影を行う（図５のｔ１１）。図５において、撮像素子３Ａの撮影が最初に行われた時点を以下では便宜上０とする。
そして、撮像素子３Ａの撮影を行った次のタイミングで撮像素子３Ｂの撮影を行うように制御する（ｔ１２）。
以下同様に、撮像素子３Ｃにも同じ間隔で撮影を行わせる（ｔ１３）。
タイミング制御部４は、次は再度撮像素子３Ｂ、３Ｃの順に撮影を行わせる（ｔ１４、ｔ１５）。
その次は、再度撮像素子３Ａによる撮影となる。本撮像素子システムでは、最初に撮像素子Ａによる撮影がなされてから、次に撮像素子Ａによる撮影が行われるまでが１つの撮像単位となっており、これを以下１セットと称する。１セットの撮影は、例えば１ｍｓ（ミリ秒）間に行われる。この場合、図５における撮影タイミング間は、１／５ｍｓということになる。

上述したように高解像度画像のデータ転送時間が１ｍｓである。したがって、図５において、撮像素子３Ａのデータ転送時間は１ｍｓであるが、撮像素子３Ｂ、３Ｃのデータ転送時間は１ｍｓの１／３で１／３ｍｓである。図５に示す１目盛りは１／５ｍｓであるので、撮像素子３Ｂ、３Ｃのデータ転送には２目盛り分かかることになる。
すなわち、図５に示すように、ｔ１１から撮像素子３Ａが１ｍｓかかってデータ出力を行っている間に、撮像素子３Ｂ、３Ｃは１／５ｍｓずつずらしながら２回ずつ撮影を行い、データ出力も行うことになる。撮像素子３Ａのデータ出力は１ｍｓの時点で終了するが、２回目の撮像素子３Ｃの出力がまた終了しておらず、これが終了するのが６／５ｍｓの時点である。
さらに、第２実施形態では、タイミング制御部４は撮像素子３Ｂ及び３Ｃに対しては、２画素分の信号量（電荷量）を一度に読み出すように構成する。すなわち、２画素分の情報を合算して転送を行うようにする。図５においては、撮像素子３Ｂ及び３Ｃの撮影時には、２回分の撮影とデータ転送とが連続して行われる。
これにより、撮像素子３Ｂ、３Ｃにおける受光面積が２倍となったことと等価となり、撮像素子３Ｂ、３Ｃの感度が２倍となったことを意味する。

以上のように、タイミング制御部４は、図３に示すように撮像素子３Ａ、３Ｂ、３Ｃ、３Ｂ、３Ｃの順に撮影タイミングをずらして撮影を行わせる。そして、この組み合わせを１セットとして、以降繰り返す。
第２実施形態では、１ｍｓの間に５回撮影を行うため、１秒間に５０００枚の画像を生成することができる。

以上説明したように、撮像システム１００の第２実施形態によれば、撮像素子３Ａに入射する光量が第１実施形態の２倍である入射光全体の１／２である。また、第２実施形態では、撮像素子３Ｂ、３Ｃは、２画素分の信号量（電荷量）を一度に読み出すように構成している。
このため、全体として撮像素子３の感度が第１実施形態と比較して２倍となったことになり、高感度の撮影を行うことができるようになる。
これにより、例えば暗い環境下や、シャッタ速度を半分にして高速撮影を行う状況にも対応できるようになり、画像のブレを抑えることができるようになる。

なお、上述した第２実施形態では、撮像素子３Ｂ、３Ｃは２画素分の信号量を一度に転送するとしたが、本発明はこれには限定されない。すなわち、例えば撮像素子３Ｂ、３Ｃが一度に４画素分の信号量を一気に転送するようにしてもよい。この場合には、撮像素子３Ｂ、３Ｃにの受光面積が４倍となることを意味するため、より高感度の撮影を行うことができるようになる。

＜第３実施形態＞
以下、撮像システム１００の第３実施形態について説明する。
第３実施形態では、第２実施形態と構成はほぼ同様であるが、タイミング制御部４による撮像素子３のタイミング制御処理が若干異なっている。
以下、第３実施形態のタイミング制御部４による撮像素子３Ａ〜３Ｃの撮影タイミング及び転送タイミング制御処理について説明する。
第３実施形態では、第２実施形態と同様、光分割部２は入射光を３つに分割する。

図６は、第３実施形態における、タイミング制御部４による撮像素子３Ａ〜３Ｃの撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。

図６において、黒い太線が撮影タイミング（シャッタタイミング）を、その後に続く斜線部が画像信号の転送タイミング（データ出力に要する時間）を示している。
図６に示すように、タイミング制御部４は、まず撮像素子３Ａの撮影を行う（図６のｔ２１）。図６において、撮像素子３Ａの撮影が最初に行われた時点を以下では便宜上０とする。
そして、撮像素子３Ａの撮影を行った次のタイミングで撮像素子３Ｂの撮影を行うように制御する（ｔ２２）。
以下同様に、撮像素子３Ｃにも同じ間隔で撮影を行わせる（ｔ２３）。
タイミング制御部４は、次は再度撮像素子３Ｂ、３Ｃ、３Ｂの順に撮影を行わせる（ｔ２４、ｔ２５、ｔ２６）。
ここで、最初に撮像素子Ａによる撮影がなされてから、次の次に撮像素子Ａによる撮影が行われるまでが１つの撮像単位となっており、これを以下１セットと称する。
そして、２セット目として、その次は、再度撮像素子３Ａによる撮影となる（ｔ２７）。
そして、順次撮像素子３Ｃ、３Ｂ、３Ｃ、３Ｂ、３Ｃの順に撮影を行わせる（ｔ２８、ｔ２９、ｔ３０、ｔ３１、ｔ３２）。

したがって、１セットの撮影は、例えば２ｍｓ（撮像素子３Ａのデータ転送時間２回分）間に行われる。この場合、図６における撮影タイミング間は、１／６ｍｓということになる。

図６において、撮像素子３Ｂ、３Ｃのデータ転送時間は１ｍｓの１／３で１／３ｍｓである。図６に示す１目盛りは１／６ｍｓであるので、撮像素子３Ｂ、３Ｃのデータ転送には２目盛り分かかることになる。
第３実施形態においては、図６に示すように、１セット内において撮像素子３Ｂが３回、撮像素子３Ｃが２回撮影される場合（ｔ２２〜ｔ２６）と、１セット内において撮像素子３Ｂが２回、撮像素子３Ｃが３回撮影される場合（ｔ２８〜ｔ３２）とが存在する。
１セット内において撮像素子３Ｂが３回、撮像素子３Ｃが２回撮影される場合と、１セット内において撮像素子３Ｂが２回、撮像素子３Ｃが３回撮影される場合は例えば交互に行われる。

すなわち、第３実施形態においては、１セット内での低解像度撮像素子（撮像素子３Ｂ、３Ｃ）の撮影タイミングを必ずしも固定的なものでなく、状況に応じて変化させることが可能であるようにタイミング制御部４は各撮像素子３の制御を行う。

このように、１セット内での低解像度撮像素子の撮影タイミングを状況に応じて変化させることができるように構成することにより、高解像度画像のデータ転送に要する時間や、低解像度画像のデータ転送に要する時間が変化しても対応が可能になる。

以下具体的に説明する。
例えば、撮影タイミングの間隔をＴｆ、高解像度画像のデータ転送時間をＴｈ、高解像度画像のデータ転送時間をＴｌ、低解像度画像の撮像素子をｎ個とする（ｎは正の整数）。
この場合、１セット内での低解像度撮像素子の行うべき撮影回数は、Ｔｈ／Ｔｆ＝ｋ（＋余り）（ｋは正の整数）となる。
すなわち、タイミング制御部４は、このように算出された１セット内での低解像度撮像素子の行うべき撮影回数を満たすように、撮像素子３Ｂ、３Ｃの撮影タイミングを決定すればよい。

例えば、高解像度か撮像素子の撮影タイミングを０として、Ｔｆ経過ごとに低解像度撮像素子の撮影タイミングを順次設定し、低解像度撮像素子の撮影回数がｋ回に達したところで次の撮影を高解像度撮像素子に設定すればよい。このように、タイミング制御部４は与えられた条件から自動的に撮影タイミングの設定が可能になる。
なお、Ｔｆ×ｎ＞Ｔｌであることが、上述したような撮影タイミングの設定を行う際の必要条件となる。

また、ここでは高解像度撮像素子が１つの場合について説明したが、本発明はこれには限定されない。すなわち、高解像度撮像素子が２つ以上ある場合でも、タイミング制御部４は上記と同様に各撮像素子の撮影タイミングを設定することができる。
また、第３実施形態では撮像素子の数が３個であることを前提としていたが、撮像素子の数が変化した場合でも、上述したような方法でタイミング制御部４は各撮像素子の撮影タイミングを設定することができる。

以上説明したように、本発明の撮像システム１００の第１〜第３実施形態では、光分割部２により、入射光を複数に分割し、それぞれを複数の撮像素子３に入射させている。複数の撮像素子のうち、１つはフルピクセルの画像（高解像度画像）を、残りは光分割部により分割された光の数に応じて間引かれた画像（低解像度画像）を撮影する。そして、タイミング制御部４により、各撮像素子の撮影タイミング、データ転送タイミングが制御される。画像処理部７は、低解像度画像間の移動ベクトルを算出し、高解像度画像に加算することにより、高解像度画像を生成する。したがって、高速かつ高解像度の画像撮影を行うことができる。

特に、高解像度画像のデータ転送中にも低解像度画像の撮影と転送を行っているため、少ない撮像素子数であっても、高解像度画像のデータ転送時間を確保することができる。
また、低解像度画像を部分的に用いていることにより、全体の必要メモリ容量、特に高速転送が必要なメモリ（上述した実施形態では１次データ記憶部５）の容量を抑えることができる。

さらに、第２、第３実施形態では、高解像度撮像素子に光量が多い光を、低解像度撮像素子には光量が少ない光を入射させるようにし、低解像度撮像素子では複数画素のデータを合算して転送するようにしたため、高感度な撮影を行うことができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。
上述した実施形態では、タイミング制御部４による撮像素子３の撮影タイミング制御処理において、高解像度撮像素子（撮像素子３Ａ）を１セット内で最初に撮影を行うとしたが、本発明はこれには限定されない。どの撮像素子から撮影を開始するようにしてもよい。
また、上述した実施形態では、同一性能を有する複数の撮像素子を使用していたが、本発明はこれには限定されない。撮像素子ごとに性能が異なる場合でも、それぞれの性能に応じて、タイミング制御部４が撮影タイミング及びデータ転送タイミングを制御することができる。

さらに、上述した実施形態では、カラー撮影について言及していないが、本発明はカラー撮影に対しても適用が可能である。例えば、高解像度撮影をＲＧＢのいずれか１つのフィルタを通じて行い、低解像度撮影をＲＧＢそれぞれのフィルタを通じて行い、高解像度画像合成の際にフルカラー画像を合成するようにすればよい。
また、上述した実施形態では、低解像度画像を基に高解像度画像を生成するために、移動ベクトルを使用しているが、本発明はこれには限定されない。既知のいずれの方法を使用してもよい。
また、上述した実施形態では、撮像素子３が生成した画像信号は１次データ記憶部５が一時的に記憶してから２次データ記憶部６に転送されていたが、本発明はこれには限定されない。すなわち、画像信号生成時にフレームレートを低くとることにより、１次データ記憶部５に一時データをバッファすることなく、直接２次データ記憶部６にデータを転送するようにしてもよい。

また、上述した実施形態では、撮像システム１００は撮像部１０１と画像処理システム１０２とが独立していたが、本発明はこれには限定されない。すなわち、画像処理部７を有し、画像処理までを行う撮像装置であってもよい。

図１は、撮像システムの構成の一例を示したブロック図である。 図２は、第１実施形態の光分割部の構成の一例を示す図である。 図３は、第１実施形態における、タイミング制御部による撮像素子の撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。 図４は、第２実施形態の光分割部の構成の一例を示す図である。 図５は、第２実施形態における、タイミング制御部による撮像素子の撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。 図６は、第３実施形態における、タイミング制御部による撮像素子の撮影タイミング及び転送タイミング制御処理について説明するタイムチャートである。

符号の説明

１００…撮像システム、１０１…撮像部、１０２…画像処理システム、１…光学系、２…光分割部、２１−２５…プリズム、３…撮像素子、４…タイミング制御部、５…１次データ記憶部、６…２次データ記憶部、７…画像処理部、８…記憶装置、９…モニタ画像処理部、１０…モニタ

Claims (8)

1. 入射光の光量を複数に分割する光分割部と、
   前記複数に分割された光をそれぞれ入射し、入射された光量に応じて画像信号を生成し、前記生成した画像信号を後段の回路に転送する複数の撮像素子と、
   前記撮像素子の画像信号生成タイミング及び、生成した画像信号を転送する転送タイミングを制御するタイミング制御部と、
   を有し、
   前記複数の撮像素子のうち、少なくとも１つは他の撮像素子よりも高解像度の画像を生成し、
   前記タイミング制御部は、高解像度画像を生成する撮像素子のデータ転送中に前記他の撮像素子の撮像動作を複数回実行させて画像信号を生成させ、生成された画像信号のデータ転送を実行させる
   撮像装置。
2. 前記複数の撮像素子の数は、前記光分割部が入射光を分割した個数に対応する
   請求項１に記載の撮像装置。
3. 前記タイミング制御部は、前記高解像度画像を生成する撮像素子のデータ転送中の、前記他の撮像素子の複数回の撮像動作と、当該撮像動作に続いたデータ転送とが終了した場合に、前記高解像度画像を生成する撮像素子に次の高解像度画像の生成を実行させる
   請求項２に記載の撮像装置。
4. 前記光分割部は、入射光を複数に分割する際に、少なくとも１つの光量は他と異なった光量となるように分割する
   請求項３に記載の撮像装置。
5. 前記タイミング制御部は、前記高解像度画像を生成する撮像素子と、前記他の撮像素子が生成する低解像度画像を生成する撮像素子における、画像信号転送に要する時間と、前記撮像素子間の撮像動作間隔とに応じて、画像信号生成タイミング及び、生成した画像信号を転送する転送タイミングを設定する
   請求項４に記載の撮像装置。
6. 少なくとも１つの高解像度画像信号と、前記高解像度画像信号に続いて等間隔で生成された、前記高解像度画像信号と同一の被写体が撮影された複数の低解像度画像信号とを取得し、
   前記複数の低解像度画像信号を基に、前記高解像度画像信号を補完し、前記複数の低解像度画像信号に対応する複数の高解像度画像信号を生成する
   画像処理装置。
7. 前記複数の低解像度画像信号を基に、低解像度画像間の移動ベクトルを算出し、前記高解像度画像信号に算出した移動ベクトルを加算することにより前記補完を行う
   請求項６に記載の画像処理装置。
8. 入射光を複数に分割する光分割部と、
   前記複数に分割された光をそれぞれ入射し、入射された光に応じて画像信号を生成する複数の撮像素子と、
   前記複数の撮像素子から転送された画像信号に対して、所定の画像処理を行う画像処理部と、
   前記撮像素子の画像信号生成タイミング及び、生成した画像信号を転送する転送タイミングを制御するタイミング制御部と、
   を有し、
   前記複数の撮像素子のうち、少なくとも１つは他の撮像素子よりも高解像度の画像を生成し、
   前記タイミング制御部は、高解像度画像を生成する撮像素子のデータ転送中に前記他の撮像素子の撮像動作を複数回実行させ、当該撮像動作に続いてデータ転送も実行させ、
   前記画像処理部は、所定の画像処理として、前記複数の低解像度画像信号を基に、前記高解像度画像信号を補完し、前記複数の低解像度画像信号に対応する複数の高解像度画像信号を生成する処理を行う
   撮像システム。

Images