JP7150469B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置及び撮像システムに関する。

近年、静止画撮影が中心であったデジタルカメラにも動画撮像機能が搭載され、ＨＤ解像度（１９２０×１０８０画素）や４Ｋ２Ｋ（３８４０×２１６０画素）といった画素数の動画の記録が可能な撮像システムが一般化してきている。一方、こうした撮像システムに用いられる撮像装置（ＣＣＤやＣＭＯＳエリアセンサ等）においては、画素数の増加とともに画像データの出力速度の飛躍的な向上が図られている。例えば、放電の様子や弾丸の衝撃などの記録が可能な高価なハイスピードカメラ用に、１万コマ／秒を超える撮影が可能な撮像装置が開発されている。また、普及機種としても、ゴルフのスイングなどのスローモーション撮影を実現する３００～１０００コマ／秒の撮影が可能な撮像装置を搭載したカメラが商品化されている。

しかしながら、高いフレームレートでハイスピード撮影を行う場合、本当に必要な事象の発生タイミングを捉えることが難しいという課題がある。すなわち、ハイスピード撮影では撮像装置に対して高速な相対移動速度を有する被写体の事象を画像のボケやブレを抑制しつつ連続撮影することが重要であり、１コマ１コマの撮影は被写体の相対移動速度においてボケやブレの発生しない短い露光時間で行われる。そのため、連続する１コマ１コマは間欠的な事象を捉えたものとなり、コマとコマとの間には記録が行われない時間が存在することになる。そこで、外部から入力するトリガ信号によって所望の事象の発生タイミングに合わせて必要な期間のみ連続撮影を行うことが行われているが、突発的に発生する事象に対しては撮影を取り逃がしてしまう場合もあった。

特許文献１には、撮影した画像を複数のメモリに循環的に記録し、トリガ信号の入力に応じて記録を停止することで、トリガ信号の発生前後における撮影画像を取り出すことを可能にした撮像装置が記載されている。また、特許文献２には、ＣＣＤメモリを用いて撮像装置内に複数画面分の画像データを記録することにより高速撮像を行い、画像間における情報の欠落を低減した撮像装置が記載されている。

特開平０８－１７２５８４号公報 特開２０１４－１５８０８９号公報

しかしながら、特許文献１及び特許文献２に記載された技術はいずれも、撮影した画像を記録するための複数のメモリが必要であった。また、撮像装置からのデータ出力形態が特殊なため、信号を受け取るシステムの構成が複雑化することがあった。その結果、装置全体の規模や価格の増大を避けることは困難であった。

本発明の目的は、装置構成の複雑化を抑制しつつ撮像すべきタイミングにおける画像をトリガ信号に応じて取得しうる撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置であって、前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記リセット動作と前記電荷転送動作とによって前記電荷保持部が保持する電荷を更新する動作を前記複数の画素に行わせる第１の制御と、前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２の制御と、を行う制御部を有し、外部からトリガ信号が入力される前の第１の期間に、前記制御部は、前記第２の制御を介さずに前記第１の制御を所定の周期で繰り返し、前記第１の期間の後、外部から前記トリガ信号が入力されると、前記制御部は前記第１の制御から前記第２の制御に変更し、前記出力部は、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する撮像装置が提供される。

また、本発明の他の一観点によれば、光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置と、前記撮像装置を、前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記リセット動作と前記電荷転送動作とによって前記電荷保持部が保持する電荷を更新する第１の動作モードで動作するための第１の制御信号を生成する第１の制御信号生成部と、前記撮像装置を、前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２の動作モードで動作するための第２の制御信号を生成する第２の制御信号生成部と、前記第１の制御信号生成部及び前記第２の制御信号生成部を制御する制御部と、を有し、前記制御部は、外部からトリガ信号が入力される前の第１の期間に、前記第２の動作モードを介さずに前記第１の動作モードを所定の周期で繰り返し、前記第１の期間の後、外部から前記トリガ信号が入力されると、前記第１の動作モードから前記第２の動作モードに変更し、前記出力部は、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する撮像システムが提供される。

また、本発明の他の一観点によれば、光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置の駆動方法であって、前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記電荷保持部が保持する電荷を前記リセット動作と前記電荷転送動作とによって更新する動作を前記複数の画素に行わせる第１のステップと、前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２のステップと、を有し、外部からトリガ信号が入力される前の第１の期間に、前記第２のステップを介さずに前記第１のステップを所定の周期で繰り返し、前記第１の期間の後、外部から前記トリガ信号が入力されると、前記第１のステップから前記第２のステップに変更し、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する撮像装置の駆動方法が提供される。

本発明によれば、装置構成が複雑化するのを抑制しつつ撮像すべきタイミングにおける画像をトリガ信号に応じて取得することができる。

本発明の第１実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第１実施形態による撮像システムにおける撮像装置の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像システムの動作を示す状態遷移図である。 本発明の第１実施形態による撮像システムの通常露光モードにおける動作を示すフローチャートである。 本発明の第１実施形態による撮像システムの待機モードにおける動作を示すフローチャートである。 本発明の第１実施形態による撮像システムの待機画像読み出しモードにおける動作を示すフローチャートである。 本発明の第１実施形態による撮像システムの駆動方法を示すタイミングチャート（その１）である。 本発明の第１実施形態による撮像システムの駆動方法を示すタイミングチャート（その２）である。 風船に弾丸が当たって破裂するまでの様子を高速撮影したときの画像を示す模式図である。 本発明の第２実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第２実施形態による撮像システムにおける撮像装置の画素の構成例を示す回路図である。 本発明の第２実施形態による撮像システムの駆動方法を示すタイミングチャートである。 本発明の第３実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第４実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像システムについて、図１乃至図９を用いて説明する。

はじめに、本実施形態による撮像システムの構造について、図１及び図２を用いて説明する。図１は、本実施形態による撮像システムの概略構成を示すブロック図である。図２は、本実施形態による撮像システムにおける撮像装置の画素の構成例を示す回路図である。

本実施形態による撮像システム１０１は、図１に示すように、撮像装置１０２と、タイミング発生部１０３と、画像処理部１０４と、画像表示部１０５と、画像記録部１０６と、を有している。

撮像装置１０２は、複数行及び複数列に渡って２次元状に配された複数の画素１２０を有する。図１には２行×２列に配された４つの画素１２０を示しているが、撮像装置１０２を構成する画素１２０の数、行数及び列数は、特に限定されるものではない。

各々の画素１２０は、光電変換部１０７と、リセット部１０８と、第１の転送部１０９と、電荷保持部１１０と、第２の転送部１１１と、出力部１１２と、を有する。光電変換部１０７は、入射した光を電荷などの電気信号に変換する機能を備える。リセット部１０８は、光電変換部１０７の電位をリセットする機能を備える。第１の転送部１０９は、光電変換部１０７で生成・蓄積された電荷を電荷保持部１１０に転送する機能を備える。電荷保持部１１０は、光電変換部１０７から転送された電荷を一時的に保持する機能を備える。第２の転送部１１１は、電荷保持部１１０に保持された電荷を出力部１１２に転送する機能を備える。出力部１１２は、電荷保持部１１０から転送された電荷の量に応じた信号（画素信号）を画像処理部１０４へ出力する機能を備える。

タイミング発生部１０３は、撮像装置１０２を駆動するための制御信号を生成する機能を備える。タイミング発生部１０３は、タイミング制御部１１３と、第１の制御信号生成部１１４と、第２の制御信号生成部１１５と、制御信号切り替え部１１６と、トリガ信号受信部１１７と、を有する。

タイミング制御部１１３は、撮像装置１０２を駆動するための制御信号を供給するタイミングの全体的な制御を司る機能を備える。タイミング制御部１１３は、トリガ信号受信部１１７を介して撮像システム１０１の外部からトリガ信号を受信するように構成されている。タイミング制御部１１３は、受信したトリガ信号に応じて、第１の制御信号生成部１１４、第２の制御信号生成部１１５及び制御信号切り替え部１１６を制御する。第１の制御信号生成部１１４は、タイミング制御部１１３による制御のもと、後述する待機露光モードにおいて撮像装置１０２を駆動するための制御信号を生成し出力する。第２の制御信号生成部１１５は、タイミング制御部１１３による制御のもと、後述する通常露光モードにおいて撮像装置１０２を駆動するための制御信号を生成し出力する。なお、第１の制御信号生成部１１４は、第２の制御信号生成部１１５よりも短い周期間隔で制御信号を出力する。制御信号切り替え部１１６は、タイミング制御部１１３による制御のもと、撮像装置１０２の動作モードに応じて、第１の制御信号生成部１１４及び第２の制御信号生成部１１５のうちの一方が生成する制御信号を選択して撮像装置１０２に供給する機能を備える。なお、タイミング発生部１０３が有する機能のうち少なくとも一部は、撮像装置１０２が備えていてもよい。

画像処理部１０４は、撮像装置１０２の各々の画素１２０から出力された画素信号に基づく画像信号に対して所定の画像処理を行う機能を備える。例えば、画像処理部１０４は、ベイヤー配列などの撮像装置１０２の画素配列に応じた画像信号を一般的なＲＧＢ信号やＹＣｂＣｒ信号のような映像信号に変換する処理を行う機能を備える。また、画像処理部１０４は、その他の機能、例えば、画像表示部１０５への表示信号を生成するインターフェース（ＩＦ）機能、画像記録部１０６への記録信号を生成するＩＦ機能などを備えていてもよい。

画像表示部１０５は、例えば液晶素子やＥＬ素子などの表示装置で構成され、画像処理部１０４で処理された画像を表示する機能を備える。画像記録部１０６は、例えばハードディスクドライブや不揮発性メモリなどで構成され、画像処理部１０４で処理された画像を記録する機能を備える。

図２には、２行２列の行列状に配された４つの画素１２０の構成例を示している。各々の画素１２０は、例えば図２に示すように、光電変換素子ＰＤ、転送トランジスタＭ１，Ｍ２、電荷保持部ＭＥＭ、リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５、排出トランジスタＭ６により構成されうる。光電変換素子ＰＤは、図１における光電変換部１０７に対応する。転送トランジスタＭ１は、図１における第１の転送部１０９に対応する。電荷保持部ＭＥＭは、図１における電荷保持部１１０に対応する。転送トランジスタＭ２は、図１における第２の転送部１１１に対応する。リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５は、図１における出力部１１２に対応する。排出トランジスタＭ６は、図１におけるリセット部１０８に対応する。

光電変換素子ＰＤは、例えばフォトダイオードにより構成される。光電変換素子ＰＤを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタＭ１のソース及び排出トランジスタＭ６のソースに接続されている。転送トランジスタＭ１のドレインは、転送トランジスタＭ２のソースに接続されている。転送トランジスタＭ１のドレインと転送トランジスタＭ２のソースとの接続ノードは、容量成分を含み、電荷保持部ＭＥＭとしての機能を備える。図２には、この容量成分を、当該ノードに一方の端子が接続された容量素子で表現している。この容量素子の他方の端子は、接地ノードに接続されている。

転送トランジスタＭ２のドレインは、リセットトランジスタＭ３のソース及び増幅トランジスタＭ４のゲートに接続されている。転送トランジスタＭ２のドレインと、リセットトランジスタＭ３のソースと、増幅トランジスタＭ４のゲートとの接続ノードは、いわゆる浮遊拡散（フローティングディフュージョン）部ＦＤである。浮遊拡散部ＦＤは、容量成分（浮遊拡散容量）を含み、電荷保持部としての機能を備える。増幅トランジスタＭ４のソースは、選択トランジスタＭ５のドレインに接続されている。

リセットトランジスタＭ３のドレインは、所定のリセット電圧を供給するリセット線１５１に接続されている。増幅トランジスタＭ４のドレインは、電源線１５２に接続されている。排出トランジスタＭ６のドレインは、オーバーフロードレイン等の所定の電圧を供給する電源ノード１５３に接続されている。なお、リセット線１５１、電源線１５２及び電源ノード１５３の電圧は、いずれか２つ又は３つが同じであってもよいし、総てが異なっていてもよい。

画素アレイの各行には、対応する行に属する画素１２０を駆動するための制御信号を供給するための制御線１４０が配されている。制御線１４０の各々は、信号線１４１，１４２，１４３，１４４を含む。信号線１４１は、対応する行に属する画素１２０の転送トランジスタＭ１のゲートに接続されている。信号線１４２は、対応する行に属する画素１２０の転送トランジスタＭ２のゲートに接続されている。信号線１４３は、対応する行に属する画素１２０の排出トランジスタＭ６のゲートに接続されている。信号線１４４は、対応する行に属する画素１２０のリセットトランジスタＭ３のゲートに接続されている。なお、図２には示していないが、制御線１４０の各々は、対応する行に属する画素１２０の選択トランジスタＭ５のゲートに接続された信号線を更に含む。

信号線１４１には、転送トランジスタＭ１を制御するための駆動パルスである制御信号φＧＳ１が出力される。信号線１４２には、転送トランジスタＭ２を制御するための駆動パルスである制御信号φＴＸ１が出力される。信号線１４３には、排出トランジスタＭ６を制御するための駆動パルスである制御信号φＯＦＤが出力される。信号線１４４には、リセットトランジスタＭ３を制御するための駆動パルスである制御信号φＲＥＳが出力される。各トランジスタがＮ型トランジスタで構成される場合、ハイレベルの制御信号が供給されると対応するトランジスタがオンとなる。また、ローレベルの制御信号が供給されると対応するトランジスタがオフとなる。なお、図１では図面の簡略化のために記載を省略しているが、一般的には、制御信号切り替え部１１６から出力されるこれら制御信号φＧＳ１，φＴＸ１，φＯＦＤは、図示しない垂直走査回路を介して行単位で供給できるように構成されている。

画素アレイの各列には、対応する列に属する画素１２０の選択トランジスタＭ５のソースに接続された出力線１５０が接続されている。出力線１５０には、対応する列の選択行に属する画素１２０から読み出された画素信号が出力される。なお、図１では図面の簡略化のために記載を省略しているが、一般的には、各列の出力線１５０に出力された画素信号は、図示しない水平走査回路により選択された列毎に画像処理部１０４に転送できるように構成されている。

被写体の光学像が撮像装置１０２に入射すると、各画素１２０の光電変換素子ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷（例えば電子）を蓄積する。

転送トランジスタＭ１は、オンになることで光電変換素子ＰＤに蓄積された電荷（信号電荷）を電荷保持部ＭＥＭに転送する。電荷保持部ＭＥＭは、光電変換素子ＰＤで生成された電荷を、光電変換素子ＰＤとは異なる場所で保持する。

転送トランジスタＭ２は、オンになることで電荷保持部ＭＥＭに保持された信号電荷を浮遊拡散部ＦＤに転送する。浮遊拡散部ＦＤは、電荷保持部ＭＥＭから転送された信号電荷を保持するとともに、その容量成分による電荷電圧変換によって、転送された信号電荷の量に応じた電圧となる。

増幅トランジスタＭ４は、ドレインに電源電圧が供給され、ソースに選択トランジスタＭ５を介してバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタＭ４は、浮遊拡散部ＦＤの電圧に応じた画素信号を、選択トランジスタＭ５を介して出力線１５０に出力する。

選択トランジスタＭ５は、オンになることで増幅トランジスタＭ４を出力線１５０に接続する。すなわち、選択トランジスタＭ５は、オンになることで出力線１５０に画素信号を出力する画素１２０を選択する。なお、画素１２０は、必ずしも選択トランジスタＭ５を備える必要はない。

リセットトランジスタＭ３は、オンになることで浮遊拡散部ＦＤをリセット電圧に応じた所定の電圧にリセットする。また、リセットトランジスタＭ３と転送トランジスタＭ２とが同時にオンになることで、電荷保持部ＭＥＭをリセット電圧に応じた電圧にリセットすることも可能である。

排出トランジスタＭ６は、オンになることで光電変換素子ＰＤの電荷を電源ノード１５３に排出し、光電変換素子ＰＤを電源ノード１５３の電圧に応じた所定の電圧にリセットする。排出トランジスタＭ６による光電変換素子ＰＤのリセットを可能にすることにより、光電変換素子ＰＤにおける電荷蓄積時間の設定の自由度が向上する。なお、画素１２０は、必ずしも排出トランジスタＭ６を備える必要はない。

複数の行の画素１２０から画素信号を読み出す際、電荷保持部ＭＥＭを持たない撮像装置では、各行の画素の転送トランジスタを行毎に順次駆動する。これに対し、電荷保持部ＭＥＭを有する本実施形態の撮像装置１０２では、総ての行の画素１２０の光電変換素子ＰＤの信号電荷を同時に電荷保持部ＭＥＭへと転送する動作、すなわち全画素同時転送を行うことができる。全画素同時転送の後は、光電変換素子ＰＤは空の状態、すなわち初期状態となり、次の露光期間を開始することができる。或いは、総ての行の画素１２０の排出トランジスタＭ６を同時にオンにすることで、光電変換素子ＰＤは空の状態、すなわち初期状態となり、次の露光期間を開始することができる。つまり、本実施形態による撮像装置１０２では、全画素同時に露光開始と露光終了とを制御する動作、すなわち全画素同時電子シャッタ動作（グローバル電子シャッタ動作）を行うことができる。

次に、本実施形態による撮像システムの動作について、図３乃至図８を用いて説明する。図３は、本実施形態による撮像システムの動作を示す状態遷移図である。図４乃至図６は、本実施形態による撮像システムの動作を示すフローチャートである。図７及び図８は、本実施形態による撮像システムの駆動方法を示すタイミングチャートである。

本実施形態による撮像システム１０１は、図３に示すように、休止状態であるステートＳ０と、通常露光モードであるステートＳ１と、待機モードであるステートＳ２と、待機画像読み出しモードであるステートＳ３と、を有する。なお、本明細書では、待機モードを第１の動作モード、通常露光モードを第２の動作モードと呼ぶことがある。

ステートＳ０は、電源の投入直後やリセット実行後の何もしない休止状態である。ステートＳ０において通常露光モードが選択されると、通常露光モードフラグが１となり、通常露光モードであるステートＳ１へと遷移する。

ステートＳ１において、撮像システム１０１は、通常の撮像を繰り返し行う状態となる。ステートＳ１において休止状態への移行が選択されると、通常露光モードフラグが０となり、ステートＳ０へと遷移する。ステートＳ１においてトリガ信号による撮像を待機する待機モードが選択されると、待機モードフラグが１となり、待機モードステートであるステートＳ２へと遷移する。

ステートＳ２において、撮像システム１０１は、外部からのトリガ信号の入力待ちの状態となる。トリガ信号の入力待ちの間、撮像システム１０１は、電荷保持部１１０への電荷のサンプリングと更新とを繰り返し行う待機露光動作を実行する。撮像システム１０１がトリガ信号の入力を検出しない、すなわちトリガ検出フラグが０の間は、撮像システム１０１はステートＳ２の状態を維持する。一方、待機モードの動作中に撮像システム１０１にトリガ信号受信部１１７を介して外部からトリガ信号が入力され、トリガ検出フラグが１になったことを検出すると、待機画像読み出しモードステートであるステートＳ３へと遷移する。

ステートＳ３において、撮像システム１０１は、待機露光動作において各画素１２０の電荷保持部１１０に保持された電荷に基づく１フレーム分の待機画像の読み出しを実行する。その後、撮像システム１０１は、待機モードフラグを１から０に戻し、通常露光モードステートであるステートＳ１に自動的に遷移する。

このようにして、待機モードから、トリガ信号の受信に応じて待機画像を１フレーム分読み出したのち、通常露光モードに移行する一連のシーケンスが実行される。

図４は、ステートＳ１における撮像システム１０１の動作を簡易的に示したフローチャートである。ステートＳ０からステートＳ１へと遷移すると、撮像システム１０１では、図４に示す通常露光モードシーケンスが開始する。

まず、ステップＳ１０１において、タイミング発生部１０３による制御のもと、リセット部１０８により光電変換部１０７をリセットし、光電変換部１０７における電荷の蓄積を開始する。光電変換部１０７において電荷の蓄積が開始されるタイミングが、露光期間の開始時刻である。

次いで、ステップＳ１０２において、所定のウェイト時間の間待機したのち、ステップＳ１０３へと移行する。

次いで、ステップＳ１０３において、光電変換部１０７の露光時間が所定の露光時間に達したか否かの判定を行う。判定の結果、所定の露光時間に達していない場合（ステップＳ１０３における「ＮＯ」）にはステップＳ１０２に戻り、所定の露光時間に達している場合（ステップＳ１０３における「ＹＥＳ」）にはステップＳ１０４へと移行する。

次いで、ステップＳ１０４において、第１の転送部１０９を駆動し、露光期間の間に光電変換部１０７に蓄積された電荷を電荷保持部１１０へと転送する。

次いで、ステップＳ１０５において、撮像装置１０２の１行を選択し、選択行に属する画素１２０の第２の転送部１１１を駆動して、選択行に属する画素１２０の電荷保持部１１０に保持されている電荷に基づく信号を、出力部１１２を介して出力する。これにより、選択した行の１行分の画素信号を出力する。

次いで、ステップＳ１０６において、行カウント値が最終行に達しているか否かを判定する。判定の結果、行カウント値が最終行に達していない場合（ステップＳ１０６における「ＮＯ」）は行カウント値を１増加してステップＳ１０５に戻る。一方、行カウント値が最終行に達している場合（ステップＳ１０６における「ＹＥＳ」）はステップＳ１０７へと移行する。

次いで、ステップＳ１０７において、１フレーム期間に相当する所定のフレーム時間が経過したか否かの判定を行う。判定の結果、所定のフレーム時間が経過している場合（ステップＳ１０７における「ＹＥＳ」）はステップＳ１０１に戻り、次のフレームの露光と画像の読み出しを実行する。所定のフレーム時間に達していない場合（ステップＳ１０７における「ＮＯ」）は、ステップＳ１０８へと移行する。

次いで、ステップＳ１０８において、所定のウェイト時間の間待機したのち、ステップＳ１０９へと移行する。

次いで、ステップＳ１０９において、休止状態への移行などの命令を受けて通常モードを終了するか否かを判定する。判定の結果、通常モードを終了しない場合（ステップＳ１０９における「ＮＯ」）はステップＳ１０７に戻り、通常モードを終了する場合（ステップＳ１０９における「ＹＥＳ」）は一連の通常露光モードシーケンスを終了する。

図５は、ステートＳ２における撮像装置１０２の動作を簡易的に示したフローチャートである。ステートＳ１からステートＳ２へと遷移すると、撮像装置１０２では、図５に示す待機モードシーケンスが開始する。

まず、ステップＳ２０１において、タイミング発生部１０３による制御のもと、第１の転送部１０９を駆動し、光電変換部１０７に蓄積された電荷を電荷保持部１１０へと転送する。

次いで、ステップＳ２０２において、タイミング発生部１０３による制御のもと、リセット部１０８により光電変換部１０７をリセットし、光電変換部１０７における電荷の蓄積を開始する。光電変換部１０７において電荷の蓄積が開始されるタイミングが、露光期間の開始時刻である。

次いで、ステップＳ２０３において、トリガ信号が入力されているか否かの判定を行う。判定の結果、トリガ信号が入力されている場合（ステップＳ２０３における「ＹＥＳ」）にはステップＳ２０４へと移行し、この段階でトリガ信号が入力されていることを示すトリガ検出フラグＦＴ１を１に設定し、待機モードシーケンスを終了する。トリガ信号が入力されていない場合（ステップＳ２０３における「ＮＯ」）には、ステップＳ２０５へと移行する。

次いで、ステップＳ２０５において、所定のウェイト時間の間待機したのち、ステップＳ２０６へと移行する。

次いで、ステップＳ２０６において、光電変換部１０７の露光時間が第１の時間に達しているか否かの判定を行う。判定の結果、第１の時間に達していない場合（ステップＳ２０６における「ＮＯ」）にはステップＳ２０３に戻り、第１の時間に達している場合（ステップＳ２０６における「ＹＥＳ」）にはステップＳ２０７へと移行する。なお、ここでの第１の時間については、後述する。
次いで、ステップＳ２０７において、電荷保持部１１０のリセットを行う。

次いで、ステップＳ２０８において、トリガ信号が入力されているか否かの判定を行う。判定の結果、トリガ信号が入力されている場合（ステップＳ２０８における「ＹＥＳ」）にはステップＳ２０９へと移行し、この段階でトリガ信号が入力されていることを示すトリガ検出フラグＦＴ２を１に設定し、待機モードシーケンスを終了する。トリガ信号が入力されていない場合（ステップＳ２０８における「ＮＯ」）には、ステップＳ２１０へと移行する。

次いで、ステップＳ２１０において、所定のウェイト時間の間待機したのち、ステップＳ２１１へと移行する。

次いで、ステップＳ２１１において、光電変換部１０７の露光時間が第２の時間に達しているか否かの判定を行う。判定の結果、第２の時間に達していない場合（ステップＳ２１１における「ＮＯ」）にはステップＳ２０７に戻り、第２の時間に達している場合（ステップＳ２１１における「ＹＥＳ」）にはステップＳ２０１に戻る。なお、ここでの第２の時間については、後述する。

このようにして、ステートＳ２では、トリガ信号の検出待ちをしながら、電荷保持部１１０のリセットと光電変換部１０７から電荷保持部１１０への電荷転送とを繰り返し行い、電荷保持部１１０が保持する電荷を逐次更新していく。

図６は、ステートＳ３における撮像装置１０２の動作を簡易的に示したフローチャートである。ステートＳ２からステートＳ３へと遷移すると、撮像装置１０２では、図６に示す待機画像読み出しモードシーケンスが開始する。

まず、ステップＳ３０１において、ステートＳ２において立てたトリガ検出フラグがステップＳ２０４におけるトリガ検出フラグＦＴ１であるか否かの判定を行う。ステートＳ２で立てたフラグがトリガ検出フラグＦＴ１である場合（ステップＳ３０１における「ＹＥＳ」、ＦＴ１＝１，ＦＴ２＝０）には、ステップＳ３０２に移行する。次いで、ステップＳ３０２において、電荷保持部１１０に保持された電荷に基づく画像を出力し、待機画像読み出しモードシーケンスを終了する。

一方、ステートＳ２において立てたフラグがトリガ検出フラグＦＴ１でない場合（ステップＳ３０１における「ＮＯ」、ＦＴ１＝０，ＦＴ２＝１）には、ステップＳ３０３に移行する。ステップＳ３０３では、そのとき進行中の光電変換部１０７における露光期間が所定の時間に達するまで継続したのち、蓄積された電荷を電荷保持部１１０に転送する。次いで、ステップＳ３０４において、電荷保持部１１０に保持された電荷に基づく画像を出力し、待機画像読み出しモードシーケンスを終了する。

このようにして、ステートＳ３では、トリガ信号が入力されたタイミングに従い、待機モードにおいて蓄積されたいずれの画像情報を読み出すかを選択し、出力を行う。ここで読み出される画像が、トリガ信号が入力される時点の直前の情報を含んだ画像に相当する。

次に、本実施形態による撮像装置の動作について、図７及び図８のタイミングチャートを用いてより詳細に説明する。図７及び図８には、待機モードフラグ、トリガ信号、制御信号φＯＦＤ，φＧＳ１，φＲＥＳ，φＴＸ１（１）～φＴＸ１（ｍ）を示している。なお、制御信号φＴＸ１（１）は１行目の画素１２０に供給される制御信号φＴＸ１であり、制御信号φＴＸ１（２）は２行目の画素１２０に供給される制御信号φＴＸ１である。また、制御信号φＴＸ１（ｍ－１）はｍ－１行目の画素１２０に供給される制御信号φＴＸ１であり、制御信号φＴＸ１（ｍ）はｍ行目の画素１２０に供給される制御信号φＴＸ１である。

図７及び図８には、ステートＳ２からステートＳ３を経てステートＳ１に至る動作の一例を示している。図７及び図８において、時刻ｔ０から時刻ｔ１３までがステートＳ２の期間であり、時刻ｔ１３から時刻ｔ１７までがステートＳ３の期間であり、時刻ｔ１７以降がステートＳ１の期間である。

ステートＳ２では、総ての画素１２０に対して同時に、光電変換部１０７のリセット動作と、光電変換部１０７に電荷を蓄積する露光動作と、光電変換部１０７から電荷保持部１１０へ電荷を転送する電荷転送動作と、を含むサンプリング動作を繰り返し行う。サンプリング動作とサンプリング動作との間には、電荷保持部１１０のリセット動作を行う。ここで、サンプリング動作とは、画素１２０に入射した光の量に応じた電荷を光電変換部１０７が生成し、当該電荷を電荷保持部１１０が保持するまでの一連の動作である。露光動作が行われる期間が露光期間である。露光期間の長さが露光時間である。

図７及び図８では、各々が１回のサンプリング動作を含む単位期間として、連続する４つの単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４を定義している。単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４の各々は、１枚の画像を得るために十分な露光期間を含む。単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４の各々の長さは、待機モードにおける１フレーム期間の長さに相当する。

光電変換部１０７のリセット動作は、制御信号切り替え部１１６を介して第１の制御信号生成部１１４から画素１２０のリセット部１０８にハイレベルの制御信号φＯＦＤを供給することにより行う。具体的には、ハイレベルの制御信号φＯＦＤに応じて排出トランジスタＭ６がオンになることで、光電変換素子ＰＤに蓄積されていた電荷が電源ノード１５３に排出され、光電変換素子ＰＤが電源ノード１５３の電圧に応じた電位にリセットされる。

光電変換部１０７から電荷保持部１１０への電荷転送動作は、制御信号切り替え部１１６を介して第１の制御信号生成部１１４から画素１２０の第１の転送部１０９にハイレベルの制御信号φＧＳ１を供給することにより行う。具体的には、ハイレベルの制御信号φＧＳ１に応じて転送トランジスタＭ１がオンになることで、光電変換素子ＰＤに蓄積されていた電荷が電荷保持部ＭＥＭへと転送される。

電荷保持部１１０のリセット動作は、制御信号切り替え部１１６を介して第１の制御信号生成部１１４から画素１２０の第２の転送部１１１及び出力部１１２にハイレベルの制御信号φＴＸ１，φＲＥＳを供給することにより行う。具体的には、ハイレベルの制御信号φＴＸ１に応じて転送トランジスタＭ２がオンになり、ハイレベルの制御信号φＲＥＳに応じてリセットトランジスタＭ３がオンになることで、電荷保持部ＭＥＭがリセット線１５１の電圧に応じた所定の電位にリセットされる。

時刻ｔ２において、制御信号φＯＦＤがハイレベルとなり、総ての行に属する画素１２０の光電変換素子ＰＤがリセットされる。制御信号φＯＦＤがローレベルになる時刻ｔ３が、光電変換素子ＰＤの露光期間の開始時刻となる。

次いで、時刻ｔ４において、制御信号φＲＥＳ，φＴＸ１（φＴＸ１（１），φＴＸ１（２），…，φＴＸ１（ｍ－１），φＴＸ１（ｍ））がハイレベルとなり、総ての行に属する画素１２０の電荷保持部ＭＥＭがリセットされる。ここで、時刻ｔ４は、時刻ｔ３から期間Ｔ１が経過した時刻である。期間Ｔ１は、光電変換素子ＰＤに、画像を形成するに十分な電荷が蓄積される期間として定義される。期間Ｔ１の長さが、前述の第１の時間である。

次いで、時刻ｔ５において、制御信号φＧＳ１がハイレベルとなり、総ての行に属する画素１２０において、光電変換素子ＰＤに蓄積された電荷が電荷保持部ＭＥＭに転送される。時刻ｔ５は、時刻ｔ４から期間Ｔ２が経過した後の時刻であり、１つ前の単位期間Ｔ２０１における時刻ｔ１に対応する。期間Ｔ２は、電荷保持部ＭＥＭが電荷を保持していない期間である。一方、制御信号φＧＳ１がハイレベルになるタイミング（例えば、時刻ｔ５）から次に制御信号φＲＥＳ，φＴＸ１がハイレベルになるタイミング（例えば、時刻ｔ７）までの期間Ｔ３は、電荷保持部ＭＥＭが電荷を保持している期間である。

光電変換素子ＰＤの露光期間が期間Ｔ１を過ぎることで、それまでに光電変換素子ＰＤに蓄積された電荷を画像の形成に用いることが可能となるため、光電変換素子ＰＤから電荷保持部ＭＥＭへの電荷転送動作は、期間Ｔ１の経過の後に行う。また、光電変換素子ＰＤの露光期間が期間Ｔ１を過ぎるまでは、光電変換素子ＰＤに蓄積された電荷を画像の形成に用いることはできないため、電荷保持部ＭＥＭの電荷はそのまま保持しておく。つまり、電荷保持部ＭＥＭのリセット動作は、期間Ｔ１の経過の後、光電変換素子ＰＤから電荷保持部ＭＥＭへの電荷転送動作に先立って行うことができる。

次いで、制御信号φＧＳ１がローレベルとなった時刻ｔ６以降、時刻ｔ２から時刻ｔ６までの動作を繰り返し行い、電荷保持部ＭＥＭにサンプリングした電荷を単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４の間隔で更新していく。

ステートＳ２からステートＳ３への移行は、トリガ信号の入力を検知したことに応じて行われる。図７は、単位期間Ｔ２０４における期間Ｔ３の間の時刻ｔ１２にトリガ信号が入力された場合の動作例である。図８は、期間Ｔ２の間の時刻ｔ１４にトリガ信号が入力された場合の動作例である。トリガ信号の入力に応じた具体的な動作については、後述する。

ステートＳ３では、ステートＳ２の単位期間Ｔ２０４に電荷保持部ＭＥＭにサンプリングされた電荷に基づく信号の読み出しを行単位で行う。具体的には、制御信号切り替え部１１６を介して第２の制御信号生成部１１５から画素１２０の第２の転送部１１１及び出力部１１２に制御信号φＴＸ１，φＲＥＳを所定のタイミングで供給する。これにより、浮遊拡散部ＦＤのリセットと電荷保持部ＭＥＭから浮遊拡散部ＦＤへの電荷の転送とを行毎に順次行い、画素１２０の各々から画素信号の読み出しを行う。なお、図７及び図８では、ステートＳ３が実行される期間を、単位期間Ｔ３０１として定義している。

ステートＳ３において総ての行に属する画素１２０からの信号の読み出しが完了すると、時刻ｔ１７において待機モードフラグがローレベルとなり、通常露光モード（ステートＳ１）に移行する。

ステートＳ１では、単位期間Ｔ１０１，Ｔ１０２，…により定義されるフレーム期間の各々において、通常のグローバル電子シャッタ動作と同様にして、光電変換素子ＰＤの露光動作と、光電変換素子ＰＤで生成された電荷に基づく信号の読み出し動作とを行う。読み出し動作は、行毎に順次行う。具体的には、制御信号切り替え部１１６を介して第２の制御信号生成部１１５から、画素１２０のリセット部１０８、第１の転送部１０９、第２の転送部１１１及び出力部１１２に制御信号φＯＦＤ，φＧＳ１，φＴＸ１，φＲＥＳを所定のタイミングで供給する。これにより、光電変換素子ＰＤの露光動作及び電荷保持部ＭＥＭへの電荷転送動作を総ての画素１２０において同じタイミングで行う。その後、浮遊拡散部ＦＤのリセットと電荷保持部ＭＥＭから浮遊拡散部ＦＤへの電荷転送とを行毎に順次行い、画素１２０の各々から画素信号の読み出しを行う。

ステートＳ１はステートＳ３とは異なり画素信号の読み出し動作を行うため、ステートＳ１におけるフレーム期間（単位期間Ｔ１０１，Ｔ１０２）は、ステートＳ２におけるフレーム期間（単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４）よりも長い。

ここで、図７に示すように、期間Ｔ３の間の時刻ｔ１２にトリガ信号が入力されたものとする。この場合、時刻ｔ１２のタイミングにおいて電荷保持部ＭＥＭには時刻ｔ８から時刻ｔ１０の間の期間Ｔ４に光電変換素子ＰＤで生成された電荷が保持されているため、電荷保持部ＭＥＭが保持するこの電荷に基づいて待機画像を生成する。すなわち、単位期間Ｔ２０４において電荷保持部ＭＥＭが電荷を保持する期間Ｔ３の経過後、電荷保持部ＭＥＭのリセットは行わずに、待機画像読み出しモード（ステートＳ３）に移行する。

一方、図８に示すように、期間Ｔ２の間の時刻ｔ１４にトリガ信号が入力されたものとする。この場合、時刻ｔ１４のタイミングにおいて、期間Ｔ４の間に光電変換素子ＰＤで生成され電荷保持部ＭＥＭに転送された電荷はリセットされており、電荷保持部ＭＥＭは電荷を保持していない。そこで、時刻ｔ１４を含む露光期間（期間Ｔ５）の経過を待ち、期間Ｔ５の間に光電変換素子ＰＤで生成された電荷に基づいて、待機画像を生成する。すなわち、時刻ｔ１３から期間Ｔ２が経過した後、時刻ｔ１５から時刻ｔ１６の期間において光電変換素子ＰＤに蓄積された電荷を電荷保持部ＭＥＭに転送し、待機画像読み出しモード（ステートＳ３）における読み出し動作に移行する。期間Ｔ５の長さが、前述の第２の時間である。

次に、本実施形態による撮像システムの適用例について説明する。本実施形態による撮像システムは、特に限定されるものではないが、例えば、所望のタイミングで入力されたトリガ信号に応じて高速な発生事象をとらえる産業用のカメラや業務用のカメラに適用することができる。或いは、静止画や３０～６０フレーム／秒の動画を取得可能な通常のデジタルカメラでありながら、入力されたトリガ信号に応じて高速な一瞬を撮像できるようなハイスピード撮像機能を持つカメラに適用することもできる。

図９は、風船に弾丸が当たって破裂するまでの様子を高速撮影したときの画像を示す模式図である。図９の上段に示す３コマの画像Ｐ１０３，Ｐ１０６，Ｐ１０７は、通常露光モードにおいて撮影した連続画像である。図９の中段に点線の枠で示す６コマの画像Ｐ２０１，Ｐ２０２，Ｐ２０３，Ｐ２０４，Ｐ２０５，Ｐ２０６は、待機モードの各々の単位期間の間に光電変換素子ＰＤで生成される電荷に基づいて画像を生成した場合に予想される連続画像である。ここでは、通常露光モードにおけるフレーム期間の長さが待機モードにおけるフレーム期間の長さの３倍である場合を想定している。図９の下段に太い実線の枠で示す１コマの画像Ｐ３０５は、待機画像読み出しモードで読み出した画像である。

ハイスピード撮影では画像のブレやボケを防ぐために、各フレーム期間における光電変換素子ＰＤの露光期間は、１フレームの周期よりも短い時間に設定される。そのため、通常露光モードにおいて撮影を行うと、図９の上段に示すように、取得した連続画像における弾丸と風船との間の位置関係の変化は間欠的になる。

ここで、観察したいタイミングとして、時刻ｔ３０においてトリガ信号が入力される場合を想定する。この場合、時刻ｔ３０において画像Ｐ１０６が得られた後、時刻ｔ４０において画像Ｐ１０７が得られることになる。しかしこの場合、トリガ信号の入力に応じて取得された画像Ｐ１０６では弾丸が既に風船に入り込んだ状態であり、風船に当たる瞬間の画像を取得することはできない。

一方、本実施形態による撮像システムでは、画像Ｐ１０３，Ｐ１０６に相当する時間帯において、例えば図９の中段に示すように、画像Ｐ２０１，Ｐ２０２，Ｐ２０３，Ｐ２０４，Ｐ２０５，Ｐ２０６に相当する短い露光周期で待機露光を行うことができる。したがって、時刻ｔ３０においてトリガ信号が入力された場合に、時刻ｔ３０のタイミングに対応する画像Ｐ１０６だけでなく、１周期前の待機露光期間に対応する画像Ｐ３０５をも読み出すことができる。したがって、本実施形態による撮像システムによれば、ハイスピード撮影を行う場合において、撮影すべきタイミングを取り逃す可能性を低減することができる。

このように、通常露光モードにおいては、１フレーム期間に、露光期間のほかに画像の読み出しを行う期間が含まれるため、撮影が行われないブランキング期間が存在する。これに対し、本実施形態における待機モードでは画像の読み出しを行わないため、１フレーム期間の長さを露光期間の長さに近づけることができる。したがって、本実施形態によれば、トリガ信号が入力されたタイミングとの時間差がほとんどない直前の瞬間における画像を取り逃がすことを防ぐことができる。

本実施形態による撮像システム１０１を構成するうえで、撮像装置１０２は、画像を読み出すことなくリセットが可能な電荷保持部を備え、通常露光と待機露光とにおいて露光周期の変更が可能な構成を有しているだけでよい。したがって、撮像装置１０２の集積度に大きな影響を与えることはなく、画素数や開口率の低下による画質の劣化を防止しつつ、トリガ信号が入力される直前の画像を取得可能な撮像装置を実現することができる。

なお、本実施形態では、転送トランジスタＭ２と電荷保持部ＭＥＭとを含みグローバル電子シャッタ機能を備えた画素１２０を有する撮像装置１０２を例示した。しかしながら、画素１２０がグローバル電子シャッタ機能を備えていることは、本実施形態の撮像装置１０２が備えるべき本質的な構成ではない。本発明の本質は、光電変換素子ＰＤに蓄積されつつある電荷と並行して、１画面分の画像情報としての電荷を保持できる機能を備えていることである。

したがって、画像を読み出すことなく次の露光を行う待機露光動作が可能な画素構成であれば、本実施形態と同様の効果を奏することができる。例えば、転送トランジスタＭ２を有さず、転送トランジスタＭ１の後段に浮遊拡散部ＦＤによる電荷保持部を配置したローリングシャッタの画素構成においても、本発明を適用可能である。この場合、光電変換素子ＰＤから浮遊拡散部ＦＤに電荷を転送して保持する一方、光電変換素子ＰＤにおける電荷の蓄積を並行して行うように構成することで、本実施形態で説明したと同様の待機露光動作を実現することができる。

また、本実施形態において、第１の転送部１０９は、光電変換部１０７に蓄積された電荷を余すことなく電荷保持部１１０へ転送する機能があるとよい。また、リセット部１０８は、光電変換部１０７に蓄積された電荷を余すことなくリセットする機能があるとよい。また、第２の転送部１１１は、電荷保持部１１０から出力部１１２へ電荷を余すことなく転送する機能があるとよい。これら機能は、画素回路を構成する各素子のポテンシャル分布を適宜設定することにより実現することができる。総ての電荷を余すことなく転送或いはリセットできるように構成することによって、熱が原因となる転送むらやリセットむらなどを抑制することができる。これにより熱雑音の影響が抑制されるため、例えば待機露光のように露光時間が短い場合においても良好な画質の画像を取得することができる。

本実施形態による撮像システムは、一般的な撮像システムに簡単な回路構成を追加するだけで実現可能であり、画素サイズの増加による画素数の制約や光電変換部以外の回路による開口率の低下などの性能低下を避けることができる。また、撮像装置から読み出したデータを処理する後段のシステムのインターフェースも、通常の連続画像出力時と同様の信号配線数、画像処理メモリなどで対応することができる。これにより、撮像すべき発生事象を取り逃がさない特徴を有しつつ、安価で小型な撮像装置及び撮像システムを提供することができる。

このように、本実施形態によれば、装置構成が複雑化するのを抑制しつつ撮像すべきタイミングにおける画像をトリガ信号に応じて取得することができる。

［第２実施形態］
本発明の第２実施形態による撮像システムについて、図１０乃至図１２を用いて説明する。第１実施形態による撮像システムと同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

はじめに、本実施形態による撮像システムの構造について、図１０及び図１１を用いて説明する。図１０は、本実施形態による撮像システムの概略構成を示すブロック図である。図１１は、本実施形態による撮像システムにおける撮像装置の画素の構成例を示す回路図である。

本実施形態による撮像システム１０１は、図１０に示すように、撮像装置１０２の画素１２０の構成が異なるほかは、第１実施形態による撮像システムと同様である。すなわち、本実施形態の撮像システム１０１における撮像装置１０２の画素１２０は、第１実施形態の構成に加えて、第３の転送部１２１と、電荷保持部１２２と、第４の転送部１２３と、を更に有している。第３の転送部１２１は、光電変換部１０７で生成・蓄積された電荷を電荷保持部１２２に転送する機能を備える。電荷保持部１２２は、光電変換部１０７から転送された電荷を一時的に保持する機能を備える。第４の転送部１２３は、電荷保持部１２２に保持された電荷を出力部１１２に転送する機能を備える。出力部１１２は、電荷保持部１２２から転送された電荷の量に応じた信号（画素信号）を画像処理部１０４へ出力する機能を更に備える。

すなわち、本実施形態の撮像システム１０１における撮像装置１０２の画素１２０は、光電変換部１０７から転送された電荷を一時的に保持するための２つの電荷保持部１１０，１２２を有している。光電変換部１０７から電荷保持部１１０への電荷転送と光電変換部１０７から電荷保持部１２２への電荷転送とは、第１の転送部１０９と第３の転送部１２１とにより別々に制御が可能である。また、電荷保持部１１０から出力部１１２への電荷転送と電荷保持部１２２から出力部１１２への電荷転送とは、第２の転送部１１１と第４の転送部１２３とにより別々に制御が可能である。

図１１には、２行２列の行列状に配された４つの画素１２０の構成例を示している。各々の画素１２０は、図１１に示すように、光電変換素子ＰＤ、転送トランジスタＭ１，Ｍ２，Ｍ７，Ｍ８、電荷保持部ＭＥＭ１，ＭＥＭ２、リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５、排出トランジスタＭ６により構成される。光電変換素子ＰＤは、図１０における光電変換部１０７に対応する。転送トランジスタＭ１は、図１０における第１の転送部１０９に対応する。電荷保持部ＭＥＭ１は、図１０における電荷保持部１１０に対応する。転送トランジスタＭ２は、図１０における第２の転送部１１１に対応する。転送トランジスタＭ７は、図１０における第３の転送部１２１に対応する。電荷保持部ＭＥＭ２は、図１０における電荷保持部１２２に対応する。転送トランジスタＭ８は、図１０における第４の転送部１２３に対応する。リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５は、図１０における出力部１１２に対応する。排出トランジスタＭ６は、図１０におけるリセット部１０８に対応する。

光電変換素子ＰＤを構成するフォトダイオードのカソードは、転送トランジスタＭ１のソース、転送トランジスタＭ７のソース及び排出トランジスタＭ６のソースに接続されている。転送トランジスタＭ１のドレインは、転送トランジスタＭ２のソースに接続されている。転送トランジスタＭ１のドレインと転送トランジスタＭ２のソースとの接続ノードは、容量成分を含み、電荷保持部ＭＥＭ１としての機能を備える。図１１には、この容量成分を、当該ノードに一方の端子が接続された容量素子で表現している。この容量素子の他方の端子は、接地ノードに接続されている。転送トランジスタＭ７のドレインは、転送トランジスタＭ８のソースに接続されている。転送トランジスタＭ７のドレインと転送トランジスタＭ８のソースとの接続ノードは、容量成分を含み、電荷保持部ＭＥＭ２としての機能を備える。図１１には、この容量成分を、当該ノードに一方の端子が接続された容量素子で表現している。この容量素子の他方の端子は、接地ノードに接続されている。

転送トランジスタＭ２のドレイン及び転送トランジスタＭ８のドレインは、リセットトランジスタＭ３のソース及び増幅トランジスタＭ４のゲートに接続されている。転送トランジスタＭ２のドレインと、転送トランジスタＭ８のドレインと、リセットトランジスタＭ３のソースと、増幅トランジスタＭ４のゲートとの接続ノードは、いわゆる浮遊拡散部ＦＤである。浮遊拡散部ＦＤは、容量成分（浮遊拡散容量）を含み、電荷の保持部としての機能を備える。増幅トランジスタＭ４のソースは、選択トランジスタＭ５のドレインに接続されている。選択トランジスタＭ５のソースは、対応する列の出力線１５０に接続されている。

画素アレイの各行には、対応する行に属する画素１２０を駆動するための制御信号を供給する制御線１４０が配されている。制御線１４０の各々は、信号線１４１，１４２，１４３，１４４，１４５，１４６を含む。信号線１４１，１４２，１４３，１４４は、第１実施形態と同様である。信号線１４５は、対応する行に属する画素１２０の転送トランジスタＭ７のゲートに接続されている。信号線１４５には、転送トランジスタＭ７を制御するための駆動パルスである制御信号φＧＳ２が出力される。信号線１４６は、対応する行に属する画素１２０の転送トランジスタＭ８のゲートに接続されている。信号線１４６には、転送トランジスタＭ８を制御するための駆動パルスである制御信号φＴＸ２が出力される。

画素１２０をこのように構成することで、電荷保持部ＭＥＭ１，ＭＥＭ２のうちの一方で光電変換素子ＰＤから転送された電荷を保持しつつ、光電変換素子ＰＤではリセット動作を行い電荷の蓄積を開始することができる。また、電荷保持部ＭＥＭ１，ＭＥＭ２のうちの他方では、リセット動作を行って光電変換素子ＰＤからの電荷の転送に備えることができる。

すなわち、本実施形態の撮像装置１０２では、電荷保持部ＭＥＭ１，ＭＥＭ２のうちの一方のリセット動作を、他方の電荷保持期間中に行うことができる。これにより、１フレーム期間における電荷保持部ＭＥＭでの電荷保持期間が、リセット動作を行う必要があることによって短くなることを防止することができ、第１実施形態の場合よりも効率的で簡単な待機露光動作を実現することができる。

具体的には、２つの電荷保持部ＭＥＭ１，ＭＥＭ２において１フレーム毎に交互に電荷保持を行う中で、トリガ信号が入力されたタイミングで電荷を保持している方の電荷保持部ＭＥＭ１，ＭＥＭ２から、トリガ信号が入力される前の信号を読み出す。トリガ信号が入力されたタイミングで光電変換素子ＰＤが生成していた電荷は、露光期間の経過後にもう一方の電荷保持部ＭＥＭ１，ＭＥＭ２に転送し、トリガ信号が入力される前の信号の読み出しに続いて、トリガ信号の入力時の信号として読み出す。

次に、本実施形態による撮像システムの動作について、図１２を用いて説明する。図１２は、本実施形態による撮像システムの動作を示すタイミングチャートである。図１２には、待機モードフラグ、トリガ信号、制御信号φＯＦＤ，φＧＳ１，φＧＳ２，φＲＥＳ，φＴＸ１（１）～φＴＸ１（ｍ），φＴＸ２（１）～φＴＸ２（ｍ）を示している。なお、制御信号φＴＸ１（１）は１行目の画素１２０に供給される制御信号φＴＸ１であり、制御信号φＴＸ１（２）は２行目の画素１２０に供給される制御信号φＴＸ１である。また、制御信号φＴＸ１（ｍ）はｍ行目の画素１２０に供給される制御信号φＴＸ１である。同様に、制御信号φＴＸ２（１）は１行目の画素１２０に供給される制御信号φＴＸ２であり、制御信号φＴＸ２（２）は２行目の画素１２０に供給される制御信号φＴＸ２である。また、制御信号φＴＸ２（ｍ）はｍ行目の画素１２０に供給される制御信号φＴＸ２である。

図１２には、ステートＳ２からステートＳ３を経てステートＳ１に至る動作の一例を示している。図１２において、時刻ｔ０から時刻ｔ１９までがステートＳ２の期間であり、時刻ｔ１９から時刻ｔ２２までがステートＳ３の期間であり、時刻ｔ２２以降がステートＳ１の期間である。

ステートＳ２では、電荷保持部ＭＥＭ１へのサンプリング動作及び電荷保持部ＭＥＭ２のリセットを行う単位期間と、電荷保持部ＭＥＭ２へのサンプリング動作及び電荷保持部ＭＥＭ１のリセットを行う単位期間と、を交互に行う。図１２において、単位期間Ｔ２０１及び単位期間Ｔ２０３は、電荷保持部ＭＥＭ１へのサンプリング動作と電荷保持部ＭＥＭ２のリセットとを行う単位期間である。また、単位期間Ｔ２０２及び単位期間Ｔ２０４は、電荷保持部ＭＥＭ２へのサンプリング動作と電荷保持部ＭＥＭ１のリセットとを行う単位期間である。

時刻ｔ１において、制御信号φＯＦＤがハイレベルとなり、総ての行に属する画素１２０の光電変換素子ＰＤがリセットされる。制御信号φＯＦＤがローレベルになる時刻ｔ２が、光電変換素子ＰＤの露光期間の開始時刻となる。

次いで、時刻ｔ３において、制御信号φＲＥＳ，φＴＸ２（φＴＸ２（１），φＴＸ２（２），…，φＴＸ２（ｍ））がハイレベルとなり、総ての行に属する画素１２０の電荷保持部ＭＥＭ２がリセットされる。

次いで、時刻ｔ４において、制御信号φＧＳ２がハイレベルとなり、総ての行に属する画素１２０において、光電変換素子ＰＤに蓄積された電荷が電荷保持部ＭＥＭ２に転送される。時刻ｔ２から、制御信号φＧＳ２がローレベルとなる時刻ｔ５までの期間Ｔ１２が、光電変換素子ＰＤから電荷保持部ＭＥＭ２に転送される電荷を生成する露光期間に相当する。

次いで、時刻ｔ６において、制御信号φＯＦＤがハイレベルとなり、総ての行に属する画素１２０の光電変換素子ＰＤがリセットされる。制御信号φＯＦＤがローレベルになる時刻ｔ７が、光電変換素子ＰＤの露光期間の開始時刻となる。

次いで、時刻ｔ８において、制御信号φＲＥＳ，φＴＸ１（φＴＸ１（１），φＴＸ１（２），…，φＴＸ１（ｍ））がハイレベルとなり、総ての行に属する画素１２０の電荷保持部ＭＥＭ１がリセットされる。時刻ｔ０から時刻ｔ８までの期間Ｔ２１が、電荷保持部ＭＥＭ１が電荷を蓄積している期間である。

次いで、時刻ｔ９において、制御信号φＧＳ１がハイレベルとなり、総ての行に属する画素１２０において、光電変換素子ＰＤに蓄積された電荷が電荷保持部ＭＥＭ１に転送される。時刻ｔ７から、制御信号φＧＳ１がローレベルとなる時刻ｔ１０までの期間Ｔ１１が、光電変換素子ＰＤから電荷保持部ＭＥＭ１に転送される電荷を生成する露光期間に相当する。

次いで、時刻ｔ１１において、制御信号φＯＦＤがハイレベルとなり、総ての行に属する画素１２０の光電変換素子ＰＤがリセットされる。制御信号φＯＦＤがローレベルになる時刻ｔ１２が、光電変換素子ＰＤの露光期間の開始時刻となる。

次いで、時刻ｔ１３において、制御信号φＲＥＳ，φＴＸ２がハイレベルとなり、総ての行に属する画素１２０の電荷保持部ＭＥＭ２がリセットされる。時刻ｔ４から時刻ｔ１３までの期間Ｔ２２が、電荷保持部ＭＥＭ２が電荷を蓄積している期間である。

同様にして、時刻ｔ１２以後に光電変換素子ＰＤに蓄積された電荷は時刻ｔ１５までの期間に電荷保持部ＭＥＭ２へと転送され、時刻ｔ１６以後に光電変換素子ＰＤに蓄積された電荷は時刻ｔ２０までの期間に電荷保持部ＭＥＭ１へと転送される。

こうして、ステートＳ２では、電荷保持部ＭＥＭ１へのサンプリング動作及び電荷保持部ＭＥＭ２のリセットを行う単位期間と、電荷保持部ＭＥＭ２へのサンプリング動作及び電荷保持部ＭＥＭ１のリセットを行う単位期間と、を交互に行う。

ステートＳ２からステートＳ３への移行は、トリガ信号の入力を検知したことに応じて行われる。図１２は、単位期間Ｔ２０４の間の時刻ｔ１８にトリガ信号が入力された場合の動作例である。ここでは、トリガ信号が入力された時刻ｔ１８の時点において、電荷保持部ＭＥＭ２が電荷を保持しており、光電変換素子ＰＤでは電荷保持部ＭＥＭ１に転送される電荷の生成のための露光期間が実行されているものとする。

ステートＳ３では、単位期間Ｔ３０１において、トリガ信号が入力された時点において電荷保持部ＭＥＭ１又は電荷保持部ＭＥＭ２が保持している電荷に基づく信号の読み出しを行う。また、続く単位期間Ｔ３０２において、トリガ信号が入力された時点において光電変換素子ＰＤにおいて行われている露光動作の終了後に電荷保持部ＭＥＭ２又は電荷保持部ＭＥＭ１に転送される電荷に基づく信号の読み出しを行う。

図１２の例では、時刻ｔ１８の時点において、トリガ信号が入力される直前の露光期間（期間Ｔ１２）の間に生成された電荷は電荷保持部ＭＥＭ２に保持されている。また、光電変換素子ＰＤにおいては、次に電荷保持部ＭＥＭ１に転送される電荷を生成する露光期間（期間Ｔ１１）が実行されている。したがって、時刻ｔ１８にトリガ信号が入力されて撮像装置１０２がステートＳ２からステートＳ３に移行すると、単位期間Ｔ３０１では、単位期間Ｔ２０４の間に電荷保持部ＭＥＭ２に保持されている電荷に基づく信号の読み出しが行単位で行われる。また、単位期間Ｔ３０２において、単位期間Ｔ２０４の間に光電変換素子ＰＤで生成され電荷保持部ＭＥＭ１へと転送される電荷に基づく信号の読み出しが行単位で行われる。

具体的には、制御信号切り替え部１１６を介して第２の制御信号生成部１１５から画素１２０の第２の転送部１１１及び出力部１１２に制御信号φＴＸ２，φＲＥＳを所定のタイミングで供給する。これにより、浮遊拡散部ＦＤのリセットと電荷保持部ＭＥＭ２から浮遊拡散部ＦＤへの電荷の転送とを行毎に順次行い、画素１２０の各々から画素信号の読み出しを行う。

また、時刻ｔ１９において制御信号φＧＳ１をハイレベルに制御して光電変換素子ＰＤに蓄積された電荷を電荷保持部ＭＥＭ１に転送する。そして、時刻ｔ２１以降の単位期間Ｔ３０２において、制御信号切り替え部１１６を介して第２の制御信号生成部１１５から画素１２０の第１の転送部１０９及び出力部１１２に制御信号φＴＸ１，φＲＥＳを所定のタイミングで供給する。これにより、浮遊拡散部ＦＤのリセットと電荷保持部ＭＥＭ１から浮遊拡散部ＦＤへの電荷の転送とを行毎に順次行い、画素１２０の各々から画素信号の読み出しを行う。

ステートＳ３において、総ての行に属する画素１２０から、電荷保持部ＭＥＭ１，ＭＥＭ２に保持されている電荷に基づく信号の読み出しが完了すると、時刻ｔ２２において待機モードフラグがローレベルとなり、通常露光モード（ステートＳ１）に移行する。

ステートＳ１では、単位期間Ｔ１０１，Ｔ１０２，…により定義されるフレーム期間の各々において、通常のグローバル電子シャッタ動作と同様にして、光電変換素子ＰＤの露光動作と、光電変換素子ＰＤで生成された電荷に基づく信号の読み出し動作とを行う。

ステートＳ１はステートＳ３とは異なり画素信号の読み出し動作を行うため、ステートＳ１が実行される単位期間Ｔ１０１，Ｔ１０２の長さは、ステートＳ２が実行される単位期間Ｔ２０１，Ｔ２０２，Ｔ２０３，Ｔ２０４の長さよりも長い。したがって、本実施形態によれば、第１実施形態の場合と同様、トリガ信号が入力されたタイミングとの時間差がほとんどない直前の瞬間における画像を取り逃がすことを防ぐことができる。

また、本実施形態のように、画素１２０に光電変換部１０７とは別に複数の電荷保持部１１０，１２２を設けることで、一方の電荷保持部で１フレーム分の画像を確保しながら他方の電荷保持部を更新するように待機露光動作を繰り返すことができる。これにより、トリガ信号が入力される直前の画像とトリガ信号が入力されたタイミングにおける画像との両方を連続して読み出すことが可能になる。これにより、トリガ信号の入力前後において高速で発生する事象をより正確に把握することができる。

本実施形態による撮像システム１０１を構成するうえで、撮像装置１０２は、画像を読み出すことなくリセットが可能な電荷保持部を備え、通常露光と待機露光とにおいて露光周期の変更が可能な構成を有しているだけでよい。したがって、撮像装置１０２の集積度に大きな影響を与えることはなく、画素数や開口率の低下による画質の劣化を防止しつつ、トリガ信号が入力される直前の画像を取得可能な撮像装置を実現することができる。

このように、本実施形態によれば、装置構成が複雑化するのを抑制しつつ撮像すべきタイミングにおける画像をトリガ信号に応じて取得することができる。

［第３実施形態］
本発明の第３実施形態による撮像システムについて、図１３を用いて説明する。図１３は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１及び第２実施形態で述べた撮像装置１０２は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１３には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１３に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２及び絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１又は第２実施形態で説明した撮像装置１０２であって、レンズ２０２により結像された光学像を画像データに変換する。

撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するアナログ信号をデジタル信号に変換するＡＤ変換を行う。また、信号処理部２０８はその他、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部２０８の一部であるＡＤ変換部は、撮像装置２０１が設けられた半導体基板に形成されていてもよいし、撮像装置２０１とは別の半導体基板に形成されていてもよい。また、撮像装置２０１と信号処理部２０８とが同一の半導体基板に形成されていてもよい。

撮像システム２００は、さらに、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。さらに撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。

さらに撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。タイミング発生部２２０は、第１又は第２実施形態で説明したタイミング発生部１０３の機能を含みうる。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は、少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。

撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。信号処理部２０８は、第１又は第２実施形態で説明した画像処理部１０４の機能を含みうる。

このように、本実施形態によれば、第１又は第２実施形態による撮像装置１０２を適用した撮像システムを実現することができる。

［第４実施形態］
本発明の第４実施形態による撮像システム及び移動体について、図１４を用いて説明する。図１４は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１４（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１及び第２実施形態のいずれかに記載の撮像装置１０２である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図１４（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示した。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記第１実施形態では１つの画素１２０が１つの電荷保持部ＭＥＭを備える構成を示し、上記第２実施形態では１つの画素１２０が２つの電荷保持部ＭＥＭ１，ＭＥＭ２を備える構成を示した。しかしながら、１つの画素１２０が備える電荷保持部ＭＥＭの数はこれらに限定されるものではなく、１つの画素１２０が３つ以上の複数の電荷保持部を備えていてもよい。この場合、待機モードにおいて、複数の電荷保持部に順番に電荷をサンプリングすることにより、トリガ信号が入力されたタイミングの直前の複数の画像を取得することができる。

また、上記第１及び第２実施形態では、排出トランジスタＭ６を備える画素１２０を有する撮像装置１０２を例にして説明したが、画素１２０は必ずしも排出トランジスタＭ６を備える必要はない。この場合、光電変換素子から電荷保持部への電荷の転送後、制御信号φＧＳ１をローレベルに制御するタイミングが、露光期間の開始時刻となる。

また、上記第３及び第４実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の撮像装置を適用可能な撮像システムは図１３及び図１４に示した構成に限定されるものではない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１…撮像システム
１０２…撮像装置
１０７…光電変換部
１１０，１２２…電荷保持部
１１２…出力部
１１３…タイミング制御部
１１４…第１の制御信号生成部
１１５…第２の制御信号生成部
１１６…制御信号切り替え部
１１７…トリガ信号受信部

Claims (12)

1. 光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置であって、
   前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記リセット動作と前記電荷転送動作とによって前記電荷保持部が保持する電荷を更新する動作を前記複数の画素に行わせる第１の制御と、前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２の制御と、を行う制御部を有し、
   外部からトリガ信号が入力される前の第１の期間に、前記制御部は、前記第２の制御を介さずに前記第１の制御を所定の周期で繰り返し、
   前記第１の期間の後、外部から前記トリガ信号が入力されると、前記制御部は前記第１の制御から前記第２の制御に変更し、
   前記出力部は、
   前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、
   前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する
   ことを特徴とする撮像装置。
2. 前記複数の画素の各々の前記電荷保持部は、第１の電荷保持部と第２の電荷保持部とを有し、
   前記第１の制御では、前記第１の電荷保持部が保持する電荷と前記第２の電荷保持部が保持する電荷とを、前記所定の周期で交互に更新し、
   前記出力部は、前記トリガ信号を受信したタイミングにおいて前記第１の電荷保持部が保持している電荷の量に応じた信号を出力し、前記トリガ信号を受信したタイミングにおいて前記第２の電荷保持部で進行中の前記露光動作及び前記電荷転送動作が完了した後、前記第２の電荷保持部が保持している電荷の量に応じた信号を出力する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記複数の画素の各々は、前記光電変換部をリセットするリセット部を更に有する
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記出力部は、前記電荷保持部から転送される電荷を保持する第３の電荷保持部を更に有し、前記第３の電荷保持部が保持している電荷の量に応じた信号を出力する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の画素は、複数行及び複数列に渡って配され、
   前記露光動作及び前記電荷転送動作は、前記複数行の画素に対して同時に実行し、前記電荷保持部が保持する電荷の量に応じた信号を出力する読み出し動作は前記複数行の行単位で実行する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記複数の画素に対して前記第１の制御を行うための第１の制御信号を生成する第１の制御信号生成部と、
   前記複数の画素に対して前記第２の制御を行うための第２の制御信号を生成する第２の制御信号生成部と、
   前記トリガ信号を受信するトリガ信号受信部と
   を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 請求項１乃至５のいずれか１項に記載の撮像装置と、
   前記複数の画素に対して前記第１の制御を行うための第１の制御信号を生成し前記撮像装置に供給する第１の制御信号生成部と、
   前記複数の画素に対して前記第２の制御を行うための第２の制御信号を生成し前記撮像装置に供給する第２の制御信号生成部と
   を有することを特徴とする撮像システム。
8. 光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置と、
   前記撮像装置を、前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記リセット動作と前記電荷転送動作とによって前記電荷保持部が保持する電荷を更新する第１の動作モードで動作するための第１の制御信号を生成する第１の制御信号生成部と、
   前記撮像装置を、前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２の動作モードで動作するための第２の制御信号を生成する第２の制御信号生成部と、
   前記第１の制御信号生成部及び前記第２の制御信号生成部を制御する制御部と、を有し、
   前記制御部は、
   外部からトリガ信号が入力される前の第１の期間に、前記第２の動作モードを介さずに前記第１の動作モードを所定の周期で繰り返し、
   前記第１の期間の後、外部から前記トリガ信号が入力されると、前記第１の動作モードから前記第２の動作モードに変更し、
   前記出力部は、
   前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、
   前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する
   ことを特徴とする撮像システム。
9. 前記トリガ信号を受信するトリガ信号受信部と、
   前記トリガ信号の受信に応じて、前記撮像装置に供給する制御信号を前記第１の制御信号から前記第２の制御信号に切り替える制御信号切り替え部を更に有する
   ことを特徴とする請求項７又は８記載の撮像システム。
10. 前記撮像装置から出力される信号を処理する信号処理部を更に有する
    ことを特徴とする請求項７乃至９のいずれか１項に記載の撮像システム。
11. 移動体であって、
    請求項１乃至６のいずれか１項に記載の撮像装置と、
    前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
12. 光電変換により電荷を生じる光電変換部と、前記光電変換部から転送される電荷を保持する電荷保持部と、前記電荷保持部が保持する電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する撮像装置の駆動方法であって、
    前記光電変換部の露光動作と、前記電荷保持部のリセット動作と、前記光電変換部から前記電荷保持部への電荷転送動作とを含み、前記電荷保持部が保持する電荷を前記リセット動作と前記電荷転送動作とによって更新する動作を前記複数の画素に行わせる第１のステップと、
    前記電荷保持部が保持する電荷に基づく信号を、前記複数の画素のそれぞれから読み出す第２のステップと、を有し、
    外部からトリガ信号が入力される前の第１の期間に、前記第２のステップを介さずに前記第１のステップを所定の周期で繰り返し、
    前記第１の期間の後、外部から前記トリガ信号が入力されると、前記第１のステップから前記第２のステップに変更し、
    前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持している場合は、前記電荷保持部が保持している電荷の量に応じた信号を出力し、
    前記トリガ信号を受信したタイミングにおいて前記光電変換部から転送された電荷を前記電荷保持部が保持していない場合は、進行中の前記露光動作及び前記電荷転送動作が完了した後、前記電荷保持部が保持している電荷の量に応じた信号を出力する
    ことを特徴とする撮像装置の駆動方法。

Images