JP7129234B2 - 撮像装置、撮像システム、および撮像装置の制御方法 - Google Patents

Description

本発明は撮像装置、撮像システム、および撮像装置の制御方法に関する。

電子カメラ分野で、画像データにレンズ絞り情報、アンプゲイン情報などの撮像情報を付加する技術が知られている（特許文献１）。特許文献１においては、ブランキング期間などの有効画素領域外にヘッダが付加され、各フレームの画像データが出力されている。

特開２０１３－２２９６９９公報

しかしながら、特許文献１において、動画撮影時において時刻情報を画像データに付加する処理が間に合わず、フレームの欠落などの問題が生じ得る。

本発明の一実施形態による撮像装置は、複数の画素を備える画素部と、前記画素部から読み出された画素信号に対する信号処理を行うことにより画像データを生成し、前記画像データをフレーム単位で出力する信号処理部と、フレーム単位で時刻情報を生成する情報生成部と、一のフレームの前記画像データの前記信号処理部からの出力が開始される前に前記一のフレームに関連付けられた前記時刻情報を出力し、前記時刻情報の出力が終了した後に前記一のフレームの前記画像データの出力を開始する出力部と、を備える。

本発明の他の態様による撮像システムは、撮像装置と、ＧＰＳ衛星の受信電波から基準時刻を取得する時刻情報取得部とをさらに備え、前記情報生成部は、前記基準時刻を用いて、前記基準時刻よりも分解能の高い前記時刻情報を生成する。

本発明の他の態様による撮像装置の制御方法は、複数の画素を備える画素部と、前記画素部から読み出された画素信号に対する信号処理を行うことにより画像データを生成し、前記画像データをフレーム単位で出力する信号処理部とを備える撮像装置の制御方法であって、フレーム単位で時刻情報を生成し、一のフレームの前記画像データの前記信号処理部からの出力が開始される前に前記一のフレームに関連付けられた前記時刻情報を出力し、前記時刻情報の出力が終了した後に前記一のフレームの前記画像データの出力を開始する。

本発明によれば、動画撮影時において時刻情報を画像データに安定して付加可能な撮像装置、撮像システム、撮像装置の制御方法を提供することが可能となる。

本発明の第１実施形態における撮像システムのブロック図である。 本発明の第１実施形態における撮像素子のブロック図である。 本発明の第１実施形態における画素の等価回路図である。 本発明の第１実施形態における制御信号のタイミングチャートである。 本発明の第１実施形態における撮像システムの詳細なブロック図である。 本発明の第１実施形態における撮像システムのタイミングチャートである。 本発明の第１実施形態における時刻情報の画像データへの付加方法を説明するための図である。 本発明の第１実施形態における出力信号の詳細を表す図である。 本発明の第１実施形態におけるＦＩＴＳフォーマットを説明するための図である。 本発明の第１実施形態におけるＦＩＴＳフォーマットを説明するための図である。 本発明の第２実施形態における撮像システムのブロック図である。 本発明の第２実施形態における画素の等価回路図である。 本発明の第２実施形態における撮像システムのタイミングチャートである。 本発明の第３実施形態における撮像システムのブロック図である。 本発明の第４実施形態における撮像システムのブロック図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。
（第１実施形態）
図１は本発明の第１実施形態における撮像システムのブロック図である。図１に示すように撮像システムは、光学系１０ａ、撮像素子１０、信号処理部２１、時刻情報生成部２２、カウンタ２３、出力部２５、同期信号出力部３０、時刻情報取得部４０、保存・表示部５０を備える。

撮像素子１０は、本実施形態ではＣＭＯＳエリアセンサであり、２次元配列された複数の画素を有し、レンズなどの光学系１０ａを介して入射された光信号を電気信号である画素信号に変換する。

信号処理部２１は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、フレームメモリなどから構成され、撮像素子１０から出力された画素信号に対して信号処理を行う。ＡＦＥは、差動増幅器、クランプ回路、アナログ・デジタル変換回路を含み、アナログ・デジタル変換処理によってアナログの画素信号をデジタルの画素データに変換する。ＤＳＰは、ゲートアレイ回路などから構成され、オプティカル・ブラック画素を用いた処理、ガンマ処理などの階調補正、ホワイトバランス補正、デモザイク処理、ノイズ低減処理などを行う。フレームメモリは、画素データを一時的に保持するフレームメモリである。

同期信号出力部３０は、クロック回路、カウンタ回路などを含み、撮像素子１０の垂直同期信号ＶＤ、水平同期信号ＨＤおよび撮像素子１０の制御信号を生成する。同期信号出力部３０は、撮像システム内部において設けられることを要せず、撮像システム外部から垂直同期信号ＶＤ、水平同期信号ＨＤが供給されても良い。

時刻情報取得部４０は、複数のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信するアンテナ、ベースバンド信号を処理する受信回路、受信信号に含まれる情報を復調する復調回路を有している。複数のＧＰＳ衛星からの受信電波の時間差に基づき、撮像システムの緯度、経度、高度の正確な情報を取得することができる。また、ＧＰＳ衛星からの受信電波には、基準時刻としてのＧＰＳ時刻情報（ＧＰＳ週情報、ＧＰＳ秒情報）、閏秒情報が含まれる。ＧＰＳ週情報は１９８０年１月６日を起点として０～１０２３で巡回する情報である。ＧＰＳ秒情報はＧＰＳ週内の秒経過情報であり、７日×２４時間×６０分×６０秒＝６０４８００秒内の値を取り得る。閏秒情報はＧＰＳ時刻と世界標準時刻ＵＴＣ（Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ Ｃｏｏｒｄｉｎａｔｅｄ）との差分を表し、ＧＰＳ時刻をＵＴＣに変換する際に使用される。また、時刻情報取得部４０は受信電波を復調する際にＰＰＳ（Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ）信号と呼ばれる高精度の１秒１パルスの信号を出力する。

時刻情報生成部２２は、時刻情報取得部４０から出力されたＰＰＳ信号、同期信号出力部３０から出力された垂直同期信号ＶＤを用いて、ＧＰＳ時刻情報よりも時間分解能の高い時刻情報を生成する。時刻情報生成部２２は例えば１０ＭＨｚ、すなわち１０^－７秒でカウントアップするカウンタ２３を用いて計時し、ＰＰＳ信号の立ち上がりでカウンタ２３をリセットする。なお、ＰＰＳ信号、垂直同期信号ＶＤに加えて、水平同期信号ＨＤを用いて、カウンタ２３をリセットしても良い。ＰＰＳ信号、水平同期信号ＨＤ、垂直同期信号ＶＤをカウンタ２３のリセットに用いることで、誤差が累積しない高精度の時刻情報を生成することができる。

出力部２５は、時刻情報生成部２２によって生成された時刻情報を画像データに付加する。さらに、出力部２５は時刻情報に加えて位置情報、撮像情報を画像データに付加することができる。保存・表示部５０はフレーム毎の画像データを出力可能であって、デジタルインターフェース、メモリカードなどの記録媒体、ディスプレイなどの表示装置を含み得る。また、保存・表示部５０は構内通信回線、公衆通信回線、インターネットなどに接続されても良い。

図２は撮像素子１０のブロック図である。撮像素子１０は、画素部１００、行走査回路（行走査部）１２０、列読出回路（読出部）１３０Ａ、１３０Ｂ、列走査回路１５０Ａ、１５０Ｂ、制御部１６０、出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂを備える。画素部１００には、複数の画素１１０が行方向および列方向に沿って二次元マトリクス状に配置される。図２の画素部１００はｎ行ｍ列の画素１１０を含むが、説明の簡略化のために限られた数の画素１１０が示されている。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素部１００には、焦点検出用の信号を出力する焦点検出画素が配された測距行と、画像を生成するための信号を出力する撮像画素が配された複数の撮像行とが設けられている。また、画素部１００の一部の画素１１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。

画素１１０はカラーフィルタ、マイクロレンズ、光電変換部、浮遊拡散部、リセットトランジスタ、転送トランジスタ、増幅トランジスタ、選択トランジスタなどを含む。カラーフィルタは例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１１０に設けられている。

行走査回路１２０は制御部１６０からの制御信号を受けて、画素部１００を行単位で読取走査を行う。すなわち、複数の画素１１０が配された画素行には行走査回路１２０から制御信号Ｖ１～Ｖｎが供給され、光電変換された信号が画素１１０から読み出される。制御信号Ｖ１～Ｖｎのそれぞれは、画素１１０に含まれるリセットトランジスタ、転送トランジスタ、選択トランジスタをオンまたはオフさせる制御信号を含む。列方向の複数の画素１１０は４×ｍ本の列信号線Ｌ（１－１）～Ｌ（１－４）、・・・、Ｌ（ｍ－１）～Ｌ（ｍ－４）のそれぞれに接続されている。例えば、第１列の複数の画素１１０は列信号線Ｌ（１－１）、Ｌ（１－２）、Ｌ（１－３）、Ｌ（１－４）に接続され、第２列の複数の画素１１０は列信号線Ｌ（２－１）、Ｌ（２－２）、Ｌ（２－３）、Ｌ（２－４）に接続されている。列信号線Ｌ（１－１）、Ｌ（１－２）、・・・、Ｌ（ｍ－１）、Ｌ（ｍ－２）は列読出回路１３０Ａの列回路１３１Ａ、１３２Ａにそれぞれ接続されている。

列回路１３１Ａ、列回路１３２Ａは列走査回路１５０Ａによって走査され、出力回路１７１Ａ、１７２Ａに画素信号を順次出力する。同様に、列信号線Ｌ（１－３）、Ｌ（１－４）、・・・、Ｌ（ｍ－３）、Ｌ（ｍ－４）は列読出回路１３０Ｂの列回路１３１Ｂ、１３２Ｂにそれぞれ接続されている。列回路１３１Ｂ、列回路１３２Ｂは列走査回路１５０Ｂによって走査され、出力回路１７１Ｂ、１７２Ｂに画素信号を順次出力する。出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂからの画素信号は図１の信号処理部２１に出力される。

本実施形態においては、各列の画素１１０に４個の列回路１３１Ａ、１３２Ａ、１３１Ｂ、１３２Ｂが設けられているため、最大で４行の画素１１０からの画素信号を同時に読み出すことができる。なお、同時に読み出し可能な画素行は４行に限定されるものではなく、１行、２行でも良く、４行よりも多くても良い。さらに、複数行の画素信号を加算して読み出しても良い。

列回路１３１Ａ、１３２Ａ、１３１Ｂ、１３２Ｂは増幅トランジスタの負荷となる定電流源１１５、画素信号を増幅する差動増幅回路、画素信号を一時的に保持する保持回路等を備える。制御部１６０は、垂直同期信号ＶＤ、水平同期信号ＨＤ、および図示されていない基準クロックに基づく制御信号を行走査回路１２０、列走査回路１５０Ａ、１５０Ｂに出力する。

本実施形態の撮像素子１０はプログレッシブスキャンにより４行×４列の１６ｃｈ（チャンネル）の画素信号を同時に出力可能である。例えば、１フレームにおける走査行（走査回数）が３００である場合、画素行の総数は４画素行×３００＝１２００画素行となる。１水平走査あたりの列走査回数が５４０である場合、画素列の総数は４画素列×５４０＝２１６０画素列となる。また、撮像素子１０はローリングシャッタ動作可能であり、デジタル変換処理後の画像データは１６ビットで出力されるものとする。なお、画素数、画像データのビット数は上述の例に限定されるものではない。

図３は、本実施形態に係る撮像素子１０における画素１１０の等価回路を示している。画素１１０は、光電変換部ＰＤ、浮遊拡散部ＦＤ、転送トランジスタＭ１、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５を備える。

光電変換部ＰＤは、カラーフィルタ、マイクロレンズを通過した入射光を光電変換し、光電変換により生じた電荷を蓄積する。転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を増幅トランジスタＭ３の浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインは電源電圧線に接続され、ソースは浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線Ｌに出力する。列信号線Ｌには定電流源１１５が接続されている。リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。

同一行の画素１１０に対しては共通の制御信号が行走査回路１２０から供給される。すなわち、同一行において、転送トランジスタＭ１、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＴＸ、ＳＥＬ、ＲＥＳがそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。なお、複数の画素１１０が１つの増幅トランジスタＭ３を共有しても良い。

図４は、本実施形態に係る制御信号のタイミングチャートであって、画素信号の読み出しの動作を表している。図４には、選択トランジスタＭ４に供給される制御信号ＳＥＬ、リセットトランジスタＭ５に供給される制御信号ＲＥＳ、転送トランジスタＭ１に供給される制御信号ＴＸが示されている。トランジスタＭ１、Ｍ４、Ｍ５はそれぞれ対応する制御信号がハイレベルの時にオンになり、ローレベルの時にオフになる。

以下、図２および図３を参照しながら、画素信号の読み出しの動作を説明する。まず、行走査回路１２０は制御信号ＳＥＬをハイレベルとすることで、選択トランジスタＭ４をオンとし、信号を読み出す画素１１０を選択する。次に、行走査回路１２０は制御信号ＲＥＳをハイレベルとし、リセットトランジスタＭ５をオンにする。リセットトランジスタＭ５がオンとなることで、浮遊拡散部ＦＤの電圧が電源電圧にリセットされる。リセットトランジスタＭ５がオフとなった後、列読出回路１３０Ａ、１３０Ｂは列信号線Ｌから、リセット時の画素信号の読み出し（Ｎ読み）を行う。行走査回路１２０は制御信号ＴＸをハイレベルとすることで、転送トランジスタＭ１をオンとし、光電変換部ＰＤの電荷を浮遊拡散部ＦＤへ転送する。列読出回路１３０Ａ、１３０Ｂは列信号線Ｌから光電変換時の画素信号の読み出し（Ｓ読み）を行う。このようにして読み出された画素信号は列読出回路１３０Ａ、１３０Ｂにおいて相関二重サンプリング処理され、出力回路１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂから出力される。なお、画素信号をＡＤ変換した後に相関二重サンプリング処理を行っても良い。

図５は本実施形態における撮像システムの詳細なブロック図である。図５においては、図１に示された撮像システムのうちの主要な部分が、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２０によって構成されている。以下、ＦＰＧＡ２０の構成を中心に説明する。ＦＰＧＡ２０は、信号処理部２１、時刻情報生成部２２、カウンタ２３、出力部２５、計算処理部２４１、ＡＳＣＩＩ変換部２４２、ヘッダ生成部２４３、画素カウンタ２４５、ブランクデータ付加部２４７を含む。

信号処理部２１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、フレームメモリなどから構成される。信号処理部２１は、撮像素子１０から出力された画素信号に対してアナログ・デジタル変換処理、オプティカル・ブラック画素を用いた処理、ガンマ処理などの階調補正、ホワイトバランス補正、デモザイク処理、ノイズ低減処理などを行う。フレームメモリは、画素データを一時的に保持するフレームメモリである。

時刻情報生成部２２は図１において説明したように、ＰＰＳ信号、垂直同期信号ＶＤを用いてカウンタ２３をリセットし、ＧＰＳ時刻情報よりも時間分解能の高い時刻情報ｔ（ｈ）を生成する。

計算処理部２４１は、時刻情報ｔ（ｈ）を用いて、フレームの露光開始時刻、露光終了時刻、露光時間を算出する。ＡＳＣＩＩ変換部２４２は、ＦＩＴＳ（Ｆｌｅｘｉｂｌｅ Ｉｍａｇｅ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）フォーマットに基づき、露光開始時刻、露光終了時刻、露光時間に加えて、ＧＰＳ情報、撮像情報、固定値などの情報をＡＳＣＩＩ（Ａｍｅｒｉｃａｎ Ｓｔａｎｄａｒｄ Ｃｏｄｅ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｔｅｒｃｈａｎｇｅ）形式のデータに変換する。ＦＩＴＳフォーマットは、たとえば宇宙天文分野などにおいて利用される汎用フォーマットである。ＧＰＳ情報は、位置情報（緯度情報、経度情報）、ＧＰＳ時刻を世界標準時刻（ＵＴＣ）に変換する際に使用される閏秒情報、ＧＰＳ時刻情報（ＧＰＳ週情報、ＧＰＳ秒情報）などを含む。また、ＧＰＳ情報は、ＰＰＳ信号を基準としたμ秒刻みの時間情報を含み得る。

撮像情報は、撮像条件などを表す情報であって、撮像システムの情報、撮像素子１０の情報、光学系１０ａの情報を含み、画像データの処理に用いられ得る。撮像システムの情報は、撮像システムの名称、シリアル番号などを含み、撮像素子１０の情報は、露光時間、フレーム番号、ゲイン設定値、温度、シリアル番号などを含み得る。光学系１０ａの情報は、レンズの種類、Ｆ値、ズーム位置などを含む。固定値は、後述するＦＩＴＳフォーマットにおけるコメント、キーワードなどの情報を含み得る。ヘッダ生成部２４３は、ＡＳＣＩＩ変換部２４２によって変換されたＡＳＣＩＩ形式のデータをＦＩＴＳフォーマットに従い並べ替え、ＦＩＴＳヘッダを生成する。生成されたＦＩＴＳヘッダは出力部２５に入力される。

画素カウンタ２４５は信号処理部２１から順に出力される画像データを画素毎にカウントする。ブランクデータ付加部２４７は、画素カウンタ２４５によってカウントされた画素数が予め定められたＦＩＴＳブロック数に満たない場合、ブランクデータを出力する。出力部２５には、ヘッダ生成部２４３からのＦＩＴＳヘッダ、信号処理部２１からの画像データ、ブランクデータ付加部２４７からのブランクデータが入力される。出力部２５は、ＦＩＴＳヘッダ、画像データ、ブランクデータをＦＩＴＳフォーマットに従ったタイミングで切り替える。出力部２５は、ＦＩＴＳヘッダの最後を表すキーワード（「ＥＮＤ」）をＦＩＴＳヘッダにおいて検出すると、出力部２５は、出力信号をＦＩＴＳヘッダから画像データに切り替える。これにより、画像データがＦＩＴＳヘッダに続いて出力される。

図６は、本実施形態における撮像システムのタイミングチャートであって、垂直同期信号ＶＤ、水平同期信号ＨＤ、カウンタ、ＰＰＳ信号、画素出力、出力信号を表している。カウンタは時刻情報生成部２２において１０^－７秒毎にカウントアップされ、ＧＰＳのＰＰＳ信号の立ち上がりでリセットされるデジタル値である。

撮像システムに電源が投入されることにより、同期信号出力部３０は垂直同期信号ＶＤ、水平同期信号ＨＤ、制御信号を出力し、撮像素子１０は撮像動作を開始する。時刻情報取得部４０はＧＰＳ衛星から電波を受信し、ＧＰＳ位置情報、ＧＰＳ時刻情報を取得し始める。

時刻ｔ１において、時刻情報取得部４０は受信電波からＰＰＳ信号を取得すると、ＰＰＳ信号を時刻情報生成部２２に出力する。時刻情報生成部２２はＰＰＳ信号の立ち上がりを検出すると、カウンタをリセットする。ＰＰＳ信号に同期してリセットされるカウンタ２３を用いることで、ＧＰＳ時刻情報の更新周期である１秒よりも時間分解能の高いμ秒単位の時刻情報を生成することができる。時刻ｔ１と同時に、時刻情報取得部４０は受信電波からＧＰＳ週情報、ＧＰＳ秒情報を含むＧＰＳ時刻情報を取得し、ＧＰＳ時刻情報を年／月／日／時／分／秒の形式の時刻情報に変換する。ＧＰＳ時刻情報は、撮像素子１０の駆動タイミングとは非同期に、ＰＰＳ信号の１秒毎に取得される。

時刻ｔ２において、垂直同期信号ＶＤがハイレベルになった後、ローレベルになると、撮像素子１０において１フレームの垂直走査期間が始まる。垂直同期信号ＶＤはＰＰＳ信号とは非同期の信号である。時刻情報生成部２２は時刻ｔ２におけるカウンタの値を時刻情報ｔ２（ｈ）として出力部２５に出力する。期間Ｔ１において、出力部２５は時刻情報ｔ２（ｈ）および位置情報等をＦＩＴＳヘッダとして出力する。これにより、第１の垂直走査期間の開始の時刻ｔ２を１０^－７秒の時間分解能で記録することができる。期間Ｔ１は信号処理期間に対応し、期間Ｔ１において信号処理部２１は、アナログ・デジタル変換処理、ガンマ処理などの階調補正処理、ホワイトバランス補正処理、デモザイク処理、ノイズ低減処理、ＯＢを利用した信号処理などを行う。期間Ｔ１における信号処理は、必ずしもこれらの例に限定されず、画像データの遅延期間、ブランキング期間、画像データが出力されるまでの期間、信号出力の遅延時間であってもよい。すなわち、期間Ｔ１は、画像データの信号処理、出力などに要する様々な期間を含み得る。

時刻ｔ３において、水平同期信号ＨＤがハイレベルになった後、ローレベルになると、撮像素子１０において第１の水平走査期間が始まる。なお、以下の説明において、水平同期信号ＨＤの立ち上がりおよび立ち下がり時刻を併せて水平走査期間の開始時刻と称することがある。撮像素子１０において、行走査回路１２０は第１～第４の画素行を選択し、列読出回路１３０Ａ、１３０Ｂは４行分の画素信号を読み出す。信号処理部２１は画素信号をデジタルの画像データに変換し、画像データに対してノイズリダクション、ゲイン処理などの信号処理を行う。以下、同様にして、水平走査期間毎に４行分の画素信号が読み出され、信号処理部２１においてデジタル信号の画像データに変換される。期間Ｔ１の経過後において、出力部２５は、第１の垂直走査期間における画像データを出力する。

時刻ｔ２－２において、垂直同期信号ＶＤがハイレベルになった後、ローレベルになると、第２のフレームの垂直走査期間が始まる。時刻情報生成部２２は時刻ｔ２－２におけるカウンタの値を時刻情報ｔ２（ｈ）－２として出力部２５に出力する。期間Ｔ１－２において、出力部２５はＦＩＴＳヘッダを出力する。すなわち、画像データが信号処理部２１から出力される前に、第２のフレームに関連付けられた時刻情報ｔ２（ｈ）－２が出力される。期間Ｔ１－２の経過後において、出力部２５は第２のフレームの画像データを出力する。このようにして、画像データが信号処理部２１から出力される前に、高精度の時刻情報が、垂直走査期間毎、すなわちフレーム毎に生成および出力される。

図７は本実施形態における時刻情報の画像データへの付加方法を説明するための図であって、出力部２５から出力された１フレームの画像データおよびヘッダを表している。１フレームの画像データは、データ部Ａ１、Ａ２、Ａ３を含む。データ部Ａ１は水平ＯＢ画素領域に対応し、データ部Ａ２は垂直ＯＢ画素領域に対応している。データ部Ａ３は有効画素領域に対応している。

データ部Ａ０は時刻情報などのＦＩＴＳヘッダに対応し、１フレームの画像データの上部（先の時刻）に付加される。１画素のデータが１６ｂｉｔのデータ、すなわち２バイトで表される場合、１画素にアスキーコード、その他２バイト文字などの情報をデータ部Ａ０に書き込むことができる。

なお、水平ＯＢ画素のデータ部Ａ１あるいは垂直ＯＢ画素のデータ部Ａ２を時刻情報に置き換え、水平走査期間毎に高精度の時刻情報を付加しても良い。この場合、時刻情報を確定するタイミングは、水平同期信号ＨＤすなわち一走査行の画像データの出力開始時である。このため、水平同期信号ＨＤにもっとも近い水平ＯＢの先頭部分のデータを時刻情報のデータ部Ａ１に置き換えても良い。

続いて、本実施形態における出力信号の詳細を図８、図９、図１０を参照しながら説明する。図８は本実施形態における出力信号の詳細を表す図である。図９、図１０はＦＩＴＳフォーマットを説明するための図である。

ＦＩＴＳフォーマットのファイルは、ＡＳＣＩＩテキストで表されたメタデータであるＦＩＴＳヘッダＢ０と、ＡＳＣＩＩもしくはバイナリのデータ配列Ｂ１とから構成される。本実施形態において、出力部２５からの出力信号は、ＦＩＴＳヘッダＢ０とバイナリのデータ配列Ｂ１とを含む。すなわち、図８に示されるように、出力部２５は、期間Ｔ１、Ｔ１－２において時刻情報などのＦＩＴＳヘッダＢ０を出力し、期間Ｔ１、Ｔ１－２経過後にバイナリのデータ配列Ｂ１を出力する。ＦＩＴＳヘッダＢ０およびデータ配列Ｂ１は複数のＦＩＴＳブロック（レコード）から構成され、１つのＦＩＴＳブロックのサイズは２８８０バイト（２３０４０ｂｉｔ）である。本実施形態の撮像システムによって得られる画像データは水平画素数２１６０、垂直画素数１２００、１画素のデータは１６ｂｉｔであるので、１フレームの画像データは２１６０×１２００×１６＝４４１４７２０００ｂｉｔのデータから構成される。このため、１フレームの画像データを１８００個（４４１４７２０００÷２３０４０＝１８００）のＦＩＴＳブロックで構成することができる。ここで、出力部２５は、時刻情報および撮像情報などを、画像データにおける１画素のビット数と同じビット数のデータに変換し、画像データにＦＩＴＳヘッダを付加することにより、画像データをＦＩＴＳデータとして取り扱うことができる。

図９に示されるように、１つのＦＩＴＳブロックは複数のキーワードレコードを含み、それぞれのキーワードレコードは８０バイト（８０文字）の情報から構成される。このようにして構成されたＦＩＴＳヘッダＢ０は、データの目的、種類、構造、バイト数、レコード数等のデータに関する情報を表し得る。１つのＦＩＴＳブロックには、２８８０バイト／８０バイト＝３６行の文字列を記述することができる。ＦＩＴＳヘッダが３６行を超える場合は、複数のＦＩＴＳブロックを用いることが可能である。また、ＦＩＴＳヘッダＢ０が１個のＦＩＴＳブロックに満たない場合には、ＦＩＴＳブロックの残りの領域はブランクデータで埋められる。

データ配列Ｂ１は、ＦＩＴＳヘッダＢ０と同様に、１つ以上のＦＩＴＳブロックから構成される。１フレームの画像データが２８８０バイトを超える場合、データ配列Ｂ１には複数のＦＩＴＳブロックが含まれ得る。また、１フレームの画像データが１個のＦＩＴＳブロックに満たない場合には、出力部２５はＦＩＴＳブロックの残りの領域をブランクデータで埋める。データ配列Ｂ１には、１行毎の画像データが順に配列される。すなわち、１フレームの画像データの垂直ＯＢ画素の読み出し期間においては、データ部Ａ１、Ａ２が出力部２５から交互に出力され、有効画素領域の読み出し期間においては、データ部Ａ１、Ａ３が出力部２５から交互に出力される。

ＦＩＴＳヘッダＢ０の一例を図１０に示す。ＦＩＴＳヘッダＢ０は、それぞれが８０文字（８０桁）の複数のキーワードレコードから構成され、キーワードレコードの数は無制限である。但し、必要なキーワードおよびキーワードの順序は定められており、最後のキーワードレコードは「ＥＮＤ」というキーワードで示される。キーワードレコードは、「キーワード＝値／コメント」で表され、第１～第８桁のキーワード（８文字以下の左詰めされたＡＳＣＩＩコード）、第９桁の「＝」（等号）、第１０桁の「 」（１６進のＡＳＣＩＩコードの「０ｘ２０」または「２０Ｈ」で表されるブランク）を含む。但し、「ＨＩＳＴＯＲＹ」、「ＣＯＭＭＥＮＴ」、空白のキーワードは例外で、上述の規則に従わない。また、キーワードは大文字で表され、コメントは小文字で表される。

値（パラメータ）は、一定のフォーマットに従って記述される。いくつかの必須パラメータは一定のフォーマットで記述されることが要求され、その他のパラメータについてもフォーマットに従って記述されることが推奨されている。文字型の変数の標準文字数は８文字であるが、必ずしも８文字に限定されない。文字型の変数の第１１桁には「’」が記述され、続けて文字列および終端の「’」が記述される。論理型の変数の第３０桁には「Ｔ」または「Ｆ」が記述される。整数型の変数の第１１～３０桁には右揃えで変数が記述される。また、実数型の変数の第１１～３０桁には右揃えで変数が記述される。実数型の変数に小数部がある場合には小数点が記述され、変数に指数部がある場合には「Ｅ」または「Ｄ」が記述される。最小限必要なキーワードは、「ＳＩＭＰＬＥ」、「ＢＩＴＰＩＸ」、「ＮＡＸＩＳ」、「ＮＡＸＩＳｎ」、「ＥＮＤ」であって、「ＳＩＭＰＬＥ」から「ＮＡＸＩＳｎ」までの記述の順序は上述のフォーマットに従い定められている。

「ＳＩＭＰＬＥ」は論理型の変数であって、ファイルがＦＩＴＳ規格に適合するかどうかを示す。「ＢＩＴＰＩＸ」は整数型の変数であって、各データの値を何ビットで表現しているかを示す。「ＮＡＸＩＳ」は整数型の変数であって、データ配列の座標軸の本数を示す。「ＮＡＸＩＳｎ」は整数型の変数であって、「ｎ」は１から「ＮＡＸＩＳ」の値までを示し、それぞれ第ｎ軸に沿ったデータの数を示す。「ＥＮＤ」は値を持たず、第９～８０桁は空白で埋められ、ヘッダレコードの終了を表す。本実施形態において、出力部２５がＦＩＴＳヘッダＢ０において「ＥＮＤ」を検出すると、出力信号をＦＩＴＳヘッダＢ０からデータ配列Ｂ１に切り替える。「／」(スラッシュ)は、パラメータの後の任意の場所に記述され、スラッシュの後ろには少なくとも１つの空白に続いてコメントが記述される。本実施形態においては、スラッシュの後ろにキーワードのコメントが記述されているが、その他の情報が記述されても良い。また、スラッシュの後ろは空白であっても良い。

図１０において、「ＳＩＭＰＬＥ」～「ＢＳＣＡＬＥ」は、前述の通り固定の情報である。「ＢＩＴＰＩＸ」～「ＢＳＣＡＬＥ」は、本実施形態の撮像システムにおいて取得する画像データの仕様を表している。例えば、各画素値は１６ｂｉｔで表されるため、「ＢＩＴＰＩＸ」の値は「１６」となる。また、画像データは２次元の画像データなので「ＮＡＸＳＩＳ」の値は「２」となる。「ＮＡＸＩＳ１」は画像の水平画素数を表し、例えば「２１６０」であり、「ＮＡＳＩＳ２」は画像の垂直画素数を表し、例えば「１２００」である。「ＳＩＭＰＬＥ」、「ＥＸＴＥＮＤ」、「ＣＯＭＭＥＮＴ」は、ＦＩＴＳフォーマットに対する情報である。「ＢＺＥＲＯ」は、画素値を物理値に変換するゼロ点を表し、「ＢＳＣＡＬＥ」は、画像値を物理値に変換するスケールを表す。

「ＥＸＰＴＩＭＥ」～「ＤＡＴＥ」は、フレームの撮影に対応した時刻情報である。「ＥＸＰＴＩＭＥ」は、フレームあたりの露光時間を表し、撮像システムの設定値から取得される。「Ｓ－ＯＰＥＮ」は、フレームの露光開始時刻であり、本実施形態におけるフレームの撮影開始の垂直同期信号ＶＤの立ち上がり時刻から生成された高精度な時刻情報ｔ（ｈ）である。「Ｓ－ＣＬＯＳＥ」は、フレームの露光終了時刻であり、「ＥＸＰＴＩＭＥ」と「Ｓ－ＯＰＥＮ」から算出される。時刻情報ｔ（ｈ）は、絶対時刻情報であるＧＰＳのＰＰＳ信号に基づいて生成される。ＰＰＳ信号の取得が有効である場合、「ＧＰＳ－ＳＴＡＴ」には「ＬＯＣＫＥＤ」が記述され、ＰＰＳ信号の取得が無効である場合、「ＧＰＳ－ＳＴＡＴ」には「ＵＮＬＯＣＫＥＤ」が記述される。このように、「ＧＰＳ－ＳＴＡＴ」を参照することにより、「Ｓ－ＯＰＥＮ」および「Ｓ－ＣＬＯＳＥ」の正誤を判定することが可能となる。

「ＤＡＴＥ」は、撮像システムのシステム時刻から取得されたフレームの撮影開始時刻である。システム時刻は例えば、撮像システム内部に設けられたクロック回路から供給され得る。「ＤＡＴＥ」は、撮像システムのシステム時刻であるため、時刻情報ｔ（ｈ）のように必ずしも高精度の時刻情報ではない。しかしながら、ＧＰＳの時刻情報が取得されなかった場合に、「ＤＡＴＥ」は代替的に用いられ得る。「ＦＲＡＭＥ－ＮＯ」は、フレーム番号を表し、フレーム毎にカウントアップされる。「ＦＲＡＭＥ－ＮＯ」を参照することにより、連続撮影されたフレームの欠落を確認することが可能となる。「ＣＡＭ－ＧＡＩＮ」は撮像素子１０のゲイン設定値を表し、「ＬＥＮＳ－Ｆ」は光学系１０ａにおけるレンズのＦ値を表す。

上述した値のうち、「Ｓ－ＯＰＥＮ」（時刻情報ｔ（ｈ））、「ＥＸＰＴＩＭＥ」、「Ｓ－ＣＬＯＳＥ」のそれぞれの値はヘッダ生成部２４３においてリアルタイムに生成される。また、「ＳＩＭＰＬＥ」、「ＢＩＴＰＩＸ」、「ＮＡＸＩＳ」、「ＮＡＸＩＳ１」、「ＮＡＸＩＳ２」、「ＥＸＴＥＮＤ」、「ＣＯＭＭＥＮＴ」、「ＢＺＥＲＯ」、「ＢＳＣＡＬＥ」、「／」（スラッシュ）以降のコメントなどは固定値としてＦＩＴＳヘッダに含められる。すなわち、これらの固定値は、時刻情報、撮像システムの設定値等、リアルタイムで生成される情報と合わせて、指定されたキーワードレコードの順に合成され、ＦＩＴＳヘッダとして出力される。

各キーワード、固定値、コメントは、撮像システムおよび撮像素子に関する情報であって、フレームの取り込みのタイミングに関係なく取得または生成可能である。このため、垂直同期信号ＶＤの立ち上がりの前に固定値等を予め取得または生成し、ＡＳＣＩＩ文字に変換して撮像システム内に保持することができる。また、撮像システムおよび撮像素子から情報を取得せずに、予め定められた値をＡＳＣＩＩ文字の固定値として保持しておいてもよい。

なお、本実施形態において、固定値は「ＳＩＭＰＬＥ」～「ＢＳＣＡＬＥ」であるが、撮像素子、画像データに応じて他の情報を固定値としても良い。例えば、「ＣＡＭ－ＧＡＩＮ」、「ＬＥＮＳ－Ｆ」などのようにフレーム毎に変化しない値を固定値として予め保持もよい。撮像時に取得される情報を予め定められた固定値としても良い。さらに、撮像システムの名称、撮像素子および撮像システムのシリアル番号、撮像素子および撮像システムの温度情報、ＧＰＳの時刻情報、経度緯度情報、レンズの種類、ズーム位置情報等を固定値としても良い。固定値の情報、各キーワードにおいて上述されていないルールは、ＦＩＴＳの規格に従う。

以上述べたように、本実施形態においては、画像データがフレーム単位で信号処理部２１から出力される前に時刻情報を生成および出力することにより、フレームの欠落を回避し、時刻情報および画像データを安定して出力することが可能となる。ここで、比較例として、画像データが出力部２５から出力されるまで時刻情報を保持し、１フレームの画像データを出力する段階において、時刻情報を画像データに付加する場合を検討する。この場合、メモリに保持された時刻情報の読み出し、画像データのＦＩＴＳデータ形式への変換、時刻情報と他の情報とを合わせたＦＩＴＳヘッダの生成、ＦＩＴＳヘッダの画像データへの付加などの一連の処理を同時に実行する必要がある。高速度連続撮影時においては、連続したすべてのフレームにおける処理が間に合わず、フレームの欠落が発生し、画像の記録精度が損ねられてしまう。特に、宇宙天文分野において地球に近い軌道の観測では６０ｆｐｓ以上が要求され、近年の科学計測用のカメラにおいては１００ｆｐｓ以上が要求されており、フレームの欠落が発生し得る。これに対して、本実施形態によれば、画像データが信号処理部２１から出力される前の信号処理期間において、ＦＩＴＳヘッダを生成および出力しているため、ＦＩＴＳヘッダの生成および出力によって画像データの出力期間は制限されない。すなわち、画像データの信号処理期間を利用してＦＩＴＳヘッダを生成および出力することにより、高速度動画撮影時におけるフレームの欠落を回避し、高精度の時刻情報を有するＦＩＴＳファイルを出力することが可能となる。

天体観測において、流星、スペースデブリ等の移動体を動画撮影する場合、移動体の正確な軌道を算出するためには、移動体の位置情報およびその正確な絶対時刻情報が重要となる。ここで、絶対時刻はたとえばＵＴＣ（世界協定時）で規定される国際原子時などを示す。また、遠方の対象を観察する所謂リモートセンシングの分野では、移動体の撮影、もしくは航空機、人工衛星など移動体からの撮影が行われる。その際においても、地球に対する対象物の位置、正確な時刻情報があれば、対象物についてさらにより多くの情報を得ることができる。本実施形態によれば、例えば、天体観測において、流星、スペースデブリ等の移動体を動画撮影する場合に、フレームと正確な絶対時刻情報とを関連付けて記録することが可能となる。

また、本実施形態において、高精度の時刻情報を確定するタイミングは、垂直同期信号ＶＤ、すなわち１フレーム画像データの取得開始時刻である。画像データよりも前に時刻情報を確定し、出力することで、時刻情報をＦＩＴＳファイルのＦＩＴＳヘッダとして扱うことができる。なお、本発明は必ずしもＦＩＴＳファイルを用いることを要せず、撮影の時刻情報を付加することができれば、ＦＩＴＳファイル以外のフォーマットを用いても良い。例えば、図８において、垂直ＯＢ画素領域（データ部Ａ２）の上側、すなわち先の時刻のデータ部Ａ０の下位ｂｉｔに時刻情報を埋め込み、出力してもよい。また、電子シャッタによる全画素一括露光の場合、水平ＯＢ画素領域（データ部Ａ１）の左側、すなわち先の時刻に時刻情報を出力しても良い。水平ＯＢ画素領域（データ部Ａ１）あるいは垂直ＯＢ画素領域（データ部Ａ２）を時刻情報に置き換えて出力しても良い。さらに、水平ＯＢ画素領域（データ部Ａ１）および垂直ＯＢ画素領域（データ部Ａ２）を除いて、ヘッダ（データ部Ａ０）と有効画素領域（データ部Ａ３）のみを出力しても良い。また、ＦＩＴＳファイルとして出力する場合においても、ヘッダに続いて有効画素領域のみを出力しても良い。

出力部２５は各フレームに時刻情報を付加しているが、本発明はこれに限定されない。例えば、時刻情報を格納するフレームは、偶数フレーム、奇数フレームのように２フレームのうちの１フレーム、あるいは任意の複数フレームのうちの１フレームであっても良く、ランダムに選択されたフレームであっても良い。さらに、被写体であると認識されたフレームにのみ時刻情報を格納しても良い。また、時刻情報と撮像されたフレームとの関連付けが明確である限り、画像データとは別に時刻情報を出力しても良い。このように、時刻情報を格納するフレームは、画像データの出力フォーマット、メモリ容量、撮像素子の駆動の仕様、取得した情報などの条件に応じて適宜変更可能である。

本実施形態では、１０^－７秒単位のカウンタの基準となる時刻情報を、ＧＰＳ衛星から得られるＰＰＳ信号としたが、本発明はこれに限られるものではない。例えば、標準電波を受信しても良く、時刻サーバの情報をネットワークから取得しても良い。また、同期信号ＶＤ、ＨＤは同期信号出力部３０によって生成されているが、撮像素子１０によって生成された同期信号を検出して、カウンタの取り込み時刻（図６の時刻ｔ２）を取得しても良い。さらに、カウンタは、１０ＭＨｚ、すなわち１０^－７秒の周期であるが、カウンタの基準となるＰＰＳ信号、高い時間分解能を有する限り、上述の例に限定されない。また、本実施形態では、時刻情報生成部２２が、撮像素子１０の外部に設けられた例を説明したが、撮像素子１０が時刻情報生成部２２を有していてもよい。

また、本実施形態において、時刻情報の取り込みのタイミングは垂直同期信号ＶＤの立ち上がり時刻（図６の時刻ｔ２）であるが、フレームと関連付けられている限り、様々な時刻を基準とすることができる。例えば、垂直同期信号ＶＤの立ち下がり時刻において時刻情報を取り込んでもよく、垂直同期信号ＶＤに同期した水平走査開始のタイミングにおいて時刻情報を取り込んでも良い。また、時刻ｔ２から出力部２５が画像データを出力する時刻までの時間を計測し、計測された時間を時刻ｔ２に加算した値を時刻情報として出力しても良い。さらに、各フレームの露光開始時刻または終了時刻を用いても良い。上述したように、垂直同期信号ＶＤに同期したタイミングである限り、様々なタイミングにおいて時刻情報を取り込むことが可能である。

（第２実施形態）
続いて、第２実施形態における撮像システムを説明する。第１実施形態において撮像素子１０はローリングシャッタにより動作するが、本実施形態における撮像素子１０は一括電子シャッタにより動作することが可能である。以下、本実施形態について、第１実施形態と異なる構成を中心に説明する。

図１１は本発明の第２実施形態における撮像システムのブロック図である。撮像システムは、光学系１０ａ、撮像素子１０、信号処理部２１、時刻情報生成部２２、カウンタ２３、出力部２５、制御信号出力部３１、時刻情報取得部４０、保存・表示部５０を備える。制御信号出力部３１は光電変換部ＰＤを一括してリセットするための制御信号ＯＦＧを撮像素子１０および時刻情報生成部２２に出力する。制御信号ＯＦＧがハイレベルからローレベルになることで、画素部１００における一括露光が開始する。時刻情報生成部２２は制御信号ＴＸ１がハイレベルからローレベルになった時刻におけるカウンタの値を高精度の時刻情報として出力することができる。

図１２は、本実施形態に係る画素１１０の等価回路を示している。画素１１０は、光電変換部ＰＤ、保持部Ｃ１、浮遊拡散部ＦＤ、第１の転送トランジスタＭ１、第２の転送トランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、オーバーフロートランジスタＭ６を備える。第１の転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を保持部Ｃ１に転送し、保持部Ｃ１は、光電変換部ＰＤから転送された電荷を保持する。全画素１１０において、第１の転送トランジスタＭ１を同時に駆動することにより、光電変換部ＰＤの露光終了のタイミングを一括して制御することが可能となる。すなわち、各行の制御信号ＴＸ１を同時にオンまたはオフに制御することにより、全画素１１０における露光タイミングを同時に制御することができる。オーバーフロートランジスタＭ６はオンとなることにより、光電変換部ＰＤの電荷を電源ノードなどのオーバーフロードレインに排出することができる。本実施形態によれば、保持部Ｃ１が電荷を保持している間、光電変換部ＰＤは新たに生じた電荷を蓄積することができ、全画素１１０における光電変換のタイミングを一致させる一括電子シャッタ機能を実現することができる。

図１３は本実施形態における撮像システムのタイミングチャートである。時刻ｔ１において、時刻情報生成部２２は、ＰＰＳ信号の立ち上がりを検出すると、カウンタをリセットし、１０^－７秒毎にカウンタをカウントアップする。全画素１１０において制御信号ＯＦＧがハイレベルとなることでオーバーフロートランジスタＭ６がオンとなり、光電変換部ＰＤの電荷が排出される。時刻ｔ４において、制御信号ＯＦＧがハイレベルからローレベルとなることで、オーバーフロートランジスタＭ６がオフとなり、全画素１１０において光電変換部ＰＤにおける露光期間が開始する。同時に、時刻情報生成部２２は時刻ｔ４におけるカウンタの値を時刻情報ｔ４（ｈ）として出力部２５に出力する。期間Ｔ１（時刻ｔ４～時刻ｔ５）において、出力部２５は時刻情報ｔ４（ｈ）および位置情報等をＦＩＴＳヘッダとして出力する。

全画素１１０において制御信号ＴＸ１がハイレベルとなり、第１の転送トランジスタＭ１がオンとなることで、光電変換部ＰＤの電荷が保持部Ｃ１に転送される。時刻ｔ５において、全画素１１０において制御信号ＴＸ１がローレベルになり、露光期間が終了する。その後、それぞれの行の画素信号が列読出回路１３０Ａ、１３０Ｂによって順序読み出され、撮像素子１０から出力される。出力部２５は１フレームの画像データの前に時刻情報を含むＦＩＴＳヘッダを付加する。これにより、全画素１１０の露光開始の時刻情報ｔ４（ｈ）を高い時間分解能で記録することができる。

同様にして、次のフレームにおいて、制御信号ＯＦＧがハイレベルとなることでオーバーフロートランジスタＭ６がオンとなり、光電変換部ＰＤの電荷が排出される。時刻ｔ４－２において、制御信号ＯＦＧがハイレベルからローレベルになることで、全画素１１０における露光期間が開始する。時刻情報生成部２２は時刻ｔ４－２におけるカウンタの値を時刻情報ｔ４（ｈ）－２として出力する。期間Ｔ１－２（時刻ｔ４－２～時刻ｔ５－２）において、出力部２５は時刻情報ｔ４（ｈ）－２および位置情報等をＦＩＴＳヘッダとして出力する。このようにして、動画像の各フレームにおいて、露光期間が一致した撮像が行なわれ、露光開始の時刻情報ｔ４（ｈ）、ｔ４（ｈ）－２・・・が画像データの前にＦＩＴＳヘッダとして付加される。

本実施形態において、期間Ｔ１、Ｔ１－２・・・は全画素１１０における露光期間に対応し、それぞれの露光期間においてＦＩＴＳヘッダが出力される。ＦＩＴＳヘッダには、露光開始の時刻情報ｔ４（ｈ）、露光時間、フレーム番号、取り込み行数などの情報が含められる。画像データはＦＩＴＳファイルの形式に変換されるとともに、ＦＩＴＳヘッダに続いて出力される。

画像データが出力される前の信号処理期間を利用して、時刻情報を生成および出力することにより、フレームの欠落などを生じさせることなく、画像データを安定して出力することが可能となる。また、時刻情報および画像データをフレーム毎のＦＩＴＳファイルとして画像システムから出力することで、受信側の装置において時刻情報および画像データを迅速に記録することができる。

本実施形態において、時刻情報生成部２２は、撮像素子１０から出力された制御信号ＯＦＧを用いて時刻情報を取り込んでいるが、露光開始の時刻を検出できれば他の構成を用いても良い。例えば、制御信号ＯＦＧに同期した信号に基づき、露光開始の時刻を検出しても良い。さらに、時刻情報を取り込むタイミングは、制御信号ＯＦＧの立下り時刻に限られず、立上り時刻であっても良い。また、露光時間を制御または検出することができる場合、露光終了の時刻ｔ５、すなわち制御信号ＴＸ１の立下り時刻における時刻情報を出力しても良い。この場合、露光終了の時刻ｔ５から露光時間（ｔ５－ｔ４）を減算することで、露光開始の時刻ｔ４を把握することも可能である。さらに、１フレームの画像データを出力するのに要する時間を制御または検出することができる場合、画像データの出力の終了時刻を出力し、終了時刻から露光開始時刻を算出しても良い。

なお、本実施形態における撮像システムは露光開始時刻を時刻情報として出力しているが、さらに露光終了時刻を時刻情報に含めて出力しても良い。すなわち、時刻情報生成部２２は、制御信号ＴＸ１がハイレベルからローレベルとなるタイミングにおける時刻情報を出力することで、露光終了時刻をヘッダに含めることができる。上述のように、撮像素子１０の駆動に同期した高い分解能の時刻情報を各フレームと関連付けることができる限り、様々な信号およびタイミングにおける時刻情報を用いることが可能である。

（第３実施形態）
図１４は本実施形態における撮像システムのブロック図である。第１実施形態における撮像システムは、同期信号出力部３０から出力された垂直同期信号ＶＤを用いて時刻情報を取り込んでいた。一方、本実施形態における撮像システムは、撮像素子１０の垂直同期信号ＶＤを検出することで、時刻情報を取り込むことが可能である。以下、本実施形態について、第１実施形態と異なる点を中心に説明する。

図１４において、撮像システムは、光学系１０ａ、撮像素子１０、信号処理部２１、時刻情報生成部２２、カウンタ２３、出力部２５、同期信号検出部３２、時刻情報取得部４０、保存・表示部５０を備える。同期信号検出部３２は、撮像素子１０において生成された垂直同期信号ＶＤを検出し、出力する機能を有する。同期信号検出部３２から出力された垂直同期信号ＶＤは時刻情報生成部２２に入力される。時刻情報生成部２２は、垂直同期信号ＶＤがローレベルからハイレベルになった時刻におけるカウンタの値を高精度の時刻情報として出力する。他の構成および動作については、第１実施形態と同様であるため、その説明を省略する。

本実施形態によれば、撮像素子１０が垂直同期信号ＶＤを生成する場合においても、撮像素子１０の外部において垂直同期信号ＶＤを検出することで、フレームに関連付けられた高精度の時刻情報を出力することが可能となる。なお、同期信号検出部３２によって、垂直同期信号ＶＤに加えて水平同期信号ＨＤを検出しても良い。

（第４実施形態）
図１５は本実施形態における撮像システムのブロック図である。第２実施形態においては、制御信号出力部３１が光電変換部ＰＤのリセットのための制御信号ＯＦＧを出力している。本実施形態における撮像システムは撮像素子１０において生成された制御信号ＯＦＧを検出する制御信号検出部３３を備える。以下、本実施形態について、第２実施形態と異なる点を中心に説明する。

図１５において、撮像システムは、光学系１０ａ、撮像素子１０、信号処理部２１、時刻情報生成部２２、カウンタ２３、出力部２５、制御信号検出部３３、時刻情報取得部４０、保存・表示部５０を備える。制御信号検出部３３は、撮像素子１０において生成された制御信号ＯＦＧを検出し、出力する機能を有する。制御信号検出部３３から出力された制御信号ＯＦＧは時刻情報生成部２２に入力される。時刻情報生成部２２は、制御信号ＯＦＧがハイレベルからローレベルになった時刻におけるカウンタの値を高精度の時刻情報として出力する。他の構成および動作については、第２実施形態と同様であるため、その説明を省略する。

撮像素子１０が制御信号ＯＦＧ、ＴＸ１などを生成する場合においても、撮像素子１０の外部において制御信号ＯＦＧ、ＴＸ１を検出することで、露光の開始または終了の高精度の時刻情報を出力することが可能となる。

（他の実施形態）
上述の実施形態は本発明の例示に過ぎず、本発明の趣旨を逸脱しない範囲で変更実施が可能である。例えば、撮像素子はＣＭＯＳイメージセンサに限定されず、ＣＣＤイメージセンサであって良い。また、ＧＰＳ衛星の電波によって定期的に校正される内部クロックを撮像システムの内部に設け、ＧＰＳ衛星からの電波を受信するのが困難な場合に、内部クロックに基づき絶対時刻情報を生成しても良い。

さらに、本発明に係る撮像装置は汎用のコンピュータによって構成されても良い。撮像装置の制御方法を実行するためのプログラムは、予め撮像装置に記録しておいても良く、記録媒体、ネットワークを介して撮像装置に供給することも可能である。

１０ 撮像素子
２１ 信号処理部
２２ 時刻情報生成部
２３ カウンタ
２４ 時刻情報取得部
２５ 出力部
３０ 同期信号出力部
３１ 制御信号出力部
３２ 同期信号検出部
３３ 制御信号検出部

Claims (15)

1. 複数の画素を備える画素部と、
   前記画素部から読み出された画素信号に対する信号処理を行うことにより画像データを生成し、前記画像データをフレーム単位で出力する信号処理部と、
   フレーム単位で時刻情報を生成する情報生成部と、
   一のフレームの前記画像データの前記信号処理部からの出力が開始される前に前記一のフレームに関連付けられた前記時刻情報を出力し、前記時刻情報の出力が終了した後に前記一のフレームの前記画像データの出力を開始する出力部と、
   を備えることを特徴とする撮像装置。
2. 前記出力部は、前記信号処理部が前記信号処理を行う期間の少なくとも一部の期間において、前記時刻情報を出力することを特徴とする請求項１に記載の撮像装置。
3. 前記画素部は、遮光されたオプティカル・ブラック画素を備え、
   前記出力部は、前記オプティカル・ブラック画素に対応する期間において前記時刻情報を出力することを特徴とする請求項１または２に記載の撮像装置。
4. 前記信号処理は、前記画素信号におけるアナログ・デジタル変換処理および前記オプティカル・ブラック画素を用いた処理を含むことを特徴とする請求項３に記載の撮像装置。
5. 前記時刻情報は、前記画素部における垂直走査の開始時刻に対応することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
6. 前記出力部は、前記画素部における前記垂直走査の開始時刻から、前記信号処理部が前記画像データを出力するまでのいずれかの時刻に、前記時刻情報を出力することを特徴とする請求項５に記載の撮像装置。
7. 前記情報生成部は、前記垂直走査に同期した信号を検出し、前記時刻情報を生成することを特徴とする請求項５または６に記載の撮像装置。
8. 前記時刻情報は、前記画素部における一括露光の開始時刻に対応することをと特徴とする請求項１～４のいずれか１項に記載の撮像装置。
9. 前記出力部は、前記一括露光の開始時刻から、前記信号処理部が前記画像データを出力するまでのいずれかの時刻に、前記時刻情報を出力することを特徴とする請求項８に記載の撮像装置。
10. 前記情報生成部は、前記一括露光に同期した信号を検出し、前記時刻情報を生成することを特徴とする請求項８または９に記載の撮像装置。
11. 前記情報生成部は、位置情報、撮像条件を表す情報、前記複数の画素における露光時間の情報、前記画像データのフレーム番号の情報の少なくとも１つを撮像情報としてさらに生成することを特徴とする請求項１～１０のいずれか１項に記載の撮像装置。
12. 前記情報生成部は、前記時刻情報および前記撮像情報を、ＦＩＴＳ（Ｆｌｅｘｉｂｌｅ Ｉｍａｇｅ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）フォーマットに変換すること特徴とする請求項１１に記載の撮像装置。
13. 請求項１～１２のいずれか１項の撮像装置と、
    ＧＰＳ衛星の受信電波から基準時刻を取得する時刻情報取得部とをさらに備え、
    前記情報生成部は、前記基準時刻を用いて、前記基準時刻よりも分解能の高い前記時刻情報を生成することを特徴とする撮像システム。
14. 前記情報生成部は、前記時刻情報を計時するカウンタを備え、前記撮像装置の外部から供給された前記基準時刻を用いて前記カウンタをリセットすることにより、前記基準時刻よりも分解能の高い前記時刻情報を生成することを特徴とする請求項１３に記載の撮像システム。
15. 複数の画素を備える画素部と、前記画素部から読み出された画素信号に対する信号処理を行うことにより画像データを生成し、前記画像データをフレーム単位で出力する信号処理部とを備える撮像装置の制御方法であって、
    フレーム単位で時刻情報を生成し、
    一のフレームの前記画像データの前記信号処理部からの出力が開始される前に前記一のフレームに関連付けられた前記時刻情報を出力し、
    前記時刻情報の出力が終了した後に前記一のフレームの前記画像データの出力を開始することを特徴とする撮像装置の制御方法。

Images