JP7175697B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置におけるデバイス間のデータ送受信技術に関する。

近年、デジタルカメラの高速連写撮影や、４Ｋ、８Ｋのような高スループットの動画規格に対応する必要性から、撮像素子と画像処理装置間での高速なデータ伝送システムの必要性が増している。

従来、デバイス間のデータ伝送では、ＬＶＤＳ（Low Voltage Differential Signaling）に基づいてクロックとデータを別の配線で接続し、必要なデータ転送速度を得るために周波数を上げる、複数レーンを用いるなどの手法が用いられてきた。

また、クロックとデータを別配線で通信する方式で、高速なデータ転送の周波数を用いる場合、クロックとデータ間のスキューマージンの確保が難しくなってきており、クロックとデータを重畳させて同一配線で通信する方式が採用されるようになってきている。

さらに、撮像装置における静止画の撮影可能枚数および動画の撮影可能時間を増加させるためには、伝送部の消費電力の低減も必要であるため、頻繁に動作のオンオフを切り替える必要がある。

例えば、特許文献１には、撮像装置において、クロックデータリカバリ回路を用いたデータ伝送技術が開示されている。

特開２００９－２０１５４０号公報

しかしながら、特許文献１のようにクロックデータリカバリ回路を用いたデータ伝送では、受信データからクロックとデータを再生する場合における送信回路と受信回路の同期状態を維持するための消費電力が大きくなる。

特にデジタルカメラのようなバッテリで駆動する撮像装置では、撮影時間や撮影可能枚数を増加させるために、データ伝送部のオンオフ制御によって消費電力を抑える必要がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子と信号処理回路間の画像データの伝送における消費電力を軽減することができる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素が配置された画素部と、該画素部から得られた画像データとクロックとを重畳した重畳信号を送信する送信手段とを有する撮像素子と、前記重畳信号を前記撮像素子の送信手段から受信する受信手段を有し、前記画像データとクロックとを再生する画像処理手段と、前記撮像素子と前記画像処理手段とを制御する制御手段と、を備え、前記制御手段は、前記送信手段が前記画像データの送信を開始する前に、前記送信手段から、前記送信手段と前記受信手段の周波数同期をとるためのトレーニング信号を送信させるように制御し、前記受信手段は、周波数同期された状態の設定値を記憶するレジスタを有し、前記送信手段と同期をとるための第１の周波数同期制御と第２の周波数同期制御とを切り替えることが可能であり、前記第１の周波数同期制御及び前記第２の周波数同期制御は、前記受信手段が前記画像データを再生するために用いるクロックを前記トレーニング信号と比較した結果をフィードバックすることによって、前記送信手段と前記受信手段の周波数同期をとるものであって、前記第１の周波数同期制御は、前記第２の周波数同期制御よりも、前記フィードバックを行うためのゲイン量が大きく、前記制御手段は、前記第１の周波数同期制御または前記第２の周波数同期制御を行った後に、周波数同期制御を行う場合には、前記レジスタに記憶された設定値に基づいて、前記第２の周波数同期制御を行うことを特徴とする。

本発明によれば、撮像素子と信号処理回路間の画像データの伝送における消費電力を軽減することができる撮像装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 撮像素子と信号処理部の構成を示すブロック図。 ＣＤＲ回路の構成を示すブロック図。 周波数同期の様子を示す模式図。 静止画撮影時の送受信部の動作状態を示す模式図。 動画撮影時の送受信部の動作状態を示す模式図。 伝送レーン数の異なる２つのモードを切り替える場合の送受信部の動作状態を示す模式図。 第２の実施形態における伝送レーン数の異なる２つのモードを切り替える場合の送受信部の動作状態を示す模式図。 第３の実施形態における動画撮影時に水平同期信号の立下りエッジのカウントで発行した割込信号で周波数同期制御を行うことを示す模式図。 第４の実施形態におけるＣＤＲ回路の構成を示すブロック図。 静止画撮影時の送受信部の動作状態を示す模式図。 動画撮影時の送受信部の動作状態を示す模式図。 動画撮影の際にフレームレートが変更された場合の送受信部の動作状態を示す模式図。 読み出し方式の異なる２つのモードを切り替える場合の送受信部の動作状態を示す模式図。 受信部を待機状態から位相同期状態へ移行させる制御を示す模式図。 第５の実施形態における撮像素子と信号処理部の構成を示すブロック図。 表示用フレームと記録用フレームの撮影を周期的に繰り返す場合の送受信部の動作状態を示す模式図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、撮像装置１００は、撮像素子１１１、メカニカルシャッター１１３、カメラ制御部１１４、信号処理部１１５、および操作部１１７、集光レンズ１２１、絞り１２２、フォーカスレンズ１２３、レンズ制御部１２４を有する。

ユーザーは、操作部１１７の不図示のＡＦ開始ボタン、撮影開始ボタン、を操作することにより、カメラ制御部１１４およびレンズ制御部１２４の制御内容を指定し、ＡＦ動作、撮影動作などを行うことができる。また、操作部１１７にはメニューボタンおよびコントロールボタンも配置されており、メニュー画面を表示部に表示させて、静止画撮影や動画撮影などのカメラの動作内容を設定することができる。

また、図２に示すように、撮像素子１１１と信号処理部１１５間では、クロックとデータが重畳された信号でデータ伝送を行うエンベデッドクロック方式を用いてデータの送受信が行われる。送信部２２０は撮像素子１１１内部のＰＬＬで作られた基準クロックを用いて、データをシリアルデータに変換して、信号処理部１１５の受信部２３０に送信する（送信動作）。エンベデッドクロック方式では、受信部２３０は基準クロックを持たず、送信部２２０から送られた信号から、クロックを再生し、再生したクロックでデータをパラレルデータに変換して、信号処理部１１５の後段のブロックに出力する。

受信部２３０がクロックとデータを再生するために、送信部２２０は基準となる特定のパターンでＨｉｇｈ、Ｌｏｗを繰り返すトレーニング用のデータ（トレーニング信号）を送信し、その出力によって受信部２３０が送信部２２０の周波数と同期する。

信号処理部１１５は、受信部２３０に入力された撮像素子１１１のデータに補正処理と現像処理を施し、画像データを作成する。信号処理部１１５は、ＣＰＵおよび後述する画像処理ブロックや記憶領域としてのＲＡＭなどを構成部品として備える。

以下、図２に示すブロック図を参照して、第１の実施形態における撮像素子１１１と信号処理部１１５間のデータの流れについて説明する。

撮像素子１１１は、画素部２０１、タイミング制御部２１１、垂直読出制御部２０９、水平転送回路２０５、デジタル処理部２０７、シリアルＩ／Ｆ２１３、送信部２２０を備える。撮像素子１１１は、撮像装置１００の撮影レンズにより撮像素子１１１上に結像された像信号を、フォトダイオードから成る画素部２０１で受光し、画素ごとの信号に変換する。列回路２０３において画素ごとの電圧を順次デジタル変換したデータが、水平転送回路２０５によりデジタル処理部２０７に送られ、デジタル処理部２０７でクランプといったデジタル処理が行われ、送信部２２０により撮像素子１１１の外部に出力される。送信部２２０は、画像データとクロック信号を重畳した重畳信号を送信する。

信号処理部１１５は、複数のレシーバ回路２３１から成る受信部２３０を有する。各レシーバ回路２３１は、ＣＤＲ回路２３５、記憶レジスタ２３７を有し、各レシーバ回路２３１に入力された信号から、クロックとデータを再生する。

図３は、ＣＤＲ回路２３５の構成を示すブロック図である。図３において、ＣＤＲ回路２３５は、位相比較器３０１、ループフィルタ３０３、ＶＣＯ（電圧制御発振器）３０５、データ再生器３０７を備える。

位相比較器３０１は、入力された信号のデータエッジと、ＶＣＯの出力クロックの位相を比較し、位相差に応じた電圧値を出力する。ループフィルタ３０３は、ＶＣＯ３０５の応答速度と入力電圧振幅レンジに合わせて位相比較器の出力信号を平滑化し、電圧を増幅する。 ＶＣＯ３０５は、入力されるループフィルタ３０３の電圧振幅に応じた周波数のクロックを出力する。ＶＣＯ３０５の出力クロックを位相比較器に帰還させることにより、入力信号との同期を取る。

ＣＤＲ回路２３５は、初期状態ではどのような周波数と位相のデータが入力されるか不明であり、正しく同期を取ることができないため、起動時に送信部２２０からトレーニング信号を受け、周波数と位相の同期を取る必要がある（トレーニング期間）。記憶レジスタ２３７は、ＣＤＲ回路２３５のＶＣＯ３０５の出力電圧に応じた設定値を記憶する機能を持つ。また、ＶＣＯ３０５の起動時の出力電圧は、記憶レジスタ２３７の値を参照して決定される。記憶レジスタ２３７に設定値を書き込むことによりＶＣＯ３０５の起動開始時の出力電圧を決めることができる。

位相比較器３０１は、出力する電圧を調整するためのゲインを掛けることができる。図４は、位相比較器のゲイン量をＡ倍、Ｂ倍（Ａ＞Ｂ）としたときの、初期の周波数Ｆｓから同期完了後の周波数Ｆｆに至る経時的な変化を簡易的に表した図である。

ゲイン量が大きいほど位相差に応じたフィードバック量が大きく、短時間でＦｆに近づくことができるが、ゲイン量をＡ倍とした場合、図４（ａ）に示すようにオーバーシュートも大きくなる。また、ゲイン量をＢ倍とした場合、図４（ｂ）に示すように時間はかかるが、オーバーシュートを抑えて同期した後も、その状態が安定する。

Ｆｆは、撮像素子１１１と信号処理部１１５のデータのスループットをもとに設計でおおよそ決まっているが、ＦｓはＶＣＯの出力周波数の状態で決まるため、撮像装置の起動時に定めることは難しく、起動の度に変動する。撮像装置の起動時は、初期はゲイン量をＡ倍とし、途中からゲイン量をＢ倍とすることにより、広い範囲のＦｓの周波数同期が可能となるようにする。この起動時に行う周波数調整量の大きい周波数同期制御を第１の周波数同期制御と呼ぶ。

トレーニング信号とは、ＨＩＧＨレベルとＬＯＷレベルが特定のパターンで出力される信号である。トレーニング信号で、同期のとれた状態でＶＣＯ３０５が出力したクロックを、再生クロックと呼ぶこととし、再生クロックを受信信号が入力されたデータ再生器３０７に供給することにより、受信信号からデータを取り出すことができる。

前述のように、トレーニング信号で同期が取れた後は、送信部２２０から有効なデータ送信を開始し、データを取り出す。ＣＤＲ回路２３５で、クロックとデータが重畳されたシリアルデータ（重畳信号）から再生したデータを再生データと呼ぶこととする。

また、受信部２３０が有効なデータを受信している期間は、入力信号のデータエッジと、前述の再生クロックの位相を検出し、ＣＤＲ回路２３５内部のＶＣＯ３０５の出力周波数を変化させる。これにより、データ伝送中の温度変化などで周波数や位相がずれても、その変動に追従して、同期状態を保つことができる。

前述のトレーニング信号とは異なり、画像データのようなシリアルデータでは、ＨＩＧＨやＬＯＷの信号が連続する場合があり、パルスエッジが検出できないため、その状態が長く継続すると、同期が外れてしまうことがある。

通常、そういった問題を回避するために送信部２２０からクロックとデータを重畳したデータを送信する前に、たとえば「８ｂ／１０ｂ変換」といった処理を施す。８ｂ／１０ｂ変換は、８ビットのデータを１０ビットのデータに変換して、ＨＩＧＨやＬＯＷの信号を４クロック以下とするデータ変換である。有効データの転送効率が低下する代わりに、受信部でパルスエッジを検出することができ、周波数変動に対してロバスト性が向上する。なお、８ｂ／１０ｂ変換されたデータは受信部２３１でデコードする必要がある。これらの処理を撮像素子１１１の送信部２２０と信号処理部１１５の受信部２３０内の不図示のブロックで行う。

類似の技術として、ＰＣＩ ＥＸＰＲＥＳＳ ３．０／４．０では、「１２８ｂ／１３０ｂ変換」があり、これも１２８ビットの有効データに対して、２ビットのプリアンブル信号を持たせることで、ＨＩＧＨやＬＯＷの信号が長期間継続しないようにしている。本実施形態においても、「８ｂ／１０ｂ変換」に限らず、上述と同様な効果をもつ変換処理を用いてもよい。

前述のとおり、一度、送受信部で同期を取ることができれば、データ送信が継続する限り、位相同期をすることができる。しかし、撮像装置では、撮像素子の読み出し中以外で送受信部を休止することにより、消費電力を低減する場合がある。このように動画の毎フレームで休止期間を設ける場合、同期は崩れる。しかし、事前のＶＣＯの状態が前回の周波数同期状態に近いため、ゲイン量をＢ倍として周波数同期制御を開始し、同期状態を復帰する。この撮像素子の休止期間からの復帰時にゲイン量をＢ倍で行う周波数調整量の小さい周波数同期制御を、第２の周波数同期制御と呼ぶ。この第２の周波数同期制御では、事前のＶＣＯの状態が前回の周波数同期状態に近いため、ゲイン量をＢ倍としても、第１の周波数同期制御よりも短時間で同期をとることができる。そのため、送信部２２０からのトレーニング信号の出力期間もそれに応じて短縮することができる。

以降では、撮像装置の種々のモードにおいて、送受信部の周波数同期制御を適切に行う制御について説明する。

図５は、撮像装置の静止画撮影における撮像素子と送受信部の駆動を表す模式図である。ユーザーが撮像装置の撮影開始ボタンを操作し静止画撮影を開始する。図５では、撮影開始ボタン操作後、撮影準備（シャッタの通電、チャージや、撮像素子を含む起動シーケンスなど）が完了した状態からの時間の経過を示している。

カメラ制御部１１４は、撮像素子１１１に対して、制御信号を供給して指示するとともに、シリアルＩ／Ｆ２１３を介してレジスタ設定を行う。これにより、撮像素子１１１の状態を適宜変更し、撮影に必要な蓄積、読み出しを制御するとともに、送信部２２０の動作制御を行う。撮像素子１１１は、外部からのデジタル値をシリアルＩ／Ｆ２１３で受け付け、不図示のレジスタに記憶させることにより、レジスタの内容を動作に反映することができる。

撮像装置１００では、撮像素子１１１とカメラ制御部１１４の間で垂直同期信号ＶＤにより、撮像制御のタイミングの同期がとられている。垂直同期信号ＶＤは、撮像素子１１１とカメラ制御部１１４で、次の動作の開始や１フレームの画素の読み出し開始の同期をとるための同期信号である。

また、レジスタ２３７は、デジタル値が書き込まれた直後に反映される「即時反映レジスタ」と、撮像素子１１１の状態遷移の同期信号である垂直同期信号ＶＤの立下りエッジに同期して反映される「ＶＤ同期レジスタ」を有する。状態遷移の際に変更する必要のある値が「ＶＤ同期レジスタ」に格納されるように割り当てておくことにより、状態遷移の変更内容を、設定の順序などによらず同期信号ＶＤに同期して、一括してレジスタに反映させることができる。また、本実施形態では、送受信部の制御には、撮像装置の起動や停止の状態を即座に反映させるため、「即時反映レジスタ」を用いる。

次に、本実施形態の撮像装置の起動時における周波数同期制御について、静止画撮影の場合を例に挙げて説明する。

静止画撮影を行うために、撮像素子は「蓄積」、「読み出し」、「停止」の動作を行う。「蓄積」の動作は、撮像素子１１１の画素部２０１の全画素のフォトダイオードで一括して電荷を排出し、その後に電荷蓄積を行う動作である。「読み出し」の動作は、この動作に移行する以前にフォトダイオードに蓄積されていた電荷を１行ごとに列回路２０３に転送し、ＡＤ変換を行った後に、水平転送回路２０５からデジタル処理部２０７に送る動作である。デジタル処理部２０７では、クランプ処理やゲイン処理を行う。「停止」の動作は、通信期間以外において撮像素子１１１のクロック供給を停止させて動作を停止させる動作である。静止画撮影では、撮像素子の「蓄積」、「読み出し」、「停止」の動作を順に実行させることにより、「蓄積」動作で蓄積させた電荷から画像データを得る。

図５に示した垂直同期信号ＶＤは、撮像素子１１１に対して状態遷移を行わせるための制御信号である。本実施形態では、垂直同期信号ＶＤのパルスの立下りが検知され、その時点でＶＤ同期レジスタに設定されている設定が回路に反映されて、状態遷移が行われる。撮影準備が完了した状態では送受信部はともに停止状態（停止中）であり、消費電力が小さい。

図５に示す通り、撮像素子１１１を起動させた際に、前述した第１の周波数同期制御を行い、撮像素子１１１の起動ごとに変動する送受信部の周波数の同期を取る。そして、第１の周波数同期制御の完了後に、一旦撮像素子１１１の送信部２２０と、信号処理部１１５の受信部２３０を休止させる。

起動後に撮影のシーケンスを行うために、最初の垂直同期信号ＶＤ１の前に、「蓄積」状態に移行するレジスタ設定を撮像素子にしておく。これにより、垂直同期信号ＶＤ１に同期して所定期間のすべての画素に対する一括リセット動作が行われ、リセットの解除とともに蓄積が開始される。その後、カメラ制御部１１４は、シャッタ１３１に対して、蓄積時間に応じたシャッタの開閉制御を行う。

シャッタが閉じた後の２番目の垂直同期信号ＶＤ２により、撮像素子１１１を「読み出し」状態にして、画素の信号を順次送信部２２０から出力させる。このとき、各レーンの記憶レジスタ２３７には、前回の第１の周波数同期制御を行った時の電圧値が記憶されており、各受信部２３０は前回の周波数同期時に近い状態で動作を再開する。カメラ制御部１１４は、読み出しを開始させる垂直同期信号ＶＤ２よりも前（所定時間前）に、第２の周波数同期制御を行う。

このように、受信部２３０が前回の周波数同期時に近い状態で動作を再開できる場合、第１の周波数同期制御よりも第２の周波数同期制御を行った方が同期できるまでの時間を短くできる。そのため、読み出し前において第２の周波数同期を行うことにより、周波数同期にかかる時間を短縮することができ、その分だけ送受信部の停止期間を長くし、消費電力を軽減することができる。

垂直同期信号ＶＤ２により、撮像素子を「読み出し」状態にし、順次画素毎のデジタルデータを読み出すとともに、送信部２２０からデータを送信させる。画素数分のデータ受信完了とともに受信部２３０の動作を停止させ、その後で送信部２２０の動作を停止させる。３番目の垂直同期信号ＶＤ３は、上記の一連のデータ送受信に関わる制御が完了した後に撮像素子１１１を「停止」状態にするためのトリガとなる。

次に、送受信部２２０の休止状態からの復帰の際の周波数同期制御について、動画撮影またはライブビュー駆動を例に挙げて説明する。

撮像素子１１から読み出した画像データをリアルタイムに表示部１１８に表示するライブビュー駆動を行うために、撮像素子１１１は「スリットローリング（ＳＲ）」動作と、「停止」動作を行う。「ＳＲ」動作では、「ＳＲ読み出し」動作と「ＳＲリセット」動作の両方、もしくはそのどちらかを行う。

「ＳＲ読み出し」動作では、垂直同期信号ＶＤに同期して、行ごとに順次画素の読み出しを行う。「ＳＲリセット」動作では、垂直同期信号ＶＤを基準としたカウント信号（カウント値）が予め設定された値となったときに、行毎に画素の電荷を排出し、その後、電荷蓄積を行う。「ＳＲ」動作では、「ＳＲリセット」動作から「ＳＲ読み出し」動作までの間隔で撮像素子１１１の露光時間を制御する。また、「ＳＲリセット」動作だけ、もしくは「ＳＲ読み出し」動作だけを行う場合は、シリアルＩ／Ｆ２１３から、タイミング制御部２１１のレジスタ設定を行うことにより適宜切り替えることが可能である。

図６は、動画撮影における撮像素子と送受信部の駆動を表す模式図である。動画撮影の場合、一定間隔で撮影するためにＶＤはフレーム同期信号として用いられる。

動画撮影の際の撮像素子の起動は、ユーザーの操作で撮像装置の電源が入れられたときに行われ、前述の静止画と同じように第１の周波数同期制御により、送受信部の準備を行う。動画撮影またはライブビュー駆動では、撮像素子を「ＳＲ」動作させて、１フレーム内で画素からの信号読み出し動作（ＳＲ読み出し動作）と、次フレームのためのリセット動作（ＳＲリセット動作）を制御する。また本実施形態では、読み出し画素数やフレームレートの異なる複数の動画撮影モードをもち、それぞれのモードで信号読み出しに必要な時間は異なる。

図６では、そのうちの一つのモードでの一連の制御について詳細に説明する。図６の最初の垂直同期信号ＶＤ１に同期して、撮像素子１１１の画素部２０１は１回目のＳＲ読み出し動作「ＳＲ読み出し１」を行い、そのときの画素毎のデジタルデータを送受信部２２０が受信部２３０に送信する。フレームごとの画素数分のデータ受信完了とともに非読み出し期間に受信部２３０の動作を停止させ、その後で送信部２２０の動作を停止させる。

本実施形態では、垂直読出制御部２０９と送受信部２２０でクロック系統が分離されているため、送受信部２２０が停止期間中でも、次のフレームのためのＳＲリセット動作である「ＳＲリセット２」を実行することができる。

次のフレームの先頭からデータ送受信を行うために、次の垂直同期信号ＶＤ２よりも前に撮像素子１１１の送信部２２０にトレーニング信号出力を行わせるように即時反映レジスタに設定する。即時反映レジスタの反映と同時に、送信部２２０は、トレーニング信号の出力を開始する。その後、カメラ制御部１１４は、受信部２３０の起動および第２の周波数同期制御を開始する。このとき、記憶レジスタ２３７には、第１の周波数同期制御を行った時の電圧値が記憶されており、各受信部２３０は前回の周波数同期時に近い状態で動作を再開する。

送信部２２０のトレーニング信号の出力開始は受信部２３０の第２の周波数同期制御の開始以前とする。受信部２３０が前回の周波数同期時に近い状態で動作を再開できる場合、第１の周波数同期制御よりも第２の周波数同期制御を行った方が同期できるまでの時間を短くできる。そのため、第２の周波数同期制御を行うことにより、フレームレートが高く、撮像素子１１１のデータ送信の間隔が短い場合にも送受信部を停止させ、消費電力を軽減させることができる。

上記の説明では、本実施形態の効果を示すための撮像装置の撮影モードの一例を示しており、たとえば、画像データが大きく撮像素子のデータ送信の間隔が極端に短い撮影モードでは送受信部の停止・復帰を行わないなど、モード毎に制御を切り替えてもよい。

また、撮像装置は、撮像素子から間引き読み出しをするライブビュー駆動から、全画素読み出しをして静止画相当の画像を取得する制御を行う。ライブビューと静止画では要求されるデータスルーレートが異なるため、撮像素子１１１と信号処理部１１５をつなぐ伝送レーンの数をモードの変更とともに変更する。

図７は、撮像素子の画素の読み出し方式が途中で変更され、伝送レーン数が変更された場合の送受信部の動作状態を示す模式図である。静止画とライブビューの両方で共通に使用する伝送レーンの送信部、受信部をそれぞれＴＸ（Ｇｒ１）、ＲＸ（Ｇｒ１）とし、静止画のみで使用する伝送レーンの送信部、受信部をそれぞれＴＸ（Ｇｒ２）、ＲＸ（Ｇｒ２）として示している。

図７のように、撮影モードに応じて、伝送レーン数を変える制御により送受信部の消費電力を抑える。また、静止画のみで使用する伝送レーンの送受信部は、ライブビュー中は停止状態であり、停止状態が継続するほど、前回の周波数同期状態からの変化が大きくなるため、第１の周波数同期制御を行う。以下、詳細に説明する。

２番目の垂直同期信号ＶＤ２以前ではライブビュー駆動のための「ＳＲ読み出し」動作を行っている。図６と同じように、ライブビューの「ＳＲ読み出し」状態では、Ｇｒ１の送受信部に対して、フレーム毎に第２の周波数同期制御を実施する。

垂直同期信号ＶＤ２～ＶＤ３の期間は全画素のリセット走査のみを行う「ＳＲリセット」動作を行う。この区間では、「一括リセット蓄積」動作と同じく、画素部の読み出しを行わないため、これ以前の撮像素子の状態によらず、送受信部を停止する。

次の垂直同期信号ＶＤ３から「ＳＲ読み出し」動作を行い画像データを読み出す。そのために、カメラ制御部１１４が受信部２３０の位相同期完了に必要な時間を算出し、タイマーによってその時間だけ読み出し開始のＶＤ３よりも前にトレーニング信号の出力が開始されるように即時反映レジスタに設定する。

次フレームの先頭からデータ送受信を行うために、次のＶＤ３よりも前に伝送レーンごとに下記のように制御する。

ライブビュー時に使用していなかった伝送レーンの同期を取るために、カメラ制御部１１４は、撮像素子１１１の送信部２２０であるＴＸ（Ｇｒ２）からトレーニング信号出力を行うように即時反映レジスタに設定する。即時反映レジスタの反映と同時に送信部２２０であるＴＸ（Ｇｒ２）は、トレーニング信号の出力を開始する。その後、カメラ制御部１１４は、受信部２３０であるＲＸ（Ｇｒ２）の起動および第１の周波数同期制御を開始させる。

一方、ライブビュー時に使用していた伝送レーンの同期を取るために、カメラ制御部１１４は、撮像素子１１１の送信部２２０であるＴＸ（Ｇｒ１）からトレーニング信号出力を行うように即時反映レジスタに設定する。即時反映レジスタの反映と同時に送信部２２０であるＴＸ（Ｇｒ１）は、トレーニング信号の出力を開始する。その後、カメラ制御部１１４は、受信部２３０であるＲＸ（Ｇｒ１）の起動および第２の周波数同期制御を開始させる。

送信部２２０であるＴＸ（Ｇｒ１）、ＴＸ（Ｇｒ２）のトレーニング信号の出力開始は、それぞれの対応する受信部２３０であるＲＸ（Ｇｒ１）、ＲＸ（Ｇｒ２）の周波数同期制御の開始以前とする。また、送信部２２０であるＴＸ（Ｇｒ２）とＲＸ（ＧＲ２）の周波数同期制御のタイミングは、カメラ制御部１１４および信号処理部１１５の処理負荷の混雑時を避け、次の垂直同期信号ＶＤに間に合うように制御すればよく、できるだけ長く送受信部を停止させる。

なお、上記のように伝送レーンごとにトレーニング信号の出力を開始しないことも可能である。送信部２２０であるＴＸ（Ｇｒ２）のトレーニング信号の出力開始とともに送信部２２０であるＴＸ（Ｇｒ１）についてもトレーニング信号の出力を開始するようにしてもよい。

垂直同期信号ＶＤ３～ＶＤ４の期間は、撮像素子１１１が「ＳＲ読み出し」動作を行い、順次画素毎のデジタルデータを読み出すとともに、送信部２２０からデータを送信する。受信部２３０がデータ受信を完了したら、送受信部を停止する。

垂直同期信号ＶＤ４～ＶＤ５の期間は、画素を間引き読み出しする場合の「ＳＲリセット」動作を行う。画素部２０１の読み出しを行わないため、これ以前の撮像素子１１１の状態によらず、送受信部を停止することができ、消費電力を軽減することができる。

次の垂直同期信号ＶＤ５では「ＳＲ読み出し」動作を行い、画像データを読み出すために、ＶＤ５よりも前からトレーニング信号を出力開始させるように、即時反映レジスタに設定する。垂直同期信号ＶＤ５以降は、垂直同期信号ＶＤ２以前の「ＳＲ読み出し」動作と同じようにＧｒ１の送受信部に対して、フレーム毎に第２の周波数同期制御を実施する。

このような一連の制御により、モードに応じて伝送レーン数を増減する場合、特に伝送レーン数を少なくした場合に、撮像素子１１１と信号処理部１１５の送受信部の消費電力を軽減することが可能となる。

以上説明したように、本実施形態によれば、撮像装置のモードに応じて、撮像素子１１１と信号処理部１１５のデータ伝送の消費電力を効果的に軽減することが可能となる。

＜第２の実施形態＞
この第２の実施形態では、撮像装置１００、撮像素子１１１、信号処理部１１５、ＣＤＲ回路２３５の構成は、図１、図２、及び図３に示す第１の実施形態と同様であるため、その説明は省略する。第２の実施形態では、各伝送レーンのＣＤＲ回路２３５の記憶レジスタ２３７の設定値から、ＶＣＯ（電圧制御発振器）３０５の電圧を定めることができる。起動前に記憶レジスタ２３７に設定することにより、設定値に対応したＶＣＯ電圧から動作を開始する。

また、第１の周波数同期制御、第２の周波数同期制御、または有効データの送受信で随時、その時点での周波数同期情報に記憶レジスタが更新され、記憶レジスタの設定を読むことで、そのときのＶＣＯ電圧を知ることができる。

カメラ制御部１１４は、実際に撮像装置１００が使用される前に、全伝送レーンに第１の周波数同期制御を行い、その同期状態におけるＶＣＯ電圧を、周波数同期情報として、レーンごとに図１に不図示のフラッシュメモリに書き込んでおく。周波数同期情報は全伝送レーンを同時に同期状態にした際のＶＣＯ出力電圧を再現するための情報である。次回以降の起動時に、周波数同期情報をＣＤＲ回路２３５の記憶レジスタ２３７に書き込むことにより、ＶＣＯ電圧を周波数同期情報を取得したときの電圧に設定する。

周波数同期情報の取得は製造時に行い、フラッシュメモリに書き込んでおくものとする。ただし、撮像装置１００の初回起動時もしくは電源が入るたびに行ってもよい。

図８に示すように、モードにより伝送レーンを変更する場合においては、以下のような制御を行う。

図８は図７と同様に、間引き読み出しをするライブビュー駆動から、全画素読み出しをして静止画相当の画像を取得する制御に移行する動作を模式的に示している。

図８では、モードによらず継続的に使用する伝送レーンでは、随時各レーンのＣＤＲ回路２３５の周波数同期情報が更新されている。そのため、記憶レジスタ２３７を読み出してフラッシュメモリに記憶した情報と比較することにより、環境温度などによる周波数のずれを予測できる。予測された周波数のずれ分を考慮して、長期間使用していない伝送レーンの復帰時に記憶レジスタに書き込むことにより、その伝送レーンにおいても第２の周波数同期制御で送受信部の同期を取ることができる。

以降は、図７と図８の制御の違いについてのみ説明する。垂直同期信号ＶＤ２以前では、ライブビュー駆動のための「ＳＲ読み出し」動作を行っており、垂直同期信号ＶＤ２～ＶＤ３までの期間が図７と異なる制御となる。

垂直同期信号ＶＤ２～ＶＤ３の期間で、図８のＳＲリセット２で示すように画素部を行ごとにリセットし、静止画撮影のための全画素のリセット走査を行う。ＳＲリセット２の走査を垂直同期信号ＶＤ２の直後に開始させ、垂直同期信号ＶＤ２～ＶＤ３の期間のフレーム周期２期間を増減することにより、静止画の蓄積時間を決定する。

また、垂直同期信号ＶＤ２～ＶＤ３の期間では、受信部２３０であるＲＸ（Ｇｒ１）に含まれる伝送レーンの一つを基準レーンとし、基準レーンの記憶レジスタ情報を読み出す。次にフラッシュメモリから各伝送レーンの周波数同期情報を読み出す。基準レーンの記憶レジスタ情報から基準レーンの周波数同期情報を減算し、周波数同期補正値を算出する。各伝送レーンの周波数同期情報に周波数同期補正値を加算して、各伝送レーンの記憶レジスタに対して設定する。

カメラ制御部１１４は、送信部２２０であるＴＸ（Ｇｒ１）、ＴＸ（Ｇｒ２）にトレーニング信号を出力するように即時反映レジスタに設定する。即時反映レジスタの反映と同時に送信部２２０であるＴＸ（Ｇｒ１）、ＴＸ（Ｇｒ２）は、トレーニング信号の出力を開始する。

その後、カメラ制御部１１４は、受信部２３０であるＲＸ（Ｇｒ１）、ＲＸ（Ｇｒ２）の起動および第２の周波数同期制御を開始させる。送信部２２０であるＴＸ（Ｇｒ１）、ＴＸ（Ｇｒ２）のトレーニング信号の出力開始は、受信部２３０であるＲＸ（Ｇｒ１）、ＲＸ（Ｇｒ２）の周波数同期制御の開始以前とする。送受信部ＴＸ（Ｇｒ１）とＲＸ（ＧＲ１）、ＴＸ（Ｇｒ２）とＲＸ（ＧＲ２）は、一律、第２の周波数同期制御により対応するデバイスと同期を取ることができる。

以上説明したように、本実施形態の制御により、伝送レーン数を増加させた場合に短時間で送受信部の同期状態を復帰することが可能となり、静止画の蓄積時間を決めるフレーム周期を短く設定することができる。

なお、本実施形態は一例であり、静止画の蓄積時間を本実施形態と異なる形態で制御する場合にも適用可能である。

＜第３の実施形態＞
この第３の実施形態では、 撮像装置１００、撮像素子１１１、信号処理部１１５、ＣＤＲ回路２３５の構成は、図１、図２、及び図３に示す第１の実施形態と同様であるため、その説明は省略する。第１の実施形態では、図５、図６で説明したように、受信部の周波数同期制御の前に撮像素子１１１の送信部２２０がトレーニング信号を出力する必要がある。撮像装置１００では、撮像素子１１１とカメラ制御部１１４が垂直同期信号ＶＤおよび水平同期信号ＨＤにより、撮像制御のタイミング同期を取っている。

垂直同期信号ＶＤは、撮像素子１１１とカメラ制御部１１４で、次の動作の開始や１フレームの画素の読み出し開始の同期をとるための同期信号である。また、水平同期信号ＨＤは、１ラインの画素の読み出し開始の同期をとるための同期信号である。

また、カメラ制御部１１４は、水平同期信号の立下りエッジをカウントするＨＤカウンタを有し、あらかじめ設定した回数の立下りを検知した際に割込信号を発行することが可能である。カメラ制御部１１４は、ＨＤカウンタが発行した割込信号をトリガにして、あらかじめ決められた制御を開始することができる。

図９は動画撮影時に水平同期信号の立下りエッジのカウントで発行した割込信号で周波数同期制御を行うことを示す模式図である。

図９は、図６と同じように毎フレームで、撮像素子を「ＳＲ」動作させて、１フレーム内で画素からの信号読み出し動作（ＳＲ読み出し動作）と、次フレームのためのリセット動作（ＳＲリセット動作）を制御する。フレームごとに画素数分のデータの受信完了とともに受信部２３０の動作を停止させ、その後で送信部２２０の動作を停止させる。

次フレームの読み出しのために、送信部２２０からトレーニング信号を出力する第１のタイミングと、受信部２３０が第２の周波数同期制御を開始する第２のタイミングをカメラ制御部１１４のＨＤカウンタに設定する。

ＨＤカウンタのＨＤの立下りエッジ検出数が第１のタイミングと一致すると、ＨＤカウンタは割込信号１を発行する。割込信号１により、カメラ制御部１１４は撮像素子１１１に対して、トレーニング信号出力開始を設定し、トレーニング信号の出力が開始される。ＨＤカウンタのＨＤの立下りエッジ検出数が第２のタイミングと一致すると、ＨＤカウンタは割込信号２を発行する。割込信号２により、カメラ制御部１１４は受信部２３０に第２の周波数同期制御の開始を設定し、第２の周波数同期制御が実行される。

ＨＤカウンタの割込信号を用いることにより、撮像素子１１１の動作状態と同期した周波数同期制御を行うことができる。そのため、タイマ処理などで非同期に制御するよりも、撮像素子の読み出し間隔が短いモードでも、送受信部の停止、復帰制御を行うことが可能となる。

本実施形態では、動画撮影を例に説明したが、静止画撮影の際には、蓄積時間に応じて、第１のタイミング、第２のタイミングをＨＤカウンタに設定することにより、有効データの読み出しの前に送受信部の周波数同期制御を行うことができる。

また、水平同期信号ＨＤの立下りエッジの検出によりタイミングの制御を行う例を示したが、次の状態遷移が開始されるタイミングを計ることができるものであれば、別の目的の同期信号でもよく、検出する極性も種々の形態をとることが可能である。

本実施形態の制御により、撮像素子の読み出し間隔が短いモードにおいても、撮像素子１１１と信号処理部１１５のデータ伝送の消費電力を軽減することが可能となる。

＜第４の実施形態＞
この第４の実施形態では、撮像装置１００、撮像素子１１１、信号処理部１１５の構成は、図１及び図２に示す第１の実施形態と同様であるため、その説明は省略する。

図１０は、第４の実施形態におけるＣＤＲ回路２３５の構成を示すブロック図である。図１０において、ＣＤＲ回路２３５は、位相比較器３０１、ループフィルタ３０３、ＶＣＯ（電圧制御発振器）３０５、フリップフロップ３０９を備える。

位相比較器３０１は、入力された信号のデータエッジと、ＶＣＯ３０５の出力クロックの位相を比較し、位相差に応じた電圧値を出力する。ループフィルタ３０３は、ＶＣＯ３０５の応答速度と入力電圧振幅レンジに合わせて位相比較器３０１の出力信号を平滑化し、電圧を増幅する。 ＶＣＯ３０５は、入力されるループフィルタ３０３の電圧振幅に応じた周波数のクロックを出力する。ＶＣＯ３０５の出力クロックを位相比較器３０１に帰還させることにより、入力信号との同期を取る。

ＣＤＲ回路２３５は、初期状態ではどのような周波数と位相のデータが入力されるか不明であり、正しく同期を取ることができないため、起動時に送信部２２０からトレーニング信号を受け、周波数と位相の同期を取る必要がある。

トレーニング信号とは、ＨＩＧＨレベルとＬＯＷレベルが特定のパターンで出力される信号である。トレーニング信号で、同期のとれた状態でＶＣＯ３０５が出力したクロックを、再生クロックと呼ぶこととし、再生クロックを受信信号が入力されたフリップフロップ３０９に供給することにより、受信信号からデータを取り出すことができる。

前述のように、トレーニング信号で同期が取れた後は、送信部２２０から有効なデータ送信を開始し、データを取り出す。ＣＤＲ回路２３５で、クロックとデータが重畳されたシリアルデータから再生したデータを再生データと呼ぶこととする。

また、受信部２３０が有効なデータを受信している期間は、入力信号のデータエッジと、前述の再生クロックの位相を検出し、同期制御をすることにより、データ伝送中の温度変化などで周波数や位相がずれても、その変動に追従して、同期状態を保つことができる。

前述のトレーニング信号とは異なり、画像データのような一般的なシリアルデータでは、ＨＩＧＨやＬＯＷの信号が連続する場合があり、パルスエッジが検出できないため、その状態が長く継続すると、同期が外れてしまうことがある。

通常、そういった問題を回避するために送信部２２０からクロックとデータを重畳したデータを送信する前に、たとえば「８ｂ／１０ｂ変換」といった処理を施す。８ｂ／１０ｂ変換は、８ビットのデータを１０ビットのデータに変換して、ＨＩＧＨやＬＯＷの信号を４クロック以下とするデータ変換である。有効データの転送効率が低下する代わりに、受信部でパルスエッジを検出することができ、周波数変動に対してロバスト性が向上する。なお、８ｂ／１０ｂ変換されたデータは受信部２３１でデコードする必要がある。これらの処理を撮像素子１１１の送信部２２０と信号処理部１１５の受信部２３０内の不図示のブロックで行う。

類似の技術として、ＰＣＩ ＥＸＰＲＥＳＳ ３．０／４．０では、「１２８ｂ／１３０ｂ変換」があり、これも１２８ビットの有効データに対して、２ビットのプリアンブル信号を持たせることで、ＨＩＧＨやＬＯＷの信号が長期間継続しないようにしている。本実施形態においても、「８ｂ／１０ｂ変換」に限らず、上述と同様な効果をもつ変換処理を用いてもよい。

前述のとおり、一度、送受信部で同期を取ることができれば、データ送信が継続する限り、位相同期をとることができる。しかし、撮像装置では、撮像素子の読み出し中以外で送受信部を休止することにより、消費電力を低減する場合がある。

以降では、撮像装置の種々のモードにおいて、送受信部での消費電力を低減するための制御について説明する。

図１１は、撮像装置１００の静止画撮影中の撮像素子１１１と送受信部の駆動を表す模式図である。ユーザーが撮像装置１００の撮影開始ボタンを操作し静止画撮影を開始する。図１１では、撮影開始ボタンの操作後、撮影準備（シャッタの通電＆チャージや、撮像素子を含む起動シーケンスなど）が完了した状態からの時間の経過を示している。

カメラ制御部１１４は、撮像素子１１１に対して、制御信号を供給するとともに、シリアルＩ／Ｆ２１３を介してレジスタ設定を行うことにより、撮像素子１１１の状態を適宜変更し、撮影に必要な蓄積、読み出しを制御するとともに、送信部２２０の動作を制御する。撮像素子１１１は、外部からのデジタル値をシリアルＩ／Ｆ２１３で受け付け、不図示のレジスタに記憶させることにより、レジスタの内容を動作に反映することができる。また、レジスタにはデジタル値が書き込まれた直後に反映される「即時反映レジスタ」と、撮像素子１１１の状態遷移の同期信号である垂直同期信号ＶＤの立下りエッジに同期して反映する「ＶＤ同期レジスタ」が含まれる。状態遷移の際に変更する必要のあるものを「ＶＤ同期レジスタ」に割り当てておくことにより、状態遷移の変更内容を設定の順序などによらず、垂直同期信号ＶＤに同期して、一括して反映させることができる。また、本実施形態では、送受信部の制御に関わるレジスタには、撮像装置の起動や停止のときに即座に反映させるため、「即時反映レジスタ」を用いる。

静止画撮影を行うために、撮像素子は「蓄積」、「読み出し」、「停止」の動作を行う。「蓄積」の動作は、撮像素子１１１の画素部２０１の全画素のフォトダイオードで一括して電荷を排出し、その後に電荷蓄積を行う動作である。「読み出し」の動作は、この動作に移行する以前にフォトダイオードに蓄積されていた電荷を１行ごとに列回路２０３に転送し、ＡＤ変換を行った後に、水平転送回路２０５からデジタル処理部２０７に送る動作である。デジタル処理部２０７では、クランプ処理やゲイン処理を行う。「停止」の動作は、撮像素子１１１のクロック供給を停止させて動作を停止させる動作である。静止画撮影では、撮像素子の「蓄積」、「読み出し」、「停止」の動作を順に実行させることにより、「蓄積」動作で蓄積させた電荷から画像データを得る。

図１１に示した垂直同期信号ＶＤは、撮像素子１１１に対して状態遷移を行わせるための制御信号であり、本実施形態では垂直同期信号ＶＤパルスの立下りを検知し、その時点でＶＤ同期レジスタに設定されている設定を回路に反映し状態遷移を行わせる。撮影準備が完了した状態では送受信部はともに停止状態とし、電力を消費しない。

図１１の最初の垂直同期信号ＶＤ１の前に、「蓄積」動作を行わせる設定を撮像素子１１１のレジスタに設定しておくことにより、垂直同期信号ＶＤ１に同期して全ての画素に対して一括してリセットが行われ、リセットの解除とともに蓄積が開始される。その後、カメラ制御部１１４は、シャッタ１１３に対して、蓄積時間に応じた開閉制御を行う。

シャッタが閉じた後の２番目の垂直同期信号ＶＤ２により、撮像素子１１１に「読み出し」動作を行わせ、画素から読み出したデジタル信号を順次送信部２２０から出力させる。カメラ制御部１１４は、読み出しを開始させる垂直同期信号ＶＤ２よりも前に、撮像素子１１１のレジスタに対して送信部２２０からトレーニング信号を出力させる設定を行い、同時に信号処理部１１５の受信部２３０に位相同期を開始させる。

また、受信部２３０の位相同期は、ＶＣＯ３０５の出力するクロックの安定待ちなどのために完了するまでに有限の時間が必要である。その間、トレーニング信号の出力も受信部２３０の同期の完了が保証されるまで確保する必要ある。そのため、カメラ制御部１１４が受信部の位相同期完了のために必要な時間を換算し、タイマにより、その時間だけ読み出し開始のＶＤ２よりも前に、トレーニング信号の出力開始を即時反映レジスタに設定する。即時反映レジスタの反映と同時に、送信部２２０は、トレーニング信号の出力を開始する。その後、カメラ制御部１１４は、受信部２３０の起動および位相同期を開始させる。

垂直同期信号ＶＤ２で、撮像素子１１１に「読み出し」動作を行わせ、順次画素毎のデジタルデータを読み出すとともに、送信部２２０からデータを送信する。画素数分のデータの受信完了とともに受信部２３０の動作を停止させ、その後に送信部２２０の動作を停止させる。３番目の垂直同期信号ＶＤ３は、上記の一連のデータ送受信に関わる制御が完了した後に撮像素子１１１を「停止」動作させるためのトリガとなる。

本実施形態では、動画撮影動作、もしくは撮影画像をリアルタイムに表示部１１８に表示するライブビュー動作を行うために、撮像素子１１１は「スリットローリング（ＳＲ）」動作、「停止」動作を行う。

「ＳＲ」動作では、「ＳＲ読み出し」動作と「ＳＲリセット」動作の両方、もしくはそのどちらかを行う。「ＳＲ読み出し」動作では、垂直同期信号ＶＤに同期して、行ごとに順次画素の読み出しを行う。「ＳＲリセット」動作では、垂直同期信号ＶＤを基準としたカウント信号が、予め設定された値となったときに行毎に画素の電荷を排出し、その後、電荷蓄積を行う。

「ＳＲ」動作では、「ＳＲリセット」動作から「ＳＲ読み出し」動作までの間隔で撮像素子の露光時間が制御される。また、「ＳＲリセット」動作だけ、もしくは「ＳＲ読み出し」動作だけを行う場合は、シリアルＩ／Ｆ２１３から、タイミング制御部２１１のレジスタを設定することにより適宜変更することが可能である。

図１２は、動画撮影中の撮像素子１１１と送受信部の駆動を表す模式図である。動画撮影の場合、一定間隔で撮影するために垂直同期信号ＶＤはフレーム同期信号としても用いられる。動画撮影動作またはライブビュー動作では、撮像素子１１１に「ＳＲ」動作を行わせ、１フレーム内で画素からの信号読み出し動作（ＳＲ読み出し動作）と、次フレームのためのリセット動作（ＳＲリセット動作）を制御する。また、本実施形態では、読み出し画素数やフレームレートの異なる複数の動画撮影モードを持ち、それぞれのモードで信号読み出しに必要な時間は異なる。

図１２では、そのうちの一つのモードに関する一連の制御について詳細に説明する。図１２に記載の最初の垂直同期信号ＶＤ１に同期して、撮像素子１１１の画素部２０１は１回目のＳＲ読み出し動作「ＳＲ読み出し１」を行い、そのときの画素毎のデジタルデータを送信部２２０から受信部２３０に送信する。フレームごとの画素数分のデータの受信完了とともに受信部２３０の動作を停止させ、その後に送信部２２０の動作を停止させる。

本実施形態では、垂直読出制御部２０９と送受信部２３０でクロック系統が分離されているため、送受信部が停止期間中でも、次のフレームのためのＳＲリセット動作である「ＳＲリセット２」で画素部２０１を走査することができる。カメラ制御部が受信部２３０の位相同期完了に必要な時間を換算し、タイマによって、その時間だけ次の垂直同期信号ＶＤ２よりも前にトレーニング信号の出力開始を即時反映レジスタに設定する。即時反映レジスタの反映と同時に送信部２２０は、トレーニング信号の出力を開始する。

その後、カメラ制御部１１４は、受信部２３０の起動および位相同期を開始させる。この一連の制御を繰り返し行うことにより、動画撮影の際にデータ転送に不要な期間の送受信部にかかる電力を抑えることができる。

ただし、フレームレートが早く、フレーム周期に対して読み出しにかかる時間が長い場合、読み出し完了から次のＶＤまでの期間内に位相同期完了に必要な時間が確保できないことがある。

図１３は、動画撮影中にフレームレートが変更された場合の送受信部の動作状態を示す模式図であり、この図を用いて、フレームレートに応じた送受信部の停止制御について説明する。

図１３における「フレーム周期１」は、位相同期完了に必要な時間が確保できるフレーム周期を示し、「フレーム周期２」は、位相同期完了に必要な時間が確保できないフレーム周期を示している。

「フレーム周期１」の図１２と同様な動画撮影状態から、「フレーム周期２」の撮影状態に変更された場合、読み出し完了後に送受信回路の停止を行わず、送信部２２０は画素数分のデータ送信が完了した後にダミーデータを送信する。ダミーデータは任意のデータで良く、たとえばトレーニング信号でもよい。送受信部の停止制御を行うかどうかは、フレーム周期から読み出しに必要な時間を除いたブランキング期間の長さで判断する。読み出しに必要な時間は動画撮影モードによって異なり、動画撮影モードとフレームレートによりブランキング期間が決まる。

具体的には、カメラ制御部１１４が、動作中のモードとフレームレートとからブランキング時間を算出し、ブランキング時間が予め決められた所定の長さ以上の場合にのみ、前述の停止制御と復帰の際の同期制御を行い、それ以外の場合は停止制御も同期制御も行わない。

また、撮像装置１００は、撮像素子１１１から間引き読み出しをするライブビュー駆動から、全画素読み出しをして静止画相当の画像を取得する制御を行うことがある。

図１４は、撮像素子１１１の画素の読み出し方式が途中で変更された場合の送受信部の動作状態を示す模式図である。図１４における各区間で撮像素子１１１の動作を切替えて、撮像素子１１１の動作に応じて送受信部の制御を変更することにより、このような撮像素子の状態遷移での消費電力を抑えるように送受信部の制御を行う。

２番目の垂直同期信号ＶＤ２以前では、ライブビュー駆動のための「ＳＲ読み出し」動作を行っている。図１２、図１３と同じように、「ＳＲ読み出し」状態では、フレーム周期に対するモードごとの閾値を設定し、カメラ制御部１１４がフレーム周期が閾値以上であるかどうかを判定し、閾値以上の場合に送受信部の停止制御および位相同期制御を実施する。

垂直同期信号ＶＤ２～ＶＤ３の期間は全画素のリセット走査のみを行う「ＳＲリセット」動作を行う。この区間では、「一括リセット蓄積」動作と同じく、画素部の読み出しを行わないため、これ以前の撮像素子の状態によらず、送受信部を停止する。

次の垂直同期信号ＶＤ３から「ＳＲ読み出し」動作を行い、画像データを読み出すために、カメラ制御部１１４が受信部２３０の位相同期完了に必要な時間を算出し、タイマによって、その時間だけ読み出し開始の垂直同期信号ＶＤ３よりも前に、トレーニング信号の出力開始を即時反映レジスタに設定する。垂直同期信号ＶＤ３～ＶＤ４の期間は、撮像素子１１１が「ＳＲ読み出し」動作を行い、順次画素毎のデジタルデータを送信部２２０から受信部２３０へ送信する。

垂直同期信号ＶＤ４～ＶＤ５の期間は、画素を間引き読み出しする場合のリセット走査である「ＳＲリセット」動作を実行する。画素部の読み出しを行わないため、これ以前の撮像素子の状態によらず、送受信部を停止する。

次の垂直同期信号ＶＤ５では、「ＳＲ読み出し」動作を行い、画像データを読み出すために、垂直同期信号ＶＤ５よりも前からトレーニング信号の出力開始を即時反映レジスタに設定する。垂直同期信号ＶＤ５以降は、「ＳＲ読み出し」動作を行わせ、フレーム周期１と閾値を参照して、送受信部を復帰させる時間を決め、送受信部を停止し、次の垂直同期信号ＶＤよりも前にトレーニング信号出力を開始させる制御を繰り返す。

上記の一連の制御により、撮像素子１１１の画素の読み出し方式が途中で変更された場合にも、データ転送が必要なとき以外は、送受信部を停止させ、消費電力を低減することができる。

＜第５の実施形態＞
第４の実施形態での送受信部の位相同期制御に関しては、十分に位相同期が完了する固有の位相同期時間を想定しているため、停止状態から位相同期を取る場合には常に同じだけの時間がかかる。しかし、読み出し時間に対するフレーム周期が短くなるにつれて、送受信部の停止期間が短くなることにより、消費電力が大きくなる高フレームレートの動画での電力低減効果が得られなくなる。

第５の実施形のＣＤＲ回路は、図３のループフィルタ３０３に電圧保持回路を備え、カメラ制御部１１４からの制御信号により電圧保持と電圧保持の解除を制御する。トレーニング信号による同期制御の完了後、送信部２２０の停止前にその時点での電圧を保持し、復帰時にその電圧をＶＣＯ３０５に入力する。これにより、受信信号と位相差の小さい状態から同期制御が開始でき、位相同期に必要な時間を短縮することができる。位相同期制御を行う際には、送信部２２０からの信号が入力された後に、ループフィルタ３０３の電圧保持の解除を行う。この制御では、受信部２３０は完全に停止することができないが、送信部２２０の動作停止を行うことができる。

図１５は、上記の待機状態から位相同期を行う場合の制御を示す模式図である。図１５における最初の垂直同期信号ＶＤ１は、送信部２２０と受信部２３０がともに停止状態であるときに最初に入力された垂直同期信号である。

受信部２３０が停止状態にある場合は、垂直同期信号ＶＤ１から開始される撮像素子１１１のＳＲ読み出し１のデータの受信の前に、第４の実施形と同じように所定の期間のトレーニング出力を受信して、位相同期制御を行う。このときの位相同期制御に必要な期間を位相同期制御期間１とする。

その後、ＳＲ読み出し１のデータの受信が完了したときにカメラ制御部１１４の制御信号によりループフィルタ３０３の電圧を保持する。その後に送信部２２０を停止させ、受信部２３０を電圧保持状態で待機させる。受信部２３０を待機状態から復帰させる際に必要な期間を、位相同期制御期間２としたとき、位相同期制御期間２は、位相同期制御期間１よりも短くなる。

２番目の垂直同期信号ＶＤ２で開始される撮像素子１１１の読み出し動作よりも位相同期制御期間２だけ早く、送信部２２０からトレーニング信号の出力を開始する。そして、ループフィルタ３０３の電圧保持状態を解除し、受信部２３０の位相同期を行い、ＳＲ読み出し２のデータを受信する。ＳＲ読み出し２のデータ受信完了後に、カメラ制御部１１４の制御信号によりループフィルタ３０３の電圧を保持し、その後に送信部２２０を停止させ、受信部２３０を電圧保持状態で待機させる。

３番目の垂直同期信号ＶＤ３以降は、垂直同期信号ＶＤ２の場合と同様に、データ受信完了後に受信部２３０を待機状態にさせ、データ受信前に待機状態からの位相同期制御を繰り返す。

このように制御することにより、高フレームレートの動画においても、消費電力を低減することが可能となる。

＜第６の実施形態＞
以下、図１６のブロック図を参照して、本発明の第６の実施形態における、撮像素子１１１と信号処理部１１５の間のデータの流れについて説明する。第６の実施形態では、撮像素子１１１の内部に画像データを一時的に記憶するメモリ２２３を持つことにより、第４の実施形の構成ではできない駆動モードに対しても、送受信部での消費電力の低減を行うことができる。

撮像素子１１１の読み出しの高速化により、１２０ｆｐｓの高フレームレートで画素信号を読み出して動画記録し、動画の表示を６０ｆｐｓで行うスローモーション動画の撮影が行えるようになってきている。スローモーション動画の撮影をする場合も、撮影時はリアルタイムの表示が求められるために、高フレームレートで読み出した一部のフレームのみを表示に用いる。表示のフレームレート（表示周期）は、撮像装置１００の表示部１１８に依存し、現在普及している６０ｆｐｓ程度を用いる。

図１７は、表示用フレームと記録用フレームの撮影を周期的に繰り返す場合の送受信部の動作状態を示す模式図である。図１７における垂直同期信号ＶＤ１～ＶＤ２の期間は、記録のみに用いるフレームを取得し、垂直同期信号ＶＤ２～ＶＤ３の期間は表示と記録の両方に用いるフレームを取得し、これ以降は、この繰り返しである。

垂直同期信号ＶＤ１～ＶＤ２の期間で読み出されたデータはメモリ２２３に溜めておき、この期間のデータは送信をしない（記録用フレーム）。垂直同期信号ＶＤ２～ＶＤ３の期間のデータは、読み出しと同時に送信され、信号処理部１１５で表示に使えるよう画像処理を施され、表示部１１８に表示される（表示用フレーム）。

撮像素子１１１は、表示用フレームのデータ送信完了後に、メモリ２２３に溜めていた記録用フレームのデータを送信し、受信部２３０は、表示用フレームと記録用フレームのデータの受信が完了してから、停止する。

信号処理部１１５は、表示用フレームを取得するとともに撮像装置１１１の表示部１１８に表示するための画像生成処理を行う。さらに、信号処理部１１５は、順次受信した記録用フレームを不図示のＤＲＡＭに記憶させておき、表示用フレーム間の記録用フレームの画像取得完了後に、表示用フレームと記録用フレームを露光時刻順に並べ替えて動画像を生成する。生成された動画像は、記録メディアに記憶される。

上記のように制御することにより、位相同期制御の回数を減らし、その分を停止期間にあてることで、消費電力を低減することができる。さらに、メモリ２２３に一度溜めたデータは、撮像素子１１１から直接読み出すよりも、ＡＤ変換などにかかる時間の制約を受けずに済むため、より高い周波数でデータ伝送を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１０：撮像装置、１１１：撮像素子、１１５：信号処理部、１１４：カメラ制御部、２０１：画素部、２２０：送信部、２３０：受信部、２３５：ＣＤＲ回路

Claims (19)

1. 複数の画素が配置された画素部と、該画素部から得られた画像データとクロックとを重畳した重畳信号を送信する送信手段とを有する撮像素子と、
   前記重畳信号を前記撮像素子の送信手段から受信する受信手段を有し、前記画像データとクロックとを再生する画像処理手段と、
   前記撮像素子と前記画像処理手段とを制御する制御手段と、を備え、
   前記制御手段は、前記送信手段が前記画像データの送信を開始する前に、前記送信手段から、前記送信手段と前記受信手段の周波数同期をとるためのトレーニング信号を送信させるように制御し、
   前記受信手段は、周波数同期された状態の設定値を記憶するレジスタを有し、前記送信手段と同期をとるための第１の周波数同期制御と第２の周波数同期制御とを切り替えることが可能であり、
   前記第１の周波数同期制御及び前記第２の周波数同期制御は、前記受信手段が前記画像データを再生するために用いるクロックを前記トレーニング信号と比較した結果をフィードバックすることによって、前記送信手段と前記受信手段の周波数同期をとるものであって、
   前記第１の周波数同期制御は、前記第２の周波数同期制御よりも、前記フィードバックを行うためのゲイン量が大きく、
   前記制御手段は、前記第１の周波数同期制御または前記第２の周波数同期制御を行った後に、周波数同期制御を行う場合には、前記レジスタに記憶された設定値に基づいて、前記第２の周波数同期制御を行うことを特徴とする撮像装置。
2. 前記制御手段は、前記撮像装置が起動されて初めて周波数同期制御を行う場合は、前記第１の周波数同期制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記受信手段は、前記画像データの通信期間以外では動作を停止することを特徴とする請求項１または２に記載の撮像装置。
4. 前記受信手段の動作の停止中に、前記送信手段の動作を停止することを特徴とする、請求項３に記載の撮像装置。
5. 前記制御手段は、前記撮像素子の読み出し画素数とフレームレートのいずれかが異なる複数の撮影モードを切り替え可能であり、前記撮影モードごとに、前記撮像素子からの画像データの送信動作とそれに続く画像データの送信動作との間に前記受信手段の動作の停止を行うか否かを、判定することを特徴とする、請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記送信手段から前記受信手段に前記画像データを送信する複数の伝送レーンを有し、前記制御手段は、前記撮影モードごとに、画像データの送信に使用する伝送レーンに対してトレーニングを行い、画像データの送信に使用しない伝送レーンに対しては、トレーニングを行わないことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記送信手段と前記受信手段とを停止させた状態から画像データの通信を再開する場合に、前記送信手段が前記画像データの送信を再開する所定時間前に前記受信手段に対して周波数同期制御の開始の指示を出力することを特徴とする請求項４に記載の撮像装置。
8. 前記撮像素子と前記制御手段は、互いにタイミングの同期を取るための同期信号を有し、前記制御手段は、前記同期信号のカウント値が第１のカウント値に達した場合に、前記送信手段に前記トレーニング信号の出力を開始させ、前記第１のカウント値よりも大きい第２のカウント値に達した場合に、前記受信手段に前記第１の周波数同期制御または前記第２の周波数同期制御を開始させることを特徴とする請求項１に記載の撮像装置。
9. 前記制御手段は、前記第１の周波数同期制御と前記第２の周波数同期制御とにおいて、前記送信手段が前記トレーニング信号の出力を開始させるタイミングを変更することを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記周波数同期制御において前記受信手段のレジスタから取得した値と、別の時刻で周波数同期状態としたときの前記受信手段のレジスタから取得した値とに基づいて、他のレーンのレジスタに設定する値を算出することを特徴とする請求項１に記載の撮像装置。
11. 前記制御手段は、前記撮像装置の製造時に、前記第１の周波数同期制御または前記第２の周波数同期制御を行い、設定値を前記レジスタに記憶させることを特徴とする請求項１に記載の撮像装置。
12. 前記撮像素子が前記画素部に電荷を蓄積させている状態においては、前記送信手段および前記受信手段を停止させることを特徴とする請求項１に記載の撮像装置。
13. 前記制御手段は、前記送信手段が前記画像データを送信する前に、前記第１または第２の周波数同期制御のための期間を確保できるように、前記送信手段にトレーニング信号を出力させることを特徴とする請求項１に記載の撮像装置。
14. 前記撮像素子は所定のフレームレートで行ごとに画素信号を順に読み出し、前記制御手段は、画素信号の読み出し時間とフレームレートで決まる非読み出し期間の長さとに基づいて、前記送信手段と前記受信手段を停止させるか否かを判定することを特徴とする請求項１に記載の撮像装置。
15. 前記受信手段は、電圧制御発振器と、前記電圧制御発振器に電圧を入力するループフィルタと、前記ループフィルタの電圧を保持する電圧保持手段とを有し、前記制御手段は、前記送信手段が停止する前に前記ループフィルタの電圧値を保持させ、前記受信手段を待機状態にさせ、前記受信手段を停止状態から復帰させる際に、前記受信手段を前記待機状態から同期状態に復帰させることを特徴とする請求項１に記載の撮像装置。
16. 前記撮像素子は、前記画像データを一時的に記憶する記憶手段をさらに有し、前記撮像装置は、前記画像データの一部のフレームを表示用フレームとして所定の表示周期で表示する表示手段と、前記画像データの残りのフレームを記録用フレームとし、前記表示用フレームと前記記録用フレームとを時間で並べた動画像を生成する画像処理手段と、をさらに備え、
    前記制御手段は、前記記録用フレームの画像データを前記記憶手段に記憶させておき、前記表示用フレームの画像データの読み出しに同期したタイミングで送信させ、前記記憶手段に記憶していた記録用フレームを前記表示用フレームのデータ送信完了後に送信させることを特徴とする請求項１に記載の撮像装置。
17. 複数の画素が配置された画素部と、該画素部から得られた画像データとクロックとを重畳した重畳信号を送信する送信手段とを有する撮像素子と、前記重畳信号を前記撮像素子の送信手段から受信する受信手段を有し、前記画像データとクロックとを再生する画像処理手段と、を備える撮像装置を制御する方法であって、
    前記撮像素子と前記画像処理手段とを制御する制御工程を備え、
    前記制御工程では、前記送信手段が前記画像データの送信を開始する前に、前記送信手段から、前記送信手段と前記受信手段の周波数同期をとるためのトレーニング信号を送信させるように制御し、
    前記受信手段は、周波数同期された状態の設定値を記憶するレジスタを有し、前記送信手段と同期をとるための第１の周波数同期制御と第２の周波数同期制御とを切り替えることが可能であり、
    前記第１の周波数同期制御及び前記第２の周波数同期制御は、前記受信手段が前記画像データを再生するために用いるクロックを前記トレーニング信号と比較した結果をフィードバックすることによって、前記送信手段と前記受信手段の周波数同期をとるものであって、
    前記第１の周波数同期制御は、前記第２の周波数同期制御よりも、前記フィードバックを行うためのゲイン量が大きく、
    前記制御工程では、前記第１の周波数同期制御または前記第２の周波数同期制御を行った後に、周波数同期制御を行う場合には、前記レジスタに記憶された設定値に基づいて、前記第２の周波数同期制御を行うことを特徴とする撮像装置の制御方法。
18. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images