JP7462410B2 - 制御装置及び方法、撮像装置、及び撮像システム - Google Patents

Description

本発明は、制御装置及び方法、撮像装置、及び撮像システムに関し、特に画像の撮影タイミング及び撮影画像の表示タイミングの制御に関する。

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて「撮像装置」と呼ぶ。）には、ライブビュー（ＬＶ）機能を有するものがある。ＬＶ機能とは、動画像の撮影を行い、得られた画像（以下、「ＬＶ画像」と呼ぶ。）を撮影と並行して表示部に逐次表示する機能のことである。この表示されたＬＶ画像をファインダーとして用いることにより、ユーザーは静止画像撮影や動画像撮影の撮影範囲を確認しながら調整することができる。以下、この撮影範囲の調整操作を「フレーミング」と呼ぶ。

ユーザーが意図通りの撮影を行うためには、フレーミングのし易さが重要である。例えば、ＬＶ画像の撮影を行ってから、表示部に表示するまでの時間（表示遅延）が大きいと、被写体が表示部に表示されたタイミングでは、すでに被写体は移動してしまっている、ということが発生し得る。即ち、フレーミングのし易さには、表示遅延が大きく関わっていることになる。

ＬＶ機能を利用してフレーミングを行って静止画像の撮影を行う撮像装置においては、静止画像の連写中にも表示部にＬＶ画像を表示し続けなければフレーミングができなくなってしまう。しかし、静止画像の連写中に、静止画像のコマ間にＬＶ画像の撮影を行って表示する場合、静止画像の連写間隔が短いと、ＬＶ画像の撮影タイミングの調整が難しい。その結果、静止画像の連写中は、ＬＶ画像の撮像タイミングと、表示部でのＬＶ画像の更新タイミングとの乖離が大きくなって表示遅延が増加し、フレーミングし難くなってしまう。

この課題に対して、特許文献１では、イメージセンサの撮像タイミングと、表示部の表示開始タイミングを所定の時間差で同期制御することによって、表示遅延を低減する方法が開示されている。

特開２００７－２４３６１５号公報

しかしながら、特許文献１に開示された従来技術では、撮像動作が一定間隔で行われていない場合にＬＶ表示に違和感が生じてしまう。例えば一定周期で撮影されるＬＶ画像の間に静止画像を撮像するような場合、静止画像を撮像するタイミングで表示周期が一定の値に保てない。その結果、ＬＶ表示される被写体の動きが実際の被写体の動きと異なるように感じる原因となる。また、撮影される画像に対する処理経路が異なって、表示部に表示することができるまでの表示遅延が変化する場合には、被写体が動くタイミングが、実際の被写体とＬＶ表示された被写体とで変わってしまう。これらの場合に、ＬＶ表示を見てフレーミングをすることが難しくなってしまう。

本発明は上記問題点を鑑みてなされたものであり、静止画像の連写中にも、表示遅延が少なくフレーミングを行い易いライブビュー表示を行うことを目的とする。

上記目的を達成するために、本発明の制御装置は、撮像素子から画像信号を読み出すタイミングを制御する第１の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第２の同期信号とを生成して出力する生成手段と、前記生成手段を制御する制御手段と、を有し、前記制御手段は、前記表示手段に逐次表示するための第１の画像信号を繰り返し読み出すための前記第１の同期信号と、前記第１の画像信号に基づく画像を前記表示手段に表示させるための前記第２の同期信号とが、予め決められた時間差をもって出力され、前記第１の画像信号の読み出しの間に、撮影指示に応じたタイミングで第２の画像信号を読み出す場合に、前記第２の画像信号の読み出しの前後で、前記時間差をもって前記第１の同期信号および前記第２の同期信号が出力されるように前記生成手段を制御し、前記撮影指示が行われた場合に、前記第２の画像信号を読み出すための準備期間と、前記第２の画像信号の電荷蓄積時間とに基づいて、前記第１の同期信号および前記第２の同期信号を出力するタイミングをずらすことを特徴とする。

本発明によれば、静止画像の連写中にも、表示遅延が少なくフレーミングを行い易いライブビュー表示を行うことができる。

本発明の実施形態における撮像装置の構成を示すブロック図。 （ａ）は、実施形態における単位画素の回路図、（ｂ）は、実施形態における撮像素子のブロック図。 実施形態におけるタイミングパルス生成回路のブロック図。 第１の実施形態における静止画像連写時の動作を示すタイミングチャート。 変形例１における静止画像連写時の動作を示すタイミングチャート。 変形例２における静止画像連写時の動作を示すタイミングチャート。 第２の実施形態における静止画像連写時の動作を示すタイミングチャート。 第３の実施形態における撮像システムの構成を示すブロック図。 第４の実施形態における撮像システムの構成を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１の構成を示すブロック図である。図１において、第１レンズ１００は撮影光学系１０４の先端に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、フォーカスアクチュエータ１２０によって駆動され、光軸方向に進退することにより、撮影光学系１０４の焦点を調節する。

フォーカルプレーンシャッター１０５は、静止画像撮影時に露光秒時を調節する機能を持つ。ただし、スリットローリング読み出しで電子シャッターを露光秒時の調節に用いる場合は、フォーカルプレーンシャッター１０５による露光秒時の調節を行わない。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを低減するために用いられる。

撮像素子１０７は、撮影光学系１０４により形成された被写体の光学像を電気信号（画像信号）に光電変換する。また、撮像素子１０７は電子シャッター機能を備え、画像信号をスリットローリング読み出しによって取得することができる。

ＤＳＰ１０８は、撮像素子１０７から画像信号を受信して、画像処理を行う。また、画像処理以外にも、撮像素子１０７からの情報に基づいて、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）の駆動に用いる情報の演算を行う。

ＲＡＭ１０９は、ＤＳＰ１０８で処理された画像データを記憶する機能と、ＣＰＵ１１０が動作を行う際のワークメモリとしての機能を兼備する。なお、本実施形態では、これらの機能をＲＡＭ１０９を用いて実現する構成であるが、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８やＣＰＵ１１０に内蔵する構成であってもよい。

ＣＰＵ１１０は、撮像装置１の各部を制御するためのプログラムを実行し、撮像装置１の動作を統括的に制御する。ＣＰＵ１１０は、撮像素子１０７に各種設定を行うことによって、撮像素子１０７からの読み出しを制御することができる。また、ＣＰＵ１１０はタイミングパルス生成回路１１１と通信を行い、後述のように各モジュールの動作を制御するための各種タイミングパルスの発生タイミングの制御を行う。

タイミングパルス生成回路１１１は、第１クロック１１２からのクロック信号ＣＬＫ１と第２クロック１１３からのクロック信号ＣＬＫ２に基づいて複数の同期信号を生成し、撮像素子１０７と表示部１１４に供給する。撮像素子１０７は、タイミングパルス生成回路１１１からの信号に同期して動作することで、撮影動作を行う。

また、表示部１１４はタイミングパルス生成回路１１１からの信号に同期して動作することで、表示画像を更新する。さらに、ＣＰＵ１１０は、ＤＳＰ１０８から出力される演算結果を用いて、フォーカスアクチュエータ１２０を制御し、撮影光学系１０４の焦点を調節する機能も有する。

表示部１１４は、ＤＳＰ１０８によって処理された静止画像や動画像、メニュー等の表示を行う。動画像（ＬＶ画像）を逐次表示し、ファインダーとして用いることにより、ユーザーは静止画像撮影や動画撮影の撮影範囲を確認しながら調整するフレーミングを行うことができる。なお、表示部１１４は、背面ディスプレイや電子ビューファインダー（ＥＶＦ）等、複数の表示器を含んでいてもよい。

操作部１１５は、ボタンやレバー等の操作部材により構成され、静止画像の撮影指示をするための静止画像撮影釦が含まれる。なお、操作部１１５に操作部材を設けずに、タッチパネルにより各種指示を入力するように構成してもよい。ユーザーは、操作部１１５を通じてＣＰＵ１１０を制御することで、撮影を行うことができる。

ＣＰＵ１１０は、ユーザーによる静止画像撮影釦の押下を検知すると、静止画像の撮影準備期間を含む一定時間が経過した後に、静止画像の撮影を行う。また、静止画像の撮影開始後、静止画像撮影釦が継続して押下されている場合に、静止画像の連写撮影を行う。なお、静止画像の撮影に関する詳細な動作に関しては、図４のタイミングチャートを用いて説明する。

記録媒体１１６は着脱可能に構成され、静止画像データ及び動画データが記録される。ＲＯＭ１１７は、ＣＰＵ１１０が各部の動作を制御するためのプログラムを格納する。

シャッター駆動回路１１８は、フォーカルプレーンシャッター１０５を駆動制御する。フォーカス駆動回路１１９は、ＣＰＵ１１０の出力に基づいてフォーカスアクチュエータ１２０を制御することで、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）を光軸方向に進退駆動して焦点位置を変更する焦点調節を行う。絞り駆動回路１２１は、絞りアクチュエータ１２２を制御して絞り１０１の開口を制御する。

次に、本実施形態の撮像素子１０７の構成について、図２を参照して説明する。
図２（ａ）は、撮像素子１０７の単位画素２０６の詳細な回路構成を説明する図である。フォトダイオード（ＰＤ）２００は、入射した光を光電変換し、生成した電荷を蓄積する。転送スイッチ２０１は、制御信号φｔｘをＨｉｇｈ（以下、「Ｈ」と記す。）にすることによって、ＰＤ２００に蓄積された電荷をフローティングディフュージョン部（ＦＤ）２０２に転送する。

リセットスイッチ２０３は、ＦＤ２０２を初期化するためのスイッチであり、信号φｒｅｓによって制御される。画素のリセット動作は、信号φｔｘと信号φｒｅｓを同時にＨにし、ＰＤ２００とＦＤ２０２を電源電圧（ＶＤＤ）にすることによって実現する。画素アンプ用トランジスタ２０４は、選択スイッチ２０５、及び後述の垂直出力線２０８を介して定電流源２０９に接続される。選択スイッチ２０５の制御信号φｓｅｌがＨになると、画素アンプ用トランジスタ２０４は垂直出力線２０８に接続される。そして、ＰＤ２００からＦＤ２０２に転送された電荷が電荷量に応じた電圧値に変換され、垂直出力線２０８に画像信号として出力される。

次に、図２（ｂ）を参照して、撮像素子１０７の構成について説明する。
画素アレイ２０７には、水平方向に（ｍ＋１）個、垂直方向に（ｎ＋１）個の複数の単位画素２０６が行列状に配置されている。なお、ｍ，ｎ共に自然数である。駆動パルス生成回路２１０は、タイミングパルス生成回路１１１からの同期信号に基づいて、単位画素２０６のリセット動作や読み出し動作を行うためのパルス信号を生成する。

生成されたパルス信号は、画素駆動回路２１２に供給される。行選択回路２１１は、駆動パルス生成回路２１０によって生成されたパルス信号を供給する行を選択し、選択した行を画素駆動回路２１２に設定する。画素駆動回路２１２は、行選択回路２１１によって設定された行に、駆動パルス生成回路２１０によって生成されたパルス信号を上述した制御信号として供給する。

画素駆動回路２１２から供給される制御信号に応じて選択された行の画素から垂直出力線２０８に画像信号が出力される。定電流源２０９は、画素アンプ用トランジスタ２０４と組み合わさってソースフォロワ回路を形成する。

ＡＤ変換回路（ＡＤＣ）２１３は、垂直出力線２０８に出力されたアナログの画像信号を、その信号レベルに応じたデジタル値に変換する。ＡＤＣ２１３によってデジタル値に変換された画像信号は、水平走査回路２１４によって順に選択されて、出力部２１５に転送される。

なお、行選択回路２１１による画素アレイ２０７の駆動を変えることによって、複数の異なる読み出し方で画像信号を読み出すことができる。例えば本実施形態では、静止画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、その次の行の画素の画像信号を読み出し、その繰り返しによって一番下の行まで読み出す方法をとるものとする。

また、動画像を生成する際の読み出し方法として、一番上の行の画素から画像信号を読み出した後に、数行（例えば２行）とばした行の画素の画像信号を読み出し、その繰り返しによって一番下の行の画素まで読み出す方法をとるものとする。動画像を生成する際にこのように画像信号を読み出すと、画像の垂直解像度は低下するが、１フレームの画像信号の読み出しを短時間かつ低消費電力で行うことができる。他にも、様々な読み出し方法による画像信号の読み出しが可能である。

なお、本実施形態では、画素駆動回路２１２やＡＤＣ２１３が撮像素子１０７に内蔵されている例について説明したが、これらの回路は撮像素子１０７とは別のチップに設けられてもよい。

次に、図３を用いて、タイミングパルス生成回路１１１の内部構成について説明する。本実施形態では、タイミングパルス生成回路１１１は、基準同期信号生成回路３００（以下、「基準ＳＳＧ」と呼ぶ。）と、第２同期信号生成回路３０１（以下、「第２ＳＳＧ」と呼ぶ。）と、第３同期信号生成回路３０２（以下、「第３ＳＳＧ」と呼ぶ。）とから構成されている。

基準ＳＳＧ３００と第２ＳＳＧ３０１はＣＰＵ１１０に接続されており、それぞれの同期信号のアサートタイミングの時間を記録できるようになっている。この時間によって、基準ＳＳＧ３００と第２ＳＳＧ３０１のアサートタイミングの時間差を計算することができる。また、これらの各回路に対して、ＣＰＵ１１０から設定を行うことで、様々な周期の同期信号を生成することができるほか、同期信号の発生タイミングを変えることもできる。

また、本構成において、第２ＳＳＧ３０１は、第１クロック１１２からのクロック信号ＣＬＫ１に基づいて動作し、基準ＳＳＧ３００と第３ＳＳＧ３０２は、第２クロック１１３からのクロック信号ＣＬＫ２に基づいて動作する。そして、第２ＳＳＧ３０１は、基本的に、予め決められた第１の周期で第２の同期信号を生成して撮像素子１０７に出力し、第３ＳＳＧ３０２は、同じく第１の周期で第３の同期信号を生成して表示部１１４に出力する。

なお、本実施形態ではタイミングパルス生成回路１１１に複数のクロックを入力して２種類の同期信号を生成する構成としたが、本発明はこの構成に限定されるものではない。全てのＳＳＧを単一のクロック信号に基づいて動作するようにしてもよいし、異なるクロック信号に基づいて動作するようにしてもよい。また、上記の各ＳＳＧ回路のすべてまたは一部が独立してブロックを構成してもよい。

図４は、第１の実施形態における静止画像の撮影動作を示すタイミングチャートであり、ここでは、連写を行う場合について説明する。また、本実施形態において、記録用の静止画像とＬＶ表示に用いられるＬＶ画像は、互いに異なる読み出し方法により画像信号が読み出されるものとする。図４中、「撮像素子のリセット走査または読み出し走査」において、一点鎖線はＬＶ画像生成用の画像信号読み出しを、二点鎖線は静止画像生成用の画像信号読み出しを表している。また、破線は各読み出しに対応するリセット走査を表しており、垂直方向は撮像素子１０７の走査方向の行に対応している。さらに、図４中、「表示部の画像更新走査」において、斜めの実線は表示部１１４がＬＶ表示を更新する走査を表し、垂直方向は表示部１１４の走査方向の行に対応している。

時刻ｔ４００で第２の同期信号がアサートされると、ＬＶ画像生成用の画像信号の読み出しが開始される。そして、時刻ｔ４０１で第３の同期信号がアサートされると、表示部１１４に時刻ｔ４００で読み出しが開始された画像信号に基づいて生成されたＬＶ画像が表示され始める。ここでは、時刻ｔ４００と時刻ｔ４０１の時間差だけ撮影から表示までに時間差Δｔ１を設けることによって、撮影した画像を安定して表示できるものとする。

以下、第２の同期信号がアサートされる度に撮像素子から画像信号の読み出しが行われ、第３の同期信号がアサートされる度にＬＶ表示の更新が行われる。なお、ＬＶ画像生成用の画像信号の読み出しに先立って、第２の同期信号がアサートされるタイミングから予め決められた露光時間前にリセット走査が行われるが、そのタイミングは、第２の同期信号の周期と、露光時間とから決めることができる。

また、時刻ｔ４０２のように、基準同期信号がアサートされるタイミングで、第３ＳＳＧ３０２は、内部カウンタの値をリセットする。このようにして、第３ＳＳＧ３０２を基準ＳＳＧ３００の同期信号に同期させる。また、基準同期信号はＣＰＵ１１０にも入力され、ＣＰＵ１１０は、この基準同期信号がアサートされたことを検知すると、ＣＰＵ１１０のシステム時間を表現するカウンタから値を読み出して、カウント値を記録する。

時刻ｔ４０２で基準同期信号がアサートされた直後に第２の同期信号がアサートされるタイミングである時刻ｔ４０３では、ＬＶ画像生成用の画像信号の読み出しが開始されると同時に、第２の同期信号がＣＰＵ１１０に入力される。そして、ＣＰＵ１１０はこの第２の同期信号がアサートされたシステム時間を表現するカウント値を記録する。

ＣＰＵ１１０は、基準同期信号と第２の同期信号のカウント値から、後述する計算によって第２の同期信号のアサートタイミングを算出する。そしてその計算結果に基づいて、タイミングパルス生成回路１１１を制御して、第２の同期信号を基準同期信号に、ある一定の時間差をもって同期させるように制御する。このように制御すると、第２の同期信号も第３の同期信号も基準同期信号に同期して動作させることができるので、第２の同期信号と第３の同期信号の時間差Δｔ１を一定の値に保つことができる。

時刻ｔ４０４で静止画像撮影釦が押下され、撮影開始が指示されると、レリーズタイムラグを管理するタイマーの動作が開始し、それと同時に焦点調節や露出制御等の静止画像の撮影準備が行われる。そして、その撮影準備に要する時間よりも長い時間であるレリーズタイムラグＴ１が経過した時刻ｔ４０５に第２の同期信号をアサートし、静止画像用のリセット走査が開始される。そして、電荷蓄積時間Ｔ２が経過すると、時刻ｔ４０７において、再び第２の同期信号をアサートし、静止画像生成用の画像信号の読み出し走査が開始される。この際に、第２の同期信号の位相が変化する。

続いて、時刻ｔ４０９ではＬＶ画像用のリセット走査が開始され、時刻ｔ４１０でそれに対応するＬＶ画像生成用の画像信号の読み出し走査が開始される。ここで、ＬＶ画像生成用の画像信号読み出しの開始タイミングである時刻ｔ４１０は、静止画像撮影釦の押下タイミングと、レリーズタイムラグＴ１と、静止画像の電荷蓄積時間Ｔ２と、静止画像生成用の画像信号の読み出しからＬＶ画像生成用の画像信号の読み出しまでの時間Ｔ３とから計算することができる。

ここで、時間Ｔ３は、表示部１１４の画像更新周期、すなわち第１の周期である。本実施形態では、これらの時間Ｔ１、Ｔ２、Ｔ３は、時刻ｔ４０４に撮影釦が押下されたタイミングで確定できるものとする。また、このような条件では、時刻ｔ４０４の時点で、基準同期信号のアサートタイミングｔ４０６の時刻と、ＬＶ画像生成用の画像信号読み出しのための第２の同期信号のアサートタイミングｔ４１０の時刻が確定している。

そこで、時刻ｔ４１０に対して時間差がΔｔ１になる時刻ｔ４１１に第３の同期信号がアサートされるように、時刻ｔ４０８において第３の同期信号のアサートタイミングを変更し、以降そのタイミングを維持するようにする。そのために、基準同期信号に対して第３の同期信号をずらすようにする。ここでは、ずらし量を第３の同期信号の周期以下に調節する。

基準同期信号がアサートされる時刻ｔ４０６と時刻ｔ４１１の差は、第３の同期信号の周期以上になるので、基準同期信号と第３の同期信号の同期をするのは時刻ｔ４０８で行うことにし、そのずらし量をΔｕ１とする。このとき、時刻ｔ４０４でＣＰＵ１１０は時間差Δｕ１を計算し、タイミングパルス生成回路１１１に対して第３の同期信号のアサートタイミングをΔｕ１だけずらすように設定を行う。

この設定に基づいて、時刻ｔ４０８に第３の同期信号がアサートされる。これにより、第３ＳＳＧ３０２は、基準同期信号を受信してからΔｕ１だけ時間が経過したときにカウンタ値をリセットするように設定することになる。以降、第３の同期信号は基準同期信号に対して時間差Δｕ１だけずれて同期しながら動作する。

また、ＬＶ画像生成の画像信号読み出し走査のための第２の同期信号のアサートタイミングの時刻ｔ４１０と、その直前の静止画の読み出しのための第２の同期信号のアサートタイミングの時刻ｔ４０７との時間差Ｔ３は、表示部１１４の画像更新周期と同じだけの時間である。そこで、時刻ｔ４０７以降では、基準同期信号のアサートタイミングと第２の同期信号アサートタイミングの時間差を、基準同期信号のアサートタイミングの時刻ｔ４０６と、静止画生成用の画像信号読み出しのための第２の同期信号アサートタイミングの時刻ｔ４０７との差Δｕ２に保つように動作させる。

より具体的には、基準同期信号のアサートタイミングの時刻ｔ４０６と、静止画の読み出し走査のための第２の同期信号アサートタイミングの時刻ｔ４０７との差Δｕ２を、時間差目標値として記録する。そして、それ以降に基準同期信号と第２の同期信号がアサートされたタイミングで、アサートタイミングの時間差を計算し、さらにその時間差から時間差目標値Δｕ２を差し引く。これにより、その差が第２の同期信号のアサートタイミングを補正すべき差となるので、その差を補正するように第２の同期信号のアサートタイミングをずらす。

このように動作させることで、時刻ｔ４０７以降では基準同期信号と第２の同期信号は、時間差目標値Δｕ２をもって同期しながら動作することができるようになる。そうすることにより、時刻ｔ４０７以降では基準同期信号と第２の同期信号と第３の同期信号が同期しながら動作することになる。これにより、ＬＶ画像生成用の画像信号読み出し開始時刻ｔ４１０と表示部１１４の画像更新走査の開始時刻ｔ４１１との時間差Δｔ１を一定に保ちながら撮影することができる。

このように、第２の同期信号及び第３の同期信号のアサートタイミングを変更することによって、位相がずれ、周期の異なるフレームが１フレーム挿入されることになる。これにより、時刻ｔ４１１で開始する表示部１１４のＬＶ画像の更新タイミングは、直前の表示部１１４のＬＶ画像の更新タイミングとは異なる位相となるが、以降、常にＬＶ画像の表示遅延を時間差Δｔ１とすることができる。

また、１回目の静止画像の撮影時には、第２の同期信号に基づいてリセット走査を行ったが、２回目以降は、静止画像生成用の画像信号の読み出しタイミングを第２の同期信号の第１の周期に合わせ、そのタイミングから必要な電荷蓄積時間だけ前にリセット走査を行うように制御する。これにより、第２の同期信号及び第３の同期信号のアサートタイミングを合わせ直す必要を無くすことができる。

なお、本実施形態では、読み出された静止画像生成用の画像信号を、表示部１１４にＬＶ表示に用いないが、これは以下の理由による。一般に、静止画像を表示するために最適な時間差（Δｔ２とする）は、ＬＶ画像を表示するために最適な時間差（本実施形態におけるΔｔ１）とは異なる。そのため、静止画像を表示部１１４に表示しようとすると、ＬＶ画像を表示するフレームと表示遅延が変わってしまうことになり、被写体の動きが不自然になると考えられるためである。しかしながら、静止画像を表示する構成にしても構わない。

また、本実施形態では、時刻ｔ４１２での表示部１１４の更新に対応するＬＶ画像生成用の画像信号の読み出しは行わない。その理由は、連写による静止画像生成用の画像信号の読み出し（例えば時刻ｔ４１３で開始される読み出し）が行われるタイミングでは、ＬＶ画像生成用の画像信号の読み出しができないためである。また、静止画像連写時のＬＶ画像の更新レートを一定に保つためである。この際、第２ＳＳＧ３０１は、第２の同期信号を間引く制御を行う。ただし撮像素子１０７の画像信号の読み出し速度が十分に早い場合には、ＬＶ画像の更新レートを上げて、このタイミングで表示画像を更新する構成にしてもよい。

さらに、本実施形態では、静止画像の連写中には表示部１１４のフレームレートが落ちる構成としたが、本発明はこれに限定されるものではない。上述したように画像信号の読み出し速度が十分に速い場合には、例えば図４において第２の同期信号だけ半分の周期で動作させることによって、静止画像の連写中の表示部１１４の更新レートと、静止画像の連写をしていないときの表示部１１４の更新レートをそろえてもよい。このようにすると、静止画像用の画像信号の読み出しとＬＶ画像生成用の画像信号の読み出しを異なる読み出し方法にしつつも、表示部１１４をの更新レートを連写中に低下させないように動作させることができる。

以上説明したように、第１の実施形態によれば、静止画像を連写する場合にも、ＬＶ画像の表示遅延を変えないようにすることができるため、ライブビュー表示を見易くすることができる。

なお、本実施形態においては、ＬＶ画像を単に表示に用いるだけの構成としたが、この画像を記録媒体１１６に動画像として記録することも可能である。このように構成することで、静止画像と動画像を同時に撮影することができる。

＜変形例１＞
図５は、静止画像の連写時の２コマ目の撮影において、電荷蓄積時間がＬＶ表示の更新レートよりも長い場合のタイミングチャートを示す。このように、静止画像の連写中に電荷蓄積時間の長さが変化するのは、例えば、各静止画像のために測定した測光値が変化している場合や、露出値のブラケット撮影を行う場合等がある。

図５に示すように、静止画像の蓄積時間が表示部１１４の更新レートよりも長い場合、静止画像の蓄積時間がどのような値であっても、ＬＶ画像生成用の画像信号と静止画像生成用の画像信号の読み出しタイミングの間隔が、第１の周期の整数倍となるように制御する。このように制御することで、表示部１１４のＬＶ画像の更新を行うタイミングを再度調整し直す必要を無くすことができる。ここではその具体的な制御方法について、図５のタイミングチャートを参照しながら説明する。なお、図４のタイミングチャートで既に説明した内容に関しては説明を省略する。

１枚目の静止画像の撮影後、時刻ｔ５００に第２の同期信号がアサートされてから一定時間が経過した時刻ｔ５０１から静止画像用のリセット走査を開始する。また、上述したように、２枚目の静止画像の電荷蓄積時間は時刻ｔ５００から時刻ｔ５０２までの時間、すなわち、第１の周期よりも長いものとする。電荷蓄積時間は、リセット走査を開始するまでには決まっているものとする。

まず、時刻ｔ５００でＬＶ画像生成用の画像信号の読み出しが開始されてから、電荷蓄積時間経過直後の第２の同期信号のアサートタイミングである時刻ｔ５０３を、２枚目の静止画像生成用の画像信号読み出し開始タイミングとして決定する。そして、時刻ｔ５０３から電荷蓄積時間を逆算することにより、時刻ｔ５０１を決定する。図５に示すタイミングチャートの例では、時刻ｔ５０２でアサートされる第２の同期信号に対しては、ＬＶ画像の読み出しを伴わない。

時刻ｔ５０３で、時刻ｔ５０１のリセット走査に対応する静止画像生成用の画像信号の読み出しを行い、続いて時刻ｔ５０４で第２の同期信号がアサートされるタイミングでＬＶ画像生成用の画像信号の読み出しを行う。すると、時刻ｔ５０４でのＬＶ画像生成用の画像信号の読み出しタイミングと時刻ｔ５０５の表示部１１４の更新タイミングとは時間差Δｔ１の関係を保つことができるので、表示遅延を図４のタイミングチャートに示す時間差Δｔ１と変えないように制御することができる。

上記の通り、変形例１によれば、基準同期信号と第３の同期信号のアサートタイミングを頻繁に調節することなく、静止画像の電荷蓄積時間を制御することができる。

＜変形例２＞
図４のタイミングチャートでは、時刻ｔ４０４の静止画像撮影釦押下時に、レリーズタイムラグＴ１と、静止画像の電荷蓄積時間Ｔ２と、静止画像生成用の画像信号の読み出し時間Ｔ３が確定しているものとした。しかし、実際にはそれ以外の場合も存在する。

例えば、レリーズタイムラグＴ１の撮影準備中に、露出制御の一環として、電荷蓄積時間を決定する場合がある。このように、図６の時刻ｔ６００において静止画撮影釦が押下された時に、静止画像の電荷蓄積時間Ｔ２が確定していない場合、図４のタイミングチャートで解説したようなタイミングの調節はできなくなる。そこで変形例２では、時刻ｔ６０１で電荷蓄積時間Ｔ２が確定する場合について説明する。

時刻ｔ６０２で基準同期信号がアサートされ、時刻ｔ６０３で第２の同期信号がアサートされる。このとき、第２の同期信号のアサートタイミングの制御は、図４のタイミングチャートで解説した方法で行う。しかし、第３の同期信号のアサートタイミングの変更に時間がかかる場合、第３の同期信号のアサートタイミングの制御は図４のタイミングチャートで解説した方法では行うことができない。

そのような場合、表示部１１４の画像更新走査をしばらく停止し、次に同期信号のアサートタイミングの制御が行えるタイミングで制御する。例えば、次に静止画の撮影が行われるタイミングの前後の時間に着目すると、ｔ６０４で基準同期信号がアサートされ、続いてｔ６０５で第２の同期信号がアサートされる。この第２の同期信号のアサートタイミングは前述のように基準同期信号のアサートタイミングｔ６０４から時間差Δｕ２を保つように制御されている。

このときｔ６０５で第２の同期信号がアサートされてからさらに時間Δｔ１だけ経過した時刻ｔ６０６で、第３の同期信号がアサートされるように設定すればよい。そのためには、時刻ｔ６０６の時点での基準同期信号と第３の同期信号のアサートタイミングの時間差Δｕ１を計算し、タイミングパルス生成回路１１１に対して設定すればよいが、この時間差Δｕ１はｔ６０１で電荷蓄積時間Ｔ２が確定した時に計算可能である。

従って、時刻ｔ６０１でＣＰＵ１１０は時間差Δｕ１を計算し、タイミングパルス生成回路１１１に対して第３の同期信号のアサートタイミングをΔｕ１だけずらすように設定を行う。この設定に基づいて、ｔ６０６に第３の同期信号がアサートされる。このとき、第３ＳＳＧ３０２は、基準同期信号を受信してからΔｕ１だけ時間が経過したときにカウンタ値をリセットするように設定することになる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、消費電力の削減を目的として、静止画像生成用の画像信号の読み出しと、ＬＶ画像生成用の画像信号の読み出しを違う読み出し方法で行うものとした。しかし、このことによって処理が煩雑になるほか、表示フレームレートが低下してしまう要因にもなる。そこで、本第２の実施形態では、静止画像の連写中において、読み出した静止画像生成用の画像信号をＬＶ表示に使用することで、表示フレームレートの低下を抑制する方法について説明する。

図７は、第２の実施形態における静止画像の撮影動作を示すタイミングチャートである。なお、静止画像撮影釦押下前のＬＶ画像の読み出しは、静止画像の読み出しと同一であっても異なるものであってもよいが、読み出しから表示までの時間差や消費電力低減の観点から、静止画像用の読み出しと異なる読み出し方法とする。なお、図７中、各種線種は第１の実施形態の図４で説明したものと同様であるため、ここでは説明を省略する。また、静止画像撮影釦押下前は、図４のタイミングチャートに示す動作と同様であるため、説明を省略する。

時刻ｔ７００で静止画像撮影釦が押下されると、焦点調節や露出制御等の静止画像の撮影準備が行われる。そして、レリーズタイムラグＴ１が経過した時刻ｔ７０１に、第２の同期信号をアサートし、静止画像用のリセット走査が開始される。予め決められた電荷蓄積時間Ｔ２が経過すると、時刻ｔ７０２において再び第２の同期信号をアサートし、静止画像生成用の画像信号の読み出し走査が開始される。これ以降、第２の同期信号は静止画像撮影前と同じ第１の周期でアサートされる。

本実施形態では、撮影された静止画像を表示部１１４に表示する。ここで、読み出した静止画像を表示部１１４に表示するのに最も適した時間差をΔｔ２とする。このとき、第２の同期信号のアサートタイミングｔ７０２から、その直後の第３の同期信号のアサートタイミングｔ７０４までの時間がΔｔ２となるように制御する。

より具体的には、静止画像撮影釦が押下されたｔ７００の時点で、レリーズタイムラグＴ１と電荷蓄積時間Ｔ２は確定しているので、静止画像用生成用の画像信号の読み出しが開始される時刻ｔ７０２が確定する。そこで、その時刻から時間差Δｔ２となる時刻ｔ７０４もその時に同時に確定することができる。これらの情報を用いて、その時刻に第３の同期信号がアサートされるためには、基準同期信号がアサートされるｔ７０３から時間差Δｕ２だけ、第３の同期信号のアサートタイミングを変更すればよい。

ＣＰＵ１１０は時間差Δｕ２を求める計算を行い、時刻ｔ７００で、タイミングパルス生成回路１１１の設定を変更する。すると、第３の同期信号のアサートタイミングは時刻ｔ７０３から時間差Δｕ２だけ変更された時刻ｔ７０４に変更される。

静止画像撮影釦は押下され続けているので、１枚目の静止画像を撮影した時刻ｔ７０２から表示部１１４の更新レートの周期と同じだけ時間が経過した時刻ｔ７０５において２枚目の静止画像生成用の画像信号を読み出す。するとその画像は、そこから時間差Δｔ２だけ経過した時刻ｔ７０６から更新される表示部１１４のＬＶ画像として使用される。

上記のように各種タイミングを制御することによって、静止画像の連写中においても表示部１１４の表示レートを低下させることなく、連写を行うことができる。

なお、本実施形態では静止画像の撮影周期と表示部１１４の更新周期が同一となるように制御したが必ずしもこのように制御する必要はなく、静止画像の撮影周期が表示部１１４の更新周期の整数分の１となるような周期にしてもよい。このように制御することによって、表示部１１４の更新レートを超えて、静止画像の撮影コマ速を設定ことができる。

逆に、撮影した静止画像のすべてを記録する必要はない。電力の削減や処理負荷の軽減を目的として、撮影した静止画像のすべてを記録せず、間引いて記録してもよい。

更に、読み出した静止画像生成用の画像信号から、自動露出（ＡＥ）、自動焦点調節（ＡＦ）用の各種演算を行う場合でも、同様に、撮影された静止画像のすべてについて演算を行わず、間引いて各種演算を行ってもよい。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図８は、第３の実施形態に係る撮像システムの構成を示すブロック図である。なお、図１に示す構成と同様の構成には同じ参照番号を付し、説明を省略する。本実施形態では、外部装置７００を、図１に示された構成を有する撮像装置１に接続することで、撮像装置１と外部装置７００とが一体として動作することが可能な構成となっている。本実施形態では、そのような構成のうち、外部装置７００に対して同期信号を入力する構成をとることによって、外部装置７００と撮像装置１との間で同期を保つ例について説明する。

外部装置７００には、第２のＣＰＵ７０１が内蔵され、第２のＣＰＵ７０１とＣＰＵ１１０は接続されて通信を行うことで情報をやり取りする。第２のＣＰＵ７０１は、第３クロック７０３から出力される第３クロック信号ＣＬＫ３に基づいて動作する第２のタイミングパルス生成回路７０２に対して設定を行う。第２のタイミングパルス生成回路７０２は、タイミングパルス生成回路１１１から出力される基準同期信号を受信する。第２のタイミングパルス生成回路７０２には、第４同期信号生成回路７０４（以下、「第４ＳＳＧ」と呼ぶ。）が内蔵されている。そして、この第４ＳＳＧ７０４に、タイミングパルス生成回路１１１から出力される基準同期信号と、第３クロック７０３から出力される第３クロック信号ＣＬＫ３とが入力される。

第４ＳＳＧ７０４は、第３ＳＳＧ３０２と同様に、タイミングパルス生成回路１１１から出力される基準同期信号を受信すると、その受信から予め決められた時間経過後にカウンタをリセットする機能を有する。なお、ここでの予め決められた時間は０も含む。そのため、第１の実施形態において図４のタイミングチャートで解説した、第３の同期信号のアサートタイミングの変更方法と全く同様の方法で、第４ＳＳＧ７０４からの第４の同期信号のアサートタイミングを変更することができる。その機能を使用することで、静止画像の連写撮影中でも、外部装置７００はＬＶ画像の撮影に同期するように動作することができる。

動作部７０５は、第２のタイミングパルス生成回路７０２からのタイミングパルスと、第２のＣＰＵ７０１からの設定に基づいて動作する。ここで、動作部７０５の動作は、特定のものに限定されない。例えば、動作時間を記録するタイムレコーダー、音声を記録するマイク、光量を調節する照明装置、映像を記録する録画装置、撮影された画像を表示するための表示装置等、様々な機器が考えられる。また、これ以外のものでもよい。加えて、種々の動作を実現するために、実際には動作部７０５がさらにいくつかのブロックに分かれる構成であってもよい。

上記の通り第３の実施形態によれば、撮像装置１に接続された外部装置７００に内蔵されている第４ＳＳＧ７０４を制御することによって、画像の撮像が行われるタイミングに対して、外部装置７００の動作タイミングを一定に保つことができる。このように外部装置を動作させることによって、画像の取得が行われるタイミングに対する外部装置の動作タイミングが最適になるように、外部装置の動作タイミングを変更することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
図９は、第４の実施形態に係る撮像システムの構成を示すブロック図である。なお、図１に示す構成と同様の構成には同じ参照番号を付し、説明を省略する。本実施形態では、外部表示装置８００を、図１に示された構成を有する撮像装置１に接続することで、撮像装置１と外部表示装置８００が一体として動作することが可能な構成となっている。本実施形態では、そのような構成のうち、外部表示装置８００に対して同期信号を入力しない構成をとることによって、より単純な構成を実現した例を示す。

外部表示装置８００には、第３のＣＰＵ８０１が内蔵され、第３のＣＰＵ８０１とＣＰＵ１１０は接続され通信を行うことで情報をやり取りする。第３のＣＰＵ８０１は、第４クロック８０３から出力される第４クロック信号ＣＬＫ４に基づいて動作する第３のタイミングパルス生成回路８０２に対して設定を行う。第３のタイミングパルス生成回路８０２には、第５同期信号生成回路８０４（以下、「第５ＳＳＧ」と呼ぶ。）が内蔵されており、この第５ＳＳＧ８０４に第４クロック８０３から出力される第４クロック信号ＣＬＫ４が入力される。第５ＳＳＧ８０４は、基準ＳＳＧ３００がアサートする同期信号を受け付けないため、第５ＳＳＧ８０４が同期信号をアサートするタイミングと、基準ＳＳＧ３００が同期信号をアサートするタイミングの同期をとることはできない構成となっている。

第２表示部８０５は、第５ＳＳＧ８０４がアサートする同期信号と、第３のＣＰＵ８０１からの設定によって、撮像素子１０７から読み出された画像を表示する。このような構成においては、第５ＳＳＧ８０４が同期信号をアサートするタイミングは、静止画像撮影釦が押下されるタイミングと無関係になっていため、画像が表示されるタイミングも、静止画像撮影開始指示が通知されるタイミングとは無関係のタイミングとなる。

この時、外部表示装置８００の表示は静止画像撮影開始指示とは独立のタイミングとなるが、表示部１１４は上述した第１の実施形態で示した動作をさせることで、表示遅延を低減する。

以上、本実施形態で解説した方法によれば、撮像装置１と外部表示装置８００の接続信号線を減らすことができる。その結果、撮影者が直接見るファインダーにおいては表示遅延を低減しつつも、それ以外の外部モニタ等には簡素なシステムで画像を表示させることが可能となる。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：撮像装置、１０７：撮像素子、１０８：ＤＳＰ、１１０：ＣＰＵ、１１１：タイミングパルス生成回路、１１２：第１クロック、１１３：第２クロック、１１４：表示部、１１５：操作部、３００：基準同期信号生成回路、３０１：第２同期信号生成回路、３０２：第３同期信号生成回路

Claims (16)

1. 撮像素子から画像信号を読み出すタイミングを制御する第１の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第２の同期信号とを生成して出力する生成手段と、
   前記生成手段を制御する制御手段と、を有し、
   前記制御手段は、
   前記表示手段に逐次表示するための第１の画像信号を繰り返し読み出すための前記第１の同期信号と、前記第１の画像信号に基づく画像を前記表示手段に表示させるための前記第２の同期信号とが、予め決められた時間差をもって出力され、
   前記第１の画像信号の読み出しの間に、撮影指示に応じたタイミングで第２の画像信号を読み出す場合に、前記第２の画像信号の読み出しの前後で、前記時間差をもって前記第１の同期信号および前記第２の同期信号が出力される、ように前記生成手段を制御し、
   前記撮影指示が行われた場合に、前記第２の画像信号を読み出すための準備期間と、前記第２の画像信号の電荷蓄積時間とに基づいて、前記第１の同期信号および前記第２の同期信号を出力するタイミングをずらす
   ことを特徴とする制御装置。
2. 前記生成手段は、前記第１の同期信号および前記第２の同期信号を第１の周期を有する基準同期信号に基づいて生成し、
   前記制御手段は、前記第１の同期信号および前記第２の同期信号を出力する前記基準同期信号からの時間差を前記生成手段に指示する
   ことを特徴とする請求項１に記載の制御装置。
3. 撮像素子から画像信号を読み出すタイミングを制御する第１の同期信号と、読み出した画像信号に基づく画像を表示手段に表示するタイミングを制御する第２の同期信号とを生成して出力する生成手段と、
   前記生成手段を制御する制御手段と、を有し、
   前記制御手段は、
   前記表示手段に逐次表示するための第１の画像信号を繰り返し読み出すための前記第１の同期信号と、前記第１の画像信号に基づく画像を前記表示手段に表示させるための前記第２の同期信号とが、予め決められた時間差をもって出力され、
   前記第１の画像信号の読み出しの間に、撮影指示に応じたタイミングで第２の画像信号を読み出す場合に、前記第２の画像信号の読み出しの前後で、前記時間差をもって前記第１の同期信号および前記第２の同期信号が出力される、ように前記生成手段を制御し、
   前記撮影指示が行われ、前記撮影指示が行われてから所定時間が経過したタイミングで前記第２の画像信号を読み出すための電荷の蓄積を行う場合に、前記撮影指示が行われたタイミングに基づいて、前記第１の同期信号および前記第２の同期信号を出力するタイミングをずらす
   ことを特徴とする制御装置。
4. 前記第２の画像信号の読み出しが指示されていない場合、前記生成手段は、前記第１の同期信号および前記第２の同期信号を第２の周期で生成し、
   前記制御手段は、前記第２の画像信号を繰り返し読み出す場合に、前記第２の画像信号の２回目以降の読み出しタイミングを、１回目の前記第２の画像信号の読み出しタイミングから、前記第２の周期の整数倍のタイミングとするように前記生成手段を制御することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記第１の画像信号と前記第２の画像信号は、前記撮像素子から同じ読み出し方法により読み出されることを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記撮像素子から、前記第２の画像信号を、前記第１の画像信号より時間のかかる読み出し方法により読み出されることを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
7. 前記第１の画像信号は動画像の画像信号であることを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 記録媒体に記録する記録手段をさらに有し、
   前記記録手段は、前記第１の画像信号および前記第２の画像信号を記録することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記第２の画像信号は静止画像の画像信号であることを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 請求項１乃至９のいずれか１項に記載の制御装置と、
    撮像手段と
    を有することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置と、
    前記制御装置に接続され、前記制御装置と同期をとって、前記撮像素子から出力された画像信号を処理する処理手段を含む処理装置と
    を有することを特徴とする撮像システム。
12. 請求項１０に記載の撮像装置と、
    前記制御装置に接続され、前記制御装置と同期をとらずに、前記撮像素子から出力された画像信号を処理する処理手段を含む処理装置と
    を有することを特徴とする撮像システム。
13. 生成手段が、撮像素子から、表示手段に逐次表示するための第１の画像信号を繰り返し読み出すための第１の同期信号と、前記第１の画像信号に基づく画像を前記表示手段に表示させるための第２の同期信号とを、予め決められた時間差をもって生成して出力する第１の生成工程と、
    前記生成手段が、前記第１の画像信号の読み出しの間に、撮影指示に応じたタイミングで前記撮像素子から第２の画像信号を読み出す場合に、前記第２の画像信号の読み出し後、前記時間差をもって前記第１の同期信号および前記第２の同期信号を生成して出力する第２の生成工程と、を有し、
    前記第２の生成工程では、前記撮影指示が行われた場合に、前記第２の画像信号を読み出すための準備期間と、前記第２の画像信号の電荷蓄積時間とに基づいて、前記第１の同期信号および前記第２の同期信号を出力するタイミングをずらすことを特徴とする制御方法。
14. 生成手段が、撮像素子から、表示手段に逐次表示するための第１の画像信号を繰り返し読み出すための第１の同期信号と、前記第１の画像信号に基づく画像を前記表示手段に表示させるための第２の同期信号とを、予め決められた時間差をもって生成して出力する第１の生成工程と、
    前記生成手段が、前記第１の画像信号の読み出しの間に、撮影指示に応じたタイミングで前記撮像素子から第２の画像信号を読み出す場合に、前記第２の画像信号の読み出し後、前記時間差をもって前記第１の同期信号および前記第２の同期信号を生成して出力する第２の生成工程と、を有し、
    前記第２の生成工程では、前記撮影指示が行われ、前記撮影指示が行われてから所定時間が経過したタイミングで前記第２の画像信号を読み出すための電荷の蓄積を行う場合に、前記撮影指示が行われたタイミングに基づいて、前記第１の同期信号および前記第２の同期信号を出力するタイミングをずらすことを特徴とする制御方法。
15. コンピュータを、請求項１乃至９のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images