JP2006191288A - 撮像装置及び、制御方法 - Google Patents

Abstract

【課題】 焦点を合わせたい主被写体に焦点が合っているかを撮影準備或いは、焦点調節に連動した確認手段を提供し、ＴＴＬ方式のＡＦにおける合焦速度を高速維持する。
【解決手段】 撮像光学系からの入力被写体像を電気信号に変換する撮像手段と、撮像手段出力の所定領域の高域成分積分手段と、焦点調節手段と、複数の画像を生成して表示させる手段と、焦点調節の指示手段を有する撮像装置であって、撮像手段は被写界全体の画像を抽出する通常撮像手段と、所定領域近傍のみの画像を抽出する高速撮像手段とを備え、表示画像生成手段は、撮像手段の出力全体を使用した第一の画像と、所定領域近傍のみを使用した第二の画像とを生成し、指示手段の操作に応じて、第一の画像生成を中止し、高速撮像手段による撮像駆動に切り替えると共に撮像出力から高周波成分を積分すると共に、第二の画像を生成し、第二の画像を第一の画像に重ね合わせて表示させる。
【選択図】 図１

Description

本発明は、撮像素子の出力を利用した焦点調節を行う撮像装置及び、その制御方法に関する。

従来、撮影条件を決定する機能を有する撮像装置においては、レンズから絞り・シャッターを介して入射する被写界像を撮像素子に結像させ、撮像素子から得られる画像データ用いて被写体の焦点を調節するＴＴＬ（スルー・ザ・レンズ）方式の制御が行われている。撮像素子の出力を利用したＴＴＬ方式では、撮像素子の出力の特定領域における高域成分を積分することで被写体像のエッジ部分を抽出し、この積分出力に応じて焦点調節を行う。通常、積分を行う特定領域は、撮影画面の垂直方向にして全体の略２割の範囲であり、実際の積分は撮像素子出力単位で、レンズ位置が特定されるようにして行われる。そのため、主に焦点距離依存の被写界深度に応じて、焦点調節用のレンズ位置を変化させながらサンプリングを行い、最も出力値の大きいレンズ位置を合焦位置としている。通常、被写***置が特定されないので、被写界深度がオーバーラップするようにレンズ位置を変化させて、無限から至近に至るまでの積分出力をサンプリングする。こうしたアルゴリズムの中で、サンプリング時間が長いことは、撮像装置のブレや、被写体の動きに対して焦点調節が追従しないここに繋がる。そのため、サンプリング時間を短縮させる手段として、撮像素子の駆動を積分対象領域周辺のみを読み出すように駆動する方法が採られている場合がある。

更に、これらの電子カメラによれば、撮影前の画像を連続して表示して電子カメラの使用者が構図を決定することや、撮影した画像を再生表示して確認することが可能である。

又、別の従来例としては、例えば特許文献１と特許文献２をあげることが出来る。
特開２０００２−１２２７７８号公報 特開平０４−９６０２９号公報

このような従来の電子カメラ等の撮像装置において、焦点を合わせたい主被写体に焦点が合っているかを撮影準備或いは、焦点調節に連動して確認することができなかった。そのため微妙な焦点調節が必要な被写体においては、マニュアル・フォーカス等でＡＦ枠近傍の領域を拡大表示した画像で確認を行いながら使用者が焦点調節を行ってから撮影することが行われている。しかしながら、これらの操作は煩雑であり、使用者の使い勝手がよくない。

一方、ＴＴＬ方式のＡＦにおいて、撮像素子の駆動を略ＡＦ枠領域周辺のみを読み出すように駆動する場合、ＡＦ枠領域周辺以外の背景の画像を表示することができない。そのため、ＡＦ積分領域のみを駆動し、焦点調節を行っている間は、表示は更新されず焦点が合っているかを相対的に確認することが出来なかった。

本発明に係る画像処理装置に於いては、第一に、撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させるように構成する。

第二に、前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにするように構成する。

第三に、前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了するように構成する。

第四に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成するように構成する。

第五に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成し、更に略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開するように構成する。

第六に、前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成するように構成する。

第七に、前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出するように構成する。

第八に、前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なるように構成する。

本発明に係る画像処理装置制御方法に於いては、第一に、撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させるように制御する。

第二に、前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにするように制御する。

第三に、前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了するように制御する。

第四に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成するように制御する。

第五に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成し、更に略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開するように制御する。

第六に、前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成するように制御する。

第七に、前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出するように制御する。

第八に、前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なるように制御する。

上記手段により、第一に、主被写体の合焦状態が焦点調節動作に連動して確認できる。第二に、高速なＴＴＬ方式の焦点調節と主被写体の合焦状態確認の両立ができる。第三に、ＡＦ枠近傍の焦点確認表示の露出条件を最適化すると共に、表示の見え方を調節できる。第四に、使用者による主被写体の合焦状態確認を簡単な操作で実現できる。

以上の説明から容易に理解できるように、本発明によれば、第一に、撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させることを特徴とする撮像装置を提供することが可能となる。第二に、前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにすることを特徴とする撮像装置を提供することが可能となる。第三に、前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了することを特徴とする撮像装置を提供することが可能となる。第四に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成することを特徴とする撮像装置を提供することが可能となる。第五に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成し、更に略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開することを特徴とする撮像装置を提供することが可能となる。第六に、前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成することを特徴とする撮像装置を提供することが可能となる。第七に、前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出することを特徴とする撮像装置を提供することが可能となる。第八に、前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なることを特徴とする撮像装置を提供することが可能となる。

また、本発明に係る画像処理装置制御方法に於いては、第一に、撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させるように制御することを特徴とする撮像装置を提供することが可能となる。第二に、前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにするように制御することを特徴とする撮像装置を提供することが可能となる。第三に、前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了するように制御することを特徴とする撮像装置を提供することが可能となる。第四に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成するように制御することを特徴とする撮像装置を提供することが可能となる。

第五に、前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成し、更に略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開するように制御することを特徴とする撮像装置を提供することが可能となる。第六に、前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成するように制御することを特徴とする撮像装置を提供することが可能となる。

第七に、前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出するように制御することを特徴とする撮像装置を提供することが可能となる。第八に、前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なるように制御することを特徴とする撮像装置を提供することが可能となる。

上記手段により、第一に、主被写体の合焦状態が焦点調節動作に連動して確認できる。第二に、高速なＴＴＬ方式の焦点調節と主被写体の合焦状態確認の両立ができる。第三に、ＡＦ枠近傍の焦点確認表示の露出条件を最適化すると共に、表示の見え方を調節できる。第四に、使用者による主被写体の合焦状態確認を簡単な操作で実現できる。また同様にして、マニュアル・フォーカスをアシストする機能として転用することも可能である。

図１は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置、１１０は変倍系レンズ群、１１１は合焦系レンズ群、１１２は光路を開閉するシャッター、１１３は光量を調節する絞り、１１４は光学像を電気信号に変換する撮像素子、１１５は撮像素子１１４を駆動及び、サンプリングに必要なタイミングパルスを発生するタイミング発生器、１１６は撮像素子１１４の出力をタイミング発生器１１５のタイミングパルスに基づいて二重相関サンプリングを行う素子、１１７は二重相関サンプリング素子出力を量子化するＡ／Ｄ変換器、１１８は量子化された信号をデジタル変換し、信号処理クロックにデータを載せ換えると共に、後段への出力選択を行う前処理回路、１１９は画像信号の輝度成分を指定領域毎に積分を行う輝度積分回路、１２０は輝度成分からフィルタリングされた高周波成分の抽出回路、１２１は前段で決定した画像処理パラメータに基づいて、所定の画素補間処理や色変換処理を行う画像処理回路である。また、１３０はシャッター１１２及び、絞り１１３を制御する露出制御回路、１３１はレンズ群を駆動するレンズ駆動回路である。１５０はプログラム記憶領域、主記憶領域等から成るシステム制御回路群である。また、１２２は画像処理部の後段に配置され、生成された画像を画像メモリに転送するメモリ制御回路、１２３は表示用画像を格納する画像表示メモリ、１２４は再生用の画像処理を行う再生画像処理回路、１２５は再生画像処理の出力を画像表示装置入力に変換するＤ／Ａ器、１２６は画像表示装置である。

１４０、１４１及び、１４２は、システム制御回路１５０の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

本実施例においては、１４０はＡＦ（オート・フォーカス）とＭＦ（マニュアル・フォーカス）とを切り替えるトグルスイッチで、スイッチを押下する毎にシステム制御回路１５０が動作を切り替える。

１４１はダブルアクションのレリーズ・スイッチで、不図示ではあるが押下操作に応じて二つのスイッチが順次ＯＮされるように構成されている。第一のスイッチ（以後ＳＷ１）がＯＮとなると、ＡＦ（オート・フォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オート・ホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。また、第二のスイッチ（以後ＳＷ２）がＯＮになると、本撮影動作を行う指示となる。

１４２はＭＦＡ（マニュアル・フォーカス・アシスト）スイッチであり、トグルスイッチ１４０によってＭＦが指示されている場合に、ＡＦを行って焦点調節を補助する。この機能により、大まかな焦点調節を行わせ、マニュアルで焦点調節が微調整のみにできる。

また不図示ではあるが、システム制御回路１５０には、焦点調節を行わせるためのジョグダイヤルが装備され、回転方向に応じて合焦系レンズ群１１１を駆動する。

その他、各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

図２は撮像素子１１４の駆動を決定するフィールド・パターンを生成するフローチャートである。また、図３〜図６は生成されるフィールド・パターンの構成タイムチャート、図７はフィールド・データの更新を行うブロック図である。

これらの図を用いて撮像素子１１４の駆動切り替えを説明する。本実施例においては、２つの駆動方式をサポートする。一つは、画面全体を抽出する通常撮像駆動とし、もう一つは画面の垂直方向の一部を抽出する高速撮像駆動とする。通常撮像駆動は、画像表示装置１２６に画角全体の画像を表示し、ビューファインダとして使用する場合や露出条件を決定する際のＴＴＬ測光を行う場合更には、ＴＴＬＡＦに用いられる。また、高速撮像駆動は、静止画撮影準備におけるＴＴＬＡＦ及び、本実施例のＡＦ枠近傍の拡大表示に用いられる。

撮像駆動切り替えが指示されると、高速転送を行うかを動作条件に応じて判定し（Ｓ１０１）、高速転送を行うと判定された場合には、出力領域のスタートラインを導出する（Ｓ１０２）。出力領域のスタートラインは、使用者が予め画像表示装置１２６に表示される画像と同時に表示されるＧＵＩによって決定したＡＦ枠に基づき導出される。ＧＵＩ座標は通常表示画像サイズを１００％とした座標となっており、撮像素子１１４のライン数に変換し直す必要がある。出力領域の開始ラインは、まず撮像素子１１４の表示画像として使用される領域における開始ラインを表示画像サイズと撮像素子１１４の表示画像として使用される領域のサイズから比率計算で求め、次に撮像素子１１４の表示画像として使用される領域の同期信号とのオフセット量から駆動信号における開始ラインを求める。

出力領域の開始ラインが決定したら、出力領域のライン数とその他のライン数を全体のライン数から減算して求められるライン数を高速転送期間とする。高速転送期間では、撮像素子１１４の水平転送のみを行うフィールドに設定する。

図４〜図６は高速転送期間がある高速撮像駆動のフィールド・パターンを描写したタイムチャートである。図４では画面中央の抽出が行われ、ＡＦ枠が画面上部に移動されれば、図５のようなパターンになり、ＡＦ枠が画面下部に移動されれば、図６のようなパターンが生成される。

図４〜図６における斜線部は高速転送期間である。この期間は、通常転送期間より水平期間の長さが短く、その長さは撮像素子１１４の水平転送能力に依存して変化する。また、高速転送期間における水平期間の長さは、通常転送期間の長さの整数倍になるように構成する。

本実施例における撮像素子１１４の能力は通常転送期間に４ライン分の水平転送が可能とする。したがって、出力領域の上下にある高速転送期間を増減させる単位は、この場合４ライン単位となる。出力領域を１ライン単位で変化させるには、ＡＦ枠として使用する通常転送のラインの前後には撮像素子１１４の能力によって決定するマージン（ここでは４）ラインを上下に配置すると共に、出力ウィンドウをずらすことを併用して実現する。

具体的には画面中央を基準として、出力ウィンドウを１ライン単位でシフトさせ、撮像素子１１４の能力によって決定する（ここでは４）ライン単位で出力領域上下の高速転送期間を増減させる。例えば、画面中央から上下３ラインまでずらすところまでは、フィールド・パターンは変化せず、マージンライン内で出力ウィンドウがシフトされる。

フィールド・パターンの設定は、まず後段への出力を停止し（Ｓ１０９）、先に説明した高速転送期間の導出演算を行い（Ｓ１１０）、求められたフィールド・データを設定し（Ｓ１１１）、フィールド・データを更新する（Ｓ１１２）。

フィールド・パターンはタイミング発生器１１５から出力される。フィールド・データは、システム制御回路から設定される。設定されたフィールド・データに基づいてデコードされて出力される。タイミング発生器１１５のデータ更新は概ね図７に示したような構成で実現される。システム制御回路１５０はレジスタ１１５ｄに設定を行う。タイミング発生器１１５のレジスタ設定値は、更新許可レジスタ１１５ａを設定した後、強制設定レジスタ１１５ｃを設定することによってデコーダ１１５ｅに反映させる。また、フィールド・パターンの特定のタイミングで自動的に更新させることもできる。ここでは、撮像素子１１４の垂直転送タイミングレジスタ１１５ｂで実現する。

通常撮像駆動の場合のフィールド・パターンは単純であり、高速転送期間以外の説明は上記説明と同じであるため割愛する。

フィールド・パターンの設定が終わると出力領域の出力開始ラインによって変化する撮像素子１１４のカラーフィルタ配列が異なるため、出力領域に応じたカラーマトリックスの設定を行う（Ｓ１０４）。また、カラーマトリックスに応じた各色のゲイン設定を補正する（Ｓ１０５）。これらの処理を行うことによって、輝度高周波抽出回路１２０における輝度抽出が安定して行うことが可能となる。

更に先に説明した通り出力ウィンドウを切り替え（Ｓ１０６）、後段出力を開始する（Ｓ１０７）。

図８は、撮像素子１１４の出力を利用した相対的フィードバック測光方式の自動露出制御のフローチャートを示している。自動露出制御は、システム制御回路１５０のプログラム領域に記憶されたプログラムによって行われる。

プログラムは被写体輝度（Ｂｖ）値を測光する測光部、Ｂｖ値と撮像感度（Ｓｖ）値から露出制御値を一義的に導き出すプログラム線図部及び、プログラム線図から導き出された露出制御値、即ち絞り制御（Ａｖ）値、シャッター速度（Ｔｖ）値をサブシステムの各制御手段に引き渡して撮像素子に入射する光量を調節する露出制御部から成る。絞り制御やシャッター速度制御は、導き出されたＡｖ値、Ｔｖ値をそれぞれが制御するデバイスに依存した実制御データに換算して制御を行う。尚、各デバイス依存の制御データ及び、制御方法の詳細については省略する。

画像処理部の輝度積分回路１１９は、露光期間の直後の垂直転送期間に撮像素子１１４から読み出される電荷信号をＣＤＳ素子１１６及び、Ａ／Ｄ変換器１１７を介して画素単位で逐次読み込み、システム制御回路１５０が予め設定した積分領域を分割した領域毎に光束積分を行う。

では、図８のフォローチャートに沿って、自動露出制御の流れを説明する。まず、自動露出制御の露出制御部は、測光部を起動して輝度積分を開始する（Ｓ８０１）。続いて自動露出制御の初期露出駆動を行って（Ｓ８０２）定常状態に入る。定常状態においては、測光部が輝度積分回路からの積分完了を待ち（Ｓ８０３）、積分結果が得られたら、被写体輝度の評価演算を行って被写体輝度を導出する（Ｓ８０４）。適正露出であるかを判定し（Ｓ８０５）、訂正露出でなければ求められた被写体輝度をプログラム線図に入力し、目標露出制御値を演算して求め、露出制御を行う（Ｓ８０６）。

図９は自動焦点調節制御のフローチャートである。自動焦点調節制御は、システム制御回路１５０のプログラム領域に記憶されたプログラムによって行われる。

プログラムはレンズ１１１を駆動するレンズ制御部、被写体の合焦評価値を測定する評価部とから成り、撮像素子１１４の露光単位でレンズ位置を移動させながらレンズ位置に評価値を対応付ける。被写界深度に応じたレンズのスキャン範囲でデータのサンプリングを行って、一定のアルゴリズムで最終的なレンズ位置を決定する。

まず、レンズ１１１をリセットし初期位置へ移動し（Ｓ９０１）、露光カウント値（Ｎ）と焦点評価値カウント（Ｍ）を初期化する（Ｓ９０２）。次に焦点距離に応じたサンプリング数を決定し、サンプリング総数と通常撮像駆動時の駆動レートによるサンプリング総時間を求める（Ｓ９０３）。サンプリング総時間が所定時間内であれば通常撮像駆動に設定し（Ｓ９０５）、所定時間以上であれば高速撮像駆動に設定する（Ｓ９０６）。

撮像駆動が確定してＡＦ動作が開始されると、レンズ１１１をスキャン開始位置に相当する第１ステップに移動する（Ｓ９０７）。

次にスキャン開始位置である第１ステップにおいて撮像素子１１４の露光完了を待つ（Ｓ９０８）。露光が完了したら、露光カウントをインクリメントし（Ｓ９０９）、露光カウント値がサンプリング総数値以下ならば（Ｓ９１０）、第２のステップにレンズを移動させて（Ｓ９１１）、第２の露光期間中に読み出される画像データを輝度の高周波成分の抽出を行う（Ｓ９１２）。また、得られた焦点評価値とレンズ２１１の位置との対応を記憶し（Ｓ９１３）、焦点評価値カウントをインクリメントし（Ｓ９１４）、第２の露光を待つ（Ｓ９０８）。このようにして、焦点評価値がサンプリング総数揃うまでを繰り返し行う（Ｓ９１５）。そして、全サンプリングが完了した時点で、焦点評価値の最も出力の大きいレンズ位置に移動して終了する。

図１０では表示用画像の生成と表示画像の切り替えを示したフローチャートである。表示画像生成制御と表示制御は、システム制御回路１５０のプログラム領域に記憶されたプログラムによって行われる。

プログラムは、表示画像生成部、画像表示部とから成る。画像表示部は表示するためのメモリを管理し、表示画像生成部にメモリを引き渡し、生成が完了した画像を表示する。またそれまで表示に使用していたメモリを表示画像生成部に戻す一連の処理を繰り返して連続画像表示を実現する。ここでは、表示用画像に必要な領域の３枚分を確保することとする。また、画面内の任意領域の画像を切り出して生成するためのメモリ領域を前記３枚分の領域とは独立して確保する。こちらも３枚分確保する。

表示画像生成部は、撮像素子１１４から逐次入力される画像から有効領域を抽出し、画像処理部の画像処理回路１２１に入力して再生画像処理回路１２４に応じたＹＵＶデータ或いは、ＲＧＢデータに変換する。信号処理を行う際には、入力される有効領域によって変化する入力画像のカラーフィルタ配列に応じてカラーマトリックスの設定を行う。また、カラーマトリックスに応じた各色のゲイン設定、画素補間処理や色変換処理を行う。

更に、入力される有効領域の画像データから特定の領域を抽出するもう一つの抽出ウィンドウ回路を備え、先の撮像駆動において説明した、ＧＵＩによって決定したＡＦ枠に基づいて抽出ウィンドウを決定する。ＧＵＩ座標から入力される有効領域画像データにおけるライン数に変換し、対応した色変換処理を行い全体画像とは異なる領域の表示画像を生成する。

また、画像処理回路１２１は複数のラインメモリを備えて上記画像処理に用いると共に、拡大した画像を生成することができる。拡大画像を生成する際には、複数のラインをラインメモリに保持し、拡大率に応じて各画素を補間し、所定のゲインとフィルタ処理を掛けて生成する。

画像表示部には、全体画像表示データの転送期間内の予め設定した所定アドレスにて全体画像とは異なる前記任意の切り出し画像に切り替えることができる。メモリ制御回路１２２ではスタートアドレスと切り出し画像の垂直及び、水平方向のサイズを指定することにより、指定アドレスから水平サイズ期間切り出し画像を再生画像処理回路１２４に転送を行う。表示される画像は、図１３のような形で、異なる画像が同一表示期間に重なって表示される。

フローチャートを用いてプログラムの流れを説明する。

表示用画像生成部は、生成した表示用画像を転送する画像表示用メモリ１２３を獲得する（Ｓ１００１）。獲得した画像表示用メモリ１２３を画像処理回路１２１の出力として接続することによって、前処理回路１１８を介して撮像部から量子化された画像データが画像処理回路１２１によってＹＵＶ若しくは、ＲＢＧデータに変換され（Ｓ１００２）、メモリ制御部１２２によって転送される。変換が完了しメモリ制御部１２２によって画像表示メモリ１２３に転送が完了すると（Ｓ１００３）、表示画像生成部は画像表示メモリを画像表示部に引き渡す（Ｓ１００４）。

画像表示部は引き渡された画像表示メモリを再生画像処理回路１２４に接続し、画像表示用メモリ１２３から順次画像データを表示用画像に変換し、所定のタイミング即ち、映像のブランキング期間において表示部への転送画像を切り替え（Ｓ１００５）、それまでに表示していた画像が格納された画像表示メモリ１２３を表示画像生成部に返還する（Ｓ１００６）。表示用画像のフォーマットはＲＢＧ、Ｙ／Ｃ、Ｙ色差等の何れでもよい。

（第一の実施例）
高速転送による高速撮像駆動で行う場合の撮像装置の流れを説明する。

図１１は高速撮像駆動でＡＦが行われる場合のフローチャートである。
まず、レリーズ・スイッチ１４１のＳＷ１がＯＮされると（Ｓ１１０１）、図８で説明した自動露出制御を行う。これは、この後に行う自動焦点調節制御に最適な露出制御を行うことが目的となる。

露出制御が完了すると図９で説明した自動焦点調節制御の前半（Ｓ９０１乃至Ｓ９０４）が行われる。自動焦点調節制御の判定結果、高速撮像駆動で行うと判定された場合には、まず、それまでに自動更新されてライブ画像として表示していた画角全体の画像生成を停止する。表示画像の生成が中止されると、自動的に表示される画像の更新が停止する。画像表示部は引き渡されている画像を表示し続ける。

表示画像の生成を停止した後、図２で説明した撮像駆動切り替えが行われる。撮像出力は、先に説明した通り、高速転送駆動ではＡＦ枠近傍の出力に限定され後段の回路に出力される。撮像出力の切り替えに並行して、表示画像生成部は撮像出力からＡＦ枠近傍の切出し表示画像を生成し、縦横約２倍に拡大してメモリに転送する。画像表示部は、撮像出力に連動して逐次引き渡される切出し表示画像を先に停止した画角全体画像に重なるようにメモリからの読み出し転送アドレスを切り替えながら表示を行う（Ｓ１１０６）。

切出し表示画像の処理と並行して、自動焦点調節制御の後半（Ｓ９０５乃至Ｓ９１５）が行われる（Ｓ１１０５）。焦点調節が行われる間、ＡＦ枠近傍の画像が拡大されて表示され、焦点調節におけるレンズ１１１の位置に応じた焦点状態がライブ画像で表示される。尚、切出し表示画像の生成は、画角全体画像の生成よりもエッジが強調されるようにフィルタ処理を行い、焦点調節の効果を見えやすくする。また、切出し表示画像の露出条件を画角全体画像と変化させることによって、切出し表示画像の境界を強調させる。境界の強調は、画像処理における色変換処理のゲインを補正することによって行うことも可能である。

自動焦点調節画像が終了すると、切出し表示画像の生成を停止すると共に、画像表示部の切出し画像表示を停止し、全体表示画像のみに戻す（Ｓ１１０７）。その後、通常転送駆動に切り替えて、画角全体画像のライブ表示を再開する（Ｓ１１０８）。そして再度画角全体画像用の自動露出制御を行う（Ｓ１１０９）。

（第二の実施例）
通常転送による通常撮像駆動で行う場合の撮像装置の流れを説明する。

図１２は通常撮像駆動でＡＦが行われる場合のフローチャートである。

自動焦点調節制御のための自動露出制御まで（Ｓ１２０１乃至Ｓ１２０３）は高速転送時と同様である。自動焦点調節の前半（Ｓ９０１乃至Ｓ９０４）における判定の結果、通常転送駆動での焦点調節を行うと判断される（Ｓ１２０３）。この場合には画角全体の表示はそのまま更新し続ける。自動焦点調節制御の後半（Ｓ９０５乃至Ｓ９１５）に並行して、先に説明したようにして撮像出力の内、ＡＦ枠近傍の画像のみを独立ウィンドウで切り出して拡大された切出し画像を生成し、画角全体画像に重ね合わせて表示を行う（Ｓ１２０５）。

自動焦点調節画像が終了すると、切出し表示画像の生成を停止すると共に、画像表示部の切出し画像表示を停止し、全体表示画像のみに戻す（Ｓ１２０６）。その後、再度画角全体画像用の自動露出制御を行う（Ｓ１２０７）。

第二の実施例では、撮影準備における焦点調節で説明したが、マニュアル・フォーカス時のマニュアルでフォーカスさせる前に概ね焦点を合わせるためのアシスト機能を行わせる際にも同様のフローが採られる。即ち、レリーズ・スイッチ１４１がマニュアル・フォーカス・アシスト機能を実現するためのＭＦＡスイッチ１４２に変わるだけである。

上記説明では、通常転送駆動であるため、画角全体画像表示の更新も行ったが、第一の実施例と同様にして、画面全体画像の生成を停止し、表示の更新を停止することも可能である。焦点を合わせたい画像に応じて使用者に選択させるように構成しても良い。

本発明の一実施例の構成ブロック図。 本実施例の撮像駆動切り替えのフローチャート。 本実施例の通常転送の撮像駆動状態を示すタイミングチャート。 本実施例の高速転送の撮像駆動状態を示す第一のタイミングチャート。 本実施例の高速転送の撮像駆動状態を示す第二のタイミングチャート。 本実施例の高速転送の撮像駆動状態を示す第三のタイミングチャート。 本実施例のフィールド・データを更新するブロック図。 本実施例の自動露出制御を示すフローチャート。 本実施例の自動焦点調節制御を示すフローチャート。 本実施例の表示用画像生成を示すフローチャート。 本実施例の高速焦点調節時の撮影準備を示すフローチャート。 本実施例の通常焦点調節時の撮影準備を示すフローチャート。 本実施例の画角全体表示と切出し表示。

符号の説明

１１１ レンズ
１１４ 撮像素子
１１５ タイミング発生回路
１２１ 画像処理回路
１２２ メモリ制御回路
１２３ 画像表示メモリ
１２５ Ｄ／Ａ変換器
１５０ システム制御回路
１４１ レリーズ・スイッチ
１４２ ＭＦＡスイッチ

Claims (16)

1. 撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、
   前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させることを特徴とする撮像装置。
2. 前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにすることを特徴とする請求項第一項記載の撮像装置。
3. 前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了することを特徴とする請求項第一項乃至第二項記載の撮像装置。
4. 前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成することを特徴とする請求項第一項記載の撮像装置。
5. 前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開することを特徴とする請求項第四項記載の撮像装置。
6. 前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成することを特徴とする請求項第一項乃至第五項記載の撮像装置。
7. 前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出することを特徴とする請求項第一項乃至第六項記載の撮像装置。
8. 前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なるように制御することを特徴とする請求項第四項乃至第七項記載の撮像装置。
9. 撮像光学系から入力された被写体像を電気信号に変換する撮像手段と、該撮像手段出力の所定領域の高域成分を積分する積分手段と、該積分手段の出力に基づいて焦点調節を行う焦点調節手段と、該撮像手段出力から複数の表示画像が生成可能な表示画像生成手段と、該表示画像生成手段の出力を表示装置に表示させる画像表示手段と、焦点調節を指示する指示手段を有する撮像装置であって、
   前記表示画像生成手段は、前記撮像手段の出力全体を使用した第一の画像と、前記所定領域近傍のみを使用した第二の画像とを生成し、前記指示手段の操作に応じて第二の画像を第一の画像に重ね合わせて表示させることを特徴とする撮像装置制御方法。
10. 前記撮像手段は、前記指示手段の操作に応じて第一の画像生成を中止し、第一の画像の表示が更新されないようにすることを特徴とする請求項第九項記載の撮像装置制御方法。
11. 前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了することを特徴とする請求項第九項乃至第十項記載の撮像装置制御方法。
12. 前記撮像手段は、被写界全体の画像を抽出する通常撮像手段と、前記所定領域近傍のみの画像を抽出する高速撮像手段とを備え、前記指示手段の操作に応じて第一の画像生成を中止し、前記高速撮像手段出力から高周波成分を積分すると共に、第二の画像を生成することを特徴とする請求項第九項記載の撮像装置制御方法。
13. 前記撮像装置は、略焦点調節期間終了に応じて、第二の画像表示を終了し、前記通常撮像手段出力から第一の画像を生成再開することを特徴とする請求項第十二項記載の撮像装置制御方法。
14. 前記表示画像生成手段は入力画像を拡大する手段を備え、前記第二の画像を拡大生成することを特徴とする請求項第九項乃至第十三項記載の撮像装置制御方法。
15. 前記撮像装置は、前記所定領域を指定する積分領域指定手段を備え、前記高速撮像手段は、該積分領域指定手段によって指示された領域の画像を抽出することを特徴とする請求項第九項乃至第十四項記載の撮像装置制御方法。
16. 前記撮像装置は、前記撮像手段に到達する光量を調節する手段と、撮像手段に蓄積する時間を調節する手段とを備え、指示手段が操作される前後において第一の画像と第二の画像との露出条件が異なるように制御することを特徴とする請求項第十二項乃至第十五項記載の撮像装置制御方法。

Images