JP2023070454A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 フォーカシングによって生じる画角変化を無くすための機能を発動及び停止した際に生じる、画角変化の有無を判定すること。【解決手段】 レンズ装置の像倍率補正に関する第１の情報を記憶する記憶手段と、前記レンズ装置に関する、フォーカスレンズの位置および焦点距離を含む第２の情報とを取得する第１の取得手段と、撮影条件を取得する第２の取得手段と、前記第１の情報と、前記第２の情報と、前記撮影条件とに基づいて、前記フォーカスレンズの位置の変化に伴う画角の変化を補正するための画角補正値を求める算出手段と、前記撮影条件を用いて撮影を行って得られた画像データを、前記画角補正値により補正する補正処理を行う画像処理手段と、前記第１の情報と、前記第２の情報とに基づいて、前記画像処理手段による前記補正処理の発動時および停止時に画角変化が生じるか否かを判定する判定手段とを有する。【選択図】 図１

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、光学系を通して撮像された画像の高画質化技術に関する。

従来、フォーカスレンズ駆動時の画角変化を補正する撮像装置における、高画質化技術に関する開発がなされている。例えば、フォーカスレンズの移動に伴う画角の変動を、電子ズームを用いて高精度且つ迅速に補正する技術が、特許文献１に開示されている。また、特許文献２には、フォーカシングによって画角変化が生ずるレンズを用いても、一定の画角となるように被写体像信号に対してトリミング処理を行うことにより、違和感の無い動画像を取得するデジタルカメラが開示されている。

特開平１１－２３９４９号公報 特開２００８－４２４０５号公報

特許文献１及び２におけるフォーカシングによる画角変化のない画像を取得するための画角補正機能は、画像信号を処理することにより実現されている。そのため、例えば、被写体までの距離が変化しているときに画角補正機能を発動してフォーカシングを行うと、画像の解像度が変化してしまうため、被写体が停止したときに、画角補正機能を停止することで解像度を元に戻したい場合があることが考えられる。

しかしながら、特許文献１及び２に開示された技術では、画角補正機能を発動及び停止した際に、意図せず急激な画角変化が生じることがあると共に、画角変化が生じることを事前に認知することができないという課題があった。特に、動画像の撮影中に意図しない急激な画角変化が生じると、得られた動画像の画質が劣化してしまう。

本発明は上記問題点を鑑みてなされたものであり、フォーカシングによって生じる画角変化を無くすための機能を発動及び停止した際に生じる、画角変化の有無を判定することを目的とする。

上記目的を達せするために、本発明の画像処理装置は、レンズ装置の像倍率補正に関する第１の情報を記憶する記憶手段と、前記レンズ装置に関する、フォーカスレンズの位置および焦点距離を含む第２の情報とを取得する第１の取得手段と、撮影条件を取得する第２の取得手段と、前記第１の情報と、前記第２の情報と、前記撮影条件とに基づいて、前記フォーカスレンズの位置の変化に伴う画角の変化を補正するための画角補正値を求める算出手段と、前記撮影条件を用いて撮影を行って得られた画像データを、前記画角補正値により補正する補正処理を行う画像処理手段と、前記第１の情報と、前記第２の情報とに基づいて、前記画像処理手段による前記補正処理の発動時および停止時に画角変化が生じるか否かを判定する判定手段とを有する。

本発明によれば、フォーカシングによって生じる画角変化を無くすための機能を発動及び停止した際に生じる、画角変化の有無を判定することができる。

本発明の第１の実施形態における撮像システムの概略攻勢を示すブロック図。 第１の実施形態におけるフォーカスレンズの位置と像倍率補正拡大率との関係の一例を示す図。 第１の実施形態におけるフォーカスレンズの位置と像倍率補正拡大率との関係の一例を示す図。 第１の実施形態における動画像撮影時の動作を示すフローチャート。 第１の実施形態における画角変化判定結果の表示例を示す図。 第２の実施形態における画角変化発生領域の表示例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の実施形態に係る、レンズ装置及び撮像装置からなる撮像システムの概略構成を示すブロック図である。なお、本実施形態では、図１に示すように、撮像装置１００には、レンズマウント部１８０を介して、レンズ装置１５０が着脱可能に装着される場合について説明するが、レンズ装置１５０と撮像装置１００とを一体的に構成してもよい。

まず、撮像装置１００内の構成について説明する。
撮像素子１０２には、例えばＣＣＤセンサやＣＭＯＳセンサ等が用いられ、レンズ装置１５０によって結像された被写体像を電気信号に変換する。後述するジャイロセンサ１１８により検出された振れのデータや、フレーム画像間の動きベクトル等に基づいて、イメージャー防振制御部１０９により撮像素子１０２をレンズ装置１５０の光軸に直交する面で駆動することで、イメージャー防振を行うことができる。

画像生成部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換して画像データを生成する。生成された画像データは、メモリ制御部１０５及び画像処理部１４０へ入力される。メモリ制御部１０５は、画像生成部１０３、タイミング発生部１０４、画像表示部１０６、メモリ１０７、記録部１０８及び画像処理部１４０を制御する。画像生成部１０３から出力される画像データは、画像処理部１４０及びメモリ制御部１０５を介して、メモリ１０７及び記録部１０８に書き込まれる。

タイミング発生部１０４は、撮像素子１０２、画像生成部１０３、メモリ制御部１０５、システム制御部１３０及び画像処理部１４０に、クロック信号及び同期信号を供給する。

画像表示部１０６は、液晶ディスプレイや有機ＥＬ等を用いて構成され、撮像素子１０２により撮像して得た画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現する。また、画像表示部１０６は、画像再生時に、メモリ１０７及び記録部１０８に記録された画像を表示する。更に、画像表示部１０６は、ユーザーへ操作情報や撮影情報の表示等を行う。

メモリ１０７は、撮影された静止画像や動画像を格納すると共に、システム制御部１３０の作業領域としても使用される。また、メモリ１０７は、レンズ装置１５０との通信により得られた、光学収差補正に関するデータ、像倍率補正に関するデータを保存する。なお、レンズ装置１５０の光学収差補正に関するデータ、像倍率補正に関するデータは、レンズ装置１５０からではなく、不図示の外部通信用インターフェースを介して、外部から取得しても良い。あるいは、メモリ１０７に、予めレンズ装置１５０の光学収差補正に関する設計データ、像倍率補正に関する設計データ等を記憶させておいても良い。

記録部１０８は、撮像装置１００内に搭載された、もしくは撮像装置１００より取り外しが可能な形態の不揮発性メモリで構成され、撮影した静止画像や動画像を格納する。

シャッター制御部１１０は、システム制御部１３０からの制御信号に基づいて、シャッター１０１の駆動を制御する。シャッタースイッチ１１５は、不図示のレリーズボタンの途中操作（例えば半押し）でオンとなるスイッチ（以下、「ＳＷ１」と記す。）であり、ユーザーの操作に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始をシステム制御部１３０に指示する信号を発生する。シャッタースイッチ１１６は、不図示のレリーズボタンの操作完了（例えば全押し）でオンとなるスイッチ（以下、「ＳＷ２」と記す。）であり、ユーザーの操作に応じて、露光開始をシステム制御部１３０に指示する信号を発生する。

露光開始の指示を受けたシステム制御部１３０は、撮像素子１０２、メモリ制御部１０５、シャッター制御部１１０及び、Ｉ／Ｆ１２０を介してレンズ装置１５０を制御して、記録部１０８に画像データを記録する処理を実施する。

カメラ操作部材１１７は、動画記録開始／終了ボタン、像倍率補正ＯＮ／ＯＦＦボタン１１７ａ等の各種ボタンやタッチパネル、電源ＯＮ／ＯＦＦボタン等から構成され、ユーザー操作により受け付けた指示をシステム制御部１３０に出力する。像倍率補正ＯＮ／ＯＦＦボタン１１７ａは、後述する像倍率補正処理のＯＮ／ＯＦＦを指示するために用いられる。像倍率補正ＯＮ／ＯＦＦボタン１１７ａは、機械式のハードボタンで構成しても、例えば、図５に示すように画像表示部１０６の表示画面５０１にＯＮ／ＯＦＦのソフトボタン５１０、５１１として構成しても、ハードボタンとソフトボタンを組み合わせても良く、動画像の撮影中にＯＮ／ＯＦＦ操作が可能な構成であればよい。カメラ操作部材１１７のユーザー操作に従い、システム制御部１３０は撮像装置１００に搭載された各種機能の切り替え等を実施する。

ジャイロセンサ１１８は、撮像装置１００の姿勢情報を生成するとともに、撮像装置１００の振れを示す振れ信号をシステム制御部１３０に送信する。システム制御部１３０は、振れ信号に基づいてイメージャー防振制御部１０９を制御することにより、イメージャー防振を行うことができる。

Ｉ／Ｆ（インターフェース）１２０は、コネクタ１９０を介して、撮像装置１００内のシステム制御部１３０とレンズ装置１５０内のレンズ制御部１６０との間で電気信号を用いた通信を実施する。これにより、撮像装置１００は、レンズ装置１５０の情報やレンズ装置１５０への制御命令等を送受信する。

システム制御部１３０は、撮像装置１００の種々の制御を司るカメラ内ＣＰＵである。システム制御部１３０は、ＳＷ１、ＳＷ２、メモリ制御部１０５及びカメラ操作部材１１７等からの入力に従い、レンズ装置１５０及び撮像装置１００からなるシステム全体を制御する。

ＡＦ制御部１３１は、システム制御部１３０内に搭載されており、ＡＦ処理を司る。ＡＦ処理では、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られるフォーカスレンズ１５１の位置や焦点距離等のレンズ情報と、撮像装置１００内で得られるＡＦ評価値とから、フォーカスレンズ駆動量を演算する。フォーカスレンズ駆動量は、レンズ通信制御部１３３及びＩ／Ｆ１２０を介して、レンズ装置１５０に入力される。

ＡＥ制御部１３２は、システム制御部１３０内に搭載されており、ＡＥ処理を司る。ＡＥ処理では、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られる開放Ｆ値や焦点距離等のレンズ情報と、撮像装置１００内で得られるＡＥ評価値とから、露出制御量（絞り１５３の絞り制御量、シャッター１０１のシャッター制御量、露光感度（撮像素子１０２のゲイン）等）を演算する。得られた絞り制御量は、レンズ通信制御部１３３及びＩ／Ｆ１２０を介してレンズ装置１５０に入力される。また、シャッター制御量は、シャッター制御部１１０に入力され、露光感度は、撮像素子１０２に入力される。

レンズ通信制御部１３３は、システム制御部１３０内に搭載されており、撮像装置１００とレンズ装置１５０との通信処理を司る。Ｉ／Ｆ１２０を介してレンズ装置１５０が装着されたことを検知すると、撮像装置１００とレンズ装置１５０は通信を開始する。例えば、撮像装置１００が情報要求信号を送信すると、レンズ装置１５０は後述する図５のフローに従い、レンズ装置１５０に関するレンズ情報を撮像装置１００に送信する。

撮像装置１００とレンズ装置１５０は、任意のタイミングで通信を行うが、任意のタイミング以外にも、タイミング発生部１０４から出力された撮像同期信号に基づくタイミングで通信してもよい。撮像同期信号通信モードでは、レンズ装置１５０は、タイミング発生部１０４から撮像同期信号が入力されると、撮像同期信号通信モードで、必要なレンズ情報（フォーカスレンズ位置、フォーカスレンズ状態、絞り状態、焦点距離、収差可変量等）を送信するようにしても良い。

光学補正制御部１３４は、受信したレンズ情報に応じて、設計データを含めた光学収差補正に関するデータと像倍率補正に関するデータをメモリ１０７から読み出し、読み出した情報からレンズ装置１５０の撮影状態に応じた補正値を算出する。算出した補正値を画像処理部１４０に設定し、像倍率補正、歪曲収差補正、倍率色収差補正、周辺光量補正、及び、画像回復処理等の光学収差補正に関する制御を行う。

画像処理部１４０は、画像生成部１０３からの画像データあるいはメモリ制御部１０５からの画像データに対して、画像処理を行う。画像処理後の画像データは、メモリ制御部１０５を介して、メモリ１０７や記録部１０８に記憶される。画像処理部１４０は、リサイザ１４１、像倍率補正部１４２、歪曲収差補正部１４３、倍率色収差補正部１４４、周辺光量補正部１４５、画像回復部１４６を含む。

像倍率補正処理の詳細については後述するが、像倍率補正部１４２は像倍率補正処理を行う。歪曲収差補正部１４３は、光学補正制御部１３４が算出した歪曲収差の補正データを受け取り、画像データに対して歪曲収差の補正処理を行う。倍率色収差補正部１４４は、光学補正制御部１３４が算出した倍率色収差の補正データを受け取り、画像データに対して倍率色収差の補正処理を行う。周辺光量補正部１４５は、光学補正制御部１３４が算出した周辺光量の補正データを受け取り、画像データに対して周辺光量の補正処理を行う。画像回復部１４６は、光学補正制御部１３４が算出した画像回復処理の補正データを受け取り、画像データに対して画像回復処理を行う。

画像処理部１４０は、さらに所定の画素補完処理や色変換処理を行い、画像データの生成を行う。また画像処理部１４０は、デジタル画像データを用いて所定の演算処理等を行う。

次にレンズ装置１５０内の構成について説明する。
フォーカスレンズ１５１は、光軸方向に移動して撮像光学系の合照位置を変化させる。ズームレンズ１５２は、光軸方向に移動して撮像光学系の焦点距離を変化させる。絞り１５３は、その開口径（絞り値）が可変であり、開口径に応じて光量を変化させる。シフトレンズ１５４は、光軸方向に対して直交する面で移動されることで、手振れ等のカメラ振れによる像振れを低減する。

フォーカス制御部１５５は、レンズ制御部１６０もしくはレンズ操作部材１６１により制御され、フォーカスレンズ１５１を駆動する。またフォーカスレンズ１５１の位置等のフォーカス情報をレンズ制御部１６０へ出力する。

ズーム制御部１５６は、レンズ制御部１６０もしくはレンズ操作部材１６１により制御され、ズームレンズ１５２を駆動する。また焦点距離等のズーム情報をレンズ制御部１６０へ出力する。なお、ズームレンズ１５２を複数のレンズで構成し、収差量を変えるための収差可変レンズをさらに搭載しても良い。その場合、収差可変レンズは、ズーム制御部１５６で制御され、光軸方向へ移動することで光学的な収差量を変化させることができる。ズーム制御部１５６は、収差可変量に関する情報をレンズ制御部１６０へ出力する。

絞り制御部１５７は、レンズ制御部１６０もしくはレンズ操作部材１６１により制御され、絞り１５３を駆動する。また、絞り値等の絞り情報をレンズ制御部１６０へ出力する。

角速度検出部１５８は、レンズ制御部１６０から制御され、レンズの角速度（Ｙａｗ、Ｐｉｔｃｈ）を検出し、レンズ制御部１６０へ出力する。
光学防振制御部１５９は、レンズ制御部１６０により制御され、角速度検出部１５８からのレンズの角速度情報や、撮像装置１００からの振れ情報に基づいて、シフトレンズ１５４を駆動する。また、シフトレンズ１５４の位置情報をレンズ制御部１６０へ出力する。

レンズ情報記憶部１６５は、レンズ装置１５０の光学収差に関する設計データ、像倍率補正に関する設計データ等、レンズ装置１５０に関するレンズ情報を記憶しており、レンズ情報をレンズ制御部１６０へ出力する。

レンズ制御部１６０は、レンズ操作部材１６１もしくはＩ／Ｆ１７０からの入力に従い、フォーカス制御部１５５、ズーム制御部１５６、絞り制御部１５７、角速度検出部１５８、光学防振制御部１５９及びレンズ情報記憶部１６５等を制御することで、レンズ装置１５０全体を制御する。また、Ｉ／Ｆ１７０を介して受信したレンズ情報取得命令に従って、各制御部や検出部等から入力された情報をＩ／Ｆ１７０を介して撮像装置１００へ送信する。

レンズ操作部材１６１は、フォーカス駆動範囲限定スイッチ、フォーカス操作リング、ズーム操作リング、ＡＦ／ＭＦスイッチ、防振オンオフスイッチ、収差可変コントロールリング等からなり、ユーザー操作により受け付けた指示をレンズ制御部１６０に出力する。また、レンズ制御部１６０は、レンズ操作部材１６１より入力された指示に基づき、Ｉ／Ｆ１７０を介して操作内容を撮像装置１００へ送信する。システム制御部１３０は、Ｉ／Ｆ１２０を介してユーザー操作内容を受信し、レンズ装置１５０に搭載された各種機能についての動作モードの切り替えを実施する。

Ｉ／Ｆ１７０は、コネクタ１９０を介して、撮像装置１００内のシステム制御部１３０とレンズ装置１５０内のレンズ制御部１６０との間で、電気通信を用いた通信を実施することで、レンズ装置１５０の情報や制御命令等を送受信する。

次に、第１の実施形態における像倍率補正処理について説明する。
像倍率補正処理は、特許文献１及び特許文献２においても説明されているが、フォーカスレンズを駆動した時の画角変動を補正する処理であり、撮影画像を拡大したり、トリミング処理等の画像処理を行うことで、画角変動を補正する。本実施形態では、画像処理部１４０の像倍率補正部１４２に画角変動を補正するための画角補正値を設定することで像倍率補正のための一連の画像処理を実施することができる構成となっている。また、基準とする画角は予め決められており、当該基準画角となるように、フォーカスレンズの位置に応じて、画角を補正する。

続いて、画角補正値の算出方法について説明する。
システム制御部１３０にて、後述する像倍率補正に関する情報、レンズ装置１５０に関する情報、撮像装置１００に関する情報を参照して、画角補正値を算出する。

像倍率補正に関する情報は、フォーカスレンズの位置に応じた画角変動を補正するための像倍率補正拡大率、拡大率の基準としてのベース倍率及び最大拡大率を制限する最大拡大率を含む。焦点距離、収差可変量、フォーカス駆動範囲に応じて変化する。レンズ装置１５０のレンズ情報記憶部１６５に、レンズ装置１５０に適した像倍率補正に関する情報が記憶されており、レンズ装置１５０によって、レンズ装置１５０に適した像倍率補正に関する情報や情報数は異なる。なお、像倍率補正拡大率の代わりに他の形式の情報を用いても良く、例えばフォーカスレンズ１５１の位置に応じた画角変動率を記憶しておき、画角変動率の逆数を算出することで、容易に像倍率補正拡大率を求めることができる。システム制御部１３０は、レンズ制御部１６０と通信を行い、像倍率補正に関する情報を撮像装置１００内のメモリ１０７に記憶する。

システム制御部１３０は、レンズ装置１５０のフォーカスレンズ位置情報、焦点距離情報、フォーカス駆動範囲等、レンズ装置１５０に関する情報を、任意のタイミング及び／または撮像フレームに同期したタイミングでレンズ制御部１６０と通信を行って取得する。
また、システム制御部１３０は、シャッター制御に関する情報やカメラ操作部材１１７からユーザー指示された撮影条件等の撮像装置１００に関する情報を取得する。
光学補正制御部１３４は、こうして得られた情報から、画角補正値を算出する。

ここで、図２、図３を用いてレンズ装置の像倍率補正に関する情報について詳細に説明する。
図２は、フォーカスレンズ１５１の位置と像倍率補正拡大率との関係の一例を示す図である。理解し易い様に、横軸は、フォーカスレンズ１５１の位置から換算した合焦距離を示し、縦軸は、像倍率補正拡大率を示す。

合焦距離と像倍率補正拡大率との関係の一例を実線２０１で示している。撮像装置１００．３ｍの位置にある被写体が合焦する場合の像倍率補正率を１００％とすると、０．５ｍの位置にある被写体が合焦する場合の像倍率補正率は１３０％、無限遠にある被写体が合焦する場合の像倍率補正率は１５０％となる。実線で示した像倍率補正拡大率を画角補正値として像倍率補正部に設定することで、合焦距離が変化した時の画角変動を補正する像倍率補正処理を行うことができる。実線２０１に示す関係は、焦点距離や収差可変量に応じて変化する。焦点距離や収差可変量に応じた合焦距離と像倍率補正拡大率との関係をレンズ装置１５０のレンズ情報記憶部１６５に記憶しておく。

図３は、像倍率補正のベース倍率と最大拡大率を設定した時の合焦距離と像倍率補正拡大率との関係の一例を示す図であり、実線３０１で示している。点線３０２は、合焦距離が０．３ｍよりも至近であるときの像倍率補正拡大率をベース倍率１００％（基準画角）としていることを示している。点線３０３は、合焦距離が無限のときの像倍率補正拡大率を最大拡大率１５０％としていることを示している。合焦距離に応じてベース倍率３０２と最大拡大率３０３との間の像倍率補正拡大率に制限されるが、合焦距離の至近から無限まで像倍率補正を行うことができる。

なお、図２及び図３では、０．３ｍの位置にある被写体が合焦する場合の像倍率補正率を１００％（基準画角）とした場合を示しているが、基準とする位置は０．３ｍに限られるものではない。例えば、無限遠にある被写体が合焦する場合の像倍率補正率を１００％（基準画角）とした場合、０．５ｍの位置にある被写体が合焦する場合の像倍率補正率は約８７％、０．３ｍの位置にある被写体が合焦する場合の像倍率補正率は約６７％となる。このように、像倍率補正率が１００％（基準画角）とする合照距離は、適宜設定することができる。

以下、本実施形態のカメラレンズシステムにおける合焦距離と像倍率補正拡大率との関係が図３の実線３０１に示すものである場合を例として、像倍率補正機能の発動時及び停止時に生じる画角変化の有無を判定する方法について説明する。

像倍率補正拡大率１００％であるとき、すなわち現在のフォーカス位置が至近から０．３ｍの範囲にあるときは像倍率補正処理により拡大処理が行われないため、像倍率補正処理の発動及び停止時に画角変化は生じないと判定する。これに対し、像倍率補正拡大率が１００％でないとき、すなわちフォーカス位置が０．３ｍから無限の範囲にあるときは像倍率補正処理により拡大処理が実行されるため、像倍率補正処理の発動及び停止時に画角変化は発生すると判定する。

次に、図４のフローチャートを用いて、本実施形態における撮影時の動作について説明する。ここでは、撮影開始時に像倍率補正処理が開始されるものとする。

まず、Ｓ４０１において、ユーザーが撮像装置１００の電源をＯＮ状態にしたときやレンズ装置１５０を装着したとき等、レンズ通信が可能な状態になると、レンズ装置１５０に記憶されている像倍率補正に関する情報を取得し、メモリ１０７に記憶する。また、上述したシャッター制御に関する情報や、撮影条件等の撮像装置１００に関する情報を取得してメモリ１０７に記憶する。

Ｓ４０２において、システム制御部１３０は、撮像素子１０２が撮影可能な状態になり、ユーザーがＳＷ１／ＳＷ２または、動画記録開始ボタンを操作したことを検知すると、撮影を開始する。Ｓ４０３にて、システム制御部１３０は、露出制御（ＡＥ）及び、自動焦点検出制御（ＡＦ）等を行う。Ｓ４０４にて、システム制御部１３０は、シャッター制御部１１０及び撮像素子１０２を制御して入射光量に応じた電荷の蓄積及び読み出しを行い、画像生成部１０３にて画像データを生成し、メモリ制御部１０５を介してメモリ１０７に記憶する撮影を行う。

Ｓ４０５において、システム制御部１３０は、Ｓ４０４で撮影を行った際のレンズ装置１５０の撮影情報を取得する。なお、ここで取得する撮影情報は、像倍率補正に必要な焦点距離、合焦距離（またはフォーカスレンズの位置）の情報、収差可変量を含む。

Ｓ４０６において、Ｓ４０１で取得した像倍率補正拡大率に関する情報及び撮像装置１００に関する情報、Ｓ４０５で取得した撮影条件に関する情報から画角補正値を算出し、像倍率補正部１４２に設定する。

Ｓ４０７において、Ｓ４０６で算出した画角補正値から、像倍率補正処理の発動時及び停止時の画角変化の有無を判定し、画角変化が生じると判定した場合にユーザに通知する。

図５は、通知の一例を示す図である。画像表示部１０６の表示画面５０１を示しており、カメラレンズシステムにより撮像された画像を表示する。像倍率補正処理の発動時及び停止時に画角変化が生じると判定された場合は、警告表示５０２を表示画面５０１内に表示する。ユーザはこの表示を確認することで、像倍率補正処理の発動時及び停止時に生じる画角変化の有無を認識することができる。なお、この警告表示は一例であり、異なる形状の表示や、音声、ＬＥＤ等による通知等、様々な方法により通知することが可能である。

Ｓ４０８において、像倍率補正ＯＮ／ＯＦＦボタン１１７ａによる像倍率補正のＯＮ／ＯＦＦ状態を判断し、像倍率補正がＯＮであればＳ４０９に進む。Ｓ４０９では、システム制御部１３０は、画像処理部１４０を制御し、Ｓ４０４で取得した画像データに対し、像倍率補正処理を含む画像処理を行い、補正後の画像データを、メモリ１０７及び／または、記録部１０８に記録する。

一方、Ｓ４０８において、像倍率補正がＯＦＦと判断されると、Ｓ４１０に進み、Ｓ４０４で取得した画像データに対し、像倍率補正処理を含まない画像処理を行い、補正後の画像データを、メモリ１０７及び／または、記録部１０８に記録する。

Ｓ４１１において、ユーザーが撮影終了指示を行っていた場合は、処理を終了する。撮影指示が継続されている場合はＳ４０３へ戻り、撮影を続ける。動画撮影時は、連続して記録した一連の画像を動画像にして記録部１０８に記録する。

なお、図４に示す例では、Ｓ４０２で撮影開始した後に、Ｓ４０７において像倍率補正処理の発動時及び停止時の画角変化の有無を判定するものとして説明したが、判定のタイミングはこれに限られるものではなく、撮影開始前のライブビュー時に行っても良い。その場合には、撮影開始前に判定結果に基づいて、像倍率補正処理を行うかどうかをユーザーが決めることが可能になる。また、その場合にも、ユーザーはＳ４０７での判定結果に応じて、撮影中に像倍率補正処理の発動及び停止を指示することができる。

上記の通り第１の実施形態によれば、フォーカシングによって生じる画角変化を無くすための像倍率補正処理を発動時及び停止時に生じる、画角変化の有無を判定することができる。

また、ユーザは、判定された像倍率補正処理の発動時及び停止時に生じる画角変化の有無に応じて、像倍率補正処理の発動及び停止を指示することができるため、撮影した画像に意図しない画角変化が生じることを防ぐことができる。

＜変形例＞
像倍率補正処理の発動時及び停止時に画角変化が生じると判定されている撮影条件下で像倍率補正処理を発動及び停止させた場合、画角変化が生じるため、画角が切り替わる様子が表示画面５０１に表れ、画像の表示品位が低下する。そこで、像倍率補正処理の発動時及び停止時に画角変化が生じると判定されている場合は、像倍率補正処理を発動及び停止した直後に画面表示部を一定時間暗転させた後、再び像倍率補正処理の発動及び停止後の画像を表示する。これにより、画角が切り替わる様子が表示画面５０１に直接表れることを防ぎ、表示品位の低下を防ぐことが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態におけるカメラレンズシステムの構成は、図１で示すものと同様であるため、ここでは説明を省略する。

第２の実施形態では、画角変化有りと判定された場合においても像倍率補正処理に伴う画角変化を低減する方法について説明する。第２の実施形態においては、レンズ装置１５０の光学ズーム位置を任意の位置に変更することができることを前提とする。

画角変化有りと判定されたときに画角変化が生じるのは、像倍率補正処理において像倍率補正拡大率に応じて画像を拡大処理した後、画像をトリミングしていることが要因である。そこで第２の実施形態においては、この像倍率補正処理による画角変化を相殺するように、ズームレンズ１５２を用いて光学ズームすることで、画角変化が生じると判定された撮影条件下での像倍率補正後の画角変化を低減する。

画角変化を相殺するための光学ズーム量を求める方法について説明する。ここで、像倍率補正処理が停止中の画角をＳ１、像倍率補正処理が発動中の画角をＳ２、像倍率補正処理が停止中の焦点距離をＺ１、像倍率補正処理が発動中の焦点距離をＺ２、像倍率補正拡大率をαとする。

このとき、像倍率補正処理が停止中の画角Ｓ１と、像倍率補正処理が発動中の画角Ｓ２は、それぞれ、式（１）、式（２）により求めることができる。
Ｓ１＝Ｚ１×１／α …（１）
Ｓ２＝Ｚ２×α …（２）
なお、Ｓ１＝Ｓ２であれば、像倍率補正処理の発動時及び停止時に画角は変化しない。

ここで、像倍率補正処理の発動時は、Ｚ１、αが既知であるため、Ｓ１＝Ｓ２が成り立つＺ２を求めることで、像倍率補正処理の発動による画角変化を相殺する焦点距離を求めることができる。同様に、像倍率補正処理の停止時は、Ｚ２、αが既知であるため、Ｓ１＝Ｓ２が成り立つＺ１を求めることで像倍率補正処理の停止による画角変化を相殺する焦点距離を求めることができる。

このようにして求めた焦点距離に、像倍率補正処理の発動時及び停止時に光学ズームすることで画角変化を低減することができる。

また、この光学ズーム前（変更前）の焦点距離情報を保持しておくことにより、自動で光学ズームされた後に光学ズームされる前の状態に復帰することが可能となる。

ただし、撮影条件がズームレンズ１５２のズーム端付近であるとき等では、画角変化を相殺するために必要な焦点距離まで光学ズームすることができず、光学ズームを駆使しても画角変化を相殺することができない場合がある。このような場合には、図６に示すような画像表示部１０６の表示画面６０１内に、６０２に示すように画角変化を相殺できない焦点距離を強調表示することで、ユーザーは、像倍率補正処理の発動及び停止前に画角変化が生じることを認知することができる。

上記の通り第２の実施形態によれば、像倍率補正処理の発動時及び停止時の画角変化を低減することができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えば、レンズユニット、カメラ本体等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、レンズ一体型カメラ等）に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０２：撮像素子、１１７：カメラ操作部材、１１７ａ：像倍率補正ＯＮ／ＯＦＦスイッチ、１３０：システム制御部、１４０：画像処理部、１４２：像倍率補正部、１５０：レンズ装置、１５１：フォーカスレンズ、１５２：ズームレンズ・収差量可変レンズ、１６０：レンズ制御部、１６１：レンズ操作部、１６５：レンズ情報記憶部

Claims (12)

1. レンズ装置の像倍率補正に関する第１の情報を記憶する記憶手段と、
   前記レンズ装置に関する、フォーカスレンズの位置および焦点距離を含む第２の情報とを取得する第１の取得手段と、
   撮影条件を取得する第２の取得手段と、
   前記第１の情報と、前記第２の情報と、前記撮影条件とに基づいて、前記フォーカスレンズの位置の変化に伴う画角の変化を補正するための画角補正値を求める算出手段と、
   前記撮影条件を用いて撮影を行って得られた画像データを、前記画角補正値により補正する補正処理を行う画像処理手段と、
   前記第１の情報と、前記第２の情報とに基づいて、前記画像処理手段による前記補正処理の発動時および停止時に画角変化が生じるか否かを判定する判定手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の情報は、予め決められた合焦距離における画角に対する、複数の合照距離における画角の拡大率を示す情報であって、
   前記判定手段は、前記レンズ装置の前記フォーカスレンズの位置に基づく合照距離が、前記レンズ装置の第１の情報における前記予め決められた合照距離ではない場合に、前記画像処理手段による前記補正処理の発動時および停止時に画角変化が生じると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段により前記補正処理の発動時および停止時に画角変化が生じると判定された場合に、当該判定結果を通知する通知手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段により前記補正処理の発動時および停止時に画角変化が生じると判定された場合に、前記補正処理の発動時および停止時に表示手段への画像の表示を行わないことを特徴とする請求項３に記載の画像処理装置。
5. 前記レンズ装置は、焦点距離を変えるズーム手段を有し、
   前記画像処理装置は、前記判定手段により前記補正処理の発動時および停止時に画角変化が生じると判定された場合に、前記焦点距離を変えて前記画角変化を低減するように、前記レンズ装置を制御する制御手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記判定手段により前記補正処理の発動時および停止時に画角変化が生じると判定された場合に、前記画角変化を低減するための前記焦点距離の変更ができない前記ズーム手段の焦点距離の範囲を通知する通知手段を更に有することを特徴とする請求項５に記載の画像処理装置。
7. 前記記憶手段は、前記焦点距離が変更される場合に、変更前の焦点距離を更に記憶することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記第１の取得手段は、更に、前記レンズ装置から前記第１の情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   前記撮影条件に従って撮影を行って、画像データを出力する撮像手段と
   を有することを特徴とする撮像装置。
10. レンズ装置の像倍率補正に関する第１の情報を記憶手段に記憶する記憶工程と、
    前記レンズ装置に関する、フォーカスレンズの位置および焦点距離を含む第２の情報とを取得する第１の取得工程と、
    撮影条件を取得する第２の取得工程と、
    前記第１の情報と、前記第２の情報と、前記撮影条件とに基づいて、前記フォーカスレンズの位置の変化に伴う画角の変化を補正するための画角補正値を求める算出工程と、
    前記撮影条件を用いて撮影を行って得られた画像データを、前記画角補正値により補正する補正処理を行う画像処理工程と、
    前記第１の情報と、前記第２の情報とに基づいて、前記画像処理工程における前記補正処理の発動時および停止時に画角変化が生じるか否かを判定する判定工程と
    を有することを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images