JP6320251B2 - 撮像装置、撮像方法、およびプログラム - Google Patents

Description

本発明は、撮像装置に関し、詳しくは、所謂あおり撮影と同様の効果を付与する画像処理が可能な撮像装置、撮像方法、およびプログラムに関する。

撮影の際に、水平線を考慮して構図を決めるが、被写体と水平線との関係を把握するのが困難である。そこで、特許文献１には、カメラの姿勢を検出する検出部と、水平方向の傾き具合と撮影光学系の仰角方向傾き具合を示す格子状のパターンを表示する表示制御部を設け、カメラ自体の水平方向と実際の撮影画面の水平方向が合致した場合に格子状パターンの縦方向の直線を消すことにより、カメラの姿勢を知り、水平だしを容易に行うことが可能したカメラが開示されている。

また、建物等を見上げるように撮影すると、四角形の形状の建物であっても台形状に写ってしまう。すなわち、被写体までの距離の遠近の相違によって被写体の形状に歪みが生じてしまう。そこで、このような場合には、あおり撮影を行い、被写体の歪みを消去することが知られている。あおり撮影は、カメラのレンズの光軸とフィルム（撮像素子）の感光面（撮像面）を意識的にずらしたり、傾けての撮影をいう。このあおり撮影のためには、専用のレンズ鏡筒等が必要である。

また、デジタルカメラ等の撮像装置において、ＡＦによって焦点調節を行う場合には、ＡＦポイントを自動もしくは手動で設定し、このＡＦポイントにピントが合うようにしている。ＡＦポイントを設定し焦点検出した後に、撮影画面のアスペクトを切り換えて、画角が変わった場合に、ＡＦポイントが画角外になってしまうことがある。この場合には、画角外のＡＦポイントを無効して新たにＡＦポイントを設定している。

また、デジタルカメラ等の撮像装置において、ピント合わせの状態を確認するために、ライブビュー表示時に被写体像の拡大表示を可能としているものがある。

特許第３８９６５０５号公報

上述したように、フィルムカメラであおり撮影を行うには、専用の機材を必要とするが、デジタルカメラのような撮像装置では、画像処理等によって、あおり撮影を行ったと同等の画像処理を施すことが可能である。しかし、全ての被写体に対してあおり撮影が有効ではなく、あおり撮影の効果が表れやすい被写体や、現われにくい被写体がある。一般的な撮影者は、どのような場合にあおり撮影を行ったらよいかが分からず、あおり撮影と同等の画像処理を行うことができるとしても、この画像処理（以下、この画像処理を「あおり補正処理」、または「シフト補正処理」と称する）を有効に活用することができない。

また、あおり補正処理を行うような場合は、この補正処理の結果、ＡＦポイントが補正した画像の外に出てしまう場合がある。一般に三脚等でカメラを固定して行うことが多く、この場合に、構図を変更するにはシフト量を変更したり、切り出し位置を変更する必要があり不便である。

また、あおり補正処理を行うような場合に、ピントの確認用に拡大表示を行う場合がある。この場合は、あおり補正処理のために画像の解像度が低下している上に、さらに拡大表示を行うので、画像の解像度の低下が著しい。

本発明は、このような事情を鑑みてなされたものであり、あおり撮影と同等の画像処理の使用をアドバイスすることが可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体像を光電変換し画像データを出力する撮像部と、上記画像データに基づいて上記被写体像を表示する画像表示部と、撮像装置の傾きを検出する傾き検出部と、上記画像データに対してシフト補正を行う画像処理部と、上記傾き検出部によって検出された傾きに基づいて、上記画像処理部による上記シフト補正が有効か否かを判定する判定部と、上記判定部によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行うアシスト表示制御部と、を有する。

第２の発明に係る撮像装置は、上記第１の発明において、撮影レンズの焦点距離情報を取得する焦点距離情報取得部を有し、上記判定部は、上記焦点距離情報取得部によって取得された焦点距離情報に基づいて、上記シフト補正が有効か否かを判定する。
第３の発明に係る撮像装置は、上記第１の発明において、上記画像処理部は、上記画像データに基づいて画像中の斜め線を検出し、上記判定部は、上記画像処理部によって検出された画像中の斜め線情報に基づいて、上記シフト補正が有効か否かを判定する。
第４の発明に係る撮像装置は、上記第１の発明において、上記画像データに基づいて顔の位置を検出する顔検出部を有し、上記判定部は、上記顔検出部によって検出された上記顔の位置に基づいて、上記シフト補正が有効か否かを判定する。

第５の発明に係る撮像装置は、上記第１の発明において、上記シフト補正の際のシフト補正量を設定するための第１の操作部を有し、上記画像処理部は、上記第１の操作部によって設定された上記シフト補正量に基づいて、上記画像データに対して上記シフト補正を行う。
第６の発明に係る撮像装置は、上記第１の発明において、上記シフト補正された画像の切り出し位置を設定するための第２の操作部を有し、上記画像処理部は、上記第２の操作部によって設定された上記切り出し位置に基づいて、上記画像データに対して上記シフト補正が施された画像から切り出す。

第７の発明に係る撮像装置は、上記第１の発明において、上記シフト補正の際の補正角度の範囲と、焦点距離との関係を記憶する記憶部を有し、上記画像処理部は、上記記憶部に記憶された上記補正角度の範囲内で、上記シフト補正を行う。
第８の発明に係る撮像装置は、上記第１の発明において、上記画像表示部には、上記画像処理部によって上記シフト補正が施されたシフト画像の内の一部を表示する。

第９の発明に係る撮像方法は、被写体像を光電変換し画像データを出力し、上記画像データに基づいて上記被写体像を画像表示部に表示し、撮像装置の傾きを検出し、上記画像データに対してシフト補正を行い、検出された上記傾きに基づいて、上記シフト補正が有効か否かを判定し、上記判定によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行う。

第１０の発明に係るプログラムは、撮像装置に設けられたコンピュータに、被写体像を光電変換し画像データを出力し、上記画像データに基づいて上記被写体像を画像表示部に表示し、上記撮像装置の傾きを検出し、上記画像データに対してシフト補正を行い、検出された上記傾きに基づいて、上記シフト補正が有効か否かを判定し、上記判定によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行う、ことを実行させる。

本発明によれば、あおり撮影と同等の画像処理の使用をアドバイスすることが可能な撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、シフト補正処理を行った場合の表示画像を示す図である。 本発明の一実施形態に係るカメラにおいて、シフト操作と表示画像の関係を示す図である。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 本発明の一実施形態におけるカメラのシフトアシストの動作を示すフローチャートである。 本発明の一実施形態におけるカメラの補正効果判定の動作を示すフローチャートである。 本発明の一実施形態に係るカメラのシフト操作の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、シフト補正のアドバイスの例を示す図である。 本発明の一実施形態に係るカメラにおいて、焦点距離変化時の補正角度の範囲を示す図表である。 本発明の一実施形態に係るカメラにおいて、シフト補正処理を行った際のＡＦのＡＦポイント表示を示す図である。 本発明の一実施形態に係るカメラにおいて、シフト中ＡＦの動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、ライブビュー表示中にシフト補正を行った際の拡大表示を示す図である。 本発明の一実施形態に係るカメラにおいて、ライブビュー表示の動作を示すフローチャートである。

以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。

また、本実施形態に係るカメラは、シフト補正モード（あおり撮影と同等の効果を付与する画像処理を行うモード）が設定されると、シフト補正操作に応じて被写体の歪を除去した画像を表示部に表示し、またレリーズ操作がなされると、被写体の歪を除去した画像データが記録される。シフト補正モードが設定されていない場合には、ライブビュー表示中に、シフト補正を行うと効果が表れる場合には、アシスト表示を行う。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体２００と、これに脱着可能なレンズ部１００と、カメラ本体２００に設けられたモニタ３００から構成される。なお、本実施形態においては、レンズ部１００は交換レンズ式としたが、これに限らず、カメラ本体２００にレンズ部が固定されるタイプのデジタルカメラであっても勿論かまわない。また、レンズ部１００は、カメラ本体２００の間で通信が可能であるが、通信機能を有しないレンズを装着可能としてもよい。

レンズ部１００内には、撮影レンズ群１０１、絞り１０３、フォーカスリング１０５、ズームリング１０７、レンズ位置検出部１１１、レンズ駆動部１１３、絞り制御部１１５、回転検出部１１７、レンズ制御部１１９が設けられている。

撮影レンズ群１０１は、被写体像を形成するための複数の光学レンズからなり、ズーミング（焦点距離変更）と、フォーカシング（焦点変更）が可能である。この撮影レンズ群１０１の光軸上の後方には、絞り１０３が配置されている。絞り１０３は開口径が可変であり、撮影レンズ群１０１を通過した被写体光束の光量を制御する。絞り制御部１１３は、カメラ本体制御部２１０およびレンズ制御部１１９からの指示に従って、絞り１０３の開口径の駆動制御を行う。

レンズ部１００の外周には回転自在のズームリング１０５とフォーカスリング１０７がそれぞれ設けられている。回転検出部１１７は、ズームリング１０５とフォーカスリング１０７の回転方向および回転量をそれぞれ検出し、レンズ制御部１１９等に出力する。レンズ駆動部１１３は、撮影レンズ群１０１のフォーカスレンズやズームレンズを光軸方向に沿って移動させる。

レンズ位置検出部１１１は、撮影レンズ群１０１のレンズの位置を検出可能である。この場合、フォーカスレンズの位置とズームレンズの位置をそれぞれ検知し、レンズ制御部１１９を介して、カメラ本体制御部２１０に送信する。

レンズ制御部１１９は、レンズ部１００内に設けられたメモリ（不図示）に記憶されたプログラムに従って、カメラ本体制御部２１０からの指示に応じて、レンズ部１００内の制御を行う。また、レンズ制御部１１９は、ズームリング１０５の回転に応じて焦点距離を変更するように、またフォーカスリング１０７の回転に応じて焦点位置を変更するように、レンズ駆動部１１３を介して、撮影レンズ群１０１を駆動する。また、カメラ本体２００がオートフォーカス（ＡＦ）モードが設定されている場合には、カメラ本体制御部２１０からの指示に従って、レンズ駆動部１１３を介して、撮影レンズ群１０１を駆動する。また、レンズ位置検出部１１１の検出結果をカメラ本体制御部２１０からの要求に応じて送信する。

カメラ本体２００内に設けられたシャッタ２０１は、撮影レンズ群１０１の光軸上であって、撮像素子２０３の前面側に配置されている。シャッタ２０１は、被写体光束の通過時間を制御し、本実施形態においては、公知のフォーカルプレーンシャッタが採用される。フォーカルプレーンシャッタは先幕と後幕を有し、通常は開放状態である。撮影レンズ群１０１、絞り１０３を通過した被写体光束は、開放状態のシャッタ２０１を通過して撮像素子２０３に導かれる。そして、撮影指示に応答して一旦先幕を閉じた後、再びに開放し、手動設定または自動設定した露光時間が経過すると、後幕を閉じる。この露光時間は、シャッタ制御部２１９によって制御される。

撮像素子２０３は、ＣＣＤイメージセンサやＣ−ＭＯＳイメージセンサ等のイメージセンサを有し、撮像制御部２１３によって制御される。イメージセンサは、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子２０３は、キャパシタに蓄積された電荷に基づくアナログ電圧をデジタル信号に変換するＡ／Ｄ変換器を有し、各画素に応じたデジタル画像信号を撮像制御部２１３に出力する。撮像素子２０３は、被写体像を光電変換し画像データを出力する撮像部として機能する。

撮像制御部２１３は、カメラ本体制御部２１０の指示に従い、撮像素子２０３による撮像動作の制御を行う。すなわち、撮像素子２０３による露光制御や画像信号の読み出し制御等を行い、読み出したデジタル画像信号をバス２３７に出力する。バス２３７には、前述の撮像制御部２１３以外に、ＡＦ補助光２１１、ブレ／姿勢検出部２１５、ブレ補正制御部２１７、シャッタ制御部２１９、ＡＦ制御部２２１、カメラ本体制御部２１０、メモリ２２３、画像処理部２２５、顔検出部２２７、露出制御部２２９、表示制御部２３１、操作部材検出２３３が接続されている。

画像処理部２２５は、撮像素子２０３および撮像制御部２１３からの被写体の画像データを処理し、ファインダ・モニタにライブビュー表示するための画像データを生成する。また、撮影時には保存用の画像データを生成し、また動画撮影時の場合には動画データを生成する。本実施形態においては、保存用画像データや動画データを保存するＳＤカード等の外部メモリ（不図示）が設けられており、Ｉ／Ｆを介してバス２３７に接続されている。この外部メモリに、画像処理部２２５によって生成された保存用画像データや動画データを記録する。さらに、画像処理部２２５は、再生時には、メモリに記録された画像データをファインダ・モニタに再生表示するための画像データを生成する。

また、画像処理部２２５は、シフト補正モードが設定されている場合には、画像データに対して、あおり撮影と同等の画像にするための画像処理であるシフト補正処理を施し、被写体距離の遠近の差に基づく歪を除去した画像データを生成する。このシフト補正処理は、例えば、画面中の縦線を中心にして、画面の底辺からの距離に応じて横方向の長さの倍率を変化させることにより行い、また画面の横線を中心にして、画面の左辺または右辺からの距離に応じて縦方向の長さの倍率を変化させる等によって行う。勿論、画面中の斜め線を中心にして処理を行ってもよい。画像処理部２２５は、上記画像データに対してシフト補正を行う画像処理部として機能する。

また、画像処理部２２５は、画像データに基づいて被写体像中の斜め線の検出を行う。この斜め線の検出を用いて、シフト補正判定を行う。また、画像処理部２２５は、ピントの確認用に、表示部３０１に表示する画像を拡大表示するために、画像データに対して拡大処理を行う。

ブレ補正機構２０５は、モータ等のアクチュエータを有し、撮像素子２０３を２次元方向にシフトさせ、また撮像素子２０３を撮影レンズ群１０１の光軸と垂直な面内で回動させる構造となっている。

ブレ／姿勢検出部２１５は、角度センサ、加速度センサ等を有し、カメラのブレ、縦横姿勢、傾き角度等の検出を行い、ブレ検出信号を出力する。ブレ／姿勢検出部２１５は、撮像装置の傾きを検出する傾き検出部として機能する。ブレ補正制御部２１７は、ブレ／姿勢検出部２１５からのブレ検出信号に基づき、ブレ補正機構２０５にシフト駆動、回転駆動を行わせる。このブレ補正動作により、カメラ本体がブレても、撮像素子２０３上に結像した画像がぶれることがない。

ＡＦ制御部２２１は、本実施形態においては、所謂、コントラストＡＦによって撮影レンズ群１０１の焦点調節を行う。すなわち、撮像素子２０３、撮像制御部２１３からの画像データからコントラスト評価値を検出し、撮影レンズ群１０１のフォーカスレンズがコントラスト評価値のピーク位置に対応するフォーカスレンズ位置となるように、レンズ制御部１１９、レンズ駆動部１１３を介して駆動制御を行う。なお、ＡＦとしては、コントラスト法に限らず、例えば、位相差法等、他の方法によって行ってもよい。

ＡＦ補助光２１１は、ＡＦ制御部２２１からの指示に従い、低輝度時にフォーカス検出を補助するために、被写体に対して補助光を投射する。また、ＡＦ補助光２１１は、点灯することにより、また点灯時の点滅周期を変更することにより、セルフタイマの作動状態を、カメラから離れた撮影者に告知する。この告知にあたっては、電流制限回路（デューティ駆動による調光量でも可）による光量調節もできる。

顔検出部２２７は、撮像素子２０３、撮像制御部２１３からの画像データを用いて、画像中に顔が含まれているか否かを検出する。すなわち、画像データと、予め決められた顔パターンを比較し、被写体の顔を検出する。また、被写体の顔を検出すると、その位置や大きさを検出し、さらに、検出した顔領域の分析により、目、口等の器官検出も行う。

露出制御部２２９は、カメラのモード設定に従い、撮像素子２０３からの画像データに基づく被写体輝度情報を抽出し、この被写体輝度情報に基づいて、適正露出を得るための絞り、シャッタ速度、感度等の露出制御値を算出する。適正露出量算出にあたっては、顔検出部２２７による顔検出情報を用い、また必要に応じてフラッシュ発光量の算出も行う。カメラ本体制御部２１０は、算出された露出制御値に基づいて、レンズ制御部１１９を介して絞り１０３を制御し、シャッタ制御部２１９を介してシャッタ２０１を制御し、これによって適正な被写体光を適正な露出時間で撮像素子２０３に導く。

メモリ２２３は、電気的に書き換え可能な揮発性メモリや不揮発性メモリを有する。そして、メモリ２２３は、カメラ全体を制御するためのプログラムや制御データが可能されており、また、ＳＤカード等の外部メモリ（不図示）へのデータの書き出し、読み込み用のバッファとしても使用する。また、メモリ２２３は、後述する図９に示す焦点距離と補正角度の関係を示すテーブルも記憶する。

表示制御部２３１は、ライブビュー画像や再生画像をモニタ・ファインダに表示するための表示制御を行う。また、表示制御部２３１は、カメラの設定情報、露出情報や後述するシフトアシスト表示などのＯＳＤ（オンスクリーンディスプレイ）情報を画像に重畳表示する。

操作部材２３５は、カメラユーザが操作可能な部材であり、シャッタ釦、十字釦２３５ｃ（図３参照）、モードダイヤル、フロントダイヤル２３５ｂ（図３参照）、リアダイヤル２３５ａ（図３参照）、シフト釦、拡大釦等を有する。シャッタ釦は、シャッタ釦の半押しと全押しを区別可能な二段式である。十字釦は、カメラ本体の背面等に配置され、上下左右の４つの方向を指示する釦が設けられており、モニタに表示されるカーソルやアイコンの位置を移動させることができる。

操作部材２３５の内のモードダイヤルは、撮影モードやシフト補正モード等の各種モードを設定する。なお、各種モードはモードダイヤル以外に、モニタに表示されたメニュー画面等においても設定可能である。フロントダイヤルは、カメラ本体の上部側に設けられ、カメラの正面側（レンズ部１００が配置されている側）から撮影者が指で回転操作することが可能である。リアダイヤルは、カメラ本体の上部側に設けられ、カメラの背面側（正面と反対側）から撮影者が指で回転操作することが可能である。

シフト釦は、シフト補正モードを設定するための操作釦であり、操作する毎にシフト補正モードの設定と解除が交互になされる。拡大釦は、ユーザがピント状態を確認するために、表示部３０１に表示されている画像の一部を拡大表示するように指示するための操作釦である。

操作部材検出部２３３は、操作部材２３５の操作状態を検出し、検出結果をカメラ本体制御部２１０に出力する。カメラ本体制御部２１０は、この操作状態の検出結果に応じて、カメラの制御を行う。

カメラ本体制御部２１０は、ＣＰＵ等を有し、メモリ２２３に記憶されたプログラムに従って、各部を制御してカメラ全体の制御を行う。また、カメラ本体制御部２１０は、傾き検出部によって検出された傾きに基づいて、画像処理部によるシフト補正が有効か否かを判定する判定部として機能する（後述する図５のＳ３７、図６参照）。また、カメラ本体制御部２１０は、判定部によってシフト補正が有効と判定された場合に、画像表示部にアシスト表示を行うアシスト表示制御部としても機能する（後述する図５のＳ４１）。また、カメラ本体制御部２１０は、撮影レンズの焦点距離情報を取得する焦点距離情報取得部としても機能する（後述する図４のＳ１、図５のＳ３１〜Ｓ３５）。

また、カメラ本体制御部２１０は、被写体に対してＡＦポイントを選択するＡＦポイント選択部として機能する（図１１のＳ１０１等参照）。また、カメラ本体制御部２１０は、シフト補正が施された画像データに基づいて、画像表示部に被写体像を表示する際に、ＡＦポイント選択部によって選択されたＡＦポイントが画像表示部の外側にある場合には、外側にあることを告知する告知部として機能する（後述する図１０、図１１のＳ１０７等参照）。

また、カメラ本体制御部２１０は、画像処理部によってシフト補正が施された画像が画像表示部に表示されている際に、拡大指示部（拡大釦）によって拡大表示が指示された場合には、シフト補正が施されていない画像データに対して、拡大表示のための処理を行い、画像表示部に拡大表示する拡大表示制御部として機能する（後述する図１２、図１３のＳ１２９参照）。

モニタ３００は、ヒンジ等によってカメラ本体２００に対して、上下方向等に回転可能に接続され、ライブビュー画像、再生画像、その他の情報画像の表示を行う。モニタ３００の回動状態は、モニタ角度検出部３１０によって検出され、カメラ本体２００に出力される。モニタ３００の状態の検出は、少なくともカメラ本体２００に格納された位置、回動方向（上下）、回動角度を含む。本実施形態においては、モニタ３００の回動中にパルス信号を発生するように構成されている。

モニタ３００内の表示部３０１は、液晶パネル、ＯＬＥＤ（有機ＥＬ）パネル等を有し、表示部３０１の表面側にはタッチパネル３０３が配置されている。表示部３０１は、画像データに基づいて上記被写体像を表示する画像表示部として機能する。

タッチパネル３０３は、例えば、静電容量の変化等によりユーザのタッチを検出可能であり、タッチ操作に応じて、ＡＦ動作やシャッタ動作等を実行することができる。また、タッチ操作が行われた表示部３０１上の位置とスライド方向、ピンチアウト、ピンチイン等の動作従ってシフト補正および画像切り出し位置の移動も行うことができる。なお、ピンチアウトは、２本の指を画面上にタッチした上で、指を広げる操作をいい、ピンチインは、２本の指を狭める操作（操作対象をつまうように動かす操作）をいう。

位置検出部３０７は、モニタ角度検出部３１０の状態を検出し、検出結果をカメラ本体制御部２１０に出力する。タッチパネル制御部３０５は、タッチパネル３０３上のタッチ位置を検出し、カメラ本体制御部２１０に出力する。

次に、図２を用いて、シフト補正を行った場合の表示部３０１における表示画像を説明する。撮影レンズ群１０１の焦点距離によって、見え方が変化するので、図２においては、短焦点（ＷＩＤＥ）の場合（上段）と、長焦点（ＴＥＬＥ）の場合（下段）を示している。一番左側の欄に示す画像１０、２０は、撮像上の画像を示している。この撮像上の画像は、撮影レンズ群１０１によって撮像素子２０３上に結像されている画像である。建物を下から見上げるような場合には、本来、長方形の形状であっても、建物の上がカメラより遠いために狭まり、図２に示すように、上辺が底辺より短い台形形状となる。なお、図２から明らかなように、短焦点の場合の方がより歪んだ形状となる。

図２において、左側から２番目の欄に示す画像１２、２２は、画像データを画像処理部２２５においてシフト補正処理を行った場合の画像を示している。このシフト補正処理は、画面で上側にいくほど、左右が長くなるような画像処理を施している。このため、台形状であった被写体像が、本来の長方形になっている。このようにシフト補正処理を行うことによって、被写体像の歪みが除去され、被写体を正面から見たような本来の形状になる。

図２において、左側から３番目の欄に示す画像１４ａ、１４ｂ、２４ａ、２４ｂは、表示部３０１にライブビュー表示するシフト画像を示している。画像処理部２２５は、全画像に対してシフト補正を行うが、画像表示部３０１には、シフト補正が施されたシフト画像の内の一部が表示される。

また、ライブビュー表示にあたっては、図３を用いて後述するように、シフト補正画像から切り出し位置をユーザが適宜選択することができる。画像１４ａ、２４ａは、シフト画像１２、２２から上側の部分を切り出した画像であり、画像１４ｂ、２４ｂは、シフト画像１２、２２から下側の部分を切り出した画像であり、これらの画像は、外部メモリに記録される画像の第１の例である。これらの画像１４ａ、１４ｂ、２４ａ、２４ｂを外部メモリに保存するようにしてもよい。

図２において左側から４番目の欄（一番右側の欄）に示す画像１６、２６は、外部メモリに記録される画像の第２の例である。この画像１６、２６の内、白地の部分１６ａ、２６ａは、シフト画像１２、２２で生成された画像である。また、黒塗りの部分１６ｂ、２６ｂは、シフト補正の際に、画像データが存在しないことから、黒塗りとしている。また、全体画像１６ｃ、２６ｃ（破線内部の画像）は、画像１０、２０に対してシフト補正処理した画像の内、ライブビュー表示されている部分を示している。

次に、図３を用いて、シフト操作と表示画像の関係を説明する。本実施形態においては操作部材２３５の内のシフト釦が操作されると、シフト補正モードに設定され、表示部３０１にシフト補正された被写体像が表示される。図３において、補正前画像３０Ｃは表示部３０１における表示画像であり、シフト補正前の元画像である。

シフト補正モードに設定された状態で、ユーザがリアダイヤル２３５ａを回転操作すると、この回転量に応じて、画像処理部２２５はシフト補正の補正量を変化させた画像を生成する。この生成画像は、図３の補正画像３０Ｖに示すように、リアダイヤル２３５ａの回転方向と回転量に応じて、表示部３０１に表示される。また、ユーザがフロントダイヤル２３５ｂを回転操作すると、この回転量に応じて、画像処理部２２５はリアダイヤル２３５ａ操作した場合に対して直角方向にシフト補正の補正量を変化させた画像を生成する。この生成画像は、図３の補正画像３０Ｈに示すように、フロントダイヤル２３５ｂの回転方向と回転量に応じて、表示部３０１に画像に表示される。

図３の例では、補正画像３０Ｖとして１０個の画像、補正画像３０Ｈとして１０個の画像を示している。いずれの補正画像３０Ｖ、３０Ｈが表示されている場合であっても、シフト釦が操作されると、補正前画像３０Ｃに切り替えることができる。再度、シフト釦を操作すると、補正ライブビュー表示となる。

また、本実施形態においては、補正画像３０Ｖ、３０Ｈの切り出し位置は、図２の左から第３欄で説明したように、変更することが可能である。この切り出し位置の変更は、十字釦２３５ｃを操作することにより行う。すなわち、補正画像３０Ｖが表示されている場合には（縦方向のあおり撮影と擬似的表示）、十字釦２３５ｃの内の上下釦を操作することにより、切り出し位置が変更される。また補正画像３０Ｈが表示されている場合には（横向のあおり撮影と擬似的表示）、十字釦２３５ｃの内の左右釦を操作することにより、切り出し位置が変更される。切り出し位置の変更の際には、切り出し可能な方向が三角等のマークで示される。

このように、本実施形態においては、シフト補正の際のシフト補正量を設定するための第１の操作部（リアダイヤル２３５ａ、フロントダイヤル２３５ｂ等）を有し、画像処理部２２５は第１の操作部によって設定された上記シフト補正量に基づいて、画像データに対してシフト補正を行っている。このため、ユーザは、第１の操作部を操作することにより、ユーザの意図に沿ったシフト画像を得ることができる。

また、本実施形態においては、シフト補正された画像の切り出し位置を設定するための第２の操作部（十字釦２３５ｃ等）を有し、画像処理部２２５は、第２の操作部によって設定された切り出し位置に基づいて、画像データに対してシフト補正が施された画像から切り出している。このため、ユーザは第２の操作部を操作することにより、シフト補正された画像からユーザの意図する画像を切り出すことができる。

なお、本実施形態においては、リアダイヤル２３５ａ、フロントダイヤル２３５ｂ、十字釦２３５ｃ等によって、シフト補正量や切り出し位置の設定を行っていたが、これに限らず、例えば、モニタの回転角度や、他の操作部材を用いてもよく、またタッチパネル等を利用するようにしてもよい。

次に、図９を用いて、補正可能なあおり角度について説明する。前述したように、カメラから被写体までの距離が相違することにより、被写体の形状が歪む場合に、これを画像処理部２２５によるシフト補正処理によって、擬似的にあおり撮影を行ったと同様の画像を生成するようにしている。このシフト補正処理によって被写体の形状の歪みを補正できる範囲は、カメラの焦点距離と仰角（あおり角度）によって制限される。図９に示すような、シフト補正の際の補正角度の範囲と、焦点距離との関係は、メモリ２２３に記憶されている。従って、画像処理部２２５は、メモリ２２３に記憶された補正角度の範囲内で、シフト補正を行う

図９は、レンズの焦点距離毎に補正可能なあおり角度（補正角度）の一例を示す。この例では、焦点距離が８ｍｍの場合には、カメラが正位置の場合（カメラの長手方向と水平線方向を一致させて把持する場合）には、±１８度であり、縦位置の場合（カメラの長手方向を水平線方向と直角にして把持する場合）には、±１６度である。同様に、焦点距離が１５０ｍｍの場合には正位置で±６４度、縦位置で±６２度である。

なお、ズーミングによる焦点距離変化時に違和感がないように、補正ステップは焦点距離に寄らず、一律±２０ステップとし、あおり角度を等分割する。従って、縦方向（垂直方向）に±２０ステップ、横方向（水平方向）に±２０ステップの補正が可能である。シフト補正後は、図３に示したように、画像の切り出し位置をシフトすることが可能である。この場合のシフトステップは補正量によらず、一律２０ステップとする。

次に、本実施形態における動作について、図４ないし図７に示すフローチャートを用いて説明する。これらのフローチャート（後述する図１１、図１３のフローチャートも含む）における動作は、カメラ本体制御部２１０がメモリ２２３に記憶されているプログラムに従って、カメラ全体の各部を制御することにより実行する。

図４に示すフローに入ると、まず、レンズ通信を行う（Ｓ１）。ここでは、カメラ本体制御部２１０とレンズ制御部１１９との間でレンズ通信を行い、レンズ部１００から各種レンズ情報、例えば、撮影レンズ群１０１の焦点距離情報等を取得する。本実施形態においては、焦点距離情報を用いて、画像処理部２２５シフト補正処理を行う。

ステップＳ１においてレンズ通信を行うと、次に、傾き検出を行う（Ｓ３）。ここでは、ブレ／姿勢検出部２１５や画像処理部２２５からカメラの傾きに関する情報を検出する。本実施形態においては、カメラが水平線から見上げている角度（仰角）、若しくは見下げている角度（俯角）、または画像内の斜め線等の検出によって得られる垂直線から左を向いている角度、若しくは右を向いている角度（これらの角度を総称してあおり角度、または補正角度）に応じて、画像処理部２２５がシフト補正処理を行う。

ステップＳ３において傾き検出を行うと、次に、シフト釦がオンか否かを判定する（Ｓ５）。前述したように、ユーザがシフト補正モードを設定もしくは解除する場合には、シフト釦を操作するので、このステップでは、操作部材検出部２３３が、シフト釦が操作されたか否かを判定する。

ステップＳ５における判定の結果、シフト釦がオンとなった場合には、通常モードとシフト補正モードを交互に変更する（Ｓ７）。シフト補正モードが設定されている場合には通常モード（シフト補正モードが解除されているモード）に切り替え、また通常モードが設定されている場合にはシフト補正モードに切り替える。

ステップＳ７において通常モードとシフト補正モードの交互切り替えを行うと、またはステップＳ５における判定の結果、シフト釦がオンでなかった場合には、次に、シフト補正モードか否かを判定する（Ｓ９）。前述したように、ステップＳ５、Ｓ７において、シフト補正モードの設定または解除がなされているので、このステップでは、現在設定されているモードに基づいて判定する。

ステップＳ９における判定の結果、シフト補正モードが設定されていない場合、すなわち、通常モードが設定されている場合には、通常操作を実行する（Ｓ１１）。ここでは、シフト補正モード以外で設定されているモードに基づいた処理を実行する。

ステップＳ１１において通常操作を行うと、次にシフトアシストを行う（Ｓ１３）。ここでは、シフト補正による画像処理を行うと効果のある被写体像の場合に、ユーザにライブビュー表示に重畳してその旨を知らせる。この場合、補正を促す図柄（アイコン等）を表示したり、また補正画像を半透過で重畳表示する等によって告知する。図２、図３を用いて説明したように、下から見上げる等の撮影の場合には被写体の形状が歪んでしまうが、シフト補正することにより、この歪みを除去した画像を得ることができる。一般的なユーザは、どのような被写体に対して、シフト補正を行うと適切であるかについて知らない場合が多く、本実施形態においては、このような一般的なユーザに対して、シフト補正モードの使用をアシストしている。このシフトアシストの詳しい動作について図５を用いて後述する。

一方、ステップＳ９における判定の結果、シフト補正モードの場合には、シフト補正操作を行う（Ｓ１５）。ここでは、撮像素子２０３からの画像データに対して画像処理部２２５がシフト補正処理を行う。このシフト補正操作の詳しい動作について図７を用いて後述する。

ステップＳ１５においてシフト補正操作を行うと、またはステップＳ１３においてシフトアシストを行うと、ライブビュー表示を行う（Ｓ１７）。ここでは、シフト補正モードの場合に、ステップＳ１５においてシフト補正処理が施された画像データに基づいて、表示部３０１にライブビュー表示を行う。また、シフト補正モードが設定されていない場合には、通常モードでライブビュー表示を行い、ステップＳ１３におけるシフトアシストに基づいてアシスト表示を行う場合には、ライブビュー表示に、シフト補正モードの使用を勧めるアイコン等の表示を行う。

ステップＳ１７においてライブビュー表示を行うと、次に、シャッタ釦がオンか否かを判定する（Ｓ１９）。前述したように操作部材２３５の内のシャッタ釦は二段式であり、ここでは、シャッタ釦が半押しされたか否かを判定する。この判定の結果、シャッタ釦がオンでない場合には、ステップＳ１に戻り、上述のライブビュー表示等を繰り返す。

ステップＳ１９における判定の結果、シャッタ釦がオンの場合には、ＡＦを行う（Ｓ２１）。ここでは、シャッタ釦の半押しがなされたタイミングで取得した撮像素子２０３からの画像データに基づいて、ＡＦ制御部２２１が所謂コントラスト法によるＡＦを行う。すなわち、画像データからコントラスト評価値を検出し、このコントラスト評価値のピーク位置に対応する位置にフォーカスレンズ位置を移動させる。

ステップＳ２１においてＡＦを行うと、次に、撮影を行う（Ｓ２３）。ユーザが構図を決めシャッタチャンスと判断した場合にはシャッタ釦を全押しする。そこで、このステップでは、操作部材検出部２３３が、シャッタ釦が全押しされたか否かを判定し、全押しされた場合には、シャッタ２０１によって露出時間の制御を行い、露出時間の経過後に撮像素子２０３から画像データを読み出し、画像処理部２２５が記録用の画像処理を行った後にメモリ２３３に画像データの記録を行い、記録が終わるとステップＳ１に戻る。

このように、カメラ動作のフローにおいては、シフト補正モードが設定されていない場合には、シフト補正処理が有効な被写体の場合にはライブビュー表示に重畳してシフトアシストの表示がなされ（Ｓ１３）、一方、シフト補正モードが設定されている場合には、シフト補正処理を施した画像がライブビュー表示される（Ｓ１３）。

次に、図５を用いて、ステップＳ１３におけるシフトアシストの詳しい動作について説明する。シフトアシストのフローに入ると、まず、レンズ通信有りか否かの判定を行う（Ｓ３１）。ここでは、ステップＳ１と同様に、レンズ通信を行い、最新の焦点距離情報を取得する。

ステップＳ３１における判定の結果、レンズ通信がない場合には、手動焦点距離入力値を採用する（Ｓ３５）。カメラシステムによっては、レンズ部１００とカメラ本体２００の間でレンズ通信ができない場合がある。例えば、通信機能のないレンズ部１００を装着した場合や、ベローズや中間鏡筒を介在させてレンズ部１００を装着させた場合等がある。この場合には、例えば、手振れ防止用に入力された焦点距離情報を代用してもよく、またユーザが、メニュー画面等を用いて焦点距離情報を手動で入力するようにしてもよい。

一方、ステップＳ３１における判定の結果、レンズ通信が有る場合には、焦点距離データを受信する（Ｓ３３）。ここでは、レンズ制御部１１９から送信されてくる焦点距離情報を取得する。

ステップＳ３３において、焦点距離データを受信すると、またはステップＳ３５において手動焦点距離入力値を採用すると、次に、補正効果判定を行う（Ｓ３７）。ここでは、ステップＳ３３、Ｓ３５において取得した焦点距離情報およびステップＳ３において取得した傾き情報を用いて、シフト補正処理を行うと、この効果が現われる画像となるか否かの判定を行う。この補正効果判定は種々の方法があり、詳しくは、図６を用いて後述する。

ステップＳ３７において補正効果判定を行うと、次に、補正効果有り否かの判定を行う（Ｓ３９）。ここでは、ステップＳ３７における補正効果判定の結果に基づいて判定する。この判定の結果、補正効果がない場合には、ユーザにシフト補正の使用を勧める必要がないことから、何も行わず、元のフローに戻る。

一方、ステップＳ３９における判定の結果、補正効果がある場合には、補正アシスト表示を行う（Ｓ４１）。ここでは、ライブビュー表示に重畳してシフト補正モードを設定することを勧める補正アシスト表示（アイコン等）を行う。補正アシスト表示を行うと、元のフローに戻る。

次に、図６を用いて、ステップＳ３７の補正効果判定の詳しい動作について説明する。図６には、３つの例を示す。図６（ａ）に示す例では、あおり角度に基づいて、補正効果があるか否かを判定する。

図６（ａ）に示す補正効果のフローに入ると、まず、最大補正角度／２があおり角度以下か否かを判定する（Ｓ５１）。ここでは、ステップＳ３３，Ｓ３５において取得した焦点距離情報を用い、図９に示した焦点距離毎の補正角度の最大値（最大補正角度）を求める。そしてこの最大角度の１／２と、ステップＳ３において取得した傾き情報（あおり角度）を比較することにより判定を行う。

ステップＳ５１における判定の結果、最大補正角度／２があおり角度以下の場合には、補正効果が有ると判定する（Ｓ５３）。ここでは、判定結果を記憶しておき、前述のステップＳ３９（図５参照）における判定の際に使用する。

ステップＳ５３において補正効果有判定を行うと、次に、あおり角度に相当する補正ステップを設定する（Ｓ５５）。本実施形態においては、補正角度の最大と最小の範囲を２０ステップとしており、ステップＳ３で取得した傾き情報（あおり角度）に応じた補正ステップを設定する。この補正ステップを設定しておくことにより、後述するシフト補正操作の際に、直ちに対応するシフト補正処理を行うことができる（図７のＳ８１参照）。

ステップＳ５５において補正ステップを設定すると、またはステップＳ５１における判定の結果、Ｎｏであった場合には、補正効果判定のフローを終了し、元のフローに戻る。

次に、図６（ｂ）に示す補正効果判定について説明する。この補正効果判定では、被写体画像の中に斜め直線が有るか否かに応じて補正効果があるか否かを判定する。下から見上げた建物の場合には、本来、形状は長方形となるが、前述したように、台形となる。この場合には、斜め線があることから、この例では斜め線を検出し、補正効果判定を行っている。

図６（ｂ）のフローに入ると、まず、斜め直線を検出したか否かを判定する（Ｓ６１）。ここでは、画像処理部２２５等が、撮像素子２０３からの画像データを分析し、被写体の外形線の中に斜め線が含まれているか否かを判定する。

ステップＳ６１における判定の結果、斜め直線を検出した場合には、補正効果が有ると判定する（Ｓ６３）。ここでは、判定結果を記憶しておき、前述のステップＳ３９（図５参照）における判定の際に使用する。

ステップＳ５３において補正効果有判定を行うと、次に、斜め線角度に相当する補正ステップを設定する（Ｓ６５）。斜め線角度は、あおり角度に関連することから、斜め線角度に基づいて補正ステップを設定する。

ステップＳ６５において補正ステップを設定すると、またはステップＳ６１における判定の結果、Ｎｏであった場合には、補正効果判定のフローを終了し、元のフローに戻る。

次に、図６（ｃ）に示す補正効果判定について説明する。この補正効果判定では、顔が画面の上部にある場合には、見上げる角度となりやすいことから、この場合には、カメラを上側におき、上側から撮影する方が好ましい人物像となる。これは、下側から撮影すると足が長く見えるが、口等の形状から怒っているように見えるのに対して、上側から撮影すると笑顔のように見え、かつ足が長く見えるようにシフト補正が可能だからである。

図６（ｃ）のフローに入ると、まず、顔を検出したか否かを判定する（Ｓ７１）。ここでは、顔検出部２２７が顔を検出したか否かを判定する。この判定の結果、顔を検出した場合には、顔位置は画面の上部にあるか否かを判定する（Ｓ７３）。ここでは、顔検出部２２７が顔の位置を検出し、この位置に基づいて判定する。

ステップＳ７３における判定の結果、顔位置が上部にあった場合には、次に、補正効果有ると判定する（Ｓ７５）。ここでは、判定結果を記憶しておき、前述のステップＳ３９（図５参照）における判定の際に使用する。

ステップＳ７５において補正効果有判定を行うと、次に、画像上辺基準で焦点距離最大ステップ／２を設定する（Ｓ７７）。ここでは、画像の上辺を基準にして、例えば、焦点距離によって決まる最大ステップの１／２に基づいて補正ステップを設定する。

ステップＳ７７において補正ステップを設定すると、またはステップＳ６１における判定の結果、Ｎｏであった場合には、補正効果判定のフローを終了し、元のフローに戻る。

図６（ｃ）に示した補正効果判定のフローは、人物撮影に適しているので、セルフタイマモードやポートレートモードが設定されている場合に適しており、これらのモードが設定されている場合には、図６（ｃ）示す補正効果判定を利用するとよい。

なお、図６（ｃ）に示した例では、顔を検出し、しかも顔の位置が上部にある場合に、補正効果有と判定し、補正アシスト表示を行っている。しかし、これに限らず、顔の位置が真ん中や下部にあるような場合に、人物を上から撮影するように、ユーザに勧める補正アシスト表示を行うようにしてもよい。

図６にステップＳ３７（図５参照）の補正効果判定の例を３種類示したが、これらを適宜、組み合わせてもよく、また他の補正効果判定と組み合わせてもよい。

図８にアシスト表示の例を示す。この例では、人物を撮影する場合であり、顔が画面の上部にあることから（図６（ｃ）参照）、お勧め撮影アングル表示４０がライブビュー画像に重畳して表示されている。なお、顔の位置に画面上部であっても、前述したように、なるべく上側から人物を撮影した方が、笑顔に見えることから、顔の位置が上部にない場合に、上側からカメラの向きを下げて撮影するように、カメラの向きを下げたお勧め撮影アングル表示４０を表示するようにしてもよい。

次に、図７を用いて、ステップＳ１５のシフト補正操作（図４参照）の詳しい動作について説明する。このフローは、図３を用いて説明したシフト補正の画像を表示するための動作を示す。

シフト補正操作のフローに入ると、まず、シフト補正ステップ設定を行う（Ｓ８１）。ここでは、図９を用いて説明した補正可能なあおり角度（補正角度）に基づいて、シフト補正ステップを設定する。設定値は、あおり角度検出に応じた補正量を適用してもよいし、マニュアル設定値（初期値±０＝補正なし）でもよい。なお、本実施形態においては、前述したように２０ステップとしているが、これと異なるステップ数でもよい。また、ユーザがマニュアル設定するようにしてもよい。

ステップＳ８１においてシフト補正ステップの設定を行うと、次に、切り出しステップの設定を行う（Ｓ８３）。図３に示すように、切り出し位置を変更することができる。このステップでは、切り出し位置の変更を行うことのできるステップ数を設定する。

ステップＳ８３において切り出しステップの設定を行うと、次に、リアダイヤル回転か否かの判定を行う（Ｓ８５）。前述したように、ユーザは垂直方向（縦方向）にシフト補正処理を施したい場合には、リアダイヤル２３５ａを回転操作する。そこで、このステップでは、操作部材検出部２３３が、リアダイヤル２３５ａの操作状態を検出し、この検出結果に基づいて回転操作されたか否かを判定する。

ステップＳ８５における判定の結果、リアダイヤルが回転していた場合には、Ｖシフト補正ステップ更新を行う（Ｓ８７）。ここでは、リアダイヤル２３５ａの操作状態に応じて、図３の補正画像３０Ｖに対応するＶシフト補正ステップに変更する。

ステップＳ８７においてＶシフト補正ステップ更新を行うと、またはステップＳ８５における判定の結果、リアダイヤルが回転していなかった場合には、次に、フロントダイヤル回転か否かの判定を行う（Ｓ８９）。前述したように、ユーザは水平方向（横方向）にシフト補正処理を施したい場合には、フロントダイヤル２３５ｂを回転操作する。そこで、このステップでは、操作部材検出部２３３が、フロントダイヤル２３５ｂの操作状態を検出し、この検出結果に基づいて回転操作されたか否かを判定する。

ステップＳ８９における判定の結果、フロントダイヤルが回転していた場合には、Ｈシフト補正ステップ更新を行う（Ｓ９１）。ここでは、フロントダイヤル２３５ｂの操作状態に応じて、図３の補正画像３０Ｈに対応するＨシフト補正ステップに変更する。

ステップＳ９１においてＨシフト補正ステップ更新を行うと、またはステップＳ８９における判定の結果、フロントダイヤルが回転していなかった場合には、次に、十字釦がオンか否かを判定する（Ｓ９３）。図３を用いて説明したように、ユーザは十字釦２３５ｃを操作することにより、補正画像の切り出し位置を変更する。そこで、このステップでは、操作部材検出部２３３が、十字釦２３５ｃの上下左右釦の操作状態を検出し、この検出結果に基づいて判定する。

ステップＳ９３における判定の結果、十字釦がオンしていた場合には、切り出しステップの更新を行う（Ｓ９５）。ここでは、十字釦２３５ｃが操作される毎に、上下左右釦の操作に応じた方向に切り出しステップを更新する。

ステップＳ９５において切り出しステップの更新を行うと、またはステップＳ９３における判定の結果、十字釦がオンしていない場合には、次に、ＯＫ釦２秒オンか否かの判定を行う（Ｓ９７）。ＯＫ釦は、十字釦２３５ｃの中央に配置された釦である。このステップでは、操作部材検出部２３３が、ＯＫ釦の操作状態を検出し、この検出結果に基づいて判定する。なお、２秒は例示であり、ユーザがリセット操作を行うに適切な時間であればよい。

ステップＳ９７における判定の結果、ＯＫ釦が２秒オンであった場合には、シフト補正ステップと切り出しステップをリセットする（Ｓ９９）。シフト補正ステップのリセット値は補正なし（図３の３０ｃ）、或いは傾き検出に応じたシフトステップとしてもよい。また、切り出し位置のリセットは、シフト補正の基準となる画像端辺とする。

ステップＳ９９においてシフト補正ステップの切り出しステップリセットを行うと、またはステップＳ９７における判定の結果、ＯＫ釦が２秒オンしていなかった場合には、シフト補正操作のフローを終了し、元のフローに戻る。元のフローに戻ると、ステップＳ１７におけるライブビュー表示で、シフト補正操作における処理が反映される。

このように、シフト補正操作におけるフローでは、リアダイヤル２３５ａ、フロントダイヤル２３５ｂ、十字釦２３５ｃ等の操作に応じて、シフト補正の補正量を変更し、また切り出し位置を変更できる。このため、ユーザの意図するあおり撮影の画像を生成することが可能となる。

次に、図１０を用いて、ステップＳ２１（図４参照）におけるＡＦの際のＡＦポイントの設定について説明する。シフト補正処理を行う場合には、全画像を表示するのではなく、シフト補正ステップの変更や切り出し位置の変更に応じて、一部の画面のみが表示される。この変更に伴って、ＡＦポイントが画面の外に出てしまうことがある。本実施形態においては、全画像の画像データがあることから、ＡＦポイントを維持することができるが、ＡＦポイントの位置を画面内に表示することができない。このような場合には、ＡＦポイントのある方向を表示するようにしている。

図１０（ａ）（ｂ）は、シフト補正処理を行わない全画像を示し、図１０（ｃ）（ｄ）はシフト補正処理を行ったシフト補正画像を示す。シフト補正画像は、シフト補正を施すために全画像の内の一部のみとなる。図１０（ａ）におけるＡＦポイント４０ａと、図１０（ｂ）におけるＡＦポイント４０ｂは、いずれも全画像が表示されることから、ＡＦポイントも表示される。

しかし、シフト補正画像の場合には、全画像が表示されないことから、ＡＦポイントが表示されない場合がある。図１０（ｃ）におけるＡＦポイント４０ｃは、シフト補正画像内にあるために表示され、かつこのＡＦポイント４０ｃに対してピント合わせが行われる。しかし、図１０（ｄ）におけるＡＦポイント４０ｄは、シフト補正画像が切り出されていることから、図１０（ｄ）の画面内に対応する位置がない。但し、ユーザは、全くＡＦポイント位置が分からないと撮影に不便であることから、ＡＦポイント４０ｄ表示し、併せてＡＦポイントが存在する方向を矢印４１で示す。

次に、図１１を用いて、シフト補正がなされた場合のＡＦポイントの表示の動作について説明する。図１０を用いて説明したＡＦポイントの表示は、この図１１に示すフローチャートによって実行される。このフローは、ステップＳ１９（図４）のシャッタ釦の半押し操作が行われるとスタートする。

図１１に示すシフト中ＡＦのフローに入ると、まず、選択ポイントでＡＦを実行する（Ｓ１０１）。ＡＦのための選択ポイントは、例えば、顔検出部２２７によって検出された顔の位置や、またユーザが任意に指定した位置等である。選択ポイントが決まると、この選択ポイントからの画像データに基づいて、ＡＦ制御部２２１がＡＦ制御を行う。

ステップＳ１０１において選択ポイントでＡＦを実行すると、次に、ＡＦポイントはライブビュー画領域内か否かを判定する（Ｓ１０３）。前述したように、シフト補正操作を行うと、表示部３０１に全画像が表示されない。このため、ＡＦポイントが表示されてない場合がある。このステップでは、ステップＳ１０１で選択されたポイントが、ライブビュー画像に含まれているか否かを判定する。

ステップＳ１０３における判定の結果、ＡＦポイントがライブビュー画像の領域内にある場合には、ライブビュー画像のＡＦポイントを重畳表示する（Ｓ１０５）。ここでは、図１０（ｃ）に示したように、ＡＦポイント４０ｃをライブビュー画像に重畳表示する。

一方、ステップＳ１０３における判定の結果、ＡＦポイントがライブビュー画像の周辺となる場合には、ＡＦポイントと矢印を重畳して表示する（Ｓ１０７）。ここでは、図１０（ｄ）に示したように、ＡＦポイント４０ｄと矢印４１をライブビュー画像に重畳表示する。

ステップＳ１０５またはＳ１０７においてＡＦポイント等の表示を行うと、次に、合焦マーク表示と合焦音発音を行う（Ｓ１０９）。ＡＦ制御の結果、合焦状態であれば、合焦マーク４３（図１０（ｄ）参照）を行い、また合焦したことを告知する音を発生する。この処理を行うと、シフト中ＡＦの処理を終了し、元のフローに戻る。

このように、シフト中ＡＦでは、シフト補正処理の結果、ＡＦポイントがシフト補正画像の外になった場合には、ＡＦポイントにおける焦点検出を維持し、ＡＦポイントの表示は、そのＡＦポイントのある方向を表示するようにしている。このため、ユーザは、画面外にＡＦポイントがあることが簡単に分かる。なお、ＡＦポイントのある方向の表示にあたっては、本実施形態においては、矢印を用いていたが、これに限らず、方向が分かれば、矢印に限られない。

なお、本実施形態においては、ＡＦポイントが表示部３０１の外側にある場合には、その方向を示すようにしていた。しかし、これに限らず、例えば、ＡＦポイントが表示部３０１内となるように、シフト補正処理を行った画像の位置を移動させるようしてもよい。この場合の移動量は、表示範囲内で周縁部に近いところまで移動する程度でよい。

また、ＡＦポイントが選択された場合（例えば、シャッタ釦の半押し時）に、一旦、シフト補正モードを解除し、全画像をライブビューで表示し、その際、ＡＦポイントを重畳表示するようにしてもよい。この場合、ＡＦポイントの表示を所定時間行ったら、シフト補正モードに復帰するようにしてもよい。

さらに、ＡＦポイントが選択された際に、シフト画像に加えて、全画像を補助画像として、右隅や左隅等に表示し、この補助画像にＡＦポイントを表示するようにしてもよい。

次に、図１２を用いて、ステップＳ１７（図４参照）におけるライブビュー表示中の拡大表示について説明する。拡大表示は、ＡＦ後のピントを確認するため、或いは、フォーカスリングを用いたマニュアルピント合わせの際に用いることで有益であり、そのため高い解像度が要求される。図１２（ｂ）は、シフト補正を行わない場合の全体画像である。この全体画像は、図に示されるように、本来長方形である形状が台形に歪んである。図１２（ａ）は、歪んだ台形を本来の長方形となるようにシフト補正処理を施した画像である。

図１２（ａ）の領域５０Ａをそのまま拡大すると、図１２（ｃ）に示す領域５０ａとなる。しかし、シフト補正を行うために領域５０Ａの画像の解像度は低下しており、さらに、領域５０ａに拡大すると、解像度はかなり低下してしまう。そこで、本実施形態においては、シフト補正を行う前の領域５０Ｂの画像をそのまま拡大し、図１２（ｄ）に示すように、領域５０ｂとして表示する。領域５０Ｂはシフト補正されていないことから、画像の解像度は高く、これを拡大しても、解像度は十分である。

次に、図１３を用いて、シフト補正がなされた場合の拡大表示の動作について説明する。図１２を用いて説明した拡大表示は、この図１３に示すフローチャートによって実行される。このフローは、ステップＳ１７（図４）を実行中に拡大表示の指示がなされた場合に実行される。

図１３に示すライブビュー表示のフローに入ると、まず、拡大釦がオンか否かを判定する（Ｓ１１１）。ここでは、操作部材２３５中の拡大釦が操作されたかを判定する。

ステップＳ１１１における判定の結果、拡大釦が操作された場合には、拡大オンとオフの切換を行う（Ｓ１１３）。拡大オンが設定されている場合に、拡大釦が操作されると拡大オフとなり、通常の表示になる。また拡大オフが設定されている場合に、拡大釦が操作されると拡大オンとなり、表示部３０１に拡大表示される。

ステップＳ１１３において拡大オン・オフの切換がなされると、またはステップＳ１１１における判定の結果、拡大釦がオンでなかった場合には、次に、拡大枠座標を撮像座標に変換する（Ｓ１１５）。通常（シフト補正なし）のライブビュー表示中は、モニタ上の拡大枠座標とライブビュー画像の座標は一致するが、シフト補正中の場合には、モニタ上の拡大枠表示座標はシフト補正後の補正ライブビュー表示上に重畳表示されるので、これを撮像上の元画像座標に合せる。

ステップＳ１１５において座標の変換を行うと、次に、拡大中か否かを判定する（Ｓ１１７）。ここでは、ステップＳ１１３における拡大オンまたはオフの設定に基づいて判定する。

ステップＳ１１７における判定の結果、拡大中でなければ、全領域画素加算読出しを行う（Ｓ１１９）。ここでは、撮像素子２０３から全領域の画素に対して加算読出しを行う。続いて、シフト補正中か否かを判定する（Ｓ１２１）。ステップＳ９（図４）において、シフト補正モードと判定された場合には、ステップＳ１５においてシフト補正が行われる。このステップでは、このシフト補正が行われているか否かに基づいて判定する。

ステップＳ１２１における判定の結果、シフト補正中でない場合には、補正なし全画像ライブビュー表示を行う（Ｓ１２５）。ここでは、拡大指示がなされておらず、またシフト補正中でないことから、図１２（ｂ）に示すような補正なしの全画像を表示する。

一方、ステップＳ１２１における判定の結果、シフト補正中の場合には、補正画像のライブビュー表示を行う（Ｓ１２３）。ここでは、拡大指示がなされておらず、またシフト補正中であることから、図１２（ａ）に示すようなシフト補正を行った画像を表示する。

ステップＳ１１７に戻り、この判定の結果、拡大中であった場合には、拡大領域全画素読出しを行う（Ｓ１２７）。ここでは、指定された拡大領域から、この領域について撮像素子２０３の全画素の画像データを読み出す。

ステップＳ１２７において拡大領域全画素読出しを行うと、次に、補正なし拡大ライブビュー画像を表示する（Ｓ１２９）。ここでは、指定された拡大領域について、シフト補正を行っていない画像データを用いて、図１２（ｄ）に示すような拡大画像を表示する。この拡大画像は、シフト補正した画像ではなく、拡大領域から読出した画像データを用いているので、形状に歪は残っているが、図１２（ｄ）に示すように、解像度が低下することはなく、高解像度の表示を行うことができる。

ステップＳ１２３、Ｓ１２５においてライブビュー表示を行うと、拡大枠の重畳表示を行う（Ｓ１３１）。ここでは、拡大した領域の位置を示す拡大枠を、ライブビュー表示に重畳して表示する。拡大枠重畳表示を行うと、元のフローに戻る。

このように、シフト補正モードが設定されている場合に、拡大表示の指示がなされた場合には、シフト補正を行っていない画像データを用いて拡大表示を行っている。このため、拡大表示を行っても、画像の解像度が低下することがなく、正確なピント確認、ピント合わせが可能となる。

以上説明したように、本発明の一実施形態においては、画像処理部によるシフト補正が有効か否かを判定し（例えば、図４のＳ３７参照）、この判定の結果、シフト補正が有効と判定された場合に、画像表示部にアシスト表示を行うようにしている（例えば、図４のＳ３９、Ｓ４１参照）。このため、あおり撮影と同等の画像処理の使用をアドバイスすることが可能となり、あおり撮影になれないユーザであってもシフト補正を有効に活用することができる。

また、本発明の一実施形態においては、被写体に対してＡＦポイントを選択し（例えば、図１１のＳ１０１参照）、またシフト補正が施された画像データに基づいて、画像表示部に上記被写体像を表示する際に、選択されたＡＦポイントが画像表示部の外側にある場合には（例えば、図１１のＳ１０３Ｎｏ参照）、外側にあることを告知するようにしている（例えば、図１１のＳ１０７参照）。このため、あおり補正処理の結果、ＡＦポイントが補正画像から外れた場合でも構図の変更を行う必要がない。

また、本発明の一実施形態においては、画像表示部に被写体像の一部を拡大表示させる拡大指示部（例えば、操作部材２３５中の拡大釦）を有し、画像処理部によってシフト補正が施された画像が画像表示部に表示されている際に、拡大指示部によって拡大表示が指示された場合には（例えば、図１３のＳ１１１）、シフト補正が施されていない画像データに対して、拡大表示のための処理を行い、画像表示部に拡大表示するようにしている（例えば、図１３のＳ１２９）。このため、あおり補正処理を行っている場合に、拡大表示が指示された場合に、画像の解像度の低下を防止することができる。

なお、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、あおり撮影と同等の効果を得ることが可能な画像処理を行うことのできる機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・レンズ部、１０１・・・撮影レンズ群、１０３・・・絞り、１０５・・・フォーカスリング、１０７・・・ズームリング、１１１・・・レンズ位置検出部、１１３・・・レンズ駆動部、１１５・・・絞り制御部、１１７・・・回転検出部、１１９・・・レンズ制御部、２００・・・カメラ本体、２０１・・・シャッタ、２０３・・・撮像素子、２０５・・・ブレ補正機構、２１０・・・カメラ本体制御部、２１１・・・ＡＦ補助光、２１３・・・撮像制御部、２１５・・・ブレ／姿勢検出部、２１７・・・ブレ補正制御部、２１９・・・シャッタ制御部、２２１・・・ＡＦ制御部、２２３・・・メモリ、２２５・・・画像処理部、２２７・・・顔検出部、２２９・・・露出制御部、２３１・・・表示制御部、２３３・・・操作部材検出部、２３５・・・操作部材、２３７・・・バス、３００・・・モニタ、３０１・・・表示部、３０３・・・タッチパネル、３０５・・・タッチパネル制御部、３０７・・・位置検出部、３１０・・・モニタ角度検出部

Claims (10)

1. 被写体像を光電変換し画像データを出力する撮像部と、
   上記画像データに基づいて上記被写体像を表示する画像表示部と、
   撮像装置の傾きを検出する傾き検出部と、
   上記画像データに対してシフト補正を行う画像処理部と、
   上記傾き検出部によって検出された傾きに基づいて、上記画像処理部による上記シフト補正が有効か否かを判定する判定部と、
   上記判定部によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行うアシスト表示制御部と、
   を有することを特徴とする撮像装置。
2. 撮影レンズの焦点距離情報を取得する焦点距離情報取得部を有し、
   上記判定部は、上記焦点距離情報取得部によって取得された焦点距離情報に基づいて、上記シフト補正が有効か否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 上記画像処理部は、上記画像データに基づいて画像中の斜め線を検出し、
   上記判定部は、上記画像処理部によって検出された画像中の斜め線情報に基づいて、上記シフト補正が有効か否かを判定することを特徴とする請求項１に記載の撮像装置。
4. 上記画像データに基づいて顔の位置を検出する顔検出部を有し、
   上記判定部は、上記顔検出部によって検出された上記顔の位置に基づいて、上記シフト補正が有効か否かを判定することを特徴とする請求項１に記載の撮像装置。
5. 上記シフト補正の際のシフト補正量を設定するための第１の操作部を有し、
   上記画像処理部は、上記第１の操作部によって設定された上記シフト補正量に基づいて、上記画像データに対して上記シフト補正を行うことを特徴とする請求項１に記載の撮像装置。
6. 上記シフト補正された画像の切り出し位置を設定するための第２の操作部を有し、
   上記画像処理部は、上記第２の操作部によって設定された上記切り出し位置に基づいて、上記画像データに対して上記シフト補正が施された画像から切り出すことを特徴とする請求項１に記載の撮像装置。
7. 上記シフト補正の際の補正角度の範囲と、焦点距離との関係を記憶する記憶部を有し、
   上記画像処理部は、上記記憶部に記憶された上記補正角度の範囲内で、上記シフト補正を行うことを特徴とする請求項１に記載の撮像装置。
8. 上記画像表示部には、上記画像処理部によって上記シフト補正が施されたシフト画像の内の一部を表示することを特徴とする請求項１に記載の撮像装置。
9. 被写体像を光電変換し画像データを出力し、
   上記画像データに基づいて上記被写体像を画像表示部に表示し、
   撮像装置の傾きを検出し、
   上記画像データに対してシフト補正を行い、
   検出された上記傾きに基づいて、上記シフト補正が有効か否かを判定し、
   上記判定によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行う、
   ことを特徴とする撮像方法。
10. 撮像装置に設けられたコンピュータに、
    被写体像を光電変換し画像データを出力し、
    上記画像データに基づいて上記被写体像を画像表示部に表示し、
    上記撮像装置の傾きを検出し、
    上記画像データに対してシフト補正を行い、
    検出された上記傾きに基づいて、上記シフト補正が有効か否かを判定し、
    上記判定によって上記シフト補正が有効と判定された場合に、上記画像表示部にアシスト表示を行う、
    ことを実行させることを特徴とするプログラム。