JP5771767B1 - 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供する。画像処理部は、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備える。

Description

本発明は、画像データに画像処理を行う画像処理装置、画像処理装置を備えた表示装置、表示装置を備えた撮像装置、画像処理装置が行う画像処理方法およびプログラムに関する。

近年、デジタルビデオカメラ等の手振れ補正機能を有する撮像装置では、動画撮影を行っている場合において、ユーザがパンニング操作やチルト操作その他の撮影画面変更操作を行ったとき、手振れ補正の効果と重なって撮影時の画像が余計に揺れてしまう。このため、ユーザが動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作を行った場合、手振れ補正機能を禁止または抑制する技術が知られている（特許文献１参照）。

特開平９−２８９６１２号公報

しかしながら、上述した特許文献１に記載の技術では、再生時の画像の変化までは考慮されていなかったため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作（以下、パンニングと略す場合もある）があった動画を再生する場合、視野領域が急激に変化したり、雑多な被写体がちらついたりする。このため、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合にも、ユーザに再生時の動画を快適に視認させることができる技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに再生時の動画を快適に視認させることができる画像処理装置、表示装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、情報表示時のデータの空間的な変化量または時間的な変化量を抑制して前記抑制画像データを生成することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像のコントラスト、彩度および解像度のいずれか一つ以上を抑制する画像処理を行うことによって前記抑制画像データを生成することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データの露出値を上げる画像処理を行うことによって前記抑制画像データを生成することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記抑制部は、前記画像データに対応する画像の画素数を間引く画像処理を行うことによって前記抑制画像データを生成することを特徴とする。

また、本発明に係る表示装置は、上記発明の画像処理装置と、前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明の表示装置と、視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、を備え、前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、を有し、前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記判定部は、前記時間的に前後する画像データに対応する２つの画像の画素毎または該２つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、画像処理装置に、外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、を実行させることを特徴とする。

本発明によれば、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図３は、本発明の実施の形態１に係る撮像装置がユーザによってパンニング操作される際の状況を示す図である。 図４は、図３の状況下で撮像装置が撮影する視野領域を模式的に示す図である。 図５は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の一例を示す図である。 図６は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の別の一例を示す図である。 図７は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の一例を示す図である。 図８は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図９は、本発明の実施の形態１に係る撮像装置の判定部が判定する際の画像の別の一例を示す図である。 図１０は、本発明の実施の形態１に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図１１は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態２に係る撮像装置の撮像部が生成した直前画像内における位置と情報量との関係を模式的に示す図である。 図１４は、本発明の実施の形態２に係る撮像装置の撮像部が生成した最新画像内における位置と情報量との関係を模式的に示す図である。 図１５は、図１３（ｂ）の曲線と図１４（ｂ）の曲線とを仮想的に重ねた際の明るさと位置との関係を示す図である。 図１６は、図１３（ｂ）の曲線と図１４（ｂ）の曲線とを仮想的に重ねた際の明るさの差分と位置との関係を示す図である。 図１７は、本発明の実施の形態２に係る撮像装置の抑制部による補正処理の概要を模式的に示す図である。 図１８は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の一例を示す図である。 図１９は、本発明の実施の形態２に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図２０は、本発明の実施の形態２の変形例に係る撮像装置の撮像部が生成した直前画像内における位置と情報量との関係を模式的に示す図である。 図２１は、本発明の実施の形態２の変形例に係る撮像装置の撮像部が生成した最新画像内における位置と情報量との関係を模式的に示す図である。 図２２は、図２１（ｂ）の領域毎の明るさと図２２（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさと位置との関係を示す図である。 図２３は、図２１（ｂ）と図２２（ｂ）との領域毎の明るさを仮想的に重ねた際の明るさと位置との関係を示す図である。 図２４は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。 図２５は、本発明の実施の形態３に係る撮像装置が実行する処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の一例を示す図である。 図２７は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の別の一例を示す図である。 図２８は、本発明の実施の形態３に係る撮像装置の表示部が表示する画像の別の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下においては、本発明の画像処理装置および表示装置を搭載した撮像装置を例に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、少なくとも、撮像部１０と、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、制御部１５と、を備える。

撮像部１０は、制御部１５の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データ（動画データ）を生成する。撮像部１０は、複数のレンズから構成され、被写体像を結像する光学系と、光学系の光量を調整する絞りと、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、撮像素子が生成した画像データに対して所定のアナログ処理を行う信号処理部と、信号処理部から入力されるアナログの画像データに対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成して制御部１５へ出力するＡ／Ｄ変換部と、撮像素子の撮像タイミングを発生するタイミングジェネレータと、を用いて構成される。

表示部１１は、制御部１５の制御のもと、撮像部１０が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データに対応する画像を所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１４に記録された画像データに対応する再生画像を表示する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を順次表示するライブビュー画像表示等が含まれる。表示部１１は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルおよび駆動ドライバ等を用いて構成される。なお、本実施の形態１では、表示部１１および後述する制御部１５が表示装置として機能する。

入力部１２は、撮像装置１に関する各種の動作を指示する指示信号の入力を受け付ける。入力部１２は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ、撮像装置１に静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチおよび撮像装置１に動画撮影を指示する指示信号の入力を受け付ける動画スイッチ等を用いて構成される。

記録部１３は、制御部１５を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１３は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）およびＦｌａｓｈメモリ等を用いて構成される。

記録媒体１４は、制御部１５を介して入力される画像データを記録する。記録媒体１４は、撮像装置１の外部から装着されるメモリーカード等を用いて構成され、図示しないメモリＩ／Ｆを介して撮像装置１に着脱自在に装着される。記録媒体１４は、後述する制御部１５が処理を施した画像データまたは動画データが書き込まれる。また、記録媒体１４は、制御部１５によって記録された画像データまたは動画データが読み出される。

制御部１５は、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１５は、ＣＰＵ（Central Processing Unit）を用いて構成される。なお、本実施の形態１では、制御部１５が画像処理装置として機能する。

ここで、制御部１５の詳細な構成について説明する。制御部１５は、判定部１５１と、抑制部１５２と、表示制御部１５３と、を有する。

判定部１５１は、撮像部１０の視野領域が変化したか否かを判定する。具体的には、判定部１５１は、撮像部１０が生成した時間的に前後する画像データに対応する２つの画像の一致度に基づいて、撮像部１０の視野領域が変化したか否かを判定する。たとえば、判定部１５１は、撮像部１０が生成した時間的に前後する画像データに対応する２つの画像に対して動き判定を行うことによって、撮像装置１に生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。

抑制部１５２は、判定部１５１によって撮像部１０の視野領域が変化したと判定された場合、撮像部１０が生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成して表示制御部１５３または外部機器（たとえば画像表示装置等）へ出力する。具体的には、抑制部１５２は、撮像部１０が生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか１つ以上を低下させる画像処理を行って抑制画像データを生成する。もちろん抑制部１５２は、視認可能性が人の目の使い方などに影響を受ける可能性もあるので、他の表現を使うと、情報表示時のデータの空間的な変化量、あるいは時間的な変化量（これは空間的な変化が少ないと連動して小さくなる）、または記録時のデータ量を抑制する処理を行ってもよい。

また、抑制部１５２は、画素数を減らしたり、画素間のデータ変化を減らしたりしてもよく、各画素の情報量の変化を減らす処理によっても、同様の効果を得ることが出来る。抑制部１５２は、例えば、明るい屋外などで液晶などの発光型の表示素子を見ると、外光が重なって良く見えなくなるが、このように、全体的にオフセットを持たせて明るくしても、画像の変化が少なくなって、ちらつきが見えにくくなるが、もちろん、このようにオフセット分、画像のデータを増やしても本発明の目的の結果を得ることが出来る。また、変化が少ないのは、圧縮した時に、データ量が減るような処理に相当するので、記録時間や容量的にも有利な方向となる。眼球移動が急速の（サッカード）時、網膜上の像の動きが激しくても、知覚が抑制されない効果を生理学の分野では、サッカード抑制と呼んでおり、この抑制効果を機器の側でも補助しようとするという側面を持つのが本発明の考え方である。もちろん、眼球移動を伴わずとも、不快感や違和感、品位などに繋がる画像表現もあり、これもまた、本発明では、対策するようにしている。この変化量は、人間の眼の反応速度からすると、１／１０秒くらいの差異における画像変化で判定すればよく、１／３０秒とか１／６０秒とかのフレームレートの場合、その何コマかの間の変化で検出すれば良い。

表示制御部１５３は、撮像部１０が生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部１５３は、判定部１５１が撮像部１０の視野領域が変化したと判定した場合、抑制部１５２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部１５３は、撮像装置１に関する操作情報を表示部１１に表示させる。なお、本実施の形態１では、表示制御部１５３が表示部１１に抑制部１５２が生成した抑制画像データを出力する出力部として機能する。

以上の構成を有する撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。

図２に示すように、まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合において、制御部１５は、撮像部１０に撮像を実行させる（ステップＳ１０２）。

続いて、判定部１５１は、撮像部１０によって生成された時間的に前後する画像データに対応する２つの画像（以下、単に「時間的に前後する２つの画像」という）の変化量が第１の閾値以上であるか否かを判定する（ステップＳ１０３）。この変化量は、画像の明るさの分布や明るさそのものの変化という判定でも良く、動きベクトルのように、どのように変化していったかを分析するような判定でもよく、いずれの場合も変化が大きいときに閾値が上がることを想定している。

図３は、撮像装置１がユーザによってパンニング操作される際の状況を示す図である。図４は、図３の状況下で撮像装置１が撮像する視野領域を模式的に示す図である。なお、図３および図４では、撮像装置１がユーザのパンニング操作によって、撮像装置１が略水平方向（矢印ａ１）へ移動することで、被写体Ｏ１が含まれる視野領域から被写体Ｏ４が含まれる視野領域までを連続的に撮像する際の状況を示す。また、図４の画像Ｆ１〜Ｆ４が撮像装置１の移動によって撮像された視野領域の画像に相当する。さらに、図３では、ユーザは、一定の速度で撮像装置１を略水平方向へ移動させるパンニング操作を行う場合について説明する。

図３および図４に示すように、判定部１５１は、ユーザによって撮像装置１がパンニング操作を行った場合において、撮像部１０が生成する時間的に前後する２つの画像の変化量が第１の閾値であるか否かを判定する。具体的には、判定部１５１は、２つの画像の変化量として、画素毎にパターンマッチングを行って画像情報、たとえば明るさ情報（輝度や色相）の変化量を算出し、この算出した結果が第１の閾値以上であるか否かを判定する。より具体的には、図５（ａ）および図５（ｂ）に示すように、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１（図４の画像Ｆ１の視野領域に相当）および最新画像ＬＶ２ａ（図４の画像Ｆ２の視野領域に相当）の一致度を画素毎に算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ａの変化量が第１の閾値上、たとえば撮像部１０の視野領域における３／４以上変化しているか否かを判定する。なお、図５においては、第１の閾値として撮像部１０の視野領域における３／４以上としているが、たとえば撮像部１０の視野領域における１／２以上であってもよいし、２／３以上であってもよく、適宜変更することができる。もちろん、撮影シーン、たとえば夜景、ポートレート、風景および被写体に応じて第１の閾値を変更することができる。また、鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して変更しても良い。

ステップＳ１０３において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第１の閾値以上であると判定した場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０４へ移行する。

続いて、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上であるか否かを判定する（ステップＳ１０４）。具体的には、判定部１５１は、２つの画像の変化量として、画素毎または所定の領域毎に分割した分割領域毎（ブロック毎）に画像情報の差や変化量を算出し、この算出した結果が第２の閾値以上であるか否かを判定する。より具体的には、図６（ａ）および図６（ｂ）に示すように、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１および最新画像ＬＶ２ｂ（図４の画像Ｆ３の視野領域に相当）の一致度を画素毎または領域毎に算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ｂの変化量が第２の閾値以上、たとえば、撮像部１０の視野領域における４／５以上変化しているか否かを判定する。なお、図６において、第２の閾値は、第１の閾値よりも大きく設定されればよい。また、判定部１５１は、撮像部１０が生成する時間的に前後する２つの画像内において、直前画像が最新画像に対して重畳する視野領域がなくなった場合も第２の閾値以上として判定する。この第２の閾値も、撮影環境下で変化させてもよく、再生鑑賞時の環境によって、これを変化させても良い。つまり明るい時には、表示画像のコントラストが低下したように見えるが、暗黒時では、コントラストがはっきりして、余計に不快に感じられることがある。つまり、このような場合は、想定される表示再生環境を想定して閾値を変更しても良い。

ステップＳ１０４において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上であると判定した場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は、ステップＳ１０５へ移行する。

続いて、抑制部１５２は、撮像部１０が生成した最新の画像データに対応する最新画像のコントラストを低減する画像処理を行って視覚的に把握可能な情報量を抑制した抑制画像データを生成する（ステップＳ１０５）。なお、抑制部１５２は、コントラストに換えて彩度または明るさ（輝度やゲイン）を低減させる画像処理を行ってもよい。さらに、抑制部１５２は、コントラスト、彩度および明るさのいずれか２つ以上を組み合わせた画像処理を行って情報量を抑制した抑制画像データを生成してもよい。また、画像を縮小したり、周辺部をかすませたり、枠を設けたりしても、画面内における画像の変化は小さくなる。前述のように全体にオフセット信号を持たせても、画像変化が小さくなって、目の疲れや違和感がなくなる方向になる。このような画質調節は、撮影時に行ってもよいが、再生時に行うようにしてもよいので、画像変化抑制信号を付与するだけでも良い。

続いて、表示制御部１５３は、抑制部１５２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ１０６）。具体的には、図７に示すように、表示制御部１５３は、抑制部１５２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ１０を表示部１１に表示させる。これにより、ユーザが撮像装置１に対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図７においては、コントラストの低減をハッチングで表現した。ステップＳ１０６の後、撮像装置１は、後述するステップＳ１１０へ移行する。

ステップＳ１０４において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第２の閾値以上でないと判定した場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、ステップＳ１０７へ移行する。

続いて、抑制部１５２は、撮像部１０が生成した直前の画像データに対応する直前画像の解像度を低減する画像処理を行って抑制画像データを生成する（ステップＳ１０７）。なお、抑制部１５２は、撮像部１０が生成した直前の画像データに対応する直前画像の解像度に換えて、圧縮率や画素を間引いて抑制画像データを抑制してもよい。

その後、表示制御部１５３は、抑制部１５２によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像を表示部１１に表示させる（ステップＳ１０８）。具体的には、図８に示すように、表示制御部１５３は、抑制部１５２によって生成された解像度が低減された抑制画像データに対応する直前画像を、最新画像に重畳したライブビュー画像ＬＶ１１を表示部１１に表示させる。これにより、ユーザが撮像装置１に対してパンニング操作を行った場合において、被写体Ｏ１から所望の被写体Ｏ４までに撮像される直前画像を順次残像させ、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時に視野領域が変化したときであっても、動画の再生時にユーザに快適に視認させることができる。なお、図８においては、残像を点線で表現した。ステップＳ１０８の後、撮像装置１は、ステップＳ１１０へ移行する。

ステップＳ１０３において、判定部１５１が撮像部１０によって生成された時間的に前後する２つの画像の変化量が第１の閾値以上でないと判定した場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０９へ移行する。たとえば、図９（ａ）および図９（ｂ）に示す場合、判定部１５１は、撮像部１０が生成した時間的に前後する２つの直前画像ＬＶ１および最新画像ＬＶ２ｃ（図４の画像Ｆ１の視野領域に相当）の一致度を算出し、直前画像ＬＶ１に対する最新画像ＬＶ２ｃの変化量が第１の閾値以上でないと判定する。具体的には、図９（ａ）および図９（ｂ）に示すように、撮像部１０の視野領域がほぼ変化していない場合、時間的に前後する２つの画像の変化量が第１の閾値以上でないと判定する。

続いて、表示制御部１５３は、撮像部１０が生成した最新の画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ１０９）。具体的には、図１０に示すように、表示制御部１５３は、撮像部１０が生成した最新の画像データに対応するライブビュー画像ＬＶ１２を表示部１１に表示させる。ステップＳ１０９の後、撮像装置１は、ステップＳ１１０へ移行する。

ステップＳ１０６、ステップＳ１０８およびステップＳ１０９の後、入力部１２を介して静止画撮影を指示する指示信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、制御部１５は、撮像部１０に撮影を実行させ（ステップＳ１１１）、撮像部１０が生成した画像データを記録媒体１４に記録する（ステップＳ１１２）。

続いて、入力部１２を介して撮像装置１の電源がオフされた場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部１２を介して撮像装置１の電源がオフされていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１１０において、入力部１２を介して静止画撮影を指示する指示信号が入力されていない場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１４へ移行する。

続いて、撮像装置１が動画撮影中である場合（ステップＳ１１４：Ｙｅｓ）、制御部１５は、表示部１１が表示する表示画像に対応する画像データを記録媒体１４の動画ファイルに記録する（ステップＳ１１５）。

その後、入力部１２を介して動画撮影を終了する指示信号が入力された場合（ステップＳ１１６：Ｙｅｓ）、制御部１５は、撮像装置１の動画撮影を終了する動画終了処理を実行する（ステップＳ１１７）。たとえば、制御部１５は、記録媒体１４の動画ファイルに対して動画時間やデータ量を示す情報をメタ情報として記録する。ステップＳ１１７の後、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１１６において、入力部１２を介して動画撮影を終了する指示信号が入力されていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１１４において、撮像装置１が動画撮影中でない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、ステップＳ１１８へ移行する。

続いて、入力部１２を介して動画撮影を開始する指示信号が入力された場合（ステップＳ１１８：Ｙｅｓ）、制御部１５は、撮像装置１の動画撮影を開始する（ステップＳ１１９）。具体的には、制御部１５は、記録媒体１４に、撮像部１０が順次生成する画像データを時系列に沿って記録するための動画ファイルを作成する。ステップＳ１１９の後、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１１８において、入力部１２を介して動画撮影を開始する指示信号が入力されていない場合（ステップＳ１１８：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

次に、ステップＳ１０１で撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ１２０：Ｙｅｓ）、表示制御部１５３は、記録媒体１４に記録された画像ファイルまたは動画ファイルそれぞれのヘッダに記録されたサムネイル画像を表示部１１に一覧表示させる（ステップＳ１２１）。

続いて、入力部１２を介して表示部１１が表示する画像一覧から再生する画像ファイルが指定された場合（ステップＳ１２２：Ｙｅｓ）、撮像装置１は、ステップＳ１２３へ移行する。これに対して、入力部１２を介して表示部１１が表示する画像一覧から再生する画像ファイルが指定されていない場合（ステップＳ１２２：Ｎｏ）、撮像装置１は、ステップＳ１２１へ戻る。

ステップＳ１２３において、入力部１２を介して指定された画像ファイルが動画ファイルの場合（ステップＳ１２３：Ｙｅｓ）、表示制御部１５３は、動画ファイルに記録された動画データに対応する動画の再生表示を開始する（ステップＳ１２４）。

続いて、判定部１５１は、時間的に前後する２つの画像の変化量が第３の閾値以上であるか否かを判定する（ステップＳ１２５）。具体的には、判定部１５１は、表示部１１に表示させた直前の画像と最新の画像との変化量が第３の閾値以上であるか否かを判定する。判定部１５１が時間的に前後する２つの画像の変化量が第３の閾値以上であると判定した場合（ステップＳ１２５：Ｙｅｓ）、撮像装置１は、ステップＳ１２６へ移行する。これに対して、判定部１５１が時間的に前後する２つの画像の変化量が第３の閾値以上でないと判定した場合（ステップＳ１２５：Ｎｏ）、撮像装置１は、後述するステップＳ１３３へ移行する。

ステップＳ１２６において、表示部１１が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がある場合（ステップＳ１２６：Ｙｅｓ）、抑制部１５２は、安定画像の解像度を低減する抑制処理を実行する（ステップＳ１２７）。

続いて、表示制御部１５３は、抑制部１５２が解像度を低減した安定画像を現画像に重畳して表示部１１に表示させる（ステップＳ１２８）。これにより、予告効果によってユーザに安心感を促すことができる。

その後、動画が終了した場合（ステップＳ１２９：Ｙｅｓ）、撮像装置１は、後述するステップＳ１３０へ移行する。これに対して、動画が終了した場合（ステップＳ１２９：Ｎｏ）、撮像装置１は、ステップＳ１２５へ戻る。

ステップＳ１３０において、入力部１２を介して再生する画像の切換があった場合（ステップＳ１３０：Ｙｅｓ）、撮像装置１は、ステップＳ１２１へ戻る。これに対して、入力部１２を介して再生する画像の切換がない場合（ステップＳ１３０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１２６において、表示部１１が表示する現在の画像から所定の時間内に画像の変化量が安定する安定画像がない場合（ステップＳ１２６：Ｎｏ）、撮像装置１は、ステップＳ１３１へ移行する。

続いて、抑制部１５２は、直前の画像の解像度を低減する抑制処理を実行する（ステップＳ１３１）。

その後、表示制御部１５３は、抑制部１５２が解像度を低減した直前の画像を現画像に重畳して表示部１１に表示させる（ステップＳ１３２）。ステップＳ１３２の後、撮像装置１は、ステップＳ１２９へ移行する。

ステップＳ１３３において、表示制御部１５３は、画像データに対応する画像を表示部１１に表示させる（ステップＳ１３３）。ステップＳ１３３の後、撮像装置１は、ステップＳ１２９へ移行する。

ステップＳ１２３において、入力部１２を介して指定された画像ファイルが動画ファイルでない場合（ステップＳ１２３：Ｎｏ）、表示制御部１５３は、画像データに対応する画像を表示部１１に全画面表示させる（ステップＳ１３４）。ステップＳ１３４の後、撮像装置１は、ステップＳ１３０へ移行する。

ステップＳ１２０において、撮像装置１が再生モードに設定されていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

以上説明した本発明の実施の形態１によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに動画の再生時に快適に視認させることができる。

また、本発明の実施の形態１によれば、判定部１５１が撮像部１０の視野領域が変化したと判定した場合、抑制部１５２が撮像部１０によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成し、表示制御部１５３が抑制部１５２によって生成された抑制画像データに対応するライブビュー画像を表示部１１に表示させる。これにより、フレーム間で変化が大きい最新画像は、直前画像からの変化量を小さくして表示部１１で表示されるので、動画撮影時または動画の再生時にユーザに快適に視認させることができる。このような、視認可能な情報量を抑制する処理（つまり、情報表示時のデータの空間的な変化量、あるいは時間的な変化量を抑制する処理）は、一律に行う必要はなく、パンニング開始時と途中で処理を変えても良く、パンニング時の画像変化の激しさによって処理を変えても良い。

なお、上述した本発明の実施の形態１では、ユーザによって撮像装置１が略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置１が略垂直方向へ移動するチルト操作が行われた場合や、その他の撮影画面変更操作であっても適用することができる。

また、本発明の実施の形態１では、ライブビュー画像の表示時に、抑制部１５２が撮像部１０によって生成された画像データに対応する画像に含まれる視覚的に視認可能な情報量を低減していたが、たとえば、記録媒体１４に記録する画像データのみに対して情報量を抑制してもよい。

また、本発明の実施の形態１では、判定部１５１が時間的に前後する２つの画像を用いて、撮像部１０の視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部１０が生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部１０の視野領域が変化したか否かを判定してもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置と構成が異なるうえ、実行する処理が異なる。このため、以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置と同一の構成には同一の符号を付して説明を省略する。ただし、先に書いた事項で、ここでも対応するブロック、機能部分は、同様の働きをすることは、繰り返しを省略しただけで、そのまま適応可能なことは言うまでもない。

図１１は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。図１１に示す撮像装置１ａは、撮像部１０ａと、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、手振れ補正部１６と、動き検出部１７と、タッチパネル１８と、通信部１９と、制御部２０と、を備える。

撮像部１０ａは、複数のレンズを用いて構成され、所定の視野領域から集光して被写体の被写体像を結像するレンズ部１０１と、レンズ部１０１が結像した被写体像を受光して被写体の画像データを生成する撮像素子１０２と、を有する。撮像素子１０２は、被写体の画像データを連続的に生成して制御部２０へ出力する。

手振れ補正部１６は、撮像装置１ａに生じる手振れを補正する。具体的には、手振れ補正部１６は、撮像素子１０２を撮像部１０ａの光軸Ｌと直交する垂直面内で撮像素子１０２を移動させるとともに、光軸Ｌと直交する水平面内で撮像素子１０２を移動させることによって、撮像装置１ａに生じる手振れを補正する（ボディ内手振れ補正）。手振れ補正部１６は、複数の超音波アクチュエータおよびアクチュエータ駆動部を用いて構成される。手振れ補正部１６は、制御部２０の制御のもと、撮像素子１０２を垂直面内および水平面内で移動させる。なお、手振れ補正部１６は、撮像素子１０２に換えて、レンズ部１０１を垂直面内および水平面内で移動させることによって、撮像装置１ａに生じる手振れを補正してもよい（レンズ内手振れ補正）。

動き検出部１７は、撮像装置１ａに生じる動きを検出し、この検出結果を制御部２０へ出力する。具体的には、動き検出部１７は、撮像装置１ａに生じる加速度および角速度をそれぞれ検出し、この検出結果を制御部２０へ出力する。動き検出部１７は、加速度センサおよびジャイロセンサ等を用いて構成される。

タッチパネル１８は、表示部１１の表示画面上に重畳して設けられる。タッチパネル１８は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を制御部２０へ出力する。また、タッチパネル１８は、ユーザが表示部１１で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置１ａが行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル１８としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態２では、いずれの方式のタッチパネルであっても適用可能である。

通信部１９は、所定の無線通信規格に従って、外部の機器と無線通信を行って画像データを含む画像ファイルを送信または受信する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｎ等である。なお、本実施の形態２では、いずれの無線通信規格であっても適用可能である。また、通信部１９は、ネットワークを介して外部の機器と画像ファイルやコンテンツデータ等の各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。また、通信部１９は、撮像装置１ａの起動時において、その存在を報知する識別情報（機器ＩＤ）を含む通信信号を定期的に送信する。なお、通信部１９は、撮像装置１ａの外部から装着されるメモリーカード等の記録媒体１４に設けられていてもよい。さらに、通信部１９は、ホットシューを介して撮像装置１ａに装着されるアクセサリに設けられていてもよい。

制御部２０は、撮像装置１ａを構成する各部に対応する指示やデータの転送等を行って撮像装置１ａの動作を統括的に制御する。制御部２０は、ＣＰＵ等を用いて構成される。なお、本実施の形態２では、制御部２０が画像処理装置として機能する。

ここで、制御部２０の詳細な構成について説明する。制御部２０は、判定部２０１と、抑制部２０２と、表示制御部２０３と、を有する。

判定部２０１は、撮像部１０ａが生成した時間的に前後する画像データに対応する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定することによって、撮像部１０ａの視野領域が変化したか否かを判定する。具体的には、判定部２０１は、直前画像と最新画像それぞれの画像中央部の画素値の差を加算するとともに、直前画像と最新画像それぞれの画像周辺部の画素値の差を加算し、画像中央部と画像周辺部それぞれの差を加算した値が所定の閾値以上の場合、撮像部１０ａの視野領域が変化したと判定する。ここで、画像中央部とは、画像の中心を含む２／３の領域である。また、画像周辺部とは、画像中央部を除く領域である。

抑制部２０２は、判定部２０１によって撮像部１０ａの視野領域が変化したと判定された場合、撮像部１０ａが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部２０２は、撮像部１０ａが生成する画像に含まれる視覚的に視認可能な撮影情報として、コントラスト、彩度、解像度および画素数のいずれか１つ以上を低下させる画像処理を行って抑制画像データを生成する。

表示制御部２０３は、撮像部１０ａが生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部２０３は、判定部２０１が撮像部１０ａの視野領域が変化したと判定した場合、抑制部２０２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部２０３は、撮像装置１ａに関する操作情報を表示部１１に表示させる。なお、本実施の形態２では、表示制御部２０３が出力部として機能する。

以上の構成を有する撮像装置１ａが実行する処理について説明する。図１２は、撮像装置１ａが実行する処理の概要を示すフローチャートである。

図１２において、まず、撮像装置１ａが撮影モードに設定されている場合（ステップＳ２０１：Ｙｅｓ）について説明する。この場合、制御部２０は、撮像素子１０２に撮像を実行させる（ステップＳ２０２）。

続いて、判定部２０１は、時間的に前後する直前の直前画像と最新の最新画像とを重ねて画素毎に差を判定する判定処理を開始し（ステップＳ２０３）、直前画像と最新画像それぞれの画像中央部における画素の差を加算した値（以下、画像中央部における画素の差を加算した値を「Ｃ」という。）を算出するとともに（ステップＳ２０４）、直前画像と最新画像それぞれの画像周辺部の画素の差を加算した値（以下、画像周辺部の画素の差を加算した値を「Ｐ」という）を算出する（ステップＳ２０５）。なお、画像中央部とは、画像の中心を含む矩形状の領域である。また、画像周辺部とは、画像内において画像中央部を除く領域であって、画像内の有効画素領域の画像中央部から外縁までの領域である。また、判定部２０１は、画像中央部および画像周辺部それぞれの全ての画素を用いて判定する必要はなく、画素を所定の間隔で間引いて差を算出してもよい。具体的には、判定部２０１は、画像中央部および画像周辺部それぞれの所定の画素列、たとえば奇数列または偶数列の画素の差を加算した値を算出してもよい。

図１３は、直前画像内における位置と情報量との関係を模式的に示す図である。図１４は、最新画像内における位置と情報量との関係を模式的に示す図である。図１３および図１４において、直線Ｌ１上における情報量としての明るさを例に説明する。また、図１３（ｂ）および図１４（ｂ）において、横軸が各画像の位置を示し、縦軸が明るさを示す。

図１３（ａ）に示すように、直前画像ＬＶ２０において被写体Ｏ１の顔を横切った直線Ｌ１の明るさは、図１３（ｂ）に示す曲線Ｉｍ１となる。図１３（ａ）に示す状態からユーザが撮像装置１ａに対して水平方向にパンニング操作を行った場合、図１４に示す最新画像ＬＶ２１を得ることができる。このとき、最新画像ＬＶ２１における被写体Ｏ１の顔を横切った直線Ｌ１の明るさは、図１４（ｂ）に示す曲線Ｉｍ２となる。判定部２０１は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２とを比較する（図１５を参照）。

図１５は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２とを仮想的に重ねた際の明るさと位置との関係を示す図である。図１６は、図１３（ｂ）の曲線Ｉｍ１と図１４（ｂ）の曲線Ｉｍ２との明るさの差分と位置との関係を示す図である。

図１５に示すように、ユーザは、時間的に前後する直前画像と最新画像のような２フレームの画像の一部に差異Ｄがある画像を見ただけでも、ストレスを感じる。さらに、ユーザは、動画でパンニング操作があった場合、パンニング操作に応じて撮像装置１ａの視野領域が変化するうえ、色の成分や被写体が変化するので、不快になってしまう場合があった。具体的には、図１６に示す曲線Ｉｍ１２のように、振幅が大きいほど直前画像から最新画像への画像変化が大きいと考えられる。そこで、判定部２０１は、曲線Ｉｍ１と曲線Ｉｍ２それぞれの差分を算出することによって、直前画像Ｌ２０に対する最新画像Ｌ２１の画像変化を判定する。即ち、判定部２０１は、直前画像および最新画像それぞれの画素値の絶対値を加算することによって、直前画像Ｌ２０に対する最新画像Ｌ２１の画像変化の変化量を数値化する。

図１２に戻り、ステップＳ２０６以降の説明を続ける。
ステップＳ２０６において、判定部２０１は、画素中央部における画素の差を加算した値Ｃの絶対値｜Ｃ｜と画像周辺部における画素の差を加算した値Ｐの絶対値｜Ｐ｜との和｜Ｃ｜＋｜Ｐ｜が所定の閾値以上であるか否かを判定する。判定部２０１が和｜Ｃ｜＋｜Ｐ｜が所定の閾値以上であると判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ２０７へ移行する。これに対して、判定部２０１は、和｜Ｃ｜＋｜Ｐ｜の値が所定の閾値以上でないと判定した場合（ステップＳ２０６：Ｎｏ）、撮像装置１ａは、後述するステップＳ２１２へ移行する。

ステップＳ２０７において、判定部２０１は、Ｃを画像中央部の画素数で除算した平均値ＣAがＰを画像周辺部の画素数で除算した平均値ＰA以上であるか否かを判定する。判定部２０１がＣの平均値ＣAがＰの平均値ＰA以上であると判定した場合（ステップＳ２０７：Ｙｅｓ）、撮像装置１ａは、後述するステップＳ２０８へ移行する。これに対して、判定部２０１がＣの平均値ＣAがＰの平均値ＰA以上でないと判定した場合（ステップＳ２０７：Ｎｏ）、撮像装置１ａは、後述するステップＳ２１０へ移行する。

ステップＳ２０８において、抑制部２０２は、撮像部１０ａが生成した最新の画像データに対応する最新画像における画像周辺部のコントラストを低減する画像処理を行って抑制画像データを生成する。具体的には、図１７に示すように、最新画像のコントラストを低減させる画像処理を行って、最新画像の明るさを曲線Ｉｍ２から曲線Ｉｍ３になるように振幅を低減する。

続いて、表示制御部２０３は、抑制部２０２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ２０９）。具体的には、図１８に示すように、表示制御部２０３は、抑制部２０２によって生成されたコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ３０を表示部１１に表示させる。これにより、ユーザが撮像装置１ａに対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図１８においては、コントラストの低減を点線およびシェーディングで表現した。ステップＳ２０９の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。

ステップＳ２１０において、抑制部２０２は、撮像部１０ａが生成した最新の画像データに対応する最新画像の彩度およびコントラストを低減する抑制処理を行って抑制画像データを生成する。

続いて、表示制御部２０３は、抑制部２０２によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ２１１）。具体的には、図１９に示すように、表示制御部２０３は、抑制部２０２によって生成された彩度およびコントラストが低減された抑制画像データに対応するライブビュー画像ＬＶ３１を表示部１１に表示させる。これにより、ユーザが撮像装置１ａに対してパンニング操作を行った場合において、現在の被写体Ｏ１から所望の被写体Ｏ４までに写る雑多な被写体Ｏ２，Ｏ３のコントラストを低減させて、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。なお、図１９においては、彩度およびコントラストの低減をハッチングおよび点線で表現した。ステップＳ２１１の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。

ステップＳ２１２において、表示制御部２０３は、撮像部１０ａが生成した画像データに対応するライブビュー画像を表示部１１に表示させる。ステップＳ２１２の後、撮像装置１ａは、後述するステップＳ２１３へ移行する。

ステップＳ２１３〜ステップＳ２２２は、上述した図２のステップＳ１１０〜ステップＳ１１９にそれぞれ対応する。

ステップＳ２０１において、撮像装置１ａが撮影モードに設定されておらず（ステップＳ２０１：Ｎｏ）、再生モードに設定されている場合（ステップＳ２２３：Ｙｅｓ）、撮像装置１ａは、記録媒体１４に記録された画像データに対応する画像を再生する再生表示処理を実行する（ステップＳ２２４）。ステップＳ２２４の後、撮像装置１ａは、ステップＳ２１６へ移行する。

ステップＳ２０１において、撮像装置１ａが撮影モードに設定されておらず（ステップＳ２０１：Ｎｏ）、再生モードに設定されていない場合（ステップＳ２２３：Ｎｏ）、撮像装置１ａは、ステップＳ２１６へ移行する。

以上説明した本発明の実施の形態２によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。

なお、上述した本発明の実施の形態２では、ユーザによって撮像装置１ａが略水平方向へ移動するパンニング操作が行われた場合であったが、ユーザによって撮像装置１ａが略垂直方向へ移動するチルト操作や、斜め方向の視野角度変更が行われた場合であっても適用することができる。もちろん、急速なズーム操作など画面内情報が急に変化する操作でもこれらの考え方は適用でき、このような効果は、先の実施形態でも同様に言えることである。

また、本発明の実施の形態２では、判定部２０１が時間的に前後する２つの画像を用いて、撮像部１０ａの視野領域が変化したか否かを判定していたが、必ずしも時間的に隣接している必要はなく、所定のフレーム間毎、たとえば撮像部１０ａが生成する画像データの奇数フレームまたは偶数フレームを用いて撮像部１０の視野領域が変化したか否かを判定してもよい。ここでは、通信部なども設けた実施例で説明しているが、撮影中の画像や撮影された画像は、遠隔の視聴者が見られるようにネットワークで通信可能としても良い。この場合、室内のＴＶなどで視聴する場合を想定しなければならないが、室内でコントラストが高い映像を見ながら、パンニングがあったりすると、屋外の小さなモバイル機器を手に持って見る場合より、生理的に耐え難いので、送り先によって閾値などを変更しても良い。

（実施の形態２の変形例）
次に、本実施の形態２の変形例について説明する。上述した実施の形態２では、判定部２０１は、時間的に前後する直前画像および最新画像それぞれの画素毎に明るさを比較していたが、本実施の形態２の変形例では、時間的に前後する直前画像および最新画像それぞれを所定の領域毎に分割し、この分割した領域毎に明るさの比較を行う。

図２０は、直前画像内における位置と情報量との関係を模式的に示す図である。図２１は、最新画像内における位置と情報量との関係を模式的に示す図である。図２２は、図２０（ｂ）の領域毎の明るさと図２１（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさと位置との関係を示す図である。図２３は、図２１（ｂ）の領域毎の明るさと図２２（ｂ）の領域毎の明るさとを仮想的に重ねた際の明るさの差（輝度差）と位置との関係を示す図である。図２０〜図２３において、直線Ｌ２上における情報量としての明るさを例に説明する。また、図２０（ｂ）、図２１（ｂ）、図２２および図２３において、横軸が各領域の位置を示し、縦軸が明るさを示す。

図２０（ｂ）、図２１（ｂ）および図２２に示すように、判定部２０１は、直前画像ＬＶ２０および最新画像ＬＶ２１を所定の領域毎に複数の領域に分割し、この領域内の明るさの最大値と最小値の差分ＤＩｍを比較する。具体的には、図２２および図２３に示すように、判定部２０１は、直前画像ＬＶ２０および最新画像ＬＶ２１それぞれの領域内の明るさの最大値と最小値の差分ＤＩｍを比較し、その差分をＤＤＩｍとして領域毎に判定し、その差分（輝度差）が大きいほど画像内における情報量の変化が多いと判定する。

以上説明した本発明の実施の形態２の変形例によれば、動画撮影時にパンニング操作やチルト操作その他の撮影画面変更操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態２に係る撮像装置１ａと構成が異なるうえ、実行する処理が異なる。具体的には、撮像装置に対してパンニング操作またはチルト操作その他の撮影画面変更操作があった場合、撮影条件を変更して視覚的に把握可能な情報量を低減させる。このため、以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態２と同一の構成には同一の符号を付して説明を省略する。

図２４は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。図２４に示す撮像装置１ｂは、撮像部１０ａと、表示部１１と、入力部１２と、記録部１３と、記録媒体１４と、手振れ補正部１６と、動き検出部１７と、タッチパネル１８と、通信部１９と、ピント駆動部２１と、制御部２２と、を備える。

ピント駆動部２１は、制御部２２の制御のもと、レンズ部１０１を光軸Ｌに沿って移動させることによって、撮像部１０ａのピントを調整する。たとえば、ピント駆動部２１は、制御部２２の制御のもと、レンズ部１０１を光軸Ｌに沿って移動させることによって、撮像部１０ａのピントを被写体に対して合焦させる。ピント駆動部２１は、ステッピングモータ等を用いて構成される。

制御部２２は、撮像装置１ｂを構成する各部に対応する指示やデータの転送等を行って撮像装置１ｂの動作を統括的に制御する。制御部２２は、ＣＰＵ等を用いて構成される。なお、本実施の形態３では、制御部２２が画像処理装置として機能する。

ここで、制御部２２の詳細な構成について説明する。制御部２２は、判定部２２１と、抑制部２２２と、表示制御部２２３と、を有する。

判定部２２１は、撮像部１０ａの視野領域が変化したか否かを判定する。具体的には、判定部２２１は、撮像部１０ａが生成した時間的に前後する画像データに対応する２つの画像の一致度に基づいて、撮像部１０ａの視野領域が変化したか否かを判定する。たとえば、判定部２２１は、撮像部１０ａが生成した時間的に前後する画像データに対応する２つの画像に対して動き判定を行うことによって、撮像装置１ｂに生じる動き、たとえばユーザによるパンニング操作やチルト操作その他の撮影画面変更操作を判定する。

抑制部２２２は、判定部２２１によって撮像部１０ａの視野領域が変化したと判定された場合、撮像部１０ａが生成する画像データに対応する画像に含まれる視覚的に視認可能な情報量を抑制した抑制画像データを生成する。具体的には、抑制部２２２は、撮像部１０ａが生成する画像データに対応する画像に対して露出値を上げる画像処理、たとえば露出オーバーする画像処理を行って抑制画像データを生成する。また、抑制部２２２は、ピント駆動部２１を駆動して撮像素子１０２が生成する画像データに対応する画像のピントがぼけるようにレンズ部１０１のピントを調整する。

表示制御部２２３は、撮像部１０ａが生成した画像データに対応する画像を表示部１１に表示させる。また、表示制御部２２３は、判定部２２１が撮像部１０ａの視野領域が変化したと判定した場合、抑制部２２２が生成した抑制画像データに対応する抑制画像を表示部１１に表示させる。さらに、表示制御部２２３は、撮像装置１ｂに関する操作情報を表示部１１に表示させる。なお、本実施の形態３では、表示制御部２２３が出力部として機能する。

以上の構成を有する撮像装置１ｂが実行する処理について説明する。図２５は、撮像装置１ｂが実行する処理の概要を示すフローチャートである。

図２５に示すように、まず、撮像装置１ｂが撮影モードに設定されている場合（ステップＳ３０１：Ｙｅｓ）について説明する。この場合、制御部２２は、撮像素子１０２に撮像を実行させる（ステップＳ３０２）。

続いて、判定部２２１は、時間的に前後する直前画像と最新画像とに基づいて、直前画像の画面全体から最新画像の画面全体（視野領域全体）が移動したか否かを判定する（ステップＳ３０３）。具体的には、判定部２２１は、時間的に前後する直前画像および最新画像それぞれの画素の情報量が第１の閾値以上であるか否かを判定する。なお、第１の閾値は、撮像素子１０２のフレームレートに応じて適宜変更することができる。判定部２２１が直前画像の画面全体から最新画像の画面全体が移動したと判定した場合（ステップＳ３０３：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０４へ移行する。これに対して、判定部２２１が直前画像の画面全体から最新画像の画面全体が移動していないと判定した場合（ステップＳ３０３：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。

ステップＳ３０４において、判定部２２１は、時間的に前後する直前画像と最新画像とに基づいて、最新画像の移動方向が直前画像の画面全体に対して１／３以上であるか否かを判定する。判定部２２１が最新画像の移動方向が直前画像の画面全体に対して１／３以上であると判定した場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０５へ移行する。これに対して、判定部２２１が最新画像の移動方向が直前画像の画面全体に対して１／３以上でないと判定した場合（ステップＳ３０４：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。

ステップＳ３０５において、判定部２２１は、最新画像のコントラストが所定の閾値より小さいか否かを判定する。判定部２２１が最新画像のコントラストが所定の閾値より小さいと判定した場合（ステップＳ３０５：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０６へ移行する。これに対して、判定部２２１が最新画像のコントラストが所定の閾値より小さくないと判定した場合（ステップＳ３０５：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３１１へ移行する。

ステップＳ３０６において、判定部２２１は、最新画像内における被写体が所定の閾値より明るい被写体であるか否かを判定する。判定部２２１が最新画像内における被写体が所定の閾値より明るい被写体であると判定した場合（ステップＳ３０６：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ３０７へ移行する。これに対して、判定部２２１が最新画像内における被写体が所定の閾値より明るい被写体でないと判定した場合（ステップＳ３０６：Ｎｏ）、撮像装置１ｂは、後述するステップＳ３０９へ移行する。

ステップＳ３０７において、抑制部２２２は、撮像部１０ａが生成した画像データの露出値を上げる画像処理を行う。具体的には、抑制部２２２は、撮像部１０ａが生成した画像データの露出値を、たとえば、＋０.０から＋２.０に上げる補正を行う。

続いて、表示制御部２２３は、抑制部２２２が露出値を上げた画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ３０８）。具体的には、図２６に示すように、表示部１１がライブビュー画像ＬＶ４０を表示している場合において、パンニング操作があったとき、表示制御部２２３は、抑制部２２２が露出値を上げた画像データに対応するライブビュー画像ＬＶ４１、ライブビュー画像ＬＶ４２を表示部１１に表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点でライブビュー画像ＬＶ４３を表示部１１に表示させる（図２６（ａ）→図２６（ｂ）→図２６（ｃ）→図２６（ｄ））。これにより、ユーザが撮像装置１ｂに対してパンニング操作を行った場合、画像データの露出値が自動的に上がり、再生時に露出オーバの画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップＳ３０８の後、撮像装置１ｂは、ステップＳ３１２へ移行する。

ステップＳ３０９において、抑制部２２２は、ピント駆動部２１を駆動し、レンズ部１０１を光軸Ｌ上に沿って移動させることによって、被写体に対するピント位置を調整する。

続いて、表示制御部２２３は、ピント位置が調整された状態で撮像部１０ａが生成した画像データに対応するライブビュー画像を表示部１１に表示させる（ステップＳ３１０）。具体的には、図２７に示すように、表示部１１がライブビュー画像ＬＶ５０を表示している場合において、パンニング操作があったとき、表示制御部２２３は、抑制部２２２によってピント位置が調整された状態、たとえば、被写体に対してぼけるようにピント位置（合焦位置）からレンズ部１０１が離れた状態で撮像部１０ａが生成した画像データに対応するライブビュー画像Ｌ５１、ライブビュー画像ＬＶ５２を表示部１１に順次表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点で抑制部２２２によってピント位置が被写体に対して合焦された状態で撮像部１０ａが生成した画像データに対応するライブビュー画像ＬＶ５３を表示部１１に表示させる（図２７（ａ）→図２７（ｂ）→図２７（ｃ）→図２７（ｄ））。これにより、ユーザが撮像装置１ｂに対してパンニング操作を行った場合、被写体に対して自動的にピント位置が調整されるので、再生時にぼけた画像が表示される。この結果、パンニング操作時における画像内で視覚的に視認可能な情報量を抑制させているので、動画撮影時または動画の再生時に視野領域が急激に変化したときであっても、ユーザに快適に視認させることができる。ステップＳ３１０の後、撮像装置１ｂは、ステップＳ３１２へ移行する。

ステップＳ３１１〜ステップＳ３２３は、上述した図１２のステップＳ２１２〜ステップＳ２２４にそれぞれ対応する。

以上説明した本発明の実施の形態３によれば、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。

なお、本発明の実施の形態３では、抑制部２２２が撮像部１０ａによって生成された画像データの露出値を上げて表示部１１で表示される画像を露出オーバとしていたが、たとえば、撮像部１０ａが生成する画像データの画素数を減らして表示部１１に表示させてもよい。具体的には、抑制部２２２は、撮像装置１ｂに対してパンニング操作があった場合、撮像部１０ａが生成する画像データに対応する画像の画素数を抑制する画像処理を行って抑制画像データを生成し、表示制御部２２３は、抑制部２２２が生成した抑制画像データに対応するライブビュー画像を表示部１１に表示させる。たとえば、図２８に示すように、表示部１１がライブビュー画像ＬＶ６０を表示している場合において、撮像装置１ｂに対してパンニング操作があったとき、表示制御部２２３は、抑制部２２２が生成した抑制画像データに対応するライブビュー画像ＬＶ６１，ライブビュー画像ＬＶ６２を表示部１１に順次表示させる。その後、表示制御部２２３は、パンニング操作が終わった時点で撮像部１０ａが生成した画像データに対応するライブビュー画像ＬＶ６３を表示部１１に表示させる（図２８（ａ）→図２８（ｂ）→図２８（ｃ）→図２８（ｄ））。これにより、動画撮影時または動画の再生時に撮像装置１ｂの視野領域が急激に変化した場合であっても、パンニング操作中の画像の画素数を低下させて、ユーザが視認可能な情報量を低下させているので、ユーザに快適に視認させることができる。

（その他の実施の形態）
また、本発明に係る画像処理装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、動画撮影時に視野領域を変更可能な顕微鏡装置および内視鏡装置のプロセッサ部にも適用することができる。

また、本発明に係る撮像装置は、本体部に対してレンズ部が着脱自在であってもよいし、本体部に対してレンズ部が一体的に形成されていてもよい。

また、本発明に係る画像処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明に係る画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，１ａ，１ｂ 撮像装置
１０，１０ａ 撮像部
１１ 表示部
１２ 入力部
１３ 記録部
１４ 記録媒体
１５，２０，２２ 制御部
１６ 手振れ補正部
１７ 動き検出部
１８ タッチパネル
１９ 通信部
２１ ピント駆動部
１０１ レンズ部
１０２ 撮像素子
１５１，２０１，２２１ 判定部
１５２，２０２，２２２ 抑制部
１５３，２０３，２２３ 表示制御部

Claims (8)

1. 外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定部と、
   前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記画像データの露出値を上げる画像処理を行うことによって、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置と、
   前記抑制部が生成した前記抑制画像データに対応する抑制画像を表示可能な表示部と、
   を備えたことを特徴とする表示装置。
3. 請求項２に記載の表示装置と、
   視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
   を備えたことを特徴とする撮像装置。
4. 請求項２に記載の表示装置と、
   視野領域を連続的に撮像して複数の画像データを順次生成する撮像部と、
   を備え、
   前記撮像部は、
   前記視野領域から光を集光するとともに、ピント位置調整可能なレンズ部と、
   前記レンズ部が集光した光を受光して前記画像データを生成する撮像素子と、
   を有し、
   前記抑制部は、前記撮像素子が生成する前記画像データに対応する画像のピントがぼけるように前記レンズ部のピント位置を調整することを特徴とする撮像装置。
5. 前記判定部によって前記撮影時の視野領域が変化したと判定された場合、前記抑制画像と前記画像とを重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする請求項３または４に記載の撮像装置。
6. 前記判定部は、前記時間的に前後する画像データに対応する２つの画像の画素毎または該２つの画像に対して複数の領域に分割した分割領域毎に輝度差を算出することによって、前記撮影時の視野領域が変化したか否かを判定することを特徴とする請求項３〜５のいずれか一つに記載の撮像装置。
7. 画像処理装置が実行する画像処理方法であって、
   外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
   前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像データの露出値を上げる画像処理を行うことによって、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
   を含むことを特徴とする画像処理方法。
8. 画像処理装置に、
   外部から入力される時間的に前後する画像データに対応する２つの画像に基づいて、撮影時の視野領域が変化したか否かを判定する判定ステップと、
   前記判定ステップで前記撮影時の視野領域が変化したと判定された場合、前記画像データの露出値を上げる画像処理を行うことによって、前記画像に含まれる視認可能な情報量を抑制した抑制画像データを生成して出力する抑制ステップと、
   を実行させることを特徴とするプログラム。