JP6569263B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、所定の画像内において複数の領域設定を行い、設定された各領域内の画像情報に基づいて、該領域内の画像を補正して表示する技術が知られている（例えば、特許文献１参照）。

特開２０１１−１５２８０公報

しかしながら、上記特許文献１に記載された技術では、補正された各画像の輝度や色味が大きく異なることがあり、それらを連続して表示する際に、各画像の輝度や色味が大きく変化した場合、ユーザが違和感を覚える虞があった。

本発明は、このような状況に鑑みてなされたものであり、連続して表示しても違和感が発生しにくいように所定の領域内の画像を補正することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
画像を取得する取得手段と、
前記取得手段により取得された前記画像内において、領域を設定する領域設定手段と、
前記領域設定手段により前記画像内に設定された前記領域を変化させる領域変化手段と、
前記領域変化手段による変化前の前記領域外の周囲の画像の情報と前記領域変化手段による変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得手段と、
前記情報取得手段により取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正手段と、
前記補正手段による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御手段と、
を備え、
前記情報取得手段は、連続して変化される前記領域の当該変化に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定手段により設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
ことを特徴とする。

本発明によれば、連続して表示しても違和感が発生しにくいように所定の領域内の画像を補正することができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、トリミング再生処理を実行するための機能的構成を示す機能ブロック図である。 比重配置テーブルの一例を示す模式図であり、図３（Ａ）はデフォルトの比重配置テーブル、図３（Ｂ）はトリミング枠を縮小する際に用いられる比重配置テーブル、図３（Ｃ）はトリミング枠を拡大する際に用いられる比重配置テーブル、図３（Ｄ）はトリミング枠を移動させる際に用いられる比重配置テーブルを示す図である。 図２の機能的構成を有する図１の画像処理装置が実行するトリミング再生処理の流れを説明するフローチャートである。 ユーザ操作判定処理の流れを説明するフローチャートである。 比重配置処理の流れを説明するフローチャートである。 画像補正処理の流れを説明するフローチャートである。 第２実施形態の画像処理装置が実行するトリミング再生処理の流れを説明するフローチャートである。 第３実施形態の画像処理装置が実行するトリミング再生処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。本実施形態において、撮像画像のデータは、ＢＡＹＥＲ配列のデータ等、Ｒａｗ形式の静止画像データ（以下、適宜「Ｒａｗ画像」と呼ぶ。）として出力可能となっている。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、トリミング再生処理を実行するための機能的構成を示す機能ブロック図である。
トリミング再生処理とは、Ｒａｗ画像においてトリミング枠（例えば矩形の枠）を設定し、トリミング枠の位置や大きさ等を変更しながら、トリミング枠内の画像を再生する一連の処理をいう。

トリミング再生処理が実行される場合、図２に示すように、ＣＰＵ１１において、画像取得部５１と、設定部５２と、画像生成部５３と、操作判定部５４と、比重配置部５５と、補正処理部５６と、が機能する。
また、記憶部１９の一領域には、画像記憶部７１と、比重配置テーブル記憶部７２とが設定される。

画像記憶部７１には、撮像画像のデータや、表示用の形式（例えばＪＰＥＧ形式等）に変換された画像のデータ等が記憶される。
比重配置テーブル記憶部７２には、トリミング枠の操作に応じた各種比重配置テーブルが記憶される。比重配置テーブルは、トリミング枠内の画像を補正する際に、トリミング枠の操作に応じた周辺領域の画像を補正に反映させるために用いられるテーブルであり、トリミング枠の操作に応じた周辺領域の画像及びトリミング枠内の画像について重み付けが定義されている。

図３は、比重配置テーブルの一例を示す模式図であり、図３（Ａ）はデフォルトの比重配置テーブル、図３（Ｂ）はトリミング枠を縮小する際に用いられる比重配置テーブル、図３（Ｃ）はトリミング枠を拡大する際に用いられる比重配置テーブル、図３（Ｄ）はトリミング枠を移動させる際に用いられる比重配置テーブルを示す図である。
図３（Ａ）に示すように、デフォルトのトリミング枠は、トリミング枠を拡大・縮小及び移動させる場合以外に用いられ、トリミング枠内に６０％、その周辺領域に略均等に４０％の比重が配置されている。
また、図３（Ｂ）に示すように、トリミング枠を縮小する際に用いられる比重配置テーブルは、トリミング枠内に８０％、その周辺領域に略均等に２０％の比重が配置されている。

また、図３（Ｃ）に示すように、トリミング枠を拡大する際に用いられる比重配置テーブルは、トリミング枠内に６０％、デフォルトの場合よりも広い周辺領域に略均等に４０％の比重が配置されている。
また、図３（Ｄ）に示すように、トリミング枠を移動させる際に用いられる比重配置テーブルは、トリミング枠内に６０％、トリミング枠の進行方向後方の周辺領域に１０％、進行方向後方よりも広い進行方向前方の周辺領域に、トリミング枠に近い程大きい重みで３０％の比重が配置されている。

画像取得部５１は、撮像部１６から出力されたＲａｗ画像を取得し、画像記憶部７１に記憶する。
設定部５２は、トリミング枠（ユーザによって設定された表示領域）内の画像を単独で、あるいは、切り出し元の全体画像と共に再生するトリミング再生モードに設定する。トリミング再生モードにおいて、トリミング枠内の画像を切り出し元の全体画像と共に再生する場合、例えば、切り出し元の全体画像に重ねて小画像（以下、「ワイプ画像」と呼ぶ。）として再生することができる。なお、トリミング枠内の画像を単独で再生するか、あるいは、切り出し元の全体画像と共に再生するかについては、ユーザの選択により設定することができる。

また、設定部５２は、ユーザの選択に応じて、トリミング再生処理において再生するＲａｗ画像を設定する。
また、設定部５２は、ユーザの操作に応じて、再生するＲａｗ画像内にトリミング枠を設定する。
なお、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、トリミング再生処理を終了させる。

画像生成部５３は、設定部５２によって設定された再生の対象となるＲａｗ画像から、表示用のＪＰＥＧ画像を生成する。
操作判定部５４は、ユーザによってトリミング枠に対する操作が行われたか否かの判定を行う。ユーザによってトリミング枠に対する操作が行われたと判定した場合、操作判定部５４は、ユーザ操作判定処理（後述）を実行し、操作に応じた比重配置テーブルを設定する。

比重配置部５５は、ユーザ操作判定処理において設定された比重配置テーブルに基づいて、比重配置処理（後述）を実行し、操作後のトリミング枠の周辺領域の画像及びトリミング枠内の画像に比重（重み付け）を配置する。
補正処理部５６は、比重配置部５５によって配置された比重に基づいて、画像補正処理（後述）を実行する。

次に、動作を説明する。
図４は、図２の機能的構成を有する図１の画像処理装置１が実行するトリミング再生処理の流れを説明するフローチャートである。
トリミング再生処理は、ユーザによる入力部１７へのトリミング再生処理開始の操作により開始される。

ステップＳ１において、画像取得部５１は、撮像部１６から出力されたＲａｗ画像を取得し、画像記憶部７１に記憶する。このようなＲａｗ画像の取得は、例えば、ハーフシャッタ操作に対応して実行することができる。
ステップＳ２において、設定部５２は、画像処理装置１をトリミング再生モードに設定する。
ステップＳ３において、設定部５２は、ユーザの選択に応じて、トリミング再生処理において再生するＲａｗ画像を設定する。

ステップＳ４において、画像生成部５３は、設定部５２によって設定された再生の対象となるＲａｗ画像から、表示用のＪＰＥＧ画像を生成する。
ステップＳ５において、設定部５２は、ユーザの操作に応じて、再生するＲａｗ画像内にトリミング枠を設定する。

ステップＳ６において、操作判定部５４は、ユーザによってトリミング枠に対する操作が行われたか否かの判定を行う。
ユーザによってトリミング枠に対する操作が行われた場合、ステップＳ６においてＹＥＳと判定されて、処理はステップＳ７に進む。
一方、ユーザによってトリミング枠に対する操作が行われていない場合、ステップＳ６においてＮＯと判定されて、処理はステップＳ１１に進む。

ステップＳ７において、操作判定部５４は、ユーザ操作判定処理（後述）を実行する。
ステップＳ８において、比重配置部５５は、ユーザ操作判定処理において設定された比重配置テーブルに基づいて、比重配置処理（後述）を実行する。

ステップＳ９において、補正処理部５６は、比重配置部５５によって配置された比重に基づいて、画像補正処理（後述）を実行する。

ステップＳ１０において、操作判定部５４は、引き続き、ユーザによってトリミング枠に対する操作が行われたか否かの判定を行う。
ユーザによってトリミング枠に対する操作が行われた場合、ステップＳ１０においてＹＥＳと判定されて、処理はステップＳ７に戻る。
一方、ユーザによってトリミング枠に対する操作が行われていない場合、ステップＳ１０においてＮＯと判定されて、処理はステップＳ１１に進む。

ステップＳ１１において、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われたか否かの判定を行う。
ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、ステップＳ１１においてＹＥＳと判定されて、トリミング再生処理は終了となる。
一方、ユーザによりトリミング再生処理の終了を指示する操作が行われていない場合、ステップＳ１１においてＮＯと判定されて、処理はステップＳ５に戻る。

次に、トリミング再生処理のステップＳ７で実行されるユーザ操作判定処理について説明する。
図５は、ユーザ操作判定処理の流れを説明するフローチャートである。

ステップＳ２１において、操作判定部５４は、ユーザによる操作入力を検出する。
ステップＳ２２において、操作判定部５４は、ユーザによる操作がトリミング枠を拡大または縮小する操作であるか否かの判定を行う。
ユーザによる操作がトリミング枠を拡大または縮小する操作である場合、ステップＳ２２においてＹＥＳと判定されて、処理はステップＳ２３に進む。
一方、ユーザによる操作がトリミング枠を拡大または縮小する操作でない場合、ステップＳ２２においてＮＯと判定されて、処理はステップＳ２４に進む。

ステップＳ２３において、操作判定部５４は、ユーザによる操作がトリミング枠を拡大する操作であるか否かの判定を行う。
ユーザによる操作がトリミング枠を拡大する操作である場合、ステップＳ２３においてＹＥＳと判定されて、処理はステップＳ２６に進む。
一方、ユーザによる操作がトリミング枠を拡大する操作でない場合、ステップＳ２３においてＮＯと判定されて、処理はステップＳ２８に進む。

ステップＳ２４において、操作判定部５４は、ユーザによる操作を、トリミング枠を移動させる操作であると判定する。
ステップＳ２５において、操作判定部５４は、使用する比重配置テーブルを、トリミング枠を移動させる際に用いられる比重配置テーブル（移動用比重配置テーブル）（図３（Ｄ）参照）に設定する。

ステップＳ２６において、操作判定部５４は、ユーザによる操作を、トリミング枠を拡大する操作であると判定する。
ステップＳ２７において、操作判定部５４は、使用する比重配置テーブルを、トリミング枠を拡大する際に用いられる比重配置テーブル（拡大用比重配置テーブル）（図３（Ｃ）参照）に設定する。

ステップＳ２８において、操作判定部５４は、ユーザによる操作を、トリミング枠を縮小する操作であると判定する。
ステップＳ２９において、操作判定部５４は、使用する比重配置テーブルを、トリミング枠を縮小する際に用いられる比重配置テーブル（縮小用比重配置テーブル）（図３（Ｂ）参照）に設定する。
ステップＳ２５、ステップＳ２７及びステップＳ２９の後、処理はトリミング再生処理に戻る。

次に、トリミング再生処理のステップＳ８で実行される比重配置処理について説明する。
図６は、比重配置処理の流れを説明するフローチャートである。

ステップＳ３１において、比重配置部５５は、トリミング枠を拡大する際に用いられる比重配置テーブル（拡大用比重配置テーブル）に設定されているか否かの判定を行う。
トリミング枠を拡大する際に用いられる比重配置テーブルに設定されていない場合、ステップＳ３１においてＮＯと判定されて、処理はステップＳ３２に進む。
一方、トリミング枠を拡大する際に用いられる比重配置テーブルに設定されている場合、ステップＳ３１においてＹＥＳと判定されて、処理はステップＳ３３に進む。

ステップＳ３２において、比重配置部５５は、トリミング枠を縮小する際に用いられる比重配置テーブル（縮小用比重配置テーブル）に設定されているか否かの判定を行う。
トリミング枠を縮小する際に用いられる比重配置テーブルに設定されている場合、ステップＳ３２においてＹＥＳと判定されて、処理はステップＳ３５に進む。
トリミング枠を縮小する際に用いられる比重配置テーブルに設定されていない場合、ステップＳ３２においてＮＯと判定されて、処理はステップＳ３７に進む。

ステップＳ３３において、比重配置部５５は、ユーザの操作によるトリミング枠の拡大の範囲を判定する。
ステップＳ３４において、比重配置部５５は、ユーザの操作によるトリミング枠の拡大の範囲に応じて、トリミング枠を拡大する際に用いられる比重配置テーブルに従って、トリミング枠の周辺領域の画像及びトリミング枠内の画像に比重を配置する。

ステップＳ３５において、比重配置部５５は、ユーザの操作によるトリミング枠の縮小の範囲を判定する。
ステップＳ３６において、比重配置部５５は、ユーザの操作によるトリミング枠の縮小の範囲に応じて、トリミング枠を縮小する際に用いられる比重配置テーブルに従って、トリミング枠の周辺領域の画像及びトリミング枠内の画像に比重を配置する。

ステップＳ３７において、比重配置部５５は、ユーザの操作によるトリミング枠の移動方向を判定する。
ステップＳ３８において、比重配置部５５は、ユーザの操作によるトリミング枠の移動量を判定する。

ステップＳ３９において、比重配置部５５は、ユーザの操作によるトリミング枠の移動量に応じた範囲で、トリミング枠を移動させる際に用いられる比重配置テーブル（図３（Ｄ）参照）に従って、トリミング枠の進行方向前方及び後方の画像並びにトリミング枠内の画像に比重を配置する。
ステップＳ３４、ステップＳ３６及びステップＳ３９の後、処理はトリミング再生処理に戻る。

次に、トリミング再生処理のステップＳ９で実行される画像補正処理について説明する。
図７は、画像補正処理の流れを説明するフローチャートである。

ステップＳ４１において、補正処理部５６は、比重が配置された周辺領域及びトリミング枠内の画像を解析し、画像情報を取得する。ここで、画像情報としては、輝度、明度、ホワイトバランス、色味、ガンマ特性等のパラメータの一部あるいは全部が取得される。

ステップＳ４２において、補正処理部５６は、ステップＳ４１の解析結果に従って、Ｒａｗ画像を補正する。具体的には、補正処理部５６は、比重が配置された周辺領域及びトリミング枠内の画像における輝度等のパラメータを対象として、周辺領域及びトリミング枠内の画像全体においてパラメータを適切化する補正を行う。このとき、補正処理部５６は、配置されている比重に従って重み付けが行われた画像情報を用いて、パラメータを適切化する。例えば、トリミング枠内の画像と周辺領域の画像とで輝度を最適化するゲインが異なる場合、補正処理部５６は、それぞれの領域のゲインを重み付け平均したゲインを算出する。また、補正処理部５６は、例えば、輝度については、周辺領域及びトリミング枠内の画像全体において、白とび及び黒つぶれが生じないことを条件にゲインを算出する。

なお、増幅処理を行う場合に、マイナスゲインとなることを避けるため、トリミング再生処理において取得されるＲａｗ画像については、通常の撮影時における露出目標値よりも低い露出目標値に設定し、プラスゲインのみで増幅処理を行うこととしてもよい。これにより、マイナスゲインを加えることによる階調の損失を抑制し、トリミング枠内の画像が白とびする可能性をより低下させることができる。
ステップＳ４３において、画像生成部５３は、補正された画像をＪＰＥＧ形式で表示する。
ステップＳ４３の後、処理はトリミング再生処理に戻る。

このような処理が行われる結果、本実施形態に係る画像処理装置１では、トリミング枠の拡大、縮小あるいは移動等の操作に応じて、トリミング枠の周辺領域の画像及びトリミング枠内の画像に比重が配置される。そして、画像処理装置１では、この比重に従って、トリミング枠内の画像のみならず、トリミング枠の周辺領域の画像の解析結果も反映させて、画像の補正が行われる。
したがって、連続して表示しても違和感が発生しにくいようにトリミング枠内の画像を補正することが可能となる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
第２実施形態に係る画像処理装置１は、第１実施形態に係る画像処理装置１と同様のハードウェア構成を備えている。
以下、第２実施形態における画像処理装置１の機能的構成について説明する。

画像取得部５１は、撮像部１６から出力されたＲａｗ画像を取得し、画像記憶部７１に記憶する。このようなＲａｗ画像の取得は、例えば、ハーフシャッタ操作に対応して実行することができる。
設定部５２は、トリミング枠（ユーザによって設定された表示領域）内の画像を単独で、あるいは、切り出し元の全体画像と共に再生するトリミング再生モードに設定する。トリミング再生モードにおいて、トリミング枠内の画像を切り出し元の全体画像と共に再生する場合、例えば、切り出し元の全体画像に重ねて小画像（ワイプ画像）として再生することができる。なお、トリミング枠内の画像を単独で再生するか、あるいは、切り出し元の全体画像と共に再生するかについては、ユーザの選択により設定することができる。

また、設定部５２は、ユーザの選択に応じて、トリミング再生処理において再生するＲａｗ画像を設定する。
また、設定部５２は、ユーザの操作に応じて、再生するＲａｗ画像内にトリミング枠を設定する。
なお、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、トリミング再生処理を終了させる。

画像生成部５３は、設定部５２によって設定された再生の対象となるＲａｗ画像から、表示用のＪＰＥＧ画像を生成する。
操作判定部５４は、ユーザによってトリミング枠を切り替える操作が検出されたか否かの判定を行う。即ち、操作判定部５４は、設定されたトリミング枠から離れた位置（離隔的な位置）にトリミング枠を設定する操作が行われたか否かの判定を行う。

比重配置部５５は、切り替え前後のトリミング枠内の画像に対する比重（重み付け）を設定する。
補正処理部５６は、切り替え後のトリミング枠内の画像情報を取得する。また、補正処理部５６は、切り替え前後のトリミング枠内の画像情報を重み付けして、トリミング枠内のＲａｗ画像を補正する。

次に、動作を説明する。
図８は、図２の機能的構成を有する図１の画像処理装置１が実行するトリミング再生処理の流れを説明するフローチャートである。
トリミング再生処理は、ユーザによる入力部１７へのトリミング再生処理開始の操作により開始される。

ステップＳ１１１において、画像取得部５１は、撮像部１６から出力されたＲａｗ画像を取得し、画像記憶部７１に記憶する。このようなＲａｗ画像の取得は、例えば、ハーフシャッタ操作に対応して実行することができる。
ステップＳ１１２において、設定部５２は、画像処理装置１をトリミング再生モードに設定する。
ステップＳ１１３において、設定部５２は、ユーザの選択に応じて、トリミング再生処理において再生するＲａｗ画像を設定する。

ステップＳ１１４において、画像生成部５３は、設定部５２によって設定された再生の対象となるＲａｗ画像から、表示用のＪＰＥＧ画像を生成する。
ステップＳ１１５において、設定部５２は、ユーザの操作に応じて、再生するＲａｗ画像内にトリミング枠を設定する。

ステップＳ１１６において、操作判定部５４は、ユーザによってトリミング枠を切り替える操作が検出されたか否かの判定を行う。即ち、操作判定部５４は、ステップＳ１１５において設定されたトリミング枠から離隔的な位置にトリミング枠を設定する操作が行われたか否かの判定を行う。
ユーザによってトリミング枠を切り替える操作が検出された場合、ステップＳ１１６においてＹＥＳと判定されて、処理はステップＳ１１７に進む。
ユーザによってトリミング枠を切り替える操作が検出されない場合、ステップＳ１１６においてＮＯと判定されて、処理はステップＳ１２２に進む。

ステップＳ１１７において、操作判定部５４は、切り替え後のトリミング枠の位置を検出する。
ステップＳ１１８において、補正処理部５６は、切り替え後のトリミング枠内の画像情報を取得する。ここで、画像情報としては、輝度、明度、ホワイトバランス、色味、ガンマ特性等のパラメータの一部あるいは全部が取得される。

ステップＳ１１９において、補正処理部５６は、切り替え前後のトリミング枠内の画像情報を重み付けして、トリミング枠内のＲａｗ画像を補正する。例えば、補正処理部５６は、切り替え前（現在）と切り替え後（次フレーム）の各トリミング枠内の画像情報を取得し、次に表示される画像を補正する際に、切り替え前の画像情報を切り替え後の画像情報の補正に利用する。具体的には、補正処理部５６は、比重配置部５５の設定に従って、切り替え前の画像における画像情報を３０％、切り替え後の画像における画像情報を７０％といったように重み付けし（例えば、それぞれの画像における補正のためのパラメータを重み付け平均したパラメータを算出し）、切り替え後のトリミング枠内の画像を補正する。

ステップＳ１２０において、画像生成部５３は、補正された画像をＪＰＥＧ形式で出力部１８に表示する。

ステップＳ１２１において、操作判定部５４は、引き続き、ユーザによってトリミング枠を切り替える操作が検出されたか否かの判定を行う。
ユーザによってトリミング枠を切り替える操作が検出された場合、ステップＳ１２１においてＹＥＳと判定されて、処理はステップＳ１１７に戻る。
ユーザによってトリミング枠を切り替える操作がされない場合には、ステップＳ１１１においてＮＯと判定されて、処理はステップＳ１２２に進む。

ステップＳ１２２において、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われたか否かの判定を行う。
ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、ステップＳ１２２においてＹＥＳと判定されて、トリミング再生処理は終了となる。
ユーザによりトリミング再生処理の終了を指示する操作が行われていない場合、ステップＳ１２２においてＮＯと判定されて、処理はステップＳ１１５に戻る。

このような処理が行われる結果、本実施形態に係る画像処理装置１では、トリミング枠の切り替え操作に応じて、切り替え前後のトリミング枠内の画像に重み付けを行い、切り替え前のトリミング枠内の画像情報を反映させて、切り替え後のトリミング枠内の画像の補正が行われる。
したがって、連続して表示しても違和感が発生しにくいようにトリミング枠内の画像を補正することが可能となる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。
第３実施形態に係る画像処理装置１は、第１実施形態に係る画像処理装置１と同様のハードウェア構成を備えている。
以下、第３実施形態における画像処理装置１の機能的構成について説明する。

画像取得部５１は、ユーザの選択に応じて、トリミング再生処理において再生する動画像を取得する。
設定部５２は、トリミング枠（ユーザによって設定された表示領域）内の画像を単独で、あるいは、切り出し元の全体画像と共に再生するトリミング再生モードに設定する。トリミング再生モードにおいて、トリミング枠内の画像を切り出し元の全体画像と共に再生する場合、例えば、切り出し元の全体画像に重ねて小画像（ワイプ画像）として再生することができる。なお、トリミング枠内の画像を単独で再生するか、あるいは、切り出し元の全体画像と共に再生するかについては、ユーザの選択により設定することができる。

また、設定部５２は、ユーザによって選択された注目被写体を中心にトリミング枠を設定する。
なお、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、トリミング再生処理を終了させる。

画像生成部５３は、画像取得部５１によって取得された動画像を編集用に表示する。例えば、画像生成部５３は、編集用の表示として、動画像のオリジナルのフレームレートよりも遅いフレームレートでの表示（即ち、スロー再生）を行う。
操作判定部５４は、ユーザによって特定の注目被写体が選択されたか否かの判定を行う。

比重配置部５５は、トリミング枠内の画像が変化する前後のトリミング枠内の画像に対する比重（重み付け）を設定する。
補正処理部５６は、トリミング枠内の画像が変化する前後のトリミング枠内の画像情報を取得する。
また補正処理部５６は、当該変化前後のトリミング枠内の画像情報を基に、トリミング枠内の画像を補正して表示する。
画像解析部５７は、動画像における注目被写体を検出する。具体的には、画像解析部５７は、動画像に含まれる主要な被写体を注目被写体としてオブジェクト検出する。画像解析部５７が注目被写体を検出できるため、画像処理装置１においては、複数フレームに渡って、注目被写体に自動的に追従することができる。
また、画像解析部５７は、トリミング枠内の画像情報を取得する。
また、画像解析部５７は、トリミング枠内の画像が変化したか否かの判定を行う。例えば、画像解析部５７は、トリミング枠内の画像における画素値の合計値が閾値以上変化したか否かによって、トリミング枠内の画像が変化したか否かの判定を行う。

次に、動作を説明する。
図９は、図２の機能的構成を有する図１の画像処理装置１が実行するトリミング再生処理の流れを説明するフローチャートである。
トリミング再生処理は、ユーザによる入力部１７へのトリミング再生処理開始の操作により開始される。

ステップＳ２０１において、設定部５２は、画像処理装置１をトリミング再生モードに設定する。
ステップＳ２０２において、画像取得部５１は、ユーザの選択に応じて、トリミング再生処理において再生する動画像を取得する。

ステップＳ２０３において、画像生成部５３は、画像取得部５１によって取得された動画像を編集用に表示（例えば、スロー再生）する。
ステップＳ２０４において、画像解析部５７は、動画像内の注目被写体を検出する。

ステップＳ２０５において、操作判定部５４は、ユーザによって特定の注目被写体が選択されたか否かの判定を行う。なお、ユーザによって特定の注目被写体が選択されたか否かの判定においては、新たに特定の注目被写体が選択されたか否か、及び、前回までのループで特定の注目被写体が既に選択されているか否かが判定される。
ユーザによって特定の注目被写体が選択された場合、ステップＳ２０５においてＹＥＳと判定されて、処理はステップＳ２０６に進む。
一方、ユーザによって特定の注目被写体が選択されていない場合、ステップＳ２０５においてＮＯと判定されて、処理はステップＳ２１３に進む。

ステップＳ２０６において、設定部５２は、ユーザによって選択された注目被写体を中心にトリミング枠を設定する。
ステップＳ２０７において、画像解析部５７は、トリミング枠内の画像情報を取得する。

ステップＳ２０８において、画像解析部５７は、トリミング枠の表示範囲が変化したか否かの判定を行う。トリミング枠の表示範囲が変化したか否かの判定においては、トリミング枠の位置、範囲あるいは形状がユーザによって変化されたか否かが判定される。
トリミング枠の表示範囲が変化していない場合、ステップＳ２０８においてＮＯと判定されて、処理はステップＳ２０９に移行する。
一方、トリミング枠の表示範囲が変化した場合、ステップＳ２０８においてＹＥＳと判定されて、処理はステップＳ２１０に進む。

ステップＳ２０９において、画像解析部５７は、トリミング枠内の画像が変化したか否かの判定を行う。
トリミング枠内の画像が変化した場合、ステップＳ２０９においてＹＥＳと判定されて、処理はステップＳ２１０に進む。
一方、トリミング枠内の画像が変化していない場合、ステップＳ２０９においてＮＯと判定されて、処理はステップＳ２１２に進む。
ステップＳ２１０において、画像解析部５７は、変化後のトリミング枠内の画像情報を取得する。

ステップＳ２１１において、補正処理部５６は、変化前後のトリミング枠内の画像情報を基に、トリミング枠内の画像を補正するための補正値を算出する。例えば、補正処理部５６は、変化前（現在）と変化後（次フレーム）の各トリミング枠内の画像情報を取得し、次に表示される画像を補正する際の補正値を算出する。具体的には、補正処理部５６は、比重配置部５５の設定に従って、変化前の画像における画像情報を３０％、変化後の画像における画像情報を７０％といったように重み付けし（例えば、それぞれの画像における補正のためのパラメータを重み付け平均したパラメータを算出し）、変化後のトリミング枠内の画像を補正するための補正値とする。

ステップＳ２１２において、補正処理部５６は、現在の補正値を使用して、トリミング枠内の画像を補正する。このとき、トリミング枠内の画像が変化している場合、設定部５２が、変化後の注目被写体に合わせて、トリミング枠の位置及び大きさを適宜調整する。

ステップＳ２１３において、設定部５２は、ユーザによりトリミング再生処理の終了を指示する操作が行われたか否かの判定を行う。
ユーザによりトリミング再生処理の終了を指示する操作が行われた場合、ステップＳ２１３においてＹＥＳと判定されて、トリミング再生処理は終了となる。
一方、ユーザによりトリミング再生処理の終了を指示する操作が行われていない場合、ステップＳ２１３においてＮＯと判定されて、処理はステップＳ２０４に戻る。

このような処理が行われる結果、本実施形態に係る画像処理装置１では、注目被写体を中心に設定されたトリミング枠の表示範囲の変化またはトリミング枠内の画像の変化に応じて、異なるフレームにおける変化前後のトリミング枠内の画像に重み付けを行い、変化前のトリミング枠内の画像情報を反映させて、変化後のトリミング枠内の画像の補正が行われる。
したがって、動画像等を対象として、特定の被写体に追従しながら、連続して表示しても違和感が発生しにくいようにトリミング枠内の画像を補正することが可能となる。

［変形例１］
上述の実施形態において、設定部５２が、ユーザの操作によるトリミング枠の変化（拡大、縮小あるいは移動等）の操作履歴（操作時間）を、切り出されたトリミング枠内の画像と対応付けて画像記憶部７１に記憶することにより、動画像として保存することができる。
例えば、第１実施形態及び第２実施形態において、トリミング枠内の画像を操作時間に従って変化する動画像として保存することができる。
同様に、第３実施形態において、トリミング枠内の画像を複数フレームに渡って切り出し、一連の動画像として保存することができる。
これにより、トリミング枠に対する操作の結果を認識が容易な形態で保存することができる。

［変形例２］
上述の実施形態において、ユーザの操作によるトリミング枠の変化を操作時間と対応付けて記憶すると共に、ユーザの操作によるトリミング枠の変化を平均化し、滑らかな変化を行う動画像として保存することができる。
例えば、ユーザの操作開始から操作終了までの期間、拡大あるいは縮小の速度を平均化し、速度の変化をより小さくした上で、トリミング枠内の画像を動画像として保存することができる。
これにより、ユーザが領域に対して変化の激しい操作を行った場合でも、滑らかに変化する動画像とすることができ、再生時に見やすい動画像とすることができる。

［変形例３］
上述の実施形態において、トリミング枠の形状として、矩形を例に挙げて説明したが、トリミング枠の形状は、種々設定できることとしてもよい。
例えば、ユーザが任意に描いた枠の形状をトリミング枠として設定したり、予め用意された種々の形状のトリミング枠からユーザが選択したトリミング枠を設定したりすることができる。
これにより、本画像処理装置は、被写体の形状やユーザの目的に応じて、多様な形状のトリミング枠を用いて、適切な補正を行いつつ、連続した画像の表示を行うことができる。

［変形例４］
第１実施形態において、比重配置テーブルの比重の配置は、トリミング枠に対する操作の操作速度に応じて変化させることとしてもよい。
例えば、トリミング枠の拡大あるいは縮小速度に応じて、トリミング枠に対する周辺領域の範囲をより大きくあるいはより小さくしたり、トリミング枠の周辺領域における比重の大きさをより大きくあるいはより小さくしたりすることができる。
また、トリミング枠を移動させる際に用いられる比重配置テーブルは、トリミング枠の移動速度が速い程、進行方向前方の周辺領域の範囲を大きく、移動速度が遅い程、進行方向前方の周辺領域の範囲を小さくすることができる。同様に、トリミング枠の移動速度が速い程、進行方向前方の周辺領域の比重を大きく、移動速度が遅い程、進行方向前方の周辺領域の比重を小さくすることができる。
これにより、ユーザの操作をより反映させて、トリミング枠内の画像の補正を行うことができる。

［変形例５］
第１実施形態において、操作後のトリミング枠内の画像及びその周辺領域の画像を使用し、操作前のトリミング枠内の画像を使用せずに、画像補正処理を行うこととしてもよい。この場合、例えば、操作前のトリミング枠にのみ含まれ、操作後のトリミング枠及びその周辺領域には含まれない領域の画像の比重をゼロとすることにより、操作前のトリミング枠内の画像を画像補正処理において除外することができる。
これにより、操作後のトリミング枠内の画像及びその周辺領域の画像のみを用いて、操作後のトリミング枠内の画像を補正することができる。そのため、操作後のトリミング枠内の画像を適切に補正することができる。

以上のように構成される画像処理装置１は、画像取得部５１と、設定部５２と、補正処理部５６と、画像生成部５３とを備える。
画像取得部５１は、画像を取得する。
設定部５２は、画像取得部５１で取得された画像内において、領域（トリミング枠）を設定する。
設定部５２は、画像内に設定された領域を変化させる。
補正処理部５６は、設定部５２による変化前と変化後の領域のうち少なくとも一方の周囲の画像の情報を取得する。
補正処理部５６は、取得された画像の情報から、変化前と変化後の領域内のうち少なくとも一方の画像を補正する。
画像生成部５３は、補正処理部５６による補正結果に基づいて、変化前と変化後の領域内の画像を連続して出力部１８に表示させる。
これにより、画像処理装置１においては、変化前後の領域の周囲の画像の情報から、領域内の画像の補正が行われる。
したがって、連続して表示しても違和感が発生しにくいように領域内の画像を補正することが可能となる。

また、補正処理部５６は、変化前と変化後の領域のうち少なくとも一方の領域内の画像の情報を取得する。
これにより、領域（トリミング枠）の拡大、縮小あるいは移動等の操作が行われた場合に、操作による変化前後の領域内の画像の情報に基づいて、領域内の画像を補正することができる。
したがって、操作によって領域が変化する場合にも、その領域内の画像を連続して表示したときに違和感が発生しにくい画像に補正することができる。

また、設定部５２は、設定された領域の位置を離隔的な位置に変化させる。
これにより、領域（トリミング枠）の切り替え操作が行われた場合に、切り替えによる変化前後の画像の情報に基づいて、領域内の画像を補正することができる。
したがって、操作によって領域が切り替えられる場合にも、その領域内の画像を連続して表示したときに違和感が発生しにくい画像に補正することができる。

また、補正処理部５６は、変化前及び変化後の領域の位置関係に基づいて、所定位置にある画像の情報を、領域の周囲の画像の情報として取得する。
これにより、変化前及び変化後の領域における画像情報と所定の関係を有する値であると推定される画像情報を用いて、領域内の画像を補正することが可能となる。

また、所定位置は、変化前及び変化後の領域間の中間となる位置を含む。
これにより、変化前及び変化後の領域における画像情報の中間の値であると推定される画像情報を用いて、領域内の画像を補正することが可能となる。

また、補正処理部５６は、変化前と変化後の領域のうち少なくとも一方の位置情報に基づいて、当該領域の位置から離隔した位置にある画像の情報を、領域の周囲の画像の情報として取得する。
これにより、変化前あるいは変化後の領域から離れた特定の領域の画像情報を用いて、変化前あるいは変化後の領域内の画像を補正することができる。

また、補正処理部５６は、変化前と変化後の領域のいずれか一方の周囲の画像の情報を取得し、当該画像の情報に基づいて、他方の領域内の画像を補正する。
これにより、領域が変更されることにより領域内に含まれる可能性の高い画像領域における画像の情報に基づいて、領域内の画像を補正することができる。

また、補正処理部５６は、設定部５２により設定された領域の次の時点で表示される画像の情報を取得する。
これにより、領域内の画像が動画像等の変化する画像である場合に、次の時点で表示される画像の情報に基づいて、領域内の画像を補正することができる。

また、画像処理装置１は、操作判定部５４を備える。
操作判定部５４は、操作情報を検出する。
操作判定部５４は、検出された操作情報を判定する。
設定部５２は、操作判定部５４による操作情報の判定結果に基づいて、画像内において、領域を設定する。
これにより、操作の内容に従って、画像内に領域を設定することができる。

また、設定部５２は、操作判定部５４による操作情報の判定結果に基づいて、画像内において、領域を変化させる。
これにより、領域に対する操作の内容に従って、画像内に設定された領域を変化させることができる。

また、画像処理装置１は、画像解析部５７を備える。
画像解析部５７は、画像取得部５１により取得された画像内から被写体を検出する。
設定部５２は、画像解析部５７により検出された被写体の位置に基づいて、画像内に領域を設定する。
これにより、動画像等における特定の被写体を検出し、その被写体を追従するように領域を設定することができる。
したがって、動画像等において、特定の被写体を追従した画像を、適切な補正を行いつつ、連続して表示することができる。

また、設定部５２は、画像解析部５７の検出結果に基づいて、領域の位置及び大きさを変化させる。
これにより、特定の被写体の位置や大きさに合わせて領域を調整することができる。

また、設定部５２は、操作判定部５４による操作情報の判定結果と、補正処理部５６によって取得された画像の情報とを対応付けて画像記憶部７１に記憶させる。
これにより、操作の内容に対応した動画像として、領域内の画像を記憶することができる。

また、設定部５２は、操作判定部５４による操作情報の判定結果を平均化し、補正処理部５６によって取得された画像の情報と対応付けて画像記憶部７１に記憶させる。
これにより、操作における変化のばらつきを滑らかにして、領域内の画像を動画像として記憶することができる。

また、画像生成部５３は、画像取得部５１によって取得された画像と、補正処理部５６によって補正された領域内の画像とを併せて表示する。
これにより、切り出し元となる全体の画像と、設定された領域内の画像とを視認しやすい形で表示することができる。

また、画像取得部５１によって取得される画像は、Ｒａｗ形式の画像である。
これにより、高い自由度をもって、領域内の画像を適切に補正することができる。

また、設定部５２は、ユーザの操作に応じて領域の形状を設定する。
これにより、被写体の形状やユーザの目的に応じて、多様な形状の領域を用いて、適切な補正を行いつつ、連続した画像の表示を行うことができる。

また、補正処理部５６は、連続して変化される領域の当該変化に対応して配置された、領域の周辺の画像領域の比重に基づいて、設定部５２により設定された領域の周辺の画像領域に関する画像の情報を取得する。
これにより、領域が連続して変化される場合に、変化に対応する周辺の画像領域の比重を反映して、領域内の画像を適切に補正することができる。

補正処理部５６は、移動される領域の当該移動の方向に対応して配置された、領域の周辺の画像領域の比重に基づいて、設定部５２により設定された領域の周辺の画像領域に関する画像の情報を取得する。
これにより、領域が移動される場合に、移動方向における画像を適切に反映させて、領域内の画像を適切に補正することができる。

また、画像処理装置１は、画像取得部５１と、設定部５２と、補正処理部５６と、画像生成部５３とを備える。
画像取得部５１は、画像を取得する。
設定部５２は、画像取得部５１により取得された画像内において、領域（トリミング枠）を設定する。
設定部５２は、画像内に設定された領域を変化させる。
補正処理部５６は、設定部５２による変化前と変化後の時点の領域のうち少なくとも一方を基準とする画像の情報を取得する。
補正処理部５６は、画像の情報から、変化前と変化後の領域内のうち少なくとも一方の画像を補正する。
画像生成部５３は、補正処理部５６による補正結果に基づいて、変化前と変化後の領域内の画像を連続して出力部１８に表示させる。
これにより、画像処理装置１においては、画像内に設定された領域が変化する場合に、変化前後のいずれかの時点の領域の画像の情報から、変化前後のいずれかの領域内の画像の補正が行われる。
したがって、連続して表示しても違和感が発生しにくいように領域内の画像を補正することが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の各実施形態及び変形例に記載された画像処理装置１の機能を組み合わせて実施することも可能である。具体的には、第１実施形態及び第２実施形態の画像処理装置１の機能を組み合わせ、離隔的な位置にトリミング枠が切り替えて設定された場合に、切り替え前のトリミング枠内の画像とその周辺領域の画像及び切り替え後のトリミング枠内の画像とその周辺領域の画像を使用して、切り替え後のトリミング枠内の画像を補正することができる。また、第１実施形態及び第３実施形態の画像処理装置１の機能を組み合わせ、注目被写体を中心に設定されたトリミング枠内の画像及びその周辺領域の画像を使用して、トリミング枠内の画像を補正することができる。さらに、第２実施形態及び第３実施形態の画像処理装置１の機能を組み合わせ、動画像のフレームにおいて離隔的な位置にトリミング枠が切り替えて設定された場合に、切り替え前のトリミング枠内の画像及び切り替え後のトリミング枠内の画像を使用して、切り替え後のトリミング枠内の画像を補正することができる。また、第１〜第３実施形態の画像処理装置１の機能を組み合わせ、動画像のフレームにおいて離隔的な位置にトリミング枠が切り替えて設定された場合に、切り替え前のトリミング枠内の画像とその周辺領域の画像及び切り替え後のトリミング枠内の画像とその周辺領域の画像を使用して、切り替え後のトリミング枠内の画像を補正することができる。さらに、これら各実施形態の画像処理装置１の機能に各変形例の機能を組み合わせることも可能である。

また、上述の実施形態において、トリミング枠が変化される場合に、変化前及び変化後のトリミング枠の位置関係から、補正処理のための画像情報を取得する領域の位置を決定することとしてもよい。例えば、変化前のトリミング枠と変化後のトリミング枠との中間地点の領域における画像情報を補正処理のために取得することとしてもよい。
これにより、変化前のトリミング枠における画像情報と変化後のトリミング枠における画像情報と所定の関係を有する値である（例えば中間の値である）と推定される画像情報を用いて、トリミング枠内の画像を補正することが可能となる。

また、上述の実施形態において、トリミング枠が変化される場合に、変化前のトリミング枠または変化後のトリミング枠のいずれかの位置と離隔した所定位置の領域を、補正処理のための画像情報を取得する領域としてもよい。即ち、トリミング枠の周辺領域に限らず、いずれかのトリミング枠の位置から離れた所定位置（例えば、画像の中心、四隅のいずれか、あるいは、トリミング枠から一定画素数だけ特定方向に離隔した位置等）の領域における画像情報を補正処理のための画像情報として取得してもよい。
これにより、トリミング枠から離れた特定の領域の画像情報を用いて、トリミング枠内の画像を補正することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像のトリミング機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を取得する取得手段と、
前記取得手段により取得された前記画像内において、領域を設定する領域設定手段と、
前記領域設定手段により前記画像内に設定された前記領域を変化させる領域変化手段と、
前記領域変化手段による変化前と変化後の前記領域のうち少なくとも一方の周囲の画像の情報を取得する情報取得手段と、
前記情報取得手段により取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正手段と、
前記補正手段による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記情報取得手段は、前記変化前と変化後の前記領域のうち少なくとも一方の領域内の画像の情報を取得する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記領域変化手段は、前記領域設定手段により設定された前記領域の位置を離隔的な位置に変化させる、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記情報取得手段は、前記変化前及び変化後の前記領域の位置関係に基づいて、所定位置にある画像の情報を、前記領域の周囲の画像の情報として取得する、
ことを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
前記所定位置は、前記変化前及び変化後の前記領域間の中間となる位置を含む、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記情報取得手段は、前記変化前と変化後の前記領域のうち少なくとも一方の位置情報に基づいて、当該領域の位置から離隔した位置にある画像の情報を、前記領域の周囲の画像の情報として取得する、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。
［付記７］
前記情報取得手段は、前記変化前と変化後の前記領域のいずれか一方の周囲の画像の情報を取得し、前記補正手段は、当該画像の情報に基づいて、他方の前記領域内の画像を補正する、
ことを特徴とする付記１から６のいずれか１つに記載の画像処理装置。
［付記８］
前記情報取得手段は、前記領域設定手段により設定された前記領域の次の時点で表示される画像の情報を取得する、
ことを特徴とする付記１に記載の画像処理装置。
［付記９］
操作情報を検出する検出手段と、
前記検出手段により検出された前記操作情報を判定する判定手段と、
を更に備え、
前記領域設定手段は、前記判定手段による前記操作情報の判定結果に基づいて、前記画像内において、前記領域を設定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記１０］
前記領域変化手段は、前記判定手段による前記操作情報の判定結果に基づいて、前記画像内において、前記領域を変化させる、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
前記取得手段により取得された前記画像内から被写体を検出する被写体検出手段、
を更に備え、
前記領域設定手段は、前記被写体検出手段により検出された前記被写体の位置に基づいて、前記画像内に前記領域を設定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記１２］
前記領域設定手段は、前記被写体検出手段の検出結果に基づいて、前記領域の位置及び大きさを変化させる、
ことを特徴とする付記１１に記載の画像処理装置。
［付記１３］
前記判定手段による前記操作情報の判定結果と、前記情報取得手段によって取得された前記画像の情報とを対応付けて記憶部に記憶させる履歴記憶手段、
を更に備えることを特徴とする付記９に記載の画像処理装置。
［付記１４］
前記履歴記憶手段は、前記判定手段による前記操作情報の判定結果を平均化し、前記情報取得手段によって取得された前記画像の情報と対応付けて記憶部に記憶させる、
ことを特徴とする付記１３に記載の画像処理装置。
［付記１５］
前記表示制御手段は、前記取得手段によって取得された前記画像と、前記補正手段によって補正された前記領域内の画像とを併せて表示する、
ことを特徴とする付記１から１４のいずれか１つに記載の画像処理装置。
［付記１６］
前記取得手段によって取得される前記画像は、Ｒａｗ形式の画像である、
ことを特徴とする付記１から１５のいずれか１つに記載の画像処理装置。
［付記１７］
前記領域変化手段は、ユーザの操作に応じて前記領域の形状、大きさ、及び位置のうち少なくとも１つを変化させる、
ことを特徴とする付記１から１６のいずれか１つに記載の画像処理装置。
［付記１８］
前記情報取得手段は、連続して変化される前記領域の当該変化に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定手段により設定された前記領域の周囲の画像領域に関する画像の情報を取得する、
ことを特徴とする付記１から１７のいずれか１つに記載の画像処理装置。
［付記１９］
前記情報取得手段は、移動される前記領域の当該移動の方向に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定手段により設定された前記領域の周囲の画像領域に関する画像の情報を取得する、
ことを特徴とする付記１から１８のいずれか１つに記載の画像処理装置。
［付記２０］
画像を取得する取得手段と、
前記取得手段により取得された前記画像内において、領域を設定する領域設定手段と、
前記領域設定手段により前記画像内に設定された前記領域を変化させる領域変化手段と、
前記領域変化手段による変化前と変化後の時点の前記領域のうち少なくとも一方を基準とする画像の情報を取得する情報取得手段と、
前記情報取得手段により取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正手段と、
前記補正手段による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
［付記２１］
画像処理装置において実行される画像処理方法であって、
画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記画像内において、領域を設定する領域設定ステップと、
前記領域設定ステップにおいて前記画像内に設定された前記領域を変化させる領域変化ステップと、
前記領域変化ステップにおける変化前と変化後の前記領域のうち少なくとも一方の周囲の画像の情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正ステップと、
前記補正ステップにおける補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
［付記２２］
画像処理装置において実行される画像処理方法であって、
画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記画像内において、領域を設定する領域設定ステップと、
前記領域設定ステップにおいて前記画像内に設定された前記領域を変化させる領域変化ステップと、
前記領域変化ステップにおける変化前と変化後の時点の前記領域のうち少なくとも一方を基準とする画像の情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正ステップと、
前記補正ステップによる補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像処理方法。
［付記２３］
コンピュータに、
画像を取得する取得機能と、
前記取得機能により取得された前記画像内において、領域を設定する領域設定機能と、
前記領域設定機能により前記画像内に設定された前記領域を変化させる領域変化機能と、
前記領域変化機能による変化前と変化後の前記領域のうち少なくとも一方の周囲の画像の情報を取得する情報取得機能と、
前記情報取得機能により取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正機能と、
前記補正機能による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御機能と、
を実現させることを特徴とするプログラム。
［付記２４］
コンピュータに、
画像を取得する取得機能と、
前記取得機能により取得された前記画像内において、領域を設定する領域設定機能と、
前記領域設定機能により前記画像内に設定された前記領域を変化させる領域変化機能と、
前記領域変化機能による変化前と変化後の時点の前記領域のうち少なくとも一方を基準とする画像の情報を取得する情報取得機能と、
前記情報取得機能により取得された前記画像の情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正機能と、
前記補正機能による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御機能と、
を実現させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・設定部，５３・・・画像生成部，５４・・・操作判定部，５５・・・比重配置部，５６・・・補正処理部，５７・・・画像解析部，７１・・・画像記憶部，７２・・・比重配置テーブル記憶部

Claims (19)

1. 画像を取得する取得手段と、
   前記取得手段により取得された前記画像内において、領域を設定する領域設定手段と、
   前記領域設定手段により前記画像内に設定された前記領域を変化させる領域変化手段と、
   前記領域変化手段による変化前の前記領域外の周囲の画像の情報と前記領域変化手段による変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得手段と、
   前記情報取得手段により取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正手段と、
   前記補正手段による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御手段と、
   を備え、
   前記情報取得手段は、連続して変化される前記領域の当該変化に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定手段により設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
   ことを特徴とする画像処理装置。
2. 画像を取得する取得手段と、
   前記取得手段により取得された前記画像内において、領域を設定する領域設定手段と、
   前記領域設定手段により前記画像内に設定された前記領域を変化させる領域変化手段と、
   前記領域変化手段による変化前の前記領域外の周囲の画像の情報と前記領域変化手段による変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得手段と、
   前記情報取得手段により取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正手段と、
   前記補正手段による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御手段と、
   を備え、
   前記情報取得手段は、移動される前記領域の当該移動の方向に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定手段により設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
   ことを特徴とする画像処理装置。
3. 前記情報取得手段は、前記変化前と変化後の前記領域のうち少なくとも一方の領域内の画像の情報をさらに取得する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記領域変化手段は、前記領域設定手段により設定された前記領域の位置を離隔的な位置に変化させる、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記情報取得手段は、前記変化前及び変化後の前記領域の位置関係に基づいて、所定位置にある画像の情報を、前記周囲画像情報として取得する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記所定位置は、前記変化前及び変化後の前記領域間の中間となる位置を含む、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記情報取得手段は、前記変化前と変化後の前記領域のうち少なくとも一方の位置情報に基づいて、当該領域の位置から離隔した位置にある画像の情報を、前記周囲画像情報として取得する、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記情報取得手段は、前記周囲画像情報として、前記変化前の前記領域外の周囲の画像の情報と前記変化後の前記領域外の周囲の画像の情報とのいずれか一方の情報を取得し、
   前記補正手段は、当該周囲画像情報に基づいて、他方の前記領域内の画像を補正する、
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記情報取得手段は、前記領域設定手段により設定された前記領域の次の時点で表示される画像の情報を取得する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
10. 操作情報を検出する検出手段と、
    前記検出手段により検出された前記操作情報を判定する判定手段と、
    を更に備え、
    前記領域設定手段は、前記判定手段による前記操作情報の判定結果に基づいて、前記画像内において、前記領域を設定する、
    ことを特徴とする請求項１又は２に記載の画像処理装置。
11. 前記取得手段により取得された前記画像内から被写体を検出する被写体検出手段、
    を更に備え、
    前記領域設定手段は、前記被写体検出手段により検出された前記被写体の位置に基づいて、前記画像内に前記領域を設定する、
    ことを特徴とする請求項１又は２に記載の画像処理装置。
12. 前記判定手段による前記操作情報の判定結果と、前記情報取得手段によって取得された前記周囲画像情報とを対応付けて記憶部に記憶させる履歴記憶手段、
    を更に備えることを特徴とする請求項１０に記載の画像処理装置。
13. 前記表示制御手段は、前記取得手段によって取得された前記画像と、前記補正手段によって補正された前記領域内の画像とを併せて表示する、
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記取得手段によって取得される前記画像は、Ｒａｗ形式の画像である、
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記領域変化手段は、ユーザの操作に応じて前記領域の形状、大きさ、及び位置のうち少なくとも１つを変化させる、
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 画像処理装置において実行される画像処理方法であって、
    画像を取得する取得ステップと、
    前記取得ステップにおいて取得された前記画像内において、領域を設定する領域設定ステップと、
    前記領域設定ステップにおいて前記画像内に設定された前記領域を変化させる領域変化ステップと、
    前記領域変化ステップにおける変化前の前記領域外の周囲の画像の情報と前記領域変化ステップによる変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得ステップと、
    前記情報取得ステップにおいて取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正ステップと、
    前記補正ステップにおける補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御ステップと、
    を含み、
    前記情報取得ステップでは、連続して変化される前記領域の当該変化に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定ステップで設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
    ことを特徴とする画像処理方法。
17. 画像処理装置において実行される画像処理方法であって、
    画像を取得する取得ステップと、
    前記取得ステップにおいて取得された前記画像内において、領域を設定する領域設定ステップと、
    前記領域設定ステップにおいて前記画像内に設定された前記領域を変化させる領域変化ステップと、
    前記領域変化ステップにおける変化前の前記領域外の周囲の画像の情報と前記領域変化ステップによる変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得ステップと、
    前記情報取得ステップにおいて取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正ステップと、
    前記補正ステップにおける補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御ステップと、
    を含み、
    前記情報取得ステップでは、移動される前記領域の当該移動の方向に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定ステップで設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、ことを特徴とする画像処理方法。
18. コンピュータに、
    画像を取得する取得機能と、
    前記取得機能により取得された前記画像内において、領域を設定する領域設定機能と、
    前記領域設定機能により前記画像内に設定された前記領域を変化させる領域変化機能と、
    前記領域変化機能による変化前の前記領域外の周囲の画像の情報と前記領域変化機能による変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得機能と、
    前記情報取得機能により取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正機能と、
    前記補正機能による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御機能と、
    を実現させ、
    前記情報取得機能では、連続して変化される前記領域の当該変化に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定機能により設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
    ことを特徴とするプログラム。
19. コンピュータに、
    画像を取得する取得機能と、
    前記取得機能により取得された前記画像内において、領域を設定する領域設定機能と、
    前記領域設定機能により前記画像内に設定された前記領域を変化させる領域変化機能と、
    前記領域変化機能による変化前の前記領域外の周囲の画像の情報と前記領域変化機能による変化後の前記領域外の周囲の画像の情報とのうち少なくとも一方の情報である、周囲画像情報を取得する情報取得機能と、
    前記情報取得機能により取得された前記周囲画像情報から、前記変化前と変化後の前記領域内のうち少なくとも一方の画像を補正する補正機能と、
    前記補正機能による補正結果に基づいて、前記変化前と変化後の前記領域内の画像を連続して表示手段に表示させる表示制御機能と、
    を実現させ、
    前記情報取得機能では、移動される前記領域の当該移動の方向に対応して配置された、前記領域の周囲の画像領域の比重に基づいて、前記領域設定機能により設定された前記領域の周囲の画像領域に関する画像の情報を前記周囲画像情報として取得する、
    ことを特徴とするプログラム。

Images