JP6084310B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置および撮像方法に関する。

従来、被写体を撮像して該被写体の画像データを生成する撮像装置において、対象物について一連のパターン撮影を行う際に、一連の見本画像に対応した複数のガイド画像データに基づく複数のガイド画像を画面上で同時に表示する技術が知られている（例えば、特許文献１を参照）。この技術によれば、複数のガイド画像を画面上で同時に表示するため、撮影手順の設定が容易であり、複数の画像の撮影を効率よく実施することができる。

特開２００４−２１５１５７号公報

ところで、撮影画像に対して、複数の画像処理を組み合わせることによって視覚的な効果を生じさせるアート効果を付与する場合には、互いに異なる複数のアート効果を付与した画像を並べて比較したいという要求がある。

しかしながら、上述した従来技術は、１つの被写体に対して複数の画像を撮影することが前提となっているため、１回の撮影動作によってユーザが所望する複数の画像を得ることができなかった。

本発明は、上記に鑑みてなされたものであって、１回の撮影動作によってユーザが所望する複数の画像を得ることができる撮像装置および撮像方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成する撮像部と、前記撮像部が生成した画像データに画像処理を施す画像処理部と、前記画像処理部が画像処理を施した画像データに対応する画像を表示可能な表示部と、前記画像処理部が互いに異なる複数の画像処理をそれぞれ施した複数の画像の中から選択される１つの画像を主画像とするとともに、該主画像以外の画像を該主画像と識別可能な副画像として前記表示部に一括して表示させる表示制御部と、を備えたことを特徴とする。

本発明に係る撮像装置は、上記発明において、前記表示部に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルを備え、前記表示制御部は、前記タッチパネルにおける外部からの接触位置に対応する画像を前記主画像とすることを特徴とする。

本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記表示部に、前記主画像および前記副画像を個別の領域に分割して表示させることを特徴とする。

本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記表示部に、前記主画像を前記副画像よりも大きく表示させることを特徴とする。

本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記表示部に、前記主画像を前記副画像よりも大きく表示させ、かつ前記副画像を前記主画像に重畳して表示させることを特徴とする。

本発明に係る撮像装置は、上記発明において、前記画像処理部は、前記画像データに対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせる特殊効果処理を行うことを特徴とする。

本発明に係る撮像装置は、上記発明において、前記撮像部は、所定の時間間隔で連続して画像データを生成し、前記表示制御部は、前記表示部に、前記主画像を基準として時間的に前後する撮像タイミングに生成された画像データを前記副画像として設定し、前記主画像および前記副画像を時間の経過に沿って並べて表示させることを特徴とする。

本発明によれば、画像処理部が互いに異なる複数の画像処理をそれぞれ施した複数の画像の中から選択される１つの画像を主画像とするとともに、該主画像以外の画像を該主画像と識別可能な副画像として表示部に一括して表示させるため、１回の撮影動作によってユーザが所望する複数の画像を得ることが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図２は、アート効果画像処理部が行うアート効果画像処理の概要を示す図である。 図３は、画像合成部が生成する合成画像の表示例を示す図である。 図４は、画像合成部が生成する合成画像の別な表示例（第２例）を示す図である。 図５は、画像合成部が生成する合成画像の別な表示例（第３例）を示す図である。 図６は、画像合成部が生成する合成画像の別な表示例（第４例）を示す図である。 図７は、本発明の実施の形態１に係る撮像装置の背面側の構成を示す図である。 図８は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。 図９は、本発明の実施の形態１に係る撮像装置が行うレイアウト変更処理の概要を示す図である。 図１０は、本発明の実施の形態１に係る撮像装置が行う画像処理変更処理の概要を示す図である。 図１１は、本発明の実施の形態１に係る撮像装置が行う切出し範囲変更処理の概要を示す図である。 図１２は、本発明の実施の形態１に係る撮像装置の表示部の表示画面の周縁でタッチ入力がなされていない場合の処理を具体的に示す図である。 図１３は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２に係る撮像装置の表示部の表示画面の内部でタッチ入力がなされた場合の処理を具体的に示す図である。 図１５は、レイアウト変更処理の別な例を示す図である。 図１６は、副画像を分割して表示する際にその倍率を変えて表示する場合の表示例を示す図である。 図１７は、分割された副画像を不規則に並べて配置する場合の表示例を示す図である。 図１８は、１つの画像に含まれている複数の被写体を分割して副画像を生成する場合の表示例を示す図である。 図１９は、１つの画像に含まれている複数の人物を人物ごとに表示する副画像を生成する場合の表示例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、本体部２に対して移動可能に連結される可動式のモニタ部４と、を備える。撮像装置１の本体部２には、アクセサリ５を着脱自在に取付可能である。

本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、入力部１７と、接眼表示部１８と、アイセンサ１９と、回動判定部２０と、一時記録部２１と、記録部２２と、本体通信部２３と、第２通信部２４と、制御部２５と、を備える。

シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２５から入力される指示信号に応じてシャッタ１０を駆動する。

撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子１２は、被写体を撮像して該被写体ｈの画像データを生成する撮像部の少なくとも一部の機能を有する。
撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。

信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等のアナログ処理を施してＡ／Ｄ変換部１５に出力する。

Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、制御部２５に出力する。

画像処理部１６は、撮像素子１２が生成した画像データに所定の画像処理を施す。画像処理部１６は、基本画像処理部１６１と、アート効果画像処理部１６２と、画像合成部１６３とを有する。

基本画像処理部１６１は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理を含む基本の画像処理を行う。また、基本画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

アート効果画像処理部１６２は、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果画像処理を行って処理画像データ（以下、「アート効果画像データ」という）を生成する。

図２は、アート効果画像処理部１６２が行うアート効果画像処理の概要を示す図である。図２ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。

ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。

ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周縁部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。

トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、例えば特開２０１０−７４２４４号公報を参照）。

ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、例えば特開２０１０−６２８３６号公報を参照）。このうちノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。

ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。

画像合成部１６３は、アート効果画像処理部１６２が互いに異なる複数のアート効果画像処理をそれぞれ施した複数のアート効果画像を合成する。図３は、画像合成部１６３が生成する合成画像の表示例を示す図である。同図に示す合成画像１０１は、４つの副画像１０２〜１０５を合成した画像である。副画像１０２〜１０４は、同じ画像データに対して３つの異なるアート効果画像処理を施すことによってそれぞれ生成されたものである。また、副画像１０５は、アート効果画像処理を施していない画像（撮像画像）である。なお、図３では、アート効果を模式的に示している。アート効果を模式的に示す点は、以下に説明するすべての図面についても同様である。

図４は、画像合成部１６３が生成する合成画像の別な表示例（第２例）を示す図である。同図に示す合成画像１１１は、１つの主画像１１３と、２つの副画像１１２、１１４を合成した画像である。主画像１１３は、合成画像１１１の右半分領域を占めている。また、副画像１１２、１１４は、合成画像１１１の左半分領域を縦に等分した大きさを有しており、主画像１１３よりも小さい。

図５は、画像合成部１６３が生成する合成画像の別な表示例（第３例）を示す図である。同図に示す合成画像１２１は、４つの副画像１２２〜１２５を合成した画像である。副画像１２２〜１２５は、それぞれ互いに同じ大きさを有する縦長の画像である。副画像１２２〜１２４は、同じ画像データに対して３つの異なるアート効果画像処理を施すことによってそれぞれ生成されたものである。また、副画像１２５は、アート効果画像処理を施していない画像である。

図６は、画像合成部１６３が生成する合成画像の別な表示例（第４例）を示す図である。同図に示す合成画像１３１は、画面と等しい大きさを有する１つの主画像１３２に対して３つの副画像１３３〜１３５を重畳した態様を有する。主画像１３２、ならびに副画像１３３および１３４は、同じ画像データに対して３つの異なるアート効果画像処理を施すことによってそれぞれ生成されたものである。また、副画像１３５は、アート効果画像処理を施していない画像である。なお、副画像１３３〜１３５の表示位置は適宜変更することが可能である。

引き続き、撮像装置１の構成を説明する。入力部１７は、静止画撮影時の撮影信号の入力を受け付けるレリーズボタン、撮像装置１のモード切り替えを指示する切替指示信号の入力を受け付けるモード切替ボタン、動画撮影の開始および終了を指示する信号の入力を受け付ける動画ボタン等を含む操作信号入力用のユーザーインターフェースを用いて実現される。

接眼表示部１８は、電子ビューファインダ（ＥＶＦ）である。接眼表示部１８は、図３〜図６にそれぞれ示す合成画像１０１、１１１、１２１、１３１を表示可能である。
アイセンサ１９は、接眼表示部１８の近傍に設けられ、人の目が接眼表示部１８の近くにあるか否かを検出する。
回動判定部２０は、モニタ部４が回動によって本体部２から離れた状態になっているか否かを判定する。

一時記録部２１は、Ａ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される画像処理後の画像データおよび撮像装置１の処理中の情報を一時的に記録する。一時記録部２１は、揮発性メモリを用いて構成される。

記録部２２は、不揮発性メモリを用いて構成され、画像データ記録部２２１と、アート効果情報記録部２２２と、レイアウト情報記録部２２３と、プログラム記録部２２４と、を有する。

画像データ記録部２２１は、撮像素子１２が生成した画像データを含む画像データを記録する。アート効果情報記録部２２２は、アート効果画像処理部１６２が行う各アート効果画像処理における画像処理の組み合わせ情報を記録する。
レイアウト情報記録部２２３は、画像合成部１６３が生成する合成画像のレイアウト情報（例えば、図３〜図６を参照）を記録する。
プログラム記録部２２４は、撮像装置１を動作させるための各種プログラム、撮像プログラム、およびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。

なお、外部から装着されるメモリカード等のコンピュータ読取可能な記憶媒体を適用することによって記録部２２の機能を実現することも可能である。

本体通信部２３は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２３には、レンズ部３との電気的な接点も含まれる。

第２通信部２４は、本体部２に装着されるアクセサリ５との通信を行うためのインターフェースである。第２通信部２４には、アクセサリ５との電気的な接点も含まれる。ここで、アクセサリ５は、本体部２との通信インターフェースであるアクセサリ通信部５１を有する。アクセサリ５として、例えば補助光を投射するエレクトロニックフラッシュを挙げることができる。

制御部２５は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２５は、撮像した画像に含まれる人物の顔を検出する顔検出部２５１と、後述するモニタ部４が有するタッチパネル４２から受信した信号に応じたタッチ位置を検出するタッチ検出部２５２と、画像処理部１６の動作を制御する画像処理制御部２５３と、接眼表示部１８およびモニタ部４が有する表示部４１の表示態様を制御する表示制御部２５４と、を有する。表示制御部２５４は、画像処理部１６が互いに異なる複数の画像処理をそれぞれ施した複数の画像の中から選択される１つの画像を主画像とするとともに、該主画像以外の画像を該主画像と識別可能な副画像として、モニタ部が有する表示部４１に一括して表示させる機能を有する。

制御部２５は、画像データ記録部２２１が記録す画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件の設定（ＡＥ処理）、および撮像装置１の焦点の自動調整（ＡＦ処理）を行う。制御部２５は、バスを介して撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括して制御する。

制御部２５は、入力部１７から撮影動作の開始信号（操作信号）が入力された場合、撮影動作を開始する制御を行う。ここで、撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、制御部２５の制御のもと、所定の形式にしたがって圧縮され、記録部２２に記録される。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等を挙げることができる。

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、所定の通信ネットワークを介して外部の装置とデータの送受信を行う通信部などをさらに設けてもよい。

次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズ記録部３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。

光学系３１は、１または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。

レンズ操作部３５は、例えばレンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。

レンズ記録部３６は、光学系３１の光学特性に関する情報を記録するレンズ特性情報記録部３６１を有する。また、レンズ記録部３６は、光学系３１の位置および動きを決定するための制御用プログラムおよび各種パラメータを記録する。

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２３と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。

レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。レンズ制御部３８は、本体部２の制御部２５との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。具体的には、レンズ制御部３８は、レンズ通信信号に含まれるレンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ特性情報、ピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信する。

次に、モニタ部４の構成を説明する。モニタ部４は、表示部４１と、タッチパネル４２とを有する。表示部４１およびタッチパネル４２は、本体部２と電気的に接続されている。

表示部４１は、画像データに対応する画像を表示可能な構成を有しており、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部４１における画像の表示方法には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録部２２が記録する画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するスルー画表示（ライブビュー表示）等が含まれる。また、表示部４１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。表示部４１は、図３〜図６にそれぞれ示す合成画像１０１、１１１、１２１、１３１を表示可能である。

タッチパネル４２は、表示部４１の表示画面上に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付ける。タッチパネル４２の方式として、抵抗膜方式、静電容量方式、光学方式等のいずれの方式も適用可能である。

図７は、撮像装置１の背面側の構成を示す図であり、モニタ部４の本体部２に対する移動の態様を説明する図である。モニタ部４は、ヒンジおよび連結用のアームを有し、表示部４１の表示画面の本体部２に対する傾斜角度を変更させるチルト機構６を介して本体部２に連結されている。図７（ａ）に示す場合、表示部４１の表示画面は本体部２の背面と平行な状態にある。これに対し、図７（ｂ）に示す場合、表示部４１の表示画面は、本体部２の背面に対して傾斜している。図７（ｂ）では表示部４１の表示画面を図で上向きに傾斜させた場合を例示しているが、表示部４１の表示画面を図で下向きに傾斜させることも可能である。

以上の構成を有する撮像装置１は、撮影を行う撮影モード、および画像の再生を行う再生モードを設定することが可能である。このうち、撮影モードでは、１枚の画像に対して互いに異なる複数の画像処理をそれぞれ加えた複数の画像を所望のレイアウトで同時に表示するマルチ画像撮影モードを設定することができる。撮像装置１がマルチ画像撮影モードに設定されている場合、表示部４１または接眼表示部１８は、例えば図３〜図６のいずれかの表示態様で合成画像を表示する。その後、ユーザがレリーズボタン等によって撮影を行うと、撮像装置１は、表示部４１または接眼表示部１８が表示している態様の画像を撮影画像として撮影して記録部２２に記録する。

次に、撮像装置１が行う処理の概要について、図８に示すフローチャートを参照して説明する。

まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：撮影モード）を説明する。この場合において、レンズ交換がなされたとき（ステップＳ１０２：Ｙｅｓ）、撮像装置１はレンズ通信を行う（ステップＳ１０３）。一方、撮影モードに設定されている場合において、レンズ交換がなされないとき（ステップＳ１０２：Ｎｏ）、撮像装置１は画像を取得し、スルー画表示を開始し、取得した画像を一次記録部２１に仮記録する（ステップＳ１０４）。

続いて、撮像装置１がマルチ画像撮影モードに設定されている場合（ステップＳ１０５：Ｙｅｓ）を説明する。この場合、入力部１７からレイアウトを設定する信号が入力されれたとき（ステップＳ１０６：Ｙｅｓ）、画像処理制御部２５３は画像処理部１６に対してレイアウトの設定情報を送信する（ステップＳ１０７）。ステップＳ１０６において、入力部１７からレイアウトを設定する信号が入力されないとき（ステップＳ１０６：Ｎｏ）、撮像装置１は後述するステップＳ１０８へ移行する。

ステップＳ１０８において、画像合成部１６３は、設定されたレイアウトにしたがって画像を合成し、合成画像を生成する（ステップＳ１０８）。

この後、表示制御部２５４は、表示部４１に合成画像を表示させる（ステップＳ１０９）。ここで表示する合成画像は、例えば図３〜図６にそれぞれ示す合成画像１０１〜１３１のいずれかである。

続いて、表示部４１の表示画面の周縁でタッチ入力がなされた場合（ステップＳ１１０：Ｙｅｓ）、撮像装置１はタッチの種類に応じた処理を行う（ステップＳ１１１〜Ｓ１１６）。以下、タッチの種類に応じて、レイアウト変更、画像処理変更、および切り出し範囲変更の３つの処理を行うことができるものとして説明を行うが、これらの処理が一例に過ぎないことはいうまでもない。

まず、レイアウト変更操作が入力された場合（ステップＳ１１１：Ｙｅｓ）を説明する。この場合、撮像装置１は、レイアウトを変更して表示部４１で表示する（ステップＳ１１２）。具体的には、画像処理制御部２５３が画像合成部１６３に対してレイアウトの変更指示を送信した後、画像合成部１６３がレイアウトを変更して合成画像を生成する。その後、表示制御部２５４は、表示部４１に変更後の合成画像を表示させる。

図９は、レイアウト変更処理の概要を示す図である。表示部４１が合成画像１０１を表示している状態で、ユーザが副画像１０３の周縁部をはじく（フリック）操作を行うと（図９（ａ））、タッチ検出部２５２はこの操作を検出してレイアウト変更処理と認識する。その後、画像合成部１６３は、異なるレイアウトを有する合成画像１１１を生成する（図９（ｂ））。合成画像１１１では、合成画像１０１においてユーザの指ではじいた位置に表示されていた副画像１０３が主画像１１３として大きく表示される。なお、本実施の形態１において、レイアウト設定処理を先に行ってから撮影を行うようにしてもよい。

本実施の形態１では、変更前のレイアウトと変更後のレイアウトとが１：１に対応している。このため、合成画像１１１を表示している状態でユーザが主画像１１３の周縁部をはじく操作を行った場合には、例えば図６に示す合成画像１３１と同様のレイアウトを有し、主画像１１３と同じアート効果処理が施された画像を主画像として表示する合成画像に遷移するようにしてもよい。

レイアウト変更操作が入力されない場合（ステップＳ１１１：Ｎｏ）、撮像装置１は後述するステップＳ１１３へ移行する。

次に、画像処理変更操作が入力された場合（ステップＳ１１３：Ｙｅｓ）を説明する。この場合、撮像装置１は、アート効果画像処理部１６２における処理内容を変更した後、画像合成部１６３で新たな合成画像を生成し、生成した合成画像を表示部４１で表示する（ステップＳ１１４）。画像処理変更操作としては、例えば表示部４１の表示画面の周縁部をこする（スワイプ）操作を行うことによって、こすった画像の表示を変更させることができる。

図１０は、画像処理変更処理の概要を示す図である。表示部４１が合成画像１０１を表示している状態で、ユーザが副画像１０４の周縁部を縦にこする操作を行う（図１０（ａ））と、タッチ検出部２５２はこの操作を検出して画像処理変更処理と認識する。その後、アート効果画像処理部１６２は、こすられた副画像１０４におけるアート効果画像処理を変更して処理を行う。こすった後でアート効果画像処理部１６２が行うアート効果画像処理の内容は、予め設定しておいてもよいし、その都度ユーザが選択できるようにしてもよい。続いて、画像合成部１６３は、合成画像を再合成する。図１０（ｂ）は、再合成された合成画像の表示例を示す図である。合成画像１４１は、副画像１４４において変更前の副画像１０４と異なるアート効果画像処理が施されている。

画像処理変更操作が入力されない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は後述するステップＳ１１５へ移行する。

次に、切出し範囲変更操作が入力された場合（ステップＳ１１５：Ｙｅｓ）を説明する。この場合、撮像装置１は、画像合成部１６３で新たに指定された切出し範囲の合成画像を生成し、表示部４１で表示する（ステップＳ１１６）。具体的には、画像処理制御部２５３が画像合成部１６３に対して切出し範囲の変更指示を送信した後、画像合成部１６３が切出し範囲を変更して合成画像を生成する。その後、表示制御部２５４は、表示部４１に変更後の合成画像を表示させる。

図１１は、切出し範囲変更処理の概要を示す図である。表示部４１が合成画像１０１を表示している状態で、ユーザが副画像１０５の下端部をピンチインすると（図１１（ａ））、タッチ検出部２５２はこの操作を検出して切出し範囲変更処理と認識する。その後、画像合成部１６３は、切出し範囲が異なる合成画像１２１を生成する（図１１（ａ））。

切出し範囲変更処理が入力されない場合（ステップＳ１１５：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

次に、ステップＳ１１０において、表示部４１の表示画面の周縁でタッチ入力がなされない場合（ステップＳ１１０：Ｎｏ）を説明する。この場合において、表示画面の内部でタッチ入力がなされたとき（ステップＳ１１７：Ｙｅｓ）、撮像装置１はタッチされた部分にピントを合わせて撮影を行う（ステップＳ１１８）。なお、ここでいう表示画面の周縁および内部は、適宜設定されている領域である。たとえば、周縁部を表示画面の外縁から１ｃｍ程度の幅の領域として設定し、それよりも内側の領域を表示画面の内部とすることができる。

続いて、撮像装置１がマルチ画像撮影モードに設定されている場合（ステップＳ１１９：Ｙｅｓ）、画像合成部１６３は画像の再合成を行い、表示部４１が再合成した画像のレックビュー表示を行う（ステップＳ１２０）。その後、撮像装置１はステップＳ１０１へ戻る。

ステップＳ１１７で表示画面の内部でタッチ入力がなされない場合（ステップＳ１１７：Ｎｏ）において、ユーザによる入力部１７を介した撮影操作が行われたとき（ステップＳ１２１：Ｙｅｓ）、撮像装置１は撮影を行う（ステップＳ１２２）。ステップＳ１２１でユーザによる入力部１７を介した撮影操作が行われないとき（ステップＳ１２１：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

図１２は、上述したステップＳ１１７〜Ｓ１２０の処理を具体的に示す図である。図１２（ａ）に示すように、ユーザが合成画像１０１の副画像１０２の中央部をタッチすると、タッチ検出部２５２がタッチ操作を検出し、制御部２５がピント合わせ等の撮影動作を制御する。その後、画像合成部１６３は、タッチされた副画像１０２を主画像とするように再合成することによって新たな合成画像を生成する。図１２（ｂ）は、画像合成部１６３が生成した合成画像の表示例である。図１２（ｂ）に示す合成画像１３１における主画像１３２は、合成画像１０１でユーザがタッチした副画像１０２と同じアート効果処理が施されたアート効果画像である。副画像１３３〜１３５は、副画像１０３〜１０５にそれぞれ対応している。

ステップＳ１１９において、撮像装置１がマルチ画像撮影モードに設定されていない場合（ステップＳ１１９：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

次に、ステップＳ１０５において、撮像装置１がマルチ画像撮影モードに設定されていない場合（ステップＳ１０５：Ｎｏ）を説明する。この場合、撮像装置１はステップＳ１１７へ移行する。

次に撮像装置１が再生モードに設定されている場合（ステップＳ１０１：再生モード）を説明する。この場合、表示制御部２５４は、表示部４１に対し、記録部２２が記録する所定の画像を再生して表示させる（ステップＳ１２３）。

続いて、入力部１７から再生画像の変更指示が入力された場合（ステップＳ１２４：Ｙｅｓ）、表示制御部２５４は変更指示にしたがって表示部４１に異なる画像を再生表示させる（ステップＳ１２５）。この後、撮像装置１はステップＳ１０１へ戻る。

ステップＳ１２４において変更指示が入力されない場合（ステップＳ１２４：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

以上説明した本発明の実施の形態１によれば、画像処理部が互いに異なる複数の画像処理をそれぞれ施した複数の画像の中から選択される１つの画像を主画像とするとともに、該主画像以外の画像を該主画像と識別可能な副画像として表示部に一括して表示させるため、１回の撮影動作によってユーザが所望する複数の画像を得ることが可能となる。

また、本実施の形態１によれば、表示部に主画像を副画像よりも大きく表示させるため、ユーザは選択した画像を中心とする装飾画像を得ることができる。

（実施の形態２）
本発明の実施の形態２は、異なる時間に撮影した画像をマルチ画像として使用することを特徴とする。本実施の形態２に係る撮像装置の構成は、実施の形態１で説明した撮像装置１の構成と同様である。

以下、図１３のフローチャートを参照して、本実施の形態２に係る撮像装置１が行う処理の概要を説明する。なお、ステップＳ２０１〜Ｓ２１６の処理は、実施の形態１で図８を参照して説明したステップＳ１０１〜Ｓ１１６に順次対応している。

ステップＳ２１７において、表示部４１の表示画面の内部でタッチ入力がなされた場合（ステップＳ２１７：Ｙｅｓ）、撮像装置１はタッチされた部分にピントを合わせて撮影を行う（ステップＳ２１８）。なお、ステップＳ２１７で表示画面の内部でタッチ入力がなされない場合（ステップＳ２１７：Ｎｏ）に続くステップＳ２２４、Ｓ２２５の処理は、実施の形態１で説明したステップＳ１２１、Ｓ１２２の処理に順次対応している。

続いて、撮像装置１がマルチ画像撮影モードに設定されている場合（ステップＳ２１９：Ｙｅｓ）、ユーザがタッチした位置にステップＳ２１８で撮影した画像を配置する（ステップＳ２２０）。また、タッチした位置よりも時間的に前の画像を表示する領域に、一時記録部２１が仮記録している画像（仮記録画像）の中から必要な分の画像を選択して該当する領域に配置する（ステップＳ２２１）。さらに、タッチした位置よりも時間的に後の画像を表示する領域に、ステップＳ２１８における撮影よりも後に撮影して一時記録部２１に仮記録した画像を順次配置していく（ステップＳ２２２）。

表示制御部２５４は、画像合成部１６３が生成した合成画像を表示部４１に表示させる（ステップＳ２２３）。

図１４は、上述したステップＳ２１７〜Ｓ２２３の処理を具体的に説明する図である。ここで、撮像装置１はマルチ画像撮影モードに設定されているものとする。図１４（ａ）に示す合成画像２０１は、横に４つの領域を並べて表示しているスルー画像である。副画像２０２〜２０５は、すべて同じ画像を表示している。この後、ステップＳ２１７で副画像２０３がタッチされた場合、画像合成部１６３は、その撮影画像を左から２番目の領域に配置する（ステップＳ２２０）。

撮影後の合成画像は左から右の順で時系列に沿って配置されるものとすると、画像合成部１６３は、一番左の領域にステップＳ２１８で撮影した画像よりも所定時間だけ前に撮影した画像を一時記録部２１から読み出して配置する（ステップＳ２２１）。

続いて、画像合成部１６３は、ステップＳ２１８の撮影後に順次撮影した画像の中から所定の間隔を有する画像を一時記録部２１から読み出して、画面の左から３番目および４番目の領域に順次配置する（ステップＳ２２２）。このようにして、画像合成部１６３は、図１４（ｂ）に示す合成画像２１１を生成する。合成画像２１１は、副画像２１２がもっとも早い時間に撮影した画像であり、副画像２１５がもっとも遅い時間に撮影した画像である。そして、画面内をタッチすることによって撮影した副画像２０３が主画像である。

ステップＳ２２４〜Ｓ２２８の処理は、実施の形態１で図８を参照して説明したステップＳ１２１〜Ｓ１２５の処理に順次対応している。

以上説明した本発明の実施の形態２によれば、画像処理部が互いに異なる複数の画像処理をそれぞれ施した複数の画像の中から選択される１つの画像を主画像とするとともに、該主画像以外の画像を該主画像と識別可能な副画像として表示部に一括して表示させるため、１回の撮影動作によってユーザが所望する複数の画像を得ることが可能となる。

また、本実施の形態２によれば、主画像と副画像を時系列に沿って表示させるため、ユーザは選択した画像の前後の被写体の動きを含む装飾画像を得ることができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した２つの実施の形態に限定されるべきものではない。例えば、本発明において、図１５に示すようにレイアウトを変更することも可能である。同図に示す合成画像３０１は、主画像３０２と、主画像３０２よりも小さく、主画像３０２の底辺と右側面を囲むように配置された５つの副画像３０３〜３０７を有する。

また、本発明において、副画像を分割して表示する際にその倍率を変えて表示するようにしてもよい。図１６は、この場合の表示例を示す図である。同図に示す合成画像３１１は、互いに倍率が異なる４つの副画像３１２〜３１５を横に４つ並べて配置されている。この副画像３１２〜３１５のいずれか１つが実際に撮像したのと同じ倍率の画像である場合には、その副画像が主画像に相当する。

また、本発明において、分割された副画像を不規則に並べて配置してもよい。図１７は、この場合の表示例を示す図である。同図に示す合成画像３２１は、４つの副画像３２２〜３２５が不規則に並べて配置されている。

また、本発明において、１つの画像に含まれている複数の被写体を分割して副画像を生成してもよい。図１８は、この場合の表示例を示す図である。同図に示す合成画像３３１は、３つの副画像３３２〜３３４と、これらの副画像３３２〜３３４がそれぞれ表示する被写体をすべて含む主画像３３５とを有する。このような画像は、制御部に被写体検出部を設けることによって生成することが可能となる。

また、本発明において、１つの画像に含まれている複数の人物を１人ずつ表示する副画像を生成してもよい。図１９は、この場合の表示例を示す図である。同図に示す合成画像３４１は、それぞれ１人の人物だけが写っている３つの副画像３４２〜３４４と、すべての人物が揃って写っている主画像３４５とが表示されている。

このように、本発明は様々な実施の形態等を含みうるものであり、特許請求の範囲に記載された技術的思想を逸脱しない範囲内において設計変更等を行うことが可能である。

１ 撮像装置
２ 本体部
３ レンズ部
４ モニタ部
５ アクセサリ
６ チルト機構
１２ 撮像素子
１６ 画像処理部
１７ 入力部
４１ 表示部
４２ タッチパネル
２１ 一時記録部
２２ 記録部
２３ 本体通信部
２５ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズ記録部
３７ レンズ通信部
３８ レンズ制御部
１６１ 基本画像処理部
１６２ アート効果画像処理部
１６３ 画像合成部
２２１ 画像データ記録部
２２２ アート効果情報記録部
２２３ レイアウト情報記録部
２２４ プログラム記録部
２５１ 顔検出部
２５２ タッチ検出部
２５３ 画像処理制御部
２５４ 表示制御部

Claims (10)

1. 被写体を撮像して該被写体の画像データを生成する撮像部と、
   画像を含む情報を表示可能な表示部と、
   前記表示部に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルと、
   １つの前記画像データに対して互いに異なる複数の処理を施し、前記複数の処理をそれぞれ施した複数の画像データを、設定されたレイアウトで合成する画像処理部と、
   前記画像処理部が合成した合成画像を前記表示部に表示させる表示制御部と、
   を備え、
   前記画像処理部は、
   前記タッチパネルが受けるタッチ操作の種類に応じて、レイアウト変更処理、画像処理変更処理および切出し範囲変更処理のいずれかを行うことを特徴とする撮像装置。
2. 前記レイアウトは、
   前記複数の画像データにそれぞれ対応する複数の画像の一部が重なりを有することを特徴とする請求項１に記載の撮像装置。
3. 前記レイアウトは、
   前記複数の画像データにそれぞれ対応する複数の画像の一部が他の画像に対して傾いていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記レイアウトは、
   前記複数の画像データにそれぞれ対応する複数の画像の倍率が互いに異なることを特徴とする請求項１に記載の撮像装置。
5. 前記レイアウトは、
   前記複数の画像データにそれぞれ対応する複数の画像の一部のアスペクト比が他の画像のアスペクト比と異なることを特徴とする請求項１に記載の撮像装置。
6. 前記レイアウトは、
   前記複数の画像データにそれぞれ対応する複数の画像のうち１つの画像に含まれている複数の被写体を他の画像で分割してなることを特徴とする請求項５に記載の撮像装置。
7. 前記複数の画像データは、互いに異なるタイミングで生成された画像であることを特徴とする請求項１に記載の撮像装置。
8. 前記タッチパネルが前記タッチ操作としてフリック操作を受けた場合、
   前記表示制御部は、
   前記タッチパネルの接触位置に対応する画像を拡大して前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
9. 前記画像処理部は、
   前記処理として、１つの前記画像データに対して複数の画像処理を組み合わせることにより視覚的な効果を生じさせる特殊効果処理を行うことを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
10. 被写体を撮像して該被写体の画像データを生成する撮像ステップと、
    １つの前記画像データに対して互いに異なる複数の処理を施す処理ステップと、
    前記複数の処理がそれぞれ施された複数の画像データを、設定されたレイアウトで合成する合成ステップと、
    前記合成ステップで合成した合成画像を表示部が表示する表示ステップと、
    前記表示部に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルがタッチ操作を受けた場合、該タッチ操作の種類に応じて、レイアウト変更処理、画像処理変更処理および切出し範囲変更処理のいずれかを行う変更処理ステップと、 を有することを特徴とする撮像方法。