JP6423612B2 - 情報機器、画像処理方法およびプログラム - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する情報機器、画像処理方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置において、星を撮影しながら順次生成した画像に対して比較明合成処理を行うことによって、星の軌跡を撮影することができる技術が知られている（特許文献１参照）。

特開２０１３−６２７４０号公報

しかしながら、上述した特許文献１では、撮影における一つの機能を拡張したものでしかなく、撮影する画像に対して、ユーザの感性を反映することができるものではなかった。このため、撮影する画像に対して、ユーザの感性を反映することができる技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、撮影する画像に対して、ユーザの感性を反映することができる情報機器、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る情報機器は、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出部と、前記抽出部が生成した前記抽出データと、前記抽出部が前記抽出データを生成したタイミングと異なるタイミングに前記撮像部が生成した前記画像データとを合成した合成画像データを生成する画像合成部と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、情報機器が実行する画像処理方法であって、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出ステップと、前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを合成した合成画像データを生成する画像合成ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、情報機器に、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出ステップと、前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを合成した合成画像データを生成する画像合成ステップと、を実行させることを特徴とする。

本発明によれば、撮影する画像に対して、ユーザの感性を反映することができるという効果を奏する。

図１は、本発明の一実施の形態に係る撮像装置の被写体に面する側の構成を示す斜視図である。 図２は、本発明の一実施の形態に係る撮像装置の撮影者に面する側の構成を示す斜視図である。 図３は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。 図４は、本発明の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。 図５は、本発明の一実施の形態に係る撮像装置の表示部が表示する画像の一例を示す図である。 図６は、本発明の一実施の形態に係る撮像装置の撮像部が生成したライブビュー画像データに対応するライブビュー画像における位置と輝度との関係を模式的に示す図である。 図７は、本発明の一実施の形態に係る撮像装置の抽出部が生成した抽出データに対応する抽出画像における位置と輝度との関係を模式的に示す図である。 図８は、本発明の一実施の形態に係る撮像装置の抽出部が抽出画像内における明部領域の輝度を除去した後の抽出画像における位置と輝度との関係を模式的に示す図である。 図９は、本発明の一実施の形態に係る撮像装置の撮像部が生成した画像データに対応するライブビュー画像における位置と輝度との関係を示す図である。 図１０は、本発明の一実施の形態に係る撮像装置の画像合成部が生成する合成画像データに対応する合成画像における位置と輝度との関係を示す図である。 図１１は、図４の装飾位置変更処理の概要を示すフローチャートである。 図１２は、本発明の一実施の形態の変形例に係る抽出データの生成方法の別の一例を模式的に示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下においては、情報機器として撮像装置を例に説明する。なお、以下の実施の形態により、本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。

図１は、本発明の一実施の形態に係る撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図２は、本発明の一実施の形態に係る撮像装置の撮影者に面する側（背面側）の構成を示す斜視図である。図３は、本発明に係る撮像装置の機能構成を示すブロック図である。

〔撮像装置の構成〕
図１に示す撮像装置１は、撮像部２と、入力部３と、操作リング３４と、記録部４と、表示部５と、タッチパネル６と、制御部７と、を備える。

撮像部２は、制御部７の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データを生成する。撮像部２は、少なくとも、複数のレンズから構成され、被写体像を結像する光学系２１と、光学系２１を収容するレンズ鏡筒２２と、光学系２１が結像した被写体像を受光して光電変換を行うことによって画像データを生成する撮像素子２３と、を有する。撮像素子２３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。

入力部３は、撮像装置１の各種の操作を指示する指示信号の入力を受け付ける。入力部３は、撮像装置１の電源をオンまたはオフする指示信号の入力を受け付ける電源スイッチ３１と、撮影を指示するレリーズ信号の入力を受け付けるレリーズスイッチ３２と、撮像装置１の各種モードを切り替えるモードスイッチ３３と、光学系２１の光軸Ｏ１を中心に回転可能にレンズ鏡筒２２に設けられ、撮像装置１の各種の操作を指示する指示信号の入力を受け付ける操作リング３４と、を有する。

記録部４は、制御部７を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、Ｆｌａｓｈメモリおよび記録媒体等を用いて構成される。記録部４は、画像データを記録する画像データ記録部４１と、対応する画像に装飾する際に用いる抽出データとしての装飾画像データを記録する抽出データ記録部４２と、各種プログラムを記録するプログラム記録部４３と、を有する。

表示部５は、制御部７の制御のもと、撮像部２が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば１秒間）だけ表示する確認表示、記録部４に記録された画像データを再生する再生表示、および撮像部２が連続的に生成する画像データに対応するライブビュー画像を順次表示するライブビュー画像表示等が含まれる。表示部５は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルおよび駆動ドライバ等を用いて構成される。また、表示部５は、制御部７の制御のもと、撮像装置１の操作情報および撮影に関する情報を適宜表示する。

タッチパネル６は、表示部５の表示領域に重畳して設けられ、外部からの物体の接触位置（タッチ位置）を検出し、この検出した接触位置に応じた位置信号の入力を受け付ける。

制御部７は、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部７は、ＣＰＵ（Central Processing Unit）を用いて構成される。

ここで、制御部７の詳細な構成について説明する。制御部７は、少なくとも、画像取得部７１と、抽出部７２と、画像合成部７３と、表示制御部７４と、を有する。

画像取得部７１は、撮像部２を制御し、撮像部２から画像データを取得する。画像取得部７１は、レリーズスイッチ３２からレリーズ信号が入力された場合、撮像部２に撮影を実行させる。また、画像取得部７１は、撮像部２を制御し、撮像部２に連続的に画像データを生成させ、この画像データを順次取得して抽出部７２、画像合成部７３および表示制御部７４へ出力する。

抽出部７２は、画像取得部７１を介して入力された撮像部２が生成した画像データに対応する画像から特定の成分を含む領域を抽出して抽出データを生成し、この抽出データを抽出データ記録部４２、画像合成部７３および表示制御部７４のいずれかに出力する。ここで、特定の成分を含む領域とは、特定の成分を含む領域は、所定の輝度成分を含む領域、所定の色を含む領域および幾何学的なパターンを含む領域のいずれかである。また、抽出部７２は、入力部３から入力を受け付けた特定の成分を含む領域を選択する選択信号に基づいて、撮像部２が生成した画像データに対応する画像から特定の成分を含む領域を抽出して抽出データを生成する。具体的には、抽出部７２は、操作リング３４の回転方向および回転量に基づいて、撮像部２が生成した画像データに対応する画像から特定の成分の値を含む領域を変更して抽出データを生成する。

画像合成部７３は、抽出部７２が生成した抽出データと、抽出部７２が抽出データを生成したタイミングと異なるタイミングに撮像部２が生成した画像データとを合成した合成画像データを生成し、この合成画像データを表示制御部７４へ出力する。また、画像合成部７３は、撮像部２が連続的に生成した画像データと抽出部７２が生成した抽出データとを時系列に沿って比較明合成処理を順次行うことによって合成画像データを連続的に生成する。

表示制御部７４は、表示部５の表示態様を制御する。具体的には、表示制御部７４は、撮像部２が生成した画像データに対応する画像を表示部５に表示させる。また、表示制御部７４は、画像合成部７３が生成した合成画像データに対応する合成画像を表示部５に表示させる。また、表示制御部７４は、抽出部７２が生成した抽出データに対応する抽出画像を表示部５に表示させる。

〔撮像装置１の処理〕
次に、上述した撮像装置１が実行する処理について説明する。図４は、撮像装置１が実行する処理の概要を示すフローチャートである。

図４に示すように、まず、撮像装置１に撮影モードが設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、表示制御部７４は、撮像部２が生成した画像データに対応するライブビュー画像を表示部５に表示させる（ステップＳ１０２）。具体的には、図５に示すように、表示制御部７４は、撮像部２が生成した画像データに対応するライブビュー画像Ｗ１を表示部５に表示させる。このとき、表示制御部７４は、ライブビュー画像Ｗ１上に、抽出アイコンＡ１および装飾アイコンＡ２を重畳して表示部５に表示させる。抽出アイコンＡ１は、抽出部７２がライブビュー画像Ｗ１から特定の成分を抽出して抽出データを生成する指示信号の入力を受け付ける。装飾アイコンＡ２は、画像合成部７３が抽出データ記録部４２に記録された抽出データと撮像部２が生成した画像データとを合成して合成画像データを生成する指示信号の入力を受け付ける。

続いて、操作リング３４が操作されることによって、撮像装置１の撮影パラメータが変更された場合（ステップＳ１０３：Ｙｅｓ）、制御部７は、撮像装置１の撮影パラメータを変更する（ステップＳ１０４）。ここで、撮影パラメータとは、焦点距離、絞り値、シャッタスピード、ＩＳＯ感度、ホワイトバランス、彩度、色相およびピント位置である。ステップＳ１０４の後、撮像装置１は、後述するステップＳ１０５へ移行する。これに対して、操作リング３４が操作されず、撮像装置１の撮影パラメータが変更されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、後述するステップＳ１０５へ移行する。

続いて、タッチパネル６を介して抽出アイコンＡ１が選択された場合（ステップＳ１０５：Ｙｅｓ）において、操作リング３４のダイヤル操作があったとき（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０７へ移行する。

続いて、制御部７は、操作リング３４の操作が奇数回目であるか否かを判断する（ステップＳ１０７）。具体的には、制御部７は、記録部４に記録された操作リング３４の操作回数を示す操作情報に基づいて、操作リング３４の操作が奇数回目であるか否かを判断する。制御部７が操作リング３４の操作回数が奇数回目であると判断した場合（ステップＳ１０７：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０８へ移行する。これに対して、制御部７が操作リング３４の操作回数が奇数回目でないと判断した場合（ステップＳ１０７：Ｎｏ）、撮像装置１は、ステップＳ１０９へ移行する。

ステップＳ１０８において、抽出部７２は、操作リング３４の回転量に基づいて、ライブビュー画像内における特定の成分として暗部領域の輝度を除去して抽出データを生成する。ここで、暗部領域とは、輝度の最小値（０）から操作リング３４の回転量に応じて設定された輝度の値を有する領域である。

図６は、撮像部２が生成したライブビュー画像Ｗ１における位置と輝度との関係を模式的に示す図である。図７は、抽出部７２が生成した抽出データに対応する抽出画像Ｗ２における位置と輝度との関係を模式的に示す図である。図６（ｂ）および図７（ｂ）において、横軸が直線Ｌ１の画像位置を示し、縦軸が輝度を示す。また、曲線Ｃ１は、直線Ｌ１の位置に対応する輝度を示す。なお、以下においては、説明を簡略化するため、ライブビュー画像Ｗ１の直線Ｌ１上における各画素の輝度分布を一例に説明するが、抽出部７２は、ライブビュー画像Ｗ１の各水平ラインに対して輝度を走査して暗部領域の輝度を除去して抽出データを生成してもよい。

図６および図７に示すように、抽出部７２は、操作リング３４の回転量に基づいて、ライブビュー画像Ｗ１内における暗部領域ＬＤの輝度を除去して抽出データを生成する。具体的には、抽出部７２は、操作リング３４の操作回数が奇数回目である場合、ライブビュー画像Ｗ１上における暗部領域ＬＤを選択する。その後、抽出部７２は、操作リング３４の回転量に基づいて、ライブビュー画像Ｗ１上における暗部領域ＬＤの範囲（ダイナミックレンズ）を変更後、暗部領域ＬＤの輝度を除去して抽出データを生成する（図６→図７）。例えば、図６（ｂ）および図７（ｂ）に示すように、抽出部７２は、被写体の顔Ｆ１の幅における暗部領域ＬＤの輝度を除去して抽出データを生成する。これにより、被写体の顔Ｆ１の領域が黒くなる（図６（ａ）→図７（ａ））。なお、図６および図７においては、抽出部７２が輝度を除去して抽出データを生成していたが、例えば彩度や色を除去して抽出データを生成してもよい。

ステップＳ１０９において、抽出部７２は、操作リング３４の回転量に基づいて、ライブビュー画像内における明部領域の輝度を除去して抽出データを生成する。ここで、明部領域とは、輝度の最大値から操作リング３４の回転量に応じて設定された輝度の値を有する領域である。

図８は、抽出部７２が抽出画像Ｗ２内における明部領域の輝度を除去した後の抽出画像Ｗ３における位置と輝度との関係を模式的に示す図である。図８（ｂ）において、横軸が抽出画像Ｗ３上における直線Ｌ１の画像位置を示し、縦軸が輝度を示す。

図７および図８に示すように、抽出部７２は、操作リング３４の回転量に基づいて、抽出画像Ｗ２内における明部領域の輝度を除去して抽出データを生成する。具体的には、抽出部７２は、操作リング３４の操作回数が偶数回目である場合、ライブビュー画像Ｗ１上における明部領域ＬＢを選択する。その後、抽出部７２は、操作リング３４の回転量に基づいて、抽出画像Ｗ２上における明部領域ＬＢの領域を変更して明部領域ＬＢの輝度を除去して抽出データを生成する（図７→図８）。例えば、図７（ｂ）および図８（ｂ）に示すように、抽出部７２は、被写体の顔Ｆ１以外の明部領域ＬＢの輝度を除去する。これにより、背景の領域が黒くなる（図７（ａ）→図８（ａ））。なお、図８においては、説明を簡略化するため、抽出部７２は、直線Ｌ１の明部領域ＬＢの輝度を除去しているが、抽出画像Ｗ２の各水平ラインに対して明部領域ＬＢの輝度を除去して抽出データを生成する。また、抽出部７２は、暗部領域ＬＤの輝度を除去した後に、明部領域ＬＢの輝度を除去しているが、明部領域ＬＢの輝度を除去後、暗部領域ＬＤの輝度を除去して抽出データを生成してもよい。

ステップＳ１０８の後またはステップＳ１０９の後、レリーズスイッチ３２からレリーズ信号があった場合（ステップＳ１１０：Ｙｅｓ）、撮像部２は、現在の撮影パラメータ（上述したステップＳ１０８またはステップＳ１０９の内容も含む）によって撮影した抽出データまたは画像データを装飾画像データとして抽出データ記録部４２に記録する（ステップＳ１１１）。なお、以下においては、抽出データを装飾画像データといい、抽出画像を装飾画像という。

続いて、表示制御部７４は、撮像部２が撮影した装飾画像データに対応する装飾画像を撮影結果として表示部５に表示させる（ステップＳ１１２）。この場合、表示制御部７４は、例えば図８（ａ）に示す装飾画像Ｗ３を表示部５に表示させる。これにより、ユーザは、自分の感性を反映した画像（テンプレート）を把握することができる。

その後、電源スイッチ３１が操作され、撮像装置１の電源がオフになった場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、電源スイッチ３１が操作されず、撮像装置１の電源がオフになっていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、上述したステップＳ１０１へ戻る。

ステップＳ１０６において、操作リング３４のダイヤル操作がないとき（ステップＳ１０６：Ｎｏ）、撮像装置１は、後述するステップＳ１１３へ移行する。

ステップＳ１１０において、レリーズスイッチ３２からレリーズ信号がなかった場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１０５において、タッチパネル６を介して抽出アイコンＡ１が選択されてない場合（ステップＳ１０５：Ｎｏ）において、装飾アイコンＡ２が選択されたとき（ステップＳ１１４：Ｙｅｓ）、表示制御部７４は、抽出データ記録部４２に記録された複数の装飾画像データに対応する複数の装飾画像を表示部５に表示させる（ステップＳ１１５）。

続いて、操作リング３４のダイヤル操作があった場合（ステップＳ１１６：Ｙｅｓ）、画像合成部７３は、操作リング３４の回転量に基づいて、表示部５が表示する装飾画像を選択し（ステップＳ１１７）、画像合成部７３は、操作リング３４の回転量に基づいて選択した装飾画像の装飾画像データ（抽出データ）と、撮像部２が生成したライブビュー画像データとを合成した合成画像データを生成する（ステップＳ１１８）。

図９は、撮像部２が生成した画像データに対応するライブビュー画像における位置と輝度の関係を示す図である。図１０は、画像合成部７３が生成した合成画像データに対応する合成画像における位置と輝度の関係を示す図である。図９（ｂ）および図１０（ｂ）において、横軸が画像上における直線Ｌ１の位置を示し、縦軸が輝度を示す。また、図９（ｂ）において、曲線Ｃ２がライブビュー画像Ｗ１０上における直線Ｌ１の位置に対応する輝度を示す。さらに、図１０（ｂ）において、曲線Ｃ３が合成画像Ｗ１１上における直線Ｌ１の位置に対応する輝度を示す。

図８〜図１０に示すように、画像合成部７３は、ライブビュー画像Ｗ１０（図９を参照）と、装飾画像データに対応する装飾画像Ｗ３（図８を参照）とを比較明合成処理を行うことによって、合成画像データに対応する合成画像Ｗ１１を生成する。具体的には、画像合成部７３は、ライブビュー画像Ｗ１０および装飾画像Ｗ３それぞれの同じ座標（画素アドレス）の画素毎に輝度を比較し、輝度が高い方の画素の輝度を合成画像の輝度として用いる。例えば、画像合成部７３が、ライブビュー画像Ｗ１０上における直線Ｌ１および装飾画像Ｗ３上における直線Ｌ１それぞれの同じ座標の画素の輝度を比較し、輝度が高い画素を合成画像の輝度（信号値）として用いる。即ち、画像合成部７３は、図１０（ｂ）に示すように、比較明合成処理を行うことによって、ライブビュー画像Ｗ１０上における被写体の顔Ｆ２の画素の輝度を用いるとともに、被写体の顔Ｆ２の領域以外を装飾画像Ｗ３の画素の輝度を用いることによって、合成画像Ｗ１１を生成する。なお、図８および図９では、画像合成部７３は、ライブビュー画像Ｗ１０および装飾画像Ｗ３それぞれの直線Ｌ１上における同じ座標の画素毎に比較明合成処理を行っていたが、ライブビュー画像Ｗ１０および装飾画像Ｗ３それぞれの水平ラインの同じ座標の画素毎に比較明合成処理を行って合成画像データを生成してもよい。

ステップＳ１１８の後、表示制御部７４は、画像合成部７３が生成した合成画像データに対応する合成画像を表示部５に表示させる（ステップＳ１１９）。具体的には、図１０（ａ）に示すように、表示制御部７４は、画像合成部７３が生成した合成画像データに対応する合成画像Ｗ１１を表示部５に表示させる。これにより、ユーザは、ライブビュー画像Ｗ１０に装飾画像Ｗ３を重ねた状態のライブビュー画像を視認することができる。この場合、ユーザは、撮像装置１を操作することによって、装飾画像Ｗ３（図８を参照）に写る被写体の位置を調整することができる。さらに、ユーザは、合成画像Ｗ１１内におけるライブビュー画像Ｗ１０の比率を上げる場合、入力部３を操作して撮像装置１の露出値を上げることによって、ライブビュー画像Ｗ１０の明るさ（輝度）を上げる。これにより、画像合成部７３は、比較明合成処理を行うときに、装飾画像Ｗ３の画素の輝度より、ライブビュー画像Ｗ１０の画素の輝度が高くなるので、ライブビュー画像Ｗ１０の画素の輝度を用いて合成画像データを生成することができる。

続いて、表示部５が表示する合成画像Ｗ１１上の装飾領域に対してタッチがあった場合（ステップＳ１２０：Ｙｅｓ）、撮像装置１は、合成画像Ｗ１１上における装飾画像の位置を変更する装飾位置変更処理を実行する（ステップＳ１２１）。

図１１は、ステップＳ１２１の装飾位置変更処理の概要を示すフローチャートである。図１１に示すように、表示部５が表示する合成画像Ｗ１１上の装飾領域に対するタッチがタッチを維持したままタッチ位置が連続的に変化するスライド操作であった場合（ステップＳ２０１：Ｙｅｓ）、画像合成部７３は、スライド操作に応じて装飾画像Ｗ３の位置を変更する（ステップＳ２０２）。この場合、画像合成部７３は、装飾画像Ｗ３の位置が変更後の装飾画像データとライブビュー画像とを比較明合成処理を行うことによって、再度、合成画像データを生成する。これにより、ユーザの感性をさらに反映させた画像を撮影することができる。ステップＳ２０２の後、撮像装置１は、図４のメインルーチンへ戻る。

ステップＳ２０１において、表示部５が表示する合成画像Ｗ１１上の装飾領域に対するタッチがスライド操作でなかった場合（ステップＳ２０１：Ｎｏ）、撮像装置１は、ステップＳ２０３へ移行する。

続いて、表示部５が表示する合成画像Ｗ１１上の装飾領域に対するタッチが２点のタッチ位置の距離を拡大または縮小するピンチ操作であった場合（ステップＳ２０３：Ｙｅｓ）、画像合成部７３は、ピンチ操作に基づいて、装飾領域の拡大または縮小を行う（ステップＳ２０４）。この場合、画像合成部７３は、装飾領域の拡大または縮小した装飾画像データとライブビュー画像とを比較明合成処理を行うことによって、再度、合成画像データを生成する。ステップＳ２０４の後、撮像装置１は、図４のメインルーチンへ戻る。

ステップＳ２０３において、表示部５が表示する合成画像Ｗ１１上の装飾領域に対するタッチがピンチ操作でなかった場合（ステップＳ２０３：Ｎｏ）、撮像装置１は、ステップＳ２０５へ移行する。

操作リング３４のダイヤル操作があった場合（ステップＳ２０５：Ｙｅｓ）、画像合成部７３は、操作リング３４の回転量および回転方向に基づいて、ライブビュー画像Ｗ１０と装飾画像Ｗ３との合成比率を変更する（ステップＳ２０６）。具体的には、画像合成部７３は、操作リング３４の回転方向が右回りの場合、操作リング３４の回転量に基づいて装飾画像Ｗ３の合成比率を小さくする一方、操作リング３４の回転方向が左回りの場合、操作リング３４の回転量に基づいてライブビュー画像Ｗ１０の合成比率を小さくする。この場合、画像合成部７３は、操作リング３４の回転量に基づいて、装飾画像Ｗ３またはライブビュー画像Ｗ１０それぞれの画素の輝度に所定の比率を乗じることによって、比較明暗合成処理における比率を変更する。ステップＳ２０６の後、撮像装置１は、図４のメインルーチンへ戻る。

ステップＳ２０５において、操作リング３４のダイヤル操作がなかった場合（ステップＳ２０５：Ｎｏ）、撮像装置１は、図４のメインルーチンへ戻る。

図４に戻り、ステップＳ１２２以降の説明を続ける。
ステップＳ１２２において、レリーズスイッチ３２からレリーズ信号が入力された場合（ステップＳ１２２：Ｙｅｓ）、撮像装置１は、撮像部２に撮影を実行させ、画像合成部７３が撮像部２によって生成された画像データと装飾画像データとを合成した合成画像データを画像データ記録部４１に記録する（ステップＳ１２３）。ステップＳ１２３の後、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１１４において、装飾アイコンＡ２が選択されていないとき（ステップＳ１１４：Ｎｏ）、撮像装置１は、ステップＳ１２２へ移行する。

ステップＳ１１６において、操作リング３４のダイヤル操作がなかった場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１２２へ移行する。

ステップＳ１２０において、表示部５が表示する合成画像Ｗ１１上の装飾領域に対してタッチがなかった場合（ステップＳ１２０：Ｎｏ９、撮像装置１は、ステップＳ１２２へ移行する。

ステップＳ１２２において、レリーズスイッチ３２からレリーズ信号が入力されていない場合（ステップＳ１２２：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

次に、撮像装置１に撮影モードが設定されていない場合（ステップＳ１０１：Ｎｏ）において、撮像装置１に再生モードが設定されているとき（ステップＳ１２２：Ｙｅｓ）、表示制御部７４は、画像データ記録部４１から画像データを取得して、取得した画像データに対応する画像を表示部５に表示させる（ステップＳ１２３）。

続いて、入力部３を介して表示部５が表示する画像の変更が指示された場合（ステップＳ１２４：Ｙｅｓ）、撮像装置１は、ステップＳ１２３へ移行する。これに対して、入力部３を介して表示部５が再生する画像の変更が指示されていない場合（ステップＳ１２４：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

ステップＳ１２２において、撮像装置１に再生モードが設定されていないとき（ステップＳ１２２：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

以上説明した本発明の一実施の形態によれば、画像合成部７３が抽出部７２によって生成された抽出データと、抽出部７２が抽出データを生成したタイミングと異なるタイミングに撮像部２によって生成された画像データとを合成した合成画像データを生成するので、撮影する画像に対して、ユーザの感性を反映することができる。

また、本発明の一実施の形態によれば、表示制御部７４が抽出部７２によって生成された抽出データに対応する抽出画像を表示部５に表示させるので、ユーザは、所望の装飾画像を直感的に把握することができる。

また、本発明の一実施の形態によれば、画像合成部７３が撮像部２によって連続的に生成された画像データと、操作リング３４によって抽出データ記録部４２が記録する複数の抽出データから選択された抽出データとを時系列に沿って順次合成した合成画像データを生成し、表示制御部７４が画像合成部７３によって連続的に生成された合成画像データに対応する合成画像をリアルタイムで表示するライブビュー画像として表示部５に表示させるので、ユーザは、合成具合を把握しながら撮影を行うことができる。

なお、上述した本発明の一実施の形態では、抽出部７２が撮像部２によって生成された画像データに対応する画像の特定の成分を含む領域を除去して装飾画像データとしての抽出データを生成していたが、例えばタッチパネル６を介してユーザが所望の絵を描写することによって、抽出データを生成してもよい。

図１２は、本発明の一実施の形態の変形例に係る抽出データの生成方法の別の一例を模式的に示す図である。

図１２に示すように、表示制御部７４は、タッチパネル６から入力される位置信号に応じて、タッチ操作の軌跡を表示する。また、表示制御部７４は、塗り潰しアイコンＡ１０、グラデーションアイコンＡ１１およびブラシアイコンＡ１２を表示部５に表示させる。塗り潰しアイコンＡ１０は、タッチ操作の軌跡に応じて形成された図形内を指定された色で塗り潰す指示信号の入力を受け付ける。グラデーションアイコンＡ１１は、タッチ操作の軌跡に応じて形成された図形内を指定された色のグラデーションで表示する指示信号の入力を受け付ける。ブラシアイコンＡ１２は、タッチ操作の軌跡に色を表示する指示信号の入力を受け付ける。これにより、ユーザは、タッチパネル６を介して表示部５の表示画面上に所望の絵を描くことによって、自身の感性を反映した抽出データを生成することができる。この場合、制御部７は、ユーザによって生成された抽出データを抽出データ記録部４２に記録する。

また、本発明の一実施の形態では、抽出部７２が撮像部２によって生成された画像データに対応する画像の特定の成分を含む領域を除去して装飾画像データとしての抽出データを生成していたが、撮像部２によって生成された画像データに対応する画像から特定の成分として幾何学的なパターンを有する領域を抽出して抽出データを生成してもよい。具体的には、抽出部７２は、撮像部２がテキスタイルパターン、例えば格子状のパターン、花や野菜、規則的に変化する図形（星、ハート、ドット）および文字を有する布や積み木細工等の幾何学的なパターンを有する被写体を撮像した場合、撮像部２が生成した画像データに対応する画像からテキスタイルパターンを抽出して抽出データを生成してもよい。この場合、抽出部７２は、撮像部２が生成した画像データに対して、例えばコントラストの２値化処理を行った後に、規則的に変化する輪郭内の領域または連続的に繋がる輪郭内の領域を抽出して抽出して抽出データを生成する。これにより、テキスタイルパターンの装飾画像をライブビュー画像に合成することができ、ユーザの感性を反映したアーティスティックな画像を撮影することができる。

（その他の実施の形態）
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

また、本発明に係る情報機器に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明に係る情報機器に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明に係る情報機器に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１：撮像装置 ２：撮像部 ３：入力部 ４：記録部 ５：表示部 ６：タッチパネル ７：制御部 ２１：光学系 ２２：レンズ鏡筒 ２３：撮像素子 ３１：電源スイッチ ３２：レリーズスイッチ ３３：モードスイッチ ３４：操作リング ４１：画像データ記録部 ４２：抽出データ記録部 ４３：プログラム記録部 ７１：画像取得部 ７２：抽出部 ７３：画像合成部 ７４：表示制御部

Claims (9)

1. 所定の視野領域を撮像し、該視野領域の画像データを生成する撮像部と、
   前記撮像部が生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出部と、
   前記抽出部が生成した前記抽出データと、前記抽出部が前記抽出データを生成したタイミングと異なるタイミングに前記撮像部が生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成部と、
   を備えたことを特徴とする情報機器。
2. 前記撮像部が生成する前記画像データに対応する画像を表示可能な表示部と、
   前記抽出部が生成した前記抽出データに対応する抽出画像を前記表示部に表示させる表示制御部と、
   をさらに備えたことを特徴とする請求項１に記載の情報機器。
3. 前記撮像部は、連続的に前記画像データを生成し、
   前記画像合成部は、前記撮像部が連続的に生成した前記画像データと前記抽出データとを時系列に沿って順次合成した前記合成画像データを連続的に生成し、
   前記表示制御部は、前記画像合成部が連続的に生成した前記合成画像データに対応する合成画像を時系列に沿って前記表示部に順次表示させることを特徴とする請求項２に記載の情報機器。
4. 前記表示部の表示領域に重畳して設けられ、外部からの物体の接触位置を検出し、この接触位置に応じた位置信号の入力を受け付けるタッチパネルを有し、
   前記画像合成部は、前記タッチパネルが入力を受け付けた信号に応じて、前記表示部が表示する前記合成画像内における前記抽出画像の位置または大きさを変更して前記合成画像データを生成することを特徴とする請求項３に記載の情報機器。
5. 前記撮像部は、
   被写体像を結像する光学系と、
   前記光学系を収容するレンズ鏡筒と、
   前記光学系の光軸を中心に回転可能に前記レンズ鏡筒に設けられ、前記特定の成分を含む領域を選択する選択信号の入力を受け付ける操作リングと、
   を有し、
   前記抽出部は、前記操作リングの回転量および回転方向に基づいて、前記特定の成分の値を変更して前記抽出データを生成することを特徴とする請求項１〜４のいずれか一つに記載の情報機器。
6. 前記画像合成部は、前記操作リングの回転量および回転方向に基づいて、前記画像データと前記抽出データとの比率を変更して前記合成画像データを生成することを特徴とする請求項５に記載の情報機器。
7. 前記特定の成分を含む領域は、所定の輝度成分を含む領域、所定の色成分を含む領域および幾何学的なパターンを含む領域のいずれかであることを特徴とする請求項１〜６のいずれか一つに記載の情報機器。
8. 情報機器が実行する画像処理方法であって、
   所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、
   前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出ステップと、
   前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成ステップと、
   を含むことを特徴とする画像処理方法。
9. 情報機器に、
   所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、
   前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出ステップと、
   前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成ステップと、
   を実行させることを特徴とするプログラム。