JP5083389B2 - 画調変換装置、画調変換システム、画調変換方法及びプログラム - Google Patents

Description

本発明は、撮影された画像を絵画調画像に変換する画調変換装置、画調変換システム、画調変換方法及びプログラムに関するものである。

従来から、画家の描いた絵画に見られる特徴を擬似的に再現した絵画調画像を容易に作成する画調変換方法が知られている。

この画調変換方法は、処理対象である原画像の他に、実際の画家が描いた絵画の画像も入力し、画家の画像から色彩情報と筆触情報を解析する。そして、解析した情報をもとに原画像の色彩を疑似化させ、筆触を配置することにより、絵画調画像を生成するようにする（例えば下記特許文献１参照）。
したがって、デジタルカメラで撮影された撮影画像を前記原画像として用いることにより、撮影画像を特定の画家が描いた絵画に疑似化させた絵画調画像に変換することもできる。

特開２００４−２１３５９８号公報

しかしながら、前記従来技術にあっては、解析した情報をもとに原画像の色彩を疑似化させ、筆触を配置することにより、装置が自動的に絵画調画像が完成してしまう。したがって、絵画調画像の作成にユーザが関与することはできず、単に完成された絵画調画像を観賞することができるにすぎない。

このため、ユーザの画像変換に対する興味を高めたり、絵画を描くことに対する欲求を満たすことはできず、興趣性において不満足なものであった。

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザの関与を伴いつつ絵画調画像への変換を行うことにより、ユーザの画調変換に対する興味を高めたり、絵画を描くことに対する欲求を満たすことを可能にした画調変換装置、画調変換方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、撮像部で被写体を撮像し、表示部にライブビュー画像を表示する画調変換装置において、任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段と、を具備し、前記第１の下絵の一部をユーザが逐次絵画調に加工した内容で前記第２の下絵の一部を絵画調に変更可能としたことを特徴とする画調変換装置を提供するものである。

請求項２記載の発明は、撮像部で被写体を撮像し、表示部にライブビュー画像を表示する画調変換方法において、任意のライブビュー画像を静止画像としてキャプチャーする工程と、前記キャプチャーされた静止画像を描く画像の題材として選択する工程と、
前記選択された前記静止画像を前記表示部に表示する工程と、前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく工程と、前記絵画調に一部を加工した画像を保存する工程と、
前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する工程と、前記表示部に表示されているライブビュー画像を静止画像としてキャプチャーする工程と、前記キャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する工程とを含む画調変換方法を提供するものである。

請求項３記載の発明は、ネットワークを介して接続された撮像装置と画調変換装置とで構成される画調変換システムであって、前記撮像装置は、被写体を順次撮像する撮像手段と、この撮像手段により順次撮像されたライブビュー画像を送信する送信手段を備え、前記画調変換装置は、前記撮像装置から送信されてくるライブビュー画像を受信する受信手段と、任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段と、を具備したことを特徴とする画調変換システムを提供するものである。

請求項４記載の発明は、装置が有するコンピュータを、任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段として機能させることを特徴とするプログラムを提供するものである。

本発明によれば、ユーザの関与を伴いつつ絵画調画像への変換を行うことから、ユーザの画調変換に対する興味を高めたり、絵画を描くことに対する欲求を満たすことができる。

本発明の実施形態に係る画調変換装置の回路構成、及びシステム構成を示すブロック図である。 ＲＡＭのメモリ構成図である。 メインルーチンを示すフローチャートである。 表示処理の処理手順を示すフローチャートである。 ＳＷ処理の処理手順を示すフローチャートである。 キャプチャーＳＷ処理の処理手順を示すフローチャートである。 タッチ処理の処理手順を示すフローチャートである。 変換処理の処理手順を示すフローチャートである。 完了ＳＷ処理の処理手順を示すフローチャートである。 全変換処理の処理手順を示すフローチャートである。 （ａ）は加工用画像の一例を示す図であり、（ｂ）は（ａ）に対応する絵画調画像を示す図である。 （ａ）は加工用画像の他の例を示す図であり、（ｂ）は（ａ）に対応する絵画調画像を示す図である。 本発明の他の実施の形態に係る画調変換装置の回路構成図である。

以下、本発明の実施形態について説明する。図１は、本実施の形態に係る画調変換装置１、及びこれを含む画調変換システムの電気的構成を示したブロック図である。画調変換装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＣＰＵ１１に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）１３、内部メモリ１４を備え、ＲＯＭ１２には、ＣＰＵ１１に後述するフローチャートに示す動作を行わせるためのプログラムが記憶されている。

また、ＣＰＵ１１は、写真画像を絵画調の画像に変換する絵画変換エンジン２００を含んでいる。絵画変換エンジン２００による絵画変換処理は、ＲＡＭ１３に記憶された加工対象の画像（キャプチャー画像）を、絵画が有する特徴を備えた絵画調画像、つまり特定の効果を与えた絵画調画像に変換しつつ、液晶表示パネル３に表示する処理である。

また、絵画調画像への変換に際して目標とする絵画の種類、つまり変換画調画像にする特徴（画調）が選択可能である。本実施の形態において、選択可能な画調は油絵調、水彩画調、パステル画調、鉛筆画調、クレヨン画調、イラスト画調、点描画調、エアブラシ画調とする。しかし、これに限ることなく、ゴッホ調、モネ調、ピカソ調など、画家の特徴を加味した変換の選択を可能としても良い。また、別の画調のアルゴリズムを後述するメモリカード６０で提供するようにすることもできる。なお、以下の本実施の形態の説明においては、油絵調が予め選択されたものとする。

内部メモリ１４は、ハードディスク又はフラッシュメモリによる大容量不揮発性メモリであり、後述する処理によりフォルダ１４１、１４２・・・が確保されて、絵画調に変換された画像である絵画調画像をフォルダ１４１毎に保存可能となっている。

表示制御部１６は、ＣＰＵ１１から供給される表示用の画像データに基づいて液晶表示パネル３を駆動することにより、画像や各種メニューを液晶表示パネル３に表示させる。

キー入力制御部１７はＣＰＵ１１の制御に基づいてタッチパネル５の操作信号と、キー入力部２１の操作信号を入力するものである。本実施の形態において、キー入力部２１には、少なくともキャプチャースイッチ２２と完了スイッチ２３が設けられており、その他図示しない電源スイッチやモード切替スイッチ等が設けられている。なお、キャプチャースイッチ２２、完了スイッチ２３は、突出してオフ状態を維持し、ユーザにより押下された場合にのみオンとなる常開型のスイッチである。

メモリカードインターフェース１８は、メモリカードスロットに着脱自在に装着された各種のメモリカード６０と、ＣＰＵ１１との間におけるデータの入出力を制御する入出力インターフェースである。ＧＰＳ制御部２０は、ＧＰＳアンテナ７で受信した情報を元に位置情報を取得する。これにより、画調変換装置１の現在位置を知ることができる。

人感センサ１９はＣＰＵ１１に接続され、近くに人がいるかどうかを検知するものである。したがって、近くに人がいない状態が所定時間以上続くと自動的に電源を切って節電を図る（オートパワーオフ）。

通信制御部３０は、電話回線３１若しくは無線ＬＡＮ３２を経由して画像やメールの送受信を含む通信制御を行う。アドレス帳３３は、メール送受信に使用するものであり、実際は内部メモリ１４内に設けられる。

バックアップサーバー４０は、ネットワーク９０を介して接続され、自動的に若しくは手動指示により内部メモリ１４に記録されたデータのバックアップを行う。コンテンツサーバー５０は、多数のコンテンツや画像を有しており、ネットワーク９０を介して画調変換装置１へデータを配信することができる。

撮像装置７０は、所謂デジタルカメラであり、撮像素子やこれを制御する撮像制御部、及び画像送信部等を備える。そして、撮像制御部により撮像素子を駆動してカラーからなる被写体の画像を所定の周期（フレームレート）で取り込む制御を行い、取り込んだライブビュー画像を外部に送信する送信手段を備える。この撮像装置７０は、ネットワーク９０を介して電話回線３１あるいは無線ＬＡＮ３２で画調変換装置１の通信制御部３０に接続されている。したがって、画調変換装置１のＣＰＵ１１は、撮像装置７０により撮像されて、前記送信手段により転送されたライブビュー画像を逐次取り込むことが可能である。

このとき、撮像装置７０が、ユーザが有している画調変換装置１の場所とは異なる遠隔地に配置されていることにより、ユーザは遠隔地の景色を画調変換装置１の液晶表示パネル３で観賞したり、遠隔地の景色を画調変換する加工対象の画像として選択することができる。

また、電源制御部８０は、電源プラグ３１を介してＡＣ電源を取り入れ、直流に変換して各部に電力を供給する。前述したオートパワーオフの制御も行う。

図２は、ＲＡＭ１３のメモリ構成図である。ＲＡＭ１３は、ＣＰＵ１１が必要に応じて種々のデータを一時的に記憶する作業用のメモリであり、取り込み画像記憶部１３１、加工用画像記憶部１３２、及びタッチデータ記憶部１３３等を有している。

取り込み画像記憶部１３１には、前述のように撮像装置７０から所定のフレームレートで転送されるライブビュー画像が逐次更新されつつ記憶される。そして、キャプチャースイッチ２２が操作されるまでは、ＣＰＵ１１の制御下で、表示制御部１６が取り込み画像記憶部１３１に記憶される画像データに基づき、液晶表示パネル３を駆動する。これにより、液晶表示パネル３には撮像装置７０により撮像されているライブビュー画像が表示される。

加工用画像記憶部１３２には、キャプチャースイッチ２２が操作された際に液晶表示パネル３に表示されている画像が加工用画像（キャプチャー画像）として記憶される。このとき、表示制御部１６は、画像の読み出し元を取り込み画像記憶部１３１から加工用画像記憶部１３２に切り替える。したがって、キャプチャースイッチ２２が操作された後は、液晶表示パネル３に加工用画像（キャプチャー画像）が表示し続けられる。

また、加工用画像記憶部１３２に記憶された画像は、後述する変換処理により油絵調画像に変換されるが、表示制御部１６は所定のタイミング毎（所定のフレームレート）に加工用画像記憶部１３２の画像を読み出して、液晶表示パネル３に表示する。したがって、キャプチャースイッチ２２が操作された後は、ライブビュー画像に代わって、油絵調画像に変換されていく画調変換画像が表示されることとなる。

タッチデータ記憶部１３３は、タッチパネル５によりタッチが検出された位置からタッチが検出されなった位置までの領域であるタッチエリアを示すデータ「タッチエリア（０）」、「タッチ（１）エリア」、「タッチ（２）エリア」・・・「タッチ（Ｎ）エリア」が記憶される。つまり、本実施の形態においては、タッチパネル５によりタッチが検出された位置からタッチが検出されなくなるまでの領域を、一単位のタッチエリアと定義し、この一単位毎にタッチエリアを示すデータが記憶される。

また、各タッチエリアを示すデータ「タッチ（０）エリア」、「タッチ（１）エリア」、「タッチ（３）エリア」・・・「タッチ（Ｎ）エリア」の内容は、図２の右端に示すように、当該領域に属する各ドットの画像上におけるｘ，ｙ座標、「ドット（０）ｘ，ｙ座標」、「ドット（１）ｘ，ｙ座標」、「ドット（２）ｘ，ｙ座標」、・・・「ドット（ｎ）ｘ，ｙ座標」である。つまり、「タッチ（０）エリア」が、ドット（０）〜ドット（ｎ）で構成されるとすると、これらドット（０）〜ドット（ｎ）の画像上における座標が「タッチ（０）エリア」のデータとして記憶されるのである。

次に、以上の構成に係る本実施の形態の動作について説明する。

（ライブビュー画像の表示）
電源スイッチがオン操作されると、ＣＰＵ１１はＲＯＭ１２に記憶されているプログラムに従って、各部の制御及び処理を開始する。図３は、ＣＰＵ１１の処理手順を示すメインフローである。ＣＰＵ１１は、先ずイニシャライズ処理を行って、後述するフロー内において用いるフラグをリセットするとともに、図２に示したＲＯＭ１２の取り込み画像記憶部１３１、加工用画像記憶部１３２、タッチデータ記憶部１３３等をクリアする（ステップＳＡ１）。引き続き、電源スイッチがオフ操作されるまで、表示処理（ステップＳＡ２）、スイッチ処理（ステップＳＡ３）、タッチ処理（ステップＳＡ４）、これら以外のその他の処理（ステップＳＡ５）を順次繰り返す。

図４は、表示処理（ステップＳＡ２）の詳細を示すフローチャートである。ＣＰＵ１１は、キャプチャーフラグＣＡＰＦがリセット（＝０）であるか否かを判断する（ステップＳＢ１）。このキャプチャーフラグＣＡＰＦは、前記イニシャライズ処理によりリセット（＝０）され、キャプチャースイッチ２２が押下されることにより、セット（＝１）されるフラグである。したがって、この表示処理開始時点においては、ＣＡＰＦ＝０となっていることから、ステップＳＢ１からステップＳＢ２に進む。

そして、 撮像装置７０から、ネットワーク９０及び電話回線３１あるいは無線ＬＡＮ３２を介して転送されるライブビュー画像を取り込んで（ステップＳＢ２）、取り込み画像記憶部１３１に記憶する（ステップＳＢ３）。さらに、ＣＰＵ１１は、表示制御部１６を制御してこの取り込み画像記憶部１３１に記憶したライブビュー画像の内容を液晶表示パネル３に表示させる（ステップＳＢ４）。

したがって、電源スイッチが投入された後、キャプチャースイッチ２２が操作されるまでは、撮像装置７０で撮像されて所定のフレームレートで転送されたライブビュー画像が液晶表示パネル３に表示されている。したがって、ユーザは、液晶表示パネル３に表示されているライブビュー画像を観賞して楽しむことができる。なお、ＣＡＰＦ＝１となった場合において実行されるステップＳＢ５〜ＳＢ７の処理については、後述する。

（加工対象画像の決定）
図５は、前記スイッチ処理（ステップＳＡ３）の処理手順を示すフローチャートである。このスイッチ処理は、キャプチャーＳＷ処理（ステップＳＣ１）、完了ＳＷ処理（ステップＳＣ２）、及びこれら以外のその他のＳＷ処理（ステップＳＣ３）で構成される。

図６は、キャプチャーＳＷ処理（ステップＳＣ１）の処理手順を示すフローチャートである。キャプチャースイッチ２２が押下されたか否かを判断する（ステップＳＤ１）。キャプチャースイッチ２２が押下されたならば、この時点で取り込まれて液晶表示パネル３に表示されている取り込み画像を加工用画像記憶部１３２に記憶する。すると、前述のように、表示制御部１６は、画像の読み出し元を取り込み画像記憶部１３１から加工用画像記憶部１３２に切り替える。したがって、キャプチャースイッチ２２が操作された後は、液晶表示パネル３に加工用画像（キャプチャー画像）が表示し続けられる。しかる後に、キャプチャースイッチ２２が押下されたことを示すべく、キャプチャーフラグＣＡＰＦをセット（←１）して（ステップＳＤ３）、リターンする。

したがって、液晶表示パネル３にてライブビュー画像を視認していたユーザは、画調変換したい画像が液晶表示パネル３に表示された時点で、キャプチャースイッチ２２を押下する。これにより、画調変換すべき加工対象の画像が決定されて、当該画像が加工用画像記憶部１３２に保存され、かつ液晶表示パネル３は当該画像が表示された状態に維持される。

例えば、図１１（ａ）に示すように、富士山のライブビュー画像が表示されている状態で、ユーザがこれを画調変換する画像と決定して、キャプチャースイッチ２２を操作すると、このライブビュー画像が加工用画像ＬＰ１として加工用画像記憶部１３２に保存され、かつ液晶表示パネル３はこの加工用画像ＬＰ１が表示された状態に維持される。

したがって、ユーザはライブビュー画像が表示されている液晶表示パネル３を観賞していて、任意の時点でキャプチャースイッチ２２を操作することにより、所望の画像を画調変換する画像、つまり擬似的に描く画像の題材として選択することができる。

なお、図５のフローチャートにおける完了ＳＷ処理（ステップＳＣ３）については、後述する。

（画調変換）
図７は、前記タッチ処理（ステップＳＡ４）の処理手順を示すフローチャートである。先ず、ＣＰＵ１１は、キャプチャーフラグＣＡＰＦがセット（＝１）されているか否かを判断する（ステップＳＥ１）。ＣＡＰＦ＝０である場合には、加工対象とする画像が未だ決定されていない状態（キャプチャーされていない状態）であるから、以降の処理を行うことなくメインフローにリターンする。

しかし、ＣＡＰＦ＝１であるならば、図６のフローで説明したように、キャプチャースイッチ２２が押下されて、加工用画像記憶部１３２に取り込み画像が保存され、加工用画像ＬＰ１が決定されている。したがって、ステップＳＥ１からステップＳＥ２に進み、タッチフラグＴＦ＝０であるか否かを判断する。

このタッチフラグＴＦは、加工用画像記憶部１３２が液晶表示パネル３に表示されている状態において、ユーザの手指によりタッチパネル５によって検出されたことを条件として、後述するステップＳＥ６でセット（←１）される。また、当該タッチが検出されなくなったことを条件として、後述するステップＳＥ９でリセット（←０）される。

したがって、ユーザが液晶表示パネル３に表示されている画面上の加工用画像ＬＰ１にタッチしていない状態においては、ＴＦ＝１となっている。そして、ＴＦ＝１となっており、ユーザが画面上の加工用画像ＬＰ１にタッチしていない状態にあるならば、ステップＳＥ２からステップＳＥ３に進み、ユーザがタッチしたか否かを判断する。タッチしたと判断されたならば、図２に示したタッチデータ記憶部１３３に、初期値を「０」としてＮ番目のエリアであるタッチ（Ｎ）エリアを確保する（ステップＳＥ４）。引き続き、加工用画像ＬＰ１のタッチされたエリアに含まれる画素の座標を、前記ステップＳＥ４で確保したタッチ（Ｎ）エリアにストアする（ステップＳＥ５）。しかる後に、タッチフラグＴＦをセット（←１）して（ステップＳＥ６）、リターンする。

したがって、タッチの開始からタッチの終了までを１回のタッチの単位として、１回のタッチが開始されると、タッチフラグＴＦがセットされることにより、タッチが開始されたことが示される。

また、ＴＦ＝１となると、このフローに従った処理が再度実行されれた際に、ステップＳＥ２の判断がＮＯとなる。したがって、ステップＳＥ２からステップＳＥ７に進み、未だタッチしているか否か、つまり当該タッチが継続しているか否かを判断する。タッチが継続しているならば、前記ステップＳＥ５でストアした以降の新たなタッチエリアに含まれる画素の座標を、前記ステップＳＥ４で確保したタッチ（Ｎ）エリアにストアする（ステップＳＥ８）。

また、ユーザがタッチさせていた手指を画面上の加工用画像ＬＰ１から離すと、このフローに従った処理が再度実行された際に、ステップＳＥ７の判断がＮＯとなり、ステップＳＥ７からステップＳＥ９に進む。したがって、図２に示したタッチデータ記憶部１３３には、タッチパネル５により検出されたタッチの開始からタッチの終了までの領域である１回分のタッチエリアを示すデータ「タッチ（０）エリア」が記憶される。

そして、ステップＳＥ７に続くステップＳＥ９においては、１回のタッチが終了したことからタッチフラグＴＦをリセット（←０）する。しかる後に、後述する変換処理を実行する（ステップＳＥ１０）。したがって、この変換処理は、タッチの開始からタッチの終了までを１回のタッチの単位として、１回のタッチが終了する毎に行われる。

よって、１回のタッチが終了する毎に加工用画像ＬＰ１のタッチされた領域における画調が変換処理により変化し、ユーザはキャンバスに向かって絵を描いているような感覚を味わうことができる。しかも、加工用画像ＬＰ１を下絵として絵を描けばよいのであるから、絵を描くことが不得手なユーザであっても、上手に絵が描けるように思わせることができる。

また、検出されるタッチ領域は、タッチの開始からタッチの終了までを１回のタッチとする領域であることから、筆触動作と近似し、ユーザの筆触特徴をタッチデータに反映させることができる。

引き続き、変換処理を実行していることを示す変換フラグＨＦをセットし（ステップＳＥ１１）、Ｎの値をインクリメントして（ステップＳＥ１２）、リターンする。

したがって、この図７のフローチャートに示したタッチ処理は、ＣＡＰＦ＝１となって加工用画像ＬＰ１が決定された後において、ユーザが画面上の加工用画像ＬＰ１をタッチする毎に実行され、タッチデータ記憶部１３３には、画面上の加工用画像ＬＰ１に対するユーザのタッチエリアを示すデータが「タッチ（０）エリア」、「タッチ（１）エリア」、「タッチ（２）エリア」・・・「タッチ（Ｎ）エリア」と記憶される。また、これらタッチエリアを示すデータは、前述のように当該領域に属する各ドット（画素）の加工用画像ＬＰ１上におけるｘ，ｙ座標となる。

図８は、１回のタッチが終了する毎に行われる変換処理（ステップＳＥ１０）の処理手順を示すフローチャートである。まず、前記ステップＳＥ５とステップＳＥ８でストアした今回のタッチエリアを示すデータであるタッチ（Ｎ）エリアに記憶されている画素の座標群に基づき、加工用画像ＬＰ１の当該タッチエリアに属する１つの画素を指定する（ステップＳＦ１）。次に、この指定された１つの画素の前後複数個分の画素を指定する（ステップＳＦ２）。

また、前記ステップＳＦ１で指定された１つの画素と、前記ステップＳＦ２で指定された複数個分の画素のカラーコードの平均値を演算する（ステップＳＦ３）。次に、最初に指定された１つの画素（ステップＳＦ１で指定された１つの画素）のカラーコードを、ステップＳＦ３で演算された平均値に変更する（ステップＳＦ４）。さらに、カラーコードを変更する処理を当該タッチ（Ｎ）エリアに属する全ての画素に対して行ったか否かを判断する（ステップＳＦ５）。そして、当該タッチ（Ｎ）エリアに属する全ての画素に対する処理が終了するまで、ステップＳＦ１からの処理を繰り返す。

したがって、ステップＳＦ５の判断がＹＥＳとなるまでに、当該タッチ（Ｎ）エリアに属する全ての画素は、既に平均値のカラーコードに変更されている画素を含む前後複数個の画素の平均値に変更される。このため、ユーザが画面上の加工用画像ＬＰ１にワンタッチする毎に、当該ワンタッチしたエリアが加工用画像ＬＰ１の元の色とは異なる色に変更されていく。よって、画面上の加工用画像ＬＰ１に対するワンタッチを繰り返すといユーザの関与を伴いつつ、絵画調画像への変換を行うことができる。その結果、ユーザの画調変換に対する興味を高めたり、絵画を描くことに対する欲求を満たすことができる。

しかも、加工用画像ＬＰ１を下絵として、筆触動作としてのワンタッチを行っていけば、図１１（ａ）に示した加工用画像ＬＰ１から、同図（ｂ）に示した絵画調画像ＰＰ１に変化して、絵画調画像ＰＰ１が完成する。よって、絵を描くことが不得手なユーザであっても擬似的にではあるが、困難なく所望の絵を描くことができる。
なお、本実施の形態においては、図８のフローチャートに示す変換処理を行うようにしたが、変換処理はこれに限ることなく、他の画調変換アルゴリズム等どのようなアルゴリズムを用いてもよい。

（絵画調画像の完成）
図９は、図５のフローチャートにおけるステップＳＣ３の完了ＳＷ処理の処理手順を示すフローチャートである。すなわち、液晶表示パネル３の画面上に表示された絵画調画像ＰＰ１を見て、ユーザが絵画が完成したと思ったならば、完了スイッチ２３を押下する。すると、図９のフローチャートにおいて、ステップＳＦ１の判断がＹＥＳとなる。したがって、ステップＳＦ１からステップＳＦ２に進み内部メモリ１４に新たなフォルダ１４１を確保する。そして、この確保したフォルダ１４１に完成した絵画調画像ＰＰ１をストアする。

したがって、ユーザは、任意の時点で完了スイッチ２３を操作することにより、絵画調画像ＰＰ１の完成を自由に決定することができる。

また、ユーザは、内部メモリ１４のフォルダ１４１にストアした絵画調画像ＰＰ１を後日ＣＰＵ１１により読み出させて、液晶表示パネル３に表示させ、随時観賞することができる。しかる後に、キャプチャーフラグＣＡＰＦをリセット（←０）して（ステップＳＦ４）、リターンする。

（ライブビュー画像の全変換）

このようにして、前記ステップＳＦ４でキャプチャーフラグＣＡＰＦ＝０にされると、前述した図４のフローチャートにおいてステップＳＢ１の判断がＹＥＳとなる。したがって、撮像装置７０から、転送されるライブビュー画像が再び取り込こまれ始めて（ステップＳＢ２）、取り込み画像記憶部１３１に記憶され（ステップＳＢ３）、液晶表示パネル３に表示される（ステップＳＢ４）。つまり、ライブビュー画像の表示が再開される。したがって、例えば撮像装置７０が同一の画角で富士山を撮像していても、時間の経過に伴う雲や光の変化によって前記加工用画像ＬＰ１における富士山とは異なる景色からなる富士山が表示される場合がある。

例えば図１１（ａ）に示した富士山の景色から、図１２（ａ）に示した富士山の景色に移行する場合がある。そして、ユーザが図１２（ａ）に示した富士山の景色も絵画調画像に変換したいと思った場合には、同図の景色が液晶表示パネル３にされた時点で再度キャプチャースイッチ２２を押下する。

すると、図６のフローチャートにおいて、ステップＳＤ１の判断がＹＥＳとなり、ＣＰＵ１１は、この時点で取り込まれて液晶表示パネル３に表示されている取り込み画像を加工用画像記憶部１３２に記憶する（ステップＳＤ２）。すると、前述のように、表示制御部１６は、画像の読み出し元を取り込み画像記憶部１３１から加工用画像記憶部１３２に切り替える。したがって、キャプチャースイッチ２２が操作された後は、液晶表示パネル３に、図１３（ａ）に示した画像が加工用画像ＬＰ２として表示し続けられる。また、ステップＳＤ２に続くステップＳＤ３の処理で、キャプチャーフラグＣＡＰＦはセット（←１）される。

一方、このようにＣＡＰＦ＝１となると、前述した図４のフローチャートにおいて、ステップＳＢ１の判断がＮＯとなる。したがって、ステップＳＢ１からステップＳＢ２に進み、変換フラグＨＦ＝１であるか否かを判断する。このとき、変換フラグＨＦは、前述した最初の変換が行われた時点、つまり図１１（ｂ）に示した絵画調画像ＰＰ１を作成した時点で、図７のフローチャートにおけるステップＳＥ１１でセットされ、ＨＦ＝１となっている。したがって、図４のフローチャートにおけるステップＳＢ５の判断はＹＥＳとなる。

よって、ステップＳＢ４からステップＳＢ５に進み変換フラグＨＦ＝１であるか否かを判断する。この変換フラグＨＦは、前回、絵画調画像ＰＰ１を生成した際に、図７のフローチャートにおけるステップＳＥ１１でセットされ、ＨＦ＝１となっている。したがって、ステップＳＢ５からステップＳＢ６に進み全変換処理を行った後、ＨＦをリセット（←０）して（ステップＳＢ７）、リターンする。

図１０は、全変換処理（ステップＳＢ５）の処理手順をフローチャートである。まず、前記Ｎの値に対応させるｎの値として、初期値「０」を設定する（ステップＳＨ１）。そして、このｎ＝０に対応するＮ＝０の「タッチ（０）エリア」に記憶されている座標群に基づき、変換処理を実行する（ステップＳＨ２）。

この変換処理は、前述した図８のフローチャートに示す処理手順で実行される。まず、ｎの値で示されるタッチ（Ｎ）エリアに記憶されている画素の座標群に基づき、加工用画像ＬＰ２の当該タッチエリアに属する１つの画素を指定する（ステップＳＦ１）。次に、この指定された１つの画素の前後複数個分の画素を指定する（ステップＳＦ２）。

また、前記ステップＳＦ１で指定された１つの画素と、前記ステップＳＦ２で指定された複数個分の画素のカラーコードの平均値を演算する（ステップＳＦ３）。次に、最初に指定された１つの画素（ステップＳＦ１で指定された１つの画素）のカラーコードを、ステップＳＦ３で演算された平均値に変更する（ステップＳＦ４）。さらに、カラーコードを変更する処理を当該タッチ（Ｎ）エリアに属する全ての画素に対して行ったか否かを判断する（ステップＳＦ５）。そして、当該タッチ（Ｎ）エリアに属する全ての画素に対する処理が終了するまで、ステップＳＦ１からの処理を繰り返す。

したがって、ステップＳＦ５の判断がＹＥＳとなるまでに、ｎの値で指定されるタッチ（Ｎ）エリアに属する全ての画素は、既に平均値のカラーコードに変更されている画素を含む前後複数個の画素の平均値に変更される。このため、ユーザが画面上の加工用画像ＬＰ２対する擬似的な描画動作であるワンタッチを行わずとも、加工用画像ＬＰ１を作成した際のタッチデータにより、加工用画像ＬＰ２が元の色とは異なる色に変更されていく。よって、この場合には、画面上の加工用画像ＬＰ２に対するワンタッチを繰り返すとい動作を行わずとも、前回のタッチデータを利用して絵画調画像への変換を行うことができる。

そして、ステップＳＨ２で変換処理を行ったならば、ｎの値をインクリメントし（ステップＳＨ３）、ｎ＞Ｎとなったか否かを判断し（ステップＳＨ４）、ｎ＞Ｎとなるまで、ステップＳＨ２〜ＳＨ４の処理を繰り返す。したがって、前回の絵画調画像ＰＰ１に用いたタッチデータ記憶部１３３に記憶されているタッチ（０）〜（Ｎ）エリアに各々記憶されているタッチデータを用いて、画調変換を行うことができる。

そして、ｎ＞Ｎとなり、タッチデータ記憶部１３３に記憶されているタッチ（０）〜（Ｎ）エリアに記憶されているタッチデータを全て用いて、画調変換が終了すると、図１２（ａ）に示した加工用画像ＬＰ２は、同図（ｂ）に示した絵画調画像ＰＰ２に変化する。また、この絵画調画像ＰＰ２を確認したユーザが完了スイッチ２３を押下すると、前述した図９に示すフローチャートに従って完了ＳＷ処理が実行される。これにより、内部メモリ１４には新たなフォルダ１４２が確保され、この新たなフォルダ１４２に絵画調画像ＰＰ２が保存されることとなる。

ところで、プロの画家は多数の絵画を作成するが、いずれの絵画にも当該画家の作風や作風に基づく共通する特徴が現れていることが一般的である。しかるに素人の場合、作風が確立されるまでに至っていないことから、絵を描く毎に特徴が異なってしまう。

しかるに、新たなフォルダ１４１に保存された絵画調画像ＰＰ２にあっては、ベースとなる画像は異なるが（加工用画像ＬＰ１と加工用画像ＬＰ２）、当該ユーザの絵画調画像ＰＰ１作成した際のタッチを反映させた画像である。

したがって、前回フォルダ１４１に保存された絵画調画像ＰＰ１と、今回フォルダ１４２に保存された絵画調画像ＰＰ２とは、当該ユーザの絵画調画像ＰＰ１作成した際のタッチを反映されている点において共通する。したがって、素人であっても、プロの画家と同様に、作品としての絵画調画像ＰＰ１、ＰＰ２に共通する作風や作風に基づく特徴を表現することができる。

なお、本実施の形態においては、撮像装置７０から転送されるライブビュー画像を取得して、画調変換する対象画像である加工用画像とした。しかし、加工用画像は、これに限ることなく、内部メモリ１４に予め記憶されている画像、配信コンテンツサーバ５０からダウンロードした画像等、如何なる画像であってもよい。

（他の実施の形態）
図１３は、本発明の他の実施の形態に係る画調変換装置１００の電気的構成を示したブロック図である。本実施の形態においては、前述した実施の形態において設けられていた通信制御部３０及び通信制御部３０に接続されたネットワーク等が設けられておらず、これに代わって、撮像素子８が撮像制御部１９を介してＣＰＵ１１に接続されている。撮像制御部１９は、ＣＰＵ１１による制御下で撮像素子８を駆動して被写体の画像を取り込む制御を行う。

この取り込まれた被写体の画像は、前記実施の形態と同様に表示制御部１６により液晶表示パネル３に表示される。また、ＣＰＵ１１は、前述した図３〜図１０のフローチャートに示す処理を実行する。したがって、この実施の形態によれば、ネットワークに接続せずとも、画調変換装置１００単体でライブビュー画像を表示し、所望のライブビュー画像をキャプチャーし、キャプチャーしたライブビュー画像をタッチに応じて画調変換し、さらにライブビュー画像を全変換することができる。

１ 画調変換装置
３ 液晶表示パネル
３ 液晶表示パネル
５ タッチパネル
７ ＧＰＳアンテナ
８ 撮像素子
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 内部メモリ
１６ 表示制御部
１７ キー入力制御部
１８ メモリカードインターフェース
１９ 撮像制御部
２０ ＧＰＳ制御部
２１ キー入力部
２２ キャプチャースイッチ
２３ 完了スイッチ
３０ 通信制御部
４０ バックアップサーバー
５０ コンテンツサーバー
６０ メモリカード
７０ 撮像装置
１００ 画調変換装置
１３１ 画像記憶部
１３２ 加工用画像記憶部
１３３ タッチデータ記憶部
２００ 絵画変換エンジン

Claims (4)

1. 撮像部で被写体を撮像し、表示部にライブビュー画像を表示する画調変換装置において、
   任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、
   前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、
   前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、
   前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、
   前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、
   前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、
   前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、
   前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段と、
   を具備し、
   前記第１の下絵の一部をユーザが逐次絵画調に加工した内容で前記第２の下絵の一部を絵画調に変更可能としたことを特徴とする画調変換装置。
2. 撮像部で被写体を撮像し、表示部にライブビュー画像を表示する画調変換方法において、
   任意のライブビュー画像を静止画像としてキャプチャーする工程と、
   前記キャプチャーされた静止画像を描く画像の題材として選択する工程と、
   前記選択された前記静止画像を前記表示部に表示する工程と、
   前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく工程と、
   前記絵画調に一部を加工した画像を保存する工程と、
   前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する工程と、
   前記表示部に表示されているライブビュー画像を静止画像としてキャプチャーする工程と、
   前記キャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する工程と
   を含む画調変換方法。
3. ネットワークを介して接続された撮像装置と画調変換装置とで構成される画調変換システムであって、
   前記撮像装置は、被写体を順次撮像する撮像手段と、
   この撮像手段により順次撮像されたライブビュー画像を送信する送信手段を備え、
   前記画調変換装置は、
   前記撮像装置から送信されてくるライブビュー画像を受信する受信手段と、
   任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、
   前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、
   前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、
   前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、
   前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、
   前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、
   前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、
   前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段と、
   を具備したことを特徴とする画調変換システム。
4. 装置が有するコンピュータを、
   任意のライブビュー画像を静止画像としてキャプチャーする第１キャプチャー手段と、
   前記キャプチャーされた静止画像を描く画像の題材として選択する選択手段と、
   前記描く画像の題材として選択された前記静止画像を前記表示部に表示する第１表示制御手段と、
   前記表示部に表示されている前記静止画像を第１の下絵として、その一部をユーザの複数回のタッチ操作により逐次絵画調に加工していく絵画調加工手段と、
   前記絵画調加工手段により絵画調に一部を加工した画像を保存する保存手段と、
   前記保存手段により前記一部を加工した画像を保存した後、前記撮像部で撮像したライブビュー画像を前記表示部に表示する第２表示制御手段と、
   前記第２表示制御手段により表示されているライブビュー画像を静止画像としてキャプチャーする第２キャプチャー手段と、
   前記第２キャプチャー手段でキャプチャーされた静止画像を、前記描く画像の題材としての第２の下絵とし、この第２の下絵に前記一部を絵画調に加工した画像を反映させることにより、下絵を交換する下絵交換手段と
   して機能させることを特徴とするプログラム。