JP2004342003A - 画像処理方法及び装置並びに画像処理システム - Google Patents

Abstract

【課題】人物画像を所望の表現の画像に変換する際、好ましい画像が得られるまでの処理回数を低減し、簡易な操作で効率的に好ましい画像を得る。
【解決手段】カメラ付き携帯電話機１０で撮影した原画像から顔領域を抽出するとともに、「目」，「鼻」，「口」などの顔パーツを抽出し、それぞれのパーツ領域について画像処理パラメータに従って画像処理を施して好みの画像を得る。ユーザは意図する表現の画像となるように十字ボタン２４などの操作部から画像処理パラメータを設定する。一度パラメータを設定して画像処理を実施すると、その実績から次回のデフォルトパラメータが自動的に設定される。その後、別の画像を処理する際は、デフォルトパラメータに基づいて画像処理が実施され、処理結果の画像がディスプレイ１６に表示される。処理結果が意図するものでなければ、その変換画像を基準としてさらにパラメータを変えて微調整を加える。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び装置に係り、特にデジタルカメラやカメラ付き携帯電話機などにより撮影された人物の顔画像を好みの画像に加工する際の操作性の向上に好適な方法及び装置並びにシステムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラやカメラ付き携帯電話機などが普及し、手軽な撮影手段の一つとして多くの人に利用されている。また、オリジナルの画像データに対して様々な画像処理を施すことにより、意図する表現の画像に変換することも広く行われている。
【０００３】
特許文献１では、関連のある複数コマの特定領域に対して所定の画像処理を施すことができる画像処理方法が提案されている。
【０００４】
【特許文献１】
特開平１１−２７５３５１号公報
【０００５】
【発明が解決しようとする課題】
人物の顔写真を画像処理して好みの画像を生成する場合、処理の内容や対象部位の指定など設定項目が多岐にわたり、パラメータの設定操作が複雑である。特に、携帯電話機のような小型のモバイル端末においては、操作ボタンが小さく、その個数も限られていることから、一層複雑な操作が強いられる。
【０００６】
本発明はこのような事情に鑑みてなされたもので、人物画像に対する複雑な処理を簡単な操作で実現することができる画像処理方法及び装置並びにシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理方法は、原画像から人物の顔パーツを抽出し、抽出した顔パーツに画像処理を施して所望の表現の画像を生成する画像処理方法であって、処理の対象領域に対して定義されている画像処理パラメータをユーザ操作に応じて変更できる構成とし、前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理のデフォルトパラメータを自動的に設定し、その後、画像処理を行う時に前記デフォルトパラメータを反映した画像処理を実施し、該処理により生成された変換画像を表示手段に表示するとともに、前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、前記パラメータ調整操作によってパラメータが変更されると、該変更された画像処理パラメータに従って画像処理を実施することを特徴とする。
【０００８】
本発明によれば、人物を含む原画像の中から画像解析によって「目」，「鼻」，「口」などの顔パーツ（顔の部位）を少なくとも１つ（好ましくは複数）抽出し、各パーツ領域に対して画像処理パラメータに従って画像処理を施すことにより、好ましい表現の画像を得ることができる。処理の対象になる領域について画像処理の内容を規定するパラメータが定義されており、ユーザは意図する表現の画像となるようにユーザインターフェースを通じて画像処理パラメータを設定することができる。
【０００９】
一度パラメータを設定して画像処理を実施すると、その実績から次回のデフォルトパラメータが自動的に設定され、次回以降はデフォルトパラメータに基づいて画像処理が実施される。デフォルトパラメータに従って生成された変換画像は表示手段に表示されるため、ユーザはその表示を見て処理結果の画像を確認できる。得られた結果が意図するものでなければ、パラメータの調整操作を行う。この調整操作は、現在のデフォルトパラメータを基準としてこれに増減値（変化量）を指定するなど、デフォルトパラメータに対して修正を加えるものである。デフォルトパラメータを基準にパラメータを調整することことにより、所望の条件を簡単に設定することができる。
【００１０】
こうして変更されたパラメータに従って画像処理をやり直し、処理結果の変換画像を提供する。なお、修正されたパラメータの情報は、次のデフォルトパラメータの設定に利用される。
【００１１】
このように、本発明によれば、過去に実施した画像処理のパラメータに基づいて次の画像処理におけるデフォルトパラメータを自動的に設定し、デフォルトパラメータに基づく処理（デフォルト処理）によって希望する画像が得られなかったときには、そのパラメータを基準にさらなるパラメータの調整を行うようにしたので、所望の画像が得られるまでの処理回数を大幅に減らすことができる。
【００１２】
また、本発明によれば、例えば、処理の対象領域が人物全体に及ぶ場合、人物から区別された背景部に及ぶ場合、或いは、頭髪、唇、胴体、衣服、装身具などのパーツに対して、位置、形状特性、濃度特性、色味特性、テクスチャー特性、空間周波数特性から選択される処理についても処理パラメータを記憶し、次回以降の変換に反映させることも可能である。
【００１３】
上記方法発明を具現化する装置を提供するため、本発明に係る画像処理装置は、入力された原画像から人物の顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出される顔パーツを含む処理の対象領域について定義されている画像処理パラメータの設定を変更する操作を行うためのパラメータ変更操作手段と、設定された画像処理パラメータに従って前記原画像の対象領域に画像処理を施し、該パラメータを反映した表現の画像を生成する画像処理手段と、前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理におけるデフォルトパラメータを自動的に設定するデフォルトパラメータ自動設定手段と、前記デフォルトパラメータ自動設定手段によって設定されたデフォルトパラメータに基づいて前記画像処理手段で生成した変換画像を表示する表示手段と、前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、前記パラメータ変更操作手段からパラメータの調整指示が入力されると、該指示に応じて変更された画像処理パラメータに従って前記画像処理手段による画像処理を実施させる画像処理制御手段と、を備えたことを特徴とする。
【００１４】
本発明の一態様によれば、前記デフォルトパラメータ自動設定手段は、前回実施された画像処理で使用した画像処理パラメータを記憶する記憶手段を備え、前回の画像処理パラメータを次の画像処理のデフォルトパラメータに設定することを特徴とする。
【００１５】
また、前回のパラメータを次回のデフォルトに設定する態様に限らず、過去の処理履歴から設定頻度の高いものをデフォルトに設定したり、過去の履歴から設定値の平均値などを求めてその値をデフォルトに設定したりするなどの態様もあり得る。蓄積された履歴情報からデフォルトの処理が決定される場合には、画像処理の実行回数が増えるほど、そのユーザが好む処理パラメータを正確に次回のデータに反映させることができる。
【００１６】
本発明の画像処理装置は、通信回線網に接続する通信手段と、被写体の光学像を電気信号に変換する撮像手段と、前記撮像手段を介して撮影された画像を記録する画像記録手段と、を備えたカメラ付き携帯電話機に搭載される態様がある。
【００１７】
カメラ付き携帯電話機に代表される小型のモバイル端末は、操作ボタンが小さいなど操作系に制約があるので、本発明によって操作性の向上が図られることは非常に有益である。なお、本発明の画像処理装置は、カメラ付き携帯電話機のような単独の機器で実現される場合に限定されるものではなく、画像処理装置を構成する一部の手段を備える複数の装置（機器）を組み合わせることにより、全体として本発明の画像処理装置を実現する形態もある。
【００１８】
本発明のさらに他の態様は、前記目的を達成する画像処理システムを提供するものである。すなわち、原画像のデータをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワークを介して前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、前記画像処理サーバは、前記通信端末から取得した原画像から人物の顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツを含む処理の対象領域に対して、設定されている画像処理パラメータに従って画像処理を施し、該パラメータを反映した表現の画像を生成する画像処理手段と、前記画像処理手段で生成した変換画像を前記ネットワーク経由で前記通信端末に提供する画像提供手段と、を備え、前記通信端末は、前記対象領域について定義されている画像処理パラメータの設定を変更する操作を行うためのパラメータ変更操作手段と、前記画像処理手段により生成された変換画像を表示する表示手段と、前記パラメータ変更操作手段からの指示に応じたパラメータ情報を前記画像処理サーバに提供するパラメータ情報提供手段と、を備え、前記画像処理サーバ又は前記通信端末には、前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理のデフォルトパラメータを自動的に設定するデフォルトパラメータ自動設定手段が設けられており、前記デフォルトパラメータ自動設定手段によって設定されたデフォルトパラメータに従って前記画像処理手段により生成された変換画像を前記表示手段に表示させるとともに、前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、前記パラメータ変更操作手段からパラメータの調整指示が入力されると、該指示に応じたパラメータ情報が前記画像処理サーバに提供され、該調整指示に応じて変更された画像処理パラメータに従って前記画像処理手段による画像処理が実施されることを特徴とする。
【００１９】
通信端末側にデフォルトパラメータ自動設定手段が設けられている場合には、画像処理の依頼時に通信端末からデフォルトパラメータの情報を画像処理サーバに提供する。
【００２０】
また、画像処理サーバ側にデフォルトパラメータ自動設定手段を備える態様も可能である。この場合、通信端末の操作系で指定されたパラメータ情報が画像処理サーバに送られ、画像処理サーバ内にパラメータ情報が保存される。
【００２１】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２２】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係るカメラ付き携帯電話機の一例を示す外観図である。携帯電話機１０には、カメラ部１２、アンテナ１４、ディスプレイ１６、受話口１７、送話口１８及び操作部２０が設けられている。操作部２０には、ダイヤルボタン２１、通話ボタン２２、通話切兼用電源ボタン２３、十字ボタン２４、実行ボタン２５その他の各種の操作手段が含まれる。操作部２０は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能である。
【００２３】
ディスプレイ１６は、カラー表示可能な液晶ディスプレイで構成される。もちろん、有機ＥＬなど他の方式の表示装置を適用してもよい。図１中符号２７は動画再生時の音声や各種効果音等を出力するためのスピーカである。なお、図１には明示されていないが、この携帯電話機１０には動画撮影時の音声を取り込むためのマイク（図２の符号２８として記載）が設けられている。
【００２４】
図１に示したように、カメラ部１２は、携帯電話機１０の筐体２９に対して回動自在に取り付けられている。カメラ部１２を回すことで撮影方向を自由に変更することができ、図示のようにディスプレイ１６の表示面側にカメラを向けたり、或いは、ディスプレイ１６の背面側にカメラを向けたりすることができる。かかる回転機能付きのカメラ部１２に代えて、所定の位置に固設されたカメラ部を搭載する態様も可能であり、また、複数のカメラ部を搭載する態様も可能である。
【００２５】
図２は、携帯電話機１０の構成を示すブロック図である。同図に示したように、携帯電話機１０は、中央演算処理装置（ＣＰＵ）３０、メモリ３２、音声処理部３４、送受信回路３６、受話口１７のスピーカ３７、送話口１８のマイク３８といった通常の電話機能を実現するために必要な構成要素を備えている。
【００２６】
ＣＰＵ３０は、所定のプログラムに従って携帯電話機１０全体の動作を制御する制御部として機能するとともに、各種演算を行う演算装置として機能する。すなわち、ＣＰＵ３０は、操作部２０から入力される指令信号に基づいて携帯電話機１０内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、ディスプレイ１６の表示制御、メモリ３２の読み書き制御及び容量管理（空き容量の検出を含む）などを行う。
【００２７】
ＣＰＵ３０はバス３９を介してメモリ３２と接続されている。メモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ領域と、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用される揮発性メモリ領域とを含むブロックである。不揮発性メモリ領域は、電話機帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。本発明の画像処理機能における処理パラメータの情報は不揮発性メモリ領域に格納される。また、揮発性メモリ領域は、画像データの一時記憶領域としても利用される。
【００２８】
音声処理部３４は、ＣＰＵ３０と連携して音声信号を処理又は変換する手段である。音声処理部３４は、送受信回路３６から受入したデータの復号化処理及び送受信回路３６を通じて送信するデータの符号化処理を行うとともに、スピーカ２７、３７への出力信号生成処理、マイク２８、３８からの入力音声信号の符号化処理などを行う。
【００２９】
通話モード（電話機能を使用するモード）において、通信相手との通信接続が確立されると、マイク２８から入力される音声は電気信号に変換され、音声処理部３４に送られる。音声処理部３４はマイク３８から入力された音声信号をデジタル信号に変換（Ａ／Ｄ変換）した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部３４で処理された音声データ（送信用のデータ）は、バス３９を介して送受信回路３６に送られ、所定の送信用信号形式に変換された後、アンテナ１４から送信される。
【００３０】
また、アンテナ１４によって受波された信号は、送受信回路３６において復調され、音声処理部３４に送られる。音声処理部３４は、送受信回路３６から受入した音声信号を所定形式の音声データに変換する。音声処理部３４で生成された音声データ（受信データ）は、アナログ音声信号に変換（Ｄ／Ａ変換）された後、スピーカ３７に送られる。こうして、通話相手の音声がスピーカ３７から可聴出力される。もちろん、携帯電話機１０は、音声データのみならず、電子メール機能やインターネットのブラウザ機能などを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【００３１】
さらに、携帯電話機１０は、撮影レンズ４０とＣＣＤイメージセンサ（以下、ＣＣＤという。）４２を有し、ＣＣＤ４２から得られる画像信号を処理するためのアナログ処理部４４、Ａ／Ｄ変換器４５、画像処理部４６、圧縮伸張部４７を備えている。なお、本例では撮像素子としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを用いてもよい。
【００３２】
撮影レンズ４０を通過した光はＣＣＤ４２の受光面の上に焦点を結ぶ。ＣＣＤ４２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００３３】
ＣＣＤ４２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４２は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００３４】
ＣＣＤ４２の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ（ＴＧ）４８から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４２から出力された画像信号は、アナログ処理部４４に送られ、相関二重サンプリング（ＣＤＳ）処理やゲイン調整などの所要の処理が施された後、Ａ／Ｄ変換器４５によってデジタル信号に変換される。デジタル化された画像データは画像処理部４６に送られる。
【００３５】
画像処理部４６は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら画像信号を処理する。
【００３６】
画像処理部４６において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の処理が施されて生成された画像データはメモリ３２に一時的に記憶される。ここで、撮影中の映像をディスプレイ１６に表示させる場合には、このメモリ３２の内容を読み出して表示回路５０に送り、表示回路５０において表示用の信号形式に変換した後、ディスプレイ１６に供給する。これにより、ＣＣＤ４２が捉えているリアルタイム映像（スルー画）がディスプレイ１６に表示され、撮影者はディスプレイ１６の表示映像によって撮影画角（構図）を確認できる。
【００３７】
操作部２０の撮影ボタン（例えば、実行ボタン２５で兼用）が押されると、ＣＰＵ３０はこれを検知して、記録用の撮影動作を実行する。すなわち、撮影ボタンの押下に応動してＣＣＤ４２の露光制御及び電荷の読み出し制御が行われる。こうして取り込まれた記録用の画像データは、画像処理部４６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張部４７に送られ、ここで所定の圧縮フォーマット（例えば、ＪＰＥＧ形式） に従って圧縮される。圧縮された画像データは、メモリ３２の画像保存領域に格納される。
【００３８】
動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【００３９】
動画撮影時の音声は、マイク２８によって検出され、その検出信号（音声信号）は、音声処理部３４において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部４７において所定の圧縮フォーマット（例えば、ＭＰ４形式）に従って圧縮処理された後メモリ３２に記録される。
【００４０】
画像再生時には、ユーザのファイル選択操作に応じて、または自動的にメモリ３２から画像ファイルのデータが読み出される。メモリ３２から読み出された圧縮データは、圧縮伸張部４７によって伸張され、表示回路５０を介して表示用の信号に変換された後、ディスプレイに出力される。これにより、当該ファイルの画像内容がディスプレイ上に表示される。
【００４１】
図３は、携帯電話機１０に搭載されている画像処理装置の要部を示す機能ブロック図である。
【００４２】
図示のように画像処理装置５２は、顔領域抽出部５４と、顔パーツ抽出部５５と、画像変換部５６と、パラメータデータ記憶部５７と、を備えている。画像処理装置５２は、ハードウエアとソフトウエアとの適宜の組み合わせによって実現され得る。本例の場合、顔領域抽出部５４，顔パーツ抽出部５５，画像変換部５６は図２の画像処理部４６に含まれ、パラメータデータ記憶部５７は図２のメモリ３２に含まれる。
【００４３】
図３に示したとおり、顔画像を含む原画像（被処理画像）６０のデータは画像処理装置５２に入力され、顔領域抽出部５４及び顔パーツ抽出部５５に送られる。顔領域抽出部５４は、入力された画像データを解析して画像中から顔領域を抽出する。顔パーツ抽出部５５は目、鼻、口、眉などの顔パーツを抽出する。
【００４４】
原画像６０からの顔領域の抽出方法としては、例えば、原画像内の目、鼻、口等の顔パーツを抽出するために特徴抽出処理を行う。特徴抽出処理では、ウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理を行い、顔パーツを抽出する。
【００４５】
顔パーツが抽出された位置を顔と判定し、色、テクスチャーによる分割処理が施される。これは、似た色やテクスチャーの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域を抽出する。また、目の位置および人物と背景の境界線の平均的な位置関係を示す人物領域辞書データと、原画像から得られた人物領域と背景領域との境界線とのマッチング処理を行い、人物領域と背景領域との境界線を求める。
【００４６】
また、原画像６０内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像６０から人物領域を抽出する方法や、原画像６０内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。なお、原画像６０から人物領域を抽出する方法は、種々の方法が考えられ、上記の方法に限定されない。
【００４７】
顔領域抽出部５４及び顔パーツ抽出部５５によって抽出された顔パーツ情報は、画像変換部５６に送られる。画像変換部５６は、抽出された目領域、鼻領域、口領域など処理の対象領域について、それぞれパラメータデータ記憶部５７内の画像処理パラメータを参照して、そのパラメータに従って画像処理を行い、パラメータを反映させた表現の画像を生成する。
【００４８】
パラメータデータ記憶部５７には、前回の画像処理で使用した画像処理パラメータのデータが保存されており、この保存されている画像処理パラメータがデフォルトのパラメータとして設定される。パラメータデータ記憶部５７に過去の画像処理パラメータが記憶されていない場合には、操作部２０から所望のパラメータを入力する操作を行う。
【００４９】
こうして、画像変換部５６においてパラメータを反映させた画像（変換画像６２）が生成される。画像変換部５６で生成された変換画像６２は、ディスプレイ１６に表示される。
【００５０】
表示された画像が意図するものでない場合、ユーザは操作部２０からパラメータの微調整を行う。例えば、十字ボタンなどによって現在の設定パラメータに対する調整値（デフォルトパラメータを基準とする変化量の指定）を入力したり、メニュー画面からパラメータの変更値を選択したりする。こうして、調整されたパラメータに基づいて画像変換部５６における画像処理をやり直し、修正後のパラメータを反映させた変換画像６２を生成するとともに、ディスプレイ１６の表示画像を更新する。こうして、パラメータ調整後の処理結果画像がディスプレイ１６に表示される。
【００５１】
気に入った画像が得られるまで上記の操作が繰り返される。意図する表現の画像が得られたら画像処理の操作を終了する。このとき、好みの画像が得られた画像処理パラメータの情報がパラメータデータ記憶部５７に保存される。
【００５２】
次回、別の画像について画像処理を行う場合、パラメータデータ記憶部５７に記憶されている前回の画像処理パラメータがデフォルトとして設定されるため、前回と同様の処理結果を簡単に得ることができる。
【００５３】
図４は、携帯電話機１０における画像処理の手順を示したフローチャートであり、図５は画面例を示す図である。まず、携帯電話機１０のディスプレイ１６に顔画像を表示させる（図４のステップＳ１１０）。表示対象の画像は、カメラ部１２で撮影した直後のプレビュー画像、メモリ３２に保存されているファイルの再生画像、メールで受信した画像など、多様な態様があり得る。
【００５４】
図５（ａ）に示したように、顔画像の表示と同時に、ディスプレイ１６の画面右下に「画像処理」のコマンドメニュー７１が表示される。このメニュー表示は、符号７２の操作ボタンに「画像処理ボタン」の機能が割り当てられたことを意味している。
【００５５】
表示中の顔画像に対して画像処理を施すことを希望する場合、ユーザは画像処理ボタン（操作ボタン７２）を押す。「画像処理」のコマンドを選択する操作が行われると（図４のステップＳ１１２）、ＣＰＵ３０はこれを検知し、処理パラメータのデータの有無を判定する（ステップＳ１１４）。以前に画像処理を実施した実績がある場合には、そのときの処理パラメータの情報がメモリ３２に記憶されている。メモリ３２内に蓄積されたパラメータデータがあるときは（ステップＳ１１４でＹＥＳ時）、その処理パラメータの設定を反映した画像処理を実行し、変換後の画像（処理結果画像）をディスプレイ１６に表示する（ステップＳ１１８）。
【００５６】
その一方、ステップＳ１１４において処理パラメータのデータが記憶されていないと判定した場合（ＮＯ判定時）、処理パラメータの設定操作を受け付ける（ステップＳ１１６）。
【００５７】
図６は画像処理パラメータの例を示した図表である。図６によれば、処理の対象領域として、顔、頭髪、眼部、唇、胴体、衣服、装身具、鼻、背景などが定められ、それぞれの対象領域について、形状、位置、濃度特性、色味特性、テクスチャー特性、空間周波数特性などの画像特徴量を設定することができる。
【００５８】
顔の「形状」について左右、上下方向に±１，±２，±３という段階調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタンの上下キーにて兼用）を操作してパラメータを入力することにより、顔の大きさを太くしたり、細くしたりする。同様に、眼部や唇などの形状についても、±１，±２，±３という段階調整率が定義されるものとする。
【００５９】
「頭髪」の形状については、予め多様なヘアースタイルを表す頭髪画像（貼り付け合成用のパーツ画像）が複数用意されており、ユーザが好みの頭髪画像を選択することができるようになっている。図６では、タイプ「Ｃ」に定義付けられている頭髪画像が選択されていることを示している。「装身具」の形状については、予め複数種類の装身具画像が用意されており、図６ではタイプ「Ｒ」に定義付けられている装身具画像が選択されている。「鼻」の形状は、高い鼻、低い鼻など、複数種類のタイプが定義されており、図６ではタイプ「Ｂ」が選択されていることを示している。
【００６０】
また、形状、位置、濃度特性、色味特性、テクスチャー特性、空間周波数特性に関しては、それぞれの特徴量を段階的に調整するための調整値（例えば、±１，±２，±３）が定義されている。ユーザは十字ボタン２４などによって所望の調整値を指定することができる。例えば、眼部の位置を上下方向に＋１調整し、鼻の位置を上下方向に＋２調整する。
【００６１】
こうして、設定された画像処理パラメータに従って画像処理（合成用のパーツ画像を貼り付ける合成処理を含む）が実施され、パラメータを反映した変換画像がディスプレイ１６に表示される（図４のステップＳ１１８）。このとき、図５（ｂ）のように、変換結果を示す画像の表示と同時に、ディスプレイ１６の画面下に「これでＯＫ」のコマンドメニュー７４と、「さらに処理」のコマンドメニュー７５が表示される。これらメニュー表示は、符号７６の操作ボタンに「これでＯＫ」の指令機能が割り当てられ、符号７２の操作ボタンに「さらに処理」の指令機能が割り当てられたことを意味している。
【００６２】
ディスプレイ１６に表示された変換画像が気に入らなければ、「さらに処理」のボタン（操作ボタン７２）を押し、パラメータ変更入力画面に移行してパラメータの調整を行う。その一方、ディスプレイ１６に表示された変換画像でＯＫと判断した場合には、「これでＯＫ」のボタン（操作ボタン７６）を押して処理を終了させる。
【００６３】
すなわち、図４のステップＳ１１８において変換画像を表示した状態でユーザからの指示入力が待機され、入力された指示に従って表示中の変換画像で良いか否かの判定を行う（ステップＳ１２０）。「さらに処理」のボタンが押された場合には、ステップＳ１２０においてＮＯ判定となり、ステップＳ１２２に進む。ステップＳ１２２では、前の処理で使用したパラメータを基準としてさらに処理パラメータを調整する操作が受け付けられる。例えば、前の処理で使用したパラメータ値が「＋２」であった場合には、その値に対してさらに「＋１」を加算して「＋３」に修正したり、「＋２」から−１調整を行って「＋１」に修正したりすることができる。
【００６４】
ステップＳ１２２においてパラメータの調整が行われると、ステップＳ１１８に戻り、その変更されたパラメータに基づいて画像処理が行われ、処理後の変換画像がディスプレイ１６に表示される。
【００６５】
ステップＳ１２０において、「これでＯＫ」のボタンが押されると、本シーケンスを終了する。
【００６６】
本例の携帯電話機１０によれば、ある顔画像Ａについて一度画像処理のパラメータを設定して画像処理を実施すると、そのときの画像処理パラメータが記憶され、次回のデフォルトパラメータとなる。したがって、その後、別の顔画像Ｂについて画像処理をするときに、「画像処理」のボタンを押すと、自動的にデフォルトパラメータが参照され、顔画像Ａに施したパラメータを反映した処理がデフォルト処理として実施され、その処理結果がディスプレイ１６に表示される。
【００６７】
このデフォルト処理の結果が気に入らなければ、その設定に係るパラメータを基準にさらにパラメータを変えて微調整を加えることができるため、毎回オリジナル画像から好みの画像に変換するまでのパラメータ設定の手間を省くことができる。
【００６８】
〔変形例〕
どのような表現の画像に仕上げるかという加工目標（意図）は、被写体となっている人物の特徴、性別、年齢、或いは画像の利用目的などによって異なると考えられるため、被写体となっている人物のカテゴリー別に、さらには、各人物別に画像処理パラメータを記憶する態様も好ましい。例えば、被写体の人物の性別によってデフォルトの処理を切り替えることにより、女性に限り美白処理を施すなどの態様が可能である。
【００６９】
また、携帯電話機１０のメモリ３２内に登録されているアドレス帳を活用して、被写体の人物特定を行い、アドレス帳とリンクさせてその人物画像に対する画像処理のパラメータを記憶する態様がある。これにより、人物ごとに異なるデフォルト処理を実施することが可能である。
【００７０】
さらには、顔パーツの抽出技術を応用して、目の間隔、鼻の位置、その他、各パーツ座標の比率等の特徴から画像内の人物を自動的に認識し、Ａさん用のデフォルト、Ｂさん用のデフォルトという具合に、人物別にデフォルトパラメータを記憶するという態様も可能である。
【００７１】
〔第２の実施形態〕
図７は、本発明の第２の実施形態に係る画像処理システムの構成図である。このシステムは、クライアント端末２１０から人物画像（顔写真）をネットワーク２２０経由で画像処理センタ２３０に送り、画像処理センタ２３０において画像処理を実施して処理結果の画像を利用者に提供するサービスを実現するものである。
【００７２】
クライアント端末２１０は、携帯電話機、ＰＤＡ、モバイルパソコンなど様々な形態があり得る。クライアント端末２１０は、ネットワーク２２０に接続してデータの送受信を行うための通信手段を備えており、好ましくは、被写体の光学像をデジタル画像データに変換する電子カメラが搭載される。なお、撮影機能を有していない端末機器の場合は、ＵＳＢその他の通信インターフェースを介してデジタルカメラ等の撮影装置（不図示）を接続して外部から画像データを取得したり、予めメモリカードや内部メモリに画像データを格納しておいたりすることにより、処理依頼用の画像を得ることが可能である。
【００７３】
ネットワーク２２０は、例えば、インターネットに代表される広域通信回線網であり、電話回線網、携帯電話回線網、専用回線網など、有線・無線を問わず種々の通信回線網を含む。
【００７４】
画像処理センタ２３０は、通信部サーバ２３１と、画像処理サーバ２３２と、データ保管サーバ２３３とを備え、これらサーバ２３１〜２３３はＬＡＮ又はイントラネットなどの通信回線２３４を介して相互に通信可能に接続されている。通信部サーバ２３１は、ネットワーク２２０に接続されており、主としてクライアント端末２１０との通信制御を行う。画像処理サーバ２３２は、入力された画像（被処理画像）から顔領域を抽出する処理、顔パーツを抽出する処理、処理パラメータに従って対象領域について変形、置換、合成、補正その他の変換処理等を行う手段を備えた処理部である。データ保管サーバ２３３のストレージには、合成用のパーツ画像、ユーザ（利用者）の登録情報、ユーザ別に管理された画像処理パラメータの設定情報（図６参照）等のデータベースが格納されている。
【００７５】
上記の如く構成された画像処理システムの動作は次の通りである。まず、クライアント端末２１０を用いて画像処理センタ２３０のホームページにアクセスし、処理を依頼する人物画像（原画像）をアップロードする。
【００７６】
通信部サーバ２３１は、ユーザの認証を行うとともに、受信した画像を画像処理サーバ２３２に転送する。処理の依頼者であるユーザが特定されると、そのユーザ情報に基づいてデータ保管サーバ２３３のデータベースが参照される。当該ユーザについて画像処理パラメータの設定情報が保存されていない場合（例えば、本サービスを初めて利用する場合など）は、クライアント端末２１０に対して、画像処理パラメータを設定する操作が要求される。ユーザがクライアント端末２１０の操作系を通じて所望のパラメータを指定する入力を行うと、そのパラメータ情報は通信部サーバ２３１を経由して画像処理サーバ２３２に送られるとともに、データ保管サーバ２３３に登録される。
【００７７】
画像処理サーバ２３２は、指定された画像処理パラメータに従って原画像を処理し、パラメータを反映させた変換画像を生成する。画像処理サーバ２３２で生成された変換画像は通信部サーバ２３１を介してネットワーク２２０経由でクライアント端末２１０に提供され、クライアント端末２１０のディスプレイ２１２に表示される。
【００７８】
ユーザは、処理結果の画像を確認し、気に入らなければ、現在の設定パラメータを基準としてパラメータの調整操作を行い、再処理を依頼することができる。パラメータの調整操作に応じてデータ保管サーバ２３３の画像処理パラメータデータベースが更新される。
【００７９】
次回、同じユーザが別の画像について処理を依頼すると、データ保管サーバ２３３に保存されている当該ユーザの画像処理パラメータの情報に基づいて、前回と同様の画像処理が行われ、処理結果画像がクランアント端末２１０に提供される。
【００８０】
このデフォルト処理による結果が気に入らなければ、現在の設定パラメータ（デフォルトパラメータ）を基準としてパラメータの調整操作を行い、再処理を依頼する。パラメータの調整操作に応じてデータ保管サーバ２３３の画像処理パラメータデータベースが更新される。
【００８１】
このようにして、処理実績に基づきユーザごとにデフォルトパラメータを自動設定することで、各ユーザ固有の好ましい画像処理を簡単な操作で効率的に実施することが可能となる。
【００８２】
なお、図７では画像処理センタ２３０の構成に関して、複数のサーバ２３１〜２３３で構築されたサーバシステムを例示したが、本発明の実施に際しては画像処理センタ２３０と同様の機能を一台のコンピュータで実現することも可能であるし、複数台のコンピュータを適宜組み合わせて実現することも可能である。
【００８３】
また、図７の例では、画像処理センタ２３０側のデータ保管サーバ２３３において画像処理パラメータの情報をユーザ別に管理しているが、本発明の実施に際して、クライアント端末２１０側で画像処理パラメータの情報を記憶する態様も可能である。この場合、処理を依頼する画像とともにデフォルトパラメータの情報をクライアント端末からサーバ側に送信する。
【００８４】
〔他の応用例〕
画像処理の対象は、静止画に限らず、動画でもよい。すなわち、記憶した画像処理のパラメータを他の画像へ適用するという本発明により、動画や連写による一連の静止画のような連続的な画像にも応用が可能である。例えば、動画の一コマについて画像処理パラメータを指定し、画像を変形させることで、その処理パラメータを全体又は一部のコマへ反映させることができる。
【００８５】
【発明の効果】
以上説明したように本発明によれば、原画像から顔パーツを抽出し、処理の対象領域を画像処理パラメータに従って画像処理することにより所望の表現の画像に変換する画像処理において、過去に実施した画像処理のパラメータに基づいて次の画像処理におけるデフォルトパラメータを自動的に設定し、デフォルトパラメータに基づく処理の結果が意図するものでなければ、そのパラメータを基準にさらにパラメータを調整することができるようにしたので、簡単な操作で好みの画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るカメラ付き携帯電話機の一例を示す外観図
【図２】図１に示した携帯電話機の構成を示すブロック図
【図３】本例の携帯電話機に搭載される画像処理装置の要部を示す機能ブロック図
【図４】本例の携帯電話機における画像処理の手順を示したフローチャート
【図５】処理前の原画像の表示例（ａ）と処理後の変換画像の表示例（ｂ）を示す図
【図６】画像処理パラメータの例を示した図表
【図７】本発明の第２の実施形態に係る画像処理システムの構成図
【符号の説明】
１０…携帯電話機、１２…カメラ部、１６…ディスプレイ、２０…操作部、２４…十字ボタン、３０…ＣＰＵ、３２…メモリ、４２…ＣＣＤ、５２…画像処理装置、５４…顔領域抽出部、５５…顔パーツ抽出部、５６…画像変換部、５７…パラメータデータ記憶部、２１０…クライアント端末、２２０…ネットワーク、２３０…画像処理センタ、２３１…通信部サーバ、２３２…画像処理サーバ、２３３…データ保管サーバ

Claims (5)

1. 原画像から人物の顔パーツを抽出し、抽出した顔パーツに画像処理を施して所望の表現の画像を生成する画像処理方法であって、
   処理の対象領域に対して定義されている画像処理パラメータをユーザ操作に応じて変更可能な構成とし、
   前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理のデフォルトパラメータを自動的に設定し、
   その後、画像処理を行う時に前記デフォルトパラメータを反映した画像処理を実施し、
   該処理により生成された変換画像を表示手段に表示するとともに、前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、
   前記パラメータ調整操作によってパラメータが変更されると、該変更された画像処理パラメータに従って画像処理を実施することを特徴とする画像処理方法。
2. 入力された原画像から人物の顔パーツを抽出する顔パーツ抽出手段と、
   前記顔パーツ抽出手段により抽出される顔パーツを含む処理の対象領域について定義されている画像処理パラメータの設定を変更する操作を行うためのパラメータ変更操作手段と、
   設定された画像処理パラメータに従って前記原画像の対象領域に画像処理を施し、該パラメータを反映した表現の画像を生成する画像処理手段と、
   前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理におけるデフォルトパラメータを自動的に設定するデフォルトパラメータ自動設定手段と、
   前記デフォルトパラメータ自動設定手段によって設定されたデフォルトパラメータに基づいて前記画像処理手段で生成した変換画像を表示する表示手段と、
   前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、前記パラメータ変更操作手段からパラメータの調整指示が入力されると、該指示に応じて変更された画像処理パラメータに従って前記画像処理手段による画像処理を実施させる画像処理制御手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記デフォルトパラメータ自動設定手段は、前回実施された画像処理で使用した画像処理パラメータを記憶する記憶手段を備え、前回の画像処理パラメータを次の画像処理のデフォルトパラメータに設定することを特徴とする請求項２記載の画像処理装置。
4. 通信回線網に接続する通信手段と、被写体の光学像を電気信号に変換する撮像手段と、前記撮像手段を介して撮影された画像を記録する画像記録手段と、を備えたカメラ付き携帯電話機に搭載されることを特徴とする請求項２又は３記載の画像処理装置。
5. 原画像のデータをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワークを介して前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、
   前記画像処理サーバは、前記通信端末から取得した原画像から人物の顔パーツを抽出する顔パーツ抽出手段と、
   前記顔パーツ抽出手段により抽出された顔パーツを含む処理の対象領域に対して、設定されている画像処理パラメータに従って画像処理を施し、該パラメータを反映した表現の画像を生成する画像処理手段と、
   前記画像処理手段で生成した変換画像を前記ネットワーク経由で前記通信端末に提供する画像提供手段と、
   を備え、
   前記通信端末は、前記対象領域について定義されている画像処理パラメータの設定を変更する操作を行うためのパラメータ変更操作手段と、
   前記画像処理手段により生成された変換画像を表示する表示手段と、
   前記パラメータ変更操作手段からの指示に応じたパラメータ情報を前記画像処理サーバに提供するパラメータ情報提供手段と、
   を備え、
   前記画像処理サーバ又は前記通信端末には、前回までに実施された画像処理において設定された画像処理パラメータから次の画像処理のデフォルトパラメータを自動的に設定するデフォルトパラメータ自動設定手段が設けられており、
   前記デフォルトパラメータ自動設定手段によって設定されたデフォルトパラメーに従って前記画像処理手段により生成された変換画像を前記表示手段に表示させるとともに、前記デフォルトパラメータを基準としてさらにパラメータを変更するパラメータ調整操作を受け付け、
   前記パラメータ変更操作手段からパラメータの調整指示が入力されると、該指示に応じたパラメータ情報が前記画像処理サーバに提供され、該調整指示に応じて変更された画像処理パラメータに従って前記画像処理手段による画像処理が実施されることを特徴とする画像処理システム。

Images