JP2005242566A - 画像合成装置及び方法 - Google Patents

Abstract

【課題】ユーザに満足のいく合成画像を容易に作成可能とする。
【解決手段】画像入力部２００によって取得されたディジタル画像を認識処理部２０１により解析して、該ディジタル画像中の被写体の状態を認識し認識結果に基づいて画像のカテゴリを決定する。合成用画像決定処理部２０２は、この決定された画像カテゴリに基づいて、複数の合成用画像１０７ａの中から画像合成に用いるべき合成用画像を決定する。画像合成処理部２０３は、合成用画像決定処理部２０２で決定された合成用画像を、上記取得されたディジタル画像に合成する。
【選択図】 図２

Description

本発明は、画像合成装置及び方法の技術に関するものである。

従来より、装身具等の画像をユーザの顔画像に合成して表示することにより、装身具等の装着状態をユーザに確認させることを可能とした装置が知られている。この種の装置を開示する従来文献として、以下の特許文献１〜４があげられる。

特許文献１の「眼鏡装用シミュレーションシステム」においては、入力された画像に対して手動で目の位置を設定し、設定された目の位置に基づいて眼鏡画像の位置を合わせて合成し、眼鏡を装着した状態をユーザに提示する。また、特許文献２の「眼鏡装用シミュレーション装置」においては、１枚の眼鏡画像を入力するだけで、様々に角度を変えた眼鏡画像を生成し、これを用いて様々に角度を変えた、眼鏡を装用した顔の画像を表示する装置が開示されている。また、特許文献３の「眼鏡装用シミュレーション装置」のようにカメラなどから入力された顔画像を変形することによって様々な方向或いは表情の顔画像を生成し、その生成された顔画像に眼鏡画像を合成する。更に、特許文献４の試着シミュレーションシステムでは、人物の顔領域を切り抜き、この切り抜かれた顔画像と服画像を合成する。
特許第３２５０１８４号公報 特開平０６−２９０２３９号公報 特開平０６−１１８３４９号公報 特開平１１−２１３１３９号公報

しかしながら、上記従来の技術では、合成元である撮影された画像中の被写体の表情や動作に対して、それに適した装身具などの画像を合成したいという要求にはこたえられていなかった。

また、合成元画像はユーザが十分に満足するような表情で撮影された画像であることが好ましい。しかしながら、上記従来の装置のいずれにおいても、被写体を撮影するタイミングは、装置操作者あるいは装置の撮影タイミングに依存している。このため、被写体であるユーザは、そのタイミングに応じて笑顔等を作り出さなければならず、少なからぬ負担が強いられることになる。即ち、好ましい合成元の画像としては、笑顔表情の瞬間や笑顔表情でピースポーズなどの動作を行った瞬間等において撮影を実行することによって得られる好ましい顔画像が含まれたものである。しかしながら、上記従来技術のような、装置操作者もしくは装置の任意撮影タイミングによる撮影では、そのような瞬間を捕らえて撮影することは困難、或いは相当の労力が必要である。

また、特許文献３に示されているように、カメラ等から得られた顔画像自体を変形することによって表情顔画像を作成しても、表情は個人により様々であるためユーザが満足するような表情画像を得ることは難しい。更に、撮影する画像はビジネススーツを着用しているようなビジネスシーンであれば無表情のシンプルな顔画像、私服を着ているなどの私生活シーンであれば笑顔の顔画像といたように、各シーンにおいて好まれる撮影画像は変化する。このため、顔画像の変形処理をシーンに応じて変更する必要があり、わずらわしい。

本発明は上記の課題に鑑みてなされたものであり、ユーザに満足のいく合成元画像を容易に取得可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による画像合成装置は以下の構成を備える。即ち、
ディジタル画像を取得する取得手段と、
前記取得手段により取得されたディジタル画像を解析して該ディジタル画像中の被写体の状態を認識し、認識結果に基づいて画像のカテゴリを決定する認識手段と、
前記決定手段で決定された画像カテゴリに基づいて合成用画像を選択する選択手段と、
前記選択手段で選択された合成用画像を前記ディジタル画像に合成する合成手段とを備える。

また、上記の目的を達成するための本発明の他の態様による画像合成装置は以下の構成を備える。即ち、
ディジタル画像を取得する取得手段と、
取得されたディジタル画像を解析し、該ディジタル画像中の被写体の状態に基づいて当該ディジタル画像のカテゴリが所定のシーンカテゴリに分類されるか否かを判定する認識手段と、
前記所定のシーンカテゴリに対応付けて登録されている合成用画像を選択する選択手段と、
前記判定手段により前記ディジタル画像が所定のシーンカテゴリに分類されると判定された場合、前記選択手段で選択された合成用画像を該ディジタル画像に合成する合成手段とを備える。

本発明によれば、合成元の画像としてユーザに満足のいく画像を容易に取得することが可能となる。例えば、入力された画像のカテゴリを自動的に認識して合成すべき合成用画像を決定するので、合成元画像と合成用画像の適切な組み合わせによる合成画像が容易に得られる。また、複数の画像（例えば、ビデオ画像より抽出したフレーム、連続静止画像等）から合成元の画像として適した画像を自動的に選択し、合成画像を提示するので、好ましい合成元の画像を用いた合成画像を、ユーザに負担を強いることなく容易に得ることができる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜第１実施形態＞
図１は、本実施形態による画像合成装置のハードウェア構成を示すブロック図である。ＣＰＵ（Central Processing Unit）１００は、所定のソフトウエアを実行することにより、以下に説明する各処理を実現する。ブリッジ１０１は、高速なＣＰＵバス１０２と低速なシステムバス１０３をブリッジする機能を有する。またブリッジ１０１はメモリコントローラ機能を内蔵し、ブリッジに接続されたＲＡＭ（Random Access Memory）１０４へのアクセスを制御する機能を有する。ＲＡＭ１０４はＣＰＵ１００の動作に必要なメモリでありＳＤＲＡＭ（Synchronous ＤＲＡＭ）／ＤＤＲ／ＲＤＲＡＭ等の大容量高速メモリにより構成される。また、ＲＡＭ１０４は画像データバッファ等としても利用される。更にブリッジ１０１はシステムバス１０３につながる各デバイスとＲＡＭ１０４間のデータ転送を司るＤＭＡＣ（Direct Memory Access Controller）機能を内蔵する。

ＥＥＰＲＯＭ１０６はＣＰＵ１００の動作に必要なインストラクションデータ及び撮影データ、合成データを格納するためのメモリである。表示部１０５は、合成された画像を表示するためのものであり、合成画像記憶部１０７は、あらかじめ合成用画像を格納しておき、画像合成処理の際にＲＡＭ１０４に画像データが転送される。映像入力部１０８は画像データを入力する。映像入力部１０８は、ＣＣＤ（Charge-Coupled Devices）／ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサー等の光電変換デバイス及び当該デバイスを制御するドライバー回路、各種画像補正を司る信号処理回路を具備し、光電変換デバイスからの信号をラスター画像信号として出力する。映像入力インターフェース部１０９は、映像入力部１０８から同期信号と共に出力されるラスタ画像データをディジタルデータに変換しバッファリング処理する。映像入力インターフェース部１０９でバッファリングされたディジタル画像データは、例えばブリッジ１０１に内蔵するＤＭＡを利用してＲＡＭ１０４上の所定のアドレスに転送される。なお、本実施形態では、映像入力部１０８を有するカメラ装置に画像合成装置を組み込んだ例を説明するが、映像入力部１０８を接続可能な情報処理装置（パーソナルコンピュータ等）によって画像合成装置を実現してもよい。

なお、ＣＰＵ１００において画像データを用いた認識処理を行う際には、ＲＡＭ１０４に記憶されている画像データを、例えば数画素飛ばしでロードして得られた画像データが用いられる。つまり、映像入力部１０８で得られた画像データに対して間引き処理に相当する処理を施して得られた画像データが用いられる。ただし、ＲＡＭ１０４上の画像データをＥＥＰＲＯＭ１０６に転送し、格納する際にはこの処理を行わない画像が用いられる。

次に、第１実施形態による画像合成処理について説明する。図２は、第１実施形態による画像合成処理を実現するための機能構成を示したブロック図であり、各処理部は、所定の制御プログラムを実行するＣＰＵ１００と図１で説明した各部との協働により実現される。

画像入力部２００は、映像入力部１０８と映像入力インターフェイス１０９を介してディジタル画像を得る。ディジタル画像は連続的に撮影して得られた複数のディジタル静止画像でもよいし、ディジタルビデオ画像（ディジタル動画像）であってもよい。ディジタル静止画像の場合はＪＰＥＧにより、ディジタル動画像の場合はＭＰＥＧにより圧縮してもよい。そして、画像入力部２００は、ディジタル静止画像であれば１画像ずつ、ディジタル動画像であれば１フレーム画像ずつ抽出し、ディジタル画像として認識処理部２０１に提供する。

認識処理部２０１では、画像入力部２００より提供されたディジタル画像から得られる間引き画像について解析を行い、喜怒哀楽、目瞑りなどの表情認識や、ポーズ、手振り、身振りなどの動作認識を行う。合成用画像決定処理部２０２は、認識処理１０１の認識結果に応じて合成用画像記憶部１０７に格納してある合成用画像１０７ａを選択する。そして、画像合成処理部２０３は、合成用画像決定処理部２０２で選択された合成用画像と認識処理２０１で認識処理に用いられた間引き画像の派生元である入力画像とを合成して合成画像を生成する。記憶処理部２０４は、画像合成処理部１０３で得られた合成画像をＥＥＰＲＯＭ７０６に記憶する。表示処理部２０５は、合成された画像を表示する。

なお、上記解析における動作認識では、ポーズなどある瞬間の特定身体部位の形状に基づいて認識を行ってもよいし、身振りや手振りなど連続した一連の動作に基づいて認識を行ってもよい。また、表情認識に関しては喜怒哀楽の他の表情を認識するようにしても良い。表情認識、動作認識について以下、より詳細に説明する。

表情認識としては、例えば、テンプレートマッチングなどを用いることにより目・口・顔の中心位置を認識した後、これらの目・口位置から夫々の目・口位置の周辺範囲内で目尻・目頭・口端点など複数の特徴点を抽出し、“人間とコンピュ−タによる顔表情の認識−コンピュータによる顔表情認識技術(２):顔面の表情動作の認識−”（電子情報通信学会誌 Vol.85 No.12 pp.936-941 Dec.2002）で記述されているように、顔の造作の形状や配置の変化を記述する特徴パラメータを算出し、この特徴パラメータを入力とする入力層と、P.Ekman and W.V.Friesenの“Facial Action Coding System(FACS)”（Consulting Psychologists Press,1978）で提唱されているAction Unitの検出の有無を出力とするニューラルネットワークを用意して表情を認識する方法があげられる。

動作認識として、瞬間の特定身体部位の形状に基づいて認識を行う方法は例えば次のようにして実現できる。例えば、図３の被写体３０１が手のポーズ３０２を行った状態を検出する場合を考える。この場合、人間の顔が検出された位置を基準としてその周辺範囲を、手のポーズを検出するテンプレートを用いて被写体の手のポーズ３０２を認識する方法があげられる。また、身振りや手振りなどの一連動作に基づく動作認識としては、“動き変化に基づくView-based Aspect Modelによる動作認識”（電子情報通信学会誌 Vol.J84-D2 No.10 pp.2212-2223 Oct.2001）などがある。なお、認識対象とする表情や動作はここで述べられている以外のものでもよいし、また、認識方法はここで述べられている以外の方法を用いても良い。

認識処理部２０１は、以上のような認識処理を実行することにより、画像入力部２００から入力された画像のカテゴリを決定する。例えば、表情認識により笑顔が検出されれば「笑顔表情」の画像というように、図８の左側示されるカテゴリが決定される。なお、いずれのカテゴリにも分類されない場合もありうる。

次に、合成用画像決定処理部２０２について詳述する。合成用画像記憶部１０７には、合成用画像１０７ａとして、背景画像、物体画像、表情表示画像、装身画像、毛髪画像など、様々な合成用画像が格納されている。なお、物体画像とは赤フレーム眼鏡や黄色帽子、服装などの画像である。表情表示画像とは、例えば図４に示すような怒り表情を表すシワ４０１、悲しみを表す涙の形の画像４０５、忙しそう、苦しそうにしている時の汗などの形をした画像（不図示）など、特定の表情を表す画像の生成に用いられる画像のことである。装身画像とは、図４のピアス４０４のように身体に身に付けるアクセサリー等の装着物画像のことである。毛髪画像とは、図４のカツラ４０２やヒゲ４０３のように毛髪を表す画像のことである。またここで格納を行う合成用画像データはこれらに限定されるわけではない。

以上のような各合成画像は、テーブル１０７ｂによって各カテゴリに対応付けて格納される。例えば図８に示すように、赤フレーム眼鏡画像及び黄色帽子画像は「笑顔表情」のカテゴリに対応付けられて格納される。合成用画像決定処理部２０２は、認識処理部２０１で得られた表情認識結果及び動作認識結果と、画像合成処理部２０３で得られた顔の向きやサイズの情報に基づいて、テーブル１０７ｂを検索して合成に用いる合成用画像を決定する。なお、本説明及び図において、「赤フレーム眼鏡画像」、「黄色帽子画像」とあるのは、ある特定の画像データであり、テーブル１０７ｂにはそれらが画像データを特定するＩＤ（例えばファイル名）が保持されることになる。後述のように、顔の方向やサイズに応じて画像を選択できる場合は、例えば「赤フレーム眼鏡画像」に対して複数の画像データが対応することになる。

画像合成処理部２０３は、合成用画像決定処理部２０２で決定された合成用画像と、認識処理部２０１へ提供され、そのカテゴリが判定された画像（例えば、特定の表情やポーズをした人物画像）を用いて合成画像を作成する。画像合成処理部２０３による画像の合成方法について図５のフローチャートを参照して説明する。

図５の処理は所定の認識結果、即ちテーブル１０７ｂに登録されたカテゴリのうちのいずれに属しているかの認識結果が得られた場合に起動される。まず、ステップＳ５００において、認識処理で用いた目、口、肌色情報などを用いて顔領域を抽出する。そして、ステップＳ５０１において、抽出された顔領域と認識処理で得られた眼、口、顔の位置及び特徴点を用いて顔の向き及びサイズを判定する。上述したように、顔の向きやサイズを合成用画像決定処理部２０２に提供することにより、認識結果と、顔の向きやサイズとに応じて合成用画像が決定される（ステップＳ５０２）。その後、ステップＳ５０３において、合成用画像決定処理部２０２で選択された合成用画像と認識処理部２０１からの合成元画像を位置合わせし、ステップＳ５０４で両画像を合成する。

ステップＳ５００における顔領域抽出では、例えば、図６の入力画像６００から顔の輪郭６０１の抽出を行うことにより顔領域のみを切り出す。なお、目や口の位置などは認識処理部２０１において、肌色領域内で目、口等のテンプレートとそれら候補の空間的配置関係より検出されている。よって、ステップＳ５００では、これらの位置を用いて顔輪郭抽出を行う。顔輪郭抽出法は“ラプラス−ガウスフィルタを用いた多値画像輪郭抽出法”（電子情報通信学会誌 Vol.J85-D2 No.10 pp.1503-1512 Oct,2002）や“顔の軸対称性を考慮した顔輪郭の自動抽出”（電子情報通信学会誌Vol.J80-D2 No.8 pp.2178-2185 Aug.1997）などを用いることにより抽出することができる。

また、ステップＳ５０１における、顔の向き・サイズ判定では、認識処理部２０１において決定されている眼・口・顔の中心位置、肌色領域、目尻・目頭・口端点など複数の特徴点の位置を用いて、それら眼・口・顔の中心位置や特徴点などの位置関係、眼・口・顔の中心間距離、特徴点間距離から顔の向きや顔のサイズを決定することができる。ただし、顔の向き・サイズ判定は、これらの方法以外の方法を用いても良いことはいうまでもない。

ステップＳ５０２における合成用画像の決定処理は、認識処理部２０１での認識処理結果から図８のように合成用画像を選択する際にテーブルを用いて所定の合成画像を選択し、その後、更にステップＳ５０１による顔の向き・サイズ判定処理の結果を用いて、判定されたサイズ・顔の向きに応じた合成用画像を合成用画像１０７ａから決定する。つまり、合成画像記憶部１０７には１種類の画像（例えば、黄色帽子など）に対してサイズ・向きに応じた複数枚の合成用画像を格納してあり、認識処理部２０１による認識処理結果と（画像のカテゴリ）と、画像合成処理部２０３による顔の向き・サイズに応じて使用すべき合成用画像を特定する。

なお、同一の様々な合成用画像を格納しておくのではなくて、合成用画像をワイヤーフレームモデルで構成しておき、検出された顔の向きを用いて回転させ、回転させたモデルから合成用画像を作成し、この合成用画像を検出された顔サイズに応じて拡大・縮小するといったような、画像の変形処理を行うことによって顔の向きやサイズに適応した合成用画像を作成するようにしてもよい。また、合成用画像選択にはテーブル以外の方法を用いても良い。

ステップＳ５０３における位置合わせ処理では、以上のようにして決定された合成用画像と合成元画像とを合成するための位置合わせを行う。例えば、図７に示すように、決定された合成用画像７０６と顔領域を含む合成元画像７０１との位置合わせの一例について説明する。例えば、図９に示すように眼９００の右端点特徴点９０６、下まぶた特徴点９０７、左端点特徴点９０８、上まぶた特徴点９０９と、眼鏡フレームの右フレーム特徴点９０２、下フレーム特徴点９０３、左フレーム特徴点９０４、上フレーム特徴点９０５を抽出する。そして、眼鏡の上フレーム特徴点９０５と眼の上まぶた特徴点９０９と眼の下まぶた特徴点９０７と眼鏡の下フレーム特徴点９０３が同一直線上に、かつ、眼鏡の左フレーム特徴点９０４と眼の左端点特徴点９０８と右端点特徴点９０６と眼鏡フレームの右フレーム特徴点９０２が同一直線上になるように位置設定を行う。なお、位置合わせは、この方法以外の方法を用いても良いことは明らかであろう。

ステップＳ５０４では、以上のような位置合わせ結果に基づいて、合成元画像と合成用画像の合成を行う。例えば、図７の合成元である人物画像７０１と眼鏡の合成用画像７０２を用いて画像７０３のような合成画像を作成できる。

また、「悲しみ表情」が検出された場合は、図８のテーブル１０７ｂにより涙画像が合成用画像として選択され図４の（ｄ）に示すように合成される。このように表情表示画像の涙画像を合成する際には、検出された目の位置を基準として所定範囲内で目尻検出用テンプレートを用いて目尻を検出し、検出された目尻付近に表情表示画像である涙画像を合成する方法などがあげられる。なお、顔領域抽出方法や画像合成方法は上記の手法に限られるわけではなく他の方法を用いても良い。更に、顔画像と服装画像の合成を、例えば、特許文献４の「試着シミュレーションシステム」に記載されているように、図９の服飾画像３０２に顔抽出画像３０１を合成することにより合成画像３０３を得ることも可能である。

図２に戻り、記憶処理部２０４では、画像合成処理部２０３で作成された合成画像をメモリに記憶する。本実施形態ではＥＥＰＲＯＭ１０６に記憶するものとするが、ＥＥＰＲＯＭ１０６に限定されるものではなく、ハードディスク等に記憶してもよいことはいうまでもない。表示処理部２０５は、記憶処理部２０４でＥＥＰＲＯＭ１０６に記憶された合成画像を表示する。表示方法は、例えば、サムネイルで複数の合成画像を表示する方法やサムネイル画像の１枚を選択することによって拡大表示する方法などがあるが、この表示方法に関してもこれらに限定するわけではない。

以上説明した第１実施形態の画像合成処理について、図１０のフローチャートを参照して更に説明する。

ステップＳ１０００では、画像入力部２００により、映像入力部１０８（カメラ）からディジタル画像を得る。ステップＳ１００１では、認識処理部２０１が、ステップＳ１０００で得られたディジタル画像を用いて表情及び動作の認識処理を行う。この認識処理の結果、テーブル１０７ｂに用意されたカテゴリのいずれかに属する表情或いは動作が認識されたならば、ステップＳ１００３へ進み、合成用画像決定処理部２０２により認識結果に対応した合成用画像が決定される。用意されたカテゴリに属する認識結果が得られなかった場合は、ステップＳ１００２からステップＳ１０００に戻り、次の画像（次フレーム画像）について処理を行う。ここでの認識処理としては、（１）所定の全ての認識処理を行なって、その結果から用意されたカテゴリのいずれに属するかを判断してもよいし、（２）用意されたカテゴリ毎に、そのカテゴリに属するか否かの認識を行なうようにしてもよい。(１）の場合、例えば、所定の全ての認識処理をお子案った結果、笑顔とピースポーズが認識された場合には、笑顔とピースポーズに対応したカテゴリを決定することになる。また（２）の場合は、例えば全てのシーンカテゴリにに対して各シーンカテゴリ用に用意された認識処理を行うことになる。

ステップＳ１００４では、画像合成処理部２０３により、表情または動作を認識した画像と認識結果に対応した合成用画像を合成する画像合成処理が行われる。なお、上述したように、画像合成処理部２０３において顔の向きやサイズが決定され、これに対応した合成用画像が選択されるか、画像変形により適応した合成用画像が生成される。ステップＳ１００５では、機構処理部２０４により、ステップＳ１００４で得られた合成画像をフラッシュメモリ等のメモリに一時的に記憶させる。そして、ステップＳ１００６において、ステップＳ１００４で得られた合成画像をディスプレイ等の表示部１０５に表示する（表示処理部２０５）。

以上説明したように、第１実施形態によれば、ユーザの表情や動作を認識することによって、適切な合成元の撮影画像を容易に取得することができる。また、認識処理部２０１による認識結果に応じて服や眼鏡などの合成用画像を選択するので、ユーザに様々な状況に応じた合成画像を提供できる。

＜第２実施形態＞
上記第１実施形態では、入力された合成元画像のカテゴリを認識し、認識されたカテゴリに対応する合成用画像を特定して合成を行い、合成画像を得た。第２実施形態では、ユーザが合成元画像のカテゴリと合成用画像との組み合わせをシーンカテゴリとして予め設定（例えば、私生活シーンは合成元画像は笑顔画像、合成用画像は赤い服と赤い眼鏡の組み合わせするというように設定しておく）し、所望のシーンを選択することであらかじめ設定された夫々のシーンカテゴリに応じた合成画像を提供可能とする。

図１１は、第２実施形態による画像合成処理を示す機能ブロック図である。また、第２実施形態による画像合成装置のハードウェア構成は図１と同じである。図１１において画像入力部１１００は、第１実施形態の画像入力部２０１と同様に、映像入力部１０８と映像入力インターフェイス１０９を介してディジタル画像を得る。シーン選択部１０１１は、あらかじめユーザによってどのようなシーンカテゴリの合成画像を生成するか選択する。上述したように、各シーンには合成元画像のカテゴリ（笑顔表情、ピースポーズ等）と、これに対応する合成用画像との組み合わせが規定されている。

認識処理部１１０２は、画像入力部１１００から提供された画像を解析（喜怒哀楽、目瞑りなどの表情認識や、ポーズ、手振り、身振りなどの動作認識を実行）し、シーン選択部１１０１においてユーザが選択したシーンに対応する合成元画像のカテゴリに属するかどうかを判定する。なお、この画像の解析、カテゴリの判定については第１実施形態（認識処理部２０１）と同様である。入力された画像がユーザーが選択したシーンに対応するカテゴリに属すると判定された場合は、その画像を合成元画像として画像合成処理部１１０４へ提供する。

一方、合成用画像決定処理部１１０３は、テーブル１０７ｃを参照して、シーン選択部１１０１で選択されたシーンに対応する合成用画像を選択、決定する。テーブル１０７ｃは、各シーンに対応する合成元画像のカテゴリ及び合成用画像が登録されており、シーン選択部１１０１で選択されたシーンカテゴリに対応した合成用画像を容易に検索することができる。

画像合成処理部１１０４は、選択されたシーンカテゴリに対応する画像として提供された画像を合成元画像とし、この合成元画像に合成用画像決定処理部１１０３で決定された合成用画像を合成する。なお、画像合成処理部１１０４において検出された顔の方向やサイズに応じた合成用画像の変形（或いは絞込み）は第１実施形態（画像合成処理部２０３）と同様である。なお、例えば眼鏡店のように、眼鏡画像を合成用画像に用いることが予め決まっているような場合は、上記シーン選択の構成はなくてもよいであろう。また、シーン選択がある場合でもない場合でも、所望の画像を選択（例えば複数種類の眼鏡の画像から所望の眼鏡画像を選択）できるようにしてもよいことは明らかである。

記憶処理部１１０５及び表示処理部１１０６は第１実施形態の記憶処理部２０４及び表示処理部２０５と同様である。すなわち、記憶処理部１１０５は画像合成処理部１１０４で合成された画像をＥＥＰＲＯＭ１０６に記憶し、表示処理部１１０６は合成された画像を表示部１０５に表示する。

上述したように、シーン選択部１１０１は、ユーザにシーンカテゴリを選択させるユーザインターフェースを提供する。そして、ユーザがあるシーンカテゴリを選択すると、合成用画像決定処理部１１０３はその選択されたシーンカテゴリに対応した合成用画像を決定するとともに、認識処理部１１０２では採用すべき認識処理（選択されたシーンカテゴリに属するカテゴリの画像かどうかを判断するための処理）が決定される。なお、シーンカテゴリの種類や、夫々のシーンカテゴリに対応した認識処理、選択する合成用画像は夫々ルックアップテーブル形式でシーンカテゴリごとに設定されて、テーブル１０７ｃとしてメモリ等に保持されている。例えば、ビジネスシーンのシーンカテゴリには、画像のカテゴリとして「無表情」が、合成用画像としてスーツの服装画像が設定されており、私生活シーンのシーンカテゴリには、画像のカテゴリとして笑顔表情が、合成用画像として赤い服の服装画像と赤いフレームの眼鏡画像が設定されている。認識処理部１１０２は、選択されたシーンカテゴリに属する画像のカテゴリに応じて認識処理を設定する。この認識処理としてはカテゴリ毎にそのカテゴリに属するか否かの認識処理が行なわれるものとする。

また、各シーンカテゴリの内容設定、つまりテーブル１０７ｃの内容等はユーザによって設定可能であり、夫々のシーンカテゴリ毎に、画像のカテゴリ（表情、動作）と合成用画像（服装、眼鏡、帽子、背景画像）の組み合わせを設定できる。１つのシーンカテゴリに複数の画像のカテゴリと複数の合成用画像の組み合わせを登録することも可能である。また、上述したビジネスシーンや私生活シーンの内容変更以外に新たなシーンカテゴリを追加することもできる。例えば、新たに、「悲しみシーンカテゴリ」を追加し、画像のカテゴリとして「悲しみ表情」を、合成用画像として「涙画像」を合成する用に設定することもできる。更に、カテゴリ毎に行なうべき認識処理をユーザが設定することもできる。なお、合成用画像の選択はテーブルを参照する以外の方法を用いても良いことは言うまでもない。

テーブルを参照する以外の方法としては、例えば、図１７のように、入力層、中間層、出力層から構成されるニューラルネットワークを用いる方法があり、このネットワークは、入力層は認識処理結果を示すニューロン、出力層は選択される合成用画像ニューロンを示すような構成としており、入力層及び出力層は0もしくは1を入出力する。入力層の各ニューロンの入力値(0or1)に対する出力層での各ニューロン出力は、あらかじめ教師データを与えることによって学習しておく。つまり、笑顔表情ニューロンに1を入力した場合に、出力層での青色シャツニューロン及び赤フレーム眼鏡ニューロン出力で1を得るためには、教師データとして入力層の笑顔表情ニューロンに教師データ1、その他の入力層ニューロンに教師データ0、出力層の青色シャツニューロン及び赤フレーム眼鏡に教師データ1を与えることによって入力層、中間層、出力層間の結合を学習させる。他の認識処理結果、例えば、悲しみ表情に関しても同様に悲しみ表情ニューロンに1を入力した場合には、出力層の涙ニューロンが1、その他のニューロン出力は0となるように学習をする。入力層及び出力層で1と入出力する数は、学習させるだけで複数でも構わない。このように、認識処理結果で例えば笑顔表情が認識された場合には、ニューラルネットワークの入力層の笑顔表情ニューロンに1を入力することで、テーブルを参照するのと同じように合成用画像として青色シャツ及び赤フレーム眼鏡を選択することができる。

また、統計データや事前情報等から生成した確率モデルなどを用いて、例えば、笑顔表情である場合に夫々の合成用画像（青色シャツ、赤フレーム眼鏡…）である確率を算出し、算出された確率値を用いることにより合成用画像を決定する方法などもあり、この確率モデルの代表としてベイジアンネットワークがある。

図１２は第２実施形態による画像合成処理を説明するフローチャートである。

まず、ステップＳ１２００において、シーン選択部１１０１により、合成すべき画像のシーンカテゴリを選択する。上述したように、シーンカテゴリには、特定の表情或いは特定の動作、特定の服装などの身なり、特定の背景等の夫々の組み合わせが１つの場面として定義され、ある特定のシーンカテゴリを構成している。ステップＳ１２０１では、画像入力部１１００により、カメラ等からディジタル画像を得る（ステップＳ１０００と同様）。ステップＳ１２０２では、ステップＳ１２００で選択されたシーンカテゴリに応じた認識処理が行われる。例えば、ユーザがビジネスシーンを選択した場合、あらかじめビジネスシーンには画像のカテゴリとして「無表情」が設定されているので、認識処理部１１０２は表情認識により「無表情」か否かを認識する処理を行う。

ステップＳ１２０３では、ステップＳ１２０１で入力された画像が、ステップＳ１２００で選択したシーンカテゴリに対応した画像のカテゴリに属するかどうかを、ステップＳ１２０２による認識処理の結果に基づいて判断する。対応するカテゴリに属すると判断された場合（例えば、ビジネスシーンが設定され、入力された画像が「無表情」と判断された場合）はステップＳ１２０４に進む。入力された画像のカテゴリが選択されたシーンカテゴリに対応していない場合は、ステップＳ１２０１へ戻り、次の入力画像を処理する。

ステップＳ１２０４では、合成用画像決定処理部１１０３により、ステップＳ１２００で選択されたシーンカテゴリに対応した合成用画像が決定される。つまり、ユーザがビジネスシーンを選択した場合には、合成用画像としてビジネススーツの服装画像が選択されることになる。ステップＳ１２０５では、画像合成処理部１１０４により、認識処理によって対応する画像カテゴリに属すると判定された入力画像と、ステップＳ１２０４で決定された合成用画像を用いて合成処理を行う。なお、画像合成処理部１１０４による、顔の方向、サイズ判定に基づく合成用画像の変形、或いは最終選択は第１実施形態（画像合成処理部２０３）と同様である。

その後、ステップＳ１２０６では、合成された画像をフラッシュメモリ等に記憶し、ステップＳ１２０７では合成画像をディスプレイ（表示部１０５）などに表示する。

以上のように、第２実施形態によれば、ユーザが合成元画像のカテゴリと合成用画像との組み合わせをシーンカテゴリとして予め設定（例えば、私生活シーンは合成元画像は笑顔画像、合成用画像は赤い服と赤い眼鏡の組み合わせするというように設定しておく）し、所望のシーンカテゴリを選択することで、選択されたシーンカテゴリに応じた合成画像を提供することができる。従って、例えば、ユーザをビデオカメラ等で撮影しつづけるという操作により、選択されたシーンカテゴリに適した合成元画像が自動的に抽出（生成）され、合成用画像と合成されることになり、適切な合成元画像を容易に得ることができる。

更に、ユーザ自身が各シーンカテゴリの設定内容を変更、追加できるので、ユーザの想定した所望の合成画像を容易に得ることができる。

＜第３実施形態＞
第３実施形態では、カメラ機能を持つ携帯電話機等への適用例を説明する。第３実施形態では第２実施形態の構成を携帯電話機へ適用する場合を説明するが、第１実施形態の構成を携帯電話機へ適用することも可能である。

図１３は第３実施形態による画像合成処理装置のハードウェア構成を示すブロック図であり、例えば、カメラ機能を持つ携帯電話等のハードウェアに搭載されている。図１で示した構成に加えて操作部１３０１と送受信部１３０２が具備されている。操作部１３０１は、ユーザがシーンカテゴリを選択したり、各シーンカテゴリの内容設定（例えば、「笑顔」シーンカテゴリに、画像のカテゴリとして「笑顔表情」を、合成用画像として「赤いＴシャツ」に設定するなどの設定）を行うためのユーザインターフェースを提供する。送受信部１３０２は、合成画像の送信や、合成画像記憶部１０７に格納すべき画像を受信する。また、送受信部１３０２は、外部機器（例えば、他の携帯電話など）で得られたディジタル画像（外部機器に搭載されているカメラや外部機器でインターネット（図１５の１５０３）を用いてダウンロードすることによって得られたディジタル画像）を映像入力部１０８及び映像インターフェイス部１０９から得られる画像データと同様に入力画像として用いるために、画像受信することも可能である。例えば、図１５の他のカメラ付き携帯電話１５００で撮影されたディジタル画像を図１５の画像合成処理機能を含むカメラ付き携帯電話１５０１（図１４で後述する処理機能を有する携帯電話）の送受信部１３０２で受信し、この受信されたディジタル画像を認識処理を行うための入力画像として用いることができる。なお、図１５の画像合成処理機能を含むカメラ付き携帯電話１５０１もインターネット（図１５の１５０２）等を用いてディジタル画像をダウンロードすることによってディジタル画像を取得しても良い。

なお、本実施例３において記載されている外部機器は携帯電話に限定しているわけではなく、通信機能を有する他の機器（無線或いは有線）を用いても良い。また、本発明に関わる処理の全てをソフトウェアにより実現する。

図１４は、第３実施形態による画像合成処理の機能構成を示すブロック図である。図１４に示される１４００〜１４０６の各部の機能は、第２実施形態（図１１）の１１００〜１１０６で示される各部の機能とほぼ同じである。ただし、画像入力部１４００は、携帯電話機等に搭載されているカメラ等の映像入力部１０８と映像入力インターフェイス１０９を介してディジタル画像を得る。また、シーン選択部１４０１では、携帯電話等に搭載されている操作ボタンからなる操作部１３０１を用いてユーザが撮影シーンを選択するためのユーザインターフェースが提供される。

シーン選択部１４０１で選択されたシーンに応じて認識する動作や表情が決定され、認識処理部１４０２では、ＣＰＵ１００によって表情認識や動作認識が行われる。更に、合成用画像記憶部１０７には、送受信部１３０２介して、或いは携帯電話に搭載されているカメラを用いて、予め合成用画像１０７ａとして取得しておいた画像が格納されている。合成用画像決定処理部１４０３はシーン選択部１４０１で選択されたシーンカテゴリに対応した合成用画像を合成用画像１０７ａより取得する。認識処理部１４０２は、入力された画像が選択されたシーンカテゴリに対応する画像カテゴリに属するか否かを認識する。シーンカテゴリに対応する画像カテゴリに属すると判定された画像は、画像合成処理部１４０４に提供され、合成用画像決定処理部１４０３で取得された合成用画像と合成される。記憶処理部１４０５は、画像合成処理部１４０４で合成された画像をＥＥＰＲＯＭ１０６に記憶し、表示処理部１４０６は合成された画像を表示器１０５により表示する。さらに送受信処理部１４０７は、合成画像を外部機器へ送信する。なお、上述の送受信部１３０２を介した合成用画像の受信処理も送受信処理部１４０７が行うものとする。

送受信処理部は、外部機器、例えば、携帯電話、ＰＤＡ、パーソナルコンピュータ等通信機能を持つ外部機器に作成した合成データを送信したり、それら外部機器から合成用画像記憶部１０７に格納するべき合成用画像を受信するために用いる。更に、送受信処理部１４０７は外部機器及びインターネットを用いることによってディジタル画像を受信し、入力画像処理部１４００の入力画像とするために用いることもできる。

図２０は、第３実施形態の画像合成処理を説明するフローチャートである。なお、ステップＳ１６００〜Ｓ１６０７までの処理は第２実施形態（図１２）のステップＳ１２００からＳ１２０７の処理と同様である。

ユーザは、予めいくつかのシーンカテゴリ毎に夫々の内容を設定しておく。ステップＳ１６００ではその設定したシーンカテゴリの中から１つ、もしくは複数のシーンカテゴリの選択を行う。シーンカテゴリについては上述したとおりである。ステップＳ１６０１では、カメラ等からディジタル画像を得る。ステップＳ１６０２では、ステップＳ１６００で選択されたシーンカテゴリに応じた認識処理が行われる。例えば、ユーザがあらかじめ私生活シーンを「笑顔表情（画像カテゴリ）」で「私服の服装画像（合成用画像）」と設定した場合には、認識処理においては笑顔表情を認識する処理が行われる。ステップＳ１６０３では、選択したシーンカテゴリに対応した表情または動作が認識された場合、つまりここでは笑顔表情が認識された場合にはステップＳ１６０４に進む。一方、選択したシーンカテゴリに対応した表情または動作が認識されない場合には選択したシーンカテゴリに対応した表情または動作が認識されるまで認識処理を繰り返す。

ステップＳ１６０４では、ステップＳ１６００で選択されたシーンカテゴリに対応した合成用画像が決定される。つまり、上記私生活シーンのシーンカテゴリでは、私服の服装画像が合成用画像として選択される。ステップＳ１６０５では、認識処理によって認識された画像と合成用画像を用いて合成処理を行い、ステップＳ１６０６では、合成された画像をフラッシュメモリ等に記憶し、ステップＳ１６０７では合成画像を表示器１０５などに表示する。ステップＳ１６０８で、ステップＳ１６０５で得られた合成画像を外部機器へ送信するならばステップＳ１６０９で合成画像を外部機器に送信を行うが、外部機器へ送信しないならば送信せずに終了する。

以上の各実施例で示した認識処理や合成処理の一部または全てを専用のプロセッサ、ＡＳＩＣ、ＦＰＧＡ等を用いて実現しても良い。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１実施形態による画像合成処理装置のハードウェア構成を示したブロック図である。 第１実施形態による画像合成処理の機能構成を示すブロック図である。 人物がピースポーズを行った場合の画像例を示した図である。 顔画像への合成画像の例を示した図である。 画像合成処理の手順を説明したフローチャートである。 人物の顔領域を抽出し、服装画像を合成した画像を示した図である。 人物に眼鏡画像を合成することを示す図である。 画像のカテゴリと合成用画像を対応付けるテーブルを説明する図である。 眼特徴点と眼鏡特徴点による画像の位置合わせを説明する図である。 第１実施形態による画像合成処理の全体を説明するフローチャートである。 第２実施形態による画像合成処理の機能構成を示すブロック図である。 第２実施形態による画像合成処理の全体を説明するフローチャートである。 第３実施形態による画像合成処理装置のハードウェア構成を示したブロック図である。 第３実施形態による画像合成処理の機能構成を示すブロック図である。 第３実施形態における画像データの通信状態を説明する図である。 第３実施形態による画像合成処理の全体を説明するフローチャートである。 画像のカテゴリと合成用画像の対応付けをニューラルネットワークにより行う方法を説明する図である。

Claims (13)

1. ディジタル画像を取得する取得手段と、
   前記取得手段により取得されたディジタル画像を解析して該ディジタル画像中の被写体の状態を認識し、認識結果に基づいて画像のカテゴリを決定する認識手段と、
   前記決定手段で決定された画像カテゴリに基づいて合成用画像を選択する選択手段と、
   前記選択手段で選択された合成用画像を前記ディジタル画像に合成する合成手段とを備えることを特徴とする画像合成装置。
2. ディジタル画像を取得する取得手段と、
   取得されたディジタル画像を解析し、該ディジタル画像中の被写体の状態に基づいて当該ディジタル画像のカテゴリが所定のシーンカテゴリに分類されるか否かを判定する認識手段と、
   前記所定のシーンカテゴリに対応付けて登録されている合成用画像を選択する選択手段と、
   前記判定手段により前記ディジタル画像が所定のシーンカテゴリに分類されると判定された場合、前記選択手段で選択された合成用画像を該ディジタル画像に合成する合成手段とを備えることを特徴とする画像合成装置。
3. 前記認識処理手段は、前記被写体としての人物の所定の表情及び／又は動作を認識することを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記ディジタル画像より、前記被写体としての人物の顔の向き及びサイズを検出する検出手段をさらに備え、
   前記選択手段は、前記所定のシーンカテゴリと、前記検出手段で検出された顔の向きに対応した合成用画像を選択することを特徴とする請求項１又は２に記載の画像合成装置。
5. 前記ディジタル画像より、前記被写体としての人物の顔の向き及びサイズを検出する検出手段をさらに備え、
   前記画像合成手段は、前記選択手段で選択された合成用画像を前記検出手段で検出された顔の向き及びサイズに基づいて変形し、前記ディジタル画像と合成することを特徴とする請求項１又は２に記載の画像合成装置。
6. 前記選択手段によって選択される合成用画像として、背景画像、服装、眼鏡などの物体画像、涙の形状など表情を表す表情表示画像、アクセサリーなどの装身画像、髪やヒゲなどの毛髪画像の少なくともいずれかが含まれることを特徴とする請求項１又は２に記載の画像合成装置。
7. 前記所定のシーンカテゴリを指定する指定手段をさらに備えることを特徴とする請求項２に記載の画像合成装置。
8. 画像のカテゴリと合成用画像を任意に対応付けてシーンカテゴリとして登録する登録手段をさらに備え、
   前記指定手段は、前記登録手段で登録されたシーンカテゴリから所望のシーンカテゴリを指定することを特徴とする請求項７に記載の画像合成装置。
9. 前記合成手段で得られた画像を外部装置へ送信する通信手段をさらに備えることを特徴とする請求項１又は２に記載の画像合成装置。
10. 前記通信手段は、さらに前記合成用画像を受信可能であることを特徴とする請求項９に記載の画像合成装置。
11. 前記通信手段は、さらに前記取得手段として機能可能であることを特徴とする請求項９に記載の画像合成装置。
12. ディジタル画像を取得する取得工程と、
    前記取得工程により取得されたディジタル画像を解析して該ディジタル画像中の被写体の状態を認識し、認識結果に基づいて画像のカテゴリを決定する認識工程と、
    前記決定工程で決定された画像カテゴリに基づいて合成用画像を選択する選択工程と、
    前記選択工程で選択された合成用画像を前記ディジタル画像に合成する合成工程とを備えることを特徴とする画像合成方法。
13. ディジタル画像を取得する取得工程と、
    取得されたディジタル画像を解析し、該ディジタル画像中の被写体の状態に基づいて当該ディジタル画像のカテゴリが所定のシーンカテゴリに分類されるか否かを判定する認識工程と、
    前記所定のシーンカテゴリに対応付けて登録されている合成用画像を選択する選択工程と、
    前記判定工程により前記ディジタル画像が所定のシーンカテゴリに分類されると判定された場合、前記選択工程で選択された合成用画像を該ディジタル画像に合成する合成工程とを備えることを特徴とする画像合成方法。

Images