JP4183536B2 - 人物画像処理方法及び装置並びにシステム - Google Patents
人物画像処理方法及び装置並びにシステム Download PDFInfo
- Publication number
- JP4183536B2 JP4183536B2 JP2003084508A JP2003084508A JP4183536B2 JP 4183536 B2 JP4183536 B2 JP 4183536B2 JP 2003084508 A JP2003084508 A JP 2003084508A JP 2003084508 A JP2003084508 A JP 2003084508A JP 4183536 B2 JP4183536 B2 JP 4183536B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- person
- background
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 30
- 239000002131 composite material Substances 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は人物画像処理方法及び装置並びにシステムに係り、特に原画像から人物画像を抽出し、この抽出した人物画像と予め準備された背景画像とを合成する技術に関する。
【０００２】
【従来の技術】
従来、原画像から人物画像を抽出する場合には、青色スクリーンを背景（ブルーバック）にして人物を撮影して原画像を取得し、色（クロマ）の違いを利用して、原画像から人物画像を抽出して別の画像に嵌め込む手法（クロマキー）が知られている。
【０００３】
また、特許文献１には、撮像画像をマトリクス状の複数のブロックに分割し、各ブロックごとにフレーム間の動きの大きさに応じて、動きの小さい背景ブロックと、動きの大きな対象ブロック（人物画像を含むブロック）とに選別する技術が開示されている。
【０００４】
【特許文献１】
特開平１０−１３７９９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、人物画像を抽出しやすいが、複雑な背景で撮影された原画像からは人物画像を良好に抽出することができないという問題がある。
【０００６】
一方、引用文献１に記載の人物画像と背景画像との選別方法は、撮像画像の各ブロックのフレーム間の動きの大きさを利用しているため、静止画又は人物が動かない場合には、人物画像（人物を含むブロック）と背景画像との選別ができないという問題がある。このように従来においては、背景を切り出しやすい単純なものに限定しており、複雑な背景は処理の対象外とされていた。
【０００７】
また、人物を撮影して得た画像の顔部分と、予め用意されている背景画像（テンプレート画像）とを合成し、得られた合成画像を利用者に提供するサービスも行われているが、かかる従来のサービスにおいては顔画像と背景画像とのつながりが不自然な合成画像が作成されることがあった。
【０００８】
本発明はこのような事情に鑑みてなされたもので、原画像に含まれる人物の顔画像と用意されている背景画像とを用いて自然な画像合成を実現することができる人物画像処理方法及び装置を提供することを目的とする。また、本発明は原画像に含まれる人物の画像を背景画像と合成し、得られた合成画像を提供するサービスの実現に好適な人物画像処理システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る人物画像処理方法は、人物が含まれている原画像から人物領域を抽出する工程と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する工程と、前記抽出された顔パーツの情報に基づき顔の向きを計測する工程であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する工程と、予め準備された背景画像を前記計測により得られた情報に基づいて変形させる工程と、前記変形させて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する工程と、を含むことを特徴とする。
【００１０】
本発明によれば、入力された原画像のデータを解析して画像内から自動的に人物領域及び目及び顔輪郭を含む顔パーツが抽出され、その抽出された顔パーツの目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きが算出される。こうして求めた顔の向きに合わせて合成用の背景画像が変形され、人物領域の画像と合成される。このように、人物画像の特徴に合わせて背景画像を修正した後、これらを合成するようにしたので人物画像部分と背景画像とが違和感なく結合され、全体的に調和した自然な印象の画像を得ることができる。
【００１１】
上記方法発明を具現化する装置を提供すべく、本発明に係る人物画像処理装置は、人物が含まれている原画像から人物領域を抽出する人物領域抽出手段と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、を備えたことを特徴とする。
また、前記顔画像計測手段は、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きと顔のサイズとを計測し、前記背景画像変形手段は、前記背景画像記憶手段から読み出した背景画像を、前記計測により得られた顔の向きと顔のサイズとに基づいて変形させることを特徴とする。
【００１２】
本発明の人物画像処理装置に原画像のデータを取り込むための画像データ入力手段としては、例えば、ＵＳＢやイーサネット或いはBluetooth などに代表される通信インターフェイス、メモリカードに代表される記録メディアから情報を読み取るメディアインターフェイスなど用いることができる。
【００１３】
また、画像合成手段で作成された合成画像を出力する出力手段としては、所定の通信方式に従ってデータを外部に送信するための通信インターフェイス、記録メディアへの書き込みを行うメディアインターフェイス、画像内容を表示する表示装置、印刷媒体に印画するプリンタなど種々の形態がある。
【００１４】
本発明に係る人物画像処理システムは、人物が含まれている原画像のデータをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される人物画像処理システムであって、前記画像処理サーバは、前記通信端末から取得した原画像から人物領域を抽出する人物領域抽出手段と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、前記画像合成手段により作成された合成画像を前記ネットワーク経由で提供する画像提供手段と、を備えたことを特徴とする。
【００１５】
画像処理サーバに原画像を入力する手段（画像データ入力手段）と画像提供手段は、ネットワーク経由でデータの送受信を行う通信手段で兼用できる。通信手段には受信手段および送信手段が含まれる。尚、画像処理サーバは、単一のコンピュータで構成されていてもよいし、複数のコンピュータで構築されたシステムであってもよい。
【００１６】
本発明によれば、人物の画像を含む画像データを通信端末から画像処理サーバに送信し、合成画像の作成を依頼する。合成に用いる背景画像のデータはシステム側で少なくとも１つ（好ましくは複数）予め用意しておいてもよいし、通信端末側から提供してもよい。システム側に複数の背景画像のデータが準備されている場合、利用者は通信端末上で背景画像を確認して所望の背景画像を選択できるような手段を設ける態様が好ましい。
【００１７】
画像処理サーバは、通信端末から送られてきた画像データを解析して人物領域及び目及び顔輪郭を含む顔パーツを抽出し、顔パーツの目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを算出する。そして、顔の向きに合わせて合成用背景画像の視点（画像角度）を変更するような画像変形を行い、背景画像を適切なものに修正する。こうして変形修正された背景画像と、抽出された人物の画像とが合成され、その処理結果画像（合成画像）が提供される。尚、画像処理サーバで作成された合成画像は、ネットワーク経由で依頼元（画像データ発信元）の通信端末に提供されてもよいし、他の通信端末やサーバなどに提供されてもよい。
【００１８】
本発明の人物画像処理システムによれば、原画像から人物領域を抽出し、人物の顔と様々な背景画像とを自然な感じで合成して返す魅力的な画像加工サービスを実現することができる。
【００１９】
本発明の一態様によれば、前記通信端末は、前記画像処理サーバで作成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えていることを特徴とする。
【００２０】
また、前記通信端末は、被写体の光学像を電気信号に変換する撮像手段を有し、該撮像手段で撮影した人物画像を含む画像データを前記通信手段から送出し得ることを特徴とする態様がある。例えば、カメラ付き携帯電話などが該当する。
【００２１】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２２】
図１は本発明に係る人物画像処理装置の要部を示す機能ブロック図である。同図に示すように、この人物画像処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１１と、顔パーツ抽出部１２と、人物領域抽出部１３と、顔の向き計測部１４と、顔のサイズ計測部１５と、背景画像変形部１６と、背景画像記憶部１７と、合成処理部１８と、画像データ出力部１９とから構成されている。
【００２３】
デジタルスチルカメラ（以下ＤＳＣと記載）やカメラ付き携帯電話等により撮影された原画像データは、画像データ入力部１１を介して人物画像処理装置１０に入力される。原画像データは、図２（Ａ）に示すように人物を任意の背景のもとで撮影して得られた人物画像データである。
【００２４】
画像データ入力部１１には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。
【００２５】
人物画像処理装置１０に入力された原画像データは、顔パーツ抽出部１２及び人物領域抽出部１３に送られ、ここで顔パーツの抽出と人物領域の抽出が行われる（図２（Ｂ）参照）。顔パーツ抽出部１２は、入力された画像データを解析して、目、鼻、唇、眉などの少なくとも１つ（好ましくは複数）の顔パーツを抽出する。抽出結果は、各顔パーツの座標でもよいし、各顔パーツを切り出した部分画像であってもよい。
【００２６】
人物領域抽出部１３は入力された原画像から人物領域と背景領域とを区別し、人物領域の部分を取り出す処理を行う。
【００２７】
図３は顔パーツ抽出部１２の構成例をブロック図である。顔パーツ抽出部１２は、特徴抽出処理部２１、マッチング処理部２２、辞書データ格納部２３、辞書データとの一致度を算出する一致度算出部２４、一致度を判定する一致度判定部２５及び顔パーツ座標確定部２６を含む。
【００２８】
特徴抽出処理部２１は、入力された画像データに対して、例えば、ウエーブレット変換を行い、適切な位置と周波数のウエーブレット係数を取り出して量子化するなど、顔パーツ抽出のための特徴抽出処理を行う。
【００２９】
辞書データ格納部２３には、事前に非常に多数のサンプル画像から上記同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データが格納されている。マッチング処理部２２は、特徴抽出処理部２１で抽出されたデータと顔パーツ辞書データとの間でマッチング処理を行う。一致度算出部２４では、特徴抽出処理を施された画像データと顔パーツ辞書データとの一致度が算出される。最も一致度の高かった画像中の位置に対象の顔パーツが存在するものとされる。
【００３０】
一致度判定部２５は、マッチング処理の結果から算出された一致度がある一定のしきい値を超えているか否かを判断する。一致度がしきい値を超えていない場合には、対象の顔パーツが存在しないと判定される。この場合、最も一致度の高かった位置を顔パーツの座標として返すとともに、確信度を示す情報（例えば、低い確信度であることを示す値「０」）を返す。
【００３１】
その一方、一致度判定部２５において一致度がしきい値を超えた場合は、対象の顔パーツが存在すると判定される。この場合、顔パーツ座標確定部２６は、最も一致度の高かった位置を顔パーツの座標として確定し、その座標情報を返すとともに、その一致度を確信度の情報として出力する。
【００３２】
一致度は、マッチング結果が良好なほど高い数値となる。そのため、一致度を用いて確信度を算出することにより、確信度を良好なパーツ抽出ができたかどうかの指標として用いることが可能となる。
【００３３】
こうして、入力された顔画像から各顔パーツの特徴点（座標や大きさなど）の情報が得られる。例えば、目、鼻、唇、眉、あごの最下点、顔輪郭の左右端点などの各座標が検出される。
【００３４】
図４は図１に示した人物領域抽出部１３の構成例を示したブロック図である。人物領域抽出部１３は、図３で説明した顔パーツ抽出部１２と兼用される顔座標検出部３１と、領域分割部３２と、確信度算出部３３と、人物領域辞書データ格納部３４と、確信度判定部３５と、人物領域確定部３６とを含む。
【００３５】
図４に示したように、入力された画像データから顔座標検出部３１において顔パーツが抽出され、顔パーツが抽出された位置が「顔」と判定される。
【００３６】
領域分割部３２では、顔座標検出の結果、顔部分と判定された位置（座標）を用いて、似た色やテクスチャをまとめて分割する領域分割処理を行う。例えば、「目の座標を含む肌色領域」を顔領域、「目のやや上にあり、黒、茶色などの領域」を髪領域とするように人物に含まれる構成要素を検出して人物領域を抽出する。
【００３７】
一方、非常に多くの人物領域画像から、目の位置および人物と背景との境界線の平均的な位置関係を示す人物領域辞書データを事前に作成しておき、この辞書データを人物領域辞書データ格納部３４に格納しておく。確信度算出部３３では、当該画像データを基に求められた人物と背景との境界線と、人物領域辞書データ格納部３４に格納されている人物と背景との境界線の平均的な位置関係とマッチング処理を行い、その一致度を算出する。一致度は、目、髪、肩などの位置関係が平均的なほど高い値になる。このように求められた一致度が人物領域抽出における確信度である。
【００３８】
確信度判定部３５では、求められた確信度が設定されたしきい値を超えていないときには画像データ内に人物領域は存在しないと判定され（確信度小に相当）、人物領域不定のため確信度が提供される。
【００３９】
また、確信度判定部３５において、確信度がしきい値を超えたときには（確信度大に相当）、最も一致度が高い領域を人物領域として確定する。この場合、人物領域確定部３６において、人物領域と背景領域とが区別され、人物領域の情報とともにその確信度の情報が出力される。
【００４０】
尚、画像内から人物領域と背景領域とを区別して抽出する方法は、種々の方法が考えられ、上述の方法に限定されない。例えば、原画像内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像から人物領域を抽出する方法や、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。
【００４１】
図１の顔パーツ抽出部１２で抽出した顔パーツの座標情報に基づき、顔の向き計測部１４において顔の向きが計算されるとともに、顔のサイズ計測部１５において顔のサイズが計算される。例えば、図５に示すように、目の中心座標と顔輪郭の端点の座標との距離ｄ1 ，ｄ2 について左右の違いを求めることで顔の方向を計算することができる。また、左右の目の中心座標を結ぶ線Ｌ1 と画面の水平基準線Ｌ2 との角度を算出するなどして顔の傾き角度θを検出することができる。顔のサイズについては、左右の目の間隔や顔輪郭の端点の座標などから求めることができる。
【００４２】
顔の向き及び顔のサイズの計測結果は図１に示した背景画像変形部１６に送られる。背景画像変形部１６では、背景画像記憶部１７から読み出した背景画像データを顔の向きや顔のサイズに合わせて変形させる処理を行う。
【００４３】
背景画像記憶部１７には、複数の背景画像データが格納されており、利用者は所定のユーザインターフェイスを介して所望の背景画像を選択することができるようになっている。もちろん、背景画像の取得方法はこの実施の形態に限定されず、人物画像と合成する背景画像を別途入力するように構成してもよい。
【００４４】
背景画像変形部１６において変形処理された背景画像と、人物領域抽出部１３において抽出された人物画像とは合成処理部１８において合成され、合成画像が生成される。
例えば、図２（Ｃ）に示すような背景画像（顔部分が抜かれた背景画像）が選択されるものとすると、図２（Ｄ）のように、人物の顔の向き及びサイズに合わせて背景画像が変形された後、原画像から抽出された人物画像（顔画像）と合成される。
【００４５】
合成処理部１８で生成された合成画像は、図１の画像データ出力部１９から出力される。出力形態には、表示装置やプリンタに画像を出力する形態、メモリカードやＣＤ−Ｒ等の記録メディアや内蔵ハードディスクなどの記憶装置にファイル形式で記録する形態、通信手段（有線、無線を問わない）を介して他の装置に転送する形態などがある。
【００４６】
上述した人物画像処理装置１０は、パーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【００４７】
図６は本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図である。
【００４８】
図６において、符号１３０はインターネット等のネットワーク１４０に接続可能なカメラ付き携帯電話であり、１５０はネットワーク１４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ１５０は、ＵＳＢ等のインターフェイスを介してＤＳＣ１５２が接続され、ＤＳＣ１５２から画像を取り込むことができるようになっている。
【００４９】
また、ネットワーク１４０には、前述した人物画像処理装置１０での画像加工と同様な画像処理を行うサービスサーバ１６０や、サービスサーバ１６０で処理された合成画像をプリント出力するプリントサーバ１７０等が接続されている。
【００５０】
サービスサーバ１６０が提供する背景画像の合成処理サービスを利用する場合には、カメラ付き携帯電話１３０やＰＣ１５０を用いてサービスサーバ１６０のホームページにアクセスし、背景画像の合成処理を依頼する画像をサービスサーバ１６０にアップロードする。また、サービスサーバ１６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。
【００５１】
サービスサーバ１６０は、図１に示した人物画像処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ１６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理したりする大容量記録装置（ストレージ）１６４とから構成されている。このサービスサーバ１６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から人物画像を抽出し、上述のように顔の向きやサイズに合わせて背景画像を変形させて、人物画像と背景画像との合成処理を行う。このようにして作成した合成画像はネットワーク１４０経由で利用者のカメラ付き携帯電話１３０やＰＣ１５０に提供される。
【００５２】
画像の提供方法としては、依頼元のユーザ端末（この場合、カメラ付き携帯電話１３０やＰＣ１５０）に画像データを送り返す態様、或いは、電子メールに添付して配信する態様がある。また、合成画像を所定の格納場所（例えば、ユーザ別に設定した専用の閲覧サイト）に格納し、そのアドレス情報（例えば、URL ）を電子メール等により通知する態様もある。この場合、ユーザは指定されたサイトにアクセスして、そこから顔表情変化画像を閲覧又はダウンロードすることができる。
【００５３】
こうして、利用者はサービスサーバ１６０で生成された合成画像をカメラ付き携帯電話１３０のディスプレイ１３１やＰＣ１５０のディスプレイ１５１によって閲覧することができる。
【００５４】
また、サービスサーバ１６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ１７０に転送する。プリントサーバ１７０は、サーバコンピュータ１７２と、プリント装置１７４とを備えており、サービスサーバ１６０から受信した合成画像に基づいてプリント装置１７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送されたりする。
【００５５】
上記の画像提供システムにおいて、さらに、顔パーツ抽出の推定成功率を表す確信度の情報を利用し、確信度が所定の判定基準値よりも低い場合には、精度の低い処理結果画像（合成画像）を提供しないなどの処理態様を採用することにより、ユーザに不快感を与えないサービスを提供することができ、全体のサービス品質を向上させることができる。
【００５６】
【発明の効果】
以上説明したように本発明に係る顔画像処理装置によれば、入力された原画像から自動的に人物領域と顔パーツを抽出して顔の向きや顔のサイズを計測し、顔の向きやサイズに合わせて背景画像を変形させて人物画像と背景画像とを合成するようにしたので、自然な印象の合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る人物画像処理装置の要部を示す機能ブロック図
【図２】本発明に係る人物画像処理方法の処理内容を説明するために用いた画像例を示す図
【図３】図１に示した顔パーツ抽出部の構成例を示す図
【図４】図１に示した人物領域抽出部の構成例を示す図
【図５】顔の計測方法を説明するために用いた図
【図６】本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図
【符号の説明】
１０…人物画像処理装置、１２…顔パーツ抽出部、１３…人物領域抽出部、１４…顔の向き計測部、１５…顔のサイズ計測部、１６…背景画像変形部、１７…背景画像記憶部、１８…合成処理部、１３０…カメラ付き携帯電話、１３１…ディスプレイ、１４０…ネットワーク、１５０…ＰＣ、１５２…ＤＳＣ、１６０…サービスサーバ、１７０…プリントサーバ
【発明の属する技術分野】
本発明は人物画像処理方法及び装置並びにシステムに係り、特に原画像から人物画像を抽出し、この抽出した人物画像と予め準備された背景画像とを合成する技術に関する。
【０００２】
【従来の技術】
従来、原画像から人物画像を抽出する場合には、青色スクリーンを背景（ブルーバック）にして人物を撮影して原画像を取得し、色（クロマ）の違いを利用して、原画像から人物画像を抽出して別の画像に嵌め込む手法（クロマキー）が知られている。
【０００３】
また、特許文献１には、撮像画像をマトリクス状の複数のブロックに分割し、各ブロックごとにフレーム間の動きの大きさに応じて、動きの小さい背景ブロックと、動きの大きな対象ブロック（人物画像を含むブロック）とに選別する技術が開示されている。
【０００４】
【特許文献１】
特開平１０−１３７９９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、人物画像を抽出しやすいが、複雑な背景で撮影された原画像からは人物画像を良好に抽出することができないという問題がある。
【０００６】
一方、引用文献１に記載の人物画像と背景画像との選別方法は、撮像画像の各ブロックのフレーム間の動きの大きさを利用しているため、静止画又は人物が動かない場合には、人物画像（人物を含むブロック）と背景画像との選別ができないという問題がある。このように従来においては、背景を切り出しやすい単純なものに限定しており、複雑な背景は処理の対象外とされていた。
【０００７】
また、人物を撮影して得た画像の顔部分と、予め用意されている背景画像（テンプレート画像）とを合成し、得られた合成画像を利用者に提供するサービスも行われているが、かかる従来のサービスにおいては顔画像と背景画像とのつながりが不自然な合成画像が作成されることがあった。
【０００８】
本発明はこのような事情に鑑みてなされたもので、原画像に含まれる人物の顔画像と用意されている背景画像とを用いて自然な画像合成を実現することができる人物画像処理方法及び装置を提供することを目的とする。また、本発明は原画像に含まれる人物の画像を背景画像と合成し、得られた合成画像を提供するサービスの実現に好適な人物画像処理システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る人物画像処理方法は、人物が含まれている原画像から人物領域を抽出する工程と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する工程と、前記抽出された顔パーツの情報に基づき顔の向きを計測する工程であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する工程と、予め準備された背景画像を前記計測により得られた情報に基づいて変形させる工程と、前記変形させて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する工程と、を含むことを特徴とする。
【００１０】
本発明によれば、入力された原画像のデータを解析して画像内から自動的に人物領域及び目及び顔輪郭を含む顔パーツが抽出され、その抽出された顔パーツの目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きが算出される。こうして求めた顔の向きに合わせて合成用の背景画像が変形され、人物領域の画像と合成される。このように、人物画像の特徴に合わせて背景画像を修正した後、これらを合成するようにしたので人物画像部分と背景画像とが違和感なく結合され、全体的に調和した自然な印象の画像を得ることができる。
【００１１】
上記方法発明を具現化する装置を提供すべく、本発明に係る人物画像処理装置は、人物が含まれている原画像から人物領域を抽出する人物領域抽出手段と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、を備えたことを特徴とする。
また、前記顔画像計測手段は、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きと顔のサイズとを計測し、前記背景画像変形手段は、前記背景画像記憶手段から読み出した背景画像を、前記計測により得られた顔の向きと顔のサイズとに基づいて変形させることを特徴とする。
【００１２】
本発明の人物画像処理装置に原画像のデータを取り込むための画像データ入力手段としては、例えば、ＵＳＢやイーサネット或いはBluetooth などに代表される通信インターフェイス、メモリカードに代表される記録メディアから情報を読み取るメディアインターフェイスなど用いることができる。
【００１３】
また、画像合成手段で作成された合成画像を出力する出力手段としては、所定の通信方式に従ってデータを外部に送信するための通信インターフェイス、記録メディアへの書き込みを行うメディアインターフェイス、画像内容を表示する表示装置、印刷媒体に印画するプリンタなど種々の形態がある。
【００１４】
本発明に係る人物画像処理システムは、人物が含まれている原画像のデータをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される人物画像処理システムであって、前記画像処理サーバは、前記通信端末から取得した原画像から人物領域を抽出する人物領域抽出手段と、前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、前記画像合成手段により作成された合成画像を前記ネットワーク経由で提供する画像提供手段と、を備えたことを特徴とする。
【００１５】
画像処理サーバに原画像を入力する手段（画像データ入力手段）と画像提供手段は、ネットワーク経由でデータの送受信を行う通信手段で兼用できる。通信手段には受信手段および送信手段が含まれる。尚、画像処理サーバは、単一のコンピュータで構成されていてもよいし、複数のコンピュータで構築されたシステムであってもよい。
【００１６】
本発明によれば、人物の画像を含む画像データを通信端末から画像処理サーバに送信し、合成画像の作成を依頼する。合成に用いる背景画像のデータはシステム側で少なくとも１つ（好ましくは複数）予め用意しておいてもよいし、通信端末側から提供してもよい。システム側に複数の背景画像のデータが準備されている場合、利用者は通信端末上で背景画像を確認して所望の背景画像を選択できるような手段を設ける態様が好ましい。
【００１７】
画像処理サーバは、通信端末から送られてきた画像データを解析して人物領域及び目及び顔輪郭を含む顔パーツを抽出し、顔パーツの目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを算出する。そして、顔の向きに合わせて合成用背景画像の視点（画像角度）を変更するような画像変形を行い、背景画像を適切なものに修正する。こうして変形修正された背景画像と、抽出された人物の画像とが合成され、その処理結果画像（合成画像）が提供される。尚、画像処理サーバで作成された合成画像は、ネットワーク経由で依頼元（画像データ発信元）の通信端末に提供されてもよいし、他の通信端末やサーバなどに提供されてもよい。
【００１８】
本発明の人物画像処理システムによれば、原画像から人物領域を抽出し、人物の顔と様々な背景画像とを自然な感じで合成して返す魅力的な画像加工サービスを実現することができる。
【００１９】
本発明の一態様によれば、前記通信端末は、前記画像処理サーバで作成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えていることを特徴とする。
【００２０】
また、前記通信端末は、被写体の光学像を電気信号に変換する撮像手段を有し、該撮像手段で撮影した人物画像を含む画像データを前記通信手段から送出し得ることを特徴とする態様がある。例えば、カメラ付き携帯電話などが該当する。
【００２１】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２２】
図１は本発明に係る人物画像処理装置の要部を示す機能ブロック図である。同図に示すように、この人物画像処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１１と、顔パーツ抽出部１２と、人物領域抽出部１３と、顔の向き計測部１４と、顔のサイズ計測部１５と、背景画像変形部１６と、背景画像記憶部１７と、合成処理部１８と、画像データ出力部１９とから構成されている。
【００２３】
デジタルスチルカメラ（以下ＤＳＣと記載）やカメラ付き携帯電話等により撮影された原画像データは、画像データ入力部１１を介して人物画像処理装置１０に入力される。原画像データは、図２（Ａ）に示すように人物を任意の背景のもとで撮影して得られた人物画像データである。
【００２４】
画像データ入力部１１には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。
【００２５】
人物画像処理装置１０に入力された原画像データは、顔パーツ抽出部１２及び人物領域抽出部１３に送られ、ここで顔パーツの抽出と人物領域の抽出が行われる（図２（Ｂ）参照）。顔パーツ抽出部１２は、入力された画像データを解析して、目、鼻、唇、眉などの少なくとも１つ（好ましくは複数）の顔パーツを抽出する。抽出結果は、各顔パーツの座標でもよいし、各顔パーツを切り出した部分画像であってもよい。
【００２６】
人物領域抽出部１３は入力された原画像から人物領域と背景領域とを区別し、人物領域の部分を取り出す処理を行う。
【００２７】
図３は顔パーツ抽出部１２の構成例をブロック図である。顔パーツ抽出部１２は、特徴抽出処理部２１、マッチング処理部２２、辞書データ格納部２３、辞書データとの一致度を算出する一致度算出部２４、一致度を判定する一致度判定部２５及び顔パーツ座標確定部２６を含む。
【００２８】
特徴抽出処理部２１は、入力された画像データに対して、例えば、ウエーブレット変換を行い、適切な位置と周波数のウエーブレット係数を取り出して量子化するなど、顔パーツ抽出のための特徴抽出処理を行う。
【００２９】
辞書データ格納部２３には、事前に非常に多数のサンプル画像から上記同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データが格納されている。マッチング処理部２２は、特徴抽出処理部２１で抽出されたデータと顔パーツ辞書データとの間でマッチング処理を行う。一致度算出部２４では、特徴抽出処理を施された画像データと顔パーツ辞書データとの一致度が算出される。最も一致度の高かった画像中の位置に対象の顔パーツが存在するものとされる。
【００３０】
一致度判定部２５は、マッチング処理の結果から算出された一致度がある一定のしきい値を超えているか否かを判断する。一致度がしきい値を超えていない場合には、対象の顔パーツが存在しないと判定される。この場合、最も一致度の高かった位置を顔パーツの座標として返すとともに、確信度を示す情報（例えば、低い確信度であることを示す値「０」）を返す。
【００３１】
その一方、一致度判定部２５において一致度がしきい値を超えた場合は、対象の顔パーツが存在すると判定される。この場合、顔パーツ座標確定部２６は、最も一致度の高かった位置を顔パーツの座標として確定し、その座標情報を返すとともに、その一致度を確信度の情報として出力する。
【００３２】
一致度は、マッチング結果が良好なほど高い数値となる。そのため、一致度を用いて確信度を算出することにより、確信度を良好なパーツ抽出ができたかどうかの指標として用いることが可能となる。
【００３３】
こうして、入力された顔画像から各顔パーツの特徴点（座標や大きさなど）の情報が得られる。例えば、目、鼻、唇、眉、あごの最下点、顔輪郭の左右端点などの各座標が検出される。
【００３４】
図４は図１に示した人物領域抽出部１３の構成例を示したブロック図である。人物領域抽出部１３は、図３で説明した顔パーツ抽出部１２と兼用される顔座標検出部３１と、領域分割部３２と、確信度算出部３３と、人物領域辞書データ格納部３４と、確信度判定部３５と、人物領域確定部３６とを含む。
【００３５】
図４に示したように、入力された画像データから顔座標検出部３１において顔パーツが抽出され、顔パーツが抽出された位置が「顔」と判定される。
【００３６】
領域分割部３２では、顔座標検出の結果、顔部分と判定された位置（座標）を用いて、似た色やテクスチャをまとめて分割する領域分割処理を行う。例えば、「目の座標を含む肌色領域」を顔領域、「目のやや上にあり、黒、茶色などの領域」を髪領域とするように人物に含まれる構成要素を検出して人物領域を抽出する。
【００３７】
一方、非常に多くの人物領域画像から、目の位置および人物と背景との境界線の平均的な位置関係を示す人物領域辞書データを事前に作成しておき、この辞書データを人物領域辞書データ格納部３４に格納しておく。確信度算出部３３では、当該画像データを基に求められた人物と背景との境界線と、人物領域辞書データ格納部３４に格納されている人物と背景との境界線の平均的な位置関係とマッチング処理を行い、その一致度を算出する。一致度は、目、髪、肩などの位置関係が平均的なほど高い値になる。このように求められた一致度が人物領域抽出における確信度である。
【００３８】
確信度判定部３５では、求められた確信度が設定されたしきい値を超えていないときには画像データ内に人物領域は存在しないと判定され（確信度小に相当）、人物領域不定のため確信度が提供される。
【００３９】
また、確信度判定部３５において、確信度がしきい値を超えたときには（確信度大に相当）、最も一致度が高い領域を人物領域として確定する。この場合、人物領域確定部３６において、人物領域と背景領域とが区別され、人物領域の情報とともにその確信度の情報が出力される。
【００４０】
尚、画像内から人物領域と背景領域とを区別して抽出する方法は、種々の方法が考えられ、上述の方法に限定されない。例えば、原画像内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像から人物領域を抽出する方法や、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。
【００４１】
図１の顔パーツ抽出部１２で抽出した顔パーツの座標情報に基づき、顔の向き計測部１４において顔の向きが計算されるとともに、顔のサイズ計測部１５において顔のサイズが計算される。例えば、図５に示すように、目の中心座標と顔輪郭の端点の座標との距離ｄ1 ，ｄ2 について左右の違いを求めることで顔の方向を計算することができる。また、左右の目の中心座標を結ぶ線Ｌ1 と画面の水平基準線Ｌ2 との角度を算出するなどして顔の傾き角度θを検出することができる。顔のサイズについては、左右の目の間隔や顔輪郭の端点の座標などから求めることができる。
【００４２】
顔の向き及び顔のサイズの計測結果は図１に示した背景画像変形部１６に送られる。背景画像変形部１６では、背景画像記憶部１７から読み出した背景画像データを顔の向きや顔のサイズに合わせて変形させる処理を行う。
【００４３】
背景画像記憶部１７には、複数の背景画像データが格納されており、利用者は所定のユーザインターフェイスを介して所望の背景画像を選択することができるようになっている。もちろん、背景画像の取得方法はこの実施の形態に限定されず、人物画像と合成する背景画像を別途入力するように構成してもよい。
【００４４】
背景画像変形部１６において変形処理された背景画像と、人物領域抽出部１３において抽出された人物画像とは合成処理部１８において合成され、合成画像が生成される。
例えば、図２（Ｃ）に示すような背景画像（顔部分が抜かれた背景画像）が選択されるものとすると、図２（Ｄ）のように、人物の顔の向き及びサイズに合わせて背景画像が変形された後、原画像から抽出された人物画像（顔画像）と合成される。
【００４５】
合成処理部１８で生成された合成画像は、図１の画像データ出力部１９から出力される。出力形態には、表示装置やプリンタに画像を出力する形態、メモリカードやＣＤ−Ｒ等の記録メディアや内蔵ハードディスクなどの記憶装置にファイル形式で記録する形態、通信手段（有線、無線を問わない）を介して他の装置に転送する形態などがある。
【００４６】
上述した人物画像処理装置１０は、パーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【００４７】
図６は本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図である。
【００４８】
図６において、符号１３０はインターネット等のネットワーク１４０に接続可能なカメラ付き携帯電話であり、１５０はネットワーク１４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ１５０は、ＵＳＢ等のインターフェイスを介してＤＳＣ１５２が接続され、ＤＳＣ１５２から画像を取り込むことができるようになっている。
【００４９】
また、ネットワーク１４０には、前述した人物画像処理装置１０での画像加工と同様な画像処理を行うサービスサーバ１６０や、サービスサーバ１６０で処理された合成画像をプリント出力するプリントサーバ１７０等が接続されている。
【００５０】
サービスサーバ１６０が提供する背景画像の合成処理サービスを利用する場合には、カメラ付き携帯電話１３０やＰＣ１５０を用いてサービスサーバ１６０のホームページにアクセスし、背景画像の合成処理を依頼する画像をサービスサーバ１６０にアップロードする。また、サービスサーバ１６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。
【００５１】
サービスサーバ１６０は、図１に示した人物画像処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ１６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理したりする大容量記録装置（ストレージ）１６４とから構成されている。このサービスサーバ１６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から人物画像を抽出し、上述のように顔の向きやサイズに合わせて背景画像を変形させて、人物画像と背景画像との合成処理を行う。このようにして作成した合成画像はネットワーク１４０経由で利用者のカメラ付き携帯電話１３０やＰＣ１５０に提供される。
【００５２】
画像の提供方法としては、依頼元のユーザ端末（この場合、カメラ付き携帯電話１３０やＰＣ１５０）に画像データを送り返す態様、或いは、電子メールに添付して配信する態様がある。また、合成画像を所定の格納場所（例えば、ユーザ別に設定した専用の閲覧サイト）に格納し、そのアドレス情報（例えば、URL ）を電子メール等により通知する態様もある。この場合、ユーザは指定されたサイトにアクセスして、そこから顔表情変化画像を閲覧又はダウンロードすることができる。
【００５３】
こうして、利用者はサービスサーバ１６０で生成された合成画像をカメラ付き携帯電話１３０のディスプレイ１３１やＰＣ１５０のディスプレイ１５１によって閲覧することができる。
【００５４】
また、サービスサーバ１６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ１７０に転送する。プリントサーバ１７０は、サーバコンピュータ１７２と、プリント装置１７４とを備えており、サービスサーバ１６０から受信した合成画像に基づいてプリント装置１７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送されたりする。
【００５５】
上記の画像提供システムにおいて、さらに、顔パーツ抽出の推定成功率を表す確信度の情報を利用し、確信度が所定の判定基準値よりも低い場合には、精度の低い処理結果画像（合成画像）を提供しないなどの処理態様を採用することにより、ユーザに不快感を与えないサービスを提供することができ、全体のサービス品質を向上させることができる。
【００５６】
【発明の効果】
以上説明したように本発明に係る顔画像処理装置によれば、入力された原画像から自動的に人物領域と顔パーツを抽出して顔の向きや顔のサイズを計測し、顔の向きやサイズに合わせて背景画像を変形させて人物画像と背景画像とを合成するようにしたので、自然な印象の合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る人物画像処理装置の要部を示す機能ブロック図
【図２】本発明に係る人物画像処理方法の処理内容を説明するために用いた画像例を示す図
【図３】図１に示した顔パーツ抽出部の構成例を示す図
【図４】図１に示した人物領域抽出部の構成例を示す図
【図５】顔の計測方法を説明するために用いた図
【図６】本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図
【符号の説明】
１０…人物画像処理装置、１２…顔パーツ抽出部、１３…人物領域抽出部、１４…顔の向き計測部、１５…顔のサイズ計測部、１６…背景画像変形部、１７…背景画像記憶部、１８…合成処理部、１３０…カメラ付き携帯電話、１３１…ディスプレイ、１４０…ネットワーク、１５０…ＰＣ、１５２…ＤＳＣ、１６０…サービスサーバ、１７０…プリントサーバ
Claims (6)
- 人物が含まれている原画像から人物領域を抽出する工程と、
前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する工程と、
前記抽出された顔パーツの情報に基づき顔の向きを計測する工程であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する工程と、
予め準備された背景画像を前記計測により得られた情報に基づいて変形させる工程と、
前記変形させて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する工程と、
を含むことを特徴とする人物画像処理方法。 - 人物が含まれている原画像から人物領域を抽出する人物領域抽出手段と、
前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、
前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、
人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、
前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、
前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、
を備えたことを特徴とする人物画像処理装置。 - 前記顔画像計測手段は、前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きと顔のサイズとを計測し、
前記背景画像変形手段は、前記背景画像記憶手段から読み出した背景画像を、前記計測により得られた顔の向きと顔のサイズとに基づいて変形させることを特徴とする請求項２記載の人物画像処理装置。 - 人物が含まれている原画像のデータをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される人物画像処理システムであって、
前記画像処理サーバは、前記通信端末から取得した原画像から人物領域を抽出する人物領域抽出手段と、
前記原画像から前記人物の目及び顔輪郭を含む顔パーツを抽出する顔パーツ抽出手段と、
前記顔パーツ抽出手段により抽出された顔パーツの情報に基づき顔の向きを計測する顔画像計測手段であって、前記抽出された目の中心座標と顔輪郭の端点の座標との距離に基づいて顔の向きを計測する顔画像計測手段と、
人物画像の背景となる背景画像のデータを記憶する背景画像記憶手段と、
前記背景画像記憶手段から読み出した背景画像を前記計測により得られた情報に基づいて変形させる背景画像変形手段と、
前記背景画像変形手段で変形処理されて得られた背景画像と前記人物領域の画像とを合成して合成画像を作成する画像合成手段と、
前記画像合成手段により作成された合成画像を前記ネットワーク経由で提供する画像提供手段と、
を備えたことを特徴とする人物画像処理システム。 - 前記通信端末は、前記画像処理サーバで作成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えていることを特徴とする請求項４記載の人物画像処理システム。
- 前記通信端末は、被写体の光学像を電気信号に変換する撮像手段を有し、該撮像手段で撮影した人物画像を含む画像データを前記通信手段から送出し得ることを特徴とする請求項４又は５記載の人物画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084508A JP4183536B2 (ja) | 2003-03-26 | 2003-03-26 | 人物画像処理方法及び装置並びにシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084508A JP4183536B2 (ja) | 2003-03-26 | 2003-03-26 | 人物画像処理方法及び装置並びにシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297274A JP2004297274A (ja) | 2004-10-21 |
| JP4183536B2 true JP4183536B2 (ja) | 2008-11-19 |
Family
ID=33399662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003084508A Expired - Fee Related JP4183536B2 (ja) | 2003-03-26 | 2003-03-26 | 人物画像処理方法及び装置並びにシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4183536B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517274A (zh) * | 2014-12-25 | 2015-04-15 | 西安电子科技大学 | 基于贪婪搜索的人脸画像合成方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100627049B1 (ko) | 2004-12-03 | 2006-09-25 | 삼성테크윈 주식회사 | 디지털 카메라에서 촬영 영상에 객체를 합성하는 장치 및방법 |
| JP4904013B2 (ja) * | 2005-04-08 | 2012-03-28 | 株式会社川島織物セルコン | 画像生成プログラムおよび画像生成装置 |
| KR101240261B1 (ko) * | 2006-02-07 | 2013-03-07 | 엘지전자 주식회사 | 이동통신 단말기의 영상 통화 장치 및 방법 |
| JP4839908B2 (ja) * | 2006-03-20 | 2011-12-21 | カシオ計算機株式会社 | 撮像装置、自動焦点調整方法、およびプログラム |
| WO2008134901A1 (en) * | 2007-05-08 | 2008-11-13 | Eidgenössische Technische Zürich | Method and system for image-based information retrieval |
| JP4861952B2 (ja) | 2007-09-28 | 2012-01-25 | 富士フイルム株式会社 | 画像処理装置及び撮像装置 |
| JP5320558B2 (ja) * | 2008-03-31 | 2013-10-23 | ネット・クレイ株式会社 | 撮影システム及び撮影方法 |
| JP5083559B2 (ja) * | 2008-06-02 | 2012-11-28 | カシオ計算機株式会社 | 画像合成装置、画像合成方法及びプログラム |
| JP5048736B2 (ja) * | 2009-09-15 | 2012-10-17 | みずほ情報総研株式会社 | 画像処理システム、画像処理方法及び画像処理プログラム |
| JP5605660B2 (ja) * | 2012-05-31 | 2014-10-15 | フリュー株式会社 | 画像提供システムおよび方法、画像提供装置、並びに画像生成装置 |
| JP6417511B2 (ja) * | 2017-02-24 | 2018-11-07 | 株式会社ミヤビカクリエイティブ | 画像生成システムおよび画像生成装置 |
| JP7296164B1 (ja) * | 2022-08-12 | 2023-06-22 | 株式会社MuuMu | 情報処理装置、方法、コンテンツ作成プログラム、およびコンテンツ再生プログラム |
-
2003
- 2003-03-26 JP JP2003084508A patent/JP4183536B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517274A (zh) * | 2014-12-25 | 2015-04-15 | 西安电子科技大学 | 基于贪婪搜索的人脸画像合成方法 |
| CN104517274B (zh) * | 2014-12-25 | 2017-06-16 | 西安电子科技大学 | 基于贪婪搜索的人脸画像合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004297274A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4344925B2 (ja) | 画像処理装置、画像処理方法およびプリントシステム | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| JP4277534B2 (ja) | 画像編集装置および画像編集方法 | |
| US7773782B2 (en) | Image output apparatus, image output method and image output program | |
| JP4795718B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP4183536B2 (ja) | 人物画像処理方法及び装置並びにシステム | |
| JP4799101B2 (ja) | 画像処理方法および装置ならびにプログラム | |
| JP4449723B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20040103111A1 (en) | Method and computer program product for determining an area of importance in an image using eye monitoring information | |
| JP2006318103A (ja) | 画像処理装置および方法並びにプログラム | |
| JP2006350498A (ja) | 画像処理装置および方法並びにプログラム | |
| JP4642695B2 (ja) | アルバム作成システム、アルバム作成方法、プログラムおよびアルバム作成装置 | |
| CN116648729A (zh) | 头像显示装置、头像生成装置以及程序 | |
| JP4710550B2 (ja) | 画像におけるコメントレイアウト | |
| JP2007226655A (ja) | 画像処理方法および装置ならびにプログラム | |
| JP2007096405A (ja) | ぶれ方向判定方法および装置ならびにプログラム | |
| JP2005086516A (ja) | 撮像装置、印刷装置、画像処理装置およびプログラム | |
| JP2005005960A (ja) | 画像処理装置および画像処理システム並びに画像処理方法 | |
| JP4055126B2 (ja) | 人物画像処理方法及び装置 | |
| JP6806955B1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN116567349A (zh) | 基于多摄像机的视频展示方法、装置及存储介质 | |
| JP2010187208A (ja) | 電子スチルカメラ | |
| CN113191322A (zh) | 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备 | |
| JP2004246673A (ja) | 顔画像処理装置及びシステム | |
| JP2004288082A (ja) | 似顔絵作成方法および似顔絵作成装置ならびにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070604 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070622 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4183536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |