JP4318825B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4318825B2 JP4318825B2 JP2000036759A JP2000036759A JP4318825B2 JP 4318825 B2 JP4318825 B2 JP 4318825B2 JP 2000036759 A JP2000036759 A JP 2000036759A JP 2000036759 A JP2000036759 A JP 2000036759A JP 4318825 B2 JP4318825 B2 JP 4318825B2
- Authority
- JP
- Japan
- Prior art keywords
- nose
- image
- color
- input
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像から３次元画像を生成する画像処理装置および画像処理方法に関し、特に、ＣＣＤカメラ等で得られた顔画像データ（２次元顔画像データ）を３次元画像とする等、数点の顔特徴点（顔特徴部分）の抽出制御を必要とする画像変換処理に関する。
【０００２】
【従来の技術】
近年、パソコンに代表される情報機器において、カメラデバイスの小型化技術の進歩や、カメラデバイス部品の低価格化などに起因し、ＣＣＤカメラを内蔵するタイプの機種が増加している。そのため、このような機能を利用して、ＣＣＤカメラで取り込んだ自分や隣人、知り合い等の２次元顔画像を元に３Ｄ人物モデルを生成する機能や、２次元顔画像を似顔絵化／アニメーション化形成する等の機能を持つＰＣアプリケーションソフトウエア等が増加しつつある。
【０００３】
これら２次元顔画像の成形技術は、従来より表情生成等をテーマとして、さまざまな研究開発がされており、３Ｄモデル生成（符号）化に関しては、例えば、目や口部分の形状変化の抽出、合成、符号化方法についての論文「形状変化の検出と３次元形状モデルに基づく顔動画像の符号化」（信学技報 IE87-101）が開示されており、また、似顔絵化／アニメーション化に関しては、例えば、人手で描いた正面顔と側面顔の似顔絵を材料として任意の方角から見た似顔絵を各個人の特徴をとらえて自動生成することを目的とした「３次元似顔絵生成方法および装置」（特開平10-74271号公報) が開示されており、また、入力された単一の画像データに基づいて画風や表情等の種別が異なる複数種の画像から単一または複数の画像を選択して生成することを目的とした「画像作成装置、画像作成方法および画像作成プログラム記録媒体」（特開平10-232950 号公報) が開示されている。
【０００４】
ところで、上記したようにＣＣＤカメラ等で得られた顔画像データ（２次元顔画像データ）を元に３Ｄ人物モデルを生成する方法や、２次元顔画像を似顔絵化／アニメーション化成形する方法においては、必ず、２次元顔画像データ内の顔特徴点の抽出が必須の構成要件となる。この顔特徴点を抽出するための概略ブロック図を図６に示す。すなわち、ＣＣＤカメラ等の原画像入力手段１０１より入力された顔画像データを特徴点抽出手段１０２に出力する。特徴点抽出手段１０２では、顔の各部（目、鼻、口等）の位置を抽出し、その抽出した各部の座標位置と原画像とを原画像成形手段１０３に出力する。ここで、特徴点抽出手段１０２による顔の各部の位置の抽出は、どのような成形をするのかによって異なる。すなわち、抽出されるデータ内容は、原画像成形手段１０３の成形内容に依存し、点ではなく領域であったり、各部の中心位置と形状とであったりする。
【０００５】
ただし、ここでは説明を容易とするために、以降の説明では「点」として説明する。また、以降の制御内容については、個々に相違するため、詳細については省略するが、例えば、３Ｄ人物モデルの場合には、以下の制御手順となる。
【０００６】
すなわち、（１）特徴点情報ならびに原画像データを元にテクスチャを生成する。（２）特徴点情報を用いてテクスチャマッピングするための３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）を生成する（標準モデルを変形して生成する）。（３）テクスチャマッピングを行う。すなわち、原画像入力手段１０１より得られた顔画像が埋め込まれた３Ｄ人物オブジェクトを符号化する。（４）３Ｄ人物オブジェクトを表示する。このような（１）〜（４）の制御手順で行われる。ここで、（１）と（２）とは一般に並列処理される。すなわち、制御に後先の順番はない。
【０００７】
【発明が解決しようとする課題】
上記した特徴点抽出手段１０２を具現化する方法として、抽出すべき特徴点を全て抽出する（これを方法１という）、抽出すべき特徴点を全てユーザに指定させる（これを方法２という）、の２種類が考えられる。
【０００８】
方法１では、一般に、（ａ）与えられた原画像データより、顔の輪郭を抽出する。（ｂ）得られた顔の輪郭領域の範囲で、各部を抽出する。の２ステップより実現することになる。ところが、（ａ）の処理において、図７に示すように、顔の輪郭領域の大きさ（左が大、右が小）や位置（左が中央、右が左端）が、極端に異なる原画像も等価に扱う必要があり、これは、抽出精度の低下や、速度パフォーマンスの低下等を引き起こす要因となる。また、顔の輪郭領域の抽出方法は、肌色部分の抽出により実現されるのが一般的（現時点では、自動抽出するためには、基本的に、肌色部分の抽出に頼るしか方法がない）であり、特に、次のステップ（ｂ）での各部の抽出処理における鼻の抽出は、基本色が肌と同一のため、非常に困難である。また、これ以外にも、方法１による実現において、致命的な問題がある。それは、図８に示すように、複数の人物が撮影されている画像が原画像として入力されたときに発生し、成形対象が判別できなという問題である。
【０００９】
次に、方法２の問題点について説明するが、その前に、３Ｄ人物モデルを生成する場合を例として、特徴点抽出手段１０２で抽出すべき特徴点について説明する。
【００１０】
−特徴点抽出手段１０２で抽出すべき特徴点−
特徴点を多く抽出すればするほど、より実体にあったテクスがチャマッピングされる３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）の生成が可能であるため、最終的に生成される３Ｄ人物モデルもより高度な表情生成が可能となり、高品質なものとなることは当然のことである。この場合、以下に示すさまざまな要因［１）〜４）として記載］から考えると、方法２における抽出特徴点は、鼻部、目部（左右）、口部、耳部（左右）、顎部の７点と考えるのが妥当である。
【００１１】
１）顔の凹凸の認識
最終目的が立体画像（３次元画像）の生成と表示にあることから、多少なりとも顔の凹凸検出処理が必要であり、その意味から、最低限、鼻部（顔の頂点部分に相当）と目部の抽出が必要である。なお、目部については、口部でも代替可能であるが、顔の表情を表現する意味では、目部が優先されると考えられる。
【００１２】
２）原画像の顔の向き
原画像は、必ずしも完全な正面画像となっている保障はない。従って、立体画像を生成するために、原画像の顔の向きを算出する必要がある。顔の向きを算出するためには、少なくとも顔の各部のうち、３点（そのうち２点は、目部などの対を成すものである必要がある）の指定が必要となるが、この場合、目部（左右）と、ほぼ顔の中央に存在する鼻部とがベストであると考えられる。すなわち、左右の向きに限定すれば、鼻部を口部で代替することも可能であるが、上下の顔の向きの算出まで考えると、目部（左右）と口部だけでは算出不可能である。また、目部（左右）の代替として耳部（左右）も可能であるが、より高度な表情生成等を行うときの視線検出を考慮すると、ややふさわしくないと考えられるため、目部（左右）と鼻部とがベストであると考えられる。
【００１３】
３）原画像に対する顔の輪郭領域の抽出
上述の通り、顔の特徴点を自動検出する場合、一般的に、原画像より顔の輪郭領域の抽出処理を実施する。この処理は、すべての顔の特徴点をユーザ指定する方法で実現した場合においても、詳細な処理内容は異なるが、３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）を生成（場合によっては、あらかじめ準備された標準モデルを変形して生成）するときの、３次元人物モデルの顔の輪郭生成時に処理される。この処理（顔の輪郭生成／変形）を容易とするためには、顔の輪郭を成す特徴点を、少なくとも３点指定することになるが、この３点は、耳部（左右）と顎部とするのが一般的である。
【００１４】
４）特徴点としての指定
似顔絵生成の場合においても３Ｄモデル生成においても、原画像内の人物に似た成形画像を出力することを目的とするので、少なくとも目部と口部とは、特に重要な顔の特徴点となる。なお、髪型や眼鏡の有無、形状等も、人物を特定するのに重要な特徴点となるが、これらは部品化しやすい部分、および部品化すべき部分であるため、本発明では主たるテーマとしていない。すなわち、眼鏡については、眼鏡部の抽出も可能ではあるが、それよりも眼鏡をかけていない原画像に限定し、眼鏡部品をいくつか準備する方が好ましいアプリケーションソフトとなる場合がある。また、髪型についても眼鏡と同様である。だだし、髪型の場合は、原画像を坊主頭にするわけにいかないので、何らかの抽出処理は必要となる。ここでは、説明を容易とするために、眼鏡については、原画像には眼鏡をかけた人物画像はないという原則で記載している。また、髪型については、顔の輪郭領域の抽出処理に髪型抽出が含まれているという原則で記載している。
【００１５】
以上、１）〜４）で説明したように、方法２（すなわち、「抽出すべき特徴点を全てユーザに指定させる。」）であっても、その特徴点として顔のどの部品を指定させるかは、最終目的（成形画像）にもよるが、鼻部、目部（左右）、口、耳部（左右）、顎部の７点、もしくはそれ以上とするのが一般的である。
【００１６】
そして、この「抽出すべき特徴点を全てユーザに指定させる。」という方法２においても、次の２つの問題が発生する。すなわち、ユーザの指定付加の問題と、対を成す部品（目部、耳部）の指定誘導メッセージの問題である。
【００１７】
ユーザの指定付加の問題について説明すると、ＣＣＤカメラ等が比較的高価なデバイスで、本デバイスが標準装備された情報機器が特殊な用途用に商品化されていた時代では、上述した２次元の人物画像を３次元画像としたりといった利用シーンは、それなりに高価なシステム（例えば、ＴＶ会議システム）の１機能（アプリケーションソフト）として商品化されていた。そのため、利用者の３次元画像の生成にかかる負荷よりも、３次元画像の品質（リアルな表情を如何にして生成するか等）の方が重視される傾向にあった。
【００１８】
しかしながら、最近では、ＣＣＤカメラの低価格化や、ＣＰＵや画像処理用演算処理の速度面での高パフォーマンス化に伴い、例えば、送信者をイメージする３次元画像をメールに付加して送信する等といった具合に、３次元画像もエンターテイメント的な用途に使われるようになりつつある。そのため、３次元画像生成のためのユーザ負荷（ユーザインタフェース）を少なく、かつ安易としたいといった要望が増大する傾向にある。
【００１９】
次に、対を成す部品（目部、耳部）の指定誘導メッセージの問題について説明すると、一般に、各特徴点指定のユーザインタフェースは、図９に示すように、「×××を指定してください。」というメッセージを表示する対話型のユーザインタフェースとなる。ここで、図９に示すように、「右目を指定してください。」というメッセージが表示されたとき、ユーザ（以下、利用者ともいう）は、どちらの目がポインティングするかといった問題である。すなわち、人物画像の本来の右目と、利用者から見て右側にある右目のどららの眼を利用者がポインティングするかといった問題である。
【００２０】
人物の原画像は、利用者（ポインティングする人）からは、向かい合ったものになり、右眼は左側、左眼は右側に存在するが、それを利用者が意識して指定するか否か、右目といわれて左側の目の部分をポインティングするか否かは、おそらく利用者に依存することになる。
【００２１】
ただし、処理ロジック上は、次に続くであろう「左目を指定して下さい。」のメッセージで、「右目を指定してください。」のメッセージ時に指定した逆側の目の部分を指定さえすれば、何ら問題もないが、途中で利用者が迷ったとき、例えば「右目を指定して下さい。」のメッセージで誤って（勘違いして）、左側の眼を指定し、次の「左目を指定して下さい。」のメッセージで、先程の入力の誤りに気づいて、利用者がどうすれば良いか悩んだり、再度、右側の眼、すなわち正しい左側を指定したりする、といったシーンが発生し得るという問題である。
【００２２】
なお、補足すると、現状では、上記の問題を擬似的に解決する方法として、図１０に示すように、各指定部位を名前ではなく番号で指定させることによって、利用者に誤りや迷いを起こさせないように考慮したユーザインターフェイスをとる方法もある。しかしながら、例えば、口部（番号４の部分）といった場合に、口の中心か、それとも口のどこでも良いのかという疑問が生じる問題までは解決できない。すなわち、利用者は、内部ロジックまでは分からない。この場合、口周辺であればどこでも良いロジックとする（すなわち、指定された点を基点に抽出処理する）のが一般であるが、利用者はそのこと自体を知らないので、どうすればよいのかといった疑問を持つことになるが、その疑問を持つこと自体が問題となる。
【００２３】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、２次元顔画像の３次元変換やアニメ化変換等において、顔特徴点抽出処理に伴う利用者の入力指定を簡便なものとし、かつ、高速な顔特徴点抽出処理を実現し得る画像処理装置および画像処理方法を提供することにある。
【００２４】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、原画像を入力する画像入力手段と、顔部品の抽出を補助するための予め用意されているカラーパレットと、前記画像入力手段により入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示する一方、前記原画像データと前記カラーパレットとを並べて表示する表示手段と、顔部品である鼻の表示位置の指定を促す前記メッセージに従い、表示上の１点である鼻の位置座標を入力する入力手段と、前記表示手段に表示された前記カラーパレットを用いて前記鼻の色値を指定するパラメータ指定手段と、前記入力手段により入力された鼻の位置座標および前記パラメータ指定手段により指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出する顔部品抽出手段と、この顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成する画像生成手段と、を備えたことを特徴とする。また、前記顔部品抽出手段は、前記鼻の位置座標との相対位置関係より前記原画像を複数の検索領域に分割し、各検索領域について、前記鼻の色値に所定の許容範囲を持たせた範囲でなくなった閉空間または閉図形を抽出することで、各検索領域での顔部品を抽出する構成とする。
【００２５】
ここで、画像入力手段には、ＣＣＤカメラ等のカメラデバイスだけでなく、ファイル化された画像データ群より対象とするファイルを選択することも、画像入力手段の範疇に含まれる。また、入力手段には、マウスなどの表示上の任意の１点を入力するポインティングデバイスが含まれる。
【００２６】
このような特徴を有する本発明によれば、従来の方法１「顔部品を全て自動抽出する」の場合と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる。また、複数の人物が含まれる原画像データであっても、１つの特徴点（顔部品）を指定するのみで、対応することが可能となる。また、従来の方法２「２以上の顔部品をユーザ指定させる」の場合と比較しても、生成もしくは成形される画像データの品質をさほど劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００２７】
また、本発明の画像処理装置は、入力手段により入力される１点を鼻の位置座標としている。すなわち、「１つの顔部品の表示位置の指定を促すメッセージ」は、鼻の入力を促すメッセージである。顔の特徴点の抽出制御を考えると、入力する原画像として、横を向いた画像や、後ろ向きの写真が入力されることはまずなく、通常はほぼ正面を向いた写真が入力される。この場合、鼻は顔のほぼ中心に位置することになる。また、「鼻を指定してください。」というメッセージを表示したときに、鼻の付け根部分等を指定する人はほとんどいないと考えられる。さらに、鼻は１人１つしかない。さらにまた、顔輪郭や顔部品の抽出ロジックの基本は、肌色の部分または肌色でない部分を検出することであり、この場合、鼻の抽出は、口や目などの他の部品と比較して、自動抽出が難しい。さらにまた、人の顔部品のレイアウトは万人共通である。このようなさまざまな理由から、特に、鼻点をユーザ指定させることで、複数点指定させる場合と比較して、最終出力データの品質を劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００２８】
また、本発明の画像処理装置は、顔部品の抽出を補助するカラーパレットを備えており、パラメータ指定手段は、原画像の鼻位置にドロップすることで、前記ドラッグ位置のカラーパレット値を前記ドロップ位置の鼻の色値として指定するようになっている。本発明によれば、特徴点を補助するパラメータ（カラーパレット値）は、表示オブジェクト化された各パラメータ値の表示位置を押下し続ける操作（ドラッグ操作：マウスではマウスボタンを押し続けてポインティング移動させる操作、ペンではタブレットにペンを押し付けてポインティング移動させる操作）により、その押下したときの座標にて決定し、顔部品の表示位置は、その押下し続ける操作（ドラッグ操作）の継続をストップする操作（ドロップ操作：マウスボタンアップやペンアップ）時の座標にて決定する。
【００２９】
また、本発明の画像処理装置は、顔部品の抽出を補助するカラーパレットを備えており、パラメータ指定手段は、前記表示手段に表示された前記カラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値（補助パラメータ）を前記鼻の色値として指定するようになっている。また、前記表示手段には、髪色のカラーパレットと複数パターンの顔形状とが合わせて表示され、前記パラメータ指定手段は、前記表示手段に表示された前記髪色のカラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値を髪色に指定し、前記表示手段に表示された複数パターンの顔形状の中から一つの顔形状を指定するようになっている。
【００３０】
この補助パラメータ（カラーパレット値）の指定は、特徴点の指定数を減らしても高品質な出力データを得るための代替手段であるが、１点も指定しない場合と、１点指定する場合とでは、補助パラメータ指定量は激減する。つまり、細かな指定をさせなくても品質はそれなりに確保できる。また、利用シーン、商品コンセプト、抽出ロジック等にも関係するが、１つのパラメータの指定で目的が達成する場合もあり、この場合のマンマシンインターフェイスとしては、ドラッグ・アンド・ドロップ操作が最適である。
【００３１】
また、２次元顔画像の３次元変換やアニメ化変換等において、顔特徴点抽出処理に伴う利用者の入力指定を簡便なものとする顔特徴点抽出処理の手法は、必ずしも装置という形態には限られず、方法としても実現し得る。そこで、本発明の画像処理方法は、入力画像から３次元画像を生成する画像処理装置を用いた画像生成方法であって、顔部品の抽出を補助するためのカラーパレットが予め用意されており、画像入力手段から入力された原画像を記憶するステップと、画像入力手段から入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示手段に表示するステップと、前記画像入力手段から入力された原画像データと前記カラーパレットとを並べて表示手段に表示するステップと、入力手段から入力された表示上の１点である鼻の位置座標を記憶するステップと、前記表示手段に表示された前記カラーパレットを用いて指定された鼻の色値を記憶するステップと、顔部品抽出手段が、前記入力手段より入力された鼻の位置座標および前記指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出するステップと、画像生成手段が、前記顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成するステップと、を備えたことを特徴とする。
【００３２】
さらに、本発明にかかる技術的思想は、上記の画像処理方法の各ステップをコンピュータに実効させる画像処理プログラムを記録した記録媒体として提供することも可能である。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３４】
図１は、人物の２次元顔画像データを３次元顔画像に変換する本発明の画像処理装置のブロック構成図である。
【００３５】
この画像処理装置は、２次元画像入力制御部１０、原画像指定部１１、鼻点指定部１２、特徴点抽出部１３、３Ｄ画像符号化部１４、３Ｄ画像表示部１５、ＣＣＤカメラ２０、入力装置３０、出力装置４０、原画像記憶装置５０、各種変数・定数記憶装置５１、標準人物モデル等（符号化用定数）記憶装置５２、および成形画像記憶装置５３によって構成されている。
【００３６】
２次元画像入力制御部１０は、接続されたＣＣＤカメラ２０に対し、原画像データを送るようにシャッターを制御し、ＣＣＤカメラ２０より送られてきた原画像データを原画像記憶装置５０に記憶（ファイル化）するまでの制御を行う。本実施形態では、ＣＣＤカメラ２０はカラー画像が入力可能な画像取り込みデバイスとしている。
【００３７】
原画像指定部１１は、原画像記憶装置５０に記憶されている複数の原画像ファイルの中から、入力装置３０により指定された原画像ファイルを読み込み、鼻点指示部１２へ原画像ファイルを引き渡すまでの制御を行う。
【００３８】
鼻点指示部１２は、原画像指定部１１から引き渡された原画像データを、出力装置４０に出力するとともに、入力装置３０を介して利用者より入力された鼻点と抽出補助パラメータ（ここでは、後述する顔色値）を特徴点抽出部１３に引き渡すまでの制御を行う。
【００３９】
特徴点抽出部１３は、鼻点指示部１２より引き渡された鼻点座標と顔色値（抽出補助パラメータ）を参考に、各種変数・定数記憶装置５１より抽出用の各種変数・定数値等を読み出し、これらの値を利用して各顔の特徴点を抽出する。抽出方法は、鼻点座標を拠点座標とし、顔色値等を元に読み出された各種変数・定数値（抽出補助パラメータ）を使って、原画像をいくつかの領域に分割し、目部、口部等の抽出する各部品の抽出処理を、それに対応する領域内のみ処理する。また、ここで抽出された特徴点は３Ｄ画像符号化部１４へ特徴点情報として引き渡される。ここまでの一連の制御を特徴点抽出部１３で行う。
【００４０】
３Ｄ画像符号化部１４は、引き渡された特徴点情報と原画像データを基にテクスチャを生成した後、標準人物モデル等記憶装置５２より特徴点情報を基に適切な３次元人物モデルを読み込み、テクスチャマッピングを行って、成形画像記憶装置５３に記憶させる一連の制御を行う。
【００４１】
３Ｄ画像表示部１５では、成形画像記憶装置５３より３Ｄ画像を読み込み、出力装置４０に３Ｄ画像を表示する制御を行う。
【００４２】
以上が本発明の画像処理装置の各部の制御であるが、以下に、本発明の特徴部分である鼻点指示部１２の制御内容について、さらに詳しく説明する。
【００４３】
図２は、抽出補助パラメータとして原画像の人物顔色のおおよそ値（カラーパレット値）をユーザ指定させるときの、鼻点指示部１２の画面レイアウト例を示している。ここで、出力画面右側の顔色カラーパレット指定域［（cX min,cY min)〜(cX man,cY man）］に、人物の顔色となり得る色（Cmin〜Cman）をグラデーション表示し、また、出力画面左側の原画像表示域［（uX min,uY min)〜(uX man,uY man）］には、原画像指定部１１より入力した画像データを表示する。さらに、原画像の人物の顔色に近い個所より原画像の鼻位置までをドラッグ・アンド・ドロップすることを利用者に誘導するメッセージ（この例では、「人物顔色にあったカラーパレットをドラッグし、鼻位置にドロップください」という文字列）を、出力画面下部のメッセージ表示部に表示する。
【００４４】
これにより、顔色カラーパレット指定域内の原画像の人物の顔色に近い個所をドラッグし、原画像の鼻位置にドロップするという一連の入力操作を誘導し、その利用者の入力操作により得られた入力情報を基に、原画像表示域内の鼻点座標と顔色カラーパレット値を算出することになる。
【００４５】
図３は、鼻点指示部１２の制御内容、すなわち上記の算術ロジック（すなわち、鼻点座標ならびに顔色カラーパレット値の算術ロジック）を示すフローチャートである。
【００４６】
すなわち、まず最初に、図２に示される顔色カラーパレット指定域内の原画像の人物の顔色に近い個所をドラッグし、原画像の鼻位置にドロップするという一連の入力操作を誘導する入力画面（図２）を生成して表示する（ステップＳ１）。次に、入力装置３０である例えばマウスより「左ボタンダウン」メッセージが入力されると（ステップＳ２）、マウスがダウンされた座標が顔色カラーパレット指定域内であることを条件に（ステップＳ３でＹＥＳと判断されることを条件に）、ボタンダウンされた座標より、顔色カラーパレット値を変数FaceC に代入する（ステップＳ４）。この処理に引き続き、マウスダウン中に、マウスより「左ボタンアップ」メッセージが入力されると（ステップＳ５でＹＥＳと判断されると）、マウスがアップされた座標が原画像表示域内であることを条件に（ステップＳ６でＹＥＳと判断されることを条件に）、ボタンアップされた座標を（NosePx,NosePy ）に代入する（ステップＳ７）。そして最後に、変数FaceC 、NosePx、NosePyをパラメータとし、制御を特徴点抽出部１３へ遷移する（ステップＳ８）。
【００４７】
なお、特徴点抽出部１３では、鼻点指定部１２より入力された変数FaceC 、NosePx、 NosePy を利用して、鼻以外の顔特徴点（座標となるか、領域となるか、オブジェクトとなるかは、この特徴点抽出部１３の仕様に依存する）を抽出することになる。この抽出処理の基本ロジックは、従来の顔特徴点の抽出ロジックと同様であるので、ここでは詳細な説明を省略するが、抽出ロジックの基本的な考え方は、肌色もしくは肌色以外の個所を抽出することで実現される。
【００４８】
図４は、特徴点抽出部１３で鼻点座標（顔色カラーパレット）値（FaceC 、NosePx、 NosePy の３変数）をどのように利用するかの概要（この３変数を利用しての抽出ロジックの概要）を、表形式にまとめて列記している。
【００４９】
図４に沿って説明すると、まず、輪郭の抽出は、鼻点（NosePx、 NosePy ）を中心に顔色カラーパレット値FaceC ±ｄ（ｄは許容範囲）でなくなった閉空間を抽出することで実現できる。あらかじめ指定された鼻点を中心に処理できるため（すなわち、顔色でない領域を抽出するための基点を鼻点とできるため）、抽出すべき特徴点を自動検出する方法（発明が解決しようとする課題の欄で説明した方法１）と比較した場合、抽出ロジックは極めて容易に、また、極めて精度の高い抽出が可能となる。
【００５０】
次に、右目部の抽出は、鼻点との相対的位置関係より、検索領域はｕ１とし、抽出基本ロジックは、顔色カラーパレット値FaceC ±ｄ（ｄは許容範囲）でなくなった閉図形で白目と黒目が存在することから抽出することで実現できる。これを上記と同様方法１と比較すると、ロジックの簡便化、精度の正確さの向上以外に、検索領域を絞ることによる検索時間の高速化を可能とする。なお、検索領域が異なるだけで、左目部、口部の抽出も同様である。
【００５１】
次に、耳部や顎部の抽出は、方法１では特に抽出されないのが一般である。また、抽出すべき特徴点を全てユーザ指定させる方法（発明が解決しようとする課題の欄で説明した方法２）によって耳部や顎部をユーザ指定させるのは、輪郭抽出や顔の向きを求める等の処理において精度の向上やロジックの簡易化を図ることが目的であり、特にそれほど精度が要求されないアプリケーションソフトを考えると、代替にするのが望ましい。つまり、「顔の向き」は、鼻点と左右の目点より、ほぼ顔の向きに近い向きが算出できるので、これで代替しても、精度面でもさほど問題はない。また、顔の輪郭抽出等は、抽出の基点が明確にさえなっていれば、速度面、精度面とも特に大きな問題は発生せず、また、顔の特徴点を指定させる方法以外にも、後述するような抽出補助パラメータを複数指定させるという方法で代替可能である。
【００５２】
なお、上記実施形態は、鼻点指示部１２の制御内容において、利用者に指定させる抽出補助パラメータを、顔色の１パラメータとしたときの実施形態であるが、上述した通り、利用者に複数の抽出補助パラメータを指定させることで、顔の特徴点の抽出精度や処理速度の短縮化を図ってもよい。
【００５３】
その入力画面の一例を図５に示す。この例では、顔色と髪色をスライダーによる指定とし、あらかじめ数パターン準備された顔形状をラジオボタンの指定としていることが模式化されている。なお、ここで新たに指定可能（図２の顔色カラーパレットの指定に加えて新たに指定可能）となった髪色や顔形状のパラメータは、顔色のパラメータと同様、そのまま特徴点抽出部１３に引き渡される。特徴点抽出部１３では、このパラメータを、主に顔の輪郭抽出に利用することになる。
【００５４】
抽出補助パラメータの数を増やすことは、抽出ロジックの簡便化、抽出の高速化、正確さの向上のみならず、ユーザ操作の多い「抽出すべき特徴点を全て指定させる」場合（方法２）と比較しても、「右目をクリックしてください」がどちらの目をクリックするのか、また、「口をクリックしてください」が口のどこをクリックするのかといった迷いがない。つまり、顔色や髪型の色のスライダーバーでの変更や、輪郭の選択を、直観的にかつ容易に行うことができる。
【００５５】
以上、上記実施形態の画像処理装置は、その装置の３次元顔画像の生成処理を、図示していない記憶部に格納されている３次元顔画像処理プログラムによって実現されている。このプログラムは、コンピュータ読み取り可能な記録媒体に格納されている。本発明では、この記録媒体は、図示していないが、画像処理装置の内部にプログラム読み取り装置を備え、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよいし、あるいは装置内部のプログラムメモリ等の記憶手段に格納されているものであってもよい。いずれの場合においても、格納されているプログラムは直接アクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示していない主記憶メモリにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは、あらかじめ装置本体に格納されているものとする。
【００５６】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピディスクやハードディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカードや光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００５７】
また、本発明においては外部との通信が可能な手段（無線通信機能、あるいはインターネット等の公衆回線を介する有線通信機能）を備えている場合には、これを用いて外部と接続し、そこからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムはあらかじめ装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
【００５８】
【発明の効果】
本発明の画像処理装置によれば、従来の顔部品を全て自動抽出する場合と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる。また、複数の人物が含まれる原画像データであっても、１つの特徴点を指定するのみで、対応することができる。また、従来の２以上の顔部品を指定させる場合と比較しても、生成もしくは成形される画像データの品質をさほど劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００５９】
また、本発明の画像処理装置によれば、入力手段により入力される１点を鼻の位置座標としているので、鼻点をユーザ指定させることで、複数点指定させる場合と比較して、最終出力データの品質を劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００６０】
また、本発明の画像処理装置によれば、顔部品の抽出を補助するパラメータ指定手段をさらに備え、このパラメータ指定手段は、表示された補助パラメータをドラッグ操作で鼻の位置まで移動させた後ドロップ操作を行うことで指定するように構成したので、特徴点の指定数を減らしても高品質な出力データを得ることができる。
【００６１】
さらに、本発明のによれば、従来の顔部品を全て自動抽出する方法と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置のブロック構成図である。
【図２】抽出補助パラメータとして原画像の人物顔色のおおよそ値をユーザ指定させるときの画面レイアウト例を示す説明図である。
【図３】鼻点座標ならびに顔色カラーパレット値の算術ロジックを示すフローチャートである。
【図４】特徴点抽出部での鼻点座標値の利用概要を示す説明図である。
【図５】抽出補助パラメータ指定の入力画面例を示す説明図である。
【図６】顔特徴点を抽出するための概略ブロック図である。
【図７】顔の輪郭領域の大きさや位置が極端に異なる原画像の例を示す説明図である。
【図８】複数の人物が撮影されている画像を原画像として入力されたときに発生する問題点を説明するための図である。
【図９】特徴点を指定させるユーザインタフェースの例を示す説明図である。
【図１０】各指定部位を名前ではなく番号で指定させるユーザインタフェースの例を示す説明図である。
【符号の説明】
１０ ２次元画像入力制御部
１１ 原画像指定部
１２ 鼻点指定部
１３ 特徴点抽出部
１４ ３Ｄ画像符号化部
１５ ３Ｄ画像表示部
２０ ＣＣＤカメラ
３０ 入力装置
４０ 出力装置
５０ 原画像記憶装置
５１ 各種変数・定数記憶装置
５２ 標準人物モデル等（符号化用定数）記憶装置
５３ 成形画像記憶装置
【発明の属する技術分野】
本発明は、入力画像から３次元画像を生成する画像処理装置および画像処理方法に関し、特に、ＣＣＤカメラ等で得られた顔画像データ（２次元顔画像データ）を３次元画像とする等、数点の顔特徴点（顔特徴部分）の抽出制御を必要とする画像変換処理に関する。
【０００２】
【従来の技術】
近年、パソコンに代表される情報機器において、カメラデバイスの小型化技術の進歩や、カメラデバイス部品の低価格化などに起因し、ＣＣＤカメラを内蔵するタイプの機種が増加している。そのため、このような機能を利用して、ＣＣＤカメラで取り込んだ自分や隣人、知り合い等の２次元顔画像を元に３Ｄ人物モデルを生成する機能や、２次元顔画像を似顔絵化／アニメーション化形成する等の機能を持つＰＣアプリケーションソフトウエア等が増加しつつある。
【０００３】
これら２次元顔画像の成形技術は、従来より表情生成等をテーマとして、さまざまな研究開発がされており、３Ｄモデル生成（符号）化に関しては、例えば、目や口部分の形状変化の抽出、合成、符号化方法についての論文「形状変化の検出と３次元形状モデルに基づく顔動画像の符号化」（信学技報 IE87-101）が開示されており、また、似顔絵化／アニメーション化に関しては、例えば、人手で描いた正面顔と側面顔の似顔絵を材料として任意の方角から見た似顔絵を各個人の特徴をとらえて自動生成することを目的とした「３次元似顔絵生成方法および装置」（特開平10-74271号公報) が開示されており、また、入力された単一の画像データに基づいて画風や表情等の種別が異なる複数種の画像から単一または複数の画像を選択して生成することを目的とした「画像作成装置、画像作成方法および画像作成プログラム記録媒体」（特開平10-232950 号公報) が開示されている。
【０００４】
ところで、上記したようにＣＣＤカメラ等で得られた顔画像データ（２次元顔画像データ）を元に３Ｄ人物モデルを生成する方法や、２次元顔画像を似顔絵化／アニメーション化成形する方法においては、必ず、２次元顔画像データ内の顔特徴点の抽出が必須の構成要件となる。この顔特徴点を抽出するための概略ブロック図を図６に示す。すなわち、ＣＣＤカメラ等の原画像入力手段１０１より入力された顔画像データを特徴点抽出手段１０２に出力する。特徴点抽出手段１０２では、顔の各部（目、鼻、口等）の位置を抽出し、その抽出した各部の座標位置と原画像とを原画像成形手段１０３に出力する。ここで、特徴点抽出手段１０２による顔の各部の位置の抽出は、どのような成形をするのかによって異なる。すなわち、抽出されるデータ内容は、原画像成形手段１０３の成形内容に依存し、点ではなく領域であったり、各部の中心位置と形状とであったりする。
【０００５】
ただし、ここでは説明を容易とするために、以降の説明では「点」として説明する。また、以降の制御内容については、個々に相違するため、詳細については省略するが、例えば、３Ｄ人物モデルの場合には、以下の制御手順となる。
【０００６】
すなわち、（１）特徴点情報ならびに原画像データを元にテクスチャを生成する。（２）特徴点情報を用いてテクスチャマッピングするための３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）を生成する（標準モデルを変形して生成する）。（３）テクスチャマッピングを行う。すなわち、原画像入力手段１０１より得られた顔画像が埋め込まれた３Ｄ人物オブジェクトを符号化する。（４）３Ｄ人物オブジェクトを表示する。このような（１）〜（４）の制御手順で行われる。ここで、（１）と（２）とは一般に並列処理される。すなわち、制御に後先の順番はない。
【０００７】
【発明が解決しようとする課題】
上記した特徴点抽出手段１０２を具現化する方法として、抽出すべき特徴点を全て抽出する（これを方法１という）、抽出すべき特徴点を全てユーザに指定させる（これを方法２という）、の２種類が考えられる。
【０００８】
方法１では、一般に、（ａ）与えられた原画像データより、顔の輪郭を抽出する。（ｂ）得られた顔の輪郭領域の範囲で、各部を抽出する。の２ステップより実現することになる。ところが、（ａ）の処理において、図７に示すように、顔の輪郭領域の大きさ（左が大、右が小）や位置（左が中央、右が左端）が、極端に異なる原画像も等価に扱う必要があり、これは、抽出精度の低下や、速度パフォーマンスの低下等を引き起こす要因となる。また、顔の輪郭領域の抽出方法は、肌色部分の抽出により実現されるのが一般的（現時点では、自動抽出するためには、基本的に、肌色部分の抽出に頼るしか方法がない）であり、特に、次のステップ（ｂ）での各部の抽出処理における鼻の抽出は、基本色が肌と同一のため、非常に困難である。また、これ以外にも、方法１による実現において、致命的な問題がある。それは、図８に示すように、複数の人物が撮影されている画像が原画像として入力されたときに発生し、成形対象が判別できなという問題である。
【０００９】
次に、方法２の問題点について説明するが、その前に、３Ｄ人物モデルを生成する場合を例として、特徴点抽出手段１０２で抽出すべき特徴点について説明する。
【００１０】
−特徴点抽出手段１０２で抽出すべき特徴点−
特徴点を多く抽出すればするほど、より実体にあったテクスがチャマッピングされる３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）の生成が可能であるため、最終的に生成される３Ｄ人物モデルもより高度な表情生成が可能となり、高品質なものとなることは当然のことである。この場合、以下に示すさまざまな要因［１）〜４）として記載］から考えると、方法２における抽出特徴点は、鼻部、目部（左右）、口部、耳部（左右）、顎部の７点と考えるのが妥当である。
【００１１】
１）顔の凹凸の認識
最終目的が立体画像（３次元画像）の生成と表示にあることから、多少なりとも顔の凹凸検出処理が必要であり、その意味から、最低限、鼻部（顔の頂点部分に相当）と目部の抽出が必要である。なお、目部については、口部でも代替可能であるが、顔の表情を表現する意味では、目部が優先されると考えられる。
【００１２】
２）原画像の顔の向き
原画像は、必ずしも完全な正面画像となっている保障はない。従って、立体画像を生成するために、原画像の顔の向きを算出する必要がある。顔の向きを算出するためには、少なくとも顔の各部のうち、３点（そのうち２点は、目部などの対を成すものである必要がある）の指定が必要となるが、この場合、目部（左右）と、ほぼ顔の中央に存在する鼻部とがベストであると考えられる。すなわち、左右の向きに限定すれば、鼻部を口部で代替することも可能であるが、上下の顔の向きの算出まで考えると、目部（左右）と口部だけでは算出不可能である。また、目部（左右）の代替として耳部（左右）も可能であるが、より高度な表情生成等を行うときの視線検出を考慮すると、ややふさわしくないと考えられるため、目部（左右）と鼻部とがベストであると考えられる。
【００１３】
３）原画像に対する顔の輪郭領域の抽出
上述の通り、顔の特徴点を自動検出する場合、一般的に、原画像より顔の輪郭領域の抽出処理を実施する。この処理は、すべての顔の特徴点をユーザ指定する方法で実現した場合においても、詳細な処理内容は異なるが、３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェクト）を生成（場合によっては、あらかじめ準備された標準モデルを変形して生成）するときの、３次元人物モデルの顔の輪郭生成時に処理される。この処理（顔の輪郭生成／変形）を容易とするためには、顔の輪郭を成す特徴点を、少なくとも３点指定することになるが、この３点は、耳部（左右）と顎部とするのが一般的である。
【００１４】
４）特徴点としての指定
似顔絵生成の場合においても３Ｄモデル生成においても、原画像内の人物に似た成形画像を出力することを目的とするので、少なくとも目部と口部とは、特に重要な顔の特徴点となる。なお、髪型や眼鏡の有無、形状等も、人物を特定するのに重要な特徴点となるが、これらは部品化しやすい部分、および部品化すべき部分であるため、本発明では主たるテーマとしていない。すなわち、眼鏡については、眼鏡部の抽出も可能ではあるが、それよりも眼鏡をかけていない原画像に限定し、眼鏡部品をいくつか準備する方が好ましいアプリケーションソフトとなる場合がある。また、髪型についても眼鏡と同様である。だだし、髪型の場合は、原画像を坊主頭にするわけにいかないので、何らかの抽出処理は必要となる。ここでは、説明を容易とするために、眼鏡については、原画像には眼鏡をかけた人物画像はないという原則で記載している。また、髪型については、顔の輪郭領域の抽出処理に髪型抽出が含まれているという原則で記載している。
【００１５】
以上、１）〜４）で説明したように、方法２（すなわち、「抽出すべき特徴点を全てユーザに指定させる。」）であっても、その特徴点として顔のどの部品を指定させるかは、最終目的（成形画像）にもよるが、鼻部、目部（左右）、口、耳部（左右）、顎部の７点、もしくはそれ以上とするのが一般的である。
【００１６】
そして、この「抽出すべき特徴点を全てユーザに指定させる。」という方法２においても、次の２つの問題が発生する。すなわち、ユーザの指定付加の問題と、対を成す部品（目部、耳部）の指定誘導メッセージの問題である。
【００１７】
ユーザの指定付加の問題について説明すると、ＣＣＤカメラ等が比較的高価なデバイスで、本デバイスが標準装備された情報機器が特殊な用途用に商品化されていた時代では、上述した２次元の人物画像を３次元画像としたりといった利用シーンは、それなりに高価なシステム（例えば、ＴＶ会議システム）の１機能（アプリケーションソフト）として商品化されていた。そのため、利用者の３次元画像の生成にかかる負荷よりも、３次元画像の品質（リアルな表情を如何にして生成するか等）の方が重視される傾向にあった。
【００１８】
しかしながら、最近では、ＣＣＤカメラの低価格化や、ＣＰＵや画像処理用演算処理の速度面での高パフォーマンス化に伴い、例えば、送信者をイメージする３次元画像をメールに付加して送信する等といった具合に、３次元画像もエンターテイメント的な用途に使われるようになりつつある。そのため、３次元画像生成のためのユーザ負荷（ユーザインタフェース）を少なく、かつ安易としたいといった要望が増大する傾向にある。
【００１９】
次に、対を成す部品（目部、耳部）の指定誘導メッセージの問題について説明すると、一般に、各特徴点指定のユーザインタフェースは、図９に示すように、「×××を指定してください。」というメッセージを表示する対話型のユーザインタフェースとなる。ここで、図９に示すように、「右目を指定してください。」というメッセージが表示されたとき、ユーザ（以下、利用者ともいう）は、どちらの目がポインティングするかといった問題である。すなわち、人物画像の本来の右目と、利用者から見て右側にある右目のどららの眼を利用者がポインティングするかといった問題である。
【００２０】
人物の原画像は、利用者（ポインティングする人）からは、向かい合ったものになり、右眼は左側、左眼は右側に存在するが、それを利用者が意識して指定するか否か、右目といわれて左側の目の部分をポインティングするか否かは、おそらく利用者に依存することになる。
【００２１】
ただし、処理ロジック上は、次に続くであろう「左目を指定して下さい。」のメッセージで、「右目を指定してください。」のメッセージ時に指定した逆側の目の部分を指定さえすれば、何ら問題もないが、途中で利用者が迷ったとき、例えば「右目を指定して下さい。」のメッセージで誤って（勘違いして）、左側の眼を指定し、次の「左目を指定して下さい。」のメッセージで、先程の入力の誤りに気づいて、利用者がどうすれば良いか悩んだり、再度、右側の眼、すなわち正しい左側を指定したりする、といったシーンが発生し得るという問題である。
【００２２】
なお、補足すると、現状では、上記の問題を擬似的に解決する方法として、図１０に示すように、各指定部位を名前ではなく番号で指定させることによって、利用者に誤りや迷いを起こさせないように考慮したユーザインターフェイスをとる方法もある。しかしながら、例えば、口部（番号４の部分）といった場合に、口の中心か、それとも口のどこでも良いのかという疑問が生じる問題までは解決できない。すなわち、利用者は、内部ロジックまでは分からない。この場合、口周辺であればどこでも良いロジックとする（すなわち、指定された点を基点に抽出処理する）のが一般であるが、利用者はそのこと自体を知らないので、どうすればよいのかといった疑問を持つことになるが、その疑問を持つこと自体が問題となる。
【００２３】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、２次元顔画像の３次元変換やアニメ化変換等において、顔特徴点抽出処理に伴う利用者の入力指定を簡便なものとし、かつ、高速な顔特徴点抽出処理を実現し得る画像処理装置および画像処理方法を提供することにある。
【００２４】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、原画像を入力する画像入力手段と、顔部品の抽出を補助するための予め用意されているカラーパレットと、前記画像入力手段により入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示する一方、前記原画像データと前記カラーパレットとを並べて表示する表示手段と、顔部品である鼻の表示位置の指定を促す前記メッセージに従い、表示上の１点である鼻の位置座標を入力する入力手段と、前記表示手段に表示された前記カラーパレットを用いて前記鼻の色値を指定するパラメータ指定手段と、前記入力手段により入力された鼻の位置座標および前記パラメータ指定手段により指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出する顔部品抽出手段と、この顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成する画像生成手段と、を備えたことを特徴とする。また、前記顔部品抽出手段は、前記鼻の位置座標との相対位置関係より前記原画像を複数の検索領域に分割し、各検索領域について、前記鼻の色値に所定の許容範囲を持たせた範囲でなくなった閉空間または閉図形を抽出することで、各検索領域での顔部品を抽出する構成とする。
【００２５】
ここで、画像入力手段には、ＣＣＤカメラ等のカメラデバイスだけでなく、ファイル化された画像データ群より対象とするファイルを選択することも、画像入力手段の範疇に含まれる。また、入力手段には、マウスなどの表示上の任意の１点を入力するポインティングデバイスが含まれる。
【００２６】
このような特徴を有する本発明によれば、従来の方法１「顔部品を全て自動抽出する」の場合と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる。また、複数の人物が含まれる原画像データであっても、１つの特徴点（顔部品）を指定するのみで、対応することが可能となる。また、従来の方法２「２以上の顔部品をユーザ指定させる」の場合と比較しても、生成もしくは成形される画像データの品質をさほど劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００２７】
また、本発明の画像処理装置は、入力手段により入力される１点を鼻の位置座標としている。すなわち、「１つの顔部品の表示位置の指定を促すメッセージ」は、鼻の入力を促すメッセージである。顔の特徴点の抽出制御を考えると、入力する原画像として、横を向いた画像や、後ろ向きの写真が入力されることはまずなく、通常はほぼ正面を向いた写真が入力される。この場合、鼻は顔のほぼ中心に位置することになる。また、「鼻を指定してください。」というメッセージを表示したときに、鼻の付け根部分等を指定する人はほとんどいないと考えられる。さらに、鼻は１人１つしかない。さらにまた、顔輪郭や顔部品の抽出ロジックの基本は、肌色の部分または肌色でない部分を検出することであり、この場合、鼻の抽出は、口や目などの他の部品と比較して、自動抽出が難しい。さらにまた、人の顔部品のレイアウトは万人共通である。このようなさまざまな理由から、特に、鼻点をユーザ指定させることで、複数点指定させる場合と比較して、最終出力データの品質を劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００２８】
また、本発明の画像処理装置は、顔部品の抽出を補助するカラーパレットを備えており、パラメータ指定手段は、原画像の鼻位置にドロップすることで、前記ドラッグ位置のカラーパレット値を前記ドロップ位置の鼻の色値として指定するようになっている。本発明によれば、特徴点を補助するパラメータ（カラーパレット値）は、表示オブジェクト化された各パラメータ値の表示位置を押下し続ける操作（ドラッグ操作：マウスではマウスボタンを押し続けてポインティング移動させる操作、ペンではタブレットにペンを押し付けてポインティング移動させる操作）により、その押下したときの座標にて決定し、顔部品の表示位置は、その押下し続ける操作（ドラッグ操作）の継続をストップする操作（ドロップ操作：マウスボタンアップやペンアップ）時の座標にて決定する。
【００２９】
また、本発明の画像処理装置は、顔部品の抽出を補助するカラーパレットを備えており、パラメータ指定手段は、前記表示手段に表示された前記カラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値（補助パラメータ）を前記鼻の色値として指定するようになっている。また、前記表示手段には、髪色のカラーパレットと複数パターンの顔形状とが合わせて表示され、前記パラメータ指定手段は、前記表示手段に表示された前記髪色のカラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値を髪色に指定し、前記表示手段に表示された複数パターンの顔形状の中から一つの顔形状を指定するようになっている。
【００３０】
この補助パラメータ（カラーパレット値）の指定は、特徴点の指定数を減らしても高品質な出力データを得るための代替手段であるが、１点も指定しない場合と、１点指定する場合とでは、補助パラメータ指定量は激減する。つまり、細かな指定をさせなくても品質はそれなりに確保できる。また、利用シーン、商品コンセプト、抽出ロジック等にも関係するが、１つのパラメータの指定で目的が達成する場合もあり、この場合のマンマシンインターフェイスとしては、ドラッグ・アンド・ドロップ操作が最適である。
【００３１】
また、２次元顔画像の３次元変換やアニメ化変換等において、顔特徴点抽出処理に伴う利用者の入力指定を簡便なものとする顔特徴点抽出処理の手法は、必ずしも装置という形態には限られず、方法としても実現し得る。そこで、本発明の画像処理方法は、入力画像から３次元画像を生成する画像処理装置を用いた画像生成方法であって、顔部品の抽出を補助するためのカラーパレットが予め用意されており、画像入力手段から入力された原画像を記憶するステップと、画像入力手段から入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示手段に表示するステップと、前記画像入力手段から入力された原画像データと前記カラーパレットとを並べて表示手段に表示するステップと、入力手段から入力された表示上の１点である鼻の位置座標を記憶するステップと、前記表示手段に表示された前記カラーパレットを用いて指定された鼻の色値を記憶するステップと、顔部品抽出手段が、前記入力手段より入力された鼻の位置座標および前記指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出するステップと、画像生成手段が、前記顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成するステップと、を備えたことを特徴とする。
【００３２】
さらに、本発明にかかる技術的思想は、上記の画像処理方法の各ステップをコンピュータに実効させる画像処理プログラムを記録した記録媒体として提供することも可能である。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３４】
図１は、人物の２次元顔画像データを３次元顔画像に変換する本発明の画像処理装置のブロック構成図である。
【００３５】
この画像処理装置は、２次元画像入力制御部１０、原画像指定部１１、鼻点指定部１２、特徴点抽出部１３、３Ｄ画像符号化部１４、３Ｄ画像表示部１５、ＣＣＤカメラ２０、入力装置３０、出力装置４０、原画像記憶装置５０、各種変数・定数記憶装置５１、標準人物モデル等（符号化用定数）記憶装置５２、および成形画像記憶装置５３によって構成されている。
【００３６】
２次元画像入力制御部１０は、接続されたＣＣＤカメラ２０に対し、原画像データを送るようにシャッターを制御し、ＣＣＤカメラ２０より送られてきた原画像データを原画像記憶装置５０に記憶（ファイル化）するまでの制御を行う。本実施形態では、ＣＣＤカメラ２０はカラー画像が入力可能な画像取り込みデバイスとしている。
【００３７】
原画像指定部１１は、原画像記憶装置５０に記憶されている複数の原画像ファイルの中から、入力装置３０により指定された原画像ファイルを読み込み、鼻点指示部１２へ原画像ファイルを引き渡すまでの制御を行う。
【００３８】
鼻点指示部１２は、原画像指定部１１から引き渡された原画像データを、出力装置４０に出力するとともに、入力装置３０を介して利用者より入力された鼻点と抽出補助パラメータ（ここでは、後述する顔色値）を特徴点抽出部１３に引き渡すまでの制御を行う。
【００３９】
特徴点抽出部１３は、鼻点指示部１２より引き渡された鼻点座標と顔色値（抽出補助パラメータ）を参考に、各種変数・定数記憶装置５１より抽出用の各種変数・定数値等を読み出し、これらの値を利用して各顔の特徴点を抽出する。抽出方法は、鼻点座標を拠点座標とし、顔色値等を元に読み出された各種変数・定数値（抽出補助パラメータ）を使って、原画像をいくつかの領域に分割し、目部、口部等の抽出する各部品の抽出処理を、それに対応する領域内のみ処理する。また、ここで抽出された特徴点は３Ｄ画像符号化部１４へ特徴点情報として引き渡される。ここまでの一連の制御を特徴点抽出部１３で行う。
【００４０】
３Ｄ画像符号化部１４は、引き渡された特徴点情報と原画像データを基にテクスチャを生成した後、標準人物モデル等記憶装置５２より特徴点情報を基に適切な３次元人物モデルを読み込み、テクスチャマッピングを行って、成形画像記憶装置５３に記憶させる一連の制御を行う。
【００４１】
３Ｄ画像表示部１５では、成形画像記憶装置５３より３Ｄ画像を読み込み、出力装置４０に３Ｄ画像を表示する制御を行う。
【００４２】
以上が本発明の画像処理装置の各部の制御であるが、以下に、本発明の特徴部分である鼻点指示部１２の制御内容について、さらに詳しく説明する。
【００４３】
図２は、抽出補助パラメータとして原画像の人物顔色のおおよそ値（カラーパレット値）をユーザ指定させるときの、鼻点指示部１２の画面レイアウト例を示している。ここで、出力画面右側の顔色カラーパレット指定域［（cX min,cY min)〜(cX man,cY man）］に、人物の顔色となり得る色（Cmin〜Cman）をグラデーション表示し、また、出力画面左側の原画像表示域［（uX min,uY min)〜(uX man,uY man）］には、原画像指定部１１より入力した画像データを表示する。さらに、原画像の人物の顔色に近い個所より原画像の鼻位置までをドラッグ・アンド・ドロップすることを利用者に誘導するメッセージ（この例では、「人物顔色にあったカラーパレットをドラッグし、鼻位置にドロップください」という文字列）を、出力画面下部のメッセージ表示部に表示する。
【００４４】
これにより、顔色カラーパレット指定域内の原画像の人物の顔色に近い個所をドラッグし、原画像の鼻位置にドロップするという一連の入力操作を誘導し、その利用者の入力操作により得られた入力情報を基に、原画像表示域内の鼻点座標と顔色カラーパレット値を算出することになる。
【００４５】
図３は、鼻点指示部１２の制御内容、すなわち上記の算術ロジック（すなわち、鼻点座標ならびに顔色カラーパレット値の算術ロジック）を示すフローチャートである。
【００４６】
すなわち、まず最初に、図２に示される顔色カラーパレット指定域内の原画像の人物の顔色に近い個所をドラッグし、原画像の鼻位置にドロップするという一連の入力操作を誘導する入力画面（図２）を生成して表示する（ステップＳ１）。次に、入力装置３０である例えばマウスより「左ボタンダウン」メッセージが入力されると（ステップＳ２）、マウスがダウンされた座標が顔色カラーパレット指定域内であることを条件に（ステップＳ３でＹＥＳと判断されることを条件に）、ボタンダウンされた座標より、顔色カラーパレット値を変数FaceC に代入する（ステップＳ４）。この処理に引き続き、マウスダウン中に、マウスより「左ボタンアップ」メッセージが入力されると（ステップＳ５でＹＥＳと判断されると）、マウスがアップされた座標が原画像表示域内であることを条件に（ステップＳ６でＹＥＳと判断されることを条件に）、ボタンアップされた座標を（NosePx,NosePy ）に代入する（ステップＳ７）。そして最後に、変数FaceC 、NosePx、NosePyをパラメータとし、制御を特徴点抽出部１３へ遷移する（ステップＳ８）。
【００４７】
なお、特徴点抽出部１３では、鼻点指定部１２より入力された変数FaceC 、NosePx、 NosePy を利用して、鼻以外の顔特徴点（座標となるか、領域となるか、オブジェクトとなるかは、この特徴点抽出部１３の仕様に依存する）を抽出することになる。この抽出処理の基本ロジックは、従来の顔特徴点の抽出ロジックと同様であるので、ここでは詳細な説明を省略するが、抽出ロジックの基本的な考え方は、肌色もしくは肌色以外の個所を抽出することで実現される。
【００４８】
図４は、特徴点抽出部１３で鼻点座標（顔色カラーパレット）値（FaceC 、NosePx、 NosePy の３変数）をどのように利用するかの概要（この３変数を利用しての抽出ロジックの概要）を、表形式にまとめて列記している。
【００４９】
図４に沿って説明すると、まず、輪郭の抽出は、鼻点（NosePx、 NosePy ）を中心に顔色カラーパレット値FaceC ±ｄ（ｄは許容範囲）でなくなった閉空間を抽出することで実現できる。あらかじめ指定された鼻点を中心に処理できるため（すなわち、顔色でない領域を抽出するための基点を鼻点とできるため）、抽出すべき特徴点を自動検出する方法（発明が解決しようとする課題の欄で説明した方法１）と比較した場合、抽出ロジックは極めて容易に、また、極めて精度の高い抽出が可能となる。
【００５０】
次に、右目部の抽出は、鼻点との相対的位置関係より、検索領域はｕ１とし、抽出基本ロジックは、顔色カラーパレット値FaceC ±ｄ（ｄは許容範囲）でなくなった閉図形で白目と黒目が存在することから抽出することで実現できる。これを上記と同様方法１と比較すると、ロジックの簡便化、精度の正確さの向上以外に、検索領域を絞ることによる検索時間の高速化を可能とする。なお、検索領域が異なるだけで、左目部、口部の抽出も同様である。
【００５１】
次に、耳部や顎部の抽出は、方法１では特に抽出されないのが一般である。また、抽出すべき特徴点を全てユーザ指定させる方法（発明が解決しようとする課題の欄で説明した方法２）によって耳部や顎部をユーザ指定させるのは、輪郭抽出や顔の向きを求める等の処理において精度の向上やロジックの簡易化を図ることが目的であり、特にそれほど精度が要求されないアプリケーションソフトを考えると、代替にするのが望ましい。つまり、「顔の向き」は、鼻点と左右の目点より、ほぼ顔の向きに近い向きが算出できるので、これで代替しても、精度面でもさほど問題はない。また、顔の輪郭抽出等は、抽出の基点が明確にさえなっていれば、速度面、精度面とも特に大きな問題は発生せず、また、顔の特徴点を指定させる方法以外にも、後述するような抽出補助パラメータを複数指定させるという方法で代替可能である。
【００５２】
なお、上記実施形態は、鼻点指示部１２の制御内容において、利用者に指定させる抽出補助パラメータを、顔色の１パラメータとしたときの実施形態であるが、上述した通り、利用者に複数の抽出補助パラメータを指定させることで、顔の特徴点の抽出精度や処理速度の短縮化を図ってもよい。
【００５３】
その入力画面の一例を図５に示す。この例では、顔色と髪色をスライダーによる指定とし、あらかじめ数パターン準備された顔形状をラジオボタンの指定としていることが模式化されている。なお、ここで新たに指定可能（図２の顔色カラーパレットの指定に加えて新たに指定可能）となった髪色や顔形状のパラメータは、顔色のパラメータと同様、そのまま特徴点抽出部１３に引き渡される。特徴点抽出部１３では、このパラメータを、主に顔の輪郭抽出に利用することになる。
【００５４】
抽出補助パラメータの数を増やすことは、抽出ロジックの簡便化、抽出の高速化、正確さの向上のみならず、ユーザ操作の多い「抽出すべき特徴点を全て指定させる」場合（方法２）と比較しても、「右目をクリックしてください」がどちらの目をクリックするのか、また、「口をクリックしてください」が口のどこをクリックするのかといった迷いがない。つまり、顔色や髪型の色のスライダーバーでの変更や、輪郭の選択を、直観的にかつ容易に行うことができる。
【００５５】
以上、上記実施形態の画像処理装置は、その装置の３次元顔画像の生成処理を、図示していない記憶部に格納されている３次元顔画像処理プログラムによって実現されている。このプログラムは、コンピュータ読み取り可能な記録媒体に格納されている。本発明では、この記録媒体は、図示していないが、画像処理装置の内部にプログラム読み取り装置を備え、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよいし、あるいは装置内部のプログラムメモリ等の記憶手段に格納されているものであってもよい。いずれの場合においても、格納されているプログラムは直接アクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示していない主記憶メモリにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは、あらかじめ装置本体に格納されているものとする。
【００５６】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピディスクやハードディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカードや光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００５７】
また、本発明においては外部との通信が可能な手段（無線通信機能、あるいはインターネット等の公衆回線を介する有線通信機能）を備えている場合には、これを用いて外部と接続し、そこからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムはあらかじめ装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
【００５８】
【発明の効果】
本発明の画像処理装置によれば、従来の顔部品を全て自動抽出する場合と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる。また、複数の人物が含まれる原画像データであっても、１つの特徴点を指定するのみで、対応することができる。また、従来の２以上の顔部品を指定させる場合と比較しても、生成もしくは成形される画像データの品質をさほど劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００５９】
また、本発明の画像処理装置によれば、入力手段により入力される１点を鼻の位置座標としているので、鼻点をユーザ指定させることで、複数点指定させる場合と比較して、最終出力データの品質を劣化させることなく、利用者の操作負担の軽減や誤操作の防止を図ることができる。
【００６０】
また、本発明の画像処理装置によれば、顔部品の抽出を補助するパラメータ指定手段をさらに備え、このパラメータ指定手段は、表示された補助パラメータをドラッグ操作で鼻の位置まで移動させた後ドロップ操作を行うことで指定するように構成したので、特徴点の指定数を減らしても高品質な出力データを得ることができる。
【００６１】
さらに、本発明のによれば、従来の顔部品を全て自動抽出する方法と比較して、処理速度の向上、生成もしくは成形する画像データの品質の向上を図ることができる画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置のブロック構成図である。
【図２】抽出補助パラメータとして原画像の人物顔色のおおよそ値をユーザ指定させるときの画面レイアウト例を示す説明図である。
【図３】鼻点座標ならびに顔色カラーパレット値の算術ロジックを示すフローチャートである。
【図４】特徴点抽出部での鼻点座標値の利用概要を示す説明図である。
【図５】抽出補助パラメータ指定の入力画面例を示す説明図である。
【図６】顔特徴点を抽出するための概略ブロック図である。
【図７】顔の輪郭領域の大きさや位置が極端に異なる原画像の例を示す説明図である。
【図８】複数の人物が撮影されている画像を原画像として入力されたときに発生する問題点を説明するための図である。
【図９】特徴点を指定させるユーザインタフェースの例を示す説明図である。
【図１０】各指定部位を名前ではなく番号で指定させるユーザインタフェースの例を示す説明図である。
【符号の説明】
１０ ２次元画像入力制御部
１１ 原画像指定部
１２ 鼻点指定部
１３ 特徴点抽出部
１４ ３Ｄ画像符号化部
１５ ３Ｄ画像表示部
２０ ＣＣＤカメラ
３０ 入力装置
４０ 出力装置
５０ 原画像記憶装置
５１ 各種変数・定数記憶装置
５２ 標準人物モデル等（符号化用定数）記憶装置
５３ 成形画像記憶装置
Claims (6)
- 原画像を入力する画像入力手段と、
顔部品の抽出を補助するために予め用意されているカラーパレットと、
前記画像入力手段により入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示する一方、前記原画像データと前記カラーパレットとを並べて表示する表示手段と、
顔部品である鼻の表示位置の指定を促す前記メッセージに従い、表示上の１点である鼻の位置座標を入力する入力手段と、
前記表示手段に表示された前記カラーパレットを用いて前記鼻の色値を指定するパラメータ指定手段と、
前記入力手段により入力された鼻の位置座標および前記パラメータ指定手段により指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出する顔部品抽出手段と、
この顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成する画像生成手段と、を備えたことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記パラメータ指定手段は、前記表示手段に表示された前記カラーパレット指定域内の所望の個所をドラッグし、前記原画像の鼻位置にドロップすることで、前記ドラッグ位置のカラーパレット値を前記ドロップ位置の鼻の色値として指定することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記パラメータ指定手段は、前記表示手段に表示された前記カラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値を前記鼻の色値として指定することを特徴とする画像処理装置。 - 請求項３に記載の画像処理装置において、
前記表示手段には、髪色のカラーパレットと複数パターンの顔形状とが合わせて表示され、
前記パラメータ指定手段は、前記表示手段に表示された前記髪色のカラーパレットに設けられたスライダーを操作することにより、そのスライダー位置のカラーパレット値を髪色に指定し、前記表示手段に表示された複数パターンの顔形状の中から一つの顔形状を指定することを特徴とする画像処理装置。 - 請求項１から請求項４までのいずれか１項に記載の画像処理装置において、
前記顔部品抽出手段は、前記鼻の位置座標との相対位置関係より前記原画像を複数の検索領域に分割し、各検索領域について、前記鼻の色値に所定の許容範囲を持たせた範囲でなくなった閉空間または閉図形を抽出することで、各検索領域での顔部品を抽出することを特徴とする画像処理装置。 - 入力画像から３次元画像を生成する画像処理装置を用いた画像処理方法であって、
顔部品の抽出を補助するためのカラーパレットが予め用意されており、
画像入力手段から入力された原画像を記憶するステップと、
画像入力手段から入力された原画像データおよびこの原画像データ内に存在する顔画像の１つの顔部品である鼻の表示位置の指定を利用者に促すメッセージを表示手段に表示するステップと、
前記画像入力手段から入力された原画像データと前記カラーパレットとを並べて表示手段に表示するステップと、
入力手段から入力された表示上の１点である鼻の位置座標を記憶するステップと、
前記表示手段に表示された前記カラーパレットを用いて指定された鼻の色値を記憶するステップと、
顔部品抽出手段が、前記入力手段より入力された鼻の位置座標および前記指定された鼻の色値を用いて、鼻以外の顔部品を肌色もしくは肌色以外の個所を抽出することで抽出するステップと、
画像生成手段が、前記顔部品抽出手段にて抽出された顔部品および入力された基点の座標情報に基づいてテクスチャを生成し、３次元人物モデルにマッピングを行って３次元画像を生成するステップと、を備えたことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000036759A JP4318825B2 (ja) | 2000-02-15 | 2000-02-15 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000036759A JP4318825B2 (ja) | 2000-02-15 | 2000-02-15 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001229400A JP2001229400A (ja) | 2001-08-24 |
| JP4318825B2 true JP4318825B2 (ja) | 2009-08-26 |
Family
ID=18560763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000036759A Expired - Fee Related JP4318825B2 (ja) | 2000-02-15 | 2000-02-15 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4318825B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2382289B (en) | 2001-09-28 | 2005-07-06 | Canon Kk | Method and apparatus for generating models of individuals |
| GB2383915B (en) | 2001-11-23 | 2005-09-28 | Canon Kk | Method and apparatus for generating models of individuals |
| KR20030091306A (ko) * | 2002-05-27 | 2003-12-03 | 이채헌 | 얼굴 영상에서 부위별 외곽 곡선의 상호 관계를 이용한캐릭터 및 감정 표현 동적 캐릭터 제작 장치와 그 제작방법. |
| KR20040007921A (ko) * | 2002-07-12 | 2004-01-28 | (주)아이엠에이테크놀로지 | 얼굴표정 자동인식을 통한 애니메이션 방법 |
| JP4534510B2 (ja) * | 2004-02-13 | 2010-09-01 | ノーリツ鋼機株式会社 | 写真プリント注文受付装置 |
| JP4765008B2 (ja) * | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
| JP4362489B2 (ja) | 2006-03-29 | 2009-11-11 | 日本電気株式会社 | ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム |
| JP5620743B2 (ja) * | 2010-08-16 | 2014-11-05 | 株式会社カプコン | 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム |
| JP2012249211A (ja) * | 2011-05-31 | 2012-12-13 | Casio Comput Co Ltd | 画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法 |
| US10318102B2 (en) * | 2016-01-25 | 2019-06-11 | Adobe Inc. | 3D model generation from 2D images |
-
2000
- 2000-02-15 JP JP2000036759A patent/JP4318825B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001229400A (ja) | 2001-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11798246B2 (en) | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same | |
| KR102169918B1 (ko) | 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치 | |
| US10860838B1 (en) | Universal facial expression translation and character rendering system | |
| JP7052079B2 (ja) | 画像処理方法、装置、コンピュータ装置及びコンピュータプログラム | |
| JP6374556B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4590401B2 (ja) | 顔画像作成装置、当該装置に係る顔画像作成方法、プログラム及び当該プログラムを記録した記録媒体 | |
| CN104899825B (zh) | 一种对图片人物造型的方法和装置 | |
| KR20200135538A (ko) | 아바타 생성 사용자 인터페이스 | |
| TWI678099B (zh) | 視頻處理方法、裝置和儲存介質 | |
| CN110688948B (zh) | 视频中人脸性别变换方法、装置、电子设备和存储介质 | |
| CN113535306A (zh) | 头像创建用户界面 | |
| US8976182B2 (en) | Facial sketch creation device, configuration information generation device, configuration information generation method, and storage medium | |
| WO2020034698A1 (zh) | 基于三维模型的特效处理方法、装置和电子设备 | |
| JP4318825B2 (ja) | 画像処理装置および画像処理方法 | |
| CN109147024A (zh) | 基于三维模型的表情更换方法和装置 | |
| JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| CN110046020B (zh) | 电子设备、计算机可读存储介质及电子设备处执行的方法 | |
| Sheu et al. | Automatic generation of facial expression using triangular geometric deformation | |
| US20230107555A1 (en) | Facial Expression Editing Method and Electronic Device | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP2001307123A (ja) | 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体 | |
| CN112749357A (zh) | 基于分享内容的交互方法、装置和计算机设备 | |
| JP2010224706A (ja) | 似顔絵作成システム、制御サーバ、クライアント端末、似顔絵作成方法、およびプログラム | |
| JP4374718B2 (ja) | 顔写真画像切り抜き処理方法 | |
| JP7413691B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090527 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |