JP2006331065A - 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】アバター通信において、顔が横を向いた時などには顔の特徴点が取れずに追従できなくなり、そのためアバター画像の顔の動きが不定となって不自然な動きとなる。
【解決手段】閾値の異なる二つの判定部である第一顔向き判定部、第二顔向き判定部を持ち、この判定部によりアバターの動作を顔特徴に追従した追従動作状態と、既に記憶された顔動作を用いて動作させる自律動作状態に遷移する。追従動作状態から自律動作状態に変わる第一顔向き判定部の顔向き閾値より、自律動作状態から追従動作状態に変わる第二顔向き判定部の顔向き閾値の方が狭く設定されることで、追従動作状態に長く留まり、一旦自律動作状態になった時もアバター顔とユーザの顔の向きがぶれない形で追従動作状態に遷移するため、ユーザが顔を横向きにしても顔向きにずれの無い自然なアバター合成画像が生成できる。
【選択図】図３

Description

本発明はＴＶ電話をする際に、実際の顔を送信する代わりに、ＣＧによるキャラクタ等のアバター画像を相手に送信する顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体に関するものである。

近年、携帯電話等のコミュニケーションツールの発達によりカメラ搭載が標準となり、音声情報や文章情報を送信するだけでなく、ＴＶ電話のようなリアルタイムの画像情報を送信する場合が増えてきている。

このようなリアルタイムの動画通信において、ユーザは自己の顔画像をそのまま送信することにはためらいがあるものの、感情や意思は相手に伝えたいといった要望がある。

この要望を満たすために、特許文献１では、取得した顔画像から顔の特徴点の位置を抽出し、この位置情報を反映したキャラクタＣＧ画像（以下アバター画像と呼ぶ）を生成して相手に送信している。
特開２００４−２３６１８６号公報

しかしながら、特許文献１では常に顔の特徴点が追従可能である事が前提であり、顔が横を向いた時などは顔の特徴点が取れず追従できない。このような場合の対処方法の記載がなく、追従できなかった場合通常であれば顔以外の場所を顔として取り、そのためアバター画像の顔の動きが不定となって不自然な動きとなってしまう。

さらに、一旦追従できなくなると、近傍に特徴点が無いか探しながらますます顔から離れてしまい、手動で初期化して画像全体から顔を再検索しなければ正常復帰できなくなるという課題を有していた。

本発明は、前記従来の課題を解決するもので、ユーザが顔を横向きにしても顔向きにずれの無い自然なアバター合成画像が生成可能な顔情報送信装置を提供することを目的とする。

本発明では、顔向きを推定し、その顔向きにより追従動作状態、自律動作状態の二つの状態に遷移する。この時状態を切り替える顔向きによる閾値判定処理の第一顔向き判定部と、判定により追従動作によるアバター合成処理を行うアバター動作修正部と、判定により自律動作によるアバター合成処理をアバター動作生成部とを備えている。

この構成において、顔向きの閾値で追従、自律の二つの状態に切り替えることにより、顔が横を向いて顔部品を追従できなくても自然に自律に切り替わり、また閾値以内になれば自然に追従に切り替わり、アバターを制御することができる。

第２の発明に係る顔情報送信装置では、追従動作状態、自律動作状態に切り替える閾値が第一顔向き判定部、第二顔向き判定部の二つあり、前フレームの動作状態によりどちらの判定部を使用するかを決定する判定分岐制御部を備えている。

この構成において、追従から自律へ変わる顔向きの閾値条件と自律から追従へ変わる顔向きの閾値条件が異なり、閾値一つの場合では閾値付近で顔向きが動いた時に追従・自律の切り替わりが頻繁に起きるのに対して、自然な状態の切替が実現できる。

第３の発明に係る顔情報送信装置では、第一顔向き判定部の顔向き閾値は第二顔向き判定部の顔向き閾値と比べて広く設定されている。

この構成において、追従から自律に変わる閾値は広く、自律から追従に変わる閾値は狭くすることで、顔部品による追従動作を長く続ける事ができ、自律から追従に変わる時もアバターの顔の向きと撮影対象人物の顔の向きが近い形で遷移可能である。

第４の発明に係る顔情報送信装置では、自律動作状態の時に被写体人物が正面顔になって初めて追従動作状態に遷移する。

この構成において、自律動作状態になった時にアバター顔が正面向きに次第に戻り、このアバター顔と被写体人物の顔が正面で一致した時にだけ追従動作状態になるので、追従動作状態に切り替わった時のアバター顔と被写体人物の顔向きが一致して自然な遷移が実現できる。

第５の発明に係る顔情報送信装置では、第一顔向き判定部の閾値が顔部品の検出できる検出可能範囲以下である。

この構成において、追従状態において常に顔部品が検出でき、安定した追従が実現できる。

第６の発明に係る顔情報送信装置では、自律動作状態の時に被写体人物が正面顔にならなくても、その時のアバター顔の顔向きと一致すれば追従動作状態に遷移する。

この構成において、顔向きが一致すればすぐに追従動作状態に遷移し、長く追従動作状態に保つ事ができるため、アバター顔を通して、うなずき、首振りから顔の表情までのコミュニケーションを高めることができる。

本発明では、次の効果がある。動画コミュニケーションにおいてユーザが横を向いた場合にも、追従が途切れることなくアバター画像が自律動作をするため、アバター画像の自然な動きを相手に見せることができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
次に、図面を参照しながら、本発明の実施の形態を説明する。図１は本発明の実施の形態１における顔情報送信装置の機能ブロック図、図２は同顔情報送信装置のフローチャート、図４は同顔情報送信装置のブロック図である。

各部の詳細を説明する前に、図２を用いて、本形態の画像処理装置の処理の流れを解説する。まず、入力画像から顔を見つけて顔の特徴量抽出を行い（ステップ１）、特徴量から顔向きを推定する（ステップ２）。そして、顔向きが閾値以内か以上かで追従動作か自律動作かを判定する（ステップ３）。

ここで、追従動作とは、抽出した顔の特徴量から、顔の位置、顔向き、顔傾き、顔の動作等を抽出し、これに合わせた形でアバター画像を合成、表示させる動作のことである。

さらに、自律動作とは、抽出した顔の特徴量に寄らず、既に記憶された顔の動作や、直前に記憶した顔の動作に従い、アバター画像を合成し、動かす動作のことである。

追従動作の場合は前フレームとの顔特徴の位置の差分だけを修正してアバター動作を決定するアバター動作修正処理を行う（ステップ４）。

自律動作の場合は顔向きが正面以外であればアバター動作生成処理を行う（ステップ５）。

アバター動作修正処理（ステップ４）、アバター動作生成処理（ステップ５）を行った後は作成したアバター画像をアバター送信処理（ステップ６）により相手側に送信する。

上記のステップ１〜６を各フレームごとに繰り返しながらアバター画像を送信する。

次に、本形態の画像処理装置の構成を説明する。図４は、図１の要素を具体的に構成した例を示す。即ち、図４において、ＣＰＵ（中央演算処理装置）２０は、ＲＯＭ（リードオンリーメモリ）２１に格納され、図２のフローチャートに沿う画像処理プログラムを実行し、バス１９を経由し、図２に示す各要素を制御する。

ＲＡＭ（ランダムアクセスメモリ）２２及び不揮発性ＲＡＭ２３には、図１に示す各記憶部のための領域の他、ＣＰＵ２０がその処理のために必要とする一時記憶領域が確保されている。

なお、図１に示す各処理手段は、ＣＰＵ２０が、ＲＯＭ２１に格納された画像処理プログラムを実行することにより実現される。また、このプログラムは、不揮発性ＲＡＭ２３あるいは外部記憶メモリなどの周知の記憶媒体に格納することができる。

また、図４の例では、インターフェース２４にカメラ２５が接続され、リアルタイムで対象物を含むであろう画像を取得できるようになっている。「含むであろう画像」としたのは、検出を行なう以前は、対象物を含むかどうか不明だからである。なお、カメラ２５は、ＣＣＤ、ＣＭＯＳのどちらのモジュールを用いたものであっても良く、携帯電話に付属するカメラを用いることもできる。

次に、図１の機能ブロック構成図を用いて本発明の全体構成を説明する。

図１において、顔特徴抽出部１は、入力画像記憶部９内の入力画像データから顔を検出した後、顔の特徴量を抽出し、その顔特徴量を顔特徴記憶部１０に保存する。図６に顔特徴抽出処理を示す。

顔の特徴量とは、（ｇ）に示すような顔の各顔部品パーツの特徴点の位置データである。この顔の特徴量は顔部品パーツの特徴点を表すものであればどんな位置・形式・特徴量でもかまわない。

まず、平均顔のテンプレート（ａ）を用意し、入力画像（ｂ）とこのテンプレートとのパターンマッチングを行って、相関値により（ｆ）のように顔位置を特定する。

顔位置を特定するために常に入力画像全体から顔を探索してもよいし、一旦顔を顔位置を特定した後は、前フレームの顔位置を利用してその周辺だけを探索しても良い。

その後、各部品の平均テンプレート（例えば目（ｃ）、鼻（ｄ）、口（ｅ））によるテンプレートマッチングで各部品の位置を正確に検出、これにより（ｇ）のように顔部品の端点の座標を計算する。

また顔の特徴量の抽出方法はこの手法に限定せず、同等の効果を示す手法であれば他の手法を用いてもかまわない。

顔向き推定部２は、顔特徴記憶部１０内の顔特徴量を入力として用いて顔向きを推定し、推定した顔向き・顔角度を顔向き記憶部１１に保存する。図７に顔部品の配置と顔向きの関係について示す。（ａ）正面を基準として（ｂ）左向き／（ｃ）右向きはそれぞれ鼻の位置が左寄り／右寄りとなる。また、（ｄ）上向き／（ｅ）下向きはそれぞれ目と鼻の間隔が短い／長いとなる。このような顔向きにより変わる顔部品の幾何情報を利用して顔向き推定を行う。

具体的な顔向きの算出方法を図８を用いて説明する。（ａ）は人物の頭頂から見た模式図である。両目の中点をＡ、鼻の頭をＤ、Ａ・Ｄを映像面に射影した点をＢ・Ｃとすると、左右への顔向き角度θは

で表すことができる。

ＡＤは鼻の高さ、ＢＣは両目の中点と鼻の頭の距離であり、この二つの数値の割合により左右の顔向き角度θが決定する。鼻の高さは人間の顔の造形という意味では個体差がそれほど無いので、両目の距離に対する鼻の高さの比率を統計的平均により算出しておいて使用する。以上の手法により左右向きの顔向き角度を算出する。

（ｂ）（ｃ）は人物の横顔を示す模式図である。（ｂ）が正面向きの図、（ｃ）が上下向き方向に顔を動かした図である。（ｃ）において、両目の中点の位置をＥ、鼻の下をＨ、Ｅ・Ｈを映像面に投影した点をＦ・Ｇとすると、上下への顔向き角度θは

で表すことができる。

ＥＨは両目の中点から鼻の下までの距離であるため、両目の距離に対するＥＨの距離の比率を統計的平均により算出しておいて使用する、または（ｂ）正面顔時のＥＨの距離を両目の距離と共に登録することで対応する。ＦＧは特徴量抽出時の両目と鼻の下の座標を用いて逐次計算することができる。以上の手法により上下向きの顔向き角度を算出する。

なお、顔向き推定は上記の手法に限定することなく、同等の効果を示す手法であれば他の手法を用いてもかまわない。

次に本発明のポイントとなる第一顔向き判定部４、アバター動作修正部５、アバター動作生成部７を詳細に説明する。

第一顔向き判定部４は、顔向き記憶部１１内に記憶した顔向きに従い、アバター動作修正部５、アバター動作生成部７のどちらを実行するかを決定する。顔向き閾値以内であれば、追従動作状態であり、アバター動作修正部を実行する。顔向き閾値以上であれば、自律動作状態であり、アバター動作生成部を実行する。

アバター動作修正部では、顔特徴記憶部とキャラクタデータ記憶部の情報を用いてアバター画像を合成する。キャラクタデータ記憶部には、正面顔のときの基準顔キャラクタデータが入っており、顔特徴量の特徴点に対応するキャラクタデータの特徴点が設定されている。顔特徴量が変わればこれに合わせてキャラクタの特徴点も変動させてアバター画像を生成する。例えば、顔部品が全て右よりの顔特徴量であれば、キャラクタもそれに合わせて顔部品を右よりに再合成し直してアバター画像を作成する。こうする事で顔の特徴量に合わせた少し右を向いたアバター画像が生成できる。

アバター動作生成部では、顔動作記憶部とキャラクタデータ記憶部の情報を用いてアバター画像を合成する。キャラクタデータ記憶部には、正面顔のときの基準顔キャラクタデータが入っており、顔特徴量の特徴点に対応するキャラクタデータの特徴点が設定されている。顔動作記憶部には、あらかじめ顔特徴量の変動が数フレーム分保存されている。この保存された顔特徴量が変わればこれに合わせてキャラクタの特徴点も変動させてアバター画像を生成する。例えば、うなずく動作における顔特徴量が数フレーム顔動作記憶部に保存されている場合、キャラクタもそれに合わせてうなずくように再合成し直してアバター画像を作成する。こうする事で顔の特徴量が検出できない時にもアバター画像が生成できる。

なお、顔動作記憶部に記憶された顔動作情報は直前の顔動作を記憶するのではなく、実行する以前からあらかじめ与えられていた顔動作が記憶されていてもかまわない。

以上のようにして、顔が横を向いて顔特徴量が抽出できない状況においても不自然な動作をすることなく相手側にアバター画像の動作を送信する事ができる。

図１には、スタンドアロン形式のシステムを例示したが、サーバ／クライアント形式にしても良い。つまり、１つの端末機のみに、本明細書に出現する全ての要素が含まれている場合の他、１つの端末機がクライアントであり、これが接続可能なサーバないしネットワーク上に、全部又は一部の要素が実存していても差し支えない。

さらには、図１のほとんどの要素をサーバ側で持ち、クライアント側では、例えば、ＷＷＷブラウザだけにしても良い。この場合、各種の情報は、通常サーバ上にあり、基本的にネットワークを経由してクライアントに配布されているものだが、必要な情報が、サーバ上にある時は、そのサーバの記憶装置が、ここにいう「記録媒体」となり、クライアント上にある時は、そのクライアントの記録装置が、ここにいう「記録媒体」となる。

さらに、この「プログラム」には、コンパイルされて機械語になったアプリケーションの他、上述のプロセスないしスレッドにより解釈される中間コードとして実存する場合や、少なくともリソースとソースコードとが「記録媒体」上に格納され、これらから中間コードのアプリケーションを生成できるインタープリタが「記録媒体」にある場合なども含む。

（実施の形態２）
次に、図面を参照しながら、本発明の実施の形態２を説明する。図３は、本発明の実施の形態２における顔情報送信装置の機能ブロック図、図４は、同顔情報送信装置のブロック図、図５は、同顔情報送信装置のフローチャートである。

各部の詳細を説明する前に、図５を用いて、本形態の画像処理装置の処理の流れを解説する。まず、入力画像から顔を見つけて顔の特徴量抽出を行い（ステップ１）、特徴量から顔向きを推定する（ステップ２）。そして、前フレームが追従動作か自律動作かによって判定分岐制御で判定器を切り替える（ステップ３）。

判定分岐制御で追従動作の場合は顔角度による第一顔向き判定処理を行う（ステップ４）。第一の顔向き閾値以内であれば追従動作状態のままであり、第一の顔向き閾値以上であれば自律動作状態に遷移する。その後、前フレームとの顔特徴の位置の差分だけを修正してアバター動作を決定するアバター動作修正処理を行う（ステップ５）。

判定分岐制御で自律動作の場合は顔向きが正面か正面以外かを判定する第二顔向き判定処理を行う（ステップ６）。正面以外であれば自律動作状態のままであり、正面の場合は追従動作状態に遷移する。その後、あらかじめ記憶された顔動作記憶データを用いて合成するアバター動作生成処理を行う（ステップ７）。

アバター動作修正処理（ステップ５）、アバター動作生成処理（ステップ７）を行った後は作成したアバター画像をアバター送信処理（ステップ８）により相手側に送信する。

上記のステップ１〜８を各フレームごとに繰り返しながらアバター画像を送信する。

次に、本形態の画像処理装置の構成を説明する。図４は、図３の要素を具体的に構成した例を示す。即ち、図４において、ＣＰＵ（中央演算処理装置）２０は、ＲＯＭ（リードオンリーメモリ）２１に格納され、図５のフローチャートに沿う画像処理プログラムを実行し、バス１９を経由し、図５に示す各要素を制御する。

ＲＡＭ（ランダムアクセスメモリ）２２及び不揮発性ＲＡＭ２３には、図３に示す各記憶部９、１０、１１、１２、１３、１４のための領域の他、ＣＰＵ２０がその処理のために必要とする一時記憶領域が確保されている。

なお、図３に示す各処理手段１、２、３、４、５、６、７、８は、ＣＰＵ２０が、ＲＯＭ２１に格納された画像処理プログラムを実行することにより実現される。また、このプログラムは、不揮発性ＲＡＭ２３あるいは外部記憶メモリなどの周知の記憶媒体に格納することができる。

また、図４の例では、インターフェース２４にカメラ２５が接続され、リアルタイムで対象物を含むであろう画像を取得できるようになっている。なお、カメラ２５は、ＣＣＤ、ＣＭＯＳのどちらのモジュールを用いたものであっても良く、携帯電話に付属するカメラを用いることもできる。

次に、図３の機能ブロック構成図を用いて本発明の全体構成を説明する。

図３において、顔特徴抽出部１は、入力画像記憶部９内の入力画像データから顔を検出した後、顔の特徴量を抽出し、その顔特徴量を顔特徴記憶部１０に保存する。顔特徴抽出部の詳細は実施の形態１と同様である。

顔向き推定部２は、顔特徴記憶部１０内の顔特徴量を入力として用いて顔向きを推定し、推定した顔向き・顔角度を顔向き記憶部１１に保存する。顔向き推定部の詳細は実施の形態１と同様である。

次に本発明のポイントとなる判定分岐制御部３、第一顔向き判定部４、第二顔向き判定部６を詳細に説明する。

判定分岐制御部３は、状態遷移記憶部１３内に記憶した前フレームの２つの動作状態フラグに従い、第一顔向き判定部４と第二顔向き判定部６のどちらを実行するかを決定する。

第一顔向き判定部４は、顔向き記憶部１１内の顔向き・顔角度情報を用いて、現フレームの顔が第一顔向き範囲内に存在するかどうかを閾値判定し、範囲外であれば状態遷移記憶部１３に自律動作状態フラグをセットする。その後アバター動作修正部５に移行する。第一顔向き範囲とは、正面向きよりも広く、顔特徴量が抽出できる検出可能範囲よりも内側に設定された閾値である。図９に第一顔向き範囲の設定例を示す。図では左右に対する顔向きのみを例示してあるが、上下の顔向きについても同様である。

第二顔向き判定部６は、顔向き記憶部１１内の顔向き・顔角度情報を用いて、現フレームの顔が第二顔向き範囲内に存在するかどうかを閾値判定し、範囲外であれば状態遷移記憶部１３に追従動作状態フラグをセットする。その後アバター動作生成部７に移行する。第二顔向き範囲とは、正面向きの顔範囲以外を指し示す。図９に第二顔向き範囲の設定例を示す。逆に、唯一顔正面が第二顔向き範囲外である。図では左右に対する顔向きのみを例示してあるが、上下の顔向きについても同様である。

図１０に状態遷移記憶部１３の状態遷移図を示す。前フレームの顔向きが第一顔向き判定部４で第一顔向き範囲内である、もしくは第二顔向き判定部６で第二顔向き範囲外であれば、状態遷移記憶部１３は追従状態のフラグが立つ。この状態の場合、現フレームにおいて判定分岐制御部３は第一顔向き判定部４を選択して実行に移す。

第一顔向き判定部４において顔向きが第一顔向き範囲内だと判断する間は常に追従動作状態にセットされる、すなわち次フレームにおいてもアバター動作修正部５が実行されてアバターは顔に追従した動作をする。もし顔向きが第一顔向き範囲を超えた場合、自律動作状態に遷移し、次フレームではアバター動作生成部７が実行されてアバターはあらかじめ顔動作を記憶した顔動作記憶部１２の情報を用いて自律動作をする。

前フレームの顔向きが第二顔向き判定部６で第二顔向き範囲内である、もしくは第一顔向き判定部４で第一顔向き範囲外であれば、状態遷移記憶部１３は自律動作状態のフラグが立つ。この状態の場合、現フレームにおいて判定分岐制御部３は第二顔向き判定部６を選択して実行に移す。

第二顔向き判定部６において顔向きが第二顔向き範囲内、すなわち顔正面ではないと判断する間は常に自律動作状態にセットされる、すなわち次フレームにおいてもアバター動作生成部７が実行されてアバターはあらかじめ顔動作を記憶した顔動作記憶部１２の情報を用いて自律動作をする。もし顔向きが第二顔向き範囲外、すなわち顔正面となった場合、状態遷移記憶部１３にフラグをセットして追従動作状態に再度遷移し、次フレームではアバター動作修正部５が実行されてアバターは顔に追従した動作をする。

次に状態遷移記憶部１３が追従動作状態の時の各ブロックの動きについて図１１を用いて説明する。追従動作状態では判定分岐制御部は第一顔向き判定部を選択して移行する。第一顔向き判定部には図１１のように顔向き記憶部より様々な顔向きが入ってくる。その中でも第一顔向き範囲内に納まる顔向きの場合には状態遷移記憶部に追従動作状態フラグをセットしてアバター動作修正部へ移行する。第一顔向き範囲外の顔向きの場合には状態遷移記憶部に自律動作状態フラグをセットしてアバター動作修正部へ移行する。

アバター動作修正部では、顔特徴記憶部とキャラクタデータ記憶部の情報を用いてアバター画像を合成する。キャラクタデータ記憶部には、正面顔のときの基準顔キャラクタデータが入っており、顔特徴量の特徴点に対応するキャラクタデータの特徴点が設定されている。顔特徴量が変わればこれに合わせてキャラクタの特徴点も変動させてアバター画像を生成する。例えば、顔部品が全て右よりの顔特徴量であれば、キャラクタもそれに合わせて顔部品を右よりに再合成し直してアバター画像を作成する。こうする事で顔の特徴量に合わせた少し右を向いたアバター画像が生成できる。

次に状態遷移記憶部１３が自律動作状態の時の各ブロックの動きについて図１２を用いて説明する。自律動作状態では判定分岐制御部は第二顔向き判定部を選択して移行する。第二顔向き判定部には図１２のように顔向き記憶部より様々な顔向きが入ってくる。その中でも第二顔向き範囲内に納まる顔向きの場合、すなわち正面顔以外の場合には状態遷移記憶部に自律動作状態フラグをセットしてアバター動作生成部へ移行する。第二顔向き範囲外の顔向き、すなわち正面顔の場合には状態遷移記憶部に追従動作状態フラグをセットしてアバター動作生成部へ移行する。

アバター動作生成部では、顔動作記憶部とキャラクタデータ記憶部の情報を用いてアバター画像を合成する。キャラクタデータ記憶部には、正面顔のときの基準顔キャラクタデータが入っており、顔特徴量の特徴点に対応するキャラクタデータの特徴点が設定されている。顔動作記憶部には、あらかじめ顔特徴量の変動が数フレーム分保存されている。この保存された顔特徴量が変わればこれに合わせてキャラクタの特徴点も変動させてアバター画像を生成する。例えば、うなずく動作における顔特徴量が数フレーム顔動作記憶部に保存されている場合、キャラクタもそれに合わせてうなずくように再合成し直してアバター画像を作成する。こうする事で顔の特徴量が検出できない時にもアバター画像が生成できる。

次に図１３のを用いて顔向きとアバター顔向きの関係を説明する。図１３のグラフは縦軸が左右への顔向きθ、横軸が時間ｔである。例として時間経過による顔向きθの変動に対して本発明によりアバターの顔向きがどのように変わるかを説明する。図では第一顔向き範囲が４５°以内としているが、この値に限定しているわけではなく、図９で説明した値の範囲であれば他の値でも構わない。

（ａ）の位置において顔向きが左右に動いた時にもこれは追従動作状態における第一顔向き範囲以内であるので、顔の特徴点から顔と同じ向きを合成して表示する。またこの時の顔の動きを顔動作記憶部に逐次記憶し、新しい顔動作が現れれば上書きされる。このようにして顔動作記憶部には常に最近の顔の動作が記憶されている。

このような顔の動きに追従したアバター顔の合成は（ｂ）の時刻まで続き、（ｂ）からは顔の向きが第一顔向き範囲を超えるため、追従動作状態から自律動作状態へ移行する。自律動作状態に入ると、第一顔向き範囲の限界角度のアバター画像はまず最初に滑らかに正面向きに戻っていく。この時顔向きが第二顔向き範囲であれば、顔の動作に関係なく自律的に動作する。

アバター画像が正面を向いた後は顔動作記憶部に記憶された直前の顔動作情報を用いてアバター画像が生成される。図では（ａ）の位置で記憶された顔動作が（ｃ）の位置で使われてアバター顔動作として合成される。そして顔向きが第二顔向き範囲外にでる、すなわち正面顔になるまでこの顔動作記憶部に記憶された顔動作を繰り返す。

なお、顔動作記憶部に記憶された顔動作情報は直前の顔動作を記憶するのではなく、実行する以前からあらかじめ与えられていた顔動作が記憶されていてもかまわない。

（ｄ）の時刻で顔向きが第二顔向き範囲外にでる、すなわち正面顔になり、この時点で自律動作状態から追従動作状態に移行する。この状態により再度顔向きとアバターの顔向きが同期するように顔特徴量を用いたアバター合成が行われる。

以上のようにして、顔が横を向いて顔特徴量が抽出できない状況においても不自然な動作をすることなく相手側にアバター画像の動作を送信する事ができる。

図１３では左右の顔向きについて説明したが、左右に限定するわけではなく、上下についても同様に処理する事で上下の動きで顔特徴量が抽出できない状況でも不自然さを出す事なくアバター通信を行える。

本発明にかかる顔情報送信装置は、携帯電話においてCGキャラクタ画像を用いた代行TV電話通信等として有用である。またPC上でアバター画像によるTV会議等の用途にも応用できる。

本発明の実施の形態１における顔情報送信装置の機能ブロック図 同顔情報送信装置のフローチャート 本発明の実施の形態２における顔情報送信装置の機能ブロック図 同顔情報送信装置のブロック図 同顔情報送信装置のフローチャート （ａ）同平均顔テンプレートの例示図（ｂ）同入力画像の例示図（ｃ）同平均目テンプレートの例示図（ｄ）同平均鼻テンプレートの例示図（ｅ）同平均口テンプレートの例示図（ｆ）同顔検出結果の例示図（ｇ）同顔部品検出結果の例示図 （ａ）同顔部品と顔向き（正面）関係の説明図（ｂ）同顔部品と顔向き（左向き）関係の説明図（ｃ）同顔部品と顔向き（右向き）関係の説明図（ｄ）同顔部品と顔向き（上向き）関係の説明図（ｅ）同顔部品と顔向き（下向き）関係の説明図 （ａ）同顔向き推定部の算出方法例示図（ｂ）同顔向き推定部の算出方法例示図（ｃ）同顔向き推定部の算出方法例示図 （ａ）同第一顔向き判定部、第二顔向き判定部の判定閾値例示図（ｂ）同第一顔向き判定部、第二顔向き判定部の判定閾値例示図（ｃ）同第一顔向き判定部、第二顔向き判定部の判定閾値例示図（ｄ）同第一顔向き判定部、第二顔向き判定部の判定閾値例示図 同状態遷移記憶部の状態遷移説明図 同状態遷移記憶部が追従動作状態時の動作説明図 同状態遷移記憶部が自律動作状態時の動作説明図 （ａ）同顔向きとアバター顔向きの関係説明図（ｂ）同顔向きとアバター顔向きの関係説明図（ｃ）同顔向きとアバター顔向きの関係説明図（ｄ）同顔向きとアバター顔向きの関係説明図

符号の説明

１ 顔特徴抽出部
２ 顔向き推定部
３ 判定分岐制御部
４ 第一顔向き判定部
５ アバター動作修正部
６ 第二顔向き判定部
７ アバター動作生成部
８ アバター送信部
９ 入力画像記憶部
１０ 顔特徴記憶部
１１ 顔向き記憶部
１２ 顔動作記憶部
１３ 状態遷移記憶部
１４ キャラクタデータ記憶部
１５ 顔向き判定部
１９ バス
２０ CPU（中央演算処理装置）
２１ ROM（リードオンリーメモリ）
２２ RAM（ランダムアクセスメモリ）
２３ 不揮発性RAM
２４ インターフェース
２５ カメラ

Claims (10)

1. 入力画像から顔特徴量を抽出する顔特徴抽出部と、
   抽出した顔特徴量に合わせてアバター画像を合成するアバター動作修正部と、
   合成したアバター画像を通信相手に送信するアバター送信部と、
   顔特徴量に基づいて顔向きを推定する顔向き推定部と、
   各フレームの顔向き情報を閾値にて判定して、アバターが顔特徴の動作に追従して動く追従動作状態と、顔特徴の動きに関わらずアバターが予め与えられた動作を繰り返す自律動作状態のどちらであるかを特定してアバター画像合成方法を変える顔向き判定部と
   を備えた顔情報送信装置。
2. 前記顔向き判定部は、
   各フレームの顔向き情報を第一の閾値にて判定して、追従動作状態と、自律動作状態のどちらの状態であるかを特定する第一顔向き判定部と、
   顔向きを第一の閾値とは異なる第二の閾値にて判定して状態を特定する第二顔向き判定部と、
   二つの判定部のどちらかにより特定した状態を記憶する状態遷移記憶部と、
   前フレームの状態遷移記憶部に記憶した状態により二つの判定部のどちらを使用するかを決定する判定分岐制御部と
   を含む
   請求項１に記載の顔情報送信装置。
3. 前記第一顔向き判定部の顔向き閾値は前記第二顔向き判定部の顔向き閾値と比べて広く、前記第一顔向き判定部の閾値以内であれば追従動作状態、閾値を超えると自律動作状態に遷移するよう構成された
   請求項２記載の顔情報送信装置。
4. 前記第二顔向き判定部は、判定して追従動作状態に遷移する顔向き閾値が正面顔であるよう構成された
   請求項２または３記載の顔情報送信装置。
5. 前記第一顔向き判定部の顔向き閾値は、顔部品検出が可能な検出可能範囲以下であるよう構成された請求項２、３または４に記載の顔情報送信装置。
6. 自律動作状態で動作するアバター顔の顔向きと撮影する顔の向きが一致した時点で追従動作状態に遷移するよう構成された請求項１から５の何れかに記載の顔情報送信装置。
7. 入力画像から顔特徴量を抽出する顔特徴抽出ステップと、
   抽出した顔特徴量に合わせてアバター画像を合成するアバター動作修正ステップと、
   合成したアバター画像を通信相手に送信するアバター送信ステップと、
   顔特徴量に基づいて顔向きを推定する顔向き推定ステップと、
   各フレームの顔向き情報を閾値にて判定して、アバターが顔特徴の動作に追従して動く追従動作状態と、顔特徴の動きに関わらずアバターが予め与えられた動作を繰り返す自律動作状態のどちらであるかを特定してアバター画像合成方法を変える顔向き判定ステップとを備えた顔情報送信方法。
8. 前記顔向き判定ステップは、
   各フレームの顔向き情報を第一の閾値にて判定して、追従動作状態と、自律動作状態のどちらの状態であるかを特定する第一顔向き判定ステップと、
   顔向きを第一の閾値とは異なる第二の閾値にて判定して状態を特定する第二顔向き判定ステップと、
   二つの判定部のどちらかにより特定した状態を記憶する状態遷移記憶ステップと、
   前フレームの状態遷移記憶部に記憶した状態により二つの判定部のどちらを使用するかを決定する判定分岐制御ステップと
   を含む
   請求項７に記載の顔情報送信方法。
9. コンピュータに、
   入力画像から顔特徴量を抽出する顔特徴抽出ステップと、
   抽出した顔特徴量に合わせてアバター画像を合成するアバター動作修正ステップと、
   合成したアバター画像を通信相手に送信するアバター送信ステップと、
   顔特徴量に基づいて顔向きを推定する顔向き推定ステップと、
   各フレームの顔向き情報を閾値にて判定して、アバターが顔特徴の動作に追従して動く追従動作状態と、顔特徴の動きに関わらずアバターが予め与えられた動作を繰り返す自律動作状態のどちらであるかを特定してアバター画像合成方法を変える顔向き判定ステップとを実行させるための顔情報送信プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 前記顔情報送信プログラムにおいて、
    顔向き判定ステップは、
    各フレームの顔向き情報を第一の閾値にて判定して、追従動作状態と、自律動作状態のどちらの状態であるかを特定する第一顔向き判定ステップと、
    顔向きを第一の閾値とは異なる第二の閾値にて判定して状態を特定する第二顔向き判定ステップと、
    二つの判定部のどちらかにより特定した状態を記憶する状態遷移記憶ステップと、
    前フレームの状態遷移記憶部に記憶した状態により二つの判定部のどちらを使用するかを決定する判定分岐制御ステップと
    を含む
    請求項９に記載の記録媒体。

Images