JP2009246408A - 対話装置、画像処理モジュール、画像処理方法およびプログラム - Google Patents

Abstract

【課題】対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現することができる対話装置、画像処理モジュール、画像処理方法およびプログラムを提供する。
【解決手段】本発明に係る対話装置は、撮像手段としてのカメラ１１と、画像処理モジュール１３と、表示部３２と、画像通信部３３などを有する。画像処理モジュール１３は、入力された画像データに含まれる人物の視線が画像データの正面を向くように、画像データに含まれる人物の眼瞼裂領域（眼球の露出領域）の画素を変更することによって虹彩および瞳孔の位置を変更する。画像処理モジュール１３は、顔認識部１４、視線判定部１５および視線変更部１６を有する。顔認識部１４は、顔認識処理の結果にもとづいて、顔全体の向きを規定するベクトル（顔ベクトル）の情報を抽出する。視線変更部１６は、顔ベクトルの向きにもとづいて顔が表示画面を向いていると判定されると、人物の視線が画像データの正面を向くよう、眼瞼裂領域内の画素を変更する。
【選択図】 図１

Description

本発明は、テレビ電話やテレビ会議などに利用される対話装置、画像処理モジュール、画像処理方法およびプログラムに関する。

テレビ電話やテレビ会議などの対話型通信システムにおける問題の１つとして、対話者同士の視線の不一致の問題が挙げられる。

一般に、対話型通信システムを利用する際、ユーザは、表示装置に表示された相手の画像に視線を合わせようとする。しかし、表示装置の表示画面の法線方向とユーザを撮像するカメラのレンズの光軸方向とが異なる場合、ユーザが相手の画像に視線を合わせると、カメラにより撮像されるユーザの画像はユーザの正面画像とはならない。この場合、ユーザは相手の画像と視線を合わせているにもかかわらず、相手側の表示装置にはユーザが視線をそらしている画像が表示されてしまう。

従来、この種の対話型通信システムにおける対話者同士の視線を一致させる技術に、特開２００４−３２６１７９号公報（特許文献１）に開示された技術がある。

この特許文献１に開示された画像処理装置は、カメラから入力されたユーザの頭部画像について、あらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成手段を備え、複数の対話者を同時に表示してテレビ会議を行う際に、各対話者の頭部の大きさを統一することができるとともに、各対話者の顔がカメラのほうを向いているように見える画像を自動生成することができるようになっている。
特開２００４−３２６１７９号公報

しかし、従来の技術では、各対話者が顔を向けている方向にかかわらず、各対話者の顔がカメラの方を向いている画像を生成してしまう。このため、明らかにカメラの方を向くことを意図していない体勢の対話者については、極めて不自然な画像が生成されてしまう。また、従来の技術では、各対話者の顔全体の方向を変更する必要があるために複雑な画像処理を行わなければならず、画像処理に時間がかかってしまう。

本発明は、上述した事情を考慮してなされたもので、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現することができる対話装置、画像処理モジュール、画像処理方法およびプログラムを提供することを目的とする。

本発明に係る画像処理モジュールは、上述した課題を解決するために、対話型通信システムに用いられる画像処理モジュールであって、入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段と、前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定する視線判定手段と、前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段と、を備えたことを特徴とするものである。

また、本発明に係る対話装置は、上述した課題を解決するために、表示手段と、入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段と、前記顔ベクトルの情報にもとづいて、前記顔が前記表示手段の表示画面を向いているかどうかを判定する視線判定手段と、前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段と、を備え、前記表示手段は、前記視線変更手段から受けた前記眼瞼裂領域内の画素が変更された前記画像データを表示することを特徴とするものである。

一方、本発明に係る画像処理方法は、上述した課題を解決するために、入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出するステップと、前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定するステップと、前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更するステップと、を有することを特徴とする方法である。

さらに、本発明に係るプログラムは、上述した課題を解決するために、コンピュータを、入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段、前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定する視線判定手段、および前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段、として機能させるためのプログラムである。

本発明に係る対話装置、画像処理モジュール、画像処理方法および画像処理プログラムによれば、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現することができる。

本発明に係る対話装置、画像処理モジュール、画像処理方法およびプログラムの実施の形態について、添付図面を参照して説明する。

図１は、本発明に係る対話装置１０の一実施形態を示す概略的な全体構成図である。この対話装置１０は、たとえばパーソナルコンピュータや携帯電話機などに適用することが可能である。

図１に示すように、対話装置１０は、撮像手段としてのカメラ１１と、画像データ取得部１２と、画像処理モジュール１３と、表示制御部３１と、表示部３２と、画像通信部３３とを有する。

ユーザは、対話装置１０を用いて、この対話装置１０と画像通信可能にネットワーク接続された他の対話装置１０を用いる対話相手と、テレビ電話やテレビ会議を利用することができる。

カメラ１１は、対話装置１０を用いるユーザの顔を含む画像を撮像して画像データを生成する。このカメラ１１として、例えばＣＭＯＳ型撮像素子やＣＣＤ型撮像素子を用いたものを利用することができる。

画像データ取得部１２は、画像通信部３３から取得した対話相手の顔を含む画像の画像データ（以下、受信画像データという）、およびカメラ１１から取得されたユーザの顔を含む画像の画像データ（以下、送信画像データという）を、画像処理モジュール１３に入力する。

画像処理モジュール１３は、入力された画像データに含まれる人物の視線が画像データの正面を向くように、画像データに含まれる人物の眼瞼裂領域（眼球の露出領域）の画素を変更することによって虹彩および瞳孔の位置を変更する。

なお、人物の視線が「画像データの正面を向いている」ことは、人物の視線が「カメラ１１を向いている」ことと同義である。

表示制御部３１は、画像処理モジュール１３が出力する画像データから画像を生成し、表示部３２に表示させる。表示制御部３１に与えられる画像データは、少なくとも画像処理モジュール１３が出力する受信画像データ（対話相手の顔を含む画像データ）を含む。

以下の説明では、表示制御部３１に与えられる画像データが、受信画像データと、送信画像データ（ユーザの顔を含む画像データ）との両方である場合の例について示す。この場合、ユーザは、表示部３２に表示された送信画像を見ることにより、表示部３２の表示画面を注視している際の自身の視線がカメラ１１を向いているよう画像処理されているかどうかを確認することができる。

表示部３２は、たとえば液晶ディスプレイやＣＲＴディスプレイなどの一般的な表示出力装置により構成され、表示制御部３１の制御に従って各種画像を表示する。

画像通信部３３は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。画像通信部３３は、この各種プロトコルに従って対話装置１０と他の対話装置１０とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。画像通信部３３は、この接続を介して他の対話装置１０と画像データを互いに送受信する。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

続いて、画像処理モジュール１３についてより詳細に説明する。

画像処理モジュール１３は、顔認識部１４、視線判定部１５および視線変更部１６を有する。

顔認識部１４は、入力された画像データに対して顔認識処理を実行し、眼瞼裂の位置の情報および眼瞼裂領域の画素の情報を抽出する。顔認識処理方法は、従来各種の方法が知られており、これらのうち任意の方法を使用することが可能である。また、顔認識部１４は、顔認識処理の結果にもとづいて、顔全体の向きを規定するベクトル（以下、顔ベクトルという）の情報を抽出する。

視線判定部１５は、画像データに含まれる人物の顔が表示手段の表示画面を向いているかどうかを判定する。

視線変更部１６は、黒目情報取得部１７、モデル生成部１８、モデル位置決定部１９および眼瞼裂領域変更部２０を有する。

黒目情報取得部１７は、顔認識部１４から虹彩および瞳孔の画素情報（虹彩および瞳孔の大きさおよび色の情報を含む）を取得する。

モデル生成部１８は、虹彩および瞳孔の画素の情報にもとづいて、虹彩モデルおよび瞳孔モデルを生成する。

モデル位置決定部１９は、顔ベクトルの情報にもとづいて、人物の視線が画像データの正面を向くよう虹彩モデルおよび瞳孔モデルの配置位置を決定する。

眼瞼裂領域変更部２０は、眼瞼裂領域内の画素を変更することにより、ユーザの視線が画像データの正面を向いた画像データを生成し、この画像データを表示制御部３１および画像通信部３３に与える。

次に、本実施形態に係る対話装置１０の動作（画像処理モジュール１３の動作を含む）の一例について説明する。

図２は、図１に示す対話装置１０により、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現するために、カメラ１１によって生成されたユーザの顔を含む画像データの視線を必要に応じて変更する際の手順を示すフローチャートである。図２において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

なお、以下の説明では、カメラ１１の設置位置が、ユーザから見て左上である場合の例について説明する。

まず、ステップＳ１において、画像データ取得部１２は、ユーザの顔を含む画像データをカメラ１１から受け、この画像データを画像処理モジュール１３に入力する。

次に、ステップＳ２において、顔認識部１４は、入力された画像データに対して顔認識処理を実行し、ユーザの顔における眼瞼裂の位置の情報および眼瞼裂領域の画素の情報を抽出する。眼瞼裂領域の画素の情報には、虹彩、瞳孔および強膜（いわゆる白目）の画素の情報が含まれる。各画素の情報には、各対象の位置、大きさおよび色の情報が含まれる。

また、顔認識部１４は、顔認識処理の結果にもとづいて、顔全体の向きを規定する顔ベクトルの情報を抽出する。

図３は、ユーザの顔の向きおよび視線が表示部３２の表示画面を真っすぐ向いている場合において、画像データから抽出される顔ベクトルについて説明するための図である。図３の左は、カメラ１１によって生成された画像データである。ユーザの顔がカメラ１１を向いている場合、ユーザの顔は画像データの正面（紙面奥から手前に向かう向き）を向くことになる。

ユーザの顔が表示部３２の表示画面を真っすぐ向いている場合には、顔ベクトルは、表示画面の法線ベクトルに対して並行となる。一方、この場合、図３に示すように、顔ベクトルは、画像データの正面を規定する画像データの法線ベクトル（紙面奥から手前に貫くベクトル）に対しては、カメラ１１の設置位置に応じて若干ずれた向きを持つ。

図４は、ユーザの顔の向きが表示部３２の表示画面を真っすぐ向いた状態から大きく外れた場合において、画像データから抽出される顔ベクトルを説明するための図である。

図４に示すように、ユーザが対話相手（表示手段の表示画面）を見ていない場合には、顔ベクトルは、表示画面の法線ベクトルに対して大きくずれた向きを持つことになる。

ユーザの顔が明らかに対話相手を向いていない場合には、視線の変更処理を行ってしまうと不自然な画像が生成されてしまう。このため、顔ベクトルの向きが所定の範囲にあるかどうかによりユーザの顔が表示手段の表示画面を向いているかどうかを判定し、顔ベクトルの向きが所定の範囲にある場合にのみ視線の変更処理を行うようにするとよい。

ステップＳ３において、視線判定部１５は、顔ベクトルの向きが所定の範囲にあるかどうかを判定することにより、画像データに含まれるユーザの顔が表示手段の表示画面を向いているかどうかを判定する。顔ベクトルの向きが所定の範囲にある場合、つまりユーザの顔が表示手段の表示画面を向いていると判定された場合は、視線の変更処理を行うべくステップＳ４に進む。一方、顔ベクトルの向きが所定の範囲外の場合、つまりユーザの顔が表示手段の表示画面を向いていないと判定された場合は、視線判定部１５は、この視線変更処理前の画像データを表示制御部３１および画像通信部３３に与える。ステップＳ８に進む。

次に、ステップＳ４において、黒目情報取得部１７は、顔認識部１４から虹彩および瞳孔の画素情報（虹彩および瞳孔の大きさおよび色の情報を含む）を取得する。

図５は、虹彩モデルおよび瞳孔モデルを生成する様子の一例を示す説明図である。

ステップＳ５において、モデル生成部１８は、虹彩および瞳孔の画素の情報にもとづいて、虹彩モデルおよび瞳孔モデルを生成する。この結果、ユーザの虹彩および瞳孔の色に合わせた虹彩モデルおよび瞳孔モデルを生成することができるとともに、画像データ上の虹彩および瞳孔の大きさに合わせた虹彩モデルおよび瞳孔モデルを生成することができる。

なお、この虹彩モデルおよび瞳孔モデルは、ユーザの視線が画像データの正面を向くよう画像処理を行う際に用いられる。正面を向いている人物の虹彩および瞳孔の形状は、他者からは、ほぼ円形として視認される。このため、モデル生成部１８は、ほぼ円形形状となるように虹彩モデルおよび瞳孔モデルを生成すればよく、複雑な形状計算をする必要はない。

次に、ステップＳ６において、モデル位置決定部１９は、顔ベクトルの情報にもとづいて、虹彩モデルおよび瞳孔モデルの配置位置を決定する。より具体的には、モデル位置決定部１９は、顔ベクトルの向きと画像データ正面の向きとの差にもとづいて、ユーザの視線が画像データの正面を向くように、虹彩モデルおよび瞳孔モデルの配置位置を決定する。

図６は、画像データの眼瞼裂領域内の画素を変更する様子の一例を示す説明図である。また、図７は、視線変更処理前後の画像データの一例について説明するための図である。

ステップＳ７において、眼瞼裂領域変更部２０は、モデル位置決定部１９により決定された位置に虹彩モデルおよび瞳孔モデルを配置するよう眼瞼裂領域内の画素を変更することにより、ユーザの視線が画像データの正面を向いた画像データを生成する（図７参照）。そして、眼瞼裂領域変更部２０は、この視線変更処理後の画像データを表示制御部３１および画像通信部３３に与える。

たとえば、図６に示すように、まず眼瞼裂領域内の画素を顔認識部１４から取得した強膜の色で埋めてしまい、次にほぼ円形の虹彩モデルおよび瞳孔モデルを最前面に配置し、最後に虹彩モデルおよび瞳孔モデルを眼瞼裂にあわせてトリミングする手順により、ユーザの視線が画像データの正面を向いた画像データを生成することができる。

次に、ステップＳ８において、表示制御部３１は、画像データ（視線判定部１５から受けた視線変更処理前の画像データまたは眼瞼裂領域変更部２０から受けた視線変更処理後の画像データ）から画像を生成し、表示部３２に表示させる。また、画像通信部３３は、画像データ（視線判定部１５から受けた視線変更処理前の画像データまたは眼瞼裂領域変更部２０から受けた視線変更処理後の画像データ）を他の対話装置１０に対して送信する。

以上の手順により、カメラ１１によって生成されたユーザの顔を含む画像データの視線を必要に応じて変更することができ、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現することができる。

また、対話相手の対話装置が本実施形態にかかる対話装置１０の画像処理モジュール１３を備えておらず、画像通信部３３が受信した受信画像データが視線変更処理前の画像データである場合には、図２に示した手順を受信画像データに対して行うことにより、受信画像データに対して視線変更処理を施すことができる。

この場合、たとえば、ステップＳ１では、画像データ取得部１２は、対話相手の顔を含む画像データを画像通信部３３から受け、この画像データを画像処理モジュール１３に入力すればよい。また、ステップＳ７では、眼瞼裂領域変更部２０は、視線変更処理後の受信画像データを表示制御部３１にのみ与えればよく、画像通信部３３に与える必要はない。

もちろん、対話相手の対話装置が本実施形態にかかる対話装置１０の画像処理モジュール１３を備えている場合には、画像取得部は、受信画像データを直接表示制御部３１に与えても構わない。

本実施形態に係る対話装置１０は、顔ベクトルの情報を取得することができる。このため、この顔ベクトルの向きにもとづいて画像データに含まれる人物が対話相手を見ているか（表示画面を見ているか）どうかを判定することができる。したがって、本実施形態に係る対話装置１０によれば、画像データに含まれる人物が対話相手を見ている場合にのみ視線の変更処理を行うことができ、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現することができる。

また、本実施形態に係る対話装置１０は、特別な物理デバイスを使用したり、複数画像の合成を行ったりすることなく、カメラ１１は１台のみを用い、画像処理は眼瞼裂領域の画素のみの変更でよい。このため、極めて簡便かつ高速に視線の変更処理を行うことができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

たとえば、上述した画像処理モジュール１３の構成の一部または全部を、コンピュータによりプログラムを実行させて機能させることもできる。この場合、この画像処理プログラムをＣＤ−ＲＯＭ、磁気ディスクなどからコンピュータのプログラムメモリにインストールし、あるいはこのプログラムメモリに通信回線を介してダウンロードするなどして、プログラムメモリに格納された画像処理プログラムをコンピュータにより実行すればよい。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る対話装置の一実施形態を示す概略的な全体構成図。 図１に示す対話装置により、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現するために、カメラによって生成されたユーザの顔を含む画像データの視線を必要に応じて変更する際の手順を示すフローチャート。 ユーザの顔の向きおよび視線が表示部の表示画面を真っすぐ向いている場合において、画像データから抽出される顔ベクトルについて説明するための図。 ユーザの顔の向きが表示部の表示画面を真っすぐ向いた状態から大きく外れた場合において、画像データから抽出される顔ベクトルを説明するための図。 虹彩モデルおよび瞳孔モデルを生成する様子の一例を示す説明図。 画像データの眼瞼裂領域内の画素を変更する様子の一例を示す説明図。 視線変更処理前後の画像データの一例について説明するための図。

符号の説明

１０ 対話装置
１１ カメラ
１２ 画像データ取得部
１３ 画像処理モジュール
１４ 顔認識部
１５ 視線判定部
１６ 視線変更部
１７ 黒目情報取得部
１８ モデル生成部
１９ モデル位置決定部
２０ 眼瞼裂領域変更部
３１ 表示制御部
３２ 表示部
３３ 画像通信部

Claims (11)

1. 対話型通信システムに用いられる画像処理モジュールであって、
   入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段と、
   前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定する視線判定手段と、
   前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段と、
   を備えたことを特徴とする画像処理モジュール。
2. 前記虹彩の画素の情報は、
   少なくとも、前記顔における前記虹彩の位置の情報と、前記虹彩の大きさの情報と、前記虹彩の色の情報と、を含み、
   前記視線変更手段は、
   前記虹彩の画素の情報にもとづいて略円形の虹彩モデルを生成し、前記顔ベクトルの情報にもとづいて前記人物の視線が前記画像データの正面を向くよう前記虹彩モデルの配置位置を決定し、この配置位置に前記虹彩モデルが配置されるよう前記眼瞼裂領域内の画素を変更可能に構成された、
   請求項１記載の画像処理モジュール。
3. 表示手段と、
   入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段と、
   前記顔ベクトルの情報にもとづいて、前記顔が前記表示手段の表示画面を向いているかどうかを判定する視線判定手段と、
   前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段と、
   を備え、
   前記表示手段は、
   前記視線変更手段から受けた前記眼瞼裂領域内の画素が変更された前記画像データを表示することを特徴とする対話装置。
4. 前記虹彩の画素の情報は、
   少なくとも、前記顔における前記虹彩の位置の情報と、前記虹彩の大きさの情報と、前記虹彩の色の情報と、を含み、
   前記視線変更手段は、
   前記虹彩の画素の情報にもとづいて略円形の虹彩モデルを生成し、前記顔ベクトルの情報にもとづいて前記人物の視線が前記画像データの正面を向くよう前記虹彩モデルの配置位置を決定し、この配置位置に前記虹彩モデルが配置されるよう前記眼瞼裂領域内の画素を変更可能に構成された、
   請求項３記載の対話装置。
5. 他の対話装置と互いに画像データを送受信可能に構成された画像通信手段、
   をさらに備え、
   前記顔認識手段は、
   前記画像通信手段を介して前記他の対話装置から受信した画像データを入力される、
   請求項３または４に記載の対話装置。
6. 前記表示手段は、
   前記視線変更手段から受けた前記眼瞼裂領域内の画素が変更された前記他の対話装置から受信した画像データをさらに表示する、
   請求項５記載の対話装置。
7. 前記人物の顔を含む画像を撮像して画像データを生成する撮像手段、
   をさらに備えた、
   請求項３ないし６のいずれか１項に記載の対話装置。
8. 入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出するステップと、
   前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定するステップと、
   前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更するステップと、
   を有することを特徴とする画像処理方法。
9. 前記虹彩の画素の情報は、
   少なくとも、前記顔における前記虹彩の位置の情報と、前記虹彩の大きさの情報と、前記虹彩の色の情報と、を含み、
   前記眼瞼裂領域内の画素を変更するステップは、
   前記虹彩の画素の情報にもとづいて略円形の虹彩モデルを生成するステップと、
   前記顔ベクトルの情報にもとづいて前記人物の視線が前記画像データの正面を向くよう前記虹彩モデルの配置位置を決定するステップと、
   前記配置位置に前記虹彩モデルが配置されるよう前記眼瞼裂領域内の画素を変更するステップと、
   を有する、
   請求項８記載の画像処理方法。
10. コンピュータを、
    入力された人物の顔を含む画像データから、少なくとも、前記顔の向きを規定する顔ベクトルの情報と、前記顔における眼瞼裂の位置の情報と、前記顔の虹彩の画素の情報と、を抽出する顔認識手段、
    前記顔ベクトルの情報にもとづいて、前記顔が表示手段の表示画面を向いているかどうかを判定する視線判定手段、および
    前記顔が前記表示手段の表示画面を向いていると判定されると、前記人物の視線が前記画像データの正面を向くよう、前記眼瞼裂領域内の画素を変更する視線変更手段、
    として機能させるためのプログラム。
11. 前記虹彩の画素の情報は、
    少なくとも、前記顔における前記虹彩の位置の情報と、前記虹彩の大きさの情報と、前記虹彩の色の情報と、を含み、
    前記視線変更手段は、
    前記虹彩の画素の情報にもとづいて略円形の虹彩モデルを生成し、前記顔ベクトルの情報にもとづいて前記人物の視線が前記画像データの正面を向くよう前記虹彩モデルの配置位置を決定し、この配置位置に前記虹彩モデルが配置されるよう前記眼瞼裂領域内の画素を変更可能に構成された、
    請求項１０記載のプログラム。

Images