JP3835771B2 - コミュニケーション装置及びコミュニケーション方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザーの状況に応じてサービスの提供をかえることができるコミュニケーション装置及びコミュニケーション方法に関する。
【０００２】
【従来の技術】
一般に、人間が情報機器を用いて、他人とコミュニケーションを取る場合、大きく分けて２つの場合がある。一つは電子メールに代表される非同期通信メディアを用いる場合であり、もう一つは電話などの同期通信メディアを使う場合である。
【０００３】
これらの通信に関しては、メールアドレスまたは電話番号といったＩＤ番号を用いて相手を特定することが必要である。この場合、相手がどこにいるかどうかは意識する必要はなく、そのＩＤ番号に対して処理を行なえばよい。しかし、緊急で用件を伝える必要がある場合や、直接会って話をしたいといった場合には、その通信相手が、ある時間に、どこに存在して、どのような状態であるかを知る必要がある。
【０００４】
「ある時間に、どこに存在しているか」を常に知る公知例としては、Ａｃｔｉｖｅ Ｂａｄｇｅ（Ｈａｒｐｅｒ，Ｒ．Ｈ．Ｒ．；Ｌａｍｍｉｎｇ，Ｍ．Ｇ．；Ｎｅｗｍａｎ，Ｗ．Ｍ．，”Ｌｏｃａｔｉｎｇ ｓｙｓｔｅｍｓ ａｔ ｗｏｒｋ：ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａｃｔｉｖｅ ｂａｄｇｅ ａｐｐｌｉｃａｔｉｏｎｓ”Ｉｎｔｅｒａｃｔ．Ｃｏｍｐｕｔ．（ＵＫ）（ＵＫ）ｖｏｌ．４，ｎｏ．３：Ｐ．Ｐ．３４３−６３（１９９２）がある。Ａｃｔｉｖｅ Ｂａｄｇｅは、赤外線通信カードを各自が所持し、建物内のあらゆる場所に複数の受信装置を取り付けることにより、誰がどの範囲の取り付けられた場所にいるかを知ることができる方法である。このＡｃｔｉｖｅ Ｂａｄｇｅを用いたアプリケーションとして、だれが何処にいるかを表示する装置や、その人がいる場所にＥＷＳ（エンジニアリングワークステーション）の使用環境を移動させる、電話の転送を行なうなど方法が挙げられる。
【０００５】
Ａｃｔｉｖｅ Ｂａｄｇｅの問題として、相手がどこにいるかは分かるが、どのような状態であるかを知ることができない。すなわち、２次元的な地図での位置は特定できたとしても、その人が立っているのか、座っているのか、どこを見ているのかといったことは、わからない。
【０００６】
またＡｃｔｉｖｅ Ｂａｄｇｅでは、受信装置が多くの場所にある環境では、逆にどこにいるのかを常時見地されることになるため、プライバシーを如何に保護するのかという問題がある。
【０００７】
電子メール（非同期通信メディア）の場合、時間に制約されずに相手にメッセージを送ることが可能である。しかし、即座に読んでもらうことが必要な場合などは、適当ではないし、読了確認もできない。電話（同期通信メディア）の場合は、リアルタイムに相手とコミュニケーションできるものの、相手の状況を無視して、割込みをかける必要がある。逆の立場からは、邪魔されたくない場合にも、割込みをかけられることになる。
【０００８】
【発明が解決しようとする課題】
このように従来のコミュニケーションツールの問題点として、（１）ある人に伝えたい情報をどのように伝えたいかを指定したり、（２）情報を受ける人がどのような状況であれば受けてもよいかを選択したりすることができないことが挙げられる。
【０００９】
（１）の問題点については、電話、電子メール、ＦＡＸといった通信メディアを変更することで解決できる場合もあるが、動的に通信メディアを変更することができない。（２）の問題点については、主として、電話による割込みや、急を要するメッセージの伝達などは受ける人の行動状態を把握する必要がある。
【００１０】
本発明は前記のような事情を考慮してなされたもので、誰がどこで何をしているかを推測し、これに基づいて必要とする情報の提示、必要とされる情報の検索を可能とするコミュニケーション装置およびコミュニケーション方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、画像を入力する手段と、画像入力手段により取得されたユーザの顔画像と予め蓄積された辞書画像とを照合することにより個人を認証する手段と、当該個人の認証結果と当該認証に用いられた画像の取得時刻と当該画像を取得した画像入力手段の設置場所に関する情報とを統合して状況情報を出力する手段とを備えた複数の情報処理装置と、前記複数の情報処理装置から出力された状況情報を蓄積する手段と、蓄積手段に蓄積された前記状況情報の内容を逐次更新する手段とを備えた応用サービス提供装置とからなるコミュニケーション装置及び方法において、前記複数の情報処理装置は、前記応用サービス提供装置の蓄積手段に蓄積された状況情報の内容を参照することにより、特定の画像入力手段の設置場所における特定の個人の現在の在席状況を出力する手段を更に具備することを特長とするコミュニケーション装置及び方法を提供する。
【００１２】
これにより複数の情報処理装置（ＷＳやパーソナルコンピュータ等）が通信手段（ネットワーク）によって接続されたコンピュータ環境において、画像入力手段（カメラ）によって撮影された画像から判断されるサービスの提供先の状況、例えばサービスを提供する相手先となる人間が、何処で、何をしているかなどに応じてメッセージを送信するといったサービスを提供できる。
【００１３】
また本発明は、状況に応じた情報を入力する複数の入力手段と、前記入力手段によって入力された情報を、状況を表わす状況情報に変換する状況情報変換手段と、前記状況情報変換手段によって得られた状況情報を通信するための状況情報通信手段と、前記状況情報通信手段によって通信される状況情報に基づいて、サービスを提供するための出力情報を作成する応用サービス提供手段と、前記応用サービス提供手段によって作成された出力情報を転送するための出力情報通信手段と、前記出力情報通信手段によって転送される出力情報に応じて、サービスの提供先に存在する人間に対してサービスを提供するための複数の出力手段とを具備したことを特徴とする。
【００１４】
また、前記状況情報変換手段は、前記入力手段によって入力された情報をもとに個別識別を行ない、その個別識別の結果を表わす状況情報を生成することを特徴とする。
【００１５】
これにより、例えばネットワークを用いたコンピュータ環境において、同環境を利用する人間が、ネットワーク上の何処で、誰が、何をしているかといったことを通信手段を介して得られる状況情報から知ることができる。
【００１６】
また、少なくとも１つの前記応用サービス提供手段が設けられ、前記応用サービス提供手段は、状況情報に基づいて提供すべきサービスがそれぞれ異なることを特徴とする。
【００１７】
これにより、応用サービス提供手段を置き換えることで提供するサービスを変更することができる。
また、前記応用サービス提供手段は、前記状況情報生成手段によって生成される状況情報の履歴を識別対象毎に管理する情報管理手段と、前記情報管理手段によって管理される情報についての出力先を含む出力要求を受信する出力要求受信手段と、前記出力要求受信手段によって受信された出力要求に応じて、前記情報管理手段によって管理される履歴を用いて前記状況情報に基づく出力内容を生成し、要求された出力先に出力する内容生成手段とを具備したことを特徴とする。
【００１８】
これにより、例えばネットワークを用いたコンピュータ環境において、同環境を利用する人間が、ネットワーク上の何処で、誰が、何をしているかといった情報を提供する情報管理機能をもつ応用サービス提供手段が実現される。
【００１９】
また、前記応用サービス提供手段は、サービスを提供すべき提供先の状況を示す指示を受信する受信手段と、前記受信手段によって受信された指示を解釈する指示内容解釈手段と、前記指示内容解釈手段によって解釈された指示内容に応じて実行すべき行動を決定する行動決定手段と、前記行動決定手段によって決定された実行すべき行動に応じた状況となったかを、前記状況情報に基づいて判別する状況照合手段と、前記状況照合手段によって実行すべき行動に応じた状況となったことが判別された際に、前記行動決定手段によって決定された実行すべき行動に応じてサービスを提供する出力生成手段とを具備したことを特徴とする。
【００２０】
これにより、サービスを提供すべき提供先の状況を示す指示、例えばメールによって通知されるサービス提供の指示（サービス提供先、その状況、サービス提供形態等）に応じてサービスを提供する応用サービス提供手段を実現できる。従って、同期と非同期とを混在させたサービスが提供するなど、より良いサービス提供（コミュニケーション）が可能となる。
【００２１】
このような構成により実現される新たなコンピュータ環境は、第１に、人間はカメラ視野に入るだけで、自然にコンピュータ環境に取り込まれる、第２に、人間と人間、人間と情報とが効率良く結び付けられる、ことを特徴とする。実現されるコンピュータ環境のイメージを図２に示している。複数のカメラが存在する環境において、それらがネットワークによって結ばれており、それぞれ異なる人間の状態をシステムが検知する環境を構築する。
【００２２】
第１の特徴については、ＷＳの顔画像認識による自動ログインなどが考えられるが、本発明ではサービス開始／終了（ｌｏｇｉｎ／ｌｏｇｏｕｔ）のためのセキュリティ機構として個人認証をシステムが持つのではなく、あらゆるサービスが常時行なわれる環境が存在している場合、その一つの構成要素となっている「人間」の状態を管理することが目的である。よって、カメラ視野（カメラによる撮影範囲）に入るだけで、何も持つ必要がなく、サービスが受けられる状態になり、第２の特徴である人間と人間、人間と情報とを空間的、時間的に効率良く結び付けることができる。
【００２３】
これからの情報社会において、電子メールの通信量は増大し、非同期なコミュニケーションが多くなると予想されるが、さらに直接的なコミュニケーションを取る必要性も増す。これまでのように、情報の伝え方を通信メディアの変更によって制御する必要はなく、誰にどのような情報をどのように伝えたいかをシステムに伝えるだけで、システムは相手の行動情報に鑑みて、情報を伝達し、また、カメラに写るという行為を行なうだけで、情報が享受されるという環境を提供する。
【００２４】
情報の送り手、受け手の状態（誰が何処で何をしているのか）を管理することにより、適切な情報交換が行なわれる環境（場）を構築するためには、ある時間、場所における、ある人間の動作をカメラ等で撮影した画像を解析することによって得られる「状況情報」が必要である。
【００２５】
ここで「状況情報」とは、カメラの撮影範囲に入っている人間の動作、行動を記述したものをいい、例えば、椅子にすわっている、立ち上がっている、歩いている、ある方向を向いている。といった姿勢、話している、どこを見ている、表情などといった顔から得られる情報、腕をあげている、手の形状、ジェスチャなどの行動、また、だれなのかを特定するような、個人性、服装、髪型などの個人情報などを指す。
【００２６】
画像情報から得られる状況情報をネットワークを通じて、情報交換することで、情報の発受信者の状況に応じた通信が行なわれることとなるため、従来のコミュニケーションツール（電話、電子メール、ＦＡＸ等）と比較し、使いやすくなり、よりよい情報伝達ができる。
【００２７】
また、Ａｃｔｉｖｅ Ｂａｄｇｅのように、常に情報提供を行なっているわけではなく、カメラの撮影範囲に入らなければ、自分の所在を知らされない。すなわち、個人情報の公開を、カメラの撮影範囲に入るか否かで制御することができる。また、カメラでの撮影内容をそのまま、テレビ電話のように、直接伝送するのではなく、画像認識により「状況情報」に変換し、その情報を相互に交換する。よって、Ａｃｔｉｖｅ Ｂａｄｇｅよりも、より詳細な情報を取得できるだけでなく、２つの観点から使用者に対するプライバシーの保護がなされることになる。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施形態に係わるコミュニケーション装置の構成を示すブロック図である。
図１に示すように、本実施形態におけるコミュニケーション装置は、一つ以上の入力部１０、状況情報通信部１２、一つ以上の応用サービス提供部１４、出力情報通信部１６、一つ以上の出力部１８によって構成されている。
【００２９】
入力部１０は、一つ以上のマイク、キーボード、マウスなどの入力デバイス１０ａと、一つ以上の画像入力部１０ｂと、状況情報変換部１０ｃとを持つ。画像を入力するための画像入力部１０ｂは、ＣＣＤカメラなどに対応した装置で、Ａ／Ｄ変換の機能を有する。画像入力部１０ｂも複数個あってもよい。状況情報変換部１０ｃは、主として画像入力部１０ｂから取得した画像を処理して、状況情報（詳細については後述する）を生成する。状況情報変換部１０ｃは、この環境が整備されるそれぞれの場所に、入力デバイス１０ａや画像入力部１０ｂと共に設置される。なお、状況情報変換部１０ｃは、画像以外の複数の入力デバイスから得られた情報、複数の画像入力部１０ｂから得られた情報を用いて状況情報を生成しても良い。
【００３０】
状況情報通信部１２は、入力部１０において生成された状況情報を、応用サービス提供部１４との間で送受信するために設けてある。
応用サービス提供部１４は、状況情報通信部１２を介して得られる複数の状況情報を解釈し、人間同志のコミュニケーションを補助するためのサービスを提供するための制御情報を生成する。応用サービス提供部１４は、複数持つことができ、さまざまなサービスが同時に処理される。また、応用サービス提供部１４のもつ制御情報は、相互に状況情報通信部１２を通じて交換することができる仕組みを持つ。
【００３１】
出力情報通信部１６は、応用サービス提供部１４によって生成された制御情報を、出力部１８と送受信するために設けてある。
出力部１８は、応用サービス提供部１４が作成した制御情報を出力する。出力部１８は、必ずしも、各入力部１０に一対一で対応している必要はなく、またディスプレイなどの表示手段だけに限らない。
【００３２】
図２は、図１に示す構成によって実現されるコミュニケーション装置（コンピュータ環境）のイメージを示している。図２に示すように、例えば複数のＷＳあるいはパーソナルコンピュータによる端末（情報処理装置）が、ネットワーク（状況情報通信部１２、出力情報通信部１６）によって接続される。各端末には、入力デバイス１０ａとしてキーボードが設けられ、出力部１８としてディスプレイとスピーカが設けられ、画像入力部１０ｂとして２つのカラーＣＣＤカメラがディスプレイの上部に設置されている。状況情報変換部１０ｃと応用サービス提供部１４は、端末における情報処理機能によって実現される。状況情報変換部１０ｃは、必ずしも、対応する入力デバイス１０ａと画像入力部１０ｂが設けられた端末で実現される必要はない。また、応用サービス提供部１４も特定の端末で実現される必要もなく、複数の端末間で協調して実現されても良い。
【００３３】
次に、図１中における各構成部について詳しく説明する。
入力デバイス１０ａは、マウス、キーボード、マイクなどの画像入力装置以外の入力装置であり、通常の利用法の他に、状況情報を生成するための情報を入力するために使用してもよい。
【００３４】
画像入力部１０ｂは、ＣＣＤカメラ、赤外線カメラ、高感度カメラなどの画像入力装置であり、複数個の入力装置が設けられていても良く、状況情報を生成するための画像情報を入力するために使用される。本実施例では、カラーＣＣＤカメラを持つものとして説明を行なう。
【００３５】
状況情報変換部１０ｃは、画像入力部１０ｂから取得した画像情報を状況情報に変換する。ここで状況情報とは、画像入力部１０ｂ（カメラ）の撮影範囲に入っている人間の動作、行動を主として画像情報を解析、記述したものをいい、カメラの撮影範囲内に入ってる人間の状態を表した情報を指す。状況情報変換部１０ｃは、個別識別を行ない、その個別識別の結果を表わす状況情報を生成する。
【００３６】
ここで「状況情報」とは、そのカメラの撮影された時間に、画像内に写っている人が、誰かを特定する個人性を表す記述、椅子に座っている、立ち上がっている、歩いている、ある方向を向いている、といった姿勢に関する記述、話している、どこを見ている、表情などといった顔から得られる情報、腕をあげている、手の形状、ジェスチャなどの行動の記述、などを表す。
【００３７】
さらに、人間から直接得られる情報だけではなく、人間が存在する状況を把握するために、画像内に写っている物体を認識して状況情報を生成してもよい。例えば、人間が座っている椅子の状態を判別して、在席／非在席の判断を行なうことや、ドアの開閉を監視しておくなどの物体の状態記述や服装や屋外の状況といったものが判断し「暑い」「寒い」といったような環境の記述などや、髪型、アクセサリ、服の色など個人性の記述する情報も状況情報として含む。
【００３８】
本実施例では、画像情報から得られる状況情報しか述べないが、音声情報から得られる情報により、「話している」などの個人の状態情報の記述や、「自動車の音がする」といったような環境情報の記述なども状況情報として定義する。
【００３９】
また、画像、音声などの情報を使わずに、各種センサからの情報に基づいた状況記述でもよい。
状況情報変換部１０ｃの構成例を図３に示している。図３に示すように、状況情報変換部１０ｃは、状況情報生成部１０ｃ１、通信部１０ｃ２から構成されている。
【００４０】
状況情報生成部１０ｃ１は、入力デバイス１０ａまたは画像入力部１０ｂから取得した入力情報から状況情報を生成する。
通信部１０ｃ２は、状況情報生成部１０ｃ１によって生成された状況情報を送信、あるいは他の端末からの状況情報を受信するために、通信パケットのヘッダの解釈、パケットの生成、パケットの送受信を行なう。
【００４１】
さらに状況情報生成部１０ｃ１は、図４に示すように、状況情報生成部１０ｃ１は、人検出部２０、個人認証部２１、頭部方向推定部２２、視線方向推定部２３、口形状動作推定部２４、腕動作推定部２５、状況情報統合部２６からなる。以下、それぞれの詳細について説明する。
【００４２】
（ａ）人検出部２０
人検出部２０では、画像入力部１０ｂによって撮影された画像中から人間を抽出する。人検出部２０は、図５に示すように、差分検出部２０ａ、顔検出部２０ｂ、肢体検出部２０ｃ、スコア統合部２０ｄ、人数計数部２０ｅによって構成される。
【００４３】
まず差分検出部２０ａにおいて、画像入力部１０ｂ（ＣＣＤカラーカメラ）の設置された撮影環境において、誰も撮影されていない状況での画像取得をあらかじめ行なっておき、その画像との差分画像を生成し、変化のあった場所だけから顔、または肢体を検出する。差分画像を生成、検出する方法には、例えば（Ｈ．Ｎａｋａｉ：”Ｎｏｎ−Ｐａｒａｍｅｔｒｉｚｅｄ Ｂａｙｅｓ Ｄｅｃｉｓｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｍｏｖｉｎｇ Ｏｂｊｅｃｅｔ Ｄｅｔｅｃｔｉｏｎ”，Ｐｒｏｃ．Ｓｅｃｏｎｄ ＡＣＣＶ．Ｖｏｌ ３．ｐｐ４４７−４５１（１９９５））などがある。
【００４４】
検出された領域について、２つの処理を行なう。一つは検出された領域に濃淡画像情報をそのまま用いて、顔の検出を行なうもの、もう一つは、検出された領域を二値画像として扱い、領域の配置、属性の関係を用いて肢体の検出を行なうものである。
【００４５】
顔検出部２０ｂでは、さまざまな方向からみた顔の画像データから、それぞれの方向の平均顔画像データ（辞書画像）を作成しておき、その辞書画像とのマッチングを行なうことにより検出を行なう。
【００４６】
辞書画像の大きさは固定とする。大きな画像として記述すると、マッチングに非常に時間を要するため、３０×３０程度の大きさのものを用意する。その辞書画像を用いて、さまざまな大きさの顔を検出できるようにするため、撮影した画像の解像度を変化させ、辞書画像とマッチングを行なう。
【００４７】
マッチングの度合（類似度）については、使用するマッチング方法に応じた類似度、例えば相関、単純、複合、混合類似度などにより設定し、ある閾値のもの以下のものは候補から取り除く。画像中で、高い類似度をもつ場所に顔が存在すると判定し、各候補に対して類似度に応じた信頼度が決定される。候補の数は、複数あってもよい。
【００４８】
肢体検出部２０ｃは、差分検出部２０ａによって生成された二値画像を用いて得た、差分画像の場所について再度、撮影したカラー画像から、例えば色相情報、彩度情報、明度情報に基づいて、領域分割を行ない、ラベリングする。肢体検出部２０ｃは、それらの領域の位置情報、形状情報、色相、明度といった属性情報を用いて、人間の肢体の部分に該当する領域と考えられる組合せを抽出する。肢体検出部２０ｃは、抽出した領域の組合せ（人間の肢体の部分に該当すると考えられる領域）の形状、面積などから、足、胴、腕などとの形状モデルに対する信頼度を定義し、その信頼度の総和が最も最大となる組合せの領域を人間の肢体の部分として抽出する。
【００４９】
顔検出部２０ｂ、肢体検出部２０ｃは、それぞれ人間が存在すると考えられる場所について、頭の位置、体の位置、腕の位置などと信頼度を記述した情報をスコア統合部２０ｄに送る。
【００５０】
スコア統合部２０ｄでは、顔検出部２０ｂと肢体検出部２０ａから得られた顔位置と肢***置の仮説を統合し、それぞれの存在確率を２次元空間に投票する。人数係数部２０ｅでは、スコア統合部２０ｄによって投票された、仮説についての存在確率を統合的に判断し、画像中に何人の人がどのように撮影されているかを決定する。
【００５１】
存在確率を投票した空間に対し、ある閾値を決定し、その閾値よりも高い部分を人間がいるとして、撮影された人数、撮影された人の位置、大きさ（画像中の領域）、概略向き、頭位置、***置、腕位置など位置の情報を記憶する。
【００５２】
ここで閾値は、予測できる情報、環境の場合に応じて変化させる。例えば、午前と午後などの日照条件の変化による全体的な閾値の設定方法の改善や、人間が、ある場所から画像入力部１０ｂによる撮影範囲に動いていることがわかっている場合には、前の場所において、肢体の大きさなどが推定されているため、撮影範囲においては、予測される画像中の位置によって、予めその領域付近の閾値を変化させるなどの制御を行なう。これらに用いるパラメータは、実装によって求められる。
【００５３】
図６には人検出部２０による処理過程を示している。画像入力部１０ｂによって撮影された画像中から差分検出部２０ａによって検出された図６（ａ）に示す入力画像（差分画像）をもとに、顔検出部２０ｂは、図６（ｂ−１）に示すように、顔位置の候補とそれぞれの信頼度を求め、肢体検出部２０ｃは、図６（ｂ−２）に示すように、肢***置の候補とそれぞれの信頼度を求める。スコア統合部２０ｄは、顔検出部２０ｂと肢体検出部２０ｃによって投票された各候補と信頼度を、図６（ｃ）に示すようにして統合する。人数計数部２０ｅは、スコア統合部２０ｄによって図６（ｃ）に示すように統合された中から、例えばしきい値を「１．０」としてしきい値処理を行ない、図６（ｄ）に示すような結果を得る。この例では、２人が撮影されているものと推定される。
【００５４】
（ｂ）個人認証部２１
個人認証部２１は、人検出部２０によって得られた顔位置に撮影されている顔が誰であるかを認証する。認証の方法としては、登録された人の中からの識別が主となる。個人認証部２１は、図７に示すような構成をとる。個人認証部２１は、正規化部２１ａ、照合部２１ｂ、辞書蓄積部２１ｃ、及び評価部２１ｄによって構成されている。
【００５５】
正規化部２１ａは、人検出部２０（顔検出部２０ｂ）によって検出された顔位置の画像から目の位置を検出し、その目の位置をもとにして後段の照合部２１ｂにおける処理のために、辞書蓄積部２１ｃに蓄積された辞書画像と同じ大きさの画像（正規化画像）を生成（正規化）する。
【００５６】
照合部２１ｂは、正規化部２１ａによって正規化された顔の部分に画像について、辞書蓄積部２１ｃに蓄積された複数の辞書画像とそれぞれ照合する。本実施形態において照合部２１ｂは、複合または混合類似度を用いて入力画像と辞書画像との類似度を算出する。
【００５７】
辞書蓄積部２１ｃは、認識対象とする人のそれぞれについての辞書画像が予め蓄積されている。
評価部２１ｄは、辞書蓄積部２１ｃに登録された辞書画像（認識対象とする人の数分）のそれぞれについて得られた複数の類似度値のうち最大の類似度値をもつ辞書画像を認識結果、すなわち辞書画像に対応する人の顔が入力画像に含まれているものと決定する。ただし、類似度値が、予め指定した閾値よりも低い場合は、撮影された人が誰であるかを決定せずに認識不能とする。
【００５８】
個人認証部２１は、先に人検出部２０で検出された人の数だけ、複数人の照合が行なう。
（ｃ）頭部方向推定部２２
頭部方向推定部２２は、人検出部２０で検出された、顔の向き、肢体の見え方（頭位置、胴位置、腕位置など）から頭部方向を推定する。
【００５９】
頭部方向推定部２２は、人検出部２０によって検出された顔位置の付近の濃淡情報を用いて、複数の顔モデルのパターンと照合することにより顔が向いている方向を推定する。パターンと照合する際の類似度としては、相関を用いた公知例（塚本、李、辻：複数のモデルによる頭の動き推定、信学論Ｖｏｌ ７７−Ｄ−ＩＩ，ｎｏ．８，ｐｐ．１５８２−１５９０（１９９４））が存在するが、ここでは、複合類似度を用いてパターンの類似度を調べ、顔の向きを決定する。
【００６０】
また、頭部方向推定部２２は、目、鼻などの特徴点から顔の向きをだす方法として（ディシルバリヤナゲ、相澤清晴、羽鳥光俊：人間の顔の向きの推定：信学技報ＰＲＵ−９４−１８（１９９４））などを用いて、顔の向きを決定しても良い。
【００６１】
また、頭部方向推定部２２は、肢体の方向も同様に、人検出部２０で検出された領域グループ（足、胴、腕等を含む）の画像とパターンとを照合して向きを求める。
【００６２】
（ｄ）視線方向推定部２３
視線方向推定部２３は、画像入力部１０ｂ（カラーＣＣＤカメラ）によって、離れた位置から撮影された画像中の顔の位置の目または目の付近から得られる特徴量を使って視線方向を推定する。
【００６３】
視線方向の検出方法としては、特開平４−２５５０１５号における、視線の相対的な移動量を瞳の輪郭データを抽出瞳の中心座標の変化から求める方法や、特開平３−１７６９６号における、ワードプロセッサ等のカーソル位置を視線によって制御することを目的として、目の領域を瞳孔中心を通る垂直線と水平線で分割し、分けられた領域の面積比を特徴量として、視点位置を算出する方法を利用することができる。
【００６４】
本実施例では、目頭、目尻と瞳の中心の相対的な位置関係を特徴ベクトルとして、その特徴ベクトルを線形識別し、パターン認識によって、顔の方向に対してどの方向を見ているかを推定する。
【００６５】
（ｅ）口形状動作推定部２４
口形状動作推定部２４は、人検出部２０によって検出された顔位置の画像中の口の部分から、口の開閉を検出する。口の開閉の検出方法として、（間瀬、Ａ．Ｐｅｎｔｌａｎｄ：オプティカルフローを用いた読唇の試み、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ ７３−Ｄ−ＩＩ，ｎｏ．６，ｐｐ．７９６−８０３，（１９９０））や（Ａ．Ｌ．Ｙｕｉｌｌｅ，Ｐ．Ｗ．Ｈａｌｌｍａｎ，Ｄ．Ｓ．Ｃｏｈｅｎ：Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｆａｃｅｓ Ｕｓｉｎｇ Ｄｅｆｏｒｍａｂｌｅ Ｔｅｍｐｌａｔｅｓ，Ｉｎｔ．Ｊｏｎ．Ｃｏｍｐ．Ｖｉｓ．，Ｖｏｌ１８，ｎｏ．２，ｐｐ．９９−１１１（１９９２））を用いることができる。
【００６６】
本実施例では、例えば口の多段階の開閉具合（開閉度）に応じた開閉パターンをそれぞれ５種類用意し、各パターンと入力画像中の口の部分とマッチングした結果、一番近いパターンに応じた開閉度を、現在、画像入力部１０ｂにより撮影の対象となっている人の口の開閉状態とする。時間の経過に伴って各時点での口の開閉度を判別し、それら口の開閉度の頻度情報を求めることによって、話している、あくびをしているなどを検出する。
【００６７】
（ｆ）腕動作推定部２５
腕動作推定部２５は、例えば色相情報を用いた手検出による方法を用いる。腕動作推定部２５は、人検出部２０で行なった領域分割の結果から、顔領域ではなく、肌色の色相をもつ領域を手領域候補とする。この手領域候補は、顔位置との相対的な位置関係や、領域の大きさなどのいくつかの制約に基づいて選択される。腕動作推定部２５は、手領域の重心位置を特徴量として取り出し、時間の経過に伴って入力される画像中の手領域の重心位置の変化から腕の動作を推定し、さらには歩いている、手を振っているなどの動作の検出を行なう。
【００６８】
（ｇ）状況情報統合部２６
状況情報統合部２６は、上記した各処理部２１〜２５における画像解析の情報を統合し、ある人間の状態の記述（状態情報）を生成する。状況情報統合部２６は、図８に示すように、統合部２６ａ、時刻発生部２６ｂ、場所情報記憶部２６ｃ、履歴記憶部２６ｄ、統合行動認識部２６ｅ、統合情報記憶部２６ｆから構成される。
【００６９】
統合部２６ａは、各処理部２１〜２５における検出結果（認識結果、推定候補）を入力して統合する。統合部２６ａは、統合結果を統合行動認識部２６ｅに出力すると共に、人検出部２０において検出されている人数に対応して履歴記憶部２６ｄに用意される、図９に示すような状況登録テーブルのスロットに、各処理部２１〜２５におけるそれぞれの検出結果を登録する。
【００７０】
時刻発生部２６ｂは、画像取得、認識処理時間の間隔を考慮して、その間隔が表現できる単位まで記録できるように日付、時刻を発生する。時刻については、画像取得が行なわれた時刻を記録する。
【００７１】
場所情報記憶部２６ｃは、画像入力部１０ｂ（カラーＣＣＤカメラ）が設置されている場所に基づく情報について記述したもので、例えば撮影範囲を考慮したとき、撮影された画像中での人の大きさから、人とカメラまでの距離がどの程度になるかといった情報や、先に各情報の検出時に使用した画像に対する座標系の設定方法、大域的な設置場所の位置情報が記憶される。なお、これらの情報は、ある記憶場所に統合的に管理しておき、その識別番号のみを各状況情報変換部１０ｃで発生させる方法でもよい。
【００７２】
履歴記憶部２６ｄは、統合部２６ａで生成された情報を時系列で記憶、蓄積するもので、統合行動認識部２６ｅが過去の情報を必要とする際に参照される。
統合行動認識部２６ｅは、状態の時間的変化をもとに画像中の人物の行動を認識するもので、例えば口の開閉が連続的に行なわれている時には話をしている、あるいは連続的に位置が移動し、腕が振られていることから歩いているということを、時系列パターンを入力し、統合情報記憶部２６ｆに記憶された行動認識用の辞書を参照することにより行動を認識する。
【００７３】
統合情報記憶部２６ｆは、統合行動認識部２６ｅによる認識用の辞書を記憶するもので、時系列データからＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などを用いて学習を行なっておく。
【００７４】
また、状況情報生成部１０ｃ１は、人の出入り、大きな姿勢の変化など、現在時間をｔとするとき、ｔ−１時間の差分情報が大きな差を示す場合、この差分情報を状況情報の１つとして通信部１０ｃ２に送る。
【００７５】
先の図９に示す状況登録テーブルに書かれた情報は、センサ取得情報と呼び、認識した結果、変化のあった情報は、行動情報と呼ぶ。行動情報は、図１０のような行動情報テーブルに、行動の内容と、その行動が行なわれていたかどうか（ｙｅｓまたはＮｏが記されている。
【００７６】
状況情報統合部２６によって生成される状況情報には、図１１に示すように、１）センサ取得情報、２）差分情報、３）行動情報、４）構造化情報がある。
１）センサ取得情報は、各検出部２１〜２５から出力そのままを数値化し、ベクトル化したもので、状況情報としては下のレベルになる。
【００７７】
２）差分情報は、１）の状態からある状態に変化したという差分情報を表す。３）行動情報は、人間の単純な行動が行なわれたかどうかを記述したものを指す。
【００７８】
４）構造化情報は、各応用サービス提供部１４（詳細については後述する）で作成された、高度な状況記述である。他の応用サービス提供部１４がそれらの情報を必要とする場合に、参照が可能である。例えば、図２に示すような環境内において、誰がどこにいるのかを常時捜す手続きなどは、多くの応用サービス提供部１４にとって必要となる。その場合は、応用サービス提供部１４に状況情報を送信できる。これについては、ダイナミックリンク管理システムを例にして後述する。
【００７９】
次に、状況情報通信部１２について説明する。状況情報通信部１２は、有線、無線などの形態や、低レベルなプロトコルなどは問わない。以上の実施形態では、現在の主流となっているＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）による手段を用いて説明する。図１中の太実線で描かれた通信経路には、状況情報のみが流れる。
【００８０】
状況情報は、図１２で示されるように、送信ＩＤ、発信ＩＤ、内容ＩＤ、内容からなる状況情報パケットとして通信される。
送信ＩＤには、状況情報を生成した構成部（状況情報変換部１０ｃ）のＩＤが記され、受信ＩＤには、受けとる応用サービス提供部１４のＩＤまたはブロードキャストＩＤ（通信手段（ネットワーク）につながっているノードすべてを対象とする）が記される。内容ＩＤには、状況情報の種類が記され、内容には、生成された情報そのものが記される。
【００８１】
また、応用サービス提供部１４における状況情報参照部３０（後述する）を用いて、状況情報の参照要求を状況情報統合部２６等に出す場合の送信要求パケットは、図１３のように、送信先ＩＤ、発信元ＩＤ、要求内容の形式を持つ。
【００８２】
送信先ＩＤには、ブロードキャストＩＤも設定でき、要求内容を持っている受信部は、その送信先に状況情報を送出する。これらの通信パケットを利用して、図１４のような、通信プロトコルができる。
【００８３】
図１４（１）は、状況情報を生成する部分から、通信手段につながる全ての状況情報参照部３０（応用サービス提供部１４内）への情報提供である。
図１４（２）は、状況情報参照部３０からの要求に対して、状況情報変換部１０ｃから情報提供をするばあいである。
【００８４】
図１４（３）は、状況情報参照部３０からの要求が、すべての状況情報変換部１０ｃに投げられ、要求内容を持つものだけが、状況情報参照部３０への情報提供を行なう。
【００８５】
これら３つの通信プロトコルを使って、状況情報を相互に通信する。これらの通信プロトコルは、それぞれの応用サービス提供部１４におけるサービス内容に応じて、選択され使用される。
【００８６】
応用サービス提供部１４は、図１５に示すように構成される。応用サービス提供部１４は、大きく４つのブロックからなり、状況情報参照部３０、アプリケーション制御部３２とアプリケーション入出力部３４とアクション作成部３６から構成される。各部３０，３２，３４，３６のそれぞれの詳細な構成は、アプリケーションの内容によって、さまざまな構成をとる。
【００８７】
状況情報参照部３０は、複数の状況情報変換部１０ｃ、または他の応用サービス提供部１４によって生成された状況情報を状況情報通信部１２を通じて、取得、蓄積、更新、送信要求を行なう。図１６に状況情報参照部３０の構成例を示す。状況情報参照部３０は、通信部３０ａ、記憶部３０ｂ、制御部３０ｃによって構成される。
【００８８】
通信部３０ａは、先に指定したパケットを用いた通信を行なうための通信プロトコルで規定されたように、要求パケットの生成、状況情報パケットの受信、解釈を行なう。記憶部３０ｂは、通信部３０ａによって受信され、制御部３０ｃで必要となる状況情報を、管理テーブル内に記憶する。制御部３０ｃは、アプリケーション制御部３２からの要求に基づいて、記憶部３０ｂに登録されている状況情報の、送信、管理、更新などを行なう。また、記憶部３０ｂに存在せず、アプリケーション制御部３２で必要となる状況情報は、状況情報通信部１２を介して取得するが、その取得方法や通信プロトコルの選択も行なう。
【００８９】
送信された状況情報はアプリケーション制御部３２に送られる。アプリケーション制御部３２は、人間同志の円滑なコミュニケーションを行なうためのサービスについての情報処理を行なう。状況情報参照部３０によって得られた状況情報を用いて、サービス対象とする人の特定サービス内容の生成等を行なう。
【００９０】
アプリケーション入出力部３４は、アプリケーションの制御に必要かつ状況情報でないような情報、例えばサービス提供に関する依頼あるいは応答のためのメール等を状況情報通信部１２とは別の通信経路（図示せず）を介して入出力する。ただし、ここでの通信経路は、論理的には状況情報通信部１２または出力情報通信部１６とは別であっても、物理的に同じネットワーク経路上であっても勿論良い。
【００９１】
アクション作成部３６は、出力部１８の選択、出力部１８への出力情報の作成、出力部１８への送信などを行なう。
応用サービス提供部１４における具体的な動作については後述する。本実施形態では、サービスを提供する応用サービス提供部１４を変更することで、任意のサービスを提供することができる。
【００９２】
応用サービス提供部１４は、同時に複数個のものを使用可能である。それぞれの応用サービス提供部１４は、それらを識別するためのＩＤを持っており、そのＩＤを通信パケットに記すことで他の手段（状況情報変換部１０ｃ、他の応用サービス提供部１４等）から認識される。
【００９３】
出力情報通信部１６は、応用サービス提供部１４によって選択された出力部１８に情報を送信するために使用される。状況情報通信部１２と同様に、有線、無線などの形態や、低レベルな通信プロトコルなどは問わない。本実施形態では、現在の主流となっているＴＣＰ／ＩＰによる手段を用いて説明する。図１中の一点鎖線で描かれた通信経路（出力情報通信部１６）には、以下のような情報が流れる。
【００９４】
情報通信のプロトコルは、図１７に示すように、送信ＩＤ（発信元のＩＤ）、受信ＩＤ（出力部１８のＩＤ）、メディア識別ＩＤ、出力内容から構成されるパケット（出力情報パケット）を生成し、そのパケットが移動する。
【００９５】
受信ＩＤに、ブロードキャストＩＤが書かれている場合、全ての出力部１８に情報が送られる。メディア識別ＩＤに依存して、適合する出力メディアには、出力内容が出力される。
【００９６】
次に、出力部１８について説明する。出力部１８は、ディスプレイなどの表示部だけに限らず、プリンタやメモリ、ハードディスク、他のネットワーク、電化機器のスイッチなどといったものでもよい。
【００９７】
出力部１８は、図１８のように、メディアＩＤ解釈部１８ａ、内容解釈部１８ｂ、出力メディア１８ｃにより構成される。メディアＩＤ解釈部１８ａは、応用サービス提供部１４から送信される出力情報パケットのメディア識別ＩＤを解釈する。内容解釈部１８ｂは、出力情報パケット中の情報の内容を解釈する。出力メディア１８ｃは、内容解釈部１８ｂによって解釈された情報の内容を出力するもので、複数のメディアが含まれていても良い。
【００９８】
出力部１８の動作を示すフローチャートを図１９に示している。メディア識別ＩＤには、例えば出力メディアを示すＴｅｘｔ，Ｓｏｕｎｄ，Ｖｏｉｃｅ，Ｓｗｉｔｃｈ，Ｐｒｉｎｔｅｒ，Ｄｉｓｐｌａｙ，Ｍｅｍｏｒｙ，Ｎｅｔｗｏｒｋ，Ｘｗｉｎ Ｐｒｏｔｏｃｏｌ，Ｍａｉｌなどがある。
【００９９】
出力部１８は、メディアＩＤ解釈部１８ａによって、これらの識別ＩＤを認識し（ステップＡ１）、自分の出力メディア１８ｃに変換できないようなメディアを示す場合（ステップＡ２）、すなわち出力不可能な場合には無視して出力停止する（ステップＡ３）。
【０１００】
内容解釈部１８ｂは、パケットから内容部分を取り出し、出力内容の変換を行なう（ステップＡ４）。変換せずにそのまま出力メディア１８ｃに送ることができる内容のものはそのまま送られる。Ｔｅｘｔのように、一般的な形式のものは、変換部が内容解釈部１８ｂに備わっている場合、内容を出力できるように変換し（ステップＡ６）、出力メディア１８ｃに送る。出力メディア１８ｃは、内容解釈部１８ｂから送られた信号を出力する（ステップＡ７）。
【０１０１】
例えば、よりリアリスティックなＣＧ（コンピュータグラフィクス）映像を表示させたい場合などは、メディアとしてＸｗｉｎ Ｐｒｏｔｏｃｏｌ（例えば、Ｎｙｅ，Ａｄｒｉａｎ，”Ｔｈｅ Ｘｌｉｂ Ｐｒｏｇｒａｍｉｎｇ Ｍａｎｕａｌ”，Ｏ’Ｒｅｉｌｌｙ ａｎｄ Ａｓｓｏｃｉａｔｅｓ．（１９８８）に記載されている）を用いることで、Ｘ−Ｗｉｎｄｏｗが管理するディスプレイにＣＧ画像を表示できるように内容解釈部１８ｂにＸ−Ｓｅｒｖｅｒを採用すればよい。
【０１０２】
各出力部１８では、応用サービス提供部１４において、作成された出力内容を出力する。どのような出力内容を生成するか、どの出力メディア使用するかは、各応用サービス提供部１４において選択される。
【０１０３】
次に、前述した環境を利用した具体的なサービス応用例の動作について説明する。ここでは、（Ａ）ダイナミックリンク管理システムと、（Ｂ）状況把握コマンドシステムと、（Ｃ）在席管理システムと、（Ｄ）状況適応型メッセージ伝達システムの４つを例にして説明する。
【０１０４】
（Ａ）ダイナミックリンク管理システム
ダイナミックリンク管理システムは、誰がどこにいるのかを常時管理するシステムである。状況情報を他の応用サービス提供部１４に提供し、特別な応用サービス提供部１４として存在する。
【０１０５】
ダイナミックリンク管理システムを実現する場合、応用サービス提供部１４は図２０に示すように構成される。図２０で示すように、アプリケーション制御部３２は、情報管理部３２ａ、履歴記憶部３２ｂによって構成される。アクション作成部３６は、表示内容生成部３６ａを構成する。アプリケーション入出力部３４は、出力要求受信部３４ａを構成する。
【０１０６】
こうして構成されるシステムにおいては、状況情報通信部１２にブロードキャストされる個人識別情報のみを更新し続ける。
状況情報参照部３０の制御部３０ｃは、個人識別情報の差分情報（行動情報）を受けとり、記憶部３０ａに記憶される。この応用サービス提供部１４では、状況情報参照部３０における通信部３０ａは、送信要求パケットも受けとり、その場合、通信部３０ａ内の管理テーブルの内容を構造化情報として、状況情報を送信する。
【０１０７】
アプリケーション制御部３２の履歴記憶部３２ｂは、現在、環境内に検出可能な人間についての管理テーブルの内容を持つ。情報管理部３２ａは、状況情報参照部１４の記憶部３０ａ（管理テーブル）の最新の情報を受け、履歴記憶３２ｂ内の管理テーブルの内容を更新する。また、情報管理部３２ａは、履歴記憶部３２ｂにある管理テーブルの内容を受けとり、これまでの履歴、現在の情報など、複数の出力内容の編集を行なう。
【０１０８】
出力要求受信部３４ａ（アプリケーション入出力部３４）は、情報管理部３２ａで編集された内容を出力すべき出力部１８を特定する出力要求を受けとる。出力要求は、図示せぬ通信部を介して出力要求受信部３４ａに通知される。
【０１０９】
表示内容生成部３６ａ（アクション作成部３６）は、情報管理部３２ａで作成された編集内容を、出力要求のあった出力部１８へ送信する。
出力情報の形態については問わず、例えば、ＷＷＷ（ＨＴＭＬ）、電光掲示版、ファイル、プリンタ、メール、表示版などさまざまなものがあってよい。
【０１１０】
（Ｂ）状況把握コマンドシステム
現在のネットワークコンピュータシステムにおいて、それぞれのコンピュータシステムの状態を知るためのコマンド、プログラムがいくつか用意されている。例えばＵＮＩＸオペレーティングシステムにおける環境ではｗ．ｒｗｈｏ．ｆｉｎｇｅｒなどのコマンドを用いて、各マシンの状態の他に、どのマシンに誰がログインしているかという情報やその人がメールを読んだかどうか、どんなプログラムを使用しているかなどの情報を手に入れることが出来る。
【０１１１】
これらのコマンドの高度化として、各個人がどのような状態であるかを記述した情報を公開するコマンドを構成する。例えば、このコマンドを用いた場合、上述したようなコマンドでは不可能であった「ある状態の人だけをリストアップする」といったことが可能になる。各端末の付近にいる人の「状況情報」を参照することによって、「端末の前で話をしている人」「端末の前にいるが画面をみていない人」といったような情報を取得することができる。この情報を用いて、該当する人とコンタクトをとる、該当する人のリストを利用したアプリケーションの実行を行なう。
【０１１２】
このようなコマンドを用意することで、現在のネットワークコンピュータシステムにおいても、コミュニケーションを円滑にすすめることの出来るツールを容易に作成、使用することが出来る。
【０１１３】
状況把握コマンドシステムを実現するために、応用サービス提供部は図３２のような構成を取る。アプリケーション制御部は情報管理部と履歴記憶部によって構成される。アプリケーション入出力部は、コマンド入力部、オプション解釈部からなる。アクション作成部はコマンドの実行結果を生成する表示内容生成部、と出力部からなり、コマンド入力があった端末に結果を送る。
【０１１４】
ここでは、ＵＮＩＸシステムを利用した実施例について述べるが、もちろん他のオペレーティングシステムなどでもよいし、専用のシステムにおける実装でも構わない。
【０１１５】
各部の動作の説明をする。まず、アプリケーション入出力部は、ＵＮＩＸシステムにおけるシェルプログラムで受け取られたコマンドと機能指定を行なうためのオプション部分を解釈する。ここでは、コマンドの名称を「ｅｗ」とする。利用者はシェルプログラムに、「ｅｗ−？」などと入力することで、コマンドが実行され、オプション指定した所望の情報を得ることができる。受け取ったコマンドをコマンド入力部に記憶し、そのコマンドのオプション部分を処理する。オプションの内容に応じて、検索する情報の内容や種類、表示方法などを変更する。オプションの種類として、人がいるのかいないのかを調べるオプションはもちろん、どのような行動をしているかを調べるものや、まわりの状況を認識した結果を返すものなどを用意する。本実施例では、次のように、１）誰が端末の前にいるか、２）どんな姿勢でいるか、３）どんな行動をしているか、の３つの例について述べる。
【０１１６】
アプリケーション制御部では、情報管理部は、先のオプションの指定によって、状況情報参照部から取得する情報の種類を選択するための、パケットの解釈を行なう。例えば、図１２に示したような状況情報パケットを受け取り、内容ＩＤが誰が存在するかを記述した内容であれば、その内容を履歴記憶部に、端末ごとに整理してその情報を書き込む。履歴記憶部には、過去の履歴も記憶してあり、ある状態がどのくらい続いているかどうかを表示するための情報にもなる。
【０１１７】
誰がどのような属性であるかを調べる必要があるため、個人識別により存在が確認された場合、それぞれの個人に対して、記憶スロットが用意され、姿勢、行動などの属性を記憶できるようにする。細かな属性情報が必要な場合は、各スロットに記述された情報を出力する。
【０１１８】
アクション作成部における表示内容生成部は、履歴記憶部にかかれた情報を、実行結果として出力するために、端末順にソーティングし、各記憶スロットに記述された情報を表形式にまとめ、出力する。これは後で列に示すように、コマンドの出力を別のコマンドで処理できるようにするためである。出力部では、その文字情報をコマンドが入力された端末に送信する。本例ではシェルプログラムの標準出力への結果が表示される。
【０１１９】
表示例としていくつか示す。１）誰がいるかを探す場合は、
ews-001 tanaka 3.25 mitutes
ews-002
ews-003 yamada 30.0 mitutes
ews-004 suzuki 70.0 mitutes
２）人の大きな動作を知る場合には、
ews-001 tanaka sitting
ews-002
ews-003 yamada sitting
ews-004 suzuki sitting takeda standing
３）人の更に細かな動作を知る場合には、
ews-001 tanaka gaze-screen
ews-002
ews-003 yamada gaze-other
ews-004 suzuki speaking takeda speaking
実際例としてＵＮＩＸのシェルシステムから、話している人を見つけたい場合、
%ew -h 1 grep speaking（入力）
ews-004 suzuki speaking takeda speaking（出力結果）
とすることで検索することが可能になり、コミュニケーションを始めようとする段階で、その場所に行かずとも状況を把握することができ、スムーズにコミュニケーションを開始することができるようになる。さらに、これらの情報を用いて、「画面を見ていないで、長時間座っている人を集める」といったある属性の人を取捨選択することなどにも利用可能である。もちろんこのコマンドは更に他のシステム、コマンドから利用することも可能である。
【０１２０】
（Ｃ）在席管理システム
次に、在席管理システムの実施例について説明する。在席管理システムは、各システムの使用権を管理するシステムであり、システムの利用者が、席を離れた場合、それまで使用していた人以外の人が利用しようとした場合には、その使用を禁止し、利用者が戻って来た場合には、使用権を戻す。
【０１２１】
セキュリティのレベルには２段階ある。レベル１は、席を離れていることがわかる場合、他人が座るかどうかをチェックするもの、レベル２は席についているものの顔を向けていない場合にシステム画面を他人に見せないようにするものである。
【０１２２】
レベル１は、誰であるかを認識することに加え、席についているかどうかを確実にとらえることが必要となる。レベル２では、席についているかどうかを常に監視するとともに、顔の向きを検出しておくことにより、画面を表示するかどうかを決定する。
【０１２３】
在席管理システムを実現するために、応用サービス提供部は、図１３のような構成を取る。アプリケーション制御部は、照合管理部、使用者記憶部、アクション作成部は、スクリーンセーバ起動部、スクリーンセーバ停止部、からなる。この構成では、アプリケーション入出力部は、特に設けなくても良い。
【０１２４】
まず、使用者記憶部では、システムの使用者を使用時間、ログイン情報などから決定し、使用者を記憶する。使用者が席から離れたかどうかは、状況情報参照部に送られて来る情報を照合管理部が照合することにより検知する。具体的には、送信される状況情報の差分情報を常に管理することにより、座席に変動があった場合のみ情報の更新を行なうようにする。離席が検知されると、アクション作成部にそれを伝え、スクリーンセーバ起動部が、スクリーンセーバを起動し、画面上に表示されているものを隠蔽する。
【０１２５】
スクリーンセーバは、他の利用者が来た場合には解除されることなく、使用権を確保できる。利用者が席に戻って来た場合には、個人識別情報を照合管理部によって、当人かどうかを照合し、利用者であると確認された場合には、アクション作成部にそれを伝え、スクリーンセーバ停止部は、スクリーンセーバを停止する。
【０１２６】
さらに、席をついている場合でも、顔の向きを検出しておき、顔の向きが大きく変わり画面を見ていない場合には、ウインドウをロックする。また、画面を見るように顔の向きを変化させた場合、ウインドウロックを解除する。これにより、重要な機密情報等が画面上に表示されている場合、自分がみていない時に画面の情報を他人に見せないように出来る。
【０１２７】
状況情報を用いることによって、より細かな画面表示の制御が可能であり、他人と対面的な会話を行なっている場合でも、重要な情報の守秘などが行なわれ効果的である。
【０１２８】
（Ｄ）状況適応型メッセージ伝達システム
図２のようにカラーＣＣＤカメラ（画像入力部１０ｂ）が各端末に備え付けられ、各状況情報変換部１０ｃに対して、一対一に対応するディスプレイのような出力部１８を装備するＥＷＳ（エンジニアリングワークステーション）のネットワーク環境における、状況適応型メッセージ伝達システムを例にして説明する。
【０１２９】
現在のメールシステムの拡張として、メール（メッセージ）をどのように転送して欲しいかを指定することで、システムがそれを解釈し、指定された送信形態、状況になった場合や、ある属性をもった人に対してメッセージを送信、表示させる方法を、先に説明した環境において構築する。
【０１３０】
具体的な例として、現在のＩｎｔｅｒｎｅｔを利用したＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるメール転送において、Ｓｔａｔｕｓフィールドといった、相手の状態、送信形態を記述、追加した拡張例を考える。
【０１３１】
１）緊急事項を伝える場合
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓｕｚｕｋｉ
Ｓｔａｔｕｓ：ｕｒｇｅｎｔ
システム動作：ネットワーク内をさがして、呼び止めてでも伝える。
【０１３２】
２）適応な時間までには見てもらえることを設定
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓｕｚｕｋｉ
Ｓｔａｔｕｓ：ｕｎｔｉｌ ９８／１２／２８ １２：００
システム動作：時間までに読了してもらうように、タイミングを見計らって表示。
【０１３３】
３）その人が自分の席に戻った時点で表示
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓｕｚｕｋｉ
Ｓｔａｔｕｓ：ａｔ ｏｎｅ′ｓ ｓｅａｔ
システム動作：席についたら、タイミングを見計らって表示。
【０１３４】
４）ある状態にある人に送る
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓｔａｔｕｓ
Ｓｔａｔｕｓ：ｗｈｏ ｓｉｔｔｉｎｇ ｎｏｗ
システム動作：今、席についている人だけに送る。
【０１３５】
５）ある属性、状態を持つ人すべてに送る
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓｔａｔｕｓ
Ｓｔａｔｕｓ：ｓｉｔｔｉｎｇ ｍａｎ ｆｏｒ ｏｎｅ ｈｏｕｒｓ
システム動作：一時間くらいずっと席についている人だけに送る。
【０１３６】
６）ある属性の人に送る
Ｆｒｏｍ：ｓａｔｏ
Ｔｏ：ｓａｔｔｕｓ
Ｓｔａｔｕｓ：ｗｈｏ ｓｉｔｔｉｎｇ ｉｎ ｆｒｏｎｔ ｏｆ ＥＷＳ−００１”
システム動作：”ＥＷＳ−００１”にいる人に送る。
【０１３７】
これらのように、送信時に配送方法を指定できるように拡張する。
本実施形態における実現の方法は、まず、各ＥＷＳ端末においいて、画像入力部１０ｂ、状況情報変換部１０ｃを備える。通信手段（状況情報通信部１２、出力情報通信部１６）は、ＥｔｈｅｒＮｅｔを用いた、ＴＣＰ／ＩＰプロトコルを利用する。
【０１３８】
ただし、状況情報変換部１０ｃについての説明でした視線や会話検出などの状況情報は扱わず、ここでは説明を簡単にするために着座判定、個人認証、頭部方向認識のみを扱うものとする。勿論、これら以外の情報を使用することができる。
【０１３９】
応用サービス提供部１４は、ＬＡＮ内のある一台のサーバマシンの実行プロセスとして実現し、図２１に示すような構成となる。
まず、アプリケーション入出力部３４については、通常のＥＷＳ環境で使用されている、メールシステムとのインタフェースとしてメール送受信部３４ｂを設ける。
【０１４０】
アプリケーション制御部３２は、図２１に示すように、メールによって設定された「状況」を解釈する指示内容解釈部３２ｃと、システムがどのようにメッセージを伝えるかを設定するシステム行動決定部３２ｄと、指定された状況になったかどうかを照合する状況照合部３２ｅと、指定された状況とシステムの行動記述をルール化した知識を蓄える解釈データベース３２ｆによって構成されている。アクション作成部３６は、システム行動決定部３２ｄによる設定に応じたメッセージの表示内容を生成する出力生成部３６ｂと、出力方法についての付加情報を記述した出力方法データベース３６ｃから構成されている。
【０１４１】
次に、状況適応型メッセージ伝達システム動作について、図２２に示すフローチャートを参照しながら説明する。
まず、メール送受信部３４ｂは、メールが着信した後（ステップＢ１）、指示内容が記された、宛先、Ｓｔａｔｕｓフィールド、メッセージ部分を分離する（ステップＢ２）。Ｓｔａｔｕｓフィールドは、指示内容解釈部３２ｃへ送られ、宛先、メッセージ部分は、システム行動決定部３２ｄに送られる。
【０１４２】
指示内容解釈部３２ｃは、図２３のフローチャートに示すように動作してＳｔａｔｕｓフィールドを解釈する（ステップＢ３）。
指示内容解釈部３２ｃは、Ｓｔａｔｕｓフィールドについて構文解析を行ない（ステップＣ１）、解析結果をもとに解釈データベース３２ｆに蓄積されたルールパターンとのパターンマッチングを行ない、どのルールが適用されるかを調べる（ステップＣ２）。
【０１４３】
ルールパターンは、例えば図２４に示すように登録されており、Ｓｔａｔｕｓフィールドの記述が、どの行動パターンに当てはまるかが参照される。指示内容解釈部３２ｃは、ルール情報（行動モード、情報提示方法を含む）を決定し（ステップＣ３）、その内容をシステム行動決定部３２ｄに送信する（ステップＣ４）。指示内容解釈部３２ｃは、Ｓｔａｔｕｓフィールドに対する解釈内容として、誰に（相手名）、何時（時間）、何処に（場所）、どのようにして伝えるのかといった情報を、図２５に示すような構造体として記述する。
【０１４４】
システム行動決定部３２ｄは、指示内容解釈部３２ｃからの通知に対して、図２６のフローチャートに示すように動作してシステム行動を決定する（ステップＢ４）。
【０１４５】
まず、システム行動決定部３２ｄは、メール送受信部３４ｂに着信されたメール中のメッセージ、宛先を読み込み、また指示内容解釈部３２ｃによって得られたルール情報、解釈内容を読み込む（ステップＤ１〜Ｄ４）。
【０１４６】
メッセージは、テキスト情報、宛先はメールまたは属性指示のものが存在する。システム行動決定部３２ｄは、宛先について固有名宛先であるか、属性宛先であるかを検査して（ステップＤ５）、属性宛先である場合には適合人物を属性指定に従って検索した上で指定状況設定を設定する（ステップＤ６，Ｄ７）。
【０１４７】
システム行動決定部３２ｄは、ルール情報に基づいて、システムの行動方法を決定する（ステップＤ８）。ルール情報は、指示内容解釈部３２ｃによって解釈されたルールパターンに対応した、システムの動作アルゴリズムを記述したものとして与えられる。例えば、１）の緊急事項を伝える場合（緊急伝達モード）のシステムの動作アルゴリズムは図２８のように表され（詳細については後述する）、解釈データベース３２ｆ中に蓄えられている。
【０１４８】
システム行動決定部３２ｄは、ステップＤ７において設定した指定状況設定の内容を状況照合部３２ｅに送信し（ステップＤ９）、またステップＤ８において決定したシステムの行動方法を出力生成部３６ｂに送信する（ステップＤ１０）。
【０１４９】
以下、出力生成部３６ｂは、システム行動決定部３２ｄから送信されたシステム行動方法に内容に従い（ステップＢ４）、状況照合部３２ｅによって通知されるメッセージ送信対象の状況等に応じて出力方法、出力内容を決定しながら、メッセージを出力する動作を実行する（ステップＢ５，Ｂ６）。
【０１５０】
また、状況照合部３２ｅは、システム行動決定部３２ｄから送信された指定状況設定に応じて、出力生成部３６ｂからメッセージを送信すべき指定状況の待ち状態となる。すなわち、状況照合部３２ｅは、図２７に示すフローチャートのように動作する。
【０１５１】
状況照合部３２ｅは、図２５に示すような形式で、システム行動決定部３２ｄから指定状況（待機状態）の情報（解釈内容構造体）が送られる（ステップＦ１）。
【０１５２】
解釈内容構造体の各スロットには、確定内容、または、フリー（制限を設けない）などが設定される。例えば、１）の緊急事項を伝える場合の緊急捜索モードでは、図２５（ａ）のように設定され、３）のその人が自分の席に戻った時点で表示する場合のモードでは、図２５（ｂ）のように設定される（図２５（ｂ）では時間のスロットには制限を設けていない）。これにより、状況照合部３２ｅは、情報取得が必要な端末、また必要な情報の種類を決定する（ステップＦ２，Ｆ３）。
【０１５３】
状況照合部３２ｅは、解釈内容構造体に設定された内容に応じて、状況情報参照部３０に対して通信要求を出し（ステップＦ４）、各端末の状況情報を取得する。
【０１５４】
状況照合部３２ｅは、状況情報参照部３０を介して取得された状況情報について、待機状態の情報表現と照合し（ステップＦ５）、照合が成功した場合にはメッセージを出力すべきことを示す照合完了信号を出力生成部３６ｂに送出する（ステップＦ８）。
【０１５５】
一方、設定時間を過ぎても照合が成功しなかった場合には（ステップＦ７）、状況照合部３２ｅは、タイムアウト信号をシステム行動決定部３２ｄに送出する（ステップＦ９）。
【０１５６】
なお、出力生成部３６ｂにおいては、メッセージの表示だけでなく、端末から声、音などで呼び止めることも行なう。出力方法については、解釈データベース３２ｆから出力情報パケットのテンプレートをコピーし、それにメッセージ等の情報を付加し、パケットを生成しておく。システム行動決定部３２ｄから、要求が来た場合に、先に述べた出力情報パケットを出力情報通信部１６を介して、それぞれの出力部１８に対して送信する。
【０１５７】
次に、１）の緊急事項を伝える場合（緊急伝達モード）を例に説明する。緊急伝達モードの際のシステム動作アルゴリズムを図２８に示している。なお、前述したように状況情報としては、着座判定、個人認証、頭部方向認識の結果が入力部１０の状況情報変換部１０ｃから通知されるものとする。
【０１５８】
緊急伝達モードの場合、環境内からメッセージの送信先となる相手を探し出し、ある時間内に伝えることを最大限に努力するシステムの行動方法が決定される。状況照合部３２ｅは、状況情報参照部３０を介して環境内から送信相手を探す（ステップＥ１，Ｅ２，Ｅ３）。ある時間が経過した場合には、出力生成部３６ｂは、ブロードキャストメッセージを生成して、出力情報通信部１６を介して環境全体に出力部１８に対してメッセージを送信する（ステップＥ４，Ｅ５）。
【０１５９】
そして、時間設定を変更して、予め設定された繰り返し回数に到達していなければ、ステップＥ１に戻り同様の処理を繰り返す（ステップＥ７）。なお、時間設定の変更は、環境内の全ての出力部１８にメッセージを送信したことから短時間で送信相手が検出されるものとして時間を短くしても良いし、また確実に相手を検出できるように時間を短くしても良い。
【０１６０】
送信相手の検索を繰り返し回数分、実行しても検出できなかった場合には（ステップＥ７）、メッセージ送信を要求してきた送信者、例えばメールの送信者を捜索し、要求されたメッセージの送信相手にメッセージを伝達できなかったことを示すメッセージを送るための処理を行なう（ステップＥ９）。このメッセージは、メール送受信部３４ｂを介して送信される。
【０１６１】
一方、状況照合部３２ｅは、環境内を探した結果、状況情報参照部３０からの情報をもとにメッセージの送信相手を発見できた場合には、状況情報変換部１０ｃから送られる状況情報に基づいて場所状況を把握する（ステップＥ１０）。
【０１６２】
その結果、状況情報中の着座判定の結果から他人の端末にいることが検出された場合、状況照合部３２ｅは、その他人端末での表示設定を出力生成部３６ｂに指示する（ステップＥ１２）。
【０１６３】
一方、メッセージの相手が本来いるべき端末（自端末）に着座している場合には、状況照合部３２ｅは、自端末での表示設定を出力生成部３６ｂに指示する（ステップＥ１３）。
【０１６４】
さらに、状況照合部３２ｅは、状況情報中の頭部方向認識の結果をもとに、相手の顔向きを検知する（ステップＥ１４）。この結果、送信相手が端末を向いている場合、すなわち視線方向がディスプレイを見ていることを確認した場合にはメッセージを通知することを決定し、出力生成部３６ｂにメッセージの送信を指示する。
【０１６５】
出力生成部３６ｂは、状況照合部３２ｅからの指示に応じて、メッセージ送信相手がいる端末の出力部１８に対して、出力情報通信部１６を介してメッセージ出力情報を送信する（ステップＥ１７）。
【０１６６】
また、メッセージの送信相手が見つかったものの、相手がディスプレイを見ていない場合は、音を出す出力情報を送信して、音声を使って呼び出すなどして（ステップＥ１５）、顔方向がディスプレイに向くまで続けるなどの処理を行なう。
【０１６７】
メッセージが送信された出力部１８では、例えばスピーカよりチャイムを出力すると共に、ディスプレイにおいてメッセージを表示する。
なお、前述した１）の緊急事項を伝える場合以外においても同様に処理が可能であり、このように、状況情報を利用したアプリケーション（応用サービス提供部１４）により、相手の状態を意識したメッセージ交換が可能となる。
【０１６８】
このようなアプリケーションは、応用サービス提供部１４として複数個用意することにより、さまざまなサービスがこの環境内で提供される。他のアプリケーション例として、適応会議召集システム、電話転送システム、人物捜索システムなどがあるが、状況情報を組み込むことで、従来より、それぞれのアプリケーションの高度化が可能になる。
【０１６９】
なお、本発明は上述した実施形態に限定されるものではない。
例えば、状況情報変換部１０ｃにおける各認識部（図４における個人認証部２１〜腕動作推定部２５）は、それぞれの状況情報変換部１０ｃが持つのではなく、バスでつながれた認識部を、それぞれの状況情報変換部１０ｃが共有する構成でも良い。
【０１７０】
また、本実施例では２つの論理的な通信手段（状況情報通信部１２、出力情報通信部１６）を持つ構成としているが、物理的には一つの通信手段でもよい。その際、状況情報と出力情報を識別するためのパケット構成要素を付加しても良い。
【０１７１】
このようにして、誰に、どのような情報を、どのように伝えたいかをシステムに伝えることで、情報を受けとる人の行動状態が把握され、送信相手の行動に応じて情報が提供される。例えば非同期なコミュニケーションあるいは直接的な同期したコミュニケーションの何れを行なうかを、電話、電子メール、ＦＡＸから適当な通信メディアを選択することで対応するのではなく、相手の状態に応じた情報の伝達方法を動的に選択して対応することができる。
【０１７２】
また、相手が単にカメラ（画像入力部１０ｂ）の撮影範囲に入ることで行動状態を把握することができるため、特別なデバイスを使用することなく容易に情報提供することができる。また常時、情報提供を行なっているわけではなく、撮影範囲に入らなければ所在が知られることもなく、さらに撮影された画像そのものではなく状況情報として通知されるのでプライバシーの保護もなされる。
【０１７３】
なお、前述した実施形態においては、画像入力部１０ｂ（カラーＣＣＤカメラ）から入力された入力画像をもとにして処理を行なう例について説明したが、画像以外の入力情報、例えば音声、キーボードからの入力データ等を変換して得られる状況情報をもとにして処理を行なう機能構成とすることもできる。
【０１７４】
次に、状況情報変換部１０ｃの変形例について第２実施形態として説明する。第２実施形態における、状況情報変換部１０ｃは、図２９に示すように、人物検出部４０、顔画像解析部４２、ジェスチャ解析部４４、人物動き解析部４６、端末状態検出部４８、時間管理部４９、類似度計算部５０、状況辞書部５２、状況記述ベクトル部５４、状況曲線生成部５６から構成される。
【０１７５】
人物検出部４０は、連続して入力される画像例に対して常時処理を行なう。人物が画像入力部１０ｂのカメラ視野に入ると、即座に人物検出部４０はその存在を検出し、状況情報を抽出する各モジュールを起動する。
【０１７６】
人物検出部４０における人物検出処理は、予め蓄えられた人物の存在しない背景画像と入力画像との画像間差分により人物領域の抽出を行なう。照明変化などの背景の揺らぎに対するロバスト性を向上するには、例えば後述する参考文献［２］に記載された方法を利用することが可能である。また、色情報から顔を肌領域として抽出してこれを基に人物領域を抽出する方法も利用可能である。この方法は、例えば参考文献［４］に記載された方法を用いることができる。
【０１７７】
顔画像解析部４２は、人物検出部４０によって人物の存在が検出されると、人物領域中から顔領域を抽出して、この顔領域から得られる各状況情報を抽出する。
【０１７８】
顔画像解析部４２は、顔領域抽出部４２ａ、個人識別部４２ｂ、性別識別部４２ｃ、年齢識別部４２ｄ、口状態検出部４２ｅ、目状態識別部４２ｆ、顔向き検出部４２ｇ、視線検出部４２ｈ、アクセサリ解析部４２ｉによって構成されている。
【０１７９】
詳しく調べると、顔領域抽出部４２ａは、人物領域から顔領域を抽出する。顔領域抽出法としては、色情報を使う方法（参考文献［３，４］）、ニューラルネットワークによる方法（参考文献［６］）、パターン認識による方法（参考文献［８］）などが提案されているが、本実施例では、予め登録された標準顔テンプレートを全画面に渡って操作して最も高い類似度（相関）を持つ領域を顔領域として抽出する。
【０１８０】
類似度がしきい値より小さい場合は、人物がこちら（画像入力部１０ｂ側）を向いていないと判断する。類似度計算処理は複合類似度などの従来文字確認において用いられた方法に置き換えても良い。
【０１８１】
この後、抽出された顔領域画像は、各状況情報を抽出する図２９中に示すモジュール群４２ｂ〜４２ｉに送られて並列に処理されて各状況情報が抽出される。各モジュールについて順に説明してゆく。
【０１８２】
個人識別部４２ｂは、顔特徴点抽出部と正規化画像生成部と類似度計算部と顔辞書記録部と評価部とから構成される。
顔特徴点抽出部は、抽出された顔領域からエッジ情報やカラー情報を基にモデルマッチング手法により目、鼻、口などの特徴点を抽出する。例えば参考文献［１４］に記載された方法を用いることができる。
【０１８３】
正規化画像生成部は、顔特徴点抽出部によって得られた特徴点から、複数の、例えば両目、唇の端の４点の特徴点を基準としてａｆｆｉｎｅ変換を施し、決められた位置と大きさに正規化し、目、鼻を含んだ矩形領域を抽出する。この正規化された画像を正規化画像と呼ぶ。更に、この後にヒストグラム平坦化処理などにより輝度の正規化処理を施す。
【０１８４】
類似度計算部は、正規化画像生成部によって生成された正規化画像と、予め登録されている辞書画像の類似度を計算する。本実施例では、類似度として複合類似度を用いる。
【０１８５】
評価部は、最も高い類似度を出力した辞書画像に該当する人物が、画像入力部１０ｂによって撮影された画像中に存在するものと判定する。ただし、その類似度が指定した閾値よりも低い場合は、だれであるかを決定せずに不定とする。
【０１８６】
なお上に述べた個人識別部４２ｂにおける個人認証技術についての技術動向は、参考文献［５」に詳しく記載されており、これらの手法を用いることができる。
【０１８７】
年齢識別部４２ｄは、個人識別部４２ｂの正規化画像生成部によって生成された正規化画像、あるいは正規化する前の顔領域抽出部４２ａによって検出された顔領域画像から、しわなどの肌の状態や、髪の毛の色から年齢を推定する。例えば参考文献［１１］に記載された方法を適用可能である。
【０１８８】
性別識別部４２ｃは、年齢識別部４２ｄと同様に、正規化画像あるいは正規化する前の顔領域画像から男女の識別を行なう。予め性別を識別する様に学習させたニューラルネットを用いて識別を行なう。
【０１８９】
口状態検出部４２ｅは、動的輪郭モデル（Ｓｎａｋｅｓモデル）（参考文献［１０］）など用いた口形状識別を行なう。状況情報量としては形状情報から２０段階の値、口の開閉回数／分も状況情報量として出力する。
【０１９０】
目状態検出部４２ｆは、輪郭モデルを用いて（参考文献［１３］記載された方法を用いる）、目の形状を抽出して閉閉状態・回数などを検出する。口状態検出部４２ｅと同様に情況情報量としては、形状情報から２０段階の値、目の開閉回数／分を状況情報量として出力する。
【０１９１】
顔向き検出部４２ｇは、抽出された複数の特徴点の座標から顔の３次元的な向きを計算する。例えば１台のカメラからの画像を用いる場合は、参考文献［７］に記載されたチポラの方法、２台のカメラからの画像を用いる場合は、ステレオ視覚による方法を用いることができる。本実施例では、縦に３段階、横に５段階の方法を識別して１５段階の状況情報量を出力する。
【０１９２】
視線検出部４２ｈは、目領域検出部と視線推定部から構成される。目領域検出は、参考文献［９］に記載された方法を用いることができる。視線推定部は、黒目の位置と目尻および目頭の相対位置関係から求まる。また様々な方向の視線の目領域の画像から視線方向を学習したニューラルネットワークを用いることも可能である（参考文献［１２］）。本実施例では、縦に５段階、横に１０段階の方向を識別して５０段階の状況情報量を出力する。
【０１９３】
アクセサリ解析部４２ｉは、人物がメガネなどのアクセサリを身に付けているか否か、またどんな種類のアクセサリを身に付けているかを識別する。年齢推定部や性別識別部と同様の方法が適用可能である。
【０１９４】
次に、ジェスチャ解析部４４について説明する。ジェスチャ解析部４４は、手領域抽出部４４ａ、手の形状識別部４４ｂ、手の位置検出部４４ｃから構成される。
【０１９５】
手領域抽出部４４ａは、人物検出部４０で検出された領域から人間の全身をスティックで表現したモデルにより手領域を抽出する。あるいはカラー情報に基づいて肌色から手領域を抽出することも可能である。状況情報量として５０段階の値を出力する。
【０１９６】
手の形状識別部４４ｂ及び手の位置検出部４４ｃは、手領域抽出部４４ａによって抽出された手領域について、それぞれ手の形状、手の位置を検出する。
次に、人物動き解析部４６について説明する。人物動き解析部４６は、空間位置検出部４６ｂと人物姿勢解析部４６ｃから構成される。空間位置検出部４６ｂは、人物検出部４０で抽出された人物の画像中での大きさ、位置からレンズの焦点距離等から空間位置を推定する。本実施形状では、例えば参考文献［１］に記載された方法を用いることができる。
【０１９７】
端末状態検出部４８は、計算機（ＷＳやパーソナルコンピュータ等）の入力デバイス１０ａから入力される入力情報をもとにした状況情報から、端末状態を識別するもので、キーボード状態識別部４８ｂは例えばキーボードのリズムからキーボード状態を識別し、入力形式識別部４８ｃは入力している形式がテキストかプログラムかを抽出する。
【０１９８】
時間管理部４９は、状況情報が発生した時刻情報を生成する。
これまでに述べてきた状況情報は、連続して状況情報量が状況情報通信手段に流される（ｌｅｖｅｌ １）。または、全てｎビットに正規化されて“作業中である／忙しそうである”いった抽象レベルの高い状況情報量（ｌｅｖｅｌ ２）に変換されて流される。
【０１９９】
抽象レベルの高い状況情報量への変換は、類似度計算部５０で行なう。
図３０に示す様に、同時刻ｔ＝０に正規化された各状況情報量は、状況記述ベクトル部５４でまとめてベクトル形式のデータに変換される。更に、状況曲線生成部５６は、状況記述ベクトル部５４によって生成された状況記述ベクトルが、状況特徴空間中でｔ＝０〜ｔ＝ｔ´の間に変換した軌跡として状況曲線を生成する。この状況曲線自体が人物の状況を表現したものと考えられる。
【０２００】
状況辞書部５２には、“忙しい／暇である”と定義できる状況での状況曲線モデルが予め記録されてある。新たに入力された状況記述ベクトルは、状況曲線に変換されて、類似度計算部５０によって状況辞書部５２に登録されている複数の状況曲線モデルとの類似度を求める。
【０２０１】
類似度計算部５０は、最も高い類似度を出力した状況を現在の状況として選択し、これに対応した状況情報量を状況情報通信手段に流す。本実施例では複合類似度法を用いる。図３１には状況モデル曲線と、入力された状況曲線との関係を示している。
【０２０２】
Ｅｔｈｅｒｎｅｔ（ＴＣＰ／ＩＰ）のような、通信路でなくても、バスを直結したような構成でもよい。その際、パケットの構成法を変更してもよい。
また、本方法は、ソフトパッケージのみで提供することが可能である。すなわち、図２２，図２３，図２６，図２７，図２８に示したような各端末における状況情報を取得するためのソフトウェア、状況情報を交換するためのプロトコル制御ソフトウェア、アプリケーションを駆動するためのソフトウェアなどを、それぞれの端末にインストールすることで、利用可能になる。これらのソフトウェアは、図３４のように、フロッピー、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体、または電気的な通信媒体（Ｉｎｔｅｒｎｅｔにおけるｆｔｐなど）によって供給できる。
以上、本発明は、その趣旨を逸脱しない範囲で、種々変形して実施することが可能である。
【０２０３】
【発明の効果】
以上詳述したように本発明によれば、人間同士のコミュニケーションを的確にサポーサし、時間的な効率と空間的な効率を同時に向上させることができるなどの実用上多大な効果が享受される。
【図面の簡単な説明】
【図１】本発明の実施形態に係わるコミュニケーション装置の構成を示すブロック図。
【図２】図１に示す構成によって実現されるコミュニケーション装置（コンピュータ環境）のイメージを示す図。
【図３】図１中に示す状況情報変換部１０ｃの構成例を示す図。
【図４】図３中に示す状況情報生成部１０ｃの１の詳細な構成を示す図。
【図５】図４中に示す人検出部２０の詳細な構成を示す図。
【図６】図５に示す人検出部２０による処理過程を示す図。
【図７】図４中に示す個人認証部２１の詳細な構成を示す図。
【図８】図４中に示す状況情報統合部２６の詳細な構成を示す図。
【図９】図８中の履歴記憶部２６ｄに記憶される状況登録テーブルの一例を示す図。
【図１０】行動情報を登録するための行動情報テーブルの一例を示す図。
【図１１】本実施形態で扱われる状況情報を説明するための図。
【図１２】状況情報を送信するための状況情報パケットの一例を示す図。
【図１３】送信要求パケットの構成の一例を示す図。
【図１４】本実施形態における通信プロトコルを説明するための図。
【図１５】図１に示す応用サービス提供部１４の構成を示すブロック図。
【図１６】図１５中に示す状況情報参照部３０の詳細な構成を示す図。
【図１７】出力情報パケットの構成の一例を示す図。
【図１８】図１中に示す出力部１８の詳細な構成を示す図。
【図１９】図１８に示す出力部１８の動作を示すフローチャート。
【図２０】ダイナミックリンク管理システムを実現する場合の応用サービス提供部１４の詳細な構成を示す図。
【図２１】状況適応型メッセージ伝達システムを実現する場合の応用サービス提供部１４の詳細な構成を示す図。
【図２２】状況適応型メッセージ伝達システムの動作を説明するためのフローチャート。
【図２３】図２１中の指示内容解釈部３２ｃの動作を説明するためのフローチャート。
【図２４】図２１中の解釈データベース３２ｆに格納されるルールパターンの一例を示す図。
【図２５】図２１中の指示内容解釈部３２ｃにより記述される解釈内容構造体の一例を示す図。
【図２６】図２１中のシステム行動決定部３２ｄの動作を説明するためのフローチャート。
【図２７】図２１中の状況照合部３２ｅの動作を説明するためのフローチャート。
【図２８】緊急伝達モードの際のシステム動作アルゴリズムを示すフローチャート。
【図２９】状況情報変換部１０ｃの変形例の構成を示すブロック図。
【図３０】正規化された状況情報量からの状況特徴ベクトル生成を説明するための図。
【図３１】状況モデル曲線と入力状況曲線との類似度計算を概念的に示す図。
【図３２】状況把握システムの一構成図。
【図３３】在席管理システムの一構成図。
【図３４】ソフトウェアによるシステムの供給を示した図。
【符号の説明】
１０…入力部
１０ａ…入力デバイス
１０ｂ…画像入力部
１０ｃ…状況情報変換部
１２…状況情報通信部
１４…応用サービス提供部
１６…出力情報通信部
１８…出力部
２０…人検出部
２１…個人認証部
２２…頭部方向推定部
２３…視線方向推定部
２４…口形状動作推定部
２５…腕動作推定部
２６…状況情報統合部
２６ａ…統合部
２６ｂ…時刻発生部
２６ｃ…場所情報記憶部
２６ｄ…履歴記憶部
２６ｅ…統合行動認識部
２６ｆ…統合情報記憶部
３０…状況情報参照部
３０ａ…通信部
３０ｂ…記憶部
３０ｃ…制御部
３２…アプリケーション制御部
３２ａ…情報管理部
３２ｂ…履歴記憶部
３２ｃ…指示内容解釈部
３２ｄ…システム行動決定部
３２ｅ…状況照合部
３２ｆ…解釈データベース
３４…アプリケーション入出力部
３４ａ…出力要求受信部
３４ａ…メール送信部
３６…アクション作成部
３６ａ…表示内容生成部
３６ｂ…出力生成部
３６ｃ…出力方法データベース

Claims (2)

1. 画像を入力する手段と、画像入力手段により取得されたユーザの顔画像と予め蓄積された辞書画像とを照合することにより個人を認証する手段と、当該個人の認証結果と当該認証に用いられた画像の取得時刻と当該画像を取得した画像入力手段の設置場所に関する情報とを統合して状況情報を出力する手段とを備えた複数の情報処理装置と、
   前記複数の情報処理装置から出力された状況情報を蓄積する手段と、蓄積手段に蓄積された前記状況情報の内容を逐次更新する手段とを備えた応用サービス提供装置とからなるコミュニケーション装置において、
   前記複数の情報処理装置は、前記応用サービス提供装置の蓄積手段に蓄積された状況情報の内容を参照することにより、特定の画像入力手段の設置場所における特定の個人の現在の在席状況を出力する手段を更に具備することを特長とするコミュニケーション装置。
2. 画像入力手段により取得されたユーザの顔画像と予め蓄積された辞書画像とを照合することにより個人を認証し、当該個人の認証結果と当該認証に用いられた画像の取得時刻と当該画像を取得した画像入力手段の設置場所に関する情報とを統合して状況情報を出力する手段とを備えた複数の情報処理装置と、
   前記複数の情報処理装置から出力された状況情報を蓄積する手段と、蓄積手段に蓄積された前記状況情報の内容を逐次更新する手段とを備えた応用サービス提供装置とを用いたコミュニケーション方法において、
   前記複数の情報処理装置は、前記応用サービス提供装置の蓄積手段に蓄積された状況情報の内容を参照することにより、特定の画像入力手段の設置場所における特定の個人の現在の在席状況を出力することを特長とするコミュニケーション方法。

Images