JP6175969B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

複数の端末装置をインターネット等の通信回線を介して接続し、映像と音声を双方向に送受信することで、遠隔地にいる者同士の会議を実現するビデオ会議をはじめとする遠隔会議システムが知られている。また、実際の映像に代えて擬似化オブジェクトを表示させて遠隔会議を行う技術も知られている（例えば、特許文献１参照）。

また、異なる文化的背景を持つユーザ同士が遠隔会議を行う場合、互いの身振りや顔の表情等が相手にどのように解釈されるかを十分に理解できていない場合がある。このような異文化によるコミュニケーションギャップを解消するために、身振りの意味を文化的背景等から推測し、その情報をアイコンやテキストメッセージで提供する技術が知られている（例えば、特許文献２参照）。

特許文献２に記載された技術では、通信先と画像や音声による遠隔会議を行っているときに、表示画面等に表示されたアイコンやテキストを読み取り、理解する必要があった。このように、異文化等によるコミュニケーションギャップを低減させ、遠隔地とのコミュニケーションを容易化することには困難を伴っていた。

本発明の実施の形態は、上記問題点を鑑みてなされたものであって、ネットワークを介したコミュニケーションにおいて、異文化等によるコミュニケーションギャップを低減させ、遠隔地とのコミュニケーションを容易化する情報処理装置を提供することを目的とする。

上記課題を解決するため、一実施の形態に係る情報処理装置は、第１地点の情報処理装置との間で通信を行う第２地点の情報処理装置であって、前記第１地点の情報処理装置のユーザの第１動作情報を取得する手段と、前記第１地点における前記第１動作情報の意味を示す第１意味情報、及び前記第２地点における前記第１動作情報の意味を示す第２意味情報を特定する手段と、前記第１意味情報と前記第２意味情報との差異に基づいて、前記第１動作情報が前記第２地点において前記第１意味情報を示すように、前記第１動作情報を修正する手段と、修正された前記第１動作情報に基づいて、前記第１地点の情報処理装置のユーザのオブジェクトを生成する手段と、を有する。

本実施の形態によれば、ネットワークを介したコミュニケーションにおいて、異文化等によるコミュニケーションギャップを低減させ、遠隔地とのコミュニケーションを容易化する情報処理装置を提供することができる。

一実施の形態に係る情報処理システムの一例を示す図である。 一実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 第１の実施の形態に係る情報処理装置の機能構成の一例を示す図である。 第１の実施の形態に係る背景設定テーブルの一例を示す図である。 第１の実施の形態に係る動作情報テーブルの一例を示す図である。 第１の実施の形態に係る声量判定テーブルの一例を示す図である。 第１の実施の形態に係る表情判定テーブルの一例を示す図である。 第１の実施の形態に係る情報処理装置の処理の流れを示すフローチャートである。 第１の実施の形態に係る修正手段の構成の一例を示す図である。 第１の実施の形態に係る修正処理の流れを示すフローチャートである。 第１の実施の形態に係る背景設定（抜粋）の一例を示す図である。 第１の実施の形態に係る修正内容テーブルの一例を示す図である。 第１の実施の形態に係る動作モード設定画面の一例を示す図である。 第１の実施の形態に係るアピールモード用の動作修正テーブルの一例を示す図である。 情報処理システムの機能構成の別の一例を示す図である。 第２の実施の形態に係る情報処理装置の機能構成の一例を示す図である。 第２の実施の形態に係る修正処理の流れを示すフローチャートである。 第２の実施の形態に係る遅延修正処理の流れを示すフローチャートである。 第２の実施の形態に係る反応要求情報の一例を示す図である。 第２の実施の形態に係る修正可否情報の一例を示す図である。 第２の実施の形態に係る遅延修正情報の一例を示す図である。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システム構成＞
図１は、一実施の形態に係る情報処理システムの一例を示す図である。図１に示すシステムは、複数の装置がネットワーク等を介して接続され、コミュニケーションを行うシステムであり、例えば遠隔会議システムなどである。

図１に示す例では、情報処理システム１００は、複数の情報処理装置１０１−ｎ（ｎ＝１〜３、ｎは複数の任意の数）及びサーバ装置１０２がネットワーク１０３を介して接続されている。ネットワーク１０３は、例えば、インターネット、企業内の有線又は無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークである。なお、複数の情報処理装置１０１−ｎは、それぞれを区別する必要がない場合は、情報処理装置１０１として表記する。

情報処理装置１０１は、クライアント端末とも称され、ネットワーク１０３を介した遠隔会議等を行う際の端末である。情報処理装置１０１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、又は遠隔会議用の専用端末等である。

サーバ装置１０２は、複数の情報処理装置１０１−ｎ間の通信を制御する機能を有し、例えば、情報処理装置１０１−１からのデータを受信し、所望の情報処理装置、例えば、情報処理装置１０１−２、情報処理装置１０１−３等に送信する機能を有する。また、サーバ装置１０２は、複数の情報処理装置１０１−ｎ間で送受信するデータに所定のデータ処理、例えば、画像処理、エンコード、デコード等の処理を行うものであっても良い。

尚、上記構成は一例であって、サーバ装置１０２の数は他の数であっても良い。また、情報処理システム１００は、サーバ装置１０２を備えずに、情報処理装置１０１間でピアツーピア接続により通信を行うものであっても良い。

情報処理装置１０１−１〜１０１−３は、情報処理装置間で通信を行い、音声、画像の情報を送受信することができる。これにより、例えば、情報処理装置１０１−１のユーザは、情報処理装置１０１−２や１０１−３のユーザと、リアルタイムに送受信される音声や画像を介して遠隔会議を行うことができる。

尚、このとき表示する通信先のユーザに関する画像は、必ずしもユーザの実画像でなくても良い。例えば、ユーザの実画像データに代えて、ユーザの動作に関わる情報（動作情報）のみを送受信し、受信した動作情報に基づいて情報処理装置１０１がユーザのオブジェクト（アバター）を生成し、表示するアバター会議であっても良い。アバター会議により、より帯域の狭い通信回線においても、遠隔会議を行うことが可能になる。さらに、アバター会議は、音声のみではなく、身振り等の非言語的な情報も伝達することができるので、音声会議等よりも円滑にコミュニケーションを行うことができる。

本実施の形態では、情報処理装置１０１は、第１の地域（地点）と第２の地域（地点）との間で行われるアバター会議において、例えば、第１の地域のユーザの第１動作情報から、第１の地域における意味を示す第１意味情報と、第２の地域における意味を示す第２意味情報とを特定する。また、特定された２つの地域における意味情報が一致しなかった場合、すなわち、コミュニケーションギャップがあると判断した場合、第１のユーザの動作情報が第２の地域において第１意味情報を示すように、第１のユーザの動作情報を修正する。

さらに、情報処理装置１０１は、修正された動作情報に係る動作を強調又は抑制してアバターを生成する一又は複数の動作モードを有する。さらに、修正された動作情報とは異なる動作で誇張してアバターを生成する動作モードを有する。

尚、上記機能は、情報処理装置１０１が個別に有していても良いし、複数の情報処理装置１０１やサーバ装置１０２に分散して有していても良い。

＜ハードウェア構成＞
図２は、一実施の形態に係る情報処理装置１０１のハードウェア構成の一例を示すブロック図である。情報処理装置１０１は、一般的なコンピュータの構成を有しており、例えば、制御部２０１、主記憶部２０２、補助記憶部２０３、ドライブ装置２０４、ネットワークＩ／Ｆ（Interface）部２０６、入力部２０７、表示部２０８、入出力Ｉ／Ｆ部２０９、システムバス２１０等を有している。尚、サーバ装置１０２も同様の構成で良い。

制御部２０１は、各部の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）を含む。また、制御部２０１は、主記憶部２０２や補助記憶部２０３に記憶されたコミュニケーション制御プログラム等を実行する演算手段であり、入力部２０７や記憶装置からデータを受け取り、演算、加工した上で、表示部２０８や記憶装置などに出力する。

主記憶部２０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶手段である。主記憶部２０２は、制御部２０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムや、データを記憶又は一時保存する記憶装置である。補助記憶部２０３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のストレージ手段であり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。ドライブ装置２０４は、記録媒体２０５、例えばメモリカード等からプログラムを読み出し、記憶装置にインストールする。また、記録媒体２０５に、例えばコミュニケーション制御プログラムを格納し、コミュニケーション制御プログラムはドライブ装置２０４を介して情報処理装置１０１にインストールされる。インストールされたコミュニケーション制御プログラムは、情報処理装置１０１により実行可能となる。

ネットワークＩ／Ｆ部２０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ、ＷＡＮなどのネットワークを介してデータの送受信を行う通信手段である。入力部２０７は、ユーザが情報処理装置１０１にキー入力等を行うキーボード、マウス等のポインティングデバイス、又はタッチパネル等の入力手段である。表示部２０８は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示手段であり、制御部２０１から入力される表示データに応じた表示が行われる。また、表示部２０８は、情報処理装置１０１と別体でもよく、この場合は、情報処理装置１０１には、表示部２０８を制御する表示制御部が設けられる。

入出力Ｉ／Ｆ２０９部は、外部機器等とのデータの入出力を行うための手段である。例えば、ユーザの画像を取得するカメラ、ユーザの音声を取得するマイク、通信先の音声を出力するスピーカー等のインタフェースを含む。システムバス２１０は、アドレスバス、データバス及び各種制御信号を伝達するバスである。

［第１の実施の形態］
＜機能構成＞
図３は、第１の実施の形態に係る情報処理装置１０１の機能構成図である。図３において、情報処理装置１０１は、入力機器３０８から、例えば、ユーザの動画像、音声等のユーザの動作を表す情報を取得する。入力機器３０８は、ユーザの動作を認識可能なデバイスであり、例えば、カメラや深度センサやマイクなどのデバイスである。また、情報処理装置１０１は、生成したオブジェクトを出力機器３０９に出力する。出力機器３０９は、例えば、図２の表示部２０８やスピーカーなどのデバイスである。オブジェクトとは、例えば、通信先のユーザを表すアバター等である。

図３に示す情報処理装置１０１は、動作情報生成手段３０１、通信手段３０２、設定手段３０３、検出手段３０４、修正手段３０５、生成手段３０６、及び記憶手段３０７を備える。尚、動作情報生成手段３０１、設定手段３０３、検出手段３０４、修正手段３０５、及び生成手段３０６は、例えば、図２に示す制御部２０１で実行されるプログラムによって実現される。このとき、主記憶部２０２は、ワークメモリとして使用される。また、記憶手段３０７は、例えば、図２の主記憶部２０２、補助記憶部２０３等の記憶部に含まれる。通信手段３０２は、例えばネットワークＩ／Ｆ部２０６により実現される。

動作情報生成手段３０１は、入力機器３０８から取得したユーザの動作を表す情報を基に、身体の動作のみではなく音声も含む、ユーザがどのような動作を行っているかを示す情報（動作情報）を生成する。生成された動作情報は、通信手段３０２を介して通信先の情報処理装置等へ送信される。

通信手段３０２は、ネットワーク１０３を介して他の情報処理装置等とコミュニケーションを行うために必要なデータの送受信を行う。ここで、コミュニケーションを行うために必要なデータは、例えば、上記動作情報を含む。本実施の形態では、通信手段３０２は、入力機器３０８からの情報に基づいて動作情報生成手段３０１によって生成された動作情報を通信先の情報処理装置に送信する。また、通信手段３０２は、通信先の情報処理装置から、通信先のユーザの動作情報を受信（取得）する。

動作情報は、例えば、３Dモデルで構成されたオブジェクト（アバター）であれば、各オブジェクトに対して基部の座標とＸ，Ｙ，Ｚの３次元で表わされるオブジェクトの向きおよび回転角の４次元の情報(Quaternion)である。この４次元の情報あれば、オブジェクトの様態を一意に定めることができるため、各フレームにおけるQuaternionが、送受信されればよい。このとき、３Ｄモデルの情報は、事前に共有したり利用者が独自に調達したりすることで準備したものを利用する。

ただし、表情については、位置情報から構成すると不自然になる場合がある。これは、アニメーションなどで一般的にみられるように、写実的ではないオブジェクトの表情にともなう動作は、実際の人間が行う動作と同じ意図を伝える際に同じ動作をすればいいとは限らないからである。そのため、情報処理装置１０１は、特許第３５９３０６７号公報のような手法で表情を判断したうえで、表情の種類（喜怒哀楽等）の情報を送信し、受信側で使用しているモデルにその表情を適用する形をとっても良い。

設定手段３０３は、情報処理装置１０１の動作に係る様々な設定を行う手段である。情報処理装置１０１は、例えば、言語、国、地域、民族、風習等の文化的背景に応じて、通信手段３０２等から取得した動作情報が、それぞれどのような意味を有しているかを示す複数の背景設定テーブルを有している。同じ動作であっても、文化的背景が違えば意味が異なるからである。設定手段３０３は、この背景設定テーブルの中から、通信先（第1地点）の文化的背景に応じたテーブル（第１テーブル）と、通信元（第２地点）の文化的背景に応じたテーブル（第２テーブル）と、をそれぞれ設定する手段である。また、この設定を背景設定と呼ぶ。

さらに、本実施の形態に係る情報処理装置１０１は、オブジェクトの表現を強調する強調モード、オブジェクトの表現を抑制する穏やかモード、又はオブジェクトの表現を誇張して表現するアピールモード等を含む複数の動作モードを有している。設定手段３０３は、この複数の動作モードの中から一の動作モードを選択する手段でもある。また、この設定をモード設定と呼ぶ。

情報処理装置１０１のユーザは、例えば、図２の表示部２０８に設定手段３０３によって表示された画面、及び入力部２０７の操作等により、上記、背景設定及びモード設定等の設定を行うことができる。

また、別の好適な一例として、情報処理装置１０１は、通信先の情報処理装置等から、通信先の地域、言語、タイムゾーン等の情報を取得し、取得した情報に基づいて、通信先の背景設定テーブル（第１テーブル）を設定するものであっても良い。この場合、通信先の文化的背景を十分に知らない場合でも、自動的に適切な背景設定が行われる。

検出手段３０４は、通信手段３０２が取得した通信先（第１地点）の情報処理装置のユーザの動作情報から、第１地点に対応する背景設定テーブルに基づいて、第１地点における上記動作情報の意味を示す第１意味情報を検出（特定）する。また、第２地点に対応する背景設定テーブルに基づいて、第２地点における上記動作情報の意味を示す第２意味情報を検出（特定）する。検出手段３０４は、例えば、通信手段３０２が取得した動作情報に対して、背景設定テーブルの動作情報と一致するかどうかの判断を行い、一致する動作情報に対応する意味を特定する。検出手段３０４は、特定した意味を示す意味情報を、例えば、動作情報に付加して出力する。尚、上記第１意味情報及び第２意味情報の検出を一つの検出手段３０４で行うものとして説明したが、第１意味情報と第２意味情報を別に検出する２つの検出手段を有していても良い。

修正手段３０５は、検出手段３０４によって特定された第１意味情報と第２意味情報との差異に基づいて、上記動作情報が通信元（第２地点）において上記第１意味情報を示すように、上記動作情報を修正する。第１意味情報は、第１地点に対応する背景設定テーブルとして、通信先の文化的背景に対応したテーブルが正しく設定されていれば、通信先におけるユーザの動作情報の意味を示している。また、同様に、第２意味情報は、第２地点に対応するテーブルとして、通信元の文化的背景に対応したテーブルが正しく設定されていれば、通信元におけるユーザの動作情報の意味を示している。

従って、第１意味情報と第２意味情報とが不一致となった場合、そのまま動作情報を伝達してしまうとコミュニケーションギャップが発生すると判断できる。そのため、修正手段３０５は、第１意味情報と第２意味情報とが不一致となった場合に、通信先から取得した動作情報を修正する。

さらに、修正手段３０５は、モード設定により設定された動作モードに応じて、上記修正された動作情報を修正する。尚、修正手段３０５の具体的な修正内容については、後述する。

生成手段３０６は、修正手段３０５により修正された動作情報に基づいて、通信先の情報処理装置のユーザのオブジェクト（アバター）を生成し、生成したオブジェクトを出力機器３０９に出力する。出力機器３０９に表示するオブジェクトの生成に必要な情報は、事前に情報処理装置１０１に保存されていてもよいし、会議開始時に相手側の装置から提供されるものであってもよい。

ここで、背景設定テーブルについて説明する。背景設定テーブルは、例えば、言語、国名、地域、民族、風習等の文化的背景に応じて、各動作情報が、それぞれどのような意味を有しているかを示す複数のテーブルを有している。

図４は、第１の実施の形態に係る背景設定テーブルの一例を示す図である。背景設定テーブル４０１には、文化的背景に対応する複数のテーブルが用意されており、それぞれに識別用のラベル４０２が付与されている。また、背景設定テーブル４０１は、例えば、言語、国、都市、地域、民族、宗教等、又はその組合せである背景４０３により、ユーザが適切なテーブルを選択できるようになっている。

さらに、背景設定テーブル４０１の各テーブルは、それぞれ、例えば、動作情報テーブル４０４、声量判定テーブル４０５、表情判定テーブル４０６等の複数のテーブルを有していても良い。

図５は、第１の実施の形態に係る動作情報テーブルの一例を示す図である。図５に示す動作情報テーブル４０４は、ラベル５０１と、動作種別５０２と、動作情報の基準５０３と、動作情報の意味５０４と、を対応付けている。検出手段３０４は、取得した動作情報が動作情報の動作情報の基準５０３と一致又は該当するとき、一致又は該当した動作情報に対応する動作情報の意味５０４等を特定することができる。

図６は、第１の実施の形態に係る声量判定テーブル４０５の一例を示す図である。図６に示す声量判定テーブル４０５は、動作情報テーブル４０４と同様に、ラベル６０１と、動作種別６０２と、動作情報の基準６０３と、動作情報の意味６０４と、を対応付けている。動作情報テーブル４０４が、主にユーザの身体的な動作に関するテーブルであったのに対し、声量判定テーブル４０５は、主に音声に関するテーブルとなっている。検出手段３０４は、取得した動作情報の音声情報が動作情報の基準６０３と一致又は該当するとき、一致又は該当した動作情報に対応する動作情報の意味６０４等を特定することができる。

さらに、背景設定テーブル４０１は、ユーザの表情を検出するための表情判定テーブル４０６を有していても良い。

図７は、第１の実施の形態に係る表情判定テーブルの一例を示す図である。図７に示す表情判定テーブル４０６は、ラベル７０１と、表情種別７０２と、動作情報の基準７０３と、動作情報の意味７０４と、を対応付けている。表情判定テーブル４０６により、ユーザの上体の動作や、音声だけでは読み取れない、表情の意味についても特定できる。検出手段３０４は、取得した動作情報が動作情報の基準７０３と一致又は該当するとき、一致又は該当した動作情報に対応する動作情報の意味７０４及び表情種別７０２等を特定することができる。

検出手段３０４は、例えば、動作情報テーブル４０４、表情判定テーブル４０６、及び表情判定テーブル４０６等に基づいて特定した動作情報の意味５０４、６０４、７０４等を意味情報として修正手段３０５に出力する。

＜処理の流れ＞
次に、情報処理装置１０１の処理の流れについて説明する。

図８は、第１の実施の形態に係る情報処理装置１０１の処理の流れを示すフローチャートである。尚、図８において、通信を開始する前に、背景設定により、複数の背景設定テーブルの中から、第１地点の文化的背景に応じた第１テーブルと、第２地点の文化的背景に応じた第２テーブルと、が既に設定されているものとして説明を行う。

第１地点（通信先）の情報処理装置と第２地点（通信元）の情報処理装置とで通信を開始すると（ステップＳ８０１）、通信手段３０２は、通信先から送られてくる第１地点の情報処理装置のユーザの動作情報を取得する（ステップＳ８０２）。次に、検出手段３０４は、背景設定で設定された第１テーブルを用いて、通信手段３０２が取得した動作情報の第１地点における意味を示す情報である第１意味情報を検出する。さらに、検出手段３０４は、背景設定で設定された第２テーブルを用いて、通信手段３０２が取得した動作情報の第２地点における意味を示す情報である第２意味情報を検出する（ステップＳ８０３）。

次に、修正手段３０５は、第１意味情報と第２意味情報が一致するか否かを判断する（ステップＳ８０４）。修正手段３０５は、第１意味情報と第２意味情報とが不一致となった場合に、通信先のユーザの動作情報を修正する（ステップＳ８０５）。一方、第１意味情報と第２意味情報とが一致した場合は、動作情報を修正せずにステップＳ８０６に進む。さらに、修正手段３０５は、設定手段３０３によって設定された動作モードに応じて、動作情報を修正する（ステップＳ８０６）。

生成手段３０６は、修正手段３０５から取得した動作情報に基づいて、通信先の情報処理装置のユーザのオブジェクト（アバター）を生成する（ステップＳ８０７）。

＜修正処理＞
ここで、修正手段３０５による修正処理について説明する。

図９は、第１の実施の形態に係る修正手段３０５の構成の一例を示す図である。修正手段３０５は、例えば、判定手段９０１、第１修正手段９０２及び第２修正手段９０３を有している。また、記憶手段３０７には、背景設定テーブル、修正内容テーブル等が記憶されている。

判定手段９０１には、検出手段３０４によって検出された、第１意味情報及び第２意味情報が入力されている。判定手段９０１は、入力された第１意味情報と第２意味情報とを比較し、両者が不一致の場合に、第１修正手段９０２に、通信手段３０２等から入力された第１地点のユーザの動作情報の修正を指示する。判定手段９０１は、第１修正手段９０２による修正内容を判断する。尚、判定手段９０１が修正内容を判断する構成は一例であって、動作情報の修正内容は第１修正手段９０２が判断するものであっても良い。

第１修正手段９０２は、判定手段９０１からの修正の指示に応じて、第１地点の情報処理装置のユーザの動作情報を修正する。具体的には、第１地点のユーザの動作情報が第２地点において第１意味情報を示すように、第１地点の情報処理装置のユーザの動作情報を修正する。

第２修正手段９０３は、設定手段３０３によって設定された動作モードに応じて、第１修正手段９０２から出力された動作情報を修正し、修正した動作情報を生成手段３０６に出力する。

図１０は、第１の実施の形態に係る修正処理の流れを示すフローチャートである。判定手段９０１は、検出手段３０４から出力された、第１意味情報及び第２意味情報を取得する（ステップＳ８０１）。判定手段９０１は、第１意味情報と第２意味情報が一致するか否かを判断する（ステップＳ８０２）。第１意味情報と第２意味情報が不一致でない場合、すなわち、一致する場合は、通信先の第１地点と通信元の第２地点との間でコミュニケーションギャップがないと考えられる。従って、修正手段３０５は、通信手段３０２から取得した動作情報の修正を行わなくても良い。

一方、ステップＳ８０２において、第１意味情報と第２意味情報が不一致となった場合、通信先の第１地点と通信元の第２地点との間でコミュニケーションギャップがあると考えられる。この場合、第１修正手段９０２は、修正内容テーブルの有無を判断する（ステップＳ８０３）。修正内容テーブルがある場合、第１修正手段９０２は、修正内容テーブルに従って、動作情報を修正する（ステップＳ８０４）。

一方、ステップＳ８０３において、修正内容テーブルがない場合、背景設定で設定された、第１の地点に対応する背景設定テーブル及び／又は第２の地点に対応する背景設定テーブル等に基づいて、動作情報を修正する（ステップＳ８０５）。第２修正手段は、修正された動作情報を動作モードに応じて修正する。

第１修正手段９０２の修正内容について、具体的な例を上げて説明する。

図１１は、第１の実施の形態に係る背景設定（抜粋）の一例を示す図である。図１１は、背景設定テーブルの一部の動作（発生のある頷き）を抜粋したものである。また、第１テーブルとして、図４の背景設定テーブルのラベル１（日本語／東京、日本語／その他）が設定されており、第２テーブルとして、ラベル４（スペイン語／メキシコシティ）が設定されているものとする。

この場合、通信先の第１地点のユーザが、顔を８度前傾させる頷き動作を行うと、第１のテーブルでは、動作情報の基準は、顔が「５度以上前傾する」となっているので、第１の意味情報は「肯定」となる。一方、第２のテーブルでは、動作情報の基準は、顔が「１０以上前傾する」となっているので、第２の意味情報は「肯定」とはならず、意味情報の不一致が発生する。

この場合、第１修正手段９０２は、第１テーブル及び第２テーブルに対応する修正内容テーブルが記憶手段３０７に記憶されているか否かを確認する。

図１２は、修正内容テーブルの一例である。図１２において、ラベルＡ−１．１に対して、第１テーブル１２０１と第２テーブル１２０２との組合せに応じて、修正内容１２０３が定義されている。図１１の例では、第１テーブルがラベル１、第２テーブルがラベル４なので、図１２の修正内容テーブルより、顔の動作を５０％大きくする修正を行う。

上記の例では、ユーザが顔を８度前傾させているので、修正手段３０５は、修正内容テーブルに基づいて、顔を１２度前傾させる動作に修正する。尚、修正内容テーブルには、各動作種別及びラベルに対応して、図１２のような修正内容がそれぞれ記録されている。また、修正内容テーブルは、修正内容テーブルに基づく修正により、動作情報が、第２の地点においても、第１の地点と同じ意味を示すように作成されている。

一方、修正内容テーブルがない場合は、修正手段３０５は、背景設定で設定された第１テーブル及び／又は第２テーブルに基づいて、動作情報を修正する。図１１の例では、第２テーブルより、顔の前傾を１０度以上にすれば、第２地点においても、動作情報の意味が「肯定」となることが判る。従って、修正手段３０５は、顔の前傾が１０度以上となるような修正を行う、例えば、閾値の１０度との比を１２０％として、１２度前傾させる修正を行う。尚、この比を増減することにより、通信先のユーザのアバターの動作を強調して表現したり、抑制して表現したりすることができる。

また、人間の動作には、同じ意味を持つ動作にも、ばらつきやバリエーションがあるため、同じ入力（第１意味情報及び第２意味情報）に対して、毎回同じ修正を行っていると、アバターの動作に不自然さを感じる場合がある。そのため、第１意味情報及び第２意味情報に応じた修正内容を複数用意しておき、ランダムに修正内容を選択するようにしても良い。尚、上記複数の修正内容は、修正の内容、タイミング等が異なるものを含んでいても良い。修正手段３０５は、上記修正を行った動作情報を生成手段３０６へ出力する。

＜動作モード＞
次に、情報処理装置１０１の動作モードについて説明する。情報処理装置１０１は、第１修正手段９０２によってコミュニケーションギャップが修正された動作情報を、強調、抑制、又は誇張して表現する複数の動作モードを有している。

図１３は、第１の実施の形態に係る動作モード設定画面の一例を示す図である。図１３の例では、設定手段３０３が、例えば、図２の表示部２０８等に、通常モード１３０１、強調モード１３０２、穏やかモード１３０３、アピールモード１３０４を含む動作モード設定画面を表示させている。上記４つの動作モードは一例であって、動作モードの数は他の数であっても良い。ユーザは、動作モード設定画面から、情報処理装置１０１の動作モードを選択することができる。

図１３に示した４つの動作モードのうち、通常モード１３０１は、第１修正手段９０２による動作情報のコミュニケーションギャップをなくす修正を行い、第２修正手段９０３による、追加の修正を行わない動作モードである。

強調モード１３０２は、第１修正手段９０２から取得した動作情報に係る動作が大きくなるように修正して通信先のユーザのオブジェクトを生成するモードである。この動作モードでは、第２修正手段９０３は、例えば、頷き動作であれば、頷く角度が大きくなるように修正を行う。情報処理装置１０１は、例えば、背景設定に関連付けられた強調モード用の修正テーブルを有し、第２修正手段９０３は、この強調モード用の修正テーブルに従って動作情報を修正しても良い。第２修正手段９０３は、修正テーブルを用いずに、対象となる動作を単に大きく修正するだけであっても良い。生成手段３０６は、修正された動作情報に基づいて、通信先のユーザのオブジェクトを生成する。

穏やかモード１３０３は、第１修正手段９０２から取得した動作情報の動作が小さくなるように修正して通信先のユーザのオブジェクトを生成する動作モードである。第２修正手段９０３は、例えば、頷き動作であれば、頷く角度が小さくなるように修正を行う。情報処理装置１０１は、例えば、強調モードと同様に、穏やかモード用の修正テーブルを有し、第２修正手段９０３は、この穏やかモード用の修正テーブルに従って動作情報を修正しても良い。又は、第２修正手段９０３、修正テーブルを用いずに、対象となる動作を単に小さく修正するだけであっても良い。生成手段３０６は、修正された動作情報に基づいて、通信先のユーザのオブジェクトを生成する。

アピールモード１３０４は、第１修正手段９０２から取得した動作情報の動作を誇張して表現するように修正して通信先のユーザのオブジェクトを生成するモードである。アピールモードでは、単に通信先のユーザの動作を大きくするのではなく、例えば、急に通信先のユーザの音声レベルが大きくなった場合には、通信先のユーザのオブジェクトの顔が大きくなる、又はオブジェクトが近づいて来る等の修正を行う。また、通信先のユーザの発声や動作が無い状態が継続すると、通信先のユーザのオブジェクトが薄くなる（透明度を変化させる）などの表現を行っても良い。さらに、通信先の音声レベルが大きい状態が継続した場合には、通信先のユーザのオブジェクトの顔の色を赤くする（オブジェクトの色を変化させる）修正を行っても良い。

つまり、アピールモードでは、通信先のユーザの動作情報に係る動作を、その動作とは異なる動作等を使って誇張して表現する。この場合、通信先のユーザのオブジェクトの動作が、実際の人間にとって不可能であったり、困難であったりする動作となることを許容する。

尚、アピールモード１３０４では、通信元の音声レベルに応じて、通信先のユーザのオブジェクトの動作情報を変化させても良い。例えば、通信元で急に大きな音が発生した場合に、通信先のユーザのオブジェクトの目の形を「＞＜」等に変えて表示する（オブジェクトの形状を変化させる）等の修正を行うものであっても良い。

図１４は、第１の実施の形態に係るアピールモード用の動作修正テーブルの一例を示す図である。図１４の例では、アピールモード用の動作修正テーブルは、動作／意味１４０１と、修正動作１４０２と、修正実施確率１４０３と、を関連付けている。第２修正手段９０３は、例えば、検出手段３０４から取得した第１意味情報等により、図１４の動作／意味１４０１を特定する。第２修正手段９０３は、特定された動作／意味１４０１に対応する修正動作１４０２に応じて、動作情報を修正する。

尚、図１４に示すように、１つの動作／意味１４０１に対応する修正動作１４０２は、複数設定されていても良い。例えば、通信先のユーザの動作／意味１４０１が「肯定」であった場合、通信先のユーザが頷く度に、ユーザのオブジェクトが飛び上がるのはやや不自然である。そのため、情報処理装置１０１は、１つの動作／意味１４０１に応じて、複数の修正動作１４０２を用意し、ランダムに修正動作１４０２を選択してオブジェクトを生成しても良い。さらに、修正動作１４０２毎に、修正実施確率１４０３を定めておき、修正実施確率１４０３に基づいて動作情報を修正し、オブジェクトを生成するものであっても良い。

このようにして、アピールモードでは、通信先のユーザの動作をデフォルメして、非言語的な情報をより判り易い動作で表現する。

次に、主に穏やかモードに関する好適な例について説明する。穏やかモードについても、アピールモードと同様に動作修正テーブルを設けても良いが、通常は、動作情報に係る動作を小さくするだけでも十分である。但し、動作を小さくすることによって、動作の意味情報が変わらないように留意する必要がある。

例えば、図１１を再度参照して、先に説明したように、通信先のユーザが顔を８度前傾した場合、第１テーブルでは、「肯定」と判断されるが、第２テーブルでは「肯定」と判断されない。この場合、修正手段３０５は、動作修正テーブル又は背景設定テーブルに基づいて、通信先のユーザの動作情報を、先の説明では、１２度前傾させるように修正を行なった。一方、この１２度の前傾を、例えば、単純に３０％小さくしてしまうと、９度の前傾となり、再び第２地点で「肯定」と判断できなくなってしまう恐れがある。

このような問題を無くすため、穏やかモードで動作を小さくする際に、意味情報が変わらない範囲内で修正を行うと良い。例えば、上記図１１の例では、顔の１０度の前傾が、第２テーブルで「肯定」と判断できる下限なので、穏やかモードによる修正は、顔の前傾が１０度未満とならない範囲で行う。或いは、穏やかモードでは、単純に、第２テーブルで「肯定」と判断できる下限の値に設定するものであっても良い。

同様に、強調モードにおいても、動作を大きくすることによって、動作の意味が変わらない範囲内で修正を行うように制限を設けても良い。

＜まとめ＞
以上、本実施の形態によれば、ネットワークを介したコミュニケーションにおいて、異文化等によるコミュニケーションギャップを低減させ、遠隔地とのコミュニケーションを容易化する情報処理装置を提供することができる。

本実施の形態では、通信先の動作情報より、通信先における意味情報と、通信元における意味情報を特定し、特定した２つの意味情報が不一致となった場合に、通信先の動作情報を修正することにより、コミュニケーションギャップを低減することができる。

また、修正された動作情報と動作モードに応じて、通信先のユーザのオブジェクトを生成することにより、遠隔地とのコミュニケーションを容易化することができる。

さらに、動作モードとして、修正した動作情報に係る動作を、その動作とは異なる動作等で誇張して表現するアピールモードを有し、遠隔地とのコミュニケーションをさらに容易化することができる。

さらにまた、穏やかモード、強調モード等、複数の動作モードを選択可能とし、ビジネスシーンや、友人同士等、状況に応じて、好適な動作モードを選択可能となっている。

尚、上記構成は一例であって、本発明の範囲を限定するものではない。例えば、情報処理装置１０１は、受信側で検出、修正、生成等の各処理を行うものとして説明したが、送信側で同様の処理を行うものであっても良い。また、本発明の機能を有していない一般の機器と通信する場合等、送信、受信の両方で、同様の処理を行うものであっても良い。さらに、設定手段３０３、検出手段３０４、修正手段３０５、生成手段３０６のうちの少なくとも一部をサーバ装置１０２等に有していても良い。

図１５は、情報処理システムの機能構成の別の一例を示す図である。図１５の例では、設定手段、検出手段、修正手段をサーバ装置１０２が有している。また、情報処理装置１０１−１及び１０１−２は、サーバ装置１０２を介して通信を行うものとする。サーバ装置１０２は、情報処理装置１０１−１がある第１地点と、情報処理装置１０１−２がある第２地点の背景設定テーブルを設定し、情報処理装置１０１−１と情報処理装置１０１−２との間の双方向の動作情報の修正を行う。例えばこのように、本実施の形態は、用途や目的に応じて様々なシステム構成が可能である。

［第２の実施の形態］
図１６は、第２の実施の形態に係る情報処理装置１６００の機能構成の一例を示す図である。本実施の形態に係る情報処理装置１６００は、図３に示した第１の実施の形態に係る情報処理装置１０１の機能構成に、遅延検出手段１６０１を追加した構成となっている。さらに、検出手段３０４及び修正手段３０５の機能が一部追加されている。ここでは、第１の実施の形態に係る情報処理装置１０１との違いを中心に説明を行う。

遅延検出手段１６０１は、通信先（第１地点）と通信元（第２地点）との間の通信遅延を検出する手段で、例えば、図２の制御部２０１で動作するプログラムによって実現される。遅延検出手段１６０１は、例えば、通信先に向けてｐｉｎｇを実行し、その応答時間を測ることにより、通信遅延を測定することができる。遅延検出手段１６０１は、測定した通信遅延を修正手段３０５に出力する。

また、検出手段３０４には、通信手段３０２が取得した、通信先のユーザの動作情報に加えて、動作情報生成手段３０１によって生成された、通信元のユーザの動作情報（第２動作情報）が入力されている。検出手段３０４は、第１の実施の形態で説明した動作に加えて、図５に示す動作情報テーブルを用いて、通信先のユーザの動作情報に対応する第１動作種別、及び通信元のユーザの動作情報に対応する第２動作種別を特定する。

この時に使用する動作情報テーブルは、第１の実施の形態で説明した背景設定で設定された、通信元（第２地点）の文化的背景に応じたテーブルを使用しても良い。また、別に設定を行うものであっても良い。検出手段３０４は、特定された第１動作種別及び第２動作種別を修正手段３０５に出力する。尚、上記第１動作種別及び第２動作種別の特定を検出手段３０４が行うものとして説明したが、上記検出を行うための第２の検出手段を別に設けても良いことは言うまでもない。

修正手段３０５には、第１の実施の形態で説明した第１意味情報及び第２意味情報に加えて、上記、第１動作種別及び第２動作種別が入力されている。

ところで、検出手段３０４及び修正手段３０５等の処理には、例えば、図６の声量判定テーブルの動作情報の基準６０３等を参照すると明らかなように、ある程度の時間が必要になる。従って、修正手段３０５は、例えば、検出手段３０４からの必要な情報が届くまでの間など、所定の遅延時間をおいてから修正処理を行なっても良い。

尚、この所定の遅延時間と、通信先との通信遅延とにより、通信先とのコミュニケーションに際して、発話の衝突や沈黙が発生する場合がある。そのため、本実施の形態では、修正手段３０５は、検出手段３０４から取得した第1動作種別及び第２動作種別に基づいて、第１の実施の形態の動作情報の修正に加えて、上記所定の遅延時間及び通信遅延による遅延を補う修正を行う。

図１７は、第２の実施の形態に係る修正処理の流れを示すフローチャートである。図８に示した第１の実施の形態のフローチャートに対して、所定の遅延時間をおく（ステップS１７０４）が追加されている。さらに、本実施の形態では、上記所定の遅延時間及び通信遅延による遅延を補う遅延修正処理を並行して行う。

図１８は、第２の実施の形態に係る遅延修正処理の流れを示すフローチャートである。通信先と通信元との間で通信を開始すると（ステップＳ１８０１）、検出手段３０４は、通信手段３０２から通信先のユーザの動作情報を取得し、動作情報生成手段３０１から通信元のユーザの動作情報を取得する（ステップＳ１８０２）。検出手段３０４は、所定の動作情報テーブルを用いて、通信先のユーザの第１動作種別、及び通信元のユーザの第２動作種別を特定する（ステップＳ１８０３）。

修正手段３０５は、検出された第２動作種別に基づいて、通信元のユーザの動作が反応要求動作であるか否かを判断する（ステップＳ１８０４）。ここで、反応要求動作とは、ユーザが反応を期待する動作の変化である。

図１９は、第２の実施の形態に係る反応要求情報の一例を示す図である。例えば、図１９の要求動作ラベルＤ−１に示すように、発話中のユーザが非発話中に動作が変化した場合、そのユーザは、通信先のユーザの反応を期待していると考えられる。反応要求情報のテーブルは、このような、通信先のユーザの反応を期待する動作と、要求動作ラベルとを関連付けている。

修正手段３０５は、この反応要求情報のテーブルに基づいて、通信元のユーザの動作が反応要求動作であるか否かを判断する。修正手段３０５は、通信先のユーザの動作が、この反応要求情報のテーブルに対応する動作の変化をした場合に、反応要求動作であると判断し、要求動作ラベルを取得してステップＳ１８０５へ進む。一方、通信元のユーザの動作が反応要求動作ではないと判断した場合、遅延修正を行わずに処理を終了する。

図１８に戻って説明を続ける。ステップＳ１８０４において、通信元のユーザの動作が反応要求動作であると判断した場合、修正手段３０５は、所定の遅延時間と、通信遅延との合計の遅延時間が、予め定められた閾値以上であるか否かを判断する（ステップＳ１８０５）。ここで、合計の遅延時間が閾値以上のときは、ステップＳ１８０６へ進む。一方、合計の遅延時間が閾値未満であれば、修正を行わずに処理を終了する。

ステップＳ１８０５において、合計の遅延時間が閾値以上であった場合、修正手段３０５は、検出された第１動作種別に基づいて、通信先のユーザの動作が修正可能か否かを判断する（ステップＳ１８０６）。

図２０は、第２の実施の形態に係る修正可否情報の一例を示す図である。修正可否情報のテーブルは、検出手段３０４で検出された動作種別と、修正の可否とを関連付けている。修正手段３０５は、この修正可否情報のテーブルに基づいて、通信先のユーザの動作が修正可能か否かを判断し、修正可能な場合には、ステップＳ１８０７へ進む。一方、修正可能でない場合には、修正を行わずに処理を終了する。

図１８のステップＳ１８０７では、通信先のユーザの動作情報に追加の修正を行う。修正手段３０５は、例えば、図７のステップＳ１７０６で修正された動作情報に対して、上記追加の修正を行う。

図２１は、第２の実施の形態に係る遅延修正情報の一例を示す図である。遅延修正情報のテーブルは、要求動作ラベルと修正動作を関連付けている。この要求動作ラベルは、図１９の反応要求情報のテーブルの要求動作ラベルに対応している。従って、ステップＳ１８０４において、通信元のユーザの動作が反応要求動作であると判断した場合、修正手段３０５は、図１９の反応要求情報のテーブルから、ユーザの動作変化に対応する要求動作ラベルを取得する。そして、修正手段３０５は、ステップＳ１８０７において、取得した要求動作ラベルに対応する修正内容を、図２１の遅延修正情報のテーブルから判断し、生成手段３０６に出力する動作情報に追加の修正を行う。

尚、上記遅延時間を補うための補正を修正手段３０５が行うものとして説明したが、上記追加の修正を行うための第２の修正手段を別に設けても良い。

＜まとめ＞
以上、本実施の形態によれば、修正手段３０５が修正の前に所定の遅延をおくことにより、十分な情報を得てから動作を修正することができるので、より適切な動作修正を行うことができる。

また、上記所定の遅延及び通信遅延が発生している間、反応要求動作に対して、通信先のユーザの動作を補う補正を行うことによって、衝突や沈黙等のコミュニケーションへの影響を低減することができる。

＜総括＞
以上、上記各実施の形態によれば、情報処理装置は、アバター等のユーザのオブジェクトを利用した遠隔会議において、ユーザの動作等の非言語コミュニケーションに関する動作情報を受信後又は送信前に、どのような意味があるのかを判定する。また、その判定された意味が通信相手に伝わり易いように、ユーザのオブジェクトの動作を修正する。

さらに、情報処理装置は、ユーザのオブジェクトの動作を修正する際に、実際の人間の動作では表現できないような、デフォルメ等により、誇張して修正を行うアピールモード有し、遠隔会議におけるコミュニケーションをさらに容易化することができる。

１００ 情報処理システム
１０１、１６００ 情報処理装置
３０１ 動作情報生成手段
３０２ 通信手段
３０４ 検出手段
３０５ 修正手段
３０６ 生成手段
３０７ 記憶手段

特開平１１−２２４１５２号公報 特開２０１０−２４６０８５号公報

Claims (10)

1. 第１地点の情報処理装置との間で通信を行う第２地点の情報処理装置であって、
   前記第１地点の情報処理装置のユーザの第１動作情報を取得する手段と、
   前記第１地点における前記第１動作情報の意味を示す第１意味情報、及び前記第２地点における前記第１動作情報の意味を示す第２意味情報を特定する手段と、
   前記第１意味情報と前記第２意味情報との差異に基づいて、前記第１動作情報が前記第２地点において前記第１意味情報を示すように、前記第１動作情報を修正する手段と、
   修正された前記第１動作情報に基づいて、前記第１地点の情報処理装置のユーザのオブジェクトを生成する手段と、
   を有する情報処理装置。
2. 前記修正された前記第１動作情報に係る動作とは異なる動作で、前記オブジェクトの動作を誇張して表現する動作モードを有する請求項１に記載の情報処理装置。
3. 前記誇張して表現する動作モードは、前記第１地点の情報処理装置のユーザ又は前記第２地点の情報処理装置のユーザの音声レベルに基づいて、前記オブジェクトの大きさ、色、形状及び透明度のうちの少なくとも一つを変化させる請求項２に記載の情報処理装置。
4. 前記修正された前記第１動作情報に係る動作を、強調及び／又は抑制して前記オブジェクトを生成する一又は複数の動作モードを有する請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記修正された前記第１動作情報に対応する複数の修正内容を有し、前記複数の修正内容の中からランダムに、又は予め定められた確率で一の修正内容を選択する請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記第１地点の情報処理装置から前記第１地点に係る情報を取得し、取得した情報に基づいて前記第１意味情報を特定する請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記第１動作情報を修正する手段は、所定の遅延時間をおいて前記修正を行う請求項１乃至６のいずれか一項に記載の情報処理装置。
8. 前記第２地点の情報処理装置のユーザの第２動作情報を取得する手段と、
   前記第１動作情報に基づいて前記第１地点の情報処理装置のユーザの第１動作種別を特定すると共に、前記第２動作情報に基づいて前記第２地点の情報処理装置のユーザの第２動作種別を特定する手段と、
   前記第１地点の情報処理装置と前記第２地点の情報処理装置との間の通信遅延を検出する手段と、
   前記所定の遅延時間及び前記通信遅延による遅延時間と、前記第１動作種別と、前記第２動作種別と、に応じて、前記修正された前記第１動作情報を修正する手段と、
   を有する請求項７に記載の情報処理装置。
9. 第１地点の情報処理装置と第２地点の情報処理装置との間で通信を行うための情報処理システムであって、
   前記第１地点の情報処理装置のユーザの第１動作情報を取得する手段と、
   前記第１地点における前記第１動作情報の意味を示す第１意味情報、及び前記第２地点における前記第１動作情報の意味を示す第２意味情報を特定する手段と、
   前記第１意味情報と前記第２意味情報との差異に基づいて、前記第１動作情報が前記第２地点において前記第１意味情報を示すように、前記第１動作情報を修正する手段と、
   前記修正された第１動作情報に基づいて、前記第１地点の情報処理装置のユーザのオブジェクトを生成する手段と、
   を有する情報処理システム。
10. コンピュータに、
    第１地点の情報処理装置と第２地点の情報処理装置との間で通信を開始するステップと、
    前記第１地点の情報処理装置のユーザの第１動作情報を取得するステップと、
    前記第１地点における前記第１動作情報の意味を示す第１意味情報、及び前記第２地点における前記第１動作情報の意味を示す第２意味情報を特定するステップと、
    前記第１意味情報と前記第２意味情報との差異に基づいて、前記第１動作情報が前記第２地点において前記第１意味情報を示すように前記第１動作情報を修正するステップと、
    修正された前記第１動作情報に基づいて、前記第１地点の情報処理装置のユーザのオブジェクトを生成するステップと、
    を実行させるためのプログラム。

Images