JP2018050161A - コミュニケーションシステム - Google Patents

Abstract

【課題】利用者相互の情報に基づいてコミュニケーション支援を行うことができ、直接情報を開示しないで相互に情報交換を行え、プライバシーの保護に資する、コミュニケーションシステムを提供する【解決手段】複数の利用者の情報交換作業をサポートするコミュニケーションシステムは、音声発信取得手段及び画像表示取得手段を有し、利用状態情報を取得することができ、各端末相互に情報交換可能な通信手段を備えた端末と、利用者情報が格納され、上記端末に連結されたデータベースと、データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段と、を具備し、端末は、利用者状態情報及び利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する。【選択図】図１

Description

本発明は、互いに離隔された位置にいる複数の利用者間におけるコミュニケーションを補助するコミュニケーションシステムに関する。

近年、高齢化社会化における高齢者とその家族、又は共働きの核家族における親子のコミュニケーションを如何にして円滑にとるかという問題が指摘されている。この問題を解消するためにＩＴを活用したシステムが活用されており、例えば特許文献１には、相手に自分の存在を提示する度合いの調整を行うことが可能なように、第１拠点に配置されたテレビ会議端末および第２拠点に配置されたテレビ会議端末との間で通信ネットワークを経由したコミュニケーションを補助するコミュニケーション補助装置であって、第１拠点には、推定された第２拠点の状況を表す第２拠点状況情報を受信する無線通信部と、第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出部と、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点にいる第２参加者の意思量を算出する意思量算出部と、意思量に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力部とを備えるコミュニケーション補助装置が提案されている。
また、特許文献２には、ロボットを使って近親者と単身の高齢者とのコミュニケーションを支援するシステムとして、高齢者の発話に対して近親者からの返答が所定時間無いとき、コンピュータの音声編集手段は、会話知識データベースを参照して、高齢者の発話から抽出されたキーワードに対応する近親者の発話データを取得し、その発話データを用いて、近親者の発話を伝達する形式の合成音声を編集し、その音声はロボットから発話され、近親者が高齢者と直接対応を始めた場合でも、途中で、ロボットに代わって貰うことがでる、コミュニケーション支援システムが提案されている。

特開２０１５−２２０５３４号公報 特開２０１５−１８４５９７号公報

しかしながら、従来提案されているコミュニケーション支援システムでは、少なくともいずれか一方の利用者にコミュニケーションをとろうという積極的な意思があって初めてシステムが機能するものであるため積極的な利用意志がなくてもコミュニケーションを負った方がいい場合に情報伝達が行われないという問題があった。また、両利用者の現在の状態など種々情報を相手側にそのまま開示するため、プライバシーの保護が不完全であるという問題もあった。

したがって、本発明の目的は、直接コミュニケーションをとる意思を持っていない場合でも利用者相互の情報に基づいてコミュニケーション支援を行うことができ、また、直接情報を開示しないで相互に情報交換を行うことができ、プライバシーの保護に資する、コミュニケーションシステムを提供することにある。

本発明は以下の各発明を提供するものである。
１．複数の利用者の情報交換作業をサポートするコミュニケーションシステムであって、
各利用者が利用する複数の端末であって、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備えた端末と、
利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、
データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段と、
を具備し、
上記端末は、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する
コミュニケーションシステム。
２．上記端末は、画像表示手段、該端末自体の存在位置を適宜変更する移動手段及び端末の形を所望の形態に変形する変形手段を備える１記載のコミュニケーションシステム。

本発明のコミュニケーションシステムは、直接コミュニケーションをとる意思を持っていない場合でも利用者相互の情報に基づいてコミュニケーション支援を行うことができ、また、直接情報を開示しないで相互に情報交換を行うことができ、プライバシーの保護に資するものである。

図１は、本発明の１実施形態としてのコミュニケーションシステムを模式的に示す概要図である。 図２は、図１に示す端末の拡大図である。 図３は、ロボットシステムとセンサノードから構成される全体システムのためのサーバー構成の１例を示すシステム構成図である。 図４はカメラで取得した画像の処理に関するフローと音声対話を行う場合のフローを示すフローシートである。 図５は、会話システムを構成する場合に基本構造図である。 図６は、端末の対話システムの対話モードを示すフロー図である。 図７は、時間依存発話の種類を示すチャートである。 図８は、マルチなロボットシステム（端末）によるコミュニケーションをとる場合のフローを示す図である。 図９は、タッチインターフェースのバリエーションを示す図である。 図１０は、インターフェースにおける情動モデルに基づく感情表出のバリエーションを示す図である。 図１１は、情報の種類と構造を示す図である。 図１２は、人間行動計測に関する情報をピラミッド構造において示す図である。

１ 、１０ 、２０、３０ 、４０

以下、本発明の実施形態を、図面を参照して説明する。
図１に示すように、本実施形態のコミュニケーションシステム１は、スマートデバイス１２（図２参照）とスマートデバイスに連結されたロボットシステム１４（図２参照）とからなる複数の端末１０と、サーバー２０とからなる。
端末１０は、図１に示すように、各利用者が利用するものであり、利用者ごとに保有し利用するため、システム上複数存在する。また、端末は、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備える。さらに、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する。
また、サーバー２０は、利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段とを具備する。
スマートデバイスは、通信機能、画像取得機能、画像表示機能、音声取得機能、音声発信機能を有し、中央演算装置（ＣＰＵ）、処理のためのデータやプログラムを一時的に保存してＣＰＵで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する通信機器であれば、特に制限なく用いることができる。
以下、さらに詳細に説明する。

＜端末＞
端末１０は、図２に示すように、人に見立てた構造となっており、胴体部分と、腕部分と、頭部分とを有するロボットシステム１４を有し、この頭部分に、画像取得機能、画像表示機能、音声取得機能、音声発信機能を有し、中央演算装置（ＣＰＵ）、処理のためのデータやプログラムを一時的に保存してＣＰＵで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する（図示せず）通信機器である、スマートデバイス１２を装着し、このスマートデバイス１２によって顔部分を形成している。また、スマートデバイスには、画像表示のためのモニター、画像取得のためのカメラ、音声取得のためのマイク、音声出力のためのスピーカーを備えている。
（スマートデバイス）
スマートデバイス１２は、人型に形成された端末の頭脳を構成する部材であり、上記音声発信取得手段、上記画像表示取得手段、上記通信手段は、いずれもこのスマートデバイスの上記記録媒体に隠されたアプリによって機能する。スマートデバイスには元々マイクやカメラ、加速度センサなどの多種のセンサが備わっており、これらをロボットの音声認識や画像処理、姿勢制御などに利用することでロボットへのセンサなどの搭載を不要にしている。また、Wi-Fiや無線WANなどの通信システムを利用して、様々な形態の通信を行うことができる。さらに、ロボットの制御のためのアプリケーションをスマートフォンにインストールすることで、ロボットシステムのソフトウェアのメンテナンスを容易にする。
スマートデバイスには、ジャイロ、加速度計、タッチインタフェース、カメラ、マイクなどの各種センサが搭載されている。その内部センサを用いて多くの情報を得ることができるので、ロボットの胴体はジェスチャの制御のためのサーボモータや本体だけで十分であり、コスト削減にも繋がる。自由度の可動部の制御は、Bluetooth（登録商標）通信によってスマートフォンから行われる。
（音声発信取得手段）
音声発信取得手段は、スマートデバイスに設けられたマイク、スピーカーを介して、外部音声を取得すると共に、ＣＰＵにより生成した音声を発する手段である。具体的には、取得した外部音声を、ＣＰＵであらかじめ記録媒体に記録されたアプリケーションに従って処理し、データベースと照合することによって意味内容を把握して、把握した内容を次の処理に回す。そして、把握した内容に応じて他の手段により何らかの動作を行う。この端末の行う動作にはいくつかあり、その一つが、端末がスピーカーから音声又は音を発することであり、この音声発信取得手段により達成される。
（画像表示取得手段）
画像表示取得手段は、スマートデバイスに設けられたカメラ、モニターを介して、外部画像を取得すると共に、ＣＰＵにより生成した画像を表示する手段である。具体的には、取得した画像を、ＣＰＵであらかじめ記録媒体に記録されたアプリケーションに従って処理し、データベースと照合することによって意味内容を把握して、把握した内容を次の処理に回す。そして、把握した内容に応じて他の手段により何らかの動作を行う。この端末の行う動作にはいくつかあり、その一つが、端末がモニターに所定の画像を表示する事であり、この画像表示取得手段により達成される。

（通信手段）
通信手段は、スマートデバイスに設けられた通信機材により電波による通信を行うことからなる手段である。通信機材としては、ＷＩＦＩ（登録商標）機器、ジグビー（登録商標）等を用いることができる。
（情報交換手段）
情報交換手段は、上記通信手段を介してサーバーにアクセスしてサーバー上のデータベースに格納された利用者情報を取得し、また音声発信取得手段及び画像表示取得手段により取得した利用者の利用時における情報である利用者状態情報と取得する。そして、取得した利用者情報と利用者状態情報とを照合して、利用者に対して伝えるべき情報をデータベースから抽出し、利用者と情報交換を行う。
また、通信手段を介して、他の端末からの他の利用者状態情報を取得し、この情報をデータベースと照合して他の利用者の情報に基づいて、利用者に提示するべき情報を提供することで情報交換をも行う。

（ロボットシステム）
ロボットシステム１４は、胴体部分１６と、腕部分１８とを具備し、スマートデバイスを設置するための頭部構成部（図示せず）も具備する。また、胴体部分の下面には車輪などの移動手段が設けられており（図示せず）、任意の場所に移動することが可能である。このようなロボットシステムは、公知の装置構成を採用して作成することができ、各種アクチュエーター装置を用いて腕部分や移動手段等を構成することができる。
また。各部材はそれぞれスマートデバイスに配線などを介して連結されており、ＣＰＵからの指示に従って腕や胴体を動かすことができるように構成されている。
ロボットシステム１４としては、iPhonoidやiPadrone（登録商標）などの卓上型ロボットシステム（情報支援用据え置き型））、シニアカー（搭乗型移動ロボット）、コンシェルジュロボット（案内型移動ロボット）、ペットロボット（多足型移動ロボットなど）等種々形態のものを用いることができる。
ロボットシステム１４には、環境状態計測、人間状態計測（C4）、ロボットの行動モード・制御コマンド、ジェスチャによるノンバーバルコミュニケーション、ロボットの遠隔操作、行動モデル、ロボットハードウェアへのBluetooth通信などの機能を持たせることができる。
また、スマートデバイス１２とロボットシステム１４とからなる端末には、Sun SPOT、センサータグ、Kinect（登録商標）センサ（3次元測域センサ、赤外線）、レーザーレンジファインダ（2次元測域センサ）、Bluetooth（登録商標）等の各種センサーを装備することができ、これらのセンサーにより、上記の音声発信取得手段、画像表示取得手段及び情報交換手段を構成する。

＜サーバー＞
サーバー２０は、利用者に関する所定の利用者情報が格納され、端末に連結されたデータベースと、データベースにアクセスして利用者の情報を取得すると共に端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段とを具備するものである。装置構成としては従来公知のサーバーとかわるものではなく、中央演算装置（ＣＰＵ）、処理のためのデータやプログラムを一時的に保存してＣＰＵで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する（図示せず）コンピュータにより構成され、更に通信機能を有する。

＜プログラム構成＞
上述の各手段を構成するプログラム構成は、機能として、計測（Measument; M）、コミュニケーション手段（Communication; C）、意思決定方法と内部情報処理（Decision Making and Internal Information Processing; D）、通信と情報アクセス（Network and Information Access; N）、サーバー（Informationally Structured Space; I）ロボットシステム（Robot Partners; R）、センサノード（Sensor Nodes; S）を有する。また、物理層（Physical Layer）、ミドルウェア層（Driver Layer）、アルゴリズム層（Algorithm Layer）、アプリケーション層（Application Layer）の各層により構成される。

＜使用態様及び作用＞
スマートデバイスとサーバー（サーバーサーバー）を用いることで、データベースへのアクセス、ライフログ収集、ライフログ解析、ペルソナ分析、嗜好情報抽出・個人情報分析、人間関係推定、情報推薦などの機能を実施できる。
また、音声発信取得手段及び画像表示取得手段により屋内の情報を、オフラインの状況であったとしても収集できる。
例えば、高齢者の見守りを対象とした計算論的システムケアでは、システム論的な観点から機能間の関係性を明確にしつつ、計算論的な観点から方法論を明確にすることにより、見守りに関する体系化を行うことを目的とする。左からボトムアップ的に、またトップダウン的に階層構造を考える。
計測から特徴抽出などでは、データマイニングや学習などが中心的な方法論であり、ペルソナ分析や情報推薦では、推論や探索が中心的な方法論となる。日々の見守りでは、生活スタイルのモデリングが重要であり、モデル化された生活スタイルを参照することができれば異常検出の推論を行うことが容易になる。

次に、本発明のシステムの使用態様について説明する。
まず、スマートデバイスに電源を投入する。電源投入時は、（１-１）未初期化の場合、「初期化」を行う。（１-２）初期化済みの場合、スマートデバイス内設定データファイルを読み込む。（１-３）サーバー、ロボットシステムにアクセスして、利用可能か確認する。（１-４）その際、必要なデバイスの電源が投入されていない場合、音声発話と画面表示により、電源投入を促す。（１-５）しばらく経っても、必要なデバイスの電源が投入されていない場合、未接続のまま、メインルーチンに移行する。（１-６）サーバーが利用可能な場合、スマートデバイスに関する各種設定データをダウンロードする。
サーバーのデータベースサーバの電源投入時は、（２-１）未初期化の場合、初期化を行う。（２-２）初期化済みの場合、サーバＩＰアドレスをＵＤＰ通信にて、送信開始し、ＴＣＰ/ＩＰ通信、もしくは、ＳＱＬによる通信を開始する。（２-３）スマートデバイス、ロボットシステムがサーバＩＰアドレスを受信できれば、ＴＣＰ/ＩＰ通信などでアクセスされるため、利用可能と確認できる。接続時には必ず、接続認証を行う。（２-４）必要なデバイスの電源が投入されていない場合、接続スタンバイの状態を維持する。
ロボットシステムの電源投入時は、（３-１）未初期化の場合、初期化を行う。（３-２）初期化済みの場合、スマートデバイス、サーバーにアクセスして、利用可能か確認する。（３-３）その際、必要なデバイスの電源が投入されていない場合、接続スタンバイの状態を維持する。 （３-４）サーバーが利用可能であれば、サーバーから設定を読み込み、制御コマンドに従い、稼働開始する。（３-５）サーバーが利用不可能な場合、サーバーに接続スタンバイのまま、スマートデバイスとBluetooth通信による制御コマンドに従い、稼働開始する。ここで、サーバーに接続可能になれば、（３-４）に移行する。
端末に電源投入時は、端末に搭載された各種センサー（センサーノード）に対して（４-１）未初期化の場合、初期化を行う。（４-２）初期化済みの場合、サーバーにアクセスして、利用可能か確認する。（４-３）その際、サーバーデータベースサーバの電源が投入されていない場合、接続スタンバイの状態を維持しつつ、データ計測モードに移行する。計測データの保存方法については、バッファの許す限り、first-in、first-outで、直近のデータを優先的に保持する。（４-４）サーバーデータベースサーバの電源が投入されている場合、サーバーに保存されているセンサノードの設定に基づき、サンプリング間隔、データ転送方法（データの種類とデータ長）にあわせて、データ計測を行い、逐次、転送開始する。

＜作用＞
図３を参照して本発明のシステムの作用について説明する。
（１）スマートデバイス
（１-１）アドレス帳から、ユーザの氏名、ユーザ住所、ユーザ電話番号、ユーザe-mailなどを呼び出し、登録する。（１-２）次に、緊急連絡先を、アドレス帳から選択してもらい、緊急連絡先氏名、緊急電話番号、緊急e-mailを登録する。（１-３）次に、位置情報へのアクセス、誕生日などの個人情報、webのブックマーク、メモ帳、e-mail、カレンダ、音楽などのコンテンツへのアクセスに関する許可をもらう。
（２）サーバー
（２-１）まず、連携するスマートデバイスの登録を行う。（２-２）ここで、サーバーデータベースがスマートデバイス内であれば、そのまま、スマートデバイスで登録済みの情報を引用する。（２-３）外部PCのデータベースサーバであれば、TCP/IP通信、もしくは、SQLによるサーバを開始する。その際、スマートデバイスからアクセスがあれば、ユーザから承認をもらった上で、スマートデバイスに登録済みの情報を引用する。
（３）ロボットシステム
（３-１）ロボットシステムの登録を行う。ロボットは、最初にUDP通信をサーバーのサーバIPを受け取り、接続する。
（４）センサノード
（４-１）センサノードの登録を行う。ロボットは、最初にUDP通信をサーバーのサーバIPを受け取り、接続する。位置に関するタグ付けなどを行い（初期Localization）、サーバーデータベースサーバに転送する。
個人情報をサーバなどに引用する場合は、ユーザからの承認をもらう。

メインルーチンでは、アイドリング状態からはじめ、人間検出がなされた後、コミュニケーションモードに移行する。アイドリング状態では、以下の動作を行う。
・ カメラ画像による差分抽出（移動物体検出から、人間検出、コミュニケーションモードへ）
・ タッチインタフェースに基づく割り込み（コミュニケーションモードへ）
・ 音声入力による割り込み（音声認識へ）
・ その他のセンサによる割り込み（高齢者のタスクに関するイベントドリブン処理）
などで、人間の動作検出などを行う。
一定時間、イベントが発生しない場合は、スリープモードに移行して、上記のサンプリング間隔を長めに変更するとともに、ロボットハードウェアをスリープモードに移行させる。スリープモードへの移行にともない、「顔の表情」を寝ている表情に移行させる。
スマートデバイス内でのカメラ画像処理と音声対話に関する処理の流れを図４に示す。

電源を切る場合の処理について以下に説明する。
（１）スマートデバイス
（１-１）スマートデバイスの電源オフ時（アプリケーション終了時）には、サーバーに接続オフ情報を転送し、終了時刻などを含む各種情報を転送する。（１-２）サーバーに接続されていない場合は、スマートデバイス内設定データファイルに、終了時刻などを含む各種情報を保存する。
（２）サーバー
（２-１）サーバーデータベースサーバの電源オフ時（アプリケーション終了時）には、スマートデバイスに接続オフ情報を転送し、終了時刻などを含む各種情報を転送する。（２-２）スマートデバイスに接続されていない場合は、サーバーデータベース内設定データファイルに、終了時刻などを含む各種情報を保存する。

本発明のシステムにより各種サービスを行うためには、サービスに適したコミュニケーション機能をロボットシステムに実装する必要がある。コミュニケーション自体は、大きくバーバルコミュニケーション、ノンバーバルコミュニケーション、直接制御、遠隔操作などに分類でき、また、コミュニケーションの形態として、1対1、1対多、多対1、多対多に分類できる。自然なコミュニケーションを行うためには、人間の身振りや行動の認識を行う必要がある。
ここでは、先述の計測（Measument; M）、コミュニケーション手段（Communication; C）、意思決定方法と内部情報処理（Decision Making and Internal Information Processing; D）、通信と情報アクセス（Network and Information Access; N）、サーバー（Informationally Structured Space; I）ロボットシステム（Robot Partner; R）、センサーノード（Sensor Nodes; S）に分類して検討する。
（M1）スマートデバイスの状態推定
加速度センサとGPSの計測データを用いて、スマートデバイスが、（１）机の上に置かれている、（２）ポケット、あるいは、カバンの中に入れている、（３）ロボットシステムに取り付けられている、（４）歩行中である、（５）自転車に乗っている、（６）バスや車での移動中である、（７）電車に乗っている、（８）その他（不定）に分類する。
（M2）人間の状態推定
人間検出を行うために、時系列画像データに対し、逐次的に探索を行うことができる進化的ロボットビジョンを適用する。進化的ロボットビジョンは、進化的計算を用いた方法論であり、複数の解候補から構成される解集合（個体群と呼ぶ）に対し、交叉や突然変異などの遺伝的操作を行うことにより、新しい解候補を生成する。次に、選択により、次世代の解集合を構成する。解候補は、多角形テンプレートを用いて、中心座標、中心から各点への距離、各角に対する角度を変数として与え、人間の肌に対応する肌色と髪の毛の領域に相当する黒色（グレイ）の画素数を用いて、探索を行う。これらを繰り返すことにより、人間領域を特定する。人間検出の前処理として、差分抽出を用いて、変化が大きい領域を中心に探索を行う。
次に、スパイキングニューラルネットワークを用いた行動推定手法について説明する。人間の基本動作を、特徴的行為分節として扱い、基本点な動作に対応付ける。基本的には、人間の手の動作の抽出や身体全体の移動の抽出の他、人の接近、遠ざかりなどの検出があり、その他にカメラ画像上の占有領域など（上、中、下）などを人間の動作として推定する。また、これらの状態から、人間の行動を推定する。
スマートデバイス上で人間識別を行うのは、困難であるため、最低限の仕様を満たす程度で、できるだけ簡単なアルゴリズムとして、実装すべきである。
顔認証に使用する特徴量としてLBP-Histogram法を採用する。撮影画像から検出した顔情報よりLBP（Local Binary Pattern）の算出を行い、ヒストグラムを作成する。得られたヒストグラムに対し、PCA（主成分分析）を適用し、得られた主成分を特徴量とする。本手法では生体特徴量として80ビットの識別子を作成する。具体的には、まず、テンプレートとしてランダムに80ペア（A郡、B郡）の顔を用意し、登録する顔がＡ群の顔に擬似する場合は1、Ｂ群の顔に擬似する場合は0として80ビット分のバイナリデータを作成する、これを個人の識別コードとする。
音声認識と音声合成は、オープンソース、もしくは、市販されているライブラリを利用する。例えば、商業用にフリーで利用可能なライブラリとして、NTT DoCoMo Developer Support（商品名）などがある。

対話システムは、大きく分けて、（１）タスク指向型対話システムと（２）非タスク指向型対話システムに分類される。（１）タスク指向型対話システムは、情報支援や案内など、タスクの目的に沿った会話の実現を目的とする。一方、（２）非タスク指向型対話システムは、日常生活のストレスなどを軽減し、癒しや楽しみをもたらし、高齢者の話し相手などを対象とした雑談などのような会話である。さらに、非タスク指向型対話は、（A）話し上手フェーズと、（B）聞き上手フェーズに分類して考える。（A）話し上手フェーズは、ロボットが積極的に発話を行い、情報支援などを行う。（B）聞き上手フェーズは、うなずきなどを伴いながら、高齢者に積極的に、昔話や趣味などの内容を話してもらう。
図５に、会話システムの基本構造を示す。ロボット自身の発話の流れと、高齢者からの発話の認識結果を利用することにより、次の発話内容を選択する。

ここでは、会話モードを図５のように非タスク指向型対話システムとして、（１）日常会話モード、（２）コンテンツ会話モード、タスク指向型対話システムとして、（３）情報支援会話モード、（４）シナリオ会話モードの合計4種類に分類して詳細の方法論を検討する。日常会話は、日々のライフログから抽出された生活スタイルに基づく会話である。コンテンツ会話はカレンダやメールなどのスマートデバイス内の情報を利用した発話である。予定のリマインダなども兼ねているため、情報支援会話とも一部重複する。情報支援会話モードでは、ニュースや天気予報に基づく発話の他、スケジュール管理、高齢者の興味のあるトピックに関する情報収集などを行う。シナリオ会話モードでは、話し上手フェーズのように、多くの情報を高齢者に対話形式で提供する。シナリオ会話モードでは、ある目的にあわせた会話パッケージが用意され、「健康づくり支援会話パッケージ」や「見守り会話パッケージ」、「外出支援会話パッケージ」（図６）などがある。
（１）日常会話モード： 日常会話モードは、挨拶、口癖、独り言、反射的な発話（間投詞）の他に、共感発話などがある。特に、共感発話は、聞き上手フェーズとして、高齢者の見守りなどには、重要である。
共感とは、１．他人の考え行動に、全くそのとおりだと感ずること。同感。
２．〔 sympathy 〕他人の体験する感情を自分のもののように感じとること。
３．〔 empathy 〕感情移入
（２）コンテンツ会話モード： コンテンツ会話モードは、個人情報の他、カレンダ、e-mail、メモ帳などのスマートデバイス内の情報を用いて、発話を行う。
（３）情報支援会話モード： 情報支援を目的とした会話には、
（３-１）日常情報支援：天気、ニュース、地域コミュニティのイベント情報などのお知らせ、
（３-２）注意支援：閉め忘れなどの注意喚起、
（３-３）情報収集支援：趣味や娯楽情報の収集と検索情報支援
などがある。
（４）シナリオ会話モード： 健康づくり支援や、脳トレのような認知症予防会話、趣味や嗜好に関する豆知識、読み聞かせシナリオ、クイズなどがある。

発話の方法には、ランダム発話、イベントドリブン発話、時間依存発話がある。ランダム発話は、長期的な沈黙が続かないようにランダムに発話を行う手段である。主に日常会話モードやコンテンツ会話モードと連動して選択される。また、イベントドリブン発話はタッチインタフェースや内部センサの閾値処理など、センサなどに関するイベントが発生した際に行う会話である。
時間依存発話は図７に示すように、大きく分けると、当該時間に発話するアラーム型、当該時間前後に発話する左右対象型（図７(a)）、当該時間以前に発話する左サイド型（図７(b)）、当該時間以降に発話右サイド型（図７(c)）の4種類である。この分布に基づいて発話内容ごとに時間依存発話確率を求めて確率の高いものを発話する。時間依存発話確率Ｐは、前回発話した時間をｒ_ｔとすると、シグモイド関数を用いて、

となる。数式(3)におけるａは時間依存発話用係数であり、現在時刻、時間依存発話する時間、時間依存発話分布のグラフの幅から

と表される。

端末は、複数のセンサを持つセンサノードであり、人間とのコミュニケーションを行うためのアクションユニットでもある。個々のロボットの動作や発話を、サーバーを通して、集中管理的に制御することができる（図８）。つまり、ロボットシステム間のコミュニケーションは、個々のロボットシステムが思考し、発話するのでは無く、1つの演劇のように、集中管理的なシナリオ会話を実現する。

本発明のシステムは、顔を模倣したタッチインタフェースを実装している（図９）。基本的に、顔の各パーツは、何らかの機能を実装することができる。また、通常は、情動モデルに基づき、喜怒哀楽の表情を演出する（図１０）。

音声認識などの不備により、コミュケーションが繋がらない場合がある。その際、エラーリカバリーを行う必要がある。ここでは、大きく分けて、（１）コミュニケーション場の選択機能、（２）話題変更機能、（３）間投詞発話機能、（４）視線配布機能、（５）停止機能を考える。
（１）コミュニケーション場の選択機能
カメラなどと異なり、ロボットシステムによるコミュニケーションは、コミュニケーションに必要とされる場を創り上げることができる点である。例えば、画像処理の場合、ロボットシステムが、「顔が見えにくい。こっちに来て」と発話して、人間を認識しやすい背景画像を選択することができる。また、複数の人が話しかけてくる場合、「静かにして」、「一人ずつしゃべってよ」などと発話することにより、一人の発話に集中することができる。人間のようなコミュニケーションを行う機能である。
（２）話題変更機能
音声認識結果がうまくできない場合、また、音声認識結果が、前の文脈と大きく異なる場合、話題を変更することにより、主導権をとって、コミュニケーションを進めることができる。
（３）間投詞発話機能
話題を変えたいときには、「あのー」「えーと」などの間投詞を入れて、フィラー化を行う。また、音声を取り込み後、音声認識中は、空白の時間となり、待ち時間が入るため、その際、間投詞を入れて、「間」を繋ぐ。
（４）視線配布機能
人間は、コミュニケーションを取る際、相手の顔をずっと凝視し続けているわけで無く、適度に視線をそらす。このようなノンバーバルコミュニケーションにおける行為を視線配布という。視線配布を適度に入れることにより、人間のようなコミュニケーションを実現することができる。
（５）コミュニケーションのための動作停止機能
画面をタッチしようとした場合など、人間の手が、ロボットに近づくため、接触事故などを防ぐために、パンチルト機構やジェスチャを停止する機能が必要である。

UDP/IP通信によるブロードキャスト的な通信とTCP/IP通信による個別のデータ転送の2種類の通信を併用することにより、ロボット、センサ、サーバーサーバ間の通信を実現する。
環境に取り付けられたセンサから計測される膨大なデータやロボットの計測データの他、人間との相互作用の状態など、その環境内の利用可能な情報をデータベースサーバに集約することができる。ここで、このような膨大なデータから、情報抽出、情報解析、情報変換、情報の蓄積、情報転送などを容易に行うためには、情報の構造化が必要となり、これらの情報はサーバーに格納されている。
サーバーの性質として、（１）情報の共有性、（２）人間との親和性、（３）情報変換の可逆性、（４）システムの汎用性に基づき設計される。
情報は、大きく、（１）人間に関する情報（human information、または、personal information）、（２）環境に関する情報（environmental information）、（３）インターネット上の情報（Intenert information）にわけることができる（図１１）。また、人間の行動計測に関する情報の種類とその階層構造を図１２に示す。

＜使用例、作用効果＞
本発明のシステムは、図１に示すように互いに離隔された２以上の利用者の基に端末を設置し、各利用者の状態を計測し、判定して、利用者のコミュニケーションの仲介を行うため、少ない情報量で各利用者間のコミュニケーションを行うことが可能となる。
例えば、母親が仕事、子供が留守番している状況で、母親が仕事から１７時に帰るという情報が入ると、「そろそろお母さん帰ってくるよ、よかったね。」と端末が発することで子供に親の帰ってくる時間を教えることができる。また、２０時くらいになってかえってくる情報がはいると「お母さんかえってくるって、よく頑張ったね」という形で、コミュニケーションの隙間を埋める作業を行う。
本発明のシステムは、Ｅ−ラーニング、親子間、仕事仲間のコミュニケーションツールとして有用である。

Claims (2)

1. 複数の利用者の情報交換作業をサポートするコミュニケーションシステムであって、
   各利用者が利用する複数の端末であって、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備えた端末と、
   利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、
   データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段と、
   を具備し、
   上記端末は、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する
   コミュニケーションシステム。
   
2. 上記端末は、画像表示手段、該端末自体の存在位置を適宜変更する移動手段及び端末の形を所望の形態に変形する変形手段を備える
   請求項１記載のコミュニケーションシステム。