JP2018050161A - コミュニケーションシステム - Google Patents
コミュニケーションシステム Download PDFInfo
- Publication number
- JP2018050161A JP2018050161A JP2016184097A JP2016184097A JP2018050161A JP 2018050161 A JP2018050161 A JP 2018050161A JP 2016184097 A JP2016184097 A JP 2016184097A JP 2016184097 A JP2016184097 A JP 2016184097A JP 2018050161 A JP2018050161 A JP 2018050161A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- terminal
- communication
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
また、特許文献2には、ロボットを使って近親者と単身の高齢者とのコミュニケーションを支援するシステムとして、高齢者の発話に対して近親者からの返答が所定時間無いとき、コンピュータの音声編集手段は、会話知識データベースを参照して、高齢者の発話から抽出されたキーワードに対応する近親者の発話データを取得し、その発話データを用いて、近親者の発話を伝達する形式の合成音声を編集し、その音声はロボットから発話され、近親者が高齢者と直接対応を始めた場合でも、途中で、ロボットに代わって貰うことがでる、コミュニケーション支援システムが提案されている。
1.複数の利用者の情報交換作業をサポートするコミュニケーションシステムであって、
各利用者が利用する複数の端末であって、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備えた端末と、
利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、
データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段と、
を具備し、
上記端末は、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する
コミュニケーションシステム。
2.上記端末は、画像表示手段、該端末自体の存在位置を適宜変更する移動手段及び端末の形を所望の形態に変形する変形手段を備える1記載のコミュニケーションシステム。
図1に示すように、本実施形態のコミュニケーションシステム1は、スマートデバイス12(図2参照)とスマートデバイスに連結されたロボットシステム14(図2参照)とからなる複数の端末10と、サーバー20とからなる。
端末10は、図1に示すように、各利用者が利用するものであり、利用者ごとに保有し利用するため、システム上複数存在する。また、端末は、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備える。さらに、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する。
また、サーバー20は、利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段とを具備する。
スマートデバイスは、通信機能、画像取得機能、画像表示機能、音声取得機能、音声発信機能を有し、中央演算装置(CPU)、処理のためのデータやプログラムを一時的に保存してCPUで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する通信機器であれば、特に制限なく用いることができる。
以下、さらに詳細に説明する。
端末10は、図2に示すように、人に見立てた構造となっており、胴体部分と、腕部分と、頭部分とを有するロボットシステム14を有し、この頭部分に、画像取得機能、画像表示機能、音声取得機能、音声発信機能を有し、中央演算装置(CPU)、処理のためのデータやプログラムを一時的に保存してCPUで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する(図示せず)通信機器である、スマートデバイス12を装着し、このスマートデバイス12によって顔部分を形成している。また、スマートデバイスには、画像表示のためのモニター、画像取得のためのカメラ、音声取得のためのマイク、音声出力のためのスピーカーを備えている。
(スマートデバイス)
スマートデバイス12は、人型に形成された端末の頭脳を構成する部材であり、上記音声発信取得手段、上記画像表示取得手段、上記通信手段は、いずれもこのスマートデバイスの上記記録媒体に隠されたアプリによって機能する。スマートデバイスには元々マイクやカメラ、加速度センサなどの多種のセンサが備わっており、これらをロボットの音声認識や画像処理、姿勢制御などに利用することでロボットへのセンサなどの搭載を不要にしている。また、Wi-Fiや無線WANなどの通信システムを利用して、様々な形態の通信を行うことができる。さらに、ロボットの制御のためのアプリケーションをスマートフォンにインストールすることで、ロボットシステムのソフトウェアのメンテナンスを容易にする。
スマートデバイスには、ジャイロ、加速度計、タッチインタフェース、カメラ、マイクなどの各種センサが搭載されている。その内部センサを用いて多くの情報を得ることができるので、ロボットの胴体はジェスチャの制御のためのサーボモータや本体だけで十分であり、コスト削減にも繋がる。自由度の可動部の制御は、Bluetooth(登録商標)通信によってスマートフォンから行われる。
(音声発信取得手段)
音声発信取得手段は、スマートデバイスに設けられたマイク、スピーカーを介して、外部音声を取得すると共に、CPUにより生成した音声を発する手段である。具体的には、取得した外部音声を、CPUであらかじめ記録媒体に記録されたアプリケーションに従って処理し、データベースと照合することによって意味内容を把握して、把握した内容を次の処理に回す。そして、把握した内容に応じて他の手段により何らかの動作を行う。この端末の行う動作にはいくつかあり、その一つが、端末がスピーカーから音声又は音を発することであり、この音声発信取得手段により達成される。
(画像表示取得手段)
画像表示取得手段は、スマートデバイスに設けられたカメラ、モニターを介して、外部画像を取得すると共に、CPUにより生成した画像を表示する手段である。具体的には、取得した画像を、CPUであらかじめ記録媒体に記録されたアプリケーションに従って処理し、データベースと照合することによって意味内容を把握して、把握した内容を次の処理に回す。そして、把握した内容に応じて他の手段により何らかの動作を行う。この端末の行う動作にはいくつかあり、その一つが、端末がモニターに所定の画像を表示する事であり、この画像表示取得手段により達成される。
通信手段は、スマートデバイスに設けられた通信機材により電波による通信を行うことからなる手段である。通信機材としては、WIFI(登録商標)機器、ジグビー(登録商標)等を用いることができる。
(情報交換手段)
情報交換手段は、上記通信手段を介してサーバーにアクセスしてサーバー上のデータベースに格納された利用者情報を取得し、また音声発信取得手段及び画像表示取得手段により取得した利用者の利用時における情報である利用者状態情報と取得する。そして、取得した利用者情報と利用者状態情報とを照合して、利用者に対して伝えるべき情報をデータベースから抽出し、利用者と情報交換を行う。
また、通信手段を介して、他の端末からの他の利用者状態情報を取得し、この情報をデータベースと照合して他の利用者の情報に基づいて、利用者に提示するべき情報を提供することで情報交換をも行う。
ロボットシステム14は、胴体部分16と、腕部分18とを具備し、スマートデバイスを設置するための頭部構成部(図示せず)も具備する。また、胴体部分の下面には車輪などの移動手段が設けられており(図示せず)、任意の場所に移動することが可能である。このようなロボットシステムは、公知の装置構成を採用して作成することができ、各種アクチュエーター装置を用いて腕部分や移動手段等を構成することができる。
また。各部材はそれぞれスマートデバイスに配線などを介して連結されており、CPUからの指示に従って腕や胴体を動かすことができるように構成されている。
ロボットシステム14としては、iPhonoidやiPadrone(登録商標)などの卓上型ロボットシステム(情報支援用据え置き型))、シニアカー(搭乗型移動ロボット)、コンシェルジュロボット(案内型移動ロボット)、ペットロボット(多足型移動ロボットなど)等種々形態のものを用いることができる。
ロボットシステム14には、環境状態計測、人間状態計測(C4)、ロボットの行動モード・制御コマンド、ジェスチャによるノンバーバルコミュニケーション、ロボットの遠隔操作、行動モデル、ロボットハードウェアへのBluetooth通信などの機能を持たせることができる。
また、スマートデバイス12とロボットシステム14とからなる端末には、Sun SPOT、センサータグ、Kinect(登録商標)センサ(3次元測域センサ、赤外線)、レーザーレンジファインダ(2次元測域センサ)、Bluetooth(登録商標)等の各種センサーを装備することができ、これらのセンサーにより、上記の音声発信取得手段、画像表示取得手段及び情報交換手段を構成する。
サーバー20は、利用者に関する所定の利用者情報が格納され、端末に連結されたデータベースと、データベースにアクセスして利用者の情報を取得すると共に端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段とを具備するものである。装置構成としては従来公知のサーバーとかわるものではなく、中央演算装置(CPU)、処理のためのデータやプログラムを一時的に保存してCPUで適宜活用できるようにするメモリ、及びデータやプログラムを保存格納する記録媒体を有する(図示せず)コンピュータにより構成され、更に通信機能を有する。
上述の各手段を構成するプログラム構成は、機能として、計測(Measument; M)、コミュニケーション手段(Communication; C)、意思決定方法と内部情報処理(Decision Making and Internal Information Processing; D)、通信と情報アクセス(Network and Information Access; N)、サーバー(Informationally Structured Space; I)ロボットシステム(Robot Partners; R)、センサノード(Sensor Nodes; S)を有する。また、物理層(Physical Layer)、ミドルウェア層(Driver Layer)、アルゴリズム層(Algorithm Layer)、アプリケーション層(Application Layer)の各層により構成される。
スマートデバイスとサーバー(サーバーサーバー)を用いることで、データベースへのアクセス、ライフログ収集、ライフログ解析、ペルソナ分析、嗜好情報抽出・個人情報分析、人間関係推定、情報推薦などの機能を実施できる。
また、音声発信取得手段及び画像表示取得手段により屋内の情報を、オフラインの状況であったとしても収集できる。
例えば、高齢者の見守りを対象とした計算論的システムケアでは、システム論的な観点から機能間の関係性を明確にしつつ、計算論的な観点から方法論を明確にすることにより、見守りに関する体系化を行うことを目的とする。左からボトムアップ的に、またトップダウン的に階層構造を考える。
計測から特徴抽出などでは、データマイニングや学習などが中心的な方法論であり、ペルソナ分析や情報推薦では、推論や探索が中心的な方法論となる。日々の見守りでは、生活スタイルのモデリングが重要であり、モデル化された生活スタイルを参照することができれば異常検出の推論を行うことが容易になる。
まず、スマートデバイスに電源を投入する。電源投入時は、(1-1)未初期化の場合、「初期化」を行う。(1-2)初期化済みの場合、スマートデバイス内設定データファイルを読み込む。(1-3)サーバー、ロボットシステムにアクセスして、利用可能か確認する。(1-4)その際、必要なデバイスの電源が投入されていない場合、音声発話と画面表示により、電源投入を促す。(1-5)しばらく経っても、必要なデバイスの電源が投入されていない場合、未接続のまま、メインルーチンに移行する。(1-6)サーバーが利用可能な場合、スマートデバイスに関する各種設定データをダウンロードする。
サーバーのデータベースサーバの電源投入時は、(2-1)未初期化の場合、初期化を行う。(2-2)初期化済みの場合、サーバIPアドレスをUDP通信にて、送信開始し、TCP/IP通信、もしくは、SQLによる通信を開始する。(2-3)スマートデバイス、ロボットシステムがサーバIPアドレスを受信できれば、TCP/IP通信などでアクセスされるため、利用可能と確認できる。接続時には必ず、接続認証を行う。(2-4)必要なデバイスの電源が投入されていない場合、接続スタンバイの状態を維持する。
ロボットシステムの電源投入時は、(3-1)未初期化の場合、初期化を行う。(3-2)初期化済みの場合、スマートデバイス、サーバーにアクセスして、利用可能か確認する。(3-3)その際、必要なデバイスの電源が投入されていない場合、接続スタンバイの状態を維持する。 (3-4)サーバーが利用可能であれば、サーバーから設定を読み込み、制御コマンドに従い、稼働開始する。(3-5)サーバーが利用不可能な場合、サーバーに接続スタンバイのまま、スマートデバイスとBluetooth通信による制御コマンドに従い、稼働開始する。ここで、サーバーに接続可能になれば、(3-4)に移行する。
端末に電源投入時は、端末に搭載された各種センサー(センサーノード)に対して(4-1)未初期化の場合、初期化を行う。(4-2)初期化済みの場合、サーバーにアクセスして、利用可能か確認する。(4-3)その際、サーバーデータベースサーバの電源が投入されていない場合、接続スタンバイの状態を維持しつつ、データ計測モードに移行する。計測データの保存方法については、バッファの許す限り、first-in、first-outで、直近のデータを優先的に保持する。(4-4)サーバーデータベースサーバの電源が投入されている場合、サーバーに保存されているセンサノードの設定に基づき、サンプリング間隔、データ転送方法(データの種類とデータ長)にあわせて、データ計測を行い、逐次、転送開始する。
図3を参照して本発明のシステムの作用について説明する。
(1)スマートデバイス
(1-1)アドレス帳から、ユーザの氏名、ユーザ住所、ユーザ電話番号、ユーザe-mailなどを呼び出し、登録する。(1-2)次に、緊急連絡先を、アドレス帳から選択してもらい、緊急連絡先氏名、緊急電話番号、緊急e-mailを登録する。(1-3)次に、位置情報へのアクセス、誕生日などの個人情報、webのブックマーク、メモ帳、e-mail、カレンダ、音楽などのコンテンツへのアクセスに関する許可をもらう。
(2)サーバー
(2-1)まず、連携するスマートデバイスの登録を行う。(2-2)ここで、サーバーデータベースがスマートデバイス内であれば、そのまま、スマートデバイスで登録済みの情報を引用する。(2-3)外部PCのデータベースサーバであれば、TCP/IP通信、もしくは、SQLによるサーバを開始する。その際、スマートデバイスからアクセスがあれば、ユーザから承認をもらった上で、スマートデバイスに登録済みの情報を引用する。
(3)ロボットシステム
(3-1)ロボットシステムの登録を行う。ロボットは、最初にUDP通信をサーバーのサーバIPを受け取り、接続する。
(4)センサノード
(4-1)センサノードの登録を行う。ロボットは、最初にUDP通信をサーバーのサーバIPを受け取り、接続する。位置に関するタグ付けなどを行い(初期Localization)、サーバーデータベースサーバに転送する。
個人情報をサーバなどに引用する場合は、ユーザからの承認をもらう。
・ カメラ画像による差分抽出(移動物体検出から、人間検出、コミュニケーションモードへ)
・ タッチインタフェースに基づく割り込み(コミュニケーションモードへ)
・ 音声入力による割り込み(音声認識へ)
・ その他のセンサによる割り込み(高齢者のタスクに関するイベントドリブン処理)
などで、人間の動作検出などを行う。
一定時間、イベントが発生しない場合は、スリープモードに移行して、上記のサンプリング間隔を長めに変更するとともに、ロボットハードウェアをスリープモードに移行させる。スリープモードへの移行にともない、「顔の表情」を寝ている表情に移行させる。
スマートデバイス内でのカメラ画像処理と音声対話に関する処理の流れを図4に示す。
(1)スマートデバイス
(1-1)スマートデバイスの電源オフ時(アプリケーション終了時)には、サーバーに接続オフ情報を転送し、終了時刻などを含む各種情報を転送する。(1-2)サーバーに接続されていない場合は、スマートデバイス内設定データファイルに、終了時刻などを含む各種情報を保存する。
(2)サーバー
(2-1)サーバーデータベースサーバの電源オフ時(アプリケーション終了時)には、スマートデバイスに接続オフ情報を転送し、終了時刻などを含む各種情報を転送する。(2-2)スマートデバイスに接続されていない場合は、サーバーデータベース内設定データファイルに、終了時刻などを含む各種情報を保存する。
ここでは、先述の計測(Measument; M)、コミュニケーション手段(Communication; C)、意思決定方法と内部情報処理(Decision Making and Internal Information Processing; D)、通信と情報アクセス(Network and Information Access; N)、サーバー(Informationally Structured Space; I)ロボットシステム(Robot Partner; R)、センサーノード(Sensor Nodes; S)に分類して検討する。
(M1)スマートデバイスの状態推定
加速度センサとGPSの計測データを用いて、スマートデバイスが、(1)机の上に置かれている、(2)ポケット、あるいは、カバンの中に入れている、(3)ロボットシステムに取り付けられている、(4)歩行中である、(5)自転車に乗っている、(6)バスや車での移動中である、(7)電車に乗っている、(8)その他(不定)に分類する。
(M2)人間の状態推定
人間検出を行うために、時系列画像データに対し、逐次的に探索を行うことができる進化的ロボットビジョンを適用する。進化的ロボットビジョンは、進化的計算を用いた方法論であり、複数の解候補から構成される解集合(個体群と呼ぶ)に対し、交叉や突然変異などの遺伝的操作を行うことにより、新しい解候補を生成する。次に、選択により、次世代の解集合を構成する。解候補は、多角形テンプレートを用いて、中心座標、中心から各点への距離、各角に対する角度を変数として与え、人間の肌に対応する肌色と髪の毛の領域に相当する黒色(グレイ)の画素数を用いて、探索を行う。これらを繰り返すことにより、人間領域を特定する。人間検出の前処理として、差分抽出を用いて、変化が大きい領域を中心に探索を行う。
次に、スパイキングニューラルネットワークを用いた行動推定手法について説明する。人間の基本動作を、特徴的行為分節として扱い、基本点な動作に対応付ける。基本的には、人間の手の動作の抽出や身体全体の移動の抽出の他、人の接近、遠ざかりなどの検出があり、その他にカメラ画像上の占有領域など(上、中、下)などを人間の動作として推定する。また、これらの状態から、人間の行動を推定する。
スマートデバイス上で人間識別を行うのは、困難であるため、最低限の仕様を満たす程度で、できるだけ簡単なアルゴリズムとして、実装すべきである。
顔認証に使用する特徴量としてLBP-Histogram法を採用する。撮影画像から検出した顔情報よりLBP(Local Binary Pattern)の算出を行い、ヒストグラムを作成する。得られたヒストグラムに対し、PCA(主成分分析)を適用し、得られた主成分を特徴量とする。本手法では生体特徴量として80ビットの識別子を作成する。具体的には、まず、テンプレートとしてランダムに80ペア(A郡、B郡)の顔を用意し、登録する顔がA群の顔に擬似する場合は1、B群の顔に擬似する場合は0として80ビット分のバイナリデータを作成する、これを個人の識別コードとする。
音声認識と音声合成は、オープンソース、もしくは、市販されているライブラリを利用する。例えば、商業用にフリーで利用可能なライブラリとして、NTT DoCoMo Developer Support(商品名)などがある。
図5に、会話システムの基本構造を示す。ロボット自身の発話の流れと、高齢者からの発話の認識結果を利用することにより、次の発話内容を選択する。
(1)日常会話モード: 日常会話モードは、挨拶、口癖、独り言、反射的な発話(間投詞)の他に、共感発話などがある。特に、共感発話は、聞き上手フェーズとして、高齢者の見守りなどには、重要である。
共感とは、1.他人の考え行動に、全くそのとおりだと感ずること。同感。
2.〔 sympathy 〕他人の体験する感情を自分のもののように感じとること。
3.〔 empathy 〕感情移入
(2)コンテンツ会話モード: コンテンツ会話モードは、個人情報の他、カレンダ、e-mail、メモ帳などのスマートデバイス内の情報を用いて、発話を行う。
(3)情報支援会話モード: 情報支援を目的とした会話には、
(3-1)日常情報支援:天気、ニュース、地域コミュニティのイベント情報などのお知らせ、
(3-2)注意支援:閉め忘れなどの注意喚起、
(3-3)情報収集支援:趣味や娯楽情報の収集と検索情報支援
などがある。
(4)シナリオ会話モード: 健康づくり支援や、脳トレのような認知症予防会話、趣味や嗜好に関する豆知識、読み聞かせシナリオ、クイズなどがある。
時間依存発話は図7に示すように、大きく分けると、当該時間に発話するアラーム型、当該時間前後に発話する左右対象型(図7(a))、当該時間以前に発話する左サイド型(図7(b))、当該時間以降に発話右サイド型(図7(c))の4種類である。この分布に基づいて発話内容ごとに時間依存発話確率を求めて確率の高いものを発話する。時間依存発話確率Pは、前回発話した時間をrtとすると、シグモイド関数を用いて、
となる。数式(3)におけるaは時間依存発話用係数であり、現在時刻、時間依存発話する時間、時間依存発話分布のグラフの幅から
と表される。
(1)コミュニケーション場の選択機能
カメラなどと異なり、ロボットシステムによるコミュニケーションは、コミュニケーションに必要とされる場を創り上げることができる点である。例えば、画像処理の場合、ロボットシステムが、「顔が見えにくい。こっちに来て」と発話して、人間を認識しやすい背景画像を選択することができる。また、複数の人が話しかけてくる場合、「静かにして」、「一人ずつしゃべってよ」などと発話することにより、一人の発話に集中することができる。人間のようなコミュニケーションを行う機能である。
(2)話題変更機能
音声認識結果がうまくできない場合、また、音声認識結果が、前の文脈と大きく異なる場合、話題を変更することにより、主導権をとって、コミュニケーションを進めることができる。
(3)間投詞発話機能
話題を変えたいときには、「あのー」「えーと」などの間投詞を入れて、フィラー化を行う。また、音声を取り込み後、音声認識中は、空白の時間となり、待ち時間が入るため、その際、間投詞を入れて、「間」を繋ぐ。
(4)視線配布機能
人間は、コミュニケーションを取る際、相手の顔をずっと凝視し続けているわけで無く、適度に視線をそらす。このようなノンバーバルコミュニケーションにおける行為を視線配布という。視線配布を適度に入れることにより、人間のようなコミュニケーションを実現することができる。
(5)コミュニケーションのための動作停止機能
画面をタッチしようとした場合など、人間の手が、ロボットに近づくため、接触事故などを防ぐために、パンチルト機構やジェスチャを停止する機能が必要である。
環境に取り付けられたセンサから計測される膨大なデータやロボットの計測データの他、人間との相互作用の状態など、その環境内の利用可能な情報をデータベースサーバに集約することができる。ここで、このような膨大なデータから、情報抽出、情報解析、情報変換、情報の蓄積、情報転送などを容易に行うためには、情報の構造化が必要となり、これらの情報はサーバーに格納されている。
サーバーの性質として、(1)情報の共有性、(2)人間との親和性、(3)情報変換の可逆性、(4)システムの汎用性に基づき設計される。
情報は、大きく、(1)人間に関する情報(human information、または、personal information)、(2)環境に関する情報(environmental information)、(3)インターネット上の情報(Intenert information)にわけることができる(図11)。また、人間の行動計測に関する情報の種類とその階層構造を図12に示す。
本発明のシステムは、図1に示すように互いに離隔された2以上の利用者の基に端末を設置し、各利用者の状態を計測し、判定して、利用者のコミュニケーションの仲介を行うため、少ない情報量で各利用者間のコミュニケーションを行うことが可能となる。
例えば、母親が仕事、子供が留守番している状況で、母親が仕事から17時に帰るという情報が入ると、「そろそろお母さん帰ってくるよ、よかったね。」と端末が発することで子供に親の帰ってくる時間を教えることができる。また、20時くらいになってかえってくる情報がはいると「お母さんかえってくるって、よく頑張ったね」という形で、コミュニケーションの隙間を埋める作業を行う。
本発明のシステムは、E−ラーニング、親子間、仕事仲間のコミュニケーションツールとして有用である。
Claims (2)
- 複数の利用者の情報交換作業をサポートするコミュニケーションシステムであって、
各利用者が利用する複数の端末であって、利用者と情報交換を行うための音声発信取得手段及び画像表示取得手段を有し、利用者の利用状態に基づく利用状態情報を取得することができると共に、各端末相互に情報交換可能な通信手段を備えた端末と、
利用者に関する所定の利用者情報が格納され、上記端末に連結されたデータベースと、
データベースにアクセスして利用者の情報を取得すると共に上記端末から取得する利用者情報をデータベースに追加格納して最新の情報に更新する情報取得更新手段と、
を具備し、
上記端末は、上記利用者状態情報及び上記利用者情報を照合して、利用者と情報交換すると共に、他の端末からの他の利用者状態情報に従って他の利用者からの情報にもとづいた情報交換をも行う、情報交換手段を具備する
コミュニケーションシステム。
- 上記端末は、画像表示手段、該端末自体の存在位置を適宜変更する移動手段及び端末の形を所望の形態に変形する変形手段を備える
請求項1記載のコミュニケーションシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184097A JP2018050161A (ja) | 2016-09-21 | 2016-09-21 | コミュニケーションシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184097A JP2018050161A (ja) | 2016-09-21 | 2016-09-21 | コミュニケーションシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018050161A true JP2018050161A (ja) | 2018-03-29 |
Family
ID=61766617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016184097A Pending JP2018050161A (ja) | 2016-09-21 | 2016-09-21 | コミュニケーションシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018050161A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302351A (ja) * | 1994-05-09 | 1995-11-14 | Canon Inc | 画像・音声応答装置及び画像・音声応答方法 |
JP2006262411A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声映像通信システム |
JP2009106325A (ja) * | 2007-10-26 | 2009-05-21 | Advanced Telecommunication Research Institute International | コミュニケーション誘発システム |
JP2011097531A (ja) * | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
JP2011523840A (ja) * | 2008-06-09 | 2011-08-18 | イマージョン コーポレーション | 電子機器のイベントに対する報知フレームワークの開発 |
JP2015016549A (ja) * | 2010-05-20 | 2015-01-29 | アイロボット コーポレイション | 移動式ヒューマンインターフェースロボット |
WO2015093382A1 (ja) * | 2013-12-20 | 2015-06-25 | Re & Do 株式会社 | サービス提供管理システム |
-
2016
- 2016-09-21 JP JP2016184097A patent/JP2018050161A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302351A (ja) * | 1994-05-09 | 1995-11-14 | Canon Inc | 画像・音声応答装置及び画像・音声応答方法 |
JP2006262411A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声映像通信システム |
JP2009106325A (ja) * | 2007-10-26 | 2009-05-21 | Advanced Telecommunication Research Institute International | コミュニケーション誘発システム |
JP2011523840A (ja) * | 2008-06-09 | 2011-08-18 | イマージョン コーポレーション | 電子機器のイベントに対する報知フレームワークの開発 |
JP2011097531A (ja) * | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
JP2015016549A (ja) * | 2010-05-20 | 2015-01-29 | アイロボット コーポレイション | 移動式ヒューマンインターフェースロボット |
WO2015093382A1 (ja) * | 2013-12-20 | 2015-06-25 | Re & Do 株式会社 | サービス提供管理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10893236B2 (en) | System and method for providing virtual interpersonal communication | |
KR101057705B1 (ko) | 음성 대화 장치 및 방법 및 로봇 장치 | |
Kanda et al. | Development and evaluation of interactive humanoid robots | |
US20190143527A1 (en) | Multiple interactive personalities robot | |
CN102609089B (zh) | 用于机器人和用户交互的多状态模型 | |
US11017551B2 (en) | System and method for identifying a point of interest based on intersecting visual trajectories | |
US7987091B2 (en) | Dialog control device and method, and robot device | |
CN112204564A (zh) | 经由基于集成音频和视觉的语音识别进行语音理解的***和方法 | |
KR20160034243A (ko) | 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들 | |
WO2016080553A1 (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
US20220215678A1 (en) | System and method for reconstructing unoccupied 3d space | |
US20190251350A1 (en) | System and method for inferring scenes based on visual context-free grammar model | |
Manzi et al. | Design of a cloud robotic system to support senior citizens: The KuBo experience | |
Anzalone et al. | Automated prediction of extraversion during human–humanoid interaction | |
Chen et al. | Human-robot interaction based on cloud computing infrastructure for senior companion | |
WO2016206646A1 (zh) | 使机器装置产生动作的方法及*** | |
Nagao et al. | Symbiosis between humans and artificial intelligence | |
US11461404B2 (en) | System and method for adjustment of a device personality profile | |
JP2007030050A (ja) | ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法 | |
Sherry et al. | Getting things done in an autonomous vehicle | |
Bohus et al. | Situated interaction | |
JP2018050161A (ja) | コミュニケーションシステム | |
Marge et al. | Spoken language interaction with robots: Research issues and recommendations, report from the NSF future directions workshop | |
US12011828B2 (en) | Method for controlling a plurality of robot effectors | |
Srinivasan et al. | A reference architecture for social head gaze generation in social robotics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200521 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210706 |