JP6990472B1 - 人とコミュニケーションを行うシステム及びそのためのプログラム - Google Patents

Abstract

【課題】ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。【解決手段】ロボット１１が備えるコミュニケーション装置１１１は、ユーザが発出した言語情報と、ユーザの感情と、ユーザの性格と、ロボット１１の感情とに基づき、ユーザに対しロボット１１が発出する情報を決定するシステム発出情報決定手段１１０８を備える。システム発出情報決定手段１１０８が情報の決定に用いるロボット１１の感情は、サーバ装置１２が記憶しているシステム性格データが示すロボット１１の性格に基づき決定される。そして、システム性格更新指示手段１１１０は、ユーザに対しロボット１１が発出した情報と、ユーザが発出した言語情報と、ユーザの感情とに基づき、サーバ装置１２に対し記憶しているシステム性格データの更新を指示する。【選択図】図３

Description

本発明は、人とコミュニケーションを行うシステムに関する。

人工知能の発達に伴い、人とコミュニケーションを行うシステムの実用化が進んでいる。例えば、特許文献１には、複数の擬似性格から学習者により選択された擬似性格に基づき疑似感情を決定し、学習者から取得した生体情報と、学習者の学習状況と、決定した擬似感情とに基づいて、学習者に対し実施する学習支援の内容とその表現を決定し、学習者に対し、決定した表現で決定した内容の学習支援を行う学習支援装置が提案されている。

特開２０１７－１７３５４６号公報

特許文献１に記載の学習支援装置は、学習者により選択された擬似性格に応じて、学習者が発する生体情報及び学習者の学習状況が同じであっても、異なる表現で異なる内容の学習支援を学習者に対し行う。

しかしながら、学習者が学習支援装置の擬似性格を変更しない限り、学習者が発する生体情報及び学習者の学習状況が同じであれば、同じ（又は類似の）表現で同じ（又は類似の）内容の学習支援を行う。

学習支援者が人であれば、学習者とのコミュニケーションを繰り返す中で、自分と学習者との関係性が改善するように、意識的又は無意識的に性格を変化させてゆく。特許文献１に記載の学習支援装置は、人である学習支援者のような学習者に対する適応性を持たない。

本発明は、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる仕組みを提供する。

上記目的を達成するために、本発明は、ユーザとの間でコミュニケーションを行うシステムであって、記憶装置との間でデータの受け渡しを行うデータ入出力手段と、測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段とを備えるシステムを提供する。

本発明のシステムは、ユーザとのコミュニケーションの内容に応じて、自らのシステムの性格を更新する。従って、本発明のシステムは、ユーザとのコミュニケーションに伴い、ユーザとの関係性を向上できる。

一実施形態に係るコミュニケーションシステムの全体構成を示した図。 一実施形態に係るロボットのハードウェア構成を示した図。 一実施形態に係るロボットの機能構成を示した図。

［実施形態］
以下に、本発明の一実施形態に係るコミュニケーションシステム１を説明する。図１は、コミュニケーションシステム１の全体構成を示した図である。コミュニケーションシステム１は、ユーザＸとコミュニケーションを行うロボット１１と、インターネット等の通信ネットワークを介してロボット１１との間で各種データの送受信（受け渡し）を行うサーバ装置１２を備える。

図２は、ロボット１１のハードウェア構成を示した図である。ロボット１１は、コンピュータ１０１と、コンピュータ１０１に接続された撮影装置１０２、拾音装置１０３、表示装置１０４、発音装置１０５、駆動装置１０６、胴部１０７、頭部１０８、右腕部１０９、左腕部１１０を備える。

コンピュータ１０１は、プログラムに従い各種データ処理を行うプロセッサ１０１１、プログラムを含む各種データを記憶するメモリ１０１２、通信ネットワークを介さずに外部の装置との間でデータの受け渡しを行う入出力インタフェース１０１３、通信ネットワークを介して外部の装置との間でデータの受け渡し（送受信）を行う通信インタフェース１０１４を備える。

撮影装置１０２、拾音装置１０３、表示装置１０４、発音装置１０５、駆動装置１０６は、コンピュータ１０１の入出力インタフェース１０１３に接続されている。また、サーバ装置１２は、コンピュータ１０１の通信インタフェース１０１４に通信ネットワークを介して接続されている。

撮影装置１０２は、例えば光学カメラであり、周囲を撮影した画像を表す画像データを継続的に生成する。拾音装置１０３はマイクであり、周囲の音を拾いその音の波形を表す音データを継続的に生成する。

表示装置１０４は、例えば液晶ディスプレイであり、ユーザＸに対し文字、図などを表す画像を表示する。発音装置１０５はスピーカであり、ユーザＸに対し音（音声を含む）を発する。駆動装置１０６は、モータ等を備え、胴部１０７に対する頭部１０８、右腕部１０９、左腕部１１０の各々の姿勢（相対位置）を変更する。

本実施形態において、サーバ装置１２は、各種データを記憶する記憶装置の役割を果たすサーバ装置である。サーバ装置１２が記憶しているデータには、少なくとも以下が含まれる。
（１）ユーザＸの性格を示すユーザ性格データ
（２）ユーザＸの属性（ユーザ属性）を示すユーザ属性データ
（３）ロボット１１（コミュニケーションシステム１）の性格を示すシステム性格データ
（４）ユーザＸとロボット１１（コミュニケーションシステム１）との間で行われたコミュニケーションの内容を示すコミュニケーションログデータ

本実施形態の説明においては、感情、性格、ユーザ属性、という言葉が用いられる。本実施形態において、感情とは、性格と、コミュニケーションの相手から発出される情報とに基づき決定される、ユーザＸ又はロボット１１の状態であり、感情値と呼ばれるパラメータ群により表現される。コミュニケーションシステム１においては、例として、心理学者であるプルチックが考案した「感情の輪」の考え方に従った感情値が用いられる。「感情の輪」における感情値とは、喜び、悲しみ、信頼、嫌悪、心配、怒り、驚き、予測、という８つの感情種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム１において、「感情の輪」以外の考え方に従う感情値が採用されてもよい。

本実施形態において、性格とは、コミュニケーションの相手から発出される情報に応じて生じる感情値を左右する性質を意味し、性格値と呼ばれるパラメータ群により表現される。コミュニケーションシステム１においては、エゴグラムの考え方に従った性格値が用いられる。エゴグラムにおける性格値とは、支配性、寛容性、論理性、奔放性、順応性、という５つの性格種別のバランスを示すパラメータ群である。ただし、コミュニケーションシステム１において、エゴグラム以外の考え方に従う性格値が採用されてもよい。

感情は、コミュニケーションの相手から発出される情報を受け取る毎に大きく変化し得る。一方、性格は、感情のように動的に変化せず、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化しない。ただし、性格は、多数のコミュニケーションが繰り返される中で徐々に変化し得る。

本実施形態において、ユーザ属性とは、ユーザの客観視できる属性を意味する。ユーザ属性の例としては、ユーザＸの氏名、ユーザＸのあだ名、ユーザＸの年齢、ユーザＸの性別、ユーザＸの趣味、ユーザＸの食の嗜好、ユーザＸが過去に行った活動、ユーザＸが属している集団、等が挙げられるが、これらに限られない。ユーザ属性には、ユーザＸの性別のように、通常は変化しないものもあれば、ユーザＸが過去に行った活動のように、頻繁に変化するものもある。また、ユーザ属性の種別の数は一定ではない。

コミュニケーションシステム１において、ユーザ属性はユーザＸが発出した情報から抽出される。そして、ユーザ属性は、ロボット１１がユーザＸに対し発出する情報の一部として用いられる。その結果、ロボット１１がユーザＸに対し発出する情報が、ユーザＸにカスタマイズされた適正なものとなる。

サーバ装置１２が記憶するコミュニケーションログデータは、以下のフィールドを含むレコードの集まりである。
（１）時刻
（２）情報発出者
（３）言語情報
（４）非言語情報
（５）感情値

フィールド「時刻」は、ユーザＸ又はロボット１１が情報の発出を行った時刻を示すデータを格納する。フィールド「情報発出者」は、情報の発出を行った主体、すなわち、ユーザＸ及びロボット１１のいずれかを示すデータを格納する。

フィールド「言語情報」は、情報発出者が発出した情報に含まれる言語情報を示すデータを格納する。言語情報は言語で表現される情報である。なお、言語情報は、音声、ジェスチャー（手話等）、画面や紙面などの媒体の上に記される文字列等のいずれの方法により発出されてもよい。

フィールド「非言語情報」は、情報発出者が発出した情報に含まれる言語情報以外の情報を示すデータを格納する。非言語情報には、例えば、声の抑揚、瞬きの増減、首をかしげる動作、視線を外す動作などが含まれる。これらの非言語情報は、情報発出者の感情を言語以外の方法でコミュニケーションの相手に伝える。

フィールド「感情値」には、情報発出者が発出した情報に応じた感情値を示すデータが格納される。情報発出者がユーザＸである場合、フィールド「感情値」に格納される感情値は、ユーザＸが発出した情報に基づきロボット１１が推定した感情値を示すデータがフィールド「感情値」に格納される。一方、情報発出者がロボット１１である場合、ロボット１１がユーザＸから受けた情報とロボット１１の性格とに基づき決定した感情値がフィールド「感情値」に格納される。

図３は、ロボット１１の機能構成を示した図である。ロボット１１は、コンピュータ１０１が本実施形態に係るプログラムに従うデータ処理を行うことにより実現されるコミュニケーション装置１１１と、ユーザＸから発出された情報を測定し、その測定結果を示すユーザ発出データをコミュニケーション装置１１１に引き渡す測定装置１１２と、コミュニケーション装置１１１から受け取る指示に従い、ユーザＸに対し情報の発出を行う情報発出装置１１３を備える。

測定装置１１２は、コンピュータ１０１の制御下で動作する撮影装置１０２及び拾音装置１０３により実現される。また、情報発出装置１１３は、コンピュータ１０１の制御下で動作する表示装置１０４、発音装置１０５、駆動装置１０６により実現される。

コミュニケーション装置１１１は、図３に示す各種の機能構成部を備える。以下にそれらの機能構成部の役割を説明する。

データ入出力手段１１０１は、記憶装置の役割を果たすサーバ装置１２との間で各種データの受け渡しを行う。ユーザ発出情報取得手段１１０２は、測定装置１１２からユーザ発出データを取得する。ユーザ発出データには、撮影装置１０２が撮影した画像を表す画像データと、拾音装置１０３が拾音した音を表す音データが含まれる。

ユーザ言語情報特定手段１１０３は、ユーザ発出情報取得手段１１０２が取得したユーザ発出データに基づき、ユーザＸが発出した言語情報を特定する。ユーザ言語情報特定手段１１０３が言語情報を特定する方法は、例えば、既知の音声認識技術、画像認識技術、文字認識技術等を用いた方法が挙げられるが、これらに限られない。

ユーザ非言語情報特定手段１１０４は、ユーザ発出情報取得手段１１０２が取得したユーザ発出データに基づき、ユーザＸが発出した非言語情報を特定する。ユーザ非言語情報特定手段１１０４は、例えば、ユーザ発出データに含まれる音データが表すユーザＸの音声の抑揚、ユーザ発出データに含まれる画像データが表すユーザＸの動作に含まれる各種仕草、等を非言語情報として抽出する。

ユーザ感情推定手段１１０５は、ユーザ発出情報取得手段１１０２が取得したユーザ発出データに基づき、ユーザＸの感情を推定する。

より具体的には、ユーザ感情推定手段１１０５は、以下の情報に基づき感情値を特定することにより、ユーザＸの感情を推定する。

（１）ユーザ言語情報特定手段１１０３が特定した、ユーザＸが発出した言語情報
（２）ユーザ非言語情報特定手段１１０４が特定した、ユーザＸが発出した非言語情報
（３）サーバ装置１２が記憶しているユーザ性格データが示すユーザＸの性格

なお、上記（３）の情報は必ずしもユーザＸの感情の推定に用いられなくてもよいが、上記（３）の情報を用いることで、ユーザ感情推定手段１１０５はユーザＸの感情をより高い精度で推定できる。

ユーザ感情推定手段１１０５は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記（１）～（３）の情報に応じた感情値を特定する。

なお、上記（１）及び（２）の情報は、直近の情報に限られず、サーバ装置１２が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。

システム感情決定手段１１０６は、サーバ装置１２が記憶しているシステム性格データが示すロボット１１（より正しくは、コミュニケーションシステム１。以下、同様。）の性格と、ユーザ感情推定手段１１０５が推定したユーザＸの感情とに基づき、ロボット１１の感情を決定する。

より具体的には、システム感情決定手段１１０６は、以下の情報に基づき感情値を特定することにより、ロボット１１の感情を決定する。

（１）サーバ装置１２が記憶しているシステム性格データが示すロボット１１の性格
（２）ユーザ感情推定手段１１０５が推定したユーザＸの感情
（３）サーバ装置１２が記憶しているユーザ性格データが示すユーザＸの性格
（４）ユーザ言語情報特定手段１１０３が特定した、ユーザＸが発出した言語情報

なお、上記（３）及び（４）の情報は必ずしもロボット１１の感情の決定に用いられなくてもよいが、上記（３）又は（４）の情報を用いることで、システム感情決定手段１１０６はユーザＸとコミュニケーションする人の感情により近い感情を、ロボット１１の感情として決定できる。

システム感情決定手段１１０６は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記（１）～（４）の情報に応じた感情値を特定する。

なお、上記（２）及び（４）の情報は、直近の情報に限られず、サーバ装置１２が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。

ユーザ属性更新指示手段１１０７は、ユーザ発出情報取得手段１１０２が取得したユーザ発出データに基づき、サーバ装置１２に対し記憶しているユーザ属性データの更新を指示する。

具体的には、ユーザ属性更新指示手段１１０７は、ユーザ言語情報特定手段１１０３が特定したユーザＸが発出した言語情報を解析し、ユーザＸの属性（例えば、「昨日、アニメ映画を観た」など）を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段１１０１を介してサーバ装置１２に送信する。

また、ユーザ属性更新指示手段１１０７は、ユーザ非言語情報特定手段１１０４が特定したユーザＸが発出した非言語情報（例えば、ユーザＸがカレーライスを食べながら満足した表情をしている）を解析し、ユーザＸの属性（例えば、「カレーが好き」）を抽出し、抽出した属性を示すデータをユーザ属性データとして生成し、生成したユーザ属性データを、データ入出力手段１１０１を介してサーバ装置１２に送信する。

ユーザ属性更新指示手段１１０７は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザＸが発出した言語情報又は非言語情報からユーザＸの属性を抽出する。

サーバ装置１２は、ロボット１１から受信したユーザ属性データを、記憶しているユーザ属性データに追加（同じ種別の属性に関するユーザ属性データが記憶されていない場合）、または、ロボット１１から受信したユーザ属性データで、記憶しているユーザ属性データの一部を上書き（同じ種別の属性に関するユーザ属性データが記憶されている場合）する。

システム発出情報決定手段１１０８は、ユーザ感情推定手段１１０５が推定したユーザＸの感情と、システム感情決定手段１１０６が決定したロボット１１の感情とに基づき、ロボット１１が発出する情報を決定する。

より具体的には、システム発出情報決定手段１１０８は、以下の情報に基づきロボット１１が発出する情報を決定する。システム発出情報決定手段１１０８が決定する情報には、言語情報と非言語情報が含まれる。

（１）ユーザ感情推定手段１１０５が推定したユーザＸの感情
（２）システム感情決定手段が決定したロボット１１の感情
（３）サーバ装置１２が記憶しているユーザ性格データが示すユーザＸの性格
（４）ユーザ言語情報特定手段１１０３が特定した、ユーザＸが発出した言語情報
（５）サーバ装置１２が記憶しているシステム性格データが示すロボット１１の性格
（６）サーバ装置１２が記憶しているユーザ属性データが示すユーザＸの属性

なお、上記（３）～（６）の情報は必ずしもロボット１１が発出する情報の決定に用いられなくてもよいが、上記（３）～（６）の情報を用いることで、システム発出情報決定手段１１０８はユーザＸをコミュニケーションする人が発出する情報により近い情報を、ロボット１１が発出する情報として決定できる。

システム発出情報決定手段１１０８は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、上記（１）～（６）の情報に応じた感情値を特定する。

なお、上記（１）、（２）及び（４）の情報は、直近の情報に限られず、サーバ装置１２が記憶しているコミュニケーションログデータが示す、過去の情報を含んでもよい。

システム情報発出指示手段１１０９は、情報発出装置１１３に、システム発出情報決定手段１１０８が決定した情報の発出を指示する。

具体的には、システム情報発出指示手段１１０９は、例えば、表示装置１０４に、システム発出情報決定手段１１０８が決定した情報に含まれる非言語情報に応じた表情を表す画像を表示するように指示する。また、システム情報発出指示手段１１０９は、システム発出情報決定手段１１０８が決定した情報に含まれる言語情報（文章）をシステム発出情報決定手段１１０８が決定した情報に含まれる非言語情報に応じた抑揚や声色で音声した音を合成し、合成した音を発音装置１０５に発音するように指示する。また、システム情報発出指示手段１１０９は、システム発出情報決定手段１１０８が決定した情報に含まれる非言語情報に応じた動作（首を傾げる、左右の腕を振る、等）をロボット１１が行うように駆動装置１０６に対し動作を指示する。

システム性格更新指示手段１１１０は、システム情報発出指示手段１１０９が情報発出装置１１３に発出を指示した情報と、ユーザ感情推定手段１１０５が推定したユーザＸの感情とに基づき、サーバ装置１２に対し記憶しているシステム性格データの更新を指示する。

より具体的には、システム性格更新指示手段１１１０は、以下の情報に基づき更新後のシステム性格データを決定する。

（１）システム情報発出指示手段１１０９が情報発出装置１１３に発出を指示した情報
（２）ユーザ感情推定手段１１０５が推定したユーザＸの感情
（３）サーバ装置１２が記憶しているユーザ性格データが示すユーザＸの性格
（４）ユーザ言語情報特定手段１１０３が特定した、ユーザＸが発出した言語情報

なお、上記（３）及び（４）の情報は必ずしもロボット１１の性格の更新に用いられなくてもよいが、上記（３）又は（４）の情報を用いることで、システム性格更新指示手段１１１０はロボット１１の更新後の性格として、ユーザＸとロボット１１の関係性がより向上するような性格を決定できる。

システム性格更新指示手段１１１０は、例えば所定時間の経過毎に、コミュニケーションログデータが示すユーザＸが過去に発出した情報を解析し、ロボット１１が発出する非言語情報が直前にユーザＸが発出した非言語情報と類似する確率が高まるように、現在のシステム性格データが示すロボット１１の性格値を修正する。システム性格更新指示手段１１１０がロボット１１の性格を修正する基準として、例えば、ペーシングと呼ばれる心理学の手法が用いられてもよい。なお、システム性格更新指示手段１１１０は、１回の修正において不自然にロボット１１の性格が変化しないように、ロボット１１の性格値の修正幅を所定量以下に制限する。

システム性格更新指示手段１１１０は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ロボット１１の更新後の性格値を特定する。

システム性格更新指示手段１１１０は、特定した更新後のロボット１１の性格を示すシステム性格データを生成し、生成したシステム性格データを、データ入出力手段１１０１を介してサーバ装置１２に送信する。サーバ装置１２は、ロボット１１から受信したシステム性格データで、記憶しているシステム性格データを上書きする。

ユーザ性格更新指示手段１１１１は、システム情報発出指示手段１１０９が情報発出装置１１３に発出を指示した情報と、ユーザ感情推定手段１１０５が推定したユーザＸの感情とに基づき、サーバ装置１２に対し、記憶しているユーザ性格データの更新を指示する。

より具体的には、ユーザ性格更新指示手段１１１１は、例えば直近の過去の所定時間長の期間に関するコミュニケーションログデータに基づき、ロボット１１がどのような言語情報及び非言語情報を発出した場合に、ユーザＸがどのような感情となったかを解析し、解析結果に基づき、ユーザＸの性格を推定する。

ユーザ性格更新指示手段１１１１は、例えば、ルールベース型及び機械学習型の一方又は両方の人工知能を有し、その人工知能により、ユーザＸの性格値を推定する。

ユーザ性格更新指示手段１１１１は、推定したユーザＸの性格を示すユーザ性格データを生成し、生成したユーザ性格データを、データ入出力手段１１０１を介してサーバ装置１２に送信する。サーバ装置１２は、ロボット１１から受信したユーザ性格データで、記憶しているユーザ性格データを上書きする。

上述したコミュニケーションシステム１によれば、ロボット１１は、ユーザＸとコミュニケーションを繰り返すうちに、ユーザＸの性格に寄り添うように、自らの性格を徐々に変更してゆく。その結果、ユーザＸとロボット１１の間に、より良い関係性が生じる。

［変形例］
上述した実施形態は、本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形の例を示す。なお、以下に示す変形の例の２以上が適宜、組み合わされてもよい。

（変形例１）
上述した実施形態において、測定装置１１２は撮影装置１０２と拾音装置１０３により実現され、ユーザＸから発出される情報のうち、視覚又は聴覚で捉えられる情報を測定する。測定装置１１２が測定する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット１１が接触検知装置を備え、測定装置１１２が、ユーザＸから発出される情報のうち、触覚で捉えられる情報を測定してもよい。

（変形例２）
上述した実施形態において、情報発出装置１１３は表示装置１０４、発音装置１０５、及び、駆動装置１０６により実現され、ユーザＸが視覚又は聴覚で捉えられる情報を発出する。情報発出装置１１３が発出する情報は視覚又は聴覚で捉えられる情報に限られない。例えば、ロボット１１が匂い発生装置を備え、情報発出装置１１３がユーザＸに対し、嗅覚で捉えられる情報を発出してもよい。

（変形例３）
上述した実施形態において、ユーザ性格データ、ユーザ属性データ、システム性格データ、コミュニケーションログデータ等を記憶する記憶装置の役割はサーバ装置１２が果たす。これに代えて、もしくは加えて、これらのデータを記憶する記憶装置が、ロボット１１に設けられてもよい。

（変形例４）
上述した実施形態において、ロボット１１のコミュニケーション装置１１１が備えるものとした機能構成部の少なくとも一部を、サーバ装置１２又はサーバ装置１２とは異なる他の装置が備えてもよい。

（変形例５）
上述した実施形態において、コミュニケーションシステム１はロボット１１とサーバ装置１２により構成される。コミュニケーションシステム１の構成はこれに限られない。例えば、上述した実施形態においてサーバ装置１２が記憶するものとしたデータをロボット１１が内臓又は外部に接続された記憶装置に記憶し、コミュニケーションシステム１がロボット１１のみで構成されてもよい。また、上述した実施形態においてロボット１１が備えるものとした機能構成部の一部を備え、ロボット１１とデータ通信を行い連係動作する１以上の外部の装置を備え、コミュニケーションシステム１がロボット１１、サーバ装置１２、及び、それらの外部の装置により構成されてもよい。

（変形例６）
上述した実施形態において、コミュニケーションシステム１が備えるロボット１１は１つであるものとしたが、コミュニケーションシステム１が複数のロボット１１を備えてもよい。その場合、複数のロボット１１の間で、サーバ装置１２に記憶されているデータの一部が共用されてもよい。例えば、ユーザ感情推定手段１１０５、システム感情決定手段１１０６等が機械学習型の人工知能を有する場合、それらの人工知能の訓練のために用いる教師データの生成のために、複数のロボット１１間でコミュニケーションログデータが共用されてもよい。

（変形例７）
上述した実施形態において、ロボット１１は胴部１０７、頭部１０８、右腕部１０９、左腕部１１０を備えるものとしたが、ロボット１１が備える部位の種別や数はこの例に限られない。例えば、ロボット１１が右脚部及び左脚部を備え、駆動装置１０６が胴部１０７に対する右脚部及び左脚部の各々の姿勢（相対位置）を変更可能としてもよい。また、ロボット１１が右腕部１０９及び左腕部１１０の各々に連結される複数の指部を備え、駆動装置１０６が右腕部１０９又は左腕部１１０に対する指部の各々の姿勢（相対位置）を変更可能としてもよい。

（変形例８）
コミュニケーションシステム１が、ユーザＸの感情の推定等に、ユーザＸが置かれている環境の物理量（以下、単に「環境の物理量」という）の測定結果を用いてもよい。環境の物理量の例としては、温度、湿度、照度、騒音の大小等が挙げられる。

この変形例において、測定装置１１２、又は、測定装置１１２とは異なる測定装置が、環境の物理量を測定する。例えば、コミュニケーションシステム１が温度を用いる場合、コンピュータ１０１に温度計が接続される。この場合、温度計は測定装置１１２とは異なる測定装置を構成するため、測定装置１１２とは異なる測定装置が環境の物理量を測定することになる。また、コミュニケーションシステム１が騒音の大小を用いる場合、騒音の測定には測定装置１１２を構成する拾音装置１０３が行う。この場合、測定装置１１２が環境の物理量の測定を行うことになる。

また、この変形例において、コミュニケーション装置１１１は、機能構成部として、測定装置１１２又は測定装置１１２とは異なる測定装置から環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段を備える。

この変形例において、物理環境取得手段により取得された物理環境データは、以下の（１）～（４）の１以上において用いられる。

（１）ユーザ感情推定手段１１０５によるユーザＸの感情の推定
（２）システム感情決定手段１１０６によるロボット１１の感情の決定
（３）システム発出情報決定手段１１０８によるロボット１１が発出する情報の決定
（４）システム性格更新指示手段１１１０による新たなシステム性格データの生成
（５）ユーザ性格更新指示手段１１１１による新たなユーザ性格データの生成

この変形例によれば、例えば、ユーザＸの感情の推定において温度等の環境の物理量が考慮されることにより、より精度の高い感情の推定が行われる。

１…コミュニケーションシステム、１１…ロボット、１２…サーバ装置、１０１…コンピュータ、１０２…撮影装置、１０３…拾音装置、１０４…表示装置、１０５…発音装置、１０６…駆動装置、１０７…胴部、１０８…頭部、１０９…右腕部、１１０…左腕部、１１１…コミュニケーション装置、１１２…測定装置、１１３…情報発出装置、１０１１…プロセッサ、１０１２…メモリ、１０１３…入出力インタフェース、１０１４…通信インタフェース、１１０１…データ入出力手段、１１０２…ユーザ発出情報取得手段、１１０３…ユーザ言語情報特定手段、１１０４…ユーザ非言語情報特定手段、１１０５…ユーザ感情推定手段、１１０６…システム感情決定手段、１１０７…ユーザ属性更新指示手段、１１０８…システム発出情報決定手段、１１０９…システム情報発出指示手段、１１１０…システム性格更新指示手段、１１１１…ユーザ性格更新指示手段。

Claims (22)

1. ユーザとの間でコミュニケーションを行うシステムであって、
   コミュニケーションの相手から発出される情報を受け取る毎に変化する状態を感情とし、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化せずコミュニケーションを繰り返す中で変化する状態を性格とするとき、
   記憶装置との間でデータの受け渡しを行うデータ入出力手段と、
   測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得するユーザ発出情報取得手段と、
   前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザの感情を推定するユーザ感情推定手段と、
   前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記システムの感情を決定するシステム感情決定手段と、
   前記ユーザ感情推定手段が推定した前記ユーザの感情と、前記システム感情決定手段が決定した前記システムの感情とに基づき、前記システムが発出する情報を決定するシステム発出情報決定手段と、
   前記ユーザに対し情報を発出する情報発出装置に、前記システム発出情報決定手段が決定した情報の発出を指示するシステム情報発出指示手段と、
   前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示するシステム性格更新指示手段と
   を備えるシステム。
2. 前記ユーザ感情推定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記ユーザの感情を推定する
   請求項１に記載のシステム。
3. 前記システム感情決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムの感情を決定する
   請求項１又は２に記載のシステム。
4. 前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき前記システムが発出する情報を決定する
   請求項１乃至３のいずれか１項に記載のシステム。
5. 前記システム性格更新指示手段は、前記記憶装置が記憶しているユーザ性格データが示す前記ユーザの性格に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
   請求項１乃至４のいずれか１項に記載のシステム。
6. 前記システム情報発出指示手段が前記情報発出装置に発出を指示した情報と、前記ユーザ感情推定手段が推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示するユーザ性格更新指示手段
   を備える請求項２乃至５のいずれか１項に記載のシステム。
7. 前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した言語情報を特定するユーザ言語情報特定手段
   を備える請求項１乃至６のいずれか１項に記載のシステム。
8. 前記ユーザ感情推定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記ユーザの感情を推定する
   請求項７に記載のシステム。
9. 前記システム感情決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムの感情を決定する
   請求項７又は８に記載のシステム。
10. 前記システム発出情報決定手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき前記システムが発出する情報を決定する
    請求項７乃至９のいずれか１項に記載のシステム。
11. 前記システム性格更新指示手段は、前記ユーザ言語情報特定手段が特定した前記ユーザが発出した言語情報に基づき、前記記憶装置に対し前記システム性格データの更新を指示する
    請求項７乃至１０のいずれか１項に記載のシステム。
12. 前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき前記ユーザが発出した非言語情報を特定するユーザ非言語情報特定手段
    を備え、
    前記ユーザ感情推定手段は、前記ユーザ非言語情報特定手段が特定した前記ユーザが発出した非言語情報に基づき前記ユーザの感情を推定する
    請求項１乃至１１のいずれか１項に記載のシステム。
13. 前記システム発出情報決定手段は、前記記憶装置が記憶しているユーザ属性データが示す前記ユーザの客観視できる属性に基づき、前記システムが発出する情報を決定する
    請求項１乃至１２のいずれか１項に記載のシステム。
14. 前記ユーザ発出情報取得手段が取得した前記ユーザ発出データに基づき、前記記憶装置に対し前記ユーザ属性データの更新を指示するユーザ属性更新指示手段
    を備える請求項１３に記載のシステム。
15. 前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
    を備える請求項１乃至１４のいずれか１項に記載のシステム。
16. 前記ユーザ感情推定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記ユーザの感情を推定する
    請求項１５に記載のシステム。
17. 前記システム感情決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムの感情を決定する
    請求項１５又は１６に記載のシステム。
18. 前記システム発出情報決定手段は、前記物理環境取得手段が取得した前記物理環境データに基づき前記システムが発出する情報を決定する
    請求項１５乃至１７のいずれか１項に記載のシステム。
19. 前記システム性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記システム性格データの更新を指示する
    請求項１５乃至１８のいずれか１項に記載のシステム。
20. 前記測定装置又は前記測定装置とは異なる測定装置から、前記ユーザが置かれている環境の物理量を測定した結果を示す物理環境データを取得する物理環境取得手段
    を備え、
    前記ユーザ性格更新指示手段は、前記物理環境取得手段が取得した前記物理環境データに基づき、前記記憶装置に対し前記ユーザ性格データの更新を指示する
    請求項６に記載のシステム。
21. 前記システム発出情報決定手段は、前記記憶装置が記憶している前記システム性格データが示す前記システムの性格に基づき前記システムが発出する情報を決定する
    請求項１乃至２０のいずれか１項に記載のシステム。
22. ユーザとの間でコミュニケーションを行うシステムをコンピュータに実現させるためのプログラムであって、
    コミュニケーションの相手から発出される情報を受け取る毎に変化する状態を感情とし、コミュニケーションの相手から発出される情報を受け取る毎には実質的に変化せずコミュニケーションを繰り返す中で変化する状態を性格とするとき、
    前記コンピュータに、
    記憶装置との間でデータの受け渡しを行う処理と、
    測定装置から、前記ユーザが発出した情報を測定した結果を示すユーザ発出データを取得する処理と、
    前記ユーザ発出データに基づき前記ユーザの感情を推定する処理と、
    前記記憶装置が記憶しているシステム性格データが示す前記システムの性格と、推定した前記ユーザの感情とに基づき、前記システムの感情を決定する処理と、
    推定した前記ユーザの感情と、決定した前記システムの感情とに基づき、前記システムが発出する情報を決定する処理と、
    前記ユーザに対し情報を発出する情報発出装置に、決定した前記システムが発出する情報の発出を指示する処理と、
    前記情報発出装置に発出を指示した情報と、推定した前記ユーザの感情とに基づき、前記記憶装置に対し前記システム性格データの更新を指示する処理と
    を実行させるためのプログラム。

Images