JP4370410B2 - 対話システム、対話ロボット、プログラム及び記録媒体 - Google Patents
対話システム、対話ロボット、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP4370410B2 JP4370410B2 JP2006510592A JP2006510592A JP4370410B2 JP 4370410 B2 JP4370410 B2 JP 4370410B2 JP 2006510592 A JP2006510592 A JP 2006510592A JP 2006510592 A JP2006510592 A JP 2006510592A JP 4370410 B2 JP4370410 B2 JP 4370410B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- information
- user
- utterance data
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002452 interceptive effect Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 description 29
- 230000003993 interaction Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 208000003443 Unconsciousness Diseases 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Machine Translation (AREA)
Description
アンコンシャス型の生活支援ロボットシステムは、快適な環境の維持やユーザの活動支援のために、各種のセンサ情報にもとづいて環境やユーザの行動を推論し、ネットワークで接続されたアプライアンス(通信機能を備えた家電機器)、情報端末装置などを制御してサービスを提供するものである。
例えば、生活支援ロボットシステムは、センサ情報をもとにユーザの動作・姿勢、部屋の状況を分析してユーザがリラックスした状態であると推論すると、アプライアンスの一つであるオーディオシステムによってユーザの嗜好にあった音楽を流したり、または、エアコンによって室内の温湿度を維持して、ユーザがこれらのアプライアンスを意識的に操作することなく快適な生活環境を実現できるようにする。
アンコンシャス型の生活支援ロボットシステムは、ユーザがアプライアンスを意識的に操作する必要がない点で便利である。しかし、生活支援ロボットシステムが自律的制御によって提供しているサービスが、常に、ユーザに受け入れられるとは限らないという事態が生ずることが予想される。
生活支援ロボットシステムが生活全般の支援を図るようになり、提供するサービスがより高度化・多機能化し、アプライアンスの動作原理も複雑化してくると考えられる。そのため、生活支援ロボットシステムの自律的制御だけでは、ユーザ個々の要求に対応しきれなくなる可能性がある。
また、アンコンシャスであること、すなわちユーザに意識的な操作を要求しないという生活支援ロボットシステムの仕組みは、システムの存在を認識しにくいものにするため、ユーザに気味悪さを感じさせる原因にもなりうる。
例えば、生活支援ロボットシステムが自律的に実行するサービスが、あるユーザにとって快適であっても、別のユーザにとっては不快なものとなるような状況や、実行されたサービスが、ユーザにとってはかえって迷惑であると考えるような状況などが生じることが予想される。このような場合に、ユーザは、違うサービスを実行してもらいたいと考えたり、サービス実行の理由を知りたいという要求があるので、生活支援ロボットシステムは、このような不満や疑問を解消する必要がある。
さらに、生活支援ロボットシステムが蓄積している情報以外の事柄についても、ユーザが知りたい場合がある。例えば、ユーザ自らがアプライアンスを操作したい場合に、アプライアンスそれぞれの高度化した機能を十分に使いこなすように操作できないような状況が生じることも予想される。このような場合に、ユーザは、生活支援ロボットシステムではカバーしていないような詳細な情報を知りたいと考えるので、対話ロボットにおいて、このような情報の提供をする必要がある。
このように、アンコンシャス型の生活支援ロボットシステムは、様々な状況にも柔軟に対応できるような普遍的なユーザインタフェースとして、高度な状況対応処理能力を備え、かつユーザに親近感を抱かせるような対話システムを備える必要がある。
本発明は、かかる必要性に鑑みてなされたものであり、その目的は、生活支援ロボットシステムのユーザインタフェースとして、ユーザの曖昧な要求をより正確に受け取ってシステムの制御に反映させ、またシステムの制御状況をより的確に理解してもらえるように、ユーザにとって有用なサービスや情報を提供できるような対話ロボット、および前記対話ロボットを用いた対話システムを実現することである。
本発明は、ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと、前記生活支援ロボットシステムと協働して対話ロボットの音声によりユーザと対話する対話システムである。
対話システムを構成する前記生活支援ロボットシステムは、1)所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、2)前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備える。
また、前記対話ロボットは、1)概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、2)当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、3)ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、4)前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、5)前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、6)前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える。
対話ロボットは、対話ロボットが、ユーザの会話に参加したり問いかけたりして、ユーザを自己の対話に引き込むために、「連想しりとり」行動仮説にもとづいて対話を生成する処理に用いる連想情報を蓄積する対話戦略データベースを備える。また、対話ロボットは、状況情報取得手段により、前記生活支援ロボットシステムの分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する。
対話ロボットの対話制御手段では、前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択する。また、前記対話戦略データベースの連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する。そして、音声合成手段により、生成されたロボット発話データを音声データに変換して発話する。
その後、音声認識手段により、ユーザの音声データの内容を認識してユーザ発話データに変換する。対話制御手段では、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する。そして、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する。
これにより、対話システムでは、対話ロボットにより、ユーザの状況にもとづいて選択したサービスをユーザに認知させ提供するための音声による問いかけを行い、ユーザの応答がロボットとの対話への引き込みとなっている場合に、サービスの実行要求を生活支援ロボットシステムもしくはアプライアンスに送信することにより、潜在していたサービスをユーザに提供できるようになる。
または、対話ロボットは、音声認識手段により、ユーザの音声データの内容を認識してユーザ発話データに変換する。そして、対話制御手段では、前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する。そして、音声合成手段により、生成されたロボット発話データを音声データに変換して発話する。
その後、音声認識手段により、ロボット発話データに対するユーザの音声データの内容を認識してユーザ発話データに変換する。そして、対話制御手段では、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する。前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連していると判定した場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する。
これにより、対話システムでは、対話ロボットにより、ユーザの会話の文脈やユーザの状況にもとづいて選択したサービスをユーザに提供するために、音声によりユーザの会話へ割り込み、ユーザの応答がロボットとの対話への引き込みとなっている場合に、サービスの実行要求を生活支援ロボットシステムもしくはアプライアンスへ送信することにより、曖昧であったサービスをユーザに提供できるようになる。
さらに、対話システムの対話ロボットは、上記の構成をとる場合に、アプライアンスまたは前記アプライアンスで実行されるサービスに関する知識情報を蓄積する知識データベースを備え、前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する。
さらに、対話システムの対話ロボットは、上記の構成をとる場合に、所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える。
これにより、サービスの提供に関連して、そのサービスやサービスを実行するアプライアンスに関する知識情報をユーザに提供できるようになる。
また、対話システムの対話ロボットは、対話制御手段で選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、ユーザの状況や選択されたサービスに関する情報を送受信するロボット間通信手段を備える。
これにより、対話ロボット同士が連携して、ユーザにサービスを提供できるようになる。
このように、アンコンシャス型の生活支援ロボットシステムの自律的な制御についてユーザが疑問や不満などを感じるような状況が生じている場合に、ビジブル型の対話ロボットは、ユーザの会話から、そのような疑問・不満を認識してユーザに問いかけることにより、生活支援ロボットシステムから制御の理由を得てユーザに説明することができる。ユーザは、生活支援ロボットシステムの自律動作に特有の不気味さや不満を解消することができる。
また、ユーザが曖昧な要求や潜在的な要求を持っている場合に、対話ロボットは、ユーザとの対話を進めて、潜在的な要求に生活支援ロボットシステムが対応できることをユーザに気がつかせることができる。さらには、ユーザの曖昧な要求を具体化して、生活支援ロボットシステムにサービス実行を依頼することができる。これにより、ユーザ生活支援ロボットシステムは、より柔軟で高度なサービス制御を実現することができる。
特に、本発明によれば、アンコンシャス型の生活支援ロボットシステムとユーザとの対話を、ユーザが実体として認識できるビジブル型の対話ロボットを通じて行うことにより、ユーザが違和感を感じない自然なインタフェースを実現することができる。
さらには、本発明によれば、生活支援ロボットシステムを共有する家族などの複数のユーザが、対話ロボットと同時に対話することが可能である。ビジブル型の対話ロボットを媒介としてユーザ同士が話題を共有することになり、生活支援ロボットシステムに対する個々のユーザの孤立感を解消する一助になる。
第2図は、生活支援ロボットシステムおよび対話ロボットの構成例を示す図である。
第3図は、分散環境行動データベースの構成例を示す図である。
第4図は、ユーザの会話からサービスを選択する場合の対話ロボットの処理の流れの一例を示す図である。
第5図は、ユーザの状況からサービスを選択する場合の対話ロボットの処理の流れの一例を示す図である。
第6図は、ユーザの会話からサービスに関連する知識情報を提供する場合の対話ロボットの処理の流れの一例を示す図である。
第1図は、本発明の対話システムの構成例を示す図である。本実施例において、対話システムは、複数のユーザ3(3a、3b、3c)で構成される一家族の住宅(居住空間)に適用されたアンコンシャス型の生活支援ロボットシステム(以下、ロボットシステムとする)1と、ビジブル型の対話ロボット2で構成される。
ロボットシステム1は、ユビキタス環境を利用して、居住空間全体をモニタリングして、通信機能を持つ家電機器(アプライアンス)4によるサービスを実行して、自律的にユーザ3の生活を支援する。
対話ロボット2は、ユーザ3の居住空間内に設置される。対話ロボット2は、自律的に移動できる機能を備えて、ユーザ3の居住空間内を自由に移動できるように構成されてもよい。
また、対話ロボット2は、システムとしての実体は一つであるが、同一構成の処理手段を備えた複数の筐体を持つようにしてもよい。筐体は、例えば卓上に設置可能な程度の大きさとする。対話ロボット2が複数の筐体を持つ場合には、居住空間内の各部屋に設置された対話ロボット2のうち音声データを検出した筐体における処理手段が対話ロボット2としての処理動作を開始する。処理が継続している最中に、対話相手となるユーザが移動したり、離れた場所にいるユーザとの対話が必要となった場合には、対話相手と最も近い場所に設定された筐体の処理手段が処理を引き継ぐことにより、一つの処理動作の流れを複数筐体によって連携できるようにする。
本発明の対話システムは、アンコンシャス型の生活支援ロボットシステム1とビジブル型の対話ロボット2との分散協働を図るものである。このような分散協働は、いわば母親と子供との関係のメタファに例えることができる。
アンコンシャス型の生活支援ロボットシステム1が組み込まれたユーザの生活空間全体を「母親メタファ」とする。すなわち、いつも家の中にいて家族を見守り、必要なときにはどこからともなく現れて、さりげなく家族を支援してくれる存在に例える。そして、ユーザ3との対話を受け持つ対話ロボット2を、「子供メタファ」とする。対話ロボット2を、一般的な社会常識を持つには至らないが、家庭のような小さな生活環境を共有する特定のユーザの嗜好やユーザ同士の関係をある程度理解することができ、家族(ユーザ)からかまわれたいと欲し、また興味を持つ事柄については高度な知識を獲得しうるような存在に例える。
子供メタファの対話ロボット2は、母親メタファの生活支援ロボットシステム1と連携して、ユーザ3にとっても母親のような存在である生活支援ロボットシステム1とユーザとの関係を円滑にするために、家族間に積極的に参加して、母親の存在を身近に感じさせるような、いわば「末っ子」の役割を担うと考えられる。
対話ロボット2の音声によるヒューマンインタフェースの自然さは、音声認識における自然言語処理能力にもとづいている。しかし、音声認識能力が、ユーザ3と対話を自然に続けていくのに十分でない場合がある。したがって、ユーザ3が、対話ロボット2の対話能力が劣っていることをしっかりとしたメンタルモデルとして理解できるようにする必要がある。そこで、認知科学、教育心理学、発達心理学での分野での知見をおおいに参考にして、対話ロボット2の対話能力に3歳児程度の能力というアフォーダンスを付与する。そのために、対話制御において「連想しりとり」行動仮説を採用した。
「連想しりとり」とは、対話において、発話文の文脈と概念的に関連する別の概念を示す言語表現を用いて応答し、さらにこの応答文に対する応答文(発話文)の文脈と概念的に関連する別の概念を示す言語表現を用いて応答するという行為を連続していく行動仮説である。
すなわち、大人の会話の中から自分の知識に合致する言葉を捉えて、その会話に割り込もうとする幼児の行動は日常的に観察されるものである。このとき、幼児は、精一杯の連想や推論を働かせつつ、自分の知識の中から話題を提供して、大人を自分の話題に引き込もうとする。そして、大人の反応が自分の提供した話題を受けた内容となっているとき、いわば、連想的な意味でのしりとりとなっているとき、話題の引き込みに成功したと判断して、自分の知識を提供することにより、その話題を継続していく。
本例では、対話ロボット2のアフォーダンスを3歳児程度であると位置づけて対話制御する一方で、ユーザ3に対して提供する情報として、例えばアプライアンス4のマニュアル情報、サービスに関する詳細情報などの専門的な情報を提供できるようにする。対話ロボット2は、ユーザの居住空間の状況に関する状況情報、知識データベースの知識情報、外部の情報サーバなどから取得する情報などを蓄積し、ユーザの対話の主題に応じて、ユーザ3が気がつかなかった状況や、アプライアンス4についての専門的な知識を提供することが可能となる。これにより、対話ロボット2のアフォーダンスとして、いわゆる「おたく」的な存在が形成される。
これらにより、対話ロボット2は、「親しみやすく、役に立つ存在」であるというイメージをユーザ3に与えやすくする。
第2図は、生活支援ロボットシステム1および対話ロボット2の構成例を示す図である。
ロボットシステム1は、推論システム11、センサ12、分散環境行動データベース13、イベント検出装置15、サービス履歴データベース17などによって構成されている。
推論システム11は、知識データベースを備え、イベント検出装置15がイベントを検出すると、分散環境行動データベース13からコンテキストを取得して、居住空間内の環境、ユーザ3の動作、ユーザ3同士の相互作用(インタラクション)、ユーザ3と物との相互作用などを分析し、分析結果からユーザの行動を推論し、結論に従って実行するサービスを決定して、該当するアプライアンス4を制御する処理システムである。推論システム11における分析結果や推論結果は、分散環境行動データベース13に随時蓄積される。
センサ12は、通信機能を備えて、ユーザ3の居住空間内の種々のデータを計測・収集し、収集したセンサ情報を分散環境行動データベース13に送信する処理手段である。センサ12は、例えば、TVカメラ、マイク、床センサ、RFIDタグ用モニタ、アプライアンス4の内部センサなどである。
センサ情報は、例えば、画像データ、音声データ、圧力遷移データ、IDタグデータなどのデータである。ユーザ3が所有する物や居住空間に存在する物には、非接触型電波方式認識用の識別情報が格納されたIDタグ、例えばRFID(Radio Frequency Identification)タグが付与されているとする。
分散環境行動データベース13は、センサ12から取得したセンサ情報、推論システム11で分析もしくは推論された結果を蓄積し管理するデータベースシステムである。
第3図に、分散環境行動データベース13の構成例を示す。
分散環境行動データベース13は、分散センサ情報データベース131、分散環境情報データベース132、分散動作情報データベース133、分散行動情報データベース134、人−物インタラクションデータベース135、人−人インタラクションデータベース136、固有情報データベース137などのデータベースシステムによって構成される。
分散センサ情報データベース131は、所定の時刻や契機ごとにセンサ12から送信された各種のセンサ情報を蓄積するデータベースである。
分散環境情報データベース132は、物の位置、姿勢、居住空間の温湿度、アプライアンス4の内部状態などの環境情報を蓄積するデータベースである。
例えば、ユーザ3xが勉強机に向かって本を読んでいる場合に、センサ12で計測されたセンサ情報(時刻、IDデータ、位置、画像データ、圧力データ、サービス実行部の内部センサ情報など)が推論システム11で分析され、以下のような環境情報が生成されて蓄積される。
「時刻、本のIDデータ、位置、状態(手に持たれている状態)、
時刻、勉強机の電灯のIDデータ、位置、状態(点灯中)、
時刻、勉強机の椅子のIDデータ、位置、状態(使用中)、…。」
分散動作情報データベース133は、ユーザ3の位置、姿勢などを示す動作情報を蓄積するデータベースである。例えば、上記の例の場合に、センサ情報が推論システム11で分析され、以下のような動作情報が蓄積される。
「時刻、ユーザ3xのIDデータ、位置、姿勢(座位)、…」。
人−物インタラクションデータベース135は、人−物インタラクション情報を蓄積するデータベースである。人−物インタラクション情報は、相互作用が生じているユーザと物との組み合わせを示す情報である。例えば、上記の例の場合に、推論システム11で環境情報および動作情報が分析され、以下のような人−物インタラクション情報が蓄積される。
「人−物インタラクション0001:ユーザ3x、本、勉強机、勉強机の椅子、電灯、…。」
人−人インタラクションデータベース136は、人−人インタラクション情報を蓄積するデータベースである。人−人インタラクション情報は、インタラクションが生じているユーザ同士の組み合わせを示す情報である。例えば、ユーザ3a(父親)とユーザ3b(娘)がソファに座って一緒にテレビを見ているとする。推論システム11で二人の動作情報(位置や姿勢など)から相互作用が分析されて、以下のような人−人インタラクション情報が蓄積される。
「人−人インタラクション0011:ユーザ3a、ユーザ3b」。
分散行動情報データベース134は、ユーザ3の行動を示す行動情報を蓄積するデータベースである。例えば、上記のユーザ3xの例の場合に、推論システム11で環境情報、動作情報、人−物インタラクション情報、人−人インタラクション情報などから行動情報が推論され、以下のような行動情報が蓄積される。
「ユーザ3x:読書中、勉強中、…」。
固有情報データベース137は、ユーザ3ごとの属性を示す固有情報を蓄積するデータベースである。固有情報は、ユーザ3の身体的特徴、性別などの他、推論システム11によって推論された特性などの情報を含む。推論システム11では、センサ12で取得された、対話ロボット2とユーザ3との対話の音声データから、ユーザ3の対話の傾向などを推論し、推論結果は固有情報として蓄積される。
イベント検出装置15は、分散環境行動データベース13の情報の更新や、対話ロボット2からのサービス実行要求を検出すると、推論システム11にイベント検出を通知する処理装置である。
アプライアンス4は、データ送受信機能を備えて、推論システム11からの制御により、もしくはユーザ自身の操作により、所定のサービスを実行する家電機器である。
サービス履歴データベース17は、推論システム11によって実行されたサービスの履歴情報を蓄積するデータベースである。推論システム11は、推論処理においてサービス履歴データベース17の情報も参照する。
分散環境行動データベース13、サービス履歴データベース17、状況情報取得部25、および状況記憶部26をまとめて分散環境行動データベース13−1として構成することもできる。
なお、ロボットシステム1の推論システム11、分散環境行動データベース13、イベント検出装置15、サービス履歴データベース17は、既知の処理手段もしくは装置を用いて実施することが可能である。
対話ロボット2は、音声認識部21、音声合成部22、対話制御部23、対話戦略データベース24、状況情報取得部25、状況記憶部26、知識情報取得部27、知識データベース28、実行要求部29、ロボット間通信部210などで構成されている。
音声認識部21は、ユーザ3が発話した音声データを入力し、入力した音声データの内容を認識してユーザ発話データ(発話文データ)に変換する処理手段である。
音声合成部22は、対話制御部23によって生成されたロボット発話データ(ユーザの会話に対する応答文データ、ユーザへの問いかけのための発話文データなど)を音声データに変換して発話する処理手段である。
対話制御部23は、状況記憶部26に格納された情報から環境やユーザ3の状況を解析し、解析した状況にもとづいてユーザ3に提供するサービスを選択し、対話戦略データベース24の連想情報にもとづいてユーザの状況と関連する概念を特定し、その概念を示す言語表現を用いてロボット発話データを生成する処理と、生成したロボット発話データに対してユーザが応答したユーザ発話データ(応答文データ)の文脈を推論し、対話戦略データベース24の連想情報を参照してユーザ発話データの文脈がロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う処理手段である。
また、対話制御部23は、ユーザ発話データの文脈とロボット発話データの文脈とが関連すると判定した場合に、知識データベース28から、選択したサービスに関する知識情報を抽出し、抽出した知識情報を用いてロボット発話データを生成する。
対話戦略データベース24は、対話ロボット2がユーザ3との対話を推論してユーザ3を自己の対話へ引き込むための応答を「連想しりとり」により生成するための連想情報を、蓄積するデータベースである。
連想情報は、対話の文脈から抽出される主題となる概念について、概念同士の関連の度合いを記述する情報である。連想情報は、前記概念同士の同義性、類義性、または共起性の度合いを示す情報を用いている。連想情報は、対話ロボット2に設定されるアフォーダンスを考慮して付与される。例えば、対話ロボット2に、”3歳児”のアフォーダンスを設定する場合には、3歳児の推論や連想の能力に対応させた概念モデルにもとづいて概念および連想情報を定義する。
状況情報取得部25は、分散環境行動データベース13から、環境情報、動作情報、行動情報、固有情報などの情報を取得し、状況記憶部26に格納する処理手段である。
知識情報取得部27は、所定の通信プロトコル、例えばTCP/IPなどによりネットワーク8上の情報サーバ9から選択されたサービスに関する知識情報を取得し、知識データベース28に蓄積する処理手段である。これにより、ロボットシステム1で蓄積された情報以外に、ネットワーク8上に存在する大量かつ多様な情報にアクセスすることが可能となり、ユーザ3に専門的な情報や最新の情報などを提供することができる。知識データベース28には、例えば、アプライアンス4またはアプライアンス4で実行されるサービスに関連する情報が蓄積される。
知識データベース28は、アプライアンス4またはアプライアンス4で実行されるサービスに関する知識情報、例えば、アプライアンスのマニュアル情報などを蓄積するデータベースである。
実行要求部29は、対話制御部23が選択したサービス実行要求をロボットシステム1へ送信する処理手段である。また、実行要求部29は、アプライアンス4へ直接サービス実行要求を送信してもよい。
ロボット間通信部210は、対話制御部23で選択されたサービスとして、ロボットシステム1以外のロボットシステム1’と協働する別の対話ロボット2’と、所定の通信プロトコルにより、ユーザ3の状況や選択されたサービスに関する情報を送受信する処理手段である。
本例では、対話ロボット2の音声認識部21、音声合成部22、対話制御部23は、擬人化音声対話エージェントツールキット(Galatea Toolkit)により実現する(例えば、http://hil.t.u−tokyo.ac.jp/〜galatea/galatea−jp.html、Prendinger,Helmut;Ishizuka,Mitsuru(Eds.);”Life−Like Characters Tools,Affective Functions,and Applications Series:Cognitive Technologies”;pp.187−213;2004;ISBN:3−540−00867−5参照)。
以下、本発明の処理の流れを、いくつかの場合に分けて説明する。
〔ユーザの会話からサービスを提案する場合〕
第4図は、ユーザの会話からサービスを選択する場合の対話ロボットの処理の流れを示す図である。対話ロボット2は、ユーザ3同士の会話を検出し、適切なサービスを提案する場合は、以下のような処理を行う。
ステップS1:音声データ認識処理
対話ロボット2の音声認識部21により、ユーザ3同士の会話を検出してユーザの発話を入力し、その音声データを認識してユーザ発話データに変換する。
ステップS2:状況情報取得処理
並行して、状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS3:対話・状況推論処理
対話制御部23では、ユーザ発話データ(ユーザの会話)を解析して文脈を推論する。そして、ユーザ発話データの文脈および状況情報をもとにユーザの状況を推論し、実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ発話データの文脈から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(対話ロボットの応答)を作成する。
ステップS4:音声合成処理
そして、音声合成部22により、ロボット発話データを音声合成して、ユーザ3に応答する。
ステップS5:音声データ認識処理
音声認識部21で、ステップS4で発話した応答に対するユーザ3の音声データを入すると、この音声データを音声認識して、新たなユーザ発話データ(ユーザの新たな発話)に変換する。
ステップS6:対話引き込み判定処理
対話制御部23では、新たなユーザ発話データの文脈を推論し、ユーザ3を対話に引き込むことができたか否かを判定する。対話引き込みの判定では、新たなユーザ発話データの文脈が、抽出した概念の連想情報の範囲内である場合、またはロボット発話データ(応答)に対する承諾である場合に、対話引き込みに成功したと判定する。そして、実行するサービスが特定されていれば、ステップS7の処理へ進み、実行するサービスが特定されていなければ、応答文データを作成して(ステップS6−2)、ステップS4の処理へ進む。
また、新たなユーザ発話データの文脈が抽出した概念の連想情報の範囲外である場合、またはロボット発話データ(応答)に対する不承諾である場合に、対話引き込みに失敗したと判定する。この場合、連想情報を参照して別の概念を抽出し、新しい連想によって話題を修正し(ステップS6−1)、修正した話題を示す言語表現を用いて応答文データを生成し(ステップS6−2)、ステップS4の処理へ進む。
なお、対話制御部23では、音声認識部21から、所定時間内に応答文データを受け取らなかった場合に、対話引き込みに失敗したと判定する。
ステップS7:サービス実行処理
実行要求部29では、選択されたサービスの実行要求をロボットシステム1に送信する。または、該当するアプライアンス4へ直接送信する。
〔ユーザの状況からサービスを提案する場合〕
第5図は、ユーザの状況からサービスを選択する場合の対話ロボットの処理の流れを示す図である。対話ロボット2は、ロボットシステム1から取得したユーザ3の状況にもとづいて適切なサービスを選択する場合は、以下のような処理を行う。
ステップS11: 対話ロボット2の状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS12: 対話制御部23では、状況記憶部26の状況情報からユーザ3の状況を解析し、実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ3の状況から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(対話ロボットの問いかけ)を作成する。
ステップS13: そして、音声合成部22により、ロボット発話データを音声合成して、ユーザ3に発話する。
ステップS14: 音声認識部21では、ロボット発話データに対するユーザ3の応答の音声データを入力し、その音声データを認識してユーザ発話データ(ユーザの応答)に変換する。
ステップS15: 対話制御部23では、ユーザの応答の文脈を推論し、ユーザ3の対話引き込みに成功したかどうかを判定する。対話引き込みに成功したと判定した場合には、実行するサービスが特定されていればステップS16の処理へ進み、実行するサービスが未特定であれば応答文データを作成して(ステップS15−2)、ステップS13の処理へ進む。一方、対話引き込みに失敗した場合には、新しい連想によって話題を修正し(ステップS15−1)、応答文データを作成して(ステップS15−2)、ステップS13の処理へ進む。
ステップS16: そして、対話引き込みに成功した場合には、実行要求部29により、選択されたサービスの実行要求をロボットシステム1または該当するアプライアンス4へ送信する。
〔ユーザの会話から情報を提供する場合〕
第6図は、ユーザの会話からサービスに関連する知識情報を提供する場合の対話ロボットの処理の流れを示す図である。
ステップS21: 対話ロボット2は、音声認識部21により、ユーザ3同士の会話を検出してユーザの発話の音声データを入力し、その音声データを認識してユーザ発話データ(ユーザの会話)に変換する。
ステップS22: 並行して、状況情報取得部25では、分散環境行動データベース13から所定の状況情報を取得して状況記憶部26に格納する。
ステップS23: 対話制御部23では、状況情報からユーザ3の状況およびユーザ3の会話の文脈をそれぞれ解析する。そして、ユーザ3の会話の文脈および状況をもとに実行可能なサービスの中から最適なサービスを選択する。さらに、対話戦略データベース24の連想情報を参照して、ユーザ3の会話の文脈から連想される概念を抽出し、この概念を示す言語表現を用いてロボット発話データ(ロボットの応答)を作成する。
ステップS24: 音声合成部22により、ロボット発話データを音声合成して、ユーザ3に応答する。
ステップS25: 音声認識部21で、ステップS24で発話した応答に対するユーザ3の音声データを入力し、音声データを音声認識して、新たなユーザ発話データ(ユーザの応答)に変換する。
ステップS26: 対話制御部23では、新たなユーザの応答の文脈を推論し、ユーザ3の対話引き込みに成功したかどうかを判定する。対話引き込みに成功したと判定した場合には、実行するサービスが特定されていればステップS27の処理へ進み、実行するサービスが未特定であれば応答文データを作成して(ステップS26−2)、ステップS24の処理へ進む。一方、対話引き込みに失敗した場合には、新しい連想によって話題を修正し(ステップS26−1)、応答文データを作成して(ステップS26−2)、ステップS24の処理へ進む。
ステップS27: そして、対話引き込みに成功した場合には、対話制御部23では、知識データベース28から選択したサービスに関連する知識情報を抽出する。
ステップS28: さらに、対話制御部23は、抽出した知識情報を用いてロボット発話データ(知識情報の提供)を生成する。
ステップS29: 音声合成部22では、ロボット発話データを音声合成して発話する。なお、音声合成部22では、直接、抽出された知識情報を音声データに変換して発話するようにしてもよい。
以上で説明した処理例は、いずれかの処理を組み合わせて処理されてもよい。また、各処理例において、対話制御部23は、実行要求部29によりサービスの実行要求を送信する前に、実行するサービスの許否を問い合わせるロボット発話データを生成し、ユーザに問い合わせるようにしてもよい。
また、サービスの実行や知識情報の提供において、別のロボットシステム1’と協働する対話ロボット2’との連携が必要となった場合には、ロボット間通信部210では、ユーザ3の状況や選択されたサービスに関する情報の送受信を行う。
以下、本発明の具体例を説明する。
第1の具体例では、第1図に示すように、ユーザ3a(父親)とユーザ3b(娘)とが居間(room1)で会話をしているとする。
対話ロボット2の音声認識部21では、居間でユーザ同士(父親と娘)が、以下のような会話している音声を入力し、音声データを音声認識して発話文データに変換する。
父親の発話: 「コトシノハンシンハ、…。」
娘の発話: 「…カツ…。」
また、状況情報取得部25は、分散環境行動データベース13から、固有情報、環境情報、行動情報などの所定の情報を取得して状況記憶部26に格納する。
対話制御部23は、これらの情報により、ユーザ3a(父親)とユーザ3b(娘)が居間(room1)でくつろいで会話している状況、ユーザ3c(母親)が台所(room2)で後片付け中である状況などがわかる。
また、対話制御部23は、音声認識されたユーザの発話文データの文脈を推論する。発話文データに含まれる<ハンシン、カツ>が<阪神、勝つ>であると分析し、会話の主題の概念が<野球>であると推論する。そして、対話戦略データベース24の連想情報を参照して、概念<野球>、関連の度合いが強い概念<プロ野球>を特定する。そして、ユーザ3の会話の文脈や状況から、<電子テレビ番組表から野球中継番組抽出>、<野球中継番組があればテレビをつける>というサービスを選択する。
また、特定した概念を表す言語表現(例えば、野球)を用いて、ロボット発話データ「野球の話?」を生成する。音声合成部22では、このデータを音声合成して発話する。これにより、対話ロボット2は、「野球の話?」と問いかけて、父親と娘の会話に参加する。
音声認識部21は、引き続きロボット発話データに対するユーザの発話があるかどうかを検出する。ユーザが発話していれば、その音声データを認識して新たなユーザ発話データに変換する。対話制御部23は、例えば、新たなユーザの発話が「プロ野球よ。」であれば、その文脈は連想される範囲内であるとして、ユーザ3を対話に引き込むことに成功したと判断する。また、新たなユーザの発話が「そうだよ。」であれば、その文脈が肯定的な返事であるとして、対話の引き込みに成功したと判断する。
一方、新たなユーザの発話が「デパートよ。」であれば、その文脈は連想される範囲内ではなく、肯定的な返事のいずれでもないので、対話への引き込みに失敗したと判断する。そして、対話制御部23は、対話の引き込みに成功したと判断した場合には、選択したサービスを実行する。ここでは、知識データベース28で電子テレビ番組表を検索する。
ここで、知識データベース28に電子テレビ番組表が蓄積されていなければ、知識情報取得部27は、電子テレビ番組表を提供する情報サーバ9のURLを知識データベース28から取得し、ネットワーク8を通じて情報サーバ9から電子テレビ番組表を取得し、知識データベース28に蓄積する。
対話制御部23は、知識データベース28に蓄積されたテレビ番組表から野球中継番組の情報を抽出し、例えば、「阪神−中日戦」試合の中継番組が現在放送中であることがわかるとする。対話制御部23は、この野球中継番組の情報(知識情報)から、新たなロボット発話データ「今、阪神と中日の試合をやっているよ。」を生成する。
また、対話制御部23は、状況記憶部26に格納された情報から、ユーザ3c(母親)が阪神のファンであるという固有情報を抽出する。この固有情報(状況情報)から、新たなロボット発話データ「お母さんも好きだよね。」を生成する。
さらに、実行要求部29では、選択されたサービスの実行要求をロボットシステム1へ送信する。ロボットシステム1のイベント検出装置15では、対話ロボット2からのサービス実行要求を検出して、推論システム11へ通知する。
第2の具体例では、ユーザ3c(母親)が、食事の後片付け中にアプライアンス4の一つである食器洗い機が作動せずに困っている状況であるとする。
台所(room2)の対話ロボット2の状況情報取得部25は、分散環境行動データベース13から所定の情報を取得し、状況記憶部26に格納する。
対話制御部23は、状況記憶部26に格納された情報から、状況を解析し、<故障原因を調べて通知する>というサービスを選択する。
また、対話戦略データベース24を参照して、状況から連想される言語表現を用いてロボット発話データ「食器洗い機が、変なの?」を生成し、音声合成部22により音声合成して問いかける。
その後に、対話ロボット2の音声認識部21で、ロボットとの問いかけに対する応答「どうしてかしら。」を入力すると、対話制御部23では、母親の応答の文脈から、対話引き込みに成功したと判定し、選択したサービスを実行する。
すなわち、対話制御部23は、状況記憶部26の環境情報から食器洗い機の状態を取得する。知識情報取得部27は、知識データベース28から該当するアプライアンス(食器洗い機)4の製造元の情報サーバ9のURLを取得し、その製造元の情報サーバ9から、食器洗い機の状態をキーに故障原因に関する情報を取得する。対話制御部23は、故障原因に関する情報(知識情報)をもとにロボット発話データ「故障の原因がわかったよ。…」を作成し、音声合成部22での音声合成により発話する。
第3の具体例では、別の居住空間で別の生活支援ロボットシステム1’および対話ロボット2’が設定されているとする。
対話ロボット2は、ユーザ3x(結婚して独立した娘)との対話から、娘がユーザ3y(母親)の助言を必要としている状況であると推論し、サービス<母親のテレビ電話を娘へつなぐ>を選択したとする。対話ロボット2の対話制御部23で、対話引き込みが成功したと判定すると、ロボット間通信部210は、対話ロボット2’のロボット間通信部210’へサービス実行要求を送信する。
対話ロボット2’は、ユーザ3y(母親)へ、ロボット発話データ「○○さんが、連絡を待ってるよ。」と発話して、アプライアンス(テレビ電話)4に、ユーザ3xの電話番号と通話指示を送信する。
以上の説明のように、本発明は、対話ロボット2が、ユーザ同士の会話やユーザの状況を「連想しりとり」行動仮説にもとづいて推論してユーザと対話を進めることにより、ロボットシステム1で提供できるサービスであってユーザが気がついていなかったサービスや関連する知識情報を、ユーザの状況に応じて提供することができる。
本発明の対話ロボット2は、コンピュータによって読み取られインストールされて実行されるプログラムとして実現することも可能である。本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供される。
Claims (22)
- ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと、前記生活支援ロボットシステムと協働して対話ロボットの音声によりユーザと対話する対話システムであって、
前記生活支援ロボットシステムは、
所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、
前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備え、
前記対話ロボットは、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話システム。 - 前記対話ロボットは、
前記生活支援ロボットシステムと独立した実体的な装置として構成される
ことを特徴とする請求の範囲第1項に記載の対話システム。 - 前記対話ロボットは、
前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第1項に記載の対話システム。 - 前記対話ロボットは、
アプライアンスまたは前記アプライアンスで実行されるサービスに関する知識情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第1項に記載の対話システム。 - 前記対話ロボットは、
所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第4項に記載の対話システム。 - ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと、前記生活支援ロボットシステムと協働して対話ロボットの音声によりユーザと対話する対話システムであって、
前記生活支援ロボットシステムは、
所定の空間内で計測されたセンサ情報をもとに前記空間内の環境とユーザの行動とを推論してアプライアンスを制御する推論システムと、
前記推論システムによる推論結果である環境情報および行動情報を蓄積する分散環境行動データベースとを備え、
前記対話ロボットは、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
前記分散環境行動データベースから前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話システム。 - 前記対話ロボットは、
前記生活支援ロボットシステムと独立した実体的な装置として構成される
ことを特徴とする請求の範囲第6項に記載の対話システム。 - 前記対話ロボットは、
前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第6項に記載の対話システム。 - 前記対話ロボットは、
アプライアンスまたは前記アプライアンスで実行されるサービスに関する情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第6項に記載の対話システム。 - 前記対話ロボットは、
所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第9項に記載の対話システム。 - ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと協働して、ユーザと音声により対話を行う対話ロボットであって、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
生活支援ロボットシステムにおいて所定の空間内で計測されたセンサ情報から推論された環境情報および行動情報を蓄積する分散環境行動データベースから、前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記環境情報および行動情報からユーザの状況を解析し、前記状況にもとづいて前記ユーザに提供するサービスを選択し、前記連想情報にもとづいて前記状況と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対するユーザ発話データの文脈を推論し、前記連想情報を参照して前記ユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話ロボット。 - 前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第11項に記載の対話ロボット。 - アプライアンスまたは前記アプライアンスで実行されるサービスに関する知識情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記ユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第11項に記載の対話ロボット。 - 所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第13項に記載の対話ロボット。 - ユーザの生活を支援するためにサービスを実行するアプライアンスを自律的に制御する生活支援ロボットシステムと協働して、ユーザと音声により対話を行う対話ロボットであって、
概念同士の関連の度合いを記述する連想情報を蓄積する対話戦略データベースと、
当該対話ロボット内で生成されたロボット発話データを音声データに変換して発話する音声合成手段と、
ユーザの音声データの内容を認識してユーザ発話データに変換する音声認識手段と、
生活支援ロボットシステムにおいて所定の空間内で計測されたセンサ情報から推論された環境情報および行動情報を蓄積する分散環境行動データベースから、前記環境情報および行動情報を取得して状況記憶手段に格納する状況情報取得手段と、
前記ユーザ発話データの文脈を解析し、前記環境情報および行動情報から状況を解析し、前記ユーザ発話データの文脈および状況にもとづいてユーザに提供するサービスを選択し、前記連想情報にもとづいて前記ユーザ発話データの文脈と関連する概念を特定し、前記概念を示す言語表現を用いてロボット発話データを生成する処理と、前記ロボット発話データに対する新たなユーザ発話データの文脈を推論し、前記連想情報を参照して前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と概念的に関連しているか否かを判定する処理とを行う対話制御手段と、
前記対話制御手段により前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定された場合に、前記サービスの実行要求を前記生活支援ロボットシステムもしくは前記アプライアンスへ送信する実行要求手段とを備える
ことを特徴とする対話ロボット。 - 前記選択されたサービスとして、他の対話ロボットと、所定の通信プロトコルにより、前記ユーザの状況または前記選択されたサービスに関する情報を送受信するロボット間通信手段を備える
ことを特徴とする請求の範囲第15項に記載の対話ロボット。 - アプライアンスまたは前記アプライアンスで実行されるサービスに関する情報を蓄積する知識データベースを備え、
前記対話制御手段は、前記新たなユーザ発話データの文脈が前記ロボット発話データの文脈と関連すると判定した場合に、前記知識データベースから前記選択されたサービスに関する知識情報を抽出し、前記抽出した知識情報を用いてロボット発話データを生成する
ことを特徴とする請求の範囲第15項に記載の対話ロボット。 - 所定の通信プロトコルによりネットワーク上の他の情報提供サーバから前記選択されたサービスに関する知識情報を取得し、前記知識データベースに蓄積する知識情報取得手段を備える
ことを特徴とする請求の範囲第17項に記載の対話ロボット。 - 請求の範囲第11項に記載の対話ロボットとして、コンピュータを機能させるための対話ロボットプログラム。
- 請求の範囲第15項に記載の対話ロボットとして、コンピュータを機能させるための対話ロボットプログラム。
- 請求の範囲第19項に記載の対話ロボットプログラムを格納した、コンピュータが読み取り可能な記録媒体。
- 請求の範囲第20項に記載の対話ロボットプログラムを格納した、コンピュータが読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2004/002942 WO2005086051A1 (ja) | 2004-03-08 | 2004-03-08 | 対話システム、対話ロボット、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005086051A1 JPWO2005086051A1 (ja) | 2008-01-24 |
JP4370410B2 true JP4370410B2 (ja) | 2009-11-25 |
Family
ID=34917844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006510592A Expired - Lifetime JP4370410B2 (ja) | 2004-03-08 | 2004-03-08 | 対話システム、対話ロボット、プログラム及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4370410B2 (ja) |
WO (1) | WO2005086051A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098573A1 (en) * | 2017-11-20 | 2019-05-23 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323233A (ja) * | 2006-05-31 | 2007-12-13 | National Institute Of Information & Communication Technology | 対話ロボットを用いた理由説明サービス処理方法およびその装置,およびそのプログラム |
JP4787813B2 (ja) * | 2007-12-07 | 2011-10-05 | 本田技研工業株式会社 | 検知対象検知システム |
JP2009269162A (ja) * | 2008-04-09 | 2009-11-19 | Yaskawa Electric Corp | ロボットの制御プログラム構築方法およびロボットシステム |
CN101973031B (zh) * | 2010-08-24 | 2013-07-24 | 中国科学院深圳先进技术研究院 | 云机器人***及实现方法 |
JP6125445B2 (ja) * | 2014-02-10 | 2017-05-10 | 日本電信電話株式会社 | ライフログ記録システム及びそのプログラム |
JP6305274B2 (ja) * | 2014-08-20 | 2018-04-04 | ヤフー株式会社 | 応答生成装置、応答生成方法及び応答生成プログラム |
CN104898589B (zh) * | 2015-03-26 | 2019-04-30 | 天脉聚源(北京)传媒科技有限公司 | 一种用于智能管家机器人的智能应答方法和装置 |
JP6726388B2 (ja) | 2016-03-16 | 2020-07-22 | 富士ゼロックス株式会社 | ロボット制御システム |
JP6402748B2 (ja) * | 2016-07-19 | 2018-10-10 | トヨタ自動車株式会社 | 音声対話装置および発話制御方法 |
JP6555757B2 (ja) * | 2016-11-07 | 2019-08-07 | Necプラットフォームズ株式会社 | 応対支援装置、方法、及びプログラム |
JP6795387B2 (ja) * | 2016-12-14 | 2020-12-02 | パナソニック株式会社 | 音声対話装置、音声対話方法、音声対話プログラム及びロボット |
JP2018126810A (ja) * | 2017-02-06 | 2018-08-16 | 川崎重工業株式会社 | ロボットシステム及びロボット対話方法 |
JP7024282B2 (ja) * | 2017-09-25 | 2022-02-24 | 富士フイルムビジネスイノベーション株式会社 | 自走式サービス提供装置及びサービス提供システム |
WO2019064650A1 (ja) * | 2017-09-28 | 2019-04-04 | 三菱自動車工業株式会社 | 車両用情報伝達支援システム |
KR20200069251A (ko) | 2018-12-06 | 2020-06-16 | 삼성전자주식회사 | 대화형 게임을 제공하는 전자 장치 및 그 동작 방법 |
WO2021174102A1 (en) * | 2020-02-29 | 2021-09-02 | Embodied, Inc. | Systems and methods for short- and long-term dialog management between a robot computing device/digital companion and a user |
WO2022049710A1 (ja) * | 2020-09-03 | 2022-03-10 | 日本電気株式会社 | サービス提供装置、サービス提供システム、サービス提供方法及び非一時的なコンピュータ可読媒体 |
US20230298568A1 (en) * | 2022-03-15 | 2023-09-21 | Drift.com, Inc. | Authoring content for a conversational bot |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002199470A (ja) * | 2000-12-25 | 2002-07-12 | Yoichi Sakai | 対話型仮想ロボットシステムによるホームオートメーション |
JP2003036091A (ja) * | 2001-07-23 | 2003-02-07 | Matsushita Electric Ind Co Ltd | 電化情報機器 |
KR100434545B1 (ko) * | 2002-03-15 | 2004-06-05 | 삼성전자주식회사 | 홈네트워크로 연결된 가전기기들을 제어하는 방법 및 장치 |
-
2004
- 2004-03-08 WO PCT/JP2004/002942 patent/WO2005086051A1/ja active Application Filing
- 2004-03-08 JP JP2006510592A patent/JP4370410B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098573A1 (en) * | 2017-11-20 | 2019-05-23 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
US11218429B2 (en) | 2017-11-20 | 2022-01-04 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
US11671386B2 (en) | 2017-11-20 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device and method for changing chatbot |
Also Published As
Publication number | Publication date |
---|---|
JPWO2005086051A1 (ja) | 2008-01-24 |
WO2005086051A1 (ja) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4370410B2 (ja) | 対話システム、対話ロボット、プログラム及び記録媒体 | |
KR102373905B1 (ko) | 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축 | |
US10224060B2 (en) | Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method | |
CN106257355B (zh) | 设备控制方法和控制器 | |
CN106297781B (zh) | 控制方法和控制器 | |
KR102599607B1 (ko) | 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트 특정 핫워드 | |
JP7250887B2 (ja) | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 | |
CN112136102B (zh) | 信息处理装置、信息处理方法以及信息处理*** | |
JP7491221B2 (ja) | 応答生成装置、応答生成方法及び応答生成プログラム | |
JP4710064B2 (ja) | スケジューリングシステム | |
JPWO2018043113A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6291303B2 (ja) | コミュニケーション支援ロボットシステム | |
WO2017141530A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020528158A (ja) | 検出されたイベントに関する情報を提供するための方法、システム、および媒体 | |
JP6559079B2 (ja) | 対話型家電システム、および発話者との対話に基づいてメッセージを出力するためにコンピュータが実行する方法 | |
JP2007011674A (ja) | 対話ロボットを用いた理由説明サービス処理方法およびその装置,およびそのプログラム | |
WO2020116026A1 (ja) | 応答処理装置、応答処理方法及び応答処理プログラム | |
JP2007323233A (ja) | 対話ロボットを用いた理由説明サービス処理方法およびその装置,およびそのプログラム | |
JPWO2017175442A1 (ja) | 情報処理装置、および情報処理方法 | |
Anbarasan et al. | Speech and gestures for smart-home control and interaction for older adults | |
JP6598369B2 (ja) | 音声管理サーバー装置 | |
Goetze et al. | Multimodal human-machine interaction for service robots in home-care environments | |
WO2020189340A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
Long et al. | AI and Design Opportunities for Smart Speakers | |
Ueda et al. | Human-robot interaction in the home ubiquitous network environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4370410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |