JPWO2019082630A1 - 情報処理装置、及び情報処理方法 - Google Patents
情報処理装置、及び情報処理方法 Download PDFInfo
- Publication number
- JPWO2019082630A1 JPWO2019082630A1 JP2019550944A JP2019550944A JPWO2019082630A1 JP WO2019082630 A1 JPWO2019082630 A1 JP WO2019082630A1 JP 2019550944 A JP2019550944 A JP 2019550944A JP 2019550944 A JP2019550944 A JP 2019550944A JP WO2019082630 A1 JPWO2019082630 A1 JP WO2019082630A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- utterance
- home
- console system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 78
- 230000009471 action Effects 0.000 claims description 90
- 238000005516 engineering process Methods 0.000 abstract description 20
- 238000010438 heat treatment Methods 0.000 description 66
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 55
- 241000282326 Felis catus Species 0.000 description 51
- 230000006870 function Effects 0.000 description 50
- 239000004576 sand Substances 0.000 description 32
- 235000013305 food Nutrition 0.000 description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 21
- 230000006399 behavior Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 17
- 239000004615 ingredient Substances 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 238000010411 cooking Methods 0.000 description 15
- 238000009835 boiling Methods 0.000 description 13
- 239000003599 detergent Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 241000234314 Zingiber Species 0.000 description 11
- 235000006886 Zingiber officinale Nutrition 0.000 description 11
- 235000008397 ginger Nutrition 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 241000238413 Octopus Species 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 238000001816 cooling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000879809 Felis margarita Species 0.000 description 4
- 241000206607 Porphyra umbilicalis Species 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 235000013312 flour Nutrition 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000035622 drinking Effects 0.000 description 3
- 235000013601 eggs Nutrition 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007958 sleep Effects 0.000 description 3
- 230000036578 sleeping time Effects 0.000 description 3
- 240000007124 Brassica oleracea Species 0.000 description 2
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 2
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 2
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 2
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 240000007087 Apium graveolens Species 0.000 description 1
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 1
- 235000010591 Appio Nutrition 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000624562 Cololabis saira Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 240000000599 Lentinula edodes Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 244000300264 Spinacia oleracea Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 235000013351 cheese Nutrition 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 235000021251 pulses Nutrition 0.000 description 1
- 238000003303 reheating Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本技術は、ユーザの意図に即した応答を行うことができるようにする情報処理装置、及び情報処理方法に関する。ユーザとの対話で得られるユーザの発話に関する発話情報に基づいて、ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、選択確率に応じて選択対象を選択する処理部を備える情報処理装置が提供される。本技術は、例えば、スマートスピーカ等のホームコンソールを含むホームコンソールシステムに適用することができる。
Description
本技術は、情報処理装置、及び情報処理方法に関し、特に、ユーザの意図に即した応答を行うことができるようにした情報処理装置、及び情報処理方法に関する。
近年、ユーザの発話に応じた応答を行う音声対話システムが、様々な分野で利用されはじめている。例えば、音声対話システムを利用することで、ユーザがシステムに対し、「ここどこですか?」と質問したとき、「セントラルパークにいます」という回答が返ってくる。
また、ネットワークに接続可能な電子機器の増加に伴い、複数の機器を家庭内LANに接続したホームネットワークの構築も一般的になりつつある。例えば、特許文献1には、ホームネットワークに接続された機器を、ユーザの生活習慣や生活環境、あるいはユーザの嗜好に応じて制御する技術が開示されている。
ところで、ユーザの発話に応じて、ホームネットワークに接続された複数の機器を制御する場合には、制御対象となる機器が複数存在するため、ユーザの意図に即した機器が制御され、その応答が行われるようにすることが求められる。
本技術はこのような状況に鑑みてなされたものであり、ユーザの意図に即した応答を行うことができるようにするものである。
本技術の一側面の情報処理装置は、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える情報処理装置である。
本技術の一側面の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する情報処理方法である。
本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率が算出され、選択対象の候補の中から、前記選択確率に応じて選択対象が選択される。
本技術の一側面の情報処理装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術の一側面によれば、ユーザの意図に即した応答を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の実施の形態
2.変形例
3.コンピュータの構成
2.変形例
3.コンピュータの構成
<1.本技術の実施の形態>
(ホームコンソールシステムの構成例)
図1は、本技術を適用したホームコンソールシステムの一実施の形態の構成例を示すブロック図である。
図1は、本技術を適用したホームコンソールシステムの一実施の形態の構成例を示すブロック図である。
ホームコンソールシステムは、住宅内にある全部又は一部の家電機器と接続され、それらの家電機器の状態を取得し、その状態に応じた操作を行うことができる。また、ホームコンソールシステムは、住宅内に設置された各種のセンサと接続され、そのセンシング結果を解析することで、室内におけるユーザの状態を認識することもできる。
ホームコンソールシステムは、ホームコンソール10を含んで構成される。ホームコンソール10は、例えば、ネットワークに接続可能なスピーカであって、いわゆるスマートスピーカやホームエージェントなどとも称される。この種のスピーカは、音楽の再生のほか、例えば、ユーザとの音声対話や、照明器具や空調設備などの機器に対する音声操作などを行うことができる。
なお、ホームコンソール10は、スピーカに限らず、例えば、パーソナルコンピュータやテレビ受像機、ゲーム機、タブレット型のコンピュータ、スマートフォンや携帯電話機等のモバイル機器などの電子機器として構成されるようにしてもよい。
ホームコンソール10は、処理部11、知識情報DB31、行動履歴DB32、及びスケジュールDB33を含んで構成される。
処理部11は、例えば、CPU(Central Processing Unit)やマイクロプロセッサ等から構成される。知識情報DB31、行動履歴DB32、及びスケジュールDB33は、外部のサーバや、ホームコンソール10に内蔵された記録装置(例えば、HDD(Hard Disk Drive)や半導体メモリ等)に、データベースとして記録されている。
また、処理部11は、発話内容分類部21、キーフレーズ抽出部22、知識情報処理部23、センサ情報取得部24、状態推定部25、動作選択部26、及び実行判定・動作命令発行部27から構成される。なお、発話内容分類部21乃至実行判定・動作命令発行部27は、例えば、CPUとしての処理部11が、プログラムを実行することで実現される。
発話内容分類部21と、キーフレーズ抽出部22と、知識情報処理部23によって、ユーザの発話入力に基づき、その発話の意味を解析するための発話意味解析機能が提供される。
発話内容分類部21は、ホームコンソール10に内蔵されたマイクロフォン(不図示)により収音されるユーザの発話の音声信号を処理して、発話の内容を分類し、その結果得られる発話内容の分類結果を、キーフレーズ抽出部22に供給する。なお、ここでは、音声信号に対する音声認識処理が行われ、この音声認識処理で得られるテキスト情報の発話の内容が分類されることになる。
キーフレーズ抽出部22は、発話内容分類部21から供給される発話内容の分類結果に基づいて、ユーザの発話に含まれるキーフレーズを抽出し、知識情報処理部23に供給する。
知識情報処理部23は、知識情報DB31に記録されている知識情報に基づいて、キーフレーズ抽出部22から供給されるキーフレーズの抽出結果に基づいて、ユーザの発話の意味解析を行う。知識情報処理部23は、発話の意味解析結果(以下、発話情報ともいう)を、動作選択部26に供給する。
この発話意味解析では、ユーザが実行させたい「動作命令」と、そのパラメータとなる「付属情報」の形で、発話の意味が表現される。ここで、1つの動作命令には、複数の付属情報が付与される可能性があり、発話の意味解析結果として、それらの組が1つ、又は複数個出力される。
例えば、「来週のスケジュールを確認したい」であるユーザの発話がなされた場合には、「動作命令」は、"予定の提示"であり、「付属情報」は、その日が"2017/9/8 (金)"であるとすれば、次の週の"2017/9/11 (月) 〜 2017/9/17 (日)"である。
なお、知識情報DB31には、外部から収集されるか、又はユーザ自らが登録した知識情報が記録されている。この知識情報は、例えば、事実や常識、経験などの知識をコンピュータが解読できる形式で、データベースにしたものである。
センサ情報取得部24と状態推定部25によって、センサからの入力に基づき、現在のユーザの状態を認識するためのユーザ状態把握機能が提供される。
センサ情報取得部24は、住宅内に設置された1又は複数のセンサによるセンシングの結果得られるセンサ情報を取得し、状態推定部25に供給する。
状態推定部25は、センサ情報取得部24から供給されるセンサ情報に基づいて、現在のユーザの状態又はその周辺の状態を推定し、その結果得られる推定結果(以下、状態情報ともいう)を、動作選択部26に供給する。また、状態推定部25は、現在のユーザの状態を示す状態情報を、ユーザ行動ログとして、行動履歴DB32に記録する。
行動履歴DB32は、ユーザ行動ログを、ユーザの行動履歴情報として、時系列順に記録している。なお、ユーザが所持する携帯端末装置(例えば、スマートフォンやウェアラブル端末等の後述の携帯端末装置50)から、ユーザの位置情報や状態情報などの情報を取得し、これらの情報を、時間情報とともに、ユーザ行動ログとして、行動履歴DB32に記録するようにしてもよい。すなわち、ユーザ行動ログは、ユーザが住宅内にいるときの状態だけでなく、外出先でのユーザの状態を含んでいる。
スケジュールDB33は、ユーザのスケジュールを、登録情報として、時系列順に記録している。なお、スケジュールは、例えば、ユーザが、携帯端末装置やパーソナルコンピュータ等の機器を操作することで登録されるようにするか、あるいは、ホームコンソール10が、ユーザの発話を認識することで登録されるようにしてもよい。
なお、行動履歴DB32及びスケジュールDB33には、ユーザに関する情報だけでなく、例えば、そのユーザの家族に関する情報など、他のユーザの行動履歴情報や登録情報が、記録されるようにしてもよい。
動作選択部26によって、ユーザの意図に応じた動作対象機器の候補(以下、動作候補機器ともいう)の中から、動作対象機器を選択する(すなわち、ユーザに提供する行動を選択する)ための動作選択機能が提供される。
ここで、動作選択部26によって実行される動作対象機器の選択やその動作内容の決定は、ユーザの発話の意味解析結果や、現在のユーザの状態、ユーザ行動ログのほか、例えば、住宅内の状態など加味して実行される。なお、動作対象機器としては、例えば、住宅内に設置された家電機器などの電気機械器具が対象となる。
動作選択部26には、知識情報処理部23からの発話情報と、状態推定部25からの状態情報が供給される。また、動作選択部26は、行動履歴DB32に記録されたユーザ行動ログ(行動履歴情報)、又はスケジュールDB33に記録された予定情報(登録情報)を適宜取得する。
動作選択部26は、発話情報、状態情報、行動履歴情報、及び登録情報のうち、少なくとも1つの情報に基づいて、動作候補機器の中から、動作対象機器を選択し、その選択結果を、実行判定・動作命令発行部27に供給する。
なお、詳細は後述するが、動作選択部26は、動作対象機器を選択する際に、例えば、各動作候補機器の動作確率(スコア)を算出することで、算出した動作確率に応じて一意に特定される動作対象機器を選択することができる。
また、動作選択部26は、選択した動作対象機器に関する情報(以下、機器情報ともいう)、及び発話情報等から得られるユーザの意図などに基づいて、選択した動作対象機器の動作内容を決定し、実行判定・動作命令発行部27に供給される、動作対象機器の選択結果に含めることができる。
実行判定・動作命令発行部27によって、動作対象機器の選択結果に応じて動作命令を発行するための選択結果・実行判定機能が提供される。ここで、動作対象機器の動作としては、即時に実行される動作のほかに、所定の条件を満たした場合に実行されるような動作も存在する。なお、所定の条件とは、ホームコンソールシステムが持っている、あらかじめ定められた条件のほかに、ユーザが自由に設定できるものも存在する。
実行判定・動作命令発行部27は、動作選択部26から供給される動作対象機器の選択結果に基づいて、動作対象機器41の動作を即時に実行するかどうかを判定する。
実行判定・動作命令発行部27は、即時に実行すると判定した場合、動作対象機器41に対し、動作内容に応じた動作命令を発行し、動作対象機器41の動作を制御する。実行判定・動作命令発行部27は、即時に実行しないと判定した場合、その旨を、動作選択部26に通知する。
ホームコンソールシステムは、以上のように構成される。
(家電機器類の設置例)
図2は、ユーザが居住している住宅内に設置される家電機器類の例を示す図である。
図2は、ユーザが居住している住宅内に設置される家電機器類の例を示す図である。
住宅100は、2階建ての建物であって、1階の部分に、居間101、玄関102、及び台所103が設けられ、2階の部分に、書斎104、寝室105、及び浴室106が設けられている。
居間101には、部屋全体を照らすことが可能なライト111と、部屋内の空気の温度や湿度等を調整する冷暖房機112と、壁に埋め込まれたコンセント113が設けられている。また、居間101には、ホームコンソール10のほか、テレビ受像機(以下、テレビと略記する)114や録画機115等のAV機器や、ゲーム機116が設置されている。
さらに、居間101の天井には、部屋全体をセンシング可能なセンサ117が取り付けてある。センサ117としては、例えば、被写体を撮像して撮像画像を生成するイメージセンサや、赤外線により対象物(の温度)を検出する赤外線センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなど、各種のセンサを含めることができる。
なお、ユーザは、ペットとしてネコを飼っているため、居間101には、ネコのエサ用の入れ物118と、ネコ砂用の入れ物119が設置してある。
玄関102の天井には、ライト121と、センサ122が設けられている。また、台所103の天井にも、ライト131と、センサ132が設けられている。台所103には、冷蔵庫133が設置されている。なお、センサ122とセンサ132としては、例えば、イメージセンサや赤外線センサ等の各種のセンサを設けることができる。
書斎104には、ライト141と、冷暖房機142と、コンセント143が設けられている。また、書斎104には、パーソナルコンピュータ(以下、PCと略記する)が設置されている。さらに、書斎104の天井にも、イメージセンサや温度センサ等のセンサ145が取り付けられている。
寝室105には、ライト151と、暖房器具152と、コンセント153が設けられている。また、寝室105には、ランプ154が設置されている。さらに、寝室105の天井にも、イメージセンサや温度センサ等のセンサ155が取り付けられている。
浴室106の天井には、ライト161と、センサ162が設けられている。また、浴室106には、お風呂を沸かしたり、湯張りをしたりするための給湯器163が設けられている。
ここで、住宅100において、各部屋に設置された家電機器は、通信機能を有し、ホームネットワークとして、例えば、家庭内LAN(Local Area Network)等のネットワークに接続されており、ホームコンソール10を中心としたホームコンソールシステムを構成している。すなわち、住宅100の各部屋に設置された家電機器は、動作候補機器であって、ホームコンソール10により制御される動作対象機器41(図1)となり得る。
なお、各家電機器を接続するための通信方式としては、家庭内LAN(Wi-Fi(登録商標))に限らず、例えば、Bluetooth(登録商標)等の方式に準拠した無線通信や、イーサーネット(登録商標)等の方式に準拠した有線通信などを用いるようにしてもよい。
また、図2においては、ユーザが、居間101にいる場合を例示しているが、以下の説明では、ユーザが、住宅100内の各部屋に移動する場合や、外出する場合についても示す。また、以下の説明では、ユーザに、住宅100内で同居している家族がいる場合についても説明する。
さらに、ユーザは、携帯端末装置50を所有しており、外出時には、携帯端末装置50を所持して出かけるものとする。携帯端末装置50としては、例えば、スマートフォンや携帯電話機等のモバイル機器のほか、ユーザが身につけて持ち歩くことができるウェアラブル機器(例えば、腕時計型やブレスレット型、眼鏡型、指輪型などの機器)などであってもよい。
携帯端末装置50は、LTE(Long Term Evolution)やLTE-A(LTE-Advanced)、5G(5th Generation)等のセルラー通信プロトコルを実装した通信モジュールを有し、携帯電話網等のネットワークを介して、住宅100内に構築されたホームコンソールシステムと通信を行うことができる。また、携帯端末装置50は、GPSモジュールを有し、GPS(Global Positioning System)信号から算出される位置情報を取得することができる。
さらに、携帯端末装置50は、各種のセンサを有している。例えば、センサとしては、イメージセンサのほか、磁場(磁界)の大きさや方向を検出する磁気センサや、加速度を検出する加速度センサ、角度(姿勢)や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサ、あるいは、指紋や虹彩、脈拍などの生体情報を検出する生体センサなどを含めることができる。これらのセンサから得られるセンサ情報に基づき、例えば、ユーザの状態を示す状態情報が得られる。
(対象機器制御処理の流れ)
次に、図3のフローチャートを参照して、ホームコンソールシステムにより実行される、ユーザとシステムとの対話に応じた対象機器制御処理の流れを説明する。
次に、図3のフローチャートを参照して、ホームコンソールシステムにより実行される、ユーザとシステムとの対話に応じた対象機器制御処理の流れを説明する。
ホームコンソールシステムは、ユーザによる発話が行われるのを待ち受け(S11)、ユーザにより発話がなされた場合、処理は、ステップS12に進められる。
ステップS12において、発話内容分類部21は、マイクロフォンにより収音されるユーザの発話の音声信号を処理することで、ユーザの発話の内容を分類する。
ステップS13において、キーフレーズ抽出部22は、ステップS12の処理で得られる発話内容の分類結果に基づいて、ユーザの発話に含まれるキーフレーズを抽出する。
ステップS14において、知識情報処理部23は、ステップS13の処理で得られるキーフレーズの抽出結果に基づいて、ユーザの発話の意味解析を行い、キーフレーズに対し、知識情報DB31から得られる知識情報を付与する。
ステップS15において、センサ情報取得部24は、住宅100内に設置された複数のセンサ(例えば、図2のセンサ117やセンサ145、センサ155等)から得られるセンサ情報を取得する。
ステップS16において、状態推定部25は、ステップS15の処理で得られるセンサ情報に基づいて、現在のユーザの状態を推定する。なお、ここでは、ユーザの状態に限らず、例えば、センサ情報に基づき、住宅100内の各部屋の状態などが推定されるようにしてもよい。
このように、ユーザにより発話が行われると、ステップS11乃至S14の処理が実行されることで、発話意味解析機能によって発話情報が得られ、処理は、ステップS17に進められる。また、ユーザによる発話に関係なく、ステップS15乃至S16の処理が実行されることで、ユーザ状態把握機能によって状態情報が得られ、処理は、ステップS17に進められる。なお、状態情報は、ユーザの現在の位置を示す位置情報を含めるようにしてもよい。
ステップS17において、動作選択部26は、発話意味解析機能で得られる発話情報と、ユーザ状態把握機能で得られる状態情報の推定結果とを統合する。
ステップS18において、動作選択部26は、ステップS17の処理で得られる統合結果に基づいて、ホームネットワークに接続された動作候補機器の動作確率(スコア)を算出する。なお、動作候補機器の動作確率(スコア)を算出する際には、発話情報と状態情報のほか、行動履歴情報や登録情報などの他の情報が用いられるようにしてもよい。
ここで、動作候補機器の動作確率(スコア)の算出方法としては、発話情報や状態情報、行動履歴情報、登録情報などの情報から得られる様々なパラメータを用いたアルゴリズムなどを実行することで、動作確率(スコア)を算出することができるが、その算出方法としては、各種の文献などに開示されている公知の手法を用いることができる。
ステップS19において、動作選択部26は、ステップS18の処理で得られる動作確率(スコア)に基づいて、動作候補機器の中から、動作対象機器が一意に特定されるかどうかを判定する。ステップS19において、動作対象機器が一意に特定されないと判定された場合、処理は、ステップS20に進められる。
ステップS20において、処理部11(動作選択部26)は、発話を行ったユーザに対し、動作対象機器を一意にするための応答を行う(聞き返し機能)。この聞き返し機能による応答(質問)に対し、ユーザが、発話(回答)をすることで、再度、ステップS11乃至S14の処理が実行され、この発話意味解析機能で得られる発話情報が、ユーザ状態把握機能で得られる状態情報と統合される(S17)。
そして、動作候補機器の動作確率(スコア)が再計算され(S18)、例えば、2回目のステップS19の判定処理で、動作対象機器が一意になると判定された場合、処理は、ステップS21に進められる。なお、2回目のステップS19の判定処理でも、動作対象機器が一意にならないと判定された場合には、動作対象機器が一意になると判定されるまで(S19の「YES」)、上述した処理が繰り返される。
すなわち、ステップS11乃至S20の処理が繰り返して行われることで、動作候補機器の動作確率(スコア)が、ユーザとの対話に応じて繰り返し得られる対話情報や状態情報などの情報に基づき、動的に更新され、その結果として、更新された動作確率に応じて、動作候補機器の中から、動作対象機器が一意に特定されることになる。
ステップS21において、動作選択部26は、ステップS19の処理で一意になると判定された動作対象機器に対し、ホームネットワークを介して、機器情報を要求することで、当該動作対象機器の機器情報を取得する。なお、機器情報は、動作対象機器が一意に特定される前に、事前に取得しておいてもよい。
ステップS22において、動作選択部26は、ステップS21の処理で得られる機器情報、及び発話情報等から得られるユーザの意図などに基づいて、動作対象機器の動作内容を決定する。ここでは、例えば、動作対象機器がテレビ114である場合に、その動作内容として、"電源オン"が決定される。また、動作対象機器の動作内容を決定する際には、行動履歴情報や状態情報、登録情報などの他の情報が用いられるようにしてもよい。
ステップS23において、実行判定・動作命令発行部27は、ステップS22の処理で決定された動作対象機器の動作内容が、即時に実行する動作であるかどうかを判定する。
ステップS23において、動作内容が、即時に実行する動作であると判定された場合、処理は、ステップS24に進められる。ステップS24において、実行判定・動作命令発行部27は、住宅100内に設置された家電機器の中から選択された動作対象機器41に対し、動作内容に応じた動作命令を発行し、当該動作対象機器41の動作を制御する。
一方で、ステップS23において、動作内容が、即時に実行する動作ではないと判定された場合、処理は、ステップS25に進められる。ステップS25において、動作選択部26は、ユーザ状態把握機能で得られる状態情報を取得する。
ステップS26において、動作選択部26は、ステップS25の処理で得られる状態情報に基づいて、発話を行ったユーザに対し、フィードバックが必要であるかどうかを判定する。
ステップS26において、フィードバックが必要ではないと判定された場合、処理は、ステップS22に進められる。ここで、動作選択部26は、ステップS25の処理で得られる状態情報に基づき、動作対象機器の動作内容を再決定する(S22)。そして、ステップS23の判定処理で、ステップS22の処理で再決定された動作内容が、即時に実行する動作であるかが判定される。
また、ステップS26において、フィードバックが必要であると判定された場合、処理は、ステップS27に進められる。ステップS27において、処理部11(動作選択部26)は、発話を行ったユーザに対し、フィードバックを実行する。
そして、動作選択部26によって、ステップS27の処理で得られるフィードバックの結果に基づき、動作対象機器の動作内容が再決定され(S22)、再決定された行動内容が、即時に実行する動作であるかが判定される(S23)。
その後、ステップS23の判定処理で、再決定した動作内容が、即時に実行する動作であると判定された場合、処理は、ステップS24に進められる。そして、ステップS24においては、実行判定・動作命令発行部27によって、動作対象機器41に対し、再決定した動作内容に応じた動作命令が発行され、当該動作対象機器41の動作が制御される。
例えば、ユーザが、「お風呂沸かしておいて」という発話を行った場合に、ホームコンソールシステムでは、ユーザの現在位置、住宅100内の給湯器163の状態、現在の気温などから、いつからお風呂を沸かしはじめるかを推定して、給湯器163に対し、動作命令を発行することになる。
ここで、ホームコンソールシステムがデザインした条件では、ユーザが外出している場合、ユーザの帰宅時刻に合わせるように、お風呂を沸かすようにする。ただし、ユーザの帰宅時刻までに、お風呂が沸かし終わらないような状態の場合には、その旨を、ユーザにフィードバックする。また、ユーザが在宅の場合には、ホームコンソールシステムは、給湯器163に対して、即時に、動作命令を発行することになる。なお、ユーザは、このような条件の部分を自由に設定することができる。
また、例えば、ユーザが外出時に、「お風呂沸かしておいて」という発話を行った場合、ホームコンソールシステムは、給湯器163を制御して、ユーザの帰宅時刻に合わせてお湯張りが行われるようにするが、ユーザが帰宅後、直ちにお風呂に入らなかった場合、ユーザに対し、「お風呂が沸いています」などの通知を行う。
その後、ホームコンソールシステムは、ユーザに対し、「xx分後に追い炊きを行いますか」などの代案をフィードバックするようにしてもよい。ここで、ホームコンソールシステムは、ユーザが動作結果を享受しなかったと認識する際には、例えば、状態情報(例えばユーザの行動など)や、機器情報(例えば、お風呂を沸かしてからの経過時間)などの情報が用いられる。
なお、ここでは、ステップS25の処理で、状態情報を取得する例を示したが、例えば、行動履歴情報や登録情報などの他の情報が取得され、その後の処理で用いられるようにしてもよい。
以上、ユーザとシステムとの対話に応じた対象機器制御処理の流れを説明した。次に、ユーザとシステムとの対話に応じた対象機器制御処理について、より具体的な例を示す。
ただし、以下の説明において、対話が行われる際の住宅100内の環境は、図2に示した通りである。また、対話に応じて実行される動作対象機器の制御は、図3のフローチャートの各ステップに沿って行われる。なお、以下の説明では、対話における、ユーザの発話を、「U(User)」と表記し、ホームコンソールシステムの応答を、「S(System)」と表記する。
(A)テレビ操作の例(時間:平日の20:00頃、場所:居間)
まず、平日の夜20時頃の居間101において、ユーザの発話に応じて、テレビ114の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
まず、平日の夜20時頃の居間101において、ユーザの発話に応じて、テレビ114の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
<< 帰宅後の20:00頃 >>
U:「テレビつけて」
S:「XYZ放送をつけます」
<< 1時間後の21:00 >>
U:「けして」
S:「テレビを消します」
このテレビ操作の例において、ホームコンソールシステムは、「テレビつけて」であるユーザの発話の意図が、"テレビの電源をオンする"ことであると認識する。すなわち、この例では、動作対象機器が、テレビ114であって、その動作内容が、電源オンとなる。
また、ホームコンソールシステムは、これまでのユーザの生活の行動履歴から、例えば、テレビ視聴時におけるユーザの行動パターンを認識することができる。
図4は、行動履歴DB32に記録されるユーザ行動ログの例を示している。図4においては、例えば、9月1日(金) 20:00-21:00,9月4日(月) 20:05-20:50,9月6日(水) 20:10-21:00等の時間帯に、ユーザがXYZ放送の番組を視聴していることが、ユーザ行動ログとして記録されている。
ホームコンソールシステムは、図4に示したユーザ行動ログを解析することで、ユーザは、平日の20時頃に、XYZ放送の番組を視聴する可能性が高いことを認識することができる。
これによって、ホームコンソールシステムは、「テレビつけて」であるユーザの発話に応じて、居間101のテレビ114の電源をオンする際に、XYZ放送のチャンネルが選局されるようにする。そして、ホームコンソールシステムは、「XYZ放送をつけます」である応答を行い、テレビ114は、電源がオンされて起動すると、まず、はじめに、XYZ放送の番組を表示する。
それから1時間後の21:00頃に、ユーザが番組の視聴を終えて、「けして」である発話を行った場合、ユーザの発話の意図が、必ずしも明確ではない。そのため、ホームコンソールシステムは、その時点で、ユーザが使用している家電機器(動作候補機器)の中で、最も「消す」という行為として正しいものを選択して、選択した家電機器(動作対象機器)に対し、電源をオフする終了処理を実行する。
このとき、「消す」という行為が可能な家電機器として、居間101には、テレビ114のほかに、ライト111、冷暖房機112、録画機115、及びゲーム機116が存在しているものとする。ホームコンソールシステムは、ユーザによる家電機器の利用状態や、対話シーケンスなどに基づき、「けして」であるユーザ発話を認識した時点で、今まで利用してきた家電機器が、テレビ114である可能性が高く、他の機器との関連性は低いと判定し、テレビの電源をオフする。
図5は、テレビ操作時の動作候補機器の選択スコアの例を示している。
図5においては、動作候補機器として、居間101に設置されたライト111、冷暖房機112、テレビ114、録画機115、及びゲーム機116が例示されている。また、スコアの範囲は、0.0〜1.0とされ、スコアの最小値は0.0、最大値は1.0となる。
図5のAは、20:00頃に、「テレビつけて」であるユーザ発話が行われたときの選択スコアの例を示している。図5のAにおいては、ライト111と、冷暖房機112と、テレビ114と、録画機115と、ゲーム機116の選択スコアとして、0.2,0.3,0.7,0.4,0.1がそれぞれ算出されている。
この場合において、0.7であるスコア(動作確率)が算出されたテレビ114が、最もスコア(動作確率)が高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、テレビ114を選択し、その動作内容として、電源をオンする制御を行う。
また、図5のBは、21:00頃に、「けして」であるユーザ発話が行われたときの選択スコアの例を示している。図5のBにおいては、ライト111と、冷暖房機112と、テレビ114と、録画機115と、ゲーム機116の選択スコアとして、0.3,0.0,0.9,0.0,0.0がそれぞれ算出されている。
この場合においても、0.9であるスコア(動作確率)が算出されたテレビ114が、最もスコア(動作確率)が高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、テレビ114を選択し、その電源をオフする制御を行う。
(B)PC操作の例(時間:休日の7:00頃、場所:寝室)
次に、休日の朝7時頃の寝室105において、ユーザの発話に応じて、PC144の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、休日の朝7時頃の寝室105において、ユーザの発話に応じて、PC144の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「書斎の用意をしておいて」
S:「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」
U:「書斎の用意をしておいて」
S:「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」
このPC操作の第1の例において、ホームコンソールシステムは、「書斎の用意をしておいて」であるユーザの発話の意図が、"書斎を使用する"ことであると認識する。また、ホームコンソールシステムは、これまでのユーザの生活の行動履歴から、例えば、書斎使用時におけるユーザの行動パターンを認識することができる。
図6は、行動履歴DB32に記録されるユーザ行動ログの例を示している。図6においては、例えば、9月1日(金) 22:00-23:00,9月2日(土) 9:00-13:00,9月3日(日) 20:00-22:30等の時間帯に、ユーザによって書斎104が使用され、そのときの室温が26℃であったことが、ユーザ行動ログとして記録されている。
ホームコンソールシステムは、図6に示したユーザ行動ログを解析することで、ユーザが書斎104を使用するときは、PC144を利用し、その室温を26℃にする可能性が高いことを認識することができる。
これによって、ホームコンソールシステムは、「書斎の用意をしておいて」であるユーザの発話に応じて、PC144を起動するとともに、冷暖房機142の電源をオンしてその設定温度を26℃にする。すなわち、この例では、動作対象機器が、冷暖房機142とPC144であって、その動作内容が共に電源オンとなる。
そして、ホームコンソールシステムは、ユーザに対し、「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」である応答を行う。
なお、ホームコンソールシステムは、ユーザが発話を行った場合に、その時点で、行動履歴情報から認識される状態に合っていないときには、その状態に合うように、動作対象機器を制御する。そのため、例えば、既に書斎104の室温が26℃となっている場合、ホームコンソールシステムは、冷暖房機142に対して、暖房を開始する制御を実行する必要はない。
(第2の例)
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」
このPC操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"書斎を使用する"ことであると認識したが、書斎104がどの部屋かを認識できない場合には、ユーザに対し、「書斎を教えて下さい」である明示を要求する応答(質問)を行う(聞き返し機能)。
この質問に対し、ユーザが、「パソコンのある部屋」である発話(回答)を行った場合、ホームコンソールシステムは、住宅100の各部屋に設置された家電機器の電源情報等に基づき、各部屋に存在する家電機器を認識することができる。
そして、ホームコンソールシステムは、PC144の存在を認識できた段階で、これまでのユーザの生活の行動履歴から認識される状態などに基づき、PC144が設置された部屋である書斎104に、ユーザがいる場合に起こる可能性の高い状態に合うように、書斎104内に設置された動作対象機器を制御する。
例えば、ホームコンソールシステムは、ユーザが書斎104にいるときは、PC144を利用し、その室温は約26℃になっていることを、これまでのユーザの生活の行動履歴(例えば、図6のユーザ行動ログ)から認識しているため、PC144を起動するとともに、冷暖房機142の電源をオンしてその設定温度を26℃にし、その旨を、ユーザに応答する。
(第3の例)
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
このPC操作の第3の例において、ホームコンソールシステムは、上述の第2の例と同様に、書斎104がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、ユーザから、「パソコンのある部屋」である回答を得ている。
ホームコンソールシステムは、家電機器の電源情報に基づき、各部屋に存在する家電機器を認識する。ここでは、ホームコンソールシステムは、PC144の存在を認識できなかったため、ユーザに対し、「申し訳ありません 分かりませんでした」である応答を行い、その旨をフィードバックする。
(第4の例)
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
U:「隣の部屋だよ」
S:「書斎の暖房をつけました 26℃に設定してあります」
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
U:「隣の部屋だよ」
S:「書斎の暖房をつけました 26℃に設定してあります」
このPC操作の第4の例において、ホームコンソールシステムは、上述の第3の例と同様に、書斎104がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、「パソコンのある部屋」である回答を得たが、結局、その部屋を特定できず、「申し訳ありません 分かりませんでした」である応答(フィードバック)を行っている。
このフィードバックを行った後に、ホームコンソールシステムは、対話シーケンスが続くかどうかの判定を行う。このとき、このフィードバックに対し、ユーザが、「隣の部屋だよ」である発話を続けて行った場合、ホームコンソールシステムは、続けて行われたユーザの発話の内容のほか、今までの対話シーケンスで得られている情報などに基づき、寝室105の隣の部屋としての書斎104を特定する。そして、ホームコンソールシステムは、ユーザが書斎104にいる場合の環境状態に適合するように、書斎104内に設置された動作対象機器を制御する。
例えば、ホームコンソールシステムは、ユーザが書斎104にいるときは、その室温は約26℃になっていることを、これまでのユーザの生活の行動履歴(例えば、図6のユーザ行動ログ)から認識しているため、冷暖房機142の電源をオンしてその設定温度を26℃にし、その旨を、ユーザに応答する。
(第5の例)
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
<< 一定期間経過 >>
U:「電気をつけて」
S:「了解しました」
U:「書斎の用意しておいて」
S:「書斎を教えて下さい」
U:「パソコンのある部屋」
S:「申し訳ありません 分かりませんでした」
<< 一定期間経過 >>
U:「電気をつけて」
S:「了解しました」
このPC操作の第5の例において、ホームコンソールシステムは、上述の第3の例と同様に、書斎104がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、「パソコンのある部屋」である回答を得たが、結局、その部屋を特定できず、「申し訳ありません 分かりませんでした」である応答(フィードバック)を行っている。
このフィードバックを行った後に、ホームコンソールシステムは、対話シーケンスが続くかどうかの判定を行う。その後、一定期間が経過した後に、ユーザによって、「電気をつけて」である発話が行われた場合には、一定期間が経過したことを受けて、ホームコンソールシステムは、当該発話を、新たなユーザの発話であるとして処理を実行する。
すなわち、ホームコンソールシステムは、「電気をつけて」である新たなユーザの発話に応じて、「了解しました」である応答を行い、ユーザの発話の意図が、"照明を点灯する"ことであると認識する。そして、ホームコンソールシステムは、ユーザが現在いる寝室105の照明を点灯する処理を実行するが、寝室105内には、ライト151とランプ154が存在し、共に電気をつける対象となり得る。
図7は、行動履歴DB32に記録されるユーザ行動ログの例を示している。図7においては、寝室105では、例えば、9月1日(金) 6:00-6:15,9月2日(土) 7:00-7:20等の朝の時間帯に、ライト151が使用され、9月1日(金) 23:00-23:30,9月2日(土) 23:30-0:00等の夜の時間帯に、ランプ154が使用されている。
これによって、ホームコンソールシステムは、現在時刻が、朝7時頃であって、朝の段階で利用される照明の利用率から、ランプ154よりも、ライト151を点灯させるほうが適切であると認識して、ライト151を点灯する。
ただし、行動履歴DB32に蓄積される、日頃のユーザの行動履歴として、朝にランプ154を点灯する確率が高い場合には、その限りでなく、ライト151とランプ154のうち、ランプ154が選択され、点灯されるようにしてもよい。
(C)コンセント操作の例(場所:書斎又は寝室)
次に、ユーザが掃除機を用いて、2階の書斎104と寝室105の掃除を行う場合に、書斎104の掃除が終わった後に、掃除をしつつ、書斎104から寝室105に部屋を移ったときに、電源コードが届かなくなった場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、ユーザが掃除機を用いて、2階の書斎104と寝室105の掃除を行う場合に、書斎104の掃除が終わった後に、掃除をしつつ、書斎104から寝室105に部屋を移ったときに、電源コードが届かなくなった場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
ただし、この場合において、掃除機の電源プラグは、書斎104のコンセント143に差し込まれているものとする。
(第1の例)
U:「このコンセント外して」
S:「掃除機のコンセントを外しました」
U:「このコンセント外して」
S:「掃除機のコンセントを外しました」
このコンセント操作の第1の例において、ホームコンソールシステムは、「このコンセント外して」であるユーザの発話の意図が、"コンセントの電源プラグを抜く"ことであると認識する。また、ホームコンソールシステムは、各種のセンサから得られるセンサ情報や、家電機器の電力使用量などに基づき、ユーザが現在どの部屋にいて、何を使っているのかを認識することができる。
ここでは、センサ情報として、例えば、書斎104に設置されたセンサ145や、寝室105に設置されたセンサ155から得られるセンサ情報が用いられ、電力使用量として、例えば、書斎104の壁面に設けられたコンセント143や、寝室105の壁面に設けられたコンセント153に接続された家電機器の電力使用量が用いられる。
これにより、ホームコンソールシステムは、現在、ユーザが使用している家電機器が、掃除機であると認識する。そして、ホームコンソールシステムは、ユーザにより掃除機が使用されていないことの確認がとれた時点で、掃除機の電源プラグをコンセント143から外して、掃除機に対し、電力供給源からの電力が供給されないようにする。
ここで、コンセント143の差し込み口に対し、家電機器の電源プラグが複数差し込まれている場合には、例えば、図8に示すように、コンセント143の差し込み口ごとの電力使用量を解析することで、対象の差し込み口を特定することができる。
図8は、コンセント143の差し込み口ごとの電力使用量の第1の例を示している。なお、図8のA乃至図8のCの各グラフにおいて、縦軸が電力使用量(W)を示し、横軸が時間を表している。
例えば、コンセント143には、3つの差し込み口が、縦方向に並んで設けられており、コンセントID1で識別される1つ目の差し込み口(以下、第1コンセントと記述する)の電力使用量を、図8のAに示している。
また、コンセントID2で識別される2つ目の差し込み口(以下、第2コンセントと記述する)の電力使用量を、図8のBに示し、コンセントID3で識別される3つ目の差し込み口(以下、第3コンセントと記述する)の電力使用量を、図8のCに示している。
時刻t1において、「このコンセント外して」であるユーザの発話が行われた場合、ホームコンソールシステムは、ユーザの発話の時点の時刻から過去の電力使用量の推移に関する電力情報を取得し、コンセント143の差し込み口の中から、現在使用されておらず、かつ、一定時間使用されていた差し込み口を選択する。
具体的には、第1コンセント(図8のA)は、常に一定の電力使用量となって、現時点で使用中の家電機器の差し込み口となるため、選択対象から除外される。また、第3コンセント(図8のC)は、時間帯ごとに電力使用量が変化しているものの、現時点では使用中の家電機器の差し込み口となるため、選択対象から除外される。
一方で、第2コンセント(図8のB)は、時刻t1のユーザの発話前に、電力使用量が急激に低下した現時点で未使用の家電機器であって、一定期間使用されていた家電機器の差し込み口となるため、選択対象のコンセント(の差し込み口)とされる。換言すれば、第1コンセント乃至第3コンセントのうち、第2コンセントが、最も選択確率の高いコンセント(差し込み口)であると言える。
このように、コンセント(の差し込み口)の選択は、それぞれの電力使用量の相関を用いることで、コンセントID2で識別される第2コンセントが選択され、この第2コンセントに差し込まれた電源プラグを外すことになる。これにより、掃除機への電力の供給が停止され、ホームコンソールシステムは、その旨をユーザに応答することになる。
なお、書斎104に設けられたコンセント143から、掃除機の電源プラグを抜く方法であるが、例えば、コンセント143に、専用の取り外し機構を設けることで、差し込み口に差し込まれた電源プラグを、自動で抜くことができる。
より具体的には、例えば、コイルバネや空気バネ等の弾性体を用いた機構を、コンセント143に組み込むことで、圧縮空気が送られるシリンダや、バネの回転モーメントによって、差し込み口に差し込まれた電源プラグを押し出して、コンセント143から外すことができる。また、例えば、ロックで止められたギヤを用いた機構を、コンセント143に組み込んで、ギヤを止めていたロックが外されたときに、バネの力がプレートに加わって、当該プレートを前面に押し出すことによって、差し込み口に差し込まれた電源プラグを押し出すようにしてもよい。
(第2の例)
U:「このコンセント外して」
S:「第1コンセントと第2コンセントの2つの候補があります」
U:「真ん中のやつ」
S:「第2コンセントを外しました」
U:「このコンセント外して」
S:「第1コンセントと第2コンセントの2つの候補があります」
U:「真ん中のやつ」
S:「第2コンセントを外しました」
このコンセント操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"コンセントの電源プラグを抜く"ことであると認識したが、選択対象のコンセント(の差し込み口)が複数ある場合には、ユーザに対し、「第1コンセントと第2コンセントの2つの候補があります」である応答を行う(聞き返し機能)。
図9は、コンセント143の差し込み口ごとの電力使用量の第2の例を示している。なお、図9においては、図8と同様に、第1コンセントと、第2コンセントと、第3コンセントとの電力使用量の変化を時系列で示している。
時刻t1において、「このコンセント外して」であるユーザの発話が行われた場合、ホームコンソールシステムは、電力情報を取得し、コンセント143の差し込み口の中から、現在使用されておらず、かつ、一定時間使用されていた差し込み口を選択するが、選択対象の差し込み口が複数存在している。
具体的には、第1コンセント(図9のA)と、第2コンセント(図9のB)は、時間帯ごとに電力使用量が変化しているが、現時点では未使用の家電機器であって、一定期間使用されていた家電機器の差し込み口となるため、共に選択対象のコンセント(差し込み口)とされる。
なお、第3コンセント(図9のC)は、時間帯ごとに電力使用量が変化しているものの、現時点では使用中の家電機器の差し込み口となるため、選択対象から除外される。換言すれば、第1コンセント乃至第3コンセントのうち、第1コンセントと第2コンセントが、最も選択確率の高いコンセント(差し込み口)であると言える。
このように、コンセント(の差し込み口)の選択に際して、それぞれの電力使用量の相関を用いることで、第1コンセントと第2コンセントまでは絞り込むことができるが、これらの選択対象の候補をさらに絞り込むことができない場合がある。その場合に、ホームコンソールシステムは、「第1コンセントと第2コンセントの2つの候補があります」である応答を行う(聞き返し機能)。
この応答に対し、ユーザが、「真ん中のやつ」である発話(回答)を行った場合、ホームコンソールシステムは、選択対象となる第1コンセントと第2コンセントのうち、第2コンセントに差し込まれた電源プラグを外すことを認識することができる。換言すれば、ユーザの発話(回答)に応じて更新された選択確率によれば、第1コンセント乃至第3コンセントのうち、第2コンセントが、最も選択確率の高いコンセント(差し込み口)であると言える。
そして、ホームコンソールシステムは、コンセントID2で識別される第2コンセントに差し込まれた電源プラグ(掃除機の電源プラグ)を外し、その旨をユーザに応答することになる。
(D)暖房器具の操作の例(時間:休日の23:00頃、場所:居間)
次に、休日の夜の23時頃の居間101において、ユーザの発話に応じて、暖房器具(冷暖房機)の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、休日の夜の23時頃の居間101において、ユーザの発話に応じて、暖房器具(冷暖房機)の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「暖房ついてる」
S:「寝室はついていません」
U:「つけておいて」
S:「暖房をつけました 26℃に設定してあります」
U:「暖房ついてる」
S:「寝室はついていません」
U:「つけておいて」
S:「暖房をつけました 26℃に設定してあります」
この暖房器具の操作の第1の例において、ホームコンソールシステムは、「暖房ついてる」であるユーザの発話の意図が、"暖房器具の電源を確認する"ことであると認識する。
また、ホームコンソールシステムは、住宅100には暖房として動作する暖房器具が3つ存在していることを認識しているが、夜の23時のユーザの存在確率として、寝室105が最も高いことを、これまでのユーザの生活の行動履歴(例えば、図7のユーザ行動ログ)から認識している。
そのため、ホームコンソールシステムは、ユーザの発話の意図が、寝室105の暖房器具152を指していると認識し、現時点での寝室105の暖房の状態として、「寝室はついていません」である応答を行う。
この応答に対し、ユーザが、「つけておいて」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、寝室105の暖房器具152を指していると認識して、寝室105に設置された暖房器具152の電源をオンしてその設定温度を26℃にする。そして、ホームコンソールシステムは、ユーザに対し、「暖房をつけました 26℃に設定してあります」である応答を行う。
図10は、暖房器具の操作時の動作候補機器の選択スコアの第1の例を示している。
図10においては、動作候補機器として、居間101に設置された冷暖房機112(居間暖房)、書斎104に設置された冷暖房機142(書斎暖房)、及び寝室105に設置された暖房器具152(寝室暖房)が例示されている。なお、これらの関係は、後述する図11乃至図13においても同様とされる。
図10は、23:00頃に、「暖房ついてる」(又は「つけておいて」)であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.5,0.1,0.8がそれぞれ算出されている。
この場合において、0.8であるスコアが算出された暖房器具152が、最もスコアが高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、寝室105に設置された暖房器具152を選択し、その動作内容として、電源をオンして設定温度を26℃にする制御を行う。
(第2の例)
U:「暖房ついてる」
S:「寝室はついていません」
U:「今いるところの」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
U:「暖房ついてる」
S:「寝室はついていません」
U:「今いるところの」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
この暖房器具の操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、寝室105の暖房器具152を指していると認識し、寝室105の現在の暖房の状態として、「寝室はついていません」である応答を行っている。
この応答に対し、ユーザが、「今いるところの」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、寝室105ではなく、居間101の暖房器具である冷暖房機112を指していたものであったと認識する。そして、ホームコンソールシステムは、居間101の冷暖房機112の電源情報に基づき、冷暖房機112の電源がオン状態となっていることを認識し、ユーザに対し、「居間の暖房はついています」である応答を行う(聞き返し機能)。
さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、居間101に設置された冷暖房機112を指していると認識して、冷暖房機112の電源をオフする。そして、ホームコンソールシステムは、ユーザに対し、「居間の暖房を消しました」である応答を行う。
図11は、暖房器具の操作時の動作候補機器の選択スコアの第2の例を示している。
図11のAは、「暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図11のAにおいては、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.5,0.1,0.8がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い暖房器具152を、動作候補機器として選択し、ユーザに応答を行う。
また、図11のBは、「今いるところの」であるユーザの発話が行われたときの選択スコアの例を示している。図11のBにおいては、更新後の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作候補機器として選択し、ユーザに応答を行う。
また、図11のCは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図11のCにおいては、更新後の選択スコアとして、0.9,0.1,0.7がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作対象機器として選択し、その電源をオフする制御を行う。
このように、1回目のユーザの発話に対する応答では、ユーザの意図と異なったものとなっていたが、2回目と3回目のユーザの発話に対する応答では、ユーザとの対話によって、ユーザの意図に合ったものに修正されている。また、それに伴って、各動作候補機器の選択スコア(確率)も更新され、更新された選択スコアに基づき、動作候補機器の中から、動作対象機器が選択されている。
(第3の例)
U:「暖房ついてる」
S:「居間、寝室、どちらでしょうか」
U:「今いるところの」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
U:「暖房ついてる」
S:「居間、寝室、どちらでしょうか」
U:「今いるところの」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
この暖房器具の操作の第3の例において、ホームコンソールシステムは、「暖房ついてる」であるユーザの発話の意図が、どの暖房器具を指しているのかを認識できないため、「居間、寝室、どちらでしょうか」である応答を行っている(聞き返し機能)。
この応答に対し、ユーザが、「今いるところの」である発話を行った場合、ホームコンソールシステムは、上述の第2の例と同様に、ユーザの発話の意図が、寝室105ではなく、居間101の暖房器具である冷暖房機112を指していたものであったと認識し、「居間の暖房はついています」である応答を行う(聞き返し機能)。
さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、上述の第2の例等と同様に、冷暖房機112の電源をオフし、その旨を応答する。
図12は、暖房器具の操作時の動作候補機器の選択スコアの第3の例を示している。
図12のAは、「暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図12のAにおいては、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.7,0.1,0.7がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い暖房器具として、冷暖房機112と暖房器具152の2つが存在しているため、それらを動作候補機器として選択し、ユーザに応答を行う。
また、図12のBは、「今いるところの」であるユーザの発話が行われたときの選択スコアの例を示している。図12のBにおいては、更新後の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作候補機器として選択し、ユーザに応答を行う。
また、図12のCは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図12のCにおいては、更新後の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作対象機器として選択し、その電源をオフする制御を行う。
このように、1回目のユーザの発話に対する応答では、最も選択スコア(確率)が高い暖房器具が複数存在する場合に、ユーザによる指示を仰ぐことで、2回目と3回目のユーザに対する発話に対する応答では、ユーザの意図に合ったものとなっている。また、それに伴って、各動作候補機器の選択スコア(確率)も更新され、更新された選択スコアに基づき、動作候補機器の中から、動作対象機器が選択されている。
(第4の例)
U:「居間の暖房ついてる」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
U:「居間の暖房ついてる」
S:「居間の暖房はついています」
U:「消しといて」
S:「居間の暖房を消しました」
この暖房器具の操作の第4の例において、ホームコンソールシステムは、「居間の暖房ついてる」であるユーザの発話から、ユーザの発話の意図が、居間101の冷暖房機112を指しているものと認識し、「居間の暖房はついています」である応答を行う。さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、上述の第2の例等と同様に、冷暖房機112の電源をオフし、その旨を応答する。
図13は、暖房器具の操作時の動作候補機器の選択スコアの第4の例を示している。
図13のAは、「居間の暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図13のAにおいては、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作候補機器として選択し、ユーザに応答を行う。
また、図13のBは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図13のBにおいては、更新後の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機112を、動作対象機器として選択し、その電源をオフする制御を行う。
このように、1回目のユーザの発話に対する応答では、動作候補機器に対するスコア(確率)の値に差がある場合でも、ユーザが動作対象機器を明示した場合には、それに従うことで、2回目のユーザに対する発話に対する応答では、ユーザの意図に合った機器が制御されることになる。
(第5の例)
U:「寝る部屋暖めておいて」
S:「xxxxさんの寝室の暖房をつけます」
U:「12時くらいに寝るから」
S:「わかりました」
U:「寝る部屋暖めておいて」
S:「xxxxさんの寝室の暖房をつけます」
U:「12時くらいに寝るから」
S:「わかりました」
この暖房器具の操作の第5の例において、ホームコンソールシステムは、「寝る部屋暖めておいて」であるユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、センサ情報や、行動履歴DB32に記録されるユーザ行動ログなどから、ユーザがどの部屋で寝るかを認識し、ユーザの寝る時間帯に合わせて、寝室105の室内が適温になるように、暖房器具152の起動を実行する。
ここでは、ユーザにより寝る時間が指定された場合、ホームコンソールシステムは、その時間に合わせて、暖房器具152の動作を制御するようにする。なお、ユーザにより寝る時間の指定がなかった場合でも、センサ情報やユーザ行動ログなどに基づき、ユーザの寝る時間を推定して、暖房器具152の動作を制御することができる。
(E)ゲーム機の操作の例(時間:平日の16:00頃、場所:居間)
次に、平日の16時頃の居間101において、ユーザの発話に応じて、ゲーム機116の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、平日の16時頃の居間101において、ユーザの発話に応じて、ゲーム機116の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「つけて」
S:「なにをつけますか」
U:「ゲーム」
S:(ゲーム機の起動処理を実行)
U:「つけて」
S:「なにをつけますか」
U:「ゲーム」
S:(ゲーム機の起動処理を実行)
このゲーム機の操作の第1の例において、ホームコンソールシステムは、「つけて」であるユーザの発話の意図が、"家電機器の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、ユーザが現在いる居間101において、電源をオンすることができる家電機器が複数存在することを認識している。
このとき、ホームコンソールシステムは、居間101に設置された、冷暖房機112、テレビ114、録画機115、及びゲーム機116などの家電機器に対するユーザに適合した利用確率を参照するが、それらの家電機器ごとの利用確率に差異がなかった場合、どの家電機器を指しているのかを認識できないため、ユーザに対し、「なにをつけますか」である応答を行う。
すなわち、この応答は、ユーザに対して、所望の動作対象機器を明示してもらうための問いかけとなる(聞き返し機能)。そして、この応答に対し、ユーザが、「ゲーム」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、ゲーム機116を指していたものであったと認識する。これにより、ホームコンソールシステムは、ゲーム機116の起動処理を実行し、ゲーム機116の電源をオンする。
図14は、電源の操作時の動作候補機器の選択スコアの第1の例を示している。
図14においては、動作候補機器として、居間101に設置された、冷暖房機112、テレビ114、録画機115、及びゲーム機116が例示されている。なお、これらの関係は、後述する図15においても同様とされる。
図14のAは、「つけて」であるユーザの発話が行われたときの選択スコアの例を示している。図14のAにおいては、冷暖房機112と、テレビ114と、録画機115と、ゲーム機116の選択スコアとして、0.3,0.3,0.3,0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がなく、動作対象機器を一意に特定できないため、ユーザに問い合わせる。
図14のBは、「ゲーム」であるユーザの発話が行われたときの選択スコアの例を示している。図14のBにおいては、更新後の選択スコアとして、0.0,0.0,0.0,0.9がそれぞれ算出されている。ホームコンソールシステムは、最もスコアが高いゲーム機116を、動作対象機器として選択し、その電源をオンする制御を行う。
このように、1回目のユーザの発話に対する応答では、対象となり得る家電機器が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行うことで、2回目のユーザに対する発話に対する応答では、ユーザの意図に合った機器が制御されることになる。
(第2の例)
U:「つけて」
S:「なにをつけますか」
U:「冷蔵庫」
S:「申し訳ありません 冷蔵庫をつけることはできませんでした」
U:「つけて」
S:「なにをつけますか」
U:「冷蔵庫」
S:「申し訳ありません 冷蔵庫をつけることはできませんでした」
この第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、どの家電機器を指しているのかを認識できないため、「なにをつけますか」である応答を行う。
この応答に対し、ユーザが、「冷蔵庫」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、台所103に設置された冷蔵庫133を指していたものと認識するが、冷蔵庫133は動作対象機器として選択ができないため、「申し訳ありません 冷蔵庫をつけることはできませんでした」である応答を行う。なお、ここでは、冷蔵庫133の電源が既にオン状態となっている場合に、ホームコンソールシステムは、「現在オン状態です」などの応答を行うようにしてもよい。
図15は、電源の操作時の動作候補機器の選択スコアの第2の例を示している。
図15のAは、「つけて」であるユーザの発話が行われたときの選択スコアの例を示している。図15のAにおいては、冷暖房機112と、テレビ114と、録画機115と、ゲーム機116の選択スコアとして、0.3,0.3,0.3,0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がないため、ユーザに問い合わせる。
図15のBは、「冷蔵庫」であるユーザの発話が行われたときの選択スコアの例を示している。図15のBにおいては、更新後の選択スコアとして、0.0,0.0,0.0,0.0がそれぞれ算出されている。ホームコンソールシステムは、冷暖房機112が動作候補機器に含まれておらず、動作対象機器として選択することはできないため、ユーザに対し、その旨の応答(処理が失敗している旨の通知)を行う。
このように、1回目のユーザの発話に対する応答では、対象となり得る家電機器が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行ったが、動作対象機器となり得ない機器が指示されたとき、2回目のユーザに対する発話に対する応答では、「つけて」であるユーザの発話に応じた処理が失敗している旨をフィードバックすることになる。
(F)外出先からの暖房器具の操作の例(時間:平日の18:00頃、場所:外出先)
次に、平日の18時頃に、ユーザが外出先から自宅へと帰る際に、ユーザの発話に応じて、暖房器具(冷暖房機)の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、このとき、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
次に、平日の18時頃に、ユーザが外出先から自宅へと帰る際に、ユーザの発話に応じて、暖房器具(冷暖房機)の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、このとき、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
(第1の例)
U:「暖めておいて」
S:「居間の暖房をつけました 26℃に設定してあります」
U:「暖めておいて」
S:「居間の暖房をつけました 26℃に設定してあります」
この外出時の暖房器具の操作の第1の例において、ホームコンソールシステムは、「暖めておいて」であるユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。
また、ホームコンソールシステムは、住宅100には暖房として動作する暖房器具が3つ存在していることを認識しているが、ユーザが外出先から戻ってきたときに、最も利用する確率の高い部屋が、居間101であることを、これまでのユーザの生活の行動履歴(例えば、図4のユーザ行動ログ)から認識している。
そのため、ホームコンソールシステムは、「暖めておいて」であるユーザの発話の意図が、居間101を指していると認識し、居間101に設置された冷暖房機112の電源をオンしてその設定温度を26℃にする。そして、ホームコンソールシステムは、ユーザに対し、「居間の暖房をつけました 26℃に設定してあります」である応答を行う。
図16は、外出先からの暖房器具の操作時の動作候補機器の選択スコアの第1の例を示している。
図16においては、動作候補機器として、居間101に設置された冷暖房機112(居間暖房)、書斎104に設置された冷暖房機142(書斎暖房)、及び寝室105に設置された暖房器具152(寝室暖房)が例示されている。なお、これらの関係は、後述する図17においても同様とされる。
図16は、18:00頃に、「暖めておいて」であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.7,0.4,0.1がそれぞれ算出されている。
この場合において、ホームコンソールシステムは、動作対象機器として、最もスコアが高い冷暖房機112を選択し、その動作内容として、電源をオンして設定温度を26℃にする制御を行う。
(第2の例)
U:「暖めておいて」
S:「どの部屋を暖めますか」
U:「居間をお願い」
S:「居間の暖房をつけました 26℃に設定してあります」
U:「暖めておいて」
S:「どの部屋を暖めますか」
U:「居間をお願い」
S:「居間の暖房をつけました 26℃に設定してあります」
この外出時の暖房器具の操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、住宅100にて暖房器具が3つ存在していることを認識している。
ホームコンソールシステムは、居間101に設置された冷暖房機112、書斎104に設置された冷暖房機142、及び寝室105に設置された暖房器具152に対するユーザに適合した利用確率を参照するが、それらの暖房器具ごとの利用確率に差異がなかった場合、どの暖房器具を指しているのかを認識できないため、「どの部屋を暖めますか」である応答を行う(聞き返し機能)。
この応答に対し、ユーザが、「居間をお願い」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、居間101に設置された冷暖房機112を指していたものであったと認識する。これにより、ホームコンソールシステムは、冷暖房機112の電源をオンしてその設定温度を26℃にする。
図17は、外出先からの暖房器具の操作時の動作候補機器の選択スコアの第2の例を示している。
図17のAは、「暖めておいて」であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機112と、冷暖房機142と、暖房器具152の選択スコアとして、0.3,0.3,0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がないため、ユーザに問い合わせる。
図17のBは、「居間をお願い」であるユーザの発話が行われたときの選択スコアの例を示しており、更新後の選択スコアとして、0.9,0.0,0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作対象機器として、最もスコアが高い冷暖房機112を選択し、その動作内容として、電源をオンする制御を行う。
このように、1回目のユーザの発話に対する応答では、対象となり得る暖房器具が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行うことで、2回目のユーザに対する発話に対する応答では、ユーザの意図に合った暖房器具が制御されることになる。
(G)外出先からの夕食の準備の操作の例(時間:平日の18:00頃、場所:外出先)
次に、平日の18時頃に、ユーザが外出先で、帰宅後の自宅で作りたい夕食を思い浮かべている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
次に、平日の18時頃に、ユーザが外出先で、帰宅後の自宅で作りたい夕食を思い浮かべている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
(第1の例)
U:「たこ焼き作りたい」
S:(ウェブサイトから「たこ焼きのレシピ」を取得)
S:(ユーザの普段の料理で利用されている食材の情報を取得)
S:「xxxxが不足しています」
U:「たこ焼き作りたい」
S:(ウェブサイトから「たこ焼きのレシピ」を取得)
S:(ユーザの普段の料理で利用されている食材の情報を取得)
S:「xxxxが不足しています」
この外出時の夕食の準備の第1の例において、ホームコンソールシステムは、「たこ焼き作りたい」であるユーザの発話から、ユーザの発話の意図が、"夕食としてたこ焼きを作る"ことであると認識し、インターネット上のウェブサイトに公開されている"たこ焼きのレシピ"であるレシピ情報を取得する。このレシピ情報によって、たこ焼きの材料として、例えば、小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉が必要となることが認識される。
また、ホームコンソールシステムは、冷蔵庫133の内部に設けられたセンサからのセンサ情報、あるいはユーザによる買い物の際の購入ログ(ユーザ行動ログ)などに基づき、ユーザの普段の料理で利用されている食材の情報(食材履歴情報)を取得する。この食材履歴情報としては、例えば、下記に示すような、ある期間の食事ごとに使用された食材に関する情報が得られる。
(食材履歴情報)
9月1日:昼:データなし
:夜:ひき肉、キャベツ、もやし
9月2日:昼:茹でたこ、紅ショウガ
:夜:さんま、大根、ほうれん草
9月3日:昼:鶏肉、トマト、チーズ
:夜:データなし
・・・
9月1日:昼:データなし
:夜:ひき肉、キャベツ、もやし
9月2日:昼:茹でたこ、紅ショウガ
:夜:さんま、大根、ほうれん草
9月3日:昼:鶏肉、トマト、チーズ
:夜:データなし
・・・
ホームコンソールシステムは、レシピ情報と食材履歴情報に基づき、9月2日の昼に、ユーザが、「たこ焼き」らしいものを作っていることを推定する。また、ホームコンソールシステムは、食材履歴情報等に基づき、利用されている食材の頻度から、必要な食材を推定する。
キーワード:たこ焼き
レシピ情報(たこ焼きのレシピ):小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉
食材履歴情報(ユーザ使用食材):茹でたこ、紅ショウガ
レシピ情報(たこ焼きのレシピ):小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉
食材履歴情報(ユーザ使用食材):茹でたこ、紅ショウガ
図18は、ユーザの料理材料の傾向スコアの例を示している。図18においては、たこ焼きのレシピに含まれる小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉の傾向スコアとして、0.1,0.8,0.1,0.8,0.1がそれぞれ算出されている。
この場合において、0.8であるスコアが算出された茹でたこ、紅ショウガが、最もスコアが高く、それ以外の小麦粉、青のり、揚げ玉は、スコアが低いので、ホームコンソールシステムは、これらのスコアに応じて、ユーザに対して自宅で不足している可能性が高い食材を、優先的にフィードバックすればよい。
(第2の例)
U:「たこ焼き作りたい」
S:(ウェブサイトから「たこ焼きのレシピ」を取得)
S:(ユーザの普段の料理で利用されている食材の情報を取得)
S:(NG食材情報を取得)
S:「xxxxが不足しています」
U:「たこ焼き作りたい」
S:(ウェブサイトから「たこ焼きのレシピ」を取得)
S:(ユーザの普段の料理で利用されている食材の情報を取得)
S:(NG食材情報を取得)
S:「xxxxが不足しています」
この外出時の夕食の準備の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話から、ユーザの発話の意図が、"夕食としてたこ焼きを作る"ことであると認識し、レシピ情報と食材履歴情報に基づき、必要な食材を推定する。
ここで、ホームコンソールシステムは、例えば、茹でたこ、紅ショウガが不足している可能性が高い食材であると推定した場合に、家族の嗜好を考慮に入れて、必要な食材が推薦されるようにすることができる。家族の嗜好を示す情報としては、例えば、下記に示すような、ある家族の苦手な食材を、ユーザごとに登録したNG食材情報を用いることができる。
(NG食材情報)
ユーザA:セロリ
ユーザB:紅ショウガ、椎茸
ユーザC:なし
・・・
ユーザA:セロリ
ユーザB:紅ショウガ、椎茸
ユーザC:なし
・・・
ホームコンソールシステムは、NG食材情報を参照して、茹でたこ、紅ショウガのうち、紅ショウガがユーザBのNG食材となっているので、それを除いた食材として、ユーザに対し、「茹でたこが不足しています」である応答を行うことができる。
(第3の例)
U:「何か家で食べれそう」
S:「冷蔵庫には、豚肉、キャベツ、ピーマンがあります」
S:「野菜炒めができそうです」
U:「何か家で食べれそう」
S:「冷蔵庫には、豚肉、キャベツ、ピーマンがあります」
S:「野菜炒めができそうです」
この外出時の夕食の準備の第3の例において、ホームコンソールシステムは、ユーザの発話から、ユーザの発話の意図が、"夕食のレシピの確認"あると認識し、レシピ情報と食材履歴情報などに基づき、調理可能なレシピを推定して、ユーザに対し、フィードバックしている。なお、冷蔵庫133にある食材を列挙するに際して、対象の食材が多すぎる場合には、レシピ情報から検索された調理可能な料理に基づき、対象の食材をピックアップして通知すればよい。
(H)外出先でのメッセージの通知の例(時間:休日の16:00頃、場所:外出先)
次に、休日の16時頃に、外出先で、ペットを飼っているユーザの所持する携帯端末装置50に対し、ペットに関するメッセージが通知される場合における、対話シーケンスの例を示す。
次に、休日の16時頃に、外出先で、ペットを飼っているユーザの所持する携帯端末装置50に対し、ペットに関するメッセージが通知される場合における、対話シーケンスの例を示す。
(第1の例)
S:「ネコのエサがなくなっています 自宅に戻った方がよいかもしれません」
S:「ネコのエサがなくなっています 自宅に戻った方がよいかもしれません」
この外出時のメッセージの通知の第1の例において、ホームコンソールシステムは、休日の16時頃に、ユーザが、ペットのネコにエサをあげる可能性が高いことを、これまでのユーザの生活の行動履歴から認識している。
図19は、行動履歴DB32に記録されるユーザ行動ログの例を示している。図19においては、例えば、9月1日(金) 20:00-20:05,9月4日(月) 20:05-20:10等の平日の時間帯や、9月2日(土) 16:00-16:10,9月3日(日) 16:00-16:10等の休日の時間帯に、ユーザが、ペットのネコにエサをあげていることが、ユーザ行動ログとして記録されている。
ホームコンソールシステムは、図19に示したユーザ行動ログに基づき、ユーザは、平日の20時過ぎ頃、又は休日の16時頃に、ネコにエサをあげる可能性が高いことを認識することができる。
また、住宅100においては、センサ117等のセンサによって、エサ置き場の入れ物118の状況や、エサの量、ネコの行動ログなどがセンシングされているので、ホームコンソールシステムは、そのセンシング結果から得られるセンサ情報を解析することで、外出中のユーザに対し、通知すべきメッセージ(フィードバック情報)を生成する。
さらに、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置50から得られる位置情報(例えば、GPS情報)に基づき、ユーザがいつもネコにエサを与えている16時に、住宅100に戻れるかどうかの解析を行う。
そして、ホームコンソールシステムは、例えば、現在時刻が15時で、ユーザが外出先から1時間程度で戻れる場合には、ユーザの所持する携帯端末装置50に対し、ネットワークを介して、「ネコのエサがなくなっています 自宅に戻った方がよいかもしれません」であるメッセージを通知する。
(第2の例)
S:「ネコのエサがなくなっています 家族に連絡しました」
S:「ネコのエサがなくなっています 家族に連絡しました」
この外出時のメッセージの通知の第2の例においては、ホームコンソールシステムは、これまでのユーザの生活の行動履歴(例えば、図19のユーザ行動ログ)から、休日の16時頃にネコにエサをあげる可能性が高いことを認識しているが、外出中のユーザの位置情報に基づいた解析の結果、ユーザがいつもネコにエサを与えている16時に、住宅100には戻れないと認識している。
この場合、ホームコンソールシステムは、ユーザの家族が所持する携帯端末装置に対し、ネコのエサがない旨のメッセージを通知する。ただし、ユーザの家族が、住宅100内にいる場合には、ホームコンソールシステムは、例えば、ユーザの家族が存在している部屋に設置された家電機器(例えば、ホームコンソール10)を制御して、音声や表示などによって、ネコのエサがない旨を通知するようにしてもよい。
そして、ホームコンソールシステムは、ユーザの所持する携帯端末装置50に対し、「ネコのエサがなくなっています 家族に連絡しました」であるメッセージを通知する。
(第3の例)
S:「あとxx分で、いつものエサの時間に間に合わなくなります ただ、ネコのエサはまだ入っているようです」
S:「あとxx分で、いつものエサの時間に間に合わなくなります ただ、ネコのエサはまだ入っているようです」
この外出時のメッセージの通知の第3の例において、ホームコンソールシステムは、これまでのユーザの生活の行動履歴(例えば、図19のユーザ行動ログ)から、休日の16時頃にネコにエサをあげる可能性が高いことを認識しているが、センサ情報に基づいた解析の結果、エサ置き場の入れ物118に、ネコのエサは残っていると認識している。
また、ホームコンソールシステムは、外出中のユーザの位置情報に基づいた解析の結果、ユーザがいつもネコにエサを与えている16時に、住宅100に戻れるが、それまでの残り時間は少ないと認識している。
この場合、ホームコンソールシステムは、ユーザの所持する携帯端末装置50に対し、「あとxx分で、いつものエサの時間に間に合わなくなります ただ、ネコのエサはまだ入っているようです」であるメッセージを通知する。ただし、このメッセージにおいて、「xx分」は、住宅100に、16時に戻るための出発時刻までの残り時間となる。
なお、上述した外出時のメッセージの通知の第1の例乃至第3の例においては、ホームコンソールシステムからの応答のみを示しているが、例えば、ユーザが、ペットのネコにエサをあげたかどうかを忘れてしまった場合に、「ネコにエサあげたっけ」である発話がなされたとき、上述した第1の例乃至第3の例に示した応答が行われるようにしてもよい。
(I)外出先からのお風呂の操作の例(時間:平日の19:00頃、場所:外出先)
次に、平日の19時頃に、ユーザが外出先で、住宅100に帰ったらお風呂に入ろうと思っている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
次に、平日の19時頃に、ユーザが外出先で、住宅100に帰ったらお風呂に入ろうと思っている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置50を通じて、外出先から行われる。
(第1の例)
U:「お風呂入れるようにしておいて」
S:「準備しておきます」
U:「お風呂入れるようにしておいて」
S:「準備しておきます」
この外出時のお風呂の操作の第1の例において、ホームコンソールシステムは、「お風呂入れるようにしておいて」であるユーザの発話から、ユーザの発話の意図が、"お風呂を沸かす"ことであると認識する。また、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置50から得られる位置情報(GPS情報)に基づいて、ユーザの帰宅可能性のある時間帯を推定するための解析を行う。
そして、ホームコンソールシステムは、ユーザが帰宅すると推定される時間帯に、お風呂が沸き終わるように、浴室106内に設置された給湯器163を制御する。また、ホームコンソールシステムは、ユーザに対し、「準備しておきます」である応答をする。
なお、お風呂の沸き終わり時刻であるが、ホームコンソールシステムは、携帯端末装置50から通知される情報(例えば、位置情報)などに基づき、逐次再計算して補正することができる。例えば、ユーザが、システムに対する発話の後に、直ぐに帰宅する予定であったのだが、急に他の用事ができてしまった場合には、お風呂の沸き終わり時刻を遅らせるなど、外出先のユーザの行動に応じて、お風呂の沸き終わり時刻を調整することができる。
また、例えば、外出中のユーザが、住宅100の近くにいて、お風呂の沸き終わり時刻よりも先に帰宅してしまう場合に、ホームコンソールシステムは、ユーザが所持する携帯端末装置50に対し、提案メッセージを通知して、ユーザの帰宅時刻を、お風呂の沸き終わり時刻に合わせるようにしてもよい。この提案メッセージとしては、例えば、冷蔵庫133の食材として、卵を切らしている場合であって、近所のお店で卵の特売が行われているときに、「近所のお店で卵の特売をやっていますが、寄ってみてはどうでしょうか」等のメッセージを通知することができる。
(第2の例)
U:「お風呂入れるようにしておいて」
S:「準備しておきます」
<< 帰宅後別行動を開始 >>
S:「お風呂の保温(追い炊き)を開始しました」
U:「お風呂入れるようにしておいて」
S:「準備しておきます」
<< 帰宅後別行動を開始 >>
S:「お風呂の保温(追い炊き)を開始しました」
この外出時のお風呂の操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話に応じて、ユーザが帰宅すると推定される時間帯に、お風呂が沸き終わるように、浴室106内に設置された給湯器163を制御する。
ただし、この第2の例では、ユーザは、予定していた帰宅時刻に帰宅し、その時点でお風呂は沸いていたが、帰宅後直ぐにはお風呂に入らず、例えば、食事やあと片付けなどの別行動をはじめた場合、ホームコンソールシステムは、センサ117等のセンサから得られるセンサ情報の解析結果に基づき、ユーザが直ぐにはお風呂に入らないことを認識する。
そして、ホームコンソールシステムは、例えば保温や追い炊きなどが行われるように、浴室106内に設置された給湯器163を制御する。また、ホームコンソールシステムは、ユーザに対し、「お風呂の保温(追い炊き)を開始しました」である応答をする。
(J)在宅時のお風呂の操作の例(時間:休日の20:00頃、場所:居間)
次に、休日の20時頃の居間101において、ユーザがお風呂に入ろうとしている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、休日の20時頃の居間101において、ユーザがお風呂に入ろうとしている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「お風呂 入れたっけ」
S:「お風呂は沸かされています」
U:「お風呂 入れたっけ」
S:「お風呂は沸かされています」
この在宅時のお風呂の操作の第1の例において、ホームコンソールシステムは、「お風呂 入れたっけ」であるユーザの発話から、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識する。
また、ホームコンソールシステムは、浴室106に設置されたセンサ162から得られるセンサ情報を解析することで、他の家族が入っているかなど、お風呂が使用可能な状態となっているかどうかを認識する。
そして、ホームコンソールシステムは、お風呂が使用可能な状態ではない場合、給湯器163に対し、お風呂が沸かされている状態かどうかを問い合わせる。ホームコンソールシステムは、給湯器163から、お風呂が沸かされている状態であるとの通知が得られた場合、ユーザに対し、「お風呂は沸かされています」である応答を行う。
なお、お風呂が使用可能な状態である場合には、ホームコンソールシステムは、ユーザに対し、お風呂を利用可能である旨の応答を行うことになる。
(第2の例)
U:「お風呂 入れたっけ」
S:「xxxxさんが入っているようです」
U:「お風呂 入れたっけ」
S:「xxxxさんが入っているようです」
この在宅時のお風呂の操作の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識したが、センサ162から得られるセンサ情報の解析結果から、他の家族が使用中であると認識し、ユーザに対し、「xxxxさんが入っているようです」である応答を行う。
(第3の例)
U:「お風呂 入れたっけ」
S:「お風呂はxx時に沸かされています 二人が入ったようです
現在36℃です 追い炊きしますか」
U:「追い炊きして」
S:「追い炊きを開始します」
U:「お風呂 入れたっけ」
S:「お風呂はxx時に沸かされています 二人が入ったようです
現在36℃です 追い炊きしますか」
U:「追い炊きして」
S:「追い炊きを開始します」
この在宅時のお風呂の操作の第3の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識したが、給湯器163からの問い合わせ結果(機器情報)や、センサ162から得られるセンサ情報の解析結果に基づいて、お風呂の状態や、他の家族が入っているかなど、お風呂が使用可能な状態となっているかどうかを認識する。
このとき、ホームコンソールシステムは、お風呂が使用可能な状態である場合に、お風呂の状態に応じて、ユーザに対し、追い炊きや足し湯、保温などの機能を提案することができる。例えば、ホームコンソールシステムは、お風呂を沸かしてからある程度の時間が経過し、さらに他の家族が入ることで、お湯の温度が下がってきている場合に、ユーザに対し、「・・・追い炊きしますか」である応答(提案)を行う。なお、お風呂の温度は、ユーザごとに変えることができる。
この応答に対し、ユーザが、「追い炊きして」である発話を行った場合には、ホームコンソールシステムは、ユーザの発話の意図が、"追い炊きを指示する"ことであると認識し、給湯器163を制御して、お風呂の追い炊きが行われるようにする。また、ホームコンソールシステムは、ユーザに対し、「追い炊きを開始します」である応答を行う。
(K)買い物のリマインダ機能の例(時間:休日の10:00頃、場所:玄関)
次に、休日の10時頃の玄関102において、ユーザが、出かける前に、買う物を忘れないようにリマインダの登録を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、休日の10時頃の玄関102において、ユーザが、出かける前に、買う物を忘れないようにリマインダの登録を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「ネコの砂忘れないで」
S:「わかりました」
<< 外出 >>
S:「ネコの砂を購入できる最後の店舗です」
U:「ネコの砂忘れないで」
S:「わかりました」
<< 外出 >>
S:「ネコの砂を購入できる最後の店舗です」
このリマインダ機能の第1の例において、ホームコンソールシステムは、「ネコの砂忘れないで」であるユーザの発話から、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識する。そして、ホームコンソールシステムは、スケジュールDB33に、"ネコの砂を購入する"である予定を登録し、「わかりました」である応答を行う。
また、ホームコンソールシステムは、ユーザの登録済みの予定のリマインダ機能を実現するために、例えば、インターネット上のウェブサイトに公開されている"ネコの砂"を購入可能な店舗に関する店舗情報を取得する。そして、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置50から得られる位置情報(GPS情報)やユーザ行動ログに基づいて、店舗情報により特定される店舗の場所の付近に、ユーザが移動しているかどうかを確認するための解析を行う(ユーザの位置情報のトラッキングを行う)。
ホームコンソールシステムは、位置情報やユーザ行動ログを用いた解析の結果に従い、例えば、ユーザが帰宅するまでに"ネコの砂"の購入行動を感知できなかった場合には、携帯端末装置50に対し、メッセージ(リマインダ)を通知する。ここでは、例えば、ユーザが外出先から帰宅する際にその経路上にある"ネコの砂"を購入可能な店舗の中で、最も自宅に近い店舗の場所の付近に、ユーザが近づいたときに、ホームコンソールシステムは、携帯端末装置50に対し、「ネコの砂を購入できる最後の店舗です」であるメッセージを通知することができる。
これにより、ユーザは、確実に、自宅近辺の店舗で、確実に所望の商品を購入することができるため、商品を持ち帰る手間を最低限に留めることができる。
なお、ユーザが所持する携帯端末装置50に対し、メッセージを通知する方法であるが、音声による通知は勿論、例えば、テキスト情報や、バイブレーション機能によって通知するようにしてもよい。また、ここでは、ユーザの自宅に最も近い店舗を推薦する例を示したが、例えば、所望の商品を、最も安い価格で販売している店舗を推薦するなど、他の条件を用いるようにしてもよい。
(第2の例)
UA :「ネコの砂忘れないで」
S→UA:「わかりました」
<< 外出 >>
S→UB:「ネコの砂忘れないでと伝言があります」
S→UC:「ネコの砂忘れないでと伝言があります」
S→UA:「ネコの砂を購入できる最後の店舗です」
UA :「ネコの砂忘れないで」
S→UA:「わかりました」
<< 外出 >>
S→UB:「ネコの砂忘れないでと伝言があります」
S→UC:「ネコの砂忘れないでと伝言があります」
S→UA:「ネコの砂を購入できる最後の店舗です」
なお、リマインダ機能の第2の例において、「U」は、ユーザの発話を表しているが、ここでは、ある家族が、ユーザA,ユーザB,ユーザCの3人家族である場合に、ユーザAの発話を、「UA」と表記し、ホームコンソールシステムから、ユーザA,ユーザB,ユーザCのそれぞれに対する応答を、「S→UA」、「S→UB」、「S→UC」と表記している。
このリマインダ機能の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識し、予定を登録して「わかりました」である応答を行っている。
ここで、ホームコンソールシステムは、ユーザA以外の家族であるユーザBとユーザCが外出する際にも、同様のリマインダ機能が有効になるようにする。図20は、リマインダ機能の第2の例の対話シーケンスを示している。
図20において、「System」は、ホームコンソールシステムを表し、「UserA」は、ユーザAを表し、「UserB」と「UserC」は、ユーザAの家族(ユーザB,C)を表している。また、図20において、時間の方向は、図中の上側から下側に向かう方向とされ、図中のハッチングが施された区間が、ユーザやその家族が外出している時間帯を表している。なお、これらの関係は、後述する図21においても同様とされる。
ホームコンソールシステムは、ユーザAから、「ネコの砂忘れないで」である発話がなされた場合、ネコの砂を購入する予定を登録して、「わかりました」である応答を行う(S51)。また、ホームコンソールシステムは、既に外出中のユーザCが所持している携帯端末装置50Cに対し、ネットワークを介して、「ネコの砂忘れないでと伝言があります」であるメッセージを通知する(S52)。
このとき、ユーザBは、住宅100内にいるが、ホームコンソールシステムは、ユーザBの外出時に、ユーザBに対し、「ネコの砂忘れないでと伝言があります」とのメッセージを通知する(S53)。これにより、「ネコの砂忘れないで」であるメッセージが家族内で共有されることになる。
その後、外出中のユーザAが、ネコの砂を購入可能な店舗Sの付近に来たとき、ホームコンソールシステムは、ユーザAの位置情報と、店舗Sに関する店舗情報に基づき、ユーザAが店舗Sの近くにいることを確認し、ユーザAの所持する携帯端末装置50Aに対し、「ネコの砂を購入できる最後の店舗です」であるメッセージを通知する(S54)。
このように、家族の1人が、所望の商品を購入するためのリマインド機能を利用する際に、他の家族に対してもリマインド機能が共有されるため、家族のうち、誰かが所望の商品の購入を忘れてしまっていても、他の誰かが、システムからのメッセージを確認して所望の商品を購入することができる。そのため、外出時に、所望の商品の購入を忘れる確率を、低下させることが可能となる。
(第3の例)
UA :「ネコの砂忘れないで」
S→UA:「わかりました」
<< 外出 >>
S→UB:「ネコの砂忘れないでと伝言があります」
S→UC:「ネコの砂忘れないでと伝言があります」
<< UBが購入 >>
S→UA:「UBさんがネコの砂を購入しました」
S→UC:「UBさんがネコの砂を購入しました」
UA :「ネコの砂忘れないで」
S→UA:「わかりました」
<< 外出 >>
S→UB:「ネコの砂忘れないでと伝言があります」
S→UC:「ネコの砂忘れないでと伝言があります」
<< UBが購入 >>
S→UA:「UBさんがネコの砂を購入しました」
S→UC:「UBさんがネコの砂を購入しました」
このリマインダ機能の第3の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識し、予定を登録して「わかりました」である応答を行っている。
ここで、ホームコンソールシステムは、ユーザA以外の家族であるユーザBとユーザCが外出する際にも、同様のリマインダ機能が有効になるようにする。図21は、リマインダ機能の第3の例の対話シーケンスを示している。
図21において、ホームコンソールシステムは、ユーザAから、「ネコの砂忘れないで」である発話がなされた場合、この発話の内容を記録して、「わかりました」である応答を行う(S61)。また、ホームコンソールシステムは、外出中のユーザCが所持している携帯端末装置50Cに対し、ネットワークを介して、「ネコの砂忘れないでと伝言があります」であるメッセージを通知する(S62)。
このとき、ユーザBは、住宅100内にいるが、ホームコンソールシステムは、ユーザBの外出時に、ユーザBに対し、「ネコの砂忘れないでと伝言があります」とのメッセージを通知する(S63)。これにより、「ネコの砂忘れないで」であるメッセージが家族内で共有されることになる。
その後、最後に外出したユーザBが、ある店舗Sで、ネコの砂を購入したとき、ユーザBの所持する携帯端末装置50Bは、ネコの砂が購入済みであることを示す購入メッセージを、ネットワークを介して、ホームコンソールシステムに通知する(S64)。この購入メッセージは、例えば、携帯端末装置50Bから得られる位置情報や、ユーザBのユーザ行動ログ、ユーザBの明示の指示などに基づいて、ホームコンソールシステムに対し、通知される。
ホームコンソールシステムは、ユーザBの所持する携帯端末装置50Bからの購入メッセージを受信し、ユーザBが、ネコの砂を購入したことを認識する。そして、ホームコンソールシステムは、ユーザAの所持する携帯端末装置50Aと、ユーザCの所持する携帯端末装置50Cに対し、「ユーザBさんがネコの砂を購入しました」であるメッセージを通知する(S65,S66)。
このように、家族の1人が、所望の商品を購入するためのリマインド機能を利用する際に、他の家族に対してもリマインド機能が共有されるため、確実に、所望の商品を購入することができる。また、家族のうちの誰かが、所望の商品を購入した場合に、その事実(実行済みの内容)が、他の者にも通知されるため、例えば、所望の商品を重複して購入してしまう、といったことを未然に防止することができる。
(第4の例)
U:「洗濯洗剤なかった」
S:「前回の購入が1ヶ月前です 残りが少なくなっていると思われます」
<< 外出 >>
S:「購入履歴がありません 洗剤を購入したほうがよいのではないでしょうか」
U:「洗濯洗剤なかった」
S:「前回の購入が1ヶ月前です 残りが少なくなっていると思われます」
<< 外出 >>
S:「購入履歴がありません 洗剤を購入したほうがよいのではないでしょうか」
このリマインダ機能の第4の例において、ホームコンソールシステムは、「洗濯洗剤なかった」であるユーザの発話から、ユーザの発話の意図が、"洗剤の残量の確認"であると認識する。ホームコンソールシステムは、行動履歴DB32に記録されるユーザ行動ログから、洗剤の購入履歴を確認し、洗剤の購入履歴が存在する場合には、例えば、洗濯回数や使用期間などから、洗剤の残量を推定する。
そして、ホームコンソールシステムは、推定した洗剤の残量に応じて、ユーザに対し、「前回の購入が1ヶ月前です 残りが少なくなっていると思われます」である応答を行う。また、ホームコンソールシステムは、ユーザの位置情報に基づき、ユーザが洗剤を購入する行動を行っていない場合には、携帯端末装置50に対し、メッセージを通知して、洗剤の購入を促すことができる。
なお、行動履歴DB32から、洗剤の購入履歴を取得することができない状況下において、ユーザが、洗剤を購入していた場合には、ユーザが、ホームコンソールシステムに対し、購入済みのインプットを行うことで、上述した第4の例に示したサービスを受けることが可能になる。
(L)在宅時のスケジュール確認の例(時間:平日の7:00頃、場所:玄関)
次に、平日の朝7時の玄関において、ユーザの発話に応じて、スケジュールの確認を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
次に、平日の朝7時の玄関において、ユーザの発話に応じて、スケジュールの確認を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。
(第1の例)
U:「何時に帰れるかな」
S:「21時30分には帰宅できるようです」
U:「何時に帰れるかな」
S:「21時30分には帰宅できるようです」
このスケジュール確認の第1の例において、ホームコンソールシステムは、住宅100内のセンサから得られるセンサ情報や、ユーザの所持する携帯端末装置50から得られる位置情報などから、ユーザが、住宅100内の玄関102にいることを認識している。
また、ホームコンソールシステムは、「何時に帰れるかな」であるユーザの発話の意図が、"スケジュールの確認"であると認識し、あらかじめ記録されているユーザの当日の予定情報から、その日の最後の予定の終了時刻や場所を取得する。
そして、ホームコンソールシステムは、その日の最後の予定の終了時刻のほか、行動履歴DB32に記録されているユーザ行動ログなどを用い、帰宅時刻を予測して、ユーザに対する応答を行う。
図22は、スケジュールDB33に記録される予定情報の例を示している。図22においては、ユーザの9月7日(木)の予定として、10:00-11:00に、自社でのグループ内のミーティング、12:00-13:00に、レストランAでの昼食、16:00-18:00に、B社でのB社のDさんとのミーティングが登録されている。
ホームコンソールシステムは、図22に示した予定情報に基づき、ユーザの9月7日(木)の最後の予定であるB社のDさんとのミーティングについて、18:00である終了時刻と、B社である場所を認識することで、B社から自宅までにかかる時間が、1時間程度であることを予測する。
ここで、帰宅時刻の予測に際しては、行動履歴DB32に記録されているユーザ行動ログを用いるようにしてもよい。例えば、ユーザ行動ログから得られる時刻修正情報を用いて、予定の内容や、予定の相手に関する情報を、その日の最後の予定の終了時刻に加味することで、より正確に、帰宅時刻を予測することが可能となる。この時刻修正情報としては、例えば、下記に示すような、その日の最後の予定の終了時刻を修正するための情報が得られる。
(時刻修正情報)
B社のDさんとのミーティングの後は、飲み会などが長引き、帰宅時間が、2時間以上遅れる
B社のDさんとの飲み会は、居酒屋Cで行われることが多い
・・・
B社のDさんとのミーティングの後は、飲み会などが長引き、帰宅時間が、2時間以上遅れる
B社のDさんとの飲み会は、居酒屋Cで行われることが多い
・・・
ホームコンソールシステムは、修正後の最後の予定の終了時刻として、最後の予定である"B社のDさんとのミーティング"の終了時刻である18:00を、時刻修正情報に応じて2時間程度遅らせた20:00を算出する。また、ここでは、例えば、居酒屋Cから自宅までにかかる時間が、1時間30分程度であることが再計算される。
そして、ホームコンソールシステムは、修正後のユーザの帰宅時間として、最後の予定の終了時刻である20:00に、1時間30分を加えた21:30を算出し、ユーザに対し、「21時30分には帰宅できるようです」である応答を行うことになる。
(第2の例)
U:「何時に帰れるかな」
S:「本日の最後の予定は、20時に終了するようです」
U:「何時に帰れるかな」
S:「本日の最後の予定は、20時に終了するようです」
このスケジュール確認の第2の例において、ホームコンソールシステムは、上述の第1の例と同様に、ユーザの発話に応じて、その日の最後の予定であるB社のDさんとのミーティングの終了時刻が、18:00であることを認識している。また、ホームコンソールシステムは、時刻修正情報によって、B社のDさんとのミーティングの後は、飲み会が行われ、終了時刻が、2時間程度遅くなることを認識しているが、飲み会の場所を認識できなかった場合を想定する。
この場合、ホームコンソールシステムは、修正後の最後の予定の終了時刻として、最後の予定である"B社のDさんとのミーティング"の終了時刻である18:00を、2時間程度遅らせた20:00を算出し、ユーザに対し、その日の最後の予定のタイトルと終了時刻とを結合して得られる「本日の最後の予定は、20時に終了するようです」である応答を行う。
このように、ユーザ行動ログから得られる時刻修正情報を用いて、ユーザに提示する時刻情報を補正することで、ユーザに対して、より正確な時刻情報を通知することが可能となる。
(第3の例)
U:「品川に行ってくるね」
S:「いってらっしゃいませ」
U:「6時には帰るよ」
S:「わかりました」
<< ユーザの家族が帰宅 >>
U:「xxxxさんは品川にいっています 18時には戻るそうです」
U:「品川に行ってくるね」
S:「いってらっしゃいませ」
U:「6時には帰るよ」
S:「わかりました」
<< ユーザの家族が帰宅 >>
U:「xxxxさんは品川にいっています 18時には戻るそうです」
この第3の例において、ホームコンソールシステムは、「品川に行ってくるね」及び「6時には帰るよ」であるユーザの発話の意図が、"スケジュールの登録"であると認識し、それらを予定情報として、スケジュールDB33に記録する。その後、ホームコンソールシステムは、センサ情報等に基づき、ユーザの家族が帰宅したことを認識した場合、スケジュールDB33に記録された予定情報に基づき、ユーザの家族に対し、「xxxxさんは品川にいっています 18時には戻るそうです」である応答を行う。
なお、ホームコンソールシステムの応答において、例えば、"6時"を、"18時"に変換するなど、時間情報などは、ユーザに合わせて、言い回しを補正するようにしてもよい。また、ユーザの家族が、自宅にいて伝言を聞くことができる場合には、ホームコンソールシステムは、特にアクションを起こさなくてもよい。ただし、ユーザの家族が自宅にいる場合であっても、能動的に質問(例えば、「どこ行ったっけ」など)を発話した場合には、上述した第3の例と同様のフィードバックを行うようにする。
以上のように、本技術によれば、ホームネットワークに接続された複数の機器(家電機器)が制御可能な場合に、ユーザの発話に応じて、ユーザの意図に即した機器が制御され、その応答が行われる。その結果として、ユーザの意図に即した応答を行うことができる。
なお、従来の音声操作技術は、動作対象機器ごとに組み込まれており、動作対象機器を操作するために必要な発話内容、語彙のみを受け付けるようになっている。また、ユーザが動作対象機器の操作を行いたい場合に、動作対象機器に対し、操作を開始するための明示的な指示を与える必要がある。この明示的な指示は、例えば、手を叩くことによる破裂音であったり、特定のキーワードを用いることによる呼びかけであったりする。
そして、従来の動作対象機器の操作機能は、ユーザが即時に動作を実行して欲しい内容にのみ対応し、結果を提供するか、あるいは、あらかじめ動作を実行して欲しい条件を入力することで、該当する条件下において、結果を提示するようになっている。
ここで、音声で動作対象機器を操作する状況において、ユーザは、必ずしも操作したい対象を指定することや、条件を設定するわけではない。例えば、「電源つけて」や、「消しておいて」などの操作要求のみを発話することが多くみられる。
本技術では、ユーザが操作したい動作対象機器に対して、明示的な指定を与えていない場合や、動作条件を明示していない場合において、現在のユーザの状態や、行動履歴DB32に記録されているユーザ行動ログ、ユーザの発話内容から、ユーザが何をしたかったのかを推定して実行することで、ユーザに対し、ストレスのない音声機器操作を実現することができるようにしている。
<2.変形例>
(ホームコンソールシステムの他の構成例)
上述した説明では、ホームコンソール10(の処理部11)により処理が実行され、動作対象機器41が制御されることで、ホームコンソールシステムが実現される場合を例示したが、このようなホームコンソールシステムを実現するための構成として、例えば、図23に示すような構成を採用することができる。
上述した説明では、ホームコンソール10(の処理部11)により処理が実行され、動作対象機器41が制御されることで、ホームコンソールシステムが実現される場合を例示したが、このようなホームコンソールシステムを実現するための構成として、例えば、図23に示すような構成を採用することができる。
図23において、ホームコンソールシステムは、住宅100等のローカル側に設置され、システムのユーザインターフェースとして機能するホームコンソール10と、データセンタ等のクラウド側に設置され、システムを実現するための実質的な処理を行うサーバ211とから構成されている。
図23のホームコンソールシステムにおいて、ホームコンソール10とサーバ211とは、インターネット212を介して相互に接続されている。
ホームコンソール10は、例えば、家庭内LAN等のネットワークに接続可能なスピーカであって、いわゆるスマートスピーカやホームエージェントなどとも称される。ホームコンソール10は、インターネット212を介してサーバ211と連携することで、ユーザに対し、ホームコンソールシステムのユーザインターフェースを提供することができる。
すなわち、ホームコンソール10は、ユーザから発せられた音声(ユーザの発話)を収音し、その音声信号に応じた音声データを、インターネット212を介して、サーバ211に送信する。また、ホームコンソール10は、インターネットを介してサーバ211から送信されてくる処理データを受信し、その処理データに応じた処理を行う(例えば、動作対象機器41の制御を行う)。
サーバ211は、クラウドベースのホームコンソールシステムを提供するためのサーバである。サーバ211は、インターネット212を介してホームコンソール10から送信されてくる音声データに基づいて、音声認識処理や対話制御処理などの処理を行い、その処理の結果得られる処理データを、インターネット212を介してホームコンソール10に送信する。
ここで、音声認識処理は、例えば、音声信号をテキスト情報に変換するための処理である。また、対話制御処理は、例えば、音声認識処理で得られる音声認識結果(テキスト情報)に基づき、ユーザの意図に応じた応答を行うための処理(例えば、ユーザの意図に即した機器を制御するための制御情報を得るための処理)である。なお、サーバ211は、自身が音声認識処理を実行せずに、他の音声認識サービスを利用して得られる音声認識結果を用いるようにしてもよい。
すなわち、上述した説明では、図1の処理部110の機能(発話内容分類部21乃至実行判定・動作命令発行部27)が、ホームコンソール10に組み込まれるとして説明したが、図1の処理部110の機能が、サーバ211の機能として組み込まれるようにしてもよい。換言すれば、図1の処理部110の機能(発話内容分類部21乃至実行判定・動作命令発行部27)のそれぞれは、ホームコンソール10、及びサーバ211のうち、いずれの機器に組み込まれてもよい。
例えば、図1の処理部110の機能のうち、発話内容分類部21、キーフレーズ抽出部22、知識情報処理部23、状態推定部25、及び動作選択部26が、クラウド側のサーバ211に組み込まれ、センサ情報取得部24、及び実行判定・動作命令発行部27が、ローカル側のホームコンソール10に組み込まれるようにすることができる。
なお、いずれの構成を採用した場合でも、知識情報DB31や行動履歴DB32、スケジュールDB33等のデータベースは、インターネット212上のサーバ211が管理することができる。
以上のように、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
(ホームコンソールの構成例)
また、上述した説明では、ホームコンソール10のハードウェア構成について、特に述べていないが、例えば、次のような構成とすることができる。すなわち、ホームコンソール10は、例えば、スマートスピーカとして構成されるため、CPUやメモリ等のほか、例えば、マイクロフォンやスピーカ、通信I/Fなどを含んで構成することができる。
また、上述した説明では、ホームコンソール10のハードウェア構成について、特に述べていないが、例えば、次のような構成とすることができる。すなわち、ホームコンソール10は、例えば、スマートスピーカとして構成されるため、CPUやメモリ等のほか、例えば、マイクロフォンやスピーカ、通信I/Fなどを含んで構成することができる。
例えば、図24のコンピュータの構成に示すように、ホームコンソール10は、CPU1001を有し、CPU1001が、ROM1002や記録部1008に記録されているプログラムを実行することで、図1の処理部110の機能(発話内容分類部21乃至実行判定・動作命令発行部27)が実現される。また、ホームコンソール10は、マイクロフォンを含む入力部1006や、スピーカを含む出力部1007、家庭内LANやインターネットに接続可能な通信I/Fとしての通信部1009を有するようにすることができる。
(その他の変形例)
ホームコンソールシステムは、ユーザからの指示を待ち受けているだけでなく、ユーザに対し、適宜、情報を提示することができる。例えば、ユーザが掃除機を使って掃除を行っているとき、ホームコンソールシステムが、「掃除機の吸引力が落ちています」などのメッセージを通知するようにしてもよい。また、ホームコンソールシステムは、掃除機の消費電力量などを確認することで、ユーザに対し、「ゴミ袋の交換」などを通知するようにしてもよい。
ホームコンソールシステムは、ユーザからの指示を待ち受けているだけでなく、ユーザに対し、適宜、情報を提示することができる。例えば、ユーザが掃除機を使って掃除を行っているとき、ホームコンソールシステムが、「掃除機の吸引力が落ちています」などのメッセージを通知するようにしてもよい。また、ホームコンソールシステムは、掃除機の消費電力量などを確認することで、ユーザに対し、「ゴミ袋の交換」などを通知するようにしてもよい。
また、例えば、ユーザが、冷暖房機112等の冷房をつけようとしたときに、ホームコンソールシステムは、インターネット上のお天気サイトや、屋外に設けられたセンサからのセンサ情報などから得られる、外気温や風量などの情報に基づき、「外気のほうが涼しいようです」などのメッセージを通知して、冷房以外の選択肢を提案するようにしてもよい。
上述した説明では、音声対話システムとして実現されるホームコンソールシステムを説明したが、ユーザの発話の代わりに、テキストチャットによって、ユーザにより入力されるテキスト情報が用いられるようにしてもよい。この場合、ホームコンソール10には、テキスト情報が入力されるため、音声認識処理を行う必要はない。
また、上述した説明では、ホームコンソール10において、処理部11の動作選択部26によって、動作確率に応じて一意に特定される動作対象機器が選択されるとして説明したが、選択される動作対象機器は、1つに限らず複数あってもよい。例えば、ユーザから、「録画機115に記録された映像コンテンツの再生指示」がなされた場合に、テレビ114の電源がオンされていないときには、ホームコンソール10は、動作対象機器として、テレビ114と録画機115を選択することになる。なお、上述した説明では、浴室106に設置される給湯器163も、家電機器(電気機械器具)に含まれるものとする。
<3.コンピュータの構成>
上述した一連の処理(例えば、図3に示した対話に応じた対象機器制御処理)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、図3に示した対話に応じた対象機器制御処理の各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える
情報処理装置。
(2)
前記処理部は、前記発話情報、及び現在の前記ユーザの状態又はその周辺の状態を示す状態情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
前記(1)に記載の情報処理装置。
(3)
前記処理部は、前記発話情報、前記状態情報、及び前記ユーザの行動履歴を示す行動履歴情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
前記(2)に記載の情報処理装置。
(4)
前記処理部は、前記ユーザの意図に応じた動作対象機器の候補となる動作候補機器の中から、各動作候補機器の動作確率に応じて一意に特定される動作対象機器を選択する
前記(3)に記載の情報処理装置。
(5)
前記処理部は、
前記ユーザとの対話に応じて繰り返し得られる前記発話情報、前記状態情報、及び前記行動履歴情報のうち、少なくとも1つの情報に基づいて、前記動作確率を動的に更新し、
更新した前記動作確率に応じて、前記動作候補機器の中から、前記動作対象機器を選択する
前記(4)に記載の情報処理装置。
(6)
前記処理部は、前記動作対象機器を一意に特定できない場合に、前記ユーザに対する応答を行うことで得られる新たな発話情報に基づき、前記動作確率を更新する
前記(5)に記載の情報処理装置。
(7)
前記処理部は、前記ユーザに対し、前記動作対象機器を一意に特定するための問い合わせを行うことで、新たな発話情報を取得する
前記(6)に記載の情報処理装置。
(8)
前記処理部は、前記ユーザに対する問い合わせとして、その時点での前記動作候補機器の状態を含める
前記(7)に記載の情報処理装置。
(9)
前記処理部は、前記ユーザに対する問い合わせとして、その時点で選択可能となる前記動作候補機器を含める
前記(7)又は(8)に記載の情報処理装置。
(10)
前記処理部は、選択した前記動作対象機器の動作を制御する
前記(4)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記処理部は、
選択した前記動作対象機器に関する機器情報、及び前記ユーザの意図に基づいて、選択した前記動作対象機器の動作内容を決定し、
決定した前記動作内容に応じて、前記動作対象機器の動作を制御する
前記(10)に記載の情報処理装置。
(12)
前記処理部は、前記動作対象機器の動作を即時に実行しないと判定した場合、その判定後に得られた前記状態情報に基づいて、前記動作内容を修正又は再決定する
前記(11)に記載の情報処理装置。
(13)
前記処理部は、前記ユーザに対し、前記状態情報に応じたフィードバックを行い、そのフィードバックに対する前記ユーザの発話から得られる発話情報に基づいて、前記動作内容を修正又は再決定する
前記(12)に記載の情報処理装置。
(14)
前記処理部は、前記動作対象機器の動作を即時に実行すると判定した場合、前記動作対象機器の動作を制御する
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記状態情報は、前記ユーザの現在の位置を示す位置情報を含み、
前記処理部は、前記動作内容及び前記位置情報に基づいて、前記動作対象機器の動作を制御する
前記(11)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記処理部は、前記発話情報、及び前記ユーザにより登録された登録情報に基づいて、前記選択確率を算出する
前記(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記処理部は、各種のセンサによるセンシング結果から得られるセンサ情報に基づいて、前記状態情報を推定する
前記(1)乃至(15)のいずれかに記載の情報処理装置。
(18)
前記行動履歴情報は、前記ユーザと異なる他のユーザの行動履歴をさらに含む
前記(3)乃至(15)のいずれかに記載の情報処理装置。
(19)
前記情報処理装置は、ホームコンソールであり、
前記動作対象機器は、ホームネットワークを介して、前記ホームコンソールと接続される家電機器を含む
前記(4)乃至(15)のいずれかに記載の情報処理装置。
(20)
情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する
情報処理方法。
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える
情報処理装置。
(2)
前記処理部は、前記発話情報、及び現在の前記ユーザの状態又はその周辺の状態を示す状態情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
前記(1)に記載の情報処理装置。
(3)
前記処理部は、前記発話情報、前記状態情報、及び前記ユーザの行動履歴を示す行動履歴情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
前記(2)に記載の情報処理装置。
(4)
前記処理部は、前記ユーザの意図に応じた動作対象機器の候補となる動作候補機器の中から、各動作候補機器の動作確率に応じて一意に特定される動作対象機器を選択する
前記(3)に記載の情報処理装置。
(5)
前記処理部は、
前記ユーザとの対話に応じて繰り返し得られる前記発話情報、前記状態情報、及び前記行動履歴情報のうち、少なくとも1つの情報に基づいて、前記動作確率を動的に更新し、
更新した前記動作確率に応じて、前記動作候補機器の中から、前記動作対象機器を選択する
前記(4)に記載の情報処理装置。
(6)
前記処理部は、前記動作対象機器を一意に特定できない場合に、前記ユーザに対する応答を行うことで得られる新たな発話情報に基づき、前記動作確率を更新する
前記(5)に記載の情報処理装置。
(7)
前記処理部は、前記ユーザに対し、前記動作対象機器を一意に特定するための問い合わせを行うことで、新たな発話情報を取得する
前記(6)に記載の情報処理装置。
(8)
前記処理部は、前記ユーザに対する問い合わせとして、その時点での前記動作候補機器の状態を含める
前記(7)に記載の情報処理装置。
(9)
前記処理部は、前記ユーザに対する問い合わせとして、その時点で選択可能となる前記動作候補機器を含める
前記(7)又は(8)に記載の情報処理装置。
(10)
前記処理部は、選択した前記動作対象機器の動作を制御する
前記(4)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記処理部は、
選択した前記動作対象機器に関する機器情報、及び前記ユーザの意図に基づいて、選択した前記動作対象機器の動作内容を決定し、
決定した前記動作内容に応じて、前記動作対象機器の動作を制御する
前記(10)に記載の情報処理装置。
(12)
前記処理部は、前記動作対象機器の動作を即時に実行しないと判定した場合、その判定後に得られた前記状態情報に基づいて、前記動作内容を修正又は再決定する
前記(11)に記載の情報処理装置。
(13)
前記処理部は、前記ユーザに対し、前記状態情報に応じたフィードバックを行い、そのフィードバックに対する前記ユーザの発話から得られる発話情報に基づいて、前記動作内容を修正又は再決定する
前記(12)に記載の情報処理装置。
(14)
前記処理部は、前記動作対象機器の動作を即時に実行すると判定した場合、前記動作対象機器の動作を制御する
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記状態情報は、前記ユーザの現在の位置を示す位置情報を含み、
前記処理部は、前記動作内容及び前記位置情報に基づいて、前記動作対象機器の動作を制御する
前記(11)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記処理部は、前記発話情報、及び前記ユーザにより登録された登録情報に基づいて、前記選択確率を算出する
前記(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記処理部は、各種のセンサによるセンシング結果から得られるセンサ情報に基づいて、前記状態情報を推定する
前記(1)乃至(15)のいずれかに記載の情報処理装置。
(18)
前記行動履歴情報は、前記ユーザと異なる他のユーザの行動履歴をさらに含む
前記(3)乃至(15)のいずれかに記載の情報処理装置。
(19)
前記情報処理装置は、ホームコンソールであり、
前記動作対象機器は、ホームネットワークを介して、前記ホームコンソールと接続される家電機器を含む
前記(4)乃至(15)のいずれかに記載の情報処理装置。
(20)
情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する
情報処理方法。
10 ホームコンソール, 21 発話内容分類部, 22 キーフレーズ抽出部, 23 知識情報処理部, 24 センサ情報取得部, 25 状態推定部, 26 動作選択部, 27 実行判定・動作命令発行部, 31 知識情報DB, 32 行動履歴DB, 33 スケジュールDB, 41 動作対象機器, 111 ライト, 112 冷暖房機, 113 コンセント, 114 テレビ, 115 録画機, 116 ゲーム機, 117 センサ, 121 ライト, 122 センサ, 131 ライト, 132 センサ, 133 冷蔵庫, 141 ライト, 142 冷暖房機, 143 コンセント, 144 PC, 145 センサ, 151 ライト, 152 暖房器具, 153 コンセント, 154 ランプ, 155 センサ, 161 ライト, 162 センサ, 163 給湯器, 211 サーバ, 212 インターネット, 1000 コンピュータ, 1001 CPU
Claims (20)
- ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える
情報処理装置。 - 前記処理部は、前記発話情報、及び現在の前記ユーザの状態又はその周辺の状態を示す状態情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
請求項1に記載の情報処理装置。 - 前記処理部は、前記発話情報、前記状態情報、及び前記ユーザの行動履歴を示す行動履歴情報のうち、少なくとも1つの情報に基づいて、前記選択確率を算出する
請求項2に記載の情報処理装置。 - 前記処理部は、前記ユーザの意図に応じた動作対象機器の候補となる動作候補機器の中から、各動作候補機器の動作確率に応じて一意に特定される動作対象機器を選択する
請求項3に記載の情報処理装置。 - 前記処理部は、
前記ユーザとの対話に応じて繰り返し得られる前記発話情報、前記状態情報、及び前記行動履歴情報のうち、少なくとも1つの情報に基づいて、前記動作確率を動的に更新し、
更新した前記動作確率に応じて、前記動作候補機器の中から、前記動作対象機器を選択する
請求項4に記載の情報処理装置。 - 前記処理部は、前記動作対象機器を一意に特定できない場合に、前記ユーザに対する応答を行うことで得られる新たな発話情報に基づき、前記動作確率を更新する
請求項5に記載の情報処理装置。 - 前記処理部は、前記ユーザに対し、前記動作対象機器を一意に特定するための問い合わせを行うことで、新たな発話情報を取得する
請求項6に記載の情報処理装置。 - 前記処理部は、前記ユーザに対する問い合わせとして、その時点での前記動作候補機器の状態を含める
請求項7に記載の情報処理装置。 - 前記処理部は、前記ユーザに対する問い合わせとして、その時点で選択可能となる前記動作候補機器を含める
請求項7に記載の情報処理装置。 - 前記処理部は、選択した前記動作対象機器の動作を制御する
請求項4に記載の情報処理装置。 - 前記処理部は、
選択した前記動作対象機器に関する機器情報、及び前記ユーザの意図に基づいて、選択した前記動作対象機器の動作内容を決定し、
決定した前記動作内容に応じて、前記動作対象機器の動作を制御する
請求項10に記載の情報処理装置。 - 前記処理部は、前記動作対象機器の動作を即時に実行しないと判定した場合、その判定後に得られた前記状態情報に基づいて、前記動作内容を修正又は再決定する
請求項11に記載の情報処理装置。 - 前記処理部は、前記ユーザに対し、前記状態情報に応じたフィードバックを行い、そのフィードバックに対する前記ユーザの発話から得られる発話情報に基づいて、前記動作内容を修正又は再決定する
請求項12に記載の情報処理装置。 - 前記処理部は、前記動作対象機器の動作を即時に実行すると判定した場合、前記動作対象機器の動作を制御する
請求項11に記載の情報処理装置。 - 前記状態情報は、前記ユーザの現在の位置を示す位置情報を含み、
前記処理部は、前記動作内容及び前記位置情報に基づいて、前記動作対象機器の動作を制御する
請求項11に記載の情報処理装置。 - 前記処理部は、前記発話情報、及び前記ユーザにより登録された登録情報に基づいて、前記選択確率を算出する
請求項1に記載の情報処理装置。 - 前記処理部は、各種のセンサによるセンシング結果から得られるセンサ情報に基づいて、前記状態情報を推定する
請求項2に記載の情報処理装置。 - 前記行動履歴情報は、前記ユーザと異なる他のユーザの行動履歴をさらに含む
請求項3に記載の情報処理装置。 - 前記情報処理装置は、ホームコンソールであり、
前記動作対象機器は、ホームネットワークを介して、前記ホームコンソールと接続される家電機器を含む
請求項4に記載の情報処理装置。 - 情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する
情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204196 | 2017-10-23 | ||
JP2017204196 | 2017-10-23 | ||
PCT/JP2018/037499 WO2019082630A1 (ja) | 2017-10-23 | 2018-10-09 | 情報処理装置、及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2019082630A1 true JPWO2019082630A1 (ja) | 2020-12-03 |
Family
ID=66246320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550944A Abandoned JPWO2019082630A1 (ja) | 2017-10-23 | 2018-10-09 | 情報処理装置、及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200258503A1 (ja) |
EP (1) | EP3702904A4 (ja) |
JP (1) | JPWO2019082630A1 (ja) |
WO (1) | WO2019082630A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11087749B2 (en) * | 2018-12-20 | 2021-08-10 | Spotify Ab | Systems and methods for improving fulfillment of media content related requests via utterance-based human-machine interfaces |
US11150886B2 (en) * | 2019-09-03 | 2021-10-19 | Microsoft Technology Licensing, Llc | Automatic probabilistic upgrade of tenant devices |
JP2021135648A (ja) * | 2020-02-26 | 2021-09-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
US11727085B2 (en) | 2020-04-06 | 2023-08-15 | Samsung Electronics Co., Ltd. | Device, method, and computer program for performing actions on IoT devices |
CN111973412B (zh) * | 2020-08-28 | 2022-07-29 | 上海尚眸科技有限公司 | 一种提高裸眼视力的训练*** |
JP7396243B2 (ja) * | 2020-09-30 | 2023-12-12 | トヨタ自動車株式会社 | 情報処理装置、および情報処理システム |
JP7314898B2 (ja) * | 2020-10-09 | 2023-07-26 | トヨタ自動車株式会社 | エージェント装置、エージェント方法及びエージェントプログラム |
KR102581000B1 (ko) * | 2021-01-29 | 2023-09-21 | 네이버 주식회사 | 어시스턴트 서비스 제공 방법 및 시스템 |
US11790169B2 (en) * | 2021-04-02 | 2023-10-17 | Salesforce, Inc. | Methods and systems of answering frequently asked questions (FAQs) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132292A (ja) * | 2000-10-26 | 2002-05-09 | Daisuke Murakami | 音声によるホームオートメーションシステム |
JP2003111157A (ja) | 2001-09-28 | 2003-04-11 | Toshiba Corp | 統合コントローラ、機器制御方法及び機器制御プログラム |
JP3715584B2 (ja) * | 2002-03-28 | 2005-11-09 | 富士通株式会社 | 機器制御装置および機器制御方法 |
JP4405370B2 (ja) * | 2004-11-15 | 2010-01-27 | 本田技研工業株式会社 | 車両用機器制御装置 |
US8510737B2 (en) * | 2005-01-07 | 2013-08-13 | Samsung Electronics Co., Ltd. | Method and system for prioritizing tasks made available by devices in a network |
US9472205B2 (en) * | 2013-05-06 | 2016-10-18 | Honeywell International Inc. | Device voice recognition systems and methods |
US20160125880A1 (en) * | 2013-05-28 | 2016-05-05 | Zhigang Zhang | Method and system for identifying location associated with voice command to control home appliance |
DE112014006614B4 (de) * | 2014-04-22 | 2018-04-12 | Mitsubishi Electric Corporation | Benutzerschnittstellensystem, Benutzerschnittstellensteuereinrichtung, Benutzerschnittstellensteuerverfahren und Benutzerschnittstellensteuerprogramm |
-
2018
- 2018-10-09 US US16/755,937 patent/US20200258503A1/en not_active Abandoned
- 2018-10-09 JP JP2019550944A patent/JPWO2019082630A1/ja not_active Abandoned
- 2018-10-09 WO PCT/JP2018/037499 patent/WO2019082630A1/ja unknown
- 2018-10-09 EP EP18870377.1A patent/EP3702904A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP3702904A1 (en) | 2020-09-02 |
WO2019082630A1 (ja) | 2019-05-02 |
US20200258503A1 (en) | 2020-08-13 |
EP3702904A4 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2019082630A1 (ja) | 情報処理装置、及び情報処理方法 | |
US10992491B2 (en) | Smart home automation systems and methods | |
US10467875B1 (en) | Smart wake | |
CN112789561B (zh) | 用于为电器定制便携式自然语言处理接口的***和方法 | |
US20190334907A1 (en) | Resource optimization system and method | |
WO2019179154A1 (en) | Method and system for providing action recommendations associated with kitchen appliances | |
US10110677B2 (en) | Context-aware decision making | |
JP7115813B2 (ja) | 複数の電気機器に跨るポータブルの自然言語処理インターフェースを提供するためのシステム、及び方法 | |
US20160316293A1 (en) | Sound signature database for initialization of noise reduction in recordings | |
US11303955B2 (en) | Video integration with home assistant | |
JP6355939B2 (ja) | 音声サーバおよびその制御方法、並びに音声システム | |
CN110247892B (zh) | 用于智能住家环境中的住户策略实现的方法和*** | |
WO2019211932A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム | |
JP6152853B2 (ja) | 制御方法及びプログラム | |
JP6373709B2 (ja) | 対話装置 | |
US10735685B2 (en) | Control method of presented information, control device of presented information, and speaker | |
KR102315020B1 (ko) | 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법 | |
WO2024051362A1 (zh) | 清洁机器人及其控制方法和装置、用户设备及存储介质 | |
CN113534674A (zh) | 生活服务方法、控制终端、装置及存储介质 | |
WO2023219649A1 (en) | Context-based user interface | |
WO2023215008A1 (en) | Battery management and optimization using voice integration systems | |
CN113516452A (zh) | 生活服务引导方法、装置、控制终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20220708 |