JP2020154994A - エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム - Google Patents
エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2020154994A JP2020154994A JP2019054880A JP2019054880A JP2020154994A JP 2020154994 A JP2020154994 A JP 2020154994A JP 2019054880 A JP2019054880 A JP 2019054880A JP 2019054880 A JP2019054880 A JP 2019054880A JP 2020154994 A JP2020154994 A JP 2020154994A
- Authority
- JP
- Japan
- Prior art keywords
- agent
- unit
- user
- function unit
- agent function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 156
- 239000003795 chemical substances by application Substances 0.000 description 569
- 230000006870 function Effects 0.000 description 139
- 238000012545 processing Methods 0.000 description 44
- 238000004891 communication Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 17
- 238000003058 natural language processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 230000001052 transient effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】エージェント機能をユーザに判別させ易くすることができるエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムを提供すること。【解決手段】実施形態に係るエージェントシステムは、異なる複数の物体に搭載され、それぞれがユーザの発話に応じて、音声による応答を含むサービスを提供する複数のエージェント機能部と、前記複数のエージェント機能部のうち、前記複数の物体に同一種類のエージェント機能部が存在する場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、を備えるエージェントシステム。【選択図】図4
Description
本発明は、エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムに関する。
従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている(例えば、特許文献1参照)。
近年では、複数のエージェント機能を車両等の物体に搭載することについて実用化が進められているが、あるユーザが、エージェント機能を搭載した物体を複数所有していた場合に、どの物体に搭載したエージェント機能からの情報提供であるかが判断できない場合があった。
本発明は、このような事情を考慮してなされたものであり、エージェント機能をユーザに判別させ易くすることができるエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係るエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係るエージェントシステムは、異なる複数の物体に搭載され、それぞれがユーザの発話に応じて、音声による応答を含むサービスを提供する複数のエージェント機能部と、前記複数のエージェント機能部のうち、前記複数の物体に同一種類のエージェント機能部が存在する場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、を備えるエージェントシステムである。
(1):この発明の一態様に係るエージェントシステムは、異なる複数の物体に搭載され、それぞれがユーザの発話に応じて、音声による応答を含むサービスを提供する複数のエージェント機能部と、前記複数のエージェント機能部のうち、前記複数の物体に同一種類のエージェント機能部が存在する場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、を備えるエージェントシステムである。
(2):上記(1)の態様において、前記複数の物体は、前記ユーザに対応付けられた車両を含むものである。
(3):上記(2)の態様において、前記属性情報は、前記車両に関する情報を含むものである。
(4):上記(2)または(3)の態様において、前記複数のエージェント機能部のうち、所定のエージェント機能部における前記応答の出力態様を設定する設定部を更に備えるものである。
(5):上記(4)の態様において、前記所定のエージェント機能部は、前記車両の制御が可能なエージェント機能部である。
(6):上記(4)または(5)の態様において、前記所定のエージェント機能部は、前記複数のエージェント機能部に含まれる他のエージェント機能部の応答内容を取得するものである。
(7):上記(4)〜(6)のうち何れか一つの態様において、前記所定のエージェント機能部は、他のエージェント機能部から取得した応答内容を、前記他のエージェント機能部に代理して前記携帯端末に出力させるものである。
(8):本発明の他の態様に係るエージェントサーバは、ユーザの発話に応じて、音声による応答を含むサービスを提供するエージェント機能部と、前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、を備えるエージェントサーバである。
(9):本発明の他の態様に係るエージェントサーバの制御方法は、コンピュータが、エージェント機能部を起動させ、前記起動したエージェント機能部の機能として、ユーザの発話に応じて、応答を含むサービスを提供し、前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する、エージェントサーバの制御方法である。
(10):本発明の他の態様に係るプログラムは、コンピュータが、エージェント機能部を起動させ、前記起動させたエージェント機能部の機能として、ユーザの発話に応じて、応答を含むサービスを提供させ、前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供させる、プログラムである。
(10):本発明の他の態様に係るプログラムは、コンピュータが、エージェント機能部を起動させ、前記起動させたエージェント機能部の機能として、ユーザの発話に応じて、応答を含むサービスを提供させ、前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供させる、プログラムである。
上記(1)〜(10)の態様によれば、エージェント機能をユーザに判別させ易くすることができる。
以下、図面を参照し、本発明のエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムの実施形態について説明する。エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両に搭載され、複数種類のエージェント機能を備えたエージェント装置について説明する。車両は、物体の一例である。エージェント機能とは、例えば、車両のユーザと対話をしながら、ユーザの発話の中に含まれる要求(コマンド)に基づく各種の情報提供を行ったり、ユーザのスケジュールを管理したり、ネットワークサービスを仲介したりする機能である。複数種類のエージェントは、それぞれに果たす機能、処理手順、制御、出力態様・内容がそれぞれ異なってもよい。また、エージェント機能の中には、車両内の機器(例えば運転制御や車体制御に関わる機器)の制御等を行う機能を有するものがあってよい。
エージェント機能は、例えば、ユーザの音声を認識する音声認識機能(音声をテキスト化する機能)に加え、自然言語処理機能(テキストの構造や意味を理解する機能)、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、AI(Artificial Intelligence)技術によって実現されてよい。また、これらの機能を行うための構成の一部(特に、音声認識機能や自然言語処理解釈機能)は、車両Mの車載通信装置または車両Mに持ち込まれた汎用通信装置と通信可能なエージェントサーバ(外部装置)に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体(サービス・エンティティ)をエージェントと称する。
<全体構成>
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、ユーザU1に対応付けられた複数の車両MA、MB、…のそれぞれに搭載されるエージェント装置100A、100B、…と、複数のエージェントサーバ200−1、200−2、200−3、…と、ユーザU1に対応付けられた携帯端末300とを備える。「ユーザU1に対応付けられる」とは、例えば、ユーザU1が所有する、ユーザU1が管理する、或いはユーザU1に割り当てられていることに相当する。また、上記において、符号の末尾のハイフン以下の数字は、エージェントを区別するための識別子であるものとする。何れのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合があるものとし、他の構成についても同様とする。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、例えば、互いに異なるエージェントシステムの提供者が運営するものである。したがって、本実施形態におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者や製造者等が挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、ユーザU1に対応付けられた複数の車両MA、MB、…のそれぞれに搭載されるエージェント装置100A、100B、…と、複数のエージェントサーバ200−1、200−2、200−3、…と、ユーザU1に対応付けられた携帯端末300とを備える。「ユーザU1に対応付けられる」とは、例えば、ユーザU1が所有する、ユーザU1が管理する、或いはユーザU1に割り当てられていることに相当する。また、上記において、符号の末尾のハイフン以下の数字は、エージェントを区別するための識別子であるものとする。何れのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合があるものとし、他の構成についても同様とする。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、例えば、互いに異なるエージェントシステムの提供者が運営するものである。したがって、本実施形態におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者や製造者等が挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。
エージェント装置100A、100B、…は、それぞれが異なる車両MA、MB、…に搭載されていることを除いてほぼ同様の機能を備えるため、何れのエージェント装置であるかを区別しない場合、単にエージェント装置100と称する。また、車両についても何れの車両であるかを区別しない場合、単に車両Mと称する。また、図1では2つのエージェント装置100を示しているが、エージェント装置の数は3つ以上でもよい。エージェント装置100は、ネットワークNWを介してエージェントサーバ200と通信する。また、エージェントサーバ200は、ネットワークNWを介して携帯端末300と通信する。また、エージェント装置100は、ネットワークNWを介して携帯端末300と通信してもよい。ネットワークNWは、例えば、インターネット、セルラー網、Wi−Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線、電話回線、無線基地局等のうち一部または全部を含む。ネットワークNWには、各種ウェブサーバ400が接続されており、エージェント装置100、エージェントサーバ200、または携帯端末300は、ネットワークNWを介して各種ウェブサーバ400からウェブページを取得することができる。
エージェント装置100は、ユーザU1と対話を行い、ユーザU1からの音声をエージェントサーバ200に送信し、エージェントサーバ200から得られた回答に基づく応答内容を、音声出力や画像表示の形でユーザU1に提供する。ここで、エージェント装置100は、ユーザU1が車両内に存在する場合には、車両Mに搭載された表示部やスピーカユニットを用いて情報提供を行い、ユーザU1が車両Mに存在しない場合には、ユーザU1の携帯端末300に情報提供を行ってもよい。また、エージェント装置100は、ユーザからの要求に基づいて車両機器50に対する制御等を行ってもよい。
<第1実施形態>
[車両]
図2は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォン等の汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置20と、スピーカユニット30とを合わせたものが「出力部」の一例である。
[車両]
図2は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォン等の汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置20と、スピーカユニット30とを合わせたものが「出力部」の一例である。
マイク10は、車室内で発せられた音を収集する音声入力部である。表示・操作装置20は、画像を表示するとともに、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置20は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置20は、更に、HUD(Head Up Display)や機械式の入力装置を含んでもよい。スピーカユニット30は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ(音声出力部)を含む。表示・操作装置20は、エージェント装置100とナビゲーション装置40とで共用されてもよい。これらの詳細については後述する。
ナビゲーション装置40は、ナビHMI(Human Machine Interface)と、GPS(Global Positioning System)等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置(ナビゲーションコントローラ)とを備える。マイク10、表示・操作装置20、およびスピーカユニット30のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置40は、位置測位装置によって特定された車両Mの位置から、ユーザによって入力された目的地まで移動するための経路(ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置40は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置100は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置100は、ハードウェア上は一体に構成される。
車両機器50は、例えば、車両Mに搭載される機器である。車両機器50は、例えば、エンジンや走行用モータ等の駆動力出力装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、窓、窓の開閉装置および窓の開閉制御装置、シート、シート位置の制御装置、ルームミラーおよびその角度位置制御装置、車両内外の照明装置およびその制御装置、ワイパーやデフォッガーおよびそれぞれの制御装置、方向指示灯およびその制御装置、空調装置、走行距離やタイヤの空気圧の情報や燃料の残量情報等の車両情報装置等を含む。
車載通信装置60は、例えば、セルラー網やWi−Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。
乗員認識装置80は、例えば、着座センサ、車室内カメラ、画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員(ユーザ)の有無、顔向き等を認識する。乗員認識装置80による認識結果は、エージェント装置100やエージェントされた200に出力される。
図3は、表示・操作装置20およびスピーカユニット30の配置例を示す図である。表示・操作装置20は、例えば、第1ディスプレイ22と、第2ディスプレイ24と、操作スイッチASSY26とを含む。表示・操作装置20は、更に、HUD28を含んでもよい。また、表示・操作装置20は、更に、インストルメントパネルのうち運転席DSに対面する部分に設けられるメーターディスプレイ29を含んでもよい。第1ディスプレイ22と、第2ディスプレイ24と、HUD28と、メーターディスプレイ29とを合わせたものが「表示部」の一例である。
車両Mには、例えば、ステアリングホイールSWが設けられた運転席DSと、運転席DSに対して車幅方向(図中Y方向)に設けられた助手席ASとが存在する。第1ディスプレイ22は、インストルメントパネルにおける運転席DSと助手席ASとの中間辺りから、助手席ASの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第2ディスプレイ24は、運転席DSと助手席ASとの車幅方向に関する中間あたり、且つ第1ディスプレイの下方に設置されている。例えば、第1ディスプレイ22と第2ディスプレイ24は、共にタッチパネルとして構成され、表示部としてLCD(Liquid Crystal Display)や有機EL(Electroluminescence)、プラズマディスプレイ等を備えるものである。操作スイッチASSY26は、ダイヤルスイッチやボタン式スイッチ等が集積されたものである。HUD28は、例えば、風景に重畳させて画像を視認させる装置であり、一例として、車両Mのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる。メーターディスプレイ29は、例えば、LCDや有機EL等であり、速度計や回転速度計等の計器類を表示する。表示・操作装置20は、乗員によってなされた操作の内容をエージェント装置100に出力する。上述した各表示部が表示する内容は、エージェント装置100によって決定されてよい。
スピーカユニット30は、例えば、スピーカ30A〜30Fを含む。スピーカ30Aは、運転席DS側の窓柱(いわゆるAピラー)に設置されている。スピーカ30Bは、運転席DSに近いドアの下部に設置されている。スピーカ30Cは、助手席AS側の窓柱に設置されている。スピーカ30Dは、助手席ASに近いドアの下部に設置されている。スピーカ30Eは、第2ディスプレイ24の近傍に設置されている。スピーカ30Fは、車室の天井(ルーフ)に設置されている。また、スピーカユニット30は、右側後部座席や左側後部座席に近いドアの下部に設置されてもよい。
係る配置において、例えば、専らスピーカ30Aおよび30Bに音を出力させた場合、音像は運転席DS付近に定位することになる。「音像が定位する」とは、例えば、乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。また、専らスピーカ30Cおよび30Dに音を出力させた場合、音像は助手席AS付近に定位することになる。また、専らスピーカ30Eに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ30Fに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット30は、ミキサーやアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。
[エージェント装置]
図2に戻り、エージェント装置100は、管理部110と、エージェント機能部150−1、150−2、150−3と、ペアリングアプリ実行部160と、記憶部170とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、エージェント設定部116と、出力制御部120と備える。以下、何れのエージェント機能部であるか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は、説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。また、以下では、エージェント機能部150−1とエージェントサーバ200−1が協働して出現させるエージェントを「エージェント1」、エージェント機能部150−2とエージェントサーバ200−2が協働して出現させるエージェントを「エージェント2」、エージェント機能部150−3とエージェントサーバ200−3が協働して出現させるエージェントを「エージェント3」と称する場合がある。
図2に戻り、エージェント装置100は、管理部110と、エージェント機能部150−1、150−2、150−3と、ペアリングアプリ実行部160と、記憶部170とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、エージェント設定部116と、出力制御部120と備える。以下、何れのエージェント機能部であるか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は、説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。また、以下では、エージェント機能部150−1とエージェントサーバ200−1が協働して出現させるエージェントを「エージェント1」、エージェント機能部150−2とエージェントサーバ200−2が協働して出現させるエージェントを「エージェント2」、エージェント機能部150−3とエージェントサーバ200−3が協働して出現させるエージェントを「エージェント3」と称する場合がある。
エージェント装置100の各構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
記憶部170は、上記の各種記憶装置により実現される。記憶部170には、各種データやプログラムが格納される。
管理部110は、OS(Operating System)やミドルウェア等のプログラムが実行されることで機能する。
管理部110の音響処理部112は、マイク10から収集される音を受け付け、受け付けた音に対して、エージェントごとに予め設定されているウエイクアップワード(起動ワード)を認識するのに適した状態になるように音響処理を行う。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。また、音響処理部112は、音響処理された音声を、エージェントごとWU判定部114や起動中のエージェント機能部に出力する。
エージェントごとWU判定部114は、エージェント機能部150−1、150−2、150−3のそれぞれに対応して存在し、エージェントごとに予め定められているウエイクアップワードを認識する。エージェントごとWU判定部114は、音響処理が行われた音声(音声ストリーム)から音声の意味を認識する。まず、エージェントごとWU判定部114は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。エージェントごとWU判定部114は、混合ガウス分布モデル(GMM;Gaussian mixture model) に基づくフレーム単位の音声識別および非音声識別に基づく区間検出を行ってもよい。
次に、エージェントごとWU判定部114は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、エージェントごとWU判定部114は、テキスト化した文字情報がウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントごとWU判定部114は、対応するエージェント機能部150を起動させる。なお、エージェントごとWU判定部114に相当する機能がエージェントサーバ200に搭載されてもよい。この場合、管理部110は、音響処理部112によって音響処理が行われた音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200がウエイクアップワードであると判定した場合、エージェントサーバ200からの指示に従ってエージェント機能部150が起動する。なお、各エージェント機能部150は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部110がエージェントごとWU判定部114を備える必要はない。
また、エージェントごとWU判定部114は、上述した手順と同様の手順で、発話された音声に含まれる終了ワードを認識した場合であり、且つ、終了ワードに対応するエージェントが起動している状態(以下、必要に応じて「起動中」と称する)である場合、起動しているエージェント機能部を停止(終了)させる。なお、起動中のエージェントは、音声の入力を所定時間以上受け付けなかった場合や、エージェントを終了させる所定の指示操作を受け付けた場合に、エージェントを停止させてもよい。
エージェント設定部116は、エージェントごとの応答時の出力態様を設定する。出力態様とは、例えば、後述するエージェント画像または疑似的にエージェント画像が発していると聴者(乗員)に認識させるための音声(以下、エージェント音声を称する)のうち、一方または双方である。エージェント設定部116は、複数のエージェント機能部150−1〜150−3のうち、所定のエージェント機能部に対応付けられたエージェント画像やエージェント音声のみを設定できるようにしてもよい。所定のエージェント機能部には、例えば、車両Mの制御が可能なエージェント機能部150−1が含まれる。「車両Mの制御が可能」とは、例えば、車両機器50に対する制御や、ナビゲーション装置40、表示・操作装置20に対する制御が可能であることである。エージェント設定部116における設定内容の詳細については後述する。
出力制御部120は、管理部110またはエージェント機能部150からの指示に応じて表示部またはスピーカユニット30に応答内容等の情報を出力させることで、乗員にサービス等の提供を行う。出力制御部120は、例えば、表示制御部122と、音声制御部124とを備える。
表示制御部122は、出力制御部120からの指示に応じて表示部の少なくとも一部の領域に画像を表示させる。以下では、エージェントに関する画像を第1ディスプレイ22に表示させるものとして説明する。表示制御部122は、出力制御部120の制御により、エージェント画像を生成し、生成したエージェント画像を第1ディスプレイ22に表示させる。エージェント画像は、例えば、車室内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像である。また、エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(乗員)によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体(胴体や手足)の画像を含むことで、エージェントの動作や振る舞い、姿勢等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。例えば、表示制御部122は、乗員認識装置80により認識された乗員の位置に近い表示領域にエージェント画像を表示させたり、乗員の位置に顔を向けたエージェント画像を生成して表示させてもよい。
音声制御部124は、出力制御部120からの指示に応じて、スピーカユニット30に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部124は、複数のスピーカユニット30を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2〜3[cm]以内)の位置である。
エージェント機能部150は、対応するエージェントサーバ200と協働してエージェントを出現させ、車両の乗員の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部150には、車両M(例えば、車両機器50)を制御する権限が付与されたものが含まれてよい。また、エージェント機能部150には、ペアリングアプリ実行部160を介して汎用通信装置70と連携し、エージェントサーバ200と通信するものがあってよい。例えば、エージェント機能部150−1には、車両M(例えば、車両機器50)を制御する権限が付与されている。エージェント機能部150−1は、車載通信装置60を介してエージェントサーバ200−1と通信する。エージェント機能部150−2は、車載通信装置60を介してエージェントサーバ200−2と通信する。エージェント機能部150−3は、ペアリングアプリ実行部160を介して汎用通信装置70と連携し、エージェントサーバ200−3と通信する。
ペアリングアプリ実行部160は、例えば、Bluetooth(登録商標)によって汎用通信装置70とペアリングを行い、エージェント機能部150−3と汎用通信装置70とを接続させる。なお、エージェント機能部150−3は、USB(Universal Serial Bus)等を利用した有線通信によって汎用通信装置70に接続されるようにしてもよい。
[エージェントサーバおよび携帯端末]
図4は、第1実施形態に係るエージェントサーバ200および携帯端末300の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200および携帯端末300の構成とともに、車両MAおよび車両MBのそれぞれに搭載される同一種類のエージェントに対応するエージェント機能部等の動作について説明する。以下、同一種類のエージェントの一例としてエージェント1を用いることとし、エージェント装置100Aおよび100Bのそれぞれの構成部の符号には、「A」または「B」の文字を付与して、それぞれの構成を識別するものとする。また、以下では、ネットワークNWを用いた物理的な通信についての説明を省略する。また、以下では、主にエージェント装置100Aおよびエージェントサーバ200−1の動作を中心として説明する。
図4は、第1実施形態に係るエージェントサーバ200および携帯端末300の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200および携帯端末300の構成とともに、車両MAおよび車両MBのそれぞれに搭載される同一種類のエージェントに対応するエージェント機能部等の動作について説明する。以下、同一種類のエージェントの一例としてエージェント1を用いることとし、エージェント装置100Aおよび100Bのそれぞれの構成部の符号には、「A」または「B」の文字を付与して、それぞれの構成を識別するものとする。また、以下では、ネットワークNWを用いた物理的な通信についての説明を省略する。また、以下では、主にエージェント装置100Aおよびエージェントサーバ200−1の動作を中心として説明する。
エージェントサーバ200−1は、サーバ側通信部210を備える。サーバ側通信部210は、例えば、NIC(Network Interface Card)等のネットワークインターフェースである。更に、エージェントサーバ200−1は、例えば、音声認識部220と、自然言語処理部222と、対話管理部224と、ネットワーク検索部226と、応答内容生成部228と、情報提供部230と、記憶部250とを備える。これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音声認識部220と、自然言語処理部222とを合わせたものが「認識部」の一例である。
記憶部250は、上記の各種記憶装置により実現される。記憶部250には、例えば、辞書DB(データベース)252、パーソナルプロファイル254、知識ベースDB256、応答規則DB258、エージェント管理情報260等のデータやプログラムが格納される。
エージェント装置100において、エージェント機能部150A−1は、例えば、音響処理部112等から入力される音声ストリーム、或いは圧縮や符号化等の処理を行った音声ストリームを、エージェントサーバ200−1に送信する。エージェント機能部150A−1は、ローカル処理(エージェントサーバ200−1を介さない処理)が可能なコマンド(要求内容)が認識できた場合には、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置100Aのそれぞれが備える記憶部170Aを参照することで応答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、記憶部170A内に存在する電話帳データから特定者の名前を検索し、合致した名前に対応付けられた電話番号に電話をかける(相手を呼び出す)コマンドである。したがって、エージェント機能部150A−1は、エージェントサーバ200−1が備える機能の一部を有してもよい。
音声ストリームを取得すると、音声認識部220が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部222が文字情報に対して辞書DB252を参照しながら意味解釈を行う。辞書DB252は、例えば、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書DB252は、同義語や類義語の一覧情報を含んでもよい。音声認識部220の処理と、自然言語処理部222の処理は、段階が明確に分かれるものではなく、自然言語処理部222の処理結果を受けて音声認識部220が認識結果を修正する等、相互に影響し合って行われてよい。
自然言語処理部222は、例えば、認識結果として、「今日の天気は」、「天気はどうですか」等の意味が認識された場合、標準文字情報「今日の天気」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部222は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。
対話管理部224は、入力されたコマンドに基づいて、パーソナルプロファイル254や知識ベースDB256、応答規則DB258を参照しながら車両Mの乗員に対する応答内容(例えば、乗員への発話内容や出力部から出力する画像、音声)を決定する。パーソナルプロファイル254は、ユーザ(乗員)ごとに保存されているユーザの個人情報、趣味嗜好、過去の対話の履歴等を含む。ユーザの個人情報には、例えば、ユーザの携帯端末300と通信を行うためのアドレス情報等が含まれる。知識ベースDB256は、物事の関係性を規定した情報である。応答規則DB258は、コマンドに対してエージェントが行うべき動作(回答や機器制御の内容等)を規定した情報である。
また、対話管理部224は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル254と照合を行うことで、ユーザを特定してもよい。この場合、パーソナルプロファイル254には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム(音の高低のパターン)等の喋り方の特徴や、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients)等による特徴量に関する情報である。音声の特徴情報は、例えば、ユーザの初期登録時に所定の単語や文章等をユーザに発声させ、発声させた音声を認識することで得られる情報である。
対話管理部224は、コマンドが、ネットワークNWを介して検索可能な情報を要求するものである場合、ネットワーク検索部226に検索を行わせる。ネットワーク検索部226は、ネットワークNWを介して各種ウェブサーバ400にアクセスし、所望の情報を取得する。「ネットワークNWを介して検索可能な情報」とは、例えば、車両Mの周辺にあるレストランの一般ユーザによる評価結果であったり、その日の車両Mの位置に応じた天気予報であったりする。
応答内容生成部228は、対話管理部224により決定された発話の内容が車両Mの乗員に伝わるように、応答内容を生成し、生成した応答内容をエージェント装置100に送信する。応答内容には、例えば、乗員に提供する応答文や各制御対象機器に対する制御コマンド等が含まれる。また、応答内容生成部228は、乗員認識装置80による認識結果をエージェント装置100から取得し、取得した認識結果によりコマンドを含む発話を行った乗員がパーソナルプロファイル254に登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に似せた話し方にした応答内容を生成してもよい。
情報提供部230は、応答内容生成部228により生成された応答内容に対し、記憶部250に記憶されたエージェント管理情報260を参照し、エージェントの出力態様に対応する応答内容を生成する。図5は、エージェント管理情報260の内容の一例を示す図である。エージェント管理情報260には、例えば、ユーザを識別する識別情報であるユーザIDおよび車両Mを識別する識別情報である車両IDに、属性情報、およびエージェント設定情報が対応付けられている。属性情報とは、例えば、ユーザに対応付けられた複数の車両のそれぞれに搭載された同一種類のエージェントを識別するための識別情報である。属性情報には、例えば、車名やナンバープレートに記載された自動車登録番号が含まれる。また、属性情報は、ユーザが複数の車両のうち何れかの車両を特定できる情報であればよく、具体的は、自動車メーカー、車体の色情報や形状情報、購入時期等の情報が含まれてもよい。エージェント設定情報には、例えば、エージェント設定部116で設定されたエージェント画像情報およびエージェント音声情報が含まれる。
例えば、情報提供部230は、エージェント機能部150A−1から音声と共に送信されたユーザIDおよび車両IDを用いて、記憶部250に記憶されたエージェント管理情報260を参照し、ユーザIDおよび車両IDに対応付けられたエージェント設定情報を取得する。そして、情報提供部230は、エージェント設定情報のエージェント画像およびエージェント音声に対応させた応答内容を生成し、生成した応答内容を、音声を送信したエージェント機能部150A−1に送信する。
エージェント機能部150A−1は、エージェントサーバ200−1から応答内容を取得すると、音声合成等を行って音声を出力するように音声制御部124に指示する。また、エージェント機能部150A−1は、音声出力に合わせてエージェント画像を生成し、生成したエージェント画像や応答結果に含まれる画像等を表示するように表示制御部122に指示する。このようにして、仮想的に出現したエージェントが車両Mの乗員に応答するエージェント機能が実現される。
また、情報提供部230は、例えば、エージェント機能部150−1から取得したユーザU1に提供する情報であって、乗員認識装置80からの認識結果により車両MA、MBにユーザU1が乗車していない場合に、パーソナルプロファイル254に記憶された個人情報から携帯端末300のアドレス情報を取得し、取得したアドレス情報に基づいて携帯端末300に応答内容を出力する。ユーザU1に提供する情報とは、例えば、車両に関する情報やユーザU1との対話によって予約されていた情報等のユーザU1に早期に通知すべきであると推定される情報である。携帯端末300に情報提供を行う場合における情報提供部230の機能の詳細については後述する。
エージェントサーバ200−1は、車両MAに搭載されたエージェント装置100Aが備えるエージェント機能部150A−1と、車両MBに搭載されたエージェント装置100Bが備えるエージェント機能部150B−1とのそれぞれに対して上述した機能を実行する。
[携帯端末]
携帯端末300は、例えば、エージェント機能が搭載されていない可搬型の端末装置である。携帯端末300は、例えば、スマートフォンやタブレット端末、ウェアラブル端末である。携帯端末300は、例えば、端末側通信部310と、端末側マイク320と、端末側表示・操作装置330と、端末側スピーカ340と、端末側音響処理部350と、端末側出力制御部360とを備える。これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
携帯端末300は、例えば、エージェント機能が搭載されていない可搬型の端末装置である。携帯端末300は、例えば、スマートフォンやタブレット端末、ウェアラブル端末である。携帯端末300は、例えば、端末側通信部310と、端末側マイク320と、端末側表示・操作装置330と、端末側スピーカ340と、端末側音響処理部350と、端末側出力制御部360とを備える。これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
端末側通信部310は、ネットワークNWを介してエージェントサーバ200や他の外部装置と通信を行う。端末側マイク320は、ユーザU1が発した音を収集する音声入力部である。端末側表示・操作装置330は、画像を表示するとともに、入力操作を受付可能な装置である。端末側表示・操作装置330は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。端末側表示・操作装置330は、表示部としてLCDや有機EL、プラズマディスプレイ等を備え、操作部として各種ボタンや画面上にGUI(Graphical User Interface)スイッチを備える。端末側スピーカ340は、音声を出力する音声出力部である。
端末側音響処理部350は、端末側マイク320から収集される音を受け付け、受け付けた音に対して、エージェントサーバ200−1側での音声認識が可能となるような音響処理を行う。端末側音響処理部350は、音響処理された音声を、端末側通信部310を介してエージェントサーバ200−1に送信する。
端末側出力制御部360は、エージェントサーバ200−1から入力された応答内容に基づいて、端末側表示・操作装置330の表示部または端末側スピーカ340に情報を出力させる。端末側出力制御部360は、例えば、表示制御部362と、音声制御部364とを備える。表示制御部362は、端末側出力制御部360からの指示に応じて表示部の少なくとも一部の表示領域にエージェント画像等の各種画像を表示させる。音声制御部364は、端末側出力制御部360からの指示に応じて、端末側スピーカ340にエージェント音声等の各種音声を出力させる。
[エージェント設定部の機能]
以下、エージェント設定部116の機能について具体的に説明する。エージェント設定部116は、例えば、表示・操作装置20へのユーザ操作によりエージェントの設定指示を受け付けた場合、またはユーザが最初にエージェントを使用する場合に、エージェントの出力態様を設定するための画像を表示制御部122に生成させ、生成させた画像をエージェント設定画面として表示・操作装置20の表示部に出力させる。
以下、エージェント設定部116の機能について具体的に説明する。エージェント設定部116は、例えば、表示・操作装置20へのユーザ操作によりエージェントの設定指示を受け付けた場合、またはユーザが最初にエージェントを使用する場合に、エージェントの出力態様を設定するための画像を表示制御部122に生成させ、生成させた画像をエージェント設定画面として表示・操作装置20の表示部に出力させる。
図6は、エージェントの出力態様を設定するための画像IM1の一例を示す図である。なお、画像IM1に表示される内容やレイアウト等については、これに限定されるものではない。画像IM1には、例えば、エージェント選択領域A11と、エージェント画像選択領域A12と、音声選択領域A13と、GUIスイッチ選択領域A14とが含まれる。なお、画像IM1には、上述した領域に加えて、ユーザのIDや車両ID、車両の色、形状を設定する設定領域や属性情報を設定する設定領域、エージェントの名称を設定する設定領域等が含まれてもよい。
エージェント選択領域A11には、例えば、ユーザU1が、出力態様を設定するエージェントを選択するための情報が表示される。例えば、エージェント1〜エージェント3のうち、エージェント1およびエージェント2が設定可能であり、エージェント3が設定不可能である場合、エージェント選択領域A11には、エージェント1およびエージェント2の選択肢のみが表示される。なお、エージェントの出力態様の設定(変更)が可能なエージェントには、車両Mの制御が可能なエージェント(ここでは、エージェント1)が含まれる。エージェント1は、車両の制御が行えるという特殊性から、他のエージェントよりも車両Mとの関連性が高いため、車両に関する情報を携帯端末300に通知する場合に、エージェント1を使用する頻度が高いことが予測される。したがって、エージェント1の出力態様を車両ごとに変更可能とすることで、ユーザU1に対し、携帯端末300に出力される情報から車両を判別させ易くすることができる。また、図6の例において、エージェント選択領域A11には、プルダウンメニュー(ドロップダウンメニュー)が表示されているが、これに代えて、リストボックスやラジオボタン等のGUIを用いてエージェントが選択可能に表示されてもよい。
エージェント画像選択領域A12には、例えば、予め決められた一以上のエージェント画像が表示される。図6の例において、エージェント画像選択領域A12には、エージェント画像EI1〜EI3(Character A〜C)が表示されている。ユーザU1は、エージェント画像EI1〜EI3のうち何れかの画像の表示領域をタッチすることで、エージェント画像が選択される。図6の例において、エージェント画像選択領域A12には、エージェント画像EI1が選択された状態が示されている。
音声選択領域A13には、例えば、予め決められた一以上のエージェント音声が表示される。エージェント音声には、例えば、合成音声や、声優や著名人、タレント等の実際の人物の音声等を識別する情報が含まれる。図6の例において、音声選択領域A13には、プルダウンメニュー(ドロップダウンメニュー)が表示されているが、これに代えて、リストボックスやラジオボタン等のGUIを用いてエージェント音声が選択可能に表示されてもよい。
GUIスイッチ選択領域A14には、ユーザ選択可能な各種GUIボタンが表示される。図6の例において、GUIスイッチ選択領域A14には、例えば、各領域A11〜A13で選択した内容での設定を許可する設定許可ボタン(OKボタン)IC1と、設定を許可しないキャンセルボタンIC2とが含まれる。ユーザU1が、設定許可ボタンIC1を選択した場合、各領域A11〜A13で選択された内容でエージェントの出力態様が設定される。この場合、エージェント設定部116は、設定情報を、予め決められた(または設定された)ユーザID、車両ID、および属性情報等と対応付けて、エージェント選択領域A11で選択したエージェントに対応するエージェントサーバ200に送信する。図6の例では、エージェント1が選択されているため、設定情報(エージェント画像「characterA」、エージェント音声「VoiceA」)は、ユーザU1のユーザID(例えば、「U1」)、車両MAの車両ID(例えば、「V001」)、属性情報(例えば、車名「AAA」)と共に、エージェントサーバ200−1に送信される。エージェントサーバ200−1は、エージェント設定部116により送信された情報を、エージェント管理情報260として記憶部250に記憶させる。
なお、エージェント設定部116は、例えば、ユーザIDに対応付けて設定された出力態様(エージェント画像、エージェント音声)が、同一車両の他のエージェントの出力態様と重複する場合に、その設定情報の登録を中止し、異なる内容で再度設定するようにユーザU1に通知してもよい。これにより、同一車両に搭載された複数のエージェントの区別が付きにくくなることを抑制することができる。また、エージェント設定部116は、すでに登録されている他の車両の同一種類のエージェントの出力態様と重複する場合にも、同様に再度設定するような制御を行ってもよい。
また、キャンセルボタンIC2が選択された場合、エージェント設定部116は、画像IM1によって設定された内容をクリアにする。なお、上述の例では、エージェント画像およびエージェント音声の設定を行う例について説明したが、例えば、エージェント画像またはエージェント音声の何れか一方を設定する画像を表示して、表示された内容に対する設定を行ってもよい。
[情報提供部の機能]
次に、情報提供部230の機能について具体的に説明する。なお、以下では、情報提供部230の機能に関連する応答内容生成部228の機能についても説明する。応答内容生成部228は、例えば、エージェント機能部150A−1からユーザに提供する情報として、車両MAに関する情報が入力された場合に、車両MAに関する情報をユーザU1に通知する応答内容を生成する。「車両に関する情報」には、例えば、車両Mの窓やドアの開閉状態、燃料やバッテリの状態(例えば、残量)、ライトや室内照明のオン・オフ状態、または乗員認識装置80による認識結果のうち、少なくとも一つが含まれる。
次に、情報提供部230の機能について具体的に説明する。なお、以下では、情報提供部230の機能に関連する応答内容生成部228の機能についても説明する。応答内容生成部228は、例えば、エージェント機能部150A−1からユーザに提供する情報として、車両MAに関する情報が入力された場合に、車両MAに関する情報をユーザU1に通知する応答内容を生成する。「車両に関する情報」には、例えば、車両Mの窓やドアの開閉状態、燃料やバッテリの状態(例えば、残量)、ライトや室内照明のオン・オフ状態、または乗員認識装置80による認識結果のうち、少なくとも一つが含まれる。
ここで、例えば、エージェントサーバ200−1は、車両MAのエージェント機能部150A−1から「後部座席の窓が開いている」という情報を取得したとする。また、エージェントサーバ200−1は、車両MA、MBに搭載された乗員認識装置80A、80Bの認識結果により、車両MA、MBに乗員が存在しないという情報を取得しているものとする。
この場合、情報提供部230は、ユーザU1の携帯端末300に車両MAに関する情報を出力させる。この場合、情報提供部230は、記憶部250に記憶されたエージェント管理情報260から、ユーザIDおよび車両IDに対応する属性情報を取得し、取得した属性情報を含む応答内容を生成する。図5の例において、ユーザU1のユーザIDが「U1」であり、車両MAの車両IDが「V001」である場合、応答内容生成部228は、出力態様がエージェント画像「characterA」、エージェント音声「VoiceA」の応答内容を生成すると共に、属性情報(例えば、車名「AAA」)の情報を含めた応答内容を生成し、生成した応答内容を携帯端末300に送信する。
端末側出力制御部360は、エージェントサーバ200−1により送信された応答内容に対応する画像を端末側表示・操作装置330の表示部に出力したり、応答内容に対応する音声を端末側スピーカ340により出力させる。
図7は、携帯端末300を介して情報提供される内容の一例を示す図である。図7の例では、表示制御部362により生成されて端末側表示・操作装置330の表示部に表示される画像IM2と、端末側スピーカ340により出力される音声の例を示している。画像IM2には、例えば、文字情報表示領域A21と、エージェント表示領域A22とが含まれる。文字情報表示領域A21には、例えば、ユーザU1と対話を行うエージェントに関する情報が表示される。図7の例において、文字情報表示領域A21には、「「AAA」のエージェント1が対話中」という文字情報が表示されている。
エージェント表示領域A22には、例えば、対話中のエージェントに対応付けられたエージェント画像やエージェントの応答内容が表示される。図7の例において、エージェント表示領域A22には、ユーザU1および車両MAのエージェント1に対応付けられたエージェント画像EI1が表示されている。この場合、エージェント画像EI1は、車両ごとに設定されたエージェント設定情報のエージェント画像が表示される。また、エージェント表示領域A22には、応答内容に対応する文字情報として、「後部座席の窓が開いています。閉めますか?」という文字情報が表示される。また、音声制御部364は、応答内容に対応する音声として「「AAA」のエージェント1です。「AAA」の後部座席の窓が開いています。閉めますか?」といった音声を生成し、生成した音声を出力させる。この場合、音声は、ユーザU1および車両MAに対応付けられたエージェント音声で出力される。このように、画像に表示される文字情報やエージェント画像、エージェント音声によって、エージェント自身が、どの車両のエージェントであるかをユーザU1に伝えることで、対話しているエージェントをユーザU1に判別させ易くすることができる。
また、携帯端末300に上述した図7に示すような情報提供がなされた後、ユーザU1が「閉めて」と発話した場合、端末側マイク320により取得された上記の発話の音声に対する音響処理が行われ、音響処理された音声が端末側通信部310からエージェントサーバ200−1に送信される。エージェントサーバ200−1は、携帯端末300から受信した音声に対する音声認識を行い、認識結果に基づく応答として、車両MAの後部座席の窓を閉めるコマンド等を生成し、生成したコマンドをサーバ側通信部210からエージェント機能部150A−1に送信する。エージェント機能部150A−1は、受信したコマンドに従って車両機器50を制御し、後部座席の窓を閉める制御を実行する。これにより、ユーザU1は、特定した車両に適切な指示を行うことができる。
[処理フロー]
図8は、第1実施形態に係るエージェントシステム1により実行される処理の流れの一例を示すフローチャートである。なお、以下では、ユーザU1が、同一種類のエージェント機能を備える複数のエージェント装置100A、100Bがそれぞれ搭載された二台の車両MA、MBと、携帯端末300を所有しているものとする。また、以下では、主に、車両MAのエージェントからの情報提供を携帯端末300に行う処理を中心に説明するものとする。また、以下では、既にエージェント設定部116により車両ごとに各エージェントのエージェント画像およびエージェント音声が設定されているものとする。また、以下の処理は、所定のタイミングまたは周期で繰り返し実行されるものとする。
図8は、第1実施形態に係るエージェントシステム1により実行される処理の流れの一例を示すフローチャートである。なお、以下では、ユーザU1が、同一種類のエージェント機能を備える複数のエージェント装置100A、100Bがそれぞれ搭載された二台の車両MA、MBと、携帯端末300を所有しているものとする。また、以下では、主に、車両MAのエージェントからの情報提供を携帯端末300に行う処理を中心に説明するものとする。また、以下では、既にエージェント設定部116により車両ごとに各エージェントのエージェント画像およびエージェント音声が設定されているものとする。また、以下の処理は、所定のタイミングまたは周期で繰り返し実行されるものとする。
図8の例において、まず、エージェント機能部150は、ユーザU1への応答を行うか否かを判定する(ステップS100)。応答とは、対話中ではなく単に情報提供を行う場合も含む。ユーザU1への応答を行うと判定された場合、応答内容生成部228は、情報提供の内容に基づいて、エージェント設定情報(エージェント画像、エージェント音声)に対応する出力態様の応答内容を生成する(ステップS102)。次に、情報提供部230は、生成した応答内容をユーザU1の携帯端末300に送信するか否かを判定する(ステップS104)。例えば、車両MAまたはMBにユーザU1が乗車していない場合、情報提供部230は、応答内容を携帯端末300に送信すると判定する。
応答内容を携帯端末300に送信すると判定された場合、情報提供部230は、エージェントの属性情報を含む応答内容を生成し(ステップS106)、生成した応答内容を携帯端末300に送信する(ステップS108)。この結果、携帯端末300からは、エージェントの属性情報を含む応答内容が出力されることになり、どの車両のエージェントからの情報提供であるかをユーザU1に判別させ易くすることができる。
また、ステップS104の処理において、携帯端末300に送信しないと判定された場合、情報提供部230は、応答内容生成部228により生成された応答内容を、乗員が乗車している車両に送信する(ステップS110)。なお、ユーザU1への応答が車両MAのエージェントから提供された情報であり、ユーザU1が車両MB(他の車両)に乗車している場合には、他の車両MBの同一種類のエージェントの出力態様で応答内容を出力してもよく、属性情報を含む応答内容を生成し、生成した応答内容を出力してもよい。これにより、本フローチャートの処理は、終了する。また、ステップS100の処理において、ユーザへの応答を行わないと判定された場合、本フローチャートの処理は終了する。
上述した第1実施形態に係るエージェントシステム1によれば、ユーザが複数のエージェント機能が搭載された複数の車両を所有する場合に、エージェントからの情報提供に、エージェントの属性情報を付与させることで、どの車両に搭載されたエージェントであるかをユーザに区別させ易くすることができる。また、第1実施形態に係るエージェントシステム1によれば、携帯端末300にエージェント機能が搭載されていない場合であっても車両側のエージェントと連携させた対話を実現することができる。
<第2実施形態>
次に、第2実施形態に係るエージェントシステムについて説明する。例えば、物体に搭載されるエージェントによっては、エージェント提供者ごとに決められた制約や権限等により、エージェント画像やエージェントの音声が変更できない場合がある。この状況において、携帯端末300への情報提供を行う場合、複数の物体に搭載される同一種類のエージェントの出力態様が同じになるため、どの物体のエージェントであるかが区別しきれない場合があり得る。したがって、第2実施形態では、エージェント画像やエージェント音声が車両ごとに区別可能に設定されていないエージェントからの情報を提供する場合に、その物体に搭載された他のエージェントであって、エージェント画像やエージェント音声が設定されているエージェント(代理応答エージェント)が代わりに情報提供を行う。なお、第2実施形態のエージェントシステムは、第1実施形態のエージェントシステム1と比較して、エージェントサーバの構成のみが異なる。したがって、以下では、主にエージェントサーバの機能を中心に説明する。また、以下の説明において、第1実施形態の構成と同様の構成については、同一の名称および符号を付するものとし、具体的な説明は省略するものとする。
次に、第2実施形態に係るエージェントシステムについて説明する。例えば、物体に搭載されるエージェントによっては、エージェント提供者ごとに決められた制約や権限等により、エージェント画像やエージェントの音声が変更できない場合がある。この状況において、携帯端末300への情報提供を行う場合、複数の物体に搭載される同一種類のエージェントの出力態様が同じになるため、どの物体のエージェントであるかが区別しきれない場合があり得る。したがって、第2実施形態では、エージェント画像やエージェント音声が車両ごとに区別可能に設定されていないエージェントからの情報を提供する場合に、その物体に搭載された他のエージェントであって、エージェント画像やエージェント音声が設定されているエージェント(代理応答エージェント)が代わりに情報提供を行う。なお、第2実施形態のエージェントシステムは、第1実施形態のエージェントシステム1と比較して、エージェントサーバの構成のみが異なる。したがって、以下では、主にエージェントサーバの機能を中心に説明する。また、以下の説明において、第1実施形態の構成と同様の構成については、同一の名称および符号を付するものとし、具体的な説明は省略するものとする。
図9は、第2実施形態に係るエージェントサーバの構成の一例を示す図である。図9の例では、一例として車両MAに搭載された複数の異なるエージェント1〜3に対応付けられたエージェント機能部150A−1〜150A−3およびエージェントサーバ200#−1〜200#−3を示すものとする。エージェントサーバ200#−1〜200#−3は、それぞれが実行可能な機能やデータベース等で相違はあるものの、大まかな処理は同様であるため、以下ではエージェントサーバ200#−1を用いて説明するものとする。
エージェントサーバ200#−1は、例えば、第1実施形態に係るエージェントサーバ200と比較して、情報提供部230に代えて情報提供部230#を備える点で相違する。したがって、以下では、主に情報提供部230#を中心として説明する。情報提供部230#は、情報提供部230と同様の機能を備えるのに加え、応答内容を携帯端末300に出力する場合であって、且つ、エージェント管理情報260に、車両ごとのエージェント設定情報がない場合に、同一車両に搭載された他のエージェントであって、且つ、車両ごとのエージェント設定情報が存在するエージェントに、応答内容を代理出力させる。
具体的には、エージェントサーバ200#−1の情報提供部230#は、応答内容を携帯端末300に出力する場合であって、且つ、エージェント管理情報260に、車両ごとのエージェント設定情報がない場合に、他のエージェントサーバ(例えば、エージェントサーバ200#−2、200#−3)にユーザIDおよび車両IDを送信して代理応答の可否に関する問い合わせを行う。
他のエージェントサーバ200#−2、200#−3の情報提供部230#は、受信したユーザIDおよび車両IDを用いて、自己のエージェント管理情報260を参照し、合致するエージェント管理情報が存在する場合に、代理応答が可能であると判定し、合致するエージェント管理情報が存在しない場合に、代理応答が不可能であると判定する。なお、代理応答の可否判定については、上述の例に代えて(または加えて)、ユーザが予め設定した可否フラグに基づいて可否判定を行ってもよく、携帯端末300に送信できるか否かに基づいて可否判定を行ってもよく、その他の条件により可否判定を行ってもよい。他のエージェントサーバ200#−2、200#−3の情報提供部230#は、問い合わせ結果をエージェントサーバ200#−1に送信する。
エージェントサーバ200#−1の情報提供部230#は、他のエージェントサーバ200#−2、200#−3のうち、代理応答の許可があったエージェントサーバに応答内容を送信し、送信先のエージェントサーバに対応付けられたエージェントに携帯端末300への応答内容の出力を実行させる。なお、複数のエージェントサーバから応答許可があった場合、情報提供部230#は、最初に応答許可を送信したエージェントサーバまたは予め決められた優先度の高いエージェントサーバに応答内容を送信する。なお、情報提供部230#は、他のエージェントサーバに上述の問い合わせを行わずに、強制的に特定のエージェントサーバに応答内容を送信して代理出力させてもよい。
エージェントサーバ200#−1から応答内容を受信したエージェントサーバの情報提供部230#は、応答内容にエージェントの属性情報やエージェント種別等を付与した応答内容を自己のエージェントの出力態様で携帯端末300に出力させる。
図10は、第2実施形態において、携帯端末300から出力される情報の一例を示す図である。図10には、携帯端末300の端末側表示・操作装置330の表示部に表示される画像IM3の一例が示されている。また、図10の例では、エージェント3のエージェントサーバ200#−3により生成された応答内容をエージェントサーバ200#−1に対応付けられたエージェント1が提供する場面を示している。画像IM3には、例えば、文字情報表示領域A31と、エージェント表示領域A32とが含まれる。文字情報表示領域A31には、現在対話中のエージェントに関する情報が表示される。図10の例において、文字情報表示領域A31には、「「AAA」のエージェント1が対話中」という文字情報が表示されている。
エージェント表示領域A32には、例えば、対話中のエージェント画像や応答結果(提供される情報)が表示される。図10の例において、エージェント表示領域A32には、応答内容をエージェント3に代わってユーザU1に通知しているエージェント1に対応するエージェント画像EI1と、エージェント3が生成した応答結果として「本日 15:00 ○○に出かける。」という文字情報とが表示されている。なお、この場面において出力される応答結果には、属性情報を含む自己のエージェントに関する情報と、応答内容を生成したエージェントに関する情報と、エージェントが生成した応答内容とが含まれる。図10の例において、エージェント表示領域A32には、応答結果の音声情報として、「「AAA」のエージェント1です。」および「エージェント3より本日15時から○○に出かける予定についての連絡が入っています。」という音声が出力されている。
なお、第2実施形態において、代理応答エージェントは、所定エージェントのみが行うことができるように設定されていてもよい。この場合、所定のエージェントとは、例えば、エージェントの出力態様を設定可能なエージェントである。また、所定のエージェントには、車両Mの制御が可能なエージェント(ここでは、エージェント1)が含まれる。また、エージェント1は、例えば、他のエージェントよりも代理応答を行う優先度が高くされたり、強制的に代理応答を行う特定のエージェントに選択される。車両Mとの関連性が高いエージェント1に代理応答させることで、どの車両から提供された情報であるかをユーザに判別させ易くすることができる。
[処理フロー]
以下、第2実施形態に係るエージェントシステムにより実行される処理の流れについて説明する。なお、第2実施形態に係るエージェントシステムにより実行される処理は、例えば、エージェントサーバ200#の情報提供部230#が他のエージェントサーバに代理応答させる処理と、他のエージェントサーバから受信した応答内容に基づいて、自己のエージェントが代理応答する処理とに大別されるため、それぞれを分けて説明する。
以下、第2実施形態に係るエージェントシステムにより実行される処理の流れについて説明する。なお、第2実施形態に係るエージェントシステムにより実行される処理は、例えば、エージェントサーバ200#の情報提供部230#が他のエージェントサーバに代理応答させる処理と、他のエージェントサーバから受信した応答内容に基づいて、自己のエージェントが代理応答する処理とに大別されるため、それぞれを分けて説明する。
図11は、エージェントサーバ200#が他のエージェントサーバに代理応答させる処理の流れの一例を示すフローチャートである。図11にフローチャートは、上述した図8に示す第1実施形態におけるフローチャートと比較して、ステップS120〜S128の処理が追加されている点で相違する。したがって、以下では、主にステップS120〜S128の処理を中心に説明する。ステップS100の処理において、ユーザへの情報提供を行うと判定された場合、情報提供部230#は、エージェント管理情報260にユーザIDおよび車両IDに対応するエージェント設定情報が存在するか否かを判定する(ステップS120)。エージェント設定情報が存在すると判定された場合、ステップS102〜S110の処理を実行する。
また、エージェント設定情報が存在しないと判定された場合、応答内容生成部228は、応答内容を生成する(ステップS122)。次に、情報提供部230#は、同一車両に搭載された他のエージェント(より具体的には、他のエージェントサーバ)に代理応答の可否を問い合わせる(ステップS124)。次に、情報提供部230#は、ステップS124に対する問い合わせ結果から代理応答エージェントが存在するか否かを判定する(ステップS126)。代理応答エージェントが存在しない場合、ステップS104〜S110の処理を実行する。また、代理応答エージェントが存在する場合、情報提供部230#は、代理応答エージェントに応答内容を送信する(ステップS128)。
図12は、他のエージェントサーバから受信した応答内容に基づいて、自己のエージェントが代理応答する処理の流れの一例を示すフローチャートである。図12の例において、情報提供部230#は、他のエージェントサーバから代理応答の可否の問い合わせを受け付けたか否かを判定する(ステップS200)。代理応答の可否の問い合わせを受け付けた場合、情報提供部230#は、問い合わせ情報として取得したユーザIDおよび車両IDとに基づいて、エージェント管理情報260を参照し、ユーザIDおよび車両IDに対応するエージェント設定情報が存在するか否かを判定する(ステップS202)。
エージェント設定情報が存在する場合、情報提供部230#は、代理応答が可能であると判断し、代理応答が可能であることを問い合わせのあったエージェントサーバに通知する(ステップS204)。次に、情報提供部230#は、代理応答が可能であることを通知したエージェントサーバから応答内容を受信したか否かを判定する(ステップS206)。応答内容を受信したと判定された場合、情報提供部230#は、受信した応答内容をユーザU1の携帯端末300に送信するか否かを判定する(ステップS208)。応答内容を携帯端末300に送信すると判定された場合、情報提供部230#は、エージェントの属性情報および応答内容を生成したエージェント種別を含む応答内容を生成し(ステップS210)、生成した応答内容を携帯端末300に送信する(ステップS212)。この結果、携帯端末300により出力される提供情報には、エージェントの属性情報やエージェント種別も含まれることになり、車両およびエージェントをユーザU1に判別させ易くすることができる。
また、ステップS208の処理において、携帯端末300に送信しないと判定された場合、情報提供部230#は、応答内容生成部228により生成された応答内容を、乗員が乗車している車両に送信する(ステップS214)。また、ステップS02の処理において、エージェント設定情報が存在しないと判定された場合、情報提供部230#は、代理応答が不可能であることを問い合わせのあったエージェントサーバに通知する(ステップS216)。これにより、本フローチャートの処理は、終了する。また、ステップS200の処理において、代理応答の可否の問い合わせを受け付けていないと判定された場合、またはステップS206の処理において、応答内容を受信していないと判定された場合、本フローチャートの処理は終了する。
上述した第2実施形態に係るエージェントシステムによれば、第1実施形態におけるエージェントシステムと同様の効果を奏する他、ユーザが所有する複数の車両に搭載されたエージェントに対する出力態様の設定状況に応じて、同一車両の他のエージェントに代理応答させることで、ユーザに、どの車両に搭載されたどのエージェントからの情報であるかを区別させ易くすることができる。
上述した第1実施形態および第2実施形態のそれぞれは、他の実施形態の一部または全部を組み合わせてもよい。また、エージェント装置100の機能のうち一部または全部は、エージェントサーバ200(200#)に含まれていてもよい。また、エージェントサーバ200(200#)の機能のうち一部または全部は、エージェント装置100に含まれていてもよい。つまり、エージェント装置100およびエージェントサーバ200(200#)における機能の切り分けは、各装置の構成要素、エージェントサーバ200(200#)やエージェントシステムの規模等によって適宜変更されてよい。また、エージェント装置100およびエージェントサーバ200(200#)における機能の切り分けは、車両Mごとに設定されてもよい。
また、第1実施形態および第2実施形態における物体の一例として車両を用いて説明したが、車両に代えて(または加えて)、例えば、自宅や会社等の特定の地点に設置された端末装置や、車両以外の出力部を備えた移動体(例えば、船舶、飛行機、ドローン、自動二輪車)であってもよい。また、上述の実施形態の携帯端末300は、エージェント機能を搭載していない携帯端末として説明したが、これに限定されるものではなく、携帯端末300に一以上のエージェント機能が搭載されていてもよい。この場合、携帯端末300には、上述したエージェント機能部150と同様の機能が搭載され、エージェントサーバ200等を介して、上述したエージェントと同様の機能が実現される。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…エージェントシステム、10…マイク、20…表示・操作装置、30…スピーカユニット、40…ナビゲーション装置、50…車両機器、60…車載通信装置、70…汎用通信装置、80…乗員認識装置、100…エージェント装置、110…管理部、112…音響処理部、114…エージェントごとWU判定部、116…エージェント設定部、120…出力制御部、122、362…表示制御部、124、364…音声制御部、150…エージェント機能部、160…ペアリングアプリ実行部、170、250…記憶部、200…エージェントサーバ、210…サーバ側通信部、220…音声認識部、222…自然言語処理部、224…対話管理部、226…ネットワーク検索部、228…応答内容生成部、230、230#…情報提供部、300…携帯端末、310…端末側通信部、320…端末側マイク、330…端末側表示・操作装置、340…端末側スピーカ、350…端末側音響処理部、360…端末側出力制御部、400…各種ウェブサーバ
Claims (10)
- 異なる複数の物体に搭載され、それぞれがユーザの発話に応じて、音声による応答を含むサービスを提供する複数のエージェント機能部と、
前記複数のエージェント機能部のうち、前記複数の物体に同一種類のエージェント機能部が存在する場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、
を備えるエージェントシステム。 - 前記複数の物体は、前記ユーザに対応付けられた車両を含む、
請求項1に記載のエージェントシステム。 - 前記属性情報は、前記車両に関する情報を含む、
請求項2に記載のエージェントシステム。 - 前記複数のエージェント機能部のうち、所定のエージェント機能部における前記応答の出力態様を設定する設定部を更に備える、
請求項2または3に記載のエージェントシステム。 - 前記所定のエージェント機能部は、前記車両の制御が可能なエージェント機能部である、
請求項4に記載のエージェントシステム。 - 前記所定のエージェント機能部は、前記複数のエージェント機能部に含まれる他のエージェント機能部の応答内容を取得する、
請求項4または5に記載のエージェントシステム。 - 前記所定のエージェント機能部は、他のエージェント機能部から取得した応答内容を、前記他のエージェント機能部に代理して前記携帯端末に出力させる、
請求項4から6のうち何れか1項に記載のエージェントシステム。 - ユーザの発話に応じて、音声による応答を含むサービスを提供するエージェント機能部と、
前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する情報提供部と、
を備えるエージェントサーバ。 - コンピュータが、
エージェント機能部を起動させ、
前記起動したエージェント機能部の機能として、ユーザの発話に応じて、応答を含むサービスを提供し、
前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供する、
エージェントサーバの制御方法。 - コンピュータが、
エージェント機能部を起動させ、
前記起動させたエージェント機能部の機能として、ユーザの発話に応じて、応答を含むサービスを提供させ、
前記エージェント機能部が、前記ユーザに対応付けられた複数の物体に搭載され、前記複数の物体のそれぞれに搭載されたエージェント機能部が同一種類のエージェント機能部である場合に、前記同一種類のエージェント機能部のそれぞれに対応付けられた属性情報を前記同一種類のエージェント機能部による応答内容に含めて、前記ユーザの可搬型の携帯端末に提供させる、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019054880A JP2020154994A (ja) | 2019-03-22 | 2019-03-22 | エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム |
CN202010189080.5A CN111731320B (zh) | 2019-03-22 | 2020-03-17 | 智能体***、智能体服务器及其控制方法、存储介质 |
US16/820,754 US11518398B2 (en) | 2019-03-22 | 2020-03-17 | Agent system, agent server, method of controlling agent server, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019054880A JP2020154994A (ja) | 2019-03-22 | 2019-03-22 | エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020154994A true JP2020154994A (ja) | 2020-09-24 |
Family
ID=72559340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019054880A Pending JP2020154994A (ja) | 2019-03-22 | 2019-03-22 | エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11518398B2 (ja) |
JP (1) | JP2020154994A (ja) |
CN (1) | CN111731320B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354888B2 (ja) * | 2020-03-17 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、プログラム、及び、情報処理方法 |
JP7310706B2 (ja) * | 2020-05-18 | 2023-07-19 | トヨタ自動車株式会社 | エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4645310B2 (ja) | 2005-06-02 | 2011-03-09 | 株式会社デンソー | エージェントキャラクタ表示を利用した表示システム |
US20100087987A1 (en) * | 2008-10-08 | 2010-04-08 | Gm Global Technoloogy Operations, Inc. | Apparatus and Method for Vehicle Driver Recognition and Customization Using Onboard Vehicle System Settings |
US20110172873A1 (en) * | 2010-01-08 | 2011-07-14 | Ford Global Technologies, Llc | Emotive advisory system vehicle maintenance advisor |
EP2709891B1 (en) * | 2011-05-20 | 2016-10-26 | Valeo Schalter und Sensoren GmbH | Method for supporting a driver using a portable device in a vehicle |
US20140094987A1 (en) * | 2012-09-28 | 2014-04-03 | Intel Corporation | Tiered level of access to a set of vehicles |
DE202017102495U1 (de) * | 2016-05-02 | 2017-08-07 | Google Inc. | Teilen von Fahrzeugeinstellungsdaten |
US20170355382A1 (en) * | 2016-06-09 | 2017-12-14 | Hyundai America Technical Center, Inc | Utilization of a multi-touch smartphone display as a track pad in a motor vehicle |
KR101906197B1 (ko) * | 2016-11-07 | 2018-12-05 | 엘지전자 주식회사 | 차량 및 그 제어방법 |
JP6822325B2 (ja) * | 2017-06-21 | 2021-01-27 | 日本電気株式会社 | 操縦支援装置、操縦支援方法、プログラム |
WO2019087349A1 (ja) * | 2017-11-02 | 2019-05-09 | 株式会社Leis | 金融取引制御システム、そのアプリケーション、それを用いた金融取引方法、および金融取引制御方法 |
US11798552B2 (en) * | 2018-10-05 | 2023-10-24 | Honda Motor Co., Ltd. | Agent device, agent control method, and program |
-
2019
- 2019-03-22 JP JP2019054880A patent/JP2020154994A/ja active Pending
-
2020
- 2020-03-17 CN CN202010189080.5A patent/CN111731320B/zh active Active
- 2020-03-17 US US16/820,754 patent/US11518398B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11518398B2 (en) | 2022-12-06 |
US20200317215A1 (en) | 2020-10-08 |
CN111731320B (zh) | 2024-04-12 |
CN111731320A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11532303B2 (en) | Agent apparatus, agent system, and server device | |
CN111731320B (zh) | 智能体***、智能体服务器及其控制方法、存储介质 | |
JP2020144274A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
US20200317055A1 (en) | Agent device, agent device control method, and storage medium | |
US11325605B2 (en) | Information providing device, information providing method, and storage medium | |
US11240342B2 (en) | Agent device, method of controlling agent device, and computer-readable non-transient storage medium | |
JP7266418B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020144264A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
US20200320997A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
US11797261B2 (en) | On-vehicle device, method of controlling on-vehicle device, and storage medium | |
JP7175221B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7252029B2 (ja) | サーバ装置、情報提供方法、およびプログラム | |
JP2020142758A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020160133A (ja) | エージェントシステム、エージェントシステムの制御方法、およびプログラム | |
JP2020160848A (ja) | サーバ装置、情報提供システム、情報提供方法、およびプログラム | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020157853A (ja) | 車載エージェントシステム、車載エージェントシステムの制御方法、およびプログラム | |
JP7297483B2 (ja) | エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム | |
JP7274901B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7280074B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11518399B2 (en) | Agent device, agent system, method for controlling agent device, and storage medium | |
JP2020160132A (ja) | エージェント装置、エージェント装置の制御方法、プログラム、エージェントサーバ、およびエージェントサーバの制御方法 |