CN111726772A - 智能体***及其控制方法、服务器装置、存储介质 - Google Patents
智能体***及其控制方法、服务器装置、存储介质 Download PDFInfo
- Publication number
- CN111726772A CN111726772A CN202010184528.4A CN202010184528A CN111726772A CN 111726772 A CN111726772 A CN 111726772A CN 202010184528 A CN202010184528 A CN 202010184528A CN 111726772 A CN111726772 A CN 111726772A
- Authority
- CN
- China
- Prior art keywords
- user
- agent
- vehicle
- terminal device
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000006870 function Effects 0.000 claims description 86
- 230000004044 response Effects 0.000 claims description 53
- 230000005540 biological transmission Effects 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 description 273
- 238000004891 communication Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000003058 natural language processing Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
- B60K35/265—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/85—Arrangements for transferring vehicle- or driver-related data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/148—Instrument input by voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/589—Wireless data transfers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供智能体***及其控制方法、服务器装置、存储介质。在智能体***中,第一服务器装置将从第一终端装置取得的与第一利用者的讲话相关的信息向第二服务器装置发送,第二服务器装置基于通过第二终端装置或车载智能体装置识别的第二利用者的存在有无,将从第一服务器装置取得的与第一利用者的讲话相关的信息向第二终端装置或车载智能体装置发送。
Description
本申请基于在2019年03月22日提出申请的日本国专利申请第2019-054892号而主张优先权,并将其内容援引于此。
技术领域
本发明涉及智能体***、服务器装置、智能体***的控制方法及存储介质。
背景技术
以往,公开了关于如下的智能体功能的技术,所述智能体功能是指一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援涉及的信息、进行车辆的控制、提供其他的应用等(例如,参照日本特开2006-335231号)。
发明内容
近年来,关于通过将来自位于车外的第一利用者的通知利用网络连接向车辆传递而将搭载于车辆的智能体功能向第二利用者提供已被推进实用化,但是关于利用了网络连接的智能体功能的提供方法未充分研讨。因此,在现有技术中,存在基于来自第一利用者的通知的向第二利用者的智能体功能的提供未可靠地进行的情况。
本发明的方案提供能够可靠地进行智能体功能的提供的智能体***、服务器装置、智能体***的控制方法及存储介质。
本发明的智能体***、服务器装置、智能体***的控制方法及存储介质采用了以下的构成。
(1)本发明的一方案的智能体***具备:第一智能体应用,其使由第一利用者使用的第一终端装置作为第一智能体装置发挥功能,该第一智能体装置根据所述第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;第一服务器装置,其与所述第一终端装置通信;第二智能体应用,其使由第二利用者使用的第二终端装置作为第二智能体装置发挥功能,该第二智能体装置根据所述第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;车载智能体装置,其搭载于车辆,由所述第二利用者使用;及第二服务器装置,其与所述第二终端装置、所述车载智能体装置及所述第一服务器装置通信,所述第一服务器装置将从所述第一终端装置取得的与所述第一利用者的讲话相关的信息向所述第二服务器装置发送,所述第二服务器装置基于通过所述第二终端装置或所述车载智能体装置识别的所述第二利用者的存在有无,将从所述第一服务器装置取得的与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
(2)在上述(1)的方案中,可以是,所述第二服务器装置在通过所述车载智能体装置识别到所述第二利用者的情况下,将与所述第一利用者的讲话相关的信息向所述车载智能体装置发送。
(3)在上述(1)或(2)的方案中,可以是,所述第二服务器装置在通过所述第二终端装置识别到所述第二利用者的情况下,将与所述第一利用者的讲话相关的信息向所述第二终端装置发送。
(4)在上述(2)或(3)的方案中,可以是,所述第二服务器装置以将与所述第一利用者的讲话相关的信息判定作为相对于所述第二利用者的发送对象的情况为条件,将与所述第一利用者的讲话相关的信息向所述车载智能体装置或所述第二终端装置发送。
(5)本发明的另一方案的服务器装置是作为与第一服务器装置、第二终端装置以及车载智能体装置通信的第二服务器装置发挥功能的服务器装置,第一服务器装置与作为第一智能体装置发挥功能的第一终端装置通信,所述第一智能体装置根据第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务,第二终端装置作为第二智能体装置发挥功能,所述第二智能体装置根据第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务,车载智能体装置搭载于车辆而由所述第二利用者使用,其中,所述第一服务器装置取得从所述第一终端装置取得的与所述第一利用者的讲话相关的信息,所述第二服务器装置基于通过所述第二终端装置或所述车载智能体装置识别的所述第二利用者的存在有无,将从所述第一服务器装置取得的与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
(6)本发明的另一方案的智能体***的控制方法中使一个或多个计算机进行如下处理:通过由第一利用者使用的第一终端装置,根据所述第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;通过由第二利用者使用的第二终端装置,根据所述第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;通过搭载于车辆而由所述第二利用者使用的车载智能体装置或者所述第二终端装置来识别所述第二利用者的存在有无;基于所述第二利用者的存在有无,将与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
(7)本发明的另一方案的存储介质存储有程序,所述程序使一个或多个计算机执行如下处理:通过由第一利用者使用的第一终端装置,根据第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;通过由第二利用者使用的第二终端装置,根据第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;通过搭载于车辆而由所述第二利用者使用的车载智能体装置或者所述第二终端装置来识别所述第二利用者的存在有无;基于所述第二利用者的存在有无,将与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
根据上述(1)~(7)的方案,能够可靠地进行智能体功能的提供。
附图说明
图1是表示智能体***的构成的图。
图2是表示车载智能体装置的构成和搭载于车辆的设备的图。
图3是表示显示/操作装置的配置例的图。
图4是表示智能体服务器的构成和车载智能体装置的构成的一部分的图。
图5是用于说明发送切换数据库的一例的图。
图6是用于说明智能体服务器的一连串的处理的流程的流程图。
图7是用于说明智能体***的动作的图。
图8是用于说明智能体***的动作的图。
具体实施方式
以下,参照附图,说明本发明的智能体***、服务器装置、智能体***的控制方法及存储介质的实施方式。智能体装置是实现智能体***的一部分或全部的装置。以下,作为智能体装置的一例,说明具备多个种类的智能体功能的智能体装置。所谓智能体功能,例如是如下功能:一边与车辆M的乘员进行对话,一边进行基于乘员的讲话之中所包含的要求(命令)的各种信息提供,或对网络服务发挥居间作用。多个种类的智能体分别发挥的功能、处理次序、控制、输出形态/内容可以各不相同。而且,智能体功能之中可以存在具有进行车辆内的设备(例如驾驶控制或车身控制涉及的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别乘员的声音的声音识别功能(对声音进行文本化的功能)之外,还综合地利用自然语言处理功能(理解文本的结构、意思的功能)、对话管理功能、经由网络检索其他装置或检索本装置保有的规定的数据库的网络检索功能等来实现。上述的功能的一部分或全部可以通过AI(Artificial Intelligence)技术实现。而且,用于进行上述的功能的构成的一部分(特别是声音识别功能或自然语言处理解释功能)可以搭载于与车辆M的车载通信装置或带入车辆M内的通用通信装置能够通信的智能体服务器(外部装置)。在以下的说明中,以构成的一部分搭载于智能体服务器、智能体装置与智能体服务器协作而实现智能体***的情况为前提。而且,将智能体装置与智能体服务器协作而假想地出现的服务提供主体(服务实体)称为智能体。
<整体构成>
图1是智能体***1的构成图。智能体***1例如具备车载智能体装置100、多个智能体服务器200-1、200-2、200-3、第一终端装置300、第二终端装置400。符号的末尾的连字符以后数字是用于区分智能体的标识符。在本实施方式中,智能体服务器200-1是“第一服务器装置”的一例,智能体服务器200-2是“第二服务器装置”的一例。而且,在不区分是哪个智能体服务器的情况下,有时简称为智能体服务器200。
在图1中示出三个智能体服务器200,但是智能体服务器200的个数可以为两个,也可以为四个以上。各个智能体服务器200由互不相同的智能体***的提供者运营。因此,本发明的智能体是通过互不相同的提供者实现的智能体。作为提供者,例如,可列举机动车制造商、网络服务企业者、电子商务交易企业者、便携终端的销售者、制造者等,任意的主体(法人、团体、个人等)可成为智能体***的提供者。
车载智能体装置100经由网络NW与智能体服务器200通信。网络NW包括例如互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公共线路、电话线路、无线基地站等中的一部分或全部。在网络NW连接第一终端装置300、第二终端装置400及各种网页服务器500。车载智能体装置100、智能体服务器200、第一终端装置300或第二终端装置400经由网络NW从各种网页服务器500能够取得网页。
车载智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向智能体服务器200发送,将从智能体服务器200得到的回答以声音输出或图像显示的方式向乘员提示。
第一终端装置300由第一利用者利用,通过执行安装于第一终端装置300的第一智能体应用AP-1而作为第一智能体装置发挥功能。在本实施方式中,第一终端装置300通过执行第一智能体应用AP-1,与智能体服务器200-1协作而使智能体出现,根据向第一终端装置300输入的第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务。需要说明的是,第一终端装置300例如可以是第一利用者能够搬运的终端装置,也可以是设置于自家或设施等规定的场所的终端装置。
第二终端装置400由第二利用者利用,通过执行安装于第二终端装置400的第二智能体应用AP-2而作为第二智能体装置发挥功能。在本实施方式中,第二终端装置400通过执行第二智能体应用AP-2,与智能体服务器200-2协作而使智能体出现,根据向第二终端装置400输入的第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务。需要说明的是,第二终端装置400例如是第二利用者能够搬运的终端装置。在第二利用者搭乘于车辆M的情况下,第二终端装置400存在于车辆M的内侧,在第二利用者未搭乘于车辆M的情况下,第二终端装置400存在于与车辆M分离的位置。
[车辆]
图2是表示实施方式的车载智能体装置100的构成和搭载于车辆M的设备的图。在车辆M搭载有例如一个以上的麦克风10、显示/操作装置20、扬声器单元30(输出部)、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、车载智能体装置100。而且,有时智能手机等通用通信装置70被带入车室内,作为通信装置使用。这些装置通过CAN(ControllerArea Network)通信线等多路通信线、串行通信线、无线通信网等而相互连接。需要说明的是,图2所示的构成只不过为一例,可以省略构成的一部分,也可以还追加另外的构成。
麦克风10是收集在车室内发出的声音的收音部。显示/操作装置20是显示图像并能够受理输入操作的装置(或装置组)。显示/操作装置20包含例如构成作为触摸面板的显示器装置。显示/操作装置20还可以包括HUD(Head Up Display)或机械式的输入装置。扬声器单元30包含例如在车室内的互不相同的位置配设的多个扬声器(声音输出部)。显示/操作装置20可以在车载智能体装置100和导航装置40中共用。关于它们的详情在后文叙述。
导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测位装置、存储地图信息的存储装置、进行路径搜索等的控制装置(导航控制器)。麦克风10、显示/操作装置20及扬声器单元30中的一部分或全部可以作为导航HMI使用。导航装置40搜索用于从通过位置测位装置确定的车辆M的位置移动至由乘员输入的目的地为止的路径(导航路径),以使车辆M能够沿着路径行驶的方式使用导航HMI输出引导信息。
路径搜索功能可以存在于经由网络NW能够访问的导航服务器。在该情况下,导航装置40从导航服务器取得路径而输出引导信息。需要说明的是,车载智能体装置100可以将导航控制器作为基础来构筑,在该情况下,导航控制器和车载智能体装置100在硬件上一体构成。
车辆设备50例如包括发动机或行驶用电动机等驱动力输出装置、发动机的起动电动机、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、雨刷器、除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是利用蜂窝网或Wi-Fi网能够访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。
就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机或CMOS(Complementary Metal Oxide Semiconductor)相机。图像识别装置对车室内相机的图像进行解析,来识别各座位的乘员的有无、面部朝向等。乘员识别装置80在识别到利用者的情况下,通过对利用者进行面部认证或声纹认证等认证处理来确定利用者。而且,乘员识别装置80基于对利用者的认证处理是否成立,来识别利用者的存在有无。
图3是表示显示/操作装置20的配置例的图。显示/操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示/操作装置20可以还包括HUD28。
在车辆M存在例如设有方向盘SW的驾驶员座DS、相对于驾驶员座DS而沿车宽方向(图中Y方向)设置的副驾驶员座AS。第一显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。
第二显示器24处于驾驶员座DS与副驾驶员座AS的车宽方向上的中间,且设置在第一显示器的下方。例如,第一显示器22与第二显示器24一起构成作为触摸面板,具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等作为显示部。操作开关ASSY26是集成有拨号盘式开关、按钮式开关等的结构。显示/操作装置20将由乘员作出的操作的内容向车载智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由车载智能体装置100决定。
[智能体装置]
返回图2,车载智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152。管理部110例如具备音响处理部112、按智能体区分的WU(Wake Up)判定部114、显示控制部116、声音控制部118。在不区分是哪个智能体功能部的情况下,简称为智能体功能部150。示出三个智能体功能部150只不过是与图1中的智能体服务器200的个数对应的一例,智能体功能部150的个数可以为两个,也可以为四个以上。图2所示的软件配置为了说明而简易表示,实际上,例如可以像在智能体功能部150与车载通信装置60之间夹设管理部110那样,能够任意改变。
车载智能体装置100的各构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过LSI(LargeScale Integration)或ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD(Hard DiskDrive)或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。
管理部110通过OS(Operating System)或中间软件等程序被执行而发挥功能。
管理部110的音响处理部112对输入的声音进行音响处理,以成为适合于识别按照各智能体预先设定的唤醒词的状态。
按智能体区分的WU判定部114与智能体功能部150-1、150-2、150-3分别对应地存在,识别按照各智能体而预先确定的唤醒词。按智能体区分的WU判定部114从进行了音响处理的声音(声音流)识别声音的意思。首先,按智能体区分的WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按智能体区分的WU判定部114也可以进行基于根据混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音辨别及非声音辨别的区间检测。
接下来,按智能体区分的WU判定部114将检测到的声音区间的声音进行文本化,形成为文字信息。然后,按智能体区分的WU判定部114判定文本化的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按智能体区分的WU判定部114使对应的智能体功能部150起动。需要说明的是,也可以将相当于按智能体区分的WU判定部114的功能搭载于智能体服务器200。在该情况下,管理部110将通过音响处理部112进行了音响处理后的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示而智能体功能部150起动。需要说明的是,各智能体功能部150可以是常时起动且自已进行唤醒词的判定的功能部。在该情况下,管理部110不需要具备按智能体区分的WU判定部114。
智能体功能部150与对应的智能体服务器200协作而使智能体出现,根据车辆的乘员的讲话,提供包含使输出部输出利用声音进行的响应的服务。智能体功能部150可以包含被赋予了对车辆设备50进行控制的权限的智能体功能部。而且,智能体功能部150可以包含经由配对应用执行部152与通用通信装置70协作、并与智能体服务器200通信的功能部。
例如,对智能体功能部150-1赋予对车辆设备50进行控制的权限。智能体功能部150-1经由车载通信装置60与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部152与通用通信装置70协作,并与智能体服务器200-3通信。配对应用执行部152例如通过Bluetooth(注册商标)与通用通信装置70进行配对,使智能体功能部150-3与通用通信装置70连接。需要说明的是,智能体功能部150-3可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。
显示控制部116按照来自智能体功能部150的指示而使第一显示器22或第二显示器24显示图像。显示控制部116通过一部分的智能体功能部150的控制,生成例如在车室内进行与乘员的交流的拟人化的智能体的图像(以下,称为智能体图像),并使生成的智能体图像显示于第一显示器22。智能体图像是例如对于乘员进行搭话的形态的图像。智能体图像可以包含例如至少通过观察者(乘员)能识别表情、面部朝向的程度的面部图像。例如,智能体图像可以是在面部区域之中呈现出模拟了眼、鼻的部位,基于面部区域之中的部位的位置来识别表情、面部朝向的图像。而且,智能体图像可以是能由观察者立体地感觉到、通过包含三维空间的头部图像而识别智能体的面部朝向的图像,或者通过包含身体(躯体、手脚)的图像而识别智能体的动作、举止、姿势等的图像。而且,智能体图像可以是动画图像。
声音控制部118按照来自智能体功能部150的指示而使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部118可以使用多个扬声器单元30,进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是智能体图像发出智能体声音时,预测为乘员感觉到的位置,具体而言,是智能体图像的显示位置附近的位置。而且,声像定位是指例如通过调节向乘员的左右的耳传递的声音的大小来确定乘员感觉到的声源的空间性的位置的情况。
[智能体服务器]
图4是表示智能体服务器200的构成和车载智能体装置100的构成的一部分的图。以下,以智能体服务器200为代表,与智能体服务器200-1及智能体服务器200-2的构成一起说明智能体功能部150等的动作。在此,省略关于从车载智能体装置100至网络NW的物理性的通信的说明。
智能体服务器200-1及智能体服务器200-2具备通信部210。通信部210例如是NIC(Network Interface Card)等网络接口。此外,智能体服务器200-1及智能体服务器200-2例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228、发送切换部230。这些构成要素例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部可以通过LSI或ASIC、FPGA、GPU等硬件(包括电路部;circuitry)实现,也可以通过软件与硬件的协作实现。程序可以预先保存于HDD或闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD或CD-ROM等能够拆装的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置来安装。
智能体服务器200-1及智能体服务器200-2具备存储部250。存储部250通过上述的各种存储装置实现。在存储部250保存有个人资料252、词典DB(数据库)254、知识库DB256、响应规则DB258、发送切换DB260。
在车载智能体装置100中,智能体功能部150将声音流或进行了压缩、编码等处理的声音流向智能体服务器200-1、200-2发送。智能体功能部150在识别到能够进行本地处理(不经由智能体服务器200-1、200-2的处理)的声音命令的情况下,可以进行由声音命令要求的处理。能够进行本地处理的声音命令是通过参照车载智能体装置100所具备的存储部(未图示)能够回答的声音命令,或在智能体功能部150-1的情况下对车辆设备50进行控制的声音命令(例如,将空调装置开启的命令等)。因此,智能体功能部150可以具有智能体服务器200-1、200-2所具备的功能的一部分。
当取得声音流时,声音识别部220进行声音识别而输出文本化的文字信息,自然语言处理部222对于文字信息一边参照词典DB254一边进行意思解释。词典DB254是对于文字信息将抽象化的意思信息建立了对应的DB。词典DB254可以包含同义词或近义词的一览信息。
声音识别部220的处理与自然语言处理部222的处理可以不是明确地区分阶段的处理,而是相互影响地进行处理:如接受自然语言处理部222的处理结果而声音识别部220对识别结果加以修正等。
自然语言处理部222例如在作为识别结果而识别到“今天的天气”、“天气如何”等意思的情况下,生成置换成标准文字信息“今天的天气”的命令。由此,即使在要求的声音存在文字波动的情况下也能够容易进行符合要求的对话。另外,自然语言处理部222例如可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思,或生成基于识别结果的命令。
对话管理部224基于自然语言处理部222的处理结果(命令),一边参照个人资料252、知识库DB256、响应规则DB258一边决定对车辆M的乘员的讲话的内容。个人资料252包括按照各乘员保存的乘员的个人信息、兴趣嗜好、过去的对话的历史等。知识库DB256是规定了事物的关联性的信息。响应规则DB258是规定了相对于命令而智能体应进行的动作(回答或设备控制的内容等)的信息。
另外,对话管理部224可以使用从声音流得到的特征信息,通过与个人资料252进行比对,来确定乘员。在该情况下,在个人资料252中,例如,将个人信息与声音的特征信息建立对应。声音的特征信息是例如与声音的高低、语调、节奏(声音的高低的模式)等的说话方式的特征、梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是通过在乘员的初始登记时使乘员发出规定的单词、语句等并识别发出的声音而得到的信息。
对话管理部224在命令是要求经由网络NW能够检索的信息的命令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW访问各种网页服务器500,取得所希望的信息。“经由网络NW能够检索的信息”例如是处于车辆M的周边的餐厅的一般用户的评价结果,或者当天的与车辆M的位置相应的天气预报。
对话管理部224在命令是要求向其他的智能体服务器200发送数据的命令的情况下,使通信部210进行数据的发送。对话管理部224例如在第一利用者的讲话输入到了第一终端装置300的情况下,判定第一利用者的讲话所包含的命令是否为要求向其他的智能体服务器200发送第一利用者的通知的命令。并且,对话管理部224在判定为命令是要求向其他的智能体服务器200发送第一利用者的通知的命令的情况下,判定第一利用者的通知作为向其他的智能体服务器200发送的对象。另一方面,对话管理部224在判定为命令不是要求向其他的智能体服务器200发送第一利用者的通知的命令而是要求向第一利用者的响应的命令的情况下,向响应文生成部228指示生成对于第一利用者的响应文。
响应文生成部228以将通过对话管理部224决定的讲话的内容向车辆M的乘员传递的方式生成响应文,并向车载智能体装置100发送。响应文生成部228在确定乘员是登记于个人资料的乘员的情况下,可以称呼乘员的名字或者生成与乘员的说话方式相似的说话方式的响应文。
智能体功能部150当取得响应文时,以进行声音合成而输出声音的方式对声音控制部118作出指示。而且,智能体功能部150以对应于声音输出地显示智能体的图像的方式对显示控制部116作出指示。这样,假想地出现的智能体实现对车辆M的乘员进行响应的智能体功能。
发送切换部230在通过对话管理部224判定为要求向其他的智能体服务器200发送第一利用者的通知的情况下,从其他的智能体服务器200取得第一利用者的通知。发送切换部230例如从第一终端装置300经由智能体服务器200-1取得第一利用者的通知。并且,发送切换部230将从智能体服务器200-1取得的第一利用者的通知向车载智能体装置100或第二终端装置400发送。第一利用者的通知例如包括第一利用者的位置信息、第一利用者的动作信息、第一利用者的讲话内容、及从第二利用者向第一利用者的指示信息的至少一部分。发送切换部230参照存储部250保存的发送切换DB260,确定成为第一利用者的通知的发送目的地的第二利用者。
图5是用于说明发送切换DB260的一例的图。如该图所示,发送切换DB260例如包括将多个智能体服务器200-1~200-3的各自的用户ID彼此建立了关联的关联信息。在该情况下,用户ID是在向利用者提供与多个智能体服务器200-1~200-3分别对应的智能体功能的情况下,用于供智能体服务器200-1~200-3确定利用者的辨别信息。在该图所示的例子中,发送切换DB260对于与智能体服务器200-1对应的用户ID即“ID-A001”,将与智能体服务器200-2对应的用户ID即“ID-B001”、及与智能体服务器200-3对应的用户ID即“ID-C001”、“ID-C002”、“ID-C003”建立关联。需要说明的是,对于与智能体服务器200-1对应的用户ID建立关联的与智能体服务器200-2或智能体服务器200-3对应的用户ID的个数可以为一个,也可以为多个。在对于与智能体服务器200-1对应的用户ID将与智能体服务器200-2或智能体服务器200-3对应的多个用户ID建立关联的情况下,可以对多个用户ID设定优先度。优先度例如可以由利用者手动设定,也可以根据利用者对各智能体服务器200-1~200-3的智能体功能的利用频度等而自动设定。
发送切换部230从第一终端装置300经由智能体服务器200-1取得通过第一终端装置300认证的第一利用者的用户ID。需要说明的是,第一终端装置300例如通过对第一利用者执行面部认证或声纹认证等来认证第一利用者的用户ID。并且,发送切换部230参照发送切换DB260,确定与第一利用者的用户ID建立了关联的第二利用者的用户ID。
发送切换部230在确定了第二利用者的用户ID的情况下,对于与确定的用户ID对应的车载智能体装置100要求第二利用者的存在的确认。在该情况下,发送切换部230例如参照发送切换DB260,确定与智能体服务器200-2所对应的第二利用者的用户ID建立了关联的车辆ID。
并且,发送切换部230基于确定的车辆ID,决定第二利用者所搭乘的车辆M的车载智能体装置100。而且,发送切换部230例如参照发送切换DB260,确定与智能体服务器200-2所对应的第二利用者的用户ID建立了关联的终端ID。并且,发送切换部230基于确定的终端ID,决定由第二利用者使用的第二终端装置400。
发送切换部230基于从车载智能体装置100取得的第二利用者的存在有无的识别结果,选择第一利用者的通知的发送目的地。即,发送切换部230基于第二利用者是否搭乘于车辆M,选择第一利用者的通知的发送目的地。在该情况下,车载智能体装置100例如从乘员识别装置80取得第二利用者的存在有无的识别结果。并且,发送切换部230在通过车载智能体装置100识别到第二利用者的存在的情况下,将车载智能体装置10()选择作为第一利用者的通知的发送目的地。而且,发送切换部230在通过车载智能体装置100未识别到第二利用者的存在的情况下,将由第二利用者使用的第二终端装置400选择作为第一利用者的通知的发送目的地。需要说明的是,在由第二利用者使用的第二终端装置400为多个的情况下,例如,可以将优先度最高的第二终端装置400选择作为第一利用者的通知的发送目的地。而且,发送切换部230可以基于通过第二终端装置400识别的第二利用者的存在有无,选择第一利用者的通知的发送目的地。
[智能体服务器的处理流程]
以下,使用流程图说明实施方式的智能体服务器200-2的一连串的处理的流程。图6是用于说明实施方式的智能体服务器200-2的一连串的处理的流程的流程图。本流程图的处理例如可以以规定的周期反复执行。
首先,发送切换部230判定是否从智能体服务器200-1取得了第一利用者的通知(步骤S10)。发送切换部230在判定为取得了第一利用者的通知的情况下,从智能体服务器200-1取得第一利用者的用户ID(步骤S12)。接下来,发送切换部230对车载智能体装置100要求第一利用者的存在的确认(步骤S14)。然后,发送切换部230取得通过车载智能体装置100识别出的第二利用者的存在有无(步骤S16)。发送切换部230判定通过车载智能体装置100是否识别到第二利用者的存在(步骤S18)。发送切换部230在判定为通过车载智能体装置100识别到第二利用者的情况下,将车载智能体装置100决定作为第一利用者的通知的发送目的地(步骤S22)。另一方面,发送切换部230在通过车载智能体装置100未识别到第二利用者的存在的情况下,判定第二终端装置400的智能体功能是否处于起动中(步骤S20)。发送切换部230在判定为第二终端装置400的智能体功能处于起动中的情况下,将第二终端装置400决定作为第一利用者的通知的发送目的地(步骤S24)。另一方面,发送切换部230在判定为第二终端装置400的智能体功能未处于起动中的情况下,将车载智能体装置100决定作为第一利用者的通知的发送目的地(步骤S22)。然后,发送切换部230对于被决定作为发送目的地的车载智能体装置100或第二终端装置400发送第一利用者的通知(步骤S26)。由此,本流程图的处理结束。
图7是用于说明实施方式的智能体***1的动作的图。图7所示的(1)~(9)示出动作的流程的顺序。以下,与顺序一起说明动作。关于后述的图8也同样。需要说明的是,在图7及图8所示的例子中,例如,设想第一利用者为孩子而第二利用者为父母的情况进行说明。
(1)第一终端装置300受理表示第一利用者已回到家的旨意的“我回来了,智能体1”这样的讲话的输入。(2)第一终端装置300对输入了讲话的第一利用者的用户ID进行认证。(3)第一终端装置300在认证到第一利用者的用户ID的情况下,将表示第一利用者已回到家的旨意的第一利用者的通知与第一利用者的用户ID一起向智能体服务器200-1发送。(4)智能体服务器200-1将从第一终端装置300取得的第一利用者的用户ID与从第一终端装置300取得的第一利用者的通知一起向智能体服务器200-2发送。
(5)智能体服务器200-2在从智能体服务器200-1取得了第一利用者的用户ID的情况下,参照发送切换DB260,确定与第一利用者的用户ID建立了关联的第二利用者的用户ID。并且,智能体服务器200-2对于与第二利用者的用户ID对应的车载智能体装置100,要求第二利用者的存在的确认。(6)车载智能体装置100将搭乘于车辆M的第二利用者的存在有无的识别结果向智能体服务器200-2发送。
在该图所示的例子中,车载智能体装置100将表示未识别到第二利用者的旨意的识别结果向智能体服务器200-2发送。(7)智能体服务器200-2在从车载智能体装置100取得了表示未识别到第二利用者的旨意的识别结果的情况下,将第二终端装置400决定作为第一利用者的通知的发送目的地。(8)而且,智能体服务器200-2对于被决定作为发送目的地的第二终端装置400发送第一利用者的通知。(9)然后,第二终端装置400在从智能体服务器200-2取得了第一利用者的通知的情况下,将表示第一利用者已回到家的旨意的“第一利用者回到家了!”这样的消息通知给第二利用者。
图8是用于说明实施方式的智能体***1的动作的图。
(1)第一终端装置300受理表示第一利用者已回到家的旨意的“我回来了,智能体1”这样的讲话的输入。(2)第一终端装置300对于输入了讲话的第一利用者的用户ID进行认证。(3)第一终端装置300在认证到第一利用者的用户D的情况下,将表示第一利用者已回到家的旨意的第一利用者的通知与第一利用者的用户ID一起向智能体服务器200-1发送。(4)智能体服务器200-1将从第一终端装置300取得的第一利用者的用户ID与从第一终端装置300取得的第一利用者的通知一起向智能体服务器200-2发送。
(5)智能体服务器200-2在从智能体服务器200-1取得了第一利用者的用户ID的情况下,参照发送切换DB260,确定与第一利用者的用户ID建立了关联的第二利用者的用户ID。并且,智能体服务器200-2对于与第二利用者的用户ID对应的车载智能体装置100,要求第二利用者的存在的确认。(6)车载智能体装置100将搭乘于车辆M的第二利用者的存在有无的识别结果向智能体服务器200-2发送。
在该图所示的例子中,车载智能体装置100将表示识别到第二利用者的旨意的识别结果向智能体服务器200-2发送。(7)智能体服务器200-2在从车载智能体装置100取得了表示识别到第二利用者的旨意的识别结果的情况下,将车载智能体装置100决定作为第一利用者的通知的发送目的地。
(8)而且,智能体服务器200-2对于被决定作为发送目的地的车载智能体装置100发送第一利用者的通知。(9)然后,车载智能体装置100在从智能体服务器200-2取得了第一利用者的通知的情况下,将表示第一利用者已回到家的旨意的“第一利用者回到家了!”这样的消息通知给第二利用者。
需要说明的是,在图7及图8所示的例子中,列举从第一终端装置300向车载智能体装置100或第二终端装置400发送第一利用者的通知的情况为例进行了说明。但是,在第一利用者的讲话向车载智能体装置100或第二终端装置400输入的情况下,也可以从车载智能体装置100或第二终端装置400向第一终端装置300发送第一利用者的通知。
另外,在该图所示的例子中,列举无论有无来自第二利用者的委托,在第一利用者的讲话输入到了第一终端装置300时,都发送第一利用者的通知的情况为例进行了说明。但是,也可以为,将第一利用者的通知的委托由第二利用者通过车载智能体装置100或第二终端装置400输入的情况作为条件,从第一终端装置300向车载智能体装置100或第二终端装置400发送第一利用者的通知。
另外,在该图所示的例子中,列举基于通过车载智能体装置100是否识别到第二利用者而将第一利用者的通知的发送目的地在车载智能体装置100与第二终端装置400之间切换的情况为例进行了说明。但是,即使在通过车载智能体装置100识别到第二利用者的情况下,在第二利用者存在于车辆M的驾驶员座时,也可以取代车载智能体装置100而将第二终端装置400决定作为第一利用者的通知的发送目的地。
根据上述说明的实施方式的智能体***1,能够可靠地进行智能体功能的提供。例如,即使将来自第一利用者的通知经由网络NW向搭载于车辆M的车载智能体装置100进行了发送,在第二利用者未搭乘于车辆M的情况下,有时通过提供智能体功能也无法将来自第一利用者的通知向第二利用者传递。相对于此,根据实施方式的智能体***1,搭载于车辆M的车载智能体装置100识别第二利用者的存在有无,在通过车载智能体装置100未识别到第二利用者的情况下,将来自第一利用者的通知向由第二利用者使用的第二终端装置400发送。
因此,通过智能体功能的提供,能够将来自第一利用者的通知向第二利用者可靠地传递。
另外,根据智能体***1,能够更可靠地进行智能体功能的提供。例如,在第二利用者正在对车辆M进行驾驶操作的情况下,即使将来自第一利用者的通知向由第二利用者使用的第二终端装置400进行了发送,也存在第二利用者无法掌握来自第一利用者的通知的情况。相对于此,根据实施方式的智能体***1,在通过车载智能体装置100识别到第二利用者的情况下,将来自第一利用者的通知向车载智能体装置100发送,通过车载智能体装置100提供的智能体功能,将来自第一利用者的通知向第二利用者传递。因此,通过提供智能体功能,能够向第二利用者更可靠地进行来自第一利用者的通知。
另外,根据智能体***1,能够更可靠地进行智能体功能的提供。例如,在第一利用者的通知通过电子邮件进行的情况下,即使将第一利用者的通知向第二利用者进行了传递,第二利用者也未必会确认第一利用者的通知的内容。相对于此,根据实施方式的智能体***1,第一利用者的通知通过基于智能体功能的与第一利用者的对话进行,因此能够将第一利用者的通知相对于第二利用者更可靠地传递。
另外,根据智能体***1,能够更可靠地进行智能体功能的提供。例如,尽管由第二利用者使用的第二终端装置400的智能体功能未处于起动中,但是在将第二终端装置400决定作为来自第一利用者的通知的发送目的地的情况下,有时无法从智能体服务器200-2向第二终端装置400发送来自第一利用者的通知。相对于此,根据实施方式的智能体***1,即使在通过车载智能体装置100未识别到第二利用者的情况下,在第二终端装置400未处于起动中时,也将车载智能体装置100决定作为来自第一利用者的通知的发送目的地。因此,通过提供智能体功能,能够将来自第一利用者的通知向第二利用者更可靠地传递。
以上,使用实施方式说明了用于实施本发明的方式,但是本发明不受这样的实施方式的任何限定,在不脱离本发明的主旨的范围内能够施加各种变形及置换。
Claims (7)
1.一种智能体***,其具备:
第一智能体应用,其使由第一利用者使用的第一终端装置作为第一智能体装置发挥功能,该第一智能体装置根据所述第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
第一服务器装置,其与所述第一终端装置通信;
第二智能体应用,其使由第二利用者使用的第二终端装置作为第二智能体装置发挥功能,该第二智能体装置根据所述第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
车载智能体装置,其搭载于车辆,由所述第二利用者使用;及
第二服务器装置,其与所述第二终端装置、所述车载智能体装置及所述第一服务器装置通信,
所述第一服务器装置将从所述第一终端装置取得的与所述第一利用者的讲话相关的信息向所述第二服务器装置发送,
所述第二服务器装置基于通过所述第二终端装置或所述车载智能体装置识别的所述第二利用者的存在有无,将从所述第一服务器装置取得的与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
2.根据权利要求1所述的智能体***,其中,
所述第二服务器装置在通过所述车载智能体装置识别到所述第二利用者的情况下,将与所述第一利用者的讲话相关的信息向所述车载智能体装置发送。
3.根据权利要求1或2所述的智能体***,其中,
所述第二服务器装置在通过所述第二终端装置识别到所述第二利用者的情况下,将与所述第一利用者的讲话相关的信息向所述第二终端装置发送。
4.根据权利要求2所述的智能体***,其中,
所述第二服务器装置以将与所述第一利用者的讲话相关的信息判定作为相对于所述第二利用者的发送对象的情况为条件,将与所述第一利用者的讲话相关的信息向所述车载智能体装置或所述第二终端装置发送。
5.一种服务器装置,其作为与第一服务器装置、第二终端装置以及车载智能体装置通信的第二服务器装置发挥功能,
所述第一服务器装置与作为第一智能体装置发挥功能的第一终端装置通信,所述第一智能体装置根据第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务,
所述第二终端装置作为第二智能体装置发挥功能,所述第二智能体装置根据第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务,
所述车载智能体装置搭载于车辆,由所述第二利用者使用,其中,
所述第一服务器装置取得从所述第一终端装置取得的与所述第一利用者的讲话相关的信息,所述第二服务器装置基于通过所述第二终端装置或所述车载智能体装置识别的所述第二利用者的存在有无,将从所述第一服务器装置取得的与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
6.一种智能体***的控制方法,其中,
所述控制方法使一个或多个计算机进行如下处理:
通过由第一利用者使用的第一终端装置,根据所述第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
通过由第二利用者使用的第二终端装置,根据所述第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
通过搭载于车辆而由所述第二利用者使用的车载智能体装置或者所述第二终端装置来识别所述第二利用者的存在有无;
基于所述第二利用者的存在有无,将与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
7.一种存储介质,其存储有程序,其中,
所述程序使一个或多个计算机执行如下处理:
通过由第一利用者使用的第一终端装置,根据第一利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
通过由第二利用者使用的第二终端装置,根据第二利用者的讲话而提供包含使输出部输出利用声音进行的响应的服务;
通过搭载于车辆而由所述第二利用者使用的车载智能体装置或者所述第二终端装置来识别所述第二利用者的存在有无;
基于所述第二利用者的存在有无,将与所述第一利用者的讲话相关的信息向所述第二终端装置或所述车载智能体装置发送。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-054892 | 2019-03-22 | ||
JP2019054892A JP7297483B2 (ja) | 2019-03-22 | 2019-03-22 | エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111726772A true CN111726772A (zh) | 2020-09-29 |
CN111726772B CN111726772B (zh) | 2024-02-13 |
Family
ID=72514810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010184528.4A Active CN111726772B (zh) | 2019-03-22 | 2020-03-16 | 智能体***及其控制方法、服务器装置、存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200302937A1 (zh) |
JP (1) | JP7297483B2 (zh) |
CN (1) | CN111726772B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252166A (ja) * | 2007-03-29 | 2008-10-16 | Denso It Laboratory Inc | 移動体搭載装置及び移動体管理装置 |
CN104270722A (zh) * | 2014-10-14 | 2015-01-07 | 深圳趣动智能科技有限公司 | 一种智能安全*** |
CN104516449A (zh) * | 2013-09-27 | 2015-04-15 | 歌乐株式会社 | 车辆用装置、服务器和信息处理方法 |
US20160065709A1 (en) * | 2014-08-29 | 2016-03-03 | Hyundai Motor Company | Manual bluetooth hands free transfer mode |
US20190079724A1 (en) * | 2017-09-12 | 2019-03-14 | Google Llc | Intercom-style communication using multiple computing devices |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03191694A (ja) * | 1989-12-20 | 1991-08-21 | Nec Corp | 構内交換機 |
US7346374B2 (en) * | 1999-05-26 | 2008-03-18 | Johnson Controls Technology Company | Wireless communications system and method |
US8311566B2 (en) | 2005-12-27 | 2012-11-13 | Kyocera Corporation | Communication apparatus, server apparatus, and communication control method |
JP2009027228A (ja) | 2007-07-17 | 2009-02-05 | Nec Corp | 着信履歴通知システム、方法、及び、プログラム |
US20140214933A1 (en) | 2013-01-28 | 2014-07-31 | Ford Global Technologies, Llc | Method and Apparatus for Vehicular Social Networking |
JP6604267B2 (ja) | 2016-05-26 | 2019-11-13 | トヨタ自動車株式会社 | 音声処理システムおよび音声処理方法 |
US10482756B2 (en) * | 2017-07-06 | 2019-11-19 | Qualcomm Incorporated | Intelligent alerts in multi-user environment |
US10051600B1 (en) * | 2017-12-12 | 2018-08-14 | Amazon Technologies, Inc. | Selective notification delivery based on user presence detections |
-
2019
- 2019-03-22 JP JP2019054892A patent/JP7297483B2/ja active Active
-
2020
- 2020-03-16 CN CN202010184528.4A patent/CN111726772B/zh active Active
- 2020-03-19 US US16/823,897 patent/US20200302937A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252166A (ja) * | 2007-03-29 | 2008-10-16 | Denso It Laboratory Inc | 移動体搭載装置及び移動体管理装置 |
CN104516449A (zh) * | 2013-09-27 | 2015-04-15 | 歌乐株式会社 | 车辆用装置、服务器和信息处理方法 |
US20160065709A1 (en) * | 2014-08-29 | 2016-03-03 | Hyundai Motor Company | Manual bluetooth hands free transfer mode |
CN104270722A (zh) * | 2014-10-14 | 2015-01-07 | 深圳趣动智能科技有限公司 | 一种智能安全*** |
US20190079724A1 (en) * | 2017-09-12 | 2019-03-14 | Google Llc | Intercom-style communication using multiple computing devices |
Also Published As
Publication number | Publication date |
---|---|
JP2020156032A (ja) | 2020-09-24 |
US20200302937A1 (en) | 2020-09-24 |
CN111726772B (zh) | 2024-02-13 |
JP7297483B2 (ja) | 2023-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7340940B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
US11380325B2 (en) | Agent device, system, control method of agent device, and storage medium | |
CN111681651A (zh) | 智能体装置、智能体***、服务器装置、智能体装置的控制方法及存储介质 | |
CN111660955A (zh) | 车载智能体***、车载智能体***的控制方法及存储介质 | |
CN111667824A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US20200319634A1 (en) | Agent device, method of controlling agent device, and storage medium | |
CN111559328B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111746435B (zh) | 信息提供装置、信息提供方法及存储介质 | |
CN111739525B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111717142A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111660966A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111731320A (zh) | 智能体***、智能体服务器及其控制方法、存储介质 | |
US11437035B2 (en) | Agent device, method for controlling agent device, and storage medium | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111724778B (zh) | 车载装置、车载装置的控制方法及存储介质 | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111726772B (zh) | 智能体***及其控制方法、服务器装置、存储介质 | |
CN111731323A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111754288A (zh) | 服务器装置、信息提供***、信息提供方法及存储介质 | |
CN111752235A (zh) | 服务器装置、智能体装置、信息提供方法及存储介质 | |
JP2020142721A (ja) | エージェントシステム、車載機器の制御方法、及びプログラム | |
JP2020157853A (ja) | 車載エージェントシステム、車載エージェントシステムの制御方法、およびプログラム | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11518399B2 (en) | Agent device, agent system, method for controlling agent device, and storage medium | |
CN111739524A (zh) | 智能体装置、智能体装置的控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |