CN113270093A - 代理装置、代理***以及非暂时性记录介质 - Google Patents

代理装置、代理***以及非暂时性记录介质 Download PDF

Info

Publication number
CN113270093A
CN113270093A CN202110022242.0A CN202110022242A CN113270093A CN 113270093 A CN113270093 A CN 113270093A CN 202110022242 A CN202110022242 A CN 202110022242A CN 113270093 A CN113270093 A CN 113270093A
Authority
CN
China
Prior art keywords
information
question
vehicle
intention
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110022242.0A
Other languages
English (en)
Other versions
CN113270093B (zh
Inventor
前田英一
久保智景
中野景子
西泽博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113270093A publication Critical patent/CN113270093A/zh
Application granted granted Critical
Publication of CN113270093B publication Critical patent/CN113270093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种代理装置、代理***以及非暂时性记录介质。代理装置包括：存储器；及处理器，与所述存储器连接，所述处理器构成为：从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且基于推定出的所述意图来取得所述提问的回答。

Description

代理装置、代理***以及非暂时性记录介质
技术领域
本公开涉及提供对用户的提问的回答的代理装置、代理***以及非暂时性记录介质。
背景技术
在日本特开2001-141500号公报中公开了一种提供与各种车载单元的操作有关的信息的车辆用代理处理装置。
在将日本特开2001-141500号公报的车辆用代理处理装置应用于用于检索用户手册的代理的情况下，为了提高根据进行提问的用户的讲话内容推定该提问的意图时的推定精度，存在改善的余地。
发明内容
本发明的目的在于提供一种在推定提问的意图的代理中能够提高意图的推定精度的代理装置、代理***以及非暂时性记录介质。
第一方式的代理装置包括：存储器；及处理器，与所述存储器连接，所述处理器构成为：从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且基于推定出的所述意图来取得所述提问的回答。
第一方式的代理装置针对用户的提问，能够取得通过推定该提问的意图而得到的回答。在该代理装置中，在受理提问信息时，除了提问信息以外还受理车辆的状态信息，将状态信息与提问信息一起使用来进行推定处理，并基于推定出的意图来取得对提问的回答。根据该代理装置，通过在推定提问的意图的情况下反映车辆的状态，能够提高意图的推定精度。
就第二方式而言，在第一方式的代理装置中，所述处理器构成为通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了所述提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
第二方式的代理装置使用通过预先进行机器学习而生成的学习完毕模型来推定意图。根据该代理装置，通过学习更多的车辆的信息和措辞，能够提高对用户的提问的意图的推定精度。
就第三方式而言，在第二方式的代理装置中，所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
在第三方式的代理装置中，能够从对控制车辆的多个控制装置彼此进行连接的通信路径取得车辆的状态信息。根据该代理装置，通过利用车辆控制用的通信信息，能够容易地从车辆取得该车辆的状态。
就第四方式而言，在第三方式的代理装置中，所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
在第四方式的代理装置中，基于受理提问之前的规定时间内的车辆的状态来进行机器学习。根据该代理装置，通过将例如用户能够识别警告灯等的时间设定为规定时间，能够将用户会注意到的车辆的状态反映到意图的推定中。
第五方式的代理装置包括：存储器；及处理器，与所述存储器连接，所述处理器构成为：从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，对所受理的所述提问信息进行推定所述提问的意图的意图推定处理，进行参照所述状态信息而从推定出的多个所述意图中确定所述意图的意图确定处理，并且基于所确定的所述意图来取得所述提问的回答。
第五方式的代理装置针对用户的提问，能够取得通过推定该提问的意图而得到的回答。在该代理装置中，在受理提问信息时，除了提问信息以外还受理车辆的状态信息，并基于提问信息进行推定处理。然后，参照车辆的状态信息而从推定出的多个意图中确定一个意图，并基于所确定的一个意图来取得对提问的回答。根据该代理装置，通过在推定出提问的意图的情况下反映车辆的状态，能够提高意图的推定精度。
就第六方式而言，在第五方式的代理装置中，所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
在第六方式的代理装置中，能够从对控制车辆的多个控制装置彼此进行连接的通信路径取得车辆的状态信息。根据该代理装置，通过利用车辆控制用的通信信息，能够容易地从车辆取得该车辆的状态。
第七方式的代理***具备代理装置和通知装置，所述代理装置包括：存储器；及处理器，与所述存储器连接，所述处理器构成为：从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且基于推定出的所述意图来取得所述提问的回答，所述通知装置搭载于所述车辆，从所述用户受理所述提问，且向所述用户通知所述回答。
在第七方式的代理***中，在车辆搭载有通知装置，能够提供对来自乘员即用户的提问的回答。根据该代理***，能够提高车辆中的用户的操作的便利性。
就第八方式而言，在第七方式的代理***中，通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了所述提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
第八方式的代理***使用通过预先进行机器学习而生成的学习完毕模型来推定意图。根据该代理***，通过学习更多的车辆的信息和措辞，能够提高对用户的提问的意图的推定精度。
就第九方式而言，在第八方式的代理***中，所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
在第九方式的代理***中，能够从对控制车辆的多个控制装置彼此进行连接的通信路径取得车辆的状态信息。根据该代理***，通过利用车辆控制用的通信信息，能够容易地从车辆取得该车辆的状态。
就第十方式而言，在第九方式的代理***中，所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
在第十方式的代理***中，基于受理提问之前的规定时间内的车辆的状态来进行机器学习。根据该代理***，通过将例如用户能够识别警告灯等的时间设定为规定时间，能够将用户会注意到的车辆的状态反映到意图的推定中。
第十一方式的非暂时性记录介质存储有使计算机执行如下处理的的程序：从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且基于推定出的所述意图来取得所述提问的回答。
第十一方式的非暂时性记录介质能够使计算机执行针对用户的提问，取得通过推定该提问的意图而得到的回答的处理。在执行该程序的计算机中，其特征在于，除了提问信息以外还受理车辆的状态信息，将状态信息与提问信息一起使用来进行推定处理，并基于推定出的意图来取得对提问的回答。根据该程序，通过在推定提问的意图的情况下反映车辆的状态，能够提高意图的推定精度。
就第十二方式而言，在第十一方式的非暂时性记录介质中，通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
第十二方式的非暂时性记录介质使用通过预先进行机器学习而生成的学习完毕模型来推定意图。根据该非暂时性记录介质，通过学习更多的车辆的信息和措辞，能够提高对用户的提问的意图的推定精度。
就第十三方式而言，在第十二方式的非暂时性记录介质中，所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
在第十三方式的非暂时性记录介质中，能够从对控制车辆的多个控制装置彼此进行连接的通信路径取得车辆的状态信息。根据该非暂时性记录介质，通过利用车辆控制用的通信信息，能够容易地从车辆取得该车辆的状态。
就第十四方式而言，在第十三方式的非暂时性记录介质中，所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
在第十四方式的非暂时性记录介质中，基于受理提问之前的规定时间内的车辆的状态来进行机器学习。根据该非暂时性记录介质，通过将例如用户能够识别警告灯等的时间设定为规定时间，能够将用户会注意到的车辆的状态反映到意图的推定中。
根据本公开，在推定提问的意图的代理中，能够提高意图的推定精度。
附图说明
图1是例示第一实施方式所涉及的手册提供***的概略结构的图。
图2是例示第一实施方式的车辆的硬件结构的框图。
图3是例示第一实施方式的服务器的硬件结构的框图。
图4是例示第一实施方式的代理服务器的功能结构的框图。
图5是说明第一实施方式的手册提供***的功能的框图。
图6是表示教师数据的生成方法的一例的图。
图7是表示第一实施方式的手册提供***中的与代理的对应状况的确认相关的处理以及将对应状况反映到监视器的处理的流程的一例的时序图。
图8是在存在相对于代理的对应的情况下的监视器的显示的例子。
图9是在没有相对于代理的对应的情况下的监视器的显示的例子。
图10是表示第一实施方式的手册提供***中的推定提问的意图的情况下的处理的流程的一例的时序图。
图11是表示第一实施方式的手册提供***中的推定提问的意图的情况下的处理的流程的一例的时序图(图10的后续)。
图12是表示将与回答信息相关的信息提示给乘员的例子的图。
图13是表示第二实施方式的手册提供***中的推定提问的意图的情况下的处理的流程的一例的时序图。
图14是表示第二实施方式的手册提供***中的推定提问的意图的情况下的处理的流程的一例的时序图(图13的后续)。
图15是例示第三实施方式的代理服务器的功能结构的框图。
具体实施方式
[第一实施方式]
如图1所示，作为第一实施方式的代理***的手册提供***10包括多个车辆12和多个服务器30。在各车辆12搭载有作为通知装置的车载器20。另外，服务器30包括作为起到人机接口(以下称为“HMI”)的作用的接口装置的HMI服务器14、作为代理装置的代理服务器16、用户手册(Owner’s Manual，以下有时简称为“OM”)服务器18、以及数据服务器19。
各车辆12的车载器20、HMI服务器14、OM服务器18以及数据服务器19分别经由网络N1相互连接。另外，HMI服务器14与代理服务器16通过网络N2相互连接。另外，代理服务器16也可以与其他服务器30同样地与网络N1连接。
(车辆)
如图2所示，本实施方式所涉及的车辆12包括车载器20、多个ECU22、作为声音输入装置的麦克风24、作为操作输入装置的输入开关26、作为显示装置的监视器28、扬声器29。
车载器20包括CPU(Central Processing Unit：中央处理单元)20A、ROM(ReadOnly Memory：只读存储器)20B、RAM(Random Access Memory：随机存取存储器)20C、车内通信I/F(Inter Face：接口)20D、无线通信I/F20E以及输入输出I/F20F。CPU20A、ROM20B、RAM20C、车内通信I/F20D、无线通信I/F20E以及输入输出I/F20F经由内部总线20G彼此以能够通信的方式连接。
CPU20A是中央运算处理单元，执行各种程序，或者控制各部分。即，CPU20A从ROM20B读出程序，并将RAM20C作为作业区域来执行程序。
ROM20B存储有各种程序和各种数据。在本实施方式的ROM20B存储有用于控制车载器20的控制程序。
RAM20C作为作业区域而暂时存储程序或数据。
车内通信I/F20D是用于与ECU22连接的接口。该接口使用基于CAN协议的通信标准。车内通信I/F20D与作为通信路径的外部总线20H相连接。作为控制装置的ECU22按照车辆12的每个功能而设置有多个。作为本实施方式的ECU22，例示出车辆控制ECU、发动机ECU、制动ECU、车身ECU、照相机ECU、多媒体ECU。
无线通信I/F20E是用于与服务器30进行通信的无线通信模块。该无线通信模块例如使用5G、LTE、Wi-Fi(注册商标)等通信标准。无线通信I/F20E与网络N1相连接。
输入输出I/F20F是用于与搭载于车辆12的麦克风24、输入开关26、监视器28以及扬声器29进行通信的接口。
麦克风24设置于车辆12的前柱和前围板等，是对作为用户的车辆12的乘员发出的声音进行收集的装置。
输入开关26设置于仪表板、中央控制台、方向盘等，是输入由乘员的手指进行的操作的开关。作为输入开关26，例如可以采用按钮式的数字键盘及触控板等。
监视器28设置于仪表板、仪表面板等，是用于显示与用户手册及后述的回答信息相关的图像的液晶监视器。监视器28也可以作为兼作输入开关26的触摸面板而设置。
扬声器29设置于仪表板、中央控制台、前柱、前围板(dash board)等，是用于输出与回答信息相关的声音的装置。
(服务器)
如图3所示，服务器30包括作为硬件处理器的一例的CPU30A、相当于存储器的ROM30B、RAM30C、存储器30D、以及通信I/F30E。CPU30A、ROM30B、RAM30C、存储器30D及通信I/F30E经由内部总线30G彼此以能够通信的方式连接。CPU30A、ROM30B、RAM30C以及通信I/F30E的功能与上述的车载器20的CPU20A、ROM20B、RAM20C以及无线通信I/F20E相同。
存储器30D包括HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)，存储有各种程序和各种数据。
CPU30A从存储器30D加载程序，并将RAM30C作为作业区域来执行程序，由此作为OMA交互控制部36、即作为受理部50、取得部52、确认部53、指示部54、提供部56和意图推定部38发挥功能。
在本实施方式的存储器30D存储有处理程序100以及数据组110。处理程序100是用于实现服务器30所具有的上述各功能的程序。
(HMI服务器)
HMI服务器14具有受理来自车载器20的提问并且向代理服务器16查询针对与用户手册相关的提问的回答的功能。
如图5所示，在本实施方式的HMI服务器14中，CPU30A通过执行处理程序100而起到作为选定部的HMI交互控制部32的作用。
HMI交互控制部32与车载器20之间进行通信。HMI交互控制部32取得从车载器20发送来的与车辆12的乘员相关的声音信息，进行声音识别，并将声音信息变换为文本信息。在此，在本实施方式中，假定利用由车辆12的乘员进行的讲话来进行提问。因此，与乘员的讲话相关的声音信息成为由乘员输入到车载器20的输入信息。例如，“请告知灯的熄灭方法”、“圈A的开关是什么？”等与乘员讲出的提问相关的声音信息成为输入信息。
另外，HMI交互控制部32基于变换所得的文本信息，理解乘员的讲话的意图。然后，HMI交互控制部32在理解为乘员进行了与用户手册相关的提问的情况下，对代理服务器16执行与该提问相关的查询。然后，HMI交互控制部32将与提问相关的文本信息发送到代理服务器16，并从代理服务器16接收与回答相关的回答信息。
另外，HMI交互控制部32将从代理服务器16接收到的回答信息发送给车载器20。另外，回答信息包含与对提问的回答相关的文本信息和声音信息。该文本信息包含用于浏览用户手册的HTML数据的URL。
另外，HMI服务器14具有基于从车载器20取得的车辆信息，对处理与用户手册相关的提问的代理(Owner's Manual Agent(以下称为“OMA”))的对应状况进行确认的功能。关于该功能的详细内容将在后文描述。
(代理服务器)
代理服务器16作为OMA发挥功能。代理服务器16从HMI服务器14取得车辆12的车辆信息和与提问相关的文本信息，并从数据服务器19取得与车辆12的状态相关的状态信息即CAN信息。另外，代理服务器16向HMI服务器14提供与对提问的回答相关的回答信息。
在本实施方式的代理服务器16中，CPU30A通过执行处理程序100而作为图4所示的OMA交互控制部36以及意图推定部38发挥功能。另外，OMA交互控制部36包括受理部50、取得部52、确认部53、指示部54以及提供部56。
另外，代理服务器16的数据组110包括图5所示的车辆OM对应数据200、意图推定ID管理数据210、QA数据220、单词归一化数据230以及学习完毕模型240。
车辆OM对应数据200是存储有与车辆12的车身编号、车型、等级、装备品等相关的车辆信息与赋予给每个用户手册的OM产品编号之间的对应关系的数据。该车辆OM对应数据200是将存储有对提问的回答的手册相对于每个车辆的对应状况存储起来的数据库的一例。
意图推定ID管理数据210是将OM产品编号与意图推定引擎之间的对应关系存储起来的数据。在意图推定ID管理数据210中存储有与OM产品编号对应的意图推定引擎ID。所谓意图推定引擎ID，是赋予给执行后述的意图推定处理的每个意图推定引擎的ID。该意图推定引擎针对相似或相关的每个用户手册而设置。
QA数据220是保存与赋予每个回答的意图标签相关联的回答信息的数据。在此，所谓“意图标签”，是作为根据乘员的讲话内容推定意图所得到的结果而提供的标签编号。在回答信息中包含与针对提问的回答相关的显示用文本、显示用图像、朗读用文本、用户手册显示用的URL等信息。
单词归一化数据230是意图推定处理中的预处理所使用的单词的归一化用的数据。该预处理是将同一表述的多种表述方式和同一表达的多种表达方式进行统一的处理。例如，单词归一化数据230是表示“断开”与“OFF”是相同的词语的信息，包含用于使同一表达的多种表达方式统一的数据。另外，例如，单词归一化数据230是指示“轮胎气压警告灯”与“气压警告灯”相同的信息，包含用于统一不同的表达的数据。
学习完毕模型240是通过使用教师数据进行机器学习而生成的数据，所述教师数据是基于与后述的受理部50受理了文本信息的情况下的受理时相比过去的车辆12的状态和乘员的过去的提问的数据。该教师数据将车辆12的过去的状态所涉及的CAN信息和与该过去状态下的提问相关联的多个措辞所涉及的文本信息作为输入，并将与对该提问的正确的回答相关的意图标签作为输出。过去的状态所涉及的CAN信息是过去状态信息的一例。该学习完毕模型240预先准备有针对每个意图推定引擎进行了学习的模型。
图6示出了基于过去的提问和过去的CAN信息的教师数据的一例。如图6所示，车载器20存储有基于车辆12的CAN信息的警告灯、显示灯的点亮状态、通知音的通知状态。另外，车载器20存储有被输入到麦克风24的声音。
这里，在车载器20受理了乘员的讲话的情况下，在从比作为受理时的时刻B靠规定时间之前的时刻A到时刻B的判定期间内，根据CAN信息取得点亮状态以及通知状态为激活的项目。在图6的例子中，在从时刻A到时刻B的规定时间内，显示1、显示2以及通知音1被“开启”，即被激活。然后，在教师数据中，对于在判定期间内激活一定时间以上的要素，生成对特征量赋予了“1”的输入数据。
此外，讲出的提问通过声音识别而被文本化，由此提取单词。作为被提取的候选的单词相当于“措辞”。在图6的例子中，由于讲话中包含单词2，所以对于该单词2，生成对特征量赋予了“1”的输入数据。
另一方面，对于如上述那样提供了特征量的输入，将与讲话的意图对应的意图标签作为输出进行赋予。在图6的例子中，与意图标签的1号相对应。以上，在本实施方式的例子中，在显示1、显示2及通知音1激活的状态下，若进行包含单词2的提问，则使用针对该提问生成1号意图标签这样的教师数据来进行机器学习。
在图5所示的OMA交互控制部36中，首先，受理部50受理车辆信息和作为提问信息的文本信息。另外，受理部50能够受理与车辆12的状态相关的CAN信息。接着，在OMA交互控制部36中，在文本信息是乘员的提问的情况下，取得部52基于车辆信息、CAN信息以及文本信息来取得对提问的回答。取得的回答是经过对提问的意图进行推定的意图推定处理而得到的。
详细而言，取得部52参照车辆OM对应数据200，根据车辆12的车辆信息取得与该车辆12对应的OM产品编号。取得部52在不能取得OM产品编号的情况下，将为“服务对象外”的意思通知给HMI交互控制部32。另外，取得部52参照意图推定ID管理数据210，根据所取得的OM产品编号取得适用于该车辆12的OMA意图推定引擎ID。
然后，取得部52将与提问相关的文本信息、车辆12的CAN信息以及OMA意图推定引擎ID作为输入值，对意图推定部38进行查询，取得与回答相当的意图标签。在一个意图标签都无法取得的情况下，提供部56向HMI服务器14发送表示“没有符合”的没有符合信息。另一方面，取得部52在所取得的意图标签为一个的情况下，参照QA数据220，基于所取得的意图标签及OM产品编号，取得对应的回答信息。
另外，取得部52也可以在存在多个所取得的意图标签的情况下，参照QA数据220，生成与多个回答的选项相关的选项信息。在生成了选项信息的情况下，将该选项信息发送给车载器20，并从车载器20取得作为乘员的选择结果的结果信息，从而能够确定一个意图标签。
在OMA交互控制部36中，确认部53具有确认车辆12的相对于OMA的对应状况的功能。OMA的对应状况不仅可以确认针对乘员的所有提问是否能够生成回答，还可以确认针对一部分提问是否能够生成回答。确认部53检索车辆OM对应数据200，并基于与受理部50所受理的车辆信息对应的OM产品编号的有无，确认OMA的对应状况。
在OMA交互控制部36中，指示部54针对由确认部53确认为不能生成回答的范围的提问，指示车载器20在车载器20中禁止受理。关于指示部54的功能的详细情况将在后文描述。
另外，在OMA交互控制部36中，提供部56朝向HMI服务器14的HMI交互控制部32发送没有符合信息、回答信息以及选项信息中的任一个。如果进行补充，则在取得部52无法取得意图标签的情况下，将没有符合信息发送到HMI服务器14。另外，在取得部52取得了一个意图标签的情况下，将对应的回答信息发送到HMI服务器14。而且，在取得部52取得了多个意图标签的情况下，将所生成的选项信息发送到HMI服务器14。
作为推定部的意图推定部38执行作为推定乘员的提问的意图的推定处理的意图推定处理。该意图推定处理是使用与意图推定引擎ID对应的意图推定引擎来执行的。在意图推定处理中，详细地执行以下的处理。首先，意图推定部38对与所取得的文本信息相关的文本，使用单词归一化数据230进行预处理。通过预处理，使同一表述的多种表述方式及同一表达的多种表达方式统一。接着，意图推定部38将进行了预处理的文本信息和车辆12的CAN信息输入到针对每个意图推定引擎所准备的学习完毕模型240，并输出意图标签及其置信度。所谓置信度，相当于被输入到学习完毕模型240的文本信息是推定出的意图标签的概率。然后，意图推定部38向OMA交互控制部36提供置信度超过规定值、即保证了规定概率以上的可靠性的意图标签。
(OM服务器)
OM服务器18是提供用户手册的服务器30。OM服务器18的数据组110包括作为与用户手册相关的HTML的OM数据300。在车辆12的监视器28显示有与回答信息相关的图像的情况下，若乘员选择该图像中包含的URL，则对OM服务器18执行与该URL对应的HTML数据的发送请求。由此，与URL对应的用户手册的HTML数据被发送到车载器20，并被显示于监视器28。
(数据服务器)
数据服务器19是从车载器20取得CAN信息，并且向代理服务器16提供CAN信息的服务器30。在本实施方式的数据服务器19中，CPU30A通过执行处理程序100，从而作为数据管理部39发挥功能。
另外，数据服务器19的数据组110包括CAN数据库400，该CAN数据库400是包含车辆12的车辆信息和与该车辆信息对应的CAN信息的数据。数据管理部39每隔规定时间从车载器20取得车辆12的CAN信息，并存储于CAN数据库400。另外，数据管理部39基于来自代理服务器16的请求，向该代理服务器16提供CAN信息。
另外，在数据服务器19中，通过从车载器20将与提问相关的声音信息与CAN信息一起取得，数据管理部39能够生成教师数据，并且进行机器学习，生成新的学习完毕模型240。所生成的新的学习完毕模型240被发送到代理服务器16而被更新。
(控制的流程)
(1)关于与代理的对应状况的确认相关的处理、以及使对应状况反映到监视器的处理使用图7的时序图对与各车辆12中的OMA的对应状况的确认相关的处理、以及使对应状况反映到监视器28的处理进行说明。
首先，对确认OMA的对应状况的处理进行说明。
在图7的步骤S10中，车载器20检测车辆12的启动。所谓启动，是指附件开关(ACC)为接通的状态。
在步骤S11中，车载器20将车辆12的车辆信息朝向HMI服务器14发送。
在步骤S12中，HMI服务器14中HMI交互控制部32进行OMA对应状况的确认委托。即，进行对代理服务器16的确认请求。
在步骤S13中，HMI交互控制部32将车辆信息朝向代理服务器16的OMA交互控制部36发送。
在步骤S14中，OMA交互控制部36检索OM产品编号。详细而言，OMA交互控制部36参照车辆OM对应数据200，检索是否存在与所取得的车辆信息对应的OM产品编号。
在步骤S15中，OMA交互控制部36确认顶部画面A的对应有无。详细而言，OMA交互控制部36在能够检测出与车辆信息对应的OM产品编号的情况下，确认存在对应，在无法检测出与车辆信息对应的OM产品编号的情况下，确认没有对应。
在步骤S16中，OMA交互控制部36经由HMI服务器14向车载器20通知对应状况。
在步骤S17中，车载器20更新OMA的对应有无。
接着，对使OMA的对应状况反映到监视器28的处理进行说明。
在图7的步骤S20中，车载器20受理讲话。例如，假定车辆12的乘员已朝向麦克风24讲出用于使代理启动的关键字即“我的代理(My agent)”。
于是，在步骤S21中，车载器20使监视器28显示与代理功能相关的顶部画面。图8及图9是显示于监视器28的顶部画面的一例。在监视器28上显示有与车载器20的功能相关的多个输入按钮80。该输入按钮80包括导航按钮80A、音频按钮80B、通话按钮80C、车辆功能按钮80D和帮助按钮80E。在本实施方式中，帮助按钮80E对应于OMA。
当在监视器28显示有顶部画面时，在OMA为“存在对应”的情况下，如图8所示，帮助按钮80E成为能够选择的激活显示。另一方面，当在监视器28显示有顶部画面时，在OMA为“没有对应”的情况下，如图9所示，帮助按钮80E成为不能选择的淡化显示。在该情况下，车载器20无法受理与淡化显示的车辆12的功能相关的提问。
(2)提示对提问的回答的情况下的处理
使用图10和图11的时序图对在车辆12中乘员进行了提问的情况下，到提示回答为止的处理进行说明。
在图10的步骤S30中，车载器20从外部总线20H取得CAN信息。
在步骤S31中，车载器20将所取得的CAN信息与车辆12的车辆信息一起朝向数据服务器19发送。另外，在本实施方式中，车辆信息及CAN信息每隔一定时间从车载器20发送到数据服务器19，但并不限于此，也可以在CAN信息发生了变化的情况下从车载器20发送到数据服务器19。
在步骤S32中，在数据服务器19中，数据管理部39将所取得的信息存储于CAN数据库400。存储的信息包括车辆信息、CAN信息以及接收时刻。
在步骤S40中，车载器20受理乘员的讲话。详细而言，车载器20的CPU20A取得乘员朝向麦克风24讲出的声音作为声音信息。例如，假设在车辆12中轮胎气压警告灯点亮的状态下，乘员说出“仪表的灯为何亮起？”。在该情况下，通过受理讲话，“仪表的灯为何亮起”这样的发言作为声音信息被取得。
在步骤S41中，车载器20将车辆12的车辆信息以及讲话开始时刻与所取得的声音信息一起朝向HMI服务器14发送。
在步骤S42中，在HMI服务器14中，HMI交互控制部32进行声音识别。由此，声音信息被变换为文本信息。另外，在该声音识别中，在与提问相当的语句包含于文本信息的情况下，判定为声音信息是提问。
在步骤S43中，HMI交互控制部32朝向代理服务器16的OMA交互控制部36发送车辆信息、讲话开始时刻以及文本信息。在上述例子中，被判定为提问的“仪表的灯为何亮起“这一字符串作为文本信息被发送。
在步骤S44中，OMA交互控制部36检索CAN信息。即，OMA交互控制部36尝试从数据服务器19取得CAN信息。
在步骤S45中，OMA交互控制部36朝向数据服务器19发送车辆信息和讲话开始时刻。
在步骤S46中，数据服务器19中数据管理部39将CAN信息或没有信息通知发送到代理服务器16。发送的CAN信息是通过数据管理部39查询CAN数据库400，检索车辆12的车辆信息以及讲话开始时刻紧前的接收时刻所涉及的CAN信息而取得的。另外，所谓没有信息通知，是在无法取得车辆信息以及与讲话开始时刻对应的CAN信息的情况下，表示没有CAN信息的通知。
在步骤S47中，OMA交互控制部36根据车辆信息确定对应的OM产品编号。即，确定与车辆12的车身编号、车型、等级以及装备品等对应的用户手册。另外，OM产品编号的确定也可以使用CAN信息。在该情况下，OMA交互控制部36在由于通信不良等某种理由而无法取得车辆12的最新的CAN信息的情况下，也可以确定以车型、等级等为标准的OM产品编号。
在步骤S48中，OMA交互控制部36根据OM产品编号确定对应的意图推定引擎ID。即，确定与车辆12的用户手册对应的意图推定引擎。另外，意图推定引擎ID的确定也可以使用CAN信息。在该情况下，OMA交互控制部36在由于通信不良等某种理由而无法取得车辆12的最新的CAN信息的情况下，也可以确定以车型、等级等为标准的意图推定引擎ID。
在步骤S49中，OMA交互控制部36将从HMI服务器14取得的文本信息、从数据服务器19取得的CAN信息、以及意图推定引擎ID提供给意图推定部38。
在步骤S50中，意图推定部38执行意图推定处理。由此，意图推定部38输出与文本信息以及CAN信息对应的意图标签。在本实施方式的例子中，针对“仪表的灯为何亮起”这样的文本信息，输出与推定出的意图对应的意图标签。
在图11的步骤S51中，意图推定部38将置信度最大的一个意图标签提供给OMA交互控制部36。另外，在没有输出置信度超过规定值的意图标签的情况下，意图推定部38将表示没有意图标签的没有标签信息提供给OMA交互控制部36。
在步骤S52中，OMA交互控制部36基于意图标签来生成回答信息。即，OMA交互控制部36参照QA数据220，生成由显示用文本、显示用图像、朗读用文本、用户手册显示用的URL等的组合构成的回答信息。
在步骤S53中，OMA交互控制部36向HMI服务器14发送回答信息。
在步骤S54中，HMI交互控制部32生成提示信息。提示信息是发送到车载器20的信息，并且是省略了意图标签和OM产品编号等不需要由监视器28和扬声器29提示的信息的回答信息。另外，也可以将回答信息直接作为提示信息。
在步骤S55中，HMI交互控制部32向车载器20发送提示信息。
在步骤S56中，车载器20将接收到的提示信息提示给车辆12的乘员。详细而言，车载器20的CPU20A使监视器28显示与接收到的提示信息相关的图像，并从扬声器29输出与接收到的提示信息相关的声音。例如，如图12所示，CPU20A使监视器28显示轮胎气压警告***的说明，并从扬声器29输出“是轮胎气压警告***的警告”这样的声音。
(第一实施方式的总结)
在本实施方式的手册提供***10中，针对车辆12的乘员通过车载器20输入的提问，能够将通过推定该提问的意图而得到的回答提供给车载器20。
在本实施方式的代理服务器16中，在受理文本信息的受理部50中，在车辆12启动时受理车辆信息。此外，在确认部53中，基于车辆信息来确认不能生成回答的提问的范围。这里，“不能生成回答”的情况包括没有整备存储有对提问的回答的用户手册的情况、用户手册在更新中暂时不能使用的情况等。然后，对于由确认部53确认为不能生成回答的范围的提问，指示部54指示车载器20在车载器20中禁止受理。因此，根据本实施方式，在针对与一部分或全部功能有关的提问不能生成回答的情况下，能够降低给乘员带来的不适感。
另外，由于在车辆12启动的阶段确认了不能生成回答的提问的范围，所以不会错误地受理提问，能够降低给用户带来的不适感。另外，受理车辆信息的定时并不一定限于车辆12启动时。
另外，本实施方式的代理服务器16的特征在于，确认部53通过检索存储了用户手册与车辆12之间的对应的车辆OM对应数据200，来确认不能生成回答的提问的范围。根据本实施方式，通过将每个车辆12的用户手册的有无数据库化，能够容易地进行车载器20中的受理禁止的管理。
另外，在本实施方式的代理服务器16中，在受理部50中，除了提问信息以外还受理车辆12的CAN信息。另外，代理服务器16的特征在于，意图推定部38将CAN信息与文本信息一起使用来进行作为推定处理的意图推定处理，取得部52基于推定出的意图来取得对提问的回答。根据本实施方式的代理服务器16，通过在推定提问的意图的情况下反映车辆12的状态，能够提高意图的推定精度。
另外，本实施方式的代理服务器16使用通过意图推定部38预先进行机器学习而生成的学习完毕模型240来推定意图。根据本实施方式，通过学习更多的车辆12的信息及措辞，能够提高对乘员的提问的意图的推定精度。另外，在数据服务器19中，通过取得CAN信息和对提问的回答结果来进行进一步的机器学习，能够生成新的学习完毕模型240。并且，通过更新代理服务器16的学习完毕模型240，能够进一步提高推定精度。
另外，在本实施方式的代理服务器16中，能够从对控制车辆12的多个ECU22彼此进行连接的外部总线20H取得车辆12的CAN信息。根据本实施方式，通过利用车辆控制用的通信信息，能够容易地从车辆12取得该车辆12的状态。
另外，在本实施方式的代理服务器16中，如图6所示，基于规定时间内的车辆12的状态来进行机器学习。因此，根据本实施方式，例如通过将乘员能够识别警告灯等的时间设定为规定时间，能够将乘员会注意到的车辆12的状态反映到意图的推定中。
在本实施方式的手册提供***10中，搭载于车辆12的车载器20能够提供对来自乘员的提问的回答。根据本实施方式，能够提高车辆12中的乘员的操作的便利性。
另外，在本实施方式中，如图9所示，车载器20使输入按钮淡化地显示于监视器28，并且禁止输入按钮80对操作的受理。因此，根据本实施方式，能够以视觉的方式提醒乘员不能利用代理。
另外，在本实施方式中，通过使输入按钮80淡化来禁止操作的受理，但并不限于此，也可以使“未对应”等文本重叠显示在输入按钮80之上。
另外，本实施方式的车载器20在与车辆12对应的用户手册不久便能够获得的情况下，也可以使“准备中”、“获取中”等文本与对应的输入按钮80相邻或重叠地显示。另外，车载器20在与车辆12对应的用户手册的获得完成的情况下，也可以使“NEW”、“从今天起能够使用”等文本与对应的输入按钮80相邻或重叠地显示。而且，车载器20也可以从与车辆12对应的用户手册的获得中到获得完成为止，随时间改变输入按钮80的颜色，或者逐渐减弱淡化的程度。所谓与用户手册有关的“获得”，是指对应的用户手册被追加到OM服务器18的OM数据300，并且车辆12相对于用户手册的对应信息被追加到代理服务器16的车辆OM对应数据200。
[第二实施方式]
在第一实施方式中，基于文本信息和CAN信息来执行意图推定处理，并获得一个意图标签。与此相对，在第二实施方式中，在意图推定处理中取得多个意图标签，并参照CAN信息来执行筛选为一个意图标签的意图确定处理。即，作为推定处理，执行意图推定处理和意图确定处理。以下，对提示针对提问的回答的情况下的处理中的与第一实施方式的不同点进行说明。
使用图13和图14的时序图对在本实施方式的车辆12中乘员进行了提问的情况下，到提示回答为止的处理进行说明。
对于图13的从步骤S60到步骤S63的处理，与图10的从步骤S40到步骤S43的处理相同。
在步骤S64中，OMA交互控制部36根据车辆信息确定对应的OM产品编号。即，确定与车辆12的车身编号、车型、等级以及装备品等对应的用户手册。
在步骤S65中，OMA交互控制部36根据OM产品编号确定对应的意图推定引擎ID。即，确定与车辆12的用户手册对应的意图推定引擎。
在步骤S66中，OMA交互控制部36将从HMI服务器14取得的文本信息、以及意图推定引擎ID提供给意图推定部38。
在步骤S67中，意图推定部38执行作为推定处理之一的意图推定处理。由此，意图推定部38输出与文本信息对应的意图标签。例如，针对“仪表的灯为何亮起”这样的文本信息，输出与推定出的意图对应的多个意图标签。
在图14的步骤S68中，意图推定部38将置信度超过规定值的多个意图标签提供给OMA交互控制部36。另外，在没有输出置信度超过规定值的意图标签的情况下，意图推定部38将表示没有意图标签的没有标签信息提供给OMA交互控制部36。
在步骤S69中，OMA交互控制部36进行是否存在应参照的CAN信息的判定。例如，假定意图推定处理的结果为，取得针对与显示1、显示2以及显示10相关的警告灯的意图标签。在该情况下，由于能够参照与警告灯相关的CAN信息，所以判定为存在应参照的CAN信息。OMA交互控制部36在判定为存在应参照的CAN信息的情况下，进入步骤S70。另一方面，OMA交互控制部36在判定为没有应参照的CAN信息的情况下，进入步骤S74。
在步骤S70中，OMA交互控制部36检索CAN信息。即，OMA交互控制部36尝试从数据服务器19取得CAN信息。
在步骤S71中，OMA交互控制部36朝向数据服务器19发送车辆信息和讲话开始时刻。
在步骤S72中，在数据服务器19中，数据管理部39将CAN信息或没有信息通知发送到代理服务器16。步骤的详细情况与图10的步骤S46相同。
在步骤S73中，作为确定部的OMA交互控制部36根据CAN信息执行作为推定处理之一的意图确定处理。由此，OMA交互控制部36从多个意图中取得与CAN信息对应的一个意图标签。例如，在取得了表示轮胎气压警告灯点亮的CAN信息的情况下，从多个意图标签中取得与轮胎气压警告***相关的意图标签。即，通过由意图推定部38进行的意图推定处理和由OMA交互控制部36进行的意图确定处理，来执行推定处理。
以下，对于图13的从步骤S74到步骤S78的处理，与图11的从步骤S52到步骤S56的处理相同。
根据进行以上的处理的本实施方式的手册提供***10，能够得到与第一实施方式相同的效果。
[第三实施方式]
在第一及第二实施方式中，将HMI服务器14、代理服务器16及数据服务器19设为不同的服务器30。与此相对，在第三实施方式中，如图15所示，将HMI服务器14及数据服务器19集成到代理服务器16。
在本实施方式的手册提供***10中，也能够得到与第一和第二实施方式相同的效果。
[备注]
在上述各实施方式中，将基于乘员的讲话的声音信息作为针对HMI服务器14的输入信息，但并不限于此，也可以将基于乘员对作为触摸面板的监视器28的操作的操作信息作为输入信息。所谓该情况下的操作信息，例如可举出与乘员向监视器28输入的字符串有关的文本信息。
在上述第三实施方式中，将手册提供***10中包含的HMI服务器14以及数据服务器19集成到代理服务器16，但是也可以进一步集成OM服务器18。另外，也可以将HMI服务器14、代理服务器16、OM服务器18、数据服务器19中的一部分服务器30集成。另外，在将代理服务器16中，也可以将OMA交互控制部36以及意图推定部38的功能分别配置于不同的服务器30。
另外，也可以由CPU以外的各种处理器执行在上述实施方式中由CPU20A、30A读入软件(程序)而执行的各种处理。作为该情况下的处理器，可例示出FPGA(Field-Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的PLD(Programmable Logic Device：可编程逻辑器件)、ASIC(Application SpecificIntegrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。另外，也可以利用上述各种处理器中的一个来执行上述的受理处理，还可以利用相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、以及CPU与FPGA的组合等)来执行上述的受理处理。另外，更详细而言，上述各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路。
另外，在上述实施方式中，以各程序被预先存储(安装)于计算机可读的非暂时性记录介质的方式进行了说明。例如，服务器30中的处理程序100被预先存储于存储器30D。然而，并不限于此，各程序也可以以记录于CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)、DVD-ROM(Digital Versatile Disk Read Only Memory：数字通用盘只读存储器)和USB(Universal Serial Bus：通用串行总线)存储器等非暂时性记录介质的形式提供。另外，程序也可以是经由网络从外部装置下载的形式。
上述各实施方式中的处理也可以不仅由一个处理器执行，而是由多个处理器协作来执行。在上述实施方式中所说明的处理的流程也是一例，可以在不脱离主旨的范围内删除不必要的步骤、添加新的步骤、或调换处理顺序。

Claims (14)

1.一种代理装置，包括：
存储器；及
处理器，与所述存储器连接，
所述处理器构成为：
从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，
对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且
基于推定出的所述意图来取得所述提问的回答。
2.根据权利要求1所述的代理装置，其中，
所述处理器构成为通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了所述提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
3.根据权利要求2所述的代理装置，其中，
所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
4.根据权利要求3所述的代理装置，其中，
所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
5.一种代理装置，包括：
存储器；及
处理器，与所述存储器连接，
所述处理器构成为：
从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，
对所受理的所述提问信息进行推定所述提问的意图的意图推定处理，
进行参照所述状态信息而从推定出的多个所述意图中确定所述意图的意图确定处理，并且
基于所确定的所述意图来取得所述提问的回答。
6.根据权利要求5所述的代理装置，其中，
所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
7.一种代理***，具备代理装置和通知装置，
所述代理装置包括：
存储器；及
处理器，与所述存储器连接，
所述处理器构成为：
从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，
对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且
基于推定出的所述意图来取得所述提问的回答，
所述通知装置搭载于所述车辆，从所述用户受理所述提问，且向所述用户通知所述回答。
8.根据权利要求7所述的代理***，其中，
通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了所述提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
9.根据权利要求8所述的代理***，其中，
所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
10.根据权利要求9所述的代理***，其中，
所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
11.一种非暂时性记录介质，存储有使计算机执行如下处理的程序：
从车辆受理关于所述车辆的状态的状态信息，并受理来自用户的提问作为提问信息，
对所受理的所述提问信息和所述状态信息进行推定所述提问的意图的推定处理，并且
基于推定出的所述意图来取得所述提问的回答。
12.根据权利要求11所述的非暂时性记录介质，其中，
通过对学习完毕模型输入所受理的所述提问信息和所述状态信息来进行所述推定处理，所述学习完毕模型是使用与受理了所述提问信息的情况下的受理时相比过去的所述车辆的状态相关的过去状态信息、与所述过去的状态下的所述用户的提问相关联的多个措辞的信息以及针对所述措辞的正确的回答的信息而生成的。
13.根据权利要求12所述的非暂时性记录介质，其中，
所述状态信息是基于对设置于所述车辆的多个控制装置进行连接的通信路径中的通信信息而取得的。
14.根据权利要求13所述的非暂时性记录介质，其中，
所述过去状态信息是基于从所述受理时的规定时间之前到所述受理时为止的期间内的所述通信信息而取得的。
CN202110022242.0A 2020-01-29 2021-01-08 代理装置、代理***以及非暂时性记录介质 Active CN113270093B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020013027A JP7338493B2 (ja) 2020-01-29 2020-01-29 エージェント装置、エージェントシステム及びプログラム
JP2020-013027 2020-01-29

Publications (2)

Publication Number Publication Date
CN113270093A true CN113270093A (zh) 2021-08-17
CN113270093B CN113270093B (zh) 2024-06-25

Family

ID=76970056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022242.0A Active CN113270093B (zh) 2020-01-29 2021-01-08 代理装置、代理***以及非暂时性记录介质

Country Status (3)

Country Link
US (1) US11995125B2 (zh)
JP (1) JP7338493B2 (zh)
CN (1) CN113270093B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307072A (zh) * 2019-07-26 2021-02-02 沃尔沃汽车公司 车用智能使用手册***
JP7347244B2 (ja) * 2020-01-29 2023-09-20 トヨタ自動車株式会社 エージェント装置、エージェントシステム及びプログラム
JP2023102213A (ja) * 2022-01-11 2023-07-24 トヨタ自動車株式会社 情報処理装置、車両、情報処理方法、及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104282305A (zh) * 2013-07-12 2015-01-14 通用汽车环球科技运作有限责任公司 语音对话***中用于结果仲裁的***和方法
CN108346430A (zh) * 2017-01-23 2018-07-31 现代自动车株式会社 对话***、具有对话***的车辆以及对话处理方法
CN109407916A (zh) * 2018-08-27 2019-03-01 华为技术有限公司 数据搜索的方法、终端、用户图像显示界面以及存储介质
JP6550628B1 (ja) * 2018-02-19 2019-07-31 Ａｒｉｔｈｍｅｒ株式会社 対話管理サーバ、対話管理方法、及びプログラム
JP2019127192A (ja) * 2018-01-25 2019-08-01 トヨタ自動車株式会社 車載装置
JP2019128625A (ja) * 2018-01-22 2019-08-01 モビルス株式会社 コミュニケーション支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537590A (en) * 1993-08-05 1996-07-16 Amado; Armando Apparatus for applying analysis rules to data sets in a relational database to generate a database of diagnostic records linked to the data sets
JP4085500B2 (ja) * 1999-01-29 2008-05-14 株式会社エクォス・リサーチ 車両状況把握装置、エージェント装置、および、車両制御装置
JP2001141500A (ja) 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
AU2001245447A1 (en) * 2000-03-06 2001-09-17 Kanisa Inc. A system and method for providing an intelligent multi-step dialog with a user
US8612208B2 (en) * 2004-04-07 2013-12-17 Oracle Otc Subsidiary Llc Ontology for use with a system, method, and computer readable medium for retrieving information and response to a query
US7890318B2 (en) * 2007-05-23 2011-02-15 Xerox Corporation Informing troubleshooting sessions with device data
US20130204811A1 (en) * 2012-02-08 2013-08-08 Nec Corporation Optimized query generating device and method, and discriminant model learning method
US9177475B2 (en) * 2013-11-04 2015-11-03 Volkswagen Ag Driver behavior based parking availability prediction system and method
US11017351B2 (en) * 2014-09-12 2021-05-25 Transtar Industries Llc Parts recommendation and procurement system and method
US20170161386A1 (en) * 2015-12-02 2017-06-08 International Business Machines Corporation Adaptive product questionnaire
JP2018169494A (ja) * 2017-03-30 2018-11-01 トヨタ自動車株式会社 発話意図推定装置および発話意図推定方法
KR20200006739A (ko) * 2018-07-11 2020-01-21 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11486721B2 (en) * 2018-09-30 2022-11-01 Strong Force Intellectual Capital, Llc Intelligent transportation systems
JP7133029B2 (ja) * 2018-10-05 2022-09-07 本田技研工業株式会社 エージェント装置、エージェント制御方法、およびプログラム
JP7044040B2 (ja) 2018-11-28 2022-03-30 トヨタ自動車株式会社 質問応答装置、質問応答方法及びプログラム
KR20200098079A (ko) * 2019-02-11 2020-08-20 현대자동차주식회사 대화 시스템 및 대화 처리 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104282305A (zh) * 2013-07-12 2015-01-14 通用汽车环球科技运作有限责任公司 语音对话***中用于结果仲裁的***和方法
DE102014109122A1 (de) * 2013-07-12 2015-01-15 Gm Global Technology Operations, Llc Systeme und Verfahren für ergebnisbezogene Arbitrierung in Sprachdialogsystemen
CN108346430A (zh) * 2017-01-23 2018-07-31 现代自动车株式会社 对话***、具有对话***的车辆以及对话处理方法
JP2019128625A (ja) * 2018-01-22 2019-08-01 モビルス株式会社 コミュニケーション支援装置
JP2019127192A (ja) * 2018-01-25 2019-08-01 トヨタ自動車株式会社 車載装置
JP6550628B1 (ja) * 2018-02-19 2019-07-31 Ａｒｉｔｈｍｅｒ株式会社 対話管理サーバ、対話管理方法、及びプログラム
CN109407916A (zh) * 2018-08-27 2019-03-01 华为技术有限公司 数据搜索的方法、终端、用户图像显示界面以及存储介质

Also Published As

Publication number Publication date
CN113270093B (zh) 2024-06-25
JP7338493B2 (ja) 2023-09-05
US20210232635A1 (en) 2021-07-29
JP2021117941A (ja) 2021-08-10
US11995125B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
CN113270093B (zh) 代理装置、代理***以及非暂时性记录介质
CN113192500B (zh) 代理装置、代理***以及非暂时性记录介质
CN112242141B (zh) 一种语音控制方法、智能座舱、服务器、车辆和介质
CN113271330B (zh) 代理装置、代理***以及非暂时性记录介质
US7711358B2 (en) Method and system for modifying nametag files for transfer between vehicles
CN113206861A (zh) 信息处理装置、信息处理方法和记录介质
JP2021093087A (ja) エージェント装置
US11869488B2 (en) Agent device, agent system, and computer-readable storage medium
US11593568B2 (en) Agent system, agent processing method, and non-transitory storage medium that stores an agent processing program
CN111754288A (zh) 服务器装置、信息提供***、信息提供方法及存储介质
CN111752235A (zh) 服务器装置、智能体装置、信息提供方法及存储介质
WO2019234486A1 (en) Speech recognition system, information processing device and server
US9858918B2 (en) Root cause analysis and recovery systems and methods
CN111726772B (zh) 智能体***及其控制方法、服务器装置、存储介质
CN111739524B (zh) 智能体装置、智能体装置的控制方法及存储介质
JP2021099735A (ja) エージェント装置
CN113129891A (zh) 一种汽车使用指导***及方法
WO2024020065A1 (en) Collaboration between a recommendation engine and a voice assistant
JP2021110886A (ja) データ処理システム
CN113689849A (zh) 智能体控制装置、智能体控制方法以及记录有程序的记录介质
JP2024091702A (ja) 情報提供装置
CN115881120A (zh) 处理用户语音请求的方法及相关装置
CN112970060A (zh) 对车辆中语音助理的使用进行辅助的辅助方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant