CN111559317B - 智能体装置、智能体装置的控制方法及存储介质 - Google Patents

Abstract

提供能够以更加自然的使用感提供智能体功能的智能体装置、智能体装置的控制方法及存储介质。智能体装置具备：多个智能体功能部，它们根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；以及声音控制部，其针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，且对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置。

Description

智能体装置、智能体装置的控制方法及存储介质

技术领域

本发明涉及智能体装置、智能体装置的控制方法及存储介质。

背景技术

以往，公开了与智能体功能相关的技术，该智能体功能一边与车辆的乘员进行对话，一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、其他应用等(例如，参照专利文献1)。

【在先技术文献】

【专利文献】

【专利文献1】

日本特开2006-335231号公报

发明内容

发明要解决的课题

近年来，关于多个智能体功能向车辆的搭载，正在推进实用化，但是，关于该情况下的声音的输出形态，研究得不够充分。因此，在以往的技术中，存在无法向乘员提供自然的使用感的情况。

本发明是考虑这样的情形而完成的，其目的之一在于，提供一种能够以更加自然的使用感提供智能体功能的智能体装置、智能体装置的控制方法及存储介质。

用于解决课题的方案

本发明的智能体装置、智能体装置的控制方法及存储介质采用了以下的结构。

(1)：本发明的一方案的智能体装置，其具备：多个智能体功能部，它们根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；以及声音控制部，其针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，且对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置。

(2)：在上述(1)的方案中，所述声音控制部使基于所述多个智能体功能部中的使用频率高的智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是副驾驶员座的位置。

(3)：在上述(1)的方案中，所述多个智能体功能部包含被赋予了控制车辆设备的权限的车辆智能体功能部，所述声音控制部使基于所述车辆智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是副驾驶员座的位置。

(4)：在上述(1)的方案中，所述多个智能体功能部包含被赋予了控制车辆设备的权限的车辆智能体功能部，所述声音控制部使基于所述车辆智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是驾驶员座的位置。

(5)：在上述(1)的方案中，所述声音控制部使基于所述多个智能体功能部中的使用频率低的智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是后部座位的位置。

(6)：在上述(1)的方案中，所述声音控制部基于对乘员的就座位置进行识别的就座位置识别部的识别结果，针对所述多个智能体功能部分别设定使所述声音的声像定位的位置。

(7)：在上述(6)的方案中，所述声音控制部在所述就座位置识别部识别到乘员正就座于各座位的情况下，将使基于所述多个智能体功能部中的各智能体功能部产生的所述声音的声像定位的位置设定于车室的顶棚。

(8)：在上述(1)的方案中，所述智能体装置还具备启动智能体选择部，该启动智能体选择部至少参照对驾驶员的面部朝向进行检测的面部朝向检测部的检测结果，使声像被定位于所述驾驶员使面部正在朝向的位置的智能体功能部启动。

(9)：本发明的另一方案的智能体装置的控制方法，其使计算机进行如下处理：使多个智能体功能部中的任意智能体功能部启动；作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；以及针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置。

(10)：本发明的另一方案的存储介质，其存储有程序，所述程序使计算机执行如下处理：使多个智能体功能部中的任意智能体功能部启动；作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；以及针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置。

发明效果

根据(1)～(10)的方案，能够以更加自然的使用感提供智能体功能。

附图说明

图1是包含智能体装置100的智能体***1的结构图。

图2是示出第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。

图3是示出显示-操作装置20的配置例的图。

图4是示出扬声器单元30的配置例的图。

图5是用于对声像定位的位置确定的原理进行说明的图。

图6是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。

图7是示出声像定位位置的第一例的图。

图8是示出声像定位位置的第二例的图。

图9是示出声像定位位置的第三例的图。

图10是示出声像定位位置的第四例的图。

图11是示出声像定位位置的第五例的图。

图12是示出声像定位位置的第六例的图。

图13是示出第二实施方式的智能体装置100A的结构和搭载于车辆M的设备的图。

图14是用于对启动智能体选择部120的动作进行说明的图。

具体实施方式

以下，参照附图，对本发明的智能体装置、智能体装置的控制方法及存储介质的实施方式进行说明。智能体装置是实现智能体***的一部分或全部的装置。以下，作为智能体装置的一例，对搭载于车辆(以下，称作车辆M)并具备多个种类的智能体功能的智能体装置进行说明。所谓智能体功能，例如是如下功能：一边与车辆M的乘员进行对话，一边进行基于乘员的讲话中所包含的要求(指令)的各种信息提供，或者使网络服务介入。多个种类的智能体各自起到的功能、处理步骤、控制、输出形态·内容也可以分别不同。智能体功能中，也可以具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能。

智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外，还综合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络而检索其他装置或检索自身装置所持有的规定的数据库的网络检索功能等来实现。这些功能的一部分或全部可以利用AT(Artificial Intelligence)技术来实现。用于进行这些功能的结构的一部分(尤其是，声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或带入到车辆M的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中，将结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合地实现智能体***作为前提。将智能体装置与智能体服务器协同配合而假想地出现的服务提供主体(服务·实体)称作智能体。

<整体结构>

图1是包含智能体装置100的智能体***1的结构图。智能体***1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。附图标记的末尾的连字符以下数字设为用于区分智能体的标识符。在不对是哪一个智能体服务器进行区分的情况下，有时简称作智能体服务器200。在图1中示出了3个智能体服务器200，但是，智能体服务器200的数量既可以是2个，也可以是4个以上。各智能体服务器200由互不相同的智能体***的提供者运营。因此，本发明中的智能体，是由互不相同的提供者实现的智能体。作为提供者，例如可以举出机动车制造商、网络服务商、电子商贸商、便携终端的销售者、制造者等，任意主体(法人、团体、个人等)都能够成为智能体***的提供者。

智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线、无线基地站等中的一部分或全部。网络NW连接有各种网页服务器300，智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。

智能体装置100与车辆M的乘员进行对话，将来自乘员的声音向智能体服务器200发送，将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。

<第一实施方式>

[车辆]

图2是示出第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话筒10、显示-操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80及智能体装置100。有时，智能手机等通用通信装置70被带入车室内，作为通信装置而被使用。这些装置通过CAN(Controller AreaNetwork)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图2所示的结构不过是一例，既可以省略结构的一部分，也可以还追加别的结构。

话筒10是收集在车室内发出的声音的收音部。显示-操作装置20是显示图像并且能够接受输入操作的装置(或装置群)。显示-操作装置20例如包括作为触摸面板而构成的显示器装置。显示-操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设于车室内的互不相同的位置的多个扬声器(声音输出部)。显示-操作装置20也可以在智能体装置100和导航装置40中共用。关于它们的详情后述。

导航装置40具备导航HMI(Human machine Interface)、GPS(Global PositioningSystem)等位置测定装置、存储有地图信息的存储装置、以及进行路径搜索等的控制装置(导航控制器)。话筒10、显示-操作装置20及扬声器单元30中的一部分或全部也可以作为导航HMI而被使用。导航装置40搜索用于从由位置测定装置确定出的车辆M的位置移动到由乘员输入的目的地的路径(导航路径)，使用导航HMI输出引导信息，以使得车辆M能够沿着路径行驶。路径搜索功能也可以处于能够经由网络NW而访问的导航服务器中。在该情况下，导航装置40从导航服务器取得路径而输出引导信息。智能体装置100也可以将导航控制器作为基础而构筑，在该情况下，导航控制器与智能体装置100硬件上构成为一体。

车辆设备50例如包括发动机、行驶用马达等驱动力输出装置、发动机的启动马达、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、刮水器、除雾器及它们各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等车辆信息装置等。

车载通信装置60例如是能够利用蜂窝网、Wi-Fi网来访问网络NW的无线通信装置。

乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(Complementary Metal OxideSemiconductor)相机。图像识别装置对车室内相机的图像进行解析，识别每个座位的乘员的有无、面部朝向等。在本实施方式中，乘员识别装置80是就座位置识别部的一例。

图3是示出显示-操作装置20的配置例的图。显示-操作装置20例如包括第一显示器22、第二显示器24、操作开关ASSY26。显示-操作装置20也可以还包括HUD28。

在车辆M中，例如存在设置有转向盘SW的驾驶员座DS、和相对于驾驶员座DS设置于车宽方向(图中Y方向)上的副驾驶员座AS。第一显示器22是仪表板中的从驾驶员座DS与副驾驶员座AS之间的中间附近延伸到与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第二显示器24设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近且第一显示器的下方。例如，第一显示器22和第二显示器24均作为触摸面板而构成，作为显示部而具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26是拨码开关、按钮式开关等集聚而成的。显示-操作装置20将由乘员进行的操作的内容向智能体装置100输出。第一显示器22或第二显示器24显示的内容可以由智能体装置100决定。

图4是示出扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30A～30H。扬声器30A设置于驾驶员座DS侧的窗柱(所谓的A柱)。扬声器30B设置于靠近驾驶员座DS的门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置于靠近副驾驶员座AS的门的下部。扬声器30E设置于靠近右侧后部座位BS1侧的门的下部。扬声器30F设置于靠近左侧后部座位BS2侧的门的下部。扬声器30G设置于第二显示器24的附近。扬声器30H设置于车室的顶棚(roof)。

在该配置中，例如，在专门使扬声器30A及扬声器30B输出声音的情况下，声像会定位于驾驶员座DS附近。在专门使扬声器30C及扬声器30D输出声音的情况下，声像会定位于副驾驶员座AS附近。在专门使扬声器30E输出声音的情况下，声像会定位于右侧后部座位BS1附近。在专门使扬声器30F输出声音的情况下，声像会定位于左侧后部座位BS2附近。在专门使扬声器30G输出声音的情况下，声像会定位于车室的前方附近，在专门使扬声器30H输出声音的情况下，声像会定位于车室的上方附近。不限定于此，扬声器单元30能够通过使用混声器、放大器来调整各扬声器输出的声音的分配，来使声像定位于车室内的任意的位置。

[智能体装置]

返回图2，智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152。管理部110例如具备声响处理部112、每个智能体WU(Wake Up)判定部114、显示控制部116、声音控制部118。在不对是哪个智能体功能部进行区分的情况下，简称作智能体功能部150。示出了3个智能体功能部150，这不过是与图1中的智能体服务器200的数量对应的一例，智能体功能部150的数量也可以是2个，还可以是4个以上。图2所示的软件配置是为了说明而简易地示出，实际上，例如也可以在智能体功能部150与车载通信装置60之间存在管理部110那样任意地改变。

智能体装置100的各构成要素例如通过由CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序既可以预先储存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中，也可以储存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。

管理部110通过执行OS(Operating System)、中间软件等程序而发挥功能。

管理部110的声响处理部112对被输入的声音进行声响处理，以使得成为适于识别针对每个智能体而预先设定的唤醒词的状态。

每个智能体WU判定部114与智能体功能部150-1、150-2、150-3分别相对应地存在，识别针对每个智能体预先设定的唤醒词。每个智能体WU判定部114从进行了声响处理的声音(声音流)识别声音的意思。首先，每个智能体WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。每个智能体WU判定部114也可以进行通过基于混合高斯分布模型(GMM；Gaussian mixture model)的帧单位的声音识别及非声音识别实现的区间检测。

接着，每个智能体WU判定部114将检测到的声音区间中的声音文本化，设为文字信息。然后，每个智能体WU判定部114判定文本化了的文字信息是否属于唤醒词。在判定为是唤醒词的情况下，每个智能体WU判定部114使对应的智能体功能部150启动。相当于每个智能体WU判定部114的功能也可以搭载于智能体服务器200。在该情况下，管理部110将由声响处理部112进行了声响处理的声音流向智能体服务器200发送，在智能体服务器200判定为是唤醒词的情况下，按照来自智能体服务器200的指示，智能体功能部150启动。各智能体功能部150可以始终启动且自行进行唤醒词的判定。在该情况下，无需管理部110具备每个智能体WU判定部114。

智能体功能部150与对应的智能体服务器200协同配合而使智能体出现，与车辆的乘员的讲话相应地，提供包含基于声音的响应的服务。智能体功能部150中可以包含被赋予了控制车辆设备50的权限的功能部。智能体功能部150中可以存在经由配对应用执行部152而与通用通信装置70协作来与智能体服务器200通信的功能部。例如，对智能体功能部150-1赋予了控制车辆设备50的权限。智能体功能部150-1经由车载通信装置60而与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60而与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部152而与通用通信装置70协作，来与智能体服务器200-3通信。配对应用执行部152例如通过Bluetooth(注册商标)与通用通信装置70进行配对，使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。以下，有时，将智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称作智能体1，将智能体功能部150-2与智能体服务器200-2协同配合而出现的智能体称作智能体2，将智能体功能部150-3与智能体服务器200-3协同配合而出现的智能体称作智能体3。

显示控制部116根据来自智能体功能部150的指示，使第一显示器22或第二显示器24显示图像。以下，设为使用第一显示器22。显示控制部116通过一部分的智能体功能部150的控制，例如生成在车室内进行与乘员的交流的拟人化了的智能体的图像(以下，称作智能体图像)，使所生成的智能体图像显示于第一显示器22。智能体图像例如是对乘员搭话的形态的图像。智能体图像例如可以至少包含由观看者(乘员)识别表情、面部朝向的程度的面部图像。例如，智能体图像可以是，在面部区域中呈现模仿眼睛、鼻子的部件，基于面部区域中的部件的位置而识别表情、面部朝向。智能体图像也可以被立体地感受，通过包含三维空间中的头部图像而由观看者识别智能体的面部朝向，通过包含主体(身躯、手脚)的图像而由观看者识别智能体的动作、举止、姿态等。智能体图像也可以是动画图像。

声音控制部118根据来自智能体功能部150的指示，使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部118也可以进行使用多个扬声器单元30而使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。所谓与智能体图像的显示位置对应的位置，例如是被预测为乘员感到智能体图像正在讲出智能体声音的位置，具体而言，是智能体图像的显示位置附近(例如，2～3[cm]以内)的位置。所谓声像定位，例如是通过调节向乘员的左右耳传递的声音的大小而设定乘员感到的声源的空间上的位置。

图5是用于对声像定位的位置确定的原理进行说明的图。在图5中，为了简化说明，示出了使用上述的扬声器30B、30D、30G的例子，但是，可以使用扬声器单元30所包含的任意的扬声器。声音控制部118控制连接于各扬声器的放大器(AMP)32及混声器34而使声像定位。例如，在使声像定位于图5所示的空间位置MP1的情况下，声音控制部118通过控制放大器32及混声器34，使扬声器30B进行最大强度的5％的输出，使扬声器30D进行最大强度的80％的输出，使扬声器30G进行最大强度的15％的输出。其结果是，从乘员P的位置，感到声像仿佛定位于图5所示的空间位置MP1。

在使声像定位于图5所示的空间位置MP2的情况下，声音控制部118通过控制放大器32及混声器34，使扬声器30B进行最大强度的45％的输出，使扬声器30D进行最大强度的45％的输出，使扬声器30G进行最大强度的45％的输出。其结果是，从乘员P的位置，感到声像仿佛定位于图5所示的空间位置MP2。这样，通过调整设置于车室内的多个扬声器和从各扬声器输出的声音的大小，能够使声像被定位的位置变化。更详细而言，声像定位的位置基于声源原本持有的声音特性、车室内环境的信息、头部传递函数(HRTF；Head-relatedtransfer function)而定，所以，声音控制部118通过以预先利用感官试验等得到的最佳的输出分配来控制扬声器单元30，使声像定位于规定的位置。

[智能体服务器]

图6是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下，与智能体服务器200的结构一起，对智能体功能部150等的动作进行说明。在此，省略关于从智能体装置100到网络NW的物理上的通信的说明。

智能体服务器200具备通信部210。通信部210例如是NIC(Network InterfaceCard)等网络接口。而且，智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。这些构成要素例如通过由CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部；circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序既可以预先储存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中，也可以储存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)中并通过将存储介质装配于驱动装置而进行安装。

智能体服务器200具备存储部250。存储部250通过上述的各种存储装置来实现。在存储部250中储存有个人简介252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。

在智能体装置100中，智能体功能部150将声音流、或进行了压缩、编码等处理的声音流向智能体服务器200发送。智能体功能部150在识别到能够进行本地处理(不经由智能体服务器200的处理)的声音指令的情况下，可以进行通过声音指令要求的处理。所谓能够进行本地处理的声音指令，是通过参照智能体装置100所具备的存储部(未图示)而能够回答的声音指令，在智能体功能部150-1的情况下是控制车辆设备50的声音指令(例如，将空调装置开启的指令等)。因此，智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。

当取得声音流后，声音识别部220进行声音识别并将文本化了的文字信息输出，自然语言处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254中，与文字信息对应有抽象化了的意思信息。字典DB254也可以包含同义词、近义词的一览信息。声音识别部220的处理和自然语言处理部222的处理，可以不明确分阶段地进行，而是接受自然语言处理部222的处理结果而声音识别部220修正识别结果等相互影响地进行。

自然语言处理部222例如在识别到“今日的天气是”、“天气怎么样”等意思作为识别结果的情况下，生成置换为标准文字信息“今日的天气”的指令。由此，即便请求的声音存在表述差异，也能够容易进行与要求相符的对话。自然语言处理部222例如也可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的意思，生成基于识别结果的指令。

对话管理部224基于自然语言处理部222的处理结果(指令)，一边参照个人简介252、知识库DB256、响应规则DB258一边决定针对车辆M的乘员的讲话的内容。个人简介252包含针对每个乘员保存着的乘员的个人信息、兴趣偏好、过去的对话的履历等。知识库DB256是规定了事物的关系性的信息。响应规则DB258是规定了针对指令而智能体应该进行的动作(回答、设备控制的内容等)的信息。

对话管理部224也可以通过使用从声音流得到的特征信息而与个人简介252进行对照，来确定乘员。在该情况下，个人简介252中，例如声音的特征信息与个人信息建立了对应关系。所谓声音的特征信息，例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是在乘员的初始登记时使乘员对规定的单词、句子等进行发声，通过识别发出的声音而得到的信息。

对话管理部224在指令是要求能够经由网络NW而检索的信息的指令的情况下，使网络检索部226进行检索。网络检索部226经由网络NW而访问各种网页服务器300，取得期望的信息。所谓“能够经由网络NW而检索的信息”，例如是处于车辆M的周边的餐厅的基于一般用户的评价结果、与那一天的车辆M的位置相应的天气预报。

响应文生成部228以使得由对话管理部224决定的讲话的内容向车辆M的乘员传达的方式，生成响应文，并向智能体装置100发送。响应文生成部228在确定了乘员是在个人简介中登记的乘员的情况下，也可以生成称呼乘员的名字、设为模仿乘员的说话方式的说话方式的响应文。

智能体功能部150当取得响应文后，指示声音控制部118进行声音合成并输出声音。智能体功能部150与声音输出相配合地指示显示控制部116显示智能体的图像。这样，假想地出现的智能体对车辆M的乘员进行响应的智能体功能得以实现。

[声像控制]

以下，对在智能体装置100中执行的声像控制进行说明。声音控制部118针对多个智能体功能部150分别设定使声音的声像定位的位置，对扬声器单元30所包含的多个扬声器的输出分别进行控制以使声像定位于所设定的位置。以下，例示了由声音控制部118设定声像定位的位置的规则。以下所示的各规则，包含非排他的和排他的，但是，关于非排他的，可以组合来使用。

(规则1)

声音控制部118例如使基于多个智能体功能部150中的使用频率高的智能体功能部150(换言之，使用频率高的智能体)产生的声音的声像定位于车辆M的座位中的最近的座位是副驾驶员座AS的位置(以下，副驾驶员座附近位置)。更具体而言，声音控制部118使基于多个智能体功能部150中的使用频率“最高的”智能体功能部150得到的声音的声像定位于副驾驶员座附近位置。声音控制部118也可以取代此，使基于多个智能体功能部150中的使用频率“从高的一方起上位n个为止”的智能体功能部150产生的声音的声像定位于车辆M的座位中的最近的座位是副驾驶员座AS的位置(n是自然数)。副驾驶员座附近位置例如是第一显示器22中的与副驾驶员座AS对置的位置。图7是示出声像定位位置的第一例的图。在此，设为智能体2的使用频率最高，智能体1及智能体3与智能体2相比使用频率低。MP(2)是基于智能体2产生的声音的声像定位的位置(副驾驶员座附近位置)，MP(1，3)是基于智能体1及智能体3产生的声音的声像定位的位置。此时，在第一显示器22，可以显示作为配合智能体2的动作状态而动作的动画图像的智能体图像EG(2)。智能体图像EG(2)在讲话者是驾驶员的情况下，由被感到仿佛朝向驾驶员座DS那一方的图画形成。通过这样设定声像定位的位置，从被认为使用智能体的机会多的就座于驾驶员座DS的乘员(驾驶员)P来说，能够以向处于副驾驶员座AS附近(或者在不显示智能体图像EG(2)的情况下，被假想地感到仿佛就座于副驾驶员座AS)的智能体询问什么那样的使用感来利用智能体功能。其结果是，智能体装置100能够以自然的使用感提供智能体功能。

智能体的使用频率例如由管理部110以启动次数等为基准计数，保存于存储器中。

(规则2)

声音控制部118也可以使基于被赋予了控制车辆设备50的权限的智能体功能部150-1产生的声音的声像定位于车辆的座位中的最近的座位是驾驶员座DS的位置(以下，驾驶员座附近位置)。驾驶员座附近位置例如是HUD28的显示面所存在的位置的附近。图8是示出声像定位位置的第二例的图。MP(1)是基于智能体1产生的声音的声像定位的位置(驾驶员座附近位置)，MP(2，3)是基于智能体2及智能体3产生的声音的声像定位的位置。此时，例如在HUD28可以显示作为配合智能体1的动作状态而动作的动画图像的智能体图像EG(1)。在通过开关等操作车辆设备50的情况下，开关通常设置于驾驶员座的周边，所以，通过这样设定声像定位的位置，对于就座于驾驶员座DS的乘员(驾驶员)P来说，能够以与不使用智能体功能而操作车辆设备50相同的使用感来利用智能体功能。其结果是，智能体装置100能够以自然的使用感提供智能体功能。

(规则3)

声音控制部118也可以使基于多个智能体功能部150中的使用频率低的智能体功能部150(换言之，使用频率低的智能体)产生的声音的声像定位于车辆M的座位中的最近的座位是后部座位(以下，后部座位附近位置)的位置。更具体而言，声音控制部118使基于多个智能体功能部150中的使用频率“最低的”智能体功能部150产生的声音的声像定位于后部座位附近位置。声音控制部118也可以取代此，使基于多个智能体功能部150中的使用频率“从低的一方起下位k个为止”的智能体功能部150产生的声音的声像定位于后部座位附近位置(k是自然数)。后部座位附近位置例如是连结扬声器30F和扬声器30E的直线上(或者具有宽度的空间区域)的任意的位置。图9是示出声像定位位置的第三例的图。需要说明的是，本图示出了将规则1、2、3组合了的例子。MP(1)是基于智能体1产生的声音的声像定位的位置，MP(2)是基于智能体2产生的声音的声像定位的位置，MP(3)是基于智能体3产生的声音的声像定位的位置(后部座位附近位置)。在此，设为智能体2的使用频率最高，智能体3的使用频率最低。此时，例如可以是，在智能体1处于启动的情况下，在HUD28显示智能体图像EG(1)，在智能体2处于启动的情况下，在第一显示器22显示智能体图像EG(2)。通过这样设定声像定位的位置，对于就座于驾驶员座DS的乘员(驾驶员)P来说，能够使得只有偶尔使用的智能体的声音听起来从远离自身的位置传来。其结果是，智能体装置100能够以自然的使用感提供智能体功能。

(规则4)

声音控制部118例如也可以使基于被赋予了控制车辆设备50的权限的智能体功能部150-1产生的声音的声像定位于副驾驶员座附近位置。图10是示出声像定位位置的第四例的图。MP(1)是基于智能体1产生的声音的声像定位的位置(副驾驶员座附近位置)，MP(2)是基于智能体2产生的声音的声像定位的位置，MP(3)是基于智能体3产生的声音的声像定位的位置。在该情况下，例如，也可以根据与智能体1的对话的阶段的转移，使MP(1)移动到驾驶员座附近位置。例如，声音控制部118也可以在智能体1倾听乘员P的迫切希望的阶段，将MP(1)设定于副驾驶员座附近位置，在基于来自智能体服务器200-1的回复而智能体1进行详细说明的阶段，将MP(1)设定于驾驶员座附近位置。可以一并地，使智能体图像EG(1)从第一显示器22中的靠近副驾驶员座附近位置的位置向HUD28移动。通过这样将能够控制车辆设备50的使用性能好的智能体1设定于能够自然地进行对话的副驾驶员座附近位置，就座于驾驶员座的乘员(驾驶员)P能够自然地开始对话。在倾听详细说明的阶段，智能体1的声像、图像向靠近自身的位置移动而来，所以，能够提供正在与人会话那样的使用感。它们的结果是，智能体装置100能够以自然的使用感提供智能体功能。

(规则5)

声音控制部118例如也可以基于由乘员识别装置80识别到的乘员的就座位置，针对多个智能体功能部150分别设定使声音的声像定位的位置。图11是示出声像定位位置的第五例的图。在本图中，在驾驶员座DS就座有乘员P1，在副驾驶员座AS就座有乘员P2，在左侧后部座位就座有乘员P3。MP(1)是基于智能体1产生的声音的声像定位的位置(驾驶员座附近位置)，MP(2)是基于智能体2产生的声音的声像定位的位置(副驾驶员座附近位置)，MP(3)是基于智能体3产生的声音的声像定位的位置(后部座位附近位置中的偏向左侧后部座位的位置)。通过这样设定声像定位的位置，能够提供一名智能体针对各乘员进行响应那样的环境。

图12是示出声像定位位置的第六例的图。在本图中，在驾驶员座DS、副驾驶员座AS、右侧后部座位BS1、左侧后部座位BS2的全部就座有乘员。在该情况下，声音控制部118例如将使基于多个智能体功能部150的各智能体功能部产生的声音的声像定位的位置设定于车室的顶棚(图中，MP)。所谓将使声像定位的位置设定于车室的顶棚，不限于正好使声像定位于顶棚的位置，只要是由乘员感到声源处于顶棚的范围的动作即可，例如也可以意味着使声像定位于比座椅的上端部靠上。在该情况下，声音控制部118既可以仅使扬声器30H输出声音，也可以使用其他扬声器30。通过这样做，能够提供智能体同时对乘员的全部做出响应那样的环境。它们的结果是，智能体装置100能够以自然的使用感提供智能体功能。

如以上那样，对声音控制部118设定声像定位的位置进行了说明，但是，声音控制部118也可以按照乘员的操作进行每个智能体的声像定位的位置的初始设定。在该情况下，当乘员使用第一显示器22等进行了输入操作时，声音控制部118根据输入操作的内容进行初始设定。之后，也可以根据智能体的使用频率而依次变更声像定位的位置。

根据上述说明的第一实施方式的智能体装置100，能够以更加自然的使用感提供智能体功能。

根据智能体装置100，也可以进一步使得智能体的判别变得容易。例如，若设想多个智能体同时处于启动的情况，则在声音的腔调相似的情况下，可设想难以区分哪个智能体进行了讲话。乘员也有可能忘记使哪个智能体启动了，在该情况下，也可设想乘员为自此进行的要求针对启动中的智能体是否有效感到烦恼的情况。与此相对，在实施方式的智能体装置100中，某种程度上固定地设定智能体的声音的声像定位的位置，所以，基于听到声音的方向，乘员能够判别启动中的智能体。

<第二实施方式>

以下，对第二实施方式进行说明。图13是示出第二实施方式的智能体装置100A的结构和搭载于车辆M的设备的图。第二实施方式中的乘员识别装置80是面部朝向识别部的一例。面部朝向的识别例如基于在图像中的面部区域中提取出的鼻梁等特征性的部位的配置来进行。第二实施方式的智能体装置100A，与第一实施方式相比，还具备启动智能体选择部120。

关于声音控制部118设定使基于智能体功能部150产生的声音的声像定位的位置的机制，与第一实施方式同样。

在第一实施方式中，设为每个智能体功能部150的唤醒词已定，与讲出的唤醒词相应的智能体功能部150启动。在第二实施方式中，将能够进行不特别指定智能体的自由启动作为前提。为了实现自由启动，需要判别是乘员彼此的讲话，还是向智能体的讲话，但是，在本发明中，关于该判别的方法，没有特别的限制，所以，省略详细的说明。

启动智能体选择部120基于乘员发出的声音的腔调、接在其后的回应的有无等，识别到乘员进行了虽然不是唤醒词但是“不特别指定启动的智能体而要求智能体的响应的讲话”(以下，自由启动讲话)。此时，启动智能体选择部120取得由乘员识别装置80识别到的、进行了讲话的乘员的面部朝向。然后，启动智能体选择部120选择声像定位的位置被设定于进行了讲话的乘员的面部朝向的前方的位置的智能体并使其启动。

图14是用于对启动智能体选择部120的动作进行说明的图。在图14的上图中，智能体1的声音的声像被设定于驾驶员附近位置，智能体2的声音的声像被设定于左侧后部座位BS2的附近，智能体3的声音的声像被设定于右侧后部座位BS1的附近。在该状态下，在乘员(驾驶员)P使面部朝左斜后方进行了自由启动讲话的情况下，如图14的下图所示，启动智能体选择部120使被设定成声音的声像定位于从乘员P观察时的左斜后方的智能体2启动。图中，D_P表示由乘员识别装置80识别到的乘员P的面部朝向。

通过该控制，第二实施方式的智能体装置100A中，即便是乘员忘记了智能体的启动方法的情况下，在残留有“过去声音的声像曾定位于该方向的智能体”程度的存储的情况下，能够使相同的智能体启动。其结果是，能够提高便利性。

根据以上说明的第二实施方式的智能体装置100A，除了起到与第一实施方式同样的效果之外，还能够进一步提高便利性。

以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (10)

1.一种智能体装置，其中，

所述智能体装置具备：

多个智能体功能部，它们根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；以及

声音控制部，其针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，且对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置，以便所述乘员基于听到声音的方向来判别所述多个智能体功能部中的哪个处于启动中，

所述声音控制部根据所述多个智能体功能部各自的使用频率而依次变更声像定位的位置。

2.根据权利要求1所述的智能体装置，其中，

所述声音控制部使基于所述多个智能体功能部中的使用频率高的智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是副驾驶员座的位置。

3.根据权利要求1所述的智能体装置，其中，

所述多个智能体功能部包含被赋予了控制车辆设备的权限的车辆智能体功能部，

所述声音控制部使基于所述车辆智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是副驾驶员座的位置。

4.根据权利要求1所述的智能体装置，其中，

所述多个智能体功能部包含被赋予了控制车辆设备的权限的车辆智能体功能部，

所述声音控制部使基于所述车辆智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是驾驶员座的位置。

5.根据权利要求1所述的智能体装置，其中，

所述声音控制部使基于所述多个智能体功能部中的使用频率低的智能体功能部产生的声音的声像定位于所述车辆的座位中的最近的座位是后部座位的位置。

6.根据权利要求1所述的智能体装置，其中，

所述声音控制部基于对乘员的就座位置进行识别的就座位置识别部的识别结果，针对所述多个智能体功能部分别设定使所述声音的声像定位的位置。

7.根据权利要求6所述的智能体装置，其中，

所述声音控制部在所述就座位置识别部识别到乘员正就座于各座位的情况下，将使基于所述多个智能体功能部中的各智能体功能部产生的所述声音的声像定位的位置设定于车室的顶棚。

8.根据权利要求1所述的智能体装置，其中，

所述智能体装置还具备启动智能体选择部，该启动智能体选择部至少参照对驾驶员的面部朝向进行识别的面部朝向识别部的识别结果，使声像被定位于所述驾驶员使面部正在朝向的位置的智能体功能部启动。

9.一种智能体装置的控制方法，其中，

所述智能体装置的控制方法使计算机进行如下处理：

使多个智能体功能部中的任意智能体功能部启动；

作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；

针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置，以便所述乘员基于听到声音的方向来判别所述多个智能体功能部中的哪个处于启动中；以及

根据所述多个智能体功能部各自的使用频率而依次变更声像定位的位置。

10.一种存储介质，其中，

所述存储介质存储有程序，所述程序使计算机执行如下处理：

使多个智能体功能部中的任意智能体功能部启动；

作为启动了的所述智能体功能部的功能，根据车辆的乘员的讲话，提供包含通过声音进行的响应的服务；

针对所述多个智能体功能部分别设定使所述声音的声像定位的位置，对多个扬声器的输出分别进行控制以使声像定位于所述设定的位置，以便所述乘员基于听到声音的方向来判别所述多个智能体功能部中的哪个处于启动中；以及

根据所述多个智能体功能部各自的使用频率而依次变更声像定位的位置。