CN116740683A - 信息处理装置、车辆***、信息处理方法以及存储介质 - Google Patents

Abstract

本公开涉及信息处理装置、车辆***、信息处理方法以及存储介质。信息处理装置基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪，并确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

Description

信息处理装置、车辆***、信息处理方法以及存储介质

技术领域

本公开涉及运动图像共享服务。

背景技术

提出了一种感测车辆的驾驶员的情绪并进行有效利用的技术。与之关联，在日本特开2018－106530中公开了一种推定驾驶员的情绪并生成驾驶员不会抱有不快感这样的路线的***。

发明内容

本公开的目的在于提高车辆的用户的便利性。

本公开的第一方案是一种信息处理装置，其具有控制部，所述控制部执行：基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

此外，本公开的第二方案是一种车辆***，其包括：车载装置，搭载于车辆；以及服务器装置，管辖多个所述车辆，其中，所述车载装置具有第一控制部，所述第一控制部执行：基于通过搭载于所述车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及将情绪数据发送至所述服务器装置，其中，所述情绪数据是将所述推定出的情绪与位置信息建立了关联的数据，所述服务器装置具有第二控制部，所述第二控制部基于从多个所述车载装置接收到的所述情绪数据来生成按每个地点或道路区间对多个驾驶员各自抱有的情绪进行累计而得到的数据。

此外，本公开的第三方案是一种信息处理方法，其包括以下步骤：基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

此外，本公开的另外的方案是储存用于使计算机执行上述的信息处理方法的程序的存储介质和非暂时性地存储有该程序的计算机可读存储介质。

根据本公开，能提高车辆的用户的便利性。

附图说明

以下，参照附图，对本发明的示例性实施例的特征、优点以及技术和工业意义进行说明，其中，相同的附图标记表示相同的元件，其中：

图1是对第一实施方式的车辆***的概要进行说明的图。

图2是第一实施方式的车载装置100的***构成图。

图3是车载装置100所生成的情绪数据的例子。

图4是对在车载装置100的模块间收发的数据进行说明的图。

图5是对在车载装置100的模块间收发的数据进行说明的图。

图6是车载装置100所生成的情绪映射图的例子。

图7是车载装置100所执行的第一处理的流程图。

图8是车载装置100所执行的第二处理的流程图。

图9是对第二实施方式的车辆***的概要进行说明的图。

图10是第二实施方式的车载装置100的***构成图。

图11是第二实施方式的服务器装置200的***构成图。

图12是在第二实施方式中收发的数据的时序图。

图13是在第二实施方式中生成的情绪映射图的例子。

图14是在第三实施方式中生成的情绪数据的例子。

图15是在第四实施方式中生成的情绪数据的例子。

图16是在第四实施方式中生成的情绪映射图的例子。

具体实施方式

已知一种基于拍摄车辆的驾驶员的面部而获得的图像来进行驾驶的支持的***。例如，能基于驾驶员的面部图像来检测该驾驶员正在打瞌睡，并催促休息。此外，能检测驾驶员的情绪，并进行适当的信息提供。

本公开的信息处理装置提供一种用于基于驾驶员的情绪来引导适当的路线的技术。

本公开的一个方案的信息处理装置的特征在于，具有控制部，所述控制部执行：基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

摄像机例如是朝向车内设置的车载摄像机，但只要能捕捉驾驶员的面部即可，不限于此。例如，也可以使用能拍摄360度的方向的、全方位型的行车记录仪所具有的摄像机。

控制部基于车载摄像机所获取到的图像来推定驾驶员的情绪，并确定检测到规定的情绪的第一地点。规定的情绪可以是预先确定的多种情绪中的任一种或多种。例如，“愤怒”、“焦躁”、“困惑”、“喜悦”这样的多种情绪可以是对象。

推定结果可以与第一地点建立关联地被存储。通过积累这样的数据(称为情绪数据)，能判定在特定的地点(或道路区间)存在产生特定的情绪的倾向。需要说明的是，也可以基于情绪数据来将存在驾驶员会抱有特定的情绪的倾向的地点(或道路区间)映射到道路地图。

控制部可以将情绪数据发送至进行与情绪相关的汇总的外部装置。根据该构成，能通过外部装置来累计从多个车辆发送来的情绪数据。由此，例如，能确定许多驾驶员无法舒适地通过的道路区间，并生成示教该情况的映射图。

本公开的一个方案的车辆***包括：车载装置，搭载于车辆；以及服务器装置，管辖多个所述车辆，其中，所述车载装置具有第一控制部，所述第一控制部执行：基于通过搭载于所述车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及将情绪数据发送至所述服务器装置，其中，所述情绪数据是将所述推定出的情绪与位置信息建立了关联的数据，所述服务器装置具有第二控制部，所述第二控制部基于从多个所述车载装置接收到的所述情绪数据来生成按每个地点或道路区间对多个驾驶员各自抱有的情绪进行累计而得到的数据。

如此，服务器装置可以进行与情绪相关的汇总。

以下，基于附图对本公开的具体的实施方式进行说明。只要没有特别记载，各实施方式所记载的硬件构成、模块构成、功能构成等就并不旨在将公开的技术范围仅限定于它们。

(第一实施方式)

参照图1，对第一实施方式的车辆***的概要进行说明。

本实施方式的车辆***被配置为包括搭载于车辆的车载装置100。车载装置100具有能拍摄车内的摄像机，被配置为能基于该摄像机所获取到的图像来推定驾驶员的情绪。

车载装置100在车辆的行驶中周期性地进行驾驶员的情绪推定，在检测到特定的情绪的情况下，将其结果与位置信息建立关联地进行存储。此外，车载装置100基于所存储的数据来将推定出的情绪映射到道路地图。

对车载装置100详细地进行说明。

车载装置100是搭载于车辆的计算机。车载装置100可以是向车辆的乘坐者提供信息的装置(例如汽车导航装置)。车载装置100也被称为汽车导航装置、信息娱乐装置、音响主机(head unit)。能通过车载装置100来对车辆的乘坐者进行导航、娱乐的提供。

此外，车载装置100在车辆10的行驶中积累数据，并基于所积累的数据来对车辆的用户(典型的是驾驶员)进行信息提供。在本实施方式中，车载装置100检测车辆10的驾驶员的情绪，生成按每个地点或道路区间对检测到的情绪进行映射而成的道路地图，并输出该道路地图。

车载装置100被配置为具有控制部101、存储部102、通信部103、输入输出部104、摄像机105以及位置信息获取部106。

车载装置100可以由通用的计算机构成。即，车载装置100可以配置为具有CPU、GPU(Graphics Processing Unit：图形处理单元)等处理器、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等主存储装置、EPROM(ErasableProgrammable Read Only Memory：可擦可编程只读存储器)、硬盘驱动器、可移动介质等辅助存储装置的计算机。辅助存储装置中储存有操作***(OS：Operating System)、各种程序、各种表等，通过执行储存于其中的程序，能实现如后述那样的符合规定的目的的各功能。不过，一部分或全部的功能也可以通过ASIC(Application Specific IntegratedCircuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)这样的硬件电路来实现。

控制部101是负责车载装置100所进行的控制的运算装置。控制部101可以通过CPU(Central Processing Unit：中央处理器)等运算处理装置来实现。

控制部101被配置为具有情绪推定部1011、数据生成部1012以及映射图生成部1013这三个功能模块。各功能模块可以通过由CPU执行所存储的程序来实现。

情绪推定部1011在车辆10的行驶中使用后述的摄像机105来获取驾驶员的面部图像，并基于该面部图像来推定驾驶员的情绪。情绪的推定可以使用已知的技术来进行。例如，情绪推定部1011将面部图像转换为特征量，并将所获得的特征量输入至用于进行情绪推定的机器学习模型。机器学习模型例如将所输入的特征量分类为多个类别中的任一个，并将其结果与似然度(likelihood)一起输出。

由此，能获得进行类别分类而得到的情绪和对应的似然度。在存在获得了规定值以上的似然度的类别的情况下，情绪推定部1011能判定为驾驶员抱有与该类别对应的情绪。判定结果被发送给数据生成部1012。

数据生成部1012基于情绪推定部1011所进行的推定的结果来生成将推定出的情绪与地点建立了关联的数据(情绪数据)。

图3是数据生成部1012所生成的情绪数据的一个例子。在本实施方式中，情绪数据包括日期和时间信息、行程的标识符(行程ID)、位置信息、情绪的标识符(情绪ID)。

日期和时间信息是进行了情绪的推定的日期和时间。行程(trip)是指从车辆的***电源被接通起至***电源被切断为止的行驶的单位。每当车辆的***电源被接通时，数据生成部1012赋予与新的行程对应的标识符(行程ID)。

位置信息是后述的位置信息获取部106所获取到的车辆10的位置信息(纬度，经度)。

情绪的标识符是事先定义的标识符。例如，在情绪推定部1011能辨别六种情绪的情况下，六种标识符中的任一种储存于情绪ID。

每次进行情绪的推定时，数据生成部1012生成情绪数据，并使所生成的情绪数据存储于后述的存储部102。

映射图生成部1013基于所存储的情绪数据来将产生了特定的情绪的地点或道路区间映射到道路地图，并输出其结果。以后，将映射有情绪的道路地图称为情绪映射图。

用于映射的情绪数据可以根据任意的基准来提取。例如，可以提取在过去的规定期间内产生的情绪数据来用于映射。规定期间既可以由用户指定，也可以由***决定。

车辆10的用户能通过参照情绪映射图来掌握能舒适地行驶的地点、道路区间或驾驶有压力的地点、道路区间。

存储部102是存储信息的单元，由RAM、磁盘、闪存等存储介质构成。

存储部102被配置为包括主存储装置和辅助存储装置。主存储装置是扩展由控制部101执行的程序、该控制程序所使用的数据的存储器。辅助存储装置是存储在控制部101中执行的程序、该控制程序所使用的数据的装置。辅助存储装置中也可以存储将由控制部101执行的程序打包为应用而成的应用程序。此外，也可以存储用于执行这些应用的操作***。存储于辅助存储装置的程序被加载到主存储装置，并由控制部101执行，由此进行以后说明的处理。

存储部102中存储有推定模型102A、情绪数据102B以及道路数据102C。

推定模型102A是用于进行情绪的推定的机器学***静、瞌睡、无聊、忧郁、悲观、紧张、不满等。推定模型102A是基于学习用的图像数据而预先构建出的模型。

需要说明的是，推定模型102A可以是能与作为分类结果的情绪一起输出似然度的模型。

情绪数据102B是情绪推定部1011所生成的多个情绪数据的集合。

道路数据102C是作为用于生成情绪映射图的基础的道路地图数据。道路数据102C例如是定义了道路路段的地理位置和连接关系的数据。

通信部103包括用于进行无线通信的天线和通信模块。天线是进行无线信号的输入输出的天线元件。在本实施方式中，天线是适合移动通信(例如3G、LTE、5G等移动通信)的天线。需要说明的是，天线也可以被配置为包括多个物理天线。例如，在进行使用了微波、毫米波等高频段的电波的移动通信的情况下，为了谋求通信的稳定化，可以将多个天线分散地配置。通信模块是用于进行移动通信的模块。

输入输出部104是受理用户所进行的输入操作并对用户呈现信息的单元。具体而言，由触摸面板及其控制单元、液晶显示器及其控制单元构成。在本实施方式中，触摸面板和液晶显示器由一个触摸面板显示器构成。输入输出部104可以包括进行语音的输出的组件(放大器(amplifier)、扬声器)、进行语音的输入的组件(麦克风)等。

摄像机105是包括用于获取图像的图像传感器的光学组件。在本实施方式中，摄像机105设置于能获取包含车辆10的驾驶员的面部的图像(面部图像)的位置。

位置信息获取部106包括用于对位置信息进行定位的GPS(Global PositioningSystem：全球定位***)天线和定位模块。GPS天线是接收从定位卫星(也称为GNSS(GlobalNavigation Satellite System：全球导航卫星***)卫星)发送来的定位信号的天线。定位模块是基于通过GPS天线接收到的信号来计算位置信息的模块。

需要说明的是，图2所示的构成是一个例子，图示出的功能的全部或一部分也可以使用专门设计的电路来执行。此外，也可以通过图示以外的主存储装置和辅助存储装置的组合来进行程序的存储或执行。

接着，对车载装置100所执行的处理的详情进行说明。

图4和图5是对车载装置100所具有的构成要素(模块)间的数据流进行说明的图。

图4与基于面部图像来生成情绪数据的处理对应，图5与基于情绪数据来生成情绪映射图的处理对应。

首先，对基于面部图像来生成情绪数据的处理(图4)进行说明。

情绪推定部1011在车辆10的行驶中从摄像机105获取面部图像。面部图像中包含车辆10的驾驶员的面部。情绪推定部1011将获取到的面部图像转换为特征量，并输入至推定模型102A。

如上所述，推定模型102A是基于特征量来进行类别分类的机器学***静”、“忧郁”、“紧张”、“不满”等)及其似然度。情绪推定部1011例如将似然度最高的情绪推定为驾驶员抱有的情绪。分类结果被发送给数据生成部1012。

数据生成部1012基于分类结果和车辆10的位置信息来生成如图3所示的情绪数据。

图4所示的处理在车辆10的行驶中周期性地被执行。其结果是，情绪数据的多个记录积累于存储部102。

接着，参照图5对基于情绪数据来生成情绪映射图的处理进行说明。

映射图生成部1013从存储部102提取用于生成情绪映射图的情绪数据(多个记录)。作为提取对象的情绪数据既可以由用户指定，也可以由***决定。例如，可以将在过去的规定期间产生的情绪数据作为提取对象。

映射图生成部1013基于获取到的情绪数据和存储于存储部102的道路数据102C来生成将情绪映射到道路上的地点(或道路区间)而成的映射图(情绪映射图)。图6是通过映射图生成部1013生成的情绪映射图的例子。如图所示，映射图生成部1013将检测到任意的情绪的地点映射在道路地图上。作为映射的对象的情绪例如既可以是“不满”、“忧郁”等负面的情绪，也可以是“幸福”、“满足”等正面的情绪。由此，能将推荐通过的地点(或道路区间)和不推荐通过的地点(或道路区间)示出给用户。在图6的例子中，将表示情绪的图标映射在道路地图上。

映射图生成部1013例如既可以在有了来自用户的指示的情况下执行映射，也可以在满足了规定的条件的情况下执行映射。

接着，参照图7和图8对车载装置100所执行的处理的流程图进行说明。

图7是车载装置100生成情绪数据的处理的流程图。该处理在车辆10的行驶中周期性地被执行。

首先，在步骤S11中，情绪推定部1011经由摄像机105来获取驾驶员的图像(面部图像)。需要说明的是，在摄像机105兼作行车记录仪的摄像机的情况下，情绪推定部1011也可以对行车记录仪请求图像的获取。

接着，在步骤S12中，情绪推定部1011基于获取到的面部图像来推定驾驶员的情绪。情绪的推定可以采用公知的方法。例如，情绪推定部1011将获取到的面部图像转换为特征量，并输出至推定模型102A。此外，获取从推定模型102A输出的分类结果和似然度，并将似然度最高的情绪决定为驾驶员的情绪。

接着，在步骤S13中，判定通过情绪推定部1011决定出的情绪是否符合预先设定的多种情绪(例如，“不满”、“忧郁”、“幸福”、“满足”等)中的任一种。判定可以基于推定模型102A所输出的似然度来进行。在本步骤中作出了肯定判定的情况下，处理移至步骤S14。在本步骤中作出了否定判定的情况下，处理结束。例如，在预先设定的类别中不存在具有规定值以上的似然度的类别的情况下，在本步骤中作出否定判定。

在步骤S14中，数据生成部1012基于情绪推定部1011所进行的推定的结果来生成情绪数据。情绪数据是如图3所示将推定出的情绪的标识符与位置信息建立了对应的数据。所生成的情绪数据存储于存储部102。

通过反复地执行图7所示的处理来积累每个行程的情绪数据。需要说明的是，数据生成部1012也可以删除满足了规定的条件的情绪数据(例如，从生成起经过了规定的天数的情绪数据)。

接着，对基于所积累的情绪数据来生成情绪映射图的处理进行说明。图8是映射图生成部1013生成情绪映射图的处理的流程图。图示的处理可以在产生了规定的触发的情况下执行。规定的触发例如既可以在车辆10结束了行程的定时产生，也可以基于用户的指示而产生。

首先，在步骤S21中，从存储部102提取用于情绪映射图的生成的情绪数据。作为对象的情绪数据既可以基于用户的指定来提取，也可以按照规定的规则来提取。例如，在行程结束的定时开始处理的情况下，可以将在最近的一个行程中产生的情绪数据作为对象。此外，在存在“使用与过去一个月的行程对应的情绪数据”这一规则的情况下，可以获取在过去一个月内产生的情绪数据。

在步骤S22中，获取作为生成情绪映射图时的前提的条件(以下为生成条件)，并根据该生成条件来过滤情绪数据。例如，像“工作日的上午”、“工作日的傍晚”、“休息日”这样，道路状况可能按星期几、时间段而变化。因此，也可以根据星期几、时间段来过滤用于情绪映射图的生成的情绪数据。生成条件例如既可以使用户指定，也可以由***自动地决定。例如，在当前日期和时间是工作日的傍晚的情况下，仅使用在工作日的傍晚生成的情绪数据来生成情绪映射图。由此，例如，能将“在工作日的傍晚不应该通过的地点”可视化。

在步骤S23中，基于道路数据102C来将获取到的情绪数据映射到道路地图，生成情绪映射图。所生成的情绪映射图经由输入输出部104输出。

如以上说明的那样，第一实施方式的车载装置100能推定驾驶员的情绪，并将其结果映射到道路地图。由此，能将产生了负面的情绪的地点、道路区间或产生了正面的情绪的地点、道路区间可视化。此外，车辆的用户能通过参照情绪映射图来识别推荐通过的地点(或道路区间)和不推荐通过的地点(道路区间)。

需要说明的是，在本实施方式中，列举了在车辆10的行驶结束之后生成情绪映射图的例子，但也可以实时地(即在车辆10的行驶中)生成情绪映射图。在该情况下，也可以设为：实时地将感测到规定的情绪的地点通知给驾驶员，并在(例如由导航装置输出的)道路地图实时地进行映射。

(第二实施方式)

在第一实施方式中，车载装置100生成情绪映射图。与之相对，第二实施方式是以下的实施方式，即，搭载于多个车辆10的车载装置100将情绪数据发送至服务器装置200，服务器装置200基于从多个车辆10发送来的情绪数据来生成情绪映射图。

图9是对第二实施方式中的***构成进行说明的概要图。

图10是第二实施方式中的车载装置100的***构成图。如图所示，在第二实施方式中，车载装置100不具有映射图生成部1013，此外，未存储道路数据102C。第二实施方式的车载装置100具有将所生成的情绪数据发送给服务器装置200的功能。其他的构成要素与第一实施方式相同，因此省略详细的说明。

图11是服务器装置200的***构成图。服务器装置200是从多个车载装置100接收和积累情绪数据，基于所积累的数据来生成情绪映射图，并分发给多个车载装置100的装置。

服务器装置200可以由通用的计算机构成。即，服务器装置200可以配置为具有CPU、GPU等处理器、RAM、ROM等主存储装置、EPROM、硬盘驱动器、可移动介质等辅助存储装置的计算机。辅助存储装置中储存有操作***(OS)、各种程序、各种表等，将储存于其中的程序加载至主存储装置的作业区域并执行，通过程序的执行来控制各构成部等，由此能实现如后述那样的符合规定的目的的各功能。不过，一部分或全部的功能也可以通过ASIC、FPGA这样的硬件电路来实现。

服务器装置200被配置为具有控制部201、存储部202以及通信部203。

控制部201是负责服务器装置200所进行的控制的运算装置。控制部201可以通过CPU等运算处理装置来实现。

控制部201被配置为具有数据收集部2011和映射图生成部2012这两个功能模块。各功能模块可以通过由CPU执行所存储的程序来实现。

数据收集部2011从多个车载装置100接收情绪数据，并使该情绪数据与车辆的标识符建立关联地存储于存储部202。

映射图生成部2012基于存储于存储部202的多个情绪数据来生成情绪映射图。映射图生成部2012可以基于从车载装置100发送来的请求来生成情绪映射图。例如，映射图生成部2012按照请求中所包括的生成条件来生成情绪映射图，并将所生成的情绪映射图发送至发送了该请求的车载装置100。

存储部202被配置为包括主存储装置和辅助存储装置。主存储装置是扩展由控制部201执行的程序、该控制程序所使用的数据的存储器。辅助存储装置是存储在控制部201中执行的程序、该控制程序所使用的数据的装置。

存储部202中存储有情绪数据202A和道路数据202B。

情绪数据202A是从多个车载装置100接收到的情绪数据的集合。生成了该情绪数据的车辆的标识符与该情绪数据的各个建立了关联。

道路数据202B是作为用于生成情绪映射图的基础的道路地图数据。道路数据202B是与道路数据102C相同的数据。

通信部203是用于将服务器装置200连接于网络的通信接口。通信部203例如被配置为包括网络接口板、用于无线通信的无线通信接口。

接着，在第二实施方式中，对在车载装置100与服务器装置200之间交换的数据流进行说明。图12是在车载装置100与服务器装置200之间交换的数据的时序图。

车载装置100周期性地将在车辆10的行驶中生成的情绪数据发送至服务器装置200。车载装置100生成情绪数据的处理与参照图7进行了说明的处理相同。

服务器装置200(数据收集部2011)使接收到的情绪数据与车辆的标识符建立关联地存储于存储部202(步骤S31)。

在步骤S32中，车载装置100对服务器装置200请求情绪映射图的生成。具体而言，与步骤S22同样地，获取作为生成情绪映射图时的前提的条件(生成条件)，并将包括生成条件的请求(生成请求)发送至服务器装置200。生成条件可以使用户经由输入输出部104输入。

在步骤S33中，服务器装置200(映射图生成部2012)基于接收到的请求来生成情绪映射图。具体而言，从情绪数据202A(即，从多个车辆发送来的情绪数据)中提取符合生成条件的情绪数据，对记录于道路数据202B的道路地图进行映射，生成图像。

需要说明的是，在同一地点或道路区间产生了多个情绪数据的情况下，可以进行累计，并映射其结果。例如，可以生成与同一地点建立了关联的多种情绪的明细，并映射比例最高的情绪。由此，能明示存在多个驾驶员会抱有特定的情绪的倾向的地点或道路区间。此外，可以像“正面”“中性”“负面”这样按大致的框架对多种情绪进行分类，并映射该分类的结果。由此，能明示推荐行驶的(或不推荐行驶的)地点或道路区间。

此外，也可以生成表示情绪的明细的列表，并附加于情绪映射图。该列表例如通过用户的操作(选择地点、区间的操作)来显示。图13是服务器装置200所生成的情绪映射图的例子。所生成的情绪映射图被发送至车载装置100，并经由输入输出部104输出。

如以上说明的那样，在第二实施方式中，服务器装置200从多个车载装置100收集情绪数据，并基于收集到的情绪数据来进行情绪映射图的生成。根据该方式，能基于探测数据来将推荐通过的地点(或道路区间)和不推荐通过的地点(道路区间)更适当地可视化。

需要说明的是，在本实施方式中，列举了车载装置100随时上传情绪数据的例子，但情绪数据也可以在规定的定时(例如，在车辆10的行程结束的定时)上传。

此外，在车辆10中检测到规定的情绪的情况下，可以将该情况通知给驾驶员，并询问驾驶员是否发送情绪数据。例如，可以设为：在检测到驾驶员呈现出不满的面部的情况下，进行“是否为了共享在道路上发生的问题而发送表示消极的情绪的数据？”这样的询问。

此外，在本实施方式中，服务器装置200进行情绪映射图的生成，但情绪映射图也可以由车载装置100生成。在该情况下，服务器装置200可以按每个地点或区间对情绪进行累计，并将其结果(累计数据)发送至车载装置100。车载装置100可以基于从服务器装置200发送来的累计数据来生成情绪映射图。

此外，在本实施方式中，列举了服务器装置200基于来自车载装置100的请求来生成情绪映射图的例子，但也可以设为服务器装置200周期性地生成情绪映射图并存储，在从车载装置100来了请求的情况下，将情绪映射图发送至该车载装置100。

(第三实施方式)

在第一实施方式中，根据星期几、日期和时间来过滤在生成情绪映射图时使用的情绪数据，但也可以使用除此以外的要素来进行过滤。

在第三实施方式中，数据生成部1012对情绪数据附加与车辆10的行驶环境相关的数据，映射图生成部1013使用该数据来进行过滤。图14是在第三实施方式中生成的情绪数据的例子。如图所示，在本例子中，环境数据被附加于情绪数据。环境数据是指表示车辆10的行驶环境的数据。行驶环境例如可以设为天气、交通量等影响在车辆10行驶时施加给驾驶员的压力的要素。行驶环境既可以通过配备于车辆10的传感器来获取，也可以从外部装置获取。例如，在有了强烈地受到强风的影响的道路的情况下，“在刮强风的环境下，驾驶员感到了不安”这样的信息记录于情绪数据。

在第三实施方式中，在步骤S22中，使用行驶环境来过滤情绪数据。行驶环境既可以由用户指定，也可以由***决定。例如，在当前的行驶环境为“强风”的情况下，可以根据“强风”这样的天气来进行过滤。

在第三实施方式中，能这样生成与特定的行驶环境对应的情绪映射图。例如，在当前的行驶环境为“强风”的情况下，映射在相同的环境下产生的情绪。由此，能生成与行驶环境相应的适当的情绪映射图。

需要说明的是，也可以将第三实施方式应用于第二实施方式。

(第四实施方式)

第四实施方式是将通过车载摄像机获取到的图像与情绪映射图一起呈现的实施方式。

在第四实施方式中，在数据生成部1012生成情绪数据时，经由车载摄像机来获取车辆10的车外的图像(典型的是车辆前方的图像)。车载摄像机也可以兼作摄像机105。例如，在摄像机105具有360度的视场角的情况下，能同时获取车外的图像和驾驶员的面部图像。在该情况下，数据生成部1012可以修整(trimming)与车外对应的范围。

此外，数据生成部1012将获取到的图像与情绪数据建立关联。图15是在第四实施方式中生成的情绪数据的例子。如图所示，在本例子中，图像数据被附加于情绪数据。通过参照图像数据，能在后来知道驾驶员的情绪因何而发生了变化。

此外，在第四实施方式中，映射图生成部1013生成将图像与各地点建立了关联的情绪映射图。图16是在第四实施方式中生成的情绪映射图的例子。如图所示，在本实施方式中，图像与映射有情绪的各地点建立了关联，能基于用户的操作来确认图像。

根据该构成，能在事后确认因何种原因而产生了驾驶员的情绪的变化。

需要说明的是，也可以将第四实施方式应用于第二实施方式。

此外，在本例子中举例示出了车外的图像，但也可以使图像数据包括驾驶员的面部图像。此外，在本例子中列举了使用静止图像的例子，但图像数据也可以是运动图像数据。例如，也可以输出包含车辆前方的图像和驾驶员的面部图像这双方的静止图像或运动图像。这样的图像(或运动图像)也可以设为能与情绪数据分开地从车载装置100取出。根据该构成，能将产生了特定的情绪的瞬间的图像(或运动图像)等提供给用户。

(变形例)

上述的实施方式只不过是一个例子，本公开可以在不脱离其主旨的范围内适当变更来实施。

例如，只要不产生技术上的矛盾，在本公开中进行了说明的处理、单元可以自由地组合来实施。

此外，在实施方式的说明中，列举了仅输出情绪映射图的例子，但也可以设为在存在推荐通过的地点、道路区间或不推荐通过的地点、道路区间的情况下，具体地通知其理由。

此外，在实施方式的说明中，列举了根据面部图像来推定情绪的例子，但驾驶员的情绪也可以基于其他的生物体信息(例如语音等)来推定。

此外，以由一个装置进行的形式进行了说明的处理也可以由多个装置分担来执行。或者，以由不同的装置进行的形式进行了说明的处理也可以由一个装置执行。在计算机***中，通过什么样的硬件构成(服务器构成)来实现各功能可以灵活地变更。

本公开也可以通过将安装有在上述的实施方式中进行了说明的功能的计算机程序提供给计算机，并由该计算机所具有的一个以上的处理器读出程序并执行该程序来实现。这样的计算机程序既可以通过能连接于计算机的***总线的非暂时性计算机可读存储介质提供给计算机，也可以经由网络提供给计算机。非暂时性计算机可读存储介质例如包括磁盘(floppy(软)(注册商标)盘、硬盘驱动器(HDD)等)、光盘(CD－ROM、DVD盘、蓝光光盘等)等任意类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡、闪存、光卡、适用于储存电子命令的任意类型的介质。

Claims (20)

1.一种信息处理装置，具有控制部，所述控制部执行：

基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及

确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

2.根据权利要求1所述的信息处理装置，其中，

所述控制部生成情绪数据，其中，所述情绪数据是将所述推定出的情绪与所述第一地点建立了关联的数据。

3.根据权利要求2所述的信息处理装置，其中，

所述控制部还获取所述第一地点处的车外的图像，还将所述图像与所述情绪数据建立关联。

4.根据权利要求3所述的信息处理装置，其中，

所述摄像机是能同时拍摄车辆前方的风景和所述驾驶员的面部的摄像机。

5.根据权利要求2至4中任一项所述的信息处理装置，其中，

所述控制部基于所述情绪数据来生成将所述驾驶员抱有的情绪映射到地点或道路区间而成的地图。

6.根据权利要求2至4中任一项所述的信息处理装置，其中，

所述控制部将所述情绪数据发送至汇总所述情绪数据的服务器装置。

7.根据权利要求6所述的信息处理装置，其中，

所述控制部从所述服务器装置接收按每个地点或道路区间对多个驾驶员各自抱有的情绪进行累计而得到的数据。

8.根据权利要求6所述的信息处理装置，其中，

所述控制部从所述服务器装置接收映射有按每个地点或道路区间对多个驾驶员各自抱有的情绪进行累计而得到的结果的道路地图。

9.一种车辆***，包括：车载装置，搭载于车辆；以及服务器装置，管辖多个所述车辆，其中，

所述车载装置具有第一控制部，所述第一控制部执行：

基于通过搭载于所述车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及

将情绪数据发送至所述服务器装置，其中，所述情绪数据是将所述推定出的情绪与位置信息建立了关联的数据，

所述服务器装置具有第二控制部，所述第二控制部基于从多个所述车载装置接收到的所述情绪数据来生成按每个地点或道路区间对多个驾驶员各自抱有的情绪进行累计而得到的数据。

10.根据权利要求9所述的车辆***，其中，

所述第二控制部生成映射有所述累计而得到的数据的结果的道路地图数据。

11.根据权利要求9所述的车辆***，其中，

所述第二控制部生成映射有存在所述多个驾驶员会抱有规定的情绪的倾向的地点或道路区间的道路地图数据。

12.根据权利要求10或11所述的车辆***，其中，

所述第二控制部周期性地执行基于所述情绪数据的所述道路地图数据的生成。

13.根据权利要求10至12中任一项所述的车辆***，其中，

所述第二控制部将所述道路地图数据发送至所述车载装置，

所述第一控制部输出所述道路地图数据。

14.一种信息处理方法，包括以下步骤：

基于通过搭载于车辆的摄像机获取到的图像来推定所述车辆的驾驶员的情绪；以及

确定第一地点，其中，所述第一地点是作为所述驾驶员的情绪被推定出规定的情绪的地点。

15.根据权利要求14所述的信息处理方法，还包括以下步骤：

生成情绪数据，其中，所述情绪数据是将所述推定出的情绪与所述第一地点建立了关联的数据。

16.根据权利要求15所述的信息处理方法，其中，

还获取所述第一地点处的车外的图像，还将所述图像与所述情绪数据建立关联。

17.根据权利要求16所述的信息处理方法，其中，

所述摄像机是能同时拍摄车辆前方的风景和所述驾驶员的面部的摄像机。

18.根据权利要求15至17中任一项所述的信息处理方法，还包括以下步骤：

基于所述情绪数据来生成将所述驾驶员抱有的情绪映射到地点或道路区间而成的地图。

19.根据权利要求15至18中任一项所述的信息处理方法，还包括以下步骤：

将所述情绪数据发送至汇总所述情绪数据的服务器装置。

20.一种存储介质，储存用于使计算机执行如权利要求14至19中任一项所述的信息处理方法的程序。