CN110879845B - 生成日志数据的方法、非暂时性计算机可读介质和数据结构 - Google Patents

Abstract

本公开提供一种生成日志数据的方法、非暂时性计算机可读介质和数据结构。一种生成日志数据的方法，所述日志数据包括多个记录，其中记录了通过对多个图像帧的图像识别处理所检测到的信息，所述方法包括：通过所述图像识别处理检测每一个图像帧中的对象；对于每一个图像帧，生成包括相应的图像帧的识别信息和所述相应的图像帧中检测到的对象的累计数量的记录；以及当所述对象的累计数量等于或大于1时，将与检测到的所述对象相关的元数据添加到相应的记录。其中当所述对象的累计数量为0时，不将与检测到的所述对象相关的所述元数据添加到所述记录。

Description

生成日志数据的方法、非暂时性计算机可读介质和数据结构

技术领域

本发明涉及一种生成日志数据的方法、存储使得执行处理的程序的非暂时性计算机可读介质和数据结构。

背景技术

在现有技术中，已知一种提高搜索数据中包含的信息的速度的技术。例如，日本专利第3012677号公开了一种技术，该技术根据关于字典数据中已登记的子序列的搜索次数来重新排列子序列的搜索顺序，以便提高要在编码中使用的字典数据的搜索速度。

发明内容

需要提高对由车载相机等拍摄的视频的图像识别处理的日志数据的搜索处理的速度。通常，由于图像识别处理的日志数据的数据大小等的扩展，搜索处理要花费长时间。因此，关于图像识别处理的日志数据的信息搜索技术存在改进的空间。

本发明提供了一种生成日志数据的方法、存储使得执行处理的程序的非暂时性计算机可读介质、以及用于改进图像识别处理的日志数据的信息搜索技术的数据结构。

本发明的第一方案涉及一种生成日志数据的方法，所述日志数据包括多个记录，其中记录了通过对多个图像帧的图像识别处理所检测到的信息。所述方法包括：通过图像识别处理检测每一个图像帧中的对象，为每一个图像帧生成包括相应的图像帧的识别信息和相应的图像帧中检测到的对象的累计数量的记录，以及当对象的累计数量等于或大于1时，将与检测到的对象相关的元数据添加到相应的记录。当对象的累计数量为0时，与检测到的对象相关的元数据不添加到所述记录。

根据第一方案的方法还可以包括：当对象的累计数量等于或大于1时，将每个对象类别的对象的总数添加到相应的记录。

在根据第一方案的方法中，可以基于各个对象的识别频率和检测分数中的至少一个来确定日志数据中的元数据的顺序。

根据第一方案的方法还可以包括：基于预定期间内的各个对象的识别频率和检测分数中的至少一个，来改变在所述预定期间内的所述日志数据中的元数据的顺序；以及将所述顺序的信息记录在顺序表中。

根据第一方案的方法还可以包括：基于日志数据中包括的标签信息，利用预定的搜索查询来测量日志数据的搜索速度；以及当搜索速度低于预定值时，改变标签信息。

在根据第一方案的方法中，对象类别的至少一部分可以是分层级的。仅当与上级层级的对象类别相关的图像识别处理的检测分数等于或大于预定值时，可以执行与所述上级层级的对象类别的下级层级的对象类别相关的图像识别处理。

本发明的第二方案涉及一种存储程序的非暂时性计算机可读介质，所述程序使得计算机用作被配置为生成包括多个记录的日志数据的信息处理装置以执行处理，在所述多个记录中记录了通过对多个图像帧的图像识别处理所检测到的信息。所述处理包括：通过图像识别处理检测每一个图像帧中的对象；为每一个图像帧，生成包括相应的图像帧的识别信息和相应的图像帧中检测到的对象的累计数量的记录；以及当对象的累计数量等于或大于1时，将与检测到的对象相关的元数据添加到相应的记录。当对象的累计数量为0时，与检测到的对象相关的元数据不添加到所述记录。

本发明的第三方案涉及一种日志数据的数据结构，其包括通过对多个图像帧进行图像识别处理所检测到的信息。数据结构包括与所述多个图像帧对应的多个记录。每一个记录包括相应的图像帧的识别信息和在相应的图像帧中检测到的对象的累计数量。所述对象的累计数量等于或大于1的记录包括与检测到的所述对象相关的元数据，而所述对象的累计数量为0的记录不包括元数据。

本发明的第四方案涉及一种日志数据的数据结构，其用于包括车辆和服务器的信息处理***中，并且包括通过对多个图像帧的图像识别处理所检测到的信息。所述数据结构包括与多个图像帧对应的多个记录。每一个记录包括相应的图像帧的识别信息和在相应的图像帧中检测到的对象的累计数量。所述车辆当所述对象的累计数量等于或大于1时，将与检测到的所述对象相关的元数据添加到相应的记录，而当所述对象的累计数量为0时则不添加元数据。

利用根据本发明的各个方案的生成日志数据的方法、存储使得处理被执行的程序的非暂时性计算机可读介质以及数据结构，能够改进图像识别处理的日志数据的信息搜索技术。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的附图标记表示相同的元件，并且其中：

图1是示出本发明的实施例的信息处理***的概略配置的图；

图2是示出车辆的概略配置的框图；

图3是示出服务器的概略配置的框图；

图4是示出日志数据的数据结构的图；

图5是示出图像识别处理的模式的概念图；

图6是示出日志数据的数据区的数据结构的图；

图7是示出在对象的累计数量为零的情况下的日志数据的数据结构的图；

图8示出生成的日志数据的示例；

图9是示出根据本发明的实施例的信息处理***中的日志数据的生成操作的流程图；

图10示出顺序表的示例；以及

图11是表示待检测的对象之间的层级关系的概念图。

具体实施方式

在下文中，将描述本发明的实施例。

信息处理***的配置

将参考图1描述根据本发明的实施例的信息处理***1的概要。信息处理***1包括车辆10和服务器20。车辆10例如是汽车；然而，车辆10不限于汽车，也可以是任何车辆。在图1中，为了简化描述，仅示出了一辆车辆10；然而，信息处理***1中的车辆10的数量可以是一辆或多辆。服务器20包括一个服务器装置或可以彼此进行通信的多个服务器装置。服务器20可以通过网络30与客户终端进行通信。在该实施例中，客户端包括一辆或多辆车辆10。因此，各车辆10和服务器20可以通过包括例如移动通信网络、因特网等网络30进行通信。然而，可以与服务器20进行通信的客户端不限于车辆10，并且例如可以包括诸如智能电话或计算机的任何信息处理装置。

作为实施例的概要，对由车辆10对车辆外部的风景进行成像而获取的多个拍摄图像(下文中，称为“图像帧”)执行图像识别处理，以生成日志数据。日志数据的各个记录包括通过图像识别处理检测到的对象的累计(下文中，称为“对象的累计数量”)。在对象的累计数量等于或大于1的情况下，将与各个对象相关的具体信息(下文中，称为“元数据”)添加到记录中。在对象的累计数量为零的情况下，不将元数据添加到记录中。

这样，根据本实施例，在对象的累计数量等于或大于1的情况下，将检测到的对象的元数据添加到日志数据中，而在对象的累计数量为零的情况下，则不需要的数据不添加到日志数据中，从而能够抑制日志数据的数据大小的增加。要搜索的日志数据的数据大小的增加得以抑制，从而可以提高搜索速度并改进日志数据的信息搜索技术。

车辆配置

如图2所示，车辆10包括通信装置11、信息处理装置12和成像装置13。通信装置11和信息处理装置12连接以通过诸如控制器局域网(CAN)的车载网络或专用线路彼此进行通信。

例如，通信装置11是诸如数据通信模块(DCM)的车载通信设备。具体地，通信装置11包括通信单元111、存储单元112和控制器113。

通信单元111包括通过车载网络或专用线路进行通信的通信模块。通信单元111包括连接到网络30的通信模块。例如，通信单元111可以包括与诸如第4代(4G)和第5代(5G)的移动通信标准相对应的通信模块。在本实施例中，车辆10通过通信单元111连接到网络30。

存储单元112包括一个或多个存储器。在该实施例中，“存储器”例如是半导体存储器、磁存储器、光存储器等，但不限于此。包括在存储单元112中的各个存储器可以用作例如主存储装置、辅助存储装置或高速缓冲存储器。存储单元112存储用于通信装置11的操作的可选信息。例如，存储单元112可以存储***程序、应用程序、车辆10的识别信息等。车辆10的识别信息是能够在信息处理***1中唯一识别车辆10的信息。当从通信装置11向服务器20发送信息时，车辆10的识别信息与上述信息一起被发送到服务器20，由此，服务器20可以将车辆10识别为发送源。车辆10中的通信装置11或信息处理装置12的识别信息可以用作车辆10的识别信息。存储在存储单元112中的信息可以利用例如要通过通信单元111从网络30获取的信息来更新。

控制器113包括一个或多个处理器。在该实施例中，“处理器”是通用处理器或专用于指定处理的专用处理器，但不限于此。控制器113控制通信装置11的整体操作。在本实施例中，车辆10和服务器20通过由控制器113控制的通信装置11进行通信。

例如，控制器113从信息处理装置12获取与通过对车辆外部的风景进行成像所获取的图像帧相关的日志数据。控制器113将获取的日志数据发送到服务器20。日志数据可以在每次生成各个记录时发送，或者可以在给定期间内在存储单元112中累积之后发送。控制器113可以从成像装置13获取图像帧，并且可以将图像帧发送至服务器20。

信息处理装置12例如是安装在车辆10中的导航装置或自动驾驶控制装置，但不限于此。具体地，信息处理装置12包括通信单元121、存储单元122、位置信息获取单元123、输出单元124、输入单元125和控制器126。

通信单元121包括通过车载网络或专用线路进行通信的通信模块。

存储单元122包括一个或多个存储器。包括在存储单元122中的各个存储器可以用作例如主存储装置、辅助存储装置或高速缓冲存储器。存储单元122存储用于信息处理装置12的操作的可选信息。例如，存储单元122可以存储***程序、应用程序等。存储在存储单元122中的信息可以利用例如要通过通信装置11从网络30获取的信息来更新。

位置信息获取单元123包括与任何卫星定位***相对应的一个或多个接收器。例如，位置信息获取单元123可以包括全球定位***(GPS)接收器。位置信息获取单元123获取车辆10的位置信息，并将获取的位置信息输出到控制器126。

输出单元124包括一个或多个输出接口，其输出信息以向用户通知信息。例如，输出单元124中包括的输出接口是以视频形式输出信息的显示器、以声音形式输出信息的扬声器等，但不限于此。例如，显示器是面板显示器、平视显示器等，但不限于此。在该实施例中，“视频”可以包括文本、静止图像和运动图像。

输入单元125包括检测用户输入的一个或多个输入接口。例如，输入单元125中包括的输入接口是物理键、电容式按键、与输出单元124的面板显示器一体设置的触摸屏、接收声音输入的麦克风等，但不限于此于此。

控制器126包括一个或多个处理器。控制器126控制信息处理装置12的整体操作。例如，控制器126基于从位置信息获取单元123获取的车辆10的位置信息和从成像装置13获取的图像帧来生成日志数据。

成像装置13是生成通过对被摄体成像而获取的多个图像帧的装置。在该实施例中，成像装置13设置在车辆10中，使得可以对车辆外部的风景进行成像。成像装置13可以是例如用于车辆的驾驶辅助的车载摄像机、行车记录仪等。具体地，成像装置13包括通信单元131、存储单元132、成像单元133和控制器134。

通信单元131包括通过车载网络或专用线路进行通信的通信模块。

存储单元132包括一个或多个存储器。包括在存储单元132中的各个存储器可以用作例如主存储装置、辅助存储装置或高速缓冲存储器。存储单元132存储用于成像装置13的操作的可选信息。例如，存储单元132可以存储***程序、应用程序等。存储在存储单元132中的信息可以利用例如要通过通信装置11从网络30获取的信息来更新。

成像单元133包括诸如透镜的光学元件和图像传感器。在该实施例中，“图像传感器”例如是互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器等，但不限于此。

控制器134包括一个或多个处理器。控制器134控制成像装置13的整体操作。

例如，控制器134生成通过利用成像单元133以预定帧速率(例如，60fps)对车辆10外部的风景进行成像所获取的多个图像帧，并将图像帧输出到信息处理装置12。图像帧可以在每次生成各个图像帧时输出到信息处理装置12，或者可以在给定期间内在存储单元132中累积之后输出到信息处理装置12。可以将图像帧作为包括图像帧的运动图像输出到信息处理装置12。换句话说，控制器134可以将图像帧输出为多个静止图像文件(例如，JPG文件)，或者可以将图像帧输出为一个运动图像文件(例如，AVI文件)。

服务器的配置

如图3所示，服务器20包括服务器通信单元21、服务器存储单元22和服务器控制器23。

服务器通信单元21包括连接到网络30的通信模块。例如，服务器通信单元21可以包括与无线局域网(LAN)标准相对应的通信模块。在该实施例中，服务器20通过服务器通信单元21连接到网络30。

服务器存储单元22包括一个或多个存储器。服务器存储单元22中包括的各个存储器可以用作例如主存储装置、辅助存储装置或高速缓冲存储器。服务器存储单元22存储用于服务器20的操作的可选信息。例如，服务器存储单元22可以存储***程序、应用程序、存储从车辆10接收的日志数据的数据库等。服务器存储单元22中存储的信息可以利用例如要通过服务器通信单元21从网络30获取的信息来更新。

图3中所示的服务器控制器23包括一个或多个处理器。服务器控制器23控制服务器20的整体操作。例如，服务器控制器23从车辆10接收并获取日志数据。服务器控制器23基于搜索查询执行日志数据的搜索处理并输出搜索处理结果。搜索查询从请求参考日志数据的客户端终端通过网络30发送到服务器20。搜索查询包括由关键字、标签等指定的任何搜索条件的信息。在下文中，将描述用于改进搜索处理的日志数据的结构。

日志数据的结构

如上所述，日志数据是由车辆10中的信息处理装置12的控制器126基于从成像装置13接收的图像帧来生成。日志数据包括与图像帧对应的多个记录。具体地，控制器126通过对各个图像帧的图像识别处理来检测各个图像帧中的对象。控制器126计算对象的累计数量。为每个图像帧，控制器126生成包括该图像帧的识别信息和该图像帧中检测到的对象的累计数量的记录。在对象的累计数量等于或大于1的情况下，控制器126将每个对象类别的各个对象的总数(在下文中，称为“检测数”)和与各个对象相关的元数据添加到相应的记录。

图4示出了日志数据的数据结构。如图4所示，日志数据的各个记录包括头部区和数据区。头部区包括帧识别信息、时间戳、对象的累计数量、各检测数和标签信息。数据区包括元数据。帧识别信息是用于在***中唯一地指定图像帧的信息。时间戳是生成图像帧的日期和时间信息。

在图4的示例中，待检测的对象的类别是a至z的26种类型。图4中的检测数(a)至检测数(z)分别表示对象类别a至z的对象的检测数。待检测的对象类别的数量不限于26，并且可以小于26或者可以大于26。标签信息是与图像帧相关的可选信息，并且包括例如角度信息、行人等横穿信息和亮度信息。角度信息表示通过图像识别处理检测到的车道与车辆10之间的角度。行人等横穿信息是表示在行驶车道上检测到行人、自行车等的信息。亮度信息是与要从图像帧确定的车辆前方的亮度相关的信息。标签信息可以包括从位置信息获取单元123输出的车辆10的位置信息。标签信息被添加到与图像帧对应的记录，从而可以用标签执行日志数据的条件搜索。

各个记录的数据区包括通过图像识别处理检测到的所有对象中的每一个的元数据。元数据包括检测框坐标(x)、检测框坐标(y)、检测框宽度、检测框高度、对象类别、绝对位置、相对位置、距离、检测分数、检测计数、危险度和信号颜色。检测框坐标(x)和检测框坐标(y)是包括检测到的对象的矩形检测框的参考坐标。图5示出了在拍摄的图像帧中检测到对象的情况下的检测框。在图5中，检测到汽车。例如，图5所示的检测框的左上顶点P的x坐标和y坐标可以分别是检测框坐标(x)和检测框坐标(y)。检测框的位置和大小由顶点P的坐标、检测框宽度W和检测框高度H指定。

对象类别指示对象的类型，且表格1示出对象类别的示例。

表格1

绝对位置和相对位置是基于车辆的行驶车道指示对象的位置的信息。绝对位置从左端行驶车道到右端行驶车道，通过1到6的值，指定在两个方向上具有六个车道的道路中的各个车道。相对位置将车辆10所在的行驶车道设定为零，用正数表示右侧的行驶车道，用负数表示左侧的行驶车道。

距离表示到检测到的物体的直接距离。检测分数是表示图像识别处理的置信度的值。当检测分数越高时，图像识别处理的检测结果越是可能。检测计数是以多个坐标检测到同个目标时的检测次数。

例如，基于以下标准确定危险度。

(i)在主车辆的行驶车道上检测到另一车辆的情况下，基于相对速度(接近时)和车间距离以四个级别(0至3)来确定危险度。

(ii)在任何行驶车道上检测到行人或自行车的情况下，基于行人或自行车与主车辆之间的距离以四个级别(0至3)来确定危险度。

(iii)否则，将危险度设定为预定值(例如，“-1”)。

信号颜色用数值表示检测到的交通信号的灯的颜色，并且例如是基于表格2来确定的。在检测到的对象是除交通信号之外的情况下，信号颜色被设定为预定值(例如，“-1”)。

表格2

灯的颜色	值
		绿	0
黄	1
		红	2
不清楚	3

图6是示出日志数据的数据区的结构的图。如图6所示，与所有检测到的对象相关的元数据被存储在数据区中。数据区是具有可变长度的区域，并且对象的累计数量的元数据被存储在数据区中。

元数据按照记录的头部区中包括的检测数(a)至检测数(z)的值和顺序而被排列。换句话说，基于头部区中包括的各个检测数和各个检测数的顺序来确定数据区的结构。例如，如图6所示，在对象类别a、b、c的对象分别被检测到i、j和k个的情况下，i个对象类别a的元数据是连续的，并且随后，j个对象类别b的元数据是连续的。另外，随后k个对象类别c的元数据是连续的。

作为数据区的数据结构的比较例，考虑了数据区被设定为固定长度并且预先充分确保各个对象类别的元数据的存储区域的情况。在采用比较例的结构的情况下，可以以简单的格式形成数据区的结构；但是，应该充分确保用于存储元数据的区域。此外，由于数据被设定为固定长度，因此需要将默认值(例如，0)存储在元数据的存储区域中。因此，无论待检测的对象的数量如何，数据大小都相同，并且包括浪费的数据。根据该实施例，由于日志数据的数据区被设定为可变长度，并且仅包括用于待检测的对象的数量的元数据，因此能够抑制日志数据的数据大小的增加。通过使用各个检测数的信息，能够容易地指定对象类别和存在该对象类别的元数据的日志数据的数据区的部分。

基于例如各个对象的识别频率和检测分数中的至少一个来确定对象类别a至z的各个检测数的顺序。由此，确定要存储在数据区中的元数据的顺序。也就是说，基于各个对象的识别频率和检测分数中的至少一个来确定元数据的顺序。例如，元数据可以从对象的识别频率的平均值高的对象类别起依序排列。在这种情况下，识别频率的平均值高的对象的元数据存在于前方(在图6中，左侧)。以这种方式，在日志数据的搜索处理中从记录的左侧执行扫描的情况下，可以提高对于识别频率高的对象的搜索速度。

例如，元数据可以从对象的检测分数的平均值高的对象类别起依序排列。在这种情况下，检测分数的平均值高的对象的元数据存在于前方(在图6中，左侧)。以这种方式，在日志数据的搜索处理中从记录的左侧执行扫描的情况下，可以提高对于检测分数高的对象的搜索速度。

可以基于对象的搜索频率来确定元数据的顺序，并且例如，可以从搜索频率高的对象起依序排列元数据。以这种方式，在日志数据的搜索处理中从记录的左侧执行扫描的情况下，可以提高对于搜索频率高的对象的搜索速度。

在对象的累计数量为零的情况下，控制器126不将每个对象类别的对象的总数(检测数)和元数据添加到日志数据。图7示出了在对象的累计数量为零的情况下的日志数据的数据结构。如图7所示，日志数据包括帧识别号、时间戳和对象的累计数量，但不包括每个对象类别的对象的总数和元数据。换句话说，在对象的累计数量为零的情况下，日志数据的记录不具有数据区。

作为比较例，考虑将日志数据的头部区和数据区两者都设定为固定长度的情况。在这种情况下，当对象的累计数量为零时，各个对象类别的对象的总数为零。在数据区中，排列默认值(例如，零)。利用根据本实施例的日志数据的数据结构，与比较例相比，能够省略无用信息，并且能够抑制日志数据的数据大小的增加。

图8示出了由信息处理装置12生成的日志数据的示例。图8的日志数据的字段A到C分别是帧识别信息、时间戳和对象的累计数量。字段D至I中的各个字段是各个对象类别的检测数，并且这里示出了待检测的对象类型的数量是6的示例。具体地，字段D至I是汽车的检测数、行人和自行车的检测数、摩托车的检测数、施工现场的检测数、下落物的检测数、以及交通信号的检测数。字段J到L是标签信息，并且分别是角度信息、行人等横穿信息和亮度信息。字段M到X是与在各个图像帧中检测到的第一对象相关的元数据。具体地，字段M至X是检测框坐标(x)、检测框坐标(y)、检测框宽度、检测框高度、对象类别、绝对位置、相对位置、距离、检测分数、检测计数、危险度和信号颜色。字段Y和后续字段是与第二和后续对象相关的元数据。

如图8所示，在第一至第四记录以及第六记录中，由于对象的累计数量等于或大于1，因此包括每个对象类别的对象的总数和与各个对象相关的元数据。在第五记录中，由于对象的累计数量为零，因此不包括每个对象类别的对象的总数(检测数)和元数据。换句话说，在图8的记录中，对象的累计数量为零的记录仅在字段A至C中具有数据，而在字段D和后续字段中没有数据。在第四记录中，对象的累计数量是1。因此，第四记录仅具有一个元数据，并且仅在字段A至X中具有数据。以这种方式，能够抑制日志数据的数据大小的增加。

日志数据的生成操作

将参考图9的流程图描述日志数据的生成操作。在图9中，示出了基于一个图像帧生成日志数据的操作。对多个图像帧的每一个图像帧执行该操作。

步骤S100：信息处理装置12的控制器126通过对图像帧的图像识别处理来检测每一个图像帧中的对象。

步骤S200：控制器126生成包括每一个图像帧的识别信息和相应的图像帧中检测到的对象的累计数量的记录。

步骤S300：控制器126确定对象的累计数量是否等于或大于1。在对象的累计数量等于或大于1的情况下，处理进行到步骤S400。在对象的累计数量不等于或大于1的情况下，跳过步骤S400，并且处理结束。

步骤S400：控制器126将每个对象类别的对象的总数添加到相应的记录。

步骤S500：控制器126将与各个对象相关的元数据添加到相应的记录。然后，处理结束。

如上所述，在根据本实施例的信息处理***1中，日志数据的各个记录包括在每一个图像帧中检测到的对象的累计数量的信息。在对象的累计数量等于或大于1的情况下，将每个对象类别的对象的总数(各个检测数)和与各个对象相关的元数据添加到日志数据。在对象的累计数量为零的情况下，各个检测数和元数据不被添加到日志数据中。在对象的累计数量为零的情况下，每个对象类别的对象的总数为零。在这种情况下，由于没有检测到的对象，因此不需要添加元数据。利用根据本实施例的信息处理***1，在对象的累计数量为零的情况下，不将不需要的数据添加到记录中，并且能够抑制日志数据的数据大小的增加。抑制了待搜索的日志数据的数据大小的增加，从而提高了搜索速度，并且能够改进日志数据的信息搜索技术。

在根据本实施例的信息处理***1中，日志数据的各个记录包括各个检测数的信息，并且基于各个检测数确定各个记录的数据区中的元数据顺序。由此，能够将日志数据的数据区设定为可变长度，并且能够抑制日志数据的数据大小的增加。通过使用各个检测数的信息，能够指定存在所需元数据的日志数据的数据区的部分。因此，通过各个检测数的信息，例如，能够限制待扫描的数据区，并且改进日志数据的信息搜索技术。

尽管已经基于附图和示例描述了本发明，但是应该注意，本领域技术人员可以基于本发明容易地进行各种变型和修正。因此，应注意，这些变型和修正包括在本发明的范围内。例如，只要不存在逻辑矛盾，可以重新排列各个装置或各个步骤中包括的功能等，并且可以将两个以上装置或步骤组合成单个装置或步骤或者可以对两个以上装置或步骤进行划分。

例如，可以做出使得诸如智能手机或计算机的通用信息处理装置用作根据上述实施例的通信装置11、信息处理装置12、成像装置13或服务器20的配置。具体地，描述用于实现根据本实施例的通信装置11等的功能的处理内容的程序存储在信息处理装置的存储器中，并且使信息处理装置的处理器读取并执行该程序。因此，根据本实施例的本发明也可以实现为可由处理器执行的程序。

例如，在上述实施例中，可以在服务器20中执行要在车辆10中执行的处理操作的一部分，并且可以在车辆10中执行要在服务器20中执行的处理操作的一部分。具体地，例如，可以做出由服务器20执行图像处理操作的配置。

在上述实施例中，尽管已经描述了按照记录的检测数(a)到检测数(z)的顺序排列日志数据中的元数据的示例，但是顺序可以更换。例如，服务器20可以基于预定期间内的各个对象的识别频率和检测分数中的至少一个来改变所述预定期间内的日志数据中的元数据的顺序。可以将顺序的信息记录在顺序表中，使得可以在搜索处理时指定元数据的顺序。

图10示出了顺序表的示例。顺序表存储在服务器20的服务器存储单元22中。如图10所示，顺序表包括与帧识别号的范围和对象的排列顺序相关的信息。在帧识别号的范围内包括的记录中，元数据沿着与相应对象的排列顺序相关的信息排列。例如，在与具有00000001的帧识别号的图像帧相关的记录中，元数据沿着顺序表的1号顺序排列。例如，在与具有00100001的帧识别号的图像帧相关的记录中，元数据沿顺序表的2号顺序排列。在顺序表的2号顺序中，与1号顺序相比，c和d的顺序被替换。在顺序表的3号顺序中，与2号顺序相比，a和b的顺序被替换。这样，基于预定期间内的识别频率和检测分数中的至少一个来改变元数据的顺序，从而能够提高搜索速度。

可以优化日志数据中包括的标签信息。例如，服务器20的服务器控制器23基于标签信息利用预定的搜索查询来测量日志数据的搜索速度，并且在搜索速度低于预定值的情况下，可以通过融合或细分标签信息来执行改变。服务器20的服务器控制器23改变标签信息，使得搜索速度变得等于或高于预定值。以这种方式，使用预定搜索查询评估日志数据的搜索速度，并且改变标签信息，从而提高日志数据的搜索速度。

在上述实施例中，尽管已经描述了通过图像识别处理检测所有待检测对象的示例，但是本发明不限于此。例如，信息处理装置12可以基于图像识别处理的结果省略对部分对象的检测。例如，具体地，可以对待检测的对象类别的至少一部分分层级，并且仅在与上级层级的对象类别相关的图像识别处理的检测分数等于或大于预定值的情况下，可以执行与对象类别的下级层级的对象类别相关的图像识别处理。图11是表示待检测的对象类别之间的层级关系的概念图。对象类别X是较高层级的对象类别(例如，车辆)，并且对象类别A至C(例如，重型车辆、中型车辆和紧凑型车辆)直接包含在对象类别X下方。对象类别a、a'(例如，卡车和公共汽车)包含在对象类别A的下级层级中，并且对象类别b、b'包含在对象类别B的下级层级中。例如，在与对象类别A相关的检测分数等于或大于预定值的情况下，执行与对象类别A的下级层级中的对象类别a、a'相关的检测。在与对象类别A相关的检测分数小于预定值的情况下，不执行与对象类别A的下级层级中的对象类别a、a'相关的检测。以这种方式，能够省略检测分数低的对象类别的检测，并且与该对象类别相关的元数据不包括在日志数据中。因此，可以抑制日志数据的数据大小的增加，并且可以提高日志数据的搜索速度。关于检测分数高的对象类别，由于执行下级层级细分的对象类别的图像识别处理，并且与所述对象类别相关的元数据包括在日志数据中，能够执行更细分的搜索。

Claims (6)

1.一种生成日志数据的方法，所述日志数据包括多个记录，其中记录了通过对多个图像帧的图像识别处理所检测到的信息，所述方法的特征在于包括：

通过所述图像识别处理检测每一个图像帧中的对象；

为每一个图像帧，生成包括相应的图像帧的识别信息和所述相应的图像帧中检测到的对象的累计数量的记录；

将与检测到的所述对象相关的元数据按顺序排列并且当所述对象的累计数量等于或大于1时，将与所述检测到的对象相关的所述元数据添加到相应的记录，其中当所述对象的累计数量为0时，与所述检测到的对象相关的所述元数据不添加到所述记录；

基于所述日志数据中包括的标签信息，利用预定的搜索查询来测量所述日志数据的搜索速度；以及

当所述搜索速度低于预定值时，改变所述标签信息。

2.根据权利要求1所述的方法，其特征在于，还包括：当所述对象的累计数量等于或大于1时，将每个对象类别的所述对象的总数添加到所述相应的记录。

3.根据权利要求1所述的方法，其特征在于，基于各个对象的识别频率和检测分数中的至少一个来确定所述日志数据中的元数据的顺序。

4.根据权利要求1所述的方法，其特征在于，还包括：

基于预定期间内的各个对象的识别频率和检测分数中的至少一个，来改变在所述预定期间内的所述日志数据中的元数据的顺序；以及

将所述顺序的信息记录在顺序表中。

5.根据权利要求1至4中任一项所述的方法，其特征在于：

对象类别的至少一部分是分层级的；以及

仅当与上级层级的对象类别相关的图像识别处理的检测分数等于或大于预定值时，执行与所述上级层级的对象类别的下级层级的对象类别相关的图像识别处理。

6.一种存储程序的非暂时性计算机可读介质，所述程序使得计算机用作被配置为生成包括多个记录的日志数据的信息处理装置以执行处理，在所述多个记录中记录了通过对多个图像帧的图像识别处理所检测到的信息，所述处理的特征在于包括：

通过所述图像识别处理检测每一个图像帧中的对象；

对于每一个图像帧，生成包括相应的图像帧的识别信息和所述相应的图像帧中检测到的对象的累计数量的记录；

将与检测到的所述对象相关的元数据按顺序排列并且当所述对象的累计数量等于或大于1时，将与所述检测到的对象相关的所述元数据添加到相应的记录，其中当所述对象的累计数量为0时，与所述检测到的对象相关的所述元数据不添加到所述记录；

基于所述日志数据中包括的标签信息，利用预定的搜索查询来测量所述日志数据的搜索速度；以及

当所述搜索速度低于预定值时，改变所述标签信息。