CN113614777A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

一种信息处理装置包括图像处理器和控制器。图像处理器执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理。控制器基于所识别的属性来针对预定区域设置执行识别处理的频度。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及被应用于识别捕获图像中的物体的信息处理装置、信息处理方法和程序。

背景技术

存在用于从图像中检测预定对象区域的技术。

以下指示的专利文献1公开了一种障碍物检测器，该障碍物检测器以基于车辆周围的帧图像当中的参考帧图像和先前帧图像之间的差异的差分图像为基础来检测位于车辆周围的障碍物，参考帧图像是在参考时间点获取的，先前帧图像是在参考时间点之前的时间点获取的。

以下指示的专利文献2公开了一种物体检测器，该物体检测器使用多个捕获图像当中的至少一个参考图像和目标图像来检测目标图像的各部分的运动向量，基于多个捕获图像当中的两个图像之间的差异来计算差分图像，并基于运动向量和差分图像来检测其中存在物体的物体区域。

引用列表

专利文献

专利文献1：日本专利申请公开No.2018-97777

专利文献2：日本专利申请公开No.2015-138319

发明内容

技术问题

然而，在专利文献1和2中分别公开的各技术中，基于图像整体之间的差异来检测物体，这导致计算量增加。另外，通常的情况是对与先前图像类似的图像执行处理，这导致执行冗余处理。

鉴于上述情况，本技术的目的是提供使得可以在执行图像识别处理时消除冗余处理并减少计算量的信息处理装置、信息处理方法和程序。

问题的解决方案

为了实现上述目的，根据本技术的实施例的一种信息处理装置包括图像处理器和控制器。图像处理器执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理。控制器基于所识别的属性来针对预定区域设置执行识别处理的频度。

根据该配置，信息处理装置没有相对于所获取的各捕获图像(帧)等同地执行识别处理，而是基于图像中区域的属性来设置执行识别处理的频度。这使得可以在执行图像识别处理时消除冗余处理，并减少计算量。这里，属性可以用于识别被摄物，诸如路面、人行道、行人、汽车、自行车、信号、标志和行道树。

图像处理器可以识别捕获图像的各像素的属性，并且控制器可以针对各个像素设置执行识别处理的频度。

图像处理器可以将相对于先前捕获图像的各像素执行的识别处理的结果投影到当前捕获图像的对应的各像素，并且控制器可以针对作为投影的结果而识别结果相同的区域将执行频度设定得低。

因此，信息处理装置使用先前执行的识别的结果，这使得可以消除冗余处理并减少计算量。另外，这导致能够使识别精度稳定。

在这种情况下，图像处理器可以使用距离信息和位置信息来投影识别处理的结果，距离信息是关于先前捕获图像和当前捕获图像中的预定区域中的被摄物与信息处理装置之间的距离的信息，位置信息是关于在获取先前捕获图像时以及在获取当前捕获图像时信息处理装置的位置的信息。

可替换，图像处理器可以在先前捕获图像与当前捕获图像之间对于预定区域使用光流或块匹配投影识别处理的结果。

控制器可以根据对于捕获图像中所包括的多个区域所识别的属性之间的关系来设置执行识别处理的频度。

因此，信息处理装置确定捕获图像中的多个区域的属性之间的关系，因此，信息处理装置可以例如掌握重要度，并根据该重要度来设置执行识别处理的频度。这里，将确定属性之间的关系的多个区域典型地是至少两个相邻区域。例如，当存在已经识别到其相应属性为人行道、路面和人(行人)的区域时，因为人行道上的行人未处于非常危险的状态，所以针对人行道上的行人的区域，执行识别处理的频度被设置为低，而因为路面上的行人处于危险状态，所以针对路面上的行人的区域，执行识别处理的频度被设置为高。另外，可以根据三个或多个区域之间的关系来设置执行识别处理的频度，诸如，针对位于路面上的汽车周围的行人的区域，将执行识别处理的频度设置为高。

控制器可以根据捕获图像中的预定区域的位置来设置执行识别处理的频度。

因此，信息处理装置根据区域的位置来设置执行识别处理的频度，诸如，针对捕获图像中的中心部分的区域，将执行识别处理的频度设置得比针对捕获图像中的端部部分的区域更高。这使得可以减少计算量。

控制器可以根据所述预定区域中出现的物体与所述信息处理装置之间的距离来设置执行所述识别处理的频度。

因此，信息处理装置根据距离来设置执行识别处理的频度，诸如，针对位置靠近信息处理装置的区域，将执行识别处理的频度设置为比位置远离信息处理装置的区域更高。这使得可以减少计算量。

控制器可以根据安装有信息处理装置的移动体的移动速度和位置来设置执行识别处理的频度。

因此，信息处理装置可以应对由于移动速度的变化而引起的重要区域的变化，诸如，在高速移动期间，针对图像中的中心部分的区域，将执行识别处理的频度设置得比针对图像中的端部部分的区域更高，而在低速移动期间，针对图像中的中心部分的区域，将执行识别处理的频度设置得比针对图像中的端部部分的区域更低。

控制器可以针对当前捕获图像中的区域当中的无法被投影从先前捕获图像投影的区域，将识别处理的执行频度设置为高。

因此，信息处理装置针对在最近捕获的图像中未观察到的区域将执行识别处理的频度设置为高，这使得可以减少相对于观察到的区域执行识别处理所必需的计算量。

控制器可以针对识别处理的结果可靠性低的区域或针对属性未被识别的区域，将执行识别处理的频度设置为高。

这里，可靠性指示识别处理的结果的准确程度。例如，可以通过从安装有信息处理装置的移动体到捕获图像中的预定区域中的被摄物的距离、通过安装有信息处理装置的移动体的速度、通过诸如图像捕获装置的分辨率之类的性能、通过被摄物的重叠或位置关系、通过天气、通过捕获图像的亮度，或通过物体图像的捕获时间点来设置可靠性。

因此，侧重于属性未知的区域执行识别处理。这使得可以增强随后识别属性的可能性。

图像处理器可以按一定周期相对于捕获图像中的所有区域执行的识别处理。

这使得信息处理装置能够执行由针对各区域执行的部分识别处理引起的误差的周期性补充。

图像处理器可以将相对于先前捕获图像的各像素执行的识别处理的结果投影到当前捕获图像的对应的各像素，并且无法投影的区域的面积的比例等于或大于预定比例时，图像处理器可以相对于捕获图像中的所有区域执行识别处理。

因此，在当前捕获图像中的在先前捕获图像中未观察到的区域的面积大时，信息处理装置相对于捕获图像中的所有区域执行识别处理。这使得可以提高识别精度，同时抑制计算量的增加。

当安装有信息处理装置的移动体的转向角等于或大于预定角度时，图像处理器可以相对于捕获图像中的所有区域执行识别处理。

可料想到，当检测到大的转向角时，图像捕获目标会发生大的变化。因此，信息处理装置相对于捕获图像中的所有区域执行识别处理。这使得可以在未检测到在先前捕获图像中未观察到的区域的情况下提高识别精度。

当安装有所述信息处理装置的移动体正在移动通过预定点时，图像处理器可以相对于捕获图像中的所有区域执行所述识别处理。

因此，信息处理装置在移动通过例如陡坡道上或隧道中的点(在该点处图像捕获目标会发生大的变化)期间，相对于捕获图像中的所有区域执行识别处理。这使得可以在未检测到在先前捕获图像中未观察到的区域的情况下提高识别精度。

当识别处理的结果可靠性低的区域的面积的比例或不能识别属性的区域的比例等于或大于预定比例时，图像处理器可以相对于捕获图像中的所有区域执行识别处理。

因此，当属性未知的区域的面积大时，信息处理装置相对于捕获图像中的所有区域执行识别处理。这使得可以提高识别精度，同时抑制计算量的增加。

根据本技术的另一实施例的一种图像处理方法包括：

执行识别的由相机捕获的图像中包括的预定区域的属性的识别处理，以及

基于所识别的属性来针对预定区域设置执行识别处理的频度。

根据本技术的另一实施例的一种使信息处理装置执行包括以下步骤的处理的程序：

执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

基于所识别的属性来针对预定区域设置执行识别处理的频度。

本发明的有利效果

如上所述，本技术使得可以在执行图像识别处理时消除冗余处理并减少计算量。然而，本技术不限于该效果。

附图说明

[图1]图1是描绘根据本技术的实施例的车辆控制***的示意性配置示例的框图。

[图2]图2是辅助说明车辆控制***中所包括的车辆外部信息检测部和成像部的安装位置示例的示图。

[图3]图3图示了车辆控制***的整合控制单元中所包括的功能块的配置。

[图4]图4是图示由车辆控制***执行的图像识别处理的流程的流程图。

[图5]图5是用于描述由整合控制单元中所包括的投影地图生成器和语义分割投影部执行的处理的示图。

[图6]图6是用于描述由整合控制单元中所包括的未观察区域设置部执行的处理的示图。

[图7]图7是用于描述由整合控制单元中所包括的区域属性关系确定部和更新优先级地图生成器执行的处理的示图。

[图8]图8是图示由区域属性关系确定部和更新优先级地图生成器执行的处理的流程的流程图。

[图9]图9图示了供更新优先级地图生成器使用的优先级表的示例。

[图10]图10是用于描述由更新优先级地图生成器执行的地图整合处理的示图。

[图11]图11是用于描述由整合控制单元中所包括的区域语义分割部执行的处理的示图。

[图12]图12图示了根据本技术的变形例的由车辆控制***执行的图像识别处理中设置更新频度和更新区域的示例。

[图13]图13图示了根据本技术的变形例的由车辆控制***执行的图像识别处理中设置更新频度和更新区域的示例。

[图14]图14图示了根据本技术的变形例的由车辆控制***执行的图像识别处理中设置更新频度和更新区域的示例。

[图15]图15图示了根据本技术的变形例的由车辆控制***中的区域语义分割部执行的更新区域设置的示例。

[图16]图16是用于描述根据本技术的变形例的车辆控制***中的区域语义分割部执行的处理的示图。

具体实施方式

现在，将参考附图来描述本技术的实施例。

[车辆控制***的配置]

图1是描绘作为可以应用根据本公开的实施例的技术的移动体控制***示例的车辆控制***7000的示意性配置示例的框图。车辆控制***7000包括经由通信网络7010彼此连接的多个电控制单元。在图1中描绘的示例中，车辆控制***7000包括驱动***控制单元7100、车身***控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和整合控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是与诸如控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)等之类的任意标准兼容的车载通信网络。

各控制单元中包括：微型计算机，其根据各种程序执行算术处理；存储部，其存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标设备。控制单元中的每个还包括：网络接口(I/F)，其用于经由通信网络7010执行与其它控制单元的通信；以及通信I/F，其用于通过有线通信或无线电通信与车辆内和车辆外的设备、传感器等执行通信。图1中图示的整合控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微型计算机、通信I/F、存储部等。

驱动***控制单元7100按照各种程序控制与车辆的驱动***相关的设备的操作。例如，驱动***控制单元7100用作用于诸如内燃机、驱动电机等之类的产生车辆驱动力的驱动力产生设备、用于将驱动力传输到车轮的驱动力传输机构、用于调整车辆转向角的转向机构、用于产生车辆制动力的制动设备等的控制设备。驱动***控制单元7100可以具有作为防抱死制动***(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动***控制单元7100与车辆状态检测部7110连接。例如，车辆状态检测部7110包括检测车身的轴向旋转移动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮旋转速度等的传感器中的至少一种。驱动***控制单元7100使用从车辆状态检测部7110输入的信号来执行算术处理，并控制内燃机、驱动电机、电动转向设备、制动设备等。

车身***控制单元7200按照各种程序控制提供给车身的各种设备的操作。例如，车身***控制单元7200用作用于无钥匙进入***、智能钥匙***、电动车窗设备或诸如前照灯、倒车灯、制动灯、转向灯、雾灯等之类的各种灯的控制设备。在这种情况下，从替代钥匙的移动设备发送的无线电波或各种开关的信号可以被输入到车身***控制单元7200。车身***控制单元7200接收输入的这些无线电波或信号，并控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300按照各种程序控制作为用于驱动电机的电力供应源的二次电池7310。例如，电池控制单元7300被供应来自包括二次电池7310的电池设备的关于电池温度、电池输出电压、电池剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并执行用于调节二次电池7310的温度的控制或控制被设置用于电池设备的冷却设备等。

车辆外部信息检测单元7400检测关于包括车辆控制***7000的车辆外部的信息。例如，车辆外部信息检测单元7400与成像部7410和车辆外部信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机中的至少一种。例如，车辆外部信息检测部7420包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制***7000的车辆周边的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一种。

例如，环境传感器可以是检测雨的降雨传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器中的至少一种。周边信息检测传感器可以是超声传感器、雷达设备和LIDAR设备(光检测和测距设备、或激光成像检测和测距设备)中的至少一种。成像部7410和车辆外部信息检测部7420中的每个可以被设置为独立的传感器或设备，或者可以被设置为其中整合了多个传感器或设备的设备。

图2描绘了成像部7410和车辆外部信息检测部7420的安装位置的示例。例如，成像部7910、7912、7914、7916和7918设置在车辆7900的前鼻、后视镜、后保险杠和的后门上的位置或车辆内部内的挡风玻璃上部部分上的位置中的至少一种处。设置于前鼻的成像部7910和设置于车辆内部内的挡风玻璃上部部分的成像部7918主要获得车辆7900前方的图像。设置于后视镜的成像部7912和7914主要获得车辆7900侧面的图像。设置于后保险杠或后门的成像部7916主要获得车辆7900后方的图像。设置于车辆内部内的挡风玻璃上部部分的成像部7918主要用于检测前车、行人、障碍物、信号、交通标志、车道等。

顺便提及，图2描绘了相应成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置于前鼻的成像部7910的成像范围。成像范围b和c分别表示设置于后视镜的成像部7912和7914的成像范围。成像范围d表示设置于后保险杠或后门的成像部7916的成像范围。例如，可以通过叠加由成像部7910、7912、7914和7916成像的图像数据来获得从上方观察到的车辆7900的鸟瞰图像。

例如，设置于车辆7900的前部、后部、侧部和拐角以及车辆内部内的挡风玻璃上部部分的车辆外部信息检测部7920、7922、7924、7926、7928和7930可以是超声传感器或雷达设备。例如，设置于车辆7900的前鼻、后保险杠、车辆7900的后门和车辆内部内的挡风玻璃上部部分的车辆外部信息检测部7920、7926和7930可以是LIDAR设备。这些车辆外部信息检测部7920至7930主要用于检测前车、行人、障碍物等。

返回图1，将继续描述。车辆外部信息检测单元7400使成像部7410对车辆外部的图像进行成像，并接收成像的图像数据。此外，车辆外部信息检测单元7400从与车辆外部信息检测单元7400连接的车辆外部信息检测部7420接收检测信息。在车辆外部信息检测部7420是超声传感器、雷达设备或LIDAR设备的情况下，车辆外部信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。基于接收到的信息，车辆外部信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、路面上的字符等之类的物体的处理，或检测与其的距离的处理。车辆外部信息检测单元7400可以基于接收到的信息来执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于接收到的信息来计算与车辆外部物体的距离。

另外，基于接收到的图像数据，车辆外部信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或检测与其的距离的处理。车辆外部信息检测单元7400可以使接收到的图像数据经历诸如失真校正、对准等之类的处理，并组合由多个不同成像部7410成像的图像数据，以生成鸟瞰图像或全景图像。车辆外部信息检测单元7400可以使用由包括不同成像部分的成像部7410成像的图像数据执行视点转换处理。

车辆内部信息检测单元7500检测关于车辆内部的信息。例如，车辆内部信息检测单元7500与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等中，并检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车辆内部信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。车辆内部信息检测单元7500可以使通过收集声音而获得的音频信号经历诸如噪声消除处理等之类的处理。

整合控制单元7600按照各种程序控制车辆控制***7000内的总体操作。整合控制单元7600与输入部7800连接。输入部7800由诸如(例如)触摸面板、按钮、麦克风、开关、杠杆等之类的能够供乘员进行输入操作的设备来实现。整合控制单元7600可以被供应通过麦克风的语音输入的语音识别而获得的数据。例如，输入单元7800可以是使用红外线或其它无线电波的远程控制设备，或支持车辆控制***7000的操作的诸如移动电话、个人数字助理(PDA)等之类的外部连接设备。输入部7800可以是例如相机。在该情况下，乘客可以用手势来输入信息。可替换地，可以输入通过检测乘员佩戴的可穿戴设备的移动而获得的数据。另外，输入部7800可以例如包括使用上述输入部7800基于乘员输入的信息等来生成输入信号并将所生成的输入信号输出到整合控制单元7600的输入控制电路等。乘员等通过操作输入部7800向车辆控制***7000输入各种数据或给出处理操作的指令。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部7690可以由诸如硬盘驱动(HDD)等之类的磁存储设备、半导体存储设备、光学存储设备或磁-光学存储设备等来实现。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与外部环境7750中存在的各种装置的通信。通用通信I/F 7620可以实现诸如全球移动通信***(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、高级LTE(LTE-A)等之类的蜂窝通信协议或诸如无线LAN(也被称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等之类的另一无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。另外，通用通信I/F 7620可以使用例如对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端或机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为了在车辆中使用而开发的通信协议的通信I/F。专用通信I/F 7630可以实现是作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE 1609的组合的诸如(例如)车辆环境中的无线接入(WAVE)之类的标准协议、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F 7630典型地将V2X通信作为包括车辆与车辆之间的通信(车辆对车辆)、道路与车辆之间的通信(车辆对基础设施)、车辆与住宅之间的通信(车辆对住宅)以及行人与车辆之间的通信(车辆对行人)中的一种或多种的概念执行。

定位部7640例如通过从全球导航卫星***(GNSS)卫星接收GNSS信号(例如，从全球定位***(GPS)卫星接收GPS信号)来执行定位，并生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话***(PHS)或具有定位功能的智能电话之类的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电站发送的无线电波或电磁波，由此获得关于当前位置、拥塞、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述的专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与车辆内存在的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)之类的无线通信协议来建立无线连接。另外，车内设备I/F 7660可以经由图中未描绘的连接端子(如有必要，电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)建立有线连接。例如，车内设备7760可以包括乘员拥有的移动设备和可穿戴设备以及携载到车辆中或附接到车辆的信息设备中的至少一种。车内设备7760还可以包括搜索通往任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680与通信网络7010所支持的预定协议相符地发送和接收信号等。

整合控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获得的信息，按照各种程序来控制车辆控制***7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并将控制命令输出到驱动***控制单元7100。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助***(ADAS)功能的协同控制，ADAS功能包括车辆的碰撞避免或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微型计算机7610可以执行旨在用于自动驾驶的协同控制，该协同控制通过基于所获得的关于车辆周围的信息控制驱动力产生设备、转向机构、制动设备等，使车辆在不依赖于驾驶员操作等的情况下自主地行驶。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息，生成车辆与诸如周围结构、人等之类的物体之间的三维距离信息，并生成包括关于车辆当前位置的周围的信息的本地地图信息。另外，微型计算机7610可以基于所获得的信息来预测诸如车辆碰撞、行人接近等、进入封闭道路等之类的危险，并生成警告信号。例如，警告信号可以是用于产生警告声或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到能够在视觉上或听觉上向车辆的乘员或车辆的外部通知信息的输出设备。在图1的示例中，音频扬声器7710、显示部7720和仪表板7730被图示为输出设备。显示部7720可以例如包括车载显示器和平视显示器中的至少一种。显示部7720可以具有增强现实(AR)显示功能。输出设备可以是除这些设备之外的设备，并且可以是诸如耳机、可穿戴设备(诸如，由乘员佩戴的眼镜型显示器等)、投影仪、灯等之类的另一设备。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格、图形等之类的各种形式可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并可听地输出模拟信号。

顺便提及，在图1中描绘的示例中经由通信网络7010彼此连接的至少两个控制单元可以被集成在一个控制单元中。可替换地，每个个体控制单元可以包括多个控制单元。另外，车辆控制***7000可以包括图中未描绘的另一控制单元。另外，可以将由以上描述中的控制单元之一执行的功能的部分或全部分配给另一控制单元。也就是说，只要经由通信网络7010发送和接收了信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到控制单元之一的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

另外，在本实施例中，整合控制单元7600能够针对由成像部7410捕获的图像的各像素执行用于识别诸如路面、人行道、行人和建筑物之类的属性的语义分割。

语义分割是被应用于执行物体识别的技术，也就是说，应用于基于图像中的物体匹配精确度以及以诸如各种实际物体的形状之类的特征信息为基础执行物体识别时使用的字典数据(学习数据)来识别捕获图像中的物体是什么的技术。在语义分割中，针对捕获图像的各像素执行物体识别。

[车辆控制***的功能块的配置]

图3图示了在整合控制单元7600中实现的计算机程序的功能块的配置。计算机程序可以以其中存储计算机程序的计算机可读记录介质的形式提供。记录介质的示例包括磁盘、光盘、磁光盘和闪存存储器。另外，计算机程序可以例如经由网络在不使用记录介质的情况下分发。

在本实施例中，相对于从成像部7410顺序获取的捕获图像，整合控制单元7600能够针对捕获图像的各像素执行应用于识别属性(诸如路面、人行道、行人和建筑物)的语义分割。通过正在执行的语义分割，针对捕获图像中所包括的各被摄体区域识别属性。

基于该属性，整合控制单元7600可以设置执行识别处理的频度(更新频度)和作为识别处理的目标的区域。注意的是，在处理中，相对于一系列捕获图像当中的第一捕获图像的整体执行语义分割，并且针对后续捕获图像中的各区域设置更新频度。

如图3中图示的，整合控制单元7600包括作为功能块的相对移动估计器11、投影地图生成器12、语义分割投影部13、未观察区域设置部14、区域属性关系确定部15、更新优先级地图生成器16、区域语义分割部17和语义分割合成部18。

基于由定位部7640(成像部7410)生成的关于在时间(T－1)的车辆位置的位置信息和关于在时间(T)的车辆位置的位置信息，相对移动估计器11生成车辆的相对移动量的数据(Rt)，并将所生成的数据输出到投影地图生成器12。

基于针对每对捕获图像坐标的时间(T－1)的车辆与被摄体之间距离的数据(z)(该距离是由车辆外部信息检测单元7400检测的)，并且基于从相对移动估计器11接收的相对移动量数据(Rt)，投影地图生成器12生成投影地图数据，并将所生成的数据输出到语义分割投影部13和未观察区域设置部14。

具体地，相对于针对每对捕获图像坐标的距离数据(z)，投影地图生成器12将相应的多对捕获图像坐标的所有距离数据(z)的集合(深度图像数据)变换为三维点云数据，并使用相对移动量数据(Rt)对点云数据执行坐标变换。然后，投影地图生成器12生成通过将坐标变换后获得的点云数据投影到捕获图像平面上而获得的深度图像数据。基于深度图像数据中在时间(T－1)处的图像坐标和距离数据(z)，投影地图生成器12生成指示投影源位置的投影地图数据，使用该投影地图数据将指示相对于时间(T－1)的捕获图像的各像素执行的图像识别(语义分割)结果的值投影到时间(T)的捕获图像上。

基于从投影地图生成器(12)接收的投影地图数据和时间(T－1)的语义分割结果，语义分割投影部13生成通过将语义分割结果投影到时间(T)的捕获图像上而获得的投影语义分割数据，并将所生成的数据输出到语义分割合成部18。

基于从投影地图生成器12接收的投影地图数据，未观察区域设置部14在时间(T)的捕获图像中检测其上未投影时间(T－1)的语义分割结果的区域(也就是说，其中未指示投影地图数据中的投影源位置的未观察区域)，并将指示未观察区域的数据输出到更新优先级地图生成器16。

关于捕获图像中所包括的多个区域，区域属性关系确定部15确定通过正在执行的语义分割而识别的属性之间的关系。例如，当人行道或路面的区域与行人或自行车的区域重叠时，区域属性关系确定部15确定人行道或路面上存在行人或自行车。

基于未观察区域设置部14检测到的未观察区域和由区域属性关系确定部15确定的区域属性之间的关系，更新优先级地图生成部16生成其中针对捕获图像的各区域设置语义分割的更新优先级(更新频度)的更新优先级地图。

例如，更新优先级地图生成器16对未观察区域赋予高更新优先级，对人行道上的行人的区域赋予低更新优先级，并且对路面上的行人的区域赋予高更新优先级。

基于所生成的更新优先级地图，区域语义分割部17相对于时间(T)的捕获图像的各区域执行语义分割，并将语义分割的结果输出到语义分割合成部18。

语义分割合成部18合并从语义分割投影部13接收的时间(T)的投影语义分割数据和从区域语义分割部17接收的时间(T)的区域语义分割数据，并输出相对于时间(T)的捕获图像的整体的语义分割结果的数据。

语义分割结果数据可以用于执行例如旨在实现ADAS的功能的协作控制或旨在实现例如自动驾驶的协作控制。

这些功能块(计算机程序)可以在车辆外部信息检测单元7400而非整合控制单元7600中实现。在这种情况下，整合控制单元7600基于由车辆外部信息检测单元输出的语义分割结果数据来执行用于ADAS或自动驾驶的协同控制。

[车辆控制***的操作]

接下来，描述具有上述配置的车辆控制***的操作。该操作由整合控制单元7600的诸如微型计算机7600、车载网络I/F 7680和专用通信I/F 7630之类的硬件和存储在例如存储部1690中的软件(图3中图示的相应功能块)协同工作来执行。

图4是图示由车辆控制***执行的图像识别处理的流程的流程图。

如图中图示的，首先，相对移动估计器11获取关于时间(T－1)的车辆位置的位置信息和关于时间(T)的车辆位置的位置信息(步骤101)，并估计从时间(T－1)到时间(T)的车辆(成像部)的相对移动的距离(步骤102)。

随后，投影地图生成器12获取时间(T－1)的捕获图像中的车辆与被摄体之间距离的数据(步骤103)，并基于距离数据和相对移动距离的数据来生成投影地图数据(步骤104)。

随后，基于该投影地图数据，未观察区域设置部14计算包括在时间(T)的捕获图像中并且通过将时间(T)的捕获图像与时间(T－1)的捕获图像进行比较而获得的未观察区域(步骤105)，并生成其中为未观察区域赋予高更新优先级的更新优先级地图(步骤106)。

随后，基于投影地图数据，语义分割投影部13将时间(T－1)的语义分割结果投影到时间(T)的捕获图像上(步骤107)。

图5图示了使用投影地图数据的投影处理。在图的(B1)和(B2)中以及在后续的图中，由灰度不同的阴影表示的区域各自指示由正在执行的语义分割执行的识别的结果。换句话说，这表明相对于以相同颜色表示的部分识别相同属性。

假设相对于时间T＝0的输入帧(B0)的所有像素，已经从位置信息和关于距离的信息中确定当在时间T＝0行进通过图的(A1)中指示的点的车辆在时间T＝1移动到图的(A2)中指示的点时，输入帧(B0)的像素对应于时间T＝1的输入帧的像素中的哪一个，如图中图示。

在这种情况下，相对于时间T＝1的输入帧的语义分割的结果(B1)被投影到时间T＝1的输入帧的整个区域上，如图的(B2)所图示。因此，相对于时间T＝1的输入帧执行的语义分割的冗余处理减少，计算量减少，并且识别精度(稳定性)提高。

图6图示了计算未观察区域的处理。当在T＝0行进通过图的(A1)中指示的点的车辆在时间T＝1移动到图的(A2)中指示的点时，在时间T＝1的输入帧中出现了相对于时间T＝0的输入帧(B0)的语义分割的结果(B1)未被投影到其上的未观察区域R，如图的(B2)所图示。这与上述图5的情况不同。

如上所述，取决于由相机捕获的图像的构图，所有语义分割结果都可以被投影到下一帧上，或者在下一帧中出现语义分割结果的一部分未被投影到其上的未观察区域。

返回图4，区域属性关系确定部15以基于投影地图数据的投影语义分割数据为基础来确定捕获图像中的多个区域的属性之间的关系(步骤108)。

随后，更新优先级地图生成器16基于所确定的区域属性之间的关系来生成更新优先级地图(步骤109)。

图7是用于描述确定区域属性关系的处理和生成更新优先级地图的处理的示图。

当在图的(A)中图示的时间(T－1)的语义分割结果被作为在图的(B)中图示的时间(T)的语义分割结果投影时，区域属性关系确定部15确定在捕获图像中行人的区域和人行道的区域在左侧重叠，并且还确定在捕获图像中行人的区域和路面在右侧重叠。

在这种情况下，人行道上的行人和自行车预计不会处于非常危险的状态。因此，更新优先级地图生成器16为人行道上的行人和自行车的区域赋予低更新优先级，如图的(C)所图示。

另一方面，路面上的行人和自行车预计会处于危险状态。因此，更新优先级地图生成器16为路面上的行人和自行车的区域赋予高更新优先级。注意的是，在图的(C)中图示的更新优先级地图和后续的图中，灰色越深，表明更新优先级越高。

此外，更新优先级地图生成器16可以为人行道或路面的区域与除其区域之外的区域之间的边界的区域赋予高更新优先级，因为边界区域可以是视线之外的位置，并且另一物体可能突然跑到边界区域之外。

另外，更新优先级地图生成器16不限于基于两个区域的属性之间的关系来生成更新优先级地图，并且可以基于三个或更多个区域的属性之间的关系来生成更新优先级地图。

例如，更新优先级地图生成器16可以为位于路面上汽车的区域周围的行人和自行车的区域赋予高更新优先级。原因在于，汽车有可能将为了避开行人和自行车而改变其移动。

另外，更新优先级地图生成器16可以为其中路面上的行人和自行车彼此接近的区域赋予高更新优先级。原因在于，行人和自行车有可能将为了避开另一行人和另一自行车而改变它们的移动。

图8是图示确定区域属性关系的处理和生成更新优先级地图的处理的更详细流程的流程图。另外，图9图示了为了设置更新优先级而存储在例如存储部7690中的优先级表的示例。

相对于通过正在执行的语义分割而识别的所有区域，区域属性关系确定部15在上述步骤108中重复确定位于所识别区域周围的区域的属性的处理，如图所图示。

然后，在步骤109中，相对于已经确定了其相应属性的所有区域，更新优先级地图生成器16参照图9中图示的优先级表，并基于区域属性与周围区域属性之间的关系来设置已经确定了其属性的各区域的更新优先级。

在图9中图示的优先级表中，所关注区域的属性是行人，其中，当周围区域的属性是人行道时被赋予低优先级，而当周围区域的属性是路面时被赋予高优先级。另外，当除了路面之外，还检测到汽车或行人作为周围区域的属性时，赋予更高优先级。这种情况下的优先级对应于危险程度(例如，发生事故的机会)。

返回图4，更新优先级地图生成器16合成在上述步骤106中基于未观察区域生成的更新优先级地图与上述步骤109中基于区域属性之间的关系生成的更新优先级地图(步骤110)。

图10图示了如何合成更新优先级地图。假设根据图中的(A)中图示的语义分割结果，基于未观察区域获得图的(B)中图示的更新优先级地图，并且基于区域属性之间的关系获得图的(C)中图示的更新优先级地图。

更新优先级地图生成器16合成这两个更新优先级地图，以生成如图的(D)中图示的合成更新优先级地图。合成的结果是，由于组合了相应的更新优先级地图中的优先级的程度，为其中两个更新优先级地图中分别设置的区域可以重叠的区域赋予高优先级。

这里，在基于未观察区域的更新优先级地图中，更新优先级地图生成器16可以在合成之前设置比检测到的未观察区域略大的区域，以便提高检测精度。

另外，在基于区域属性之间的关系的更新优先级地图中，更新优先级地图生成器16可以在合成之前设置比其中例如检测到行人的区域大的区域，以便应对行人的移动。

参照图4，随后，区域语音分割部17基于通过合成获得的更新优先级地图，根据更新优先级(更新频度)相对于各区域执行语义分割处理(步骤111)。

图11图示了基于通过合成获得的更新优先级地图执行的语义分割处理的示例。

例如，当获得了图的(A)中图示的更新优先级地图时，区域语义分割部17设置如图的(B)中图示的高优先级区域的外接矩形，并相对于外接矩形的区域执行语义分割。

如图的(C)中图示的，当区域语义分割部17考虑到计算资源确定了即使相对于所有外接矩形执行了处理也不会出现延迟时，区域语义分割部17相对于所设置的外接矩形的所有区域执行语义分割。

另一方面，如图的(D)和(E)中图示的，当考虑到计算资源确定了即使相对于所有外接矩形执行了处理也会出现延迟时，可以从语义分割目标中排除低更新优先级的区域。

返回图4，最后，语义分割合成部18合成通过投影获得的时间T的语义分割结果(步骤107)与相对于区域执行的语义分割的结果(步骤111)，并输出合成语义分割数据。然后，终止该一系列的语义分割处理(步骤112)。

如上所述，根据本实施例，车辆控制***7000的整合控制单元7600并没有相对于所获取的各捕获图像(帧)等同地执行识别处理，而是基于图像中区域的属性来设置执行语义分割处理的频度。这使得可以消除冗余处理并减少计算量。

[变形例]

本技术不限于下述实施例，并且可以在不脱离本技术的范围的情况下对其进行各种修改。

在上述实施例中，投影地图生成器12基于针对捕获图像的每对坐标的车辆与被摄体之间距离的数据(z)和车辆的相对移动量的数据(Rt)来生成投影地图数据。可替换地，投影地图生成器12可以使用时间(T－1)的帧与时间(T)的帧之间的光流或块匹配来生成投影地图。

在上述实施例中，区域属性关系确定部15和更新优先级地图生成器16基于区域属性之间的关系来设置更新优先级，但也可以基于各区域本身的属性来设置更新优先级。例如，可以为信号或符号的区域赋予低更新优先级。考虑到移动速度，与行人的区域相比，可以为自行车的区域赋予更高的更新优先级，而与自行车的区域相比，可以为汽车的区域赋予更高的更新优先级。

另外，更新优先级地图生成器16合成基于未观察区域的更新优先级地图与基于区域属性之间的关系的更新优先级地图，以生成用于执行语义分割的更新优先级地图。作为两个更新优先级地图的补充或者作为两个更新优先级地图中的一个的替代，更新优先级地图生成器16可以使用利用另一参数生成的更新优先级地图。图12至图14是用于描述那些更新优先级地图的示图。

更新优先级地图生成器16可以根据捕获图像中的区域位置来设置更新优先级。

例如，如图12中图示的，相对于图的(A)中图示的输入帧，更新优先级地图生成器16可以为图像中的与车辆行进方向对应的更靠近中心部分的区域赋予较高的更新优先级，可以为图像中的与车辆行进方向不对应的更靠近端部部分的区域赋予较低的更新优先级，并可以生成图的(B)中图示的更新优先级地图。

此外，例如，与图像的下部部分相比，更新优先级地图生成器16可以为图像的上部部分赋予更高的更新优先级。

另外，更新优先级地图生成器16可以根据车辆的移动(行进)速度并根据捕获图像中的区域位置来设置更新优先级。

例如，讨论了如图13中图示的获取了图的(A)中图示的输入帧的情况。当车辆正以高速移动(例如以80km/h或更高的阈值速度行进)时，更新优先级地图生成器16为图像的中心部分的区域赋予高更新优先级，而为图像的端部部分赋予低更新优先级，如图的(B)中所图示。原因是在这种情况下，对于驾驶员而言向前看通常比环顾周围区域更重要。

另一方面，当车辆正以低速移动(例如，以30km/h或更低的阈值速度行进)时，更新优先级地图生成器16为图像的中心部分的区域赋予低更新优先级，而为图像的端部部分的区域赋予低更新优先级，如图的(C)中所图示。原因是在这种情况下，对于驾驶员而言环顾周围区域通常比向前看更重要。

另外，更新优先级地图生成器16可以根据捕获图像中的被摄体与车辆之间的距离(z)来设置更新优先级。

例如，如图14中图示的，当相对于图的(A)中图示的输入帧获得图的(B)中图示的深度图时，更新优先级地图生成器16可以为位置更靠近车辆的被摄体的区域赋予更高的更新优先级，并且可以为位置更远离车辆的被摄体的区域赋予更低的更新优先级，如图的(C)所图示。

在上述实施例中，更新优先级地图生成器16可以为捕获图像中的其中通过正在执行的语义分割而执行的属性识别的结果可靠性低的区域或者为捕获图像中的其中属性未被正在执行的语义分割识别的区域赋予高更新优先级。

因此，更新优先级地图生成器16执行侧重于属性未知的区域的识别处理。这使得可以增强随后由于例如图像捕获构图的改变而识别属性的可能性。

在上述实施例中，区域语义分割部17不相对于捕获图像的整体执行语义分割，而是仅相对于由更新优先级地图生成器16设置的区域执行语义分割。然而，区域语义分割部17可以周期性相对于捕获图像的所有区域执行语义分割。这导致覆盖由针对各区域执行的部分识别处理引起的误差的周期性补充。

图15图示了在这种情况下相对于所有区域执行语义分割(下文中被称为全区域处理)的示例。图的(A)图示了当不执行上述实施例中的周期性全区域处理时执行的时间序列处理的示例。另一方面，当周期性执行全区域处理时，存在长延迟，但在执行全区域处理之后获得准确的识别结果，如图的(B)中所图示。

另外，区域语义分割部17可以周期性执行全区域处理，并且当相对于根据更新优先级选择的有限区域执行语义分割时许可延迟，如图的(C)所图示。这导致延迟，但当相对于有限区域执行语义分割时，可以相对于执行识别所必需的所有区域执行处理，而没有由于计算资源而省略处理。

这里，可料想到用于执行全区域处理的各种触发机制。

区域语义分割部17可以在一个未观察区域或多个未观察区域(其上未使用投影地图执行投影的一个区域或多个区域)的面积的比例等于或大于预定比例时执行全区域处理。当一个未观察区域或多个未观察区域的面积大时，相对于有限区域执行的全区域处理和语义分割之间的计算量差异小。因此，当区域语义分割部17执行全部区域处理时，这使得可以在抑制计算量增加的同时提高识别精度。

区域语义分割部17可以在由车辆状态检测部7110检测到的车辆转向角等于或大于预定角度时执行全区域处理。可料想到，当检测到大转向角时，图像捕获目标场景会发生大变化并且未观察区域将增加。因此，当区域语义分割部17在这种情况下执行全区域处理时，这使得可以消除专门检测未观察区域所必需的计算量，并提高识别精度。

区域语义分割部17可以在车辆正在移动通过预定点时执行全区域处理。由定位部7640获取的GPS信息和地图信息被用作位置信息。

例如，区域语义分割部17可以在区域语义分割部17检测到车辆正在坡道上或下行进时执行全区域处理，该坡道的倾斜度表现为等于或大于预定值的值。可料想到，在倾斜度陡的上坡道或下坡道上，图像捕获目标场景会发生大变化并且未观察区域将增加。因此，当区域语义分割部17在这种情况下执行全区域处理时，这使得可以消除专门检测未观察区域所必需的计算量，并提高识别精度。

此外，当车辆进入隧道或离开隧道时，区域语义分割部17可以执行全区域处理，因为在这种情况下图像捕获目标场景也会有大变化。

此外，区域语义分割部17可以在捕获图像中的其中通过正在执行的语义分割而执行的属性识别的结果可靠性低的一个区域或多个区域的面积的比例或捕获图像中的其中属性未被正在执行的语义分割识别的一个区域或多个区域的面积的比例等于或大于预定比例(例如，50％)时，执行全区域处理。

在上述实施例中，区域语义分割部17设置如图11中图示的高优先级区域的外接矩形，并相对于外接矩形的区域执行语义分割。然而，用于设置语义分割目标区域的方法不限于此。例如，区域语义分割部17可以仅将被估计为执行语义分割后的计算所必需的像素的区域而非沿着外接矩形切出的区域设置为语义分割目标。

换句话说，当对输入图像执行多次卷积运算以获得最终语义分割结果(通过跟随上部部分中的箭头执行的处理)时，如果如图16的(A)中图示的，为了计算最终结果所必需的区域，通过跟随卷积运算的反向运算仅对必要区域执行操作(通过跟随下部部分中的箭头执行的处理)，就足够了。

因此，当获得了图的(B)中图示的更新优先级地图时，区域语义分割部17可以执行反向计算，以获得有必要作为最终结果获得的由更新优先级地图指示的高优先级区域的区域，可以如图的(C)中图示地设置语义分割目标区域，并可以相对于所设置的区域执行语义分割。

在这种情况下，区域语义分割部17还可以在考虑到计算资源已经确定将出现延迟时从语义分割目标中排除低优先级区域。

在上述实施例中，已经描述了其中车辆(汽车)是其上安装有用作信息处理装置的整合控制单元7600的移动体的示例。然而，其上安装有能够执行与整合控制单元7600执行的信息处理类似的信息处理的信息处理装置的移动体不限于车辆。例如，信息处理装置可以被设置为安装在诸如摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、工程机械或农用机械(拖拉机)之类的任何类型的移动体上的装置。在这种情况下，根据移动体，不同地识别上述属性(诸如，行人、车辆、路面和人行道)之间的关系。

另外，其上安装有上述信息处理装置的目标不限于移动体。例如，本技术相对于由监视相机捕获的图像也是适用的。在这种情况下，不执行在上述实施例中已经描述的与车辆移动关联的处理，但可以随着由监视相机执行的平移(panning)、倾斜和变焦来改变图像捕获目标。因此，当除了基于正在生成的区域的属性的更新优先级地图之外还生成基于未观察区域的更新优先级地图时本技术也是适用的。

[其它]

本技术还可以采取以下配置。

(1)一种信息处理装置，包括：

图像处理器，其执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

控制器，其基于所识别的属性来针对预定区域设置执行识别处理的频度。

(2)根据(1)所述的信息处理装置，其中，

图像处理器识别捕获图像的各像素的属性，并且

控制器针对各个像素设置执行识别处理的频度。

(3)根据(2)所述的信息处理装置，其中，

图像处理器将相对于先前捕获图像的各像素执行的识别处理的结果投影到当前捕获图像的对应的各像素，并且

控制器针对作为投影的结果而识别结果相同的区域将执行频度设置为低。

(4)根据(3)所述的信息处理装置，其中，

图像处理器使用距离信息和位置信息来投影识别处理的结果，距离信息是关于先前捕获图像和当前捕获图像中在预定区域中的被摄体与信息处理装置之间的距离的信息，位置信息是关于在获取先前捕获图像时以及在获取当前捕获图像时信息处理装置的位置的信息。

(5)根据(3)所述的信息处理装置，其中，

图像处理器在先前捕获图像与当前捕获图像之间对于预定区域使用光流或块匹配投影识别处理的结果。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，

控制器根据对于捕获图像中包括的多个区域所识别的属性之间的关系来设置执行识别处理的频度。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，

控制器根据捕获图像中的预定区域的位置来设置执行识别处理的频度。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，

控制器根据预定区域中的被摄体与信息处理装置之间的距离来设置执行识别处理的频度。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中，

控制器根据安装有信息处理装置的移动体的移动速度和位置来设置执行识别处理的频度。

(10)根据(3)至(9)中任一项所述的信息处理装置，其中，

控制器针对当前捕获图像中的区域当中的无法被从先前捕获图像投影的区域，将识别处理的执行频度设置为高。

(11)根据(1)至(10)中任一项所述的信息处理装置，其中，

控制器针对识别处理的结果的可靠度低的区域或根据识别处理无法识别属性的区域，将执行识别处理的频度设置为高。

(12)根据(1)所述的信息处理装置，其中，

图像处理器按一定周期相对于捕获图像中的所有区域执行识别处理。

(13)根据(12)所述的信息处理装置，其中，

图像处理器将相对于先前捕获图像的各像素执行的识别处理的结果投影到当前捕获图像的对应的各像素，并且

当无法投影的区域的面积的比例等于或大于预定比例时，图像处理器相对于捕获图像中的所有区域执行识别处理。

(14)根据(12)或(13)所述的信息处理装置，其中，

当安装有信息处理装置的移动体的转向角等于或大于预定角度时，图像处理器相对于捕获图像中的所有区域执行识别处理。

(15)根据(12)至(14)中任一项所述的信息处理装置，其中，

当安装有信息处理装置的移动体正在移动通过预定位置时，图像处理器相对于捕获图像中的所有区域执行识别处理。

(16)根据(12)至(15)中任一项所述的信息处理装置，其中，

当识别处理的结果可靠度低的区域或无法识别属性的区域的比例等于或大于预定比例时，图像处理器相对于捕获图像中的所有区域执行识别处理。

(17)一种图像处理方法，包括：

执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

基于所识别的属性来针对预定区域设置执行识别处理的频度。

(18)一种使信息处理装置执行包括以下步骤的处理的程序：

执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

基于所识别的属性来针对预定区域设置执行识别处理的频度。

参考符号列表

11 相对移动估计器

12 投影地图生成器

13 语义分割投影部

14 未观察区域设置部

15 区域属性关系确定部

16 更新优先级地图生成器

17 区域语义分割部

18 语义分割合成部

7000 车辆控制***

7400 车辆外部信息检测单元

7600 整合控制单元

7610 微型计算机

7680 车载网络I/F

7690 存储部

Claims (18)

1.一种信息处理装置，包括：

图像处理器，所述图像处理器执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

控制器，所述控制器基于所识别的属性来针对所述预定区域设置执行所述识别处理的频度。

2.根据权利要求1所述的信息处理装置，其中，

所述图像处理器识别所述捕获图像的各像素的所述属性，并且

所述控制器针对各个所述像素设置执行所述识别处理的频度。

3.根据权利要求2所述的信息处理装置，其中，

所述图像处理器将相对于先前捕获图像的各像素执行的所述识别处理的结果投影到当前捕获图像的对应的各像素，并且

所述控制器针对作为投影的结果而识别结果相同的区域将执行频度设置为低。

4.根据权利要求3所述的信息处理装置，其中，

所述图像处理器使用距离信息和位置信息来投影所述识别处理的结果，所述距离信息是关于所述先前捕获图像和所述当前捕获图像中在所述预定区域中的被摄体与所述信息处理装置之间的距离的信息，所述位置信息是关于在获取所述先前捕获图像时以及在获取所述当前捕获图像时所述信息处理装置的位置的信息。

5.根据权利要求3所述的图像处理装置，其中，

所述图像处理器在所述先前捕获图像与所述当前捕获图像之间对于所述预定区域使用光流或块匹配投影所述识别处理的结果。

6.根据权利要求1所述的信息处理装置，其中，

所述控制器根据对于所述捕获图像中包括的多个区域所识别的属性之间的关系来设置执行所述识别处理的频度。

7.根据权利要求1所述的信息处理装置，其中，

所述控制器根据所述捕获图像中的所述预定区域的位置来设置执行所述识别处理的频度。

8.根据权利要求1所述的信息处理装置，其中，

所述控制器根据所述预定区域中的被摄体与所述信息处理装置之间的距离来设置执行所述识别处理的频度。

9.根据权利要求1所述的信息处理装置，其中，

所述控制器根据安装有所述信息处理装置的移动体的移动速度和所述位置来设置执行所述识别处理的频度。

10.根据权利要求3所述的图像处理装置，其中，

所述控制器针对所述当前捕获图像中的区域当中的无法被从所述先前捕获图像投影的区域，将所述识别处理的执行频度设置为高。

11.根据权利要求1所述的信息处理装置，其中，

所述控制器针对所述识别处理的结果的可靠度低的区域或根据所述识别处理无法识别属性的区域，将执行所述识别处理的频度设置为高。

12.根据权利要求1所述的信息处理装置，其中，

所述图像处理器按一定周期相对于所述捕获图像中的所有区域执行所述识别处理。

13.根据权利要求12所述的信息处理装置，其中，

所述图像处理器将相对于先前捕获图像的各像素执行的所述识别处理的结果投影到当前捕获图像的对应的各像素，并且

当无法投影的区域的面积的比例等于或大于预定比例时，所述图像处理器相对于所述捕获图像中的所有区域执行所述识别处理。

14.根据权利要求12所述的信息处理装置，其中，

当安装有所述信息处理装置的移动体的转向角等于或大于预定角度时，所述图像处理器相对于所述捕获图像中的所有区域执行所述识别处理。

15.根据权利要求12所述的信息处理装置，其中，

当安装有所述信息处理装置的移动体正在移动通过预定位置时，所述图像处理器相对于所述捕获图像中的所有区域执行所述识别处理。

16.根据权利要求12所述的信息处理装置，其中，

当所述识别处理的结果可靠度低的区域或无法识别属性的区域的比例等于或大于预定比例时，所述图像处理器相对于所述捕获图像中的所有区域执行所述识别处理。

17.一种图像处理方法，包括：

执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

基于所识别的属性来针对所述预定区域设置执行所述识别处理的频度。

18.一种使信息处理装置执行包括以下步骤的处理的程序：

执行识别顺序获取的由相机捕获的图像中包括的预定区域的属性的识别处理；以及

基于所识别的属性来针对所述预定区域设置执行所述识别处理的频度。

Images