CN117789159A - 物体检知装置、物体检知方法及存储介质 - Google Patents

物体检知装置、物体检知方法及存储介质 Download PDF

Info

Publication number
CN117789159A
CN117789159A CN202311160882.3A CN202311160882A CN117789159A CN 117789159 A CN117789159 A CN 117789159A CN 202311160882 A CN202311160882 A CN 202311160882A CN 117789159 A CN117789159 A CN 117789159A
Authority
CN
China
Prior art keywords
partial region
partial
object detection
detection device
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311160882.3A
Other languages
English (en)
Inventor
土屋成光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN117789159A publication Critical patent/CN117789159A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供能在减轻处理负荷的同时适当进行物体检知的物体检知装置、物体检知方法及存储介质。物体检知装置具备：取得部，取得将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的拍摄图像；低分辨率图像生成部，生成使拍摄图像的画质降低的低分辨率图像；定义部，定义分别包括部分区域的多个部分区域组，多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，对象区域是将低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在纵向上不重叠的方式截取得到的；提取部，针对多个部分区域组各自所包含的部分区域，导出将与周边的部分区域之间的特征量的差异总计而得的总计值，基于总计值提取着眼部位。

Description

物体检知装置、物体检知方法及存储介质
技术领域
本发明涉及物体检知装置、物体检知方法及存储介质。
背景技术
以往，公开了一种如下行驶障碍检知***的发明：将通过拍摄而得到的道路上等的监视区域中的物体的区域分割为区块，针对每个区块提取局部特征量，基于所提取的局部特征量来判定有无障碍物(专利文献1)。
在先技术文献
专利文献
专利文献1：日本特开2019-124986号公报
发明内容
发明要解决的课题
在以往的技术中，有时处理负荷变得过大、或者精度并不充分。
本发明是考虑这样的情况而完成的，其目的之一在于提供能在减轻处理负荷的同时适当地进行物体检知的物体检知装置、物体检知方法及存储介质。
用于解决课题的方案
本发明的物体检知装置、物体检知方法及存储介质采用了以下的结构。
(1)：本发明的一方案的物体检知装置具备：取得部，其取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；低分辨率图像生成部，其生成使所述拍摄图像的画质降低的低分辨率图像；定义部，其定义分别包括部分区域的多个部分区域组，所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取得到的；以及提取部，其针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位。
(2)：在上述(1)的方案的基础上，所述定义部以多个所述部分区域组中的、越是定义在所述低分辨率图像的近前侧的所述部分区域则所述部分区域内的像素数越多的方式定义多个所述部分区域组。
(3)：在上述(1)的方案的基础上，所述提取部针对所述多个部分区域组各自所包含的所述部分区域，将与在上下、左右及斜向上相邻的其他所述部分区域之间的特征量的差异总计而导出所述总计值。
(4)：在上述(3)的方案的基础上，所述提取部针对所述多个部分区域组各自所包含的所述部分区域，进而将上下相邻的所述部分区域彼此的特征量的差异、左右相邻的所述部分区域彼此的特征量的差异及斜向相邻的所述部分区域彼此的特征量的差异与所述总计值相加。
(5)：在上述(1)的方案的基础上，所述物体检知装置还具备高分辨率处理部，所述高分辨率处理部相对于所述拍摄图像中的所述着眼部位进行高分辨率处理，来判别路上的物体是否是移动体应该回避接触的物体。
(6)：在上述(1)的方案的基础上，所述物体检知装置被搭载于移动体，所述定义部基于所述移动体所放置的环境来变更所述部分区域的纵横比。
(7)：在上述(6)的方案的基础上，与所述移动体的速度为基准速度以下的情况相比，在所述移动体的速度大于基准速度的情况下，所述定义部将所述部分区域的纵横比变更为纵长。
(8)：在上述(6)的方案的基础上，与所述移动体的回转角为基准角度以下的情况相比，在所述移动体的回转角大于基准角度的情况下，所述定义部将所述部分区域的纵横比变更为横长。
(9)：在上述(6)的方案的基础上，与所述移动体未处于规定坡度以上的上升坡度的路面的情况相比，在所述移动体处于规定坡度以上的上升坡度的路面的情况下，所述定义部将所述部分区域的纵横比变更为纵长。
(10)：在上述(6)的方案的基础上，与所述移动体未处于规定坡度以上的下降坡度的路面的情况相比，在所述移动体处于规定坡度以上的下降坡度的路面的情况下，所述定义部将所述部分区域的纵横比变更为横长。
(11)：在上述(1)的方案的基础上，所述定义部用横长的矩形形状来定义所述部分区域。
(12)：在上述(1)的方案的基础上，所述提取部将低于下限值的所述总计值视为零而提取所述着眼部位。
(13)：本发明的其他方案的物体检知方法使用计算机来执行，其中，所述物体检知方法包括如下处理：取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；生成使所述拍摄图像的画质降低的低分辨率图像；定义分别包括部分区域的多个部分区域组；以及针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位，所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取而得到的。
(14)：本发明的其他方案的存储介质存储有由计算机执行的程序，其中，所述程序使计算机执行如下处理：取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；生成使所述拍摄图像的画质降低的低分辨率图像；定义分别包括部分区域的多个部分区域组；以及针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位，所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取而得到的。
发明效果
根据上述(1)～(14)的方案，能够在减轻处理负荷的同时适当地进行物体检知。
附图说明
图1是示出物体检知装置100的结构和周边设备的一例的图。
图2是示意性地示出物体检知装置100的各部分的功能的图。
图3是用于说明掩蔽(mask)区域决定部130、网格(grid)定义部140及提取部150的处理的图。
图4是用于说明特征量差异计算部152、总计部154及加法运算部156的处理的图。
图5是示出周边网格的定义例的图。
图6是示出选择比较目标网格和比较源网格的规则的一例的图。
图7是示出选择比较目标网格和比较源网格的规则的另一例的图。
图8是用于说明加法运算部156及合成部158的处理的图。
图9是用于说明着眼部位提取部160的处理的图。
附图标记说明
10相机
100物体检知装置
110取得部
120低分辨率图像生成部
130掩蔽区域决定部
140网格定义部
150提取部
152特征量差异计算部
154总计部
156加法运算部
158合成部
160着眼部位提取部
170高分辨率处理部
具体实施方式
以下，参照附图对本发明的物体检知装置、物体检知方法及存储介质的实施方式进行说明。物体检知装置例如搭载于移动体。移动体例如是四轮车辆、双轮车辆、微型移动体、机器人等自行移动的物体、无人机等飞行物、或者通过载置于自行移动的移动体或由人搬运而移动的智能手机等可移动型装置。在以下的说明中，移动体设为四轮车辆，并将移动体称作“车辆”进行说明。物体检知装置不限于搭载于移动体的装置，也可以是基于由定点观测用相机、智能手机的相机拍摄出的拍摄图像进行以下说明的处理的装置。
[结构]
图1是示出物体检知装置100的结构和周边设备的一例的图。物体检知装置100与相机10、行驶控制装置200、报告装置210等进行通信。
相机10安装于车辆的前玻璃的背面等，对车辆的行进方向的至少路上进行拍摄，并将拍摄图像向物体检知装置100输出。需要说明的是，在相机10与物体检知装置100之间也可以存在传感器融合装置等，但关于此，省略说明。相机10是“将移动体能够通行的面相对于所述面具有倾斜度”地拍摄的装置的一例。关于移动体，如前所述。对于“移动体能够通行的面”，除了存在于道路(路上)、公开空地等室外的面之外，当移动体在室内移动的情况下也可以包括走廊、房间的地板面等。“相对于所述面具有倾斜度”指不是通过飞行物从高空俯视正下方进行拍摄得到的。即，具有规定角度以上的倾斜度地进行了拍摄。具体而言，例如是指从低于5[m]的高度以拍摄图像内包含地平面的方式进行拍摄。换言之，“相对于所述面具有倾斜度”是指从例如低于5[m]的高度以俯角小于20度左右的角度进行拍摄。相机10可以搭载于与“面”接触而移动的移动体，也可以搭载于在低空飞行的无人机等。
行驶控制装置200例如是使车辆自主地行驶的自动驾驶控制装置、进行车间距离控制、自动制动控制、自动车道变更控制等的驾驶支援装置等。报告装置210是用于相对于车辆的乘员输出信息的扬声器、振动器、发光装置、显示装置等。
物体检知装置100例如具备取得部110、低分辨率图像生成部120、网格定义部140、提取部150、以及高分辨率处理部170。提取部150具备特征量差异计算部152、总计部154、加法运算部156、合成部158、以及着眼部位提取部160。这些构成要素例如通过CPU(CentralProcessing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部可以通过LSI(Large Scale Integration)、ASIC(Application Specific IntegratedCircuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部；circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装。
图2是示意性地示出物体检知装置100的各部分的功能的图。以下，也一边参照图2一边对物体检知装置100的各部分进行说明。取得部110从相机10取得拍摄图像。取得部110将取得的拍摄图像(的数据)保存于RAM(Random Access Memory)等工作存储器。
低分辨率图像生成部120相对于拍摄图像进行间隔剔除处理等，生成使画质比拍摄图像降低的低分辨率图像。低分辨率图像例如是像素数比拍摄图像少的图像。
掩蔽区域决定部130决定网格定义部140以下的结构不设为处理对象的掩蔽区域。详细情况后述。
网格定义部140在低分辨率图像中定义多个部分区域组。“定义”是指相对于低分辨率图像决定边界线。多个部分区域组分别是通过从低分辨率图像截取多个部分区域(以下，网格)而定义的。网格例如以矩形形状无间隙地设定。网格例如是正方形，但也可以是横长的长方形。另外，如后所述，网格定义部140也可以基于所述移动体所放置的环境而变更网格的尺寸或纵横比。网格定义部140以部分区域组中的、越是定义在低分辨率图像的近前侧(图像中的下侧)的网格则所述网格内的像素数越多(也就是说变大)的方式定义多个部分区域组。以下，有时将多个部分区域组称作第一部分区域组PA1、第二部分区域组PA2、…第k部分区域组PAk。关于网格定义部140的详细功能将在后文叙述。
提取部150针对多个部分区域组各自所包含的网格，导出将与周边网格之间的特征量的差异总计而得的总计值，在多个部分区域组间对总计值进行加法运算，提取着眼部位(在图中为与周围的不连续部位)。关于提取部150的各部分的详细功能将在后文叙述。
高分辨率处理部170截取拍摄图像中的与着眼部位对应的部分(图中，同步截取)，对此进行高分辨率处理，判别路上的物体是否是车辆应该回避接触的物体。高分辨率处理部170例如使用从图像识别路面标示(不是车辆应该回避接触的物体的一例)和落下物(车辆应该回避接触的物体的一例)的学习完成模型，判别着眼部位所反映的图像是路面标示还是落下物，或者是不明(未学习的物体)。此时，高分辨率处理部170对在拍摄图像中的着眼部位之中进一步识别为与路面标示、落下物相当的部分缩小光圈地进行处理。
图3是用于说明掩蔽区域决定部130、网格定义部140及提取部150的处理的图。掩蔽区域决定部130例如在低分辨率图像中提取左右方向的边缘点，将呈直线状排列的边缘点相连而检测道路划分线、路肩等(白线、行驶路边界)的图像中的位置。并且，检测被左右的道路划分线等夹着、且包含图像的近前侧的关于左右方向的中心点的区域作为车辆的行驶路。接着，掩蔽区域决定部130将车辆的行驶路以外的部分(靠近比道路划分线等在远处侧相交的消失点靠上侧及比道路划分线靠左右的端部的部分)决定为掩蔽区域。网格定义部140及提取部150将掩蔽区域除外而进行处理。
网格定义部140将多个部分区域组分别定义为在每个部分区域组的对象区域中包括多个部分区域。对象区域是将掩蔽区域被除外的低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在纵向上不重叠的方式截取而得到的区域。在以下的说明中，部分区域组设为以与其他部分区域组在纵向上不重叠的方式截取而得的集合。网格定义部140如前所述将部分区域组定义为网格的像素数最大的第一部分区域组PA1、网格的像素数其次大的第二部分区域组PA2、以下按顺序到网格的像素数最少的第k部分区域组PAk为止。
以下，对特征量差异计算部152、总计部154及加法运算部156的处理进行说明。使用图4～图7说明的这些功能部的处理在首先选择一个部分区域组，并在所选择的部分区域组之中逐个选择着眼网格的基础上进行。并且，若将所选择的部分区域组的全部的网格选择为着眼网格而结束处理，则选择下一个部分区域组同样地进行处理。若关于全部的部分区域组处理结束，则合成部158合成(结合)各部分区域组的处理结果，生成作为一张图像的提取对象数据PT，转交到着眼部位提取部160。需要说明的是，在定义为部分区域组与其他部分区域组局部重叠的情况下，合成部158可以对针对重叠部分的处理结果进行加法运算、或者求出平均等。
图4是用于说明特征量差异计算部152、总计部154及加法运算部156的处理的图。特征量差异计算部152针对每个比较目标网格与比较源网格的像素来计算特征量的差值。特征量例如是各分量R、G、B的亮度值，R、G、B的集合为一个像素。比较目标网格、比较源网格从着眼网格及周边网格之中选择。图5是示出周边网格的定义例的图。如图示那样，着眼网格的在上下左右斜向上相邻的网格2～9被定义为周边网格。周边网格(周边部分区域)的选择方法不限于此，可以将上下左右的网格选择为周边网格，也可以以其他规则选择周边网格。
比较目标网格和比较源网格例如在图6所示的组合之中按顺序选择。图6是示出选择比较目标网格和比较源网格的规则的一例的图。比较目标网格是着眼网格，比较源网格从网格2～9按顺序选择。比较目标网格与比较源网格的关系也可以相反。并且，总计部154针对每个像素求出特征量的差值的合计，除以网格内的像素数n来算出第一总计值V1。第一总计值V1在着眼网格相当于掩蔽区域的情况下置换为零而输出。即，特征量差异计算部152、总计部154及加法运算部156并行或者依次执行：将网格1作为比较目标网格、将网格3作为比较源网格进行处理，将网格1作为比较目标网格、将网格8作为比较源网格进行处理，将网格1作为比较目标网格、将网格5作为比较源网格进行处理，将网格1作为比较目标网格、将网格6作为比较源网格进行处理，将网格1作为比较目标网格、将网格2作为比较源网格进行处理，将网格1作为比较目标网格、将网格4作为比较源网格进行处理，将网格1作为比较目标网格、将网格7作为比较源网格进行处理，将网格1作为比较目标网格、将网格9作为比较源网格进行处理。
比较目标网格和比较源网格也可以在图7所示的组合之中按顺序选择。图7是示出选择比较目标网格和比较源网格的规则的另一例的图。比较目标网格与比较源网格的组合不限于着眼网格与周边网格的组合，也可以包括周边网格彼此的组合(特别是，上网格与下网格、左网格与右网格、左上网格与右下网格、右上网格与左下网格的组合)。
更具体而言，对特征量的差值的计算方法进行说明。作为特征量的差值的计算方法，例如考虑了以下的模式1～模式4。在以下的说明中，用i表示比较目标网格和比较源网格各自的像素的识别编号(i＝1～k；k是比较目标网格和比较源网格各自的像素数)。
(模式1)
特征量差异计算部152例如计算比较目标网格和比较源网格双方中的相同位置的像素彼此的、R分量的亮度的差值ΔRi、G分量的亮度的差值ΔGi、B分量的亮度的差值ΔBi(如前所述i＝1～k)。并且，针对每个像素求出各像素特征量Ppi＝ΔRi2+ΔGi2+ΔBi2，算出各像素特征量Ppi的最大值或平均值作为比较目标网格与比较源网格的特征量的差值。
(模式2)
特征量差异计算部152例如算出比较目标网格中的各像素的R分量的亮度的统计值(称为平均值、中央值、众数等)Raa、G分量的亮度的统计值(称为平均值、中央值、众数等)Gaa、B分量的亮度的统计值(称为平均值、中央值、众数等)Baa，算出比较源网格中的各像素的R分量的亮度的统计值(称为平均值、中央值、众数等)Rab、G分量的亮度的统计值(称为平均值、中央值、众数等)Gab、B分量的亮度的统计值(称为平均值、中央值、众数等)Bab，求出它们的差值ΔRa(＝Raa-Rab)、ΔGa(＝Gaa-Gab)、ΔBa(＝Baa-Bab)。并且，算出亮度的差值的平方和即ΔRa2+ΔGa2+ΔBa2、或者亮度的差值的平方的最大值Max(ΔRa2、ΔGa2、ΔBa2)作为比较目标网格与比较源网格的特征量的差值。
(模式3)
特征量差异计算部152例如针对比较目标网格中的各像素i，算出R分量与B分量的亮度的差值除以R、G、B各分量的亮度的和而得的第一指标值W1ai(＝(R-B)/(R+G+B))、以及R分量与G分量的亮度的差值除以R、G、B各分量的亮度的和而得的第二指标值W2ai(＝(R-G)/(R+G+B))。另外，特征量差异计算部152例如针对比较源网格中的各像素i，算出R分量与B分量的亮度的差值除以R、G、B各分量的亮度的和而得的第一指标值W1bi(＝(R-B)/(R+G+B))、以及R分量与G分量的亮度的差值除以R、G、B各分量的亮度的和而得的第二指标值W2bi(＝(R-G)/(R+G+B))。接着，特征量差异计算部152算出各像素特征量Ppi＝(W1ai-W1bi)2+(W2ai-W2bi)2。并且，特征量差异计算部152算出各像素特征量Ppi的最大值或平均值作为比较目标网格与比较源网格的特征量的差值。需要说明的是，通过将第一指标值和第二指标值这两个组合，能够表现各像素中的RGB分量的平衡。通过与上述相同的考虑方法，例如，将R、G、B各自的分量的亮度定义为各错开120度的矢量的大小，也可以与第一指标值及第二指标值的组合相同地使用矢量和。
(模式4)
特征量差异计算部152例如算出比较目标网格中的各像素的R分量的亮度的统计值(称为平均值、中央值、众数等)Raa、G分量的亮度的统计值(称为平均值、中央值、众数等)Gaa、B分量的亮度的统计值(称为平均值、中央值、众数等)Baa，算出比较源网格中的各像素的R分量的亮度的统计值(称为平均值、中央值、众数等)Rab、G分量的亮度的统计值(称为平均值、中央值、众数等)Gab、B分量的亮度的统计值(称为平均值、中央值、众数等)Bab。接着，特征量差异计算部152针对比较目标网格，算出R分量的亮度的统计值Raa与B分量的亮度的统计值Baa的差值除以R、G、B各分量的亮度的统计值的和而得的第三指标值W3a(＝(Raa-Baa)/(Raa+Gaa+Baa))、以及R分量的亮度的统计值Raa与G分量的亮度的统计值Gaa的差值除以R、G、B各分量的亮度的统计值的和而得的第四指标值W4a(＝(Raa-Gaa)/(Raa+Gaa+Baa))。同样地，特征量差异计算部152针对比较源网格，算出R分量的亮度的统计值Rab与B分量的亮度的统计值Bab的差值除以R、G、B各分量的亮度的统计值的和而得的第三指标值W3b(＝(Rab-Bab)/(Rab+Gab+Bab)、以及R分量的亮度的统计值Rab与G分量的亮度的统计值Gab的差值除以R、G、B各分量的亮度的统计值的和而得的第四指标值W4b(＝(Rab-Gab)/(Rab+Gab+Bab))。并且，特征量差异计算部152求出比较目标网格的第三指标值W3a与比较源网格的第三指标值W3b的差值ΔW3、以及比较目标网格的第四指标值W4a与比较源网格的第四指标值W4b的差值ΔW4，算出它们的平方和即ΔW32+ΔW42、或平方的最大值Max(ΔW32、ΔW42)作为比较目标网格与比较源网格的特征量的差值。
需要说明的是，如果处理对象的图像是白黑图像，则特征量差异计算部152也可以仅算出亮度值的差值作为比较目标网格与比较源网格的特征量的差值，另外，即使在处理对象的图像是RGB图像的情况下，也可以将RGB图像转换为白黑图像算出亮度值的差值作为比较目标网格与比较源网格的特征量的差值。
返回图4，加法运算部156对与着眼网格对应地求出的第一总计值V1进行加法运算而算出第二总计值V2。第二总计值V2是技术方案中的“总计值”的一例。若一边改变着眼网格一边求出第二总计值V2的处理完成，则针对每个部分区域组，生成在全部的网格设定了第二总计值V2的数据。
若生成在全部的网格设定了第二总计值V2的数据，则合成部158将这些结合而生成作为一个图像的提取对象数据PT。图8是用于说明加法运算部156及合成部158的处理的图。在图中，最小的矩形是低分辨率图像的一个像素。在此，为了简化说明，示出了第一部分区域组PA1及第二部分区域组PA2代表部分区域组，其横向的尺寸也与实际相比相当小。另外，第二总计值V2设为以成为零至1之间的值的方式在任一阶段进行归一化的值。在图示的例中，第一部分区域组PA1是由16像素构成的第一网格的集合，第二部分区域组PA2是由9像素构成的第二网格的集合。需要说明的是，作为网格的尺寸，示出了有16像素、9像素、4像素的例子，但在采用上述的模式2或模式4作为特征量的差值的计算方法的情况下，若网格的尺寸如4像素、16像素、64像素那样将一边的像素数设为2的乘方，则能够减少统计值的运算负荷。
图9是用于说明着眼部位提取部160的处理的图。着眼部位提取部160相对于处理对象数据PT，例如针对网格的尺寸相同的每个区域(也就是说针对根据是源自哪个部分区域组的数据而分割的每个区域)设定与网格的尺寸对应的搜索区域WA，提取搜索区域WA内的第二总计值V2的合计为参照值以上的搜索区域WA作为着眼部位。在该情况下，搜索区域WA例如如横2网格、纵1网格那样设定为固定尺寸。
代替于此，着眼部位提取部160也可以将搜索区域WA设定为可变尺寸，在该情况下，着眼部位提取部160也可以提取搜索区域WA内与搜索区域WA的周边网格之间的第二总计值V2的差局部最大的搜索区域WA作为着眼部位。局部最大的搜索区域WA也可以在多个部位出现。
在任一情况下，着眼部位提取部160都可以在针对低于下限值的第二总计值V2置换为零的基础上(视为零)进行上述处理。
高分辨率处理部170如前所述相对于仅使着眼部位的位置与拍摄图像吻合而得的区域进行高分辨率处理，来判别路上的物体是否是车辆应该回避接触的物体。
高分辨率处理部170的判别结果输出至行驶控制装置200和/或报告装置210。行驶控制装置200为了避免车辆与判别为“落下物”的物体(实际是图像上的区域)接触，而进行自动制动控制、自动转向控制等。报告装置210在判别为“落下物”的物体(实际是图像上的区域)与车辆的TTC(Time To Collision)低于阈值时通过各种方法输出警报。
根据以上说明的实施方式，通过具备取得对车辆的行进方向的至少路上进行拍摄而得到的拍摄图像的取得部110、生成使拍摄图像的画质降低的低分辨率图像的低分辨率图像生成部120、定义一个以上的部分区域组的网格定义部140、以及针对一个以上的部分区域组各自所包含的部分区域导出将与周边的部分区域之间的特征量的差异总计而得的总计值并基于总计值提取着眼部位的提取部150，能够在减轻处理负荷的同时将检知精度维持得较高。
假设在相对于拍摄图像直接执行特征量差异计算部152、总计部154进行的处理的情况下，若像素数变多，则处理负荷增大，相对于落下物的接近，行驶控制装置200、报告装置210的动作有可能不及时。关于这一点，在实施方式的物体检知装置100中，通过在生成低分辨率图像后进行处理，从而能够在减轻处理负荷的同时进行物体的检知。
进而，根据实施方式，网格定义部140以在多个部分区域组之间网格内的像素数相互不同的方式定义多个部分区域组，提取部150通过在多个部分区域组之间针对每个像素将总计值进行加法运算而提取着眼部位，因此能够提高相对于落下物的大小的偏差的检测性能的可能性。这是因为，在仅以低分辨率图像进行了处理的情况下，有可能由于使画质降低而导致成为无法识别落下物的存在的水平，但根据实施方式，通过上述的研究，能够期待通过任意尺寸的网格显现落下物来作为特征量。如上所述，根据实施方式的物体检知装置100，能够在减轻处理负荷的同时将检知精度维持得较高。
[关于网格定义的另一例]
网格定义部140也可以基于车辆所放置的环境变更网格的纵横比。在该情况下，必然地搜索区域WA的纵横比也同样地变更。在该情况下，物体检知装置从车速传感器、转向角传感器、横摆角速度传感器、坡度传感器等车载传感器取得以下的处理所需的各种信息。
例如，与车辆的速度V为基准速度V1以下的情况相比，在车辆的速度V大于基准速度V1的情况下，网格定义部140将网格的纵横比变更为纵长。这是因为，若速度V变大，则由于车辆产生的振动而相机10的图像在纵向上偏离的概率上升。通过将网格的纵横比变更为纵长，从而即使由于图像的偏离而与特征量的周围的差大的一组的像素纵向延伸，也能够提高可以将其伸长量收纳于网格内的概率。“将纵横比变更为纵长”也可以是在维持横向的尺寸的同时扩大纵向的尺寸、在缩小横向的尺寸的同时扩大纵向的尺寸、以及在缩小横向的尺寸的同时维持纵向的尺寸中的任一者。“将纵横比变更为横长”相反。
另外，与车辆的回转角θ为基准角度θ1以下的情况相比，在车辆的回转角θ大于基准角度θ1的情况下，网格定义部140也可以将网格的纵横比变更为横长。在此，回转角θ是将转向装置的中立位置设为零的绝对值的信息。回转角θ可以是角速度，也可以是转向角。这是因为，若车辆的回转角θ变大，则因回转行为而相机10的图像在横向上偏离的概率上升。
另外，与车辆不处于规定坡度φ1以上的上升坡度的路面的情况相比，在车辆处于规定坡度φ1以上的上升坡度的路面的情况下，网格定义部140也可以将网格的纵横比变更为纵长，与车辆不处于规定坡度φ2以上的下降坡度的路面的情况相比，在车辆处于规定坡度φ2以上的下降坡度的路面的情况下，网格定义部140也可以将网格的纵横比变更为横长。坡度φ1、φ2均是绝对值(上升、下降均是正的值)，可以是相同的值，也可以是不同的值。这是因为，在上升坡度中，相机10的图像中的映出道路面的部分相对而言延伸至图像的上侧(也就是说成为与平坦路相比映出道路面的部分被纵向拉伸的图像)，相对于此，在下降坡度中，相机10的图像中的映出道路面的部分相对而言仅延伸至图像的下方(也就是说成为与平坦路相比映出道路面的部分被纵向压缩的图像)。
需要说明的是，在上述的条件同时产生的情况下，例如在车辆的速度V大于基准速度V1且车辆处于规定坡度φ2以上的下降坡度的路面的情况下，网格定义部140可以将由车辆的速度V大于基准速度V1而产生的纵横比的变更量与由车辆处于规定坡度φ2以上的下降坡度的路面而产生的纵横比的变更量抵消而决定网格的形状。在其他条件同时产生的情况下也同样。
另外，最佳的网格的形状及尺寸因落下物的种类而不同，因此网格定义部140根据作为对象的落下物的假定尺寸而设定使网格定义不同的多个部分区域组，对于这些也可以并行地执行处理。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (14)

1.一种物体检知装置，其中，
所述物体检知装置具备：
取得部，其取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；
低分辨率图像生成部，其生成使所述拍摄图像的画质降低的低分辨率图像；
定义部，其定义分别包括部分区域的多个部分区域组，
所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，
所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取而得到的；以及
提取部，其针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位。
2.根据权利要求1所述的物体检知装置，其中，
所述定义部以多个所述部分区域组中的、越是定义在所述低分辨率图像的近前侧的所述部分区域则所述部分区域内的像素数越多的方式定义多个所述部分区域组。
3.根据权利要求1所述的物体检知装置，其中，
所述提取部针对所述多个部分区域组各自所包含的所述部分区域，将与在上下、左右及斜向上相邻的其他所述部分区域之间的特征量的差异总计而导出所述总计值。
4.根据权利要求3所述的物体检知装置，其中，
所述提取部针对所述多个部分区域组各自所包含的所述部分区域，进而将上下相邻的所述部分区域彼此的特征量的差异、左右相邻的所述部分区域彼此的特征量的差异及斜向相邻的所述部分区域彼此的特征量的差异与所述总计值相加。
5.根据权利要求1所述的物体检知装置，其中，
所述物体检知装置还具备高分辨率处理部，所述高分辨率处理部相对于所述拍摄图像中的所述着眼部位进行高分辨率处理，来判别路上的物体是否是移动体应该回避接触的物体。
6.根据权利要求1所述的物体检知装置，其中，
所述物体检知装置被搭载于移动体，
所述定义部基于所述移动体所放置的环境来变更所述部分区域的纵横比。
7.根据权利要求6所述的物体检知装置，其中，
与所述移动体的速度为基准速度以下的情况相比，在所述移动体的速度大于基准速度的情况下，所述定义部将所述部分区域的纵横比变更为纵长。
8.根据权利要求6所述的物体检知装置，其中，
与所述移动体的回转角为基准角度以下的情况相比，在所述移动体的回转角大于基准角度的情况下，所述定义部将所述部分区域的纵横比变更为横长。
9.根据权利要求6所述的物体检知装置，其中，
与所述移动体未处于规定坡度以上的上升坡度的路面的情况相比，在所述移动体处于规定坡度以上的上升坡度的路面的情况下，所述定义部将所述部分区域的纵横比变更为纵长。
10.根据权利要求6所述的物体检知装置，其中，
与所述移动体未处于规定坡度以上的下降坡度的路面的情况相比，在所述移动体处于规定坡度以上的下降坡度的路面的情况下，所述定义部将所述部分区域的纵横比变更为横长。
11.根据权利要求1所述的物体检知装置，其中，
所述定义部用横长的矩形形状来定义所述部分区域。
12.根据权利要求1所述的物体检知装置，其中，
所述提取部将低于下限值的所述总计值视为零而提取所述着眼部位。
13.一种物体检知方法，其使用计算机来执行，其中，
所述物体检知方法包括如下处理：
取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；
生成使所述拍摄图像的画质降低的低分辨率图像；
定义分别包括部分区域的多个部分区域组；以及
针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位，
所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，
所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取而得到的。
14.一种存储介质，所述存储介质存储有由计算机执行的程序，其中，所述程序使计算机执行如下处理：
取得拍摄图像，所述拍摄图像是将移动体能够通行的面以相对于所述面具有倾斜度的方式拍摄得到的；
生成使所述拍摄图像的画质降低的低分辨率图像；
定义分别包括部分区域的多个部分区域组；以及
针对所述多个部分区域组各自所包含的所述部分区域，导出将与周边的所述部分区域之间的特征量的差异总计而得的总计值，并基于所述总计值提取着眼部位，
所述多个部分区域组分别被定义为在每个部分区域组的对象区域中包括多个部分区域，
所述对象区域是将所述低分辨率图像的限定了纵向的一部分以与其他部分区域组至少一部分在所述纵向上不重叠的方式截取而得到的。
CN202311160882.3A 2022-09-28 2023-09-08 物体检知装置、物体检知方法及存储介质 Pending CN117789159A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-154768 2022-09-28
JP2022154768A JP2024048702A (ja) 2022-09-28 2022-09-28 物体検知装置、物体検知方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN117789159A true CN117789159A (zh) 2024-03-29

Family

ID=90359549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311160882.3A Pending CN117789159A (zh) 2022-09-28 2023-09-08 物体检知装置、物体检知方法及存储介质

Country Status (3)

Country Link
US (1) US20240104936A1 (zh)
JP (1) JP2024048702A (zh)
CN (1) CN117789159A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022156732A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 物体検知装置、物体検知方法、およびプログラム

Also Published As

Publication number Publication date
JP2024048702A (ja) 2024-04-09
US20240104936A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
US11816991B2 (en) Vehicle environment modeling with a camera
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US10878288B2 (en) Database construction system for machine-learning
US20180307924A1 (en) Method and apparatus for acquiring traffic sign information
US20190094858A1 (en) Parking Location Prediction
WO2020160155A1 (en) Dynamic distance estimation output generation based on monocular video
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
EP4058984A1 (en) Geometry-aware instance segmentation in stereo image capture processes
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN103324936A (zh) 一种基于多传感器融合的车辆下边界检测方法
CN112036210A (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
CN117789159A (zh) 物体检知装置、物体检知方法及存储介质
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的***和方法
CN114089330A (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
US20220319147A1 (en) Object detection device, object detection method, and storage medium
Huang et al. Rear obstacle warning for reverse driving using stereo vision techniques
JP2021077091A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination