CN115244594B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN115244594B
CN115244594B CN202080098002.2A CN202080098002A CN115244594B CN 115244594 B CN115244594 B CN 115244594B CN 202080098002 A CN202080098002 A CN 202080098002A CN 115244594 B CN115244594 B CN 115244594B
Authority
CN
China
Prior art keywords
points
image
recognition
positions
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080098002.2A
Other languages
English (en)
Other versions
CN115244594A (zh
Inventor
吉田道学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN115244594A publication Critical patent/CN115244594A/zh
Application granted granted Critical
Publication of CN115244594B publication Critical patent/CN115244594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种信息处理装置和信息处理方法，所述信息处理装置具有：物体识别部，其从图像数据表示的图像中识别预定的物体作为识别物体；映射部，其将与测距数据表示的多个测距点对应的多个对象点重叠于图像，并且将包围识别物体周围的矩形重叠于图像，由此生成重叠图像；同一物判定部，其在重叠图像中确定在矩形内与矩形的左右的线段最接近的两个对象点；进深赋予部，其在空间中分别根据与确定的两个对象点对应的两个测距点确定表示识别物体的左右边缘的点即两个边缘点的位置，计算在空间中与两个边缘点不同的预定的两个对应点的位置即两个进深位置；以及俯瞰图生成部，其根据两个边缘点的位置和两个进深位置生成表示识别物体的俯瞰图。

Description

信息处理装置和信息处理方法
技术领域
本发明涉及信息处理装置和信息处理方法。
背景技术
为了实现车的自动驾驶***或先进驾驶辅助***，已开发出预测存在于对象车辆周边的其他车辆等能够移动的物体的将来位置的技术。
在这种技术中，大多使用从上空观察对象车辆周边的状况的俯瞰图。作为制作俯瞰图的方式，已提出如下方式：对由摄像机拍摄到的图像进行语义分割，针对其结果，利用雷达赋予进深，制作占据栅格地图来进行移动预测(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2019-28861号公报
发明内容
发明要解决的课题
但是，在现有技术中，在制作俯瞰图时使用占据栅格地图，因此，数据量变多，处理量变多。因此，实时性丧失。
因此，本发明的一个或多个方式的目的在于，能够以较少的数据量和处理量生成俯瞰图。
用于解决课题的手段
本发明的一个方式的信息处理装置的特征在于，所述信息处理装置具有：物体识别部，其根据表示对空间进行拍摄而得到的图像的图像数据，从所述图像中识别预定的物体作为识别物体；重叠部，其根据表示到所述空间中的多个测距点的距离的测距数据，在所述图像的与所述多个测距点对应的位置处，将与所述多个测距点对应的多个对象点重叠于所述图像，并且，参照所述物体识别部的识别结果将包围所述识别物体周围的矩形重叠于所述图像，由此生成重叠图像；对象点确定部，其在所述重叠图像中，从所述多个对象点中确定在所述矩形内与所述矩形的左右的线段最接近的两个对象点；进深赋予部，其确定从确定的所述两个对象点向所述左右的线段中的较近的线段引出的垂线的垂足在所述空间中的位置，作为表示所述识别物体的左右边缘的点即两个边缘点的位置，计算在所述空间中与所述两个边缘点不同的预定的两个对应点的位置即两个进深位置；以及俯瞰图生成部，其将所述两个边缘点的位置和所述两个进深位置投影到预定的二维图像上，由此生成表示所述识别物体的俯瞰图。
本发明的一个方式的信息处理方法的特征在于，根据表示对空间进行拍摄而得到的图像的图像数据，从所述图像中识别预定的物体作为识别物体，根据表示到所述空间中的多个测距点的距离的测距数据，在所述图像的与所述多个测距点对应的位置处，将与所述多个测距点对应的多个对象点重叠于所述图像，并且，参照识别所述识别物体而得到的结果将包围所述识别物体周围的矩形重叠于所述图像，由此生成重叠图像，在所述重叠图像中，从所述多个对象点中确定在所述矩形内与所述矩形的左右的线段最接近的两个对象点，确定从确定的所述两个对象点向所述左右的线段中的较近的线段引出的垂线的垂足在所述空间中的位置，作为表示所述识别物体的左右边缘的点即两个边缘点的位置，计算在所述空间中与所述两个边缘点不同的预定的两个对应点的位置即两个进深位置，将所述两个边缘点的位置和所述两个进深位置投影到预定的二维图像上，由此生成表示所述识别物体的俯瞰图。
发明效果
根据本发明的一个或多个方式，能够以较少的数据量和处理量生成俯瞰图。
附图说明
图1是概略地示出移动预测***的结构的框图。
图2是示出移动预测***的利用例的概略图。
图3是用于说明测距装置的测距点的俯瞰图。
图4的(A)和(B)是用于说明测距装置的测距、摄像装置的拍摄以及俯瞰图的立体图。
图5是示出由摄像装置拍摄到的图像的俯视图。
图6是用于说明针孔模型的概略图。
图7是示出移动预测装置的硬件结构例的框图。
图8是示出移动预测装置中的处理的流程图。
图9是示出进深计算处理的流程图。
具体实施方式
实施方式
图1是概略地示出包含作为实施方式的信息处理装置的移动预测装置130的移动预测***100的结构的框图。
图2是示出移动预测***100的配置例的概略图。
如图1所示，移动预测***100具有摄像装置110、测距装置120和移动预测装置130。
摄像装置110拍摄某个空间，生成表示该拍摄到的图像的图像数据。摄像装置110将该图像数据提供给移动预测装置130。
测距装置120在该空间中测定到多个测距点的距离，生成表示到该多个测距点的距离的测距数据。测距装置120将该测距数据提供给移动预测装置130。
如图2所示，移动预测***100搭载于车辆101。
在图2中，作为摄像装置110的例子，摄像机111作为取得二维图像的传感器而搭载于车辆101。
此外，作为测距装置120的例子，毫米波雷达121和激光传感器122搭载于车辆101。另外，作为测距装置120，搭载毫米波雷达121和激光传感器122中的至少任意一方即可。
另外，摄像装置110、测距装置120和移动预测装置130例如通过Ethernet(注册商标)或CAN(Controller Area Network：控域网)等通信网络连接。
关于由毫米波雷达121或激光传感器122构成的测距装置120，使用图3进行说明。
图3是用于说明测距装置120的测距点的俯瞰图。
从测距装置120呈放射状向右方向延伸的线分别是光线。测距装置120根据直到该光线照射到车辆101进行反射而返回到测距装置120为止的时间，测定到车辆101的距离。
图3所示的点P01、P02、P03是测距装置120测定到车辆101的距离的测距点。
在呈放射状延伸的光线与光线之间，如0.1度等那样按照测距装置120的规格来决定分辨率。该分辨率比作为摄像装置110发挥功能的摄像机111稀疏。例如，在图3中，针对车辆101，仅取得3个测距点P01～P03。
图4的(A)和(B)是用于说明测距装置120的测距、摄像装置110的拍摄以及俯瞰图的立体图。
图4的(A)是用于说明测距装置120的测距和摄像装置110的拍摄的立体图。
如图4的(A)所示，摄像装置110被设置成拍摄搭载有摄像装置110的车辆即搭载车辆的前方向的图像。
此外，图4的(A)所示的点P11～P19是由测距装置120进行了测距的测距点。测距点P11～P19也配置于搭载车辆的前方向。
另外，如图4的(A)所示，将进行测距和拍摄的空间的左右方向设为X轴，将垂直方向设为Y轴，并且将进深方向设为Z轴。另外，Z轴对应于摄像装置110的镜头的光轴。
如图4的(A)所示，在测距装置120的前方左侧存在有其他车辆103，在其前方右侧存在有建筑物104。
图4的(B)是从倾斜方向观察俯瞰图的立体图。
图5是示出由图4的(A)所示的摄像装置110拍摄到的图像的俯视图。
如图5所示，图像是X轴和Y轴这两个轴的二维图像。
在图像的左侧拍摄到其他车辆103，在其右侧拍摄到建筑物104。
另外，在图5中，为了进行说明而描绘出测距点P11～P13、P16～P18，但是，在实际的图像中未拍摄到测距点P11～P13、P16～P18。
如图5所示，在前方的其他车辆103存在有三个测距点P16～P18，这是比图像稀疏的信息。
返回图1，移动预测装置130具有物体识别部131、映射部132、同一物判定部133、进深赋予部134、俯瞰图生成部135和移动预测部136。
物体识别部131取得表示由摄像装置110拍摄到的图像的图像数据，从该图像数据表示的图像中识别预定的物体。将这里识别到的物体称作识别物体。例如，物体识别部131通过机器学习来识别图像内的物体。作为机器学习，特别地利用DEEP Learning，例如也可以利用CNN(Convolutional Neural Network：卷积神经网络)。物体识别部131将物体的识别结果提供给映射部132。
映射部132取得由测距装置120生成的测距数据，在与该测距数据表示的多个测距点对应的位置处，将与该多个测距点对应的多个对象点重叠于图像数据表示的图像。进而，如图5所示，映射部132参照物体识别部131的识别结果，以包围在图像内识别到的物体(这里为其他车辆103)周围的方式将作为矩形的边界框105重叠于图像数据表示的图像。
如上所述，映射部132作为重叠多个对象点和边界框105的重叠部发挥功能。另外，将重叠有测距点和边界框105的图像称作重叠图像。边界框105的尺寸例如通过基于CNN方法的图像识别来决定。在该图像识别中，边界框105成为相对于在图像内识别到的物体大预定程度的尺寸。
具体而言，映射部132将由测距装置120取得的测距点和边界框105映射到图像数据表示的图像上。由摄像装置110拍摄到的图像和由测距装置120检测到的位置事先进行了校准。例如，用于使摄像装置110的预定的轴和测距装置120的预定的轴一致的移动量和旋转量已知。根据该移动量和旋转量，测距装置120的轴被转换成摄像装置110的轴即中心的坐标。
在测距点的映射中，例如利用图6所示的针孔模型。
图6所示的针孔模型示出从上空俯瞰时的图，利用下述的(1)式进行针对摄像面的投射。
【数学式1】
u＝fX/Z
(1)
这里，u表示横轴方向的像素值，f表示用作摄像装置110的摄像机111的f值，X表示实际物体的横轴的位置，Z表示物体的进深方向的位置。另外，关于图像的纵向的位置，仅将X变更成纵向(Y轴)的位置(Y)就能够求出。由此，将测距点投射到图像上，对象点重叠于被投射的位置。
图1所示的同一物判定部133是如下的对象点确定部：在重叠图像中，确定与在最接近识别物体的左右端部的2个位置测定出到识别物体的距离的两个测距点对应的两个对象点。
例如，同一物判定部133在重叠图像中，确定存在于边界框105内侧的对象点中的、最接近边界框105的左右的线段的两个对象点。
例如，对在图5所示的图像中确定接近边界框105的左侧的线段的对象点的情况进行说明。
在将边界框105的左上端的像素值设为(u1，v1)的情况下，与测距点P18对应的像素值(u3，v3)的对象点是最接近值u1表示的线段的对象点。作为该方法例，确定边界框105内包含的对象点中的、从值u1减去横轴的值而得到的减法值的绝对值最小的对象点即可。作为另一个例子，也可以确定到边界框105的左端的线段的距离最小的对象点。
与以上情况同样地，还能够确定与最接近边界框105的右侧的线段的测距点P16对应的对象点。另外，将与测距点P16对应的对象点的像素值设为(u4，u4)。
图1所示的进深赋予部134计算在空间中与由同一物判定部133确定的两个测距点不同的预定的两个对应点的位置即进深位置。
例如，进深赋予部134根据在空间中到由同一物判定部133确定的两个测距点的距离，计算连接该确定的两个测距点的直线相对于在重叠图像的左右方向上延伸的轴(这里为X轴)的斜率，使与识别物体在相对于该直线垂直的方向上的长度对应的线段即对应线段，按照计算出的斜率向该轴的左右方向倾斜，根据该对应线段的端部的位置计算进深位置。
这里，假设两个对应点是与摄像装置110拍摄到的识别物体的面相反的一侧的面中的、与由同一物判定部133确定的两个测距点对应的点。
具体而言，进深赋予部134将在重叠图像中接近左右的边缘的对象点再次投射到实际的物***置。设与接近左端的测距点P16对应的对象点(u3，v3)在实际的位置(X3，Y3，Z3)处被测距。这里，图6所示的值Z、值f、值u已知，求出X轴的值即可。X轴的值能够利用下述的(2)式求出。
【数学式2】
X＝uZ/f
(2)
其结果是，如图5所示，求出边界框105的左右的线段中的接近与测距点P18对应的对象点的线段中的、跟与测距点P18对应的对象点相同高度的边缘点Q01的实际位置作为(X1，Z3)，求出图4的(B)所示的俯瞰图的其他车辆103的左侧边缘的位置。
与上述情况同样地，还求出跟与接近右端的测距点P16对应的对象点相同高度的边缘点Q2的实际位置作为(X2，Z4)。
接着，进深赋予部134求出连接边缘点Q01和边缘点Q02的直线相对于X轴的角度。
在图5所示的例子中，连接边缘点Q01和边缘点Q02的直线相对于X轴的角度利用下述的(3)式求出。
【数学式3】
图像内的物体被进行图像识别，在能够测定识别到的物体的进深的情况下，利用该值即可，但是，在无法测定识别到的物体的进深的情况下，需要事先保持进深作为预定的值即固定值。例如，车的进深设为4.5m等，由此，需要决定图4的(B)所示的进深L。
例如，在将图4的(B)的其他车辆103中的左侧边缘在进深方向上的端部的位置C1的坐标设为(X5，Z5)时，其坐标值能够利用下述的(4)式和(5)式求出。
【数学式4】
X5＝L cos(90-θ)+X1 (4)
【数学式5】
Z5＝L sin(90-θ)+Z3 (5)
同样，在将其他车辆103中的右侧边缘在进深方向上的端部的位置C2的坐标设为(X6，Z6)时，其坐标值能够利用下述的(6)式和(7)式求出。
【数学式6】
X6＝L cos(90-θ)+X2
(6)
【数学式7】
Z6＝L sin(90-θ)+Z4
(7)
如上所述，进深赋予部134确定在空间中从由同一物判定部133确定的两个对象点分别向边界框105的左右的线段中的较近的线段引出的垂线的垂足的位置，作为表示识别物体的左右边缘的点即两个边缘点Q01、Q02的位置。此外，进深赋予部134能够计算在空间中与两个边缘点Q01、Q02不同的预定的两个对应点的位置即进深位置C1、C2。
另外，进深赋予部134计算在空间中连接两个测距点P16、P18的直线相对于该空间中的左右方向的轴(这里为X轴)的斜率，计算使对应线段按照计算出的斜率相对于该轴向左右方向倾斜后的对应线段的端部的位置作为进深位置，该对应线段是与识别物体在相对于该直线垂直的方向上的长度对应的线段。
由此，进深赋予部134能够确定从图像中识别到的物体(这里为其他车辆103)的四角(这里为边缘点Q01、边缘点Q02、位置C1和位置C2)的坐标。
图1所示的俯瞰图生成部135将两个边缘点Q01、Q02的位置和两个对应点的位置C1、C2投影到预定的二维图像上，由此生成表示识别物体的俯瞰图。
这里，俯瞰图生成部135利用由进深赋予部134确定的识别物体的四角的坐标和其余的对象点生成俯瞰图。
具体而言，俯瞰图生成部135确定在由进深赋予部134对与从由摄像装置110拍摄到的图像中识别到的全部物体对应的全部边界框中包含的全部对象点进行处理后，未包含在任何边界框中的对象点。
这里确定的对象点是虽然存在物体但是无法从图像中识别的物体的对象点。俯瞰图生成部135将与该对象点对应的测距点投射到俯瞰图上。作为其方法，例如存在使高度方向为零的方法。作为其他方法，存在根据与对象点对应的测距点计算与俯瞰图垂直相交的点的方法。通过该处理，表示与边界框中包含的物体对应的部分的图像和与其余测距点对应的点的俯瞰图完成。例如，图4的(B)是从倾斜方向观察完成的俯瞰图的图。
图1所示的移动预测部136预测俯瞰图中包含的识别物体的移动。例如，移动预测部136能够通过机器学习来进行识别物体的移动预测。例如使用CNN即可。针对移动预测部136的输入是当前时点的俯瞰图，其输出是希望预测的时刻的俯瞰图。其结果是，能够得知将来的俯瞰图并预测识别物体的移动。
图7是示出移动预测装置130的硬件结构例的框图。
移动预测装置130能够通过计算机13构成，该计算机13具有存储器10、执行存储器10中存储的程序的CPU(Central Processing Unit：中央处理单元)等处理器11、以及用于连接摄像装置110和测距装置120的接口(I/F)12。这种程序可以通过网络提供，此外，也可以记录于记录介质来提供。即，这种程序例如也可以作为程序产品来提供。
另外，I/F12作为从摄像装置110接受图像数据的输入的图像输入部、以及从测距装置120接受表示测距点的测距点数据的输入的测距点输入部发挥功能。
图8是示出移动预测装置130中的处理的流程图。
首先，物体识别部131取得表示由摄像装置110拍摄到的图像的图像数据，识别该图像数据表示的图像内的物体(S10)。
接着，映射部132取得表示由测距装置120检测到的测距点的测距点数据，在由摄像装置110拍摄到的图像内重叠与测距点数据表示的测距点对应的对象点(S11)。
接着，映射部132根据步骤S10的物体识别结果确定一个识别物体(S12)。识别物体是通过步骤S10中的物体识别而识别到的物体。
接着，映射部132在由摄像装置110拍摄到的图像中反映步骤S10的识别结果(S13)。这里，物体识别部131以包围在步骤S12中确定的一个识别物体周围的方式重叠边界框。
接着，同一物判定部133在重叠有对象点和边界框的图像即重叠图像中确定存在于边界框内侧的对象点(S14)。
接着，同一物判定部133判断是否能够在步骤S14中确定对象点(S15)。在能够确定对象点的情况下(S15：是)，处理进入步骤S16，在无法确定对象点的情况下(S15：否)，处理进入步骤S19。
在步骤S16中，同一物判定部133确定在步骤S14中确定的对象点中的、最接近边界框的左右的线段的两个对象点。
接着，进深赋予部134执行如下的进深计算处理：根据在步骤S16中确定的两个对象点计算两个边缘点的位置，对该两个边缘点赋予进深(S17)。关于进深计算处理，使用图9进行详细说明。
接着，进深赋予部134根据在步骤S17中计算出的识别物体的边缘点的位置的斜率，利用上述的(4)式～(7)式计算识别物体在进深方向上的边缘点的位置，确定识别物体的四角的坐标，暂时存储该坐标(S18)。
接着，映射部132判断在步骤S10的物体识别结果表示的识别物体中是否存在未确定的识别物体(S19)。在存在未确定的识别物体的情况下(S19：是)，处理返回步骤S12，从未确定的识别物体中确定一个识别物体。在不存在未确定的识别物体的情况下(S19：否)，处理进入步骤S20。
在步骤S20中，俯瞰图生成部135确定在步骤S10中未识别为物体的测距点。
然后，俯瞰图生成部135利用由进深赋予部134暂时存储的识别物体的四角的坐标和在步骤S20中确定的测距点生成俯瞰图(S21)。
接着，移动预测部136进行俯瞰图中包含的移动物体的移动预测(S22)。
图9是示出进深赋予部134执行的进深计算处理的流程图。
首先，进深赋予部134根据最接近边界框的左右的线段的两个测距点确定两个边缘点，计算向进深方向(这里为Z轴)投射该两个边缘点时各自的距离(S30)。
接着，进深赋予部134确定在步骤S30中计算出的两个边缘点的距离作为识别物体的边缘的距离(S31)。
接着，进深赋予部134根据表示左右各自的边缘的图像信息的位置的像素值、在步骤S31中确定的距离、摄像机的f值，利用上述的(2)式计算识别物体的边缘的X轴的值(S32)。
接着，进深赋予部134利用上述的(3)式计算根据两个边缘点计算出的识别物体的边缘的位置的斜率(S33)。
如上所述，根据本实施方式，使多个传感器融合，不利用图像整体而利用一部分特征，由此能够减少处理量，能够使***实时地进行动作。
标号说明
100：移动预测***；110：摄像装置；120：测距装置；130：移动预测装置；131：物体识别部；132：映射部；133：同一物判定部；134：进深赋予部；135：俯瞰图生成部；136：移动预测部。

Claims (7)

1.一种信息处理装置，其特征在于，所述信息处理装置具有：
物体识别部，其根据表示对空间进行拍摄而得到的图像的图像数据，从所述图像中识别预定的物体作为识别物体；
重叠部，其根据表示到所述空间中的多个测距点的距离的测距数据，在所述图像的与所述多个测距点对应的位置处，将与所述多个测距点对应的多个对象点重叠于所述图像，并且，参照所述物体识别部的识别结果将包围所述识别物体周围的矩形重叠于所述图像，由此生成重叠图像；
对象点确定部，其在所述重叠图像中，从所述多个对象点中确定在所述矩形内与所述矩形的左右的线段最接近的两个对象点；
进深赋予部，其确定从确定的所述两个对象点向所述左右的线段中的较近的线段引出的垂线的垂足在所述空间中的位置，作为表示所述识别物体的左右边缘的点即两个边缘点的位置，计算在所述空间中与所述两个边缘点不同的预定的两个对应点的位置即两个进深位置；以及
俯瞰图生成部，其将所述两个边缘点的位置和所述两个进深位置投影到预定的二维图像上，由此生成表示所述识别物体的俯瞰图。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述进深赋予部计算在所述空间中连接所述两个测距点的直线相对于所述空间中的左右方向的轴的斜率，计算使对应线段按照计算出的所述斜率相对于所述轴向左右方向倾斜后的所述对应线段的端部的位置作为所述进深位置，所述对应线段是与所述识别物体在相对于所述直线垂直的方向上的长度对应的线段。
3.根据权利要求2所述的信息处理装置，其特征在于，
所述长度是预先确定的。
4.根据权利要求1～3中的任意一项所述的信息处理装置，其特征在于，
所述物体识别部通过机器学习从所述图像中识别所述识别物体。
5.根据权利要求1～3中的任意一项所述的信息处理装置，其特征在于，
所述信息处理装置还具有移动预测部，该移动预测部使用所述俯瞰图预测所述识别物体的移动。
6.根据权利要求5所述的信息处理装置，其特征在于，
所述移动预测部通过机器学习来预测所述移动。
7.一种信息处理方法，其特征在于，
根据表示对空间进行拍摄而得到的图像的图像数据，从所述图像中识别预定的物体作为识别物体，
根据表示到所述空间中的多个测距点的距离的测距数据，在所述图像的与所述多个测距点对应的位置处，将与所述多个测距点对应的多个对象点重叠于所述图像，并且，参照识别所述识别物体而得到的结果将包围所述识别物体周围的矩形重叠于所述图像，由此生成重叠图像，
在所述重叠图像中，从所述多个对象点中确定在所述矩形内与所述矩形的左右的线段最接近的两个对象点，
确定从确定的所述两个对象点向所述左右的线段中的较近的线段引出的垂线的垂足在所述空间中的位置，作为表示所述识别物体的左右边缘的点即两个边缘点的位置，
计算在所述空间中与所述两个边缘点不同的预定的两个对应点的位置即两个进深位置，
将所述两个边缘点的位置和所述两个进深位置投影到预定的二维图像上，由此生成表示所述识别物体的俯瞰图。
CN202080098002.2A 2020-03-24 2020-03-24 信息处理装置和信息处理方法 Active CN115244594B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013009 WO2021192032A1 (ja) 2020-03-24 2020-03-24 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
CN115244594A CN115244594A (zh) 2022-10-25
CN115244594B true CN115244594B (zh) 2023-10-31

Family

ID=77891204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080098002.2A Active CN115244594B (zh) 2020-03-24 2020-03-24 信息处理装置和信息处理方法

Country Status (5)

Country Link
US (1) US20220415031A1 (zh)
JP (1) JP7019118B1 (zh)
CN (1) CN115244594B (zh)
DE (1) DE112020006508T5 (zh)
WO (1) WO2021192032A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333557A (ja) * 1997-06-04 1998-12-18 Pioneer Electron Corp 地図表示制御装置及び地図表示制御用プログラムを記録した記録媒体
WO2009119337A1 (ja) * 2008-03-27 2009-10-01 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2010124300A (ja) * 2008-11-20 2010-06-03 Clarion Co Ltd 画像処理装置およびこれを用いたリヤビューカメラシステム
JP2010287029A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
CN104756487A (zh) * 2012-10-31 2015-07-01 歌乐株式会社 图像处理***和图像处理方法
JP2018036915A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置
WO2018043028A1 (ja) * 2016-08-29 2018-03-08 株式会社デンソー 周辺監視装置及び周辺監視方法
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置
CN108734740A (zh) * 2017-04-18 2018-11-02 松下知识产权经营株式会社 摄像头校正方法、摄像头校正程序以及摄像头校正装置
JP2019139420A (ja) * 2018-02-08 2019-08-22 株式会社リコー 立体物認識装置、撮像装置および車両

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6984215B2 (ja) 2017-08-02 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333557A (ja) * 1997-06-04 1998-12-18 Pioneer Electron Corp 地図表示制御装置及び地図表示制御用プログラムを記録した記録媒体
WO2009119337A1 (ja) * 2008-03-27 2009-10-01 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2010124300A (ja) * 2008-11-20 2010-06-03 Clarion Co Ltd 画像処理装置およびこれを用いたリヤビューカメラシステム
JP2010287029A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
CN104756487A (zh) * 2012-10-31 2015-07-01 歌乐株式会社 图像处理***和图像处理方法
WO2018043028A1 (ja) * 2016-08-29 2018-03-08 株式会社デンソー 周辺監視装置及び周辺監視方法
JP2018036915A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置
CN108734740A (zh) * 2017-04-18 2018-11-02 松下知识产权经营株式会社 摄像头校正方法、摄像头校正程序以及摄像头校正装置
JP2019139420A (ja) * 2018-02-08 2019-08-22 株式会社リコー 立体物認識装置、撮像装置および車両

Also Published As

Publication number Publication date
JPWO2021192032A1 (zh) 2021-09-30
WO2021192032A1 (ja) 2021-09-30
CN115244594A (zh) 2022-10-25
JP7019118B1 (ja) 2022-02-14
DE112020006508T5 (de) 2022-11-17
US20220415031A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
Kim et al. SLAM-driven robotic mapping and registration of 3D point clouds
CN113269840B (zh) 一种用于相机和多激光雷达的联合标定方法及电子设备
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
WO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
CN111958592A (zh) 一种变电站巡检机器人图像语义分析***及方法
JP2012075060A (ja) 画像処理装置及びそれを用いた撮像装置
KR101090082B1 (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
JP2001266130A (ja) 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2023029441A (ja) 計測装置、計測システムおよび車両
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH1144533A (ja) 先行車両検出装置
CN115244594B (zh) 信息处理装置和信息处理方法
CN117392423A (zh) 基于激光雷达的目标物的真值数据预测方法、装置及设备
EP3961556A1 (en) Object recognition device and object recognition method
JP2021021577A (ja) 画像処理装置及び画像処理方法
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Ozkan et al. Surface profile-guided scan method for autonomous 3D reconstruction of unknown objects using an industrial robot
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JPH10283478A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
JP7390743B2 (ja) 物体測定装置及び物体測定方法
JP3247305B2 (ja) 特徴領域抽出方法および装置
US20230030791A1 (en) Information processing device, information processing method, autonomous traveling robot device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant