CN108779984A - 信号处理设备和信号处理方法 - Google Patents

信号处理设备和信号处理方法 Download PDF

Info

Publication number
CN108779984A
CN108779984A CN201780016096.2A CN201780016096A CN108779984A CN 108779984 A CN108779984 A CN 108779984A CN 201780016096 A CN201780016096 A CN 201780016096A CN 108779984 A CN108779984 A CN 108779984A
Authority
CN
China
Prior art keywords
plane
coordinate system
sensor
handling equipment
signal handling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780016096.2A
Other languages
English (en)
Inventor
元山琢人
周藤泰广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108779984A publication Critical patent/CN108779984A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及用于使得能够以更高精度获得传感器之间的相对位置关系的信号处理设备和信号处理方法。该信号处理设备包括位置关系估计部，该位置关系估计部基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计第一坐标系和第二坐标系之间的位置关系。本发明例如可以应用于估计空间分辨率相差较大的第一传感器和第二传感器之间的位置关系的信号处理设备等。

Description

信号处理设备和信号处理方法
技术领域
本技术涉及信号处理设备和信号处理方法。更具体地，本技术涉及以更高精度获得传感器之间的相对位置关系的信号处理设备和信号处理方法。
背景技术
近年来已经出现了安装在诸如汽车的车辆上的防撞***，以检测前方的车辆和行人来避免碰撞。
通过识别由立体摄像装置捕获的图像或通过使用来自毫米波雷达或激光雷达的雷达信息来检测诸如前方的汽车和行人的对象。还在开发的是在被称为传感器融合的方案中使用立体摄像装置和激光雷达二者的对象检测***。
传感器融合涉及将由立体摄像装置检测的对象与由激光雷达检测的对象进行匹配。这需要校准立体摄像装置的坐标系和激光雷达的坐标系。例如，专利文献1公开了一种方法，其中，使用吸收激光材料和反射激光材料交替排列成栅格状图案的专用校准板，以采用两个传感器检测板上每个栅格的角位置。然后使用角点坐标之间的对应关系来估计两个传感器之间的平移向量和旋转矩阵。
[引用列表]
[专利文献]
[PTL 1]
日本专利特开第2007-218738号
发明内容
[技术问题]
然而，在使用由传感器检测到的点对点对应关系来估计关于传感器之间的校准的信息时，如果这些传感器具有显著不同的空间分辨率水平，则可能导致估计精度水平较低。
本技术是鉴于上述情况而提出的，并且被设计为以更高精度获得传感器之间的相对位置关系。
[问题的解决方案]
根据本技术的一个方面，提供了一种信号处理设备，包括：位置关系估计部，被配置成：基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计第一坐标系和所述第二坐标系之间的位置关系。
根据本技术的另一方面，提供了一种信号处理方法，包括以下步骤：使得信号处理设备基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，估计第一坐标系与第二坐标系之间的位置关系。
因此，根据本技术的一些方面，基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，估计第一坐标系与第二坐标系之间的位置关系。
信号处理设备可以是独立设备或构成单个设备的一部分的内部块。
此外，可以通过使计算机执行程序来实现信号处理设备。用于使计算机用作信号处理设备的程序在被提供给计算机时可以经由传输介质传输或记录在存储介质上。
[本发明的有益效果]
因此，根据本技术的一个方面，可以以更高的精度获得传感器之间的相对位置关系。
注意，上面概述的有益效果不限制本公开内容。根据后面的描述，本公开的其他优点将变得明显。
附图说明
图1是说明要通过校准处理获得的参数的说明图。
图2是说明使用点和点之间的对应关系的校准方法的说明图。
图3是说明使用点和点之间的对应关系的校准方法的另一说明图。
图4是图示应用本技术的信号处理***的第一实施方式的典型配置的框图。
图5是说明要由立体摄像装置和激光雷达测量的对象的说明图。
图6是说明由平面检测部执行的平面检测处理的说明图。
图7是由平面对应检测部执行的对应平面检测处理的概念图。
图8是说明用于获得平移向量T的第二计算方法的说明图。
图9是说明由第一实施方式执行的校准处理的流程图。
图10是示出应用本技术的信号处理***的第二实施例的典型配置的框图。
图11是说明峰值法向量的说明图。
图12是说明由峰值对应检测部执行的处理的说明图。
图13是说明由第二实施方式执行的校准处理的流程图。
图14是说明由第二实施方式执行的校准处理的另一流程图。
图15是说明用于检测多个平面的方法的说明图。
图16是说明在信号处理***安装在车辆上的情况下执行的校准处理的说明图。
图17是说明运行时校准处理的流程图。
图18是说明根据本技术的校准处理的效果的的说明图。
图19是说明根据本技术的校准处理的效果的另一说明图。
图20是图示应用本技术的计算机的典型配置的框图。
图21是图示车辆控制***的典型整体配置的框图。
图22是图示车辆外部信息检测部和成像部被附接至的典型位置的说明图。
具体实施方式
下面将描述用于实现本技术的优选方式(称为实施方式)。将在以下标题下给出描述：
1.处理概述
2.信号处理***的第一实施方式
3.信号处理***的第二实施方式
4.作为检测目标的多个平面
5.车辆安装示例
6.典型计算机配置
7.车辆控制***的典型配置
<1.处理概述>
首先，将参照图1描述在由后面要描述的信号处理设备执行的校准处理中获得的参数。
例如，充当第一传感器的传感器A和充当第二传感器的传感器B检测存在于检测目标空间中的同一对象1。
传感器A基于传感器A的三维坐标系(传感器A坐标系)来检测对象1的位置XA＝[xAyA zA]’。
传感器B基于传感器B的三维坐标系(传感器B坐标系)来检测对象1的位置XB＝[xByB zB]’。
这里，传感器A坐标系和传感器B坐标系各自是以下坐标系，其中，x轴在水平方向(横穿(crosswise)方向)上，y轴在竖直方向(上下方向)上，而z轴在深度方向(前后方向)上。对象1的位置XA＝[xA yA zA]’和位置XB＝[xB yB zB]’的“’”表示矩阵的转置。
由于传感器A和传感器B检测同一对象1，因此存在例如将对象1在传感器B坐标系中的位置XB＝[xB yB zB]’转换成对象1在传感器A坐标系上的位置XA＝[xA yA zA]’的旋转矩阵R和平移向量T。
换言之，使用旋转矩阵R和平移向量T，建立下面表示传感器A坐标系和传感器B坐标系之间的对应关系的关系表达式(1)。
XA＝RXB+T ...(1)
旋转矩阵R由三行三列(3×3)矩阵表示，而平移向量T由三行一列(3×1)向量表示。
下面要描述的信号处理设备执行校准处理，用于估计表达式(1)中的旋转矩阵R和平移向量T，所述旋转矩阵R和平移向量T表示由传感器A和传感器B单独拥有的坐标系之间的相对位置关系。
用于估计由传感器A和传感器B单独拥有的坐标系之间的相对位置关系的校准方法例如是如下方法：使用由传感器A和传感器B检测的点之间的对应关系。
下面参照图2和图3，说明使用传感器检测到的点之间的对应关系的校准方法。
假定传感器A是立体摄像装置并且传感器B是激光雷达。还假定如下情况，如图2中所图示的，立体摄像装置和激光雷达检测图1所示的对象1的给定平面的栅格状图案中的交点2的坐标。
对于要检测的三维位置坐标的分辨率(空间分辨率)，一般来说立体摄像装置的空间分辨率高而激光雷达的空间分辨率低。
如图3中的子图A所示，具有高空间分辨率的立体摄像装置能够密集地设置采样点11。因此，根据密集采样点11估计的交点2的估计位置坐标12与正确的交点2的位置近似匹配。
另一方面，如图3的子图B所图示的，具有低空间分辨率的激光雷达稀疏地设置采样点13。因此，根据稀疏采样点13估计的交点2的估计位置坐标14相对于正确的交点2的位置具有较大的误差。
由此，在传感器的空间分辨率具有显著差异的情况下，使用由这些传感器检测到的点之间的对应关系的校准方法可能导致低的估计精度水平。
鉴于上述情况，下面要描述的信号处理设备不使用由传感器检测的点之间的对应关系，而使用由传感器检测的平面之间的对应关系，以实现不同类型的传感器之间的较高校准水平。
<2.信号处理***的第一实施方式>
<框图>
图4是图示应用本技术的信号处理***的第一实施方式的典型配置的框图。
图4中的信号处理***21包括立体摄像装置41、激光雷达42和信号处理设备43。
信号处理***21执行校准处理，用于估计表示由立体摄像装置41和激光雷达42拥有的坐标系之间的相对位置关系的表达式(1)的旋转矩阵R和平移向量T。例如，在信号处理***21中，立体摄像装置41对应于图1中的传感器A，并且激光雷达42对应于图1中的传感器B。
为了简化说明，假定立体摄像装置41和激光雷达42被设置成使得立体摄像装置41的成像范围和激光雷达42的激光照射范围彼此一致。在随后的描述中，立体摄像装置41的成像范围和激光雷达42的激光照射范围在适当时也可被称为视场范围。
立体摄像装置41包括基本摄像装置41R和参考摄像装置41L。基本摄像装置41R和参考摄像装置41L被布置成在相同的高度上水平隔开预定距离，并且在对象检测的方向上捕获预定范围(视场范围)的图像。由基本摄像装置41R捕获的图像(下文中称为基本摄像装置图像)和由参考摄像装置41L捕获的图像(下文称为参考摄像装置图像)在其之间具有由于摄像装置被布置的位置之间的差异而引起的视差(横穿方向上的偏差)。
立体摄像装置41将基本摄像装置图像和参考摄像装置图像作为传感器信号输出到信号处理设备43的匹配处理部61。
激光雷达42将激光(红外线)发射至对象检测方向上的预定范围(视场范围)，接收从对象反射的光，并且测量从激光发射的时间直至接收到反射光的ToF时间(ToF：飞行时间)。激光雷达42将围绕发射激光的Y轴的旋转角θ和围绕发射激光的X轴的旋转角作为传感器信号输出至三维深度计算部63。在该实施方式中，由基本摄像装置41R和参考摄像装置41L输出的图像的一帧(1片)对应于由激光雷达42扫描视场范围一次获得的传感器信号的被称为帧的一个单位。此外，在下文中将围绕发射激光的Y轴的旋转角θ和围绕发射激光的X轴的旋转角称为发射激光的旋转角
立体摄像装置41和激光雷达42已经通过使用现有技术被单独校准作为传感器。在校准之后，从立体摄像装置41输出至匹配处理部61的基本摄像装置图像和参考摄像装置图像已经进行了立体摄像装置单元之间的核线的平行化校正和透镜失真校正。此外，立体摄像装置41和激光雷达42的缩放也通过校准被校正以匹配真实世界的缩放。
在该实施方式中，存在以下情况：立体摄像装置41和激光雷达42二者的视场范围例如包括具有至少三个平面的已知结构，如图5所图示的。下面将说明该情况。
返回图4，信号处理设备43包括匹配处理部61、三维深度计算部62、另一三维深度计算部63、平面检测部64、另一平面检测部65、平面对应检测部66、存储部67以及位置关系估计部68。
匹配处理部61基于从立体摄像装置41提供的基本摄像装置图像和参考摄像装置图像这两个图像，执行基本摄像装置图像的像素与参考摄像装置图像的像素的匹配处理。具体地，匹配处理部61在参考摄像装置图像中搜索与基本摄像装置图像的像素对应的像素。
顺带提及，可以使用诸如梯度方法或块匹配的已知技术，来执行用于检测基本摄像装置图像和参考摄像装置图像之间的对应像素的匹配处理。
然后，匹配处理部61计算表示基本摄像装置图像和参考摄像装置图像中的对应像素的位置之间的偏差量的视差量。匹配处理部61还通过计算基本摄像装置图像的每个像素的视差量来生成视差图，并且将所生成的视差图输出到三维深度计算部62。替选地，由于精确校准了基本摄像装置41R和参考摄像装置41L之间的位置关系，因此还可以通过在基本摄像装置图像中搜索与参考摄像装置图像的像素对应的像素来生成视差图。
基于从匹配处理部61提供的视差图，三维深度计算部62计算立体摄像装置41的视场范围中的每个点的三维坐标值(xA,yA,zA)。这里，使用如下表达式(2)至表达式(4)来计算作为计算目标的每个点的三维坐标值(xA,yA,zA)：
xA＝(ui-u0)*zA/f ...(2)
yA＝(vi-v0)*zA/f ...(3)
zA＝bf/d ...(4)
在上述表达式中，“d”表示基本摄像装置图像中给定像素的视差量，“b”表示基本摄像装置41R和参考摄像装置41L之间的距离，“f”表示基本摄像装置41R的焦距，(ui,vi)表示基本摄像装置图像中的像素位置，(u0，v0)表示基本摄像装置图像中的光学中心的像素位置。因此，每个点的三维坐标值(xA,yA,zA)构成基本摄像装置的摄像装置坐标系中的三维坐标值。
另一三维深度计算部63基于从激光雷达42提供的发射激光的旋转角和ToF，计算激光雷达42的视场范围中的每个点的三维坐标值(xB,yB,zB)。此处，作为计算目标的视场范围中的每个点的三维坐标值(xB,yB,zB)对应于关于其提供了发射激光的旋转角和ToF的采样点。因此，每个点的三维坐标值(xB,yB,zB)构成激光坐标系中的三维坐标值。
平面检测部64使用从三维深度计算部62提供的视场范围中的每个点的三维坐标值(xA,yA,zA)，检测摄像装置坐标系中的多个平面。
同样地，平面检测部65使用从三维深度计算部63提供的视场范围中的每个点的三维坐标值(xB,yB,zB)，检测雷达坐标系中的多个平面。
平面检测部64和平面检测部65彼此唯一的不同在于：一个检测摄像装置坐标系中的平面，而另一个检测雷达坐标系中的平面。这两个部分执行相同的平面检测处理。
<平面检测处理>
下面参照图6说明由平面检测部64执行的平面检测处理。
三维深度计算部62向平面检测部64提供三维深度信息，在该三维深度信息中，深度方向的坐标值zA被添加至基本摄像装置图像中的每个像素的位置(xA,yA)，以构成立体摄像装置41的视场范围中的每个点的三维坐标值(xA,yA,zA)。
平面检测部64事先在立体摄像装置41的视场范围中设置多个基准点。使用所设置的每个基准点的周边区域的三维坐标值(xA，yA，zA)，平面检测部64执行计算拟合到基准点周围的点群的平面的平面拟合处理。平面拟合方法例如可以是最小二乘法或随机采样一致性算法(RANSAC)。
在图6的示例中，在立体摄像装置41的视场范围中设置4×4个基准点，以使得根据其计算出16个平面，即4×4＝16。平面检测部64将计算的16个平面存储作为平面的列表。
替选地，平面检测部64可以使用例如霍夫变换根据视场范围中的每个点的三维坐标值(xA，yA，zA)计算多个平面。因此，从由三维深度计算部62所提供的视场范围中的每个点的三维坐标值(xA，yA，zA)中检测至少一个平面的方法不限于任何一种方法。
然后，平面检测部64计算针对每个基准点计算的每个平面的置信度，并且从平面的列表中删除低置信度的平面。可以基于计算的平面上的点的数量和由点围成的面积计算表示形成平面的可能性的置信度。具体地，在给定平面中的点的数目小于预定阈值(第一阈值)并且由平面中的点围成的最大区域的面积小于预定阈值(第二阈值)的情况下，平面检测部64确定平面的置信度为低，并且相应地将该平面从平面的列表中删除。替选地，可以仅使用给定平面中的点的数目或由所述点包围的面积来确定该平面的置信度。
然后，平面检测部64计算在删除低置信度的平面之后多个平面之间的相似度。平面检测部64从平面的列表中删除被确定为彼此相似的两个平面中的一个平面，由此将多个相似平面统一成一个平面。
例如，可以使用两个平面的法线之间的内积的绝对值或者从一个平面中的基准点至另一平面的距离的平均值(平均距离)来计算相似度。
图6是图示两个平面的法线和从一个平面中的基准点至另一平面的距离的概念图，法线和距离用于计算平面之间的相似度。
具体地，图6示出了平面i中的基准点pi的法向量Ni以及平面j中的基准点pj的法向量Nj。在法向量Ni和法向量Nj之间的内积的绝对值至少是预定阈值(第三阈值)的情况下，确定平面i和平面j彼此相似(相同的平面)。
此外，在示出了从平面i上的基准点pi到平面j的距离dij和从平面j上的基准点pj到平面i的距离dji，并且距离dij和距离dji的平均值至多是预定阈值(第四阈值)的情况下，确定平面i和平面j彼此相似(相同的平面)。
在从平面列表中删除被确定为彼此相似的每两个平面中的一个平面之后，最终剩余平面列表中的多个平面。作为平面检测处理的结果，将剩余平面从平面检测部64输出到平面对应检测部66。
如上所述，平面检测部64通过在多个基准点上执行平面拟合来计算多个平面候选，基于计算出的多个平面候选的置信度来提取计算出的多个平面候选中的一些，以及计算所提取的平面候选之间的相似度。这样做，平面检测部64检测存在于立体摄像装置41的视场范围内的摄像装置坐标系中的那些多个平面。平面检测部64将检测到的多个平面的列表输出到平面对应检测部66。
被输出到平面对应检测部66的摄像装置坐标系中的每个平面由以下表达式(5)来限定：
NAi’XA+dAi＝0 i＝1,2,3,4...
...(5)
在上述表达式(5)中，“i”表示标识输出到平面对应检测部66的摄像装置坐标系中的每个平面的变量，NAi表示平面i的法向量，被定义为NAi＝[nxAi nyAi nzAi]’，dAi表示平面i的系数部分，XA代表表示摄像装置坐标系中xyz坐标的向量，被定义为XA＝[xA yA zA]'。
因此，通过具有法向量NAi和系数部分dAi的项的方程式(平面方程式)来限定摄像装置坐标系中的每个平面。
平面检测部65也使用从三维深度计算部63提供的雷达坐标系中的每个点的三维坐标值(xB,yB,zB)，以类似的方式执行上述平面检测处理。
输出到平面对应检测部66的雷达坐标系中的每个平面由以下具有法向量NBi和系数部分dBi的项的平面方程式(6)来限定：
NBi’XB+dBi＝0 i＝1,2,3,4...
...(6)
在上述等式(6)中，“i”表示用于标识输出到平面对应检测部66的雷达坐标系中的每个平面的变量；NBi表示平面i的法向量，被定义为NBi＝[nxBi nyBi nzBi]'；dBi表示平面i的系数部分；以及XB代表表示雷达坐标系中的xyz坐标的向量，被定义为XB＝[xB yB zB]’。
返回到图4，平面对应检测部66将从平面检测部64提供的摄像装置坐标系中的多个平面的列表和从平面检测部65提供的雷达坐标系中的多个平面的列表进行匹配，以检测对应的平面。
图7是由平面对应检测部66执行的对应平面检测处理的概念图。
首先，平面对应检测部66使用存储在存储部67中的预校准数据和上述指示两个不同的坐标系之间的对应关系的关系表达式(1)，将一个坐标系的平面方程式转换为另一坐标系的平面方程式。在该实施方式中，假定例如，将雷达坐标系中的多个平面的平面方程式转换为摄像装置坐标系中的多个平面的平面方程式。
预校准数据构成指示摄像装置坐标系与雷达坐标系之间的预先相对位置关系的预先布置信息。该信息包括预旋转矩阵Rpre和预平移向量Tpre，这两个特征值分别对应于上述表达式(1)中的旋转矩阵R和平移向量T。被采用作为预旋转矩阵Rpre和预平移向量Tpre的例如是指示在设计时立体摄像装置41和激光雷达42之间的相对位置关系的设计数据，或指示在过去执行的校准处理的结果。虽然预校准数据可能由于不同制造时间和老化的不同而不准确，但是只要这里可以进行近似位置调整，这些不准确性就不成问题。
然后，平面对应检测部66执行在由立体摄像装置41检测到的多个平面和由激光雷达42检测并且转换到摄像装置坐标系中的多个平面(下文中也称为多个转换平面)之间进行匹配最***面的处理。
具体地，平面对应检测部66计算两种值：两个平面——即由立体摄像装置41检测到的平面k(k＝1,2,3，...，K，其中，K是从平面检测部64提供的平面的总数)和由激光雷达42检测到的转换平面h(h＝1,2,3，...，H，其中，H是从平面检测部65提供的平面的总数)——的法线之间的内积的绝对值Ikh(在下文中称为法线内积绝对值Ikh)；以及两个平面的点群的重心之间的距离的绝对值Dkh(下文中称为重心距离绝对值Dkh)。
然后，平面对应检测部66提取法线内积绝对值Ikh大于预定阈值(第五阈值)并且重心距离绝对值Dkh小于预定阈值(第六阈值)的平面(k，h)的组合。
此外，平面对应检测部66限定下面表达式(7)的代价函数Cost(k,h)，通过该代价函数对提取的平面(k，h)的组合进行适当加权。平面对应检测部66选择使代价函数Cost(k,h)最小化的平面(k，h)的组合作为平面对。
Cost(k,h)＝wd*Dkh-wn*Ikh ...(7)
在上述表达式(7)中，wn表示法线内积绝对值Ikh的权重，并且wd表示重心距离绝对值Dkh的权重。
平面对应检测部66向位置关系估计部68输出最***面对的列表作为平面对应检测处理的结果。此处，限定输出至位置关系估计部68的对应平面对的平面方程式给出如下：
NAq’XA+dAq＝0 q＝1,2,3,4... ...(8)
NBq’XB+dBq＝0 q＝1,2,3,4... ...(9)
其中，“q”表示标识每个对应平面对的变量。
返回到图4，位置关系估计部68使用从平面对应检测部66提供的对应平面对的平面方程式，计算(估计)上述表示摄像装置坐标系和雷达坐标系之间的相对位置关系的表达式(1)的旋转矩阵R和平移向量T。
具体地，位置关系估计部68使用关系表达式(1)将摄像装置坐标系的上述平面方程(8)NAq’XA+dAq＝0表示为雷达坐标系的方程式例如下面的表达式(10)：
NAq’(RXB+T)+dAq＝0
NAq’RXB+NAq’T+dAq＝0 ...(10)
由于在理想条件下用于对应平面对中一个对应平面的表达式(10)与用于另一对应平面的平面方程式(9)一致，因此如下表达式成立：
NAq’R＝NBq’ ...(11)
NAq’T+dAq＝dBq ...(12)
然而，通常难以无误差地获得理想平面。因此，位置关系估计部68通过计算满足以下表达式(13)的旋转矩阵R，来估计表达式(1)的旋转矩阵R。
max Store(R)＝Σ{(R’NAq)·NBq} q＝1,2,3,4... ...(13)
其中，RR’＝R’且R＝I，I表示3×3单位矩阵。
给定对应平面对的法向量NAq和NBq作为其输入，上述表达式(13)构成了用于计算使将配对平面中的一个的法向量NAq乘以旋转矩阵R'与另一平面的法向量NBq之间的内积最大化的旋转矩阵R的表达式。另外，也可以使用四元数来表示旋转矩阵R。
然后，位置关系估计部68通过利用使用最小二乘法的第一计算方法或使用三个平面之间的交点的坐标的第二计算方法来计算平移向量T。
根据使用最小二乘法的第一计算方法，位置关系估计部68根据上面的表达式(12)计算使以下代价函数Cost(T)最小化的向量T：
min Cost(T)＝Σ{NAq’T+dAq-dBq}2 ...(14)
上述表达式(14)是通过使用最小二乘法求解使上述表达式(12)最小化的平移向量T来估计平移向量T的表达式，其中，将摄像装置坐标系中的平面方程式NAq'XA+dAq＝0转换为雷达坐标系而获得的转换平面方程式(10)的系数部分等于雷达坐标系的平面方程(9)的系数部分。
另一方面，根据使用三个平面的交点坐标的第二计算方法，假定三个平面在摄像装置坐标系中的交点坐标被给定为PA＝[xpA ypA zpA]’并且三个平面在雷达坐标系中的交点坐标被给定为PB＝[xpB ypB zpB]’，例如如图8所图示。这三个平面对于这两个坐标系而言是共同的。在这三个平面彼此只在一个点处相交的情况下，用于PA和PB的坐标系不同但假定指向同一点。因此，将PA和PB的坐标值代入等式(1)来获得下面的表达式(15)：
PA＝RPB+T ...(15)
此处，旋转矩阵R是已知的，因此位置关系估计部68可以获得平移向量T。
位置关系估计部68将如上所述计算的旋转矩阵R和平移向量T作为传感器间校准数据输出到外部，该数据还被存储在存储部67中。提供给存储部67的传感器间校准数据覆盖存储部67中已有的数据，并且被存储作为预校准数据。
<第一校准处理>
下面参照图9的流程图说明通过信号处理***21的第一实施方式执行的校准处理(即，第一校准处理)。例如，当信号处理***21的操作部件或其他适当控制装置(未示出)***作以发起校准处理时，该处理开始。
首先，在步骤S1中，立体摄像装置41对对象检测方向上的预定范围进行成像，以生成基本摄像装置图像和参考摄像装置图像，并且将所生成的图像输出至匹配处理部61。
在步骤S2中，基于来自立体摄像装置41的基本摄像装置图像和参考摄像装置图像，匹配处理部61执行将一个图像的像素与另一图像的像素进行匹配的处理。基于匹配处理的结果，匹配处理部61生成视差图，其中，针对基本摄像装置图像中的像素来计算视差量。匹配处理部61将所生成的视差图输出至三维深度计算部62。
在步骤S3中，基于从匹配处理部61提供的视差图，三维深度计算部62计算立体摄像装置41的视场范围中的每个点的三维坐标值(xA,yA,zA)。然后，三维深度计算部62将视场范围中的每个点的三维坐标值(xA,yA,zA)作为三维深度信息输出至平面检测部64，在该三维深度信息中，深度方向的坐标值zA被添加至基本摄像装置图像中的每个像素的位置(xA,yA)。
在步骤S4中，平面检测部64使用从三维深度计算部62提供的视场范围中的各个点的三维坐标值(xA，yA，zA)来检测摄像装置坐标系中的多个平面。
在步骤S5中，激光雷达42将激光发射到对象检测方向上的预定范围，并且接收从对象反射的光，以获得因此接收到的发射激光的旋转角度 和ToF。在接收到反射光之后，激光雷达42将所得旋转角和ToF输出至三维深度计算部63。
在步骤S6中，基于从激光雷达42提供的发射激光的旋转角和ToF，三维深度计算部63计算激光雷达42的视场范围中的每个点的三维坐标(xB,yB,zB)。三维深度计算部63将所计算的三维坐标值(xB,yB,zB)输出至平面检测部65作为三维深度信息。
在步骤S7中，平面检测部65使用从三维深度计算部63提供的视场范围中的各个点的三维坐标值(xB,yB,zB)，检测雷达坐标系中的多个平面。
另外，可以以并行和同时的方式来执行步骤S1至S4的处理与步骤S5至S7的处理。替选地，可以在步骤S1至步骤S4的处理之前，执行步骤S5至步骤S7的处理。
在步骤S8中，平面对应检测部66将从平面检测部64提供的多个平面的列表与从平面检测部65馈送的多个平面的列表进行匹配，以检测摄像装置坐标系中的平面和雷达坐标系中的平面之间的对应关系。在检测之后，平面对应检测部66将对应平面对的列表输出至位置关系估计部68。
在步骤S9中，位置关系估计部68确定是否存在从平面对应检测部66提供的至少三个对应平面对。如后面将在步骤S11中所讨论的，由于为了要在其间形成仅一个交点需要至少三个平面，因此步骤S9中的确定涉及确定对应平面对的数目是否至少等于阈值三(第七阈值)。然而，应该注意，对应平面对的数目越多，校准精度变得越高。鉴于此，替选地，位置关系估计部68可以将在步骤S9中用于确定的阈值设置为比三更大的值。
在步骤S9中确定对应平面对的数目小于三的情况下，位置关系估计部68确定校准处理失败，并且终止校准处理。
另一方面，在步骤S9中确定对应平面对的数目至少为三的情况下，控制转至步骤S10。在步骤S10中，位置关系估计部68从对应平面对的列表中选择三个平面对。
然后，在步骤S11中，位置关系估计部68基于所选择的三个平面对，确定摄像装置坐标系中的三个平面之间以及雷达坐标系中的三个平面之间是否存在仅一个交点。可以通过验证三个平面的法向量的集结矩阵的秩是否至少为三来确定三个平面之间是否存在仅一个交点。
在步骤S11中确定不存在仅一个交点的情况下，控制转至步骤S12。在步骤S12中，位置关系估计部68确定在对应平面对的列表中是否存在三个平面对的任何其他组合。
在步骤S12中确定不存在三个平面对的任何其他组合的情况下，位置关系估计部68确定校准处理失败，并且终止校准处理。
另一方面，在步骤S12中确定存在三个平面对的另一组合的情况下，控制返回至步骤S10，并且执行随后的步骤。在第二次或之后的步骤S10的处理中，所选择的是与先前选择的三个平面对的其他组合不同的三个平面对的组合。
同时，在步骤S11中确定存在仅一个交点的情况下，控制转至步骤S13。在步骤S13中，位置关系估计部68使用从平面对应检测部66提供的成对的对应平面的平面方程式，计算(估计)上述表达式(1)的旋转矩阵R和平移向量T。
更具体地，位置关系估计部68首先通过按照雷达坐标系表示摄像装置坐标系的平面方程NAq’XA+dAq＝0，以计算满足上述表达式(13)的旋转矩阵R，来估计表达式(1)的旋转矩阵R。
然后，位置关系估计部68通过利用使用最小二乘法的第一计算方法或者使用三个平面之间的交点的坐标的第二计算方法来计算平移向量T。
然后，在步骤S14中，位置关系估计部68确定计算出的旋转矩阵R和平移向量T是否显著偏离预校准数据。换言之，位置关系估计部68确定计算出的旋转矩阵R和平移向量T与预校准数据中的预旋转矩阵Rpre和预平移向量Tpre之间的差是否落入预定范围内。
在步骤S14中确定计算出的旋转矩阵R和平移向量T显著偏离预校准数据的情况下，位置关系估计部68确定校准处理失败，并且终止校准处理。
另一方面，在步骤S14中确定计算出的旋转矩阵R和平移向量T未显著偏离于预校准数据的情况下，位置关系估计部68将计算出的旋转矩阵R和平移向量T输出至外部作为传感器间校准数据，所述数据还被提供给存储部67。提供给存储部67的传感器间校准数据覆盖存储部67中已有的数据，并且被存储作为预校准数据。
这使得通过第一实施方式执行的校准处理结束。
<3.信号处理***的第二实施方式>
下面将说明信号处理***的第二实施方式。
<框图>
图10是图示应用本技术的信号处理***的第二实施方式的典型配置的框图。
在图10中，与上述第一实施方式中的部件对应的部件由相同的附图标记来表示，并且在下文中将适当地省略其说明。
在上述第一实施方式中，在假定变量XB的系数部分在表达式(9)和表达式(10)中相同的情况下，基于上述表达式(11)来估计旋转矩阵R。相比之下，在第二实施方式中使用法线分布来估计旋转矩阵R。
为此，第二实施方式的信号处理设备43中新包括：法线检测部81和法线检测部82；法线峰值检测部83和法线峰值检测部84；以及峰值对应检测部85。
此外，第二实施方式的位置关系估计部86与第一实施方式的位置关系估计部68的不同在于：位置关系估计部86不是基于表达式(11)而是通过使用从峰值对应检测部85提供的信息(后面要讨论的峰值法向量对)来估计旋转矩阵R。
信号处理***21的其余配置与第一实施方式的配置类似，包括：立体摄像装置41和激光雷达42，以及信号处理设备43的匹配处理部61、三维深度计算部62、三维深度计算部63、平面检测部64、平面检测部65、平面对应检测部66以及存储部67。
三维深度计算部62向法线检测部81提供立体摄像装置41的视场范围中的各个点的三位坐标值(xA,yA,zA)。法线检测部81使用从三维深度计算部62提供的视场范围中的各个点的三位坐标值(xA,yA,zA)，检测立体摄像装置41的视场范围中的各个点的单位法向量。
三维深度计算部63向法线检测部82提供激光雷达42的视场范围中的各个点的三维坐标值(xB,yB,zB)。法线检测部82使用从三维深度计算部63提供的视场范围中的各个点的三维坐标值(xB,yB,zB)，检测激光雷达42的视场范围中的各个点的单位法向量。
法线检测部81和法线检测部82彼此的不同仅在于：一个部件在摄像装置坐标系中的各个点上执行单位法向量检测处理，而另一部件在雷达坐标系中的各个点上执行单位法向量检测处理。要执行的单位法向量检测处理对于法线检测部81和法线检测部82二者是相同的。
通过在以检测目标点的三维坐标值为中心半径为k的球体中存在的局部区域中设置点群并且通过对源自点群的重心的向量执行主分量分析，来获得视场范围中的每个点的单位法向量。替选地，可以通过使用围绕目标点的点的坐标的外积运算来获得视场范围中的各个点的单位法向量。
法线峰值检测部83使用从法线检测部81提供的各个点的单位法向量来生成单位法向量的直方图。然后，法线峰值检测部83检测直方图频率高于预定阈值(第八阈值)并且构成单位法向量分布中的最大值的单位法向量。
法线峰值检测部84使用从法线检测部82提供的各个点的单位法向量来生成单位法向量的直方图。然后，法线峰值检测部84检测直方图频率高于预定阈值(第九阈值)并且构成单位法向量分布中的最大值的单位法向量。第八阈值和第九阈值彼此可以相同或者可以不同。
在下面的描述中，由法线峰值检测部83或法线峰值检测部84检测到的每个单位法向量被称为峰值法向量。
图11所图示的点的分布是由法线峰值检测部83或法线峰值检测部84检测到的单位法向量的分布。实线箭头指示由法线峰值检测部83或法线峰值检测部84检测到的典型的峰值法向量。
法线峰值检测部83和法线检测部82使用相同的检测峰值法向量的方法。不同的是法线峰值检测部83处理立体摄像装置41的视场范围中的点，而法线检测部82处理激光雷达42的视场范围中的点。峰值法线向量的检测方法利用了以下事实：单位法向量集中在视场范围中可能存在三维平面的方向上，从而在创建直方图时出现峰值。给定存在于视场范围中的三维平面，法线峰值检测部83和法线峰值检测部84向峰值对应检测部85提供平面面积大于(宽于)预定大小的至少一个峰值法向量。
返回至图10，峰值对应检测部85使用从法线峰值检测部83提供的摄像装置坐标系中的至少一个峰值法向量和从法线峰值检测部84馈送的雷达坐标系中的至少一个峰值法向量，检测对应峰值法向量对。峰值对应检测部85将检测到的对应峰值法向量对输出至位置关系估计部86。
具体地，如果由立体摄像装置41获得的峰值法向量被定义为NAm(m＝1,2,3,...)并且由激光雷达42获取的峰值法向量被定义为NBn(n＝1,2,3,...)，则峰值对应检测部85以使峰值法向量Rpre’NAm和峰值法向量NBn之间的内积最大化的方式来使峰值法向量彼此对应。如图12所图示的，该处理涉及使用预旋转矩阵Rpre来旋转由立体摄像装置41获得的峰值法向量NAm和由激光雷达42获得的峰值法向量(图12中的峰值法向量NBn)，以使得来自经旋转的峰值法向量NBn和峰值法向量NAm的最近的单位法向量彼此对应。
应该注意，峰值对应检测部85排除向量Rpre’NAm和向量NBn之间的内积小于预定阈值(第十阈值)的任何对应峰值法向量对。
峰值对应检测部85将对应峰值法向量对的列表输出至位置关系估计部86。
位置关系估计部86使用从峰值对应检测部85提供的成对的对应峰值法向量，来计算(估计)上述表达式(1)的旋转矩阵R。
具体地，第一实施方式的位置关系估计部68将成对的对应平面的法向量NAq和法向量NBq代入上述表达式(13)，而第二实施方式的位置关系估计部86替代地将作为成对的对应峰值法向量的法向量NAm和法向量NBn代入表达式(13)。使通过将峰值法向量NAm与旋转矩阵R’相乘而获得的向量与峰值法向量NBn之间的内积最大化的旋转矩阵R被计算作为估计的结果。
如第一实施方式那样，位置关系估计部86通过以下两种计算方法中的一个来计算平移向量T：使用最小二乘法的第一计算方法；或者使用三个平面之间的交点的坐标的第二计算方法。
<第二校准处理>
接下来参照图13和图14的流程图说明由信号处理***21的第二实施方式执行的第二校准处理(即，第二校准处理)。例如，当信号处理***21的操作部件或其他适当控制装置(未示出)***作以发起校准处理时，该处理开始。
第二实施方式下的步骤S41至步骤S48的处理与第一实施方式下的步骤S1至步骤S8的处理基本相同，因此将不进一步进行讨论。然而，第二校准处理与第一校准处理的不同点在于：在步骤S43中由三维深度计算部62计算的三维深度信息除了平面检测部64之外还被提供给法线检测部81；以及在步骤S46中由三维深度计算部63计算的三维深度信息除了平面检测部65之外还被提供给法线检测部82。
在步骤S48之后的步骤S49中，法线检测部81使用从三维深度计算部62提供的立体摄像装置41的视场范围中的每个点的三维坐标值(xA,yA,zA)，检测立体摄像装置41的视场范围中的这些点的每一个的单位法向量。法线检测部81将检测到的单位法向量输出至法线峰值检测部83。
在步骤S50中，法线峰值检测部83使用从法线检测部81提供的点的单位法向量来生成摄像装置坐标系中的单位法向量的直方图，并且根据直方图检测峰值法向量。所检测的峰值法向量被提供给峰值对应检测部85。
在步骤S51中，法线检测部82使用从三维深度计算部63提供的每个点的三维坐标值(xB,yB,zB)，来检测激光雷达42的视场范围中的这些点的每一个的单位法向量。法线检测部82将检测到的单位法向量输出至法线峰值检测部84。
在步骤S52中，法线峰值检测部84使用从法线检测部82提供的点的单位法向量来生成雷达坐标系中的单位法向量的直方图，并且根据直方图检测峰值法向量。检测到的峰值法向量被提供给峰值对应检测部85。
在步骤S53中，峰值对应检测部85使用从法线峰值检测部83提供的摄像装置坐标系中的至少一个峰值法向量和从法线峰值检测部84馈送的雷达坐标系中的至少一个峰值法向量，来检测对应峰值法向量对。峰值对应检测部85将检测到的对应峰值法向量对输出至位置关系估计部86。
在图14的步骤S54中，位置关系估计部86确定从峰值对应检测部85提供的对应峰值法向量对的数目是否至少为三。替选地，在步骤S54中用于确定的阈值(第十一阈值)可以被设置成大于三，以提高校准的精度。
在步骤S54中确定对应峰值法向量对的数目小于三的情况下，位置关系估计部86确定校准处理失败，并且终止校准处理。
另一方面，在步骤S54中确定对应峰值法向量对的数目至少是三的情况下，控制转至步骤S55。在步骤S55中，位置关系估计部86使用从峰值对应检测部85提供的配对的对应峰值法向量来计算(估计)上述表达式(1)的旋转矩阵R。
具体地，位置关系估计部86将作为对应峰值法向量对的法向量NAm和法向量NBn代入上述表达式(13)，以计算使通过将峰值法向量NAm和旋转矩阵R’相乘而获得的向量与峰值法向量NBn之间的内积最大化的旋转矩阵R。
后面的步骤S56至步骤S62的处理分别与图9中的第一实施方式下的步骤S9至步骤S15的处理对应。因此，步骤S56至步骤S62的处理与步骤S9至步骤S15的处理相同，除了与图9中的步骤S13对应的步骤S60的处理。
具体地，在步骤S56中，位置关系估计部86确定在步骤S48的处理中检测到的对应平面对的数目是否至少为三。如在上述第一校准处理的步骤S9中那样，也可以将步骤S56中用于确定的阈值(第十二阈值)设置成大于三。
在步骤S56中确定对应平面对的数目小于三的情况下，位置关系估计部86确定校准处理失败，并且终止校准处理。
另一方面，在步骤S56中确定对应平面对的数目至少是三的情况下，控制转至步骤S57。在步骤S57中，位置关系估计部86从对应平面对的列表中选择三个平面对。
然后，在步骤S58中，位置关系估计部86基于所选择的三个平面对，确定摄像装置坐标系中的三个平面之间以及雷达坐标系中的三个平面之间是否存在仅一个交点。可以通过验证三个平面的法向量的集结矩阵的秩是否至少为三来确定三个平面之间是否存在仅一个交点。
在步骤S58中确定不存在仅一个交点的情况下，控制转至步骤S59。在步骤S59中，位置关系估计部86确定在对应平面对的列表中是否存在三个平面对的任何其他组合。
在步骤S59中确定不存在三个平面对的其他组合的情况下，位置关系估计部86确定校准处理失败，并且终止校准处理。
另一方面，在步骤S59中确定存在三个平面对的另一组合的情况下，控制返回至步骤S57并且执行随后的步骤。在针对第二次或之后的步骤S57的处理中，所选择的三个平面对的组合与先前选择的三个平面对的其他组合不同。
同时，在步骤S58中确定存在仅一个交点的情况下，控制转至步骤S60。在步骤S60中，位置关系估计部86使用从平面对应检测部66提供的配对的对应平面的平面方程式，来计算(估计)平移向量T。更具体地，位置关系估计部86通过利用使用最小二乘法的第一计算方法或使用三个平面之间的交点的坐标的第二计算方法来计算平移向量T。
在步骤S61中，位置关系估计部86确定计算出的旋转矩阵R和平移向量T是否显著偏离于预校准数据。换言之，位置关系估计部86确定计算出的旋转矩阵R和平移向量T与预校准数据中的预旋转矩阵Rpre和预平移向量Tpre之间的差值是否落入预定范围内。
在步骤S61中确定计算出的旋转矩阵R和平移向量T显著偏离于预校准数据的情况下，位置关系估计部86确定校准处理失败，并且终止较准处理。
另一方面，在步骤S61中确定计算出的旋转矩阵R和平移向量T未显著偏离于预校准数据的情况下，位置关系估计部86将计算出的旋转矩阵R和平移向量T输出至外部作为传感器间校准数据，所述数据还被提供给存储部67。提供给存储部67的传感器间校准数据覆盖存储部67中已有的数据，并且被存储作为预校准数据。
这使得由第二实施方式执行的处理结束。
在上述示例中，所涉及的各步骤的处理被描述为顺序执行。替选地，这些步骤的处理可以适当地并行执行。
例如，用于基于从立体摄像装置41获得的图像来计算三维深度信息的步骤S41至步骤S43的处理可以与用于基于从激光雷达42获取的雷达信息计算三维深度信息的步骤S44至步骤S46的处理并行地执行。
此外，用于检测摄像装置坐标系中的多个平面和雷达坐标系中的多个平面以查找对应平面对的步骤S44、步骤S47和步骤S48的处理可以与用于检测摄像装置坐标系中的至少一个峰值法向量和雷达坐标系中的至少一个峰值法向量以查找对应峰值法向量对的步骤S49至步骤S55的处理并行执行。
此外，步骤S49和步骤S50的处理以及步骤S51和步骤S52的处理可以以并行和同时的方式执行。替选地，可以在步骤S51和步骤S52的处理之前，执行步骤S49和步骤S50的处理。
在上述每个实施方式中，平面对应检测部66使用上述表达式(7)的代价函数Cost(k,h)自动地(即，自身主动地)检测对应平面对。替选地，可以提示用户手动地指定对应平面对。例如，平面对应检测部66可以仅执行涉及将一个坐标系的平面方程式转换为另一坐标系的平面方程式的坐标转换。如图7所图示，然后，平面对应检测部66可以使得信号处理设备43的显示部或外部显示设备显示一个坐标系中的多个平面和另一坐标系中的多个平面。在如此呈现显示的情况下，平面对应检测部66可以例如通过操作鼠标、通过触摸屏幕表面或通过输入数字来指定对应平面对。
作为另一替选，平面对应检测部66可以首先检测对应平面对。之后，平面对应检测部66可以使得信号处理设备43的显示部件显示检测的结果。转而，用户可以根据需要修改或删除对应平面对。
<4.作为检测目标的多个平面>
在上述每个实施方式中，如上面参照图5所述，信号处理***21使得立体摄像装置41和激光雷达42各自检测环境中的多个平面，使得作为检测目标的这多个平面被包括在由立体摄像装置41和激光雷达42通过感测其各自的视场范围而获得的单帧传感器信号中。
然而，例如，如图15所图示，信号处理***21可以在给定时间处从单帧传感器信号检测一个平面PL，并且执行单帧感测处理N次以检测多个平面。
图15指示立体摄像装置41和激光雷达42各自在时间t＝c处检测一个平面PLc，在时间t＝c+1处检测另一平面PLc+1，并且在时间t＝c+2处检测另一平面PLc+2。立体摄像装置41和激光雷达42重复相同的处理，直至在时间t＝c+N处检测到平面PLc+N。最终，检测到多达N个平面PLc至PLc+N。
N个平面PLc至PLc+N可以彼此不同。替选地，N个平面PLc至PLc+N可以由立体摄像装置41和激光雷达42在不同方向上(以不同角度)观察一个平面PL而获得。
此外，由立体摄像装置41和激光雷达42在不同的方向上多次感测一个平面PL的设置可以在立体摄像装置41和激光雷达42的位置固定而让一个平面PL的方向改变的情况下或者在一个平面PL的位置固定而让立体摄像装置41和激光雷达42的位置改变的情况下实现。
<5.车辆安装示例>
例如，信号处理***21可以安装在诸如汽车和卡车的车辆上作为对象检测***的一部分。
在立体摄像装置41和激光雷达42以面向前方的方式安装在车辆上的情况下，信号处理***21检测车辆前方的对象作为目标对象。然而，检测对象的方向不限于车辆的前方方向。例如，在立体摄像装置41和激光雷达42安装在车辆上以面向后方的情况下，信号处理***21中的立体摄像装置41和激光雷达42检测车辆后方的对象作为目标对象。
安装在车辆上的信号处理***21执行校准处理的定时可以在车辆出厂之前或在车辆出厂之后。这里，在车辆出厂之前执行的校准处理被称为出厂前校准处理，并且在车辆出厂之后执行的校准处理被称为运行时校准处理。在运行时校准处理中，可以调整在出厂之后例如由于老化、热、或振动而发生的相对位置关系的变化。
在出厂前校准处理中，立体摄像装置41和激光雷达42之间的在制造过程中设置的相对位置关系被检测，并且被存储(登记)在存储部67中。
在出厂前校准处理中预先存储到存储部67中的预校准数据例如可以是指示立体摄像装置41和激光雷达42在设计时的相对位置关系的数据。
可以使用理想的、已知的校准环境来执行出厂前校准处理。例如，可由将由诸如立体摄像装置41和激光雷达42等不同类型的传感器容易识别的材料和纹理制成的多个平面的结构布置作为立体摄像装置41和激光雷达42的视场范围内的目标对象。然后，可以通过单帧感测来检测多个平面。
另一方面，例如，除了在维修店中进行校准的情况之外，还需要在使用车辆的同时执行车辆出厂后的运行时校准处理。不同于上述出厂前校准处理，运行时校准处理因此难以在理想的、已知的校准环境中执行。
因此，例如，信号处理***21使用存在于诸如如图16所示的道路标记、路面、侧壁和招牌的真实环境中的平面来执行运行时校准处理。基于机器学***面检测。替选地，可以基于从以全球定位***(GPS)为代表的全球导航卫星***(GNSS)获取的关于车辆的当前位置信息，并且根据预先准备的地图信息和三维地图信息，识别适于校准的场所和在这样的场所中的诸如招牌的平面的位置。当车辆移动至适于校准的场所时，可以检测到平面。在可能发生在真实环境中的平面检测中，难以通过单帧感测以高置信度检测多个平面。因此，如参考图15所说明的，可以多次执行单帧感测，以在执行运行时校准处理之前检测和存储对应平面对。
此外，应该注意，在车辆高速移动时，由于运动引起的模糊和振动可以想见会降低三维深度信息的估计精度。为此，优选地在车辆的快速移动期间不执行运行时校准处理。
<运行时校准处理>
下面参照图17的流程图说明由安装在车辆中的信号处理***21执行的运行时校准处理。例如，只要车辆在运动时，该处理就连续执行。
首先，在步骤S81中，控制部件确定车速是否低于预定速度。步骤S81涉及确定车辆是否停止或以低速运行。控制部件可以是安装在车辆上的电子控制单元(ECU)，或者可以被提供作为信号处理设备43的部件。
步骤S81的处理不断进行，直至车辆速度被确定为低于预定速度。
在步骤S81中确定车辆速度低于预定速度的情况下，控制转至步骤S82。在步骤S82中，控制部件使立体摄像装置41和激光雷达42执行单帧感测。在控制部件的控制下，立体摄像装置41和激光雷达42执行单帧感测。
在步骤S83中，信号处理设备43使用图像识别技术来识别诸如道路标记、路面、侧壁或招牌的平面。例如，信号处理设备43中的匹配处理部61使用从立体摄像装置41提供的基本摄像装置图像或参考摄像装置图像，来识别包括道路标记、路面、侧壁和招牌的平面。
在步骤S84中，信号处理设备43确定使用图像识别技术是否检测到任何平面。
在步骤S84中确定没有检测到平面的情况下，控制返回至步骤S81。
另一方面，在步骤S84中确定检测到平面的情况下，控制转至步骤S85。在步骤S85中，信号处理设备43计算与检测到的平面对应的三维深度信息，并且将计算出的信息存储到存储部67中。
即，匹配处理部61生成与检测到的平面对应的视差图，并且将所生成的视差图输出至三维深度计算部62。基于从匹配处理部61提供的视差图，三维深度计算部62计算与平面对应的三维信息，并且将计算出的信息存储到存储部67中。三维深度计算部63还基于从激光雷达42提供的发射激光的旋转角和ToF来计算与平面对应的三维信息，并将计算出的信息存储在存储部中。
在步骤S86中，信号处理设备43确定是否已经在存储部67中存储了预定数量的平面深度信息的项。
在步骤S86中确定在存储部67中尚未存储有预定数量的平面深度信息的项的情况下，控制返回至步骤S81。步骤S81至步骤S86的上述处理如此不断进行，直至在步骤S86中确定在存储部67中存储了预定数量的平面深度信息的项。要存储在存储部67中的平面深度信息的项的数目是事先确定的。
然后，在步骤S86中确定在存储部67中存储了预定数量的平面深度信息的项的情况下，控制转至步骤S87。在步骤S87中，信号处理设备43执行计算旋转矩阵R和平移向量T的处理，并且由此更新在存储部67中当前存储的旋转矩阵R和平移向量T(预校准数据)。
步骤S87的处理对应于由信号处理设备43中的三维深度计算部62和三维深度计算部63的下游的块执行的处理。换言之，步骤S87的处理对应于图9中的步骤S4和步骤S7至步骤S15的处理或者图13和图14中的步骤S44和步骤S47至步骤S62的处理。
在步骤S88中，信号处理设备43删除存储在存储部67中的关于多个平面的三维深度信息。
在步骤S88之后，控制返回至步骤S81。然后，重复进行步骤S81至步骤S88的上述处理。
如上所述的那样执行运行时校准处理。
本技术的校准处理使得可以以更高的精度获得不同类型的传感器之间的相对位置关系。因此，使得像素级别的图像配准和传感器融合成为可能。图像的配准是将不同坐标系的多个图像转换成相同坐标系的图像的过程。传感器融合是如下处理：综合处理来自多种不同类型传感器的传感器信号，以相互补偿传感器的缺点从而以更高的置信度进行深度估计和物体识别。
例如，在不同类型的传感器是上述实施方式中的立体摄像装置41和激光雷达42的情况下，立体摄像装置41不适合在平坦部分或暗处测量距离，但是该缺点由有源型激光雷达42来补偿。另一方面，激光雷达42的空间分辨率较低，但是该缺点通过立体摄像装置41来补偿。
此外，用于车辆的高级驾驶辅助***(ADAS)或自动驾驶***被提供，以基于由深度传感器获得的深度信息来检测前方障碍物。本技术的校准处理对于使用这些***进行障碍物检测的处理也是有效的。
例如，如图18所图示，不同类型的传感器A和传感器B已检测到两种障碍物OBJ1和OBJ2。
在图18中，由传感器A检测到的障碍物OBJ1在传感器A坐标系中被指示为OBJ1A，并且由传感器A检测到的障碍物OBJ2在传感器A坐标系中被呈现为障碍物OBJ2A。同样地，由传感器B检测到的障碍物OBJ1在传感器B坐标系中被指示为OBJ1B，并且由传感器B检测到的障碍物OBJ2在传感器B坐标系中被呈现为障碍物OBJ2B。
在传感器A和传感器B之间的相对位置关系不准确的情况下，实际上为单个障碍物的障碍物OBJ1或障碍物OBJ2可能表现为两个不同的障碍物，如图19的子图A所图示的。从传感器到障碍物的距离越远，这种现象变得越明显。因此，在图19的子图A中，与由传感器A和传感器B检测到的障碍物OBJ1的两个位置之间的偏差相比，由传感器A和传感器B检测到的障碍物OBJ2的两个位置之间的偏差较大。
另一方面，在传感器A和传感器B之间的相对位置关系被精确调整的情况下，远离传感器的障碍物仍能够被检测为单个障碍物，如图19的子图B所示。
本技术的校准处理允许以较高的精度获取不同类型的传感器之间的相对位置关系。这又使得能够以较高的置信度较早地检测障碍物并且识别这种障碍物。
结合上述实施方式，说明了检测在作为不同类型的传感器的立体摄像装置41和激光雷达42之间的相对位置关系的示例。替选地，本技术的校准处理可以应用于不同于立体摄像装置和激光雷达(LiDAR)的传感器，例如ToF摄像装置和结构光传感器。
换言之，本技术的校准处理可以应用于任何传感器，例如，只要它们能够检测给定对象在由X轴、Y轴和Z轴限定的三维空间中的位置(距离)即可。也可以将本技术的校准处理应用于以下情况：不是在两个不同类型的传感器之间而是在输出三维位置信息的同一类型的两个传感器之间检测相对位置关系。
优选地，不同类型或相同类型的两个传感器同时执行感测。但是，传感器之间的感测定时可以存在预定差。在这种情况下，估计并补偿与时间差对应的运动量，以使得将两个传感器当作在相同的时间点处提供传感器数据。然后，使用运动补偿传感器数据来计算两个传感器之间的相对位置关系。在目标对象在预定时间差中没有移动的情况下，可以在不修改的情况下使用在包含时间差的不同时间处获取的传感器数据来计算两个传感器之间的相对位置关系。
在上述示例中，为了简化，说明了立体摄像装置41的成像范围与激光雷达42的激光的投射范围相同。替选地，立体摄像装置41的成像范围可以与激光雷达42的激光的投射范围不同。在这种情况下，使用从在立体摄像装置41的成像范围与激光雷达42的激光投射范围之间的交叠区域中检测到的平面来执行上述校准处理。可以从作为3D深度信息的计算和平面检测处理的目标的对象中排除立体摄像装置41的成像范围和激光雷达42的激光投射范围之间的非交叠区域。即使在非交叠区域未被排除的情况下，由于没有从其检测到平面，因此也没有问题。
<6.典型的计算机配置>
包括校准处理的上述一系列处理可以由硬件或软件执行。在要实现基于软件的处理序列的情况下，将构成软件的程序安装到适当的计算机中。这样的计算机可以包括具有事先结合在专用硬件中的软件的计算机和诸如能够基于安装在其中的各种程序来执行各种功能的通用个人计算机的计算机。
图20是图示使用程序执行上述一系列处理的计算机的典型硬件配置的框图。
在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204互连。
总线204还与输入/输出接口205连接。输入/输出接口205与输入部206、输出部207、存储部208、通信部209和驱动器210连接。
输入部206典型地由键盘、鼠标、麦克风构成。例如，输出部207由显示单元和扬声器组成。存储部208一般由硬盘驱动器或非易失性存储器形成。通信部209典型地由网络接口构成。驱动器210容纳和驱动可移除存储介质211例如磁盘、光盘、磁光盘或者半导体存储器。
在如上所述构造的计算机中，CPU 201经由输入/输出接口205和总线204将存储在存储部208中的程序加载至RAM 203中，并且执行所加载的程序，以实现上述一系列处理。
在计算机中，程序可以在经由输入/输出接口205从加载在驱动器210中的可移除存储介质211被安装到存储部208中。替选地，程序可以在经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质由通信部209接收到之后被安装到存储部208中。作为另一选择，程序可以预先安装在ROM 202或存储部208中。
<7.车辆控制***的典型配置>
本公开内容的技术可以应用于各种产品。例如，本技术可以实现为安装在各种类型的车辆中的任一个上的设备，所述车辆包括汽车、电动车辆、混合动力电动车辆和摩托车。
图21是图示了可以应用于本公开内容的技术的车辆控制***2000的典型整体配置的框图。车辆控制***2000具有经由通信网络2010彼此连接的多个电子控制单元。在图21所图示的示例中，车辆控制***2000包括：传动***控制单元2100、主体控制单元2200、电池控制单元2300、车辆外部信息检测单元2400、车辆内部信息检测单元2500以及集成控制单元2600。这多个控制单元可以经由通信网络2010互连，通信网络2010例如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或者符合适当的协议例如FlexRay(注册商标)的车载通信网络。
每个控制单元包括：微型计算机、存储部以及驱动电路，其中，微型计算机根据各种程序执行计算处理，存储部存储由微型计算机执行的程序和用于各种计算操作的参数，驱动电路驱动设备用于各种控制。每个控制单元包括：用于经由通信网络2010与其他控制单元通信的网络接口；以及用于以有线或无线方式与车载或外部设备或传感器通信的通信接口。图21图示了集成控制单元2600的功能配置，该集成控制单元2600包括微型计算机2610、通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车内装置接口2660、声音/图像输出部2670、车载网络接口2680以及存储部2690。同样地，其他控制单元各自包括微型计算机、通信接口以及其他部件。
传动***控制单元2100根据各种程序对与车辆的传动***有关的设备的操作进行控制。例如，传动***控制单元2100用作控制以下的单元：例如用于产生车辆的驱动力的驱动力产生设备比如内燃机或驱动马达；用于将驱动力传递到车轮的驱动力传递机构；用于调节车辆的舵角的转向机构；以及用于产生车辆制动力的制动设备。传动***控制单元2100还可以包括如下控制设备的功能，例如防抱死制动***(ABS)或电子稳定控制(ESC)设备。
传动***控制单元2100与车辆状态检测部2110连接。车辆状态检测部2110包括以下传感器中的至少一个：例如检测车体的轴旋转运动的角速度的陀螺仪传感器；检测车辆的加速度的加速度传感器；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向轮的舵角、引擎转速以及车轮旋转速度的传感器。传动***控制单元2100使用从车辆状态检测部2110输入的信号来执行计算处理，以对内燃机、驱动马达、电动助力转向设备或制动设备进行相应控制。
主体控制单元2200根据各种程序来控制安装在车体上的各种设备的操作。例如，主体控制单元2200用作控制以下各项的单元：无钥匙进入***、智能钥匙***、电动窗设备，以及包括头灯、后灯、制动灯、转向信号灯以及雾灯的各种灯。在这种情况下，可以向主体控制单元2200输入由代替钥匙的便携式设备发出的无线电波或来自各种开关的信号。主体控制单元2200接收这些无线电波或信号的输入，以控制例如车辆锁定设备、电动窗设备以及灯。
电池控制单元2300根据各种程序来控制作为向驱动马达供电的电源的二次电池2310。例如，从包括二次电池2310的电池设备将诸如电池温度、电池输出电压和剩余电量的信息输入至电池控制单元2300。电池控制单元2300使用这些信号执行计算处理，以例如控制二次电池2310进行温度调整或控制附接至电池设备的冷却设备。
车辆外部信息检测单元2400检测配备有车辆控制***2000的车辆外部的信息。例如，车辆外部信息检测单元2400至少与成像部2410或车辆外部信息检测部2420连接。成像部2410包括以下摄像装置中的至少一个：例如ToF(飞行时间)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置和其他摄像装置。车辆外部信息检测部2420例如包括：环境传感器，用于检测当前天气或气象条件；或者周围信息检测传感器，用于检测配备有车辆控制***2000的附近车辆以及周边的障碍物或行人。
环境传感器可以是以下传感器中的至少一个：例如，用于检测雨滴的雨滴传感器、用于检测雾的雾传感器、用于检测日照度的日光传感器以及用于检测降雪的雪传感器。周围信息检测传感器可以是超声传感器、雷达设备，光检测和测距，和激光成像检测和测距(LIDAR)设备中的至少一个。成像部2410和车辆外部信息检测部2420可以各自被设置为独立的传感器或设备，或者被设置为集成有多个传感器或设备的设备。
图22指示成像部2410和车辆外部信息检测部2420被附接至的典型位置。成像部2910、2912、2914、2916和2918例如附接至车辆2900的诸如前鼻翼处、侧视镜和后保险杠以及车辆内部的挡风玻璃的上部中的至少一个位置。被附接至前鼻翼处的成像部2910和被附接至车辆内部的挡风玻璃的上部处的成像部2918主要获取车辆2900前方的图像。被附接至侧视镜的成像部2912和成像部2914主要获取车辆2900的侧面图像。被附接至后保险杠或后门上的成像部2916主要获取车辆2900的后方图像。被附接至车辆内部中的挡风玻璃的上部的成像部2918主要检测例如前方车辆、行人、障碍物、交通信号灯、交通标志或车道。
另外，图22示出了成像部2910、成像部2912、成像部2914以及成像部2916的典型成像范围。成像范围“a”是附接至前鼻翼处的成像部2910的成像范围。成像范围“b”和成像范围“c”是分别被附接至侧视镜的成像部2912和成像部2914的成像范围。成像范围“d”是被附接至后保险杠或后门上的成像部2916的成像范围。例如，从彼此交叠的成像部2910、成像部2912、成像部2914和成像部2916获取图像数据，提供了车辆2900的俯视图。
例如，被附接至车辆2900的前、后、侧和角以及车辆内部的挡风玻璃的上部的车辆外部信息检测部2920、2922、2924、2926、2928和2930可以是超声传感器或雷达设备。例如，被附接至车辆2900的前鼻翼、后保险杠和后门以及车辆内部的挡风玻璃的上部的车辆外部信息检测部2920、2926和2930可以是LIDAR设备。这些车辆外部信息检测部2920至2930主要用于检测车辆前方、行人和障碍物。
返回图21，下面继续描述。车辆外部信息检测单元2400使成像部2410捕获车辆外部的图像并且从成像部2410接收所捕获的图像数据。此外，车辆外部信息检测单元2400接收来自连接的车辆外部信息检测部2420的检测到的信息。在车辆外部信息检测部2420是超声传感器、雷达设备或LIDAR设备的情况下，车辆外部信息检测单元2400使传感器发射超声波或电磁波，并且接收由所接收的反射波构成的信息。基于接收的信息，车辆外部信息检测单元2400可以执行用于检测诸如人、汽车、障碍物、道路标记或印在路面上的字母等对象的处理，或者执行用于识别诸如降雨、路面状况的环境的处理。此外，基于接收的信息，车辆外部信息检测单元2400可以计算距车辆外部的对象的距离。
此外，基于接收的图像数据，车辆外部信息检测单元2400可以执行识别诸如人、汽车、障碍物、道路标记或印在路面上的字母的对象的图像识别处理，或者执行检测距离的处理。车辆外部信息检测单元2400可以对接收的图像数据执行诸如失真校正或位置调整的处理，并且可以通过组合由不同的成像部2410获取的图像数据来生成俯视图像或全景图像。车辆外部信息检测单元2400也可以使用由不同成像部2410获得的图像数据来执行视点转换处理。
车辆内部信息检测单元2500检测关于车辆内部的信息。例如，车辆内部信息检测单元2500与检测驾驶员状况的驾驶员状况检测部2510连接。驾驶员状况检测部2510例如可以包括：摄像装置，用于对驾驶员、进行成像；生物传感器，用于检测关于驾驶员的生物信息；或者麦克风，用于采集来自车辆内部的声音。生物传感器例如可以附接至驾驶员座位或方向盘，以采集关于坐在驾驶员座位上或抓握方向盘的驾驶员的生物信息。车辆内部信息检测单元2500可以基于从驾驶员状况检测部2510输入的检测信息，来计算驾驶员的疲劳程度或集中精力程度或者判断驾驶员是否正在瞌睡。车辆内部信息检测单元2500也可以执行诸如对收集的声音信号执行噪声消除的处理。
集成控制单元2600根据各种程序对车辆控制***2000中的整体操作进行控制。集成控制单元2600与输入部2800连接。输入部2800例如使用可以由乘员操纵的设备例如触摸板、按钮、麦克风、开关或杆来实现。例如，输入部2800可以是使用红外线或其他无线电波的远程控制设备，或者外部连接设备例如与车辆控制***2000的操作对应的移动电话或个人数字助理(PDA)。输入部2800还可以是摄像装置。在该情况下，乘员可以通过姿势向摄像装置输入信息。输入部2800还可以包括例如输入控制电路，该输入控制电路基于通常由乘员使用输入部2800输入的信息来生成输入信号，输入控制电路还将所生成的信号输出至集成控制单元2600。乘员可以操作输入部2800，以向车辆控制***2000输入各种数据和处理操作指令。
存储部2690可以包括：随机存取存储器(RAM)，用于存储要由微型计算机执行的各种程序；以及只读存储器(ROM)，用于存储各种参数、计算结果或传感器值。例如，存储部2690可以使用诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备或磁-光存储设备来实现。
通用通信接口2620是协调与外部环境2750中的各种设备的通信的通用接口。通用通信接口2620可以使用蜂窝通信协议，例如全球移动通信***(GSM；注册商标)，WIMAX，长期演进(LTE)或高级LTE(LTE-A)；或包括无线LAN(也被称为Wi-Fi；注册商标)的其他无线通信协议。例如，通用通信接口2620可以经由基站或接入点连接至外部网络(例如，因特网、云网络或运营商专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信接口2620可以使用例如对等(P2P)技术连接至靠近车辆的终端(例如，由行人携带的终端、安装在商店中的终端或机器类型通信(MTC)终端)。
专用通信接口2630是支持被设计用于在车辆中使用的通信协议的通信接口。专用通信接口2630例如可以使用诸如车辆环境中的无线接入(WAVE)或专用短距离通信(DSRC)的标准协议，WAVE是下层IEEE 802.11p和上层IEEE 1609的组合。通常，专用通信接口2630执行V2X通信，该概念包括车辆到车辆通信、车辆到基础设施通信和车辆到行人通信中的至少一个通信。
定位部2640通过从例如全球导航卫星***(GNSS)接收GNSS信号(例如，来自全球定位***(GPS)卫星的GPS信号)执行定位，以生成包括车辆的纬度、经度和高度的位置信息。替选地，定位部2640可以通过与无线接入点交换信号来识别当前位置。作为另一替选，定位部2640可以从诸如具有定位功能的移动电话、PHS或智能电话的终端获取位置信息。
信标接收部2650可以接收由例如沿道路安装的无线站点发射的无线电波或电磁波，以获取诸如当前位置、交通阻塞、道路封闭以及到达目的地的时间的信息。另外，信标接收部2650的功能可以包括在上述专用通信接口2630中。
车内装置接口2660是通信接口，其协调与微型计算机2610以及与车辆内的各种设备的连接。车内装置接口2660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车内装置接口2660可以经由未示出的连接终端(并且如果需要，电缆)建立有线连接。车内装置接口2660与例如乘客所携带的移动装置或可穿戴装置或者装载入或附接至车辆的信息装置交换控制信号或数据信号。
车载网络接口2680是协调微型计算机2610与通信网络2010之间的通信的接口。车载网络接口2680根据由通信网络2010支持的预定协议来发送和接收信号和其他数据。
集成控制单元2600中的微型计算机2610基于经由诸如通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车内装置接口2660以及车载网络接口2680中的至少一个部件而获取的信息，根据各种程序控制车辆控制***2000。例如，基于从车辆内外获取的信息，微型计算机2610可以计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且可以相应地将控制命令输出至传动***控制单元2100。例如，微型计算机2610可以执行协作控制，以避免车辆碰撞或减轻冲击、基于车辆间距离跟踪驾驶、巡航控制或自动驾驶。
微型计算机2610可以基于经由诸如通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车内装置接口2660和车载网络接口2680中的至少一个部件获取的信息，生成包括关于车辆的当前位置的***信息的本地地图信息。另外，基于所获取的信息，微型计算机2610可以预测诸如车辆之间的碰撞、行人的接近或进入封闭的道路的危险，并且相应地生成警告信号。例如，可以使用警告信号来产生警报声或点亮警告灯。
声音/图像输出部2670至少将声音输出信号或图像输出信号发送至输出设备，该输出设备可以向车辆中的乘员或车辆外的行人通知视觉或语音信息。在图21的示例中，音频扬声器2710、显示部2720以及仪表板2730被指示为输出设备。显示部2720可以包括例如车载显示器和平视显示器中的至少一个。显示部2720还可以包括增强现实(AR)显示功能。替选地，输出设备可以是不同于上述设备的设备，例如是耳机、投影仪或灯。在输出设备是显示设备的情况下，显示设备以各种形式例如文本、图像、表格或图表来可视地呈现通过由微型计算机2610执行的各种处理而获得的结果或者从其他控制单元接收的信息。在输出设备是声音输出设备的情况下，声音输出设备将从再现的语音数据、声音数据得到的音频信号转换成可听地输出的模拟信号。
另外，在图21所图示的示例中，经由通信网络2010彼此互联的至少两个控制单元可以被集成为单个控制单元。替选地，每个控制单元可以由多个控制单元构成。作为另一替选，车辆控制***2000可以包括未示出的其他控制单元。此外，由上述控制单元中的任何一个控制单元提供的一部分或所有功能可以由另一个控制单元接管。即，只要信息被经由通信网络2010传送和接收，就可以由任何控制单元进行预定计算处理。同样地，与给定控制单元连接的传感器或设备可以重新连接至其他控制单元，其中，多个控制单元被允许经由通信网络2010在其间交换所检测的信息。
在上述车辆控制***2000中，可以例如在图21的成像部2410中使用图4中的立体摄像装置41。可以例如在图21中的车辆外部信息检测部2420中使用图4中的激光雷达42。此外，可以例如在图21中的车辆外部信息检测单元2400中使用图4中的信号处理设备43。
在图21中的成像部2410中使用图4中的立体摄像装置41的情况下，可以例如将立体摄像装置41安装作为图22中的附接至车辆内部的挡风玻璃的上部的成像部2918。
在图21中的车辆外部信息检测部2420中使用图4中的激光雷达42的情况下，可以例如将激光雷达42安装作为图22中的附接至车辆内部的挡风玻璃的上部的车辆外部信息检测部2926。
在该情况下，用作信号处理设备43的车辆外部信息检测单元2400高精度地检测作为立体摄像装置41的成像部2410与作为激光雷达42的车辆外部信息检测部2926之间的相对位置关系。
在该描述中，由计算机根据程序执行的处理不需要如流程图中所图示的那样按时间顺序进行。即，由计算机根据程序执行的处理可以包括要并行或单独执行的处理(例如，并行处理或面向对象处理)。
程序可以由单个计算机处理或者由多个计算机进行分布式处理。此外，程序还可以被传送到远程的一个或多个计算机以执行。
在本说明书中，术语"***"是指多个部件(例如设备或模块(部件))的集合。所有部件是否被容纳在同一外壳中并不重要。因此，***可以被配置有容纳在单独的外壳中并且经由网络互连的多个装置，或者被配置有在单个外壳中容纳多个模块的单个设备。
本技术的实施方式不限于上述那些实施方式并且可以在本技术的范围内以各种方式进行修改或改变。
例如，可以组合上述多个实施方式中的一部分或全部，以设计出其他实施方式。信号处理***21可以包括仅第一实施方式或第二实施方式的配置。替选地，信号处理***21可以包括这两种实施方式的配置，并且可以根据需要选择性地执行第一校准处理或第二校准处理。
例如，本技术可以被实现为云计算设置，其中，由多个联网设备在共享的基础上协作地处理单个功能。
另外，参照上述流程图讨论的每个步骤可以由单个设备或基于共享的多个设备执行。
此外，如果单个步骤包括多个处理，则这些处理可以由单个设备执行，也可以由基于共享的多个设备执行。
本说明书中描述的有益效果仅仅是示例，并不限制本技术。可以具有从本说明书中得出的但是未被描述的其他有益效果。
本技术还可以优选地按如下配置：
(1)一种信号处理设备，包括：
位置关系估计部，被配置成：基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计所述第一坐标系与所述第二坐标系之间的位置关系。
(2)根据上述(1)所述的信号处理设备，还包括：
平面对应检测部，被配置成：检测由所述第一传感器获得的所述第一坐标系中的多个平面与由所述第二传感器获得的所述第二坐标系中的多个平面之间的所述对应关系。
(3)根据上述(2)所述的信号处理设备，其中，所述平面对应检测部通过使用构成关于所述第一坐标系和所述第二坐标系的预先的位置关系信息的预先布置信息，来检测所述第一坐标系中的多个平面与所述第二坐标系中的多个平面之间的所述对应关系。
(4)根据上述(3)所述的信号处理设备，其中，所述平面对应检测部检测通过使用所述预先布置信息将所述第一坐标系中的多个平面转换至所述第二坐标系而获得的多个转换平面与所述第二坐标系中的多个平面之间的所述对应关系。
(5)根据上述(3)所述的信号处理设备，其中，所述平面对应检测部基于由使用平面的法线之间的内积的绝对值和平面上的点群的重心之间的距离的绝对值的算术表达式限定的代价函数，来检测所述第一坐标系中的多个平面与所述第二坐标系中的多个平面之间的所述对应关系。
(6)根据上述(1)至(5)中的任意一项所述的信号处理设备，其中，所述位置关系估计部估计旋转矩阵和平移向量来作为所述第一坐标系与所述第二坐标系之间的位置关系。
(7)根据上述(6)所述的信号处理设备，其中，所述位置关系估计部估计使所述第一坐标系中的平面的法向量乘以旋转矩阵而得到的向量与所述第二坐标系中的平面的法向量之间的内积最大化的旋转矩阵来作为所述旋转矩阵。
(8)根据上述(7)所述的信号处理设备，其中，所述位置关系估计部将峰值法向量用作所述第一坐标系中的平面的法向量或者用作所述第二坐标系中的平面的法向量。
(9)根据上述(6)所述的信号处理设备，其中，限定平面的平面方程式由法向量和系数部表示，
所述位置关系估计部通过求解如下方程来估计所述平移向量：其中，将所述第一坐标系中的平面的所述平面方程式转换到所述第二坐标系而获得的转换平面方程式中的系数部与所述第二坐标系中的平面的所述平面方程式的系数部相等。
(10)根据上述(6)所述的信号处理设备，其中，所述位置关系估计部通过使所述第一坐标系中的三个平面之间的交点与所述第二坐标系中的三个平面之间的交点为共同的点，来估计所述平移向量。
(11)根据上述(1)至(10)中的任意一项所述的信号处理设备，还包括：
第一平面检测部，被配置成根据由所述第一传感器获得的第一坐标系的三维坐标值来检测所述第一坐标系中的多个平面；以及
第二平面检测部，被配置成根据由所述第二传感器获得的第二坐标系的三维坐标值来检测所述第二坐标系中的多个平面。
(12)根据上述(11)所述的信号处理设备，还包括：
第一坐标值计算部，被配置成根据从所述第一传感器输出的第一传感器信号来计算所述第一坐标系的三维坐标值；以及
第二坐标值计算部，被配置成根据从所述第二传感器输出的第二传感器信号来计算所述第二坐标系的三维坐标值。
(13)根据上述(12)所述的信号处理设备，其中，所述第一传感器是立体摄像装置，以及
所述第一传感器信号是从所述立体摄像装置输出的基本摄像装置图像和参考摄像装置图像二者的图像信号。
(14)根据上述(12)或(13)所述的信号处理设备，其中，所述第二传感器是激光雷达，以及
所述第二传感器信号表示由所述激光雷达发射的激光的旋转角度和直至接收到所述激光被指定物体反射而返回来的反射光为止的时间段。
(15)根据上述(11)所述的信号处理设备，其中，所述第一平面检测部和所述第二平面检测部通过多次执行一帧检测一个平面的处理来检测所述多个平面。
(16)根据上述(15)所述的信号处理设备，其中，每次执行检测一个平面的处理时，改变平面的方向。
(17)根据上述(11)所述的信号处理设备，其中，所述第一平面检测部和所述第二平面检测部通过执行一帧检测多个平面的处理来检测所述多个平面。
(18)一种信号处理方法，包括以下步骤：
使得信号处理设备基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计所述第一坐标系与所述第二坐标系之间的位置关系。
[参考符号列表]
21 信号处理***
41 立体摄像装置
42 激光雷达
43 信号处理设备
61 匹配处理部
62,63 三维深度计算部
64,65 平面检测部
66 平面对应检测部
67 存储部
68 位置关系估计部
81,82 法线检测部
83,84 法线峰值检测部
85 峰值对应检测部
86 位置关系估计部
201 CPU
202 ROM
203 RAM
206 输入部
207 输出部
208 存储部
209 通信部
210 驱动器

Claims (18)

1.一种信号处理设备，包括：
位置关系估计部，被配置成：基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计所述第一坐标系与所述第二坐标系之间的位置关系。
2.根据权利要求1所述的信号处理设备，还包括：
平面对应检测部，被配置成：检测由所述第一传感器获得的所述第一坐标系中的多个平面与由所述第二传感器获得的所述第二坐标系中的多个平面之间的所述对应关系。
3.根据权利要求2所述的信号处理设备，其中，所述平面对应检测部通过使用构成关于所述第一坐标系和所述第二坐标系的预先的位置关系信息的预先布置信息，来检测所述第一坐标系中的多个平面与所述第二坐标系中的多个平面之间的所述对应关系。
4.根据权利要求3所述的信号处理设备，其中，所述平面对应检测部检测通过使用所述预先布置信息将所述第一坐标系中的多个平面转换至所述第二坐标系而获得的多个转换平面与所述第二坐标系中的多个平面之间的所述对应关系。
5.根据权利要求3所述的信号处理设备，其中，所述平面对应检测部基于由使用平面的法线之间的内积的绝对值和平面上的点群的重心之间的距离的绝对值的算术表达式限定的代价函数，来检测所述第一坐标系中的多个平面与所述第二坐标系中的多个平面之间的所述对应关系。
6.根据权利要求1所述的信号处理设备，其中，所述位置关系估计部估计旋转矩阵和平移向量来作为所述第一坐标系与所述第二坐标系之间的位置关系。
7.根据权利要求6所述的信号处理设备，其中，所述位置关系估计部估计使所述第一坐标系中的平面的法向量乘以旋转矩阵而得到的向量与所述第二坐标系中的平面的法向量之间的内积最大化的旋转矩阵来作为所述旋转矩阵。
8.根据权利要求7所述的信号处理设备，其中，所述位置关系估计部将峰值法向量用作所述第一坐标系中的平面的法向量或者用作所述第二坐标系中的平面的法向量。
9.根据权利要求6所述的信号处理设备，其中，限定平面的平面方程式由法向量和系数部表示，
所述位置关系估计部通过求解如下方程来估计所述平移向量：其中，将所述第一坐标系中的平面的所述平面方程式转换到所述第二坐标系而获得的转换平面方程式中的系数部与所述第二坐标系中的平面的所述平面方程式的系数部相等。
10.根据权利要求6所述的信号处理设备，其中，所述位置关系估计部通过使所述第一坐标系中的三个平面之间的交点与所述第二坐标系中的三个平面之间的交点为共同的点，来估计所述平移向量。
11.根据权利要求1所述的信号处理设备，还包括：
第一平面检测部，被配置成根据由所述第一传感器获得的第一坐标系的三维坐标值来检测所述第一坐标系中的多个平面；以及
第二平面检测部，被配置成根据由所述第二传感器获得的第二坐标系的三维坐标值来检测所述第二坐标系中的多个平面。
12.根据权利要求11所述的信号处理设备，还包括：
第一坐标值计算部，被配置成根据从所述第一传感器输出的第一传感器信号来计算所述第一坐标系的三维坐标值；以及
第二坐标值计算部，被配置成根据从所述第二传感器输出的第二传感器信号来计算所述第二坐标系的三维坐标值。
13.根据权利要求12所述的信号处理设备，其中，所述第一传感器是立体摄像装置，以及
所述第一传感器信号是从所述立体摄像装置输出的基本摄像装置图像和参考摄像装置图像二者的图像信号。
14.根据权利要求12所述的信号处理设备，其中，所述第二传感器是激光雷达，以及
所述第二传感器信号表示由所述激光雷达发射的激光的旋转角度和直至接收到所述激光被指定物体反射而返回来的反射光为止的时间段。
15.根据权利要求11所述的信号处理设备，其中，所述第一平面检测部和所述第二平面检测部通过多次执行一帧检测一个平面的处理来检测所述多个平面。
16.根据权利要求15所述的信号处理设备，其中，每次执行检测一个平面的处理时，改变平面的方向。
17.根据权利要求11所述的信号处理设备，其中，所述第一平面检测部和所述第二平面检测部通过执行一帧检测多个平面的处理来检测所述多个平面。
18.一种信号处理方法，包括以下步骤：
使得信号处理设备基于由第一传感器获得的第一坐标系中的多个平面与由第二传感器获得的第二坐标系中的多个平面之间的对应关系，来估计所述第一坐标系与所述第二坐标系之间的位置关系。
CN201780016096.2A 2016-03-16 2017-03-02 信号处理设备和信号处理方法 Pending CN108779984A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016052668 2016-03-16
JP2016-052668 2016-03-16
PCT/JP2017/008288 WO2017159382A1 (ja) 2016-03-16 2017-03-02 信号処理装置および信号処理方法

Publications (1)

Publication Number Publication Date
CN108779984A true CN108779984A (zh) 2018-11-09

Family

ID=59850358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016096.2A Pending CN108779984A (zh) 2016-03-16 2017-03-02 信号处理设备和信号处理方法

Country Status (5)

Country Link
US (1) US20190004178A1 (zh)
JP (1) JPWO2017159382A1 (zh)
CN (1) CN108779984A (zh)
DE (1) DE112017001322T5 (zh)
WO (1) WO2017159382A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901183A (zh) * 2019-03-13 2019-06-18 电子科技大学中山学院 一种提高激光雷达全天候测距精度和可靠性的方法
WO2020168620A1 (zh) * 2019-02-19 2020-08-27 曜科智能科技（上海）有限公司 平面几何一致性检测方法、计算机设备、及存储介质
CN111795641A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于定位车辆中的传感器的方法和装置
CN111829472A (zh) * 2019-04-17 2020-10-27 初速度（苏州）科技有限公司 利用全站仪测定传感器间相对位置的方法及装置
CN111898317A (zh) * 2020-07-29 2020-11-06 上海交通大学 基于任意位置压缩感知的自适应偏差管道模态分析方法
CN112995578A (zh) * 2019-12-02 2021-06-18 杭州海康威视数字技术股份有限公司 电子地图显示方法、装置、***及电子设备
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、***、设备及存储介质
CN113424243A (zh) * 2019-02-18 2021-09-21 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN113692521A (zh) * 2019-04-04 2021-11-23 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN114430800A (zh) * 2019-10-02 2022-05-03 富士通株式会社 生成方法、生成程序和信息处理装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10718613B2 (en) * 2016-04-19 2020-07-21 Massachusetts Institute Of Technology Ground-based system for geolocation of perpetrators of aircraft laser strikes
JP6845106B2 (ja) * 2017-07-21 2021-03-17 株式会社タダノ 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
DE102017212868A1 (de) * 2017-07-26 2019-01-31 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erkennen einer Position eines Objekts
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
JP6834914B2 (ja) * 2017-11-07 2021-02-24 トヨタ自動車株式会社 物体認識装置
WO2019176118A1 (ja) * 2018-03-16 2019-09-19 三菱電機株式会社 重畳表示システム
WO2020045057A1 (ja) * 2018-08-31 2020-03-05 パイオニア株式会社 姿勢推定装置、制御方法、プログラム及び記憶媒体
DE102018215136B4 (de) 2018-09-06 2021-03-25 Robert Bosch Gmbh Verfahren zum Auswählen eines Bildausschnitts eines Sensors
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置
JP6973351B2 (ja) * 2018-10-25 2021-11-24 株式会社デンソー センサ校正方法、及びセンサ校正装置
CN111238494B (zh) 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位***及载具定位方法
JP7056540B2 (ja) * 2018-12-18 2022-04-19 株式会社デンソー センサ校正方法およびセンサ校正装置
US10837795B1 (en) 2019-09-16 2020-11-17 Tusimple, Inc. Vehicle camera calibration system
CN112819896B (zh) * 2019-11-18 2024-03-08 商汤集团有限公司 传感器的标定方法及装置、存储介质和标定***
CN112816949B (zh) * 2019-11-18 2024-04-16 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定***
JP2021085679A (ja) * 2019-11-25 2021-06-03 トヨタ自動車株式会社 センサ軸調整用ターゲット装置
CN113256726A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 移动装置的传感***的在线标定和检查方法、移动装置
CN111681426B (zh) * 2020-02-14 2021-06-01 深圳市美舜科技有限公司 一种用于交通安全路况感知评估的方法
JP2021177218A (ja) 2020-05-08 2021-11-11 セイコーエプソン株式会社 画像投射システムの制御方法、及び画像投射システム
JP7452333B2 (ja) 2020-08-31 2024-03-19 株式会社デンソー Ｌｉｄａｒの補正パラメータの生成方法、ｌｉｄａｒの評価方法、およびｌｉｄａｒの補正装置
CN112485785A (zh) * 2020-11-04 2021-03-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及设备
JP2022076368A (ja) * 2020-11-09 2022-05-19 キヤノン株式会社 画像処理装置、撮像装置、情報処理装置、画像処理方法、及びプログラム
TWI758980B (zh) 2020-11-30 2022-03-21 財團法人金屬工業研究發展中心 移動載具的環境感知裝置與方法
CN113286255B (zh) * 2021-04-09 2023-04-14 安克创新科技股份有限公司 基于信标基站的定位***的自组网方法、存储介质
DE102022112930A1 (de) * 2022-05-23 2023-11-23 Gestigon Gmbh Erfassungssystem und verfahren zur erfassung von kontaktlosen gerichteten benutzereingaben und verfahren zur kalibrierung des erfassungssystems
WO2024034335A1 (ja) * 2022-08-09 2024-02-15 パナソニックＩｐマネジメント株式会社 自己位置推定システム

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5533694A (en) * 1994-03-08 1996-07-09 Carpenter; Howard G. Method for locating the resultant of wind effects on tethered aircraft
US20050102063A1 (en) * 2003-11-12 2005-05-12 Pierre Bierre 3D point locator system
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
CN101216937A (zh) * 2007-01-05 2008-07-09 上海海事大学 港口运动集装箱定位***的参数标定方法
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及***
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
CN102866397A (zh) * 2012-10-12 2013-01-09 中国测绘科学研究院 一种多源异构遥感影像联合定位方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
WO2014033823A1 (ja) * 2012-08-28 2014-03-06 株式会社日立製作所 計測システム、計測方法
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5533694A (en) * 1994-03-08 1996-07-09 Carpenter; Howard G. Method for locating the resultant of wind effects on tethered aircraft
US20050102063A1 (en) * 2003-11-12 2005-05-12 Pierre Bierre 3D point locator system
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
CN101216937A (zh) * 2007-01-05 2008-07-09 上海海事大学 港口运动集装箱定位***的参数标定方法
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及***
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
WO2014033823A1 (ja) * 2012-08-28 2014-03-06 株式会社日立製作所 計測システム、計測方法
CN102866397A (zh) * 2012-10-12 2013-01-09 中国测绘科学研究院 一种多源异构遥感影像联合定位方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和***
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUI YAO: "Robust tracking via online Max-Margin structural learning with approximate sparse intersection kernel", 《NEUROCOMPUTING》 *
李飞等: "无人机视觉辅助着陆中的姿态和位置估算", 《电光与控制》 *
赵连军: "基于目标特征的单目视觉位置姿态测量技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113424243B (zh) * 2019-02-18 2023-09-08 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN113424243A (zh) * 2019-02-18 2021-09-21 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
WO2020168620A1 (zh) * 2019-02-19 2020-08-27 曜科智能科技（上海）有限公司 平面几何一致性检测方法、计算机设备、及存储介质
CN109901183A (zh) * 2019-03-13 2019-06-18 电子科技大学中山学院 一种提高激光雷达全天候测距精度和可靠性的方法
US11138753B2 (en) 2019-04-04 2021-10-05 Aptiv Technologies Limited Method and device for localizing a sensor in a vehicle
CN111795641A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于定位车辆中的传感器的方法和装置
US11915452B2 (en) 2019-04-04 2024-02-27 Sony Group Corporation Information processing device and information processing method
CN113692521A (zh) * 2019-04-04 2021-11-23 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN111829472A (zh) * 2019-04-17 2020-10-27 初速度（苏州）科技有限公司 利用全站仪测定传感器间相对位置的方法及装置
CN114430800A (zh) * 2019-10-02 2022-05-03 富士通株式会社 生成方法、生成程序和信息处理装置
CN114430800B (zh) * 2019-10-02 2024-04-02 富士通株式会社 生成方法、记录介质和信息处理装置
CN112995578B (zh) * 2019-12-02 2022-09-02 杭州海康威视数字技术股份有限公司 电子地图显示方法、装置、***及电子设备
CN112995578A (zh) * 2019-12-02 2021-06-18 杭州海康威视数字技术股份有限公司 电子地图显示方法、装置、***及电子设备
CN111898317A (zh) * 2020-07-29 2020-11-06 上海交通大学 基于任意位置压缩感知的自适应偏差管道模态分析方法
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、***、设备及存储介质

Also Published As

Publication number Publication date
US20190004178A1 (en) 2019-01-03
JPWO2017159382A1 (ja) 2019-01-24
WO2017159382A1 (ja) 2017-09-21
DE112017001322T5 (de) 2018-12-27

Similar Documents

Publication Publication Date Title
CN108779984A (zh) 信号处理设备和信号处理方法
US10935978B2 (en) Vehicle self-localization using particle filters and visual odometry
US11113584B2 (en) Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud
US10992860B2 (en) Dynamic seam adjustment of image overlap zones from multi-camera source images
US11733353B2 (en) Object detection using local (ground-aware) adaptive region proposals on point clouds
US11726189B2 (en) Real-time online calibration of coherent doppler lidar systems on vehicles
US11520024B2 (en) Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration
US10982968B2 (en) Sensor fusion methods for augmented reality navigation
US11821990B2 (en) Scene perception using coherent doppler LiDAR
US10551838B2 (en) Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
US10606274B2 (en) Visual place recognition based self-localization for autonomous vehicles
US11892560B2 (en) High precision multi-sensor extrinsic calibration via production line and mobile station
US11636077B2 (en) Methods, devices, and systems for processing sensor data of vehicles
CN109466548A (zh) 用于自主车辆操作的地面参照确定
CN108139202A (zh) 图像处理装置、图像处理方法和程序
CN110254392A (zh) 使用灵活认证装置和方法来提供并控制访问车辆的方法
CN108028883A (zh) 图像处理装置、图像处理方法和程序
CN108139211A (zh) 用于测量的装置和方法以及程序
US11820255B2 (en) Predictive regenerative braking
US11255959B2 (en) Apparatus, method and computer program for computer vision
US10560253B2 (en) Systems and methods of controlling synchronicity of communication within a network of devices
US11560131B2 (en) Lane prediction and smoothing for extended motion planning horizon
US20210141093A1 (en) Precise point cloud generation using graph structure-based slam with unsynchronized data
US20210206288A1 (en) Optimization of battery pack size using swapping
US11257230B2 (en) Adaptive feature map anchor pruning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210129