CN114514412A - 误差估计装置、误差估计方法、误差估计程序 - Google Patents

误差估计装置、误差估计方法、误差估计程序 Download PDF

Info

Publication number
CN114514412A
CN114514412A CN202080070716.2A CN202080070716A CN114514412A CN 114514412 A CN114514412 A CN 114514412A CN 202080070716 A CN202080070716 A CN 202080070716A CN 114514412 A CN114514412 A CN 114514412A
Authority
CN
China
Prior art keywords
error
image
external light
distance image
reflection distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080070716.2A
Other languages
English (en)
Other versions
CN114514412B (zh
Inventor
大畠龙介
野口圣人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114514412A publication Critical patent/CN114514412A/zh
Application granted granted Critical
Publication of CN114514412B publication Critical patent/CN114514412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

误差估计装置(1)具备：误差预测部(180)，预测偏倚误差(B)；以及处理判定部(160)，基于光学传感器(22)通过滚动快门获取的反射距离图像(Ir)以及外界相机(24)通过全局快门获取的外部光图像(Io)，判定是否需要基于误差预测部(180)的偏倚误差(B)的重新预测。

Description

误差估计装置、误差估计方法、误差估计程序
相关申请的交叉引用
该申请以2019年10月8日在日本申请的专利申请第2019－185387号为基础，并整体上通过参照引用基础申请的内容。
技术领域
本公开涉及在惯性传感器产生的偏倚误差的估计处理技术。
背景技术
在近年来的车辆中，与获取惯性信息的惯性传感器一起搭载有光学传感器和外界相机，该光学传感器获取与从外界感知的光的反射点距离相对应的反射距离图像，该外界相机获取与从外界感知的外部光相对应的外部光图像。在专利文献1中公开了在这样的车辆中例如根据温度变化等来修正在惯性传感器中产生的偏倚误差的技术。
专利文献1：日本特表2018―526626号公报
另外，在专利文献1的公开技术中，作为视觉惯性测程，由相机获取到的图像被利用于偏倚误差的修正。在视觉惯性测程中，为了估计应修正的偏倚误差，需要在相机的获取图像中追踪特征点。在相机的获取图像中特征点较少的情况下，难以确保偏倚误差的估计精度。
发明内容
本公开的课题在于提供高精度地估计偏倚误差的误差估计装置。本公开的另一课题在于提供高精度地估计偏倚误差的误差估计方法。本公开的又一课题在于提供高精度地估计偏倚误差的误差估计程序。
以下，对用于解决课题的本公开的技术手段进行说明。
本公开的第一方式是在车辆中进行在惯性传感器中产生的偏倚误差的估计处理的误差估计装置，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，上述误差估计装置具备：
误差预测部，预测偏倚误差；以及
处理判定部，基于光学传感器通过滚动快门获取的反射距离图像以及外界相机通过全局快门获取的外部光图像，判定是否需要基于误差预测部的偏倚误差的重新预测。
本公开的第二方式是在车辆中进行在惯性传感器中产生的偏倚误差的估计处理的误差估计方法，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，该误差估计方法包括：
预测工序，预测偏倚误差；以及
判定工序，基于光学传感器通过滚动快门获取的反射距离图像以及外界相机通过全局快门获取的外部光图像，判定是否需要基于预测工序的偏倚误差的重新预测。
本公开的第三方式是误差估计程序，储存至存储介质并包括使处理器执行的命令，该误差估计程序用以在车辆中进行在惯性传感器中产生的偏倚误差的估计处理，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，
命令包括：
预测工序，预测偏倚误差；以及
判定工序，基于光学传感器通过滚动快门获取的反射距离图像以及外界相机通过全局快门获取的外部光图像，判定是否需要基于预测工序的偏倚误差的重新预测。
根据这些第一～第三方式的估计处理，能够偏倚误差的预测越正确，则光学传感器通过滚动快门获取的反射距离图像以及外界相机通过全局快门获取的外部光图像之差越小。因此，根据基于反射距离图像和外部光图像来判定是否需要重新预测偏倚误差，能够重复估计处理，直到正确预测偏倚误差为止。因此，可以高精度地估计偏倚误差。
本公开的第四方式是在车辆中进行在惯性传感器中产生的偏倚误差的估计处理的误差估计装置，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，该误差估计装置具备：
误差预测部，预测偏倚误差；
误差修正部，针对惯性信息修正通过误差预测部预测的偏倚误差；
运动补偿部，在外界相机通过一并曝光的全局快门获取外部光图像的快门帧内针对光学传感器通过依次曝光的滚动快门获取的反射距离图像，基于通过误差修正部修正了偏倚误差的惯性信息，补偿快门帧内的由车辆的运动引起的移动量；
差分提取部，通过对比外部光图像与通过运动补偿部补偿了移动量的反射距离图像，提取反射距离图像与外部光图像的差分；以及
处理判定部，基于通过差分提取部提取的差分，判定是否使估计处理返回到基于误差预测部的偏倚误差的预测。
本公开的第五方式是在车辆中进行在惯性传感器中产生的偏倚误差的估计处理的误差估计方法，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，该误差估计方法包括：
预测工序，预测偏移误差；
修正工序，针对惯性信息修正通过预测工序预测的偏倚误差；
补偿工序，在外界相机通过一并曝光的全局快门获取外部光图像的快门帧内针对光学传感器通过依次曝光的滚动快门获取的反射距离图像，基于通过修正工序修正了偏倚误差的惯性信息，补偿快门帧内的由车辆的运动引起的移动量；
提取工序，通过对比外部光图像与通过补偿工序补偿了移动量的反射距离图像，提取反射距离图像与外部光图像的差分；以及
判定工序，基于通过提取工序提取的差分，判定是否使估计处理返回到基于预测工序的偏倚误差的预测。
本公开的第六方式是误差估计程序，储存至存储介质并包括使处理器执行的命令，该误差估计程序用以在车辆中进行在惯性传感器中产生的偏倚误差的估计处理，在车辆中搭载有：惯性传感器，获取惯性信息；光学传感器，获取与从外界感知的光的反射点距离相对应的反射距离图像；以及外界相机，获取与从外界感知的外部光相对应的外部光图像，
命令包括：
预测工序，预测偏移误差；
修正工序，针对惯性信息修正通过预测工序预测的偏倚误差；
补偿工序，在外界相机通过一并曝光的全局快门获取外部光图像的快门帧内针对光学传感器通过依次曝光的滚动快门获取的反射距离图像，基于通过修正工序修正了偏倚误差的惯性信息，补偿快门帧内的由车辆的运动引起的移动量；
提取工序，通过对比外部光图像与通过补偿工序补偿了移动量的反射距离图像，提取反射距离图像与外部光图像的差分；以及
判定工序，基于通过提取工序提取的差分，判定是否使估计处理返回到基于预测工序的偏倚误差的预测。
根据这些第四～第六方式的估计处理，在外界相机通过一并曝光的全局快门获取外部光图像的快门帧内，针对光学传感器通过依次曝光的滚动快门获取的反射距离图像，补偿由车辆运动引起的移动量。此时，在基于修正了偏倚误差的惯性信息补偿了移动量的反射距离图像中，偏倚误差的预测越正确，则通过与外部光图像的对比所提取的差分越小。因此，根据基于反射距离图像与外部光图像的差分判定是否使估计处理返回到偏倚误差的预测，能够反复估计处理，直到偏倚误差被预测为正确为止。因此，可以高精度地估计偏倚误差。
附图说明
图1是表示根据第一实施方式的误差估计装置的整体结构的框图。
图2是表示根据第一实施方式的误差估计装置的详细结构的框图。
图3是用于对根据第一实施方式的外界相机(a)以及光学传感器(b)进行说明的示意图。
图4是用于对根据第一实施方式的外界图像(a)以及反射距离图像(b)进行说明的示意图。
图5是用于对根据第一实施方式的运动补偿块进行说明的示意图。
图6是用于对根据第一实施方式的运动补偿块进行说明的示意图。
图7是用于对根据第一实施方式的差分提取块进行说明的示意图。
图8是用于对根据第一实施方式的差分提取块进行说明的示意图。
图9是表示根据第一实施方式的误差估计方法的流程图。
图10是用于对根据第二实施方式的光学传感器进行说明的示意图。
图11是表示根据第二实施方式的误差估计装置的详细结构的框图。
具体实施方式
以下，基于附图对多个实施例进行说明。在各实施方式中，在对应的构成要素标注相同的附图标记，从而有时省略重复的说明。另外，在各实施方式中仅说明结果的一部分的情况下，对于该结果的其它部分，能够适用先行说明的其它实施方式的结果。并且，不光在各实施方式的说明中明示的结构的组合，特别是只要在组合时不产生阻碍，即使没有明示也能够部分地组合多个实施方式的结果彼此。
(第一实施方式)
如图1所示，根据第一实施方式的误差估计装置1搭载于车辆3。车辆3基于自己位置估计这个运动估计的结果进行行驶、例如高级驾驶辅助车或者自动驾驶车等。另外，在以下的说明中，将水平面上的车辆3的水平方向中的横向以及前后方向分别仅称为横向以及前后方向。另外，在以下的说明中，将水平面上的车辆3的垂直方向仅称为垂直方向。
在车辆3中，与误差估计装置1一起搭载有传感器***2。如图1、2所示，传感器***2构成为至少包括惯性传感器20、光学传感器22以及外界相机24。
惯性传感器20例如是获取可有效利用于车辆3的运动估计等的惯性信息Ib的、所谓IMU(Inertial Measurement Unit：惯性测量单元)。惯性传感器20获取绕车辆3的前后方向、横向以及垂直方向这三个轴的、例如角度、角速度以及角加速度等中的至少一种，作为惯性信息Ib。因此，惯性传感器20构成为例如包括陀螺仪以及加速度传感器等中至少一种。
第一实施方式的光学传感器22是例如获取能够有效利用于车辆3的运动估计等的反射距离图像Ir的、所谓LIDAR(Light Detection and Ranging/Laser ImagingDetection and Ranging：光检测和测距/激光成像检测和测距)。光学传感器22通过朝向车辆3的外界照射激光并接受该激光的反射光，从而获取与到反射激光的反射点的距离(反射点距离)相对应的反射距离图像Ir。由此，反射距离图像Ir成为包括表示到发射激光的物体的距离的信息的图像。如图2所示，光学传感器22具有：激光元件220、拍摄元件221以及拍摄电路222。
拍摄电路222对从激光元件220朝向车辆3的外界的红外线激光(以下，仅称为激光)进行照射控制，以便以断续的脉冲光束状且在横向上以光束转向角进行扫描。伴随着该激光照射，拍摄电路222实现滚动快门，按照在横向上被驱动的光束转向角所对应的每条扫描线依次曝光以及依次扫描拍摄元件221的构成像素中横向的单列或者多个纵像素列。即、滚动快门意味着伴随者时间差依次获取规定的帧尺寸的图像的分割图像的快门方式。拍摄电路222通过将按照拍摄元件221的被曝光的每个像素所感知的反射光的、与从激光照射时刻起的到达时间相对应的到该反射光的反射点的距离值同与这些像素的每个像素对应的光束转向角建立关联地进行数据化，从而获取反射距离图像Ir。
此处，与按照拍摄元件221的被曝光的每个像素所感知的反射光的强度相对应的亮度值由拍摄电路222同与这些像素的每个像素对应的光束转向角建立关联地进行数据化，从而可以包含在反射距离图像Ir中。另外。在拍摄元件221中也可以具备根据在断续的激光照射的间隔中从车辆3的外界感知的外部光进行拍摄的功能。该情况下，与按照拍摄元件221的被曝光的每个像素所感知的外部光的强度相对应的亮度值由拍摄电路242同与这些像素的每个像素对应的光束转向角建立关联地进行数据化，从而可以包含在反射距离图像Ir中。
外界相机24是例如获取能够有效利用于车辆3的运动估计等的外部光图像Io的所谓车载相机。外界相机24通过从车辆3的外界接受外部光并进行拍摄，从而获取与该外部光的强度相对应的外部光图像Io。外界相机24具有拍摄元件241以及拍摄电路242。
拍摄电路242实现全局快门，分别按对应的扫描线对拍摄元件241的构成像素中横向的多个纵像素列进行一并曝光及一并扫描。即、全局快门意味着一并获取规定的帧尺寸的图像的快门方式。拍摄电路242通过将与按照拍摄元件241的被曝光的每个像素所感知的外部光的强度相对应的亮度值同与这些像素的每个像素对应的像素角建立关联地进行数据化，从而获取外部光图像Io。
在外界相机24中扫描所有扫描线的全局快门帧Fo中设定相对于在光学传感器22中扫描所有扫描线的滚动快门帧Fr较短的图像获取期间、亦即帧期间、以及与在光学传感器22中扫描所有扫描线的滚动快门帧Fr接近的开始定时。因此，如图3所示，在帧Fo、Fr的开始定时被同步的情况下，与外部光图像Io相比，反射距离图像Ir如图4所示表面上，在与车辆3的行驶侧相反侧被压缩且以该压缩量额外观测外界而获取。另外，图4并不是各图像Ir、Io本身，而示意性地示出在各图像Ir、Io映出的外界范围。
如图1所示，第一实施方式的误差估计装置1例如经由LAN(Local Area Network：局域网)、线束以及和内部总线等中的至少一种连接至传感器***2的各构成要素20、22、24。误差估计装置1构成为包括至少一个专用计算机。构成误差估计装置1的专用计算机也可以是估计车辆3的自己位置的***的ECU(Electronic Control Unit：电子控制单元)。构成误差估计装置1的专用计算机也可以是控制车辆3的高级驾驶辅助或者自动驾驶的ECU。构成误差估计装置1的专用计算机还可以是控制车辆3与外界之间的通信的ECU。
误差估计装置1通过构成为包含这样的专用计算机，从而具有存储器10以及处理器12的至少一个。存储器10是非暂时地存储可由计算机读取的程序以及数据的、例如半导体存储器、磁介质以及光学介质等中至少一种的非迁移实体存储介质(non-transitorytangible storage medium)。处理器12包括例如CPU(Central Processing Unit)、GPU(Graphics Processing Unit：图形处理单元)以及RISC(Reduced Instruction SetComputer：精简指令集计算机)－CPU等中的至少一种作为核心。处理器12执行存储于存储器10的误差估计程序所包含的多个命令。由此，误差估计装置1如图2所示那样构建用于进行在惯性传感器20中产生的偏倚误差B的估计处理的多个功能块。另外，在以下的说明中，将偏倚误差B的估计处理仅称为误差估计处理。
由误差估计装置1构建的多个功能块包括误差修正块100、运动补偿块120、差分提取块140、处理判定块160以及误差预测块180。
对在误差修正块100输入如后面详述那样通过由误差预测块180预测而存储至存储器10的最新的偏倚误差B(即，读出)。与此同时对误差修正块100输入在时刻k由惯性传感器20获取的最新的惯性信息Ib。此处，时刻k表示全局快门帧Fo的开始定时(参照图3)。
接受这样的输入，误差修正块100针对最新的惯性信息Ib修正最新的偏倚误差B。该修正通过从惯性信息Ib减去偏倚误差B来实现。
对图2所示的运动补偿块120输入由误差修正块100修正了偏倚误差B的时刻k的惯性信息Ib。与此同时，对运动补偿块120输入在将时刻k作为开始定时的全局快门帧Fo内由光学传感器22获取的最新的反射距离图像Ir。关于每个扫描线的各像素，图5所示最新的反射距离图像Ir包括距离值Lr[k，i，j]和光束转向角θr[k，i，j]及ψr[k，i，j]作为最新数据值。
此处，[k，i，j]是通过时刻k、表示每条扫描线的排列顺序且扫描顺序的扫描编号i以及表示每条扫描线的各像素的像素编号j确定最新数据值Lr、θr、ψr的索引。即、Lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]作为将下述式1的时刻h(参照图3)作为扫描定时的每条扫描线的最新数据值被输入至运动补偿块120。
[式1]
Figure BDA0003582368560000081
此处，上述式1使用时刻k、扫描编号i以及扫描线间的时间间隔Δh(参照图5)近似地定义加上帧Fo、Fr的开始定时间的同步偏移时间的时刻h。因此，如图6所示，关于被激光元件220照射之后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，θr[k，i，j]表示垂直方向的光束转向角。另一方面，ψr[k，i，j]关于被激光元件220照射之后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，表示横向的光束转向角。
接受这样的输入，运动补偿块120针对反射距离图像Ir的最新数据值，基于修正了偏倚误差B的惯性信息Ib，补偿全局快门帧Fo内的由车辆3的运动(参照图3)引起的移动量。具体而言，运动补偿块120通过基于修正了偏倚误差B的惯性信息Ib的各种导航运算中的至少一种，计算时刻k的车辆3的自己位置P[k，i]以及方向余弦矩阵C[k，i]。
此处，[k，i]是通过时刻k和扫描编号i确定计算结果P、C的索引。即、在同一扫描线的像素彼此共同地计算P[k，i]以及C[k，i]。因此，运动补偿块120针对最新数据值Lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]，通过使用计算结果P[k，i]以及C[k，i]的下述式2，在全局快门帧Fo内补偿按照每个扫描编号i变化的车辆3的移动量。其结果是，运动补偿块120关于每条扫描线的各像素，计算成为补偿了车辆移动量的反射距离图像Ir的最新数据值的下述式2的三维极坐标R[k，i，j]。另外，在以下的说明中，将全局快门帧Fo内的车辆3的移动量仅称为车辆移动量。
[式2]
Figure BDA0003582368560000091
如图2所示，差分提取块140具有：子块142、144，分别对反射距离图像Ir以及外部光图像Io进行预处理；以及子块146，对那些被预处理的图像Ir、Io彼此进行对比处理。
对差分提取块140中的子块142输入由运动补偿块120计算出的自己位置P[k，i]以及方向余弦矩阵C[k，i]中的、与时刻k对应的自己位置P[k，1]以及方向余弦矩阵C[k，1]。与此同时，对子块142输入由运动补偿块120补偿了车辆移动量的反射距离图像Ir。
接受这样的输入，子块142针对反射距离图像Ir补偿从作为全局快门帧Fo的开始定时的时刻k的偏移量。具体地，子块142将作为补偿了车辆移动量的反射距离图像Ir的最新数据值而由运动补偿块120计算出的各像素的三维极坐标R[k，i，j]分别转换为下述式3的三维正交坐标Rr[k，i，j]。
[式3]
Rr[k，i，j]＝CT[k，1]·R[k，i，j]
此处，上述式3使用作为全局快门帧Fo的开始定时的时刻k的方向余弦矩阵C[k，1]的转置矩阵CT[k，1]和全局快门帧Fo内的三维极坐标R[k，i，j]来定义三维正交坐标Rr[k，i，j]。因此，子块142针对成为经过坐标转换的反射距离图像Ir的最新数据值的各像素的三维正交坐标Rr[k，i，j]，还通过使用时刻k的自己位置P[k，1]的下述式4补偿从时刻h中的时刻k起的偏移量。其结果是，子块142将与各像素对应的激光反射点作为在时刻k从车辆3观测的情况下的相对位置信息，计算下述式4的相对正交坐标x，y，z。
[式4]
Figure BDA0003582368560000101
子块142还通过下述式5～7对计算出的各像素的相对正交坐标x，y，z进行转换。其结果是，子块142计算距离值Lr[k，i，j]和光束转向角θr[k，i，j]及ψr[k，i，j]，作为与时刻k相配合地补偿了偏移的反射距离图像Ir的最新数据值。
[式5]
Figure BDA0003582368560000102
[式6]
Figure BDA0003582368560000103
[式7]
Figure BDA0003582368560000104
对图2所示的差分提取块140中的子块144输入由子块142计算出的反射距离图像Ir的最新数据值中的光束转向角θr[k，i，j]以及ψr[k，i，j]。与此同时，对子块144输入在将时刻k作为开始定时的全局快门帧Fo内由外界相机24获取到的最新的外部光图像Io。如图7所示，关于每条扫描线的各像素，最新的外部光图像Io包括亮度值So[k，m，n]和像素角θo[k，m，n]及ψo[k，m，n]，作为最新数据值。
此处[k，m，n]是通过时刻k、表示每条扫描线的排列顺序的扫描编号m以及表示每条扫描线的各像素的像素编号n确定最新数据值So、θo、ψo的索引。此处，与外部光图像Io有关的扫描编号m的最大值大于与反射距离图像Ir有关的扫描编号i的最大值，另外，与外部光图像Io有关的像素编号n的最大值大于与反射距离图像Ir有关的像素编号j的最大值。即、以比反射距离图像Ir多的像素数高精细地生成外部光图像Io。
另外，如图8所示，θo[k，m，n]关于由拍摄元件241中的编号m、n的特定像素在时刻k感知的外部光，表示垂直方向的像素角。另一方面，ψo[k，i，j]关于由拍摄元件241中的编号m、n的特定像素在时刻k感知的外部光，表示横向的像素角。
接受这样的输入，子块144与反射距离图像Ir和外部光图像Io中的低精细侧相配合地对高精细侧进行插值。即、子块144通过插值将高精细侧的外部光图像Io与低精细侧的反射距离图像Ir进行匹配。具体地，子块144针对各像素的光束转向角θr[k，i，j]以及ψr[k，i，j]，如图7那样分别搜索满足下述式8、9的索引的像素角θo以及ψo。
[式8]
θo[k，m，n]＜θr[k，i，j]≤θo[k，m+1，nl
[式9]
Ψo[k，m，n]＜Ψr[k，i，j]≤Ψo[k，m，n+1]
此处上述式8将在横向上相互邻接的像素的索引记载为[k，m，n]以及[k，m+1，n]。在该记载下，上述式8使用θo[k，m，n]以及θo[k，m+1，n]来定义光束转向角θr[k，i，j]的搜索条件。另一方面，上述式9将垂直方向上相互邻接的像素的索引记载为[k，m，n]以及[k，m，n+1]。在该记载下，上述式9使用像素角θo[k，m，n]以及θo[k，m，n+1]来定义光束转向角ψr[k，i，j]的搜索条件。据此，子块144通过下述式10～12的内分插值(参照图7)计算各像素的光束转向角θr[k，i，j]以及ψr[k，i，j]下外部光图像Io上相对应的坐标的亮度值So[k，i，j]。
[式10]
Figure BDA0003582368560000111
[式11]
Figure BDA0003582368560000121
[式12]
Figure BDA0003582368560000122
此处，上述式10将横向上相互邻接的像素的索引记载为[k，m，n]以及[k，m+1，n]。在该记载下，上述式10使用像素角θo[k，m，n]以及θo[k，m+1，n]、分别对应的亮度值So[k，m，n]以及So[k，m+1，n]、以及光束转向角θr[k，i，j]来定义变量S1。
另一方面，上述式11将在垂直方向上相互邻接的像素的索引记载为[k，m，n]以及[k，m，n+1]。另外，上述式11将横向上相互邻接的像素的索引记载为[k，m，n]以及[k，m+1，n]的情况下，后者[k，m+1，n]的像素将垂直方向上邻接的像素的索引记载为[k，m+1，n+1](参照图7)。换言之，上述式11将在垂直方向上相互邻接的像素的索引记载为[k，m，n]以及[k，m，n+1]的情况下，后者[k，1，n+1]的像素可以说将横向上邻接的像素的索引记载为[k，m+1，n+1](图7参照)。在这些记载下，上述式11使用像素角θo[k，m，n+1]以及θo[k，m+1，n+1]、分别对应的亮度值So[k，m，n+1]以及So[k，m+1，n+1]以及光束转向角θr[k，i，j]来定义变量S2。
而且，上述式12将在垂直方向上相互邻接的像素的索引记载为[k，m，n]以及[k，m，n+1]。在该记载下，上述式12使用像素角ψo[k，m，n]以及ψo[k，m，n+1]、上述式10、11的变量S1、S2以及光束转向角ψr[k，i，j]来定义***值的外部光图像Io的亮度值So[k，i，j]。
对图2所示的差分提取块140中的子块146输入距离值Lr[k，i，j]作为由子块142计算出的反射距离图像Ir的最新数据值。接受该输入，子块146通过针对距离值Lr[k，i，j]的各种滤波处理中的至少一种提取最新的反射距离图像Ir中的边缘。其结果是，子块146关于与提取出的边缘对应的各像素，计算在横向或者在垂直方向上相互邻接的像素彼此的距离值Lr[k，i，j]之差，作为边缘图像值Lre[k，i，j]。
对子块146输入亮度值So[k，i，j]，作为由子块144插值的外部光图像Io的最新数据值。接受该输入，子块146通过针对亮度值So[k，i，j]的各种滤波处理中的至少一种提取最新的外部光图像Io中的边缘。其结果是，子块146关于与提取出的边缘对应的各像素，计算在横向或者在垂直方向上相互邻接的像素彼此的亮度值So[k，i，j]之差，作为边缘图像值Soe[k，i，j]。
子块146通过关于这样计算出的边缘图像值Lre[k，i，j]以及Soe[k，i，j]，按照相互对应的各像素将反射距离图像Ir与外部光图像Io进行对比，从而提取这些图像Io、Ir的差分E[k，i，j]。具体而言，子块146通过将索引的相同的边缘图像值Lre[k，i，j]以及Soe[k，i，j]彼此根据各自的偏差范围进行归一化之后进行对比的下述式13，计算这些图像值间的差分E[k，i，j]。即、子块146将与反射距离图像Ir和外部光图像Io的边缘有关的图像值Lre[k，i，j]以及Soe[k，i，j]彼此根据各自的偏差范围进行归一化之后，执行它们边缘彼此的对比以及差分提取。
[式13]
Figure BDA0003582368560000131
此处，上述式13的右边第一项将反射距离图像Ir中的边缘图像值Lre[k，i，j]的最大值以及最小值分别记载为Lremax[k，i，j]以及Lremin[k，i，j]。在该记载下，上述式13的右边第一项根据从最大值Lremax[k，i，j]减去最小值Lremin[k，i，j]得到的偏差范围对边缘图像值Lre[k，i，j]进行归一化(即，无量纲)。
另一方面，上述式13的右边第二项将外部光图像Io中的边缘图像值Soe[k，i，j]的最大值以及最小值分别记载为Soemax[k，i，j]以及Soemin[k，i，j]。在该记载下，上述式13的右边第一项根据从最大值Soemax[k，i，j]减去最小值Soemin[k，i，j]得到的偏差范围对边缘图像值Soe[k，i，j]进行归一化(即，无量纲)。
对图2所示的处理判定块160输入由差分提取块140中的子块146提取出的最新的图像Io、Ir彼此的差分E[k，i，j]。接受该输入，处理判定块160基于差分E[k，i，j]判定是否使误差估计处理返回到误差预测块180预测偏倚误差B。这与基于差分E[k，i，j]判定是否需要基于返回的偏倚误差B的重新预测同义。
此时，按照相互对应的边缘彼此的各像素对差分E[k，i，j]进行平方和得到的值在允许范围内的情况下，视为偏倚误差B的预测正确，处理判定块160做出不需要基于返回的重新预测这个判定。做出这样不需要返回的判定的情况下的偏倚误差B例如有效利用于车辆3的运动估计等中的惯性信息Ib的修正。另外，在以下的说明中，将按照各像素对差分E[k，i，j]进行平方和得到的值仅称为差分E[k，i，j]的平方和。
与此相对，在差分E[k，i，j]的平方和在允许范围外的情况下，视为偏倚误差B的预测不正确，处理判定块160做出需要基于返回的重新预测这个判定。做出这样需要返回的判定的情况下的偏倚误差B由后面详述的误差预测块180重新预测为与存储器10中存储的最新值不同的值。
此处，成为误差预测块180的判定基准的允许范围也可以将作为差分E[k，i，j]而能够判断为正确的值的上限设为阈值，并设定为该阈值以下的数值范围。允许范围也可以将作为差分E[k，i，j]而应判断为不正确的值的下限设为阈值，并设定为小于该阈值的数值范围。
从启动的车辆3的行驶开始伴随着初次的需要误差估计处理这个判断，将存储于存储器10的偏倚误差B的初始值输入图2所示的误差预测块180(即，读出)。接受该输入，误差预测块180将时刻k的最新的偏倚误差B暂时预测为初始值，并存储至存储器10。此处，偏倚误差B的初始值可以是预先设定的固定值。偏倚误差B的初始值也可以是在过去的误差估计处理中所预测出的可变值。
在由处理判定块160做出需要返回这个判定的情况下，不正确预测的偏倚误差B从存储器10被输入至误差预测块180(即，读出)。接受该输入，误差预测块180通过对不正确预测的偏倚误差B加上误差调整值来重新预测时刻k的最新的偏倚误差B，并存储至存储器10。此时，误差预测块180根据在本次以及前次的误差估计处理中提取出的差分E[k，i，j]间的增减结果，来调整误差调整值的符号以及从初始值的可变量。因此，在做出需要返回这个判定的情况下，存储于存储器10的误差调整值的初始值也被输入至误差预测块180(即，读出)。此处，误差调整值的初始值可以是预先设定的固定值。误差调整值的初始值也可以是在过去的误差估计处理中预测出的可变值。
根据以上，在第一实施方式中，误差修正块100相当于“误差修正部”，运动补偿块120相当于“运动补偿部”。另外，在第一实施方式中，差分提取块140相当于“差分提取部”，处理判定块160相当于“处理判定部”，误差预测块180相当于“误差预测部”。
以下，按照图9，对通过至此说明的功能块100、120、140、160、180的共同，误差估计装置1进行误差估计处理而实现的误差估计方法的流程进行说明。另外，按照在启动的车辆3的行驶开始后重复的每个全局快门帧Fo，执行本流程。另外，在本流程中，各“S”分别意味着通过误差估计程序所包含的多个命令执行的多个步骤。并且，在以下的说明中，省略索引的记载。
在S101中，误差预测块180将在开始全局快门帧Fo的时刻k在惯性传感器20中产生的偏倚误差B暂时预测为存储器10中所存储的初始值，并存储至存储器10。
在S102中，误差修正块100针对由惯性传感器20在时刻k获取的最新的惯性信息Ib，修正通过S101或者后述的S108在之前预测出的最新的偏倚误差B。
在S103中，运动补偿块120在时刻k开始的全局快门帧Fo内，针对由光学传感器22获取的最新的反射距离图像Ir，补偿全局快门帧Fo内的车辆移动量。此时的补偿基于通过S102修正了偏倚误差B的惯性信息Ib。
在S104中，差分提取块140的子块142针对通过S103补偿了车辆移动量的反射距离图像Ir，从作为补偿全局快门帧Fo的开始定时的时刻k的偏移量。
在S105中，差分提取块140的子块144与通过S104进行了偏移补偿的反射距离图像Ir相配合地对在时刻k开始的全局快门帧Fo内由外界相机24获取到的最新的外部光图像Io进行插值。此时的插值与低精细侧的反射距离图像Ir相配合地使高精细侧的外部光图像Io匹配。
在S106中，差分提取块140的子块146将通过S104进行了偏移补偿的反射距离图像Ir与通过S105进行了插值的外部光图像Io进行对比，来提取差分E。在与反射距离图像Ir和外部光图像Io的边缘有关的图像值Lre、Soe根据各自的偏差范围被归一化之后，针对它们边缘彼此执行此时的对比以及差分提取。
在S107中，处理判定块160基于通过S106提取的差分E，判定是否使误差估计处理返回到偏倚误差B的重新预测。其结果是，在做出不需要返回这个判定的情况下，本流程结束。
另一方面，在做出需要返回这个判定的情况下，在S108中，误差预测块180重新预测时刻k的偏倚误差B并存储至存储器10之后，再次执行S102。此时的重新预测通过根据在本次以及前次的误差估计处理中由差分提取块140提取出的差分E间的增减结果来调整与不正确预测的偏倚误差B相加的误差调整值的可变量而实现。
根据以上，在第一实施方式中，S101、S108相当于“预测工序”，S102相当于“修正工序”，S103相当于“补偿工序”。另外，在第一实施方式中，S104、S105、S106相当于“提取工序”，S107相当于“判定工序”。
(作用效果)
以下，对以上说明的第一实施方式的作用效果进行说明。
根据第一实施方式的估计处理，能够偏倚误差B的预测越正确，则光学传感器22通过滚动快门获取的反射距离图像Ir与外界相机24通过全局快门获取的外部光图像之差越小。因此，根据基于反射距离图像Ir和外部光图像Io来判定是否需要重新预测偏倚误差B，可以重复估计处理，直到偏倚误差B被预测为正确为止。因此，可以高精度地估计偏倚误差B。
根据第一实施方式的估计处理，在外界相机24通过一并曝光的全局快门获取外部光图像Io的全局快门帧Fo内，针对光学传感器22通过依次曝光的滚动快门获取的反射距离图像Ir，补偿车辆移动量。此时，在基于修正了偏倚误差B的惯性信息Ib补偿了车辆移动量的反射距离图像Ir中，偏倚误差B的预测越正确，则通过与外部光图像Io的对比所提取的差分E越小。因此，根据基于反射距离图像Ir与外部光图像Io的差分E来判定是否使误差估计处理返回到偏倚误差B的预测，可以重复误差估计处理，直到偏倚误差B被预测为正确为止。因此，可以高精度地估计偏倚误差B。
根据第一实施方式的反射距离图像Ir在被补偿从全局快门帧Fo的开始定时起的偏移量之后，与外部光图像Io进行对比。据此，光学传感器22通过全局快门帧Fo内的滚动快门依次曝光而获取的反射距离图像Ir可以补偿，以成为在全局快门帧Fo的开始定时与外部光图像Io一起获取的图像。即，被补偿的反射距离图像Ir可以实质与外部光图像Io同时获取和模拟，所以通过对比这些图像Ir、Io，可以正确地提取差分E，高精度地估计偏倚误差B。
对于根据第一实施方式的反射距离图像Ir和外部光图像Io，与低精细侧相配合地对高精细侧进行插值之后，进行对比。据此，消除由精细度的不同造成的图像Ir、Io彼此的不匹配，并且通过对比，能够正确地提取差分E，所以可以高精度地估计偏倚误差B。
根据第一实施方式的反射距离图像Ir和外部光图像Io被对比边缘彼此。据此，容易从对比较容易的边缘彼此正确地提取差分E，所以可以高精度地估计偏倚误差B。
根据第一实施方式的反射距离图像Ir和外部光图像Io将图像值Lre、Soe彼此根据各自的偏差范围进行归一化之后，进行对比。据此，通过作为归一化的结果而尺度对准的图像值Lre、，Soe彼此的对比，能够正确地提取差分E，所以可以高精度地估计偏倚误差B。
(第二实施方式)
如图10、11所示，第二实施方式是第一实施方式的变形例。
第二实施方式的光学传感器2022是例如获取能够有效利用于车辆3的运动估计等的反射距离图像Ir的所谓立体相机。光学传感器2022根据在车辆3的外界从反射外部光的反射点感知的该外部光来获取反射距离图像Ir。具体而言，光学传感器2022具有：第一拍摄部2220、第二拍摄部2221以及拍摄电路2222。
第一拍摄部2220以及第二拍摄部2221被配置为光学中心沿着车辆3中的垂直方向一致。在第一拍摄部2220以及第二拍摄部2221分别设置有第一拍摄元件2220a以及第二拍摄部元件2221a。拍摄电路2222实现滚动快门，按分别对应的每条扫描线同步地依次曝光以及依次扫描各拍摄元件2220a、2221a的构成像素中横向的多个纵像素列。拍摄电路2222通过基于各拍摄元件2220a、2221a中被同步扫描的扫描线彼此的每个像素的感知信息的三角测量运算，生成这些各像素的纵深信息。因此，拍摄电路2222将作为被同步扫描的扫描线彼此的每个像素的纵深信息的、到车辆3的外界中的外部光的反射点的距离值同与这些像素的每个像素对应的光束转向角建立关联地进行数据化，从而获取反射距离图像Ir。
根据这样的第二实施方式，使用感知外部光的反射光的光学传感器2022来代替感知激光的反射光的第一实施方式的光学传感器22，也能够发挥与第一实施方式同样的作用效果。
(其它实施方式)
以上，对多个实施方式进行了说明，但本公开并不是限定地解释这些实施方式，能够在不脱离本公开的主旨的范围内应用于各种实施方式以及组合。
变形例中的误差估计装置1可以是构成为包括数字电路以及模拟电路中的至少一方作为处理器的、专用的计算机。此处，特别地，数字电路例如是ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、SOC(System on a Chip：片上***)、PGA(Programmable Gate Array：可编程门阵列)以及CPLD(Complex Programmable Logic Device：复杂可编程逻辑器件)等中的至少一种。另外，这样的数字电路也可以具备储存有程序的存储器。
在变形例中的差分提取块140的子块142以及S104中，可以在外部光图像Io中补偿反射距离图像Ir中的从时刻k的偏移量。变形例中的反射距离图像Ir也可以比外部光图像Io高精细。在这种情况下的差分提取块140的子块144以及S105中，可以与低精细侧的外部光图像Io相配合地对高精细侧的反射距离图像Ir进行插值。
在变形例的差分提取块140的子块142、146以及S104、S106中，也可以使用与反射距离图像Ir的距离值Lr建立关联地包含在该图像Ir中的亮度值来代替该距离值Lr。在变形例的差分提取块140的子块146以及S106中，可以将反射距离图像Ir的距离值Lr和外部光图像Io的亮度值So保持原样地作为图像值，以供对比及差分提取。在变形例的差分提取块140的子块146以及S106中，可以与反射距离图像Ir和外部光图像Io中一方相配合地对另一方进行归一化之后，以供对比及差分提取。

Claims (27)

1.一种误差估计装置，是在车辆(3)中进行在惯性传感器(20)中产生的偏倚误差(B)的估计处理的误差估计装置(1)，在上述车辆中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述误差估计装置具备：
误差预测部(180)，预测上述偏倚误差；以及
处理判定部(160)，基于上述光学传感器通过滚动快门获取的上述反射距离图像以及上述外界相机通过全局快门获取的上述外部光图像，判定是否需要基于上述误差预测部的上述偏倚误差的重新预测。
2.根据权利要求1所述的误差估计装置，其中，
上述误差估计装置还具备运动补偿部(120)，上述运动补偿部基于修正了上述偏倚误差的上述惯性信息，补偿由于上述车辆的运动而产生的上述反射距离图像的压缩量，
上述处理判定部基于上述外部光图像和由上述运动补偿部补偿的上述反射距离图像，判定是否需要上述偏倚误差的修正。
3.根据权利要求2所述的误差估计装置，其中，
上述误差估计装置还具备差分提取部(140)，上述差分提取部通过对比上述外部光图像与由上述运动补偿部补偿的上述反射距离图像，提取上述反射距离图像与上述外部光图像的差分(E)，
上述处理判定部基于由上述差分提取部提取的、上述反射距离图像与上述外部光图像的上述差分，判定是否需要上述偏倚误差的修正。
4.一种误差估计装置，是在车辆(3)中进行在惯性传感器(20)中产生的偏倚误差(B)的估计处理的误差估计装置(1)，在车辆(3)中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述误差估计装置具备：
误差预测部(180)，预测上述偏倚误差；
误差修正部(100)，针对上述惯性信息修正由上述误差预测部预测的上述偏倚误差；
运动补偿部(120)，在上述外界相机通过一并曝光的全局快门获取上述外部光图像的快门帧(Fo)内针对上述光学传感器通过依次曝光的滚动快门获取的上述反射距离图像，基于由上述误差修正部修正了上述偏倚误差的上述惯性信息，补偿上述快门帧内的由上述车辆的运动引起的移动量；
差分提取部(140)，通过对比上述外部光图像与由上述运动补偿部补偿了上述移动量的上述反射距离图像，提取上述反射距离图像与上述外部光图像的差分(E)；以及
处理判定部(160)，基于由上述差分提取部提取的上述差分，判定是否使上述估计处理返回到基于上述误差预测部的上述偏倚误差的预测。
5.根据权利要求3或者4所述的误差估计装置，其中，
上述差分提取部在针对上述反射距离图像补偿上述全局快门中的从快门帧(Fo)的开始定时起的偏移量之后，将上述反射距离图像与上述外部光图像进行对比。
6.根据权利要求3～5中的任意一项所述的误差估计装置，其中，
上述差分提取部在与上述反射距离图像和上述外部光图像中的低精细侧相配合地对上述反射距离图像和上述外部光图像中的高精细侧进行插值之后，将上述反射距离图像与上述外部光图像图像进行对比。
7.根据权利要求3～6中的任意一项所述的误差估计装置，其中，
上述差分提取部将上述反射距离图像与上述外部光图像的边缘彼此进行对比。
8.根据权利要求3～7中的任意一项所述的误差估计装置，其中，
上述差分提取部在将上述反射距离图像与上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
9.根据权利要求1～8中的任意一项所述的误差估计装置，其中，
上述滚动快门的图像获取时间被设定为比上述全局快门的图像获取时间短。
10.一种误差估计方法，是在车辆(3)中进行在惯性传感器(20)中产生的偏倚误差(B)的估计处理的误差估计方法，在车辆(3)中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述误差估计方法包括：
预测工序(S101、S108)，预测上述偏倚误差；以及
判定工序(S107)，基于上述光学传感器通过滚动快门获取的上述反射距离图像以及上述外界相机通过全局快门获取的上述外部光图像，判定是否需要基于上述预测工序的上述偏倚误差的重新预测。
11.根据权利要求10所述的误差估计方法，其中，
上述误差估计方法还包括补偿工序(S103)，在上述补偿工序中，基于修正了上述偏倚误差的上述惯性信息，补偿由于上述车辆的运动而产生的上述反射距离图像的压缩量，
在上述判定工序中，基于上述外部光图像和通过上述补偿工序补偿的上述反射距离图像，判定是否需要上述偏倚误差的修正。
12.根据权利要求11所述的误差估计方法，其中，
上述误差估计方法还包括提取工序(S104、S105、S106)，在上述提取工序中，通过对比上述外部光图像与通过上述补偿工序补偿的上述反射距离图像，提取上述反射距离图像与上述外部光图像的差分(E)，
在上述判定工序中，基于通过上述提取工序提取的、上述反射距离图像与上述外部光图像的上述差分，判定是否需要上述偏倚误差的修正。
13.一种误差估计方法，是在车辆(3)中进行在惯性传感器(20)中产生的偏倚误差的估计处理的误差估计方法，在车辆(3)中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述误差估计方法包括：
预测工序(S101、S108)，预测上述偏倚误差；
修正工序(S102)，针对上述惯性信息修正通过上述预测工序预测的上述偏倚误差；
补偿工序(S103)，在上述外界相机通过一并曝光的全局快门获取上述外部光图像的快门帧(Fo)内针对上述光学传感器通过依次曝光的滚动快门获取的上述反射距离图像，基于通过上述修正工序修正了上述偏倚误差的上述惯性信息，补偿上述快门帧内的由上述车辆的运动引起的移动量；
提取工序(S104、S105、S106)，通过对比上述外部光图像与通过上述补偿工序补偿了上述移动量的上述反射距离图像，提取上述反射距离图像与上述外部光图像的差分(E)；以及
判定工序(S107)，基于通过上述提取工序提取的上述差分，判定是否使上述估计处理返回到基于上述预测工序的上述偏倚误差的预测。
14.根据权利要求12或者13所述的误差估计方法，其中，
在上述提取工序中，在针对上述反射距离图像补偿上述全局快门中的从快门帧(Fo)的开始定时起的偏移量之后，将上述反射距离图像与上述外部光图像进行对比。
15.根据权利要求12～14中的任意一项所述的误差估计方法，其中，
在上述提取工序中，在与上述反射距离图像和上述外部光图像中的低精细侧相配合地对上述反射距离图像和上述外部光图像中的高精细侧进行插值之后，将上述反射距离图像和上述外部光图像进行对比。
16.根据权利要求12～15中的任意一项所述的误差估计方法，其中，
在上述提取工序中，将上述反射距离图像与上述外部光图像的边缘彼此进行对比。
17.根据权利要求12～16中的任意一项所述的误差估计方法，其中，
在上述提取工序中，在将上述反射距离图像和上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
18.根据权利要求10～17中的任意一项所述的误差估计方法，其中，
上述滚动快门的图像获取时间被设定为比上述全局快门的图像获取时间短。
19.一种误差估计程序，被储存于存储介质(10)且包括使处理器(12)执行的命令，上述误差估计程序用以在车辆(3)中进行在惯性传感器(20)中产生的偏倚误差(B)的估计处理，在车辆(3)中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，
上述命令包括：
预测工序(S101、S108)，预测上述偏倚误差；以及
判定工序(S107)，基于上述光学传感器通过滚动快门获取的上述反射距离图像以及上述外界相机通过全局快门获取的上述外部光图像，判定是否需要基于上述预测工序的上述偏倚误差的重新预测。
20.根据权利要求19所述的误差估计程序，其中，
上述命令还包括补偿工序(S103)，在上述补偿工序中，基于修正了上述偏倚误差的上述惯性信息，补偿由于上述车辆的运动而产生的上述反射距离图像的压缩量，
在上述判定工序中，基于上述外部光图像和通过上述补偿工序补偿的上述反射距离图像，判定是否需要上述偏倚误差的修正。
21.根据权利要求20所述的误差估计程序，其中，
上述命令还包括提取工序(S104、S105、S106)，在上述提取工序中，通过对比上述外部光图像与通过上述补偿工序补偿的上述反射距离图像，提取上述反射距离图像和上述外部光图像的差分(E)，
在上述判定工序中，基于通过上述提取工序提取的、上述反射距离图像与上述外部光图像的上述差分，判定是否需要上述偏倚误差的修正。
22.一种误差估计程序，被储存于存储介质(10)且包括使处理器(12)执行的命令，上述误差估计程序用以在车辆(3)中进行在惯性传感器中(20)产生的偏倚误差的估计处理，在车辆(3)中搭载有：上述惯性传感器，获取惯性信息(Ib)；光学传感器(22)，获取与从外界感知的光的反射点距离相对应的反射距离图像(Ir)；以及外界相机(24)，获取与从外界感知的外部光相对应的外部光图像(Io)，其中，
上述命令包括：
预测工序(S101、S108)，预测上述偏倚误差；
修正工序(S102)，针对上述惯性信息修正通过上述预测工序预测的上述偏倚误差；
补偿工序(S103)，在上述外界相机通过一并曝光的全局快门获取上述外部光图像的快门帧(Fo)内针对上述光学传感器通过依次曝光的滚动快门获取的上述反射距离图像，基于通过上述修正工序修正了上述偏倚误差的上述惯性信息，补偿上述快门帧内的由上述车辆的运动引起的移动量；
提取工序(S104、S105、S106)，通过对比上述外部光图像与通过上述补偿工序补偿了上述移动量的上述反射距离图像，提取上述反射距离图像与上述外部光图像的差分(E)；以及
判定工序(S107)，基于通过上述提取工序提取的上述差分，判定是否使上述估计处理返回到基于上述预测工序的上述偏倚误差的预测。
23.根据权利要求21或者22所述的误差估计程序，其中，
在上述提取工序中，在针对上述反射距离图像补偿上述全局快门中的从快门帧(Fo)的开始定时起的偏移量之后，将上述反射距离图像与上述外部光图像进行对比。
24.根据权利要求21～23中的任意一项所述的误差估计程序，其中，
在上述提取工序中，在与上述反射距离图像和上述外部光图像中的低精细侧相配合地对上述反射距离图像和上述外部光图像中的高精细侧进行插值之后，将上述反射距离图像和上述外部光图像进行对比。
25.根据权利要求21～24中的任意一项所述的误差估计程序，其中，
在上述提取工序中，将上述反射距离图像与上述外部光图像的边缘彼此进行对比。
26.根据权利要求21～25中的任意一项所述的误差估计程序，其中，
在上述提取工序中，在将上述反射距离图像和上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
27.根据权利要求21～26中的任意一项所述的误差估计程序，其中，
上述滚动快门的图像获取时间被设定为比上述全局快门的图像获取时间短。
CN202080070716.2A 2019-10-08 2020-10-06 误差估计装置、误差估计方法、存储介质 Active CN114514412B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-185387 2019-10-08
JP2019185387 2019-10-08
PCT/JP2020/037852 WO2021070813A1 (ja) 2019-10-08 2020-10-06 誤差推定装置、誤差推定方法、誤差推定プログラム

Publications (2)

Publication Number Publication Date
CN114514412A true CN114514412A (zh) 2022-05-17
CN114514412B CN114514412B (zh) 2024-06-04

Family

ID=75437429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070716.2A Active CN114514412B (zh) 2019-10-08 2020-10-06 误差估计装置、误差估计方法、存储介质

Country Status (4)

Country Link
US (1) US11802772B2 (zh)
JP (1) JP7231054B2 (zh)
CN (1) CN114514412B (zh)
WO (1) WO2021070813A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr***中多摄像头曝光中心点的对齐方法、***
CN114323033B (zh) * 2021-12-29 2023-08-29 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097968A (ja) * 1998-09-25 2000-04-07 Japan Aviation Electronics Industry Ltd 速度計および速度測定方法
JP2006135838A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 動き検出装置
JP2009141805A (ja) * 2007-12-07 2009-06-25 Canon Inc 撮像装置及びその制御方法
JP2015070488A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20190129044A1 (en) * 2016-07-19 2019-05-02 Southeast University Cubature Kalman Filtering Method Suitable for High-dimensional GNSS/INS Deep Coupling

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
JP5501101B2 (ja) 2010-06-03 2014-05-21 三菱電機株式会社 位置標定装置、位置標定方法および位置標定プログラム
US9121866B2 (en) * 2013-03-15 2015-09-01 Autoliv Asp, Inc. System and method for inertial sensor offset compensation
US9277361B2 (en) * 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
US10012504B2 (en) * 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9880263B2 (en) 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10466774B2 (en) * 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
WO2019080046A1 (zh) * 2017-10-26 2019-05-02 深圳市大疆创新科技有限公司 惯性测量单元的漂移标定方法、设备及无人飞行器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097968A (ja) * 1998-09-25 2000-04-07 Japan Aviation Electronics Industry Ltd 速度計および速度測定方法
JP2006135838A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 動き検出装置
JP2009141805A (ja) * 2007-12-07 2009-06-25 Canon Inc 撮像装置及びその制御方法
JP2015070488A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20190129044A1 (en) * 2016-07-19 2019-05-02 Southeast University Cubature Kalman Filtering Method Suitable for High-dimensional GNSS/INS Deep Coupling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尚申: "浮选视频图像获取的光照***设计及图像处理", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, 15 July 2018 (2018-07-15), pages 138 - 1344 *
易学锋: "单反数码相机精密位移测量研究", 《中国博士学位论文全文数据库信息科技辑》, no. 01, 15 January 2012 (2012-01-15), pages 138 - 52 *

Also Published As

Publication number Publication date
JP7231054B2 (ja) 2023-03-01
US11802772B2 (en) 2023-10-31
CN114514412B (zh) 2024-06-04
US20220228871A1 (en) 2022-07-21
WO2021070813A1 (ja) 2021-04-15
JPWO2021070813A1 (zh) 2021-04-15

Similar Documents

Publication Publication Date Title
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
CN114514412B (zh) 误差估计装置、误差估计方法、存储介质
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
CN108692719B (zh) 物体检测装置
US20050237385A1 (en) Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US20190392228A1 (en) Integrated sensor calibration in natural scenes
US20160165157A1 (en) Stereo assist with rolling shutters
EP2624575A1 (en) Image processing device and image capturing device using same
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US10996072B2 (en) Systems and methods for updating a high-definition map
JP2007263669A (ja) ３次元座標取得装置
JP2007261463A (ja) 車載カメラのキャリブレーションシステム
JP6708730B2 (ja) 移動体
KR102103944B1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
US20220229184A1 (en) Synchronization device, synchronization method, and synchronization program
JP6932058B2 (ja) 移動体の位置推定装置及び位置推定方法
CN114600417A (zh) 同步装置、同步方法以及同步程序
EP3176750B1 (en) Vision system for a motor vehicle and method of controlling a vision system
EP3640585B1 (en) Stereo camera device
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN113091756A (zh) 位置推定装置、以及位置推定方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和***
JP4285618B2 (ja) ステレオカメラの自己診断装置
CN115235526A (zh) 用于传感器的自动校准的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant