CN107567412A - 利用汽车相机使用车辆运动数据的对象位置测量 - Google Patents

利用汽车相机使用车辆运动数据的对象位置测量 Download PDF

Info

Publication number
CN107567412A
CN107567412A CN201680020729.2A CN201680020729A CN107567412A CN 107567412 A CN107567412 A CN 107567412A CN 201680020729 A CN201680020729 A CN 201680020729A CN 107567412 A CN107567412 A CN 107567412A
Authority
CN
China
Prior art keywords
vehicle
omni
interested
directional image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680020729.2A
Other languages
English (en)
Other versions
CN107567412B (zh
Inventor
M.巴兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN107567412A publication Critical patent/CN107567412A/zh
Application granted granted Critical
Publication of CN107567412B publication Critical patent/CN107567412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

利用贴附到车辆的全向相机定位对象的位置的方法和***。电子控制单元从车辆通信总线接收车辆的移动数据。同时，电子控制单元利用全向相机接收静止对象的多个全向图像帧。基于所接收的全向图像帧，电子控制单元标识全向图像帧中的感兴趣的对象并且在车辆正在移动的同时追踪全向图像帧中的感兴趣的对象。电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变，并且基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离。

Description

利用汽车相机使用车辆运动数据的对象位置测量
对相关案例的交叉引用
本申请要求享有2015年4月10日提交的美国临时专利申请号62/145,692的权益，所述美国临时专利申请的完整内容通过引用并入本文。
背景技术
本发明的实施例涉及车辆成像***。
发明内容
对象位置测量***检测、追踪和计算如由车辆上的全向相机查看的感兴趣的对象的位置。对象位置测量***使用电子控制单元，所述电子控制单元基于车辆的运动而标识和估计结构（即世界中的点）。***使用通过车辆通信总线传送的由车辆控制器提供的测程信息。此外，对象位置测量***包括控制器以基于来自单个宽视场相机的图像而估计世界结构。控制器使用世界结构和测程信息来允许车辆执行驾驶员辅助和自动机动操纵。
在一个实施例中，本发明提供了一种利用贴附到车辆的全向相机定位对象的位置的方法。电子控制单元从车辆传感器接收指示车辆的位置改变的车辆的移动数据。电子控制单元利用全向相机接收一个或多个静止对象的多个全向图像帧并且基于全向图像帧中的所述一个或多个静止对象而标识感兴趣的对象。电子控制单元在车辆正在移动的同时追踪全向图像帧中的感兴趣的对象。电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变。基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变，电子控制单元确定到感兴趣的对象的距离。
在另一实施例中，本发明提供了一种用于利用贴附到车辆的全向相机定位对象的位置的对象定位***。***包括配置成指示车辆的位置改变的至少一个车辆传感器、全向相机和配置成向车辆的驾驶员显示视频信息的用户接口。***还包括配置成从全向相机接收包括一个或多个静止对象的全向图像的多个全向图像帧的电子控制单元。电子控制单元还从所述至少一个车辆传感器接收指示车辆的位置改变的车辆的移动数据。电子控制单元从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象，并且在车辆正在移动的同时追踪多个全向图像帧中的感兴趣的对象。另外，电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变，并且基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离。
本发明的其他方面将通过详细描述和随附各图的考虑而变得明显。
附图说明
图1是配备有对象位置测量***的车辆的框图。
图2是用于图1的对象位置测量***的电子控制单元的框图。
图3是具有利用后视全向相机标识感兴趣的对象的图1的对象位置测量***的车辆的图。
图4是来自图3的全向相机的感兴趣的对象的全向图像。
图5是从车辆上的全向相机到图3的感兴趣的对象的视线图。
图6是参照图1的车辆的地面坐标系（GCS）的图。
图7是参照车辆的GCS与参照图1的全向相机的光学坐标系（OCS）之间的关系的图。
图8是一段时间间隔内的图7的GSC与OCS之间的变换的图。
图9是基于一段时间间隔内的全向相机姿态的图7的GCS与OCS之间的变换的图。
图10A和10B图示了参照GCS利用图1的对象位置测量***估计对象位置的方法。
图11A是从全向相机到图3的感兴趣的对象的视线的公共相交的图。
图11B是确定图11A的公共相交点中的不确定度的图。
图12是在图3的感兴趣的对象上的多个所标识的点的网格图。
图13是使用图1的对象位置测量***确定对象的位置的方法的流程图。
图14是使用图1的对象位置测量***确定对象的位置的方法的另一流程图。
具体实施方式
在详细解释本发明的任何实施例之前，要理解的是，本发明在其应用方面不受限于在以下描述中阐述或在随附各图中图示的组件的布置和构造的细节。本发明能够具有其他实施例，并且能够以各种方式实践或实施。
应当指出的是，多个基于硬件和软件的设备，以及多个不同结构的组件可以用于实现本发明。此外，应当理解的是，本发明的实施例可以包括硬件、软件和电子组件或模块，所述硬件、软件和电子组件或模块出于讨论的目的而可以被图示和描述为就像组件的大部分单独实现在硬件中。然而，本领域普通技术人员基于该详细描述的阅读将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在可由一个或多个处理器执行的软件（例如存储在非暂时性计算机可读介质上）中。照此，应当指出的是，多个基于硬件和软件的设备，以及多个不同结构的组件可以用于实现本发明。例如，在说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、一个或多个存储器模块（包括非暂时性计算机可读介质）、一个或多个输入/输出接口，以及连接组件的各种连接（例如***总线）。
图1图示了根据一个实施例的配备有对象位置测量***102的车辆100。车辆100包括全向相机105（例如鱼眼镜头相机）、电子控制单元（ECU 110）、车辆通信总线115（例如CAN总线）、显示器120和用户接口125。全向相机105通信地耦合到ECU 110，由此ECU 110访问利用全向相机105捕获的多个全向图像（即全向图像帧）。ECU 110以预定时间间隔处理所述多个图像并且至少部分地基于车辆100所行进的距离而记录所述多个图像和相关联的数据。此外，ECU 110将全向图像变换成直线图像（即直线图像帧）并且向显示器120发送直线图像以供车辆的驾驶员查看。车辆通信总线115通信地耦合ECU 110与显示器120连同其他车辆***。例如，车辆通信总线115使得能够实现ECU 110、显示器120、用户接口125和车辆100中的其他电子控制单元之间的通信。在一些构造中，显示器120和用户接口125集成到单个设备中，诸如例如触摸屏显示器。作为结果，车辆100的驾驶员可以经由用户接口125直接向显示器120中输入命令。如以下详细描述的，用户接口125可以从驾驶员接收指示显示器120中的感兴趣的对象的输入。在其他实施例中，显示器120和用户接口125是分离的独立输入和输出设备以提供驾驶员与ECU 110之间的通信。
对象位置测量***102的一些实施例还包括指示车辆100的位置和移动的一个或多个车辆传感器140。例如，车辆100可以包括转向角传感器、车轮位置或车轮速度传感器和全球定位***（GPS）指示器。车辆传感器140使得ECU 110能够基于由车辆传感器140提供的移动信息而检测车辆100的位置、朝向和运动。此外，ECU 110配置成基于移动信息而计算位置和位置随时间的改变。此外，ECU 110可以通信地耦合到一个或多个车辆控制设备145，诸如例如方向盘、油门和制动***。通过使用这些车辆控制设备145，ECU 110可以基于车辆100的位置和由对象位置测量***102分析的车辆100周围的对象位置而执行自动驾驶机动操纵。
图2是ECU 110的框图。ECU 110包括向ECU 110和/或全向相机105内的组件和模块提供功率、操作控制和保护的多个电气和电子组件。例如，ECU 110包括，除其他事物之外，控制器205（诸如可编程电子微处理器、微控制器或类似设备）、电源模块210和输入/输出模块215。控制器205包括，除其他事物之外，处理单元220和存储器225。处理单元220通信地耦合到存储器225并且执行能够存储在存储器225上的指令。控制器205配置成从存储器225检索并且执行（除其他事物之外）涉及本文所描述的控制过程和方法的指令。在其他实施例中，ECU 110包括附加的、更少的或不同的组件。应当指出的是，ECU 110可以实现在若干独立电子控制单元中，每一个独立电子控制单元配置成执行本文所列出的特定功能。此外，ECU 110可以包含输入特定类型的传感器数据并且执行相关过程的子模块。例如，视频分析模块可以输入来自全向相机105的视频流，将图像变换成直线格式，识别图像中的对象和特征，追踪图像内的对象和特征，并且向其他ECU或子模块发送来自这些过程的数据输出。
ECU 110，除其他事物之外，配置成将从全向相机105接收的全向图像的部分变换成直线图像帧。例如，在图2的实施例中，输入/输出模块215从全向相机105接收全向图像并且向控制器205发送全向图像以用于图像处理。控制器205然后处理和变换全向图像。ECU110可以借助于由美国专利申请号14/808,144公开的变换方法来将全向图像变换成直线图像帧，所述美国专利申请的完整内容通过引用并入本文。ECU 110经由车辆通信总线115或ECU 110与显示器120之间的另一通信链路向显示器120传输经变换的图像。此外，输入/输出模块215可以从用户接口125接收标识所显示的图像的感兴趣的区的命令。感兴趣的区表示由ECU 110和/或驾驶员确定的包含感兴趣的对象的全向图像的部分。
用户接口125、ECU 110、子模块、附加的ECU、车辆传感器140和车辆控制设备145可以通过车辆通信总线115上的一个或多个通信模块链接和/或经由输入/输出模块215直接连接。在一些实施例中，用户接口125借助于诸如J1939或CAN总线之类的协议通信以用于与输入/输出模块215通信。在其他实施例中，用户接口125取决于特定应用的需要而在其他合适协议之下与输入/输出模块215通信。在一些实施例中，输入/输出模块215使用专用信号线从各种控件和传感器直接输入信息。
图3是包括对象位置测量***102和拖车305的车辆100的图示。在该示例中，拖车305包括拖车挂接装置310。拖车挂接装置310是对于ECU 110而言感兴趣的对象。在该情况下，ECU 110已经将拖车挂接装置310标识为车辆100将要对准到的对象。视线315从全向相机105延伸到拖车挂接装置310。图4是利用全向相机105的从车辆100的后视图。如所图示的，拖车挂接装置310占据全向图像中的位置，所述位置由ECU 110检测为像素位置或坐标集合（例如竖直坐标和水平坐标）。当车辆100逼近拖车305时，拖车挂接装置310的位置在全向图像中移动到新的像素位置或坐标集合。检测位置中的改变并且通过ECU 110确定改变量。然而，拖车挂接装置310相对于车辆100的距离和位置单独基于全向图像或基于拖车挂接装置310的位置在全向图像中的改变不是已知的。另外，由于全向图像中的非线性效应，拖车挂接装置310的位置中的改变可能取决于拖车挂接装置310在全向图像内的位置而看起来更大或更小。在计算所检测的对象的位置的改变之前，ECU 110执行包含感兴趣的对象的全向图像的至少部分的变换以降低或消除这些非线性效应。
图5图示了当车辆100逼近拖车305时全向相机105与拖车挂接装置310之间的视线中的改变。在上部示例505中，视线510从全向相机105延伸到拖车挂接装置310。在中部示例515中，视线520从全向相机105延伸到拖车挂接装置310。在底部示例525中，视线530从全向相机105延伸到拖车挂接装置310。还在中部示例515和底部示例525中描绘视线510以图示视线510、视线520和视线530之间的角度中的改变。当发生角度中的改变时，全向图像中的拖车挂接装置310的位置（例如像素位置）改变。通过ECU 110来追踪该改变。
图6是描绘具有车辆100的世界坐标系的图。基于初始参考点605，ECU 110基于从车辆通信总线115读取的移动数据（例如移动的方向和移动的距离）而追踪车辆100的当前位置610和移动路径607。ECU 110使用车轮速度传感器、转向角传感器和车辆100上的其他传感器来追踪任何给定方向上的移动量。在预先限定的时间间隔处，ECU 110确定车辆姿态（例如车辆关于世界坐标系的位置和方向）。例如，ECU 110可以确定并在存储器225中存储来自初始参考点605的y距离（yR）和x距离（xR）以及偏航角615（例如车辆100正面向的方向）。与ECU 110正处理来自全向相机105的全向图像同时地，ECU 110确定车辆100的当前位置610和移动。作为结果，ECU 110能够将当前位置610和移动数据与来自全向相机105的全向图像序列进行匹配。
为了比较来自全向图像的信息和车辆100的移动数据，建立参考系的平移。图7图示了关于全向相机105的光学坐标系（OCS）705和关于车辆100的地面坐标系（GCS）710。由于GCS 710还在原点向车辆100的简单平移的情况下描述世界坐标系，因此将贯穿本公开而参考GCS 710而不是世界坐标系。OCS 705具有全向相机105的光学孔径处的参考原点。z轴向上并且向后以与车辆100成45度角延伸，并且y轴向下并且向后以与车辆100成-45度角延伸。相比之下，针对GCS 710的z轴垂直于车辆100延伸，并且针对GCS 710的y轴与车辆100平行地延伸。这些坐标系可以取决于全向相机105关于车辆100的对准以及全向相机105的固有和非固有参数而在对准方面有所不同。
ECU 110确定GCS 710与OCS 705***之间的关系。在一些实施例中，在车辆100的制造期间，校准ECU 110以限定该关系。例如，可以经由全向相机105输入视觉测试图案。在这样的情况下，ECU 110参照测试图案的已知值（例如距离）来分析输入测试图案。以此方式，ECU 110对准OCS 705和GCS 710。然而，随时间，OCS 705与GCS 710之间的关系可能改变。例如，如果车辆100由于例如胎压中的改变或高负载条件而经历高度中的改变，OCS 705与GCS 710之间的关系可能改变。为了针对所述改变进行调节，ECU 110可以在车辆100的制造之后执行OCS 705与GCS 710之间的附加校准。例如，ECU 110可以以预定间隔使用视觉测程法执行校准，例如在车辆100的每一次启动时。这种类型的校准可以是基于全向图像中的被检测对象而不是基于视觉测试图案。例如，可以由ECU 110检测地平面，并且可以基于全向图像中的地平面的位置而调节OCS 705与GCS 710之间的关系。由于参照OCS 705来确定全向相机姿态（例如全向相机的位置和方向），因此校准还调节全向相机姿态。
图8图示了当车辆100正在反方向上移动时车辆100的位置序列。在第一时间800处，ECU 110输入全向图像帧，ECU 110通过所述全向图像帧参照OCS 705生成OCS位置坐标805（即光学位置坐标）。同时，ECU 110基于来自车辆100的传感器的信息参照GCS 710输入GCS位置坐标810（即地面位置坐标）。在存储器225中存储OCS位置坐标805和GCS位置坐标810，其中附着有时间戳。时间戳稍后用于同步OCS位置坐标805和GCS位置坐标810。在第二时间820处，车辆已经相反地移动了距离825，可以参照GCS 710测量距离825。ECU 110在第二时间820处输入GCS位置坐标810和全向图像帧。ECU 110在存储器225中存储该信息与指示第二时间820的时间戳。类似地，在指示车辆100已经移动了距离835的第三时间830处，ECU 110在存储器225中存储OCS位置坐标805和GCS位置坐标810与指示第三时间830的时间戳。
图9是参照图8描述的车辆100的位置序列的另一图示。在该实施例中，ECU 110在每一个给定时间间隔处将GCS位置坐标810变换成该相同时间间隔处的OCS位置坐标805。例如，在第一时间800处，ECU 110读取GCS位置坐标810并且基于OCS 705与GCS 710之间的关系（例如如通过校准所确定的），ECU 110将GCS位置坐标810变换成OCS位置坐标805。在全向相机姿态（R(1), t(1)）中捕获该信息。在第二时间820处，ECU 110将GCS位置坐标810变换成具有全向相机姿态（R(2), t(2)）的OCS位置坐标805。类似地，在第三时间830处，ECU 110将GCS位置坐标810变换成具有全向相机姿态（R(3), t(3)）的OCS位置坐标805。
图10A图示了在每一个时间间隔1000处，ECU 110执行图10B中图示的变换。时间间隔1000可以是预定的并且基于ECU 110的应用或处理速度而调节。时间间隔1000还可以是基于所行进的距离而不是预定时间。在每一个时间间隔1000处，ECU 110从车辆通信总线115确定GCS位置坐标810（步骤1005）。对于每一个时间间隔1000，确定全向相机姿态（R(i),t(i)）（步骤1010）。全向相机姿态（R(i), t(i)）在OCS 705方面限定全向相机105的位置。像素追踪器，如以下详细解释的，基于全向图像中的像素位置而生成针对感兴趣的对象的OCS位置坐标805（步骤1015）。针对每一个相应的时间间隔1000，通过ECU 110处理OCS位置坐标805和姿态（R(i), t(i)），并且针对该相应的时间间隔1000确定感兴趣的对象的所估计的世界位置(x, y, z)(k)（步骤1020）。
当车辆100逼近拖车挂接装置310（即感兴趣的对象）时，拖车挂接装置310将在全向图像中移动像素位置。这对应于从全向相机105到拖车挂接装置310的视线中的改变，如以上所解释的。在图11A中，第一视线1105对应于车辆100的第一位置1110，第二视线1115对应于车辆100的第二位置1120，并且第三视线1125对应于车辆100的第三位置1130。通过ECU110使用GCS位置坐标810来确定第一位置1110与第二位置1120之间的第一距离1135。类似地，通过ECU 110使用GCS位置坐标810来确定第二距离1140。可以基于直线图像中的像素位置的改变量而计算第一角度1145和第二角度1150。ECU 110使用第一距离1135、第二距离1140、第一角度1145和第二角度1150之间的已知几何关系来计算车辆100与拖车挂接装置310之间的分离距离1155。类似地，ECU 110计算第三位置1130处的车辆100与拖车挂接装置310之间的分离距离1160。由于ECU 110可以在第一距离1135和第二距离1140非常小时（例如在非常短的时间间隔处）计算第一距离1135和第二距离1140处的分离距离1155和分离距离1160，因此可以在车辆100逼近拖车305时几乎连续地估计分离距离1155、1160。基于分离距离1155、1160，ECU 110向包括控制自动车辆机动操纵的ECU的其他车辆***输出车辆100和拖车305的相对位置。通过使用分离距离1155、1160和GCS位置坐标810，ECU可以执行拖车挂接装置310与车辆100的自动对准。
在实践中，OCS位置坐标805（诸如感兴趣的对象的准确像素位置）中的小不确定度产生视线的相交点1175中的不确定度，如图11B中所图示的。特别是当使用针对感兴趣的对象的单个相交点时，这些不确定度可能导致车辆100与拖车305之间的所估计的距离中的不确定度或误差。为了降低不确定度，ECU 110可以同时计算一个感兴趣的对象或多个感兴趣的对象的多个点（即特征）的位置。图12图示了具有感兴趣的对象上的多个检测点1205的拖车305的部分。当ECU 110导入全向图像时，对象检测例程确定多个检测点1205。一旦被识别到，使用ECU 110的对象追踪例程来追踪多个检测点1205。作为结果，处理多个检测点1205中的每一个以确定车辆100与该检测点之间的距离。一旦ECU 110已经检测和处理了多个检测点1205，ECU 110可以将多个检测点1205彼此进行比较以降低涉及个体检测点的任何个体误差或不确定度。例如，ECU 110可以运行光束平差算法以精炼距离预测。以此方式，在多个检测点1205之上优化通过ECU 110对距离的估计。ECU 110的对象检测可以检测编程到存储器225中的各种对象。例如，ECU 110可以检测拖车305、地平面、树、灯柱、路缘、另一车辆、行人和其他对象。如以上所描述的，ECU 110可以检测这些各种对象上的多个点或对象上的单个点。在任一种情况下，ECU 110使用本文所描述的方法来确定到对象的距离。
图13和14是使用对象位置测量***102确定对象的距离和位置的方法的流程图。图13图示了包括通过ECU 110接收和处理哪些输入参数的方法的一般步骤。从全向相机105向ECU 110中输入全向图像帧（步骤1305）。ECU 110检测全向图像帧内的一个或多个对象并且将所述一个或多个对象分类为一个或多个感兴趣的对象。特别地，ECU 110标识全向图像中的图案并且比较该图案与预定对象集合以将对象分类为特定对象类型。一旦将对象分类为感兴趣的对象，ECU 110确定和追踪从全向相机105输入到ECU 110中的后续全向图像帧中的感兴趣的对象的一个或多个特征（步骤1310）。将帧信息添附到每一个全向图像帧，包括所追踪的对象类型、对象的特征，以及特征和/或对象中的每一个的位置（例如哪个像素）。同时，接收来自车辆通信总线115的包含车辆100的移动数据的消息（步骤1320）。该消息包含附着到移动数据的每一个片段的can消息索引（例如索引k’）以允许ECU 110追踪何时接收到消息。ECU 110将can消息转换成每一个can消息索引处的车辆姿态（步骤1325）。ECU 110同步车辆姿态与所接收的每一个全向图像帧（步骤1330）。ECU 110输入全向到直线图像变换参数并且将帧信息转换成直线图像（步骤1335）。ECU 110基于经同步的车辆姿态、经变换的帧信息和一系列全向图像帧之上的相机姿态而计算对象和特征的位置估计（步骤1340）。
图14图示了使用对象位置测量***102确定对象的距离和位置的方法的附加步骤。基于参照图13描述的输入，ECU 110可以可选地首先利用视觉测程法精炼车辆姿态和全向相机姿态（步骤1405）。接着，ECU 110将一系列全向图像帧或包含感兴趣的对象的全向图像帧的至少部分变换成一系列直线图像帧（步骤1410）。ECU 110跨直线图像帧追踪感兴趣的对象和特征并且将对应于全向图像帧中的感兴趣的对象的帧信息转换成直线图像帧信息（步骤1415）。ECU 110在距离间隔处记录直线图像帧信息（步骤1420）。通过ECU 110基于所行进的预定距离而使用车辆100的移动数据来确定距离间隔。ECU 110使用跨直线图像帧系列的像素位置中的改变和经同步的车辆姿态来三角测量对象和特征（步骤1425）。换言之，ECU 110确定跨第一直线图像帧和第二直线图像帧的感兴趣的对象的位置中的改变。然后，ECU 110基于跨第一直线图像帧和第二直线图像帧的位置中的改变和对应于这些直线图像帧的车辆姿态中的改变而确定感兴趣的对象的距离和位置。使用直线图像帧中的位置中的改变与车辆姿态中的改变之间的三角关系来确定距离。在感兴趣的对象上的多个点的情况下，ECU 110还以类似的方式确定到这些多个点的距离。ECU 110可以并行地并且与感兴趣的对象的距离计算同时地处理针对这些多个点的距离计算。一旦距离已知，参照GCS710确定对象的位置。然后可选地，ECU 110可以利用光束平差算法使用感兴趣的对象上的多个点来调节对象的距离和位置估计（步骤1430）。光束平差算法基于在多个点之间对值进行平均来精炼估计。
参照图13和14描述的方法可以用于各种感兴趣的对象。如以上所描述的，ECU 110可以首先使用对象识别能力来检测感兴趣的对象。例如，ECU 110可以比较全向图像中的对象与存储器225中的已知对象以标识和/或分类对象。在该情况下，ECU 110可以使用已知的对象来帮助标识对象上的多个感兴趣的点。然而，ECU 110还可以基于用户选择而标识感兴趣的对象。特别地，车辆100的驾驶员可以选择用户接口125中的对象，诸如例如拖车挂接装置310。ECU 110检测用户选择并且基于图像识别而标识相关对象。在这样的示例中，ECU110可以使用单个点（即由驾驶员选择的感兴趣的对象）来操作图13和14中所描述的方法。相反地，如果ECU 110识别到图像，ECU 110可以基于已知对象而使用多个感兴趣的点以确定所选感兴趣的对象的经调节的距离和位置。
因此，除其他事物之外，本发明提供了用于基于车辆移动数据和来自车辆上的全向相机的全向图像中的感兴趣的对象的位置中的改变而确定感兴趣的对象的距离和位置的***和方法。在随附权利要求中阐述本发明的各种特征和优点。

Claims (20)

1.一种利用贴附到车辆的全向相机定位对象的位置的方法，所述方法包括：
从车辆传感器接收指示车辆的位置改变的车辆的移动数据；
利用全向相机接收一个或多个静止对象的多个全向图像帧；
从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象，
在车辆正在移动的同时利用电子控制单元追踪全向图像帧中的感兴趣的对象；
在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变；以及
基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定相对于车辆的到感兴趣的对象的距离。
2.根据权利要求1所述的定位对象的位置的方法，其中接收车辆的移动数据包括从车辆通信总线接收移动方向和移动距离。
3.根据权利要求1所述的定位对象的位置的方法，所述方法还包括：
基于参照地面坐标系的车辆的地面位置坐标而确定车辆的位置；
基于参照光学坐标系的感兴趣的对象的光学位置坐标而确定感兴趣的对象的位置；
将基于地面位置坐标所确定的车辆的位置变换成参照光学坐标系的基于光学位置坐标的车辆的位置。
4.根据权利要求1所述的定位对象的位置的方法，所述方法还包括：
将全向图像帧变换成多个直线图像帧；
确定直线图像帧中的感兴趣的对象的多个位置；以及
在车辆正在移动的同时确定直线图像帧中的感兴趣的对象的位置中的改变。
5.根据权利要求1所述的定位对象的位置的方法，其中基于来自移动数据的车辆的位置改变和全向图像中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离包括三角测量车辆的移动数据和感兴趣的对象的位置中的改变。
6.根据权利要求3所述的定位对象的位置的方法，所述方法还包括：
校准地面坐标系与光学坐标系之间的关系。
7.根据权利要求1所述的定位对象的位置的方法，所述方法还包括将全向图像帧变换成直线图像帧。
8.根据权利要求1所述的定位对象的位置的方法，其中将感兴趣的对象分类为多个光学位置标，并且其中追踪全向图像中的感兴趣的对象包括追踪光学位置坐标，并且其中在车辆正在移动时确定全向图像中的感兴趣的对象的位置中的改变包括确定光学位置坐标中的改变。
9.根据权利要求8所述的定位对象的位置的方法，还包括在坐标点上执行光束平差。
10.根据权利要求1所述的定位对象的位置的方法，其中通过用户输入来标识感兴趣的对象。
11.根据权利要求1所述的定位对象的位置的方法，其中通过触摸屏来标识感兴趣的对象。
12.根据权利要求1所述的定位对象的位置的方法，其中通过以下来标识感兴趣的对象：
针对图案分析全向图像帧；
比较所述图案与预定对象集合；以及
将所述图案分类为来自预定对象集合的特定对象类型。
13.根据权利要求1所述的定位对象的位置的方法，其中感兴趣的对象是从包括另一车辆、路缘、树、灯柱和地平面的组选择的一个。
14.根据权利要求1所述的定位对象的位置的方法，还包括基于感兴趣的对象的位置而自动机动操纵车辆。
15.一种用于利用贴附到车辆的全向相机定位对象的位置的对象定位***，所述***包括：
配置成指示车辆的位置改变的至少一个车辆传感器；
全向相机；
配置成向车辆的驾驶员显示视频信息的用户接口；以及
电子控制单元，其配置成
从全向相机接收包括一个或多个静止对象的全向图像的多个全向图像帧；
从所述至少一个车辆传感器接收指示车辆的位置改变的车辆的移动数据；
从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象，
在车辆正在移动的同时追踪多个全向图像帧中的感兴趣的对象；
在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变；以及
基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离。
16.根据权利要求15所述的对象定位***，其中所述至少一个车辆传感器包括车轮速度传感器和转向角传感器。
17.根据权利要求15所述的对象定位***，其中电子控制单元还配置成三角测量车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变以确定到感兴趣的对象的距离。
18.根据权利要求15所述的对象定位***，其中电子控制单元还配置成在计算到感兴趣的对象的距离之前将全向图像变换成直线图像。
19.根据权利要求15所述的对象定位***，还包括配置成从驾驶员接收向电子控制单元标识感兴趣的对象的输入的触摸屏。
20.根据权利要求15所述的对象定位***，其中感兴趣的对象是从包括另一车辆、路缘、树、灯柱和地平面的组选择的一个。
CN201680020729.2A 2015-04-10 2016-03-01 利用汽车相机使用车辆运动数据的对象位置测量 Active CN107567412B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562145692P 2015-04-10 2015-04-10
US62/145692 2015-04-10
PCT/US2016/020255 WO2016164118A2 (en) 2015-04-10 2016-03-01 Object position measurement with automotive camera using vehicle motion data

Publications (2)

Publication Number Publication Date
CN107567412A true CN107567412A (zh) 2018-01-09
CN107567412B CN107567412B (zh) 2020-11-24

Family

ID=55640866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020729.2A Active CN107567412B (zh) 2015-04-10 2016-03-01 利用汽车相机使用车辆运动数据的对象位置测量

Country Status (6)

Country Link
US (1) US10423164B2 (zh)
EP (1) EP3280976B1 (zh)
JP (1) JP2018512593A (zh)
KR (1) KR101997436B1 (zh)
CN (1) CN107567412B (zh)
WO (1) WO2016164118A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795641A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于定位车辆中的传感器的方法和装置
CN112805208A (zh) * 2018-08-03 2021-05-14 大陆汽车***公司 通过遵循用户选择的轨迹和估计车辆运动来实现自动倒车
US11669104B2 (en) 2018-05-08 2023-06-06 Continental Automotive Systems, Inc. User-adjustable trajectories for automated vehicle reversing

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512593A (ja) * 2015-04-10 2018-05-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両の移動データを使用した車載カメラによる物***置測定
WO2017089294A1 (en) * 2015-11-23 2017-06-01 Robert Bosch Gmbh Object detection system and method thereof
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
US10318829B2 (en) * 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US10457205B2 (en) * 2017-03-16 2019-10-29 Robotzone, Llc Assisted trailer alignment system
US10266023B2 (en) * 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer
US10802478B2 (en) * 2017-10-19 2020-10-13 Ford Global Technologies, Llc Hitch assist system and method for autonomously maneuvering a vehicle in a user-specified target travel direction
KR101996169B1 (ko) * 2018-01-12 2019-07-03 숭실대학교산학협력단 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
KR102019990B1 (ko) * 2018-01-12 2019-09-10 숭실대학교산학협력단 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
US11198340B2 (en) * 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
US11287827B2 (en) 2018-05-08 2022-03-29 Continental Automotive Systems, Inc. Visual object tracker
AU2018425454A1 (en) * 2018-06-01 2020-12-24 Paccar Inc Systems and methods for autonomously backing a vehicle to a trailer
US20210365034A1 (en) * 2018-06-01 2021-11-25 Paccar Inc Systems and methods for autonomously backing a vehicle to a dock
US10829045B2 (en) * 2018-07-11 2020-11-10 Continental Automotive Systems, Inc. System and method for calibrating a motion estimation algorithm using a vehicle camera
DE102018212401B3 (de) * 2018-07-25 2019-12-24 Volkswagen Aktiengesellschaft Verfahren und System zum automatischen Erkennen eines Ankuppelmanövers eines Kraftfahrzeugs an einen Anhänger
DE102018215982A1 (de) * 2018-09-19 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke
KR102628012B1 (ko) 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN111179305B (zh) * 2018-11-13 2023-11-14 晶睿通讯股份有限公司 对象位置估算方法及其对象位置估算装置
US10593059B1 (en) * 2018-11-13 2020-03-17 Vivotek Inc. Object location estimating method with timestamp alignment function and related object location estimating device
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
US11077730B2 (en) * 2018-12-27 2021-08-03 Continental Automotive Systems, Inc. Sensor mounting height estimation using load sensors
US11214105B2 (en) * 2019-01-29 2022-01-04 Ford Global Technologies, Llc Saturated steering detection and operation for guided vehicle operation
US10933914B2 (en) * 2019-01-31 2021-03-02 Ford Global Technologies, Llc Trailer hitching aid
JP7030732B2 (ja) * 2019-02-27 2022-03-07 エヌ・ティ・ティ・コムウェア株式会社 同一構造物検出装置、同一構造物検出方法及び同一構造物検出プログラム
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
US10780752B1 (en) 2019-04-09 2020-09-22 Ford Global Technologies, Llc Vehicle hitch ball detection system
WO2021007427A1 (en) * 2019-07-09 2021-01-14 Continental Automotive Systems, Inc. Trailer body length detection system
US11427199B2 (en) * 2019-08-22 2022-08-30 Ford Global Technologies Llc System for aligning a vehicle hitch location identifier with a trailer coupler
US20210155238A1 (en) * 2019-11-26 2021-05-27 Continental Automotive Systems, Inc. 3d position estimation system for trailer coupler
DE102020106304A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug
DE102020106302A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106301A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
EP3889906A1 (en) * 2020-03-31 2021-10-06 Continental Automotive GmbH Method and system for calculating vehicle trailer angle
WO2022056532A1 (en) * 2020-09-11 2022-03-17 Continental Automotive Systems, Inc. Tow ball position detection system and method
CN112327864A (zh) * 2020-11-17 2021-02-05 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US20090148036A1 (en) * 2007-12-07 2009-06-11 Honda Motor Co., Ltd. Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same
US7792330B1 (en) * 2005-09-30 2010-09-07 Mustang Technology Group, L.P. System and method for determining range in response to image data
WO2014116485A1 (en) * 2013-01-22 2014-07-31 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
JP2014169184A (ja) * 2013-02-05 2014-09-18 Tadano Ltd 作業車の周囲情報取得装置
CN104159757A (zh) * 2012-02-29 2014-11-19 罗伯特·博世有限公司 联结器对齐辅助
CN104346943A (zh) * 2013-08-09 2015-02-11 通用汽车环球科技运作有限责任公司 车辆路径评估
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别***

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP3494434B2 (ja) * 1999-10-21 2004-02-09 松下電器産業株式会社 駐車支援装置
US6489922B1 (en) * 2000-04-22 2002-12-03 American Gnc Corporation Passive/ranging/tracking processing method for collision avoidance guidance and control
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP2004291673A (ja) 2003-03-25 2004-10-21 Denso Corp センサ装置
JP4355535B2 (ja) * 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
DE102005022882A1 (de) 2005-05-18 2006-11-23 Volkswagen Ag Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
US7379018B1 (en) 2005-12-30 2008-05-27 Valeo Raytheon Systems, Inc. System and method for verifying a radar detection
US8199975B2 (en) 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP2009180536A (ja) 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
JP5027746B2 (ja) 2008-07-01 2012-09-19 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
KR100939761B1 (ko) 2008-10-02 2010-01-29 삼성전기주식회사 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템
JP2011217300A (ja) 2010-04-02 2011-10-27 Masamichi Tokuzawa ３６０度ライブ・パノラマ配信システム
JP5484997B2 (ja) 2010-04-12 2014-05-07 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
FR2960082B1 (fr) 2010-05-17 2012-08-10 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
JP5240527B2 (ja) * 2010-11-25 2013-07-17 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
EP3235773B8 (en) 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6097063B2 (ja) 2012-11-29 2017-03-15 株式会社タダノ 高さ測定装置及び高さ測定方法
US20140085409A1 (en) 2012-09-25 2014-03-27 GM Global Technology Operations LLC Wide fov camera image calibration and de-warping
JP2018512593A (ja) * 2015-04-10 2018-05-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両の移動データを使用した車載カメラによる物***置測定
US9821920B2 (en) * 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US10328853B2 (en) * 2017-01-16 2019-06-25 Nio Usa, Inc. Method and system for providing an escape route from a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US7792330B1 (en) * 2005-09-30 2010-09-07 Mustang Technology Group, L.P. System and method for determining range in response to image data
US20090148036A1 (en) * 2007-12-07 2009-06-11 Honda Motor Co., Ltd. Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same
CN104159757A (zh) * 2012-02-29 2014-11-19 罗伯特·博世有限公司 联结器对齐辅助
WO2014116485A1 (en) * 2013-01-22 2014-07-31 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
JP2014169184A (ja) * 2013-02-05 2014-09-18 Tadano Ltd 作業車の周囲情報取得装置
CN104346943A (zh) * 2013-08-09 2015-02-11 通用汽车环球科技运作有限责任公司 车辆路径评估
CN104417546A (zh) * 2013-08-27 2015-03-18 福特环球技术公司 用于挂车倒退辅助的挂车识别***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669104B2 (en) 2018-05-08 2023-06-06 Continental Automotive Systems, Inc. User-adjustable trajectories for automated vehicle reversing
CN112805208A (zh) * 2018-08-03 2021-05-14 大陆汽车***公司 通过遵循用户选择的轨迹和估计车辆运动来实现自动倒车
US11603100B2 (en) 2018-08-03 2023-03-14 Continental Autonomous Mobility US, LLC Automated reversing by following user-selected trajectories and estimating vehicle motion
CN112805208B (zh) * 2018-08-03 2024-01-30 大陆汽车***公司 通过遵循用户选择的轨迹和估计车辆运动来实现自动倒车
CN111795641A (zh) * 2019-04-04 2020-10-20 Aptiv技术有限公司 用于定位车辆中的传感器的方法和装置
US11138753B2 (en) 2019-04-04 2021-10-05 Aptiv Technologies Limited Method and device for localizing a sensor in a vehicle

Also Published As

Publication number Publication date
CN107567412B (zh) 2020-11-24
JP2018512593A (ja) 2018-05-17
US10423164B2 (en) 2019-09-24
WO2016164118A3 (en) 2016-12-08
US20180181142A1 (en) 2018-06-28
WO2016164118A2 (en) 2016-10-13
KR101997436B1 (ko) 2019-07-09
EP3280976A2 (en) 2018-02-14
EP3280976B1 (en) 2019-11-20
KR20180002609A (ko) 2018-01-08

Similar Documents

Publication Publication Date Title
CN107567412A (zh) 利用汽车相机使用车辆运动数据的对象位置测量
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
EP3650814B1 (en) Vision augmented navigation
CN105652305B (zh) 一种动态环境下轨道检测平台的三维定位定姿方法及***
US9389093B2 (en) Traffic signal recognition apparatus
US20100315505A1 (en) Object motion detection system based on combining 3d warping techniques and a proper object motion detection
US20110063097A1 (en) Device for Detecting/Judging Road Boundary
KR101060988B1 (ko) 지그비의 수신신호세기를 이용한 지능형 이동로봇의 이동 대상물 추적 제어 장치 및 그 방법
CN106645799B (zh) 参数校准方法及装置
CN104204726A (zh) 移动物***置姿态估计装置和移动物***置姿态估计方法
CN109471096A (zh) 多传感器目标匹配方法、装置及汽车
JP6858681B2 (ja) 距離推定装置及び方法
Badino et al. Stereo-based free space computation in complex traffic scenarios
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN104978568B (zh) 前方车辆检测方法
CN112577479A (zh) 基于地图元素数据的多传感器融合车辆定位方法及装置
CN112146620B (zh) 目标物体的测距方法及装置
KR101376536B1 (ko) 센서 융합을 이용한 모바일 객체의 위치 인식방법 및 그 장치
CN113513984A (zh) 一种车位识别精度检测方法、装置、电子设备和存储介质
KR102594135B1 (ko) Gnss 기반의 차량 운전주행 시험 장치
CN117553811B (zh) 基于路侧相机与车载gnss/ins的车路协同定位导航方法及***
EP4328619A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof
US20240069206A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant