CN107567412B - 利用汽车相机使用车辆运动数据的对象位置测量 - Google Patents
利用汽车相机使用车辆运动数据的对象位置测量 Download PDFInfo
- Publication number
- CN107567412B CN107567412B CN201680020729.2A CN201680020729A CN107567412B CN 107567412 B CN107567412 B CN 107567412B CN 201680020729 A CN201680020729 A CN 201680020729A CN 107567412 B CN107567412 B CN 107567412B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- interest
- omnidirectional
- locating
- image frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title description 16
- 230000008859 change Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000009021 linear effect Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009022 nonlinear effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
- B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
利用贴附到车辆的全向相机定位对象的位置的方法和***。电子控制单元从车辆通信总线接收车辆的移动数据。同时,电子控制单元利用全向相机接收静止对象的多个全向图像帧。基于所接收的全向图像帧,电子控制单元标识全向图像帧中的感兴趣的对象并且在车辆正在移动的同时追踪全向图像帧中的感兴趣的对象。电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变,并且基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离。
Description
对相关案例的交叉引用
本申请要求享有2015年4月10日提交的美国临时专利申请号62/145,692的权益,所述美国临时专利申请的完整内容通过引用并入本文。
背景技术
本发明的实施例涉及车辆成像***。
发明内容
对象位置测量***检测、追踪和计算如由车辆上的全向相机查看的感兴趣的对象的位置。对象位置测量***使用电子控制单元,所述电子控制单元基于车辆的运动而标识和估计结构(即世界中的点)。***使用通过车辆通信总线传送的由车辆控制器提供的测程信息。此外,对象位置测量***包括控制器以基于来自单个宽视场相机的图像而估计世界结构。控制器使用世界结构和测程信息来允许车辆执行驾驶员辅助和自动机动操纵。
在一个实施例中,本发明提供了一种利用贴附到车辆的全向相机定位对象的位置的方法。电子控制单元从车辆传感器接收指示车辆的位置改变的车辆的移动数据。电子控制单元利用全向相机接收一个或多个静止对象的多个全向图像帧并且基于全向图像帧中的所述一个或多个静止对象而标识感兴趣的对象。电子控制单元在车辆正在移动的同时追踪全向图像帧中的感兴趣的对象。电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变。基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变,电子控制单元确定到感兴趣的对象的距离。
在另一实施例中,本发明提供了一种用于利用贴附到车辆的全向相机定位对象的位置的对象定位***。***包括配置成指示车辆的位置改变的至少一个车辆传感器、全向相机和配置成向车辆的驾驶员显示视频信息的用户接口。***还包括配置成从全向相机接收包括一个或多个静止对象的全向图像的多个全向图像帧的电子控制单元。电子控制单元还从所述至少一个车辆传感器接收指示车辆的位置改变的车辆的移动数据。电子控制单元从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象,并且在车辆正在移动的同时追踪多个全向图像帧中的感兴趣的对象。另外,电子控制单元在车辆正在移动时确定全向图像帧中的感兴趣的对象的位置中的改变,并且基于车辆的位置改变和全向图像帧中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离。
本发明的其他方面将通过详细描述和随附各图的考虑而变得明显。
附图说明
图1是配备有对象位置测量***的车辆的框图。
图2是用于图1的对象位置测量***的电子控制单元的框图。
图3是具有利用后视全向相机标识感兴趣的对象的图1的对象位置测量***的车辆的图。
图4是来自图3的全向相机的感兴趣的对象的全向图像。
图5是从车辆上的全向相机到图3的感兴趣的对象的视线图。
图6是参照图1的车辆的地面坐标系(GCS)的图。
图7是参照车辆的GCS与参照图1的全向相机的光学坐标系(OCS)之间的关系的图。
图8是一段时间间隔内的图7的GSC与OCS之间的变换的图。
图9是基于一段时间间隔内的全向相机姿态的图7的GCS与OCS之间的变换的图。
图10A和10B图示了参照GCS利用图1的对象位置测量***估计对象位置的方法。
图11A是从全向相机到图3的感兴趣的对象的视线的公共相交的图。
图11B是确定图11A的公共相交点中的不确定度的图。
图12是在图3的感兴趣的对象上的多个所标识的点的网格图。
图13是使用图1的对象位置测量***确定对象的位置的方法的流程图。
图14是使用图1的对象位置测量***确定对象的位置的方法的另一流程图。
具体实施方式
在详细解释本发明的任何实施例之前,要理解的是,本发明在其应用方面不受限于在以下描述中阐述或在随附各图中图示的组件的布置和构造的细节。本发明能够具有其他实施例,并且能够以各种方式实践或实施。
应当指出的是,多个基于硬件和软件的设备,以及多个不同结构的组件可以用于实现本发明。此外,应当理解的是,本发明的实施例可以包括硬件、软件和电子组件或模块,所述硬件、软件和电子组件或模块出于讨论的目的而可以被图示和描述为就像组件的大部分单独实现在硬件中。然而,本领域普通技术人员基于该详细描述的阅读将认识到,在至少一个实施例中,本发明的基于电子的方面可以实现在可由一个或多个处理器执行的软件(例如存储在非暂时性计算机可读介质上)中。照此,应当指出的是,多个基于硬件和软件的设备,以及多个不同结构的组件可以用于实现本发明。例如,在说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、一个或多个存储器模块(包括非暂时性计算机可读介质)、一个或多个输入/输出接口,以及连接组件的各种连接(例如***总线)。
图1图示了根据一个实施例的配备有对象位置测量***102的车辆100。车辆100包括全向相机105(例如鱼眼镜头相机)、电子控制单元(ECU 110)、车辆通信总线115(例如CAN总线)、显示器120和用户接口125。全向相机105通信地耦合到ECU 110,由此ECU 110访问利用全向相机105捕获的多个全向图像(即全向图像帧)。ECU 110以预定时间间隔处理所述多个图像并且至少部分地基于车辆100所行进的距离而记录所述多个图像和相关联的数据。此外,ECU 110将全向图像变换成直线图像(即直线图像帧)并且向显示器120发送直线图像以供车辆的驾驶员查看。车辆通信总线115通信地耦合ECU 110与显示器120连同其他车辆***。例如,车辆通信总线115使得能够实现ECU 110、显示器120、用户接口125和车辆100中的其他电子控制单元之间的通信。在一些构造中,显示器120和用户接口125集成到单个设备中,诸如例如触摸屏显示器。作为结果,车辆100的驾驶员可以经由用户接口125直接向显示器120中输入命令。如以下详细描述的,用户接口125可以从驾驶员接收指示显示器120中的感兴趣的对象的输入。在其他实施例中,显示器120和用户接口125是分离的独立输入和输出设备以提供驾驶员与ECU 110之间的通信。
对象位置测量***102的一些实施例还包括指示车辆100的位置和移动的一个或多个车辆传感器140。例如,车辆100可以包括转向角传感器、车轮位置或车轮速度传感器和全球定位***(GPS)指示器。车辆传感器140使得ECU 110能够基于由车辆传感器140提供的移动信息而检测车辆100的位置、朝向和运动。此外,ECU 110配置成基于移动信息而计算位置和位置随时间的改变。此外,ECU 110可以通信地耦合到一个或多个车辆控制设备145,诸如例如方向盘、油门和制动***。通过使用这些车辆控制设备145,ECU 110可以基于车辆100的位置和由对象位置测量***102分析的车辆100周围的对象位置而执行自动驾驶机动操纵。
图2是ECU 110的框图。ECU 110包括向ECU 110和/或全向相机105内的组件和模块提供功率、操作控制和保护的多个电气和电子组件。例如,ECU 110包括,除其他事物之外,控制器205(诸如可编程电子微处理器、微控制器或类似设备)、电源模块210和输入/输出模块215。控制器205包括,除其他事物之外,处理单元220和存储器225。处理单元220通信地耦合到存储器225并且执行能够存储在存储器225上的指令。控制器205配置成从存储器225检索并且执行(除其他事物之外)涉及本文所描述的控制过程和方法的指令。在其他实施例中,ECU 110包括附加的、更少的或不同的组件。应当指出的是,ECU 110可以实现在若干独立电子控制单元中,每一个独立电子控制单元配置成执行本文所列出的特定功能。此外,ECU 110可以包含输入特定类型的传感器数据并且执行相关过程的子模块。例如,视频分析模块可以输入来自全向相机105的视频流,将图像变换成直线格式,识别图像中的对象和特征,追踪图像内的对象和特征,并且向其他ECU或子模块发送来自这些过程的数据输出。
ECU 110,除其他事物之外,配置成将从全向相机105接收的全向图像的部分变换成直线图像帧。例如,在图2的实施例中,输入/输出模块215从全向相机105接收全向图像并且向控制器205发送全向图像以用于图像处理。控制器205然后处理和变换全向图像。ECU110可以借助于由美国专利申请号14/808,144公开的变换方法来将全向图像变换成直线图像帧,所述美国专利申请的完整内容通过引用并入本文。ECU 110经由车辆通信总线115或ECU 110与显示器120之间的另一通信链路向显示器120传输经变换的图像。此外,输入/输出模块215可以从用户接口125接收标识所显示的图像的感兴趣的区的命令。感兴趣的区表示由ECU 110和/或驾驶员确定的包含感兴趣的对象的全向图像的部分。
用户接口125、ECU 110、子模块、附加的ECU、车辆传感器140和车辆控制设备145可以通过车辆通信总线115上的一个或多个通信模块链接和/或经由输入/输出模块215直接连接。在一些实施例中,用户接口125借助于诸如J1939或CAN总线之类的协议通信以用于与输入/输出模块215通信。在其他实施例中,用户接口125取决于特定应用的需要而在其他合适协议之下与输入/输出模块215通信。在一些实施例中,输入/输出模块215使用专用信号线从各种控件和传感器直接输入信息。
图3是包括对象位置测量***102和拖车305的车辆100的图示。在该示例中,拖车305包括拖车挂接装置310。拖车挂接装置310是对于ECU 110而言感兴趣的对象。在该情况下,ECU 110已经将拖车挂接装置310标识为车辆100将要对准到的对象。视线315从全向相机105延伸到拖车挂接装置310。图4是利用全向相机105的从车辆100的后视图。如所图示的,拖车挂接装置310占据全向图像中的位置,所述位置由ECU 110检测为像素位置或坐标集合(例如竖直坐标和水平坐标)。当车辆100逼近拖车305时,拖车挂接装置310的位置在全向图像中移动到新的像素位置或坐标集合。检测位置中的改变并且通过ECU 110确定改变量。然而,拖车挂接装置310相对于车辆100的距离和位置单独基于全向图像或基于拖车挂接装置310的位置在全向图像中的改变不是已知的。另外,由于全向图像中的非线性效应,拖车挂接装置310的位置中的改变可能取决于拖车挂接装置310在全向图像内的位置而看起来更大或更小。在计算所检测的对象的位置的改变之前,ECU 110执行包含感兴趣的对象的全向图像的至少部分的变换以降低或消除这些非线性效应。
图5图示了当车辆100逼近拖车305时全向相机105与拖车挂接装置310之间的视线中的改变。在上部示例505中,视线510从全向相机105延伸到拖车挂接装置310。在中部示例515中,视线520从全向相机105延伸到拖车挂接装置310。在底部示例525中,视线530从全向相机105延伸到拖车挂接装置310。还在中部示例515和底部示例525中描绘视线510以图示视线510、视线520和视线530之间的角度中的改变。当发生角度中的改变时,全向图像中的拖车挂接装置310的位置(例如像素位置)改变。通过ECU 110来追踪该改变。
图6是描绘具有车辆100的世界坐标系的图。基于初始参考点605,ECU 110基于从车辆通信总线115读取的移动数据(例如移动的方向和移动的距离)而追踪车辆100的当前位置610和移动路径607。ECU 110使用车轮速度传感器、转向角传感器和车辆100上的其他传感器来追踪任何给定方向上的移动量。在预先限定的时间间隔处,ECU 110确定车辆姿态(例如车辆关于世界坐标系的位置和方向)。例如,ECU 110可以确定并在存储器225中存储来自初始参考点605的y距离(YR)和x距离(XR)以及偏航角(ΨR)615(例如车辆100正面向的方向)。与ECU 110正处理来自全向相机105的全向图像同时地,ECU 110确定车辆100的当前位置610和移动。作为结果,ECU 110能够将当前位置610和移动数据与来自全向相机105的全向图像序列进行匹配。
为了比较来自全向图像的信息和车辆100的移动数据,建立参考系的平移。图7图示了关于全向相机105的光学坐标系(OCS)705和关于车辆100的地面坐标系(GCS)710。由于GCS 710还在原点向车辆100的简单平移的情况下描述世界坐标系,因此将贯穿本公开而参考GCS 710而不是世界坐标系。OCS 705具有全向相机105的光学孔径处的参考原点。z轴向上并且向后以与车辆100成45度角延伸,并且y轴向下并且向后以与车辆100成-45度角延伸。相比之下,针对GCS 710的z轴垂直于车辆100延伸,并且针对GCS 710的y轴与车辆100平行地延伸。这些坐标系可以取决于全向相机105关于车辆100的对准以及全向相机105的固有和非固有参数而在对准方面有所不同。
ECU 110确定GCS 710与OCS 705***之间的关系。在一些实施例中,在车辆100的制造期间,校准ECU 110以限定该关系。例如,可以经由全向相机105输入视觉测试图案。在这样的情况下,ECU 110参照测试图案的已知值(例如距离)来分析输入测试图案。以此方式,ECU 110对准OCS 705和GCS 710。然而,随时间,OCS 705与GCS 710之间的关系可能改变。例如,如果车辆100由于例如胎压中的改变或高负载条件而经历高度中的改变,OCS 705与GCS 710之间的关系可能改变。为了针对所述改变进行调节,ECU 110可以在车辆100的制造之后执行OCS 705与GCS 710之间的附加校准。例如,ECU 110可以以预定间隔使用视觉测程法执行校准,例如在车辆100的每一次启动时。这种类型的校准可以是基于全向图像中的被检测对象而不是基于视觉测试图案。例如,可以由ECU 110检测地平面,并且可以基于全向图像中的地平面的位置而调节OCS 705与GCS 710之间的关系。由于参照OCS 705来确定全向相机姿态(例如全向相机的位置和方向),因此校准还调节全向相机姿态。
图8图示了当车辆100正在反方向上移动时车辆100的位置序列。在第一时间800处,ECU 110输入全向图像帧,ECU 110通过所述全向图像帧参照OCS 705生成OCS位置坐标805(即光学位置坐标)。同时,ECU 110基于来自车辆100的传感器的信息参照GCS 710输入GCS位置坐标810(即地面位置坐标)。在存储器225中存储OCS位置坐标805和GCS位置坐标810,其中附着有时间戳。时间戳稍后用于同步OCS位置坐标805和GCS位置坐标810。在第二时间820处,车辆已经相反地移动了距离825,可以参照GCS 710测量距离825。ECU 110在第二时间820处输入GCS位置坐标810和全向图像帧。ECU 110在存储器225中存储该信息与指示第二时间820的时间戳。类似地,在指示车辆100已经移动了距离835的第三时间830处,ECU 110在存储器225中存储OCS位置坐标805和GCS位置坐标810与指示第三时间830的时间戳。
图9是参照图8描述的车辆100的位置序列的另一图示。在该实施例中,ECU 110在每一个给定时间间隔处将GCS位置坐标810变换成该相同时间间隔处的OCS位置坐标805。例如,在第一时间800处,ECU 110读取GCS位置坐标(GCS[1])810并且基于OCS 705与GCS 710之间的关系(例如如通过校准所确定的),ECU 110将GCS位置坐标810变换成OCS位置坐标805。在全向相机姿态(R(1), t(1))中捕获该信息。在第二时间820处,ECU 110将GCS位置坐标810变换成具有全向相机姿态(R(2), t(2))的OCS位置坐标805。类似地,在第三时间830处,ECU110将GCS位置坐标810变换成具有全向相机姿态(R(3), t(3))的OCS位置坐标805。
图10A图示了在每一个时间间隔1000处,ECU 110执行图10B中图示的变换。时间间隔1000可以是预定的并且基于ECU 110的应用或处理速度而调节。时间间隔1000还可以是基于所行进的距离而不是预定时间。在每一个时间间隔1000处,ECU 110从车辆通信总线115确定GCS位置坐标()810(步骤1005)。对于每一个时间间隔1000,确定全向相机姿态(R(i), t(i))(步骤1010)。全向相机姿态(R(i), t(i))在OCS 705方面限定全向相机105的位置。像素追踪器,如以下详细解释的,基于全向图像中的像素位置而生成针对感兴趣的对象的OCS位置坐标()805(步骤1015)。针对每一个相应的时间间隔1000,通过ECU 110处理OCS位置坐标805和姿态(R(i), t(i)),并且针对该相应的时间间隔1000确定感兴趣的对象的所估计的世界位置(x, y, z)(k)(步骤1020)。
当车辆100逼近拖车挂接装置310(即感兴趣的对象)时,拖车挂接装置310将在全向图像中移动像素位置。这对应于从全向相机105到拖车挂接装置310的视线中的改变,如以上所解释的。在图11A中,第一视线1105对应于车辆100的第一位置1110,第二视线1115对应于车辆100的第二位置1120,并且第三视线1125对应于车辆100的第三位置1130。通过ECU110使用GCS位置坐标810来确定第一位置1110与第二位置1120之间的第一距离1135。类似地,通过ECU 110使用GCS位置坐标810来确定第二距离1140。可以基于直线图像中的像素位置的改变量而计算第一角度1145和第二角度1150。ECU 110使用第一距离1135、第二距离1140、第一角度1145和第二角度1150之间的已知几何关系来计算车辆100与拖车挂接装置310之间的分离距离1155。类似地,ECU 110计算第三位置1130处的车辆100与拖车挂接装置310之间的分离距离1160。由于ECU 110可以在第一距离1135和第二距离1140非常小时(例如在非常短的时间间隔处)计算第一距离1135和第二距离1140处的分离距离1155和分离距离1160,因此可以在车辆100逼近拖车305时几乎连续地估计分离距离1155、1160。基于分离距离1155、1160,ECU 110向包括控制自动车辆机动操纵的ECU的其他车辆***输出车辆100和拖车305的相对位置。通过使用分离距离1155、1160和GCS位置坐标810,ECU可以执行拖车挂接装置310与车辆100的自动对准。
在实践中,OCS位置坐标805(诸如感兴趣的对象的准确像素位置)中的小不确定度产生视线的相交点1175中的不确定度,如图11B中所图示的。特别是当使用针对感兴趣的对象的单个相交点时,这些不确定度可能导致车辆100与拖车305之间的所估计的距离中的不确定度或误差。为了降低不确定度,ECU 110可以同时计算一个感兴趣的对象或多个感兴趣的对象的多个点(即特征)的位置。图12图示了具有感兴趣的对象上的多个检测点1205的拖车305的部分。当ECU 110导入全向图像时,对象检测例程确定多个检测点1205。一旦被识别到,使用ECU 110的对象追踪例程来追踪多个检测点1205。作为结果,处理多个检测点1205中的每一个以确定车辆100与该检测点之间的距离。一旦ECU 110已经检测和处理了多个检测点1205,ECU 110可以将多个检测点1205彼此进行比较以降低涉及个体检测点的任何个体误差或不确定度。例如,ECU 110可以运行光束平差算法以精炼距离预测。以此方式,在多个检测点1205之上优化通过ECU 110对距离的估计。ECU 110的对象检测可以检测编程到存储器225中的各种对象。例如,ECU 110可以检测拖车305、地平面、树、灯柱、路缘、另一车辆、行人和其他对象。如以上所描述的,ECU 110可以检测这些各种对象上的多个点或对象上的单个点。在任一种情况下,ECU 110使用本文所描述的方法来确定到对象的距离。
图13和14是使用对象位置测量***102确定对象的距离和位置的方法的流程图。图13图示了包括通过ECU 110接收和处理哪些输入参数的方法的一般步骤。从全向相机105向ECU 110中输入全向图像帧(步骤1305)。ECU 110检测全向图像帧内的一个或多个对象并且将所述一个或多个对象分类为一个或多个感兴趣的对象。特别地,ECU 110标识全向图像中的图案并且比较该图案与预定对象集合以将对象分类为特定对象类型(步骤1310)。一旦将对象分类为感兴趣的对象,ECU 110确定和追踪从全向相机105输入到ECU 110中的后续全向图像帧中的感兴趣的对象的一个或多个特征(步骤1315)。将帧信息添附到每一个全向图像帧,包括所追踪的对象类型、对象的特征,以及特征和/或对象中的每一个的位置(例如哪个像素)。同时,接收来自车辆通信总线115的包含车辆100的移动数据的消息(步骤1320)。该消息包含附着到移动数据的每一个片段的can消息索引(例如索引k’)以允许ECU110追踪何时接收到消息。ECU 110将can消息转换成每一个can消息索引处的车辆姿态(步骤1325)。ECU 110同步车辆姿态与所接收的每一个全向图像帧(步骤1330)。ECU 110输入全向到直线图像变换参数并且将帧信息转换成直线图像(步骤1335)。ECU 110基于经同步的车辆姿态、经变换的帧信息和一系列全向图像帧之上的相机姿态而计算对象和特征的位置估计(步骤1340)。
图14图示了使用对象位置测量***102确定对象的距离和位置的方法的附加步骤。基于参照图13描述的输入,ECU 110可以可选地首先利用视觉测程法精炼车辆姿态和全向相机姿态(步骤1405)。接着,ECU 110将一系列全向图像帧或包含感兴趣的对象的全向图像帧的至少部分变换成一系列直线图像帧(步骤1410)。ECU 110跨直线图像帧追踪感兴趣的对象和特征并且将对应于全向图像帧中的感兴趣的对象的帧信息转换成直线图像帧信息(步骤1415)。ECU 110在距离间隔处记录直线图像帧信息(步骤1420)。通过ECU 110基于所行进的预定距离而使用车辆100的移动数据来确定距离间隔。ECU 110使用跨直线图像帧系列的像素位置中的改变和经同步的车辆姿态来三角测量对象和特征(步骤1425)。换言之,ECU 110确定跨第一直线图像帧和第二直线图像帧的感兴趣的对象的位置中的改变。然后,ECU 110基于跨第一直线图像帧和第二直线图像帧的位置中的改变和对应于这些直线图像帧的车辆姿态中的改变而确定感兴趣的对象的距离和位置。使用直线图像帧中的位置中的改变与车辆姿态中的改变之间的三角关系来确定距离。在感兴趣的对象上的多个点的情况下,ECU 110还以类似的方式确定到这些多个点的距离。ECU 110可以并行地并且与感兴趣的对象的距离计算同时地处理针对这些多个点的距离计算。一旦距离已知,参照GCS710确定对象的位置。然后可选地,ECU 110可以利用光束平差算法使用感兴趣的对象上的多个点来调节对象的距离和位置估计(步骤1430)。光束平差算法基于在多个点之间对值进行平均来精炼估计。
参照图13和14描述的方法可以用于各种感兴趣的对象。如以上所描述的,ECU 110可以首先使用对象识别能力来检测感兴趣的对象。例如,ECU 110可以比较全向图像中的对象与存储器225中的已知对象以标识和/或分类对象。在该情况下,ECU 110可以使用已知的对象来帮助标识对象上的多个感兴趣的点。然而,ECU 110还可以基于用户选择而标识感兴趣的对象。特别地,车辆100的驾驶员可以选择用户接口125中的对象,诸如例如拖车挂接装置310。ECU 110检测用户选择并且基于图像识别而标识相关对象。在这样的示例中,ECU110可以使用单个点(即由驾驶员选择的感兴趣的对象)来操作图13和14中所描述的方法。相反地,如果ECU 110识别到图像,ECU 110可以基于已知对象而使用多个感兴趣的点以确定所选感兴趣的对象的经调节的距离和位置。
因此,除其他事物之外,本发明提供了用于基于车辆移动数据和来自车辆上的全向相机的全向图像中的感兴趣的对象的位置中的改变而确定感兴趣的对象的距离和位置的***和方法。在随附权利要求中阐述本发明的各种特征和优点。
Claims (17)
1.一种利用贴附到车辆的全向相机定位对象的位置的方法,所述方法包括:
从车辆传感器接收指示车辆的位置改变的车辆的移动数据;
利用全向相机接收一个或多个静止对象的多个全向图像帧;
从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象,
在车辆正在移动的同时利用电子控制单元追踪全向图像帧中的感兴趣的对象;
将全向图像帧变换成多个直线图像帧;
确定直线图像帧中的感兴趣的对象的多个位置;
在车辆正在移动的同时确定直线图像帧中的感兴趣的对象的位置中的改变;以及
使用直线图像帧中的位置中的改变与车辆姿态中的改变之间的三角关系来确定相对于车辆的到感兴趣的对象的距离。
2.根据权利要求1所述的定位对象的位置的方法,其中接收车辆的移动数据包括从车辆通信总线接收移动方向和移动距离。
3.根据权利要求1所述的定位对象的位置的方法,所述方法还包括:
基于参照地面坐标系的车辆的地面位置坐标而确定车辆的位置;
基于参照光学坐标系的感兴趣的对象的光学位置坐标而确定感兴趣的对象的位置;
将基于地面位置坐标所确定的车辆的位置变换成参照光学坐标系的基于光学位置坐标的车辆的位置。
4.根据权利要求1所述的定位对象的位置的方法,其中基于来自移动数据的车辆的位置改变和全向图像中的感兴趣的对象的位置中的改变而确定到感兴趣的对象的距离包括使用跨直线图像帧系列的像素位置中的改变和经同步的车辆姿态来三角测量对象和特征。
5.根据权利要求3所述的定位对象的位置的方法,所述方法还包括:
校准地面坐标系与光学坐标系之间的关系。
6.根据权利要求1所述的定位对象的位置的方法,其中基于全向图像中的像素位置而生成针对感兴趣的对象的多个光学位置坐标,并且其中追踪全向图像中的感兴趣的对象包括追踪光学位置坐标,并且其中在车辆正在移动时确定全向图像中的感兴趣的对象的位置中的改变包括确定光学位置坐标中的改变。
7.根据权利要求6所述的定位对象的位置的方法,还包括在坐标点上执行光束平差。
8.根据权利要求1所述的定位对象的位置的方法,其中通过用户输入来标识感兴趣的对象。
9.根据权利要求1所述的定位对象的位置的方法,其中通过触摸屏来标识感兴趣的对象。
10.根据权利要求1所述的定位对象的位置的方法,其中通过以下来标识感兴趣的对象:
针对图案分析全向图像帧;
比较所述图案与预定对象集合;以及
将所述图案分类为来自预定对象集合的特定对象类型。
11.根据权利要求1所述的定位对象的位置的方法,其中感兴趣的对象是从包括另一车辆、路缘、树、灯柱和地平面的组选择的一个。
12.根据权利要求1所述的定位对象的位置的方法,还包括基于感兴趣的对象的位置而自动机动操纵车辆。
13.一种用于利用贴附到车辆的全向相机定位对象的位置的对象定位***,所述***包括:
配置成指示车辆的位置改变的至少一个车辆传感器;
全向相机;
配置成向车辆的驾驶员显示视频信息的用户接口;以及
电子控制单元,其配置成
从全向相机接收包括一个或多个静止对象的全向图像的多个全向图像帧;
从所述至少一个车辆传感器接收指示车辆的位置改变的车辆的移动数据;
从全向图像帧中的所述一个或多个静止对象标识感兴趣的对象,
在车辆正在移动的同时追踪多个全向图像帧中的感兴趣的对象;
将全向图像帧变换成多个直线图像帧;
确定直线图像帧中的感兴趣的对象的多个位置;
在车辆正在移动的同时确定直线图像帧中的感兴趣的对象的位置中的改变;以及
使用直线图像帧中的位置中的改变与车辆姿态中的改变之间的三角关系来确定到感兴趣的对象的距离。
14.根据权利要求13所述的对象定位***,其中所述至少一个车辆传感器包括车轮速度传感器和转向角传感器。
15.根据权利要求13所述的对象定位***,其中电子控制单元还配置成使用跨直线图像帧系列的像素位置中的改变和经同步的车辆姿态来三角测量对象和特征。
16.根据权利要求13所述的对象定位***,还包括配置成从驾驶员接收向电子控制单元指示感兴趣的对象的输入的触摸屏。
17.根据权利要求13所述的对象定位***,其中感兴趣的对象是从包括另一车辆、路缘、树、灯柱和地平面的组选择的一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562145692P | 2015-04-10 | 2015-04-10 | |
US62/145692 | 2015-04-10 | ||
PCT/US2016/020255 WO2016164118A2 (en) | 2015-04-10 | 2016-03-01 | Object position measurement with automotive camera using vehicle motion data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107567412A CN107567412A (zh) | 2018-01-09 |
CN107567412B true CN107567412B (zh) | 2020-11-24 |
Family
ID=55640866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680020729.2A Active CN107567412B (zh) | 2015-04-10 | 2016-03-01 | 利用汽车相机使用车辆运动数据的对象位置测量 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10423164B2 (zh) |
EP (1) | EP3280976B1 (zh) |
JP (1) | JP2018512593A (zh) |
KR (1) | KR101997436B1 (zh) |
CN (1) | CN107567412B (zh) |
WO (1) | WO2016164118A2 (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018512593A (ja) * | 2015-04-10 | 2018-05-17 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両の移動データを使用した車載カメラによる物***置測定 |
WO2017089294A1 (en) * | 2015-11-23 | 2017-06-01 | Robert Bosch Gmbh | Object detection system and method thereof |
US10546385B2 (en) | 2016-02-25 | 2020-01-28 | Technion Research & Development Foundation Limited | System and method for image capture device pose estimation |
CA3010997C (en) * | 2016-03-17 | 2022-02-22 | Nec Corporation | Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program |
US10457205B2 (en) * | 2017-03-16 | 2019-10-29 | Robotzone, Llc | Assisted trailer alignment system |
US10266023B2 (en) * | 2017-05-01 | 2019-04-23 | Ford Global Technologies, Llc | System to automate hitching a trailer |
US10802478B2 (en) * | 2017-10-19 | 2020-10-13 | Ford Global Technologies, Llc | Hitch assist system and method for autonomously maneuvering a vehicle in a user-specified target travel direction |
KR101996169B1 (ko) * | 2018-01-12 | 2019-07-03 | 숭실대학교산학협력단 | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
KR102019990B1 (ko) * | 2018-01-12 | 2019-09-10 | 숭실대학교산학협력단 | 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
US11198340B2 (en) * | 2018-05-01 | 2021-12-14 | Continental Automotive Systems, Inc. | Coupler and tow-bar detection for automated trailer hitching via cloud points |
WO2019217588A1 (en) | 2018-05-08 | 2019-11-14 | Continental Automotive Systems, Inc. | User-adjustable trajectories for automated vehicle reversing |
CN112424002A (zh) * | 2018-05-08 | 2021-02-26 | 大陆汽车***公司 | 视觉对象*** |
MX2020013025A (es) * | 2018-06-01 | 2021-02-22 | Paccar Inc | Sistemas y metodos para el retroceso autonomo de un vehiculo a un remolque. |
CA3102216A1 (en) * | 2018-06-01 | 2019-12-05 | Paccar Inc. | Systems and methods for autonomously backing a vehicle to a dock |
US10829045B2 (en) * | 2018-07-11 | 2020-11-10 | Continental Automotive Systems, Inc. | System and method for calibrating a motion estimation algorithm using a vehicle camera |
DE102018212401B3 (de) | 2018-07-25 | 2019-12-24 | Volkswagen Aktiengesellschaft | Verfahren und System zum automatischen Erkennen eines Ankuppelmanövers eines Kraftfahrzeugs an einen Anhänger |
US11603100B2 (en) | 2018-08-03 | 2023-03-14 | Continental Autonomous Mobility US, LLC | Automated reversing by following user-selected trajectories and estimating vehicle motion |
DE102018215982A1 (de) * | 2018-09-19 | 2020-03-19 | Zf Friedrichshafen Ag | Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke |
KR102628012B1 (ko) | 2018-10-23 | 2024-01-22 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
CN111179305B (zh) * | 2018-11-13 | 2023-11-14 | 晶睿通讯股份有限公司 | 对象位置估算方法及其对象位置估算装置 |
US10593059B1 (en) * | 2018-11-13 | 2020-03-17 | Vivotek Inc. | Object location estimating method with timestamp alignment function and related object location estimating device |
US11030476B2 (en) * | 2018-11-29 | 2021-06-08 | Element Ai Inc. | System and method for detecting and tracking objects |
US10902634B2 (en) * | 2018-12-04 | 2021-01-26 | Here Global B.V. | Method and apparatus for providing feature triangulation |
US11077730B2 (en) | 2018-12-27 | 2021-08-03 | Continental Automotive Systems, Inc. | Sensor mounting height estimation using load sensors |
US11214105B2 (en) * | 2019-01-29 | 2022-01-04 | Ford Global Technologies, Llc | Saturated steering detection and operation for guided vehicle operation |
US10933914B2 (en) * | 2019-01-31 | 2021-03-02 | Ford Global Technologies, Llc | Trailer hitching aid |
JP7030732B2 (ja) * | 2019-02-27 | 2022-03-07 | エヌ・ティ・ティ・コムウェア株式会社 | 同一構造物検出装置、同一構造物検出方法及び同一構造物検出プログラム |
JP7192582B2 (ja) * | 2019-03-11 | 2022-12-20 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
EP3719696A1 (en) | 2019-04-04 | 2020-10-07 | Aptiv Technologies Limited | Method and device for localizing a sensor in a vehicle |
US10780752B1 (en) | 2019-04-09 | 2020-09-22 | Ford Global Technologies, Llc | Vehicle hitch ball detection system |
WO2021007427A1 (en) * | 2019-07-09 | 2021-01-14 | Continental Automotive Systems, Inc. | Trailer body length detection system |
US11427199B2 (en) * | 2019-08-22 | 2022-08-30 | Ford Global Technologies Llc | System for aligning a vehicle hitch location identifier with a trailer coupler |
US20210155238A1 (en) * | 2019-11-26 | 2021-05-27 | Continental Automotive Systems, Inc. | 3d position estimation system for trailer coupler |
DE102020106304A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug |
DE102020106301A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug |
DE102020106302A1 (de) | 2020-03-09 | 2021-09-09 | Zf Cv Systems Global Gmbh | Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug |
EP3889906A1 (en) * | 2020-03-31 | 2021-10-06 | Continental Automotive GmbH | Method and system for calculating vehicle trailer angle |
JP2023543408A (ja) * | 2020-09-11 | 2023-10-16 | コンチネンタル オートノマス モビリティ ユーエス,エルエルシー | 牽引ボール位置検出システム及び方法 |
CN112327864A (zh) * | 2020-11-17 | 2021-02-05 | 北京三快在线科技有限公司 | 一种无人驾驶设备的控制方法及控制装置 |
US20220203786A1 (en) * | 2020-12-30 | 2022-06-30 | Continental Automotive Systems, Inc. | Method and assembly for positioning a vehicle relative to a trailer |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6483429B1 (en) * | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
US7792330B1 (en) * | 2005-09-30 | 2010-09-07 | Mustang Technology Group, L.P. | System and method for determining range in response to image data |
WO2014116485A1 (en) * | 2013-01-22 | 2014-07-31 | Qualcomm Incorporated | Systems and methods for tracking and detecting a target object |
JP2014169184A (ja) * | 2013-02-05 | 2014-09-18 | Tadano Ltd | 作業車の周囲情報取得装置 |
CN104159757A (zh) * | 2012-02-29 | 2014-11-19 | 罗伯特·博世有限公司 | 联结器对齐辅助 |
CN104346943A (zh) * | 2013-08-09 | 2015-02-11 | 通用汽车环球科技运作有限责任公司 | 车辆路径评估 |
CN104417546A (zh) * | 2013-08-27 | 2015-03-18 | 福特环球技术公司 | 用于挂车倒退辅助的挂车识别*** |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000161915A (ja) * | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
JP3494434B2 (ja) | 1999-10-21 | 2004-02-09 | 松下電器産業株式会社 | 駐車支援装置 |
US6489922B1 (en) | 2000-04-22 | 2002-12-03 | American Gnc Corporation | Passive/ranging/tracking processing method for collision avoidance guidance and control |
AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
JP2004291673A (ja) | 2003-03-25 | 2004-10-21 | Denso Corp | センサ装置 |
JP4355535B2 (ja) * | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | 360度画像変換処理装置 |
DE102005022882A1 (de) * | 2005-05-18 | 2006-11-23 | Volkswagen Ag | Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera |
US7379018B1 (en) | 2005-12-30 | 2008-05-27 | Valeo Raytheon Systems, Inc. | System and method for verifying a radar detection |
US8199975B2 (en) | 2006-12-12 | 2012-06-12 | Cognex Corporation | System and method for side vision detection of obstacles for vehicles |
JP2009139246A (ja) * | 2007-12-07 | 2009-06-25 | Honda Motor Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体 |
JP2009180536A (ja) * | 2008-01-29 | 2009-08-13 | Omron Corp | 画像処理装置、画像処理方法、およびプログラム |
JP5027746B2 (ja) | 2008-07-01 | 2012-09-19 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
KR100939761B1 (ko) | 2008-10-02 | 2010-01-29 | 삼성전기주식회사 | 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템 |
JP2011217300A (ja) * | 2010-04-02 | 2011-10-27 | Masamichi Tokuzawa | 360度ライブ・パノラマ配信システム |
JP5484997B2 (ja) | 2010-04-12 | 2014-05-07 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
FR2960082B1 (fr) | 2010-05-17 | 2012-08-10 | Commissariat Energie Atomique | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
JP5240527B2 (ja) * | 2010-11-25 | 2013-07-17 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
US9251708B2 (en) * | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
US9242602B2 (en) | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
JP6097063B2 (ja) * | 2012-11-29 | 2017-03-15 | 株式会社タダノ | 高さ測定装置及び高さ測定方法 |
CN104662389B (zh) | 2012-09-21 | 2017-06-16 | 株式会社多田野 | 作业车的周围信息获取装置 |
US20140085409A1 (en) | 2012-09-25 | 2014-03-27 | GM Global Technology Operations LLC | Wide fov camera image calibration and de-warping |
JP2018512593A (ja) * | 2015-04-10 | 2018-05-17 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両の移動データを使用した車載カメラによる物***置測定 |
US9821920B2 (en) * | 2015-08-18 | 2017-11-21 | Nextvr Inc. | Methods and apparatus for compensating for vehicular motion |
US10328853B2 (en) * | 2017-01-16 | 2019-06-25 | Nio Usa, Inc. | Method and system for providing an escape route from a vehicle |
-
2016
- 2016-03-01 JP JP2017553142A patent/JP2018512593A/ja active Pending
- 2016-03-01 US US15/564,788 patent/US10423164B2/en active Active
- 2016-03-01 KR KR1020177028245A patent/KR101997436B1/ko active IP Right Grant
- 2016-03-01 WO PCT/US2016/020255 patent/WO2016164118A2/en active Application Filing
- 2016-03-01 CN CN201680020729.2A patent/CN107567412B/zh active Active
- 2016-03-01 EP EP16712577.2A patent/EP3280976B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6483429B1 (en) * | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
US7792330B1 (en) * | 2005-09-30 | 2010-09-07 | Mustang Technology Group, L.P. | System and method for determining range in response to image data |
CN104159757A (zh) * | 2012-02-29 | 2014-11-19 | 罗伯特·博世有限公司 | 联结器对齐辅助 |
WO2014116485A1 (en) * | 2013-01-22 | 2014-07-31 | Qualcomm Incorporated | Systems and methods for tracking and detecting a target object |
JP2014169184A (ja) * | 2013-02-05 | 2014-09-18 | Tadano Ltd | 作業車の周囲情報取得装置 |
CN104346943A (zh) * | 2013-08-09 | 2015-02-11 | 通用汽车环球科技运作有限责任公司 | 车辆路径评估 |
CN104417546A (zh) * | 2013-08-27 | 2015-03-18 | 福特环球技术公司 | 用于挂车倒退辅助的挂车识别*** |
Also Published As
Publication number | Publication date |
---|---|
CN107567412A (zh) | 2018-01-09 |
US10423164B2 (en) | 2019-09-24 |
WO2016164118A3 (en) | 2016-12-08 |
KR20180002609A (ko) | 2018-01-08 |
JP2018512593A (ja) | 2018-05-17 |
EP3280976B1 (en) | 2019-11-20 |
US20180181142A1 (en) | 2018-06-28 |
EP3280976A2 (en) | 2018-02-14 |
WO2016164118A2 (en) | 2016-10-13 |
KR101997436B1 (ko) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107567412B (zh) | 利用汽车相机使用车辆运动数据的对象位置测量 | |
JP7509501B2 (ja) | 整合画像及びlidar情報に基づいた車両ナビゲーション | |
US11287523B2 (en) | Method and apparatus for enhanced camera and radar sensor fusion | |
US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
TWI693422B (zh) | 自然場景中的整合感測器校準 | |
CN109766757B (zh) | 一种融合车辆和视觉信息的泊车位高精度定位方法及*** | |
US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
US9389093B2 (en) | Traffic signal recognition apparatus | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
US20180266830A1 (en) | Information processing device, information processing method, and program | |
CN109070801B (zh) | 使用后置相机的拖车角度检测 | |
US20230117253A1 (en) | Ego motion-based online calibration between coordinate systems | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
EP2913999A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
US11346670B2 (en) | Position estimating device | |
JP2018073275A (ja) | 画像認識装置 | |
KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
US11461928B2 (en) | Location estimation apparatus | |
KR102594135B1 (ko) | Gnss 기반의 차량 운전주행 시험 장치 | |
US20230168352A1 (en) | Method for assessing a measuring inaccuracy of an environment detection sensor | |
Li et al. | Lane departure estimation by side fisheye camera | |
CN113837385A (zh) | 一种数据处理方法、装置、设备、介质及产品 | |
CN116858220A (zh) | 一种基于双目摄像头的多源定位方法及行车记录仪 | |
CN117553811A (zh) | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及*** | |
CN117636294A (zh) | 距离推测装置及距离推测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |