CN110312912B - 车辆自动停车***和方法 - Google Patents

车辆自动停车***和方法 Download PDF

Info

Publication number
CN110312912B
CN110312912B CN201880012528.7A CN201880012528A CN110312912B CN 110312912 B CN110312912 B CN 110312912B CN 201880012528 A CN201880012528 A CN 201880012528A CN 110312912 B CN110312912 B CN 110312912B
Authority
CN
China
Prior art keywords
vehicle
parking
image
virtual
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012528.7A
Other languages
English (en)
Other versions
CN110312912A (zh
Inventor
岩间晴之
冯晨
田口裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110312912A publication Critical patent/CN110312912A/zh
Application granted granted Critical
Publication of CN110312912B publication Critical patent/CN110312912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

一种用于在停车空间(PS)内停放车辆的***，根据以目标状态结束的第一停车路径(FPP)来控制车辆的运动，并且使用PS的模型来确定从当前状态到目标状态的第二停车路径(SPP)。所述***在车辆沿着FPP运动期间使用(一个或多个)传感器获取PS的图像，并且使用所述图像来构造模型。使用所述模型来生成从定义车辆在FPP外部的状态的虚拟视点集合看到的、PS的环境的虚拟图像集合。通过将车辆处于当前状态时来自传感器的PS的当前图像与虚拟图像进行比较来确定车辆的当前状态。确定从当前状态到目标状态的SPP。

Description

车辆自动停车***和方法
技术领域
本发明总体上涉及车辆的路径规划，更具体地涉及用于将车辆自动停到目标空间中的路径规划方法。
背景技术
车辆(自主车辆或执行在自主驾驶模式下的半自主车辆)所用的几个控制***预测车辆的未来的、安全运动或路径，既为了避免障碍物(诸如其他车辆或行人)，又为了优化某些与车辆的操作相关联的准则。目标状态可以要么是固定地点、移动地点、速度矢量、区域，要么是它们的组合。用于控制自动或半自主车辆的任务之一是自动地将车辆停到本文称之为“目标状态”的停车位置和朝向。
大多数现有的路径规划解决方案仅应付特定的停车情境。例如，专利文献1中描述的方法计算用于平行停车和倒车停车的路径。专利文献2中描述的方法也假设了停车路径的特殊结构。此外，专利文献3中描述的方法解决平行停车，并且要求车辆的初始状态处于所谓的可行的起始区域内，预编码的平行停车操作从该可行的起始区域开启。尽管实现了实时路径生成，但是这些方法依赖于停车路径的特定结构。
为了适应一般的停车路径，专利文献4中描述的一种方法使用两阶段自动停车***，该***在车辆被驾驶者手动停车时的学习模式期间计算并且记忆停车路径，之后在自动停车模式期间辅助沿学习的停车路径停放车辆。该方法可以辅助在指定的空间(诸如住宅车库)中、沿着任意但事先学习过的停车路径停车。该方法认为与该停车路径的偏离是需要被阻止的不规则路线。这样的基本原理不总是可取的。
[引文列表]
[专利文献]
[PTL 1]
U.S.7737866
[PTL 2]
U.S.8497782
[PTL 3]
U.S.8862321
[PTL 4]
U.S.9140553
发明内容
一些实施例的目的是公开一种用于车辆自动停车***和方法的路径规划方法。一些实施例的另一个目的是提供降低由针对各种现实生活停车情境的自动停车的具体例子引起的路径规划的计算成本的方法。
一些实施例是基于两阶段自动停车可以便利于针对各种停车情形的自动停车的理解。两阶段自动停车包括学习阶段和自动停车阶段。在学习阶段中，驾驶者(例如通过手动控制)停放车辆，并且学习方法被执行，以在避免周围环境的构造的同时，观测并且记忆指示从初始地点通向目标停车空间的地点的停车路径的参考数据。
在自动停车阶段中，车辆是自动停车的，并且车辆的自定位和到目标停车空间的路径规划是通过将当前传感器观测结果与在学习阶段中记忆的参考数据进行匹配来顺序地、迭代地执行的。具体地说，停车空间的图像中的物体的几何特征和物体之间的相对空间关系被匹配作为用于自定位的观测结果。
当学习阶段和自动停车阶段期间的停车路径相似时，停车空间的不同图像的比较使得可以进行自定位。一般来说，然而，基于图像的二维特征(包括几何特征和物体之间的空间关系)的特性取决于获取图像的相机的观测视图。例如，矩形形状(诸如建筑物的窗框)在从前视图捕捉的图像中表现为矩形，而在从斜视图捕捉的图像中表现为梯形(变形的矩形)。
该问题在本文中被称为起因于两阶段停车所用的自动自定位的长基线匹配问题。具体地说，从两个间隔开的视点观测的地标(即，从图像提取的区别性特征)可能被自动自定位匹配程序遗漏，因为从不同视点看到的同一地标的外观可能显著改变。
因此，本质上难以在从不同的观测视图捕捉的图像之中正确地匹配基于图像的二维特征，并且当学习阶段中的观测视图不同于自动停车阶段中的那些观测视图时，基于图像的二维特征匹配可能失败。特征匹配的失败可能导致自定位的失败和自动停车的失败。这种对于停车空间的图像中的不同特征的外观不变性的依赖性限制了自动停车的可用性或应用范围，因为驾驶者需要在开始自动停车模式之前将他们的车辆定位在学习模式下采取的路径的附近，也就是说，如果车辆位置远离路径，则驾驶者不能使用自动停车模式。然而，一些实施例是基于以下一般认识的，即，重复使用在学习阶段期间学习的数据对于沿着不同的停车路径自动停放车辆是有益的。
一些实施例是基于虚拟图像可以帮助规避自动自定位对外观不变性的这样的依赖性的认识。例如，可以对来自未来可能造访的新视点的一些新的虚拟图像进行合成。例如，可以将从地点A指向地点B的相机捕捉的图像变换为从地点B指向地点A的虚拟视点看到的虚拟图像。虚拟图像可以用于与从地点B指向地点A的相机新近拍摄的图像进行比较以规避长基线匹配问题。
为此，一些实施例首先从车辆被沿着第一停车路径停放时获取的图像生成周围环境的三维模型，然后在该三维模型中设置虚拟视点。如本文中所使用的，虚拟视点是获取虚拟图像的相机的姿势的虚拟点。例如，可以通过将三维模型数据重新投影到虚拟观测点处的虚拟图像平面来生成虚拟图像。
虚拟视点被设置为使得它们的观测视图不同于学习模式下的原始视点的那些观测视图。然后，针对虚拟观测点集合生成虚拟图像集合。最后，从原始图像和虚拟图像这二者中提取图像特征，并且将该图像特征作为用于自动停车阶段的参考数据记忆在***中。
考虑来自三维模型的虚拟图像，参考数据可以包含来自形成各种观测视图的真实图像和虚拟图像的特征。特征库的这个富化使得即使当车辆位置远离学习模式下采取的路径时，所述***也能够成功地进行特征匹配、以及接下来的在自动停车模式下的自定位。因此，一些实施例可以改进自动停车***的可用性和应用范围。
据此，一个实施例公开了一种用于在停车空间内停放车辆的方法。所述方法使用可操作地连接到存储器的处理器、至少一个传感器和控制器，所述至少一个传感器用于获取指示停车空间的至少一部分的环境的图像，所述控制器用于控制车辆的运动，其中，所述处理器与所存储的实现所述方法的指令耦合，其中，所述指令在被处理器执行时实现所述方法的至少一些步骤，包括：根据以目标状态结束的第一停车路径来控制车辆的运动，车辆的每个状态包括车辆的位置和朝向；在车辆沿着第一停车路径运动期间获取停车空间的图像集合，以使得图像集合中的每个图像是从由车辆沿着第一停车路径的状态定义的视点获取的；使用所述图像集合来构造停车空间的模型；选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义车辆在第一停车路径外部的状态的至少一个虚拟视点；使用停车空间的模型来生成从虚拟视点集合看到的停车空间的环境的虚拟图像集合；通过将在车辆处于当前状态时传感器获取的停车空间的当前图像与至少一个虚拟图像进行比较来确定车辆的当前状态；使用车辆的模型来确定从当前状态到目标状态的第二停车路径；以及根据第二停车路径来控制车辆的运动，其中，所述方法进一步包括：从所述图像集合和所述虚拟图像集合提取特征集合；将所述特征集合以及每个特征与所述车辆的被匹配状态的映射存储在所述存储器中；从所述当前图像提取至少一个特征；以及搜索具有提取的特征的映射以产生所述车辆的当前状态。
另一个实施例公开了一种用于在停车空间内停放车辆的***。所述***包括：存储器，其用于存储车辆的模型；至少一个传感器，其用于感测指示停车空间的至少一部分的环境的信息；控制器，其用于根据不同的轨迹来控制车辆的运动，所述不同的轨迹包括以目标状态结束的第一停车路径和第二停车路径，并且车辆的每个状态由车辆的位置和方向定义；以及至少一个处理器，其被配置为：在车辆沿着第一停车路径运动期间获取停车空间的环境的图像集合，以使得图像集合中的每个图像是从由车辆沿着第一停车路径的状态定义的视点获取的；使用所述图像集合来构造停车空间的模型；选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义车辆在第一停车路径外部的状态的至少一个虚拟视点；使用停车空间的模型来生成从虚拟视点集合看到的停车空间的环境的虚拟图像集合；通过将在车辆处于当前状态时传感器获取的停车空间的当前图像与至少一个虚拟图像进行比较来确定车辆的当前状态；以及使用车辆的模型来确定从当前状态到目标状态的第二停车路径，其中，所述处理器被进一步配置用于：从所述图像集合和所述虚拟图像集合提取特征集合；将所述特征集合以及每个特征与所述车辆的被匹配状态的映射存储在存储器中；从所述当前图像提取至少一个特征；以及搜索具有提取的特征的映射以产生所述车辆的当前状态。
又一个实施例公开了一种非暂时性计算机可读存储介质，其上包含处理器可执行的程序，用于执行用于在停车空间内停放车辆的方法。所述方法包括：根据以目标状态结束的第一停车路径来控制车辆的运动，车辆的每个状态包括车辆的位置和朝向；在车辆沿着第一停车路径运动期间获取停车空间的图像集合，以使得图像集合中的每个图像是从由车辆沿着第一停车路径的状态定义的视点获取的；使用所述图像集合来构造停车空间的模型；选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义车辆在第一停车路径外部的状态的至少一个虚拟视点；使用停车空间的模型来生成从虚拟视点集合看到的停车空间的环境的虚拟图像集合；通过将在车辆处于当前状态时传感器获取的停车空间的当前图像与至少一个虚拟图像进行比较来确定车辆的当前状态；使用车辆的模型来确定从当前状态到目标状态的第二停车路径；以及根据第二停车路径来控制车辆的运动，其中，所述方法进一步包括：从所述图像集合和所述虚拟图像集合提取特征集合；将所述特征集合以及每个特征与所述车辆的被匹配状态的映射存储在存储器中；从所述当前图像提取至少一个特征；以及搜索具有提取的特征的映射以产生所述车辆的当前状态。
附图说明
图1示出利用使用一些实施例的原理的自动停车的车辆的示意图。
图2示出根据一些实施例的沿着第一停车路径的学习阶段期间的示例性停车的示意图。
图3A示出根据一些实施例的沿着第一停车路径的自动停车阶段期间的示例性停车的示意图。
图3B示出根据一些实施例的沿着不同于第一停车路径的第二停车路径的自动停车阶段期间的示例性停车的示意图。
图4示出使用一些实施例所用的原理的停车情境的例子。
图5示出根据一些实施例的用于在停车空间内停放车辆的方法的框图。
图6A例示说明一些实施例所用的车辆坐标系的例子。
图6B示出根据一些实施例的车辆的几何表示的示例性示意图。
图7示出根据一个实施例的停车***的学习阶段的流程图。
图8示出根据一个实施例的停车***的自动停车阶段的流程图。
图9A示出根据一些实施例的适合于自动停车的***的框图。
图9B示出根据一个实施例的自动停车***的功能组件的表示。
图10示出一些实施例在学习模式下所用的功能模块的框图。
图11例示说明停车空间的三维模型的例子。
图12示出定义坐标系的原点的车辆的虚拟状态和对应的虚拟视点的例子。
图13示出根据一些实施例的针对虚拟视点集合生成的示例性虚拟图像的例示说明。
图14示出根据一些实施例的参考数据生成的数据流的示意图。
图15示出根据一个实施例的自动停车模式下所用的功能模块的框图。
图16示出根据一个实施例的特征匹配处理的数据流。
图17示出一些实施例在学习模式下所用的功能模块的框图。
图18示出一些实施例在自动停车模式下所用的功能模块的框图。
图19例示说明不同的实施例在学习模式下所用的功能模块的另一个框图。
图20示出在学习模式下所用的功能模块的另一个框图。
图21示出根据一个实施例的用于选择停车的方向的示例性界面。
图22示出根据一个实施例的用于选择停车的方向的另一个界面。
图23A示出一些实施例所用的用于选择第一停车路径外部的视点的方法的框图。
图23B示出一个实施例所用的用于选择第一停车路径外部的视点的替代方法的框图。
图23C示出根据一些实施例的车辆的示例性不可达区域的示意图。
图24示出车辆通过停车空间的可能的停车路径的示例性示意图。
图25A示出根据一个实施例的自动停车***的功能图。
图25B示出根据一个实施例的运动规划***的整体结构。
图26A示出根据一些实施例的VA-VSLAM框架的框图。
图26B示出根据一些实施例的使用虚拟图像来解决长基线匹配问题的示意图的例子。
图27示出根据一些实施例的用于使用虚拟图像重构停车空间的三维模型的方法的框图。
具体实施方式
图1示出利用使用一些实施例的原理的自动停车的车辆的示意图。车辆101包括至少一个传感器、控制器和至少一个处理器，所述至少一个传感器用于感测指示停车空间的至少一部分的环境的信息，所述控制器用于控制车辆的运动，所述至少一个处理器用于确定车辆的各种轨迹。例如，车辆101可以包括周围相机102-105和使用处理器实现的自动停车***106。在该例子中，前面的相机102被设置在前保险杆上以观测车辆101的前面的区域。左边的相机103和右边的相机104被设置在侧镜的下面以观测左侧区域和右侧区域。后面的相机105被设置在后门上以观测后面的区域。每个相机都被连接到自动停车***106。在一些实现中，每个相机具有广视角并且预先进行了校准，并且一组相机的整个观测区域覆盖车辆101的周围区域。正如需要被理解的，不同的实施例可以使用不同数量、类型和地点的相机。
自动停车***106具有两个操作阶段和/或模式，学习模式和自动停车模式。在学习模式下，驾驶者控制车辆并且将车辆停放在目标停车空间中，在此期间所述***从一组相机获得周围环境的观测结果，并且将观测结果的处理过的数据的集合记忆为参考数据。在自动停车模式下，车辆由所述***自动控制并且停放在目标停车空间中。在自动停车期间，通过将来自一组相机的输入观测结果与参考数据的观测结果进行匹配来执行车辆的自定位和到目标停车空间的路径规划。
图2示出根据一些实施例的沿着第一停车路径的学***面上的(x,y)坐标)和1-DOF的朝向(例如，与平面内旋转相对应的偏航角)。3-DOF状态表示就计算成本和内存消耗而言是有利的，并且如果停车空间具有平面路面并且车辆在该平面路面上移动，则可以被使用，其中，状态可以相对于该平面路面被定义。
根据以目标状态502结束的第一停车路径的运动可以手动控制(例如，使用来自车辆的驾驶者的输入控制命令)、自动控制(例如，使用自动停车***)、或者手动和自动组合控制。在车辆沿着第一停车路径运动期间，车辆使用相机102-105获取停车空间的图像集合506。图像集合506中的每个图像是从车辆沿着第一停车路径的状态定义的视点获取的。例如，在车辆101在路径505上的任何状态，相机103拍摄的图像不同于相机105拍摄的图像。然而，相机103和105两者的图像和两者的视点都被车辆的状态和几何形状以及相机在车辆上的布置明确定义。
图3A示出根据一些实施例的沿着第一停车路径的自动停车阶段期间的示例性停车的示意图。图3B示出根据一些实施例的沿着不同于第一停车路径的第二停车路径的自动停车阶段期间的示例性停车的示意图。具体地说，在图3A所示的例子中，车辆跟随类似于路径505的路径。在图3B所示的情境中，车辆采取不同的路径，并且从路径505的起始点的相对侧靠近目标停车空间。
为此，图3A中的图像507和图3B中的图像508表示捕捉到的图像例子，在这些例子中，建筑物503的整个外观在所述图像中的每个中被观测到。注意，建筑物503在图像507中是从斜视图观测到的，并且在图像508中从前视图观测到，而没有图像包含从图2中的图像集合506中的前视图对建筑物503的观测结果。
当学习阶段和自动停车阶段期间的停车路径相似时，如图3A所示的例子中那样，停车空间的不同图像的比较使自定位成为可能。然而，当学习阶段和自动停车阶段期间的停车路径不同时，如图3B所示的例子中那样，停车空间的不同图像的比较可能失败。
一些实施例是基于以下认识的，即，重复使用在学习阶段期间学习到的数据对沿着不同的停车路径自动停放车辆是有益的。例如，重复使用在沿着第一停车路径移动时学习到的数据来沿着第二(即，不同的)停车路径停放车辆可能是有益的。一些实施例是基于虚拟图像可以帮助规避自动自定位对外观不变性的这样的依赖性的认识。例如，可以对来自未来可能造访的新视点的一些新的虚拟图像进行合成。
为此，一些实施例从相机获取的图像生成周围环境的三维模型，然后在该三维模型中设置虚拟视点。如本文中所使用的，虚拟视点是获取虚拟图像的相机的姿势的虚拟点。例如，可以通过将三维模型数据重新投影到虚拟观测点处的虚拟图像平面来生成虚拟图像。
虚拟视点被设置为不同于用于在学习模式下获取图像的视点。然后，针对虚拟视点集合生成虚拟图像集合。最后，从原始图像和虚拟图像这二者中提取图像特征，并将图像特征作为用于自定位和自动停车的参考数据记忆在***中。
图4示出使用一些实施例所用的原理的停车情境的例子。在图4中，例示说明了虚拟观测点510和对应的虚拟图像511的例子。在该例子中，虚拟图像511包括从前视图看到的建筑物503的整个外观。在这种情况下，即使车辆的第一停车路径505和第二停车路径509在两种模式下不同，自动停车模式下的特征匹配和接着进行的自定位也可以成功，因为学习模式下的参考数据包括与跟随第二停车路径509的车辆的相机获取的图像的特征类似的、来自虚拟图像511的图像特征。
图5示出根据一些实施例的用于在停车空间内停放车辆的方法的框图。所述方法使用可操作地连接到存储器的处理器、至少一个传感器和控制器，所述至少一个传感器用于获取指示停车空间的至少一部分的环境的图像，所述控制器用于控制车辆的运动。所述处理器与所存储的实现所述方法的指令耦合，其中，所述指令在被处理器执行时实现所述方法的至少一些步骤。
所述方法根据以目标状态结束的第一停车路径来控制520车辆的运动，并且在车辆沿着第一停车路径运动期间获取525停车空间的图像集合。例如，第一停车路径可以是路径505，并且停车空间的图像是使用相机102-105获取的，以使得图像集合中的每个图像是从车辆沿着第一停车路径的状态定义的视点获取的。
所述方法使用所述图像集合来构造530停车空间的模型，选择535第一停车路径外部的虚拟视点集合，并且使用停车空间的模型来生成540从虚拟视点集合看到的停车空间的环境的虚拟图像集合。如本文中所提及的，所述虚拟视点集合包括定义车辆在第一停车路径外部的状态的至少一个虚拟视点。
在一些实施例中，在所述方法的学习阶段570期间执行上述步骤。存储真实图像和虚拟图像的特征以用于所述方法的自动停车阶段575的自定位。然而，应理解，在自动停车阶段575期间确定的路径可以用于学习并且更新停车空间的模型以用于以后停车。
在自动停车阶段575期间，所述方法通过将在车辆处于当前状态时传感器获取的停车空间的当前图像与至少一个虚拟图像进行比较来确定550车辆的当前状态。与虚拟图像(例如，虚拟图像的几何特征)进行比较使得可以进行第一停车路径外部的车辆的自定位。所述方法例如使用车辆的模型确定555从当前状态到目标状态的第二停车路径，并且根据第二停车路径来控制560车辆的运动。
图6A例示说明一些实施例所用的车辆坐标系的例子。车辆坐标系108的原点107被定义为通过车辆中心点的垂线与地平面110相交的点。所述垂线被设置为Z轴，并且Y轴被设置使得它平行于车辆中心线109。
图6B示出根据一些实施例的车辆的几何表示的示例性示意图。在该例子中，车辆被抽象为矩形615。车辆状态包括3-DOF，位置(x,y)617(表示其后轮轴的中点)和朝向θ619(表示车身轴与水平轴之间的角度)。
图7示出根据一个实施例的学习阶段570的流程图。首先，驾驶者(用户)将车辆定位在期望的停车起始地点处，并且开始学习模式(开始信号由驾驶者给予)。然后，驾驶者驾驶S001车辆以停放在目标停车空间中，并且判断S002停车是否完成。一旦驾驶者判断停车完成，驾驶者就将停车完成信号给予S003所述***。此后，所述***构造S004周围环境的三维模型，并且从停车期间的捕捉图像集合生成S005参考数据。最后，所述***记忆S006参考数据和关于目标停车空间的信息，并且结束学习模式。
图8示出根据一个实施例的自动停车阶段575的流程图。首先，驾驶者开始自动停车模式。在初始车辆地点，所述***通过将来自一组相机的当前观测结果与在学习模式下记忆的参考数据进行匹配来定位S101车辆。如果所述***定位失败，则驾驶者或者所述***自动地将车辆移动到S102另一个地点。重复步骤S101和S102，直到所述***初始定位成功为止。在初始定位成功之后，所述***计算S103从当前位置到目标停车空间的路径(路线)。如果所述***路径规划(计算)失败，则车辆如以上所述那样移动S102，直到所述***路径规划成功为止。一旦路径规划成功，所述***就沿着规划的路径控制和驾驶S104车辆，然后再次定位S105。在S105中，通过如上所述那样进行观测结果匹配、或者可替代地通过基于车辆控制信息(诸如偏航率和速度)的航位推算来执行定位。此后，所述***判断S106停车是否完成。如果停车没有完成，则重复一系列步骤(S103至S105)。如果停车完成，则所述***结束自动停车模式。
图9A示出根据一些实施例的适合于自动停车的***100的框图。***100可以包括通用处理器161和存储器164。另外，或可替代地，***100可以包括专用处理器，诸如图像处理器166、姿势处理器168和虚拟图像处理器167。***100还可以包括耦合到一个或多个总线177的若干个传感器或进一步耦合到处理器161、166、167和168中的至少一个的信号线。***100可以是车辆101的一部分，并且可以用于实现自动停车***106的功能性。
***100可以包括用于捕捉场景的图像的传感器，诸如相机124、三维传感器和/或相机和三维传感器的组合(被称为红-绿-蓝-深度(RGBD)传感器(未示出))，并且可以可选地包括运动传感器121诸如加速计、陀螺仪、电子罗盘或其它类似的运动感测元件。***100还可以在面向前的和/或面向后的相机(例如，相机124)上捕捉图像。***100可以进一步包括用户接口150，用户接口150包括显示器112、输入装置(诸如键盘和键区152)中的一个或组合。如果需要，将虚拟键区集成到具有触摸屏幕/传感器的显示器122中可以取消键盘或键区152。例如，如果装置100是诸如移动电话的移动平台，则用户接口150还可以包括麦克风154和扬声器156。在一些实现中，***100可以用作移动或无线装置，并且可以使用收发器140经由一个或多个无线通信链路进行通信。
在一个或多个示例性实施例中，所描述的功能或模块可以用控制单元160的硬件(例如，硬件162)、软件(例如，软件165)、固件(例如，固件163)或它们的任意组合来实现。如果用软件实现为计算机程序产品，则所述功能或模块可以作为一个或多个指令或代码被存储在非暂时性计算机可读介质上或者在非暂时性计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质(包括促使计算机程序从一个地方传送到另一个地方的任何介质)这二者。存储介质可能是可以被计算机访问的任何可用的介质。通过示例而非限制的方式来说，这样的非暂时性计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存器、磁盘储存器或其它磁性存储装置、或者可以用于以指令或数据结构的形式运送或存储期望的程序代码并且可以被计算机访问的任何其它的介质。
图9B示出根据一个实施例的自动停车***106的功能组件的表示。自动停车***106由三个单元(用户输入/输出(I/O)单元201、感知和规划单元202以及车辆控制单元203)组成。
在学习模式下，感知和规划单元202可以构造作为表示停车空间的周围环境的三维地图的三维模型；确定该三维模型中的虚拟视点；针对虚拟观测点生成虚拟图像。单元202还可以从原始捕捉图像和虚拟图像提取图像特征，确定目标停车状态；找到每个图像特征的二维图像位置与三维模型中的三维位置的对应，并且促使记忆作为参考数据的三维模型中的图像特征和它们的三维位置、和三维模型中的目标停车空间信息。此外，单元202可以将三维模型和目标停车空间信息输出到用户I/O单元201。用户I/O单元201向驾驶者显示学习模式的进展、状态和结果。
在自动停车模式下，感知和规划单元202可以从捕捉的图像提取图像特征，将当前图像特征与在学习模式下记忆的参考数据中的图像特征进行匹配，并且按照匹配结果、相对于三维模型定位车辆。单元202还可以确定从当前车辆位置到目标停车空间的路径，并且将规划的路径输出到车辆控制单元203。车辆控制单元203基于从单元202输入的路径来控制车辆。
图10示出一些实施例在学习模式下所用的功能模块的框图。图像捕捉模块301控制一组相机，并且捕捉图像。图像记忆模块302记忆捕捉到的图像。
三维模型生成模块303通过三维重构技术(诸如SFM(运动恢复结构)和VSLAM(视觉同时定位和地图构建))来从捕捉到的图像生成三维模型。在该语境下，我们将三维模型定义为三维点云，在该三维点云中，每个点对应于其原始图像(二维)点。这意味着点云中的每个点不仅具有三维模型中的三维位置，而且还具有原始图像位置和颜色(RGB)、强度和/或特征信息。在一些实施例中，点云的坐标系依据学习模式下某个车辆地点处的车辆坐标系来设置。例如，车辆坐标系在学习模式下可以在起始地点或结束地点处，作为三维模型的坐标系。
图11例示说明三维模型的例子。在图11中，具有坐标系603的三维模型602(假定具有相当密集的点云)是从在学习模式下捕捉的图像集合601生成的。
目标停车空间确定模块304确定三维模型中的目标停车空间。驾驶者在学习模式下完成停车的空间被设置为目标停车空间，并且其地点被表示在三维模型中。我们可以考虑各种表示形式。例如，它可以用三维模型中的车辆坐标系的位置和朝向来表示。可替代地，它可以以车辆的二维或三维边界框的形式来表示。目标停车空间记忆模块305记忆目标停车空间信息。
虚拟观测点确定模块306确定三维模型中的虚拟视点。在一个实施例中，通过在三维模型中随机地或规律地选择点(例如，车辆的状态)来确定虚拟视点。接着，基于相机校准数据(与车辆坐标系的相对位置和朝向)来对每个虚拟车辆坐标系设置一组虚拟相机，例如，四个相机匹配相机102-105。每个虚拟相机坐标系的原点可以被认为是虚拟观测点，因此，四个虚拟观测点可以由该点处的一组虚拟相机确定。
图12示出定义坐标系611的原点和对应的虚拟观测点612至623的车辆的虚拟状态610的例子。在该图中，地图是以图11中的三维模型602的顶视图(鸟眼)地图的形式示出的。
虚拟图像生成模块307针对虚拟观测点生成虚拟图像集合。不同的实施例使用不同的方法来在给定虚拟视点的情况下生成虚拟帧。例如，可以使用以下操作中的一个或组合来生成虚拟图像：使图像集合中的至少一个图像变形、将场景的模型投影到虚拟视点中、以及平面诱导的单应性。
例如，在一个实施例中，虚拟视点具有与真实图像相同的观测位置，不同之处仅在于朝向。在该实施例中，可以通过将新的帧中的每一个像素pv从该真实帧中的像素pr按照pv＝Hpr变形来生成虚拟帧，其中，pv和pr是像素的二维齐次坐标，H是由定义的3×3单应矩阵，R是与虚拟视点相对于真实视点的朝向相对应的三维旋转矩阵，Kv和Kr分别是3×3虚拟相机固有矩阵和真实相机固有矩阵。
例如，在另一个实施例中，可以从描述三维模型生成模块303重构的场景602的密集的点云直接生成虚拟图像。例如，在一种实现中，可以从密集的点云创建该场景的纹理网格模型。然后，该纹理网格与对给定的虚拟视点设定的虚拟相机的姿势(即，OpenGL的术语中的模型-视图矩阵)一并被提交到图形流水线(诸如OpenGL)，并且其投影矩阵通过期望的相机固有矩阵设置，期望的相机固有矩阵通常等于或接近于真实相机的相机固有矩阵。此时，RGB信息被从OpenGL流水线的颜色缓冲器提取，并且深度信息被从深度缓冲器提取。因此，RGBD图像的虚拟帧便在期望的虚拟视点处生成。
在又一个实施例中，当场景的三维点云相对稀疏时，使用平面诱导的单应性来生成虚拟图像。对于这种情况，难以针对图像中的每一个像素从遥远的虚拟视点生成虚拟图像，因为我们通常缺乏每像素的三维信息。不是像前两种情况那样生成密集的虚拟图像，一些实施例而是可以用先前估计的三维信息(即，真实图像中的所有的特征点)来生成集中于像素地点的稀疏的虚拟图像。该生成处理可以通过如下说明的使用平面诱导的单应性的、基于图像的变形来进行。假定特征点的对应的地标从局部来说是小平面(nw，dw)，其中，nw是该平面在世界坐标系中的法线方向，并且dw是世界原点到该平面的距离。如果该特征点先前在世界中的姿势是的真实帧中被观测到(其中，Rr和tr分别是真实相机的三维旋转矩阵和平移矢量)，并且给定的虚拟视点的姿势是/>(其中，Rv和tv分别是虚拟相机的三维旋转矩阵和平移矢量)，则从多视图几何理论来说，通过观测同一局部平面而诱导的真实帧和虚拟帧之间的单应性矩阵可以被发现为：
其中，并且Kv和Kr分别是3×3虚拟相机固有矩阵和真实相机具有矩阵。
该单应性矩阵可以用于将该特征点及其相邻像素作为真实帧上的小块(patch)变形为虚拟帧上的小块。该变形的小块表示如果真实相机从虚拟姿势Tv观测对应的地标、则预计会观测到什么。通过对真实帧上的每个特征点重复该变形操作，具有稀疏特征的虚拟帧就被生成。
图13示出根据一些实施例的针对三维模型602中的虚拟视点集合630生成的示例性虚拟图像631的例示说明。在该例子中，场景中的物体(例如，建筑物和房子)的几何结构在虚拟图像中没有畸变，因为虚拟图像是经由三维模型生成的。
图像特征提取模块308提取图像特征。例如，在图像中检测到拐角点，然后计算每个拐角点的局部特征(例如，SIFT、SURF等)。
参考数据生成模块309将(在模块308中提取的)每个图像特征与三维模型中的三维位置相对应。一对图像特征和对应的三维位置被定义为参考数据。
图14示出根据一些实施例的参考数据生成的数据流的示意图。图像特征提取模块308针对原始捕捉的图像集合601和虚拟图像集合631提取图像特征650。此时，每个图像二维位置与三维模型中的三维位置相对应。结果，多对图像特征和三维位置被生成为参考数据651。参考数据记忆模块310记忆参考数据。
用户输出模块311以易于理解的方式向用户显示学习模式的中间信息和结果信息。例如，三维模型的简化的鸟眼视图被显示给用户，在该视图中，起始地点、目标停车空间和在学习模式下采取的停车路径被可视化。
图15示出根据一个实施例的自动停车模式下所用的功能模块的框图。图像捕捉模块301和图像特征提取模块308与学习模式下的那些模块是相同的。然而，在自动停车模式下，图像捕捉模块301直接将图像集合(例如，每帧四个图像)输出到图像特征提取模块308。
参考数据匹配模块312将输入图像特征与在学习模式下生成的参考数据中的图像特征进行匹配。基于匹配结果，每个参考数据按照图像特征相似性得分进行排序，并且选择前N个参考数据(N是固定数，并且是预先定义的)。特征矢量之间的欧式距离是相似性测度的一个例子。在匹配之后，三维位置基于匹配的参考数据的三维点对应于每个图像特征。
图16示出根据一个实施例的特征匹配处理的数据流。首先，基于图像特征相似性将输入图像集合660的图像特征与参考数据651进行匹配。然后，将匹配的参考数据的三维位置与每个输入图像特征相对应。作为结果，匹配结果集合661被生成。
车辆定位模块313根据从模块312输出的匹配结果计算车辆的当前状态，即，当前帧中的三维模型中的车辆的位置和朝向。因为二维图像特征和三维模型中的三维位置之间的对应此时是已知的，所以可以使用被称为透视n点算法的一类算法来计算每个相机的三维位置和朝向。而且，因为每个相机被校准到车辆坐标系(关系是已知的)，所以也可以通过每个相机的三维位置和朝向来计算车辆的三维位置和朝向，也就是说，车辆可以在三维模型中被定位。
路径规划模块314基于定位结果计算用于从当前车辆地点停车到目标停车空间的路径。车辆控制模块315控制车辆以使得车辆沿着在路径规划模块314中计算的路径移动。
图17和图18示出一些实施例分别在学习模式和自动停车模式下所用的功能模块的框图。在该实施例中，参考数据是在自动停车模式下、而不是在学习模式下生成的。
在学习模式下，三维模型记忆模块801记忆三维模型，并且图像特征记忆模块802记忆图像特征集合。在自动停车模式下，参考数据生成模块310从在学习模式下记忆的三维模型和图像特征来生成参考数据。
图19例示说明不同的实施例在学***面拟合的道路场景分割或基于纹理、颜色和梯度的道路区域检测)来检测三维模型中的用于驾驶(停车)的自由空间(道路区域)。另外，模块320还通过机器学习技术来检测特定的静态物体，诸如建筑物、房子或路标。
虚拟观测点确定模块306在自由空间上以及随机地或规律地在模块320中检测到的特定的物体的周围设置虚拟车辆原点和坐标系。然后根据虚拟车辆坐标系来确定虚拟观测点。
该实施例使得能够更高效地设置虚拟观测点。如果所述***在自由空间上密集地且均匀地设置虚拟观测点，则我们可以生成可能具有与自动停车模式下的输入图像的外观和图像特征更相似的外观和图像特征的虚拟图像，因为所有的输入图像都总是被捕捉于自由空间上的某处。而且，通过在所述特定的物体周围设置虚拟观测点，实施例可以生成密集的图像特征。作为结果，该实施例使自动停车更稳定且更鲁棒。
图20示出在学习模式下所用的功能模块的另一个框图。用户输入模块330接收驾驶者的输入，并且将它们输出到虚拟观测点确定模块306。在该实施例中，虚拟观测点确定模块306基于用户(驾驶者)输入来确定虚拟视点。
用户输入模块330提供使得驾驶者能够直观地指定三维模型中的虚拟观测点的源信息的接口功能，而用户输出模块311在接口装置上以易于理解的方式显示三维模型和分析的结果(在三维模型分析模块320中检测到的自由空间和特定的静态物体)以使得驾驶者可以直观地理解周围环境。
例如，让我们假设触摸板显示器作为接口装置。用户输出模块311显示三维模型的顶视图，在该顶视图中，自由空间和物体在面板上与它们的标记一并被表示出来。然后，驾驶者通过触摸操作在显示的地图上指定用于虚拟观测的期望的点，而用户输入模块330接收驾驶者的输入。用户输入模块330将点数据输出到虚拟观测点确定模块306。
图21示出根据一个实施例的用于选择停车的方向的示例性界面。在该图中，目标停车空间402、物体(建筑物和房子)403和404、自由空间(道路区域)405、在学习模式下采取的停车路径406以及指定的虚拟观测点407被可视化在三维模型的鸟眼视图401中。在该例子中，指定的虚拟观测点407以相机形状的图标的形式被可视化以辅助驾驶者的直观操作。
图22示出根据一个实施例的用于选择停车的方向的另一个界面。在该例子中，驾驶者可以通过在鸟眼地图上绘制期望的停车路径来指定虚拟观测点。
停车408的期望停车路径或方向被可视化在该图中的鸟眼地图401中。用户输入模块330将驾驶者的输入以路径的形式输出到虚拟观测点确定模块306，并且虚拟观测点确定模块306通过将线性路径信息转换为离散点序列信息来生成虚拟观测点以及指定的路径。该实施例提高了自动停车***的可用性。也就是说，驾驶者可以更容易地且直观地使用自动停车***来满足驾驶者的需求。
图23A示出实施例所用的用于选择第一停车路径外部的视点的方法的框图。在那些实施例中，所述方法响应于在显示装置上渲染2310停车空间的模型的表示，接收2320停车的方向的选择。该选择用于确定2330从选择的方向接近目标状态的第二停车路径。例如，根据所述方向来选择车辆的状态，并且使用车辆的模型来确定第二停车路径。在第二路径被确定之后，在第二停车路径上选择2340虚拟视点集合。
图23B示出一个实施例所用的用于选择第一停车路径外部的视点的替代方法的框图。在该实施例中，视点是在没有来自用户的输入的情况下被选择的。具体地说，该实施例检测2350停车空间的没有障碍物的部分。例如，如关于图19所描述的，可以使用停车空间的模型的分割来确定停车空间的没有障碍物的部分。
实施例对停车空间的所述部分进行采样2360以产生被采样状态集合，并且从被采样状态集合选择视点集合。在一个实施例中，所有的被采样状态都被用作虚拟视点。一些替代实施例使用可到达性准则来执行采样。根据可到达性准则，状态空间中的采样只有在该采样可以从目标状态到达时才被保留。在一个实施例中，为了避免使用车辆的动态来测试可到达性，可到达性被定义为不可到达性的不存在，并且不可到达性是车辆侧面附近的预定区域。
图23C示出处于定义车辆的位置和朝向的状态2391的车辆101的示例性不可达区域2393和2397的示意图。在该例子中，不可达区域用从状态2391开始并且在车辆的轮子向左或向右到达最大程度的情况下以预定速度移动的车辆运动的圆圈来表示。如果目标状态2390在不可达区域2393和2397内，则状态2391被拒绝。为此，该实施例使用车辆的模型来测试2370从被采样状态到目标状态的可到达性，并且如果目标状态可以从被采样状态到达，则将与被采样状态相对应的视点选择2380到视点集合中。
在各种实施例中，预先或实时地执行路径规划。例如，预先路径规划可以预先确定从不同方向通向目标状态的不同的停车路径。在这些情形下，方向408使得可以从预定的停车路径选择第二停车路径。另外，或可替代地，在一些实现中，如方向408所指示的那样对停车空间的自由空间进行采样，并且使用车辆的被采样状态来确定替代的停车路径，诸如第二停车路径。
图24示出车辆101通过停车空间的可能的停车路径的示例性示意图。在该例子中，相机仅在被描绘为星形的与视点集合相对应的状态{X0,X1,X2,…XM-1,XM}获取图像。这些状态被用作生长图形2410的种子。图形2410具有与边连接的多个节点。每个节点定义车辆的状态，连接两个节点的每个边定义两个节点之间的可行路径。为此，从任何节点通过连接该节点与目标状态的目标节点195的边、到达该目标节点的路径是可能的停车路径。
图形的节点被选择作为用于确定虚拟图像的虚拟视点。来自与使用圆圈和星形描绘的节点(诸如节点191、192、193、194、195)相对应的虚拟图像的特征被用作参考数据。在自动停车阶段期间，如果车辆的当前位置靠近节点中的至少一个，则从该节点到目标状态195的路径可以容易地从图形2410选择。
可以使用车辆的模型(例如，动态和/或运动学模型)来生成图形2410。如本文中所使用的，车辆的动态模型考虑了车辆的状态的时间相关的变化。动态模型通常用微分方程来表示。在一个实施例中，车辆的动态模型是五阶微分方程
其中，v是前轮的速度，ζ是前轮和车辆朝向之间的角度，a1是平移加速度，a2是转向角速度，l是(x,y)和前轮的中点之间的距离。
对于路径规划，一些实施例使用车辆的运动学模型，该模型不考虑车辆的质量或引起运动的力而描述车辆的运动。
在一个实施例中，考虑以下运动学模型
其中，u1＝cos(ζ)v是后轮轴的中点的速度，u2＝tan(ζ)u1/l。
如果一个路径是运动学模型(2)的解，则该路径在运动学上是可行的。车辆状态X＝(x,y,θ)只有在位于位置X处的车辆不与任何障碍物碰撞并且完全位于停车空间的边界的内部时才是无碰撞的。初始状态101被简称为X0＝(x0,y0,θ0)，并且目标状态102用Xf＝(xf,yf,θf)来表示。对于具有用矩形L×H表示的停车空间的特定的停车任务，车辆状态总是属于状态空间χ:[0，L)×[0，H)×[0，2π)。
图25A示出根据一个实施例的自动停车***的功能图。环境地图构建和定位块201构造或更新停车空间的模型，并且通过感测环境和车辆操作状况来确定车辆的当前地点。例如，地图构建和定位块201可以包括定位块313。例如，地图构建和定位块201还可以包括惯性测量单元(可以包括(一个或多个)3轴加速计、(一个或多个)3轴陀螺仪和/或(一个或多个)磁强计)，可以用于感测车辆操作。全球定位***传感器可以用于提供车辆的位置和速度。感测环境200的传感器可以是捕捉障碍物(包括其它车辆、行人和建筑物)的摄像机、检测车辆和障碍物之间的距离的超声/雷达传感器。
目标状态选择块202通过识别停车场候选来选择停放车辆的停车位置的目标状态，并且将目标状态发送到运动规划块203。在一个实施例中，与车库的管理相关联的单独的***跟踪可用的停车位置。另外，或可替代地，可以使用自动停车***的传感器121、124来检测停车位置。运动规划203基于车辆模型210、车辆的初始状态和目标状态以及停车空间的地图来发起完整运动规划进程以确定停车路径241。在一个实施例中，停车路径定义车辆速度和转向角随着时间的分布。在另一个实施例中，停车路径定义车辆状态(x,y,θ)随着时间的分布。
给定停车路径241，车辆控制器和致动器204确定并且运用控制命令来强制车辆状态跟踪停车路径241(如果停车路径是状态分布)、或者强制车辆速度和转向角跟踪停车路径(如果停车路径是车辆速度和转向角分布)。在一个实施例中，所述控制命令可以是油门压力或转向扭矩。车辆控制器/致动器还可以使用信号243来确定控制命令。信号243可以是测得的转向角、或移动转向轮或油门的电机的测得的电流。
图25B示出根据一个实施例的运动规划***203的整体结构。运动规划***203包括用于执行运动规划***203的模块的至少一个处理器270。处理器270连接271到存储器280，存储器280存储几何信息281，诸如车辆的几何形状和停车空间的模型。存储器280还可以存储车辆的模型282，诸如车辆的运动学模型和车辆的动态模型。存储器280还可以存储运动规划器的内部信息283，包括但不限于，车辆的初始状态、被停放的车辆的目标状态。在一些实施例中，存储器280可以包括所存储的实现自动停车的方法的指令，其中，所述指令在被处理器270执行时实现所述方法的至少一些步骤。
一些实施例是基于虚拟图像可以进一步用于提高停车空间的模型的密度和准确度的认识。例如，一些实施例使用视觉同时定位和地图构建(SLAM)，SLAM使用图像作为视觉传感器数据输入来重构场景的三维(3D)模型。一些实施例为了提供适合于用数量减少的用于跟踪传感器的姿势的图像来构造场景的三维模型的视觉SLAM(VSLAM)，使用为自动停车而生成的虚拟图像。这样的VSLAM在本文中被称为虚拟增强VSLAM(VA-VSLAM)。VA-VSLAM可以比常规的VSLAM用数量更少的图像来构造场景的相似的模型，或者可替代地用相同数量的图像来构造场景的更好的模型。为此，使用数量更少的图像，VA-VSLAM可以使计算能力和存储器使用降低，并且可以使传感器跟随的轨迹简化来构建环境的地图。可替代地，使用相同数量的图像，VA-VSLAM可以生成准确度更高的三维模型，致使使用该三维模型的自定位准确度更高。
图26A示出根据一些实施例的VA-VSLAM框架2600的框图，VA-VSLAM框架2600利用VSLAM 2610来既估计一个或多个相机的六维姿势(位置和朝向)、又估计几何周围环境的三维描述。VA-VSLAM框架通过将相机和/或传感器从一些真实的观测姿势捕捉的当前观测到的真实图像上的特征集合与在虚拟相机从一些虚拟观测姿势观测到的虚拟生成的图像上的特征集合进行匹配来工作。所述方法的步骤可以由连接到存储图像集合的存储器(诸如存储器164)并且与所存储的指令(诸如实现所述方法的软件165)耦合的处理器(诸如通用处理器161和/或专用处理器166、167和168)执行。所述指令在被处理器执行时实现VA-VSLAM框架2600的方法的至少一些步骤。
VA-VSLAM框架2610如下工作。一些特征提取器对真实帧集合(图像的)进行处理以在图像的每个帧/>上选择特征集合/>帧/>可以包括具有一个通道的灰色信息或三个通道的RGB信息的常规的二维图像和/或具有四个通道的RGBD信息的三维图像，其中，第四通道描述像素的深度，即，沿着相机的观测方向的、相机中心和沿着该像素的光线方向的最近的物体之间的距离。确定像素的光线方向的处理被称为该像素的反向投影，并且可以通过使用相机的固有参数来执行。例如，特征fj i可以要么是二维点(如果帧/>是二维图像)，要么是三维点(如果帧/>是三维图像)，只要该特征在几何形状上或者在外观上显著不同于其邻域即可。特征提取器的例子包括Harris、FAST或ORB关键点检测器。
然后，将该特征集合fi与另一个特征集合f′进行匹配以找到对应的特征对{(j，j′)}，以使得特征和特征f′j′对应于场景中的同一物理区域(被称为地标或兴趣点)。这样的匹配可以通过各种特征描述方法来进行，诸如定位兴趣点并且生成它们的描述的标量不变特征变换(SIFT，Scale Invariant Feature Transform)、加速鲁棒性特征(SURF，SpeedUp Robust Feature)、梯度地点-朝向直方图(GLOH，Gradient Location-Orientationhistogram)、ORB、或其它的可比的技术和/或基于采样的方法(诸如RANSAC)。
通过使用对应的特征对，视觉SLAM 2610可以根据特征集合f′如何被构造，相对于先前观测的一个帧或包含所有的先前观测的帧的地图2640/>来跟踪该帧/>的姿势2620。跟踪的姿势和特征对应被发送到捆绑调整2630以找出用于进一步更新地图2640的帧的最佳的6-DOF姿势以及特征的三维几何描述。
给定描绘来自不同视点的若干个三维点的图像集合，捆绑调整2630可以被定义为根据涉及所有点的对应的图像投影的最优性准则来同时解决改善描述场景几何形状的三维坐标、相机的相对运动的参数、以及用于获取图像的(一个或多个)相机的光学特性中的一个或它们的组合的问题。
在一个实施例中，捆绑调整包括使观测的和预测的图像点的图像地点之间的再投影误差最小化，该误差被表达为大量非线性的实值函数的平方和。因此，使用非线性最小二乘法来实现最小化。例如，一个实施例使用Levenberg-Marquardt优化，因为它易于实现，并且使用有效的阻尼策略，这使它能够从宽范围的初始猜测快速地收敛。通过迭代地线性化所述函数以使其在当前估计的附近最小化，Levenberg-Marquardt法涉及被称为正规方程的线性系的求解。当求解捆绑调整的框架中出现的最小化问题时，由于用于不同的三维点和相机的参数之间缺少相互作用，所以正规方程具有稀疏的块结构。这可以被用来通过采用Levenberg-Marquardt法的稀疏变体来获得计算收益，所述稀疏变体显式地利用正规方程零模式，避免了存储零元素和对零元素进行操作。
一些实施例的VA-VSLAM旨在减少为构造场景2640的三维地图或三维模型而获取的图像2615的数量。为此，一些实施例是基于需要从相对较远的视点获取图像2615的认识。以这样的方式，可以使用较少的图像来捕捉场景的错综复杂的部分。然而，这样的方法造成起因于姿势跟踪2620的长基线匹配问题。具体地说，从两个间隔开的视点观测到的地标可能被VSLAM匹配处理遗漏，因为从不同视点看到的同一地标的外观可能显著改变。
为此，VA-VSLAM框架2600包括虚拟图像生成器2650以应用虚拟帧或图像2655的概念来解决上述限制。VA-VSLAM显式地将在真实图像上观测到的特征变换为虚拟观测到的图像，而不是仅仅依赖于现有的特征匹配方法的有限的视点不变性。
虚拟帧生成器2650对图像2615进行变换以产生从虚拟视点看到的场景的虚拟图像{vi}2655。这些虚拟图像然后被提交到视觉SLAM2610以提取虚拟特征来帮助姿势***改进定位鲁棒性和准确性并且将SLAM地图扩增为/>/>
图26B示出根据一些实施例的使用虚拟图像来解决长基线匹配问题的示意图的例子。在该例子中，图像2660、2760和2690是具有不同姿势的传感器获取的真实图像，即，图像2660、2670和2690具有不同的视点。图像2680是具有虚拟视点的虚拟图像。图像2660和2670的视点彼此相对较近。为此，图像2660和2670包括与场景中的同一特征相对应的地标2665和2675，即，地标2665和2675的像素对应于场景中的同一点P，并且具有类似的几何形状和/或外观。通过使用三角测量或任何其它合适的计算技术，可以计算场景中的点P的坐标2625。然而，当只有两个图像用于确定点P的坐标时，这样的坐标可能是不准确的。
图像2690还包括地标2695，地标2695表示场景中与地标2665和2675相同的点P。然而，图像2690的视点如此不同于图像2660和2670的视点以至于地标2695具有不同的外观并且不能与地标2665和2675匹配。然而，虚拟图像2680的视点更靠近图像2690的视点，并且对应于与地标2665和2675相同的点P的地标2685具有更类似于地标2695的外观，并且可以与地标2695匹配。以这样的方式，一些实施例可以确定地标2665、2675和2695对应于场景中的同一点P。为此，图像2690的姿势可以用于将点P的坐标更新为点P’的坐标2635。以这样的方式，虚拟图像的使用提高了场景的模型的准确性。
类似地，图像2670包括与场景中的点Q相对应的地标2677。图像2690还包括表示场景中与地标2677相同的点Q的地标2697。然而，图像2690的视点如此不同于图像2670的视点以至于地标2697具有不同的外观并且不能与地标2677匹配。为此，点Q的坐标是未知的，并且点Q不能被添加到场景的模型中。
然而，虚拟图像2680的视点更靠近图像2690的视点，并且对应于与地标2677相同的点Q的地标2687具有更类似于地标2697的外观，并且可以与地标2697匹配。以这样的方式，一些实施例可以确定地标2677和2697对应于场景中的同一点Q。为此，图像2690的姿势可以用于确定点Q的坐标2645，并且点Q可以被添加到场景的模型中。以这样的方式，虚拟图像的使用，用比不使用虚拟图像将会需要的图像少的图像提高了场景的模型的密度。
图27示出根据一些实施例的用于使用虚拟图像来重构停车空间的三维模型的方法的框图。所述方法对图像集合2710中的图像进行变换2720以产生从虚拟视点看到的场景的虚拟图像集合2725。集合2710和2725的大小可以是相同的或不同的。在一个实施例中，虚拟图像是当集合2710中的真实图像无法彼此匹配时根据需要生成的。另外地或可替代地，虚拟图像可以主动生成。
接着，所述方法比较2730来自图像2710和虚拟图像2725的至少一些特征以确定图像集合中的每个图像的视点2735，并且根据至少两个图像的视点，更新2740场景的模型2745中的至少一个点的三维坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。例如，因为来自不同图像2710的不同像素彼此匹配，所以一些实施例可以使用立体三角测量和/或片光三角测量来确定场景的深度。
本发明的上述实施例可以以许多方式中的任何方式实现。例如，实施例可以使用硬件、软件或它们的组合来实现。当用软件实现时，软件代码可以在任何合适的处理器或一组处理器(不管是设置在单个计算机中，还是分布在多个计算机之间)上执行。这样的处理器可以被实现为集成电路，其中一个或多个处理器在集成电路组件中。不过，处理器可以使用任何合适规格的电路来实现。
此外，本发明的实施例可以体现为其例子已经被提供的方法。被作为所述方法的一部分执行的动作可以以任何合适的方式排序。因此，可以构造其中按不同于例示说明的次序执行的动作(这可以包括同时执行一些动作，即使这些动作在说明性实施例中被示为是顺序的动作)的实施例。
在权利要求中用来修饰权利要求元素的诸如“第一”、“第二”的序数术语的使用本身并不暗示一个权利要求元素相对于另一个权利要求元素的任何优先、优先级或次序，或者方法的动作被执行的时间次序，而是仅仅用作区分具有某个名称的权利要求元素和具有相同名称(序数术语的使用除外)的另一个元素的标记以区分权利要求元素。

Claims (18)

1.一种用于在停车空间内停放车辆的方法，其中，所述方法使用可操作地连接到存储器的处理器、至少一个传感器和用于控制所述车辆的运动的控制器，所述至少一个传感器用于获取指示包括所述停车空间的所述停车空间的周围环境的至少一部分的图像，其中，所述处理器与所存储的实现所述方法的指令耦合，其中，所述指令在被所述处理器执行时实现所述方法的至少一些步骤，所述方法包括：
控制由所述车辆的位置和朝向定义的车辆的状态，根据以作为所述车辆停车时的状态的目标状态结束的第一停车路径来控制所述车辆的运动；
在所述车辆沿着第一停车路径运动期间获取所述停车空间的周围环境的图像集合，以使得所述图像集合中的每个图像是从由所述车辆沿着第一停车路径的状态定义的视点获取的；
使用所述图像集合来构造所述停车空间的周围环境的3D模型；
选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义所述车辆在第一停车路径外部的状态的至少一个虚拟视点；
使用所述停车空间的所述3D模型来生成从所述虚拟视点集合看到的所述停车空间的周围环境的虚拟图像集合；
通过将在所述车辆处于当前状态时所述传感器获取的所述停车空间的周围环境的当前图像与至少一个虚拟图像进行比较来确定所述车辆的当前状态；
确定作为所述车辆的状态从所述当前状态到所述目标状态的路径的第二停车路径；以及
根据第二停车路径来控制所述车辆的运动，
所述虚拟视点是从根据所述车辆沿着所述第一停车路径停车期间由所述传感器预先取得的图像生成的所述3D模型内选择的。
2.根据权利要求1所述的方法，其中，选择所述虚拟视点包括：
在显示装置上渲染包括所述停车的方向的所述停车空间的所述3D模型的表示；
响应于所述渲染，接收所述停车的方向的选择；
确定从选择的方向接近所述目标状态的所述第二停车路径；以及
确定所述第二停车路径上的所述虚拟视点集合。
3.根据权利要求2所述的方法，其中，所述停车空间的所述3D模型的表示是所述停车空间的顶视图图像。
4.根据权利要求1所述的方法，其中，选择所述虚拟视点包括：
使用所述停车空间的所述3D模型的分割来检测所述停车空间的没有障碍物的部分；
对所述停车空间的所述部分进行空间采样，在被采样的各部分中产生随机地或规律地被采样的车辆的状态集合；以及
从所述车辆的状态集合选择所述虚拟视点集合。
5.根据权利要求1所述的方法，选择所述虚拟视点进一步包括：
使用所述停车空间的所述3D模型的分割来检测所述停车空间的没有障碍物的部分；
对所述停车空间的所述部分进行空间采样，在被采样的各部分中产生随机地或规律地被采样的车辆的状态集合；
使用存储在所述存储器中的所述车辆的模型来测试从被采样的车辆的状态到所述目标状态的可到达性；以及
如果所述目标状态能够从所述被采样的车辆的状态到达，则将与所述被采样的车辆的状态相对应的虚拟视点添加到所述虚拟视点集合中。
6.根据权利要求1所述的方法，进一步包括：
从与所述虚拟视点集合相对应的种子集合生长具有与边连接的多个节点的图形，每个节点定义所述车辆的状态，并且连接两个节点的每个边在所述两个节点之间定义作为与障碍物无碰撞的路径的无碰撞路径；以及
选择所述虚拟视点集合来与所述图形的至少一些节点对应。
7.根据权利要求6所述的方法，生长所述图形进一步包括：
对所述停车空间的车辆的状态空间中的状态进行采样以产生被采样的车辆的状态；
确定所述图形的具有与被采样的状态最近的状态的最近节点；以及
将用于所述被采样的状态的节点添加到所述图形，并且如果边是没有碰撞的则经由边将添加的节点与所述最近节点连接。
8.根据权利要求6所述的方法，进一步包括：
在显示装置上渲染包括所述停车的方向的所述停车空间的所述3D模型的表示；
响应于所述渲染，接收所述停车的方向的选择；
确定从选择的方向通过所述图形的至少一些节点和边而接近目标状态的所述第二停车路径；以及
确定所述第二停车路径上的所述虚拟视点集合。
9.根据权利要求1所述的方法，其中，所述虚拟图像是使用以下操作中的一个或组合产生的：使所述图像集合中的至少一个图像变形、将场景的所述模型投影到所述虚拟视点、以及平面诱导的单应性。
10.根据权利要求1所述的方法，进一步包括：
比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及
更新所述停车空间的所述3D模型中的至少一个点的三维坐标，根据至少两个图像的视点，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。
11.根据权利要求10所述的方法，其中，所述图像集合包括所述传感器以定义第一视点的第一姿势看到的场景的第一图像，并且包括所述传感器以定义第二视点的第二姿势看到的场景的第二图像，所述方法包括：
对第一图像进行变换以生成与不同于第一视点的虚拟视点相对应的第一虚拟图像，其中，所述变换保留第一图像和所述虚拟图像的至少一些像素之间的对应以表示所述场景的相同的点；
将第二图像的至少一些特征与所述虚拟图像的至少一些特征进行比较以确定第二图像、所述虚拟图像和第一图像的至少一些像素之间的对应；
基于来自第二图像的像素的子集的坐标和与来自第一图像的像素的子集相对应的所述场景的点的坐标，使用来自第一图像和第二图像的对应的像素的子集，确定相对于第一图像的第一视点的第二图像的第二视点；以及
使用第一图像和第二图像中的对应的像素的捆绑调整来更新所述停车空间的所述3D模型中的点的三维坐标。
12.一种用于在停车空间内停放车辆的***，包括：
至少一个传感器，用于感测指示包括所述停车空间的所述停车空间的周围环境的至少一部分的信息；
控制器，用于控制由所述车辆的位置和朝向定义的车辆的状态，根据不同的轨迹来控制所述车辆的运动，所述不同的轨迹包括以作为所述车辆停车时的状态的目标状态结束的第一停车路径和第二停车路径；以及
至少一个处理器，被配置用于：
在所述车辆沿着第一停车路径运动期间获取所述停车空间的周围环境的图像集合，以使得所述图像集合中的每个图像是从由所述车辆沿着第一停车路径的状态定义的视点获取的；
使用所述图像集合来构造包括所述停车空间的所述停车空间的周围环境的3D模型；
选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义所述车辆在第一停车路径外部的状态的至少一个虚拟视点；
使用所述停车空间的3D模型来生成从所述虚拟视点集合看到的所述停车空间的周围环境的虚拟图像集合；
通过将在所述车辆处于当前状态时所述传感器获取的所述停车空间的周围环境的当前图像与至少一个虚拟图像进行比较来确定所述车辆的当前状态；以及
使用所述车辆的模型来确定作为所述车辆的状态从所述当前状态到所述目标状态的路径的所述第二停车路径，
其中，所述处理器被进一步配置用于从根据所述车辆沿着所述第一停车路径停车期间由所述传感器预先取得的图像生成的所述3D模型内选择所述虚拟视点。
13.根据权利要求12所述的***，进一步包括：
显示装置，所述显示装置用于渲染包括所述停车的方向的所述停车空间的所述3D模型的表示，并且用于接收所述停车的方向的选择，其中，所述处理器被进一步配置用于：确定从选择的方向接近所述目标状态的所述第二停车路径；以及确定所述第二停车路径上的所述虚拟视点集合。
14.根据权利要求13所述的***，其中，所述停车空间的所述3D模型的表示是所述停车空间的顶视图图像。
15.根据权利要求13所述的***，其中，所述处理器被配置用于：
从与所述视点集合相对应的种子集合生长具有与边连接的多个节点的图形，每个节点定义所述车辆的状态，并且连接两个节点的每个边在所述两个节点之间定义作为与障碍物无碰撞的路径的无碰撞路径；
确定从选择的方向通过所述图形的至少一些节点和边而接近目标状态的所述第二停车路径；以及
确定所述第二停车路径上的所述虚拟视点集合。
16.根据权利要求12所述的***，其中，所述虚拟图像是使用以下操作中的一个或组合产生的：使所述图像集合中的至少一个图像变形、将所述停车空间的所述3D模型投影到所述虚拟视点、以及平面诱导的单应性。
17.根据权利要求12所述的***，其中，所述处理器被配置用于：
比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；以及
更新所述停车空间的所述3D模型中的至少一个点的三维坐标，根据至少两个图像的视点，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。
18.一种非暂时性计算机可读存储介质，其上包含处理器可执行的程序，用于执行用于在停车空间内停放车辆的方法，所述方法包括：
控制由车辆的位置和朝向定义的车辆的状态，根据以作为所述车辆停车时的状态的目标状态结束的第一停车路径来控制所述车辆的运动；
在所述车辆沿着第一停车路径运动期间获取包括所述停车空间的所述停车空间的周围环境的图像集合，以使得所述图像集合中的每个图像是从由所述车辆沿着第一停车路径的状态定义的视点获取的；
使用所述图像集合来构造包括所述停车空间的所述停车空间的周围环境的3D模型；
选择第一停车路径外部的虚拟视点集合，所述虚拟视点集合包括定义所述车辆在第一停车路径外部的状态的至少一个虚拟视点；
使用所述停车空间的3D模型来生成从所述虚拟视点集合看到的所述停车空间的周围环境的虚拟图像集合；
通过将在所述车辆处于当前状态时传感器获取的所述停车空间的周围环境的当前图像与至少一个虚拟图像进行比较来确定所述车辆的当前状态；
确定作为所述车辆的状态从所述当前状态到所述目标状态的路径的第二停车路径；以及
根据第二停车路径来控制所述车辆的运动，
所述虚拟视点是从根据所述车辆沿着所述第一停车路径停车期间由所述传感器预先取得的图像生成的所述3D模型内选择的。
CN201880012528.7A 2017-02-28 2018-01-19 车辆自动停车***和方法 Active CN110312912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/444,583 2017-02-28
US15/444,583 US10268201B2 (en) 2017-02-28 2017-02-28 Vehicle automated parking system and method
PCT/JP2018/002602 WO2018159177A1 (en) 2017-02-28 2018-01-19 Vehicle automated parking system and method

Publications (2)

Publication Number Publication Date
CN110312912A CN110312912A (zh) 2019-10-08
CN110312912B true CN110312912B (zh) 2023-07-21

Family

ID=61258577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012528.7A Active CN110312912B (zh) 2017-02-28 2018-01-19 车辆自动停车***和方法

Country Status (5)

Country Link
US (1) US10268201B2 (zh)
JP (1) JP6896077B2 (zh)
CN (1) CN110312912B (zh)
DE (1) DE112018001056T5 (zh)
WO (1) WO2018159177A1 (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
US10606273B2 (en) * 2017-04-20 2020-03-31 Baidu Usa Llc System and method for trajectory re-planning of autonomous driving vehicles
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
EP3666599B1 (en) * 2017-08-10 2021-10-06 Nissan Motor Co., Ltd. Parking control method and parking control device
JP6504578B2 (ja) * 2017-09-05 2019-04-24 三菱電機株式会社 自動駐車装置
GB2567144B (en) * 2017-09-27 2019-11-13 Jaguar Land Rover Ltd Apparatus and method for localising a vehicle
US11062461B2 (en) * 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points
JP6984373B2 (ja) * 2017-12-07 2021-12-17 トヨタ自動車株式会社 駐車支援装置
US10652743B2 (en) 2017-12-21 2020-05-12 The Chamberlain Group, Inc. Security system for a moveable barrier operator
GB201802475D0 (en) * 2018-02-15 2018-04-04 Jaguar Land Rover Ltd Controller and vehicle
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
US11074773B1 (en) 2018-06-27 2021-07-27 The Chamberlain Group, Inc. Network-based control of movable barrier operators for autonomous vehicles
US11423717B2 (en) 2018-08-01 2022-08-23 The Chamberlain Group Llc Movable barrier operator and transmitter pairing over a network
US10967851B2 (en) * 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
JP7212486B2 (ja) * 2018-09-26 2023-01-25 フォルシアクラリオン・エレクトロニクス株式会社 位置推定装置
KR20200046156A (ko) * 2018-10-16 2020-05-07 주식회사 만도 차량 제어 시스템 및 차량 제어 방법
US11215462B2 (en) * 2018-10-26 2022-01-04 Here Global B.V. Method, apparatus, and system for location correction based on feature point correspondence
DE102018130745A1 (de) * 2018-12-03 2020-06-04 Sick Ag Verfahren zur Steuerung eines autonomen Fahrzeugs
KR102559686B1 (ko) * 2018-12-17 2023-07-27 현대자동차주식회사 차량 및 차량 영상 제어방법
JP7190919B2 (ja) 2019-01-25 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像解析システム
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及***
US11353878B2 (en) * 2019-03-26 2022-06-07 Baidu Usa Llc Soft-boundary based path optimization for complex scenes for autonomous driving vehicles
JP7135977B2 (ja) * 2019-03-29 2022-09-13 マツダ株式会社 車両用演算装置
US11220856B2 (en) 2019-04-03 2022-01-11 The Chamberlain Group Llc Movable barrier operator enhancement device and method
CN111791801B (zh) * 2019-04-04 2023-09-26 中科创达(重庆)汽车科技有限公司 实时校准动态倒车辅助线显示位置的方法、装置及电子设备
US11485353B2 (en) * 2019-04-30 2022-11-01 Baidu Usa Llc Segmenting a parking trajectory to control an autonomous driving vehicle to park
US10997810B2 (en) 2019-05-16 2021-05-04 The Chamberlain Group, Inc. In-vehicle transmitter training
CN110188689B (zh) * 2019-05-30 2022-11-29 重庆大学 基于真实场景建模的虚拟驾驶目标碰撞检测方法
CN110503597B (zh) * 2019-07-09 2023-05-16 浙江浩腾电子科技股份有限公司 一种基于2d结构模型的车辆视点规范化方法
DE102019211681B4 (de) * 2019-08-05 2021-07-15 Volkswagen Aktiengesellschaft Verfahren eines Fahrzeugs zum automatisierten Parken
CN114341921A (zh) * 2019-08-29 2022-04-12 日产自动车株式会社 停车辅助方法及停车辅助装置
CN112447058B (zh) * 2019-09-03 2022-09-06 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
DE102019214256B3 (de) * 2019-09-19 2021-03-18 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung von Parkvorgängen von Fahrzeugen, Parkassistenzvorrichtung für eine Verwendung mit einem Fahrzeug, Steuer- und Rechenvorrichtung, Fahrzeug
JP7160014B2 (ja) * 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
JP7256463B2 (ja) 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP7226235B2 (ja) * 2019-10-11 2023-02-21 トヨタ自動車株式会社 車両駐車支援装置
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
CN110794970B (zh) * 2019-11-07 2023-08-25 广州小鹏汽车科技有限公司 一种自动泊车界面的三维显示方法、***及车辆
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
US11904843B2 (en) 2019-12-18 2024-02-20 Moovita Pte Ltd Autonomous parking systems and methods for vehicles
CN111428616B (zh) * 2020-03-20 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种车位检测方法、装置、设备及存储介质
CN111397623A (zh) * 2020-03-27 2020-07-10 湖南大学 一种基于最佳泊车起始点的路径规划方法
GB2594249B (en) 2020-04-20 2024-05-29 Continental Autonomous Mobility Germany GmbH Method for creating a virtual environment reconstruction of an actual location
DE102020111659A1 (de) 2020-04-29 2021-11-04 Car.Software Estonia As Verfahren, System und Computerprogrammprodukt zur Bestimmung der Pose einer mobilen Einheit
CN111723659B (zh) * 2020-05-14 2024-01-09 上海欧菲智能车联科技有限公司 泊车位确定方法、装置、计算机设备和存储介质
CN111915672B (zh) * 2020-07-20 2022-08-16 中国汽车技术研究中心有限公司 一种基于3d虚拟驾驶场景的目标标注方法及设备
JP2022114526A (ja) * 2021-01-27 2022-08-08 トヨタ自動車株式会社 駐車支援装置
JPWO2022195314A1 (zh) * 2021-03-15 2022-09-22
CN113071478A (zh) * 2021-04-28 2021-07-06 中国第一汽车股份有限公司 一种自动泊车控制方法、自动泊车***及车辆
KR102529835B1 (ko) * 2021-05-14 2023-05-08 주식회사 넥스트칩 차량의 운행 정보와 관련된 그래픽 객체 출력 방법 및 장치
CN113525357B (zh) * 2021-08-25 2022-12-09 吉林大学 自动泊车决策模型优化***及方法
CN113753029B (zh) * 2021-08-27 2023-11-17 惠州华阳通用智慧车载***开发有限公司 一种基于光流法的自动泊车方法及***
US11794726B2 (en) * 2021-09-28 2023-10-24 Ford Global Technologies, Llc Systems and methods for virtual vehicle parking assistance background
DE102021212445A1 (de) 2021-11-04 2023-05-04 Continental Autonomous Mobility Germany GmbH Verfahren und System zum Festlegen der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems
CN114461061B (zh) * 2022-01-05 2023-12-15 东风柳州汽车有限公司 车辆展示方法、装置、设备及存储介质
WO2023175988A1 (ja) * 2022-03-18 2023-09-21 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び画像処理プログラム
CN114863096B (zh) * 2022-04-02 2024-04-16 合众新能源汽车股份有限公司 室内停车场的语义地图构建及定位方法和装置
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1065642A2 (en) * 1999-06-25 2001-01-03 Fujitsu Ten Limited Vehicle drive assist system
CN101976460A (zh) * 2010-10-18 2011-02-16 胡振程 车载多目摄像机环视***的虚拟视点图像生成方法
JP2012056534A (ja) * 2010-09-13 2012-03-22 Aisin Seiki Co Ltd 駐車支援装置
JP2013530867A (ja) * 2010-06-09 2013-08-01 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 駐車スペースへの駐車時における自動車運転者支援方法、運転者支援装置、および自動車
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车***及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737866B2 (en) 2007-09-27 2010-06-15 Automotive Research & Testing Center Auto-parking device
DE102007055391A1 (de) 2007-11-20 2009-05-28 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Bahnplanung beim Einparken eines Fahrzeugs
US8095273B2 (en) * 2009-10-14 2012-01-10 GM Global Technology Operations LLC Autonomous parking strategy of the vehicle with rear steer
JP5618139B2 (ja) 2010-09-21 2014-11-05 アイシン精機株式会社 駐車支援装置
US8862321B2 (en) 2012-08-15 2014-10-14 GM Global Technology Operations LLC Directing vehicle into feasible region for autonomous and semi-autonomous parking
KR102062923B1 (ko) * 2013-06-12 2020-01-06 현대모비스 주식회사 주차지원시스템
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1065642A2 (en) * 1999-06-25 2001-01-03 Fujitsu Ten Limited Vehicle drive assist system
JP2013530867A (ja) * 2010-06-09 2013-08-01 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 駐車スペースへの駐車時における自動車運転者支援方法、運転者支援装置、および自動車
JP2012056534A (ja) * 2010-09-13 2012-03-22 Aisin Seiki Co Ltd 駐車支援装置
CN101976460A (zh) * 2010-10-18 2011-02-16 胡振程 车载多目摄像机环视***的虚拟视点图像生成方法
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车***及方法

Also Published As

Publication number Publication date
WO2018159177A8 (en) 2019-07-25
WO2018159177A1 (en) 2018-09-07
JP6896077B2 (ja) 2021-06-30
JP2020500767A (ja) 2020-01-16
US20180246515A1 (en) 2018-08-30
US10268201B2 (en) 2019-04-23
DE112018001056T5 (de) 2019-11-07
CN110312912A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110312912B (zh) 车辆自动停车***和方法
US10096129B2 (en) Three-dimensional mapping of an environment
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的***和方法
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
JP4672190B2 (ja) 映像ナビゲーション装置
CN109887053A (zh) 一种slam地图拼接方法及***
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的***和方法
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
CN102087530A (zh) 基于手绘地图和路径的移动机器人视觉导航方法
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
JP2009169845A (ja) 自律移動ロボット及び地図更新方法
CN109443348A (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
Fiala et al. Visual odometry using 3-dimensional video input
JP2020064056A (ja) 位置推定装置及び方法
CN111263960A (zh) 更新用于自主驾驶的高清晰度地图的设备和方法
Tomažič et al. Fusion of visual odometry and inertial navigation system on a smartphone
Birk et al. Simultaneous localization and mapping (SLAM)
US10977810B2 (en) Camera motion estimation
Mostofi et al. Indoor localization and mapping using camera and inertial measurement unit (IMU)
Li-Chee-Ming et al. Augmenting visp’s 3d model-based tracker with rgb-d slam for 3d pose estimation in indoor environments
CN117649619B (zh) 无人机视觉导航定位回收方法、***、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant