CN106570451A - 在镜像或反射表面内的自主车辆的自识别 - Google Patents

在镜像或反射表面内的自主车辆的自识别 Download PDF

Info

Publication number
CN106570451A
CN106570451A CN201610866739.XA CN201610866739A CN106570451A CN 106570451 A CN106570451 A CN 106570451A CN 201610866739 A CN201610866739 A CN 201610866739A CN 106570451 A CN106570451 A CN 106570451A
Authority
CN
China
Prior art keywords
vehicle
image
autonomous
autonomous vehicle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610866739.XA
Other languages
English (en)
Inventor
布里勒·赖夫
玛德琳·J·吴
尼锡卡·锡瓦尚卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN106570451A publication Critical patent/CN106570451A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

用于自主车辆的控制器从一个或多个成像装置接收图像流。该控制器识别图像流中的车辆图像。车辆图像与自主车辆的颜色、形状、车标、标志、牌照和驾驶员比较。如果确定车辆图像与自主车辆匹配，那么车辆图像从潜在障碍物中被忽略。可以确定产生车辆图像的反射表面的位置并且反射表面的位置被增加到一组潜在障碍物内。可以首先评估车辆图像中的车辆的颜色和形状。只有在车辆图像中的颜色和形状与自主车辆匹配的情况下，才考虑其它因素，例如车标、标志、牌照和驾驶员。与自主车辆不匹配的车辆图像被包括在这组潜在障碍物内。

Description

在镜像或反射表面内的自主车辆的自识别
技术领域
本发明涉及在自主车辆内执行障碍物避让。
背景技术
自主车辆配备检测它们环境的传感器。算法评估传感器的输出并且识别障碍物。之后导航***可以使车辆转向、制动和加速以避让识别到的障碍物并且到达所需目的地。传感器可以包括如视频摄像机的成像***以及雷达或激光雷达传感器。
本发明公开的***和方法提供使用专用光学图像检测障碍物的改进方法。
发明内容
根据本发明，提供一种用于自主车辆的控制器，其包含：
一个或多个处理装置，处理装置被编程以--
从一个或多个成像装置接收一个或多个图像流；
识别一个或多个图像流中的多个车辆图像；以及
从一组潜在障碍物中排除与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以：
评估自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述自主车辆图像数据在超出阈值的确定性的情况下匹配的任何车辆图像之外的多个车辆图像的至少一部分；以及
致动自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以：
针对与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像的每个车辆图像，识别反射表面的位置，反射表面反射自主车辆的图像；以及
将反射表面增加到这组潜在障碍物内。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的牌照评估每个车辆图像中的牌照。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的驾驶员图像评估每个车辆图像中的驾驶员图像。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值确定性的情况下匹配的任何车辆图像：
针对记录在描述自主车辆的图像数据中的车标评估每个车辆图像中的车标。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
针对记录在描述自主车辆的图像数据中的区别标志评估每个车辆图像中的区别标志。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色；
如果(a)每个车辆图像的形状和颜色与自主车辆的形状和颜色不匹配，那么将每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个--
(i)尝试将每个车辆图像中的牌照与描述自主车辆的图像数据中记录的牌照匹配；
(ii)尝试将每个车辆图像中的驾驶员图像与描述自主车辆的图像数据中记录的驾驶员图像匹配；
(iii)尝试将每个车辆图像中的车标与描述自主车辆的图像数据中记录的车标匹配；
(iv)尝试将每个车辆图像中的区别标志与描述自主车辆的图像数据中记录的区别标志匹配；
如果(i)到(iv)中的一个或多个是成功的，那么确定每个车辆图像与自主车辆在超出阈值的确定性的情况下匹配。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色；
如果(a)每个车辆图像的形状和颜色与自主车辆的形状和颜色不匹配，那么将每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个：
(i)根据每个车辆图像中的牌照与描述自主车辆的图像数据中记录的牌照的相似度给每个车辆图像分配第一分数；
(ii)根据每个车辆图像中的驾驶员图像与描述自主车辆的图像数据中记录的驾驶员图像的相似度给每个车辆图像分配第二分数；
(iii)根据每个车辆图像中的车标与描述自主车辆的图像数据中记录的车标的相似度给每个车辆图像分配第三分数；
(iv)根据每个车辆图像中的区别标志与描述自主车辆的图像数据中记录的区别标志的相似度给每个车辆图像分配第四分数；
如果第一、第二、第三和第四分数的组合超出阈值，那么确定每个车辆图像是自主车辆的反射并且将每个车辆图像从这组潜在障碍物中排除。
根据本发明，提供一种自主车辆，包含：
转向致动器、加速致动器和制动致动器中的至少一个；
一个或多个成像装置；
控制器，控制器可操作地连接到一个或多个成像装置以及下列中的至少一个：转向致动器、加速致动器和制动致动器，控制器包括一个或多个处理装置，处理装置被编程以--
从一个或多个成像装置接收一个或多个图像流；
识别一个或多个图像流中的多个车辆图像；
从一组潜在障碍物中排除与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像；
评估自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像之外的多个车辆图像中的至少一部分；以及
致动自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以：
针对与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像的每个车辆图像，识别反射表面的位置，反射表面反射自主车辆的图像；以及
将反射表面增加到这组潜在障碍物内。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的牌照评估每个车辆图像中的牌照。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的驾驶员图像评估每个车辆图像中的驾驶员图像。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
针对记录在描述自主车辆的图像数据中的车标和标志数据评估每个车辆图像中的车标和区别标志。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色；
如果(a)每个车辆图像的形状和颜色与自主车辆的形状和颜色不匹配，那么将每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个：
(i)尝试将每个车辆图像中的牌照与描述自主车辆的图像数据中记录的牌照匹配；
(ii)尝试将每个车辆图像中的驾驶员图像与描述自主车辆的图像数据中记录的驾驶员图像匹配；
(iii)尝试将每个车辆图像中的车标与描述自主车辆的图像数据中记录的车标匹配；
(iv)尝试将每个车辆图像中的区别标志与描述自主车辆的图像数据中记录的区别标志匹配；
如果(i)到(iv)中的一个或多个是成功的，则确定每个车辆图像与自主车辆在超出阈值的确定性的情况下匹配。
根据本发明的一个实施例，其中一个或多个处理装置进一步被编程以针对多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何车辆图像：
相对于记录在描述自主车辆的图像数据中的自主车辆的形状和颜色评估每个车辆图像的形状和颜色；
如果(a)每个车辆图像的形状和颜色与自主车辆的形状和颜色不匹配，那么将每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少两个：
(i)根据每个车辆图像中的牌照与描述自主车辆的图像数据中记录的牌照的相似度给每个车辆图像分配第一分数；
(ii)根据每个车辆图像中的驾驶员图像与描述自主车辆的图像数据中记录的驾驶员图像的相似度给每个车辆图像分配第二分数；
(iii)根据每个车辆图像中的车标与描述自主车辆的图像数据中记录的车标的相似度给每个车辆图像分配第三分数；
(iv)根据每个车辆图像中的区别标志与描述自主车辆的图像数据中记录的区别标志的相似度给每个车辆图像分配第四分数；
如果第一、第二、第三和第四分数中的至少两个的组合超出阈值，那么确定每个车辆图像是自主车辆的反射并且将每个车辆图像从这组潜在障碍物中排除。
根据本发明，提供一种关于自主车辆执行碰撞避让的方法，方法包含：
由控制装置从一个或多个成像装置接收一个或多个图像流；
由控制装置识别一个或多个图像流中的多个车辆图像；以及
由控制装置从一组潜在障碍物中排除与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的一个或多个车辆图像。
根据本发明的一个实施例，该方法进一步包含：
由控制器评估自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述自主车辆的图像数据在超出阈值的确定性的情况下匹配的一个或多个车辆图像之外的多个车辆图像的至少一部分；以及
由控制器致动自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
附图说明
为了更容易地理解本发明的优势，通过参照附图中所示的具体实施例来呈现上述简要说明的本发明的更加具体的说明。可以明白的是这些附图仅描述了本发明的典型实施例并且因此不应认为限制本发明的范围，本发明通过使用附图描述和说明了另外的特征和细节：
图1是用于实施本发明实施例的***的示意性框图；
图2是示例计算装置的示意性框图，该计算装置适于执行根据本发明实施例的方法；
图3是根据本发明的实施例检测的车辆反射检测的示意图；
图4是根据本发明实施例的用于确定车辆图像是否为自主车辆反射的方法的流程图。
具体实施方式
容易理解的是，在本发明附图中总体描述和说明的本发明的部件可以以各种不同配置设置和设计。因此，如附图中所示出的，下列本发明实施例的更加具体的说明并非意在将本发明的范围限制为所要求的，而仅仅是根据本发明当前可以想到的实施例的有代表性的一些示例。参照附图可以更好地理解当前描述的实施例，其中相同的部分全部由相同的附图标记指代。
根据本发明的实施例可以具体化为装置、方法或计算机程序产品。相应地，本发明可以采用全部硬件实施例、全部软件实施例(包括固件、常驻软件、微代码等)或软件与硬件多方面的结合的形式，其在本发明中全部总体称作“模块”或“***”。而且，本发明可以采用嵌入在任何有形表现介质内的计算机程序产品的形式，其具有嵌入在介质中的计算机可用程序。
可以使用一种或多种计算机可用或计算机可读介质的任何组合。例如，计算机可读介质可以包括一种或多种便携式计算机磁盘、硬盘、随机存取存储器(RAM)装置、只读存储器(ROM)装置、电可擦除可编程只读存储器(EPROM或闪存)装置、便携式光盘只读存储器(CDROM)、光学存储装置和磁性存储装置。在选定的实施例中，计算机可读介质可以包含任何非暂时性介质，该非暂时性介质可以通过指令执行***、装置或设备或与其结合地包含、存储、通信、传送或传输所使用的程序。
用于实施本发明操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，编程语言包括如Java、Smalltalk、C++等的面向对象的编程语言以及如“C”编程语言或类似编程语言的常规程序编程语言。程序代码可以作为独立的软件包在计算机***上、在独立硬件单元上、部分在与计算机隔开一定距离的远程计算机上或全部在远程计算机或服务器上执行。在后者的情形中，远程计算机可以通过任何类型的网络连接到计算机，网络包括局域网(LAN)或广域网(WAN)或可以通向外部计算机的连接(如通过使用互联网服务商的互联网)。
在下文中参照根据本发明的方法、装置(***)和计算机程序产品的流程说明和/或框图描述本发明。应理解的是，流程说明和/或框图的每个框和流程说明和/或框图的框的组合可以由计算机程序指令或代码实施。可以将这些计算机程序指令提供给通用计算机、专用计算机或用于产生机器的其它程序数据处理装置的处理器，以使通过计算机或其它程序数据处理装置执行的指令产生用于实施流程和/或框图或框中设定的功能/动作。
这些计算机程序指令也可以存储在非暂时性计算机可读介质中，该指令可以指示计算机或其它程序数据处理装置以特定方式运行，以使存储在计算机可读介质的指令产生制品，该指令包括意在实施流程和/或框图或框中设定的功能/动作的指令。
计算机程序指令也可以加载在计算机或其它程序数据处理装置中，以使一系列的操作步骤在计算机或其它程序装置中实施以产生计算机实施程序，从而使在计算机或其它程序装置中执行的指令提供用于实施流程和/或框图或框中设定的功能/动作的指令。
参照图1，控制器102可以被容纳在车辆中。车辆可以包括本领域已知的任何车辆。该车辆可以具有本领域已知的任何车辆的全部结构和部件，包括车轮、连接到车轮的传动***、连接到传动***的发动机、转向***、制动***和本领域已知的包括在车辆内的其它***。
如本发明中更详细地说明的，控制器102可以实施自主导航和碰撞避让。尤其地，可以分析图像数据以识别实际是车辆反射的车辆图像，控制器102被容纳在该车辆中或车辆可以由控制器102控制。
控制器102可以包括或访问容纳在车辆内的或以其他方式由控制器102访问的数据库104。数据库104可以包括足以实现车辆反射识别的数据。例如，车辆数据106可以包含描述车辆如车辆的几何形状108a(如形状)的数据。几何形状数据108a可以是车辆三维尺寸模型，该三维模型可以实现从各种角度产生车辆图像。车辆数据106可以包括描述车辆颜色108b的数据。颜色数据108b可以结合到三维模型，即该模型可以是有色车辆模型。车辆数据106可以包括描述车标(Badging)或其它标志108c的其它数据。车标和标志可以包括标识、标签、条纹或其它印刷图案或贴标。标志可以进一步包括车辆的可见损伤，例如车漆划伤或凹痕等。在一些实施例中，由于使用数据108a、108c评估的图像被评估用于确定它们是否是车辆反射，因此数据108a、108c的一些或全部可以是镜像的。
数据库104可以进一步包括驾驶员数据110，可以使用驾驶员数据110确定车辆图像是否是车辆的反射。例如，驾驶员数据110可以包括面部识别数据112a。面部识别数据112a可以包括与车辆相关的或从分析一个或多个驾驶员面部所获得的数据——即一个或多个驾驶员的面部的可以用于唯一识别他们的各种特征的位置——相关的一个或多个驾驶员的实际图像。驾驶员数据110可以进一步包括车辆的牌照数字112b，牌照数字112b可以作为牌照的一个或两个图像存储或作为仅表示牌照字母和数字的数据存储。面部识别数据112a和牌照数据112b中的牌照图像可以是镜像的以与反射图像中的面部和牌照匹配。
在一些实施例中，控制器102可以周期地连接到网络114，例如互联网或其它网络。控制器可以从一个或多个服务器116检索存储在数据库104内的一些或全部数据，服务器116托管或访问存储这样信息的数据库118。例如，可以检索用户照片以获得面部识别数据112a，可以从政府许可数据库中检索牌照数据112b并且可以从制造商数据库中检索车辆数据106。
控制器102可以从一个或多个成像装置120接收一个或多个图像流。例如，一个或多个摄像机可以被安装到车辆并且输出通过控制器102接收的图像流。
控制器可以启用接收图像流并且识别潜在障碍物以及采取措施以避让障碍物的碰撞避让模块122。在本发明所公开的实施例中，仅图像数据被用于执行碰撞避让。然而，也可以使用用于检测障碍物的其它传感器，例如雷达、激光雷达、声纳等。
碰撞避让模块122可以包括分析一个或多个图像流并且识别潜在障碍物的障碍物识别模块124a，障碍物包括人、动物、车辆、建筑、路缘以及其它物体和结构。尤其地，障碍物识别模块124a可以识别图像流中的车辆图像。障碍物识别模块124a可以包括识别实际上是车辆反射的车辆图像的反射识别模块126，由此排除它们是潜在障碍物并且识别反射表面。在下文中更加详细地描述识别车辆反射的方法。
碰撞避让模块122可以进一步包括碰撞预测模块124b，碰撞预测模块124b基于它的当前轨迹或当前意向路径预测哪个障碍物图像可能与车辆碰撞。决策模块124c可以作出停止、加速、转弯等的决定以避让障碍物。碰撞预测模块124b预测潜在碰撞的方式以及决策模块124c作出避让潜在碰撞的动作的方式可以按照自主车辆领域已知的任何方法或***。
决策模块124c可以通过启动一个或多个致动器122来控制车辆的轨迹，致动器122控制车辆的方向和速度。例如，致动器122可以包括转向致动器124a、加速致动器124b以及制动致动器124c。致动器124a-124c的配置可以根据自主车辆领域已知的这样的致动器的任何实施方式。
图2是说明示例计算装置200的框图。计算装置200可以用于实施各种程序，例如本发明说明的那些。控制器102可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)设备210以及显示装置230，所有上述装置均连接到总线212。处理器202包括执行存储在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202也可以包括各种类型的计算机可读介质，例如高速缓冲存储器。
存储装置204包括各种计算机可读介质，例如易失性存储器(例如随机存取存储器(RAM)214)和/或非易失性存储器(例如只读存储器(ROM)216)。存储装置204也可以包括可擦写ROM，例如闪存。
大容量存储装置208包含各种计算机可读介质，例如磁带、磁盘、光盘、固态存储器(如闪存)等。如图2中所示，特定的大容量存储装置是硬盘驱动器224。各种驱动器也可以被包括在大容量存储装置208中以实现从各种计算机可读介质中读取和/或写入到各种计算机可读介质。大容量存储装置208包括可移除介质226和/或不可移除介质。
I/O设备210包括容许数据和/或其它信息输入到计算装置200或从计算装置200检索数据和/或其它信息的各种设备。示例I/O设备210包括光标控制设备、键盘、小型键盘、麦克风、显示器或其它显示设备、扩音器、网络接口卡、调制解调器、镜头、CCD(电荷耦合器件)或其它图像捕捉设备等。
显示装置230包括能够向计算装置200的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括显示器、显示终端、视频投影装置等。
接口206包括容许计算装置200与其它***、装置或计算环境交互的多种接口。示例接口206包括任何数量的不同网络接口220，例如与局域网(LAN)、广域网(WAN)、无线网络和互联网的连接。其它接口包括用户接口218和***设备接口222。接口206也可以包括一种或多种***接口，如针对指针设备(鼠标、触板等)、键盘等的接口。
总线212容许处理器202、存储设备204、接口206、大容量存储设备208、I/O设备210以及显示装置230以及连接到总线212的其它装置或部件彼此通信。总线212表示若干总线结构中的一种或多种，例如***总线、***部件互联(PCI)总线、电气与电子工程师协会(IEEE)1394总线、通用串行总线(USB总线)等。
为了说明的目的，本发明以离散框示出程序以及其它可执行程序的部件，但应理解的是，这样的程序和部件可以在不同时间位于计算装置200的不同存储部件中并且由处理器202控制。可选地，本发明描述的***和程序可以实施在硬件或硬件、软件和/或固件的组合中。例如，一种或多种专用集成电路(ASIC)可以被编程用于实施本发明所述的一种或多种***和程序。
现在转换到图3，通过控制器102控制的车辆——下文中的车辆300——可以在一个或多个反射表面302a-302c附近行驶，反射表面302a-302c相对于车辆300以各种角度定向。例如，反射表面302a可以平行于车辆300的行驶方向延伸，产生反射304a，反射304a表现为以等于车辆300和反射表面302a之间距离的两倍的距离平行于车辆300行驶。
同样地，以非平行和非垂直角度的反射表面302b可以产生表现为以反射表面302b和车辆的行驶方向之间角度的两倍的角度行驶的反射304b。垂直于车辆300行驶方向的反射表面302c将产生表现为车辆300正前方的反射304c。
在所有这些情形中，控制器102检测到的反射图像可以引起采取避让动作。同样，反射表面302a-302b自身可以不被观察。相应地，本发明公开的***和方法提供用于识别反射图像和反射表面两者，从而更准确地识别潜在障碍物。
图4说明了用于识别车辆300的反射的方法400。该方法可以包括检测图像中的车辆402。例如，可以识别一个或多个图像流中的全部车辆，并且之后根据方法400来处理一些或全部车辆图像以确定车辆图像是否是该车辆或一些其它车辆的反射。
方法400可以包括评估车辆图像中车辆图像的颜色以及车辆形状两者是否与车辆300的图像的颜色和形状匹配404、406。尤其地，车辆图像中的车辆颜色和形状可以与车辆数据106比较，车辆数据106包括几何形状和颜色数据108a、108b。步骤404、406示出为单独的步骤，但可以大体同时实施。例如，车辆300的有色3D模型渲染可以是镜像的(在未存储为镜像模型的情况下)并且转换和/或转动以与图像中的车辆定向匹配。如果定向为与车辆图像中车辆匹配的3D模型的渲染与车辆图像中车辆的形状和颜色两者都匹配，那么可以视作满足了步骤404、406的条件。否则，可以确定该车辆并非车辆300并且在实施碰撞避让时作为潜在障碍物而被包括408。
在一些实施例中，步骤404、406可以是单独的步骤，从而仅在步骤404发现颜色匹配的情况下执行步骤406。由于颜色需要较少的处理，因此明显颜色错误的车辆图像可以从潜在反射排除并且消除步骤406中评估车辆图像中的车辆形状的需求。
如果发现在步骤404、406车辆图像中的车辆颜色和形状匹配，那么车辆图像中的其它车辆特征可以与车辆数据106以及驾驶员数据110比较，从而确定该车辆图像是否为反射。
例如，方法400可以包括尝试将车辆图像中的牌照与牌照数据112b中记录的车辆300的牌照匹配410。这可以包括尝试将车辆300的牌照与车辆300的牌照镜像图像匹配。如果存在匹配，则分配给该比较步骤一个分数，例如随车辆图像中的牌照图像与车辆300的牌照镜像图像的相似度而增加的分数。可以基于识别车辆图像中的牌照数字和/或字母来分配该分数，该分数随车辆图像中对应于车辆图像中存在的全部或部分牌照数据112b的牌照数字和/或字母的顺序长度而增加。
可选地，步骤410可以仅产生二进制的输出，例如在存在匹配的情况下输出为是或1以及在不匹配情况下输出为否或0。在一些实施例中，如果发现车辆图像的牌照与牌照数据112b在具有高确定性——例如处于正确顺序的每个字母和数字存在于车辆图像牌照中——的情况下匹配，那么无论用于识别匹配特征的其它尝试412-414是否成功，都可以确定车辆图像是反射。在一些实施例中，如果步骤410成功，那么可以省去步骤412-414。在其它实施例中，无论步骤410中的尝试是否成功，都执行步骤412和414。
方法400可以包括尝试将车辆图像中检测到的驾驶员与面部识别数据112a进行匹配412。这可以包括尝试将车辆图像中的驾驶员图像与驾驶员的镜像图像匹配。尝试匹配412可以包括使用本领域已知的任何面部识别技术。尤其地，面部识别数据112a可以包括限定一个或多个驾驶员镜像面部特征的位置而并非一个或多个驾驶员的实际图像的数据。之后可以从车辆图像中驾驶员图像中提取这些特征的位置并且将这些特征的位置与面部识别数据112a的那些相比较。如果存在匹配，可以给该比较步骤分配分数，例如随车辆图像中驾驶员图像与面部识别数据112a的相似度而增加的分数。
可选地，步骤412可以仅产生二进制输出，例如在存在匹配的情况下输出为是或1以及在不匹配情况下输出为否或0。例如，面部识别算法输出表明两个图像包括相同面部的可能性的置信分数。相应地，如果该置信分数大于阈值，那么输出可以为是或1，否则该输出为否或0。在输出为是或1的情形下，可以省去其它尝试410、414。在其它实施例中，无论尝试412是否成功，都作出其它尝试410、414。
方法400可以包括尝试将车辆图像中的车标或区别标志与标志数据108c匹配414。如果在车标或区别标志的一个或多个项目之间存在匹配，那么给该比较步骤分配分数，例如随车辆图像中与数据108c中对应的车标和/或标志匹配的车标和/或标志的项目数量而增加的分数。
可选地，步骤414可以仅产生二进制输出，例如在存在匹配的情况下输出为是或1以及在不匹配情况下输出为否或0。例如，如果在车辆图像中可见的车辆部分中可见的所有车标和标志与从相同角度/距离查看车辆300时可见的那些车标和标志相对应，那么输出可以为是或1，否则输出可以为否或0。在输出为是或1的情况下，可以省去其它尝试410、412。在其它实施例中，无论尝试414是否成功，都作出其它尝试410、412。
方法400可以包括确定尝试410-414中的一个或多个是否成功416，尝试410-414用于识别车辆图像中的匹配特征。例如，在步骤410-414输出二进制输出的情况下，如果二进制输出的任何一个为是或1，那么步骤416可以得出的结论是至少一个尝试成功。
在一些实施例中，尝试410-414的输出是分数。这些分数可以被求和、加权并且求和、或输入到用于产生最终分数的函数。该最终分数可以与阈值比较。如果分数超过阈值，那么可以确定416尝试成功。如果分数未超过阈值，那么可以确定416尝试未成功。
如果确定416尝试410-414未成功，则车辆图像作为潜在障碍物被包括。如果确定416尝试410-414成功，那么方法400可以包括从作为潜在障碍物的考量中排除418车辆图像并且识别420产生车辆图像的反射表面的位置。例如，反射表面可以被确定为车辆图像的虚拟位置和车辆300之间的一半。例如，如图3所示，图像304a-304c表现为位于车辆300和反射表面302a-302c之间距离的两倍的位置处。相应地，如果例如使用立体视觉或其它测距技术确定了图像的位置，那么可以将反射表面识别为车辆300到该位置距离的一半420。
在一些实施例中，在步骤420中识别的位置可以被上传到其它车辆300可以访问的数据库118中。相应地，其它车辆可以下载该信息以促进作为反射的车辆图像的识别。例如，当评估匹配车辆300的颜色和形状的车辆图像时，如果车辆300邻近已知的反射表面，那么表明车辆图像是反射的置信度或分数可以增加。
在不脱离本发明精神或实质特征的情况下，本发明可以具体化为其它具体形式。所述实施例被认为在所有方面仅作为说明而并非限制。因此，本发明的范围通过所附权利要求而非通过上述说明表明。在权利要求等同的意思和范围内的所有变化可以包含在它们的范围内。

Claims (20)

1.一种用于自主车辆的控制器，所述控制器包含：
一个或多个处理装置，所述处理装置被编程以--
从一个或多个成像装置接收一个或多个图像流；
识别所述一个或多个图像流中的多个车辆图像；以及
从一组潜在障碍物中排除与描述所述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何所述车辆图像。
2.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以：
评估所述自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像之外的多个所述车辆图像中的至少一部分；以及
致动所述自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
3.根据权利要求2所述的控制器，其中所述一个或多个处理装置进一步被编程以：
针对与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像的每个所述车辆图像，识别反射表面的位置，所述反射表面反射所述自主车辆的图像；以及
将所述反射表面增加到这组潜在障碍物内。
4.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色。
5.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的牌照评估每个所述车辆图像中的牌照。
6.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的驾驶员图像评估每个所述车辆图像中的驾驶员图像。
7.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
针对记录在描述所述自主车辆的所述图像数据中的车标评估每个所述车辆图像中的车标。
8.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何车辆图像：
针对记录在描述所述自主车辆的所述图像数据中的区别标志评估每个所述车辆图像中的区别标志。
9.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色；
如果(a)每个所述车辆图像的所述形状和颜色与所述自主车辆的所述形状和颜色不匹配，那么将所述每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个--
(i)尝试将每个所述车辆图像中的牌照与描述所述自主车辆的所述图像数据中记录的牌照匹配；
(ii)尝试将每个所述车辆图像中的驾驶员图像与描述所述自主车辆的所述图像数据中记录的驾驶员图像匹配；
(iii)尝试将每个所述车辆图像中的车标与描述所述自主车辆的所述图像数据中记录的车标匹配；
(iv)尝试将每个所述车辆图像中的区别标志与描述所述自主车辆的所述图像数据中记录的区别标志匹配；
如果(i)到(iv)中的一个或多个是成功的，那么确定每个所述车辆图像与所述自主车辆在超出所述阈值的确定性的情况下匹配。
10.根据权利要求1所述的控制器，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色；
如果(a)每个所述车辆图像的所述形状和颜色与所述自主车辆的所述形状和颜色不匹配，那么将所述每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个：
(i)根据每个所述车辆图像中的牌照与描述所述自主车辆的所述图像数据中记录的牌照的相似度给每个所述车辆图像分配第一分数；
(ii)根据每个所述车辆图像中的驾驶员图像与描述所述自主车辆的所述图像数据中记录的驾驶员图像的相似度给每个所述车辆图像分配第二分数；
(iii)根据每个所述车辆图像中的车标与描述所述自主车辆的所述图像数据中记录的车标的相似度给每个所述车辆图像分配第三分数；
(iv)根据每个所述车辆图像中的区别标志与描述所述自主车辆的所述图像数据中记录的区别标志的相似度给每个所述车辆图像分配第四分数；
如果第一、第二、第三和第四分数的组合超出所述阈值，那么确定每个所述车辆图像是所述自主车辆的反射并且将每个所述车辆图像从这组潜在障碍物中排除。
11.一种自主车辆，所述车辆包含：
转向致动器、加速致动器和制动致动器中的至少一个；
一个或多个成像装置；
控制器，所述控制器可操作地连接到所述一个或多个成像装置以及下列中的至少一个：所述转向致动器、所述加速致动器和所述制动致动器，所述控制器包括一个或多个处理装置，所述处理装置被编程以--
从一个或多个成像装置接收一个或多个图像流；
识别所述一个或多个图像流中的多个车辆图像；
从一组潜在障碍物中排除与描述所述自主车辆的图像数据在超出阈值的确定性的情况下匹配的任何所述车辆图像；
评估所述自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像之外的多个所述车辆图像中的至少一部分；以及
致动所述自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
12.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以：
针对与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像的每个车辆图像，识别反射表面的位置，所述反射表面反射所述自主车辆的图像；以及
将所述反射表面增加到这组潜在障碍物内。
13.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色。
14.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的牌照评估每个所述车辆图像中的牌照。
15.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的驾驶员图像评估每个所述车辆图像中的驾驶员图像。
16.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
针对记录在描述所述自主车辆的所述图像数据中的车标和标志数据评估每个所述车辆图像中的车标和区别标志。
17.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于记录在描述所述自主车辆的所述图像数据中的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色；
如果(a)每个所述车辆图像的所述形状和颜色与所述自主车辆的所述形状和颜色不匹配，那么将每个所述车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少一个：
(i)尝试将每个所述车辆图像中的牌照与描述所述自主车辆的所述图像数据中记录的牌照匹配；
(ii)尝试将每个所述车辆图像中的驾驶员图像与描述所述自主车辆的所述图像数据中记录的驾驶员图像匹配；
(iii)尝试将每个所述车辆图像中的车标与描述所述自主车辆的所述图像数据中记录的车标匹配；
(iv)尝试将每个所述车辆图像中的区别标志与描述所述自主车辆的所述图像数据中记录的区别标志匹配；
如果(i)到(iv)中的一个或多个是成功的，则确定每个所述车辆图像与所述自主车辆在超出阈值的确定性的情况下匹配。
18.根据权利要求11所述的自主车辆，其中所述一个或多个处理装置进一步被编程以针对所述多个车辆图像的至少一部分的每个车辆图像通过下列方式识别与描述所述自主车辆的图像数据在超出所述阈值的确定性的情况下匹配的任何所述车辆图像：
相对于在描述所述自主车辆的所述图像数据中记录的所述自主车辆的形状和颜色评估每个所述车辆图像的形状和颜色；
如果(a)每个所述车辆图像的所述形状和颜色与所述自主车辆的所述形状和颜色不匹配，那么将所述每个车辆包括在这组潜在障碍物内；
如果不是(a)，那么评估下列中的至少两个：
(i)根据每个所述车辆图像中的牌照与描述所述自主车辆的所述图像数据中记录的牌照的相似度给每个所述车辆图像分配第一分数；
(ii)根据每个所述车辆图像中的驾驶员图像与描述所述自主车辆的所述图像数据中记录的驾驶员图像的相似度给每个所述车辆图像分配第二分数；
(iii)根据每个所述车辆图像中的车标与描述所述自主车辆的所述图像数据中记录的车标的相似度给每个所述车辆图像分配第三分数；
(iv)根据每个所述车辆图像中的区别标志与描述所述自主车辆的所述图像数据中记录的区别标志的相似度给每个所述车辆图像分配第四分数；
如果第一、第二、第三和第四分数中的至少两个的组合超出所述阈值，那么确定每个所述车辆图像是所述自主车辆的反射并且将每个所述车辆图像从这组潜在障碍物中排除。
19.一种关于自主车辆执行碰撞避让的方法，所述方法包含：
由控制装置从一个或多个成像装置接收一个或多个图像流；
由所述控制装置识别所述一个或多个图像流中的多个车辆图像；以及
由所述控制装置从一组潜在障碍物中排除与描述所述自主车辆的图像数据在超出阈值的确定性的情况下匹配的一个或多个车辆图像。
20.根据权利要求19所述的方法，进一步包含：
由所述控制器评估所述自主车辆和这组潜在障碍物之间的潜在碰撞，这组潜在障碍物包括除了与描述所述自主车辆的所述图像数据在超出所述阈值的确定性的情况下匹配的所述一个或多个车辆图像之外的多个车辆图像的至少一部分；以及
由所述控制器致动所述自主车辆的转向致动器、加速致动器和制动致动器中的至少一个，有效避免与这组潜在障碍物的碰撞。
CN201610866739.XA 2015-10-07 2016-09-29 在镜像或反射表面内的自主车辆的自识别 Pending CN106570451A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/877,115 US9881219B2 (en) 2015-10-07 2015-10-07 Self-recognition of autonomous vehicles in mirrored or reflective surfaces
US14/877,115 2015-10-07

Publications (1)

Publication Number Publication Date
CN106570451A true CN106570451A (zh) 2017-04-19

Family

ID=57571236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866739.XA Pending CN106570451A (zh) 2015-10-07 2016-09-29 在镜像或反射表面内的自主车辆的自识别

Country Status (6)

Country Link
US (1) US9881219B2 (zh)
CN (1) CN106570451A (zh)
DE (1) DE102016118833A1 (zh)
GB (1) GB2544627A (zh)
MX (1) MX2016013124A (zh)
RU (1) RU2016139111A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622229A (zh) * 2017-06-22 2019-12-27 株式会社昭和 障碍物探测装置、车辆、以及障碍物探测***

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10281916B1 (en) * 2016-09-21 2019-05-07 Amazon Technologies, Inc. Detection of transparent elements using specular reflection
US10196141B1 (en) 2016-09-21 2019-02-05 Amazon Technologies, Inc. Detection of transparent elements using reflective disparities
KR102494865B1 (ko) * 2018-02-20 2023-02-02 현대자동차주식회사 차량 및 그 제어 방법
BR112020020963A2 (pt) 2018-04-25 2021-01-19 Tanku LTD. Método, sistema e meio de armazenamento de dados não transitório legível por computador e instruções implementáveis por computador
EP3584662B1 (en) * 2018-06-19 2022-04-13 Panasonic Intellectual Property Management Co., Ltd. Mobile robot
JP2022532695A (ja) * 2019-05-24 2022-07-19 モービルアイ ビジョン テクノロジーズ リミテッド 画像分析に基づく車両ナビゲーションのためのシステム及び方法
US11823460B2 (en) * 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
WO2022060458A1 (en) * 2020-09-18 2022-03-24 Stoneridge Electronics Ab Curb detection system for commercial vehicles

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004861A1 (en) * 2008-07-02 2010-01-07 Samsung Electronics Co., Ltd. Obstacle detecting apparatus and method
US20100026555A1 (en) * 2006-06-09 2010-02-04 Whittaker William L Obstacle detection arrangements in and for autonomous vehicles
WO2013062401A1 (en) * 2011-10-24 2013-05-02 Dawson Yahya Ratnam A machine vision based obstacle detection system and a method thereof
CN103153743A (zh) * 2010-10-01 2013-06-12 丰田自动车株式会社 用于车辆的障碍物识别***和方法
CN203142524U (zh) * 2013-03-26 2013-08-21 厦门歌乐电子企业有限公司 路面障碍物识别***
CN104115027A (zh) * 2012-01-30 2014-10-22 丰田自动车株式会社 周边物体检测设备和周边物体检测方法
US20140379247A1 (en) * 2013-06-24 2014-12-25 Google Inc. Use of Environmental Information to aid Image Processing for Autonomous Vehicles
US20150048738A1 (en) * 2013-08-19 2015-02-19 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
CN104541284A (zh) * 2012-06-06 2015-04-22 谷歌公司 障碍物评估技术
CN104590250A (zh) * 2013-10-31 2015-05-06 财团法人车辆研究测试中心 车辆自主辅助驾驶***与方法
WO2015106867A1 (de) * 2014-01-15 2015-07-23 Robert Bosch Gmbh Verfahren zum autonomen parken eines fahrzeugs, fahrerassistenzvorrichtung zur durchführung des verfahrens, sowie fahrzeug mit der fahrerassistenzvorrichtung
WO2015122510A1 (en) * 2014-02-17 2015-08-20 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding situation recognizing device and vehicle control device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
US4968878A (en) 1989-02-07 1990-11-06 Transitions Research Corporation Dual bumper-light curtain obstacle detection sensor
JP4647201B2 (ja) * 2003-12-05 2011-03-09 富士重工業株式会社 車両の走行制御装置
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
JP4909217B2 (ja) * 2007-04-16 2012-04-04 本田技研工業株式会社 障害物認識装置
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026555A1 (en) * 2006-06-09 2010-02-04 Whittaker William L Obstacle detection arrangements in and for autonomous vehicles
US20100004861A1 (en) * 2008-07-02 2010-01-07 Samsung Electronics Co., Ltd. Obstacle detecting apparatus and method
CN103153743A (zh) * 2010-10-01 2013-06-12 丰田自动车株式会社 用于车辆的障碍物识别***和方法
WO2013062401A1 (en) * 2011-10-24 2013-05-02 Dawson Yahya Ratnam A machine vision based obstacle detection system and a method thereof
CN104115027A (zh) * 2012-01-30 2014-10-22 丰田自动车株式会社 周边物体检测设备和周边物体检测方法
CN104541284A (zh) * 2012-06-06 2015-04-22 谷歌公司 障碍物评估技术
CN203142524U (zh) * 2013-03-26 2013-08-21 厦门歌乐电子企业有限公司 路面障碍物识别***
US20140379247A1 (en) * 2013-06-24 2014-12-25 Google Inc. Use of Environmental Information to aid Image Processing for Autonomous Vehicles
US20150048738A1 (en) * 2013-08-19 2015-02-19 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
CN104590250A (zh) * 2013-10-31 2015-05-06 财团法人车辆研究测试中心 车辆自主辅助驾驶***与方法
WO2015106867A1 (de) * 2014-01-15 2015-07-23 Robert Bosch Gmbh Verfahren zum autonomen parken eines fahrzeugs, fahrerassistenzvorrichtung zur durchführung des verfahrens, sowie fahrzeug mit der fahrerassistenzvorrichtung
WO2015122510A1 (en) * 2014-02-17 2015-08-20 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding situation recognizing device and vehicle control device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEDHA KALELKAR 等: "Autonomous Vehicle: Obstacle Detection and Decision-Based Navigation", 《INTERNATIONAL JOURNAL OF SCIENTIFIC AND RESEARCH PUBLICATIONS》 *
马利凯: "基于路径行驶的无人车辆的集成导航研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622229A (zh) * 2017-06-22 2019-12-27 株式会社昭和 障碍物探测装置、车辆、以及障碍物探测***

Also Published As

Publication number Publication date
DE102016118833A1 (de) 2017-04-13
GB2544627A (en) 2017-05-24
GB201616940D0 (en) 2016-11-16
US20170103270A1 (en) 2017-04-13
US9881219B2 (en) 2018-01-30
RU2016139111A (ru) 2018-04-25
MX2016013124A (es) 2017-04-27

Similar Documents

Publication Publication Date Title
CN106570451A (zh) 在镜像或反射表面内的自主车辆的自识别
US10395457B2 (en) User recognition system and methods for autonomous vehicles
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
CN107341454B (zh) 一种场景中障碍物的检测方法及装置、电子设备
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
US9031774B2 (en) Apparatus and method for preventing collision of vehicle
CN110659543B (zh) 基于手势识别的车辆控制方法、***及车辆
CN111837156A (zh) 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术
CN109720348B (zh) 车载装置、信息处理***和信息处理方法
Zou et al. Robust nighttime vehicle detection by tracking and grouping headlights
JP6814334B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
CN116685874A (zh) 摄像机-激光雷达融合对象检测***和方法
US11829131B2 (en) Vehicle neural network enhancement
CN116830164A (zh) LiDAR去相关对象检测***与方法
US12012102B2 (en) Method for determining a lane change indication of a vehicle
WO2022161139A1 (zh) 行驶朝向检测方法、装置、计算机设备及存储介质
US20220410931A1 (en) Situational awareness in a vehicle
CN108263376A (zh) 自动泊车***和自动泊车方法
US20120155711A1 (en) Apparatus and method for analyzing video
Tanaka et al. Vehicle Detection Based on Perspective Transformation Using Rear‐View Camera
JP7461399B2 (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
CN115943440A (zh) 用于检测对物体识别***的投影攻击的***和方法
CN114648744A (zh) 确定语义无碰撞空间的方法
CN110727269B (zh) 车辆控制方法及相关产品
Mishra et al. Recent advancement in autonomous vehicle and driver assistance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419