CN107516064A - 使用环绕摄像机***的并行场景基元检测 - Google Patents

使用环绕摄像机***的并行场景基元检测 Download PDF

Info

Publication number
CN107516064A
CN107516064A CN201710256500.5A CN201710256500A CN107516064A CN 107516064 A CN107516064 A CN 107516064A CN 201710256500 A CN201710256500 A CN 201710256500A CN 107516064 A CN107516064 A CN 107516064A
Authority
CN
China
Prior art keywords
road scene
primitive
road
view
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710256500.5A
Other languages
English (en)
Inventor
G.J.邹
U.P.穆达利奇
J.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107516064A publication Critical patent/CN107516064A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及使用环绕摄像机***的并行场景基元检测。公开了用于使用车载摄像机***的道路场景基元检测的技术。在一个示例性实施方式中，计算机实现的方法包括通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像。处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示交通工具或所关注的其他道路场景实体。使用每个并行处理核心，从所述多个视图中的一个或多个识别一组基元。使用机器学习和经典的计算机视觉技术中的一种或多种来识别特征基元。基于所述多个视图，处理装置基于多个识别的实体从多个视图基于多个识别的基元输出结果基元。

Description

使用环绕摄像机***的并行场景基元检测
相关申请的交叉引用
本申请要求于2016年4月19日提交的美国临时申请号62/324,596的优先权权益，其公开内容通过引用整体地结合于本文中。
技术领域
本公开总体上涉及一种交通工具多摄像机***，并且更具体而言，涉及一种用于并行地进行基元（primitive）检测、分类和跟踪的环视（surround view）摄像机***。
背景技术
例如轿车、摩托车、船或任何其他类型的汽车之类的交通工具可配有一个或多个摄像机，以向驾驶员、交通工具的其他乘客和自动化交通工具的感知***提供交通工具的外部视图。例如，交通工具可以包括前摄像机、侧摄像机和/或后摄像机。四面具有摄像机的交通工具可以实现一种环视摄像机***，其提供交通工具及其周围的“鸟瞰”或“顶部”视图。来自摄像机的图像可在交通工具内的显示器上呈现给驾驶员或交通工具的另一乘客，例如在仪表板、中控面板（center stack）、抬头显示器等上呈现。此外，来自摄像机的图像可被用于检测交通工具外部的物体和道路特征。
发明内容
在一个示例性实施例中，描述了一种用于检测基元的计算机实现的并行化方法。该方法包括通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别特征基元。使用机器学习和计算机视觉技术中的一种或多种来识别道路场景实体。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。
在另一个示例性实施例中，描述了一种用于并行基元检测的***。该***包括与交通工具相关联的多个摄像机、具有计算机可读指令的存储器以及具有至少两个并行处理核心的处理装置。所述处理装置被配置成从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别道路场景实体。使用机器学习和计算机视觉技术中的一种或多种来识别特征基元。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。
在又一示例性实施例中，用于并行场景基元检测的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有随其一起实施的程序指令。该程序指令可通过处理装置执行，以使处理装置执行一种方法。该方法包括通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像。所述处理装置由所述至少一个图像生成包括特征基元的多个视图。特征基元指示所关注的一个或多个道路场景实体。使用每个并行处理核心，所述处理装置从所述多个视图中的一个或多个识别特征基元。使用机器学习和计算机视觉技术中的一种或多种来识别道路场景实体。所述处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。
除了本文所述的一个或多个特征之外，根据另一个实施例，结果特征基元指示可以是行人、交通标志、交通信号和道路特征的道路场景实体。
在另一示例性实施例中，机器学习利用卷积神经网络。
在另一示例性实施例中，在每个并行处理核心处识别道路场景实体还包括在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取道路场景实体。所述处理装置使用神经网络来执行道路场景实体的分类。
在又一示例性实施例中，一个或多个并行处理核心与另一个并行处理核心从不同的视图识别不同的道路场景实体。
在另一示例性实施例中，一个并行处理核心与另一个并行处理核心分析不同的视图。
在另一示例性实施例中，摄像机包括鱼眼镜头。
此外，本公开还包括如下技术方案。
方案1. 一种计算机实现的并行化的方法，包括：
通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像；
通过所述处理装置，由所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来并行地输出一组结果道路场景基元。
方案2. 如方案1所述的计算机实现的方法，其特征在于，所述一组结果道路场景基元指示包括行人、交通标志、交通信号和道路特征中的一个的道路场景实体。
方案3. 如方案1所述的计算机实现的方法，其特征在于，所述机器学习利用卷积神经网络。
方案4. 如方案1所述的计算机实现的方法，其特征在于，在每个并行处理核心处识别所述道路场景实体还包括：
在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取所述道路场景实体；以及
使用所述神经网络来执行所述道路场景实体的分类。
方案5. 如方案1所述的计算机实现的方法，其特征在于，一个并行处理核心与另一个并行处理核心从不同的视图识别所述道路场景实体。
方案6. 如方案5所述的计算机实现的方法，还包括识别至少两个不同的道路场景实体，并输出指示这两个不同的道路场景实体的结果。
方案7. 如方案1所述的计算机实现的方法，其特征在于，所述摄像机包括鱼眼镜头。
方案8. 一种用于并行化的***，所述***包括：
与交通工具相关联的多个摄像机；
包括计算机可读指令的存储器；以及
具有至少两个并行处理核心的处理装置，所述处理装置配置成：
从与道路上的交通工具相关联的摄像机接收至少一个图像；
从所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来输出一组结果道路场景基元。
方案9. 如方案8所述的***，其特征在于，所述一组结果道路场景基元指示包括行人、交通标志、交通信号和道路特征中的一个的道路场景实体。
方案10. 如方案8所述的***，其特征在于，所述机器学习利用卷积神经网络。
方案11. 如方案8所述的***，其特征在于，在每个并行处理核心处识别所述道路场景实体还包括：
在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取所述道路场景实体；以及
使用所述神经网络来执行所述道路场景实体的分类。
方案12. 如方案8所述的***，其特征在于，一个并行处理核心与另一个并行处理核心分析不同的视图。
方案13. 如方案12所述的***，还包括识别至少两个不同的特征基元，并输出指示这两个不同的特征基元的结果。
方案14. 如方案8所述的***，其特征在于，所述摄像机包括鱼眼镜头。
方案15. 一种用于并行场景基元检测的计算机程序产品，所述计算机程序产品包括：
计算机可读存储介质，其具有随其一起实施的程序指令，其中，所述计算机可读存储介质本身不是暂时信号，所述程序指令可通过具有至少两个并行处理核心的处理装置执行，以使所述处理装置执行如下方法，包括：
通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像；
通过所述处理装置，由所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来并行地输出一组结果道路场景基元。
方案16. 如方案15所述的计算机程序产品，其特征在于，所述一组结果道路场景基元指示包括行人、交通标志、交通信号和道路特征中的一个的道路场景实体。
方案17. 如方案15所述的计算机程序产品，其特征在于，所述机器学习利用卷积神经网络。
方案18. 如方案15所述的计算机程序产品，其特征在于，在每个并行处理核心处识别所述特征基元还包括：
在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取所述道路场景实体；以及
使用所述神经网络来执行所述道路场景实体的分类。
方案19. 如方案15所述的计算机程序产品，其特征在于，一个并行处理核心与另一个并行处理核心从不同的视图识别所述道路场景实体。
方案20. 如方案19所述的计算机程序产品，还包括识别至少两个不同的道路场景实体，并输出指示这两个不同的道路场景实体的结果。
当结合附图时，通过下面的详细描述，本公开的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参照附图，在附图中：
图1描绘了根据本公开的多个方面的包括用于基元检测的处理***的交通工具；
图2描绘了根据本公开的多个方面的图1的处理***；
图3描绘了根据本公开的多个方面的与基元检测相关联的图像的图像处理；
图4在图3的基础上描绘了根据本公开的多个方面的用于检测基元的神经网络；
图5描绘了根据本公开的多个方面的用于基元检测的方法的流程图；以及
图6描绘了根据本公开的多个方面的用于实现本文所描述的技术的处理***的框图。
具体实施方式
下面的描述本质上仅是示例性的，并不意在限制本公开及其应用或用途。应当理解的是，在所有附图中，相对应的附图标记指示相同或相对应的零部件和特征。如本文所使用的，术语“模块”是指处理电路，其可以包括专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或群组）和存储器、组合逻辑电路和/或提供所描述的功能的其他合适的部件。
本文所描述的技术方案使用交通工具的摄像机来并行地提供通用道路场景基元检测。例如，本技术使用交通工具的环绕摄像机***来可靠和实时地检测、跟踪和分类近距离道路特征。道路特征包括位于路面上或周围的车道标记、交通方向控制指示、路缘、路肩等。为了检测道路特征，本技术实现了一种深度学习网络，以使得能够作为一个步骤和实时地并行实现多道路特征检测和分类。在一些示例中，道路特征可以与其他车载传感器/数据（例如，远距离传感器、其他摄像机、LIDAR传感器、地图等）融合，以提高检测和分类的精度和鲁棒性。在附加的示例中，道路特征可以被用于自映射和众包（crowdsourcing），以生成和/或更新道路特征数据库。
如本文所使用的，特征基元可以包括交通工具、行人、交通标志或信号、道路或车道标记（用于单车道或多车道）、路缘、路肩等。在一些方面，即使道路/车道特征被周围的交通工具或物体部分遮挡，特征基元也可以是实时可靠地检测的物体、道路/车道特征。因为多个摄像机记录相同对象的重叠部分，所以使用一个或多个图像来检测相同的基元。在其他方面，可以使用单一源图像来检测、识别和输出多个基元。
当从高分辨率摄像机图像/数据检测指示所关注的道路场景实体的多个道路场景基元时，处理资源是一个挑战。现有的方法使用多个算法而不是一个统一的深度神经网络来检测物体、交通标志、道路特征等。现有的算法一次接收一个或多个图像作为基本数据输入。这样的现有方法是硬件/处理器密集型的，耗时，在利用现代多核处理芯片架构方面不足，并且在一些处理场景中可能不是有利的。
本公开的示例性实施例包括或产生各种技术特征、技术效果和/或对技术的改进。本公开的示例性实施例使用机器学习为基元检测提供了高度并行机制，以总体上解决现有的场景基元检测中的计算效率低下和精度问题。更具体而言，本文所描述的实施例检测道路场景基元，例如行人、交通标志、交通信号和道路特征等，这是基于来自与道路上的交通工具相关联的摄像机的图像，从包括指示交通工具和/或另一物体的特征基元的图像生成多个视图，并且使用至少两个并行处理核心来并行地识别（例如，使用深度学习）指示所关注的道路场景实体的基元，并基于特征基元的聚合来输出结果。处理装置基于所述多个视图并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。本公开的这些方面构成技术特征，其产生降低总计算负荷、功耗、硬件成本和时间的技术效果。
因此，本技术改进了如本文所述的用于检测道路场景基元的处理***的功能。作为这些技术特征和技术效果的结果，本文所描述的技术代表了对现有的道路特征检测技术的改进。应当理解的是，本公开的示例性实施例的技术特征、技术效果和技术改进的上述示例仅是说明性的而不是详尽无遗的。
图1描绘了根据本公开的多个方面的包括用于道路场景基元检测的处理***110的交通工具100。除了处理***110之外，交通工具100还包括显示器120、传感器122以及摄像机130a、130b、130c、130d（本文中统称为“摄像机130”）。交通工具100可以是轿车、卡车、厢型车、公共汽车、摩托车、船、飞机或另一种合适的交通工具100。
摄像机130采集交通工具100外部的图像。每个摄像机130具有视场（FOV）131a、131b、131c、131d（本文中统称为“FOV 131”）。FOV是摄像机可观察到的区域。例如，摄像机130a具有FOV 131a，摄像机131b具有FOV 131b，摄像机130c具有FOV 131c，并且摄像机131d具有FOV 131d。采集的图像可以是摄像机的整个FOV，或者可以是摄像机的FOV的一部分。
根据本公开的多个方面，尽管示出了四个摄像机130a-130d，但也可以实施不同数量的摄像机（例如，2个摄像机、3个摄像机、5个摄像机、8个摄像机、9个摄像机等）。采集的图像可以显示在显示器120上，以向交通工具100的驾驶员/操作者或另一乘客提供交通工具100的外部视图。采集的图像可以在显示器120上显示为实时图像、静止图像或它们的某种组合。显示器120可以是全显示镜（full display mirror，FDM），使得其能够显示来自一个或多个摄像机130的图像。在一种模式中，FDM可以是传统的镜（面），或者在另一模式中，可以是用于显示数字图像的显示器120。
应当理解的是，所采集的图像可以是来自摄像机130a-130d中的一个的图像，和/或可以是来自多于一个摄像机130a-130d的图像的组合。根据本公开的实施例，来自摄像机130的采集图像可以被组合，以形成提供围绕交通工具100的环绕视图的俯视图和/或“鸟瞰”视图。在其他方面，可以从单个图像获得所采集的图像，其中，从单个图像并行地检测多个场景基元。应当理解的是，摄像机图像可以通过例如中控面板显示器之类的任何其他车载显示器来显示，并且摄像机图像可以来自任何其他内部或外部的交通工具摄像机。
如本文所述，处理***110从与道路上的交通工具相关联的摄像机接收图像，至少部分地基于该图像来生成所考虑的环境（例如，基元）的多个视图，并且使用处理***中的处理装置的多个核心来并行地识别物体。处理***110选择性地确定生成并通过并行处理核心来处理哪一个或多个视图。关于图2更详细地描述处理***110。处理***110还可以从传感器122接收传感器数据，该传感器122可以是光检测和测距（LIDAR）传感器、远程摄像机、全球定位***（GPS）等中的一种或多种。传感器数据可被用于增强道路特征检测。
特别地，图2描绘了根据本公开的多个方面的图1的处理***110。处理***110包括处理装置202、存储器204、视图生成引擎212以及基元检测引擎214。关于图1的交通工具100来描述图2。
处理装置102可以包括多个处理核心202a-202n。要理解的是，尽管仅示出了两个核心，但可设想任何数量的并行核心。处理核心202a-202n执行并行计算，其中许多计算或过程的执行通过每个处理核心同时执行。利用并行处理，涉及使用机器学习的大型问题可以被分成较小的问题（例如，从一个或多个摄像机图像提取的多个视图），然后可以通过并行处理核心202a-202n同时（并行地）使用深度神经网络来解决这些较小的问题。存在并行计算的几种不同形式：比特级、指令级、数据和任务并行等。应当理解的是，根据本公开的实施例，各种配置和计算方案是可能的。在所有方面，并行处理核心202a-202n在每个核心处应用机器学习技术，该机器学习技术利用卷积神经网络来并行地处理多个图像。
关于图2描述的各种部件、模块、引擎等可以被实现为存储在计算机可读存储介质上的指令、硬件模块、专用硬件（例如，应用专用硬件、专用集成电路（ASIC）、嵌入式控制器、硬连线电路等），或者这些的某种或某些组合。
在示例中，本文所描述的引擎可以是硬件和编制程序的组合。编制程序可以是存储在有形存储器上的处理器可执行指令，并且硬件可以包括用于执行这些指令的处理装置202。因此，***存储器（例如，存储器204）可以存储当通过处理装置202来执行时实现本文所述的引擎的程序指令。其他引擎还可以被用于包括本文其他示例中所述的其他特征和功能。替代地或附加地，处理***110可以包括专用硬件，例如一个或多个集成电路、ASIC、专用特殊处理器（ASSP）、现场可编程门阵列（FPGA）或者上述专用硬件的示例的任何组合，以便执行本文所描述的技术。
视图生成引擎212从交通工具100的摄像机（例如，摄像机130中的一个）接收图像（例如，原始图像312）。该图像可以包括交通工具100位于其上和/或交通工具100沿其行进的道路的一部分。视图生成引擎212可以将道路和道路上或周围的物体（例如，特征）的各种视图生成为输入数据的基本部分。例如，视图生成引擎可以至少部分地基于图像来生成道路的视图。也就是说，视图生成引擎212使用该图像来生成道路的视图，就好像摄像机的视点在道路正上方向下看道路。在其他方面，生成各种其他视图，例如，描绘交通工具100前方的道路和/或物体的前向（中央）视图、侧视图、后视图等的俯视图（vertical view）。
根据本公开的多个方面，视图生成引擎212使用鱼眼摄像机成像技术来生成图像，从该图像采集所述一个或多个视图。因此，摄像机130a-130c可以包括鱼眼摄像机镜头。当使用鱼眼摄像机时，可以校准视图生成引擎212，以使用当前可获得的软件和处理技术来补偿鱼眼镜头所引起的径向失真。
一旦生成视图，处理***就将图像的一个或多个部分分配给处理核心202a-202n。因此，处理核心202a-202n并行地接收图像，并且处理图像的多个方面，以检测指示交通工具、物体、人等的场景基元。
一旦在每个处理核心202a-202n处（同时）识别道路场景实体，基元检测引擎214就使用机器学习，利用卷积神经网络来同时识别示出基元的多个生成视图中的每一个中的基元。因此，使用并行处理核心202a-202n中的每一个，基元检测引擎214在视图内搜索（并行）以检测基元。
基元检测引擎214可以同时使用每个处理核心202a-202n来识别指示所关注的道路场景实体的基元。处理核心202a-202n可以同时识别单个基元或多个基元。例如，如果用于识别的基元是道路特征，则基元检测引擎214从所述多个图像中的一个或多个确定道路特征的类型（例如，直箭头、左转箭头等）以及道路特征的位置（例如，前面的箭头、左侧的自行车道等）。如果检测到的基元是交通工具，则基元检测引擎214确定与检测和识别到的交通工具的类型相关联的信息。例如，基元检测引擎214确定交通工具的类型（例如，自行车、乘用车、摩托车等）、该类型的交通工具的预期特性（例如，尺寸等）和/或与交通工具100的地理接近度（例如，相对于交通工具100的距离和位置）等信息。如果检测到的基元是道路标记（例如，标志、信号等），则基元检测引擎214确定特定的标志或信号，确定标志或信号的预期含义，并且包括具有输出的确定信息（以下关于图3来描述）。基元可以在数据库（例如，道路特征数据库、道路标记数据库等）中预定义，并且因此，基元检测引擎214可以参考数据库来进行确定。
为了检测道路场景基元，基元检测引擎214使用机器学习和/或经典的计算机视觉技术。更具体而言，基元检测引擎214可以结合并利用基于规则的决策制定和人工智能（AI）推理来完成本文所描述的各种操作。用语“机器学习”广泛地描述电子***的从数据中学习的功能。机器学习***、引擎或模块可以包括可训练机器学习算法，该可训练机器学习算法能够例如在外部云环境中被训练，以学习当前未知的输入和输出之间的功能关系，并且所得到的模型可被基元检测引擎214用于检测基元。
在一个或多个实施例中，可以使用人工神经网络（ANN）来实现机器学习功能，该人工神经网络具有待训练成执行当前未知的功能的能力。在机器学习和认知科学中，ANN是一类受动物的生物神经网络、并且特别是大脑启发的统计学习模型。ANN可被用于估计或近似取决于大量输入的***和功能。在另一个实施例中，可以使用卷积神经网络（CNN）来实现机器学习功能。CNN是一种前馈ANN。可以使用任何合适类型的神经网络来实现机器学习。
ANN可以被实施为互联处理器元件的所谓“神经形态”***，其作为模拟的“神经元”并且以电子信号的形式在彼此之间交换“消息”。类似于在生物神经元之间传送消息的突触神经递质连接的所谓的“可塑性”，在模拟的神经元之间传送电子消息的ANN中的连接设有对应于给定连接的强度或弱点的数值权重。这些权重可以根据经验来调整和协调，从而使ANN适应于输入以及能够学习。例如，用于手写识别的ANN由可被输入图像的像素激活的一组输入神经元来定义。在通过网络设计者所确定的功能进行加权和变换之后，这些输入神经元的激活随后被传递到其他下游神经元，该下游神经元通常被称为“隐藏”神经元。重复该过程直到输出神经元被激活。激活的输出神经元确定读取哪个字符。
图3描绘了根据本公开的多个方面的用于检测基元的神经网络300。作为对本公开的实施例的总体概述，神经网络300被配置成接收单个图像312作为输入，并将该单个图像分解成多个方面，以便通过处理核心202a-202n来并行处理。原始的“鱼眼”图像312通过分解部段302分解成区分一个或多个基元出现的多个自顶向下和俯视的视图，然后这些视图被传送到分别训练的深度神经网络中，以便同时并行地进行多基元检测和分类。例如，单个图像312可以是取作鱼眼图像的街道场景的单个图像。图像312可以包括足以供处理装置202通过分解部段302将图像312分解（划分）成多个视图的视觉信息。该多个视图中的每一个可以示出相同基元的各个方面，或者可以示出不同基元的一个或多个方面。每个视图被发送到处理核心202a-202n的相应特征提取部段304a ... 304n。例如，基元的一个方面可以是经过的交通工具的后视图。另一方面例如可以是相同的经过交通工具的左偏后视图。另一方面例如可以是经过的交通工具以及靠近经过的交通工具的一个或多个其他物体的自顶向下视图。该一个或多个其他物体被认为是不同于经过的交通工具（第一基元）的第二基元。因此，可以在从单个鱼眼图像解析的各种视图中的一些或全部视图中捕捉第一基元和第二基元两者。根据本文所述的实施例，从单个图像312获取的各种解析视图中的每一个被分配给处理核心202a-202n中相对应的一个，用于同时处理。同时处理可以包括，在每个单独的核心处，分别通过特征分类部段306a ... 306n来识别在视图中指示所关注的道路场景实体的一个或多个基元。
更详细地考虑实施例，现在结合图3来考虑图4。图4描绘了根据本公开的多个方面的神经网络300的另一视图。处理装置202从摄像机130a-130d中的一个或多个接收图像312。分解部段302（图3中所示）接收图像312，并将图像分解成组成部分（视图402a、402b、402c ... 402n）。视图402a-402n中的每一个得自图像312。根据一个实施例，分解部段302确定要从单个图像提取哪个所关注的视图。这种确定是基于各种因素，包括图像的识别部分包含所关注的实体的概率以及所关注的实体在图像的潜在视图内的数量等。
每个并行处理核心202a-202n中的特征提取部段（相应地，304a-304n）使用神经网络来提取中间特征412作为特征图。并行地处理每个视图402a-402n以输出基元308a-308n。将描述针对视图402a所示的处理步骤，作为同时在每个处理核心处发生的并行图像处理的示例。首先参考图4中最上面的处理线，特征提取部段304a识别视图402a中的一个或多个基元特征，并分析不同级别的特征（描绘为特征图410、412和414）。相应地，特征提取部段304a将特征图414输出到特征分类部段306a，以基于存储在可操作连接的基元数据库（未示出）中的基元、使用特征图414对基元进行分类。特征分类部段306a使用机器学习利用所述至少两个并行处理核心中的每一个从多个特征图414中的一个或多个中的每一个识别特征基元。分类部段306a-306n输出基元308a-308n，其可以是在交通工具的驾驶场景中通常遇到的道路场景实体。例如，基元308a-308n可以是行人、交通标志、交通信号、道路特征、限速指示、自行车道指示、铁路指示、学校区指示、方向指示等。
尽管例如描述为对视图402a的处理，但应当理解的是，使用特征提取部段304a-304n和分类部段306a-306n，基元检测引擎214可以作为单个步骤并且实时地并行检测多个基元。通过使用机器学习，可以减少现有基元检测中的计算效率低下和精度限制。
图5描绘了根据本公开的多个方面的用于基元检测的方法500的流程图。方法500可以例如通过图1和图2的处理***110，通过图6的处理***600，或者通过另一合适的处理***或装置来实现。
在框502处，处理***110从与道路上的交通工具相关联的摄像机接收至少一个图像。处理***210包括接收一个或多个图像的至少两个并行处理核心202a-202n。
在框504处，视图生成引擎212由所述一个或多个图像生成多个视图。图像中的至少一个包括特征基元。该特征基元指示对于交通工具100的操作所关注的交通工具和/或另一道路场景实体的存在。例如，基元可以是行人、交通标志、交通信号、道路特征等中的一个。
在框506处，基元检测引擎214使用机器学习利用所述至少两个并行处理核心中的每一个从多个视图中的一个或多个识别特征基元。每个并行处理核心202a-202n可以识别所述多个视图中的一个或多个视图的单独部分中的道路场景实体。使用机器学习（例如，卷积神经网络、人工神经网络等），基元检测引擎214可以使用神经网络执行从视图（在车道边界内）的特征提取。在提取特征之后，基元检测引擎214使用神经网络（例如，确定什么种类的基元）来执行特征基元的分类。基元检测引擎214识别特征基元，这是通过在每个并行处理核心处执行特征提取以使用神经网络来从一个视图提取特征基元。一旦特征基元被分类，基元检测引擎214就已识别出特征基元。
在框508处，基元检测引擎214基于所述多个视图来并行地输出一组结果道路场景基元。该组结果道路场景基元是基于所识别的道路场景实体。一组结果道路场景基元是包含通过处理核心并行处理的道路场景基元的集合。所述道路场景基元包含在道路上遇到的对于机动车辆100的操作而言所关注的一个或多个实体。
还可以包括附加的过程，并且应当理解的是，图5中所描绘的过程代表图示，并且可以添加其他过程或者可以去除、修改或重新安排现有的过程，而不脱离本公开的范围和精神。
要理解的是，本公开能够结合现在已知或后续开发的任何其他类型的计算环境来实现。例如，图6图示了用于实现本文所描述的技术的处理***600的框图。在示例中，处理***600具有一个或多个中央处理单元（处理器）21a、21b、21c等（统称为或一般称为处理器21和/或处理装置）。在本公开的多个方面，每个处理器21可以包括精简指令集计算机（RISC）微处理器。处理器21经由***总线33耦接到***存储器（例如，随机存取存储器（RAM）24）和各种其他部件。只读存储器（ROM）22耦接到***总线33，并且可以包括控制处理***600的某些基本功能的基本输入/输出***（BIOS）。
还图示了耦接到***总线33的输入/输出（I/O）适配器27和网络适配器26。I/O适配器27可以是与硬盘23和/或其他存储驱动器25或任何其他类似的部件通信的小型计算机***接口（SCSI）适配器。I/O适配器27、硬盘23和存储装置25在本文中统称为大容量存储器34。用于在处理***600上执行的操作***40可以被存储在大容量存储器34中。网络适配器26将***总线33与外部网络36互联，从而使得处理***600能够与其他这样的***通信。
显示器（例如，显示监视器）35通过显示适配器32连接到***总线33，该显示适配器32可以包括改善图形密集型应用的性能的图形适配器和视频控制器。在本公开的一个方面，适配器26、27和/或32可以被连接到一个或多个I/O总线，该一个或多个I/O总线经由中间总线桥（未示出）连接到***总线33。用于连接诸如硬盘控制器、网络适配器和图形适配器之类的***装置的合适的I/O总线通常包括例如***组件互连（PCI）之类的通用协议。附加的输入/输出装置被示出为经由用户接口适配器28和显示适配器32连接到***总线33。键盘29、鼠标30和扬声器31可以经由用户接口适配器28互联到***总线33，该用户接口适配器28可以包括例如将多个装置适配器集成到单一集成电路中的超级I/O芯片。
在本公开的一些方面，处理***600包括图形处理单元37。图形处理单元37是设计成操纵和改变存储器以加速旨在用于输出到显示器的帧缓冲器中的图像的创建的专用电子电路。一般而言，图形处理单元37在操纵计算机图形和图像处理方面是非常高效的，并且具有高度并行的结构，对于并行完成大数据块处理的算法而言，该高度并行的结构使得它比通用CPU有效。
因此，如本文所配置的，处理***600包括形式为处理器21的处理能力、包括***存储器（例如，RAM 24）和大容量存储器34的存储能力、诸如键盘29和鼠标30之类的输入装置以及包括扬声器31和显示器35的输出能力。在本公开的一些方面，***存储器（例如，RAM24）和大容量存储器34的一部分共同地存储操作***，以协调处理***600中所示的各部件的功能。
已出于说明的目的呈现了对本公开的各种示例的描述，但并不意在是详尽无遗的或限于所公开的实施例。在不脱离所描述的技术的范围和精神的情况下，许多修改和变型对于本领域技术人员而言将是显而易见的。本文所使用的术语被选择成最好地解释本技术的原理，对在市场中找到的技术的实际应用或技术改进，或者使得本领域技术人员能够理解本文所公开的技术。
虽然已参照示例性实施例描述了上述公开，但本领域技术人员将会理解，可以作出各种改变，并且可以用等同物替代其元件，而不脱离上述公开的范围。此外，可以作出许多修改以使特定情况或材料适应于本公开的教导，而不脱离其实质范围。因此，本技术意在不限于所公开的特定实施例，而是将包括落入本申请的范围内的所有实施例。

Claims (10)

1.一种计算机实现的并行化的方法，包括：
通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像；
通过所述处理装置，由所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来并行地输出一组结果道路场景基元。
2.如权利要求1所述的计算机实现的方法，其特征在于，所述一组结果道路场景基元指示包括行人、交通标志、交通信号和道路特征中的一个的道路场景实体。
3.如权利要求1所述的计算机实现的方法，其特征在于，所述机器学习利用卷积神经网络。
4. 如权利要求1所述的计算机实现的方法，其特征在于，在每个并行处理核心处识别所述道路场景实体还包括：
在每个并行处理核心处执行特征提取，以使用神经网络从一个视图提取所述道路场景实体；以及
使用所述神经网络来执行所述道路场景实体的分类。
5.如权利要求1所述的计算机实现的方法，其特征在于，一个并行处理核心与另一个并行处理核心从不同的视图识别所述道路场景实体。
6.如权利要求5所述的计算机实现的方法，还包括识别至少两个不同的道路场景实体，并输出指示这两个不同的道路场景实体的结果。
7.如权利要求1所述的计算机实现的方法，其特征在于，所述摄像机包括鱼眼镜头。
8.一种用于并行化的***，所述***包括：
与交通工具相关联的多个摄像机；
包括计算机可读指令的存储器；以及
具有至少两个并行处理核心的处理装置，所述处理装置配置成：
从与道路上的交通工具相关联的摄像机接收至少一个图像；
从所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来输出一组结果道路场景基元。
9.如权利要求8所述的***，其特征在于，所述一组结果道路场景基元指示包括行人、交通标志、交通信号和道路特征中的一个的道路场景实体。
10.一种用于并行场景基元检测的计算机程序产品，所述计算机程序产品包括：
计算机可读存储介质，其具有随其一起实施的程序指令，其中，所述计算机可读存储介质本身不是暂时信号，所述程序指令可通过具有至少两个并行处理核心的处理装置执行，以使所述处理装置执行如下方法，包括：
通过具有至少两个并行处理核心的处理装置，从与道路上的交通工具相关联的摄像机接收至少一个图像；
通过所述处理装置，由所述至少一个图像生成多个视图，所述多个视图包括指示所关注的一个或多个道路场景实体的特征基元；
利用所述至少两个并行处理核心中的每一个，使用机器学习和计算机视觉技术中的一种或多种，从所述多个视图中的一个或多个视图识别道路场景实体；以及
基于所述多个视图，基于所识别的道路场景实体来并行地输出一组结果道路场景基元。
CN201710256500.5A 2016-04-19 2017-04-19 使用环绕摄像机***的并行场景基元检测 Pending CN107516064A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662324596P 2016-04-19 2016-04-19
US62/324596 2016-04-19
US15/487,753 US10402670B2 (en) 2016-04-19 2017-04-14 Parallel scene primitive detection using a surround camera system
US15/487753 2017-04-14

Publications (1)

Publication Number Publication Date
CN107516064A true CN107516064A (zh) 2017-12-26

Family

ID=60038964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710256500.5A Pending CN107516064A (zh) 2016-04-19 2017-04-19 使用环绕摄像机***的并行场景基元检测

Country Status (2)

Country Link
US (1) US10402670B2 (zh)
CN (1) CN107516064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378833A (zh) * 2018-04-11 2019-10-25 通用汽车环球科技运作有限责任公司 用于车辆摄像机图像处理的动态批处理规模选择

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10572773B2 (en) 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
US10803746B2 (en) * 2017-11-28 2020-10-13 Honda Motor Co., Ltd. System and method for providing an infrastructure based safety alert associated with at least one roadway
DE102018100909A1 (de) 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE112018007253T5 (de) * 2018-03-09 2020-12-17 Honda Motor Co., Ltd. Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren und Programm
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
US11544940B2 (en) * 2019-01-04 2023-01-03 Qualcomm Incorporated Hybrid lane estimation using both deep learning and computer vision
GB2596002B (en) * 2019-02-13 2023-11-22 V Nova Int Ltd Object analysis
US11087525B2 (en) 2020-01-08 2021-08-10 International Business Machines Corporation Unsupervised learning of three dimensional visual alphabet
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466110A (zh) * 2002-07-04 2004-01-07 深圳市哈工大交通电子技术有限公司 视频交通动态信息采集设备
CN101508299A (zh) * 2009-03-12 2009-08-19 上海交通大学 自动识别道路限速标志的车辆智能装置
WO2010066332A1 (de) * 2008-12-12 2010-06-17 Daimler Ag Vorrichtung zur überwachung einer umgebung eines fahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20140289445A1 (en) * 2013-03-22 2014-09-25 Antony Savich Hardware accelerator system and method
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US11340602B2 (en) * 2014-12-19 2022-05-24 Raytheon Technologies Corporation Sensor data fusion for prognostics and health monitoring
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US11157798B2 (en) * 2016-02-12 2021-10-26 Brainchip, Inc. Intelligent autonomous feature extraction system using two hardware spiking neutral networks with spike timing dependent plasticity
CN206086532U (zh) * 2016-08-09 2017-04-12 西安科技大学 汽车安全驾驶辅助装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466110A (zh) * 2002-07-04 2004-01-07 深圳市哈工大交通电子技术有限公司 视频交通动态信息采集设备
WO2010066332A1 (de) * 2008-12-12 2010-06-17 Daimler Ag Vorrichtung zur überwachung einer umgebung eines fahrzeugs
CN101508299A (zh) * 2009-03-12 2009-08-19 上海交通大学 自动识别道路限速标志的车辆智能装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张滨: "移动设备上交通标志识别算法的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
徐军 等: "基于图像去雾和图像检测的交通信息提取算法", 《实验室研究与探索》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378833A (zh) * 2018-04-11 2019-10-25 通用汽车环球科技运作有限责任公司 用于车辆摄像机图像处理的动态批处理规模选择

Also Published As

Publication number Publication date
US20170300767A1 (en) 2017-10-19
US10402670B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
CN107516064A (zh) 使用环绕摄像机***的并行场景基元检测
Sirohi et al. Convolutional neural networks for 5G-enabled intelligent transportation system: A systematic review
Shi et al. Algorithm and hardware implementation for visual perception system in autonomous vehicle: A survey
CN106980813B (zh) 机器学习的注视生成
CN107305633A (zh) 使用车辆摄像机***的道路特征检测
Malbog MASK R-CNN for pedestrian crosswalk detection and instance segmentation
Kuang et al. Feature selection based on tensor decomposition and object proposal for night-time multiclass vehicle detection
Liu et al. A large-scale simulation dataset: Boost the detection accuracy for special weather conditions
Barranco et al. Real-time visual saliency architecture for FPGA with top-down attention modulation
Kemsaram et al. An integrated framework for autonomous driving: Object detection, lane detection, and free space detection
DE102017108255A1 (de) Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems
Arora et al. Automatic vehicle detection system in Day and Night Mode: challenges, applications and panoramic review
Abiyev et al. Vehicle detection systems for intelligent driving using deep convolutional neural networks
Oza et al. Traffic sign detection and recognition using deep learning
Tahir et al. Object detection in autonomous vehicles under adverse weather: a review of traditional and deep learning approaches
Rao et al. A Deep Learning Approach Towards Building Intelligent Transport System
Tewari et al. AI-based autonomous driving assistance system
Rani et al. Traffic sign detection and recognition using deep learning-based approach with haze removal for autonomous vehicle navigation
CN111145187B (zh) 基于霍夫空间的物体识别方法、***、设备及存储介质
Muhib et al. Deep Learning-Based Vehicle Classification
Zhang et al. Night-Time Vehicle Detection Based on Hierarchical Contextual Information
Shruti et al. AI-based Solutions for ADAS
TWM538142U (zh) 智慧多功能行車輔助駕駛記錄系統
Ramayee Design of Mobility Cyber Range and Vision-Based Adversarial Attacks on Camera Sensors in Autonomous Vehicles
Li Safe training of traffic assistants for detection of dangerous accidents

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171226

WD01 Invention patent application deemed withdrawn after publication