CN111127329A - 用于重建云层处的车辆场景的方法和*** - Google Patents

用于重建云层处的车辆场景的方法和*** Download PDF

Info

Publication number
CN111127329A
CN111127329A CN201910505372.2A CN201910505372A CN111127329A CN 111127329 A CN111127329 A CN 111127329A CN 201910505372 A CN201910505372 A CN 201910505372A CN 111127329 A CN111127329 A CN 111127329A
Authority
CN
China
Prior art keywords
vehicle
data
layer
cloud
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910505372.2A
Other languages
English (en)
Other versions
CN111127329B (zh
Inventor
F·白
M·穆拉德
D·C·马丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111127329A publication Critical patent/CN111127329A/zh
Application granted granted Critical
Publication of CN111127329B publication Critical patent/CN111127329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明题为“用于重建云层处的车辆场景的方法和***”。本发明公开了一种用于采集车辆视频数据、处理车辆视频数据以及将处理的数据提供给云层的方法和***，该云层重建车辆遇到的场景。通过在云层处重建遇到的场景，可以为该车辆或附近的其他车辆生成各种命令，其中命令解决车辆正在经历的状况。这对于自主或半自主车辆尤其有用。如果重建的场景不够精确或不详细，则可以调整一个或多个数据提取参数，使得向云层提供附加数据；如果重建的场景足够精确，则可以调整数据提取参数，使得向云层提供更少的数据，从而减少不必要的蜂窝数据费用。

Description

用于重建云层处的车辆场景的方法和***
技术领域
示例性实施方案涉及在车辆处采集数据并在基于云的设施处处理数据，并且更具体地，涉及能够以更有效的方式采集和处理此类数据(例如车辆视频数据)的***和方法。
背景技术
现代车辆正在采集、处理和存储不断增加的数据量。在自主或半自主车辆的情景下尤其如此，因为用于控制和协调此类车辆的基于云的***需要过多的数据来实行他们的众多任务，其中的许多任务必须快速以及以小的延迟执行。
此类***的一个挑战涉及管理此类大量数据的交换，并且以迅速且成本有效的方式来管理。比如，如果一队自主或半自主车辆正在使用已建立的无线载体***来交换此类数据，那么基于数据量的蜂窝数据费用将可能适用。这些蜂窝数据费用可能变得相当大，尤其是当每辆车交换的数据量大并且在整个此类车队中倍增时。
本文所公开的方法和***被设计用于解决这些问题。
发明内容
根据一个方面，提供了一种利用基于云的***重建车辆场景的方法，该基于云的***包括车辆层、雾层和云层，该方法包括以下步骤：利用一个或多个车辆相机采集车辆视频数据；使用一种或多种数据提取技术处理车辆视频数据，该数据提取技术是根据一个或多个数据提取参数实行的；将处理的视频数据发送到雾层和/或云层；将索引数据发送到雾层和/或云层；使用处理的视频数据和索引数据重建云层处的车辆场景；评估云层处的重建车辆场景以确定是否需要来自车辆层的更多或更少的数据；以及对由车辆层使用的数据提取参数进行调整，其中调整基于确定需要来自车辆层的更多或更少的数据。
根据各种实施方案，该方法还可包括以下特征中的任何一个或这些特征中的一些或全部的任何在技术上可行的组合：
·选自由以下项组成的列表的至少一种数据提取技术：时域下采样技术、像素域下采样技术或特征域下采样技术；
·数据提取技术是时域下采样技术，并且数据提取参数是基于时间的采样率，并且其中该方法通过使用基于时间的采样率来减少通过无线载体***传输到云层的车辆视频数据，以减少单个视频帧的数量；
·数据提取技术是像素域下采样技术，并且数据提取参数包括选自由以下项组成的列表的至少一个参数：图像分辨率、图像颜色深度、图像视野(FOV)、图像压缩或图像类型，并且其中该方法通过使用至少一个参数来减少通过无线载体***传输到云层的车辆视频数据，以减少每个单个视频帧的信息量；
·数据提取技术是特征域下采样技术，并且数据提取参数包括选自由以下项组成的列表的至少一个参数：多个对象或特征、多个对象或特征数据点、对象或特征的采样率或用于将原始数据转换或投影成正交时间序列的技术，并且其中该方法通过使用至少一个参数减少通过无线载体***传输到云层的车辆视频数据，以仅跟踪单个视频帧内的某些对象或特征；
·发送处理的视频数据步骤还包括经由无线载体***将处理的视频数据从车辆层发送到雾层，并将处理的视频数据从雾层发送到云层；
·发送处理的视频数据步骤还包括在雾层缓存处理的视频数据中的至少一些；
·发送索引数据步骤还包括经由无线载体***将索引数据从车辆层发送到雾层和/或云层；
·将处理的视频数据与索引数据隔离，使得数据平面与控制平面保持分开；
·发送索引数据步骤还包括发送选自由以下项组成的列表的至少一条索引数据：情景数据、内容或标签数据、搜索数据、检索数据、索引命令或控制命令；
·重建步骤还包括从雾层搜索和检索处理的视频数据以及从云层搜索和检索索引数据，该索引数据先前已保存，以便在云层处重建车辆场景，其中基于正在重建的车辆场景的位置来检索先前保存的数据；
·保存的数据由先前由正在重建的车辆场景的位置驱动的多个车辆提供；
·评估步骤还包括通过生成表示***对重建的车辆场景的准确性或完整性的置信度的置信水平分数来评估重建的车辆场景；
·评估步骤还包括：将置信水平分数与置信度阈值进行比较，当置信水平分数大于置信度阈值时，则调整数据提取参数，使得由车辆层提供更少处理的视频数据和或索引数据，并且当置信水平分数不大于置信度阈值时，则调整数据提取参数，使得由车辆层提供更多处理的视频数据和或索引数据；
·进行调整步骤还包括调整选自由以下项组成的列表的至少一个数据提取参数：基于时间的采样率、图像分辨率、图像颜色深度或图像视野(FOV)，使得需要来自所述车辆层的更多或更少的数据；
·采集步骤还包括利用位于车辆层的第一车辆上的一个或多个车辆相机采集车辆视频数据，而进行调整步骤还包括对由车辆层的第二车辆使用的数据提取参数进行调整，其中第二车辆在第一车辆之后遇到车辆场景；以及
·基于车辆场景重建的结果生成用于自主或半自主车辆的一个或多个命令。
根据另一方面，提供一种用于重建车辆场景的基于云的***，包括：具有多个自主或半自主车辆的车辆层，这些车辆中的每个包括一个或多个车辆相机；雾层，其具有硬件并经由无线载体***连接到车辆层；以及云层，其具有硬件并经由无线载体***连接到车辆层并连接到雾层；车辆层硬件被配置为：利用车辆相机采集车辆视频数据，使用根据一个或多个数据提取参数实行的一种或多种数据提取技术处理车辆视频数据，将处理的视频数据发送到雾层和/或云层，并且将索引数据发送到雾层和/或云层；云层硬件被配置为：使用处理的视频数据和索引数据重建车辆场景，评估重建的车辆场景以确定是否需要来自车辆层的更多数据、更少数据或不同数据，并且对由车辆层使用的数据提取参数进行调整；其中调整基于确定需要来自车辆层的更多数据、更少数据或不同数据。
附图说明
在下文中将结合附图来描述一个或多个示例性实施方案，其中类似的标号代表类似的元件，并且其中：
图1是包括车辆层、雾层和云层的***的实施方案的示意性框图，并且车辆层包括可使用的车辆硬件的示意性框图；
图2A和图2B是示出用于在云层处重建车辆场景的方法的实施方案的流程图，其中该方法可与图1的***结合使用；
图3是可以与图2中的方法一起使用的数据提取步骤的第一实施方案的示意性框图，其中第一实施方案采用不同下采样技术的组合；以及
图4是可以与图2中的方法一起使用的数据提取步骤的第二实施方案的示意性框图，其中第二实施方案采用压缩采样技术。
具体实施方式
本文公开的方法和***在车辆处采集数据(例如，由一个或多个相机捕获的车辆视频数据)，根据一种或多种数据提取技术处理采集的数据，并将处理的数据提供给云层，该云层重建车辆遇到的场景(scenario)或场景(scene)。通过在云层处重建遇到的场景，该方法和***然后可以为该车辆或附近的其他车辆生成各种命令，其解决车辆正在经历的状况。这在自主或半自主车辆的情景下可能尤其有用。如果重建的场景不够精确或不详细，则该方法和***可以调整一个或多个数据提取参数，使得向云层提供附加数据；如果重建的场景足够准确但是产生太多的蜂窝数据费用，则该方法和***可调整数据提取参数，使得向云层提供更少的数据，并且减少所产生的蜂窝数据费用。本方法和***被设计成以迅速、成本有效和灵活的方式实行上述任务。
现在转到图1，示出了用于控制自主或半自主车辆的车队的基于云的***10的示例的示意性框图，其中该***能够实行本方法。如本文所使用的，短语“自主或半自主车辆”广泛地表示能够在没有驾驶员请求的情况下自动执行与驱动相关的动作或功能的任何车辆，并且包括属于汽车工程师学会(SAE)国际分类***1至5级内的动作。***10可包括车辆层20、雾层22和云层24，并使用无线载体***26进行通信。应当理解，虽然***10根据三层通信网络架构(即，车辆-雾-云层)来表示，但这仅仅是***架构的示意性示例，并且可替代地使用其他架构。
车辆层20包括一个或多个自主或半自主车辆30、30′(例如，车辆层可包括此类车辆的车队)，其中每个都配备有与***10的其他部件采集、处理和交换数据所需的必要硬件和软件。根据非限制性示例，车辆30是自主或半自主车辆，并且包括车辆硬件32，其具有一个或多个车辆相机40、一个或多个车辆传感器42、44、车辆数据处理模块46、车辆通信模块48、车辆自动驱动模块50、其他车辆电子模块52，以及实行自主或半自主驱动功能所需的***、模块、装置、部件、硬件，软件等的任何其他合适组合。车辆硬件32的各种部件可通过车辆通信网络56(例如，有线车辆通信总线、无线车辆通信网络或一些其他合适的通信网络)连接。
技术人员将理解，车辆硬件32的示意性框图仅意味着说明与本方法一起使用的更相关的硬件部件中的一些，并且并不意味着通常在此种车辆上发现的车辆硬件的精确或详尽的表示。此外，车辆硬件32的结构或架构可基本上与图1中所示的结构或架构不同(例如，相机40和/或传感器42、44可以直接连接到车辆通信网络56和/或模块46至52的某种组合；或相机40、传感器42、44和/或模块46至52可以根据一些其他布置彼此组合或集成，而不是全部都是单独的独立部件，仅举几个可能性)。因此，由于无数个潜在布置并且为了简洁和清楚起见，结合图1所示的实施方案描述了车辆硬件32，但是应当理解，本***和方法不限于此。
车辆相机40安装在车辆30上，并且可包括工业中已知或已使用的任何合适的***。尽管以下示例描述了在产生对应图像的视频或静态相机的情景下的车辆相机40，但是除了传统相机之外或代替传统相机，车辆相机40可包括基于雷达、基于激光雷达、基于超声波和/或其他类型的视觉***。因此，车辆相机40不限于任何特定类型的车辆视觉***，只要其能够采集关于车辆周围环境的图像、表示和/或其他信息。根据非限制性示例，车辆30包括位于车辆周围的CMOS相机或图像传感器40的集合，包括多个面前向CMOS相机，其提供可以随后拼接在一起的数字图像，以产生车辆前方和/或侧面的道路和环境的2D或3D表示。车辆相机40可将车辆视频数据提供给车辆硬件32的一个或多个部件，包括车辆数据处理模块46。根据具体应用，车辆相机40可为：静态相机、摄像机、雷达单元、激光雷达单元和/或一些其他类型的图像生成装置；BW和/或彩色相机；面向前、面向后和/或面向360°的相机；单声道和/或立体声***的一部分；模拟和/或数码相机；短程、中程和/或远程相机；以及宽和/或窄FOV(光圈角度)相机，仅举几个可能性。在一个示例中，车辆相机40输出原始车辆视频数据(即，没有或很少预处理)，而在其他示例中，车辆相机40包括图像处理资源并且在将捕获图像输出为车辆视频数据之前对捕获图像执行预处理。
车辆传感器42、44安装在车辆30上，并且可包括工业中已知或已使用的任何合适的传感器类型。尽管以下示例在环境传感器的情景下在车辆动态传感器和车辆传感器44的情景下描述车辆传感器42，但是应当理解，这些仅仅是示例。因此，车辆传感器42、44不限于任何特定类型的传感器，只要其能够提供以某种方式解释、补充和/或增强来自车辆相机40的对应车辆视频数据的车辆传感器数据。根据非限制性示例，车辆传感器42测量车辆30的位置、速度或加速度、稳定性(例如，车轮打滑、牵引力损失)和/或一些其他操作参数。比如，车辆传感器42可以在车辆相机40输出车辆视频数据的同时以车辆位置信息(例如，GPS坐标)的形式输出车辆传感器数据，使得来自相机的图像可以与此时车辆的特定位置相关联。另一方面，车辆传感器44可以测量外部或环境条件(例如，温度、降水、夜间/白天条件等)、道路条件(例如，道路表面的类型、道路中的弯道或弯曲、分岔路口、发布的速度限制等)、交通条件等。例如，车辆传感器44可在车辆相机40捕获车辆视频的同时感测外部温度和/或检测道路上的流冰区，使得视频的不同帧可以与当时车辆正在经历的对应条件相关或连接。通过同时采集车辆传感器数据以及车辆视频数据，***10能够更好地精确地重建车辆所经历的场景和状况，如将要解释的。
车辆数据处理模块46、车辆通信模块48、车辆自主驱动模块50以及其他车辆电子模块52可包括任何合适的部件并且可根据工业中已知或已使用的任何合适的配置来布置。因为模块46至52的特定架构并不重要，并且因为这些模块可以根据许多不同的实施方案来提供，所以模块46的部件的以下描述可以应用于任何模块46至52，除非另有说明。比如，模块46至52中的每个可包括一个或多个处理装置60、存储器装置62、I/O装置，以及通常在此类模型上找到的任何其他硬件和/或软件。处理装置60可以是能够处理电子指令的任何类型的装置，包括微处理器、微控制器、主处理器、控制器、车辆通信处理器、通用处理单元(GPU)、加速器、现场可编程门控阵列(FPGA)和专用集成电路(ASIC)，仅举几个可能性。其可以是仅用于模块46的专用处理器，或可以与其他车辆***、模块、装置、部件等共享。处理装置60可以执行各种类型的电子指令，诸如存储在存储器装置62中的软件和/或固件程序，其使得模块46能够执行各种功能。存储器装置62可以是非暂时性计算机可读介质；这些包括不同类型的随机存取存储器(RAM)，包括各种类型的动态RAM(DRAM)和静态RAM(SRAM))、只读存储器(ROM)、固态驱动器(SSD)(包括其他固态存储装置，诸如固态混合驱动器(SSHD))、硬盘驱动器(HDD)、磁盘或光盘驱动器，或电子存储信息的其他合适的计算机介质。在一个示例中，处理装置60执行程序或处理数据，并且存储器装置62存储程序或其他数据，以帮助执实行或支持本方法的至少一部分。
车辆数据处理模块46分别从车辆相机40和车辆传感器42、44接收车辆视频数据和车辆传感器数据，并且被设计成在将这些数据通过无线载体***26发送到***的雾层22和云层24之前处理、压缩和/或以其他方式准备这些数据。车辆数据处理模块46间接或直接连接到车辆相机40和车辆传感器42、44，以及其他模块48至52的任何组合(例如，经由车辆通信网络56)。车辆数据处理模块46可以与车辆相机和/或传感器40至44集成或组合，使得它们是单个封装模块或单元的一部分，或模块46可以与模块48至52中的任一个组合。
车辆通信模块48向车辆提供短程和/或远程无线通信能力，使得车辆可与***的雾层22和/或云层24通信和交换数据。比如，车辆通信模块48可包括短程无线电路，其实现与任何数量的附近装置的短程无线通信(例如，蓝牙TM、其他IEEE 802.15通信、Wi-FiTM，其他IEEE 802.11通信、车辆到车辆通信等)，以及包括蜂窝芯片组和/或车辆远程信息处理单元，其实现与不同层22、24的远程无线通信(例如，蜂窝、远程信息处理通信等)。根据一个非限制性示例，车辆通信模块48包括上述处理和存储器装置60、62、短程无线电路、蜂窝芯片组形式的远程无线电路，以及一个或多个天线64。车辆通信模块48间接或直接连接到车辆相机40和车辆传感器42、44，以及其他模块46、50、52的任何组合(例如，经由车辆通信网络56)。模块48可以与模块46、50、52中的任一个集成或组合。
车辆自主驱动模块50为车辆提供自主和/或半自主驱动能力，并且取决于特定实施方案，可为单个模块或单元或模块或单元的组合。比如，模块50可包括以下子模块(无论它们是硬件、软件或两者)：感知子模块、定位子模块和/或导航子模块。车辆自主驱动模块50的特定布置、配置和/或架构并不重要，只要该模块有助于使得车辆能够实行自主和/或半自主驱动功能。车辆自主驱动模块50间接或直接连接到车辆相机40和车辆传感器42、44，以及其他模块46、48、52的任何组合(例如，经由车辆通信网络56)。模块50可以与模块46、48、52中的任一个集成或组合。
车辆电子模块52可包括帮助实施本方法所需的任何其他合适的模块。比如，模块52可包括动力系控制模块(PCM)、发动机控制模块(ECM)、变速器控制模块(TCM)、车身控制模块(BCM)、牵引力控制或稳定性控制模块、巡航控制模块、转向控制模块、制动控制模块、信息娱乐模块等的任何组合。与先前的模块一样，车辆控制模块52可间接或直接连接到车辆相机40和车辆传感器42、44，以及其他模块46至50的任何组合(例如，经由车辆通信网络56)。模块52可以与模块46至50中的任一个集成或组合。
雾层22是***10的一部分，并且可包括与车辆层20和云层24通信以及实行本文所述的方法所需的硬件、固件、软件等的任何合适组合。比如，雾层22可包括实行各种边缘计算和本方法所需的其他任务所需的服务器、路由器、交换机、处理单元(例如，中央处理单元(CPU))、电路(例如，专用集成电路(ASIC))、数据存储装置80至84等的各种组合。雾层也称为“移动边缘计算(MEC)层”，并且这些术语在本申请中可互换使用。在一个实施方案中，雾层22包括能够为在车辆层20和云层24之间建立的数据平面实现高速、低延迟路径的硬件，以及用于从车辆层20中高速缓存视频数据和/或索引数据的硬件使得可以通过云层24访问和检索此种数据。
云层24是***10的一部分，并且可包括与车辆层20和雾层22通信以及实行本文所述的方法所需的硬件、固件、软件等的任何合适组合。云层24可包括实行与车辆场景重建相关联的不同任务以及其他自主车辆任务所需的服务器、路由器、交换机、处理单元(例如，中央处理单元(CPU))、电路(例如，专用集成电路(ASIC))、数据存储装置90等的各种组合。在一个实施方案中，云层24包括为与车辆层20和/或雾层22建立的数据平面和控制平面两者实现路径的硬件，以及重建各种车辆场景所需的硬件，如下面将描述的。由于雾层和云层架构二者领域的广泛知识，并且由于本方法和***不旨在限于任何特定的架构或布置，且可以与各种此类架构一起使用，所以省略了雾层22和云层24的附加详细描述。
***10使用无线载体***26来传送数据和其他信息，并且可包括在车辆层20、雾层22和云层24之间实行蜂窝通信和/或其他无线通信所需的硬件、固件、软件等的任何合适组合。蜂窝网络或无线载体***26优选为蜂窝电话***，其包括多个蜂窝基站BS(仅示出一个)、一个或多个移动交换中心(MSC)，以及将网络26与陆地网络连接所需的任何其他网络部件。无线载体***26可以实施任何合适的通信技术，包括例如模拟技术诸如AMPS，或数字技术诸如CDMA、W-CDMA或OFDMA(例如，3G、4G、5G等)或GSM/GPRS。如本领域技术人员将理解的，各种小区塔/基站/MSC布置是可能的并且可以与无线载体***26一起使用。比如，基站和小区塔可以共同位于同一地点或它们可以彼此远程定位，每个基站可以负责单个小区塔，或单个基站可以服务于各种小区塔，并且各种基站可以耦接到单个MSC，仅举几个可能的布置。无线载体***26的一个或多个段可以通过使用标准有线网络、光纤或其他光网络、有线网络、电力线、其他无线网络诸如无线局域网(WLAN)、或提供宽带无线接入(BWA)的网络、一些其他短程无线通信(例如，IEEE 802.11协议、WiMAX、ZigBeeTM、Wi-Fi直连、蓝牙或近场通信(NFC)中的任何一种)来实施。由于无线载体***领域的广泛知识，并且由于本方法和***不旨在限于任何特定***并且可以与各种此类***一起使用，所以省略了无线载体***26的附加详细描述。
现在转向图2的流程图，示出了本方法200的示例，其中该方法在车辆30处采集数据(例如，由车辆相机40捕获的车辆视频数据)，使用各种数据提取技术和参数来减少数据量，并将处理的数据提供给雾层22和/或云层24，其中可以重建车辆遇到的场景或状况。通过在雾层22和/或云层24处重建遇到的场景，该方法可以为附近的车辆30或其他车辆30′生成涉及用于解决当前状况的不同命令。如果云层24需要额外的数据或信息以进行精确和彻底的场景重建，则该方法可以根据需要调整数据提取参数；如果云层24需要更少的数据，则该方法可调整数据提取参数，使得提供更少的数据并且产生较低的蜂窝数据费用。
方法200的以下描述是在车辆30、30′间隔开(例如，相隔1英里)但是沿存在流冰区的相同的一段道路在相同方向上行驶的示例的情景下提供的。方法200使用来自车辆30、30′的信息来重建该场景(即，具有流冰区的路段)返回到云层24处并且为后面的车辆30′以及可能在附近的其他车辆生成合适的自主命令，使得它们能够成功地渡过流冰区。然而，流冰区场景仅仅是为了说明而简单地选择的一个可能的示例。本方法和***决不限于该示例，因为它们可以用于重建很多其他场景(scenario)、场景(scene)和/或状况，包括但不限于：不同类型的道路表面(例如，铺面道路、碎石路、泥路等)、不同的道路条件(例如干燥、潮湿、结冰、淹水的道路等)、不同的道路建设事件(例如，车道或道路封闭、车道换挡、弯路等)以及不同的道路对象场景(例如，坑洼、道路上的碎屑、位于道路一侧的残疾车辆等)，仅举几个示例。本方法和***可用于重建任何场景(scenario)、场景(scene)、环境和/或状况，其中此种重建可用于生成警报、警告、命令和/或以其他方式控制或管理一个或多个车辆，诸如自主或半自主车辆30、30′。
从步骤210开始，该方法采集并提供车辆视频数据。比如，步骤210可使用安装在车辆上的一个或多个车辆相机40来采集原始或重型车辆视频数据，并将此种数据提供给车辆数据处理模块46。车辆视频数据可包括包含许多单独的图像或帧的原始视频序列，或其可根据其他一些视频格式提供。一旦采集车辆视频数据并将其提供给模块46，该方法就可前进到步骤214。
在步骤214中，该方法使用不同的数据提取技术来减少车辆视频数据的量。技术人员将理解，如果该方法是通过无线载体***26发送由相机40提供的整个原始视频序列，特别是如果这在整个车队中倍增，则所得到的蜂窝数据费用将是巨大的。因此，步骤214通过采用可以在发送此类数据到云层24之前在车辆层20和/或雾层22处执行的一种或多种数据提取技术，来先行减少通过无线载体***26发送的数据量。图3示出了数据提取技术240的第一示例，图4示出了数据提取技术242的第二示例。可分开使用或一起使用的这些示例通过提取被认为重要的某些信息来减少车辆视频数据，并且可依赖于任何数量的数据提取技术和/或参数来完成。
现在转到图3，示出了数据提取技术240的第一示例，其使用不同下采样技术250至254的组合来减少原始视频序列260的量或大小，从而减少通过无线载体***或蜂窝网络26发送到云层24的数据的量。从时域下采样技术250开始，该方法使用基于时间的采样率形式的数据提取参数来从原始视频序列中采样单个视频帧262。如果原始视频序列260已经是离散时间信号(即，它已经是数字的，如图3所示)，则技术250通过减少基于时间的采样率来减少与原始视频序列260相关联的信息量，使得每单位时间对更少的单个视频帧或图像262进行采样。假设原始视频序列被提供为连续时间信号(即，它是模拟的)，则该方法可首先在应用基于时间的采样率之前将信号数字化，该基于时间的采样率可以由该方法设置和/或调整。在任一情况下，技术250采用基于时间的采样率，该采样率小于车辆相机40采用的对应的采样率，使得减少与视频相关联的信息量。技术人员将理解，各种合适的时域下采样技术可与技术250一起使用，并且该方法不限于任何特定的一种。
就像素域下采样技术252而言，该方法通过调整以下数据提取参数的一些组合来减少单个视频帧264中的每个的信息量或数据量：图像分辨率、图像颜色深度、图像视野(FOV)和/或图像压缩或类型(例如，JPEG，H.26x系列等)。技术252所使用的数据提取参数的特定组合应该导致每个单个图像264的数据小于由车辆相机40采集的原始视频序列260的对应图像的数据(即，更小的图像大小)。在一个示例中，像素域下采样技术252通过降低图像的分辨率和/或颜色深度以及通过裁剪被认为是不必要的图像的部分(即减少FOV)来减小一个或多个单个视频帧264的图像大小。技术人员将理解，存在增加、减少和/或以其他方式调整上述图像参数的许多方式，并且技术252可采用任何此类方式。
特征域下采样技术254通过标识被认为是重要的每个图像的特定方面并丢弃其他图像信息来减少与单个视频帧或图像266中的每个相关联的信息量或数据的量。比如，技术254可利用合适的光流或深度学习方法来生成对象列表的时间序列(例如，具有跟踪图像中的一个或多个对象的各种数据点的时间序列)。根据另一示例，技术254可使用合适的局部特征检测器，例如SIFT、FAST、ORB等，来产生特征点的时间序列(例如，具有跟踪拐角、边缘或图像中对象的其他可标识特征的各种数据点的时间序列)。在又一示例中，技术254可采用某种类型的深度学习机制来创建用于图像分割的时间序列(例如，具有对应于已经除去了不必要的背景信息的遮盖后图像的各种数据点的时间序列)。本领域普通技术人员将理解，存在用于实行上述特征域下采样技术254的许多方式和方法，并且可采用任何此种方式。
下采样技术250至254可单独或一起使用，它们可顺序地或同时使用，或可根据一些其他布置使用它们。根据一个示例，时域下采样技术250通过减少单个视频帧262的数量来减少通过无线载体***26传输的数据量，像素域下采样技术252通过减少每个单个视频帧264的信息量来减少被传输的数据量，而特征域下采样技术254通过仅通过跟踪各个视频帧266内的某些对象或特征来减少信息量而减少数据量。上述下采样技术是不同的数据提取技术的示例，其中的每个可全部或部分地由车辆数据处理模块46执行，并且由一个或多个数据提取参数控制。对于技术250，基于时间的采样率是数据提取参数的非限制性示例；对于技术252，图像分辨率、图像颜色深度、图像视野(FOV)、图像压缩和图像类型是数据提取参数的非限制性示例；并且对于技术254，对象或特征的数量、对象或特征数据点的数量、对象或特征的采样率以及用于生成时间序列的技术是数据提取参数的非限制性示例。在某种意义上，***10是闭环的基于云的***，其采集车辆层20处的数据，在云层24处重建车辆层遇到的场景或状况，并确定重建的场景是否足够精确或详细以执行某些车辆功能，诸如控制一个或多个自主或半自主车辆。如果重建的场景不够精确，则该方法可对一个或多个数据提取参数进行调整(闭环控制)，使得可以更积极地在车辆层20处采集附加数据，即使这样做增加蜂窝数据费用。如果重建的场景足够精确，则该方法可对一个或多个数据提取参数进行调整(闭环控制)，使得从车辆层20发送更少的数据，这减少了蜂窝数据费用。以这种方式，该方法平衡了对云层24处的精确场景(scenario)或场景(scene)重建的足够数据量的需求和与将此类数据提供给云层相关联的成本。
现在转到图4，示出了数据提取技术242的第二示例，其使用视频压缩采样机制来减少与原始视频序列260相关联的数据量，从而减少通过无线载体***26发送到云层24的数据量。数据提取技术242是一种类型的信号处理技术，其被设计成在云层24处重建原始视频序列260，但是以有效和精确的方式来重建。技术人员将理解，为了使视频压缩采样技术适用，需要满足两个条件：稀疏和不相干。与密度相反，稀疏涉及一组为零的数据中的元素数量。在本示例中，原始视频序列260必须包括“稀疏”信号
Figure BDA0002090816110000131
其中元素或数据中的大多数为零；因此，压缩采样可以有效地减小视频数据的大小，同时保持视频帧序列的完整性。不相关是相关的反面，其涉及信号之间的关系，并且涉及一个信号可从另一个信号预测的程度。在本示例中，信号y的稀疏信号
Figure BDA0002090816110000132
和分解基数
Figure BDA0002090816110000133
必须是不相干的。假设满足这些条件，压缩采样步骤280的压缩采样数据或输出以抽象方式为
Figure BDA0002090816110000134
其中信号y也是稀疏信号但是足够大，以包含信号x的熵，并且信号x是稀疏信号。该压缩采样机制可以有效地减少视频帧序列数据量，同时保留视频序列中包含的信息熵。因此，数据提取技术242(即，视频压缩采样)对于网内稀疏采样场景是优选的。
一旦实行了数据提取或特征提取，该方法就前进到步骤216，其中处理的视频数据从车辆层20发送到雾层22和/或云层24。该方法优选地隔离处理的视频数据(其为数据平面的一部分)与索引数据(其为控制平面一部分)。例如，步骤216可经由无线载体***26将处理的视频数据从车辆层20发送到雾层22，并且从雾层发送到云层24；然而，索引数据可经由无线载体***直接从车辆层20发送到云层24。应当理解，在将处理的视频数据或索引数据发送到云层24之前，可在车辆层20和/或雾层22处实行数据处理、网络处理、数据缩减和/或其他技术的任何合适组合(不要求信号处理中的全部都发生在车辆上)。在一个示例中，车辆相机40向车辆数据处理模块46提供车辆视频数据，该车辆数据处理模块46处理车辆视频数据并将处理的视频数据提供给车辆通信模块48，该车辆通信模块48通过无线载体***26将处理的视频数据无线地发送到雾层22，并且雾层22继而缓存处理的视频数据中的一些(例如，在数据存储装置80至84处)和/或将处理的视频数据发送到云层24上。
步骤216优选地将处理的视频数据以及属于数据平面的其他类型的信息与属于控制平面的信息隔离或分离。这使得该方法能够单独控制涉及数据平面的高速缓存管理和涉及控制平面的索引管理，如本领域技术人员所理解的。例如，步骤216可通过无线载体***26将处理的视频数据(以及为数据平面指定的其他信息)无线地从车辆层20发送到雾层22，此时可将处理的视频数据从雾层转发到云层24和/或在雾层处高速缓存。技术人员将理解，数据平面(有时称为转发平面)通常构成通过装置或一系列装置(例如，路由器、交换机等)的更高速路径，而控制平面通常体现为较低速度或通过这些装置的较慢路径。出于这个原因，步骤216可沿数据平面将经过处理的视频数据打包发送，这些数据包穿过雾层22的装置到达云层24(而不是将它们打包发送，这些数据包被引导到雾层的装置以进行决策)。处理的视频数据包中的一些也可以被高速缓存或保存在雾层22以便随后检索。技术人员将理解，在这种情况下也可以应用其他变型或优化。
在步骤218中，索引数据经由无线载体***26从车辆层20发送到雾层22和/或云层24。潜在类型的索引数据的一些非限制性示例包括：情景数据(例如，时间信息、空间信息、驱动情景信息等)、内容或标签数据(例如，语义信息、对象信息等)、与车辆视频数据相关联或对应的其他类型的数据，以及各种类型的搜索、检索、索引和/或控制命令。在一些示例中，可以包括各种类型的元数据的索引数据帮助解释或提供正被捕获的相应车辆视频数据的情景。比如，如果车辆相机40在车辆30以特定速度、在特定方向上、在特定GPS位置行进时捕获车辆视频数据，同时接合特定车辆动态***(例如，当牵引力控制“打开”时)，前面的信息片段可由车辆传感器42、44提供，并且可以构成与对应的车辆视频数据相关联的索引数据，以便为视频提供更好的情景。技术人员将理解，控制平面通常构成比数据平面更低的速度路径，因为控制平面中的各种装置经常需要处理信息，而不是仅仅转发它。步骤218可以无线地将索引数据从车辆层20发送到雾层22以在那里进行处理，或无线地将索引数据从车辆层发送到云层24以在那里进行处理，或在发送到云层之前无线地将索引数据发送到雾层。尽管步骤218在图2中示意性地示出为在步骤216之后发生，但是应当理解，这些步骤可同时或以任何合适的顺序执行，并且不限于所示的特定序列。在一个示例中，车辆传感器42、44和/或车辆模块50、52向车辆数据处理模块46提供索引数据，该车辆数据处理模块46将索引数据提供给车辆通信模块48，该车辆通信模块48通过无线载体***26无线地将索引数据发送到雾层22和/或云层24。索引数据和提取的数据内容之间的同步可以在雾层22和/或云层24处进行。
步骤210至218可在出现这样的情况之前重复任何次数：***和方法需要在云层24处重建场景(scenario)或场景(scene)。考虑前面的示例，其中车辆30、30′沿具有流冰区的同一段路的相同一段道路，在相同方向上行进，但是车辆30、30′相距大约一英里。在这种场景下，第一车辆30在遇到流冰区时向雾层22和/或云层24提供处理的视频数据和索引数据，此时由车辆30提供的数据(例如，来自传感器42、44的索引数据)通知***10道路中有流冰区。更具体地，该方法可从此类传感器读数中确定流冰区的大致位置，以及其他特性，如流冰区的大小、严重性等。该方法可确定在云层24处重建流冰区场景将对后续车辆(如车辆30′)有益，使得可以提供帮助避免或最小化流冰区影响的补救指令(如果车辆30′是自主或半自主车辆，则这可能特别为真)；如果是，则方法前进到步骤230。
在步骤230，该方法使用先前提供的经处理的视频数据和/或索引数据来在云层24处重建特定场景或一组条件。这可以以任何数量的不同方式实行，并且可基于来自单个车辆的处理的视频数据或来自多个车辆的视频数据，每个车辆都驱动通过所讨论的位置。根据一个实施方案，步骤230通过从雾层22中的数据存储装置80至84和/或云层24中的数据存储装置90检索与该位置有关的处理的视频数据和/或索引数据，来重建特定位置或情景的场景。在重建过程利用来自先前由所讨论的位置驱动的多个车辆的处理的视频数据和/或索引数据，则步骤230可搜索并检索存储在数据存储装置80至84、90中的处理的视频数据(例如，在视频档案中搜索来自对应于同一位置的不同车辆的最新视频数据)，然后将相关视频数据与对应的索引数据拼接或以其他方式组合，使得重新组装对场景的精确描绘。来自一个车辆的经处理的视频数据可能已经捕获了来自另一车辆的视频镜头中遗漏的场景的特征或方面，因此，组合此类视频的多个源可产生所讨论的场景的更丰富和更完整的图像。
在流冰区的示例中，可从数据存储装置80至84、90检索来自车辆30的处理的视频数据和/或索引数据，以及来自图中未示出的先前车辆的处理的视频数据和/或索引数据，使得在云层24处尽可能最好地远程重建流冰区条件。此类条件可以包括如下细节：检测到流冰区的GPS坐标、检测到流冰区的车道内的位置(例如，流冰区位于车道的左半部分上)、流冰区的侧向或纵向大小(例如，流冰区是否在车道内纵向延伸相当长的距离)、流冰区对先前车辆的牵引力控制***的影响等。可从视频数据本身辨别这些和其他细节(例如，通过在图像分析期间使用冰的反射率)，或可从对应的索引数据，或可能从另一个源收集它们。在任何情况下，重建的场景可以帮助方法和***生成命令，使得后面的车辆30′可以避免或最小化流冰区的影响，如将要解释的。在一个可能的示例中，云层24使用全局视频索引器和搜索/检索接口来与雾层和/或云层中的数据存储装置进行交互以实行场景重建过程，但是其他实施方案也是可能的。
接下来，该方法在步骤232评估重建的车辆场景以确定是否需要更多或更少的与场景有关的数据。根据一个示例，该方法通过生成置信水平分数来评估重建的车辆场景，该置信水平分数表示该方法在重建的车辆场景的精确性或完整性方面的置信或确信程度。技术人员将理解，可使用许多不同技术中的一种来计算或以其他方式生成置信水平分数。例如，这包括使用以下迭代算法或协议：
X(i)＝x(i-1)+φT(y-φx(i-1))，
其中x(i)和x(i-1)表示原始数据表示格式中的数据，
Figure BDA0002090816110000161
表示将原始数据表示格式转换为新形成的数据表示格式的投影/转换因子，
Figure BDA0002090816110000162
表示新形成的数据表示格式。可采用各种技术来生成置信水平分数，其中任何一个均可在这里使用。
接下来，步骤234将置信水平分数与置信度阈值进行比较。如果置信水平分数不大于置信度阈值(即，等于或小于)，则该方法前进到步骤240，其中该方法调整一个或多个数据提取参数，使得该场景或位置的保真度或细节得到增强。在上述流冰区场景的示例中，如果步骤240确定在处理的视频数据中没有关于流冰区的位置的足够的细节或分辨率(即，置信水平分数小于置信度阈值)，然后步骤240可调整一个或多个数据提取参数，使得后续车辆30′可以采集附加信息。在一个实例中，步骤240可增加以下数据提取参数中的一个或多个：基于时间的采样率、图像分辨率、图像颜色深度、图像视野(FOV)、改变图像压缩或类型(例如，JPEG、H.26x系列等)和/或改变特征域下采样参数，仅列举几个可能性，使得关于流冰区的附加细节或信息可以由云层24收集并用于下一个车辆30′的益处。在步骤250中，云层24将调整后的数据提取参数发送到雾层22和/或车辆层20，使得可以实施改变。如前所述，以这种方式调整或修改数据提取参数可导致与该特定位置相关联的视频传输的蜂窝数据费用增加，但该方法将认为这是有价值的费用。
另一方面，如果置信水平分数大于置信度阈值，则该方法前进到步骤242，其中该方法调整一个或多个数据提取参数，使得减少该场景或位置的保真度或细节。这通常反映了***和方法不需要采集和发送视频数据中的全部的情况，并且为了减少不必要的蜂窝数据费用，该方法减少或降低所采集信息的保真度或细节。另外，步骤250涉及云层24将调整后的数据提取参数发送到雾层22和/或车辆层20，使得可以实施对应的改变。
在车辆层20处接收到调整后的数据提取参数之后，步骤254实施改变，使得车辆中的一个或多个根据修改的参数采集和/或减少数据。返回流冰区示例，假设步骤234、240中的方法确定需要来自处理的视频数据的附加信息(即，视频未提供完全分析流冰区所需的细节水平或对比度)，步骤254可以将数据提取参数改变发送到后面的车辆30′，使得当该车辆遇到流冰区时，其将以更高水平的保真度提供视频数据(即使这样做会产生额外的蜂窝费用)，用于在下一次改善场景重建。应当注意，步骤240、250中增加或增强处理的视频数据的保真度的指令可被限制或约束在流冰区周围的区域(例如，流冰区的位置或情景、行进方向等)，使得额外的蜂窝费用仅针对该小的或目标地理区域而不是针对所有区域。
作为任选步骤的步骤270基于车辆场景重建的结果生成用于自主或半自主车辆的一个或多个命令。再次参考流冰区示例，如果该方法确定车辆30在某个GPS位置遇到流冰区，并且流冰区仅在车道的左侧上，则步骤270可生成并发送自主驱动命令到车辆30′，指示其在接近流冰区的位置时逐渐移动到车道的右侧。当然，这假设没有阻碍车辆30′进行这种自主驱动操纵的障碍物或其他问题。技术人员将理解，转向、制动和/或加速命令仅是可响应于场景重建而提供给自主或半自主车辆30′的潜在驱动命令中的一些。当然还有许多其他命令存在。
应理解，前面的描述不是本发明的定义，而是对本发明的一个或多个示例性实施方案的描述。本发明不限于本文公开的特定实施方案，而是仅由下面的权利要求限定。此外，前面的描述中包含的陈述涉及特定实施方案，并且不应被解释为对本发明范围或权利要求中使用的术语的定义的限制，除非上文明确定义术语或短语。对于本领域技术人员来说，各种其他实施方案以及对所公开的实施方案的各种改变和修改将是显而易见的。例如，步骤的特定组合和顺序仅是一种可能性，因为本方法可包括步骤的组合，其具有比这里示出的步骤更少、更多或不同的步骤。所有此类其他实施方案、改变和修改旨在落入所附权利要求的范围内。
如在本说明书和权利要求中所使用的，术语“例如(for example)”、“例如(e.g.)”、“比如(for instance)”、“诸如(such as)”和“如(like)”，以及动词“包括(comprising)”、“具有(having)”、“包括(including)”和它们的其他动词形式，当与一个或多个部件或其他项的列表结合使用时，每个都被解释为开放式的，这意味着该列表不被视为排除其他附加部件或项。其他术语应使用它们最广泛的合理含义进行解释，除非它们在需要不同解释的情景中使用。此外，术语“和/或”应被理解为包含性的或。例如，短语“A、B和/或C”包括：“A”；“B”；“C”；“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (15)

1.一种利用基于云的***重建车辆场景的方法，所述基于云的***包括车辆层、雾层和云层，所述方法包括以下步骤：
利用一个或多个车辆相机采集车辆视频数据；
使用一种或多种数据提取技术处理所述车辆视频数据，根据一个或多个数据提取参数实行所述数据提取技术；
将所述处理的视频数据发送到所述雾层和/或所述云层；
将索引数据发送到所述雾层和/或所述云层；
使用所述处理的视频数据和所述索引数据在所述云层处重建所述车辆场景；
评估在所述云层处的所述重建车辆场景，以确定是否需要来自所述车辆层的更多数据、更少数据或不同数据；以及
对由所述车辆层使用的所述数据提取参数进行调整，其中所述调整基于确定需要来自所述车辆层的更多数据、更少数据或不同数据。
2.根据权利要求1所述的方法，其中所述数据提取技术包括选自由以下项组成的列表的至少一种技术：时域下采样技术、像素域下采样技术或特征域下采样技术。
3.根据权利要求2所述的方法，其中所述数据提取技术是所述时域下采样技术，并且所述数据提取参数是基于时间的采样率，并且其中所述方法通过使用所述基于时间的采样率来减少通过无线载体***传输到所述云层的所述车辆视频数据，以减少单个视频帧的数量。
4.根据权利要求2所述的方法，其中所述数据提取技术是所述像素域下采样技术，并且所述数据提取参数包括选自由以下项组成的列表的至少一个参数：图像分辨率、图像颜色深度、图像视野(FOV)、图像压缩或图像类型，并且其中所述方法通过使用所述至少一个参数来减少通过无线载体***传输到所述云层的所述车辆视频数据，以减少每个单个视频帧的信息量。
5.根据权利要求2所述的方法，其中所述数据提取技术是所述特征域下采样技术，并且所述数据提取参数包括选自由以下项组成的列表的至少一个参数：多个对象或特征、多个对象或特征数据点、对象或特征的采样率或用于将原始数据转换或投影成正交时间序列的技术，并且其中所述方法通过使用所述至少一个参数来减少通过无线载体***传输到所述云层的所述车辆视频数据，以仅跟踪单个视频帧内的某些对象或特征。
6.根据权利要求1所述的方法，还包括以下步骤：
将所述处理的视频数据与所述索引数据隔离，使得数据平面与控制平面保持分开。
7.根据权利要求1所述的方法，其中所述发送所述索引数据的步骤还包括发送选自由以下项组成的列表的至少一条索引数据：情景数据、内容或标签数据、搜索数据、检索数据、索引命令或控制命令。
8.根据权利要求1所述的方法，其中所述重建步骤还包括从所述雾层搜索和检索处理的视频数据，以及从所述云层搜索和检索索引数据，所述索引数据先前已保存，以便在所述云层处重建所述车辆场景，其中基于正在重建的所述车辆场景的位置来检索所述先前保存的数据。
9.根据权利要求8所述的方法，其中所述先前保存的数据由先前由正在重建的所述车辆场景的所述位置驱动的多个车辆提供。
10.根据权利要求1所述的方法，其中所述评估步骤还包括通过生成表示所述***对所述重建的车辆场景的准确性或完整性的置信度的置信水平分数来评估所述重建的车辆场景。
11.根据权利要求10所述的方法，其中所述评估步骤还包括：将所述置信水平分数与置信度阈值进行比较，当所述置信水平分数大于所述置信度阈值时，则调整所述数据提取参数，使得由所述车辆层提供更少处理的视频数据和/或索引数据，并且当所述置信水平分数不大于所述置信度阈值时，则调整所述数据提取参数，使得由所述车辆层提供更多处理的视频数据和/或索引数据。
12.根据权利要求11所述的方法，其中所述进行调整步骤还包括调整选自由以下项组成的列表的至少一个数据提取参数：基于时间的采样率、图像分辨率、图像颜色深度或图像视野(FOV)，使得需要来自所述车辆层的更多或更少的数据。
13.根据权利要求1所述的方法，其中所述采集步骤还包括利用位于所述车辆层的第一车辆上的一个或多个车辆相机采集车辆视频数据，而所述进行调整步骤还包括对由所述车辆层的第二车辆使用的数据提取参数进行调整，其中所述第二车辆在所述第一车辆之后遇到所述车辆场景。
14.根据权利要求1所述的方法，还包括以下步骤：
基于所述车辆场景重建的所述结果来生成用于自主或半自主车辆的一个或多个命令。
15.一种用于重建车辆场景的基于云的***，包括：
车辆层，所述车辆层具有多个自主或半自主车辆，所述车辆中的每个包括一个或多个车辆相机；
雾层，所述雾层具有硬件并经由无线载体***连接到所述车辆层；和
云层，所述云层具有硬件并经由所述无线载体***连接到所述车辆层并连接到所述雾层；
所述车辆层硬件被配置为：利用所述车辆相机采集车辆视频数据，使用根据一个或多个数据提取参数实行的一种或多种数据提取技术处理所述车辆视频数据，将所述处理的视频数据发送到所述雾层和/或所述云层，并且将索引数据发送到所述雾层和/或所述云层；
所述云层硬件被配置为：使用所述处理的视频数据和所述索引数据重建所述车辆场景，评估所述重建的车辆场景以确定是否需要来自所述车辆层的更多数据、更少数据或不同数据，并且对由所述车辆层使用的所述数据提取参数进行调整；
其中所述调整基于确定需要来自所述车辆层的更多数据、更少数据或不同数据。
CN201910505372.2A 2018-10-30 2019-06-11 用于重建云层处的车辆场景的方法和*** Active CN111127329B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/175,343 US10757363B2 (en) 2018-10-30 2018-10-30 Method and system for reconstructing a vehicle scene at a cloud layer
US16/175343 2018-10-30

Publications (2)

Publication Number Publication Date
CN111127329A true CN111127329A (zh) 2020-05-08
CN111127329B CN111127329B (zh) 2023-11-28

Family

ID=70326025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910505372.2A Active CN111127329B (zh) 2018-10-30 2019-06-11 用于重建云层处的车辆场景的方法和***

Country Status (3)

Country Link
US (1) US10757363B2 (zh)
CN (1) CN111127329B (zh)
DE (1) DE102019115676B4 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510178B2 (en) 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
WO2021108771A1 (en) * 2019-11-28 2021-06-03 Braid Health Inc. Medical imaging processing system
KR20210136496A (ko) 2020-05-08 2021-11-17 현대자동차주식회사 빅데이터를 이용한 배터리 수명 예측 시스템
KR20210142875A (ko) 2020-05-19 2021-11-26 현대자동차주식회사 빅데이터를 이용한 차량 파워 제어 시스템
KR20210144171A (ko) * 2020-05-21 2021-11-30 현대자동차주식회사 분산 클라우딩을 이용한 차량 제어 시스템
US11676392B2 (en) * 2020-06-03 2023-06-13 Waymo Llc Localization using surfel data
CN111752538B (zh) * 2020-06-23 2024-03-15 华人运通(上海)云计算科技有限公司 车端场景的生成方法、装置、云端、车端和存储介质
US11405462B1 (en) * 2021-07-15 2022-08-02 Argo AI, LLC Systems, methods, and computer program products for testing of cloud and onboard autonomous vehicle systems
CN113947893A (zh) * 2021-09-03 2022-01-18 网络通信与安全紫金山实验室 一种自动驾驶车辆行车场景还原方法及***
US11804129B2 (en) * 2021-10-06 2023-10-31 Ford Global Technologies, Llc Systems and methods to detect stalking of an individual who is traveling in a connected vehicle
WO2024035350A1 (fr) * 2022-08-11 2024-02-15 Société Générale Informatique Et Service Geiser Système d'analyse automatique et en temps différé d'image d'un flux vidéo notamment issue de vidéosurveillance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235080A1 (en) * 2007-06-29 2010-09-16 Jens Faenger Camera-based navigation system and method for its operation
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和***
CN104463842A (zh) * 2014-10-23 2015-03-25 燕山大学 一种基于运动视觉的车祸过程重现方法
CN108460734A (zh) * 2017-02-03 2018-08-28 哈曼国际工业有限公司 车辆驾驶员辅助模块进行图像呈现的***和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19828320A1 (de) 1998-06-25 1999-12-30 Bosch Gmbh Robert Bildübertragungsverfahren und -vorrichtung
US8576069B2 (en) 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
DE102010030068A1 (de) 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
EP4194887A1 (en) * 2016-09-20 2023-06-14 Innoviz Technologies Ltd. Lidar systems and methods
DE102017201789B4 (de) 2017-02-06 2021-03-18 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
US10593189B2 (en) * 2018-07-17 2020-03-17 Denso International America, Inc. Automatic traffic incident detection and reporting system
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235080A1 (en) * 2007-06-29 2010-09-16 Jens Faenger Camera-based navigation system and method for its operation
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和***
CN104463842A (zh) * 2014-10-23 2015-03-25 燕山大学 一种基于运动视觉的车祸过程重现方法
CN108460734A (zh) * 2017-02-03 2018-08-28 哈曼国际工业有限公司 车辆驾驶员辅助模块进行图像呈现的***和方法

Also Published As

Publication number Publication date
US10757363B2 (en) 2020-08-25
DE102019115676B4 (de) 2022-12-08
US20200137351A1 (en) 2020-04-30
CN111127329B (zh) 2023-11-28
DE102019115676A1 (de) 2020-04-30

Similar Documents

Publication Publication Date Title
CN111127329B (zh) 用于重建云层处的车辆场景的方法和***
CN108372857B (zh) 自主驾驶***的通过事件发生和情节记忆回顾进行有效情景感知
KR102618662B1 (ko) 자율 주행을 위한 3차원 특징 예측
CN108574929B (zh) 用于自主驾驶***中的车载环境中的联网场景再现和增强的方法和设备
KR102605807B1 (ko) 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
JP2022520968A (ja) 視覚画像データを用いたオブジェクト属性の推定
JP6946812B2 (ja) 学習サーバ及び支援システム
US20220396281A1 (en) Platform for perception system development for automated driving system
CN112183330B (zh) 基于点云的目标检测方法
US20230046691A1 (en) External environment sensor data prioritization for autonomous vehicle
US12013251B2 (en) Dynamic map generation with focus on construction and localization field of technology
CN116310673A (zh) 一种基于点云与图像特征融合的三维目标检测方法
WO2021233154A1 (zh) 可行驶区域检测方法、装置、设备及存储介质
KR20210024862A (ko) 계층적인 피라미드를 이용하여 객체를 검출하는 객체 검출 시스템 및 이의 객체 검출 방법
CN114821517A (zh) 用于学习神经网络以确定环境中车辆姿态的方法和***
US11531842B2 (en) Invertible depth network for image reconstruction and domain transfers
US10791534B1 (en) Synchronizing sensing systems
WO2022091689A1 (ja) 車両制御装置及びデータベースのデータ調整方法
US11544899B2 (en) System and method for generating terrain maps
JP2024515761A (ja) データ駆動型の動的に再構成された視差マップ
Quintero et al. Extended floating car data system-experimental study
CN108447290A (zh) 基于车联网的智能避让***
US20220230287A1 (en) Information processing device, information processing system, information processing method, and non-transitory storage medium
CN114581865A (zh) 深度神经网络中的置信度测量

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant