CN110072749B - 自主驾驶中交通动态与道路变化的检测 - Google Patents

Abstract

在一些实施例中，所公开的主题涉及用于与自主车辆一起使用的动态物体标识和环境变化的***和方法。为了有效地检测自主车辆或部分自主车辆的变化，实施例可以使用基于背景移除和图像相减的技术，这些实施例使用运动检测而不是对图像中的所有物体的完全物体标识。靠近路段的路测单元或云中的虚拟路侧单元、其他车辆或移动设备(例如，无人机)被用于检取和存储路段的背景图像，以由自主车辆使用。描述并要求保护其他实施例。

Description

自主驾驶中交通动态与道路变化的检测

本申请要求于2016年12月29日提交的美国专利申请序列第15/394,177号的优先权的权益，所述美国专利申请通过引用以其全部内容结合在此。

技术领域

本主题的实施例总体上涉及自主车辆，并且更具体地，涉及标识能够动态分析驾驶环境的环境和道路的变化。

背景

存在各种机制以用于视觉标识用于自主车辆的道路和物体。道路标识通常涉及使用相机或激光雷达(光探测和测距)对自主车辆要行驶的区域进行广泛的标测以用于创建高清晰度地图。现在开发的高度自动化车辆(HAV)依赖于详细的高分辨率地图。在标测时间和驾驶时间之间的环境变化可能导致标识错误，例如当出现坑洼或道路上有施工时。期望具有整个地球的精确地图也是不现实的。当在街区故意报告不准确的信息以驱动远离其区域的交通时的情况下，依赖众包更新也失败了。

现有的车载计算机视觉***依赖于机器学习算法(诸如卷积神经网络(CNN)或深度神经网络(DNN))来分析场景并从视频帧中提取物体。另外，使用雷达(无线电探测和测距)或激光雷达，并且来自它们的数据与从图像提取的数据融合。对于某些实现，激光雷达可能极其昂贵，而神经网络可能产生不正确的结果或被攻击者欺骗。机器学习算法对处理和内存要求很高，并且添加数据融合增加了计算能力的基础，这在创建自主或自驾驶车辆方面存在重大障碍。

附图说明

在不必按比例绘制的附图中，相同标号可以描述不同视图中的类似组件。具有不同字母后缀的相同标号可以表示类似组件的不同实例。一些实施例以举例的方式被展示并且不限于附图中的图，在附图中：

图1A是示出根据实施例的从自主车辆看到的示例图像帧的示图；

图1B是示出根据实施例的在已经移除前景(移动)物体之后的示例背景图像帧的示图；

图1C是示出从图1B中移除的前景物体的示图；

图2是示出根据实施例的用于使用路侧单元(RSU)来辅助自主车辆的***的框图；

图3是示出根据实施例的用于使用RSU来辅助交通管理的方法的流程图；

图4是示出根据实施例的RSU的各个组件的框图；以及

图5是示出可以在其上实现一个或多个实施例的机器的示例的框图。

具体实施方式

在以下描述中，出于解释的目的，阐明了各种具体细节以提供对一些示例实施例的透彻理解。然而，对本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下或者通过略微改变来实践本主题。

本说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，纵观本说明书，短语“在一个实施例中”或“在实施例中”在多个位置的出现不一定全部指同一实施例，或者指不同的或相互排他的实施例。

出于解释的目的，阐述了具体配置和细节以便提供对本主题的透彻理解。然而，对于本领域普通技术人员显而易见的是，所描述的主题的实施例可以在没有本文呈现的具体细节的情况下实施，或者以如本文所述的各种组合实施。此外，为了不混淆所描述的实施例，可省略或简化公知特征。在整个说明书中可以给出各种示例。这些仅是具体实施方案的描述。权利要求的范围或含义不限于给出的示例。

本主题的实施例是一种涉及与自主车辆一起使用的动态物体标识和环境变化的***和方法。为了有效检测自主车辆的变化，实施例可以使用基于背景移除和图像减法的技术。目前，计算机视觉不能检测道路上的变化(诸如坑洼)，并且现有技术可能难以有效地识别移动物体，其中当前算法在这些物体周围创建边界框。例如，现代算法将塑料袋与岩石区分开来是具有挑战性的，区分交叉路口的静止人员与刚要穿过的人也具有挑战性。

本文所描述的技术不同于用于自主车辆的传统目标检测，而是提供使用最小处理和计算能力的运动检测。专门的硬件和软件架构可用于检测运动和障碍物，而无需尝试识别移动的物体或在移动的车辆的道路中的物体。为了实现此目的，实施例可检测来自车辆相机的图像中的位移。在实施例中，为了检测位移，可以将基线背景图像、或模板与用车辆的相机捕获的图像进行比较。路侧单元(RSU)可用于提供背景模板。代替路上的RSU，可以从云、无人机、卫星通信、车辆到车辆通信检取模板或由车辆自身通过背景图像模板生成器生成模板。一种有效的***和解决方案是提供具有射频(RF)能力的两极或RSU。RSU可以使用任何数量的RF协议或频率，例如4G、5G、专用短程通信(DSRC)等。可以使用红外或其他视线可视通信方法。RSU可以能够记录路段的信息并基于简单的图像处理技术来协调交通流和外物识别。

背景图像模板可以是从车辆当前所在的点开始的场景准备视图，而没有任何外物。场景准备视图可以存储在RSU或云中，并由其他车辆使用以优化计算。

在实施例中，***使用车辆相机来记录道路并将信息存储在路侧单元(RSU)中并且上传到云以与其GPS坐标和道路信标(传感器数据作为视频帧的一部分)一起进行处理。还可以记录当天时间和天气状况，以确保正确地使用不断变化的风景。GPS坐标和道路位置确保图像减法的正确世界视角。另外，可以使用用于距离和运动计算的网格覆盖。

在实施例中，可以使用两个RSU：一个在路段的开始，另一个在路段的结束。通过这种方式，几乎世界上任何地方的任何铺砌或未铺砌的道路都可以很容易地被覆盖。因此，在实施中不需要大规模的基础设施。

在实施例中，***依赖于背景图像去除和用网格线覆盖减去的视频帧以用于距离和运动检测。来自RSU、GPS和附加元数据(时间、天气等)的传感器数据嵌入到图像帧中，以改善***的精度和可靠性。只有更改其位置或在帧内移动的物体保持可见。在这种情况下，可以激活附加的基于DNN或CNN的图像识别，并且如果雷达或激光雷达可用，则雷达或激光雷达可以用作补充解决方案。

参见图1A，示出了具有背景信息和前景信息的示例图像的表示。背景图像120A包括云、树、道路、远处的山等。在该示例中，汽车110在前景中示出。由于汽车110是移动的，因此不太可能出现在模板图像中，如图1B所示。图1B示出了仅具有背景图像数据120A的环境的背景图像帧，也称为模板图像或背景模板图像，即前景中没有汽车110。由于时间的推移、季节变化、植物生长、环境衰退(例如道路坑洼)等，背景图像帧120B可以与图1A中的图像120A稍微不同。

图1A还示出了所示出的路段的起点RSU 130和终点RSU 140的表示。RSU 130可以被称为“开始RSU”，并且RSU 140可以被称为与车辆的行进方向一致的“结束RSU。”应当理解，对于沿相反方向行进的车辆，可以反转开始和结束RSU指定。在该示例中，自主汽车(未示出)正在从页面底部到页面顶部的方向上行进。

如果RSU损坏或不可用，则车辆的车载计算机可以使用其自己的视频帧来移除背景，其中第一帧用作模板，并且之后的若干帧被对齐以移除背景。在当RSU丢失或损坏时的此类场景中，具有各种类型的传感器的多个汽车可以执行相同的活动来分析丢失/损坏的RSU周围的周围区域。在实施例中，车辆将标记图像并将它们的发现发送到云。在云中，执行相似性分析。基于DNN的评分结果和最终发现可能因车辆而异，这取决于传感器质量和/或视觉芯片处理能力。一旦相似性分析达到高精度，例如99.9％，就可以在云中创建“虚拟RSU”以充当丢失/损坏的RSU的虚拟实例，直到修复或替换该单元。在一些环境中，由于缺乏成本效率或放置物理RSU的可行性，许多或所有RSU将是虚拟的。随着时间的过去，云中的虚拟RSU节点可用于改善从道路中较旧的或过时的RSU接收的观察精度。

在实施例中，起点和终点RSU 130、140可以分别将模板视频帧流送到进入路段的车辆中并从离开它的车辆接收流。这些RSU 130、140是协调这条可能是乡村道路的道路上的交通流量所需的全部。该解决方案优于现有解决方案，该现有解决方案在汽车能够在道路上自驾驶之前首先需要创建道路的高分辨率地图。在现有***中，即使有相当精确的地图，该地图和汽车也不能轻易地适应不断变化的道路状况。

图2是示出根据实施例的用于使用路侧单元(RSU)来辅助自主车辆的***的框图。参考图2，示出了根据实施例的***设备和组件之间的通信的图示。道路201上的车辆210进入路段。在示例中，路段由RSU 221和RSU 223来限制边界。在该示例中，车辆210正从左向右行进，因此RSU 221在概念上是起点RSU，并且RSU 223是终点RSU。车辆210还包括图像收集***(诸如相机211)，以捕获道路201和环境的图像。为简单起见，在本文档中，术语“相机”可与术语“图像收集***”同义使用。在实施例中，图像收集***可以包括相机、相机组件、和车载处理器等。在实施例中，图像收集***可以包括相机和可选的其他组件和处理或计算设备、组件。车载处理器、或计算设备(未示出)也可以称为图像转发设备。图像转发设备可以从相机211接收图像并将它们转发到云240上的服务器。在实施例中，图像转发设备可以是相机组件的一部分。在另一实施例中，图像转发设备可以是车辆210上的单独的计算设备，该计算设备通信地耦合到相机211。相机和图像转发设备可以硬连线在一起或经由各种格式进行无线通信。图像转发设备可以包括通信链路或组件，或者可以耦合到发射器或收发器以将图像发送/转发到云240、无人机230或其他车辆(未示出)。

当在范围内时，车辆车载处理器与可用RSU 221、223进行通信。在替代实施例中，车载处理器可以与云240或无人机230进行通信。当RSU 221、223由于损坏，或者在放置RSU太昂贵或不方便的偏远区域中而不可用时，车载处理器可以与云240进行通信以上传图像和下载背景模板。在另一实施例中，当RSU 221、223损坏或不可用时，可以预先将无人机230发送到路段的区域以捕获模板的图像。无人机230包括相机231和其自己的机载处理器(未示出)。与车辆210一样，无人机的机载处理器可以是相机组件的一部分或者是单独的组件。无人机230可将捕获的模板传送到云240或直接传送到车辆210。

在所示的示例中，当车辆210进入路段时，图像帧从起点RSU 221被馈送到车辆中以用于掩蔽背景。例如，车辆相机211看到前方的下一条道路，如图1A所示。该图像可以转换为灰度级并进一步进行预处理。可以提供来自RSU 221的模板图像，如图1A所示。模板可用于产生导致背景移除的掩模，并且仅留下外物或道路的变化以用于理想视频帧。在该示例中，云是不同的，并且季节可以是不同的，如模板中山顶上的雪帽所指示(图1B)。标准算法，诸如但不限于，帧差分、近似中值、中值确定、卡尔曼滤波、高斯算法的混合等，可用于解释这些差异。在本示例中，当从图1A中的图像中掩蔽背景时，将保留的全部是即将到来的车辆110，如图1C中的那样。

在实施例中，可以移除来自风、雪或雨的噪声和其他伪影，以确保相机图像和掩模之间的紧密匹配。近红外(IR)图像可用于帮助比较具有季节性或环境差异(如雪、或雨)的帧。忽略环境差异允许更容易地标识运动或边界。大多数相机已经收集了近红外频率，但为了人类视觉将它们过滤掉。HDR(一个浮点通道)也可以帮助区分何时存在变化的照明条件。

使用计算机视觉的现有***可以使用边缘检测算法，该算法在尝试标识物体或移动时检测阴影。阴影被视为轮廓。为了区分物体，激光雷达或雷达用于标识形状。这些***可能非常昂贵。正在做一些工作来使用3D相机更好地标识物体。但是现有***难以在所有条件下检测物体。即使***能够将物体的边缘与阴影区分开，现有***也难以将道路上的塑料垃圾袋与坚固的岩石区分开。人类视觉可以更容易区分，因为人类使用物体行为中的提示来帮助标识它。例如，指示在风中移动的振动将使人相信该物体比岩石更像是袋子。

在现有***中，一些物体识别任务由DNN/CNN执行并且使用数百万个图像离线训练。一旦训练完成，识别***被安装在车辆中。因此，(通常)不再需要学习。

在实施例中，如在现有***中那样，物体识别的完全尝试由前景物体的运动检测和表征代替。可以通过车辆的车载计算机计算表征移动体的行为的附加物理参数。例如，如果塑料袋在道路上随风移动，则可以计算其速度和重量，并与物体及其属性的绝对运动参数的内部数据库进行比较，以确保安全驾驶。也就是说，塑料袋将以重的物体不能移动的速度移动。了解运动的范围和轨迹使算法能够了解物体的重量和硬度。在大多数情况下，在塑料袋上辗过比在类似尺寸的岩石上辗过不那么危险。能够区分这两个物体将避免自主车辆中的不适当的转向或破坏，从而不必要地避免无害物体。

基于不同的实施例，可以以不同的方式生成模板图像并将其提供给车辆。通常，模板需要具有与车辆的图像捕获***相同的世界视图，例如，相同的视角和高度。模板图像可以通过悬停无人机、与一个或多个RSU通信地耦合的路侧相机、专用移动图像捕获***、先前车载交通相机等来捕获。在实施例中，当RSU停机以用于维护，并且虚拟RSU不可用，或者车辆没有带宽覆盖以访问云时，车辆可以使用其自己的帧作为模板帧。在这种情况下，计算可能更复杂，因为初始背景图像不可用。使用类似于通过网络压缩视频流的技术。比较视频帧中的N-1帧和N帧。通过移除帧中随时间变化的部分作为移动物体，轻松地检测背景图像。在实施例中，可以以这种方式生成由RSU提供的第一模板图像，因为不存在第一背景图像。确定要提供哪个图像作为背景模板图像可以是自动的。可以使用简单的规则案例算法(rule-cased algorithm)或CASE语句来循环可用性选项，其中图像的本地生成是最终的手段。在这种情况下，然后可以将本地生成的背景图像上传到RSU或虚拟RSU作为要由通过路段的其他车辆使用的基线图像。

在实施例中，近红外频率图像可用于快速检测运动并标识背景。在实施例中，还可以收集彩色图像以通过辅助算法以用作双重检查机制。一旦生成背景模板图像，它将被存储或上传到地面上的RSU或云中的虚拟RSU。车辆可以使用各种通信方法。例如，LTE或5G，或任何其他类型的电信协议、和/或无线电波、和/或WiFi，或甚至视线可视协议可用于与云通信。在实施例中，当没有可用的常规蜂窝或宽带连接时，例如在农村地区，可以部署无人机以充当中继或接入点。无人机可以具有卫星宽带通信连接以立即将信息转发到云，或者在本地存储数据直到它可以进入具有宽带通信接入的区域，然后发送。车辆可以使用各种通信方法和协议与地面上的RSU进行通信，例如，蜂窝、点对点WiFi、蓝牙等。

当车辆210在RSU 223处离开路段时，其将其道路201的视图上传到终点RSU 223。起点和终点RSU 221、223可以对图像数据进行后处理并标记道路或者天气状况的变化并且将经处理的数据提交到云240中的交通管理***241(TMS)。应当注意，车辆可以从许多方向拍摄图像，从而无论驾驶方向如何都有益于其他车辆的数据。应当理解，在路段上行驶的有人驾驶和无人驾驶(自主)车辆都可以将图像数据发送到RSU和云。有人驾驶车辆可能无法直接利用图像，但是通过将它们发送到交通管理***241，更准确的本地环境模型对于自主车辆而言可用，并且可以用于导航和交通或事故报告***。

当车辆在路段上移动时，可以基于GPS坐标和惯性校正数据使来自RSU的模板图像帧与来自车辆相机的图像帧对齐，以用于更精确地选择帧。

在实施例中，起点RSU和终点RSU在视线中并且可以容易地通信。在另一实施例中，起点和终点RSU通过云中的虚拟RSU进行通信。

RSU可以被部署为用于自主运营的车队的安全装置。在实施例中，RSU可以收集关于所选类型的车队的数据，例如，在合并到交通中和/或对新出现的交通做出反应时，对卡车进行队列行驶(platooning)和卡车的操作。每当RSU发现卡车中的一辆存在差异时(例如，卡车的车箱自动解锁，车门打开并且有些物品掉出或伸出)，可以向卡车控制***和/或向云发送适当的警告。

RSU还可以用于根据道路状况收集关于卡车操作的数据，例如，在一条道路上(例如，条件良好且宽阔的道路)，卡车队列行驶算法有效地工作，而在另一条道路上(例如，充满了坑洼、紧密的道路)可以相应地优化和调整队列行驶算法。RSU可以基于环境来帮助评估各种场景并部署DNN和CNN网络以训练算法以用于更有效的和情况感知的队列行驶，尤其是当卡车转弯时。

类似地，当紧急车辆在道路上(例如，医疗紧急车辆、消防应急车辆)时，由其他车辆预期为其创建特定条件。可以给医疗车辆提供优先级。该优先级可以基于由RSU提供的信息。例如，专用路段的起点RSU和终点RSU可以通知存在于该相同路段上的乘客车辆如何为(多个)医疗车辆创建有效空间，例如，何时和何地拉到一侧，或加速或减速等。此外，可以在RSU 221、223上和/或云240中的处理器上执行对传入的医疗紧急车辆请求的实时优化。

图3是示出根据实施例的用于使用RSU来辅助交通管理的方法300的流程图。实施例可以标识环境中的前景物体。自主或部分自主车辆在起始位置进入路段。如果物理起点RSU可用，则在框301中，车辆从RSU下载视频帧以用作模板。如果RSU不可用，则车辆可以从云、卫星、或手机信号塔(cell tower)中的虚拟RSU下载帧，或捕获视频并使用车辆自己的视频帧作为基线模板。在替代实施例中，车辆可以提前或刚刚在进入路段之前发送无人机或请求无人机辅助。无人机可以捕获路段的视频以生成基线模板帧。在实施例中，无人机将模板帧发送到云中的虚拟RSU。在另一实施例中，无人机将帧直接发送到车辆并充当虚拟RSU。如果无人机无法飞得足够低以获得正确的视角，如从车辆中看到的那样，图像的换位或平移可以由无人机上的处理器或云中的处理器执行，以格式化图像以用于更好的图像相减。

一旦车辆获得模板、或图像，在框303中使来自RSU(或虚拟RSU)的帧与由车辆的相机***捕获的帧对齐。可以通过匹配相同GPS位置处的帧来辅助对齐。对齐可以在图像中使用地标。在实施例中，风景中的标记可以有助于定向和匹配来自不同源的不同图像。无人机可以携载涂料以添加作为风景的标记。如果算法在使来自不同车辆的图像对齐时出现问题，则无人机可以重新应用涂料。有许多技术可用于匹配帧，例如图片拼接(stitching)算法。在框305中比较和减去图像以移除背景。背景的移除应该揭示道路上的移动物体、坑洼、物品、或碎片等。当车辆穿过路段时，三维(3D)物体可被标识为移动物体，因为前景物体相对于车辆移动。可以通过比较相邻或邻近帧来快速标识移动物体。可以通过将它们的特性与数据库中的已知特征进行比较来标识或表征移动物体。针对所标识的前景物体计算运动物理性质。在框307中分析物体的移动及其形状，以标识前景物体及其运动矢量(如果适用)。不需要实际的物体标识。当避免实际物体标识时，可以更快地执行用于确定物体是否构成危险的分析。塑料袋在道路上的移动以及可能它的浮动运动可以与静止的岩石区分开。基于其运动矢量来标识物体是实心的还是浮动的，辅助自主车辆确定是避开物体还是驾驶穿过它。但是，将物体标识为实际的岩石或塑料袋并不重要。

在框309中，标记物体属性并绘制运动路径以预测物体在车辆接近时将在何处。在框311中，可以通过车辆操纵控制器调整车辆速度和任何所需的操纵以考虑前景物体。操纵算法可依赖于特定物体的已知属性。岩石可能需要避免，并且塑料袋可以驾驶通过。然而，内部具有物品的大型垃圾袋将被标识为要避免的物体，而不是被犁过的物体。例如，具有重物体的袋子的移动将与随风移动的无害的空袋子的移动不同。

在框313中，可以将具有外物的视频图像发送到终点RSU以用于进一步处理或者将其发送到云、卫星等中的交通管理***。在框315中，可以从背景中移除外物(前景)。在框317中，可以将背景图像上传到终点RSU，以辅助提供将来的图像模板。背景图像还可以被发送到云中的虚拟终点RSU。在实施例中，起点和终点RSU可以彼此直接通信以传播背景图像和前景图像。在另一实施例中，RSU可以经由到云的传输来彼此进行通信。并且在一些情况下，路段可以具有一个物理RSU和一个虚拟RSU作为起点和终点RSU。两个RSU(无论是物理的还是虚拟的)都负责处理路段的状况并在彼此之间以及云之间同步帧。

实施例标识移动物体或外物及其物理属性(诸如运动和重量)。可以使用其他技术(诸如DNN/CNN)来实现其他流程，诸如用于解释来自雷达的数据或者专门训练以检测道路边界的算法。可以合并来自若干流程的数据以用于决定车辆速度和方向。

再次参见图2，在实施例中，车辆210上的相机211具有机载处理器，并且可以耦合到包含运动属性(诸如速度和抖动)的数据库。应当注意，物体标识可以包括标识物体是存在的，以及关联其物理特性和运动特性，而不尝试标识实际物体类型。数据库可能包含物体的参数，该参数标识物体是否应该避免或是无害的。可以在相机组件中执行物体检测和运动分析。然而，这种实现可能导致相机非常昂贵。在另一实施例中，相机具有最小的计算能力，并且在云中执行物体检测和运动分析。在该实施例中，可以廉价地安装相机，并且如果存在破损或故障则容易地替换。在另一实施例中，相机与ECU(电子控制单元)通信以执行处理。ECU可以驻留在车辆上，但是是与相机分开的单元或组件。因此，如果相机被损坏，仍然可以相当便宜地替换。

图4是示出RSU和虚拟RSU的各种实施例的框图。自主车辆410可以与物理RSU 420或云中的虚拟RSU 435进行通信。虚拟RSU 435和交通管理***(TMS)431被示为驻留在云中的服务器430上。然而，应该理解，虚拟RSU 435和TMS 431可以驻留在单独的但被通信地耦合的节点或服务器上。在实施例中，RSU 420、435耦合到图像模板数据库429、439以保持背景图像帧。图像模板数据库429、439可以从车辆、无人机或其他源接收背景图像基线模板。在实施例中，RSU 420、435耦合到帧比较器组件427、437，以从环境的多个图像帧生成背景图像模板。帧比较器427、437可以耦合到背景图像模板生成器以比较所收集的图像并移除前景物体以生成模板背景图像。在实施例中，背景图像模板生成器可以包括在与帧比较器相同的组件中。在实施例中，背景图像模板生成器可以驻留在车辆上，使得即使当RSU对于车辆不可用时也可以生成背景图像模板。一旦生成，背景图像就存储在图像模板数据库429、439中，以供稍后传输到车辆410。RSU可以在接收新图像帧时动态地更新背景图像。在实施例中，可以固定背景图像直到明确更新。

在实施例中，存储在数据库429、439中的基线背景图像可以在预定时间量之后到期。当环境显著地但暂时地(例如由于雪或光照)变化时，老化的季节性基线可能很有用。山区可能有因季节而变化的背景模板，以便更快地进行分析。通过随时间的参数的简单改变，可以使老化的基线模板再次有效。RSU 420、435可以基于季节、照明、温度等自动地恢复基线模板。多个基线可以同时存在于数据库429、439中。RSU 420、435可以例如当温度、时钟或其他传感器可用时基于独立的季节性或天气知识来选择使哪个模板有效。在另一实施例中，可以基于来自帧比较器427、437的输出来选择有效背景模板。

交通管理***(TMS)431可以具有警报组件433，以在标识出障碍物或道路危险时广播警报。警报可以直接广播到车辆410或经由地面RSU 420上的警报组件423广播。在实施例中，RSU 420可以标识障碍物并向车辆410报警并广播到第二RSU 440以进行重新广播。

在实施例中，附加传感器，例如麦克风或其他音频信号捕获设备441，可用于标识移动、台阶、动物或群体(herd)噪声等。在实施例中，耦合到麦克风441的音频组件(未示出)可以被训练以标识雪崩发作、从悬崖产生的巨石、或动物群迁移等。在实施例中，音频组件可以驻留在RSU 440上或云中。音频组件将耦合到保持音频样本以用于比较的数据库，以标识目标声音，例如前述雪崩发作、从悬崖产生的巨石、动物群迁移、或车辆碰撞声音(如破碎玻璃、警报器等)。可以用时间戳记录音频信号，以确保发送的任何警报仍然相关。基于危险的特性，可以存储基于潜在危险的音频检测的警报以用于连续广播；定期广播；后来广播；或直接传输到车辆、其他RSU、或虚拟RSU。如果这些音频信号被触发，视觉***可能会对过马路的动物或阻挡道路的巨石处于高度警戒。RSU可以处理该信息并直接向车辆发送警报和/或向云中的TMS 431发送警告。TMS 431可以在车辆进入具有移动的路段之前很好地向车辆报警潜在的危险。警报可能导致车辆以较慢的速度进入该区域。

在另一实施例中，RSU可能不可用，但是路段可能具有高交通量。在这种情况下，车辆可以使用车辆到车辆通信来来回传递模板图像以供其他车辆使用。在这种情形下，车辆可以充当移动的虚拟RSU。

在实施例中，紧急车辆可以向TMS 431广播警告，该TMS 431可以在汽车进入或离开路段时向所述汽车发出警报。在另一实施例中，紧急车辆还可以利用车辆到车辆通信来与其他车辆进行通信。但是，在某些地形中，这种通信可能需要视线。因此，来自TMS的附加警报可能会提供更早的警告。

由于***是动态的，因此总是更新图像以记录对基础设施的永久性改变，诸如车道的扩展或对现有坑洼的修复。

图5是示出可以在其上实现一个或多个实施例的机器或计算设备500的示例的框图。在可替代实施例中，机器500可作为独立设备操作或者可以连接(例如，连网)至其他机器。在连网的部署中，机器500在服务器-客户端网络环境中可以在服务器机器、客户端机器、或两者的容量中操作。在示例中，机器500可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器500可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web电器、网络路由器、交换机或桥、或能够执行指定要由所述机器采取的动作的(顺序或以其他方式)指令的任何机器。此外，尽管仅示出了单个机器，但术语“机器”还可被认为包括机器的任何集合，其可独立地或结合地执行一组(或多组)指令来执行本文所讨论的方法中的任何一项或多项方法(诸如云计算、软件即服务(SaaS)或其他计算机集群配置)。

如本文所描述的示例可以包括逻辑或多个组件或机制或者可以由所述逻辑或多个组件或机制操作。电路是在包括硬件(例如，简单电路、门、逻辑等)有形实体中实现的电路的集合。电路成员关系可能随着时间和潜在的硬件可变性而变得灵活。电路包括可以单独或组合地在操作时执行指定的操作的成员。在示例中，电路的硬件可以被永恒地设计成执行特定操作(例如，硬接线的)。在示例中，电路的硬件可以包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，所述物理组件包括被物理地修改的(例如，对不变的大量粒子的磁性地、电气地、可移动地进行放置等)以对特定操作的指令进行编码的计算机可读介质。在连接物理组件时，硬件成分的底层电气性质例如从绝缘体变成导体或反之亦然。所述指令使得嵌入式硬件(例如，执行单元或加载机制)能够通过可变连接在硬件中创造电路的成员，从而在操作中时执行特定操作的部分。因此，当设备操作时，计算机可读介质通信地耦合到电路的其他组件。在示例中，物理组件中的任何一个可以用在多于一个电路的多于一个的成员中。例如，在运行时，执行单元可以在一个时间点用在第一电路***中的第一电路，并在不同的时间由第一电路***中的第二电路、或由第二电路***中的第三电路重新使用。

机器(例如，计算机***)500可以包括硬件处理器502(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核或其任何组合)、主存储器504和静态存储器506，所述组件的一些或全部组件可以经由互连链路(例如，总线)508彼此通信。机器500还可以进一步包括显示单元510、字母数字输入设备512(例如，键盘)、和用户界面(UI)导航设备514(例如，鼠标)。例如，显示单元510、输入设备512和用户界面导航设备514可以是触摸显示屏。机器500可以附加地包括存储设备(例如，驱动单元)516、信号生成设备518(例如，扬声器)、网络接口设备520以及一个或多个传感器521(诸如，全球定位***(GPS)传感器、指南针、加速度计或其他传感器)。机器500可以包括输出控制器528(诸如串行(例如，通用串行总线(USB)、并行、或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接以便通信或控制一个或多个***设备(例如，打印机、读卡器等)。

存储设备516可以包括机器可读介质522，其上存储有一组或多组数据结构或指令524(例如，软件)，所述一组或多组数据结构或指令524体现本文所描述的技术或功能中的任何一种或多种或由本文所描述的技术或功能中的任何一种或多种来利用。指令524还可以完全地或至少部分地驻留在主存储器504内、在静态存储器506内或在由机器500对其的执行期间驻留在硬件处理器502内。在示例中，硬件处理器502、主存储器504、静态存储器506或存储设备516的一个或任何组合可以构成机器可读介质。

虽然机器可读介质522被展示为单个介质，但是术语“机器可读介质”可以包括被配置成用于存储一个或多个指令524的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的缓存和服务器)。

术语“机器可读介质”可以包括能够存储、编码或承载用于由机器500执行的指令且使机器500执行本公开的技术中的任何一种或多种的任何介质或能够存储、编码或承载由这种指令使用或与这种指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光介质和磁介质。在示例中，大容量机器可读介质包括带有具有不变(例如，静止)质量的多个粒子的机器可读介质。因此，大容量的机器可读介质不是瞬态传播信号。大容量的机器可读介质的特定示例可包括：非易失性存储器，比如半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪速存储器设备；磁盘，如内置硬盘和可移除磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。

可以进一步利用多种传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种协议经由网络接口设备520使用传输介质通过通信网络526来传输或接收指令524。示例通信网络可以包括：局域网(LAN)、广域网(WAN)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络、以及无线数据网络(例如，电气与电子工程师协会(IEEE)802.11标准系列称为

IEEE 802.16标准系列称为

)、IEEE 802.15.4标准系列、对等(P2P)网络等等。在示例中，网络接口设备520可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线以用于连接到通信网络526。在示例中，网络接口设备520可以包括多个天线以便使用单输入多输出(SMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种技术来进行无线通信。术语“传输介质”应当包括能够存储、编码或承载供由机器500执行的指令的任何无形介质，并且“传输介质”包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形介质。

附加说明和示例

示例可以包括主题，比如，方法；用于执行所述方法的动作的装置；至少一种包括指令的机器可读介质，所述指令当由机器执行时使所述机器执行所述方法的动作；或根据本文中所描述的实施例和示例，用于检测和管理自主和部分自主车辆的交通动态的装置或***。

示例1是一种用于检测和避免道路危险的***，该***包括：图像帧比较器，用于接收背景图像模板并将背景图像模板与多个收集的图像帧中的至少一个图像帧进行比较，并且进一步用于从该收集的图像帧分离前景图像和背景图像，其中从路侧单元接收背景图像模板，其中背景图像模板对应于车辆要在其上行进的路段；以及车辆上的车辆操纵控制器，用于分析前景图像以标识道路上的危险以供避开。

在示例2中，示例1的主题可选地包括图像收集***，该图像收集***在操作中时通信地耦合到车辆，该图像收集***包括相机并且被布置成用于收集多个图像帧。

在示例3中，示例1-2中的任何一个或多个的主题可选地包括，其中，所述路侧单元是从由以下组成的组中选择的设备：靠近路段的路侧单元，以及在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。

在示例4中，示例1-3中的任何一个或多个的主题可选地包括：其中，***进一步包括：图像转发设备，用于将背景图像或前景图像中的至少一者转发到路侧单元。

在示例5中，示例1-4中的任何一个或多个的主题可选地包括：其中，为了分离前景图像和背景图像，图像帧比较器用于使该收集的帧与背景图像模板对齐，并且其中，图像帧比较器进一步用于标识与前景图像中的前景物体相对应的运动矢量。

在示例6中，示例1-5中的任何一个或多个的主题可选地包括，其中背景图像模板是从路侧单元、虚拟路侧单元、或耦合到车辆上的图像帧比较器的背景图像模板生成器中的一者接收的，其中背景图像模板生成器被布置成用于使用由图像收集***收集的图像来生成新的背景图像模板。

在示例7中，示例6的主题可选地包括，其中，背景图像模板生成器用于在没有可用的背景图像模板可从路侧单元或从虚拟路侧单元获得时操作。

在示例8中，示例1-7中的任何一个或多个的主题可选地包括，其中，车辆操纵控制器进一步用于响应于前景物体的标识来调整车辆速度。

在示例9中，示例1-8中的任何一个或多个的主题可选地包括，其中，车辆操纵控制器进一步用于响应于从路侧单元和网络中的交通管理***中的一者接收的警报来调整车辆速度。

示例10是用于辅助管理路段中的交通的路侧单元，包括：图像模板控制器，用于发送和接收与路段对应的图像；图像模板数据库，当在操作中时，耦合到图像模板控制器以用于存储与路段对应的图像，图像包括背景图像和前景图像，其中图像模板控制器用于从以下中的至少一者中接收与所述路段对应的所述图像：在路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备；图像帧比较器，用于比较与路段对应的图像帧中的至少两个，该比较用于使用减法从图像帧进一步分离前景图像与背景图像，并且用于从图像帧中移除前景物体以生成与路段对应的背景图像模板，该背景图像模板被存储在图像模板数据库中。

在示例11中，示例10的主题可选地包括：音频收集***，用于捕获与路段对应的音频信息，并且通信地耦合到音频数据库以存储目标声音的音频样本；音频分析组件，用于将所捕获的音频信号与音频样本进行比较，以标识目标声音的暂时存在(temporalpresence)；以及警报设备，用于发送目标声音存在于路段中的通知。

在示例12中，示例10-11中的任何一个或多个的主题可选地包括，其中，所述路侧单元是从由以下组成的组中选择的设备：靠近路段的路侧单元，以及在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。

在示例13中，示例12的主题可选地包括，其中，当在操作中，路侧单元与至少一个其他路侧单元通信以协调背景图像模板。

在示例14中，示例10-13中的任何一个或多个的主题可选地包括警报设备，用于从所分离的前景图像中标识道路危险物体，并用于发送已标识的道路危险物体的通知。

在示例15中，示例14的主题可选地包括：其中，通知要被发送到以下中的至少一者：在路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备。

示例16是一种用于检测路段上的物体的计算机实现的方法，包括：接收对应于路段的图像帧，该图像帧已经由通信地耦合到车辆的相机组件捕获；由车辆上的计算设备接收背景图像帧；使背景图像帧与对应于路段的所捕获的图像帧对齐；使所捕获的图像帧的背景部分和前景部分分离，其中前景部分包括所捕获的图像中的移动物体和临时物体，并且背景部分包括所捕获的图像中的稳定或通常不变的物体；标识前景部分中的物体的运动矢量并给该物体分配属性；将关于前景部分的信息(包括物体的所分配的属性)提供给车辆中的操纵控制器，以辅助确定车辆是否要基于所接收的信息来调整操纵。

在示例17中，示例16的主题可选地包括：将所捕获的图像帧的背景部分发送到路侧单元设备。

在示例18中，示例16-17中的任何一个或多个的主题可选地包括，其中，背景图像帧是从靠近路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，该虚拟路侧单元在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。

在示例19中，示例16-18中的任何一个或多个的主题可选地包括：其中，接收背景图像帧进一步包括：从车辆上的数据存储中检取至少两个捕获的图像帧；从所述至少两个捕获的图像帧的比较中生成本地背景图像帧；并且当背景图像帧不能从除了车辆上的组件之外的源获得时，使用本地背景图像帧作为背景图像帧。

在示例20中，示例19的主题可选地包括将所捕获的图像帧的背景部分发送到路侧单元设备，其中背景部分使用本地背景图像帧作为模板。

示例21是至少一种计算机可读存储介质，其上存储有指令，该指令当在处理器上被执行时使该处理器用于：接收对应于路段的多个图像帧；接收背景图像帧；使背景图像帧与对应于路段的该多个图像帧中的捕获的图像帧对齐；使该捕获的图像帧的背景部分和前景部分分离，其中前景部分包括该捕获的图像中的移动物体和临时物体，并且背景部分包括该捕获的图像中的稳定或通常不变的物体；标识前景部分中的物体的运动矢量并给该物体分配属性；接收关于前景部分的信息，包括物体的所分配的属性；以及将关于前景部分的信息(包括物体的所分配的属性)提供给车辆中的操纵控制器，以辅助确定车辆是否要基于所接收的信息来调整操纵。

在示例22中，示例21的主题可选地包括：指令，该指令用于将该捕获的图像帧的背景部分发送到路侧单元设备。

在示例23中，示例21-22中的任何一个或多个的主题可选地包括，其中，背景图像帧是从靠近路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，该虚拟路侧单元在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。

在示例24中，示例21-23中的任何一个或多个的主题可选地包括：其中，用于接收背景图像帧的指令进一步包括用于执行以下操作的指令：从车辆上的数据存储中检取至少两个捕获的图像帧；从所述至少两个捕获的图像帧的比较中生成本地背景图像帧；以及当背景图像帧不能从除了车辆上的组件之外的源获得时，使用本地背景图像帧作为背景图像帧。

在示例25中，示例24的主题可选地包括指令用于将捕获的图像帧的背景部分发送到路侧单元设备，其中背景部分使用本地背景图像帧作为模板。

示例26是一种用于检测交通动态的***，包括：用于执行示例16-20中任一项的方法的装置。

示例27是至少一种计算机可读存储介质，其上存储有指令，该指令当在处理器上被执行时，使处理器执行示例16-20中任一项的方法。

示例28是一种检测交通动态的***，包括：用于捕获对应于路段的图像帧的装置；用于接收背景图像帧的装置；用于使背景图像帧与对应于路段的所捕获的图像帧对齐的装置；用于使所捕获图像帧的背景部分和前景部分分离的装置，其中，前景部分包括所捕获的图像中的移动物体和临时物体，并且背景部分包括所捕获的图像中的稳定或通常不变的物体；用于标识前景部分中的物体的运动矢量并给该物体分配属性的装置；用于向车辆中的操纵控制器提供关于前景部分的信息(包括物体的所分配的属性)，以辅助确定车辆是否要基于所接收的信息来调整操纵的装置。

在示例29中，示例28的主题可选地包括：用于将所捕获的图像帧的背景部分发送到路侧单元设备的装置。

在示例30中，示例28-29中的任何一个或多个的主题可选地包括，其中，背景图像帧是从靠近路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，该虚拟路侧单元在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。

在示例31中，示例28-30中的任何一个或多个的主题可选地包括：其中，接收背景图像帧进一步包括：用于从车辆上的数据存储中检取至少两个捕获的图像帧的装置；用于从所述至少两个捕获的图像帧的比较中生成本地背景图像帧的装置；以及用于当背景图像帧不能从除了车辆上的组件之外的源获得时，使用本地背景图像帧作为背景图像帧的装置。

在示例32中，示例31的主题可选地包括用于将所捕获的图像帧的背景部分发送到路侧单元设备的装置，其中背景部分使用本地背景图像帧作为模板。

示例33是一种***，配置成用于执行示例1-32中的任何一个或多个的操作。

示例34是一种方法，用于执行示例1-32中任一项或多项的操作。

示例35是至少一种机器可读存储介质，包括指令，这些指令在由机器执行时使机器执行示例1-32中任一项或多项的操作。

示例36是一种***，包括用于执行示例1-32中任一项或多项的操作的装置。

本文描述的技术不仅限于任何特定硬件或软件配置；它们可在任何计算、消费性电子或处理环境中找到应用性。这些技术可以用硬件、软件、固件或其组合来实现，从而产生支持本文描述的实施例的执行或操作的逻辑或电路。

对于模拟，程序代码可以使用硬件描述语言或另一功能描述语言来表示硬件，该语言基本上提供了预期设计的硬件如何执行的模型。程序代码可以是汇编或机器语言，或是可被编译和/或解释的数据。此外，在本领域中通常将软件以一种或另一种形式称为采取动作或导致结果。这类表达仅仅是陈述由处理***使得处理器执行动作或产生结果的速记方式。

每个程序可以以高级程序化、声明性和/或面向对象的编程语言来实现，以便与处理***通信。然而，若需要，程序能以汇编语言或机器语言实现。在任何情况下，所述语言可以是编译语言或解释语言。

程序指令可以用于使利用这些指令所编程的通用或专用处理***执行本文中所描述的操作。替代性地，这些操作可以由含有用于执行这些操作的硬件连线的逻辑的特定硬件组件执行，或者由程序计算机组件和自定义硬件组件的任意组合执行。本文描述的方法可以作为计算机程序产品来提供，也被描述为可包括一个或多个机器可访问存储介质的计算机或机器可访问或可读介质，所述一个或多个机器可访问存储介质具有存储在其上的指令，这些指令可以用来对处理***或其他电子设备进行编程以执行所述方法。

程序代码可以存储在例如易失性和/或非易失性存储器中，例如存储设备和/或相关的机器可读或机器可访问介质，包括固态存储器、硬盘驱动程序、软盘、光存储器、磁带、闪存、存储棒、数字视频盘、数字多用途光碟(DVD)等等，以及如机器可读取生物状态保存存储等更特殊的介质。机器可读介质可以包括用于以机器可读的形式存储、传输、或接收信息的任何机制，并且介质可以包括有形介质，通过该有形介质，电子、光学、声学或其他形式的传播信号或编码程序代码的载波可以通过，如天线、光纤、通信接口等。程序代码可以以分组、串行数据、并行数据等形式传输，并且可以以压缩或加密格式使用。

程序代码可以在可编程机器上执行的程序中实现，例如移动或固定计算机、个人数字助理、智能电话、移动互联网设备、机顶盒，蜂窝电话和寻呼机、消费性电子设备(包括DVD播放器、个人视频录像机、个人视频播放器、***、立体声接收器、有线电视接收器)、和其他电子设备，每个电子设备包括处理器、处理器可读的易失性和/或非易失性存储器、至少一个输入设备和/或一个或多个输出设备。程序代码可以应用于使用输入设备输入的数据，以执行所描述的实施例并生成输出信息。输出信息可以应用于一个或多个输出设备。本领域普通技术人员可以理解，所公开的主题的实施例可以用各种计算机***配置来实践，包括多处理器或多核处理器***、小型计算机、大型计算机、以及可以是遍布式或微型计算机或几乎可以嵌入到任何设备中的处理器。所公开的主题的实施例还可以在分布式计算环境、云环境、对等或网络微服务中实践，其中任务或其部分可以由通过通信网络链接的远程处理设备来执行。

处理器子***可用于在机器可读或机器可访问介质上执行指令。处理器子***可以包括一个或多个处理器，每个处理器具有一个或多个核。另外，处理器子***可以设置在一个或多个物理设备上。处理器子***可以包括一个或多个专用处理器(诸如图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或固定功能处理器)。

尽管可以将操作描述为顺序过程，但是一些操作实际上可以并行、同时和/或在分布式环境中执行，并且程序代码在本地和/或远程存储以供单个或多个多处理器机器访问。另外，在一些实施例中，可以重新布置操作的顺序而不背离所公开的主题的精神。程序代码可以由嵌入式控制器使用或与之结合使用。

如本文所述，示例可以包括逻辑或多个组件、模块或机制，或可以在电路、逻辑或多个组件、模块或机制上操作。模块可以是通信耦合至一个或多个处理器从而执行在此所述的操作的硬件、软件、或固件。应当理解，模块或逻辑可以在硬件组件或设备、在一个或多个处理器上运行的软件或固件或其组合中实现。模块可以是通过共享或传送数据集成的相异且独立的组件，或模块可以是单个模块的子组件，或被拆分在若干模块之中。这些组件可以是在单个计算节点上运行或实现或被分布在并行地、同时地、顺序地或组合地运行的多个计算节点之中的过程，如结合图中的流程图更全面描述的。因此，模块可以是硬件模块，并且因为此类模块可以被当做能够执行特定操作并且能够以某种方式被配置或布置的有形实体。在示例中，电路可以以指定方式被安排(例如，内部地或关于外部实体(诸如其他电路))为模块。在示例中，可以由固件或软件(例如，指令、应用部分、或应用)将一个或多个计算机***(例如，独立的客户端或服务器计算机***)或一个或多个硬件处理器中的整个或部分配置为进行操作以便执行指定操作的模块。在示例中，软件可以驻留在计算机可读介质上。在示例中，软件在由模块的底层硬件执行时使硬件执行指定的操作。因而，术语“硬件模块”被理解为包括有形的实体，所述有形的实体是在物理上构建的、具体配置的(例如，硬接线的)、或临时(例如，暂时)配置的(例如，编程的)实体以便以指定的方式操作或执行在此描述的任何操作中的部分或全部。考虑其中模块被暂时配置的示例，不需要在任何一个时刻处例示每个模块。例如，模块包括通过使用软件配置、布置或调整的通用硬件处理器；通用硬件处理器可以在不同时间被配置为相应的不同模块。例如，软件可以从而配置硬件处理器以便在一个时间实例处构成特定模块并且在不同的时间实例处构成不同的模块。模块还可以是软件或固件模块，所述软件或固件模块运行以执行在此所述的方法论。

尽管已参照说明性实施例对本主题进行了描述，但是这种说明不旨在以限制性或局限性意义作出解释。例如，以上所描述的示例(或者其一个或多个方面)可以互相结合使用。诸如可由本领域普通技术人员在仔细阅读本文的公开内容之后使用其他实施例。本摘要用于允许读者快速发现本技术公开的性质。然而，应当理解，该摘要将不用于限制或解释权利要求的范围或含义。

Claims (26)

1.一种用于检测和避免道路危险的***，包括：

图像帧比较器，用于接收背景图像模板，并将所述背景图像模板与多个收集的图像帧中的至少一个进行比较，并进一步用于从所述收集的图像帧分离前景图像和背景图像，其中所述背景图像模板从路侧单元接收，其中所述背景图像模板对应于车辆要在其上行进的路段；以及

车辆上的车辆操纵控制器，用于分析所述前景图像以标识道路上的危险以供避开。

2.如权利要求1所述的***，进一步包括图像收集***，所述图像收集***在操作中时通信地耦合到车辆，所述图像收集***包括相机并且被布置成用于收集所述多个图像帧。

3.如权利要求1所述的***，其特征在于，所述路侧单元是从由以下组成的组中选择的设备：靠近所述路段的路侧单元，以及在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。

4.如权利要求1-3中任一项所述的***，其特征在于，所述***进一步包括：图像转发设备，用于将背景图像或前景图像中的至少一者转发到所述路侧单元。

5.如权利要求1-3中任一项所述的***，其特征在于，为了使前景图像和背景图像分离，所述图像帧比较器用于使所述收集的帧与所述背景图像模板对齐，并且其中，所述图像帧比较器进一步用于标识与所述前景图像中的前景物体相对应的运动矢量。

6.如权利要求2所述的***，其特征在于，所述背景图像模板是从路侧单元、虚拟路侧单元、或耦合到所述车辆上的所述图像帧比较器的背景图像模板生成器中的一者接收的，其中所述背景图像模板生成器被布置成用于使用由所述图像收集***收集的图像来生成新的背景图像模板。

7.如权利要求6所述的***，其特征在于，所述背景图像模板生成器用于在没有可用的背景图像模板能从所述路侧单元或从所述虚拟路侧单元获得时操作。

8.如权利要求5所述的***，其特征在于，所述车辆操纵控制器进一步用于响应于所述前景物体的标识来调整车辆速度。

9.如权利要求1所述的***，其特征在于，所述车辆操纵控制器进一步用于响应于从所述路侧单元和网络上的交通管理***中的一者接收的警报来调整车辆速度。

10.一种用于辅助管理路段中的交通的路侧单元，包括：

图像模板控制器，用于发送和接收与所述路段对应的图像；

图像模板数据库，当在操作中时，所述图像模板数据库耦合到所述图像模板控制器以存储与所述路段对应的图像，所述图像包括背景图像和前景图像，其中所述图像模板控制器用于从以下中的至少一者中接收与所述路段对应的所述图像：在所述路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备；

图像帧比较器，用于比较与所述路段对应的图像帧中的至少两个，所述比较用于使用减法从图像帧进一步分离前景图像与背景图像，并用于从所述图像帧中移除前景物体以生成与所述路段对应的背景图像模板，所述背景图像模板用于存储在所述图像模板数据库中。

11.如权利要求10所述的路侧单元，进一步包括：

音频收集***，用于捕获与所述路段对应的音频信息，并通信地耦合到音频数据库以存储目标声音的音频样本；

音频分析组件，用于将所捕获的音频信号与所述音频样本进行比较，以标识目标声音的暂时存在；以及

警报设备，用于发送所述目标声音存在于所述路段中的通知。

12.如权利要求10-11中任一项所述的路侧单元，其特征在于，所述路侧单元是从由以下组成的组中选择的设备：靠近所述路段的路侧单元，以及在操作时与车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、无人机或移动设备中的一者上的虚拟路侧单元。

13.如权利要求10-11中任一项所述的路侧单元，其特征在于，当在操作中时，所述路侧单元与至少一个其他路侧单元通信以协调背景图像模板。

14.如权利要求12所述的路侧单元，进一步包括：

警报设备，用于从所分离的前景图像中标识道路危险物体，并用于发送已经标识道路危险物体的通知。

15.如权利要求14所述的路侧单元，其特征在于，所述通知要被发送到以下中的至少一者：在所述路段中行进的车辆、另一个路侧单元、虚拟路侧单元、无人机或其他移动图像收集设备。

16.一种用于检测路段上的物体的计算机实现的方法，包括：

接收对应于路段的图像帧，所述图像帧已经由通信地耦合到车辆的相机组件所捕获；

由所述车辆上计算设备接收背景图像帧；

使所述背景图像帧与对应于路段的所捕获的图像帧对齐；

将所述所捕获的图像帧的背景部分和前景部分分离，其中所述前景部分包括所述所捕获的图像中的移动物体和临时物体，并且所述背景部分包括所述所捕获的图像中的稳定或通常不变的物体；

标识所述前景部分中的物体的运动矢量并将属性分配给所述物体；

将关于所述前景部分的包括所述物体的所分配的属性的信息提供给所述车辆中的操纵控制器，以辅助确定所述车辆是否要基于所接收的信息调整操纵。

17.如权利要求16所述的方法，进一步包括：

将所述所捕获的图像帧的所述背景部分发送到路侧单元设备。

18.如权利要求16所述的方法，其特征在于，所述背景图像帧是从靠近所述路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，所述虚拟路侧单元在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。

19.如权利要求16所述的方法，其特征在于，所述接收背景图像帧进一步包括：

从所述车辆上的数据存储中检取至少两个捕获的图像帧；

从所述至少两个捕获的图像帧的比较生成本地背景图像帧；以及

当所述背景图像帧不能从除了所述车辆上的组件之外的源获得时，使用所述本地背景图像帧作为所述背景图像帧。

20.如权利要求19所述的方法，进一步包括：

将所述所捕获的图像帧的所述背景部分发送到路侧单元设备，其中所述背景部分使用所述本地背景图像帧作为模板。

21.一种用于检测交通动态的***，包括用于执行权利要求16-20中任一项所述的方法的装置。

22.一种检测交通动态的***，包括：

用于捕获对应于路段的图像帧的装置；

用于接收背景图像帧的装置；

用于使所述背景图像帧与对应于路段的所捕获的图像帧对齐的装置；

用于将所述所捕获的图像帧的背景部分和前景部分分离的装置，其中所述前景部分包括所述所捕获的图像中的移动物体和临时物体，并且所述背景部分包括所述所捕获的图像中的稳定或通常不变的物体；

用于标识所述前景部分中的物体的运动矢量并将属性分配给所述物体的装置；

用于将关于所述前景部分的包括所述物体的所分配的属性的信息提供给车辆中的操纵控制器，以辅助确定所述车辆是否要基于所接收的信息调整操纵的装置。

23.如权利要求22所述的***，进一步包括用于将所述所捕获的图像帧的所述背景部分发送到路侧单元设备的装置。

24.如权利要求22所述的***，其特征在于，所述背景图像帧是从靠近所述路段的路侧单元、以及虚拟路侧单元中的至少一者中接收的，所述虚拟路侧单元在操作时与所述车辆通信并且驻留在耦合到网络的服务器、邻近的第二车辆、或无人机或其它移动设备中的一者上。

25.如权利要求22所述的***，其特征在于，所述接收背景图像帧进一步包括：

用于从所述车辆上的数据存储中检取至少两个捕获的图像帧的装置；

用于从所述至少两个捕获的图像帧的比较生成本地背景图像帧的装置；以及

用于当所述背景图像帧不能从除了所述车辆上的组件之外的源获得时，使用所述本地背景图像帧作为所述背景图像帧的装置。

26.至少一种机器可读介质，包括多条指令，所述指令响应于在计算设备上被执行而使所述计算设备执行如权利要求16到20中任一项所述的方法。

Images