CN116070341A - 传感器优化 - Google Patents

传感器优化 Download PDF

Info

Publication number
CN116070341A
CN116070341A CN202211327502.6A CN202211327502A CN116070341A CN 116070341 A CN116070341 A CN 116070341A CN 202211327502 A CN202211327502 A CN 202211327502A CN 116070341 A CN116070341 A CN 116070341A
Authority
CN
China
Prior art keywords
fixed
grid
sensors
sensor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211327502.6A
Other languages
English (en)
Inventor
海伦·E·库鲁斯-哈里根
W·T·布勒
J·格雷厄姆
S·雅尼谢夫斯基
C·布鲁克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN116070341A publication Critical patent/CN116070341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Computer Graphics (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“传感器优化”。可以基于网格元素来确定交通场景的三维网格模型。可以确定三维网格模型的与优先级区域和被遮挡的网格元素相对应的网格元素的权重。可以基于三维网格模型的网格元素来确定相应的固定传感器的网格覆盖范围。基于多个固定传感器的网格覆盖范围来确定矩阵。可以基于将贪婪搜索算法应用于矩阵、权重和对应于多个固定传感器的成本以基于多个固定传感器的姿态来使网格覆盖范围与成本的比率最大化来确定固定传感器的最佳子集。

Description

传感器优化
技术领域
本公开涉及车辆中的传感器***。
背景技术
数据可以由传感器获取，并且使用计算机来处理以确定关于环境中的对象的数据。感测***的操作可以包括获取关于***环境中的对象的准确且及时的数据。计算机可以从一个或多个传感器获取数据，即图像、激光雷达点云或雷达范围数据，所述数据可以被处理以确定对象的位置。计算机可以使用从传感器数据提取的对象位置数据来操作***，所述***包括车辆***、机器人***、安全***和对象跟踪***。
发明内容
根据本发明，提供了一种计算机，所述计算机具有：处理器；以及存储器，所述存储器包括可由处理器执行以进行以下操作的指令：基于网格元素来确定交通场景的三维网格模型；确定三维网格模型的与优先级区域和被遮挡的网格元素相对应的网格元素的权重；基于三维网格模型的网格元素来确定多个固定传感器中的相应固定传感器的网格覆盖范围；基于多个固定传感器的网格覆盖范围来确定矩阵；以及基于将贪婪搜索算法应用于矩阵、权重和多个固定传感器以基于多个固定传感器的姿态来使网格覆盖范围与固定传感器的数量的比率最大化来确定固定传感器的最佳子集。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过将包括交通场景的地图划分为连续网格元素的矩形阵列并确定网格元素中的相应网格元素的高程来确定三维网格模型。
根据实施例，基于卫星激光雷达数据或机载激光雷达数据中的一者或多者来确定高程。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过当模拟车辆行驶通过包括模拟交通的模拟交通场景时基于包括在模拟车辆中的模拟传感器来模拟视野来确定被遮挡的网格元素。
根据实施例，所述指令包括用于进行以下操作的另外的指令：基于对应于在一天中的一个或多个不同时间观察到的典型交通的模拟交通来确定被遮挡的网格元素。
根据实施例，优先级区域包括人行道、装载区和公共汽车站中的一者或多者。
根据实施例，多个固定传感器分别安装在杆、建筑物或结构中的一者或多者上，使得多个固定传感器的视野包括交通场景的各部分。
根据实施例，所述指令包括用于进行以下操作的另外的指令：基于从多个固定传感器中的相应固定传感器到三维网格模型的网格元素的视域分析来确定所述相应固定传感器的网格覆盖范围。
根据实施例，矩阵包括K×N关联矩阵，所述K×N关联矩阵包括对应于K个固定传感器配置的K行和对应于包括在相应的K个固定传感器配置的网格覆盖范围中的网格元素的N列。
根据实施例，贪婪搜索在K个固定传感器配置内使目标函数
Figure BDA0003908446590000021
最大化以确定固定传感器的最佳子集。
根据实施例，目标函数
Figure BDA0003908446590000022
其中Bkn是关联矩阵，Ck是K×1成本矩阵，Wn是应用于相应网格元素的权重，⊙是哈达玛积(Hadamard product)，并且
Figure BDA0003908446590000031
是外积。
根据实施例，所述指令包括用于进行以下操作的另外的指令：将固定传感器数据从固定传感器的最佳子集下载到车辆中所包括的第二计算机。
根据实施例，固定传感器数据包括基于包括在固定传感器数据中的对象的元数据，诸如边界框。
根据实施例，所述指令包括用于进行以下操作的另外的指令：基于传感器数据来确定车辆路径。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过控制车辆动力传动***、车辆转向和车辆制动器来在车辆路径上操作车辆。
根据本发明，一种方法包括：基于网格元素来确定交通场景的三维网格模型；确定三维网格模型的与优先级区域和被遮挡的网格元素相对应的网格元素的权重；基于三维网格模型的网格元素来确定多个固定传感器中的相应固定传感器的网格覆盖范围；基于多个固定传感器的网格覆盖范围来确定矩阵；以及基于将贪婪搜索算法应用于矩阵、权重和多个固定传感器以基于多个固定传感器的姿态来使网格覆盖范围与固定传感器的数量的比率最大化来确定固定传感器的最佳子集。
在本发明的一个方面，所述方法包括：通过将包括交通场景的地图划分为连续网格元素的矩形阵列并确定网格元素中的相应网格元素的高程来确定三维网格模型。
在本发明的一个方面，基于卫星激光雷达数据或机载激光雷达数据中的一者或多者来确定高程。
在本发明的一个方面，所述方法包括：通过当模拟车辆行驶通过包括模拟交通的模拟交通场景时基于包括在模拟车辆中的模拟传感器来模拟视野来确定被遮挡的网格元素。
在本发明的一个方面，所述方法包括：基于对应于在一天中的一个或多个不同时间观察到的典型交通的模拟交通来确定被遮挡的网格元素。
附图说明
图1是示例***通基础设施***的框图。
图2是交通场景的示例性图像的图示。
图3是包括视野的示例***通场景的图示。
图4是包括组合视野的示例***通场景的图示。
图5是包括网格元素的示例***通场景的图示。
图6是网格模型的示例性侧视图的图示。
图7是包括优先级区域的示例性网格模型的图示。
图8是包括被遮挡区域的示例性网格模型的图示。
图9是用于确定固定传感器的最佳子集的示例性过程的流程图图示。
图10是使用固定传感器的最佳子集来操作车辆的示例性过程的流程图图示。
具体实施方式
感测***可以获取关于***周围的环境的数据(例如图像数据)，并且处理所述数据以确定对象的身份和/或位置。例如，可以训练并然后使用深度神经网络(DNN)来确定由***中的传感器获取的图像数据中的对象，所述***包括车辆引导***、机器人操作***、安全***、制造***和产品跟踪***。车辆引导可以包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全***包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造***中，DNN可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪***中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。
车辆引导在本文中将被描述为使用计算机来检测交通场景中的对象(例如，车辆和行人)并且基于检测到的对象来确定操作车辆的车辆路径的非限制性示例。交通场景是交通基础设施***或车辆周围的环境，其可以包括道路的一部分以及包括车辆和行人等的对象。例如，交通基础设施***中的计算装置可以被编程为从包括在交通基础设施***中的一个或多个传感器获取一个或多个图像，检测图像中的对象，并且传送标识对象以及对象的位置的标签。传感器可以包括获取对应于可见或红外波长的光的图像的视频或静态图像相机。传感器可以是固定的，并且可以安装在杆、建筑物或其他结构上，以给予传感器包括交通场景中的对象的交通场景的视野。传感器还可以包括通常发射红外波长的光的激光雷达传感器、发射无线电波的雷达传感器以及发射声波的超声波传感器。激光雷达传感器、雷达传感器和超声波传感器都测量到环境中的点的距离。
在一些示例中，包括在交通基础设施***中的固定传感器可以获取交通场景的一个或多个图像，并且将图像数据连同描述固定传感器的位置和取向的数据传送到包括在交通场景中的车辆。包括在车辆中的计算装置可以确定图像数据中所包括的对象的真实世界坐标，并且基于检测到的对象来确定车辆路径。除了基于包括在车辆中的传感器确定的对象之外，还可以确定在从交通基础设施***下载的图像数据中确定的对象。包括在交通基础设施***中的固定传感器可以获取包括当前不在包括在车辆中的传感器的视野中的交通场景的部分的图像数据。例如，交通场景的部分可能被其他车辆(即交通)遮挡而在所述车辆的视野之外、被建筑物或树叶遮挡(即，在拐角或地形(诸如山丘或山谷)附近)、或者离得足够远而在包括在所述车辆中的传感器的范围之外。包括在交通基础设施***中的固定传感器可以安装在杆、建筑物或其他结构上，以提供交通场景的概况并向车辆提供包括当前不在包括在所述车辆中的传感器的视野中的交通场景的部分的图像数据。
可以通过通过使多个固定传感器的覆盖范围最大化来确定固定传感器的最佳布置来提高从交通基础设施***向车辆提供固定传感器数据的能力，其中覆盖范围是固定传感器的视野中所包括的交通场景的道路区域的百分比，同时使固定传感器成本最小化，即，使提供最大覆盖范围所需的固定传感器的数量最小化。固定传感器的最佳布置是基于固定传感器的组合视野。固定传感器的视野由固定传感器的位置和取向确定。固定传感器的位置包括高度并且相对于x、y和z正交轴进行测量。固定传感器的取向分别针对围绕正交的x、y和z位置轴的侧倾、俯仰和横摆旋转来描述。
可以通过使用贪婪搜索算法确定最佳布置来改进对固定传感器的最佳布置的计算，从而有利地避免需要确定并比较固定传感器的每个可能排列的覆盖范围以确定使用最少的固定传感器产生最大的覆盖范围的解决方案的详尽且计算费用高昂的搜索技术。固定传感器的最佳布置的计算可以任选地包括固定传感器成本，包括对应于安装固定传感器的成本。包括固定传感器成本可以允许进行平衡固定传感器覆盖范围与总体***成本的折衷研究。贪婪搜索算法可以找到固定传感器配置的子集的解决方案，然后可以将其组合以确定最佳解决方案。最佳解决方案通过增加分配给区域的权重同时使覆盖加权区域所需的固定传感器的数量最小化来为已经被指示为需要覆盖的道路区域提供覆盖。虽然通过本文讨论的技术确定的最佳解决方案可能不完全等于通过详尽搜索确定的最佳解决方案，但是可以证明所述最佳解决方案任意接近最佳解决方案，同时使用少得多的计算机资源在少得多的时间内实现所述最佳解决方案。
交通场景可以被描述为网格模型，所述网格模型是划分为对应于交通场景的相应的小(<1平方米)部分的连续网格元素的地图。可以对网格元素进行加权以对应于网格元素会被交通、建筑物或树叶、地形或距离遮挡而在车辆传感器的视野之外的概率。网格元素也可以被加权以对应于它们会被诸如行人或车辆等感兴趣的对象占用的概率。本文讨论的技术可以基于交通场景的加权网格模型通过使与实现覆盖所需的固定传感器的数量相对应的覆盖与成本的比率最大化来确定固定传感器的最佳布置。通过使覆盖范围基于加权网格模型，贪婪搜索模型使用比依赖于详尽的搜索技术的最佳解决方案少得多的计算机资源在少得多的时间内实现任意接近最佳解决方案的最佳解决方案。
本文公开了一种方法，所述方法包括：基于网格元素来确定交通场景的三维网格模型；确定三维网格模型的与优先级区域和被遮挡的网格元素相对应的网格元素的权重；以及基于三维网格模型的网格元素来确定多个固定传感器中的相应固定传感器的网格覆盖范围。可以基于多个固定传感器的网格覆盖范围来确定矩阵，并且可以基于将贪婪搜索算法应用于矩阵、权重和多个固定传感器以基于多个固定传感器的姿态来使网格覆盖范围与固定传感器的数量的比率最大化来确定固定传感器的最佳子集。可以通过将包括交通场景的地图划分为连续网格元素的矩形阵列并确定网格元素中的相应网格元素的高程来确定三维网格模型。基于卫星激光雷达数据或机载激光雷达数据中的一者或多者来确定高程。可以通过当模拟车辆行驶通过包括模拟交通的模拟交通场景时基于包括在模拟车辆中的模拟传感器来模拟视野来确定被遮挡的网格元素。基于对应于在一天中的一个或多个不同时间观察到的典型交通的模拟交通来确定被遮挡的网格元素。优先级区域可以包括人行道、装载区和公共汽车站中的一者或多者。
多个固定传感器可以分别安装在杆、建筑物或结构中的一者或多者上，使得多个固定传感器的视野包括交通场景的各部分。多个固定传感器中的相应固定传感器的网格覆盖范围可以基于从相应固定传感器到三维网格模型的网格元素的视域分析。矩阵可以包括K×N关联矩阵，所述K×N关联矩阵包括对应于K个固定传感器配置的K行和对应于包括在相应的K个固定传感器配置的网格覆盖范围中的网格元素的N列。贪婪搜索可以在K个固定传感器配置内使目标函数
Figure BDA0003908446590000081
最大化以确定固定传感器的最佳子集。目标函数
Figure BDA0003908446590000082
其中Bkn可以是关联矩阵，Ck可以是K×1成本矩阵，Wn可以是应用于相应网格元素的权重，⊙可以是哈达玛积，并且
Figure BDA0003908446590000083
可以是外积。可以将固定传感器数据从固定传感器的最佳子集下载到车辆中所包括的第二计算机。固定传感器数据可以包括基于包括在固定传感器数据中的对象的元数据，诸如边界框。可以基于传感器数据来确定车辆路径。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程为执行以上方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为：基于网格元素来确定交通场景的三维网格模型；确定三维网格模型的与优先级区域和被遮挡的网格元素相对应的网格元素的权重；并且基于三维网格模型的网格元素来确定多个固定传感器中的相应固定传感器的网格覆盖范围。可以基于多个固定传感器的网格覆盖范围来确定矩阵，并且可以基于将贪婪搜索算法应用于矩阵、权重和多个固定传感器以基于多个固定传感器的姿态来使网格覆盖范围与固定传感器的数量的比率最大化来确定固定传感器的最佳子集。可以通过将包括交通场景的地图划分为连续网格元素的矩形阵列并确定网格元素中的相应网格元素的高程来确定三维网格模型。基于卫星激光雷达数据或机载激光雷达数据中的一者或多者来确定高程。可以通过当模拟车辆行驶通过包括模拟交通的模拟交通场景时基于包括在模拟车辆中的模拟传感器来模拟视野来确定被遮挡的网格元素。基于对应于在一天中的一个或多个不同时间观察到的典型交通的模拟交通来确定被遮挡的网格元素。优先级区域可以包括人行道、装载区和公共汽车站中的一者或多者。
指令可以包括用于进行以下操作的另外的指令：将多个固定传感器分别安装在杆、建筑物或结构中的一者或多者上，使得多个固定传感器的视野包括交通场景的各部分。多个固定传感器中的相应固定传感器的网格覆盖范围可以基于从相应固定传感器到三维网格模型的网格元素的视域分析。矩阵可以包括K×N关联矩阵，所述K×N关联矩阵包括对应于K个固定传感器配置的K行和对应于包括在相应的K个固定传感器配置的网格覆盖范围中的网格元素的N列。贪婪搜索可以在K个固定传感器配置内使目标函数
Figure BDA0003908446590000091
最大化以确定固定传感器的最佳子集。目标函数
Figure BDA0003908446590000092
其中Bkn可以是关联矩阵，ck可以是K×1成本矩阵，Wn可以是应用于相应网格元素的权重，⊙可以是哈达玛积，并且
Figure BDA0003908446590000093
可以是外积。可以将固定传感器数据从固定传感器的最佳子集下载到车辆中所包括的第二计算机。固定传感器数据可以包括基于包括在固定传感器数据中的对象的元数据，诸如边界框。可以基于传感器数据来确定车辆路径。
图1是可以包括交通基础设施***105的感测***100的图示，所述交通基础设施***包括服务器计算机120和固定传感器122。感测***100包括车辆110。一个或多个车辆110的计算装置115可以从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等等(例如，动力传动***控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步所描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；另外地或可选地，车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。可替代地或另外地，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来用于在本公开中表示为计算装置115的装置之间的通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于通过车辆对基础设施(V2I)接口111经由网络130与远程服务器计算机120通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网
Figure BDA0003908446590000101
或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、
Figure BDA0003908446590000102
以及有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(例如根据专用短程通信(DSRC)和/或类似的通信)通过V2I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V2I)接口111传输到服务器计算机120或用户移动装置160。
如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用在计算装置115中接收的数据(例如，来自传感器116的传感器数据、服务器计算机120等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效的穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过十字路口的十字路口(无信号灯)最短时间。
如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子***的计算装置。示例包括动力传动***控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子***。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动***控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。
传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位***(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(例如，客车、轻型货车等)。车辆110包括一个或多个传感器116、V2I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110的操作环境相关的数据。作为举例而非限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声波传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用来感测车辆110操作所处的环境，例如，传感器116可检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的执行。
车辆110可以被配备成以自主模式和乘员驾驶模式两者操作。半自主模式或完全自主模式意指车辆可以由作为具有传感器和控制器的***的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可能被占用或未被占用，但是在任一种情况下，都可在没有乘员协助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动***)、制动和转向中的每一个由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一个或多个。在非自主模式中，这些都不由计算机控制。
图2是交通场景200的图示。交通场景200包括在十字路口206处汇合的道路202、204。可以通过包括在交通基础设施***105中的固定传感器122来辅助如上面关于图1所讨论的以自主或半自主模式操作的车辆110在道路202、204上操作。固定传感器122可以包括相机208、212、216。例如，其他类型的固定传感器122可以包括激光雷达传感器、雷达传感器或超声波传感器。相机208、212、216可以安装在相机支架210、214、218上。相机支架210、214、218可以包括交通信号杆、灯杆、专用杆或支架、建筑物、或现有结构(诸如桥梁、立交桥或标志杆)。
图3是包括道路302、304和十字路口306的交通场景300的俯视图。交通场景300包括三个相机308、312、316，所述三个相机具有相应的视野(由虚线示出)310、314、318，所述视野包括道路302、304和十字路口306的各部分。相应相机308、312、316的视野310、314、318是相机308、312、316的位置和取向的函数。例如，可以基于纬度、经度和海拔在x、y和z坐标系中表示位置。取向可以表示为分别围绕x、y和z坐标轴的侧倾、俯仰和横摆旋转。组合位置和取向指定固定传感器的六自由度(DoF)姿态。相机308、312、316的视野310、314、318也是相机308、312、316的固有参数的函数。相机308、312、316的固有参数是描述相机308、312、316的一个或多个配置并且由此管理真实世界位置到由相机308、312、316获取的图像中的像素坐标的映射的值。固有参数可以包括例如焦距、从相机镜头的光学中心到传感器平面的距离、图像像素的比例或大小和/或镜头失真。将相机308、312、316相对于交通场景300的位置和取向与相机308、312、316的相应固有参数分别组合可以确定包括在相机308、312、316的视野310、314、318中的道路302、304和交叉路口306的各部分。
图4是包括道路302、304和十字路口306的交通场景300的图示。交通场景300包括与相机308、312、316的视野310、314、318相对应的组合视野(虚线)402。组合视野402对应于相机308、312、316在交通场景300中提供的道路302、304和十字路口306的覆盖范围。可以通过测量包括在组合视野402中的道路302、304和十字路口306表面积的百分比来确定覆盖范围。例如，在交通场景300中，组合视野402对应于约50％的覆盖范围，即，组合视野402的区域是道路302、304和十字路口306的组合区域的大约50％。
图5是交通场景500的三维(3D)网格模型502的图示。3D网格模型502是一组地图数据，其中对应于交通场景500的地图数据覆盖有连续网格元素504的矩形阵列。相应的网格元素504表示交通场景500的网格模型502的相应部分或子区域，并且通常可以小于1平方米并且覆盖具有可寻址网格元素504位置(例如，x、y坐标可以基于网格模型502的左下角处的网格原点指定)的交通场景500。对3D网格模型502的所有计算都针对最近的网格元素504执行。网格覆盖范围是一个或多个固定传感器122的视野中的网格单元的数量。例如，可以通过将包括在三个相机308、312、316的组合视野506中的完整和部分网格元素504的数量相加来确定组合视野(虚线)506的网格覆盖范围。
数字高程数据可以与网格模型502组合以形成3D网格模型600(图6)。数字高程数据可以从卫星激光雷达数据或机载激光雷达数据获得并与地图数据组合以生成交通场景的3D网格模型。可以基于在现实世界中获取的与3D网格模型相对应的传感器数据来调整激光雷达和地图数据。以这种方式，可以在所有三个维度上提高3D网格模型的分辨率。
本文讨论的技术通常基于网格模型502的计算机模拟来确定网格覆盖范围，所述计算机模拟包括具有模拟视野的相机的模拟。这允许在多个位置和取向处测试和比较多个不同相机配置，以在交通场景中安装相机之前确定最佳配置。在已经安装了一个或多个相机的示例中，可以将现有相机包括在模拟数据中以将现有安装与可能的新配置进行比较。本文讨论的技术可以通过模拟多个可能的安装的覆盖范围并确定以最低成本提供最大覆盖范围的潜在相机位置和取向的子集来改进交通基础设施***中的固定相机的安装。
图6是3D网格模型600的横截面视图的图示。图6示出了可以如何使用3D网格模型来改进基于高程数据对与固定传感器122(在该示例中为相机602)相对应的网格覆盖范围的确定，所述固定传感器安装在杆604上、具有视野(虚线)606。网格覆盖范围是从包括在交通基础设施***105中的一个或多个固定传感器122可见的网格元素的集合。可以基于确定固定传感器122“视域”来确定网格覆盖范围。传感器122的视域是从位于空间中的点处的固定传感器122可见的3D网格模型的部分网格元素。
对固定传感器122可见的网格元素是观察参数的函数，所述观察参数包括固定传感器122的3D位置的x、y和z坐标、水平(x轴)视野、竖直(y轴)视野、固定传感器122可见的最小距离、固定传感器122可见的最大距离以及固定传感器122在侧倾、俯仰和横摆旋转中的取向。可以通过将数字高程模型的栅格版本和大地测量(即，陆地测量)坐标输入到当前使用地理空间数据抽象库(GDAL)视域算法实施的视域分析工具来计算网格覆盖范围。GDAL在Wang,J.、Robinson,G.J.和White,K.的以下文章中进行了描述：“Generating viewshedswithout using sightlines”，Photogrammetric engineering and remote sensing，66(1)，2000年，第87-90页。视域分析返回表示来自固定传感器122的位置的网格元素的可见性的矩阵。来自视域分析的输出可以被约束到任何指定的传感器的视野。视域分析矩阵可以用于生成固定传感器122的包括姿态的可能配置的库。固定传感器122的包括姿态的可能配置的库成为下面关于图8描述的矩阵M的行。
图7是包括形成十字路口706的道路702、704的交通场景的网格模型700的图示。网格模型700包括人行道708、710、712、714。当确定网格模型700的网格覆盖范围时，并非所有网格元素都具有同等重要性。可以将加权应用于网格模型700中的网格元素以增加网格元素的优先级。关于事故或未遂事故的数据可以用于增加网格元素的权重。可以用于增加网格元素的权重的其他数据包括人行道708、710、712、714的位置、装载区或公共汽车站等。基于增加的优先级的网格元素加权可以用于促进固定传感器122之间的重叠。例如，增加包括人行道的网格元素的权重可以促进使得激光雷达传感器被定位成提供对所有四个人行道708、710、712、714的覆盖以及与激光雷达重叠的相机覆盖范围的解决方案。
图8是包括道路802、804和十字路口806的模拟交通场景的网格模型800的图示。网格模型800示出了动态模拟(即，模拟车辆110和网格模型800中的其他对象随时间的运动)的结果，所述动态模拟包括模拟车辆在网格模型800中操作，同时模拟交通(包括模拟卡车810)也在网格模型800中操作。动态模拟包括模拟中包括的模拟车辆的模拟运动，其中当模拟车辆行驶通过模拟交通场景时，以多个时间步长确定由模拟车辆占用的网格元素。模拟车辆包括具有模拟视野(虚线)812的模拟传感器。模拟视野812包括被遮挡(对角线填充)814的部分。模拟视野812的被遮挡814的部分是由于诸如模拟卡车810的中间对象而不为模拟车辆所见的部分。可以对被遮挡814的网格元素进行加权以增加包括被遮挡814的网格元素的覆盖范围的模拟固定传感器会包括在通过本文讨论的技术选择的固定传感器122的最佳集合中的概率。
可以执行多个动态模拟，包括车辆110在网格模型800的各种道路802、804上的相应车辆路径上操作。多个交通模型可以包括与可以在一天中的多个时间观察到的典型交通模式相对应的多个模拟车辆和模拟行人。多个交通模型可以包括在多个动态模拟中。例如，交通(包括车辆数量)在一天中的某些时间(即高峰时段)会比其他时间更大。执行多个动态模拟并对所得的被遮挡814的网格元素求和可以确定要应用于网格模型800的网格元素的权重。在多个模拟中对被遮挡的网格元素进行求和增加了将选择包括被遮挡814的网格元素的网格覆盖范围的固定传感器122的概率。
可以确定包括在交通基础设施***105中的用于交通场景500的固定传感器122的最佳布置。可以确定用于交通场景500的3D网格模型500，其包括多个固定传感器122配置。例如，可以在3D网格模型500的计算机模拟中模拟固定传感器122配置。模拟的固定传感器122配置可以是用户选择的，并且包括相对于3D网格模型500处于多个姿态的多个固定传感器122。固定传感器122包括传感器类型，所述传感器类型可以例如是相机传感器、激光雷达传感器、雷达传感器或超声波传感器。相应的固定传感器122包括如上面关于图3所讨论的传感器固有参数。固定传感器122配置可以与如图3至图6所描述的3D网格模型组合以确定包括固定传感器姿态的多个固定传感器122配置中的相应固定传感器122的网格覆盖范围。
固定传感器的姿态受到实际考虑因素的限制。例如，固定传感器的高度受到成本的限制，即，随着高度的增加，安装杆变得更加昂贵，并且固定传感器的分辨率更高。固定传感器具有由传感器的固有参数确定的固有分辨率。为了对如本文所讨论的交通基础设施任务有用，在道路层面应有足够数量的数据点，诸如每单位面积的像素。例如，安装在建筑物高处的单个相机可以具有覆盖交通场景的大部分的视野，然而，相机的分辨率可能使得无法以由相机获取的图像数据分辨各个车辆，从而使传感器数据无法用于交通基础设施目的。选择包括要优化的姿态的多个固定传感器包括基于成本和传感器分辨率对固定传感器姿态的约束。考虑到选择包括对路面的主要区域或相邻区域的姿态和权重的固定传感器来基于关于高风险部分(诸如盲角、人行横道或装载区)的先验信息来反映重要性，可以确定使传感器覆盖范围最大化同时使总体***成本最小化的固定传感器姿态的一个或多个最佳子集。
用户可以基于关于事故和幸免事故的现有数据以及对3D网格模型的检查来选择3D网格模型的优先网格元素的权重，以确定与人行道、校车停靠站和可能被行人占用的其他区域相对应的网格元素，如关于图7所讨论的。可以通过使用在一天中的多个时间建模的模拟车辆执行多个动态模拟来针对多个交通模式确定被遮挡814的网格元素的权重。
可以确定矩阵M，所述矩阵包括用于固定传感器122的K个配置中的相应配置的行和用于3D网格模型的N个网格元素中的相应网格元素的列，其中矩阵Mkn由以下等式确定：
Figure BDA0003908446590000181
其中k是固定传感器122的枚举配置，n是交通场景500中的枚举网格元素，Bkn是K×N关联矩阵，其包括将在n上索引的网格元素连接到在k上索引的K个固定传感器122配置的集合的网格覆盖范围数据。Ck是K×1矩阵，其包括对应于所配置的第k个固定传感器122的成本，并且Wn是对应于n个网格元素的权重。⊙表示哈达玛积，并且
Figure BDA0003908446590000182
表示外积。
执行贪婪搜索算法以通过使目标函数
Figure BDA0003908446590000183
最大化来确定与传感器112的一种配置相对应的网格覆盖范围与成本的最大比率：
Figure BDA0003908446590000184
使用贪婪搜索算法来使目标函数
Figure BDA0003908446590000185
在K(固定传感器122的配置集合)中最大化。使目标函数
Figure BDA0003908446590000186
最大化是非多项式难(NP难)问题，这意味着确定最大值需要评估涵盖固定传感器122位置和取向的所有可能组合的固定传感器122的所有可能配置。贪婪搜索算法确定固定传感器122的所有配置的集合的子集的局部最大值，并且保留所确定的局部最大值作为最终解的一部分。贪婪搜索算法不一定找到真实的最大值解，但通常以比找到真实的最大值解所需的步骤少得多的步骤找到近似真实的最大值解的解。例如，对K＝1000和M＝10,000的目标函数执行的贪婪搜索算法产生与计算所有可能的解的详尽搜索相同的网格覆盖范围与成本的最大比率，同时仅需要16％的计算资源(即，计算时间)。
图9是关于图1至图8描述的用于确定交通基础设施***105中的固定传感器122的最佳配置的过程的流程图的图示。过程900可以由服务器计算机120的处理器实施，将关于固定传感器122的数据作为输入，并且执行命令，并且输出固定传感器122的最佳配置。过程900包括可以按所示次序执行的多个框。替代地或另外，过程900可以包括更少的框，或者可以包括以不同次序执行的框。
过程900开始于框902，其中服务器计算机120确定交通场景500的3D网格模型500，如上面关于图2至图5所讨论的。3D网格模型500中包括用于包括在交通基础设施***105中的固定传感器122的多个固定传感器122配置。可以在3D网格模型500的计算机模拟中模拟固定传感器122配置。模拟的固定传感器122配置可以包括相对于3D网格模型500处于多个位置和取向的多个固定传感器122。固定传感器122包括相应的传感器类型；传感器类型指定感测介质，并且可以例如是相机传感器、激光雷达传感器、雷达传感器或超声波传感器。固定传感器122包括如上面关于图3讨论的传感器固有参数以及传感器配置中所包括的传感器类型、传感器位置和传感器取向的传感器成本。
在框904处，服务器计算机120确定网格模型500的网格元素504的权重。基于如上面关于图7所讨论的优先级区域和如上面关于图8所讨论的被遮挡814的区域来确定网格元素504的权重。
在框906处，服务器计算机120基于如上面关于图6所讨论的3D网格模型500来确定相应传感器配置的网格覆盖范围。
在框908处，服务器计算机120基于网格覆盖范围数据来确定目标函数矩阵Mkn，所述网格覆盖范围数据基于固定传感器122配置的集合、对应于所配置的相应固定传感器122的成本并且对应于网格元素中的相应网格元素的权重，如上面关于图8所讨论的。
在框910处，服务器计算机120通过对在固定传感器122配置和网格元素上求和的目标函数矩阵执行贪婪搜索算法来逼近固定传感器122的网格覆盖范围与成本的最大比率来确定固定传感器122配置的最佳子集，如上面关于图8所讨论的。在框910之后，过程900结束。
图10是关于图1至图9描述的用于基于从交通基础设施***105下载的固定传感器122数据来操作车辆110的过程的流程图的图示。过程1000可以由计算装置115的处理器实施，将来自服务器计算机120的数据作为输入，并且执行命令，并且操作车辆110。过程1000包括可以按所示次序执行的多个框。过程1000可以替代地或另外包括更少的框，或者可以包括以不同次序执行的框。
过程1000开始于框1002，其中车辆110中的计算装置115从包括在交通基础设施***105中的服务器计算机120下载固定传感器122数据。下载的固定传感器122数据可以包括基于固定传感器122数据(诸如基于位于固定传感器122数据中的对象的边界框)确定的元数据。可以由服务器计算机120使用图像处理软件(例如，深度神经网络)处理固定传感器122数据来确定诸如边界框的元数据。除了从包括在车辆110中的传感器116获取的传感器116数据之外，还可以使用下载的固定传感器122数据。使用固定传感器122获取固定传感器122数据，所述固定传感器已经被优化为最大化固定传感器122的网格覆盖范围与成本的比率，如上面关于图8和图9所讨论的，包括基于模拟交通来对3D网格模型进行加权以增加优先级区域和被遮挡的区域的权重。
在框1004处，计算装置115基于固定传感器122数据和传感器116数据来确定车辆路径。车辆路径是多项式函数，其包括当车辆沿着车辆路径行进时要施加到车辆运动的最大和最小横向加速度和纵向加速度。除了由车辆传感器116提供的数据之外，本文描述的技术还通过提供关于交通场景的优先级区域和潜在被遮挡的区域的数据来改进对车辆路径的确定。
在框1006处，计算装置115向控制器112、113、114输出命令以控制车辆动力传动***、车辆转向和车辆制动器以控制车辆运动以沿着在框1004处确定的车辆路径操作车辆110。在框1006之后，过程1000结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文论述的过程框可体现为计算机可执行命令。
计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行包括本文所描述的过程中的一者或多者的一个或多个过程。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、线、无线通信，包括构成耦合到计算机的处理器的***总线的内部件。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量值、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的元素。另外，可改变这些要素中的一些或全部。相对于本文描述的介质、过程、***、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

Claims (15)

1.一种方法，其包括：
基于网格元素来确定交通场景的三维网格模型；
确定所述三维网格模型的与优先级区域和被遮挡的网格元素相对应的所述网格元素的权重；
基于所述三维网格模型的所述网格元素来确定多个固定传感器中的相应固定传感器的网格覆盖范围；
基于所述多个固定传感器的所述网格覆盖范围来确定矩阵；以及
基于将贪婪搜索算法应用于所述矩阵、所述权重和所述多个固定传感器以基于所述多个固定传感器的姿态来使所述网格覆盖范围与固定传感器的数量的比率最大化来确定固定传感器的最佳子集。
2.如权利要求1所述的方法，其还包括通过将包括所述交通场景的地图划分为连续网格元素的矩形阵列并确定所述网格元素中的相应网格元素的高程来确定所述三维网格模型。
3.如权利要求2所述的方法，其中基于卫星激光雷达数据或机载激光雷达数据中的一者或多者来确定所述高程。
4.如权利要求1所述的方法，其还包括通过当模拟车辆行驶通过包括模拟交通的模拟交通场景时基于包括在所述模拟车辆中的模拟传感器来模拟视野来确定所述被遮挡的网格元素。
5.如权利要求4所述的方法，其还包括基于对应于在一天中的一个或多个不同时间观察到的典型交通的所述模拟交通来确定所述被遮挡的网格元素。
6.如权利要求1所述的方法，其中所述优先级区域包括人行道、装载区和公共汽车站中的一者或多者。
7.如权利要求1所述的方法，其中所述多个固定传感器分别安装在杆、建筑物或结构中的一者或多者上，使得所述多个固定传感器的视野包括所述交通场景的各部分。
8.如权利要求1所述的方法，其还包括基于从所述多个固定传感器中的相应固定传感器到所述三维网格模型的所述网格元素的视域分析来确定所述相应固定传感器的所述网格覆盖范围。
9.如权利要求1所述的方法，其中所述矩阵包括K×N关联矩阵，所述K×N关联矩阵包括对应于K个固定传感器配置的K行和对应于包括在所述相应的K个固定传感器配置的所述网格覆盖范围中的所述网格元素的N列。
10.如权利要求9所述的方法，其中所述贪婪搜索在所述K个固定传感器配置内使目标函数
Figure FDA0003908446580000021
最大化以确定固定传感器的所述最佳子集。
11.如权利要求10所述的方法，其中所述目标函数
Figure FDA0003908446580000022
其中Bkn是所述关联矩阵，Ck是K×1成本矩阵，Wn是应用于相应网格元素的所述权重，⊙是哈达玛积，并且
Figure FDA0003908446580000023
是外积。
12.如权利要求1所述的方法，其还包括将固定传感器数据从固定传感器的所述最佳子集下载到车辆中所包括的第二计算机。
13.如权利要求12所述的方法，其中所述固定传感器数据包括基于包括在所述固定传感器数据中的对象的元数据，诸如边界框。
14.如权利要求12所述的方法，其还包括基于所述传感器数据来确定车辆路径。
15.一种***，其包括被编程为执行权利要求1至14中任一项所述的方法的计算机。
CN202211327502.6A 2021-11-04 2022-10-25 传感器优化 Pending CN116070341A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/518,773 US20230138084A1 (en) 2021-11-04 2021-11-04 Sensor optimization
US17/518,773 2021-11-04

Publications (1)

Publication Number Publication Date
CN116070341A true CN116070341A (zh) 2023-05-05

Family

ID=85983485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211327502.6A Pending CN116070341A (zh) 2021-11-04 2022-10-25 传感器优化

Country Status (3)

Country Link
US (1) US20230138084A1 (zh)
CN (1) CN116070341A (zh)
DE (1) DE102022128884A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3821632A4 (en) * 2018-07-11 2022-04-20 Sail Internet, Inc. METHOD AND APPARATUS FOR QUALIFYING CUSTOMERS AND DESIGNING A FIXED WIRELESS NETWORK USING MAPPING DATA
FI128122B (fi) * 2018-08-29 2019-10-15 Ponsse Oyj Ohjausjärjestely ja menetelmä metsäkoneen ohjaamiseksi
US20220318728A1 (en) * 2021-03-31 2022-10-06 Target Brands, Inc. Shelf-mountable imaging system
US20230410643A1 (en) * 2022-06-17 2023-12-21 Microsoft Technology Licensing, Llc Selecting traffic algorithms to generate traffic data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058342A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Optimal multi-camera setup for computer-based visual surveillance
US10992752B2 (en) * 2019-03-28 2021-04-27 Intel Corporation Sensor network configuration mechanisms
US20210294944A1 (en) * 2020-03-19 2021-09-23 Nvidia Corporation Virtual environment scenarios and observers for autonomous machine applications

Also Published As

Publication number Publication date
DE102022128884A1 (de) 2023-05-04
US20230138084A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
CN112204343B (zh) 高清晰地图数据的可视化
US11783707B2 (en) Vehicle path planning
US11250576B2 (en) Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
US10345822B1 (en) Cognitive mapping for vehicles
US10528055B2 (en) Road sign recognition
US20230138084A1 (en) Sensor optimization
US20190219697A1 (en) Lidar localization
EP3651064A1 (en) Deep learning for object detection using pillars
CN110857085A (zh) 车辆路径规划
US20200020117A1 (en) Pose estimation
US11042758B2 (en) Vehicle image generation
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
US10955857B2 (en) Stationary camera localization
US11521494B2 (en) Vehicle eccentricity mapping
US20230282000A1 (en) Multi-object tracking
US20230237783A1 (en) Sensor fusion
CN112461249A (zh) 根据外部源数据进行的传感器定位
US20230056589A1 (en) Systems and methods for generating multilevel occupancy and occlusion grids for controlling navigation of vehicles
CN116724214A (zh) 用于生成用于自主车辆的导航的感兴趣区域的车道级地图的方法和***
CN116580374A (zh) 车辆定位
CN116091611A (zh) 相机定位
CN116311216A (zh) 三维对象检测
US11610412B2 (en) Vehicle neural network training
CN116569070A (zh) 用于分析动态LiDAR点云数据的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication