CN110045710A - 模拟延时指示 - Google Patents

模拟延时指示 Download PDF

Info

Publication number
CN110045710A
CN110045710A CN201811512162.8A CN201811512162A CN110045710A CN 110045710 A CN110045710 A CN 110045710A CN 201811512162 A CN201811512162 A CN 201811512162A CN 110045710 A CN110045710 A CN 110045710A
Authority
CN
China
Prior art keywords
time
clock
programmed
binary
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811512162.8A
Other languages
English (en)
Inventor
布莱恩·塔姆
刘晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110045710A publication Critical patent/CN110045710A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了“模拟延时指示”。一种***包括：实时计算机，其具有被编程为输出时钟信号的实时时钟；二进制时钟显示，其被编程为根据所述时钟信号显示已经过的第一时间量；主计算机，其被编程为模拟虚拟环境，所述虚拟环境包括虚拟时钟显示，所述虚拟时钟显示被编程为根据所述时钟信号表示已经过的第二时间量；以及延时处理器，其被编程为基于所述第一时间量与所述第二时间量之间的差来计算所述主计算机的延时。

Description

模拟延时指示
技术领域
本发明涉及车辆驾驶员辅助***领域。
背景技术
车辆中的高级驾驶员辅助***(ADAS)使用车载传感器来为驾驶员提供辅助。ADAS特征可以包括诸如紧急制动(例如，当车辆太靠近另一车辆时的自主制动)、自适应巡航控制(例如，自主加速和制动以维持车辆之间的距离)和交通阻塞辅助(例如，在交通繁忙时自主地维持车辆之间的距离)的***。ADAS中使用的传感器可包括相机、雷达、激光雷达等。
发明内容
使用模拟虚拟环境对高级驾驶员辅助***(ADAS)进行虚拟测试可以降低与实际跑道测试相关联的成本。用于模拟ADAS环境的一种类型的***包括硬件在环(HiL)测试***，该硬件在环测试***可用于验证用来实现ADAS特征的计算机部件(包括电子控制单元(ECU))。
ADAS HiL模拟***可包括用于实时计算车辆动力学模型的实时计算机、用于再现虚拟环境的主计算机、实现ADAS特征的ADAS控制器(ECU)和传感器(例如，相机和雷达)以及用于呈现虚拟环境并将虚拟环境馈送到ADAS传感器120的显示监视器。通过这种设置，在实时计算机与主计算机(即，在主计算机的虚拟环境中)之间可能存在延时。例如，在ECU输出控制信号的时间与虚拟环境响应ECU输出的控制信号的时间之间可能发生延时。在主计算机对视频信号的传输与显示器的实际像素刷新之间可能发生延时的另一实例。延时可能导致模拟出现问题，并且当视觉传感器输出与在实时计算机上模拟的另一传感器(例如，雷达)的输出融合时可能尤其成问题。简而言之，延时可能使得看起来好像ADAS控制器出现故障。延时的测量和计算可用于确定ADAS控制器是否正常运行。
一种测量实时计算机与主计算机之间的延时的方法是使用一种***，该***包括：实时计算机，其具有被编程为输出时钟信号的实时时钟；二进制时钟显示，其被编程为根据时钟信号显示已经过的第一时间量；主计算机，其被编程为模拟虚拟环境，该虚拟环境包括虚拟时钟显示，该虚拟时钟显示被编程为根据时钟信号表示已经过的第二时间量；以及延时处理器，其被编程为基于第一时间量与第二时间量之间的差来计算主计算机的延时。
在该***中，延时处理器可以被编程为通过从第一时间量减去第二时间量来计算主计算机的延时。
该***还可以包括相机，该相机被配置为捕获包括二进制时钟显示和虚拟时钟显示的图像。延时处理器可以被编程为接收图像并从图像确定第一时间量和第二时间量。
二进制时钟显示可包括多个光源，该多个光源表示代表第一时间量的二进制串。虚拟时钟显示可包括多个虚拟光源，该多个虚拟光源表示代表第二时间量的二进制串。照亮的光源可表示二进制1而变黑的光源可表示二进制0。照亮的虚拟光源可表示二进制1而变黑的虚拟光源可表示二进制0。
该***还可以包括监视器，该监视器与主计算机通信并被编程为显示虚拟环境和虚拟时钟显示的模拟。
实时计算机可以被编程为实时计算车辆动力学。该***还可以包括与实时计算机通信的车辆控制器。
一种方法包括：根据实时计算机输出的时钟信号确定已经过的第一时间量；在模拟虚拟环境的主计算机上根据实时计算机输出的时钟信号确定已经过的第二时间量；以及基于第一时间量与第二时间量之间的差来计算主计算机的延时。
计算延时可以包括从第一时间量减去第二时间量。
确定第一时间量可以包括接收显示第一时间量的二进制时钟显示的图像并处理该图像以确定第一时间量。图像可以包括显示第二时间量的虚拟时钟显示，并且确定第二时间量可以包括接收虚拟时钟显示的图像并处理该图像以确定第二时间量。
该方法可以包括接收具有图像的帧。在该情况下，该方法可以包括确定是否处理帧。
该方法可以包括在与主计算机通信的监视器上显示虚拟环境和虚拟时钟显示的模拟。
另一***包括被编程为实时计算车辆动力学的实时计算机，并且该实时计算机具有被编程为输出时钟信号的实时时钟。该***还包括：车辆控制器，其与实时计算机通信；二进制时钟显示，其被编程为根据时钟信号显示已经过的第一时间量；主计算机，其被编程为模拟虚拟环境，该虚拟环境包括虚拟时钟显示，该虚拟时钟显示被编程为根据时钟信号表示已经过的第二时间量；监视器，其与主计算机通信并被编程为显示虚拟环境和虚拟时钟显示的模拟；相机，其被配置为捕获包括二进制时钟显示和虚拟时钟显示的图像；以及延时处理器，其被编程为接收相机所捕获的图像、从图像确定第一时间量和第二时间量并基于第一时间量与第二时间量之间的差来计算主计算机的延时。
在该***中，延时处理器可以被编程为通过从第一时间量减去第二时间量来计算主计算机的延时。
在该***中，二进制时钟显示可包括多个光源，该多个光源表示代表第一时间量的二进制串，并且虚拟时钟显示可包括多个虚拟光源，该多个虚拟光源表示代表第二时间量的二进制串。照亮的光源表示二进制1而变黑的光源表示二进制0，并且照亮的虚拟光源165表示二进制1而变黑的虚拟光源表示二进制0。
附图说明
图1示出了用于模拟ADAS环境的***的框图。
图2示出了图1的***中所使用的相机的视图。
图3示出了延时处理器的示例输出。
图4是可由延时处理器执行以检测ADAS环境的模拟中的延时的示例过程的流程图。
具体实施方式
所示元件可采用许多不同的形式并且包括多个和/或替代的部件和设施。所示示例部件无意进行限制。实际上，可以使用附加的或替代的部件和/或实现方式。此外，除非明确说明，否则所示元件未必按比例绘制。
如图1所示，***100包括实时计算机105、主计算机110、ADAS控制器115、ADAS传感器120、监视器125、二进制时钟显示130、相机135、延时处理器140和存储器145。
实时计算机105经由电路、芯片或被编程为接收由ADAS控制器115输出的控制信号并实时计算车辆动力学的其他电子部件来实现。实时计算机105可以包括时钟155(称为“实时时钟155”)，该时钟具有输出到二进制时钟显示130和主计算机110的时钟信号。
主计算机110经由电路、芯片或被编程为再现虚拟环境以测试ADAS控制器115和ADAS传感器120的其他电子部件来实现。再现虚拟环境可以包括通过ADAS传感器120可能检测到的内容的虚拟表示来输出表示驾驶环境的信号。因此，虚拟环境可以包括例如路面、其他车辆、道路中的物体、行人等的虚拟表示。虚拟环境还可以包括虚拟时钟显示150。虚拟时钟显示150的输出可以至少部分地基于由实时时钟155输出的时钟信号。因此，虚拟时钟显示150和二进制时钟显示130可以根据同一时钟信号来呈现时间。为了使虚拟时钟显示150与二进制时钟显示130之间的比较更容易，虚拟时钟显示150的外观可以类似于二进制时钟显示130的外观。如下面更详细讨论的，二进制时钟显示130可以包括光源160，所述光源表示代表自模拟开始以来已经过的时间量的二进制串。例如，在滚动式8位计数器(rolling8-bit counter)的情况下，二进制串可以表示自计数器上次滚动以来的时间量，而不是保持全局时间或绝对时间。因此，虚拟时钟显示150可以呈现虚拟光源165，所述虚拟光源表示代表自模拟开始以来已经过的时间量的二进制串。在一些情况(诸如相机135具有高分辨率的情况)下，虚拟光源165可以非常小，包括与监视器125的单个像素一样小。在该情况下，虚拟时钟显示150可以被实现为例如单行像素中的多个像素(例如，少至8个像素)。
ADAS控制器115经由电路、芯片或被编程为输出控制信号以执行各种自主操作诸如紧急制动(例如，当车辆太靠近另一车辆时的自主制动)、自适应巡航控制(例如，自主加速和制动以维持车辆之间的距离)和交通阻塞辅助(例如，在交通繁忙时自主地维持车辆之间的距离)的其他电子部件来实现。当在自主车辆中使用时，ADAS控制器115可以结合到经由传感器、控制器、电路、芯片和控制自主车辆的各种自主操作的其他电子部件来实现的虚拟驾驶员***(它是一种计算平台)中。例如，ADAS控制器115可以结合到被编程为处理由ADAS传感器120捕获的数据的自主车辆控制器中，所述ADAS传感器可以包括激光雷达传感器、雷达传感器、相机、超声波传感器等。当结合到自主车辆中时，自主车辆控制器向自动化车辆平台的部件输出控制信号以根据ADAS传感器120所捕获的数据来自主地控制自主车辆。自动化车辆平台是指根据来自虚拟驾驶员***且具体地来自自主车辆控制器、ADAS控制器115或两者的指令来执行自主车辆操作的部件。这样，自动化车辆平台包括结合到自主车辆中的控制自主车辆的转向、推进和制动的各种执行器。自动化车辆平台有时包括各种平台控制器(在本领域中有时称为“模块”)，诸如底盘控制器、动力传动***控制器、车身控制器、电气控制器等。在模拟测试期间，ADAS控制器115可以保持与自动化车辆平台、自主车辆控制器或两者断开。此外，在模拟期间，ADAS控制器115可以经由诸如控制器局域网(CAN)总线的通信网络来与实时计算机105通信。
ADAS传感器120经由电路、芯片或被编程为捕获与虚拟环境中呈现的对象有关的数据的其他电子部件来实现。由于虚拟环境呈现在监视器125上，因此用于模拟测试的ADAS传感器120可以为相机，因为其他类型的ADAS传感器120(诸如激光雷达传感器或超声波传感器)可能无法检测到监视器125上显示的对象。ADAS传感器120可以向ADAS控制器115输出表示检测到的对象的信号。在一些情况下，在模拟期间，可以向ADAS控制器115提供模拟输出，而不是由实际的ADAS传感器120向ADAS控制器115输出信号。
监视器125经由电路、芯片或被编程为以允许由ADAS传感器120检测到虚拟环境的方式显示虚拟环境的其他电子部件来实现。因此，如果ADAS传感器120是相机，则监视器125可以为呈现可以由相机检测到的虚拟环境的视觉表示的显示屏(诸如计算机监视器)。
二进制时钟显示130经由光源160、电路、芯片或可以显示时间流逝的二进制表示的其他电子部件来实现。光源160可以为例如发光二极管。在一些情况(诸如相机135具有高分辨率的情况)下，光源160可以非常小，包括小到单个像素。在该情况下，二进制时钟显示130可以实现为例如单行像素。光源160可以位于一行中，并且每个光源160可以表示二进制数字串中的数字。结合到二进制时钟显示130中的控制器可以指示哪些光源160应该被照亮以及哪些应该变暗。照亮的光源160可以指示二进制1而变黑的光源160可以指示二进制0。二进制串可以表示自模拟开始以来已经过的时间单位。如果时间单位为毫秒，那么二进制串可以每毫秒递增1。换句话说，照亮的光源160的子集和变暗的光源160的子集可以每单位时间(例如，每毫秒)发生变化。二进制时钟显示130可以根据实时时钟155的输出来标记时间。也就是说，控制器可以根据实时时钟155的输出来做出动作。这可能意味着经由二进制时钟显示130所示的时间在实时时钟155输出的信号的每个上升沿或每个下降沿处的递增。控制器可以被编程为观察一定数量的上升沿或下降沿以确定已经过某个时间单位。当实时时钟155输出反映已经过该时间单位时，二进制时钟显示130可以改变照亮的光源160的子集和变暗的光源160的子集以反映已经过另一时间单位。
相机135为具有电路、芯片或捕获监视器125和二进制时钟显示130的图像的其他电子部件的视觉传感器。为了捕获此类图像，相机135可以包括朝例如电荷耦合器件图像传感器、互补金属氧化物半导体图像传感器等投射光的透镜。相机135处理光并生成所捕获图像的数字表示。各个图像可以为由相机135所捕获的视频中的帧。可以将图像输出到延时处理器140，并且如下面更详细地讨论的，可以使用该图像来检测实时计算机105与主计算机110之间的延时。
延时处理器140经由电路、芯片或被编程为测量实时计算机105与主计算机110之间的延时的其他电子部件来实现。延时处理器140可包括一个或多个微控制器、一个或多个现场可编程门阵列(FPGA)、一个或多个专用集成电路(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个客户专用集成电路等。
延时处理器140可以被编程为对特定帧处在二进制时钟显示130和虚拟时钟显示150上所显示的时间进行比较。也就是说，延时处理器140可以被编程为找出在特定帧处在二进制时钟显示130和虚拟时钟显示150上表示的时间差。该差表示延时，即，虚拟环境与实时计算机105相差的时间量。由于二进制时钟显示130和虚拟时钟显示150都从同一源(例如，实时时钟155)标记时间，并且由于虚拟时钟显示150是主计算机110的进一步的处理结果，因此由延时处理器140所确定的时间差表示主计算机110的延时。在延时已知的情况下，可以缓解某些延迟，包括可能影响模拟操作的静态延迟。
延时处理器140可以被编程为通过从经由虚拟时钟显示150所显示的时间减去在二进制时钟显示130上所显示的时间来计算延时。延时处理器140可以被编程为从由二进制时钟显示130的位(例如，照亮的光源160)表示的值中减去由虚拟时钟显示150的位(例如，照亮的虚拟光源165)表示的值。延时处理器140可以被编程为通过将延时存储在例如存储器145中来记录在所测试的每个帧的延时。在一些情况下，延时处理器140可以被编程为向计算机的显示装置170输出延时，该计算机可以为实时计算机105或主计算机110，或者可以与实时计算机105和主计算机110不同。延时处理器140的输出可以指示主计算机110的延时。对于所处理的每个帧，延时处理器140的输出还可以指示：二进制时钟显示130的时间；虚拟时钟显示150的时间；在二进制时钟显示130上照亮的位(光源160)的指示器；在二进制时钟显示130上变暗的位(光源160)的指示器；在虚拟时钟显示150上照亮的位(虚拟光源165)的指示器；在虚拟时钟显示150上变暗的位(虚拟光源165)的指示器；模拟已经运行的时间量；等等。
存储器145可以结合到图1所示的部件中或者说是这些部件可访问的。存储器145经由电路、芯片或其他电子部件来实现，并且可包括以下一个或多个：只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器、电可编程存储器(EPROM)、电可编程可擦除存储器(EEPROM)、嵌入式多媒体卡(eMMC)、硬盘驱动器、或任何易失性或非易失性介质等。存储器145可以存储可由延时处理器140、实时计算机105、主计算机110、ADAS控制器115等执行的数据和指令。为简单起见，图1中仅示出了一个存储器145。所示的存储器145与延时处理器140通信。其他存储器可以与例如实时计算机105、主计算机110、ADAS控制器115等通信或结合到其中。此外，尽管示出为单独的，但延时处理器140的存储器145可以结合到延时处理器140中。
图2示出了来自相机135的示例视图。具体地，图2表示可由相机135捕获的一个可能的帧200，该帧示出二进制时钟显示130与虚拟时钟显示150之间的时间差。二进制时钟显示130的光源160和虚拟时钟显示150的虚拟光源165表示二进制的时间流逝。在图2的示例中，二进制时钟显示130和虚拟时钟显示150的最低有效位表示10毫秒。因此，在图2中，二进制时钟显示130(“11000110”)表明已经过1980毫秒，而虚拟时钟显示150(“11000001”)表明已经过1930毫秒。如上所述，这些值之间的差表示主计算机110的延时。因此，在图2的示例中，主计算机110的延时为50毫秒。延时处理器140可以被编程为通过从二进制时钟显示130(“11000110”)中减去虚拟时钟显示150(“11000001”)来确定该延时。
图3示出了图2的示例中所使用的延时处理器140的示例输出。如先前所解释的，延时处理器140可以被编程为向与实时计算机105和主计算机110分开的计算机的显示装置170输出延时。继续图2的示例，延时处理器140的输出可以表示主计算机110的所计算的延时(50毫秒)。对于图2所示的帧，延时处理器140的输出还可以指示：二进制时钟显示130的时间(1980毫秒)；虚拟时钟显示150的时间(1930毫秒)；在二进制时钟显示130上照亮的位(光源160)的指示器和在二进制时钟显示130上变暗的位(光源160)的指示器(例如，“OOXXXOOX”，其中“O”指示光源160被照亮而“X”指示光源160变暗)；以及在虚拟时钟显示150上照亮的位(虚拟光源165)的指示器和在虚拟时钟显示150上变暗的位(虚拟光源165)的指示器(例如，“OOXXXXXO”，其中“O”指示虚拟光源165被照亮而“X”指示虚拟光源165变暗)。可以周期性地更新延时处理器140的输出。如果针对由相机135所捕获的每个帧计算延时，则可以在每个帧处更新处理器的输出。如果不针对由相机135所捕获的每个帧计算延时，则可以在计算了延时的每个帧处更新延时处理器140的输出。
图4示出了可以由延时处理器140执行的示例过程400。过程400可以在主计算机110模拟虚拟环境并在监视器125上呈现虚拟环境(包括虚拟时钟显示150)的任何时间开始。
在框405处，延时处理器140接收帧。帧可以由相机135捕获并输出到延时处理器140。帧可以为单个图像，其示出分别包括光源160和虚拟光源165的二进制时钟显示130和虚拟时钟显示150。
在判定框410处，延时处理器140确定是否处理帧。在一些情况下，延时处理器140可以被编程为处理每个帧，在这种情况下，判定框410的结果将始终是肯定的。然而，延时处理器140不需要处理每一帧，并且减少所处理的帧的数量可以降低执行过程400所需的处理功率，同时仍然允许延时处理器140充分地确定主计算机110的延时。延时处理器140确定是否处理帧可以基于例如自上次处理帧以来的帧数的计数。例如，判定框410处的否定结果可以使表示自从处理最后一个帧以来已经传递到延时处理器140的帧数的计数递增。可以在判定框410处的肯定结果之后重置计数。此外，在该场景中，延时处理器140可以被编程为将计数与阈值进行比较以确定是否处理帧。如果计数等于或大于阈值，则可以重置计数，并且过程400可以进行到框415。否则，计数可以递增，并且过程400可以返回到框405以等待下一帧。因此，在一个示例中，如果延时处理器140要处理每个第三帧，则可以将阈值设置为3，这样当计数等于3时(假设计数在决策框410的每次否定结果时递增1)，过程400可以进行到框415。
在框415处，延时处理器140确定二进制时钟显示130的时间。可以将该时间量称为“第一”时间量。延时处理器140可以被编程为对在框405处所接收的帧执行图像处理技术，并作为图像处理技术的结果来识别二进制时钟显示130。延时处理器140可以基于例如以下方面来识别二进制时钟显示130：其在帧中的位置、光源160的颜色(其可以与虚拟时钟显示150的虚拟光源165的颜色不同)等等。延时处理器140可以使用照亮的和变暗的光源160的位置来确定在二进制时钟显示130上显示的时间。
在框420处，延时处理器140确定虚拟时钟显示150的时间。可以将该时间量称为“第二”时间量。延时处理器140可以被编程为对在框405处所接收的帧执行图像处理技术，并作为图像处理技术的结果来识别虚拟时钟显示150。延时处理器140可以基于例如以下方面来识别虚拟时钟显示150：其在帧中的位置、虚拟光源165的颜色(其可以与二进制时钟显示130的光源160的颜色不同)等等。延时处理器140可以使用照亮的和变暗的虚拟光源165的位置来确定在虚拟时钟显示150上显示的时间。
在框425处，延时处理器140计算延时。也就是说，延时处理器140可以从在框415处所确定的在二进制时钟显示130上显示的时间(“第一时间量”)减去在框420处所确定的在虚拟时钟显示150上显示的时间(“第二时间量”)。如上所述，该差可以表示主计算机110的延时。
在框430处，延时处理器140输出延时。延时处理器140可以将延时存储在存储器145中，以便可以将其记录以供进一步分析。在一些情况下，延时处理器140可以向计算机的显示装置170输出延时，该计算机可以为实时计算机105或主计算机110，或者可以与实时计算机105和主计算机110不同。延时处理器140的输出可以指示在框425处所确定的主计算机110的延时。对于所处理的每个帧，延时处理器140的输出还可以指示：二进制时钟显示130的时间；虚拟时钟显示150的时间；在二进制时钟显示130上照亮的位(光源160)的指示器；在二进制时钟显示130上变暗的位(光源160)的指示器；在虚拟时钟显示150上照亮的位(虚拟光源165)的指示器；在虚拟时钟显示150上变暗的位(虚拟光源165)的指示器；模拟已经运行的时间量；等等。过程400可以从框430返回到框405。
一般来讲，所描述的计算***和/或装置可采用多种计算机操作***中的任一种，包括但绝不限于以下版本和/或种类：Ford应用程序；AppLink/智能装置链接中间件(Smart Device Link middleware)；Microsoft操作***；Microsoft操作***；Unix操作***(例如，由加利福尼亚州红木海岸的甲骨文公司(Oracle Corporation of Redwood Shores,California)发布的操作***)；由纽约州阿蒙克市的国际商业机器公司(International Business Machines of Armonk,NewYork)发布的AIX UNIX操作***；Linux操作***；由加利福尼亚州库比蒂诺市的苹果公司(Apple Inc.of Cupertino,California)发布的Mac OSX和iOS操作***；由加拿大滑铁卢的黑莓有限公司(Blackberry,Ltd.of Waterloo,Canada)发布的黑莓操作***；以及由谷歌公司(Google,Inc.)和开放手机联盟(Open Handset Alliance)开发的安卓操作***；或由QNX软件***公司(QNX Software Systems)提供的车载娱乐信息平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型电脑或手持计算机，或一些其他计算***和/或装置。
计算装置一般包括计算机可执行指令，在这种情况下，指令可由一个或多个计算装置(诸如上面列出的那些)执行。计算机可执行指令可由使用多种编程语言和/或技术而创建的计算机程序编译或解释，所述编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl等。这些应用程序中的一些可在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一个或多个。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂态(例如，有形)介质。这种介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他永久性存储器。非易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一个或多个传输介质传输，该一个或多个传输介质包括同轴电缆、铜线和光纤，包括构成耦合到处理器的***总线的电线。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、可编程只读存储器(PROM)、电可编程只读存储器(EPROM)、快闪电可擦除可编程只读存储器(FLASH-EEPROM)、任何其他存储芯片或盒式磁带，或计算机可从中读取的任何其他介质。
本文所述的数据库、数据存储库或其他数据存储可包括用于存储、访问和检索各种数据的各种机制，包括分层数据库、文件***中的一组文件、专有格式的应用程序数据库、关系数据库管理***(RDBMS)等。每个这样的数据存储通常被包括在采用诸如上文提及的操作***之一的计算机操作***的计算装置内，并且以多种方式中的任一种或多种经由网络访问。文件***可以从计算机操作***访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行存储程序的语言(诸如上文提及的PL/SQL语言)之外，RDBMS通常还采用结构化查询语言(SQL)。
在一些示例中，***元件可被实现为一个或多个计算装置(例如，服务器、个人计算机等)上的计算机可读指令(例如，软件)，所述指令存储在与所述计算装置相关联的计算机可读介质(例如，磁盘、存储器等)上。计算机程序产品可包括存储在计算机可读介质上的此类指令以用于执行本文所述的功能。
关于本文描述的过程、***、方法、启发等，应当理解，虽然将此类过程的步骤等描述为按照某种有序的顺序发生，但是此类过程也可以在所述步骤以与本文所述顺序不同的顺序来执行的情况下实施。还应理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是为了说明某些实施例而提供的，绝不应当将其理解为用于对权利要求进行限制。
因此，应理解，以上描述旨在为说明性的而非限制性的。在阅读以上描述后，除所提供的示例之外的许多实施例和应用将是显而易见的。范围不应参考以上描述来确定，而是替代地应参考随附权利要求连同权利要求所应享有的等效物的全部范围来确定。可以想到且可以预期的是，在本文所讨论的技术中将会出现进一步的发展，并且所公开的***和方法将结合到此类将来实施例中。总之，应该理解，本申请能够进行修改和变化。
权利要求中使用的所有术语旨在被赋予本文所述领域的技术人员所理解的普通含义，除非本文给出明确的相反指示。具体地讲，诸如“一个”、“一种”、“该”、“所述”等单数冠词的使用应当被理解为表述所指示要素中的一个或多个，除非权利要求作出明确相反的限制。
提供“说明书摘要”以快速地确定本技术公开的性质。应理解，该摘要的提交不用于解释或限制权利要求的范围或含义。此外，在前面的“具体实施方式”中，可以看出，为了精简本公开的目的，各种特征在各种实施例中被分组在一起。本公开的此方法不应解释为反映以下意图：要求保护的实施例需要比每项权利要求中明确叙述的特征更多的特征。而是，如随附权利要求所反映，发明主题在于比单个公开的实施例的所有特征更少的特征。因此，随附权利要求由此被并入“具体实施方式”中，每项权利要求自身作为单独要求保护的主题。
根据本发明，提供了一种***，该***具有：实时计算机，其具有被编程为输出时钟信号的实时时钟；二进制时钟显示，其被编程为根据时钟信号显示已经过的第一时间量；主计算机，其被编程为模拟虚拟环境，该虚拟环境包括虚拟时钟显示，该虚拟时钟显示被编程为根据时钟信号表示已经过的第二时间量；以及延时处理器，其被编程为基于第一时间量与第二时间量之间的差来计算主计算机的延时。
根据一个实施例，延时处理器被编程为通过从第一时间量减去第二时间量来计算主计算机的延时。
根据一个实施例，上述发明的特征还在于相机，其被配置为捕获包括二进制时钟显示和虚拟时钟显示的图像。
根据一个实施例，延时处理器被编程为接收图像并从图像确定第一时间量和第二时间量。
根据一个实施例，二进制时钟显示包括多个光源，该多个光源表示代表第一时间量的二进制串。
根据一个实施例，虚拟时钟显示包括多个虚拟光源，该多个虚拟光源表示代表第二时间量的二进制串。
根据一个实施例，照亮的光源表示二进制1而变黑的光源表示二进制0，并且其中照亮的虚拟光源表示二进制1而变黑的虚拟光源表示二进制0。
根据一个实施例，上述发明的特征还在于监视器，其与主计算机通信并被编程为显示虚拟环境和虚拟时钟显示的模拟。
根据一个实施例，实时计算机被编程为实时计算车辆动力学。
根据一个实施例，上述发明的特征还在于与实时计算机通信的车辆控制器。
根据本发明，一种方法包括：根据实时计算机输出的时钟信号确定已经过的第一时间量；在模拟虚拟环境的主计算机上根据实时计算机输出的时钟信号确定已经过的第二时间量；以及基于第一时间量与第二时间量之间的差来计算主计算机的延时。
根据一个实施例，计算延时包括从第一时间量减去第二时间量。
根据一个实施例，确定第一时间量包括接收显示第一时间量的二进制时钟显示的图像并处理该图像以确定第一时间量。
根据一个实施例，该图像还包括显示第二时间量的虚拟时钟显示，并且确定第二时间量包括接收虚拟时钟显示的图像并处理该图像以确定第二时间量。
根据一个实施例，上述发明的特征还在于接收具有图像的帧。
根据一个实施例，上述发明的特征还在于确定是否处理帧。
根据一个实施例，上述发明的特征还在于在与主计算机通信的监视器上显示虚拟环境和虚拟时钟显示的模拟。
根据本发明，提供了一种***，该***具有：实时计算机，其被编程为实时计算车辆动力学，该实时计算机具有被编程为输出时钟信号的实时时钟；车辆控制器，其与实时计算机通信；二进制时钟显示，其被编程为根据时钟信号显示已经过的第一时间量；主计算机，其被编程为模拟虚拟环境，该虚拟环境包括虚拟时钟显示，该虚拟时钟显示被编程为根据时钟信号表示已经过的第二时间量；监视器，其与主计算机通信并被编程为显示虚拟环境和虚拟时钟显示的模拟；相机，其被配置为捕获包括二进制时钟显示和虚拟时钟显示的图像；以及延时处理器，其被编程为接收相机所捕获的图像、从图像确定第一时间量和第二时间量并基于第一时间量与第二时间量之间的差来计算主计算机的延时。
根据一个实施例，延时处理器被编程为通过从第一时间量减去第二时间量来计算主计算机的延时。
根据一个实施例，二进制时钟显示包括多个光源，该多个光源表示代表第一时间量的二进制串，其中虚拟时钟显示包括多个虚拟光源，该多个虚拟光源表示代表第二时间量的二进制串，其中照亮的光源表示二进制1而变黑的光源表示二进制0，并且其中照亮的虚拟光源表示二进制1而变黑的虚拟光源表示二进制0。

Claims (15)

1.一种***，其包括：
实时计算机，所述实时计算机具有被编程为输出时钟信号的实时时钟；
二进制时钟显示，所述二进制时钟显示被编程为根据所述时钟信号显示已经过的第一时间量；
主计算机，所述主计算机被编程为模拟虚拟环境，所述虚拟环境包括虚拟时钟显示，所述虚拟时钟显示被编程为根据所述时钟信号表示已经过的第二时间量；以及
延时处理器，所述延时处理器被编程为基于所述第一时间量与所述第二时间量之间的差来计算所述主计算机的延时。
2.如权利要求1所述的***，其中所述延时处理器被编程为通过从所述第一时间量减去所述第二时间量来计算所述主计算机的所述延时。
3.如权利要求1或2所述的***，其还包括相机，所述相机被配置为捕获包括所述二进制时钟显示和所述虚拟时钟显示的图像。
4.如权利要求3所述的***，其中所述延时处理器被编程为接收所述图像并从所述图像确定所述第一时间量和所述第二时间量。
5.如权利要求1或2所述的***，其中所述二进制时钟显示包括多个光源，所述多个光源表示代表所述第一时间量的二进制串。
6.如权利要求5所述的***，其中所述虚拟时钟显示包括多个虚拟光源，所述多个虚拟光源表示代表所述第二时间量的二进制串。
7.如权利要求6所述的***，其中照亮的光源表示二进制1而变黑的光源表示二进制0，并且其中照亮的虚拟光源表示二进制1而变黑的虚拟光源表示二进制0。
8.如权利要求1或2所述的***，其还包括监视器，所述监视器与所述主计算机通信并被编程为显示所述虚拟环境和所述虚拟时钟显示的所述模拟。
9.如权利要求1或2所述的***，其中所述实时计算机被编程为实时计算车辆动力学。
10.如权利要求9所述的***，其还包括车辆控制器，所述车辆控制器与所述实时计算机通信。
11.一种方法，其包括：
根据实时计算机输出的时钟信号确定已经过的第一时间量；
在模拟虚拟环境的主计算机上根据所述实时计算机输出的所述时钟信号确定已经过的第二时间量；以及
基于所述第一时间量与所述第二时间量之间的差来计算所述主计算机的延时。
12.如权利要求11所述的方法，其中计算所述延时包括从所述第一时间量减去所述第二时间量。
13.如权利要求11或12所述的方法，其中确定所述第一时间量包括接收显示所述第一时间量的二进制时钟显示的图像并处理所述图像以确定所述第一时间量。
14.如权利要求13所述的方法，其中所述图像还包括显示所述第二时间量的虚拟时钟显示，并且其中确定所述第二时间量包括接收所述虚拟时钟显示的所述图像并处理所述图像以确定所述第二时间量。
15.如权利要求13所述的方法，其还包括：
接收具有所述图像的帧；以及
确定是否处理所述帧。
CN201811512162.8A 2017-12-13 2018-12-11 模拟延时指示 Pending CN110045710A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/840,259 2017-12-13
US15/840,259 US10404565B2 (en) 2017-12-13 2017-12-13 Simulation latency indication

Publications (1)

Publication Number Publication Date
CN110045710A true CN110045710A (zh) 2019-07-23

Family

ID=66629735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811512162.8A Pending CN110045710A (zh) 2017-12-13 2018-12-11 模拟延时指示

Country Status (3)

Country Link
US (1) US10404565B2 (zh)
CN (1) CN110045710A (zh)
DE (1) DE102018131833A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902165B2 (en) * 2018-01-09 2021-01-26 The Charles Stark Draper Laboratory, Inc. Deployable development platform for autonomous vehicle (DDPAV)
US11091169B2 (en) 2018-03-23 2021-08-17 Infineon Technologies Ag Advanced driver assistance systems test-interface for automated driving sensors
WO2019191592A1 (en) * 2018-03-29 2019-10-03 Jabil Inc. Apparatus, system, and method of certifying sensing for autonomous robot navigation
US11194939B2 (en) * 2019-08-16 2021-12-07 Uatc, Llc Hardware in loop testing and generation of latency profiles for use in simulation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207508A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 運転訓練シミュレータ装置
JP2005010306A (ja) * 2003-06-17 2005-01-13 Univ Nihon 鉄道用運転シミュレータ
JP2006138824A (ja) * 2004-11-15 2006-06-01 Pioneer Electronic Corp 時刻修正装置、電子機器、時刻修正方法および時刻修正プログラム
US20070038426A1 (en) * 2005-07-27 2007-02-15 Chunsheng Fu Hybrid simulation system and method of simulating systems
JP2014168978A (ja) * 2013-03-01 2014-09-18 Hitachi Ltd 列車走行実績データ自動生成シミュレータ
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试***
US20160221575A1 (en) * 2013-09-05 2016-08-04 Avl List Gmbh Method and device for optimizing driver assistance systems
CN106205165A (zh) * 2016-07-22 2016-12-07 金陵科技学院 一种带有无线交通信号发送装置的交通路口信号控制***
EP3144756A1 (de) * 2015-09-18 2017-03-22 Siemens Aktiengesellschaft Steuerungssystem sowie verfahren zum betrieb eines steuerungssystems mit einer realen und einer virtuellen steuerung zur reduzierung von ausfallzeiten

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057947B4 (de) 2004-11-30 2009-10-29 Audi Ag Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
US7376525B2 (en) * 2005-05-10 2008-05-20 Newport Corporation Apparatus and method for estimation of initial phase of a brushless motor
US8718319B2 (en) * 2007-06-15 2014-05-06 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8831108B2 (en) * 2011-05-04 2014-09-09 Cavium, Inc. Low latency rate control system and method
US9529626B2 (en) * 2012-09-12 2016-12-27 Salesforce.Com, Inc. Facilitating equitable distribution of thread resources for job types associated with tenants in a multi-tenant on-demand services environment
US9514664B2 (en) 2012-09-25 2016-12-06 The Boeing Company Measuring latency in a test system using captured images
US20170146987A1 (en) 2015-11-20 2017-05-25 Caterpillar Inc. Electronic control module testing system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207508A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 運転訓練シミュレータ装置
JP2005010306A (ja) * 2003-06-17 2005-01-13 Univ Nihon 鉄道用運転シミュレータ
JP2006138824A (ja) * 2004-11-15 2006-06-01 Pioneer Electronic Corp 時刻修正装置、電子機器、時刻修正方法および時刻修正プログラム
US20070038426A1 (en) * 2005-07-27 2007-02-15 Chunsheng Fu Hybrid simulation system and method of simulating systems
JP2014168978A (ja) * 2013-03-01 2014-09-18 Hitachi Ltd 列車走行実績データ自動生成シミュレータ
US20160221575A1 (en) * 2013-09-05 2016-08-04 Avl List Gmbh Method and device for optimizing driver assistance systems
EP3144756A1 (de) * 2015-09-18 2017-03-22 Siemens Aktiengesellschaft Steuerungssystem sowie verfahren zum betrieb eines steuerungssystems mit einer realen und einer virtuellen steuerung zur reduzierung von ausfallzeiten
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试***
CN106205165A (zh) * 2016-07-22 2016-12-07 金陵科技学院 一种带有无线交通信号发送装置的交通路口信号控制***

Also Published As

Publication number Publication date
US10404565B2 (en) 2019-09-03
DE102018131833A1 (de) 2019-06-13
US20190182136A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN110045710A (zh) 模拟延时指示
US20200364508A1 (en) Using decay parameters for inferencing with neural networks
US11494370B2 (en) Hardware-controlled updating of a physical operating parameter for in-field fault detection
US20220083807A1 (en) Generating labels for synthetic images using one or more neural networks
US20190034322A1 (en) Automatically validated release candidates for data-driven applications by automated publishing of integration microservice and data container tuple
US10679099B2 (en) Method and apparatus for a manifold view of space
DE112020005156T5 (de) Verstärkendes Lernen von taktilen Greifstrategien
US20220130153A1 (en) Vehicle control method, apparatus, electronic device and vehicle
CN108304861A (zh) 生成自动车辆泄漏探测的训练数据
CN111931929A (zh) 一种多任务模型的训练方法、装置及存储介质
CN104951396A (zh) 基于虚拟机创建软件性能测试环境的方法和装置
US20220114821A1 (en) Methods, systems, articles of manufacture and apparatus to categorize image text
US20220269937A1 (en) Generating frames for neural simulation using one or more neural networks
CN112783516B (zh) 硬件适配的方法、电子设备和计算机可读存储介质
CN111738212B (zh) 基于人工智能的交通信号灯识别方法、装置、设备及介质
US20160284122A1 (en) 3d model recognition apparatus and method
CN108021505A (zh) 数据上线方法、装置和计算机设备
US11587314B2 (en) Intelligent correction of vision deficiency
CN109727376A (zh) 生成配置文件的方法、装置及售货设备
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN114554279A (zh) 基于远程分析的触发器响应剪辑提取
CN112849144B (zh) 车辆控制方法、装置及存储介质
KR102057219B1 (ko) 데이터 입출력 포화 검출 장치 및 방법
CN114186923B (zh) 一种库房档案定位辅助方法、***、智能终端及存储介质
US20220222583A1 (en) Apparatus, articles of manufacture, and methods for clustered federated learning using context data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination