CN114520855B - 基于多模块数据的图像帧渲染方法、装置及存储介质 - Google Patents

基于多模块数据的图像帧渲染方法、装置及存储介质 Download PDF

Info

Publication number
CN114520855B
CN114520855B CN202111676337.0A CN202111676337A CN114520855B CN 114520855 B CN114520855 B CN 114520855B CN 202111676337 A CN202111676337 A CN 202111676337A CN 114520855 B CN114520855 B CN 114520855B
Authority
CN
China
Prior art keywords
data
tag
time
module
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111676337.0A
Other languages
English (en)
Other versions
CN114520855A (zh
Inventor
林恣
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111676337.0A priority Critical patent/CN114520855B/zh
Publication of CN114520855A publication Critical patent/CN114520855A/zh
Application granted granted Critical
Publication of CN114520855B publication Critical patent/CN114520855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于多模块数据的图像帧渲染方法、装置及存储介质,涉及汽车驾驶技术领域,解决了汽车的一次操作涉及的数据无法显示在同一个图像帧的问题。具体方案包括:获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,第一标签用于指示第一数据所处的操作中的首个模块输出数据的时刻;根据多个第一数据,确定第一标签集合,第一标签集合包括至少一个第一标签;根据视频的当前播放时刻从第一标签集合中确定目标标签,目标标签指示的时刻与当前播放时刻之间的时长满足预设规则;根据包含有目标标签的第一数据渲染第一图像帧。

Description

基于多模块数据的图像帧渲染方法、装置及存储介质
技术领域
本发明涉及汽车驾驶技术领域,尤其涉及一种基于多模块数据的图像帧渲染方法、装置及存储介质。
背景技术
自动驾驶过程中,汽车的一次完整操作会涉及多个模块,多个模块会按照先后顺序来执行各自的功能。例如,多个模块可以包括依次执行的传感器模块、感知模块、硬件模块等。
在一次完整操作过程中,每个模块获取到数据后,向下游模块输出该数据,并将该数据传输至服务器。服务器将接收到的数据存储至日志中,并按照每个数据中包括的模块输出数据时刻,对日志中的数据进行可视化渲染回放,以便于工程师对汽车自动驾驶过程中存在的问题进行分析和定位。
由于上述多个模块不是同步执行的,下游模块的输出数据时刻相对于上游模块来说会存在延迟。因此如果按照模块输出数据时刻来进行顺序播放的话,可能会导致一次操作涉及的数据无法显示在同一个图像帧中,进而影响工程师对问题细节的定位和分析效率。
发明内容
本发明提供一种基于多模块数据的图像帧渲染方法、装置及存储介质,解决了汽车的一次操作涉及的数据无法显示在同一个图像帧的问题。
为达到上述目的,本发明采用如下技术方案:
第一方面,本发明提供一种基于多模块数据的图像帧渲染方法,该方法包括:
获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,第一标签用于指示第一数据所处的操作中的首个模块输出数据的时刻;
根据多个第一数据,确定第一标签集合,第一标签集合包括至少一个第一标签;
根据视频的当前播放时刻从第一标签集合中确定目标标签,目标标签指示的时刻与当前播放时刻之间的时长满足预设规则;
根据包含有目标标签的第一数据渲染第一图像帧。
在一种可能的实现方式中,根据视频的当前播放时刻从第一标签集合中确定目标标签,包括:
确定至少一个第一标签中每个第一标签指示的时刻与当前播放时刻之间的时长,得到至少一个时长;
将至少一个时长中,最小时长对应的第一标签确定为目标标签;或者,将时长小于预设值的时长对应的第一标签确定为目标标签。
在一种可能的实现方式中,多个第一数据为接收的汽车行驶过程中产生的数据;或者,多个第一数据为模拟汽车行驶过程产生的数据。
在一种可能的实现方式中,基于多模块数据的图像帧渲染方法还包括:
获取第二日志文件包括的多个第二数据,每个第二数据包括第二标签,第二标签用于指示第二数据所处的操作中首个模块输出数据的时刻;
根据多个第二数据,确定第二标签集合;
根据目标标签指示的时刻与第一时刻的时间间隔,以及第二时刻在第二标签集合中确定同步标签,第一时刻为至少一个第一标签指示的时刻中最早的时刻,第二时刻为第二标签集合指示的时刻中最早的时刻,第二时刻经过时间间隔后为同步标签指示的时刻;
根据包含有同步标签的第二数据渲染第二图像帧。
第二方面,本发明提供一种基于多模块数据的图像帧渲染方法,该方法包括:
汽车行驶过程中,汽车的首个模块获取数据;
首个模块根据获取数据的时刻为数据分配标签;
首个模块向首个模块的下游模块传输包含有标签的数据,并向服务器发送包含有标签的数据;
下游模块接收包含有标签的数据,处理数据后得到新数据,向服务器发送包含有标签的新数据。
第三方面,本发明提供一种基于多模块数据的图像帧渲染装置,该装置包括:
获取单元,用于获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,第一标签用于指示第一数据所处的操作中的首个模块输出数据的时刻;
确定单元,用于根据获取单元获取到的多个第一数据,确定第一标签集合,第一标签集合包括至少一个第一标签;根据视频的当前播放时刻从第一标签集合中确定目标标签,目标标签指示的时刻与当前播放时刻之间的时长满足预设规则;
渲染单元,用于根据包含有确定单元确定的目标标签的第一数据渲染第一图像帧。
在一种可能的实现方式中,确定单元,具体用于:
确定至少一个第一标签中每个第一标签指示的时刻与当前播放时刻之间的时长,得到至少一个时长;
将至少一个时长中,最小时长对应的第一标签确定为目标标签;或者,将时长小于预设值的时长对应的第一标签确定为目标标签。
在一种可能的实现方式中,多个第一数据为接收的汽车行驶过程中产生的数据;或者,多个第一数据为模拟汽车行驶过程产生的数据。
在一种可能的实现方式中,获取单元,还用于获取第二日志文件包括的多个第二数据,每个第二数据包括第二标签,第二标签用于指示第二数据所处的操作中首个模块输出数据的时刻;
确定单元,还用于根据获取单元获取的多个第二数据,确定第二标签集合;根据目标标签指示的时刻与第一时刻的时间间隔,以及第二时刻在第二标签集合中确定同步标签,第一时刻为至少一个第一标签指示的时刻中最早的时刻,第二时刻为第二标签集合指示的时刻中最早的时刻,第二时刻经过时间间隔后为同步标签指示的时刻;
渲染单元,还用于根据包含有确定单元确定的同步标签的第二数据渲染第二图像帧。
第四方面,本发明提供一种基于多模块数据的图像帧渲染装置,该基于多模块数据的图像帧渲染装置包括:处理器和存储器。存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。当处理器执行计算机指令时,基于多模块数据的图像帧渲染装置执行如第一方面及其任一种可能的实现方式的基于多模块数据的图像帧渲染方法,或者执行如第二方面的基于多模块数据的图像帧渲染方法。
第五方面,本发明提供一种计算机可读存储介质,其上存储有计算机指令,当计算机指令在基于多模块数据的图像帧渲染装置上运行时,使得基于多模块数据的图像帧渲染装置执行如第一方面或第一方面的可能的实现方式中任意一项的基于多模块数据的图像帧渲染方法,或者执行如第二方面的基于多模块数据的图像帧渲染方法。
第六方面,本发明提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在基于多模块数据的图像帧渲染装置上运行时,使得基于多模块数据的图像帧渲染装置执行如第一方面及其任一种可能的实现方式的基于多模块数据的图像帧渲染方法,或者执行如第二方面的基于多模块数据的图像帧渲染方法。
本发明实施例提供的基于多模块数据的图像帧渲染方法,由于每个第一数据包括的第一标签用于指示该第一数据所处的操作中的首个模块输出数据的时刻,又由于不同的操作中首个模块输出数据的时刻不同,因此一次操作中的各个模块产生的第一数据中包括的第一标签均相同,且不同操作中的第一标签不同。这样,服务器根据当前播放时刻确定出目标标签后,根据包括有该目标标签的第一数据渲染第一图像帧。包括有目标标签的第一数据即为一次操作中涉及到的所有数据,保证了第一日志文件中一次操作涉及到的所有数据都能被渲染在同一个图像帧上,在工程师通过一帧帧分析问题的时候,避免因为错帧导致工程师分析错因果关系,方便工程师更好更快的定位问题,大大提高了工作效率。
附图说明
图1为本发明实施例提供的基于多模块数据的图像帧渲染***的示意图;
图2为本发明实施例提供的基于多模块数据的图像帧渲染方法的流程示意图之一;
图3为本发明实施例提供的基于多模块数据的图像帧渲染方法的流程示意图之二;
图4为本发明实施例提供的基于多模块数据的图像帧渲染装置的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。另外,“基于”或“根据”的使用意味着开放和包容性,因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
为了解决汽车的一次操作涉及的数据无法显示在同一个图像帧的问题,本发明实施例提供了一种基于多模块数据的图像帧渲染方法,能够保证日志文件中一次操作涉及到的所有数据都能被渲染在同一个图像帧上。
图1为本发明实施例提供的一种基于多模块数据的图像帧渲染***的示意图,本发明实施例提供的基于多模块数据的图像帧渲染方法可以应用于该基于多模块数据的图像帧渲染***中。如图1所示,该***可以包括:服务器11和汽车12。服务器11和汽车12通过有线通信或无线通信的方式连接。
汽车12,用于将行驶过程中的首个模块获取到数据的时间戳用做一次操作中所有模块数据的标签。
示例性的,首个模块可以是汽车的传感器:主雷达。当主雷达获取到数据,并将该数据通过车内部的网络发送出去的时候,所有订阅这个数据的下游模块就会收到这个数据并从中获取到一个时间戳。这些模块完成计算后会把该时间戳加入到自己的输出数据中发送给再下游的模块,并将包含时间戳的输出数据发送到服务器,以便于服务器将接收到的数据写入日志文件中。
服务器11,用于存储日志文件。当需要定位问题时,服务器11,还用于获取第一日志文件包括的多个第一数据,每个第一数据包括第一标签,该第一标签可以是时间戳。服务器11,还用于根据多个第一数据,确定第一标签集合,并根据当前播放时刻从第一标签集合中确定目标标签,且根据包含有目标标签的第一数据渲染第一图像帧。
本发明实施例提供的基于多模块数据的图像帧渲染方法的执行主体为基于多模块数据的图像帧渲染装置。该基于多模块数据的图像帧渲染装置可以是图1中的服务器或汽车,也可以是服务器或汽车的CPU,还可以是服务器或汽车的客户端。本发明实施例不做限定。本发明实施例中以基于多模块数据的图像帧渲染装置为服务器或汽车为例对本发明实施例中的基于多模块数据的图像帧渲染方法进行介绍。
需要说明的是,本发明实施例中,汽车实际行驶过程中,或者是服务器中模拟汽车行驶过程中,汽车的首个模块获取到数据后,可以根据获取到该数据的时刻为该数据分配标签。首个模块可以向该首个模块的下游模块传输包含有该标签的数据,并向服务器发送包含有该标签的数据,以便于服务器将其存储至日志文件中。下游模块接收到包含有该标签的数据之后,可以处理该数据后得到新数据,并向服务器发送包含有该标签的新数据,以便服务器将下游模块的新数据存储至日志文件中。若下游模块仍有下游模块,则该下游模块继续向其下游模块传输包含有该标签的新数据,直到最后一个模块为止。这样,一次操作中,各个模块可以将首个模块输出数据的时刻对应的标签包含在各个模块处理后的数据后。
对于汽车来说,一次操作中涉及的模块从上至下通常可以包括:传感器模块、感知模块、规划与控制模块、硬件模块。上述首个模块可以为传感器模块,例如,该首个模块可以为传感器模块中的主雷达。
图2为本发明实施例提供的一种基于多模块数据的图像帧渲染方法的流程图。如图2所示,该方法可以包括以下步骤201-步骤204。
201、服务器获取第一日志文件包括的多个第一数据。
其中,当工程师需要定位自动驾驶过程中的问题时,服务器可以获取存储的第一日志文件包括的多个第一数据。一个第一数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,第一标签用于指示第一数据所处的操作中的首个模块输出数据的时刻。
可选的,在本发明实施例中,多个第一数据可以是汽车行驶过程中不同模块产生的数据,也可以是利用仿真框架模拟汽车行驶过程产生的仿真数据。
202、服务器根据多个第一数据,确定第一标签集合,第一标签集合包括至少一个第一标签。
服务器在获取到第一日志文件包括的多个第一数据后,可以获取多个第一数据中每个第一数据包括的第一标签,得到多个第一标签。对该多个第一标签进行去重处理后,便得到第一标签集合。且服务器可以将第一标签集合,按照至少一个第一标签指示的时刻的时间先后进行排序,以备后续使用。
示例性的,第一标签可以为一次操作中首个模块输出数据的时刻,还可以是根据首个模块输出数据的时刻确定出的信息,本发明实施例在此对第一标签的具体实现不做限制。
203、服务器根据视频的当前播放时刻从第一标签集合中确定目标标签。
其中,目标标签指示的时刻与当前播放时刻之间的时长满足预设规则。
可选的,在本发明实施例中,服务器在确定出第一标签集合之后,可以确定至少一个第一标签中每个第一标签指示的时刻与当前播放时刻之间的时长,得到至少一个时长,并将至少一个时长中,最小时长对应的第一标签确定为目标标签。或者,服务器可以将时长小于预设值的时长对应的第一标签确定为目标标签。
204、服务器根据包含有目标标签的第一数据渲染第一图像帧。
服务器在确定出目标标签之后,可以在第一日志文件中找到所有含有目标标签的第一数据,并利用这些包含有目标标签的第一数据渲染第一图像帧,以供工程师查看。
具体地,服务器可以将包含有目标标签的第一数据存储至预设队列中。当需要渲染第一图像帧时,服务器可以从预设队列中获取包含有目标标签的第一数据,在进行格式处理和加工后,传输至浏览器中。浏览器可以利用这些包含有目标标签的第一数据渲染第一图像帧。
本发明实施例提供的基于多模块数据的图像帧渲染方法,由于每个第一数据包括的第一标签用于指示该第一数据所处的操作中的首个模块输出数据的时刻,又由于不同的操作中首个模块输出数据的时刻不同,因此一次操作中的各个模块产生的第一数据中包括的第一标签均相同,且不同操作中的第一标签不同。这样,服务器根据当前播放时刻确定出目标标签后,根据包括有该目标标签的第一数据渲染第一图像帧。包括有目标标签的第一数据即为一次操作中涉及到的所有数据,保证了第一日志文件中一次操作涉及到的所有数据都能被渲染在同一个图像帧上,在工程师通过一帧帧分析问题的时候,避免因为错帧导致工程师分析错因果关系,方便工程师更好更快的定位问题,大大提高了工作效率。
可选的,在本发明实施例中,结合图2,如图3所示,本发明实施例提供的基于多模块数据的图像帧渲染方法还可以包括以下步骤205-步骤208。
205、服务器获取第二日志文件包括的多个第二数据。
其中,每个第二数据包括第二标签,第二标签用于指示第二数据所处的操作中首个模块输出数据的时刻。一个第二数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系。
可选的,在本发明实施例中,第一日志文件和第二日志文件,一个是汽车行驶过程中不同模块产生的数据,另一个是仿真框架模拟汽车行驶过程产生的仿真数据。或者,第一日志文件和第二日志文件可以都是仿真框架模拟汽车行驶过程产生的仿真数据。
例如,一个文件是汽车在路测遇到问题时所使用的算法生成的复现结果,另一个文件是修复改良后的算法在原场景里跑出来的结果。利用两个日志文件能够让工程师对比前后算法的效果,从而确认改进后的算法是否真的解决了问题。
206、服务器根据多个第二数据,确定第二标签集合。
需要说明的是,服务器确定第二标签集合与上述实施例中确定第一标签集合的过程类似,可以参考上述描述,在此不再赘述。
207、服务器根据目标标签指示的时刻与第一时刻的时间间隔,以及第二时刻在第二标签集合中确定同步标签。
服务器在确定出第二标签集合、目标标签之后,可以将第一标签集合指示的时刻中最早的时刻作为第一时刻,并将第二标签集合指示的时刻中最早的时刻作为第二时刻。然后,服务器可以计算目标标签指示的时刻与第一时刻的时间间隔,并根据该时间间隔和第二时刻,在第二标签集合中确定同步标签。其中,第二时刻经过时间间隔后为同步标签指示的时刻。
需要说明的是,在本发明实施例中,上述第一标签集合指示的时刻按照时间先后排序之后,第一时刻与最后一个时刻之间的时长为第一时长。上述第二标签集合指示的时刻按照时间先后排序之后,第二时刻与最后一个时刻之间的时长为第二时长。该第一时长等于第二时长,且对于第一标签集合,相邻两个时刻的时间间隔,与第二标签集合中,相同位置的相邻两个时刻的时间间隔相同。
示例性的,假设第一标签集合指示的时刻,按照时间先后排序后为:S0、S0+T0、S0+T1、S0+T2…S0+Tn。第二标签集合指示的时刻,按照时间先后排序后为:S1、S1+T0、S1+T1、S1+T2…S1+Tn。那么,第一时刻为S0,第二时刻为S1。且假设目标标签指示的时刻为S0+T2,那么服务器根据S0和S0+T2,确定出时间间隔为T2,并根据T2和S1,确定出S1+T2,并将S1+T2对应的标签确定为同步标签。
208、服务器根据包含有同步标签的第二数据渲染第二图像帧。
需要说明的是,服务器渲染第二图像帧与上述实施例中渲染第一图像帧的过程类似,在此不再赘述。
本发明实施例提供的方法,对路测日志数据与改进算法后的仿真数据进行同步播放对比结果的时候,不仅单个文件可以保证同一次操作的数据显示在同一帧,还可以实现两个文件之间的帧同步对齐,方便工程师观测对比两种算法带来的不同结果,并且能够更直观的观察到改进后的算法呈现出的有益效果。
上述主要从设备的角度对本发明实施例提供的方案进行了介绍。可以理解的是,设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图4示出了上述实施例中涉及的基于多模块数据的图像帧渲染装置400的一种可能的组成示意图,如图4所示,该基于多模块数据的图像帧渲染装置400可以包括:获取单元401、确定单元402和渲染单元403。
获取单元401,用于获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,第一标签用于指示第一数据所处的操作中的首个模块输出数据的时刻;
确定单元402,用于根据获取单元401获取到的多个第一数据,确定第一标签集合,第一标签集合包括至少一个第一标签;根据视频的当前播放时刻从第一标签集合中确定目标标签,目标标签指示的时刻与当前播放时刻之间的时长满足预设规则;
渲染单元403,用于根据包含有确定单元402确定的目标标签的第一数据渲染第一图像帧。
可选的,确定单元402,具体用于:
确定至少一个第一标签中每个第一标签指示的时刻与当前播放时刻之间的时长,得到至少一个时长;
将至少一个时长中,最小时长对应的第一标签确定为目标标签;或者,将时长小于预设值的时长对应的第一标签确定为目标标签。
可选的,多个第一数据为接收的汽车行驶过程中产生的数据;或者,多个第一数据为模拟汽车行驶过程产生的数据。
可选的,获取单元401,还用于获取第二日志文件包括的多个第二数据,每个第二数据包括第二标签,第二标签用于指示第二数据所处的操作中首个模块输出数据的时刻;
确定单元402,还用于根据获取单元401获取的多个第二数据,确定第二标签集合;根据目标标签指示的时刻与第一时刻的时间间隔确定同步标签,第一时刻为至少一个第一标签指示的时刻中最早的时刻,同步标签指示的时刻与第二时刻的时间间隔等于时间间隔,第二时刻为第二标签集合指示的时刻中最早的时刻;
渲染单元403,还用于根据包含有确定单元402确定的同步标签的第二数据渲染第二图像帧。
当然,本发明实施例提供的基于多模块数据的图像帧渲染装置包括但不限于上述模块。
本发明实施例提供的基于多模块数据的图像帧渲染装置,用于执行上述基于多模块数据的图像帧渲染方法,因此可以达到与上述基于多模块数据的图像帧渲染方法相同的效果。
本发明另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当计算机指令在基于多模块数据的图像帧渲染装置上运行时,使得基于多模块数据的图像帧渲染装置执行上述方法实施例所示的方法流程中的各个步骤。
本发明另一实施例还提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在基于多模块数据的图像帧渲染装置上运行时,使得基于多模块数据的图像帧渲染装置执行上述方法实施例所示的方法流程中的各个步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何在本发明揭露的技术范围内的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于多模块数据的图像帧渲染方法,其特征在于,包括:
获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,所述一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,所述第一标签用于指示所述第一数据所处的操作中的首个模块输出数据的时刻;
所述多个第一数据为汽车行驶过程中不同模块产生的数据;
根据所述多个第一数据,确定第一标签集合,所述第一标签集合包括至少一个第一标签;
根据视频的当前播放时刻从所述第一标签集合中确定目标标签,所述目标标签指示的时刻与所述当前播放时刻之间的时长满足预设规则;
根据包含有所述目标标签的第一数据渲染第一图像帧;
获取第二日志文件包括的多个第二数据,每个第二数据包括第二标签,所述第二标签用于指示所述第二数据所处的操作中首个模块输出数据的时刻;
所述多个第二数据为仿真框架模拟汽车行驶过程产生的仿真数据;
根据所述多个第二数据,确定第二标签集合;
根据所述目标标签指示的时刻与第一时刻的时间间隔,以及第二时刻在所述第二标签集合中确定同步标签,所述第一时刻为所述至少一个第一标签指示的时刻中最早的时刻,所述第二时刻为所述第二标签集合指示的时刻中最早的时刻,所述第二时刻经过所述时间间隔后为所述同步标签指示的时刻;
根据包含有所述同步标签的第二数据渲染第二图像帧;
所述第一日志文件是采用算法记录的汽车路测日志数据结果;所述第二日志文件是改进所述算法后记录的仿真数据结果。
2.根据权利要求1所述的基于多模块数据的图像帧渲染方法,其特征在于,所述根据视频的当前播放时刻从所述第一标签集合中确定目标标签,包括:
确定所述至少一个第一标签中每个第一标签指示的时刻与所述当前播放时刻之间的时长,得到至少一个时长;
将所述至少一个时长中,最小时长对应的第一标签确定为所述目标标签;或者,将时长小于预设值的时长对应的第一标签确定为所述目标标签。
3.一种基于多模块数据的图像帧渲染装置,其特征在于,包括:
获取单元,用于获取第一日志文件包括的多个第一数据,一个第一数据为一次操作中汽车的一个模块产生的数据,所述一次操作的不同模块之间具有上下游关系,每个第一数据包括第一标签,所述第一标签用于指示所述第一数据所处的操作中的首个模块输出数据的时刻;
所述多个第一数据为汽车行驶过程中不同模块产生的数据;
确定单元,用于根据所述获取单元获取到的所述多个第一数据,确定第一标签集合,所述第一标签集合包括至少一个第一标签;根据视频的当前播放时刻从所述第一标签集合中确定目标标签,所述目标标签指示的时刻与所述当前播放时刻之间的时长满足预设规则;
渲染单元,用于根据包含有所述确定单元确定的所述目标标签的第一数据渲染第一图像帧;
所述获取单元,还用于获取第二日志文件包括的多个第二数据,每个第二数据包括第二标签,所述第二标签用于指示所述第二数据所处的操作中首个模块输出数据的时刻;
所述多个第二数据为仿真框架模拟汽车行驶过程产生的仿真数据;
所述确定单元,还用于根据所述获取单元获取的所述多个第二数据,确定第二标签集合;根据所述目标标签指示的时刻与第一时刻的时间间隔,以及第二时刻在所述第二标签集合中确定同步标签,所述第一时刻为所述至少一个第一标签指示的时刻中最早的时刻,所述第二时刻为所述第二标签集合指示的时刻中最早的时刻,所述第二时刻经过所述时间间隔后为所述同步标签指示的时刻;
所述渲染单元,还用于根据包含有所述确定单元确定的所述同步标签的第二数据渲染第二图像帧;
所述第一日志文件是采用算法记录的汽车路测日志数据结果;所述第二日志文件是改进所述算法后记录的仿真数据结果。
4.根据权利要求3所述的基于多模块数据的图像帧渲染装置,其特征在于,所述确定单元,具体用于:
确定所述至少一个第一标签中每个第一标签指示的时刻与所述当前播放时刻之间的时长,得到至少一个时长;
将所述至少一个时长中,最小时长对应的第一标签确定为所述目标标签;或者,将时长小于预设值的时长对应的第一标签确定为所述目标标签。
5.一种基于多模块数据的图像帧渲染装置,其特征在于,所述基于多模块数据的图像帧渲染装置包括:处理器和存储器;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,所述基于多模块数据的图像帧渲染装置执行如权利要求1-2中任意一项所述的基于多模块数据的图像帧渲染方法。
6.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在基于多模块数据的图像帧渲染装置上运行时,使得所述基于多模块数据的图像帧渲染装置执行如权利要求1-2中任意一项所述的基于多模块数据的图像帧渲染方法。
CN202111676337.0A 2021-12-31 2021-12-31 基于多模块数据的图像帧渲染方法、装置及存储介质 Active CN114520855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111676337.0A CN114520855B (zh) 2021-12-31 2021-12-31 基于多模块数据的图像帧渲染方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111676337.0A CN114520855B (zh) 2021-12-31 2021-12-31 基于多模块数据的图像帧渲染方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114520855A CN114520855A (zh) 2022-05-20
CN114520855B true CN114520855B (zh) 2024-03-15

Family

ID=81596051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111676337.0A Active CN114520855B (zh) 2021-12-31 2021-12-31 基于多模块数据的图像帧渲染方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114520855B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501800A (zh) * 2014-12-25 2015-04-08 清华大学 智能自行车骑行环境与姿态监测方法及***
CN105069492A (zh) * 2015-07-17 2015-11-18 杭州创斐科技有限公司 汽车电子显示标签远程通信***及通信方法
CN105761534A (zh) * 2016-04-19 2016-07-13 山西亿佳兴智能科技有限公司 一种基于汽车obd 接口的全球定位电子狗导航***
CN110800272A (zh) * 2018-09-28 2020-02-14 深圳市大疆软件科技有限公司 集群渲染方法、设备和***
CN111083309A (zh) * 2018-10-18 2020-04-28 北京初速度科技有限公司 一种多传感器数据的时间对齐方法及数据采集设备
CN111311912A (zh) * 2020-02-25 2020-06-19 北京天融信网络安全技术有限公司 车联网检测数据确定方法、装置及电子设备
CN111385523A (zh) * 2018-12-27 2020-07-07 北京图森智途科技有限公司 一种数据接收方法、图像处理设备和汽车
CN212047237U (zh) * 2020-04-28 2020-12-01 南通理工学院 一种基于新能源汽车控制***的电子检测维修***
CN112214009A (zh) * 2019-06-25 2021-01-12 上海商汤临港智能科技有限公司 传感器数据处理方法、装置、电子设备及***
CN112288906A (zh) * 2020-10-27 2021-01-29 北京五一视界数字孪生科技股份有限公司 仿真数据集的获取方法、装置、存储介质和电子设备
CN112698372A (zh) * 2020-12-11 2021-04-23 国汽(北京)智能网联汽车研究院有限公司 时空数据处理方法、装置、电子设备及存储介质
CN112836395A (zh) * 2021-03-10 2021-05-25 北京车和家信息技术有限公司 一种车辆行驶数据模拟方法、装置、电子设备及存储介质
CN113268555A (zh) * 2021-05-26 2021-08-17 深圳市有方科技股份有限公司 多类型数据的地图生成方法、装置和计算机设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501800A (zh) * 2014-12-25 2015-04-08 清华大学 智能自行车骑行环境与姿态监测方法及***
CN105069492A (zh) * 2015-07-17 2015-11-18 杭州创斐科技有限公司 汽车电子显示标签远程通信***及通信方法
CN105761534A (zh) * 2016-04-19 2016-07-13 山西亿佳兴智能科技有限公司 一种基于汽车obd 接口的全球定位电子狗导航***
CN110800272A (zh) * 2018-09-28 2020-02-14 深圳市大疆软件科技有限公司 集群渲染方法、设备和***
CN111083309A (zh) * 2018-10-18 2020-04-28 北京初速度科技有限公司 一种多传感器数据的时间对齐方法及数据采集设备
CN111385523A (zh) * 2018-12-27 2020-07-07 北京图森智途科技有限公司 一种数据接收方法、图像处理设备和汽车
CN112214009A (zh) * 2019-06-25 2021-01-12 上海商汤临港智能科技有限公司 传感器数据处理方法、装置、电子设备及***
CN111311912A (zh) * 2020-02-25 2020-06-19 北京天融信网络安全技术有限公司 车联网检测数据确定方法、装置及电子设备
CN212047237U (zh) * 2020-04-28 2020-12-01 南通理工学院 一种基于新能源汽车控制***的电子检测维修***
CN112288906A (zh) * 2020-10-27 2021-01-29 北京五一视界数字孪生科技股份有限公司 仿真数据集的获取方法、装置、存储介质和电子设备
CN112698372A (zh) * 2020-12-11 2021-04-23 国汽(北京)智能网联汽车研究院有限公司 时空数据处理方法、装置、电子设备及存储介质
CN112836395A (zh) * 2021-03-10 2021-05-25 北京车和家信息技术有限公司 一种车辆行驶数据模拟方法、装置、电子设备及存储介质
CN113268555A (zh) * 2021-05-26 2021-08-17 深圳市有方科技股份有限公司 多类型数据的地图生成方法、装置和计算机设备

Also Published As

Publication number Publication date
CN114520855A (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
US10885240B2 (en) Deterministic simulation framework for autonomous vehicle testing
CN109635053B (zh) 地图的质检方法、装置、***及存储介质
US8448172B2 (en) Controlling parallel execution of plural simulation programs
CN112994980B (zh) 时延测试方法、装置、电子设备和存储介质
CN107704604A (zh) 一种消息持久化方法、服务器和计算机可读存储介质
CN112671487B (zh) 一种车辆测试的方法、服务器以及测试车辆
WO2023103329A1 (zh) 一种数据标注方法、装置、***、设备以及存储介质
EP2894850B1 (en) Video playback system and method
CN114520855B (zh) 基于多模块数据的图像帧渲染方法、装置及存储介质
EP4020312B1 (en) Traffic light recognition method, apparatus, storage medium and program product
CN112254977B (zh) 一种基于自动紧急制动***的数据处理方法和装置
CN113556366B (zh) 多传感器数据同步方法及其***和电子设备
CN110781084B (zh) 卡顿识别参数确定方法和装置、存储介质及电子装置
CN113591885A (zh) 目标检测模型训练方法、设备及计算机存储介质
CN114154018B (zh) 一种面向无人***的云边协同视频流处理方法及***
CN109469962A (zh) 一种空调化霜方法、装置和存储介质
CN106326097B (zh) 一种测试页面感知性能的方法与装置
CN115858207A (zh) 一种自动驾驶***的回放方法、***、存储介质和设备
CN118276481A (zh) 智能驾驶调试方法、装置、***、电子设备及存储介质
CN111514579B (zh) 在网页上运行mrp游戏的方法
US20220222394A1 (en) Root cause analysis in the synchronization of partial simulations with and without real-time capability
EP3975159A1 (en) Method and a system for measuring the latency of a graphical display output
CN110062403A (zh) 报文处理方法、装置、设备和存储介质
CN109063340A (zh) 基于仿真的gpu性能的测试方法及装置
CN115757297A (zh) 一种自动驾驶文件可视化方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant