CN114092753A - 多帧3d点云数据中物体追踪标注的方法、装置和存储介质 - Google Patents

多帧3d点云数据中物体追踪标注的方法、装置和存储介质 Download PDF

Info

Publication number
CN114092753A
CN114092753A CN202010757770.6A CN202010757770A CN114092753A CN 114092753 A CN114092753 A CN 114092753A CN 202010757770 A CN202010757770 A CN 202010757770A CN 114092753 A CN114092753 A CN 114092753A
Authority
CN
China
Prior art keywords
data
frame
marking
labeling
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010757770.6A
Other languages
English (en)
Inventor
陈利虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202010757770.6A priority Critical patent/CN114092753A/zh
Publication of CN114092753A publication Critical patent/CN114092753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种多帧3D点云数据中物体追踪标注的方法、装置和存储介质，用以解决相关技术中的通过标注员对3D点云数据中的物体进行逐一标注造成的标注速度慢、效率低的问题。标注装置接收并保存对一个物体的第N帧标注数据；其中，N为大于等于1的自然数；接收并保存对该物体的第N+i帧标注数据；其中，i为大于等于2的自然数；根据该物体的第N帧标注数据和第N+i帧标注数据，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据，保存每一帧中间帧标注数据。

Description

多帧3D点云数据中物体追踪标注的方法、装置和存储介质
技术领域
本发明涉及数据标注领域，特别涉及一种多帧3D点云数据中物体追踪标注的方法、装置和存储介质。
背景技术
在相关技术中，标注员对3D(3维)点云数据中的物体进行标注时，需要观察并识别出其中的物体，并在3D点云数据上增加标注框(3D标注框，具有长宽高三个维度)标注出该物体，标注***记录标注框在3D点云数据中的位置和尺寸来记录该物体的标注信息。对激光雷达获取的多帧3D点云数据进行标注时，逐一执行上述的操作。可见，相关技术中对激光雷达的多帧3D点云数据中的物体进行标注时，存在标注速度慢、标注效率低的问题。
发明内容
有鉴于此，本申请提供了一种多帧3D点云数据中物体追踪标注的方法、装置和存储介质，用以解决相关技术中的通过标注员对3D点云数据中的物体进行逐一标注造成的标注速度慢、效率低的问题。
一方面，本申请实施例提供了一种多帧3D点云数据中物体追踪标注的方法，包括：接收并保存对一个物体的第N帧标注数据；其中，N为大于等于1的自然数；接收并保存对该物体的第N+i帧标注数据；其中，i为大于等于2的自然数；根据该物体的第N帧标注数据和第N+i帧标注数据，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据，保存每一帧中间帧标注数据。
又一方面，本申请实施例提供了一种多帧3D点云数据中物体追踪标注的装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如上所述的多帧3D点云数据中物体追踪标注的方法。
再一方面，本申请实施例还提供了一种非易失性机器可读存储介质，存储有至少一条机器可执行指令，至少一条机器可执行指令被处理器执行后实现如上所述的多帧3D点云数据中物体追踪标注的方法。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的多帧3D点云数据中物体追踪标注的装置的结构框图；
图2为本申请实施例提供的多帧3D点云数据中物体追踪标注处理的架构示意图；
图3为本申请实施例提供的多帧3D点云数据中物体追踪标注处理流程图；
图4为本申请实施例提供的多帧3D点云数据中物体追踪标注处理的另一种处理流程图；
图5a为图3或图4中第N帧3D点云数据中物体的标注处理流程图；
图5b为图3或图4中第N帧3D点云数据中物体的另一标注处理流程图；
图5c为图3或图4中第N帧3D点云数据中物体的另一标注处理流程图；
图6a为图3或图4中第N+i帧3D点云数据中物体的标注处理流程图；
图6b为图3或图4中第N+i帧3D点云数据中物体的另一标注处理流程图；
图6c为图3或图4中第N+i帧3D点云数据中物体的另一标注处理流程图；
图7为图3或图4中第N+i帧3D点云数据中物体的另一标注处理流程图；
图8为图3或图4中中间帧3D点云数据中物体的标注处理流程图；
图9为图3或图4中中间帧3D点云数据中物体的另一标注处理流程图；
图10为图3或图4中中间帧3D点云数据中物体的另一标注处理流程图；
图11为图3或图4中中间帧3D点云数据中物体的另一标注处理流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在相关技术中，雷达(如激光雷达)等采集设备能够采集物体的3D点云数据，而标注员对3D点云数据中的物体进行标注时，通常需要观察并识别出3D点云数据中的物体，并对物体进行逐一标注。标注的方法是在3D点云数据中在表达物体的点云区域上增加3D标注框(如具有长宽高的立体框)，关联记录标注框的位置和尺寸、以及物体类别或属性。在标注员对多帧3D点云数据中的物体进行标注时，需要重复执行上述操作。这样的操作存在标注速度慢、标注效率低的问题，并且存在无法对多帧3D点云数据中的物体进行追踪标注的问题。
本申请实施例针对这一问题，提供了一种多帧3D点云数据中物体追踪标注的方案。在该方案中，标注装置可以显示激光雷达的多帧3D点云数据中第N帧3D点云数据，接收并保存对一个物体的第N帧标注数据，显示第N+i帧3D点云数据，接收并保存对该物体的第N+i帧标注数据，其中第N帧3D点云数据和第N+i帧3D点云数据之间相隔至少一帧中间帧3D点云数据；标注装置可以根据第N帧的和第N+i帧的标注数据，自动生成该物体的第N帧和第N+i帧之间的每一帧中间帧标注数据。
从而本申请实施例提供的标注装置能够向标注员先后显示两帧3D点云数据，该两帧3D点云数据之间间隔至少一帧中间帧3D点云数据，通过标注员标注的这两帧3D点云数据中同一物体的标注数据，自动生成该物体的每一帧中间帧3D点云数据的标注数据；能够通过标注装置的处理实现高速、高效的标注操作，解决现有技术中标注员对激光雷达的多帧3D点云数据中的物体进行标注时存在的标注速度慢、效率低的问题。
本申请的一些实施例提供了一种多帧3D点云数据中物体追踪标注的方案。图1示出了本申请实施例提供的标注装置的结构，该装置1包括处理器11和至少一个存储器12。
在一些实施例中，至少一个存储器12可以是多种形态的存储装置，例如暂态或非暂态的存储介质。在存储器12中可以存储至少一条机器可执行指令，至少一条机器可执行指令被处理器11执行后实现本申请实施例提供的对激光雷达多帧3D点云数据中物体追踪标注的处理。
在一些实施例中，标注装置1可以位于服务器端。在另一些实施例中，标注装置1也可以位于云端服务器中。在另一些实施例中，标注装置1还可以位于客户端中。
如图2所示，本申请实施例提供的多帧3D点云数据中物体追踪标注处理可以包括前端处理12和后端处理14。通过前端处理12显示相关的3D点云数据或者其它数据，并接收标注员输入的相关数据或信息，例如，前端处理12可以是通过web页面实现的处理，或者是通过单独的应用界面实现的处理。后端处理14根据前端处理12接收到的相关数据和信息，进行相应的标注处理。在标注处理完成后，标注装置1可以进一步将标注结果提供给客户端、服务器、云端服务器上的其它处理或应用。
下面对标注装置1执行至少一条机器可执行指令实现的多帧3D点云数据中物体的追踪标注处理进行说明。
在本申请的一些实施例中，多帧3D点云数据可以是连续的多帧3D点云数据，例如是1秒钟内的多帧连续3D点云数据。在有些应用场景中，获取3D点云数据的时间间隔非常短，帧与帧之间的场景区别并不大，为了节省处理量，不需要对每一帧3D点云数据中的物体进行标注，可以只对其中具有一定时间间隔的3D点云数据进行标注，从而在一些实施例中，多帧3D点云数据可以是具有相同时间间隔的多帧3D点云数据。在另外的一些场景中，只需要对场景具有明显变化的3D点云数据进行标注，可以从多帧的3D点云数据中挑选出部分数据进行标注，从而在一些实施例中，多帧3D点云数据可以是不具有相同的时间间隔的多帧数据。
在本申请实施例中，对多帧3D点云数据中的物体进行标注时，可以将1+i个3D点云数据帧作为一个处理周期。例如，在一些实施例中，在标注任务启动之时，可以按照帧顺序，将第一帧设置为第一个处理周期的起始帧，将第1+i帧设置为第一个处理周期的结束帧，中间的i-1个帧为中间帧。在第二个处理周期中，将第1+i+1帧3D点云数据作为起始帧，将第1+i+1+i帧作为结束帧，中间的i-1个帧为中间帧。其它的处理周期依次类推。在另一些实施例中，如果多帧3D点云数据中已经有部分3D点云数据(例如N-1帧3D点云数据)被标注了，可以从待标注的3D点云数据帧(例如第N帧3D点云数据)开始实施本申请实施例提供的物体追踪标注处理。在另一些实施例中，在标注员发现当前的中间帧3D点云数据中出现新的物体时，可以重置帧顺序，将当前的中间帧3D点云数据重置为一个处理周期的起始帧。
在本申请实施例中，i的具体数值可以根据应用场景的需要而设置。当多个3D点云数据表达的场景之间的变化较小时，可以设置较大数值的i，在多个3D点云数据表达的场景之间的变化较大的时候，可以设置较小数值的i。
下面以一个处理周期为例，分别对不同的实施方式进行说明。本领域普通技术人员可以理解的是，虽然以下以一个处理周期为例进行说明，在实际的应用场景中，当3D点云数据的帧数较多，需要执行多个处理周期时，每个处理周期均可以采用本申请实施例提供的多帧3D点云数据中物体追踪标注的处理。
图3示出了本申请实施例提供的多帧3D点云数据中物体追踪标注处理流程，也即标注装置进行物体追踪标注的处理，包括：
步骤301、显示多帧3D点云数据中的第N帧3D点云数据，接收并保存对一个物体的第N帧标注数据；其中，N为大于等于1的自然数。
其中，该多帧3D点云数据为同一个激光雷达采集的3D点云数据。
步骤303、显示第N+i帧3D点云数据，接收并保存对该物体的第N+i帧标注数据；其中，i为大于等于2的自然数。
其中，在显示3D点云数据时，可以根据指定的显示方向来显示3D点云数据。指定的显示方向可以是预设的显示方向，也可以是标注员输入的显示方向。例如，在一些实施例中，在标注装置读取了一帧3D点云数据后，可以根据预设的显示方向来显示该帧3D点云数据。又例如，在一些实施例中，在标注员需要仔细观察该3D点云数据表达的场景或物体时，可以选择并输入所需的显示方向，标注装置根据接收到的显示方向来显示3D点云数据，以便于标注员进行观察和识别。
步骤305、根据该物体的第N帧标注数据和第N+i帧标注数据，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据，保存每一帧中间帧标注数据。
通过图3所示的处理，对于一个激光雷达的多帧3D点云数据，可以从第一帧3D点云数据开始进行处理，也可以从其中的某一帧3D点云数据开始进行处理。
通过图3所示的处理，标注装置能够向标注员先后显示同一激光雷达的多帧3D点云数据中的两帧3D点云数据，该两帧3D点云数据之间间隔至少一帧3D点云数据，通过标注员标注的这两帧3D点云数据中同一物体的标注数据，自动生成该物体的每一帧中间帧3D点云数据的标注数据；能够通过标注装置的处理实现高速、高效的物体追踪标注操作，解决现有技术中标注员对同一激光雷达的多帧3D点云数据中的物体进行标注时存在的标注速度慢、效率低的问题。
图4示出了本申请实施例提供的同一激光雷达的多帧3D点云数据中物体追踪标注处理的另一种处理流程，包括：
步骤401、标注装置显示同一激光雷达的多帧3D点云数据中的第N帧3D点云数据，接收并保存对一个物体的第N帧标注数据；其中，N为大于等于1的自然数；
步骤403、显示第N+i帧3D点云数据，接收并保存对该物体的第N+i帧标注数据；其中，i为大于等于2的自然数；
步骤405、根据该物体的第N帧标注数据和第N+i帧标注数据，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据；
步骤407、显示当前的中间帧3D点云数据；
步骤409、接收帧重置指令，将当前的中间帧设置为第N帧3D点云数据，将确定的该物体的当前帧标注数据保存为第N帧标注数据，接收并保存对另一个物体的标注数据；
步骤411、显示第N+i帧3D点云数据，接收并保存对上述两个物体的第N+i帧标注数据；
步骤413、根据上述两个物体的第N帧标注数据和第N+i帧标注数据，分别确定上述两个物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据。
对于本领域普通技术人员而言可以理解的是，在图4所示处理中，可以通过对物体分配不同的标识来区别多个物体。为物体分配的标识可以是由标注装置自动分配的，也可以是标注员输入的。
通过图4所示的处理，在图3所示处理的基础上，标注装置还可以对在中间帧3D点云数据中新出现的物体进行标注，能够避免无法对中间帧3D点云数据中新出现的物体进行标注的问题。相比于图3，图4所示处理提供了一种更为灵活的标注方式。
在上述图3或图4的处理中，可以将对第N帧3D点云数据中物体的标注称为首次标注，将对第N+i帧3D点云数据中物体的标注称为末次标注，将对中间帧3D点云数据中的物体的标注称为中间自动标注。
在一些实施例中，图5a中示出了首次标注的处理流程图，包括：
步骤501、显示同一激光雷达的多帧3D点云数据中的第N帧3D点云数据，接收输入的标注一个物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息。
在本申请实施例中，示例性地，标注框可以是长方体。在不同的应用场景中，还可以根据应用场景的需要，设置不同形状的标注框。
步骤503、保存该物体的第N帧标注数据。
其中，在步骤501中，标注装置接收到的标注数据可以是标注员通过多种方式输入的，例如，在人机界面中的数据输入框中直接输入具体的参数数值，点击人机界面上预设的按钮、按键，按钮或者按键具有对应的预设的指令或者数据，或者在人机界面提供的下拉菜单中选择相应的选项，下拉菜单中可以包括一级或多级子菜单、每个子菜单可以包括一个或多个选项，标注装置通过人机界面接收标注员输入的标注数据。
在以下实施例的处理流程中，标注装置接收输入的标注数据或其它数据的处理与步骤501中的接收处理相类似，以下将不进行赘述。
在步骤503中，标注装置保存一个物体的第N帧标注数据的处理，可以将物体的标识与第N帧标注数据进行关联保存。
通过图5a所示的处理，标注装置能够接收并保存标注员对一个物体的首次标注的标注数据。
在图5a所示处理的基础上，标注装置在接收到标注数据后，还可以进一步生成标注框、并显示该标注框，以便于标注员进行观察。在一些实施例中，图5b中示出了首次标注处理的另一个流程图，包括：
步骤501、显示同一激光雷达的多帧3D点云数据中的第N帧3D点云数据，接收输入的标注一个物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
步骤502、根据标注数据生成并显示对应的标注框。
其中，在显示3D点云数据时，可以采用透视视图或正交视图的方式，这样，得到标注数据的过程可以是在透视视图或正交视图下对待标注的物体进行特定的操作来进行，例如通过鼠标双击待标注的物体，生成一个预定大小的立体框。又例如，也可以在正交视图下通过多点点击的方式生成带旋转的立体框。这种方式生成的立体框长、宽、高就是需要的标定结果，通过算法实现高度的自动预估，从而更加快速的标定立体框。
步骤503、保存该物体的第N帧标注数据。
在一些实施例中，标注装置根据标注数据生成并显示了标注框后，标注员还可以进一步对生成的标注框进行调整，以实现对物体的准确标注。其中，在对3D的标注框进行调整时，可以是在透视视图下通过旋转拖动调整三个维度的大小，也可以是在额外被激活标注框的观察视图中调整单维度(如观察视图分别显示标注框的三个方向，相当于长方体的三个面，即俯视图、侧视图和后视图，从而可以通过拖动三个面上的相应顶点，调整标注框的长、宽或高)的大小。
在图5b所示处理的基础上，标注装置还能够进一步根据标注员的输入对标注数据进行调整，得到调整后的标注数据。在另一些实施例中，图5c中示出了首次标注的处理的另一个流程图，包括：
步骤501、显示同一激光雷达的多帧3D点云数据中的第N帧3D点云数据，接收输入的标注一个物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
步骤502、根据接收到的标注数据生成并显示对应的标注框；
步骤504、接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
步骤505、根据调整数据和接收到的标注数据，确定得到调整后的标注数据；
步骤503、保存该物体的第N帧标注数据。
在步骤505中，根据调整数据和标注数据确定得到调整后的标注数据的处理，根据标注数据中包括的数据的不同，可以包括如下的调整方式。
调整方式一、在调整数据包括标注框的位置调整数据的情况下，标注装置根据标注框的位置调整数据和接收到的标注数据中的标注框的位置数据，确定得到调整后的标注框的位置数据。
在一些实施例中，在位置调整数据中包括调整后的标注框的位置数据时，标注装置将位置调整数据中的调整后的位置数据确定为调整后的标注框的位置数据。例如，接收到的位置数据为(x，y，z)，位置调整数据中包括的调整后的标注框的位置数据为(x’，y’，z’)，标注装置将坐标(x’，y’，z’)确定为调整后的标注框的位置数据。
在一些实施例中，在位置调整数据包括标注框的位置调整方向和位置偏移量时，标注装置根据标注数据中的标注框的位置数据和标注框的位置调整方向和位置偏移量，确定得到调整后的标注框的位置数据。例如，接收到的位置数据为(x，y，z)，位置调整数据中包括的调整方向为x轴方向，偏移量为a，则调整后的位置坐标为(x’，y，z)，x’＝x+a。
调整方式二、在调整数据包括标注框的尺寸调整数据的情况下，标注装置根据标注框的尺寸调整数据和标注数据中的标注框的尺寸数据，确定得到调整后的标注框的尺寸数据。
在一些实施例中，在尺寸调整数据中包括调整后的标注框的尺寸数据的情况下，标注装置将调整后的尺寸数据确定为调整后的标注框的尺寸数据。例如，接收到的尺寸数据为s*r*t，调整后的标注框的尺寸数据为s’*r’*t’，标注装置将s’*r’*t’确定为标注框调整后的尺寸数据。
在一些实施例中，在尺寸调整数据中包括尺寸增减数据的情况下，标注装置根据标注数据中的标注框的尺寸数据和标注框的尺寸增减数据，确定得到调整后的标注框的尺寸数据。例如，接收到的尺寸数据为s*r*t，尺寸增减数据为(+i，-j，+k)，调整后的标注框的尺寸数据为s’*r’*t’，s’＝s+i，r’＝r-j，t’＝t+k，标注装置确定s’*r’*t’为调整后的标注框的尺寸数据。
同样的，在调整数据包括标注框的旋转调整数据的情况下，标注装置根据标注框的旋转调整数据和标注数据中的标注框的旋转信息，确定得到调整后的标注框的旋转信息(即3维标注框的朝向角度等)。
本申请实施例虽然列举出了标注装置进行首次标注操作的一些实施方式，在具体的应用场景中，还可以包括其它的等同实施方式或替代实施方式。
在标注装置执行完首次标注后，即可执行末次标注。
在一些实施例中，图6a示出了末次标注的一种处理流程，包括：
步骤601、显示同一激光雷达的多帧3D点云数据中的第N+i帧3D点云数据，接收输入的标注该物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
步骤603、保存该物体的第N+i帧标注数据。
其中，步骤601中标注装置接收输入的标注数据的方式与上述步骤501中的接收方式相类似，这里不再赘述。步骤603中标注装置保存一个物体的第N+i帧标注数据时，也可以如步骤503所示，对物体标识和标注数据进行关联保存。
在一些实施例中，与图5b的处理相类似，为了便于标注员观察和识别标注情况，标注装置还根据标注数据相应地生成和显示标注框，图6b示出了末次标注的另一种处理流程，包括：
步骤601、显示同一激光雷达的多帧3D点云数据中的第N+i帧3D点云数据，接收输入的标注该物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
步骤602、根据接收到的标注数据生成并显示对应的标注框；
步骤603、保存该物体的第N+i帧标注数据。
在一些实施例中，与图5c的处理相类似，为了进行更准确的标注处理，标注装置还根据标注员输入的调整数据来调整生成的标注框，图6c示出了末次标注的一种处理流程，包括：
步骤601、显示同一激光雷达的多帧3D点云数据中的第N+i帧3D点云数据，接收输入的标注一个物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
步骤602、根据接收到的标注数据生成并显示对应的标注框；
步骤604、接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
步骤605、根据调整数据和接收到的标注数据，确定得到调整后的标注数据；
步骤603、保存该物体的第N+i帧标注数据。
在步骤605中，标注确定得到调整后的标注数据的处理，可以根据如上所示的调整方式一和或调整方式二来进行，这里不再赘述。
图6a～6c示出了标注装置根据标注员输入的标注数据进行末次标注的处理。本申请实施例还提供了一种自动进行末次标注的处理，在一些实施例中，图7示出了末次标注的另一种处理流程，包括：
步骤701、显示同一激光雷达的多帧3D点云数据中的第N+i帧3D点云数据，根据保存的第N帧标注数据生成并显示对应的标注框；
步骤703、在接收到输入的标注框调整数据的情况下，根据调整数据和第N帧标注数据，确定得到第N+i帧标注数据；其中，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；处理进行到步骤705；
步骤704、在未接收到输入的标注框调整数据的情况下，将保存的第N帧标注数据确定为第N+i帧标注数据；处理进行到步骤705；
步骤705、保存该物体的第N+i帧标注数据。
其中，步骤703中根据调整数据确定得到第N+i帧标注数据的处理，可以参考上述调试方式一和调整方式二，这里不再赘述。
通过图7所示的处理，在标注静态物体时，或者标注员认为自动标注的结果准确时，末次标注处理中能够自动地对物体进行标注；在标注动态物体时，末次标注处理中能够向标注员显示第N帧中的标注情况，便于标注员观察和识别物体，并根据标注员输入的调整数据来对应地调整第N+i帧中物体的标注框。
本申请实施例虽然列举出了标注装置进行末次标注操作的一些实施方式，在具体的应用场景中，还可以包括其它的等同实施方式或替代实施方式。
标注装置在执行完首次标注和末次标注后，就可以执行中间自动标注处理。
在一些实施例中，如图8所示，中间自动标注处理可以包括：
步骤801、根据第N+i帧标注数据和第N帧标注数据，以及中间帧3D点云数据的帧数，确定得到标注数据中每项数据的差值均值；
步骤803、根据第N帧标注数据中包括的每项数据的数值、中间帧3D点云数据的顺序、以及确定的标注数据中每项数据的差值均值，确定得到该物体每一帧中间帧标注数据包括的每项数据的数值；
步骤805、保存每一帧中间帧标注数据。
通过图8所示的处理，标注装置能够根据首次标注的结果和末次标注的结果，自动地对每一个中间帧3D点云数据进行物体标注处理。
在一些实施例中，在标注数据中包括标注框尺寸数据的情况下，图8所示处理可以实施为图9所示的处理流程：
步骤801a、根据第N+i帧标注数据和第N帧标注数据中包括的标注框尺寸数据，以及中间帧3D点云数据的帧数，确定得到标注框尺寸数据的差值均值；
步骤803a、根据第N帧标注数据中的标注框尺寸数据、中间帧3D点云数据的顺序、以及确定的标注框尺寸数据的差值均值，确定得到该物体每一帧中间帧标注数据包括的标注框尺寸数据的数值；
步骤805a、保存每一帧中间帧标注数据。
在步骤801a中，例如一个物体的第N帧的标注框尺寸为s*r*t，第N+i帧的标注框尺寸为s’*r’*t’，中间帧3D点云的帧数为n，则标注框尺寸数据的差值均值为u、v、w，u＝(s’―s)÷n，v＝(r’―r)÷n，w＝(t’―t)÷n。在步骤803a中，在确定中间帧第2帧的标注数据的标注框尺寸数据时，可以确定得到标注框尺寸数据s2*r2*t2，s2＝s+2u，r2＝r+2v，t2＝t+2w。
在一些实施例中，在标注数据中包括标注框位置数据的情况下，图8所示处理可以实施为图10所示的处理流程：
步骤801b、根据第N+i帧标注数据和第N帧标注数据中包括的标注框位置数据，以及中间帧3D点云数据的帧数，确定得到标注框位置数据的差值均值；
步骤803b、根据第N帧标注数据中的标注框位置数据、中间帧3D点云数据的顺序、以及确定的标注框位置数据的差值均值，确定得到该物体每一帧中间帧标注数据包括的标注框位置数据的数值；
步骤805b、保存每一帧中间帧标注数据。
在步骤801b中，例如一个物体的第N帧的位置数据为(x，y，z)，第N+i帧的位置数据为(x’，y’，z’)，可以确定得到标注框位置数据的差值均值为o、p、q，o＝(x’―x)÷n，p＝(y’―y)÷n，q＝(z’―z)÷n。在步骤803b中，在确定中间帧第2帧的标注数据的标注框位置数据时，可以确定得到标注框位置数据为(x2，y2，z2)，x2＝x+2o，y2＝y+2p，z2＝z+2q。
在另一些实施例中，在标注数据中包括标注框尺寸数据和标注框位置数据的情况下，可以通过图9和图10的处理来确定得到一个物体中间帧标注数据包括的标注框尺寸数据的数值和标注框位置数据的数值。
通过图8～10的处理，可以确定得到对物体的预估标注数据。当物体是静态物体时，物体的首次标注的标注数据与末次标注的标注数据的差别不大，通过图8～10的处理可以得到较为准确的中间帧标注数据。当物体是在连续帧中运动的物体时，由于连续帧的时间间隔较小(例如一秒钟获得60帧3D点云数据的情况下，相邻帧之间的时间间隔较小)，运动物体的位置变化相对于如此小的时间间隔而言也是非常小的，可以将物体的运动看作是线性运动，通过图8～10所示的处理能够得到较为准确的中间帧标注数据。
在另一些实施例中，对于物体在3D点云数据中的位置或者尺寸变化较大的情况，在标注装置确定得到了一个物体的中间帧标注数据后，还可以对确定得到的中间帧标注数据进行调整，以得到与中间帧3D点云数据中该物体相符的标注数据。如图11所示，在图8所示处理的基础上，中间自动标注处理还可以实施为如下过程：
步骤801、根据第N+i帧标注数据和第N帧标注数据，以及中间帧3D点云数据的帧数，确定得到标注数据中每项数据的差值均值；
步骤803、根据第N帧标注数据中包括的每项数据的数值、中间帧3D点云数据的顺序、以及确定的标注数据中每项数据的差值均值，确定得到该物体每一帧中间帧标注数据包括的每项数据的数值；
步骤807、标注装置显示当前的中间帧3D点云数据，根据确定的当前的中间帧标注数据，生成并显示对应的标注框；
步骤809、接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
步骤810、根据确定的当前的中间帧标注数据和调整数据，确定得到调整后的当前的中间帧标注数据；
步骤805、保存当前中间帧标注数据。
其中步骤809中确定调整数据的处理，可以参考上述调整方式一和调整方式二，这里不再赘述。
通过图11所示的处理，标注装置能够向标注员显示中间帧的自动标注情况，并且能够根据标注员输入的调整数据，对中间标注预估的标注数据进行调整，得到与3D点云数据中的物体更为匹配的标注数据。
本申请中描述的实质内容以及功能性操作的实施方式，能够通过多种***、数字电子电路、或者计算机软件、固件或者硬件来实现，这些实施方式包括说明书中公开的结构以及等同结构，或者这些结构的结合。说明书中描述的实质内容的实施方式，能够被实施为一个或者多个计算机程序产品，例如，计算机程序指令的一个或多个模块，该计算机程序指令被编码存储在一个有形且非易失性的计算机可读介质中，该计算机程序指令可被数据处理装置执行，或者用于控制数据处理装置的操作。该计算机可读介质可以是一个机器可读存储装置、机器可读存储基板、存储设备、能够影响机器可读传播信号的组合物、或者这些物质的组合。术语“数据处理单元”或者“数据处理装置”包括用于处理数据的所有装置、设备以及机器，示例性地包括可编程处理器、计算机、或者多处理器、多计算机。除硬件之外，这些装置可以包括为所讨论的计算机程序建立一个可执行环境的代码，例如，构成处理器防火墙、协议栈、数据库管理***、操作***的代码，或者这些代码的组合。
计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以通过任何一种编程语言来编写，包括编译或翻译语音；并且可以被以任何形式来部署，包括一个独立的程序或者一个模块、构件、子用例、或者其它适于计算环境的单元。一个计算机程序不必对应于一个文件***中的一个文件。一个程序能够被存储在一个文件中的一部分，该文件还存储有其他的程序或者数据(例如，存储在一个标记语言文档中的一个或多个脚本)，或者该程序被存储在一个专门针对于所讨论的程序的单独的文件中，或者被存储在一个相互协同的文件中(例如，存储有一个或多个模块、子程序或者代码部分的多个文件)。一个计算机程序可以被部署为被一个或多个计算机执行，这些计算机位于一个地址、或者分布在多个地址，并且通过一个通信网络进行互连。
本说明书描述的处理或者逻辑图可以被一个或者多个可编程处理器执行，以执行一个或多个计算机程序，并根据输入数据进行处理生成输出结果。处理或者逻辑图可以被专用逻辑电路执行，并且多种设备也可以被实现为专用逻辑电路，例如现场可编程门阵列(Field programmable gate array，FPGA)、或者专用集成电路(Application Specificintegrated circuit，ASIC)。
用于执行计算机程序的处理器，示例性地包括通用微处理器和专用微处理器，以及任何种类的数字计算机中的任何一种或者多种处理器。通常，一个处理器会从一个只读存储器和/或一个随机接入存储器中接收指令和数据。一个计算机的基本单元包括一个处理器以及一个或多个存储装置，处理器用于执行指令，存储装置用于存储指令和数据。通常，一个计算机还包括或者操作性地耦合到一个或多个大型存储设备，以接收数据和/或发送数据，该大型存储设备包括磁盘、磁光盘或者光盘。但是，一个计算机不是必须包括这些设备。用于存储指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储设备，示例性地包括半导体存储设备，例如EPROM、EEPROM以及闪存设备。处理器和存储器可以被专用逻辑电路所替代，或者结合到专用逻辑电路中。
虽然本申请文件包括了多种实施方式，但是这些实施方式不用于解释为本申请的保护范围的限定，只是特征的描述，这些特征可以被实施到特定发明的特定实施例中。本申请中独立的实施例中描述的一些特征也可以被结合实施到一个单独的实施例中。在一个单独的实施例中描述的多个特征也可被分别实施到多个实施例中，或者实施到任何适合的更细一步的结合中。并且，虽然上述在一个特定的组合中描述一些特征，也可以将所要求的一个或者多个组合中去掉一个或多个特征，所要求的组合可以被进一步地组合或者对进一步组合进行变形。
相类似地，虽然在附图中以一定的顺序描述了多种操作，但是不应被理解为必须要以这样的顺序来执行这些操作，以达到理想的结果。并且，实施例中多种***构件的拆分也不应被理解为在所有的实施例中都需要这样的拆分。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (17)

1.一种多帧3D点云数据中物体追踪标注的方法，其特征在于，包括：
接收并保存对一个物体的第N帧标注数据；其中，N为大于等于1的自然数；
接收并保存对该物体的第N+i帧标注数据；其中，i为大于等于2的自然数；
根据该物体的第N帧标注数据和第N+i帧标注数据，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据，保存每一帧中间帧标注数据。
2.根据权利要求1所述的方法，其特征在于，接收并保存对一个物体的第N帧标注数据，包括：
接收输入的标注该物体的标注框的标注数据；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
保存该物体的第N帧标注数据。
3.根据权利要求2所述的方法，其特征在于，接收输入的标注该物体的标注框的标注数据之后，还包括：
接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
根据调整数据和接收到的标注数据，确定得到调整后的标注数据。
4.根据权利要求1所述的方法，其特征在于，接收并保存对该物体的第N+i帧标注数据，包括：
接收输入的标注该物体的标注框的标注数据；标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息；
保存该物体的第N+i帧标注数据。
5.根据权利要求4所述的方法，其特征在于，接收输入的标注该物体的标注框的标注数据之后，还包括：
接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
根据调整数据和接收到的标注数据，确定得到调整后的标注数据。
6.根据权利要求1所述的方法，其特征在于，接收并保存对该物体的第N+i帧标注数据，包括：
在未接收到输入的标注框调整数据的情况下，将保存的第N帧标注数据确定为第N+i帧标注数据；
在接收到输入的标注框调整数据的情况下，根据调整数据和第N帧标注数据，确定得到第N+i帧标注数据；其中，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
保存该物体的第N+i帧标注数据。
7.根据权利要求1所述的方法，其特征在于，根据该物体的第N帧标注数据和第N+i帧标注数据，生成该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据，包括：
根据第N+i帧标注数据和第N帧标注数据，以及中间帧3D点云数据的帧数，确定得到标注数据中每项数据的差值均值；
根据第N帧标注数据中包括的每项数据的数值、中间帧3D点云数据的顺序以及确定的标注数据中每项数据的差值均值，确定得到该物体每一帧中间帧标注数据包括的每项数据的数值；其中，标注数据中包括标注框的位置数据、标注框的尺寸数据和标注框的旋转信息。
8.根据权利要求7所述的方法，其特征在于，确定得到该物体每一帧中间帧标注数据包括的每项数据的数值之后，还包括：
接收输入的标注框调整数据，调整数据中包括以下的一个或多个：标注框的位置调整数据、标注框的尺寸调整数据、标注框的旋转调整数据；
根据确定的当前的中间帧标注数据和调整数据，确定得到调整后的当前的中间帧标注数据。
9.根据权利要求3、5、6、8任一项所述的方法，其特征在于，在调整数据包括标注框的位置调整数据的情况下，根据调整数据和标注数据，确定得到调整后的标注数据，包括：
根据标注框的位置调整数据和接收到的标注数据中的标注框的位置数据，确定得到调整后的标注框的位置数据。
10.根据权利要求9所述的方法，其特征在于，位置调整数据中包括调整后的标注框的位置数据；
根据标注框的位置调整数据和标注数据中的标注框的位置数据，确定得到调整后的标注框的位置数据，包括：将位置调整数据中的调整后的位置数据确定为调整后的标注框的位置数据。
11.根据权利要求9所述的方法，其特征在于，位置调整数据包括标注框的位置调整方向和位置偏移量；
根据标注框的位置调整数据和标注数据中的标注框的位置数据，确定得到调整后的标注框的位置数据，包括：根据标注数据中的标注框的位置数据、标注框的位置调整方向和位置偏移量，确定得到调整后的标注框的位置数据。
12.根据权利要求3、5、6、8任一项所述的方法，其特征在于，在调整数据包括标注框的尺寸调整数据的情况下，根据调整数据和标注数据，确定得到调整后的标注数据，包括：
根据标注框的尺寸调整数据和标注数据中的标注框的尺寸数据，确定得到调整后的标注框的尺寸数据。
13.根据权利要求12所述的方法，其特征在于，尺寸调整数据中包括调整后的标注框的尺寸数据；
根据标注框的尺寸调整数据和标注数据中的标注框的尺寸数据，确定得到调整后的标注框的尺寸数据，包括：将调整后的尺寸数据确定为调整后的标注框的尺寸数据。
14.根据权利要求12所述的方法，其特征在于，尺寸调整数据中包括尺寸增减数据；
根据标注框的尺寸调整数据和标注数据中的标注框的尺寸数据，确定得到调整后的标注框的尺寸数据，包括：根据标注数据中的标注框的尺寸数据和标注框的尺寸增减数据，确定得到调整后的标注框的尺寸数据。
15.根据权利要求1所述的方法，其特征在于，确定该物体的第N帧和第N+i帧之间的每一帧3D点云数据的中间帧标注数据之后，还包括：
显示当前的中间帧3D点云数据；
接收帧重置指令，将当前的中间帧3D点云数据设置为第N帧3D点云数据。
16.一种多帧3D点云数据中物体追踪标注的装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如权利要求1～15中任一项所述的方法。
17.一种非易失性存储介质，其特征在于，存储有至少一条机器可执行指令，至少一条机器可执行指令被处理器执行后实现如权利要求1～15中任一项所述的方法。
CN202010757770.6A 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法、装置和存储介质 Pending CN114092753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757770.6A CN114092753A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757770.6A CN114092753A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114092753A true CN114092753A (zh) 2022-02-25

Family

ID=80295125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757770.6A Pending CN114092753A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114092753A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118070108A (zh) * 2024-04-22 2024-05-24 山东中翰软件有限公司 政务数据治理的智能标注与分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118070108A (zh) * 2024-04-22 2024-05-24 山东中翰软件有限公司 政务数据治理的智能标注与分类方法

Similar Documents

Publication Publication Date Title
CN110866936B (zh) 视频标注方法、跟踪方法、装置、计算机设备及存储介质
CN105517681B (zh) 使用元数据的图表转换***和方法
CN110852949B (zh) 点云数据补全方法、装置、计算机设备和存储介质
Coelho et al. OSGAR: A scene graph with uncertain transformations
CN110018470A (zh) 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CA2850937A1 (en) Using videogrammetry to fabricate parts
CN113747138A (zh) 虚拟场景的视频生成方法和装置、存储介质及电子设备
CN112053323A (zh) 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN105068975A (zh) 图形框快速绘制方法及***
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
CN114092753A (zh) 多帧3d点云数据中物体追踪标注的方法、装置和存储介质
Mohamed et al. Towards dynamic monocular visual odometry based on an event camera and IMU sensor
JP2024502516A (ja) データ注釈方法、装置、システム、デバイスおよび記憶媒体
CN112036442A (zh) 多帧3d点云数据中物体追踪标注的方法和装置、存储介质
CN112015938A (zh) 点云标签传递方法、装置及***
CN109741432B (zh) 一种渲染预估用时计算方法、电子设备及存储介质
CN112948605A (zh) 点云数据的标注方法、装置、设备及可读存储介质
CN110908749B (zh) 一种针对显示对象的布局生成方法及装置
US11378427B2 (en) Method of sensor fusion
CN113033426B (zh) 动态对象标注方法、装置、设备和存储介质
Hegde et al. SmartOverlays: A visual saliency driven label placement for intelligent human-computer interfaces
CN111080749B (zh) 配电网广域测量控制***中多源量测的标注方法及装置
CN114170373A (zh) 目标物体标注方法、处理器、装置及搅拌站
CN112053388A (zh) 多相机多帧图像数据物体追踪标注方法和装置、存储介质
CN109948075B (zh) 网页数据的标记方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination