CN116189065A - 面向davis的数据标定方法、装置、电子设备及介质 - Google Patents

面向davis的数据标定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116189065A
CN116189065A CN202310467898.2A CN202310467898A CN116189065A CN 116189065 A CN116189065 A CN 116189065A CN 202310467898 A CN202310467898 A CN 202310467898A CN 116189065 A CN116189065 A CN 116189065A
Authority
CN
China
Prior art keywords
event
video
sequence
point
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310467898.2A
Other languages
English (en)
Other versions
CN116189065B (zh
Inventor
王斌强
李仁刚
董刚
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310467898.2A priority Critical patent/CN116189065B/zh
Publication of CN116189065A publication Critical patent/CN116189065A/zh
Application granted granted Critical
Publication of CN116189065B publication Critical patent/CN116189065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供了一种面向DAVIS的数据标定方法、装置、电子设备及介质，涉及计算机技术领域，该方法通过获取基于DAVIS采集的视频数据序列以及事件数据序列，视频数据序列中所包含的视频帧的数量小于事件数据序列中所包含的事件数据的数量；基于视频数据序列中包含的各视频帧，为视频数据序列生成多个视频标签；基于多个视频标签将视频数据序列划分为多个视频子序列，不同的视频子序列对应于不同的视频标签；从事件数据序列所包含的多个事件数据中确定与各视频子序列相对应的各事件子序列，并将各视频子序列对应的视频标签确定为各事件子序列的事件标签，以得到标定后的事件数据序列。提高了对事件数据序列进行标定的效率。

Description

面向DAVIS的数据标定方法、装置、电子设备及介质
技术领域
本申请属于计算机技术领域，特别是涉及一种面向DAVIS的数据标定方法、装置、电子设备及介质。
背景技术
在计算机技术领域中，动态主动视觉传感器（Dynamic and Active VisionSensor，DAVIS）是一种可以同时捕获视频图像数据和事件流数据的视觉传感器，这两种不同模态的数据可以被应用于多个场景中。
而在一些场景下，通常需要先对这两种数据进行标定，而由于DAVIS采集事件流数据的时间分辨率较高，所采集的事件流数据的数量通常较多，人工对其进行逐个标定较为困难，效率较低，因此如何提高事件流数据的标定效率成为了亟需解决的问题。
发明内容
本申请提供一种面向DAVIS的数据标定方法、装置、电子设备及介质，以便解决现有技术中事件流数据的标定效率较低的技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请提供一种面向DAVIS的数据标定方法，所述方法包括：
获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；
基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；
基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；
从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
第二方面，本申请提供一种面向DAVIS的数据标定装置，所述装置包括：
序列获取模块，用于获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；
标签生成模块，用于基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；
划分模块，用于基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；
确定模块，用于从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
第三方面，本申请提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述第一方面的方法。
第四方面，本申请提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面的方法
在本申请实施例中，通过获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。这样，在对DAVIS所采集的两种数量不同的数据序列进行标定时，可以先为不同的视频帧生成视频标签，完成数据数量较少的视频数据序列的标定，再通过已经完成标定的视频数据序列对事件数据序列进行标定，将事件数据序列划分为与各视频子序列对应的事件子序列，并将各视频子序列对应的视频标签确定为对应的事件子序列的事件标签，完成对事件数据序列的标定，无需依次对大量的事件数据进行人工标定，提高了对事件数据序列进行标定的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种面向DAVIS的数据标定方法的步骤流程图；
图2是本申请实施例提供的一种场景示意图；
图3是本申请实施例提供的一种标定过程的示意图；
图4是本申请实施例提供的另一种场景示意图；
图5是本申请实施例提供的一种面向DAVIS的数据标定装置的结构图；
图6是本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的一种面向DAVIS的数据标定方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量。
其中，上述DAVIS指的是动态主动视觉传感器，其与动态视觉传感器（DynamicVision Sensor，DVS）不同的是，DVS仅采集事件数据，而DAVIS不仅可以捕获事件数据，还可以采集包含绝对强度信息的RGB图像，也就是视频帧，DAVIS可以在记录RGB图像的同时，记录所发生的事件，可以理解的，由于通过同一DAVIS即可得到视频帧数据和事件数据两种不同的数据，无需通过两个设备分别进行数据采集，因而本申请实施例中通过DAVIS进行数据采集时，是同时开始，且同时结束的，本申请实施例中的视频帧数据与事件数据不存在时钟不同步的问题。其中，上述事件数据也可以称为事件流数据，其指的是动态的变化，事件数据的种类可以分为事件发生和事件消失，事件发生通常被称为积极事件，事件消失通常被称为消极事件，从而通过获取事件数据可以从真实场景中获得二值化的数据。
图2是本申请实施例提供的一种场景示意图，如图2所示，由于 DAVIS对于两种数据的采集频率或时间分辨率往往不同，采集事件数据的频率通常远远高于采集图像的频率，导致在同样的采集时间t内，DAVIS针对同一场景所采集的视频帧的数量远远小于事件数据（脉冲事件流）的数量。其中，上述时间分辨率指的是数据采集的时间间隔，示例性地，DAVIS对于事件数据的时间分辨率可以达到1微秒，而视频帧的时间分辨率仅有25毫秒，或者说，采集事件数据的频率为106FPS，采集视频帧的频率仅有40FPS。
其中，上述视频数据序列指的是在采集时长内所采集的视频帧集合，相应地，上述事件数据序列指的是在采集时长内所采集的事件数据的集合。具体的，本步骤可以使DAVIS针对采集对象进行数据采集，也就是使用DAVIS对采集对象在采集时长内进行记录，并通过DAVIS的输出接口得到其所记录的数据，即上述视频数据序列以及事件数据序列。其中，上述采集对象可以根据实际场景的不同自行设置，本申请实施例对此不作限制。
步骤102、基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签。
步骤103、基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签。
其中，上述视频标签可以理解为视频帧所表征的内容类别，可以理解的，不同视频帧的画面内容可能存在变化，从而画面内容区别较大的不同视频帧可以对应于不同的类别，具体的，可以根据各视频帧的内容为各视频帧生成相应的视频标签，不同视频帧可以对应于同一个视频标签，当然也可以对应于不同视频标签，具体可以根据各视频帧的内容来确定。
具体的，可以通过预设的内容类别识别模型，将各视频帧作为模型输入来得到上述视频标签，也可以通过类别识别软件或工具来得到，或者，由于视频帧数据实际指的就是类似传统相机采集的RGB三通道的图像，图像数据通过肉眼识别即可进行标定，因此还可以将各视频帧依次输出，通过接收相关人员为各视频帧所输入的标定信息得到各视频帧的视频标签。
进一步地，在得到各视频帧的视频标签后，本申请实施例可以将对应同一标签的视频帧划分至同一视频子序列，需要说明的是，上述视频数据序列中所包含的视频帧通常是按照采集的时间顺序排列的，而视频帧的画面在某一段时间内通常变化较小，也就是，在该段时间内的视频帧的视频标签往往相同，采集时间间隔较长的视频帧的画面内容通常变化较大，相应地，视频标签也往往不同，因此，任一视频子序列中所包含的视频帧在视频数据序列中往往是连续的。
步骤104、从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
其中，由于在同一采集时长内，事件数据的数量远远大于视频帧的数量，且事件数据是一种二值化的数据，通过视觉角度对其进行标定存在一定的难度。但由于事件数据序列与上述视频数据序列是基于DAVIS同时得到的，因此事件数据与视频帧相当于是对同一采集对象的不同模态的数据表示，因此，本申请实施例中可以通过已经完成标定的视频数据序列对事件数据序列进行标定，无需依次对大量的事件数据进行人工标定。
具体的，上述确定事件子序列的操作可以是按照视频帧的时间戳和事件数据的时间戳来确定，具体的，DAVIS在采集数据时，所记录的视频帧或事件数据会携带时间戳参数，该时间戳参数可以表征数据的采集时间，也就是所记录的视频帧或事件数据的发生时间，可以理解的，同一时间所采集的视频帧和事件数据所对应的类别也是相同的，因此，本发明实施例可以以任一视频子序列的时间戳范围为依据，将时间戳在该时间戳范围的事件数据确定为该视频子序列所对应的事件子序列，进而可以将该视频子序列对应的视频标签作为该事件子序列的事件标签，不同的事件子序列对应于不同的事件标签，实现对事件数据序列的标定。
综上所述，本申请实施例提供的面向DAVIS的数据标定方法，通过获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。这样，在对DAVIS所采集的两种数量不同的数据序列进行标定时，可以先为不同的视频帧生成视频标签，完成数据数量较少的视频数据序列的标定，再通过已经完成标定的视频数据序列对事件数据序列进行标定，将事件数据序列划分为与各视频子序列对应的事件子序列，并将各视频子序列对应的视频标签确定为对应的事件子序列的事件标签，完成对事件数据序列的标定，无需依次对大量的事件数据进行人工标定，提高了对事件数据序列进行标定的效率。
在一种实现方式中，上述从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列的操作，本申请实施例可以包括下述步骤：
步骤201、基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点。
其中，上述事件数据在记录时可以包含多个参数，示例性地，一个事件数据可以以s（tj，xj，yj，pj）的形式进行记录，其中，j指的是该事件数据在事件数据序列中的序号，以上述事件数据序列中包含N个事件数据为例，上述j可以属于区间[1，N]。上述tj指的是第j个事件数据的时间戳，也就是上述事件记录点，以DAVIS的采集时间为T秒为例，上述tj可以属于区间[0，T]，其单位精度与DAVIS采集事件数据的精度一致，通常为微秒（μs），相应地，上述x和y指的是该事件数据的发生位置，也就是事件发生的像素坐标位置，具体的，在同一时刻的同一场景内，并不是DAVIS采集的空间的所有位置均发生了事件，视频帧数据是记录整个空间，而事件数据只记录事件发生的位置的数据，因此，在采集事件数据时，还会一并记录事件发生的位置，其取值范围与DAVIS本身的参数有关，以DAVIS的像素坐标范围为（346*260）为例，上述x的取值可以属于区间[1，346]，相应地，上述y的取值可以属于区间[1，260]。其中，上述y指的是事件数据的极性，其取值为0或1，0代表负极性事件，也就是光照减弱所触发的脉冲事件，1代表正极性事件，也就是光照增强所触发的脉冲事件。
根据上述描述可以看出，各事件数据均会携带一个时间戳参数，上述事件记录点指的就是该时间戳参数，也就是上述tj，从而事件数据序列中的事件记录点的数量与事件数据的数量一致。进一步地，各事件记录点实际可以表征各事件数据的发生时间，DAVIS在采集事件数据时，各事件数据在序列中是按照发生的时间依次排列的，也就是，先发生的事件记录在前，后发生的事件记录在后，在此基础上，上述确定目标记录点的操作可以是从所有事件记录点中随机选取，或者也可以按照预设的选取规则进行选取，本申请实施例对此不作限制。
步骤202、对于任一所述视频子序列，基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点。
步骤203、基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，所述事件分割点对应于所述事件子序列的记录开始点或记录结束点。
其中，上述标记时间点指的是可以表征视频子序列所对应的记录时间的时间戳，其可以是视频子序列的起始时间点或者终止时间点，当然也可以是起始时间点和终止时间点，具体的，上述起始时间点指的是该视频子序列中的第一个视频帧的时间戳，相应地，上述终止时间点指的是该视频子序列中的最后一个视频帧的时间戳，可以理解的，上述标记时间点是不同视频子序列之间的间隔时间点，上述标记时间点之前与标记时间点之后的视频帧属于不同的视频标签，从而本申请可以将任一视频子序列的标记时间点作为关键点，与上述目标记录点进行比对，确定出与标记时间点所对应的事件分割点。
其中，与标记时间点对应的事件分割点指的是，与标记时间点相一致的目标记录点，也就是与标记时间点对应的视频帧是在同一时刻记录的事件数据的事件记录点。
进一步地，根据各视频子序列的标记时间点所对应的各事件分割点，可以得到划分不同类别的事件子序列的多个分割点，不同分割点对应于不同类别的事件子序列的开始点或结束点，从而可以将各事件分割点作为对应的事件子序列的记录开始点或记录结束点，得到与各视频子序列对应的事件子序列。
具体的，在上述标记时间点为视频子序列的起始时间点的情况下，其对应的事件分割点为对应的事件子序列的记录开始点，相应地，在标记时间点为视频子序列的终止时间点的情况下，其对应的事件分割点为对应的事件子序列的记录结束点。进一步地，本申请在确定各事件分割点之后，可以按照各视频子序列的时长确定出与该事件分割点所对应的事件数据。
本申请实施例中，基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点；对于任一所述视频子序列，基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点；基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，所述事件分割点对应于所述事件子序列的记录开始点或记录结束点。这样，通过各个事件数据的事件记录点以及各视频子序列的标记时间点，确定与各视频子序列的标记时间点所对应的目标记录点，通过将时间点作为比对依据，可以保证比对的准确性，进而保证了对事件数据序列进行标定的准确性。
图3是本申请实施例提供的一种标定过程的示意图，如图3所示，首先是基于DAVIS设备进行数据的采集，具体的数据可以根据应用目标的不同而不同，采集得到的数据分为两种，一种是视频帧数据，一种是脉冲事件流数据，也就是事件数据，视频帧数据包含的就是传统相机类似的RGB三通道的图像，这类型数据可以直接通过人工标定的方式得到视频帧标签，也就是视频标签，得到视频帧的标签之后，可以根据标签将视频数据序列划分成子序列，得到不同子序列的标记时间点，通过这些标记时间点完成对事件流数据的标定，得到脉冲事件流的标签。
可选地，上述基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点的操作，本申请实施例中还可以包括下述步骤：
步骤301、在所述视频子序列的标记时间点与所述目标记录点相一致的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点。
步骤302、在所述视频子序列的标记时间点与所述目标记录点不一致的情况下，基于所述标记时间点与所述目标记录点的大小从所述事件记录点中重新确定目标记录点，直至存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点。
步骤303、在不存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点。
其中，在视频子序列的标记时间点与目标记录点相一致的情况下，表明该目标记录点对应的事件数据与标记时间点对应的视频帧是在同一时刻记录的，因而两者所属的类别也一致。相应地，在两者不一致的情况下，表明此时的目标记录点对应的事件数据与标记时间点对应的视频帧是在不同时刻记录的，因而两者所属的类别很大情况下是不一致的，此时可以重新确定目标记录点。
具体的，在重新确定目标记录点时，可以根据目标记录点与标记时间点的大小来确定，在两者相差较大时，可以从距离原目标记录点的时长较久的事件记录点中确定，相应地，在两者相差较小时，可以从距离原目标记录点较近的事件记录点中确定，直至找到与上述标记时间点相一致的目标记录点，将该目标记录点确定为事件分割点。
需要说明的是，由于DAVIS采集的两种数据在时间精度上存在差异，事件数据序列的时间精度远远大于视频数据序列的时间精度，这就导致在同一时刻，两种数据存在两种对应情况，一种是在视频帧的记录时刻，同时也记录了事件数据，另一种则是在视频帧的记录时刻并未发生任何事件，从而导致在事件数据序列中并不存在与上述标记时间点相一致的事件记录点，也就导致无法确定事件分割点。
基于上述情况，本申请实施例可以预先设置预设阈值，该预设阈值也可以称为缩放因子，在事件数据序列中不存在与上述标记时间点相一致的目标记录点时，可以将与标记时间点的差值的绝对值不大于该预设阈值的目标记录点作为事件分割点。具体的，上述预设阈值可以基于DAVIS采集事件数据的时间分辨率来确定，可以直接将采集事件数据的时间分辨率确定为上述预设阈值，示例性地，以DAVIS采集事件数据的时间分辨率为1μs为例，上述预设阈值也可以设置为1μs。具体的，由于采集事件数据的时间分辨率远高于采集视频帧的时间分辨率，因此不同视频帧之间的时间差值大于采集事件数据的时间分辨率，因而上述与标记时间点的差值的绝对值不大于该预设阈值的目标记录点，与标记时间点较为接近，从而所对应的类别也应该相同，因此可以直接将该目标记录点作为事件分割点。
本申请实施例中，通过在所述视频子序列的标记时间点与所述目标记录点相一致的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；在所述视频子序列的标记时间点与所述目标记录点不一致的情况下，基于所述标记时间点与所述目标记录点的大小从所述事件记录点中重新确定目标记录点，直至存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；在不存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点。这样，通过标记时间点与目标记录点进行比对，保证比对的准确性的同时，通过设置预设阈值，可以避免由于视频帧与事件数据的时间分辨率的差异，所导致的无法确定事件分割点的问题，进而保证了可以确定出每个标记时间点所对应的事件分割点，保证了事件数据序列标定的顺利完成。
可选地，上述基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点的操作，本申请实施例具体可以包括：
步骤401、将所述事件记录点中的中间记录点确定为目标记录点；所述中间记录点为记录时间在所述事件记录点中处于中间时刻的事件记录点。
上述基于所述标记时间点与所述目标记录点的大小从各所述事件记录点中重新确定目标记录点的操作，本申请实施例具体可以包括下述步骤：
步骤402、在所述标记时间点大于所述目标记录点的情况下，将大于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点。
以及，步骤403、在所述标记时间点小于所述目标记录点的情况下，将小于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点。
具体的，在标记时间点大于目标记录点时，表明该标记时间点对应的视频帧是在目标记录点之后记录的，从而可以从位于原目标记录点之后的事件记录点中重新确定目标记录点，相应地，在标记时间点小于目标记录点时，表明该标记时间点对应的视频帧是在目标记录点之前记录的，从而可以从位于原目标记录点之前的事件记录点中重新确定目标记录点。
具体的，为了提高确定事件分割点的效率，本申请实施例通过二分查找的思想，将记录事件在事件记录点中处于中间时刻的事件记录点确定为目标记录点，这样可以大大降低确定事件分割点所需要的时间，降低时间复杂度。
本申请实施例中，将所述事件记录点中的中间记录点确定为目标记录点；所述中间记录点为记录时间在所述事件记录点中处于中间时刻的事件记录点；在所述标记时间点大于所述目标记录点的情况下，将大于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点；以及，在所述标记时间点小于所述目标记录点的情况下，将小于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点。这样，通过二分查找的思想，将中间记录点确定为目标记录点，这样可以大大降低确定事件分割点所需要的时间，进一步提高对事件数据序列进行标定的效率。
可选地，所述标记时间点包括起始时间点以及终止时间点；上述基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列的操作，本申请实施例具体可以包括下述步骤：
步骤501、将所述标记时间点中的起始时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点，以及，将所述标记时间点中的终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点。
步骤502、基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
其中，在标记时间点包括起始时间点以及终止时间点的情况下，可以分别确定起始时间点以及终止时间点所对应的事件分割点，相应地，起始时间点所对应的事件分割点对应于事件子序列的记录开始点，终止时间点所对应的事件分割点对应于事件子序列的记录结束点，从而可以从事件数据序列包含的事件数据中，将事件记录点位于记录开始点和记录结束点之间的事件数据作为与该视频子序列对应的事件子序列。
本申请实施例中，所述标记时间点包括起始时间点以及终止时间点；通过将所述标记时间点中的起始时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点，以及，将所述标记时间点中的终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点；基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。这样，针对任一视频子序列，通过视频子序列的首尾的时间点可以确定出与视频子序列对应的事件子序列的首尾的时间点，可以提高确定事件子序列的准确性。
可选地，本申请实施例具体还可以包括下述步骤：
步骤601、在不存在与所述标记时间点的差值的绝对值不大于所述预设阈值的目标记录点的情况下，按照预设增量对所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
其中，上述预设增量也可以称为缩放步长，具体的，由于事件数据的时间分辨率远高于视频帧的时间分辨率，因而依然有不存在与标记时间点的差值的绝对值不大于预设阈值的目标记录点的情况，在此情况下，本申请实施例中可以设置预设增量对预设阈值进行更新，在通过原预设阈值依然无法确定事件分割点时，通过预设增量将预设阈值增大，相当于将判定条件进一步增大，并使用增大后的预设阈值重新确定事件分割点。
具体的，上述预设增量也可以根据DAVIS采集事件数据的时间分辨率确定，当然也可以按照标定精度的实际需求自行设置，在标定精度要求较高时，设置较小的预设增量，在标定精度要求不高时，设置较大的预设增量，本申请实施例对此不作限制。
本申请实施例中，在不存在与所述标记时间点的差值的绝对值不大于所述预设阈值的目标记录点的情况下，按照预设增量对所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。这样，通过设置预设增量对预设阈值进行更新，提高了事件分割点确定的灵活性。
可选地，本申请实施例中，所述标记时间点包括终止时间点，所述将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列的操作，本申请实施例具体可以包括下述步骤：
步骤701、将所述终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点，以及，将前一个终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点；所述前一个终止时间点为所述视频子序列的前一个视频子序列的标记时间点。
步骤702、基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
其中，上述标记时间点可以只包括终止时间点，在此情况下，各视频子序列相当于是通过各终止时间点进行分割得到的，也就是前一个视频子序列的终止时间点相当于下一个视频子序列的起始时间点，从而本申请实施例中可以只使用终止时间点作为标记时间点，将该终止时间点对应的事件分割点作为事件子序列的记录结束点，将前一个视频子序列的终止时间点作为事件子序列的记录开始点。
进一步地，可以从事件数据序列包含的事件数据中，将事件记录点位于记录开始点和记录结束点之间的事件数据作为与该视频子序列对应的事件子序列。
本申请实施例中，所述标记时间点包括终止时间点；通过将所述终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点，以及，将前一个终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点；所述前一个终止时间点为所述视频子序列的前一个视频子序列的标记时间点；基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。这样，可以只通过每个视频子序列的终止时间点确定对应的事件分割点，无需使用视频子序列的起始时间点和终止时间点分别确定对应的事件分割点，进一步提高标定效率。
可选地，本申请实施例具体还可以包括下述步骤：
步骤801、将所述事件数据序列中的第一个事件数据的事件记录点确定为第一个事件子序列的记录开始点。
步骤802、将所述事件数据序列中的最后一个事件数据的事件记录点确定为最后一个事件子序列的记录结束点。
其中，由于事件数据与视频帧的时间分辨率不同，事件数据的数量远远大于视频帧的数量，在此情况下，在第一个视频帧被采集之前，以及，在最后一个视频帧被采集之后，DAVIS可能还采集了若干个事件数据，此时，若仅通过各视频子序列的起始时间点和/或终止时间点确定对应的事件子序列，可能导致存在若干事件数据未被标定。
因此，本申请实施例在前述操作的基础上，可以直接将第一个事件数据的事件记录点作为第一个事件子序列的记录开始点，相应地，将最后一个事件数据的事件记录点作为最后一个事件子序列的记录结束点，保证事件数据序列中的每个事件数据均可以完成标定。
本发明实施例中，通过将所述事件数据序列中的第一个事件数据的事件记录点确定为第一个事件子序列的记录开始点；将所述事件数据序列中的最后一个事件数据的事件记录点确定为最后一个事件子序列的记录结束点。这样，可以避免由于事件数据与视频帧的时间分辨率不同，所导致的存在若干事件数据未被标定的问题，保证事件数据序列中的每个事件数据均可以完成标定，提高标定效果。
可选地，上述获取基于DAVIS采集的视频数据序列以及事件数据序列的操作，本申请实施例具体可以包括：
步骤901、通过所述DAVIS对目标对象进行数据采集，得到采集数据。
步骤902、通过所述DAVIS的输出接口获取所述采集数据，以得到所述视频数据序列以及所述事件数据序列。
其中，本申请实施例可以应用于任一计算机设备，从而可以将计算机设备与DAVIS的输出接口进行连接，通过计算机设备或其他预设控件触发DAVIS对目标对象进行数据采集，并通过该输出接口获取所采集的数据，得到上述视频数据序列和事件数据序列。其中，上述目标对象可以是人物、动物，当然还可以是其他对象，可以根据实际需求自行设置，本申请实施例对此不作限制。
具体的，上述输出接口指的是输出数据格式为.aedat4的接口，具体可以根据DAVIS的实际情况进行设置，本申请实施例对此不作限制。进一步地，上述采集数据中包含了以不同方式记录的视频帧集合和事件数据集合，进而可以将视频帧集合作为上述视频数据序列，将事件数据集合作为上述事件数据序列。
本申请实施例中，通过所述DAVIS对目标对象进行数据采集，得到采集数据；通过所述DAVIS的输出接口获取所述采集数据，以得到所述视频数据序列以及所述事件数据序列。这样，通过DAVIS的输出接口可以同时得到DAVIS针对目标对象所采集的视频数据序列以及事件数据序列。
可选地，上述预设阈值是基于所述DAVIS采集事件数据的时间分辨率确定的，在所述时间分辨率为微秒级的情况下，所述预设阈值的取值范围为2~5微秒。
其中，上述预设阈值对标定效率具有一定的影响，如果设置过小，会造成标定过程耗时过长，如果设置过大，会造成标定不准确。需要说明的是，DAVIS采集事件数据的时间分辨率往往是微秒级，在此基础上，上述预设阈值也可以设置为微秒级，具体可以根据所采用的DAVIS的配置不同而不同，在对微秒级的DAVIS进行多次标定实验后，将上述预设阈值设置为2~5微秒之间的标定效果较好，其中，预设阈值为3微秒的效果较优。
本申请实施例中，所述预设阈值是基于所述DAVIS采集事件数据的时间分辨率确定的，这样可以在能够确定事件分割点的同时，保证所确定的事件分割点与标记时间点的差异不会过大，保证事件数据标定的准确性。
可选地，上述通过所述DAVIS对目标对象进行数据采集的操作，本申请实施例具体可以包括下述步骤：
步骤1001、通过所述DAVIS对表征不同类型的目标对象依次进行数据采集。
上述基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签的操作，本申请实施例具体可以包括下述步骤：
步骤1002、基于所述视频数据序列中所述各视频帧所包含的目标对象所表征的类型，为所述视频数据序列生成所述多个视频标签，一个所述视频标签对应于一个所述类型。
其中，上述不同类型可以根据实际需求场景以及目标对象进行设置，可以预先配置表征不同类型的目标对象，采用DAVIS对不同类型的目标对象依次进行采集，得到多个样本，一个样本可以对应于一种类型的目标对象。其中，上述对不同类型的目标对象进行采集的顺序可以预先设置，可以预先对各目标对象的类型进行排序，从而使得最终得到的样本的排序与类型排序相一致。
进一步地，由于上述视频数据序列是对不同类型的目标对象依次采集得到的，因而视频数据序列中各视频帧所包含的目标对象的类别即可表征视频帧的画面内容的类型，因此，本申请实施例可以直接将目标对象的类型作为对应的视频帧的视频标签，使得包含同一类型的目标对象的视频帧即可构成一个视频子序列。
本申请实施例中，通过所述DAVIS对表征不同类型的目标对象分别依次进行数据采集；基于所述视频数据序列中所述各视频帧所包含的目标对象所表征的类型，为所述视频数据序列生成所述多个视频标签，一个所述视频标签对应于一个所述类型。这样，通过对表征不同类型的目标对象依次进行数据采集，可以直接基于目标对象所表征的类型为视频帧生成视频标签，提高了对视频数据序列的标定效率。
可选地，上述目标对象为表征不同姿态的人体对象。
其中，上述不同姿态指的是不同的人体形态，根据人体对象的不同而不同，可以根据实际的应用需求进行设置，本申请实施例对此不作限制。示例性地，以人体对象为人物肢体为例，上述不同姿态可以包含走、蹲、跪等不同的人体形态，又一示例性地，以人体对象为人物手部为例，上述不同姿态可以包含握拳、张开、拍手等等不同的手势。
本申请实施例中，所述目标对象为表征不同姿态的人体对象，这样，可以通过采集不同姿态的人体对象，得到针对人体对象的视频数据序列和事件数据序列，进一步可以将标定后的视频数据序列和事件数据序列应用于人体姿态识别的场景中。
可选地，本申请实施例具体还可以包括下述步骤：
步骤1101、在不存在与所述标记时间点的差值的绝对值不大于更新后的所述预设阈值的目标记录点的情况下，对所述预设增量进行更新，并按照更新后的所述预设增量对当前的所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
其中，在不存在与标记时间点的差值的绝对值不大于更新后的预设阈值的目标记录点的情况下，本申请实施例中可以进一步对预设增量进行更新，在通过原预设阈值依然无法确定事件分割点时，通过更新后的预设增量将预设阈值进一步增大，相当于将判定条件进一步增大，并使用增大后的预设阈值重新确定事件分割点。
具体的，上述对预设增量进行更新的操作可以自行设置，例如，可以为预设增量设置单位增量，按照所设置的单位增量对预设增量进行更新，当然还可以是其他方式，本申请实施例对此不作限制。
本申请实施例中，通过在不存在与所述标记时间点的差值的绝对值不大于更新后的所述预设阈值的目标记录点的情况下，对所述预设增量进行更新，并按照更新后的所述预设增量对当前的所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。这样，进一步提高了事件分割点确定的灵活性。
可选地，上述基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签的操作，本申请实施例具体可以包括下述步骤：
步骤1201、将各所述视频帧按照时间顺序依次输出。
步骤1202、接收用户基于所输出的视频帧为各所述视频帧生成的输入信息，以基于所述输入信息确定各所述视频帧对应的视频标签。
其中，上述时间顺序指的是各视频帧的采集时间的先后顺序，可以根据各视频帧的时间戳大小来确定。其中，上述用户指的是相关的技术人员。
进一步地，可以将视频数据序列中包含的各视频帧按照上述时间顺序依次输出，用户可以根据所输出的视频帧的画面内容为各视频帧生成标签，并将所生成的标签通过预设的输入组件进行输入，从而通过接收用户的输入信息即可得到各视频帧的视频标签。
本申请实施例中，通过将各所述视频帧按照时间顺序依次输出；接收用户基于所输出的视频帧为各所述视频帧生成的输入信息，以基于所述输入信息确定各所述视频帧对应的视频标签。这样，通过将各视频帧进行依次输出，可以得到用户为每个视频帧所生成的视频标签，完成对每个视频帧的标定，提高视频数据序列标定的准确性。
可选地，上述基于所述多个视频标签将所述视频数据序列划分为多个视频子序列的操作，本申请实施例具体可以包括下述步骤：
步骤1301、将所述视频数据序列中对应于同一视频标签的若干个所述视频帧确定为一个所述视频子序列。
具体的，对应于同一视频标签的视频帧所包含的画面内容属于同一类别，因而本申请实施例可以将对应于同一视频标签的视频帧划分至一个视频子序列中，从而根据多个视频标签可以得到多个视频子序列。
本申请实施例中，通过将所述视频数据序列中对应于同一视频标签的若干个所述视频帧确定为一个所述视频子序列。这样，可以根据多个视频标签可以得到多个视频子序列，实现对视频数据序列的标定。
可选地，本申请实施例具体还可以包括下述步骤：
步骤1401、对于任一所述视频子序列以及所述视频子序列对应的事件子序列，基于所述视频子序列中的视频帧获取视频特征向量，以及基于所述事件子序列中的事件数据获取事件特征向量。
步骤1402、基于所述视频特征向量以及事件特征向量得到融合向量，并将所述融合向量输入至待训练姿态识别模型中，以获取所述待训练姿态识别模型的姿态识别结果。
步骤1403、基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练，以得到目标识别模型，所述目标识别模型用于基于待识别视频数据和待识别事件数据生成识别结果。
其中，上述待训练姿态识别模型可以是姿态识别领域的，用于进行姿态识别的待训练模型，可以是预先搭建的，或者也可以是姿态识别效果不满足识别要求的识别模型，具体可以根据实际需求设置上述待训练姿态识别模型，本申请实施例对此不作限制。其中，上述待识别视频数据和待识别事件数据可以是针对不同姿态所采集的视频数据或事件数据，本申请实施例对此不作限制。
具体的，在得到标定完成的视频子序列以及事件子序列后，可以将任一视频子序列以及该视频子序列对应的事件子序列作为多模态的输入数据进行应用。可以将视频帧数据编码为视频特征向量，将事件数据编码为事件特征向量，并将两种向量进行融合后输入至待训练姿态识别模型中，通过获取待训练姿态识别模型的输出结果，得到待训练模型对融合向量的姿态识别结果。其中，上述视频特征向量可以通过视频特征提取网络（例如，3D卷积网络，3D ConvNets ，C3D网络）对视频子序列中的视频帧进行前向推理得到，上述事件特征向量可以通过脉冲神经网络对事件子序列中的事件数据进行特征提取得到。上述融合操作可以通过对两个向量进行拼接后，再通过两层全连接层进行处理后得到。
可选地，在上述待训练姿态识别模型中包含对原始数据的向量化处理和融合处理的情况下，也可以直接将视频帧数据和事件数据直接输入至模型中即可，本发明实施例只是示出了其中一种情况，具体可以按照实际需求自行设置。
进一步地，上述姿态识别结果是用于表征该待训练姿态识别模型为视频子序列与事件子序列所识别的类型，本申请实施例可以根据上述姿态识别结果以及视频子序列的视频标签或事件子序列的事件标签之间的差异，对待训练姿态识别模型进行训练，得到满足识别要求的目标识别模型，从而可以将该目标识别模型应用到实际的姿态识别场景中。
需要说明的是，由于目标识别模型是根据视频帧数据和事件数据这两种不同模态的数据训练得到的，而多模态的数据通过融合可以增强数据的有效性，从而提高了模型训练的有效性，可以得到姿态识别准确率较高的目标识别模型。
本申请实施例中，通过对于任一所述视频子序列以及所述视频子序列对应的事件子序列，基于所述视频子序列中的视频帧获取视频特征向量，以及基于所述事件子序列中的事件数据获取事件特征向量；基于所述视频特征向量以及事件特征向量得到融合向量，并将所述融合向量输入至待训练姿态识别模型中，以获取所述待训练姿态识别模型的姿态识别结果；基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练，以得到目标识别模型，所述目标识别模型用于基于待识别视频数据和待识别事件数据生成识别结果。这样，根据视频子序列以及事件子序列得到视频特征向量以及事件特征向量，并对两个向量进行融合，使待训练姿态识别模型根据融合向量得到姿态识别结果，并根据姿态识别结果以及视频标签或事件标签对待训练姿态识别模型进行训练，通过使用多模态的数据进行处理，可以增强数据的有效性，从而提高了模型训练的有效性，可以得到姿态识别准确率较高的目标识别模型。
可选地，上述基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练的操作，本申请实施例具体可以包括下述步骤：
步骤1501、基于所述姿态识别结果与所述视频标签或所述事件标签的差异度，对所述待训练姿态识别模型的训练参数进行调整，并基于调整后的待训练姿态识别模型继续进行训练，直至达到训练停止条件时，将训练结束时的待训练姿态识别模型确定为所述目标识别模型。
具体的，上述对训练参数的调整可以是根据姿态识别结果与视频标签或事件标签的差异度进行的，基于差异度，对待训练姿态识别模型的模型参数进行调整并继续训练，直至达到上述训练停止条件。其中，上述差异度指的是姿态识别结果与视频标签的差异度，或者姿态识别结果与事件标签的差异度，具体的，可以是通过余弦相似度算法或者其他相似度算法得到姿态识别结果与视频标签（事件标签）的相似度，再通过相似度得到上述差异度，可以理解的，相似度与差异度是两个相反的表征参数，因此，可以使用1减去相似度得到差异度。
其中，上述训练停止条件可以是训练时长达到预设时长，或模型参数调整次数达到预设次数，又或者，预设损失函数值达到阈值等等，本公开实施例对此不作限制，当达到训练停止条件时，确定对待训练姿态识别模型的训练结束。
本申请实施例中，通过基于所述姿态识别结果与所述视频标签或所述事件标签的差异度，对所述待训练姿态识别模型的训练参数进行调整，并基于调整后的待训练姿态识别模型继续进行训练，直至达到训练停止条件时，将训练结束时的待训练姿态识别模型确定为所述目标识别模型。这样，通过姿态识别结果、视频标签或事件标签，对待训练姿态识别模型的训练参数进行调整，可以完成对待训练姿态识别模型的训练，得到满足要求的目标识别模型。
图4是本申请实施例提供的另一种场景示意图，以DAVIS采集事件数据的时间分辨率为1微秒为例，其66秒所采集的事件数据可能达到百万，或者更多，图4是一个包含100万以上数量的事件数据的可视化，如图4所示，对于上百万的事件数据进行标定显然难度较大，效率极低。
而本申请实施例可以通过完成标定的，对应M个视频标签的视频数据序列，缩放因子α和缩放步长β，可以对事件数据序列完成标定。具体的，由于第一帧视频帧拍摄的时间和第一个脉冲发射（对应于发生事件）的时间是不一样的，所以这里首先确定首尾，也就是第一个脉冲发射时间和最后一个脉冲发射时间就是对应视频帧标注数据的首尾，从而M个视频标签可以对应M-1个时间戳tg，也就是不同视频子序列之间的间隔时间戳，根据M个类别对应的时间戳M-1个，开始依次对 s(tj，xj，yj，pj)中tj组成的有序序列进行二分搜索查找，若能够直接返回（即tg=tj），则记录该tj对应的tg作为事件分割点，否则开始加入缩放因子搜索。
在加入缩放因子之后，使得原本的判定条件从tg=tj放松到|tg-tj|＜α，其中|x|表示x的绝对值，如果加入缩放因子仍然无法命中，则将缩放因子更新为α=α+β继续搜索，直到返回M-1个搜索结果|tg-tj|＜α。
进一步地，通过所返回的M-1个事件分割点和之前确定的首尾时间戳进行结合，即可将事件数据序列按照事件分割点分割为M段，完成对事件数据序列的标定。
图5是本申请实施例提供的一种面向DAVIS的数据标定装置的结构图，该装置200可以包括：
序列获取模块2001，用于获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；
标签生成模块2002，用于基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；
划分模块2003，用于基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；
确定模块2004，用于从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
可选地，所述确定模块2004，包括：
第一确定子模块，用于基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点；
第二确定子模块，用于对于任一所述视频子序列，基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点；
第三确定子模块，用于基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，所述事件分割点对应于所述事件子序列的记录开始点或记录结束点。
可选地，所述第二确定子模块，具体用于：
在所述视频子序列的标记时间点与所述目标记录点相一致的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；
在所述视频子序列的标记时间点与所述目标记录点不一致的情况下，基于所述标记时间点与所述目标记录点的大小从所述事件记录点中重新确定目标记录点，直至存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；
在不存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点。
可选地，第一确定子模块，具体用于：将所述事件记录点中的中间记录点确定为目标记录点；所述中间记录点为记录时间在所述事件记录点中处于中间时刻的事件记录点；
所述第二确定子模块，具体还用于：
在所述标记时间点大于所述目标记录点的情况下，将大于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点；
以及，在所述标记时间点小于所述目标记录点的情况下，将小于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点。
可选地，所述标记时间点包括起始时间点以及终止时间点；所述第四确定子模块，具体用于：
将所述标记时间点中的起始时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点，以及，将所述标记时间点中的终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点；
基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
可选地，所述装置200，还包括：
阈值更新模块，用于在不存在与所述标记时间点的差值的绝对值不大于所述预设阈值的目标记录点的情况下，按照预设增量对所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
可选地，所述标记时间点包括终止时间点；所述第四确定子模块，具体用于：
将所述终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点，以及，将前一个终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点；所述前一个终止时间点为所述视频子序列的前一个视频子序列的标记时间点；
基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
可选地，所述装置200还包括：
开始确定模块，用于将所述事件数据序列中的第一个事件数据的事件记录点确定为第一个事件子序列的记录开始点；
结束确定模块，用于将所述事件数据序列中的最后一个事件数据的事件记录点确定为最后一个事件子序列的记录结束点。
可选地，所述序列获取模块2001，包括：
采集子模块，用于通过所述DAVIS对目标对象进行数据采集，得到采集数据；
获取子模块，用于通过所述DAVIS的输出接口获取所述采集数据，以得到所述视频数据序列以及所述事件数据序列。
可选地，所述预设阈值是基于所述DAVIS采集事件数据的时间分辨率确定的，在所述时间分辨率为微秒级的情况下，所述预设阈值的取值范围为2~5微秒。
可选地，所述采集子模块，具体用于：通过所述DAVIS对表征不同类型的目标对象分别依次进行数据采集；
所述标签生成模块2002，具体用于：基于所述视频数据序列中所述各视频帧所包含的目标对象所表征的类型，为所述视频数据序列生成所述多个视频标签，一个所述视频标签对应于一个所述类型。
可选地，所述目标对象为表征不同姿态的人体对象。
可选地，所述装置200还包括：
增量更新模块，用于在不存在与所述标记时间点的差值的绝对值不大于更新后的所述预设阈值的目标记录点的情况下，对所述预设增量进行更新，并按照更新后的所述预设增量对当前的所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
可选地，所述标签生成模块2002，包括：
输出子模块，用于将各所述视频帧按照时间顺序依次输出；
接收子模块，用于接收用户基于所输出的视频帧为各所述视频帧生成的输入信息，以基于所述输入信息确定各所述视频帧对应的视频标签。
可选地，所述划分模块2003，具体用于：将所述视频数据序列中对应于同一所述视频标签的若干个所述视频帧确定为一个所述视频子序列。
可选地，所述装置200，还包括：
向量获取模块，用于对于任一所述视频子序列以及所述视频子序列对应的事件子序列，基于所述视频子序列中的视频帧获取视频特征向量，以及基于所述事件子序列中的事件数据获取事件特征向量；
输入模块，用于基于所述视频特征向量以及事件特征向量得到融合向量，并将所述融合向量输入至待训练姿态识别模型中，以获取所述待训练姿态识别模型的姿态识别结果；
训练模块，用于基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练，以得到目标识别模型，所述目标识别模型用于基于待识别视频数据和待识别事件数据生成识别结果。
可选地，所述训练模块，具体用于：基于所述姿态识别结果与所述视频标签或所述事件标签的差异度，对所述待训练姿态识别模型的训练参数进行调整，并基于调整后的待训练姿态识别模型继续进行训练，直至达到训练停止条件时，将训练结束时的待训练姿态识别模型确定为所述目标识别模型。
综上所述，本申请实施例提供的面向DAVIS的数据标定装置，通过获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。这样，在对DAVIS所采集的两种数量不同的数据序列进行标定时，可以先为不同的视频帧生成视频标签，完成数据数量较少的视频数据序列的标定，再通过已经完成标定的视频数据序列对事件数据序列进行标定，将事件数据序列划分为与各视频子序列对应的事件子序列，并将各视频子序列对应的视频标签确定为对应的事件子序列的事件标签，完成对事件数据序列的标定，无需依次对大量的事件数据进行人工标定，提高了对事件数据序列进行标定的效率。
本申请还提供了一种电子设备，参见图6，包括：处理器3001、存储器3002以及存储在所述存储器上并可在所述处理器上运行的计算机程序30021，所述处理器执行所述程序时实现前述实施例的方法。
本申请还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本申请的排序设备中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
需要指出的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种面向DAVIS的数据标定方法，其特征在于，所述方法包括：
获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；
基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；
基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；
从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
2.根据权利要求1所述方法，其特征在于，所述从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，包括：
基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点；
对于任一所述视频子序列，基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点；
基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，所述事件分割点对应于所述事件子序列的记录开始点或记录结束点。
3.根据权利要求2所述方法，其特征在于，所述基于所述视频子序列的标记时间点与所述目标记录点，确定所述标记时间点对应的事件分割点，包括：
在所述视频子序列的标记时间点与所述目标记录点相一致的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；
在所述视频子序列的标记时间点与所述目标记录点不一致的情况下，基于所述标记时间点与所述目标记录点的大小从所述事件记录点中重新确定目标记录点，直至存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将所述目标记录点确定为所述标记时间点对应的事件分割点；
在不存在与所述视频子序列的标记时间点相一致的目标记录点的情况下，将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点。
4.根据权利要求3所述方法，其特征在于，所述基于所述事件数据序列所包含的事件数据的事件记录点，确定目标记录点，包括：将所述事件记录点中的中间记录点确定为目标记录点；所述中间记录点为记录时间在所述事件记录点中处于中间时刻的事件记录点；
所述基于所述标记时间点与所述目标记录点的大小从所述事件记录点中重新确定目标记录点，包括：
在所述标记时间点大于所述目标记录点的情况下，将大于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点；
以及，在所述标记时间点小于所述目标记录点的情况下，将小于所述目标记录点的所述事件记录点中的中间记录点重新确定为目标记录点。
5.根据权利要求2所述方法，其特征在于，所述标记时间点包括起始时间点以及终止时间点；所述基于所述视频子序列的标记时间点对应的事件分割点，将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，包括：
将所述标记时间点中的起始时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点，以及，将所述标记时间点中的终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点；
基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
6.根据权利要求3所述方法，其特征在于，所述方法还包括：
在不存在与所述标记时间点的差值的绝对值不大于所述预设阈值的目标记录点的情况下，按照预设增量对所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
7.根据权利要求2所述方法，其特征在于，所述标记时间点包括终止时间点；所述将所述事件数据序列中对应于所述事件分割点的事件数据，确定为所述视频子序列对应的所述事件子序列，包括：
将所述终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录结束点，以及，将前一个终止时间点所对应的事件分割点确定为所述标记时间点对应的事件子序列的记录开始点；所述前一个终止时间点为所述视频子序列的前一个视频子序列的标记时间点；
基于所述事件数据序列所包含的事件数据的事件记录点，将事件记录点不大于所述标记时间点对应的所述记录结束点，且不小于所述标记时间点对应的所述记录开始点的事件数据，确定为所述视频子序列对应的事件子序列。
8.根据权利要求5或7所述方法，其特征在于，所述方法还包括：
将所述事件数据序列中的第一个事件数据的事件记录点确定为第一个事件子序列的记录开始点；
将所述事件数据序列中的最后一个事件数据的事件记录点确定为最后一个事件子序列的记录结束点。
9.根据权利要求1所述方法，其特征在于，所述获取基于DAVIS采集的视频数据序列以及事件数据序列，包括：
通过所述DAVIS对目标对象进行数据采集，得到采集数据；
通过所述DAVIS的输出接口获取所述采集数据，以得到所述视频数据序列以及所述事件数据序列。
10.根据权利要求3所述方法，其特征在于，所述预设阈值是基于所述DAVIS采集事件数据的时间分辨率确定的，在所述时间分辨率为微秒级的情况下，所述预设阈值的取值范围为2~5微秒。
11.根据权利要求9所述方法，其特征在于，所述通过所述DAVIS对目标对象进行数据采集，包括：通过所述DAVIS对表征不同类型的目标对象依次进行数据采集；
所述基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签，包括：
基于所述视频数据序列中所述各视频帧所包含的目标对象所表征的类型，为所述视频数据序列生成所述多个视频标签，一个所述视频标签对应于一个所述类型。
12.根据权利要求9所述方法，其特征在于，所述目标对象为表征不同姿态的人体对象。
13.根据权利要求6所述方法，其特征在于，所述方法还包括：
在不存在与所述标记时间点的差值的绝对值不大于更新后的所述预设阈值的目标记录点的情况下，对所述预设增量进行更新，并按照更新后的所述预设增量对当前的所述预设阈值进行更新，并重新执行所述将与所述标记时间点的差值的绝对值不大于预设阈值的目标记录点确定为所述标记时间点对应的事件分割点的操作。
14.根据权利要求1所述方法，其特征在于，所述基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签，包括：
将各所述视频帧按照时间顺序依次输出；
接收用户基于所输出的视频帧为各所述视频帧生成的输入信息，以基于所述输入信息确定各所述视频帧对应的视频标签。
15.根据权利要求14所述的方法，其特征在于，所述基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，包括：
将所述视频数据序列中对应于同一视频标签的若干个所述视频帧确定为一个所述视频子序列。
16.根据权利要求12所述方法，其特征在于，所述方法还包括：
对于任一所述视频子序列以及所述视频子序列对应的事件子序列，基于所述视频子序列中的视频帧获取视频特征向量，以及基于所述事件子序列中的事件数据获取事件特征向量；
基于所述视频特征向量以及事件特征向量得到融合向量，并将所述融合向量输入至待训练姿态识别模型中，以获取所述待训练姿态识别模型的姿态识别结果；
基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练，以得到目标识别模型，所述目标识别模型用于基于待识别视频数据和待识别事件数据生成识别结果。
17.根据权利要求16所述方法，其特征在于，所述基于所述姿态识别结果、所述视频子序列的视频标签或所述事件子序列的事件标签，对所述待训练姿态识别模型进行训练，包括：
基于所述姿态识别结果与所述视频标签或所述事件标签的差异度，对所述待训练姿态识别模型的训练参数进行调整，并基于调整后的待训练姿态识别模型继续进行训练，直至达到训练停止条件时，将训练结束时的待训练姿态识别模型确定为所述目标识别模型。
18.一种面向DAVIS的数据标定装置，其特征在于，所述装置包括：
序列获取模块，用于获取基于DAVIS采集的视频数据序列以及事件数据序列，所述视频数据序列中所包含的视频帧的数量小于所述事件数据序列中所包含的事件数据的数量；
标签生成模块，用于基于所述视频数据序列中包含的各视频帧，为所述视频数据序列生成多个视频标签；
划分模块，用于基于所述多个视频标签将所述视频数据序列划分为多个视频子序列，不同的所述视频子序列对应于不同的所述视频标签；
确定模块，用于从所述事件数据序列所包含的多个事件数据中确定与各所述视频子序列相对应的各事件子序列，并将各所述视频子序列对应的视频标签确定为各所述事件子序列的事件标签，以得到标定后的事件数据序列。
19.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-17中任一所述的方法。
20.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-17中任一所述的方法。
CN202310467898.2A 2023-04-27 2023-04-27 面向davis的数据标定方法、装置、电子设备及介质 Active CN116189065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310467898.2A CN116189065B (zh) 2023-04-27 2023-04-27 面向davis的数据标定方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310467898.2A CN116189065B (zh) 2023-04-27 2023-04-27 面向davis的数据标定方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116189065A true CN116189065A (zh) 2023-05-30
CN116189065B CN116189065B (zh) 2023-07-14

Family

ID=86434884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310467898.2A Active CN116189065B (zh) 2023-04-27 2023-04-27 面向davis的数据标定方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116189065B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307044A1 (en) * 2013-10-31 2016-10-20 Alcatel Lucent Process for generating a video tag cloud representing objects appearing in a video content
CN113392690A (zh) * 2021-01-04 2021-09-14 腾讯科技（深圳）有限公司 视频语义标注方法、装置、设备及存储介质
CN113727042A (zh) * 2020-05-26 2021-11-30 杭州海康威视数字技术股份有限公司 图像处理***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307044A1 (en) * 2013-10-31 2016-10-20 Alcatel Lucent Process for generating a video tag cloud representing objects appearing in a video content
CN113727042A (zh) * 2020-05-26 2021-11-30 杭州海康威视数字技术股份有限公司 图像处理***及方法
CN113392690A (zh) * 2021-01-04 2021-09-14 腾讯科技（深圳）有限公司 视频语义标注方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116189065B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
CN110942006B (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN109657533A (zh) 行人重识别方法及相关产品
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用***
CN110866509B (zh) 动作识别方法、装置、计算机存储介质和计算机设备
CN108229282A (zh) 关键点检测方法、装置、存储介质及电子设备
CN110443210A (zh) 一种行人跟踪方法、装置以及终端
CN109241956B (zh) 合成图像的方法、装置、终端及存储介质
CN110837580A (zh) 一种行人图片标注方法、装置、存储介质和智能设备
CN112465855B (zh) 客流统计方法、装置、存储介质及设备
CN113435236A (zh) 居家老人姿态检测方法、***、存储介质、设备及应用
Sielhorst et al. Synchronizing 3d movements for quantitative comparison and simultaneous visualization of actions
CN104978583B (zh) 人物动作的识别方法及装置
CN108875500A (zh) 行人再识别方法、装置、***及存储介质
EP3945463A1 (en) A computing system and a computer-implemented method for sensing gameplay events and augmentation of video feed with overlay
CN114067406A (zh) 一种关键点检测方法、装置、设备及可读存储介质
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
CN111680670B (zh) 一种跨模态人头检测方法及装置
CN116189065B (zh) 面向davis的数据标定方法、装置、电子设备及介质
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
CN111652168A (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN112613436B (zh) ***检测方法和装置
US11640713B2 (en) Computing system and a computer-implemented method for sensing gameplay events and augmentation of video feed with overlay
CN114120362A (zh) 一种手势采集方法、装置、电子设备和可读存储介质
CN108446653B (zh) 用于处理面部图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant