CN111445499B - 用于识别目标信息的方法及装置 - Google Patents

用于识别目标信息的方法及装置 Download PDF

Info

Publication number
CN111445499B
CN111445499B CN202010219513.7A CN202010219513A CN111445499B CN 111445499 B CN111445499 B CN 111445499B CN 202010219513 A CN202010219513 A CN 202010219513A CN 111445499 B CN111445499 B CN 111445499B
Authority
CN
China
Prior art keywords
processed
target object
information
video frame
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010219513.7A
Other languages
English (en)
Other versions
CN111445499A (zh
Inventor
庞荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010219513.7A priority Critical patent/CN111445499B/zh
Publication of CN111445499A publication Critical patent/CN111445499A/zh
Application granted granted Critical
Publication of CN111445499B publication Critical patent/CN111445499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了用于识别目标信息的方法及装置,属于云计算技术领域。该方法的一具体实施方式包括:首先将待处理视频分解为待处理视频帧序列;然后在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;之后标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;最后基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。该实施方式可提高跟踪目标物体的准确性和速度。

Description

用于识别目标信息的方法及装置
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于识别目标信息的方法及装置。
背景技术
目标跟踪就是在给定视频的初始视频帧中目标物体(可以是人或其他移动物体)的位置和大小的情况下,输出该目标在视频之后的视频帧中的位置和大小,目标的位置可以根据目标检测的算法得到。当获取到一段待处理视频时,首先可以通过目标检测算法检测出第一视频帧中要跟踪的目标,然后利用目标跟踪的算法来检测其他视频帧中的目标。
发明内容
本公开的实施例提出了用于识别目标信息的方法及装置。
第一方面,本公开的实施例提供了一种用于识别目标信息的方法,该方法包括:将待处理视频分解为待处理视频帧序列,其中,上述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,上述待处理视频帧包含目标物体图像;在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
在一些实施例中,上述在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像,包括:识别上述第一个待处理视频帧包含的至少一个待检测物体,并显示上述至少一个待检测物体的图像;响应于检测到对应上述至少一个待检测物体的图像中待检测物体的图像的确定信号,将上述确定信号对应的待检测物体的图像标记为目标物体图像。
在一些实施例中,上述标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息,包括:对于上述前设定个待处理视频帧中的待处理视频帧,为上述目标物体图像设置至少一种类型指定标记点;通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息。
在一些实施例中,上述通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息,包括:对于上述至少一种类型指定标记点中的相同类型指定标记点,获取该相同类型指定标记点在上述前设定个待处理视频帧中的运动轨迹;计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息。
在一些实施例中,上述计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息,包括:计算上述至少一条运动轨迹在相同待处理视频帧中的、上述至少一种类型指定标记点之间的相对位置信息,得到对应上述至少一条运动轨迹的相对位置信息序列;基于上述相对位置信息序列得到相对位置变化信息序列,其中,上述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差;将上述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点;计算上述至少一种类型指定标记点中除上述基准标记点以外的其他类型指定标记点与上述基准标记点之间的目标相对距离信息,并根据上述目标相对距离信息得到上述目标物体的运动特征信息。
在一些实施例中,上述基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像,包括:基于上述运动特征信息确定上述至少一种类型指定标记点中每种类型指定标记点在上述待识别待处理视频帧中的预测位置;响应于上述待识别待处理视频帧存在对应上述预测位置的上述目标物体图像,通过上述目标物体图像在上述待识别待处理视频帧中的位置信息更新上述运动特征信息。
第二方面,本公开的实施例提供了一种用于识别目标信息的装置,该装置包括:视频分解单元,被配置成将待处理视频分解为待处理视频帧序列,其中,上述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,上述待处理视频帧包含目标物体图像;目标物体图像标记单元,被配置成在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;运动特征信息获取单元,被配置成标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;目标识别单元,被配置成基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
在一些实施例中,上述目标物体图像标记单元包括:待检测物体识别子单元,被配置成识别上述第一个待处理视频帧包含的至少一个待检测物体,并显示上述至少一个待检测物体的图像;目标物体图像标记子单元,响应于检测到对应上述至少一个待检测物体的图像中待检测物体的图像的确定信号,被配置成将上述确定信号对应的待检测物体的图像标记为目标物体图像。
在一些实施例中,上述运动特征信息获取单元包括:指定标记点设置子单元,对于上述前设定个待处理视频帧中的待处理视频帧,被配置成为上述目标物体图像设置至少一种类型指定标记点;运动特征信息获取子单元,被配置成通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息。
在一些实施例中,上述运动特征信息获取子单元包括:运动轨迹获取模块,对于上述至少一种类型指定标记点中的相同类型指定标记点,被配置成获取该相同类型指定标记点在上述前设定个待处理视频帧中的运动轨迹;运动特征信息获取模块,被配置成计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息。
在一些实施例中,上述运动特征信息获取模块包括:相对位置信息计算子模块,被配置成计算上述至少一条运动轨迹在相同待处理视频帧中的、上述至少一种类型指定标记点之间的相对位置信息,得到对应上述至少一条运动轨迹的相对位置信息序列;相对位置变化信息序列获取子模块,被配置成基于上述相对位置信息序列得到相对位置变化信息序列,其中,上述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差;基准标记点设置子模块,被配置成将上述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点;运动特征信息获取子模块,被配置成计算上述至少一种类型指定标记点中除上述基准标记点以外的其他类型指定标记点与上述基准标记点之间的目标相对距离信息,并根据上述目标相对距离信息得到上述目标物体的运动特征信息。
在一些实施例中,上述目标识别单元包括:预测位置获取子单元,被配置成基于上述运动特征信息确定上述至少一种类型指定标记点中每种类型指定标记点在上述待识别待处理视频帧中的预测位置;目标识别子单元,响应于上述待识别待处理视频帧存在对应上述预测位置的上述目标物体图像,被配置成通过上述目标物体图像在上述待识别待处理视频帧中的位置信息更新上述运动特征信息。
第三方面,本公开的实施例提供了一种电子设备/终端/服务器,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述第一方面的用于识别目标信息的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述第一方面的用于识别目标信息的方法。
本公开的实施例提供的用于识别目标信息的方法及装置,首先将待处理视频分解为待处理视频帧序列;然后在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;之后标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;最后基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。本申请可提高跟踪目标物体的准确性和速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性***架构图;
图2是根据本公开的用于识别目标信息的方法的一个实施例的流程图;
图3是根据本公开的用于识别目标信息的装置的一个应用场景的示意图;
图4是根据本公开的用于识别目标信息的方法的又一个实施例的流程图;
图5是根据本公开的用于识别目标信息的方法及装置的一个实施例的结构示意图;
图6是适于用来实现本公开的实施例的电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的实施例的用于识别目标信息的方法或用于识别目标信息的装置的示例性***架构100。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种图像处理应用,例如图像采集应用、视频采集应用、视频编辑应用、数据发送应用等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏并且支持图像采集的各种电子设备,包括但不限于监控摄像头、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103发来的待处理视频进行数据处理的服务器。服务器可以对接收到的待处理视频等数据进行分析等处理,并识别待处理视频中的目标物体图像。
需要说明的是,本公开的实施例所提供的用于识别目标信息的方法一般由服务器105执行,相应地,用于识别目标信息的装置一般设置于服务器105中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的用于识别目标信息的方法的一个实施例的流程200。该用于识别目标信息的方法包括以下步骤:
步骤201,将待处理视频分解为待处理视频帧序列。
在本实施例中,用于识别目标信息的方法的执行主体(例如图1所示的服务器105)可以通过有线连接方式或者无线连接方式从终端设备101、102、103接收待处理视频。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(Ultra Wideband)连接、以及其他现在已知或将来开发的无线连接方式。
现有方法对目标进行跟踪通常采用相关滤波的方法或深度学习方法等方法。其中,相关滤波的方法无法兼顾目标跟踪的准确性和跟踪效率;深度学习方法对数据集的要求比较高,获取数据集的难度较大,深度学习方法也不易通过训练得到。
为此,本申请在获取到待处理视频后,首先将待处理视频分解为待处理视频帧序列。其中,上述待处理视频帧序列可以包含按照时间顺序标识的至少一个待处理视频帧。上述待处理视频帧可以包含目标物体图像。
需要说明的是,本申请中的待处理视频可以是实时获取的视频,也可以是非实时获取的视频。当待处理视频为实时获取的视频时,可以实现对目标物体的实时跟踪。
步骤202,在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像。
为了实现对目标物体的跟踪,执行主体首先需要尽快确定目标物体。确定目标物体的方式有多种,可以是利用目标识别算法来识别目标物体,也可以是人工标记的目标物体,还可是其他方式,具体视实际需要而定。需要说明的是,本申请的目标物体图像可以是一个,也可以是多个。
在本实施例的一些可选的实现方式中,上述在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像,可以包括以下步骤:
第一步,识别上述第一个待处理视频帧包含的至少一个待检测物体,并显示上述至少一个待检测物体的图像。
执行主体可以识别出第一个待处理视频帧包含的所有可能的待检测物体,并显示待检测物体的图像,以便用户从至少一个待检测物体的图像中选择目标物体。
第二步,响应于检测到对应上述至少一个待检测物体的图像中待检测物体的图像的确定信号,将上述确定信号对应的待检测物体的图像标记为目标物体图像。
当执行主体检测到确定信号时,说明用户指定了要跟踪的目标物体。执行主体可以查询确定信号对应的是哪个待检测物体的图像,然后,执行主体可以将该待检测物体的图像标记为目标物体图像。
步骤203,标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息。
得到目标物体图像后,为了实现对目标物体的准确跟踪,本申请还可以对待处理视频帧序列中前设定个待处理视频帧中的目标物体图像进行标记。之后,执行主体可以通过标记目标物体在前设定个待处理视频帧中的运动特征得到目标物体的运动特征信息。本申请的运动特征信息可以是目标物体在运动过程中表现出来的特征。例如,目标物体可以是目标人物A,则对应的运动特征信息可以是目标人物A行走时手臂的摆动、步幅的大小、身体的倾斜度等信息。
在本实施例的一些可选的实现方式中,上述标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息,可以包括以下步骤:
第一步,对于上述前设定个待处理视频帧中的待处理视频帧,为上述目标物体图像设置至少一种类型指定标记点。
为了获取目标物体的运动特征信息,执行主体可以为目标物体图像设置至少一种类型指定标记点。本申请的指定标记点为目标物体上指定位置的标记点。例如,指定标记点可以是目标人物A的手部、脚部、肩部、头部等。并且,每种类型指定标记点包含的标记点的数量可以根据实际需要设置。
第二步,通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息。
执行主体可以将相同类型指定标记点在前设定个待处理视频帧中出现的位置进行连接,得到相同类型指定标记点的运动轨迹。需要说明的是,如果某一类型指定标记点只包含一个标记点,则将该标记点在前设定个待处理视频帧中出现的位置进行连接即可得到运动轨迹。如果某一类型指定标记点包含多个标记点,则对多个标记点中的每个标记点编号,并将多个标记点中的每个标记点在前设定个待处理视频帧中出现的位置进行连接即可得到运动轨迹。
得到运动轨迹后,执行主体可以对运动轨迹进行分析,从运动轨迹中得到运动特征信息。例如,执行主体可以按照运动轨迹的变化趋势、变化量等方式来获取运动特征信息,还可以通过其他方式,具体视实际需要而定。
在本实施例的一些可选的实现方式中,上述通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息,可以包括以下步骤:
第一步,对于上述至少一种类型指定标记点中的相同类型指定标记点,获取该相同类型指定标记点在上述前设定个待处理视频帧中的运动轨迹。
执行主体首先可以获取每一种类型执行标记点在上述前设定个待处理视频帧中的运动轨迹。获取的方式可以将相同类型指定标记点在上述前设定个待处理视频帧中的位置信息作为坐标轴上点的纵坐标,点的横坐标为对应待处理视频帧的时间信息或在待处理视频帧序列中的序号。
第二步,计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息。
由于视频采集设备的拍摄角度等原因,目标物体在待处理视频帧中位置可能发生变化,但该变化可以认为是干扰。为了获取目标物体自身的运动特征,执行主体可以计算至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息。即,相对位置信息可以表征目标物体本身的运动特征。之后,执行主体可以对相对位置信息进行进一步数据处理,以获取到运动特征信息。
在本实施例的一些可选的实现方式中,上述计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息,可以包括以下步骤:
第一步,计算上述至少一条运动轨迹在相同待处理视频帧中的、上述至少一种类型指定标记点之间的相对位置信息,得到对应上述至少一条运动轨迹的相对位置信息序列。
运动轨迹通过指定标记点构建。执行主体可以计算多条运动轨迹在相同待处理视频帧中、不同类型指定标记点之间的相对位置信息,得到相对位置信息序列。其中,相对位置信息表征了目标物体上对应位置之间的相对运动。
第二步,基于上述相对位置信息序列得到相对位置变化信息序列。
为了获取目标物体上不同位置之间的运动关系,执行主体可以计算相对位置信息的变化信息,得到相对位置变化信息序列。即,上述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差。相对位置变化信息可以表征目标物体上对应位置在运动时的变化幅度。
第三步,将上述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点。
目标物体的多个标记点中,有些可以认为相对目标物体的主体不动(例如,目标物体为人,运动时,则位于肩部的标记点可以认为相对于人体没有位置变化),有些可以认为相对目标物体的主体运动(例如,目标物体为人,运动时,则手部、脚部可以认为相对于人体有位置变化)。为此,执行主体可以将相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点。
第四步,计算上述至少一种类型指定标记点中除上述基准标记点以外的其他类型指定标记点与上述基准标记点之间的目标相对距离信息,并根据上述目标相对距离信息得到上述目标物体的运动特征信息。
得到基准标记点后,执行主体可以重新计算至少一种类型指定标记点中除上述基准标记点以外的其他类型指定标记点与上述基准标记点之间的目标相对距离信息。然后,根据目标相对距离信息可以确定其他类型指定标记点对应的目标物体的位置在运动过程中的特征,得到运动特征信息。
步骤204,基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
得到运动特征信息后,执行主体可以通过运动特征信息对待处理视频帧序列中的其他待识别待处理视频帧进行处理,以识别出目标物体图像。如此,可以实现对目标物体的准确跟踪。
在本实施例的一些可选的实现方式中,上述基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像,可以包括以下步骤:
第一步,基于上述运动特征信息确定上述至少一种类型指定标记点中每种类型指定标记点在上述待识别待处理视频帧中的预测位置。
由上述描述可知,运动特征信息可以是目标物体在运动过程中表现出来的特征。待识别待处理视频帧属于待处理视频帧序列。运动特征信息通过待处理视频帧序列中前设定个待处理视频帧得到。因此,执行主体可以基于运动特征信息确定至少一种类型指定标记点中每种类型指定标记点在待识别待处理视频帧中的预测位置。例如,运动特征信息通过待处理视频帧序列中的前10个待处理视频帧得到。则可以根据运动特征信息对第11个待处理视频帧中目标物体的位置进行预测。
第二步,响应于上述待识别待处理视频帧存在对应上述预测位置的上述目标物体图像,通过上述目标物体图像在上述待识别待处理视频帧中的位置信息更新上述运动特征信息。
当执行主体在待识别待处理视频帧的预测位置检测到目标物体图像时,说明运动特征信息能够准确预测目标物体的运动位置。则执行主体可以通过目标物体图像在上述待识别待处理视频帧中的位置信息更新上述运动特征信息。实际中,目标物体的运动状态处于一定的变化范围(例如,速度不会发生突变)。考虑到当前终端设备采集视频帧的频率,待处理视频帧序列中的目标物体图像在待处理视频帧的位置信息也不会突变。因此,通常都能在预测位置找到目标物体图像。更新上述运动特征信息的方式可以是根据当前的目标物体的位置信息增加新的运动特征信息。之后,执行主体可以循环执行上述步骤,依次获取其他待识别待处理视频帧中的预测位置。
如此,不再是对每一帧的待处理视频帧进行独立识别,而是将对待处理视频帧的独立识别和目标物体的运动特征信息结合起来识别目标物体,大大提高了识别目标物体的准确性。
继续参见图3,图3是根据本实施例的用于识别目标信息的方法的应用场景的一个示意图。在图3的应用场景中,终端设备103可以是监控摄像头。终端设备103可以将实时采集的包含目标物体的待处理视频发送给服务器105。服务器105将待处理视频分解为待处理视频帧序列;然后从待处理视频帧序列中的第一个待处理视频帧序列中标记目标物体;之后再通过待处理视频帧序列中一定数量的待处理视频帧获取目标物体的运动特征信息;最后再通过运动特征信息识别其他待处理视频帧的目标物体。如此,不再是对每一帧的待处理视频帧进行独立识别,而是将对待处理视频帧的独立识别和目标物体的运动特征信息结合起来识别目标物体,大大提高了识别目标物体的准确性。
本公开的上述实施例提供的方法首先将待处理视频分解为待处理视频帧序列;然后在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;之后标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;最后基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。本申请可提高跟踪目标物体的准确性和速度。
进一步参考图4,其示出了用于识别目标信息的方法的又一个实施例的流程400。该用于识别目标信息的方法的流程400,包括以下步骤:
步骤401,将待处理视频分解为待处理视频帧序列。
步骤401的内容与步骤201的内容相同,此处不再一一赘述。
步骤402,在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像。
步骤402的内容与步骤202的内容相同,此处不再一一赘述。
步骤403,标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息。
步骤403的内容与步骤203的内容相同,此处不再一一赘述。
步骤404,基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
步骤404的内容与步骤204的内容相同,此处不再一一赘述。
步骤405,标识上述待识别待处理视频帧中的上述目标物体图像。
执行主体可以通过标记框或重新着色等方式对目标物体图像进行标识,以便于技术人员观察目标物体的跟踪效果,使得技术人员对目标物体图像进行后续处理。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于识别目标信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于识别目标信息的装置500可以包括:视频分解单元501、目标物体图像标记单元502、运动特征信息获取单元503和目标识别单元504。其中,视频分解单元501被配置成将待处理视频分解为待处理视频帧序列,其中,上述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,上述待处理视频帧包含目标物体图像;目标物体图像标记单元502被配置成在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;运动特征信息获取单元503被配置成标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;目标识别单元504被配置成基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
在本实施例的一些可选的实现方式中,上述目标物体图像标记单元502可以包括:待检测物体识别子单元(图中未视出)和目标物体图像标记子单元(图中未视出)。其中,待检测物体识别子单元被配置成识别上述第一个待处理视频帧包含的至少一个待检测物体,并显示上述至少一个待检测物体的图像;目标物体图像标记子单元,响应于检测到对应上述至少一个待检测物体的图像中待检测物体的图像的确定信号,被配置成将上述确定信号对应的待检测物体的图像标记为目标物体图像。
在本实施例的一些可选的实现方式中,上述运动特征信息获取单元503可以包括:指定标记点设置子单元(图中未视出)和运动特征信息获取子单元(图中未视出)。其中,指定标记点设置子单元,对于上述前设定个待处理视频帧中的待处理视频帧,被配置成为上述目标物体图像设置至少一种类型指定标记点;运动特征信息获取子单元,被配置成通过上述前设定个待处理视频帧中的相同类型指定标记点的运动轨迹确定上述目标物体的运动特征信息。
在本实施例的一些可选的实现方式中,上述运动特征信息获取子单元可以包括:运动轨迹获取模块(图中未视出)和运动特征信息获取模块(图中未视出)。其中,运动轨迹获取模块,对于上述至少一种类型指定标记点中的相同类型指定标记点,被配置成获取该相同类型指定标记点在上述前设定个待处理视频帧中的运动轨迹;运动特征信息获取模块,被配置成计算上述至少一种类型指定标记点对应的至少一条运动轨迹之间的相对位置信息,确定上述目标物体的运动特征信息。
在本实施例的一些可选的实现方式中,上述运动特征信息获取模块可以包括:相对位置信息计算子模块(图中未视出)、相对位置变化信息序列获取子模块(图中未视出)、基准标记点设置子模块(图中未视出)和运动特征信息获取子模块(图中未视出)。其中,相对位置信息计算子模块,被配置成计算上述至少一条运动轨迹在相同待处理视频帧中的、上述至少一种类型指定标记点之间的相对位置信息,得到对应上述至少一条运动轨迹的相对位置信息序列;相对位置变化信息序列获取子模块,被配置成基于上述相对位置信息序列得到相对位置变化信息序列,其中,上述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差;基准标记点设置子模块,被配置成将上述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点;运动特征信息获取子模块,被配置成计算上述至少一种类型指定标记点中除上述基准标记点以外的其他类型指定标记点与上述基准标记点之间的目标相对距离信息,并根据上述目标相对距离信息得到上述目标物体的运动特征信息。
在本实施例的一些可选的实现方式中,上述目标识别单元504可以包括:预测位置获取子单元(图中未视出)和目标识别子单元(图中未视出)。其中,预测位置获取子单元被配置成基于上述运动特征信息确定上述至少一种类型指定标记点中每种类型指定标记点在上述待识别待处理视频帧中的预测位置;目标识别子单元,响应于上述待识别待处理视频帧存在对应上述预测位置的上述目标物体图像,被配置成通过上述目标物体图像在上述待识别待处理视频帧中的位置信息更新上述运动特征信息。
本实施例还提供了一种电子设备,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述的用于识别目标信息的方法。
本实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述的用于识别目标信息的方法。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如,图1中的服务器105)的计算机***600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。
需要说明的是,本公开的实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:将待处理视频分解为待处理视频帧序列,其中,上述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,上述待处理视频帧包含目标物体图像;在上述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;标记上述待处理视频帧序列中前设定个待处理视频帧中的上述目标物体图像,得到对应上述目标物体图像的目标物体的运动特征信息;基于上述运动特征信息识别上述待处理视频帧序列中的、除上述前设定个待处理视频帧以外的待识别待处理视频帧中的上述目标物体图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开的各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括视频分解单元、目标物体图像标记单元、运动特征信息获取单元和目标识别单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,目标识别单元还可以被描述为“通过运动特征信息识别目标物体图像的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种用于识别目标信息的方法,包括:
将待处理视频分解为待处理视频帧序列,其中,所述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,所述待处理视频帧包含目标物体图像;
在所述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;
对于所述待处理视频帧序列中前设定个待处理视频帧中的待处理视频帧,为所述目标物体图像设置至少一种类型指定标记点;
对于所述至少一种类型指定标记点中的相同类型指定标记点,获取该相同类型指定标记点在所述前设定个待处理视频帧中的运动轨迹;
计算所述至少一条运动轨迹在相同待处理视频帧中的、所述至少一种类型指定标记点之间的相对位置信息,得到对应所述至少一条运动轨迹的相对位置信息序列;
基于所述相对位置信息序列得到相对位置变化信息序列,其中,所述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差;
将所述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点;
计算所述至少一种类型指定标记点中除所述基准标记点以外的其他类型指定标记点与所述基准标记点之间的目标相对距离信息,并根据所述目标相对距离信息得到所述目标物体的运动特征信息;
基于所述运动特征信息识别所述待处理视频帧序列中的、除所述前设定个待处理视频帧以外的待识别待处理视频帧中的所述目标物体图像。
2.根据权利要求1所述的方法,其中,所述在所述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像,包括:
识别所述第一个待处理视频帧包含的至少一个待检测物体,并显示所述至少一个待检测物体的图像;
响应于检测到对应所述至少一个待检测物体的图像中待检测物体的图像的确定信号,将所述确定信号对应的待检测物体的图像标记为目标物体图像。
3.根据权利要求1所述的方法,其中,所述基于所述运动特征信息识别所述待处理视频帧序列中的、除所述前设定个待处理视频帧以外的待识别待处理视频帧中的所述目标物体图像,包括:
基于所述运动特征信息确定所述至少一种类型指定标记点中每种类型指定标记点在所述待识别待处理视频帧中的预测位置;
响应于所述待识别待处理视频帧存在对应所述预测位置的所述目标物体图像,通过所述目标物体图像在所述待识别待处理视频帧中的位置信息更新所述运动特征信息。
4.一种用于识别目标信息的装置,包括:
视频分解单元,被配置成将待处理视频分解为待处理视频帧序列,其中,所述待处理视频帧序列包含按照时间顺序标识的至少一个待处理视频帧,所述待处理视频帧包含目标物体图像;
目标物体图像标记单元,被配置成在所述待处理视频帧序列中的第一个待处理视频帧中标记目标物体图像;
运动特征信息获取单元,被配置成对于所述待处理视频帧序列中前设定个待处理视频帧中的待处理视频帧,为所述目标物体图像设置至少一种类型指定标记点;对于所述至少一种类型指定标记点中的相同类型指定标记点,获取该相同类型指定标记点在所述前设定个待处理视频帧中的运动轨迹;计算所述至少一条运动轨迹在相同待处理视频帧中的、所述至少一种类型指定标记点之间的相对位置信息,得到对应所述至少一条运动轨迹的相对位置信息序列;基于所述相对位置信息序列得到相对位置变化信息序列,其中,所述相对位置变化信息序列包含的相对位置变化信息为相邻两个相对位置信息中的后一个相对位置信息与前一个相对位置信息之间的距离差;将所述相对位置变化信息序列中小于设定距离阈值的相对位置变化信息对应的指定标记点设置为基准标记点;计算所述至少一种类型指定标记点中除所述基准标记点以外的其他类型指定标记点与所述基准标记点之间的目标相对距离信息,并根据所述目标相对距离信息得到所述目标物体的运动特征信息;
目标识别单元,被配置成基于所述运动特征信息识别所述待处理视频帧序列中的、除所述前设定个待处理视频帧以外的待识别待处理视频帧中的所述目标物体图像。
5.根据权利要求4所述的装置,其中,所述目标物体图像标记单元包括:
待检测物体识别子单元,被配置成识别所述第一个待处理视频帧包含的至少一个待检测物体,并显示所述至少一个待检测物体的图像;
目标物体图像标记子单元,响应于检测到对应所述至少一个待检测物体的图像中待检测物体的图像的确定信号,被配置成将所述确定信号对应的待检测物体的图像标记为目标物体图像。
6.根据权利要求4所述的装置,其中,所述目标识别单元包括:
预测位置获取子单元,被配置成基于所述运动特征信息确定所述至少一种类型指定标记点中每种类型指定标记点在所述待识别待处理视频帧中的预测位置;
目标识别子单元,响应于所述待识别待处理视频帧存在对应所述预测位置的所述目标物体图像,被配置成通过所述目标物体图像在所述待识别待处理视频帧中的位置信息更新所述运动特征信息。
7.一种电子设备,包括:
一个或多个处理器;
存储器,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至3中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至3中任一所述的方法。
CN202010219513.7A 2020-03-25 2020-03-25 用于识别目标信息的方法及装置 Active CN111445499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219513.7A CN111445499B (zh) 2020-03-25 2020-03-25 用于识别目标信息的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219513.7A CN111445499B (zh) 2020-03-25 2020-03-25 用于识别目标信息的方法及装置

Publications (2)

Publication Number Publication Date
CN111445499A CN111445499A (zh) 2020-07-24
CN111445499B true CN111445499B (zh) 2023-07-18

Family

ID=71650699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219513.7A Active CN111445499B (zh) 2020-03-25 2020-03-25 用于识别目标信息的方法及装置

Country Status (1)

Country Link
CN (1) CN111445499B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528945B (zh) * 2020-12-24 2024-04-26 上海寒武纪信息科技有限公司 对数据流进行处理的方法和设备
CN113850837B (zh) * 2021-11-25 2022-02-08 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147722A (zh) * 2019-04-11 2019-08-20 平安科技(深圳)有限公司 一种视频处理方法、视频处理装置及终端设备
CN110188719A (zh) * 2019-06-04 2019-08-30 北京字节跳动网络技术有限公司 目标跟踪方法和装置
CN110363814A (zh) * 2019-07-25 2019-10-22 Oppo(重庆)智能科技有限公司 一种视频处理方法、装置、电子装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147722A (zh) * 2019-04-11 2019-08-20 平安科技(深圳)有限公司 一种视频处理方法、视频处理装置及终端设备
CN110188719A (zh) * 2019-06-04 2019-08-30 北京字节跳动网络技术有限公司 目标跟踪方法和装置
CN110363814A (zh) * 2019-07-25 2019-10-22 Oppo(重庆)智能科技有限公司 一种视频处理方法、装置、电子装置和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Method for Visualizing Pedestrian TrafficFlow Using SIFT Feature Point Tracking;Yuji Tsuduki;《Paciffic-Rim Symposium on Image and Video Technology(PSIVT-2009)》;第5414卷;2-11,图1-3,5,7,9,10 *
Combining local and global motion models for feature point tracking;Aeron Buchanan等;《2017 IEEE conference on Computer Vision and Pattern Recognition》;全文 *
一种融合改进 Mean Shift 和;杜凯等;《广西大学学报:自然科学版》;第39卷(第5期);全文 *

Also Published As

Publication number Publication date
CN111445499A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN109584276B (zh) 关键点检测方法、装置、设备及可读介质
EP3605394A1 (en) Method and apparatus for recognizing body movement
WO2020062493A1 (zh) 图像处理方法和装置
EP3885980A1 (en) Method and apparatus for processing information, device, medium and computer program product
CN110059623B (zh) 用于生成信息的方法和装置
CN110717918B (zh) 行人检测方法和装置
CN108509921B (zh) 用于生成信息的方法和装置
CN108646736A (zh) 用于跟踪机器人的目标跟踪方法和装置
CN111783626B (zh) 图像识别方法、装置、电子设备及存储介质
EP3985610A1 (en) Audio collection device positioning method and apparatus, and speaker recognition method and system
CN111445499B (zh) 用于识别目标信息的方法及装置
CN113910224B (zh) 机器人跟随的方法、装置及电子设备
JP2024502516A (ja) データ注釈方法、装置、システム、デバイスおよび記憶媒体
CN111310595B (zh) 用于生成信息的方法和装置
CN109903308B (zh) 用于获取信息的方法及装置
CN112307323B (zh) 信息推送方法和装置
CN111401229B (zh) 视觉小目标自动标注方法、装置及电子设备
CN111586295B (zh) 图像生成方法、装置和电子设备
CN110189364B (zh) 用于生成信息的方法和装置,以及目标跟踪方法和装置
CN115900713A (zh) 辅助语音导航方法、装置、电子设备及存储介质
CN113034580B (zh) 图像信息检测方法、装置和电子设备
CN112990017B (zh) 一种智慧城市大数据分析方法及监控***
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
US12033371B2 (en) Object detection device, object detection system, object detection method, program, and recording medium
CN111694875B (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant