CN112946625B - 基于b样条形状驱动多扩展目标航迹跟踪及分类方法 - Google Patents

基于b样条形状驱动多扩展目标航迹跟踪及分类方法 Download PDF

Info

Publication number
CN112946625B
CN112946625B CN202110166401.4A CN202110166401A CN112946625B CN 112946625 B CN112946625 B CN 112946625B CN 202110166401 A CN202110166401 A CN 202110166401A CN 112946625 B CN112946625 B CN 112946625B
Authority
CN
China
Prior art keywords
shape
target
spline
information
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110166401.4A
Other languages
English (en)
Other versions
CN112946625A (zh
Inventor
杨金龙
李方迪
陶九六
刘建军
葛洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110166401.4A priority Critical patent/CN112946625B/zh
Publication of CN112946625A publication Critical patent/CN112946625A/zh
Application granted granted Critical
Publication of CN112946625B publication Critical patent/CN112946625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于B样条形状驱动多扩展目标航迹跟踪及分类方法,涉及信息处理技术领域,该方法包括:首先将B样条估计出的不规则形状用到KDE‑SSP方法中,对紧邻目标量测集进行二次划分,使用核密度估计法寻找候选形状的中心点位置,提高了算法的效率;之后提取了目标形状类别信息辅助目标状态更新和提取,解决了紧邻目标量测集更新的漏跟、错跟等问题,同时,根据提取的目标运动状态、目标形状信息和目标航迹有效实现了对扩展目标的航迹管理和目标分类。

Description

基于B样条形状驱动多扩展目标航迹跟踪及分类方法
技术领域
本发明涉及信息处理技术领域,尤其是基于B样条形状驱动多扩展目标航迹跟踪及分类方法。
背景技术
多目标跟踪技术(Multiple targets tracking,MTT)的研究一直是目标跟踪问题中的重点,也是难点,已被广泛应用于民用、军事等领域,如视频监控等跟踪***、对敌方预警的监控***、弹载***,海陆空多维一体化协同***等。
MTT主要是利用传感器获得的观测信息,对目标的状态进行估计,但由于复杂的真实场景中,通常存在许多不确定的干扰因素,导致观测信息不准确,给跟踪带来了较大的挑战。早期的多目标跟踪大多是采用数据关联的思想,如多假设跟踪(Multiple hypothesestracking,MHT)、联合数据关联(Joint probabilistic data association,JPDA)等,但这些方法在数目增多时,时间复杂度过高,且难以有效处理数目变化的多目标跟踪。针对该问题,Mahler与2003年在文献《Multitarget Bayes filtering via first-ordermultitarget moments》中提出随机有限集(Random finite set,RFS)多目标跟踪理论,能够有效处理数目不确定且变化的多目标跟踪,为多目标跟踪提供了一种新的思路。
随着现代雷达等新型探测设备分辨率的不断提高,目标的回波信号可能分布在不同的距离分辨单元,其探测场不再等效为一个点,目标可能产生多个量测,称具有这样特性的目标为扩展目标(Extended target)。传统点目标跟踪问题中一个目标对应一个量测的假设不再成立,而是要解决多个量测对应同一个目标的问题。2009年Mahler等进一步将RFS理论推广到多扩展目标跟踪领域,给出多扩展目标量测更新框架,为多扩展目标跟踪提供了一种新思路,成为扩展目标跟踪领域研究的前沿和热点问题,尤其是对观测不确定复杂环境下的不规则形状多扩展目标跟踪,还存在巨大的挑战。文献《A PHD Filter forTracking Multiple Extended Targets Using Random Matrices》中引入随机矩阵技术,提出高斯逆威沙特(GIW-PHD)滤波方法,实现对扩展目标的形状估计,但只能将目标的形状估计为椭圆形;随后,文献《Extended Object and Group Tracking with EllipticRandom Hypersurface Models》中引入随机超曲面技术,进一步实现对星形多扩展目标跟踪。但这些算法都没有充分考虑扩展目标的形状信息,实现对扩展目标的航迹跟踪和目标分类,尤其是当多扩展目标紧邻时,跟踪精度将严重下降,针对该问题,本发明将提出一种基于B样条形状驱动多扩展目标航迹跟踪及分类方法。
发明内容
本发明人针对上述问题及技术需求,提出了基于B样条形状驱动多扩展目标航迹跟踪及分类方法,本发明的技术方案如下:
基于B样条形状驱动多扩展目标航迹跟踪及分类方法,包括如下步骤:
建立B-Spline-GM-PHD滤波器,初始化k时刻的目标状态:
Figure GDA0003571889510000021
其中,xk表示运动状态,Bk表示B样条形状信息,ρk,i、θk,i分别表示k时刻第i个角度下的极径、极角信息,Lk表示k时刻高斯分量航迹标签,
Figure GDA0003571889510000022
表示k时刻第j个高斯分量的航迹标签。
当k≥1时,通过距离划分法对量测集进行一次划分;
若划分后的量测集中存在紧邻目标,则对划分后的量测集进行二次划分,若划分后的量测集中不存在紧邻目标,则执行采用B-Spline-GM-PHD滤波器对目标状态进行多假设滤波的步骤;
采用B-Spline-GM-PHD滤波器对目标状态进行多假设滤波,使目标状态更新,获取权重更新后的形状似然函数;
将满足距离融合阈值的目标分量进行融合,对融合后权重过小的高斯分量进行剪枝,融合过程中将高权重的高斯分量作为提取目标,提取目标包括目标运动状态、目标形状信息和目标航迹;
通过形状似然函数对提取的目标形状信息与带有类别信息的预设目标形状求取似然,得到目标形状类别信息;
若下一时刻观测信息到达,重新执行通过距离划分法对量测集进行一次划分的步骤,否则目标航迹跟踪过程结束。
本发明的有益技术效果是:
本申请针对基于ET-GM-PHD的多扩展目标跟踪中,没有充分考虑扩展目标形状信息而导致紧邻目标跟踪时,出现漏跟和错跟的现象,提出了一种基于B样条形状驱动多扩展目标航迹跟踪及分类方法。该方法采用B样条拟合方法实现对扩展目标的任意不规则形状估计,并充分挖掘扩展目标的形状信息,采用核密度形状划分(KDE-SSP)方法对紧邻扩展目标量测集进行二次划分,并提取目标形状类别信息辅助目标状态更新和提取,有效提高了对紧邻多扩展目标的跟踪性能,同时,根据提取的目标运动状态、目标形状和目标航迹有效实现了对扩展目标的航迹管理和目标分类。
附图说明
图1是本申请提供的基于B-Spline-GM-PHD的多扩展目标跟踪流程图。
图2是两个扩展目标发生紧邻时的量测集W示意图。
图3是紧邻扩展目标量测集W中量测的三维核密度估计图。
图4是KDE-SSP算法中量测点判断的示意图。
图5是形状匹配算法中扩维后的极角极径图。
图6是经形状匹配算法处理后的极角极径图。
图7是KDE-SSP算法划分紧邻目标量测集的效果图。
图8是未使用形状信息更新的B-Spline-GM-PHD算法效果图。
图9是本申请提供的更新的B-Spline-GM-PHD算法效果图。
图10是未使用形状信息更新的航迹跟踪结果图。
图11是两个目标的航迹跟踪结果图。
图12是两个目标的平均OSPA距离及权重和示意图。
图13是两个目标的形状分类结果图。
图14是两个目标平均形状分类准确率示意图。
图15是三个目标的分类结果及平均分类准确率示意图。
图16是三个目标的航迹跟踪结果图。
图17是三个目标平均OSPA距离示意图。
图18是三个目标平均权重和示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其流程图如图1所示,该方法包括如下步骤:
步骤1:建立B-Spline-GM-PHD滤波器,初始化k时刻的目标状态:
Figure GDA0003571889510000041
其中,xk表示运动状态,Bk表示B样条形状信息,ρk,i、θk,i分别表示k时刻第i个角度下的极径、极角信息,Lk表示k时刻高斯分量航迹标签,
Figure GDA0003571889510000042
表示k时刻第j个高斯分量的航迹标签,将不同时刻的相同标签关联起来,进而实现航迹之间的关联。
步骤2:当k≥1时,通过距离划分法对量测集进行一次划分。
步骤3:判断一次划分后的量测集中是否存在多个量测紧邻,若存在则进入步骤4,否则进入步骤5。
步骤4:若划分后的量测集中存在紧邻目标,则对划分后的量测集进行二次划分,包括:
步骤41:初始化k=1时的候选形状参数集合C:
Figure GDA0003571889510000043
其中,
Figure GDA0003571889510000044
为B样条曲线拟合的候选形状参数,
Figure GDA0003571889510000045
分别表示第i个角度下的极径、极角信息;初始化极角
Figure GDA0003571889510000046
Figure GDA0003571889510000047
n1为预设维数,且n1<360,与初始化极角对应的极径信息设为
Figure GDA0003571889510000048
可选的,假设n1=20,则初始化极角转化为
Figure GDA0003571889510000049
当k≥2时,选取后验目标状态中的m个权重ω>0.5的目标,将m个后验目标状态的形状信息放入候选形状参数集合
Figure GDA00035718895100000410
中,选取权重ω>0.5的目标起到去除杂波的作用。
步骤42:采用核密度估计法(kernel density estimation,KDE)确定候选形状参数集合C中各个候选形状的中心点位置,建立候选中心位置集合L:
Figure GDA00035718895100000411
其中,B样条曲线拟合的候选形状的密度峰值点对应的坐标表示为(ωq (x),ωq (y)),n表示密度峰值点的个数。
假设量测集W中包含了两个紧邻目标,表示同一量测集的多个目标的量测集合。由于扩展目标跟踪中的候选形状是用B样条曲线拟合的结果,所以形状内所有量测的密度峰值点可以近似为候选形状中心点。
具体的,整个滤波过程中的形状都是用B样条拟合的,采用B样条曲线拟合形状的方法包括:
B样条曲线由B样条基函数Ni,k(u)和控制顶点Pi共同来确定,k阶B样条函数表示为:
Figure GDA0003571889510000051
其中,Ni,k(u)是k-1次B样条基函数,其递推公式表示为:
Figure GDA0003571889510000052
其中,U={u1,u2,…,uk,…,un+k}是B样条的一组节点向量。
当k=3时,B样条基函数表示为:
Figure GDA0003571889510000053
在扩展目标的量测集合中包含有多个量测点,利用量测点的位置信息,来求取B样条函数中控制顶点集合的过程如下:
假设
Figure GDA0003571889510000056
为扩展目标的量测集,计算出量测集均值位置,把它当作坐标原点建立坐标系,把角度为2π的坐标系分成n等份,得到n个控制顶点位置,用极坐标表示这些控制顶点Λi={ρii},ρi、θi分别为极径和极角,极径表示为:
Figure GDA0003571889510000054
|Zi|={zk|d(zki)<λ1,k(zki)=1}
Figure GDA0003571889510000055
βi=[-tan(θi),1]
其中,|·|表示元素个数,d(zk,βi)表示量测点zk到βi所在直线的距离,λ1为约束宽度的距离阈值,κ(zk,αi)为约束条件,βi为极角θi确定的向量,d(·)的计算公式如下:
Figure GDA0003571889510000061
αi=[1,tan(θi)]
其中,||·||表示绝对值,αi表示与向量βi所在直线垂直的向量。
通过上述计算,求取极坐标下控制顶点集合Λ,将控制顶点集合Λ转化到直角坐标系下对应的集合P,与B样条基函数共同作用,生成与量测集合形状相关的光滑曲线。
如图2所示为两个紧邻目标的量测集W,图中包含了两个扩展目标的所有量测点,其中一个是“Y字形”目标,另一个是“十字形”目标。利用Gaussian核密度函数,选取合适的带宽,可以得到如图3量测集W中二维离散点坐标的三维密度估计图。在密度图中,可以容易地找到每一个密度峰值点所对应的坐标
Figure GDA0003571889510000062
步骤43:候选形状参数集合C和候选中心位置集合L组合为
Figure GDA0003571889510000063
包括m×n个组合,采用形状选择划分法(Shape Selection Partitioning,SSP)分割组合得到形状内量测子集和形状外量测子集分别为:
Figure GDA0003571889510000064
Figure GDA0003571889510000065
其中,
Figure GDA0003571889510000066
表示形状内量测子集,
Figure GDA0003571889510000067
表示形状外量测子集,zk表示量测集W中的量测点,
Figure GDA0003571889510000068
表示量测点zk到中心点位置ωq的距离。如图4所示,ψ表示
Figure GDA0003571889510000069
所对应的点,
Figure GDA00035718895100000610
表示中心点位置与形状上第h个点的连接线与x轴的夹角,
Figure GDA00035718895100000611
表示中心点位置与量测点的连接线与x轴的夹角,当二者之差的绝对值最小时,选取该角度下形状上的点作为ψ,
Figure GDA00035718895100000612
表示ψ到中心点位置ωq的距离。
Figure GDA00035718895100000613
的计算公式如下:
Figure GDA00035718895100000614
Figure GDA00035718895100000615
Figure GDA0003571889510000071
其中,bΨ表示中心点位置到Ψ的向量,pk|k-1表示根据形状内量测子集生成的控制顶点的坐标信息,Ni,3(ψ)表示B样条基函数。
每一个组合可以在量测集W所在区域中,确以ωq为中心点位置,
Figure GDA0003571889510000072
为所拟合形状的参数。此外,在量测点的判断中,由于受到杂波或传感器不稳定性的影响,距离边缘较近的量测点很可能被错判为形状外点,在计算过程中将用于分割的形状参数扩大1.3倍,该倍数是经多次实验得到的经验倍数。在图4中,内圈曲线表示未扩大的分割线,外圈曲线表示扩大1.3倍后的分割线,当形状参数扩大1.3倍时,既不影响紧邻目标量测点的分割,又能较好地将形状边缘量测点划分到形状内。
步骤44:分别对形状内量测子集和形状外量测子集进行匹配求取似然,获得形状内、外量测子集权重乘积最大的情况,包括:
对于形状内量测子集
Figure GDA0003571889510000073
利用形状内量测子集拟合形状与分割组合时所用的形状计算似然,计算似然的过程是B-spline-GM-PHD滤波器更新形状似然函数的过程。
对于形状外量测子集
Figure GDA0003571889510000074
使用相同的更新形状似然函数过程求解其权重,需要遍历所有候选形状分别与量测集拟合形状求取似然,选出权重最大值当作形状外量测子集
Figure GDA0003571889510000075
的似然,找到形状内量测子集与形状外量测子集似然乘积最大的情况,作为最终的分割结果。
步骤5:采用B-Spline-GM-PHD滤波器对目标状态进行多假设滤波,使目标状态更新,获取权重更新后的形状似然函数。
步骤51:依次对目标状态进行B-Spline-GM-PHD滤波器的目标预测和目标更新,具体包括:
B-Spline-GM-PHD滤波器的预测步表示为:
Figure GDA0003571889510000076
Figure GDA0003571889510000077
Figure GDA0003571889510000078
Lk|k-1=Lk-1∪Lβ
其中,
Figure GDA0003571889510000081
表示预测目标的概率假设密度,Jk|k-1表示k时刻预测高斯分量数,
Figure GDA0003571889510000082
分别表示k时刻预测第j个高斯分量的权重、均值、协方差矩阵,N(·)为高斯分布,Lk|k-1表示k时刻预测的标签集合,包括k-1时刻原目标和新生目标的标签集合,预测的极径、极角信息与k-1时刻的后验目标状态保持一致。
均值
Figure GDA00035718895100000813
和协方差矩阵
Figure GDA00035718895100000814
的预测分别表示为:
Figure GDA0003571889510000083
Figure GDA0003571889510000084
其中,Fk|k-1表示状态转移矩阵,Id表示d维单位矩阵,Qk表示过程噪声协方差矩阵。
B-Spline-GM-PHD滤波器的更新步表示为:
Figure GDA0003571889510000085
其中,漏检目标的概率假设密度表示为:
Figure GDA0003571889510000086
Figure GDA0003571889510000087
Figure GDA0003571889510000088
Figure GDA0003571889510000089
Figure GDA00035718895100000810
Figure GDA00035718895100000811
Lk|k=Lk|k-1
其中,γj表示目标产生量测数目的期望值,
Figure GDA00035718895100000812
表示目标检测概率;
k时刻目标检测到的概率假设密度表示为:
Figure GDA0003571889510000091
Figure GDA0003571889510000092
Figure GDA0003571889510000093
Figure GDA0003571889510000094
Figure GDA0003571889510000095
Figure GDA0003571889510000096
Figure GDA0003571889510000097
其中,σ表示为预设遗忘因子,ρW,i为当前量测集所拟合形状的第i个极角下的极径信息,
Figure GDA0003571889510000098
表示所有划分方法中的量测集数之和,各个新息参数表示为:
Figure GDA0003571889510000099
Figure GDA00035718895100000910
Figure GDA00035718895100000911
Figure GDA00035718895100000912
Figure GDA00035718895100000913
步骤52:考虑目标形状信息的权重更新公式为:
Figure GDA00035718895100000914
Figure GDA00035718895100000915
Figure GDA00035718895100000916
其中,
Figure GDA00035718895100000917
表示当前量测集下的位置似然,需要说明的是,上式中的
Figure GDA0003571889510000101
为简写形式,位置似然利用高斯分布求解,
Figure GDA0003571889510000102
表示形状似然函数,也即B样条的形状匹配似然,计算过程如下:
Figure GDA0003571889510000103
Figure GDA0003571889510000104
其中,HW、RW表示新息参数,r′k|k-1,i表示处理后预测极径,r′W,i表示处理后量测集极径,λ表示形状相似度标记。
形状似然函数存在两种情况,当|r′k|k-1,i|=|r′W,i|时,用第一个公式进行形状似然的计算,否则用第二个公式进行形状似然的计算。
极径的处理方法包括:
已知预测极径信息
Figure GDA0003571889510000105
和当前量测集对应极径信息
Figure GDA0003571889510000106
将两个极径信息由原始的n1维扩展为360维,得到:
Figure GDA0003571889510000107
Figure GDA0003571889510000108
如图5所示,在二维直角坐标系中,可以得到rk|k-1和rW的极角极径图。图6是对扩维后的极角极径处理后,r′k|k-1,i和r′W,i对应的极角极径图。从扩维后的预测极径信息rk|k-1和扩维后的量测集极径信息rW的极角极径图中获取波峰、波谷的峰值分别为Pk|k-1和PW,对应的峰值个数分别为
Figure GDA00035718895100001010
Figure GDA00035718895100001011
通过对比两者的峰值个数,对扩维后的预测极径信息、扩维后的量测集极径信息分别进行重新排序,则极角信息也相应改变,具体包括:
(1)当
Figure GDA0003571889510000109
时:
情况1、匹配到两个峰值点:
Pk|k-1(1,1:2)≈PW(1,u0:v)
Figure GDA0003571889510000111
v=mod(u0+1,Num),or v=Num
r′k|k-1=[rk|k-1(lk|k-1(1)),…,rk|k-1(end),rk|k-1(1),…,rk|k-1(lk|k-1(1)-1)]
r′W=[rW(lW(u0)),…,rW(end),rW(1),…,rW(lW(u0)-1)]
λ=1
情况2、匹配到一个峰值点:
Pk|k-1(1)≈PW(u0)
Figure GDA0003571889510000112
r′k|k-1=[rk|k-1(lk|k-1(1)),…,rk|k-1(end),rk|k-1(1),…,rk|k-1(lk|k-1(1)-1)]
r′W=[rW(lW(u0)),…,rW(end),rW(1),…,rW(lW(u0)-1)]
Figure GDA0003571889510000113
情况3、没有匹配到峰值点:
Pk|k-1(1)≠PW(u0)
Figure GDA0003571889510000114
r′k|k-1=rk|k-1
r′W=rW
Figure GDA0003571889510000115
(2)当
Figure GDA0003571889510000116
时:
r′k|k-1=rk|k-1
r′w=rw
Figure GDA0003571889510000117
其中,″≈″表示预测形状峰值与量测集形状的峰值大小在阈值范围内相等。
以上,就完成了量测集形状似然函数的更新,进而将更新后的形状似然函数公式用于目标状态、目标形状分类、航迹跟踪等似然的更新中,使得滤波结果更加准确。
步骤6:设置距离融合阈值U,将满足距离融合阈值U的目标分量进行融合,对融合后权重过小的高斯分量进行剪枝,融合过程中将高权重的高斯分量作为提取目标,提取目标包括目标运动状态、目标形状信息和目标航迹。
融合后的高斯分量数t如果大于预设的高斯分量最大阈值Jmax,在融合后的高斯分量中取Jmax个权值最大的高斯分量,完成剪枝操作。
在航迹标签的对应高斯分量的融合过程中,选取权值最大高斯分量的航迹标签,作为融合后的航迹标签。
步骤7:通过形状似然函数对提取的目标形状信息与带有类别信息的预设目标形状求取似然,得到目标形状类别信息,包括:
为了实现对目标形状分类,设带有类别信息的预设目标形状的集合为
Figure GDA0003571889510000121
该集合包括预设的“Y字形
Figure GDA0003571889510000122
”和“十字形
Figure GDA0003571889510000123
”类别信息,也即
Figure GDA0003571889510000124
其中
Figure GDA0003571889510000125
利用提取出的所有目标形状信息集合Bk|k的每一个形状,分别与预设目标形状集合
Figure GDA0003571889510000126
的每一个形状求取似然,利用B-Spline-GM-PHD滤波器的形状似然函数求取公式
Figure GDA0003571889510000127
进行求解,针对每一个提取出的形状
Figure GDA0003571889510000128
都有匹配到的似然最大的形状
Figure GDA0003571889510000129
当似然超过类别阈值时,将提取到的第s个形状归为第c类,当似然小于类别阈值时,将提取到的第s个形状归为其他类,也即在滤波的前几个时刻无法精确分类到预设目标形状,因此归为其他类,超过类别阈值后可以匹配到相应的预设目标形状。
步骤8:若下一时刻观测信息到达,重新执行通过距离划分法对量测集进行一次划分的步骤,否则目标航迹跟踪过程结束。
为验证本申请采用的B-Spline-GM-PHD滤波算法及KDE-SSP方法的效果,设计实验如下:
1.实施条件及参数
本申请在二维平面监控区域[-1000,1000]×[-1000,1000]内,在监控区域内的目标个数未知且随着时间变化。设置两个目标在同一时刻发生紧邻交叉运动,对当前时刻滤波的量测集进行实验分析。另外,用100次实验分别记录目标的OSPA距离、目标的权重以及形状分类准确率。
2.实验过程中的软硬件及相关参数设置
本发明在处理器为AMD Ryzen 7 4700U with Radeon Graphics、4.1GHz,8核,内存为16GB,显卡为AMD Radeon(TM)Graphics的机器上进行,采用Matlab R2020a的软件编写。
实验中设置目标状态为:
ζk={xk,Bk,Lk}
运动和量测模型中的参数如下:
Figure GDA0003571889510000131
Figure GDA0003571889510000132
Figure GDA0003571889510000133
Figure GDA0003571889510000134
实验在采样周期为T=1s下做匀速直线运动,其中,σa=2m/s2、σg=3m。检测概率pD=0.99,存活概率ps=0.99,每个时间步长,生成的目标量测的数为泊松率为γ=10。
新生目标强度表示为:
Db=0.1N(ζk,mb,Pb)
3.实验结果的定性分析
具体实验主要针对多扩展目标紧邻时刻量测集划分,似然更新方法对位置、航迹、形状分类的影响,有目标新生时对实验结果准确性影响进行评估,实验结果如下:
实验一:紧邻扩展目标量测集划分
运动过程中,当两个目标发生紧邻时,传感器探测得到的两个扩展目标的量测集距离较近,用传统的量测集划分方法很容易错误划分成一个量测集。因此本申请采用KDE-SSP算法进行紧邻目标的量测集划分。
在100时刻的匀速直线运动中,47、48、49三个时刻目标发生紧邻运动。如图7所示,是48时刻的两个紧邻目标,使用KDE-SSP算法划分量测集的结果。可以看出本发明可以很好将两个紧邻目标量测集划分开。
实验二:两个目标位置跟踪
如图8所示,在48时刻,ET-GM-PHD的目标紧邻的量测更新中,使用了量测集的服从高斯分布的位置信息进行目标更新,出现量测集错误更新导致的目标漏跟、错跟的现象,图中所显示48时刻仅跟踪到了“十字形”目标,导致“Y字形”漏跟,在49时刻,也漏跟了“Y字形”目标。所以,在目标紧邻时刻,仅利用位置信息对似然更新容易出错。
如图9所示,同样在48时刻,本申请在更新过程的似然中加入了形状信息,较好的解决了目标发生紧邻时的错跟、漏跟问题。
同时,图中还展示了B样条方法与GIW-PHD的形状估计方法的对比实验,可以看出B样条估计形状的准确性。
实验三:两个目标航迹跟踪
如图10所示,在目标跟踪中仅使用位置信息来更新权重,图10-(1)为100个时刻航迹跟踪结果,图10-(2)中可以看出仅有位置信息更新航迹,会导致航迹发生错踪、漏跟现象。
本申请中的航迹跟踪,是在高斯分量中添加航迹标签。利用不同时刻的相同的标签进行航迹关联。在紧邻目标的航迹关联中,用本申请的似然求取方法求取最大权重,进行航迹的关联。如图11所示,使用了本发明的滤波似然更新的航迹跟踪结果图。图11-(1)为100个时刻航迹跟踪结果,图11-(2)为紧邻时刻的细节图,从图11-(2)可以看出,使用本发明的滤波算法在紧邻时刻依然可以进行正确的航迹跟踪。
为了评估该发明的准确定和稳定性,进行相同条件下的100次实验,计算出了100次实验的平均OSPA距离和权重和。如图12所示,图12-(1)表示100个时刻的平均OSPA距离,可以看出在紧邻时刻,OSPA值稍有上升,但总体OSPA距离总能控制在2以下。图12-(2)表示100个时刻的平均权值和,可以看出权重和经过四舍五入为2,也就是每个时刻的数目估计值2。
实验四:两个目标形状分类
在本申请的滤波更新方法中,利用形状似然信息,可以较好的提取出两个形状的似然程度。这对目标的跟踪和分类有了很大的帮助,在滤波算法提取了有用的目标信息后,将目标形状信息与预设形状信息进行似然的判断。
如图13所示,为形状信息的分类结果图。图13-(1)表示100个时刻的分类结果,图13-(2)表示目标在新生时刻,形状拟合不够标准,与类别信息中形状信息的似然程度较低,先被判定为其它形状类别。在滤波状态提取后的形状分类中,对分类的准确率进行了评估,图14所示的是100次实验的平均形状分类准确率,从图中可以看出目标在紧邻时刻的形状分类准确率稍微有所下降,但准确率依然保持在0.9以上。
实验五:目标新生
在两个运动目标的基础上,第60个时刻,设置一个新生目标,落入两个运动目标的监测区域中,运动到第100个时刻,该新生目标保持匀速直线运动。
如图15所示,图15-(1)表示三个目标的分类结果图,图15-(2)为100次实验得到的平均分类准确率。可以看出新生目标在第60时刻运动初,形状未拟合好,所以不能准确识别其类别信息,导致准确率下降。在之后的形状分类中,都能较好的划分出形状类别。如图16,为三个目标航迹跟踪的结果。图17、18分别为该滤波算法在有目标新生时100次实验的平均OSPA距离和平均权重和。
4.实验结果的定量分析
实验一中,进行了KDE-SSP方法验证。该方法在侯选位置的选取中,只需要找出几个确定的峰值点即可。因此,本申请不但可以很好的划分出紧邻目标的量测集,还能将时间复杂度控制在较低范围,使得运行效率更高。
实验二、三、四中,分别利用了滤波更新算法中的似然计算,来更新权重。当有目标运动紧邻时,仅用位置更新容易造成量测集更新不准确导致的错跟、漏跟现象。而本申请在似然更新中加入了形状信息,能够对量测集进行对应的目标状态的更新,进而有效的找出目标运动中的航迹信息,也能对目标类别进行较准确的判断。
实验五中,加入了新生目标来检测对本申请方法的影响。从实验的结果图中可以看到,OSPA距离、权重和、形状分类准确率都能很好的适应有目标新生的状况,表明了该发明算法具有较强的稳定性。
以上所述的仅是本申请的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (10)

1.基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述方法包括:
建立B-Spline-GM-PHD滤波器,初始化k时刻的目标状态:
Figure FDA0003571889500000011
其中,xk表示运动状态,Bk表示B样条形状信息,ρk,i、θk,i分别表示k时刻第i个角度下的极径、极角信息,Lk表示k时刻高斯分量航迹标签,
Figure FDA0003571889500000012
表示k时刻第j个高斯分量的航迹标签;
当k≥1时,通过距离划分法对量测集进行一次划分;
若划分后的量测集中存在紧邻目标,则对所述划分后的量测集进行二次划分,若划分后的量测集中不存在紧邻目标,则执行采用所述B-Spline-GM-PHD滤波器对所述目标状态进行多假设滤波的步骤;
采用所述B-Spline-GM-PHD滤波器对所述目标状态进行多假设滤波,使目标状态更新,获取权重更新后的形状似然函数;
将满足距离融合阈值的目标分量进行融合,对融合后权重过小的高斯分量进行剪枝,融合过程中将高权重的高斯分量作为提取目标,所述提取目标包括目标运动状态、目标形状信息和目标航迹;
通过所述形状似然函数对提取的所述目标形状信息与带有类别信息的预设目标形状求取似然,得到目标形状类别信息;
若下一时刻观测信息到达,重新执行所述通过距离划分法对量测集进行一次划分的步骤,否则目标航迹跟踪过程结束。
2.根据权利要求1所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述通过所述形状似然函数对提取的所述目标形状信息与带有类别信息的预设目标形状求取似然,得到目标形状类别信息,包括:
设带有类别信息的预设目标形状的集合为
Figure FDA0003571889500000017
所述集合包括预设的“Y字形
Figure FDA0003571889500000013
和“十字形
Figure FDA0003571889500000014
类别信息,其中
Figure FDA0003571889500000015
利用提取出的所有目标形状信息集合Bk|k的每一个形状,分别与所述预设目标形状集合
Figure FDA0003571889500000016
的每一个形状求取似然,利用所述B-Spline-GM-PHD滤波器的形状似然函数求取公式
Figure FDA00035718895000000210
进行求解,针对每一个提取出的形状
Figure FDA0003571889500000021
都有匹配到的似然最大的形状
Figure FDA0003571889500000029
当似然超过类别阈值时,将提取到的第s个形状归为第c类,当似然小于类别阈值时,将提取到的第s个形状归为其他类。
3.根据权利要求1或2所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述采用所述B-Spline-GM-PHD滤波器对所述目标状态进行多假设滤波,使目标状态更新,获取权重更新后的形状似然函数,包括:
依次对所述目标状态进行所述B-Spline-GM-PHD滤波器的目标预测和目标更新,考虑目标的权重更新公式为:
Figure FDA0003571889500000022
Figure FDA0003571889500000023
Figure FDA0003571889500000024
其中,
Figure FDA0003571889500000025
表示当前量测集下的位置似然,所述位置似然利用高斯分布求解,
Figure FDA0003571889500000026
表示形状似然函数,计算过程如下:
Figure FDA0003571889500000027
Figure FDA0003571889500000028
其中,HW、RW表示新息参数,r′k|k-1,i表示处理后预测极径,r′W,i表示处理后量测集极径,λ表示形状相似度标记;
所述形状似然函数存在两种情况,当|r′k|k-1,i|=|r′W,i|时,用第一个公式进行形状似然的计算,否则用第二个公式进行形状似然的计算。
4.根据权利要求3所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述极径的处理方法包括:
已知预测极径信息
Figure FDA0003571889500000031
和当前量测集对应极径信息
Figure FDA0003571889500000032
将两个极径信息由原始的n1维扩展为360维,得到:
Figure FDA0003571889500000033
Figure FDA0003571889500000034
从扩维后的预测极径信息rk|k-1和扩维后的量测集极径信息rW的极角极径图中获取波峰、波谷的峰值分别为Pk|k-1和PW,对应的峰值个数分别为
Figure FDA0003571889500000035
Figure FDA0003571889500000036
通过对比两者的峰值个数,对所述扩维后的预测极径信息、扩维后的量测集极径信息分别进行重新排序,则极角信息也相应改变。
5.根据权利要求4所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述通过对比两者的峰值个数,对所述扩维后的预测极径信息、扩维后的量测集极径信息分别进行重新排序,包括:
(1)当
Figure FDA0003571889500000037
时:
情况1、匹配到两个峰值点:
Pk|k-1(1,1:2)≈PW(1,u0:v)
Figure FDA0003571889500000038
v=mod(u0+1,Num),or v=Num
r′k|k-1=[rk|k-1(lk|k-1(1)),…,rk|k-1(end),rk|k-1(1),…,rk|k-1(lk|k-1(1)-1)]
r′W=[rW(lW(u0)),…,rW(end),rW(1),…,rW(lW(u0)-1)]
λ=1
情况2、匹配到一个峰值点:
Pk|k-1(1)≈PW(u0)
Figure FDA0003571889500000039
r′k|k-1=[rk|k-1(lk|k-1(1)),…,rk|k-1(end),rk|k-1(1),…,rk|k-1(lk|k-1(1)-1)]
r′W=[rW(lW(u0)),…,rW(end),rW(1),…,rW(lW(u0)-1)]
Figure FDA00035718895000000310
情况3、没有匹配到峰值点:
Pk|k-1(1)≠PW(u0)
Figure FDA0003571889500000041
r′k|k-1=rk|k-1
r′W=rW
Figure FDA0003571889500000042
(2)当
Figure FDA0003571889500000043
时:
r′k|k-1=rk|k-1
r′w=rw
Figure FDA0003571889500000044
其中,″≈″表示预测形状峰值与量测集形状的峰值大小在阈值范围内相等。
6.根据权利要求1所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述则对所述划分后的量测集进行二次划分,包括:
初始化k=1时的候选形状参数集合C:
Figure FDA0003571889500000045
其中,
Figure FDA0003571889500000046
为B样条曲线拟合的候选形状参数,
Figure FDA0003571889500000047
分别表示第i个角度下的极径、极角信息;初始化极角
Figure FDA0003571889500000048
Figure FDA0003571889500000049
n1为预设维数,且n1<360,与所述初始化极角对应的极径信息设为
Figure FDA00035718895000000410
当k≥2时,选取后验目标状态中的m个目标,将m个后验目标状态的形状信息放入所述候选形状参数集合C中;
采用核密度估计法确定所述候选形状参数集合C中各个候选形状的中心点位置,建立候选中心位置集合L:
Figure FDA00035718895000000411
其中,B样条曲线拟合的候选形状的密度峰值点对应的坐标表示为(ωq (x),ωq (y)),n表示密度峰值点的个数;
所述候选形状参数集合C和所述候选中心位置集合L组合为
Figure FDA00035718895000000412
采用形状选择划分法分割所述组合得到形状内量测子集和形状外量测子集分别为:
Figure FDA00035718895000000413
Figure FDA0003571889500000051
其中,
Figure FDA0003571889500000052
表示形状内量测子集,
Figure FDA0003571889500000053
表示形状外量测子集,zk表示量测集W中的量测点,
Figure FDA0003571889500000054
表示量测点zk到中心点位置ωq的距离,ψ表示
Figure FDA0003571889500000055
所对应的点,
Figure FDA0003571889500000056
表示中心点位置与形状上第h个点的连接线与x轴的夹角,
Figure FDA0003571889500000057
表示中心点位置与量测点的连接线与x轴的夹角,当二者之差的绝对值最小时,选取该角度下形状上的点作为ψ,
Figure FDA0003571889500000058
表示ψ到中心点位置ωq的距离;
Figure FDA0003571889500000059
的计算公式如下:
Figure FDA00035718895000000510
Figure FDA00035718895000000511
Figure FDA00035718895000000512
其中,bΨ表示中心点位置到Ψ的向量,pk| k-1表示根据所述形状内量测子集生成的控制顶点的坐标信息,Ni,3(ψ)表示B样条基函数;
分别对所述形状内量测子集和形状外量测子集进行匹配求取似然,获得形状内、外量测子集权重乘积最大的情况。
7.根据权利要求6所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述分别对所述形状内量测子集和形状外量测子集进行匹配求取似然,获得形状内、外量测子集权重乘积最大的情况包括:
对于形状内量测子集
Figure FDA00035718895000000513
利用形状内量测子集拟合形状与分割组合时所用的形状计算似然,计算似然的过程是所述B-S pline-GM-PHD滤波器更新形状似然函数的过程;
对于形状外量测子集
Figure FDA00035718895000000514
使用相同的更新形状似然函数过程求解其权重,需要遍历所有候选形状分别与量测集拟合形状求取似然,选出权重最大值当作所述形状外量测子集
Figure FDA00035718895000000515
的似然,找到形状内量测子集与形状外量测子集似然乘积最大的情况,作为最终的分割结果。
8.根据权利要求6所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,采用B样条曲线拟合形状的方法包括:
所述B样条曲线由B样条基函数Ni,k(u)和控制顶点Pi共同来确定,k阶B 样条函数表示为:
Figure FDA0003571889500000061
其中,Ni,k(u)是k-1次B样条基函数,其递推公式表示为:
Figure FDA0003571889500000062
其中,U={u1,u2,…,uk,…,un+k}是B样条的一组节点向量;
当k=3时,B样条基函数表示为:
Figure FDA0003571889500000063
在扩展目标的量测集合中包含有多个量测点,利用所述量测点的位置信息,来求取B样条函数中控制顶点集合的过程如下:
假设
Figure FDA0003571889500000066
为所述扩展目标的量测集,计算出量测集均值位置,把它当作坐标原点建立坐标系,把角度为2π的坐标系分成n等份,得到n个控制顶点位置,用极坐标表示这些控制顶点Λi={ρii},ρi、θi分别为极径和极角,所述极径表示为:
Figure FDA0003571889500000064
|Zi|={zk|d(zki)<λ1,k(zki)=1}
Figure FDA0003571889500000065
βi=[-tan(θi),1]
其中,|·|表示元素个数,d(zk,βi)表示量测点zk到βi所在直线的距离,λ1为约束宽度的距离阈值,κ(zk,αi)为约束条件,βi为极角θi确定的向量,d(·)的计算公式如下:
Figure FDA0003571889500000071
αi=[1,tan(θi)]
其中,||·||表示绝对值,αi表示与向量βi所在直线垂直的向量;
通过上述计算,求取极坐标下控制顶点集合Λ,将所述控制顶点集合Λ转化到直角坐标系下对应的集合P,与所述B样条基函数共同作用,生成与量测集合形状相关的光滑曲线。
9.根据权利要求3所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述B-Spline-GM-PHD滤波器的预测步表示为:
Figure FDA0003571889500000072
Figure FDA0003571889500000073
Figure FDA0003571889500000074
Lk|k-1=Lk-1∪Lβ
其中,
Figure FDA0003571889500000075
表示预测目标的概率假设密度,Jk|k-1表示k时刻预测高斯分量数,
Figure FDA0003571889500000076
分别表示k时刻预测第j个高斯分量的权重、均值、协方差矩阵,N(·)为高斯分布,Lk|k-1表示k时刻预测的标签集合,包括k-1时刻原目标和新生目标的标签集合,预测的极径、极角信息与k-1时刻的后验目标状态保持一致;
均值
Figure FDA0003571889500000077
和协方差矩阵
Figure FDA0003571889500000078
的预测分别表示为:
Figure FDA0003571889500000079
Figure FDA00035718895000000710
其中,FK|k-1表示状态转移矩阵,Id表示d维单位矩阵,Qk表示过程噪声协方差矩阵。
10.根据权利要求3所述的基于B样条形状驱动多扩展目标航迹跟踪及分类方法,其特征在于,所述B-Spline-GM-PHD滤波器的更新步表示为:
Figure FDA00035718895000000711
其中,漏检目标的概率假设密度表示为:
Figure FDA0003571889500000081
Figure FDA0003571889500000082
Figure FDA0003571889500000083
Figure FDA0003571889500000084
Figure FDA0003571889500000085
Figure FDA00035718895000000817
Lk|k=Lk|k-1
其中,γj表示目标产生量测数目的期望值,
Figure FDA0003571889500000086
表示目标检测概率:
k时刻目标检测到的概率假设密度表示为:
Figure FDA0003571889500000087
Figure FDA0003571889500000088
Figure FDA0003571889500000089
Figure FDA00035718895000000810
Figure FDA00035718895000000811
Figure FDA00035718895000000812
Figure FDA00035718895000000813
其中,σ表示为预设遗忘因子,ρW,i为当前量测集所拟合形状的第i个极角下的极径信息,
Figure FDA00035718895000000814
表示所有划分方法中的量测集数之和,各个新息参数表示为:
Figure FDA00035718895000000815
Figure FDA00035718895000000816
Figure FDA0003571889500000091
Figure FDA0003571889500000092
Figure FDA0003571889500000093
CN202110166401.4A 2021-02-04 2021-02-04 基于b样条形状驱动多扩展目标航迹跟踪及分类方法 Active CN112946625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110166401.4A CN112946625B (zh) 2021-02-04 2021-02-04 基于b样条形状驱动多扩展目标航迹跟踪及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110166401.4A CN112946625B (zh) 2021-02-04 2021-02-04 基于b样条形状驱动多扩展目标航迹跟踪及分类方法

Publications (2)

Publication Number Publication Date
CN112946625A CN112946625A (zh) 2021-06-11
CN112946625B true CN112946625B (zh) 2022-07-15

Family

ID=76243010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110166401.4A Active CN112946625B (zh) 2021-02-04 2021-02-04 基于b样条形状驱动多扩展目标航迹跟踪及分类方法

Country Status (1)

Country Link
CN (1) CN112946625B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002667A (zh) * 2021-10-29 2022-02-01 西安交通大学 一种基于随机矩阵法的多近邻扩展目标跟踪算法
WO2024005063A1 (ja) * 2022-07-01 2024-01-04 株式会社デンソー 物体追跡装置
CN115222300B (zh) * 2022-09-20 2023-02-28 珠海翔翼航空技术有限公司 基于智能评价算法的航空模拟器复训时长分配***和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2471276A (en) * 2009-06-22 2010-12-29 Bae Systems Plc Terrain sensing apparatus for an autonomous vehicle
CN102879766B (zh) * 2011-07-11 2015-05-06 哈尔滨工业大学 一种高频地波雷达弱目标检测跟踪方法和装置
WO2017119081A1 (ja) * 2016-01-06 2017-07-13 三菱電機株式会社 目標追尾装置
CN108072865A (zh) * 2016-11-10 2018-05-25 北京机电工程研究所 一种海面舰船目标检测前跟踪方法
CN110320512A (zh) * 2019-07-09 2019-10-11 大连海事大学 一种基于带标签的gm-phd平滑滤波多目标跟踪方法

Also Published As

Publication number Publication date
CN112946625A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112946625B (zh) 基于b样条形状驱动多扩展目标航迹跟踪及分类方法
Zhang et al. Deep neural networks for wireless localization in indoor and outdoor environments
Shen et al. Fast online tracking with detection refinement
Groß et al. Alignnet-3d: Fast point cloud registration of partially observed objects
CN106780557B (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及***
Atanasov et al. Semantic Localization Via the Matrix Permanent.
CN110298865B (zh) 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
Goli et al. nerf2nerf: Pairwise registration of neural radiance fields
CN111781608A (zh) 一种基于fmcw激光雷达的运动目标检测方法及***
Cao et al. Correlation-based tracking of multiple targets with hierarchical layered structure
CN112652003B (zh) 一种基于ransac测度优化的三维点云配准方法
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
CN108537805A (zh) 一种基于特征几何收益的目标识别方法
Zeng et al. Robust multivehicle tracking with wasserstein association metric in surveillance videos
Li et al. Adaptive and compressive target tracking based on feature point matching
CN111830501A (zh) Hrrp历史特征辅助的信号模糊数据关联方法及***
Gong et al. A two-level framework for place recognition with 3D LiDAR based on spatial relation graph
Wei et al. RSSI-based location fingerprint method for RFID indoor positioning: a review
Zhu et al. Deepego: Deep instantaneous ego-motion estimation using automotive radar
Chen et al. Multi-neighborhood guided Kendall rank correlation coefficient for feature matching
Yu et al. Cattrack: Single-stage category-level 6d object pose tracking via convolution and vision transformer
Zhou et al. Place recognition and navigation of outdoor mobile robots based on random Forest learning with a 3D LiDAR
Usuelli et al. Radarlcd: Learnable radar-based loop closure detection pipeline

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant