CN110176028B - 一种基于事件相机的异步角点检测方法 - Google Patents
一种基于事件相机的异步角点检测方法 Download PDFInfo
- Publication number
- CN110176028B CN110176028B CN201910485270.9A CN201910485270A CN110176028B CN 110176028 B CN110176028 B CN 110176028B CN 201910485270 A CN201910485270 A CN 201910485270A CN 110176028 B CN110176028 B CN 110176028B
- Authority
- CN
- China
- Prior art keywords
- event
- corner
- candidate
- sae
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012423 maintenance Methods 0.000 claims abstract description 53
- 238000007670 refining Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000001960 triggered effect Effects 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 101150089023 FASLG gene Proteins 0.000 description 1
- 102100031988 Tumor necrosis factor ligand superfamily member 6 Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于事件相机的异步角点检测方法,技术方案是先构建由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成的异步事件角点检测***;事件过滤器将异步事件流中的冗余事件过滤,得到将非冗余事件;SAE维护模块根据非冗余事件更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构;候选事件角点选择模块基于局部SAE结构在非冗余事件中选择候选事件角点;候选事件角点细化模块基于局部SAE结构计算非冗余事件的事件角点候选值,据此判定非冗余事件是否为事件角点;异步事件角点追踪器追踪事件角点,得到事件角点的运动轨迹。采用本发明可以提高异步角点检测的准确性和速度,获得的异步事件角点运动轨迹准确。
Description
技术领域
本发明涉及一种基于视觉的同时定位与建图领域,尤其涉及一种基于事件相机的异步角点检测方法。
背景技术
事件相机是一种新型的神经拟态视觉传感器,又称动态视觉传感器。它是基于事件驱动的方式捕捉场景中的动态变化,响应像素级的亮度变化,即每个像素独立地感知亮度变化,亮度变化对数值超过一定阈值(事件相机设备预设的值)就会触发一个事件,每个事件由包含像素坐标x、y、时间戳t(触发事件的时间标记)、极性p四个元素的元组表示,即[x,y,t,p],其中极性表示亮度的增加或降低。因此,事件相机成像平面上所有的像素独立地响应亮度变化,仅当亮度变化超过一定阈值时才会触发事件,事件相机成像平面上所有的像素触发的一个个事件形成异步的事件流,而不像传统相机以固定的频率输出图像帧序列。此外,事件相机还具有低延迟、低功耗、高动态范围、高时间分辨率等优点,越来越受到业内外人士的关注与支持。
角点是图像很重要的特征,它是指物体轮廓两条或多条边的相交处。对于事件相机而言,由物体轮廓中的角点触发的事件,被称为事件角点,由于事件相机的输出数据是异步的事件流,因此从异步事件流中检测角点的方法,被称为异步角点检测方法。角点特征检测是同时定位与建图***中实现视觉里程计等高层次任务的基础,因此对基于事件相机的异步角点检测问题展开研究是十分必要的。
目前,研究者们提出了多种基于事件相机的异步角点检测方法。国际智能机器人与***大会(IROS 2016)上发表的文章《Fast event-based Harris corner detectionexploiting the advantages of event-driven cameras》(《基于事件相机的快速Harris角点检测》)提出eHarris方法,在英国机器视觉大会(BMVC 2017)上发表的文章《FastEvent-based Corner Detection》(《基于事件相机的快速角点检测》)提出eFAST方法,机器人和自动化报(RAL 2018)上发表的文章《Asynchronous Corner Detection and Trackingfor Event Cameras in Real Time》(《基于事件相机的实时、异步角点检测与追踪》)提出Arc*方法,该方法提出了一种事件过滤器,过滤冗余事件,并将事件过滤器应用到eHarris、eFAST方法,得到eHarris*、eFAST*方法。其中过滤冗余事件的具体方法是:对同一像素位置短时间内触发的事件进行约束,约束方法是设定一个时间窗口阈值T,T一般设置为50毫秒,从上一个选定的非冗余事件开始,T时间窗口内的事件都被剔除,被剔除的事件即为冗余事件。上述角点检测方法都是基于Surfaceof Active Event(SAE,即活跃事件表面)结构实现,SAE结构保存每个像素坐标处触发的最新的事件的时间戳,最初由2014年发表于IEEE神经网络与学习***期刊的文章《Event-Based Visual Flow》(《基于事件相机的光流》)提出。
异步角点检测方法充分发挥了事件相机的异步、低延迟特性。但是,现有的方法中Arc*方法虽然速度快,但准确性方面表现不理想;eHarris*方法准确性较好,但速度慢。
为了确保后续异步追踪过程的正确执行,需要快速、准确地获得异步角点数据,这与角点追踪轨迹的准确性密切相关。因此,如何能够利用事件相机的异步、低延迟特性,实现鲁棒、精确、快速、实时、异步的角点检测,适应高速运动、高动态范围场景,从而保证基于特征的视觉同时定位与建图***的鲁棒性(即对复杂环境的适应能力),成为本领域研究人员亟需解决的技术问题。
发明内容
本发明要解决的技术问题是提供一种基于事件相机的异步角点检测方法,将Arc*、eHarris*两种方法相结合,在事件相机输出的异步事件流中进行角点检测,得到异步事件角点,本发明既能提高检测出的事件角点的准确性,又能提高事件角点的检测速度。
本发明包括以下步骤:
第一步,构建异步事件角点检测***。该***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成。事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连,事件过滤器从事件相机接收异步事件流,过滤掉冗余事件,将非冗余事件发送给SAE维护模块和候选事件角点选择模块;SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连,SAE维护模块从事件过滤器接收非冗余事件,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块;候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连,候选事件角点选择模块从事件过滤器接收非冗余事件,从SAE维护模块接收局部SAE结构,在非冗余事件中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块;候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连,并外接异步事件角点追踪器,候选事件角点细化模块从候选角点选择模块接收候选事件角点,从SAE维护模块接收局部SAE结构,计算候选事件角点的事件角点候选值,选定事件角点候选值大于阈值的候选事件角点为事件角点,将事件角点发送给异步事件角点追踪器。异步事件角点追踪器是采用异步事件角点追踪方法追踪事件角点,获取事件角点运动轨迹的软件。
第二步:事件过滤器从事件相机接收异步事件流,将异步事件流中的冗余事件过滤掉,将非冗余事件发送给SAE维护模块和候选事件角点选择模块。所述事件过滤器采用机器人和自动化学报(RAL 2018)上发表的文章《Asynchronous Corner Detection andTracking for Event Cameras in Real Time》即《基于事件相机的实时、异步角点检测与追踪》第3178页-第3179页提出的事件过滤器。过滤冗余事件的具体方法是:对同一像素位置在时间窗口阈值T内触发的事件进行约束,T的取值范围为30毫秒~80毫秒,从上一个选定的非冗余事件开始,T内的事件都被剔除,被剔除的事件即为冗余事件。
具体步骤为:
2.1初始化i=0;
2.2事件过滤器判定是否从事件相机有事件输入,若无事件输入,转第七步;若有事件输入,则事件过滤器从事件相机接收一个事件,记为事件Ei,且Ei=[xi,yi,ti,pi],xi、yi为Ei的像素坐标,ti为Ei的时间戳,pi为Ei的极性;
2.3如果i=0即Ei是第一个到达的事件,或Ei不是第一个到达的事件但Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1≥T,则将Ei作为非冗余事件发送到SAE维护模块和候选事件角点选择模块,转第三步;如果Ei不是第一个到达的事件且Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1<T,则将Ei作为冗余事件剔除,转第2.2步由事件过滤器接收下一个事件。
第三步:SAE维护模块从事件过滤器接收Ei,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块。
具体步骤为:
3.1SAE维护模块接收Ei,Ei=[xi,yi,ti,pi];
3.2使用Ei的时间戳ti更新全局SAE结构,方法是:SAE维护模块将ti保存在全局SAE结构中与Ei的像素坐标对应的位置处,即令S(a,b)=ti,其中a=xi,b=yi。所述S(a,b)为全局SAE结构S的第a行、第b列元素,全局SAE结构为二维数组,S的行、列数分别为height、width,其中height、width分别为事件相机成像平面的高度值(一般为180)、宽度值(一般为240),即二维数组的元素个数与事件相机成像平面的像素个数相同,即height×width,并且S中的元素位置(a,b)(即二维数组S的第a行、第b列元素)与事件相机成像平面相应的一个像素坐标(x,y)一一对应。S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)(0≤a≤height-1,0≤b≤width-1,0≤x≤height-1,0≤y≤width-1)处最新触发的事件的时间戳;
3.3在更新后的全局SAE结构S中提取事件Ei的局部SAE结构LSi,方法是:以Ei的像素坐标(xi,yi)对应的位置为中心,选择S(a,b)(a=xi,b=yi)周围9×9元素大小的局部邻域作为Ei的局部SAE结构LSi,LSi同样是二维数组结构,每个元素保存的数据为事件的时间戳,对于0≤mi≤8且0≤ni≤8,令LSi(mi,ni)=S(a+mi-4,b+ni-4),mi、ni分别表示LSi的第mi行、第ni列。因此,LSi中保存的是成像平面上一个9×9像素大小邻域内的所有像素位置最新触发的事件的时间戳,9×9像素大小的局部邻域是以Ei的像素坐标(xi,yi)为中心的局部邻域;
3.4将LSi发送给候选事件角点选择模块和候选事件角点细化模块。
第四步:候选事件角点选择模块从事件过滤器接收Ei,从SAE维护模块接收LSi,在Ei中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块。
具体步骤为:
4.1从事件过滤器接收Ei,从SAE维护模块接收LSi;
4.2基于LSi,采用Arc*方法判断Ei是否为候选事件角点,判断过程为:
4.2.2比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为Pi,以Pi为起点,找到上的一个连续元素段Li,满足Li中每个元素保存的时间戳大于上Li以外所有元素保存的时间戳;或者,令上Li以外的元素组成的元素段为Li *,满足Li *上保存的时间戳小于上Li *以外所有元素保存的时间戳,Li或Li *的长度要求在3~6个元素范围内;
4.2.3比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为PPi,以PPi为起点,找到上的一个连续元素段LLi,满足LLi中每个元素保存的时间戳大于上LLi以外所有元素保存的时间戳;或者,令上LLi以外的元素组成的元素段为LLi *,满足LLi *上保存的时间戳小于上LLi *以外所有元素保存的时间戳,LLi或LLi *的长度要求在4~8个元素范围内;
4.3将Ei发送到候选事件角点细化模块。
第五步:候选事件角点细化模块从候选角点选择模块接收Ei,从SAE维护模块接收LSi,计算Ei的事件角点候选值,若事件角点候选值大于阈值,则Ei为事件角点。候选事件角点细化模块使用一种对候选事件角点细化的方法细化候选事件角点,选定事件角点。候选角点细化的方法借鉴eHarris*方法的思想,并对该方法进行了改进,改进的具体内容为:原有的eHarris*方法未使用全局SAE结构,而是以每个像素为中心,定义并维护一个9×9元素大小的局部SAE结构,当一个事件到达,需要更新以该事件像素坐标为中心的9×9像素大小领域内所有像素对应的局部SAE结构,因此,eHarris*方法需要维护多个局部SAE结构,增加了算法的复杂性。本发明采用仅维护一个全局SAE结构的方法,并且仅在判断某个事件是否为事件角点之前从全局SAE结构中提取该事件的局部SAE结构,不需要对局部SAE结构进行维护。
具体步骤为:
5.1候选事件角点细化模块从候选事件角点选择模块接收Ei,从SAE维护模块接收LSi;
5.2将LSi中的所有9×9=81个元素位置保存的81个时间戳按升序排序,从排序结果中选出最大的25个时间戳,记录这25个时间戳在LSi中对应的元素,并将第j(1≤j≤25)个时间戳在LSi中对应的元素记为(mi j,ni j),其中mi j表示第j个时间戳在LSi中对应的元素的竖直方向坐标、ni j表示第j个时间戳在LSi中对应的元素的水平方向坐标,。定义一个9×9像素大小的二进制图像块Pi,Pi的像素坐标(gi,hi)(gi、hi分别为Pi竖直、水平方向坐标,且0≤gi≤8,0≤hi≤8)与LSi中的元素位置(mi,ni)(即LSi的第mi行、第ni列元素,且mi=gi,ni=hi)一一对应。Pi每个像素位置保存的值为1或0,Pi中与LSi中选取出的25个最大时间戳对应的位置赋值为1,其他位置赋值为0,即对于0≤gi≤8且0≤hi≤8,令
5.3使用Pi计算Ei的事件角点候选值,如公式(1)所示,定义2×2大小的矩阵Mi,并通过矩阵Mi采用公式(2)计算候选事件角点的事件角点候选值Scorei:
其中,det(Mi)指求取矩阵Mi的行列式(即Mi的主对角线上各元素之积与次对角线上各元素之积的差,即AiBi-Ci 2),trace(Mi)是指求取矩阵Mi的迹(即矩阵Mi主对角线上各个元素的总和,Ai+Bi),α为常数,α=0.04,是矩阵Mi的两个特征值,其中:
其中,分别是二进制图像块Pi竖直、水平方向的偏导数(即亮度值沿竖直、水平方向的变化率),w(gi,hi)是标准差σ=1的二维高斯加权函数,具体为gi、hi分别为二进制图像块Pi竖直、水平方向的坐标值;
5.4判断Ei的事件角点候选值Scorei是否大于阈值Scorethreshold(Scorethreshold一般为8,可根据实验效果调整),若满足,则判定Ei为事件角点,将Ei发送到异步事件角点追踪器,转第六步;否则判定Ei为非事件角点,令i=i+1,转第2.2步。
第六步:异步事件角点追踪器采用异步事件角点追踪方法追踪Ei,获取Ei的运动轨迹。异步事件角点追踪方法采用发表于机器人和自动化报(RAL 2018)上的文章《Asynchronous Corner Detection and Tracking for Event Cameras in Real Time》(《基于事件相机的实时、异步角点检测与追踪》)第3177页-第3184页所述的异步事件角点追踪方法。
具体步骤为:
6.1异步事件角点追踪器从候选事件角点细化模块接收Ei;
6.2异步事件角点追踪器追踪Ei。以Ei像素坐标(xi,yi)为中心,选定事件相机成像平面上dconn×dconn像素大小的局部邻域(dconn的取值范围为4~6),将局部邻域内的所有像素在过去Δtmax(Δtmax的取值范围为0.1秒~0.5秒)时间内触发的事件角点记为集合SEi,在SEi中找到像素位置与Ei的像素位置最近的事件角点如果有多个相同最近距离的事件角点,则选择时间戳最大的事件角点作为然后将Ei与关联,即将Ei划分到与所处的同一运动轨迹上;
6.3令i=i+1,转第2.2步。
第七步:将异步事件角点的运动轨迹输出,结束。
采用本发明可以达到以下技术效果:
1.本发明提供一种基于事件相机的异步角点检测方法,能够以异步方式(即每到达一个事件,就可以判断该事件是否为事件角点,而不会有延迟)处理事件相机输出的异步事件数据流,进行角点检测,从而得到异步事件角点流,实现了相对快速、准确的效果,并且可以将异步事件角点应用于异步事件角点追踪器,获取异步事件角点的运动轨迹。
2.本发明能够充分利用事件相机的异步、低延迟特性,能够克服传统相机难以适应高速运动和高动态范围的场景的问题,从而为现有同时定位与建图***在类似复杂场景下的鲁棒性问题提供一种新的研究思路(现有同时定位与建图***在高速运动、高动态范围等复杂场景下容易失效,即鲁棒性较差,目前还没有较好的应对方法,只能假设***所处场景是静态、光照不变的。事件相机的异步、低延迟特性使其能够很好地适应高速运动、高动态范围等复杂场景,因此,这种相机在同时定位与建图***的研究中具备很好的应用潜力),为搭建完整的视觉里程计***及同时定位与建图***提供支撑。
附图说明
图1为本发明第一步构建的异步事件角点检测***的逻辑结构图;
图2为本发明总体流程图;
图3为本发明第四步用于候选事件角点选择的内、外圆二维示意图;
图4为本发明第五步9×9像素大小的二进制图像块示意图;
图5为本发明与其他异步角点检测方法的准确率对比示意图;
图6为本发明与其他异步角点检测方法的检测速度对比示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图对本发明作进一步的详细说明。
如图2所示,本发明包括以下步骤:
第一步,构建如图1所示的异步事件角点检测***,该***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成。事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连,事件过滤器从事件相机接收事件,过滤掉冗余事件,将非冗余事件发送给SAE维护模块和候选事件角点选择模块;SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连,SAE维护模块从事件过滤器接收非冗余事件,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块;候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连,候选事件角点选择模块从事件过滤器接收非冗余事件,从SAE维护模块接收局部SAE结构,在非冗余事件中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块;候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连,并外接异步事件角点追踪器,候选事件角点细化模块从候选角点选择模块接收候选事件角点,从SAE维护模块接收局部SAE结构,计算候选事件角点的事件角点候选值,选定事件角点候选值大于阈值的候选事件角点为事件角点。
第二步,事件过滤器从事件相机接收事件,将异步事件流中的冗余事件过滤掉,将非冗余事件发送给SAE维护模块和候选事件角点选择模块。过滤冗余事件的具体方法是:对同一像素位置在时间窗口阈值T内触发的事件进行约束,T的取值范围为30毫秒~80毫秒,从上一个选定的非冗余事件开始,T内的事件都被剔除,被剔除的事件即为冗余事件。
具体步骤为:
2.1初始化i=0;
2.2事件过滤器判定是否从事件相机有事件输入,若无事件输入,转第七步;若有事件输入,则事件过滤器从事件相机接收一个事件,记为事件Ei,且Ei=[xi,yi,ti,pi],xi、yi为Ei的像素坐标,ti为Ei的时间戳,pi为Ei的极性;
2.3如果i=0即Ei是第一个到达的事件,或Ei不是第一个到达的事件但Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1≥T,则将事件Ei作为非冗余事件发送到SAE维护模块和候选事件角点选择模块,转第三步;如果Ei不是第一个到达的事件且Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1<T,则将事件Ei作为冗余事件剔除,转第2.2步由事件过滤器接收下一个事件。
第三步:SAE维护模块从事件过滤器接收非冗余事件Ei,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块。
具体步骤为:
3.1SAE维护模块接收Ei,Ei=[xi,yi,ti,pi];
3.2使用Ei的时间戳ti更新全局SAE结构,方法是:SAE维护模块将ti保存在全局SAE结构中与Ei的像素坐标对应的位置处,即令S(a,b)=ti,其中a=xi,b=yi。所述S(a,b)为全局SAE结构S的第a行、第b列元素,全局SAE结构为二维数组,S的行、列数分别为height、width,其中height、width分别为事件相机成像平面的高度值(为180)、宽度值(为240),即二维数组的元素个数与事件相机成像平面的像素个数相同,即height×width,并且S中的元素位置(a,b)(即二维数组S的第a行、第b列元素)与事件相机成像平面相应的一个像素坐标(x,y)一一对应。S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)(0≤a≤height-1,0≤b≤width-1,0≤x≤height-1,0≤y≤width-1)处最新触发的事件的时间戳;
3.3在更新后的全局SAE结构S中提取事件Ei的局部SAE结构LSi,方法是:以Ei的像素坐标(xi,yi)对应的位置为中心,选择S(a,b)(a=xi,b=yi)周围9×9元素大小的局部邻域作为Ei的局部SAE结构LSi,LSi同样是二维数组结构,每个元素保存的数据为事件的时间戳,对于0≤mi≤8且0≤ni≤8,令LSi(mi,ni)=S(a+mi-4,b+ni-4),mi、ni分别表示LSi的第mi行、第ni列。因此,LSi中保存的是成像平面上一个9×9像素大小邻域内的所有像素位置最新触发的事件的时间戳,9×9像素大小的局部邻域是以Ei的像素坐标(xi,yi)为中心的局部邻域;
3.4将LSi发送给候选事件角点选择模块和候选事件角点细化模块。
第四步:候选事件角点选择模块从事件过滤器接收非冗余事件Ei,从SAE维护模块接收局部SAE结构LSi,在非冗余事件Ei中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块。
具体步骤为:
4.1从事件过滤器接收非冗余事件Ei,从SAE维护模块接收LSi;
4.2基于LSi,采用Arc*方法判断Ei是否为候选事件角点,判断过程为:
4.2.1如图3所示,在LSi上以Ei的像素坐标(xi,yi)对应的位置为中心(图中黑色实心方块(一个方块表示一个像素)的位置),定义半径分别为3、4个元素的同心圆(图中点状背景标记的方块组成)、(图中竖线背景标记的方块组成);
4.2.2比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为Pi,以Pi为起点,找到上的一个连续元素段Li,满足Li中每个元素保存的时间戳大于上Li以外所有元素保存的时间戳;或者,令上Li以外的元素组成的元素段为Li *,满足Li *上保存的时间戳小于上Li *以外所有元素保存的时间戳,Li或Li *的长度要求在3~6个元素范围内;如图3中,Li(由实线连接的点状方块组成)的长度为5,Li *(由虚线连接的点状方块组成)的长度为11。
4.2.3比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为PPi,以PPi为起点,找到上的一个连续元素段LLi,满足LLi中每个元素保存的时间戳大于上LLi以外所有元素保存的时间戳;或者,令上LLi以外的元素组成的元素段为LLi *,满足LLi *上保存的时间戳小于上LLi *以外所有元素保存的时间戳,LLi或LLi *的长度范围要求为4~8个元素;如图3中,LLi(由实线连接的竖线方块组成)的长度为7,LLi *(由虚线连接的竖线方块组成)的长度为13。
4.3将Ei发送到候选事件角点细化模块。
第五步:候选事件角点细化模块从候选角点选择模块接收候选事件角点Ei,从SAE维护模块接收局部SAE结构LSi,计算Ei的事件角点候选值,若事件角点候选值大于阈值,则Ei为事件角点。
具体步骤为:
5.1候选事件角点细化模块从候选事件角点选择模块接收Ei,从SAE维护模块接收LSi;
5.2将LSi中的所有9×9=81个元素位置保存的81个时间戳按升序排序,从排序结果中选出最大的25个时间戳,记录这25个时间戳在LSi中对应的元素,并将第j(1≤j≤25)个时间戳在LSi中对应的元素记为(mi j,ni j)。如图4所示,定义一个9×9像素大小的二进制图像块Pi,Pi的每一个像素坐标(gi,hi)(gi、hi分别为Pi竖直、水平方向坐标,且0≤gi≤8,0≤hi≤8)与LSi中的一个元素位置(mi,ni)(即LSi的第mi行、第ni列元素,且mi=gi,ni=hi)一一对应。Pi每个像素位置保存的值为1或0,Pi中与LSi中选取出的25个最大时间戳对应的位置赋值为1,其他位置赋值为0,即对于0≤gi≤8且0≤hi≤8,令
5.3使用Pi计算Ei的事件角点候选值,如公式(6)所示,定义2×2大小的矩阵Mi,并通过矩阵Mi采用公式(7)计算候选事件角点的事件角点候选值Scorei:
其中,det(Mi)指求取矩阵Mi的行列式(即Mi的主对角线上各元素之积与次对角线上各元素之积的差,AiBi-Ci 2),trace(Mi)是指求取矩阵Mi的迹(即矩阵Mi主对角线上各个元素的总和,Ai+Bi),α=0.04,是矩阵Mi的两个特征值,其中:
其中,分别是二进制图像块Pi竖直、水平方向的偏导数(即亮度值沿竖直、水平方向的变化率),w(gi,hi)是标准差σ=1的二维高斯加权函数,具体为gi、hi分别为二进制图像块Pi竖直、水平方向的坐标值;
5.4判断Ei的事件角点候选值Scorei是否大于阈值Scorethreshold(Scorethreshold为8),若满足,则判定Ei为事件角点,将Ei发送到异步事件角点追踪器,转第六步;否则判定Ei为非事件角点,令i=i+1,转第2.2步。
第六步:异步事件角点追踪器采用异步事件角点追踪方法追踪事件角点Ei,获取Ei的运动轨迹。
具体步骤为:
6.1异步事件角点追踪器从候选事件角点细化模块接收Ei;
6.2异步事件角点追踪器追踪Ei。以Ei像素坐标(xi,yi)为中心,选定事件相机成像平面上dconn×dconn像素大小的局部邻域(dconn=5),将局部邻域内的所有像素在过去Δtmax(设为0.1秒)时间内触发的事件角点记为集合SEi,在SEi中找到像素位置与Ei的像素位置最近的事件角点如果有多个相同最近距离的事件角点,则选择时间戳最大的事件角点作为然后将Ei与关联,即将Ei划分到与所处的同一运动轨迹上;
6.3令i=i+1,转第2.2步。
第七步:将异步事件角点的运动轨迹输出,结束。
本发明(简称FA-Harris)与其他异步角点检测方法进行对比,实验设备为笔记本电脑,搭载因特尔i7-7700HQ处理器,处理器频率为2.80GHz,RAM大小为16GB,实验***为乌班图16.04版本。首先基于公开的事件相机数据集对本发明进行测试,该数据集发表于2017年国际机器人研究杂志第142页-第149页的文章《The Event-Camera Dataset andSimulator:Event-based Data for Pose Estimation,Visual Odometry,and SLAM》,即《事件相机数据集与模拟器:用于位姿估计、视觉里程计和同时定位与建图的事件相机数据》,是测试异步角点检测方法最常用的数据集。该数据集是使用事件相机在多种不同的场景下采集到的数据,常用的四种场景为shapes(一面墙包含多种不同形状的图案)、dynamic(办公室内包含办公桌等其他物品和一个处于非静止状态的人)、poster(一面包含一个场景比较复杂的图案)、boxes(房间内放置多种大小不同的箱子及其他物品)。测试四种不同的异步角点检测方法在上述四种场景下的准确率(百分比表示),对比结果如图5所示。通过图5可以看出,本发明在准确率方面优于其他方法,检测异步事件角点的准确性效果更好。
对比不同方法的检测速度,即每个事件的处理时间,单位为微秒,对比结果如图6所示。从图6中的对比结果来看,本发明在检测速度上优于eHarris*方法,检测速度是eHarris*的8倍,但比Arc*和eFAST*方法稍慢。综上所述,本发明能够实现基于事件相机的异步角点检测,相比于其他方法在检测速度和准确性性能两方面作了折中,即在准确性方面有了提升,在检测速度方面比Arc*、eFAST*两种方法稍慢,但相比eHarris*方法检测速度提升了8倍。
以上对本发明所提供的一种基于事件相机的异步角点检测方法进行了详细介绍。本文对本发明的原理及实施方式进行了阐述,以上说明用于帮助理解本发明的核心思想。应当指出,对于本技术领域的普通研究人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (6)
1.一种基于事件相机的异步角点检测方法,其特征在于包括以下步骤:
第一步,构建异步事件角点检测***,异步事件角点检测***由事件过滤器、SAE维护模块、候选事件角点选择模块、候选事件角点细化模块组成;事件过滤器与事件相机、SAE维护模块、候选事件角点选择模块相连,事件过滤器从事件相机接收异步事件流,过滤掉冗余事件,将非冗余事件发送给SAE维护模块和候选事件角点选择模块;SAE维护模块与事件过滤器、候选事件角点选择模块、候选事件角点细化模块相连,SAE维护模块从事件过滤器接收非冗余事件,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块;候选事件角点选择模块与事件过滤器、SAE维护模块、候选事件角点细化模块相连,候选事件角点选择模块从事件过滤器接收非冗余事件,从SAE维护模块接收局部SAE结构,在非冗余事件中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块;候选事件角点细化模块与SAE维护模块、候选事件角点选择模块相连,并外接异步事件角点追踪器,候选事件角点细化模块从候选角点选择模块接收候选事件角点,并外接异步事件角点追踪器,从SAE维护模块接收局部SAE结构,计算候选事件角点的事件角点候选值,选定事件角点候选值大于阈值的候选事件角点为事件角点,将事件角点发送给异步事件角点追踪器;
第二步:事件过滤器从事件相机接收异步事件流,将异步事件流中的冗余事件过滤掉,将非冗余事件发送给SAE维护模块和候选事件角点选择模块,方法是:
2.1初始化i=0;
2.2事件过滤器判定是否从事件相机有事件输入,若无事件输入,转第七步;若有事件输入,则事件过滤器从事件相机接收一个事件,记为事件Ei,且Ei=[xi,yi,ti,pi],xi、yi为Ei的像素坐标,ti为Ei的时间戳,pi为Ei的极性;
2.3如果i=0即Ei是第一个到达的事件,或Ei不是第一个到达的事件但Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1≥T,T的取值范围为30毫秒~80毫秒,则将Ei作为非冗余事件发送到SAE维护模块和候选事件角点选择模块,转第三步;如果Ei不是第一个到达的事件且Ei的时间戳ti与上一个非冗余事件Ei-1的时间戳ti-1满足ti-ti-1<T,则将Ei作为冗余事件剔除,转第2.2步;
第三步:SAE维护模块从事件过滤器接收Ei,更新全局SAE结构,并在更新后的全局SAE结构中提取局部SAE结构,将局部SAE结构发送给候选事件角点选择模块和候选事件角点细化模块,方法为:
3.1SAE维护模块接收Ei,Ei=[xi,yi,ti,pi];
3.2使用Ei的时间戳ti更新全局SAE结构,方法是:SAE维护模块将ti保存在全局SAE结构中与Ei的像素坐标对应的位置处,即令S(a,b)=ti,其中a=xi,b=yi;所述S(a,b)为全局SAE结构S的第a行、第b列元素,全局SAE结构为二维数组,S的行、列数分别为height、width,其中height、width分别为事件相机成像平面的高度值、宽度值,即二维数组的元素个数与事件相机成像平面的像个数素相同,即height×width,并且S中的元素位置(a,b)即S的第a行、第b列元素与事件相机成像平面相应的一个像素坐标(x,y)一一对应;S的元素S(a,b)保存的数据是在事件相机成像平面上对应的像素坐标(x,y)处最新触发的事件的时间戳,0≤a≤height-1,0≤b≤width-1,0≤x≤height-1;
3.3在更新后的全局SAE结构S中提取事件Ei的局部SAE结构LSi,方法是:以Ei的像素坐标(xi,yi)对应的位置为中心,选择S(a,b)周围9×9元素大小的局部邻域作为Ei的局部SAE结构LSi,a=xi,b=yi,LSi是二维数组结构,每个元素保存的数据为事件的时间戳,对于0≤mi≤8且0≤ni≤8,令LSi(mi,ni)=S(a+mi-4,b+ni-4),mi、ni分别表示LSi的第mi行、第ni列;
3.4将LSi发送给候选事件角点选择模块和候选事件角点细化模块;
第四步:候选事件角点选择模块从事件过滤器接收Ei,从SAE维护模块接收LSi,在Ei中选择候选事件角点,将候选事件角点发送到候选事件角点细化模块,方法为:
4.1从事件过滤器接收Ei,从SAE维护模块接收LSi;
4.2基于LSi,判断Ei是否为候选事件角点,判断过程为:
4.2.2比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为Pi,以Pi为起点,找到上的一个连续元素段Li,满足Li中每个元素保存的时间戳大于上Li以外所有元素保存的时间戳;或者,令上Li以外的元素组成的元素段为Li *,满足Li *上保存的时间戳小于上Li *以外所有元素保存的时间戳;
4.2.3比较上所有元素保存的时间戳,找到保存最大时间戳的元素,令此元素为PPi,以PPi为起点,找到上的一个连续元素段LLi,满足LLi中每个元素保存的时间戳大于上LLi以外所有元素保存的时间戳;或者,令上LLi以外的元素组成的元素段为LLi *,满足LLi *上保存的时间戳小于上LLi *以外所有元素保存的时间戳;
4.3将Ei发送到候选事件角点细化模块;
第五步:候选事件角点细化模块从候选角点选择模块接收Ei,从SAE维护模块接收LSi,计算Ei的事件角点候选值,若事件角点候选值大于阈值,则Ei为事件角点,方法为:
5.1候选事件角点细化模块从候选事件角点选择模块接收Ei,从SAE维护模块接收LSi;
5.2将LSi中所有元素位置保存的81个时间戳按升序排序,从排序结果中选出最大的25个时间戳,记录这25个时间戳在LSi中对应的元素,并将第j个时间戳在LSi中对应的元素记为(mi j,ni j),其中mi j表示第j个时间戳在LSi中对应的元素的竖直方向坐标、ni j表示第j个时间戳在LSi中对应的元素的水平方向坐标,1≤j≤25;定义一个9×9像素大小的二进制图像块Pi,Pi的像素坐标(gi,hi)与LSi中的元素位置(mi,ni)一一对应,gi、hi分别为Pi竖直、水平方向坐标,且0≤gi≤8,0≤hi≤8,(mi,ni)指LSi的第mi行、第ni列元素,mi=gi,ni=hi,Pi每个像素位置保存的值为1或0,Pi中与LSi中选取出的25个最大时间戳对应的位置赋值为1,其他位置赋值为0;
5.3使用Pi计算Ei的事件角点候选值,按公式(1)定义2×2大小的矩阵Mi,并通过矩阵Mi采用公式(2)计算候选事件角点的事件角点候选值Scorei:
5.4判断Ei的事件角点候选值Scorei是否大于阈值Scorethreshold,Scorethreshold为正整数,若满足,则判定Ei为事件角点,将Ei发送到异步事件角点追踪器,转第六步;否则判定Ei为非事件角点,令i=i+1,转第2.2步;
第六步:异步事件角点追踪器采用异步事件角点追踪方法追踪Ei,获取Ei的运动轨迹,方法为:
6.1异步事件角点追踪器从候选事件角点细化模块接收Ei;
6.2异步事件角点追踪器追踪Ei,以Ei像素坐标(xi,yi)为中心,选定事件相机成像平面上dconn×dconn像素大小的局部邻域,dcom的取值范围为4~6,将局部邻域内的所有像素在过去Δtmax时间内触发的事件角点记为集合SEi,Δtmax的取值范围为0.1秒~0.5秒,在SEi中找到像素位置与Ei的像素位置最近的事件角点如果有多个相同最近距离的事件角点,则选择时间戳最大的事件角点作为然后将Ei与关联,即将Ei划分到与所处的同一运动轨迹上;
6.3令i=i+1,转第2.2步;
第七步:将异步事件角点的运动轨迹输出,结束。
2.如权利要求1所述的一种基于事件相机的异步角点检测方法,其特征在于第二步所述T为50毫秒。
3.如权利要求1所述的一种基于事件相机的异步角点检测方法,其特征在于第三步所述height为180、width为240。
4.如权利要求1所述的一种基于事件相机的异步角点检测方法,其特征在于第四步所述Li或Li *的长度要求在3~6个元素范围内;所述LLi或LLi *的长度要求在4~8个元素范围内。
5.如权利要求1所述的一种基于事件相机的异步角点检测方法,其特征在于第五步所述α=0.04,Scorethreshold为8。
6.如权利要求1所述的一种基于事件相机的异步角点检测方法,其特征在于第六步所述dconn=5,Δtmax设为0.1秒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910485270.9A CN110176028B (zh) | 2019-06-05 | 2019-06-05 | 一种基于事件相机的异步角点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910485270.9A CN110176028B (zh) | 2019-06-05 | 2019-06-05 | 一种基于事件相机的异步角点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110176028A CN110176028A (zh) | 2019-08-27 |
CN110176028B true CN110176028B (zh) | 2020-12-15 |
Family
ID=67698173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910485270.9A Active CN110176028B (zh) | 2019-06-05 | 2019-06-05 | 一种基于事件相机的异步角点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110176028B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111854924A (zh) * | 2020-08-20 | 2020-10-30 | 国网上海市电力公司 | 一种机械振动频率可视化测量装置及其方法 |
CN113132658B (zh) * | 2021-04-16 | 2022-11-22 | 中国科学院上海高等研究院 | 基于仿生图像传感器的数据处理方法、装置、设备和介质 |
CN113269683B (zh) * | 2021-04-22 | 2023-04-18 | 天津(滨海)人工智能军民融合创新中心 | 一种基于自适应阈值的局部时空事件流滤波方法与*** |
CN113516676B (zh) * | 2021-09-14 | 2021-12-28 | 成都时识科技有限公司 | 角点检测方法、脉冲神经网络处理器、芯片及电子产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346850A (zh) * | 2011-10-13 | 2012-02-08 | 西北工业大学 | 复杂金属背景下DataMatrix条码区域定位方法 |
CN108288021A (zh) * | 2017-12-12 | 2018-07-17 | 深圳市深网视界科技有限公司 | 一种人群异常事件检测方法、电子设备和存储介质 |
WO2018132999A1 (zh) * | 2017-01-19 | 2018-07-26 | 浙江大学 | 一种用于可穿戴式设备的人体步长测量方法及其测量设备 |
CN109509213A (zh) * | 2018-10-25 | 2019-03-22 | 天津师范大学 | 一种应用于异步时域视觉传感器的Harris角点检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10725633B2 (en) * | 2017-07-11 | 2020-07-28 | THUMBA, Inc. | Changing the location of one or more cursors and/or outputting a selection indicator between a plurality of cursors on a display area in response to detecting one or more touch events |
-
2019
- 2019-06-05 CN CN201910485270.9A patent/CN110176028B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346850A (zh) * | 2011-10-13 | 2012-02-08 | 西北工业大学 | 复杂金属背景下DataMatrix条码区域定位方法 |
WO2018132999A1 (zh) * | 2017-01-19 | 2018-07-26 | 浙江大学 | 一种用于可穿戴式设备的人体步长测量方法及其测量设备 |
CN108288021A (zh) * | 2017-12-12 | 2018-07-17 | 深圳市深网视界科技有限公司 | 一种人群异常事件检测方法、电子设备和存储介质 |
CN109509213A (zh) * | 2018-10-25 | 2019-03-22 | 天津师范大学 | 一种应用于异步时域视觉传感器的Harris角点检测方法 |
Non-Patent Citations (3)
Title |
---|
Asynchronous Corner Detection and Tracking for Event Cameras in Real Time;Ignacio Alzugaray and Margarita Chli;《IEEE ROBOTICS AND AUTOMATION LETTERS》;20181031;第3卷(第4期);全文 * |
Fast Event-based Harris Corner Detection Exploiting the Advantages of Event-driven Cameras;Valentina Vasco et al.;《2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20161014;全文 * |
一种改进的Harris角点检测算法;赵艳 等;《桂林电子科技大学学报》;20171031;第37卷(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110176028A (zh) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110176028B (zh) | 一种基于事件相机的异步角点检测方法 | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
Denman et al. | An adaptive optical flow technique for person tracking systems | |
CN106934333B (zh) | 一种手势识别方法及*** | |
CN110910421B (zh) | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 | |
CN106203423B (zh) | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 | |
CN105809716B (zh) | 融合超像素与三维自组织背景减除法的前景提取方法 | |
CN108460333B (zh) | 基于深度图的地面检测方法及装置 | |
CN111445497B (zh) | 一种基于尺度上下文回归的目标追踪与跟随方法 | |
CN109410248B (zh) | 一种基于r-K算法的浮选泡沫运动特征提取方法 | |
CN105957107A (zh) | 行人检测与跟踪方法及装置 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN103020580A (zh) | 快速人脸检测方法 | |
CN105740814B (zh) | 一种使用视频分析确定固废危废存放状态的方法 | |
CN111222514A (zh) | 一种基于视觉定位的局部地图优化方法 | |
CN111881732B (zh) | 一种基于svm的人脸质量评价方法 | |
Denman et al. | Adaptive optical flow for person tracking | |
CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 | |
CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
WO2021192028A1 (ja) | 学習装置及び学習方法 | |
CN113658223B (zh) | 一种基于深度学习的多行人检测与跟踪方法及*** | |
WO2021192024A1 (ja) | 作業管理装置及び作業状態判定方法 | |
CN112070048B (zh) | 基于RDSNet的车辆属性识别方法 | |
CN112347962A (zh) | 一种基于感受野的卷积神经网络目标检测***与方法 | |
CN107341151A (zh) | 图像检索数据库生成方法、增强现实的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |