CN114882058B - 一种角点检测方法、装置及标定板 - Google Patents

一种角点检测方法、装置及标定板 Download PDF

Info

Publication number
CN114882058B
CN114882058B CN202210446262.5A CN202210446262A CN114882058B CN 114882058 B CN114882058 B CN 114882058B CN 202210446262 A CN202210446262 A CN 202210446262A CN 114882058 B CN114882058 B CN 114882058B
Authority
CN
China
Prior art keywords
corner points
calibration
line
image
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210446262.5A
Other languages
English (en)
Other versions
CN114882058A (zh
Inventor
李怡康
闫国行
刘卓纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210446262.5A priority Critical patent/CN114882058B/zh
Publication of CN114882058A publication Critical patent/CN114882058A/zh
Application granted granted Critical
Publication of CN114882058B publication Critical patent/CN114882058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域,尤其涉及一种角点检测方法、装置及标定板。能够解决现有技术中的通过图像识别的方式检测标定板的内角点时存在内角点漏检的问题。该方法包括获取待检测图像,待检测图像中包括标定板,标定板包括多个内角点,且多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;识别待检测图像中的第一部分角点;根据预设的排布关系,结合第一部分角点确定待检测图像中的第二部分角点。

Description

一种角点检测方法、装置及标定板
技术领域
本申请属于图像处理技术领域,尤其涉及一种角点检测方法、装置及标定板。
背景技术
智能驾驶辅助***(AdvancedDriverAssistanceSystem,ADAS)能够利用安装于车上的不同种类的传感器,如毫米波雷达、激光雷达、单/双目摄像头以及卫星导航等,在车辆行驶的过程中收集车内外的环境数据,以辅助用户驾驶车辆。
ADAS功能在使用前需要对ADAS相机进行标定,其中包括对ADAS相机的消失点、地面单应矩阵以及角度位移等的标定。目前,通常利用标定板对ADAS相机进行标定,在标定时,需要先采集标定图像,并确定标定图像上标定板的所有内角点的位置,然后再基于每个内角点的位置进行后续标定。
目前,通常采用图像识别的方式检测标定图像中标定板的所有内角点的位置。然而,在内角点检测的过程中,场景环境的多变性(例如环境亮度的变化),可能会导致待标定设备采集到的标定图像不清楚,从而无法识别到标定图像中属于标定板的所有内角点,出现内角点漏检的情况。
发明内容
有鉴于此,本申请实施例提供了一种角点检测方法、装置及标定板,以解决现有技术中的通过图像识别的方式检测标定板的内角点时存在内角点漏检的问题。
本申请实施例的第一方面提供了一种角点检测方法,包括:获取待检测图像,所述待检测图像中包括标定板,所述标定板包括多个内角点,且所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;识别所述待检测图像中的所述第一部分角点;根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点。
结合第一方面,在第一方面的第一种可能实现方式中,所述标定板包括M组标定格,所述M组标定格之间存在M-1条公共的交线,所述交线包括边线和中线,所述中线为所述M-1条交线中处于中间位置的交线,所述边线为所述M-1条交线中除所述中线外的交线;所述第一部分角点包括每一条所述边线上的任意两个内角点,以及处于所述中线上两端的内角点,其中,M>2且为偶数;所述第二部分角点为所述标定板中除所述第一部分角点外的其他内角点。
结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,在每一组所述标定格中,各个所述标定格沿第一方向相邻或者间隔设置,且所述M组所述标定格以组为单位沿第二方向依次设置,所述第二方向与所述第一方向相互垂直;其中,每一个所述标定格大小相同且均为正方形。
结合第一方面,在第一方面的第三种可能实现方式中,识别所述待检测图像中的所述第一部分角点,包括:识别所述待检测图像中的所有角点;根据每两个角点的位置确定一个直线模型;从所有所述直线模型中筛选出包括所述内角点的M-1条目标直线模型;从所述M-1条目标直线模型中识别出所述第一部分角点。
结合第一方面,在第一方面的第四种可能实现方式中,从所有所述直线模型中筛选出包括所述内角点的M-1条目标直线模型,包括:在所有所述直线模型中,筛选符合预设斜率条件以及角点数量条件的所有直线模型;对筛选出的所有直线模型按照斜率相近的方式进行直线组合聚类;按照内角点之间的距离对聚类后的所有直线组合进行筛选,确定所述M-1条目标直线模型。
结合第一方面,在第一方面的第五种可能实现方式中,所述斜率条件根据所述直线模型中所有直线与第一方向的位置关系确定;所述角点数量条件根据标定区域中每条交线上实际内角点数量确定。
结合第一方面,在第一方面的第六种可能实现方式中,对筛选出的所有直线模型按照斜率相近的方式进行直线组合聚类,包括:确定所有直线模型中斜率相近的直线模型,生成多个直线组合;确定每个所述直线组合的中线;确定所有斜率相近的直线组合;根据边线上的角点与中线的预设的位置关系,从斜率相近的所述直线组合中筛选出所有直线组合中的边线;将每个所述直线组合的中线和边线进行直线组合聚类。
结合第一方面,在第一方面的第六种可能实现方式中,根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点,包括:确定所述第一部分角点的位置;根据标定板中标定格的组数以及设置位置确定所述待检测图像中的第二部分角点。
本申请实施例的第二方面提供了一种角点检测装置,所述装置包括:获取单元,用于获取待检测图像,所述待检测图像中包括标定板,所述标定板包括多个内角点,且所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;识别单元,用于识别所述待检测图像中的所述第一部分角点;确定单元,用于根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点。
本申请实施例的第三方面提供了一种标定板,包括基板以及所述基板上的标定区域;所述标定区域包括多个角点,所述多个角点中的第一部分角点和第二部分角点之间存在预设的对应关系;其中,所述预设的对应关系用于,电子设备在识别到所述第一部分角点但未识别到所述第二部分角点的情况下,确定所述第二部分角点。
本申请实施例的第四方面提供了一种角点检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
本申请实施例的第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请提供一种角点检测方法、装置及标定板,通过将待检测图像中标定板的第一部分内角点检出,然后根据第一部分内角点和第二部分内角点之间存在的预设排布关系,将标定板中的第二部分内角点检出。通过该种方法能够在标定板内角点漏检的情况下,根据预设的排布关系,将未检出的内角点全部检出,解决了现有技术中的通过图像识别的方式检测标定板的内角点时存在内角点漏检的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种标定板的结构示意图;
图2是本申请实施例提供的另一种标定板的结构示意图;
图3是本申请实施例提供的另一种标定板的结构示意图;
图4是本申请实施例提供的另一种标定板的结构示意图;
图5是本申请实施例提供的另一种标定板的结构示意图;
图6是本申请实施例提供的一种标定图像的示意图;
图7是本申请实施例提供的一种角点检测方法流程图;
图8是本申请实施例提供的另一种标定图像的示意图;
图9是本申请实施例提供的第一角点和第二角点的位置示意图;
图10是本申请实施例提供的标定图像中直线模型示意图;
图11是本申请实施例提供的直线起点和终点的位置示意图;
图12是本申请实施例提供的一种直线组合示意图;
图13是本申请实施例提供的直线组合中投影点位置示意图;
图14是本申请实施例提供的线间距与点间距之间的位置关系示意图;
图15是本申请实施例提供的标定板第一部分角点与第二部分角点对应关系示意图;
图16是本申请实施例提供的角点检测装置的示意图;
图17是本申请实施例提供的角点检测设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
以下结合具体的实施例对本申请提供的技术方案进行详细的解释说明。
近年来,国内ADAS市场规模以每年接近翻番的速度增长,越来越多的车辆具备ADAS功能,为了使得ADAS功能正常使用,需要对ADAS相机进行标定。该ADAS相机标定包括消失点、地面单应矩阵以及角度位移等参数的标定。在进行ADAS相机标定时,首先要通过待标定设备(如ADAS相机)采集标定图像。随后,图像处理设备通过图像识别的方式对标定图像进行角点检测,确定标定板上所有内角点的位置。其中,该标定图像包括标定板的图像。最后,再基于每个内角点的位置完成后续的标定过程,最终得到消失点、地面单应矩阵以及角度位移等参数。该图像处理设备可以是待标定设备,也可以是其他电子设备,本实施例对此不进行限制。
在本实施例中,角点是指标定图像中的极值点。例如,角点可以是该标定图像中两条线的交叉点,也可以是标定图像中位于相邻的两个主要方向不同目标物体上的点。内角点是专指标定板的标定区域中与标定区域的边缘不接触的角点。
在进行ADAS相机标定时,标定板内角点检测是影响整个标定流程顺利进行的主要因素。目前,通常采用图像识别的方式检测该标定图像中标定板的所有内角点。然而在内角点检测的过程中,场景环境的多变性(例如环境亮度的变化)可能会导致待标定设备采集到的标定图像不清楚,从而导致图像处理设备无法识别到标定图像中属于标定板的所有角点,出现角点漏检的情况。可以理解,由于标定过程需要使用标定板上所有内角点的位置信息,因此一旦标定图像出现内角点漏检,就会导致后续标定过程失败。
通过传统标定板计算消失点、地面单应矩阵以及角度位移等的参数时,其所使用的标定算法,需要针对标定图像中每个内角点的检出位置进行标定。而通过上述图像识别的方式进行内角点检测时,由于场景环境的多变性,在亮度以及标定背景等多种因素的影响下,角点检测失败的情况常有发生。一旦存在角点漏检情况,后续流程均无法执行,整个标定流程都判定失败。
另一方面,传统的标定过程为了将标定板中所有的内角点检出,通常需要使用尺寸较大的标定板(宽度通常在2.5米左右),并且为了利于计算过程,用户需要调整标定板的摆放位置,以保持标定板的中心高度与待标定相机的中心高度相同。这就导致标定过程中,标定板的移动和摆放过程相对繁琐,标定效率较低,用户体验不佳。
可见,标定板的摆放位置和内角点是否成功检出直接影响了ADAS相机标定的标定效率和成功率。
基于此,本申请技术方案提供了一种标定板以及基于该标定板的角点检测方法,通过该技术方案,标定设备在未通过图像识别算法识别到标定图像上标定板所有内角点的情况下,也仍然能够将标定板上漏检的内角点检出,不会影响后续的标定流程。另外,该方法在检测角点的过程中对标定板的尺寸以及摆放位置没有特殊要求,标定板使用方便。
图1为本申请的一个实施例提供的标定板的结构示意图。请参考附图1,该标定板包括标定基板以及位于该标定基板平面上的标定区域,该标定区域用于对待标定相机的外部参数进行标定。其中,待标定相机可以为车载摄像头,数码相机等,待标定相机的外部参数是指待标定相机所拍摄的图像中实际物体的尺寸。
在一些实施例中,该标定区域包括至少四组的偶数组标定格,每一个标定格大小相同且均为正方形。在每一组标定格中,各个标定格沿第一方向相邻或者间隔设置。在该偶数组标定格中,各组标定格以组为单位沿第二方向依次设置,该第二方向与第一方向相互垂直。
在一个示例中,参见图1所示,第一方向为竖向,第二方向为横向,每一组标定格中的各个标定格沿竖向相邻或者间隔设置,各组标定格沿横向依次相邻设置。
在另一个示例中,参见图2所示,第一方向为横向,第二方向为竖向,每一组标定格中的各个标定格沿横向相邻或者间隔设置,各组标定格沿竖向依次相邻设置。
另外,本实施例将沿第二方向设置的各组标定格按照图示从左到右的顺序,依次称为第一组标定格、第二组标定格、第三组标定格、第四组标定格……等。需要说明的是,位于中间部分的若干组标定格(例如图1中的第二组标定格和第三组标定格)中,每组标定格中的各个标定格需要依次间隔一个标定格设置,即每两个标定格之间留一个空位,该空位和标定格的大小相同。而在位于外侧的两组标定格(例如图1中的第一组标定格和第四组标定格)中,各个标定格的数量和位置可以任意设置。
由于各组标定格沿第二方向相邻依次设置,那么每相邻的两组标定格之间会有一条公共的交线。另外,位于两边的两组标定格存在两条外侧轮廓线。可以理解,该交线与轮廓线相互平行,交线之间相互平行,且与第一方向平行。本实施例将所有交线中位于中间位置的交线称为中线,将中线两侧的交线称为边线。
应理解,在本实施例的标定板的标定区域中,由于标定格组由若干个大小相同且均为正方形的标定格相邻或者间隔设置,因此,在该标定区域中,中线与各个边线,或者,边线与边线之间的间距相等。
在本实施例中,标定板中的内角点是指标定区域中相邻标定格之间的交叉点,或者每个标定格上的拐点,且内角点位于中线和边线上,标定区域中两侧轮廓线上的角点不属于内角点。例如图3中的所示交叉点以及拐点位置。
在本实施例中提供的标定板的标定区域中,在每一条交线上的内角点数量大于预设数量。在一个示例中,该预设数量为6。
示例性的,以该标定板包括四组标定格为例,参见图3所示,该标定板包括三条交线,其中第一组标定格和第二组标定格之间公共的交线为第一边线,第二组标定格和第三组标定格公共的交线为中线,第三组标定格和第四组标定格公共的交线为第二边线。在该第一边线、中线以及第二边线的直线上,角点的数量均需要大于6。
需要说明的是,该标定区域中的交线数量随着标定格组数的增大而增加。例如,当标定区域中预设有六组标定格时,其交线的数量则为五条,包括位于第三组标定格和第四组标定格间的中线,以及其他标定格组之间组成的四条边线,参见图4所示。当标定区域中预设有八组标定格时,其交线的数量则为七条,包括位于第四组标定格和第五组标定格间的中线,以及其他标定格组之间组成的六条边线,参见图5所示。
应理解,在具体使用算法对标定板内角点进行检测的过程中,由于直线的条数越多,在后续角点的计算中,其算法的复杂度相继增加,因此,为了适应于标定板的大小以及算法的复杂程度,通常选择将标定区域中交线的数量设置为三条,参见图3中所示的标定板。如此一来,既适应了标定板的大小,又能在后续进行角点检测时,避免过多条直线带来的干扰。
可选的,为了适应于实际应用,本实施例中的标定板的宽度可以设置为0.5米左右。
基于上述实施例中提供的标定板,本申请实施例还提供了一种角点检测方法,用于在进行相机标定的过程确定标定图像中属于标定板的角点。
通过本方法在进行角点检测的过程中,标定图像中标定板的摆放位置可以设置为任意位置,包括竖向摆放和横向摆放。本实施例将角点检测时竖向摆放时的标定板称为竖向标定板,可参见图1、图3、图4和图5中所示;而将横向摆放的标定板称为横向标定板,参见图2所示。以下则以图6中所示的竖向标定板为例,对本实施例提供的标定板的角点检测方法进行详细的解释说明。下文出现的标定板不做特殊说明时则默认为竖向标定板。
图7为本实施例提供的角点检测方法流程图。参见图7所示,该角点检测方法包括如下步骤S1-S7。
S1、图像处理设备获取标定图像,该标定图像为包括标定板的图像。
该标定图像为通过待标定相机拍摄到的图像,该标定图像中包括的标定板可以是如包括前文所述的标定板。该标定图像可以是黑白图像或者彩色图像。
图像处理设备和待标定相机可以是同一设备,也可以是不同的设备。当图像处理设备与待标定相机是同一设备时,待标定相机拍摄到的图像即为标定图像。当图像处理设备与待标定相机是不同设备时,待标定相机可以将拍摄到的标定图像发送至图像处理设备,再由图像处理设备做进一步处理。
为提高角点检测和标定结果的精度,图像处理设备获取到的标定图像可以不包括其它背景信息。当然,在拍摄过程中也可能包括背景信息,即标定板之外的信息,为提高角点检测的准确度,所拍摄的标定图像中的背景图像中应避免出现类似于标定区域角点的噪声图像。
示例性的,图6为本申请的一个实施例提供的标定图像的示意图,图8为本申请的另一个实施例提供的标定图像示意图。这两张标定图像均既包括标定板又包括标定板的背景信息,图8中的背景信息相比于图6中的背景信息较为复杂,在角点检测过程中,图8相比于图6来说角点检测的准确度较低,而两张图的背景信息中不均含有类似于标定区域角点的噪声图像。
S2、图像处理设备对标定图像进行灰度处理,得到待检测图像。
可选的,图像处理设备在获取到标定图像后,需要对该标定图像进行灰度处理,得到待检测图像。
应理解,如果待标定相机拍摄获取到标定图像不是灰度图像,则需要对该标定图像进行灰度处理,以获取标定图像对应的灰度图像。若图像处理设备采集到的标定图像本身就是灰度图像,则电子设备无需对标定图像进行灰度处理,即在S1之后无需执行S2,直接执行S3。
S3、图像处理设备获取待检测图像中的所有角点。
待检测图像中的所有角点,包括属于标定板中标定区域的内角点,以及背景信息中的物体图像的角点。例如,参见图9所示,图中的第一角点则为标定板中标定区域的内角点,第二角点则为背景信息中物体图像的角点。
在一些实施例中,图像处理设备可以采用角点检测算法确定待检测图像中的所有角点。示例性的,该角点识别算法可以是Shi-Tomasi角点检测算法、Harris角点检测算法、Moravec角点检测算法中的任一个。
以Shi-Tomasi角点检测算法为例,图像处理设备可以根据待检测图像中颜色的梯度信息,将整幅待检测图像中所有可能的角点进行标注。在一个示例中,可以将Shi-Tomasi角点检测算法确定的角点个数设置在0-500内。
参见附图7,附图7为本申请一个实施例中通过Shi-Tomasi角点检测算法所获取到的所有角点分布示意图。示例性的,在上述图6以及图8中同样示出了在通过角点检测算法进行检测后,待检测图像中的所有角点的位置。
本实施例中的角点检测是基于灰度图像进行的,检测过程对不同光照环境的适应度高,检测过程能够多方位的检出图像中所有的角点,因此,在角点重合的情况下可以将各个潜在的角点均检出,具有一定的冗余性,能够将待检测图像中的所有角点检出。
S4、图像处理设备根据待检测图像中的所有角点建立角点直线模型,并确定符合与第一方向所在直线斜率相近的所有直线模型。
相近是指角点所在直线与第一方向所在直线斜率的差值在预设范围内,示例性的,该预设范围可以为0-10-2mm。
在一些实施例中,图像处理设备可以依次通过确定直线、计算角点到直线的距离以及设置筛选条件等流程确定符合预设条件的所有直线模型,具体如下所示。
首先,采用随机抽样一致(Random Sample Consensus,RANSAC)算法在待检测图像的所有角点中,根据每两个角点确定一条直线。以这两个角点是{P0,P1}为例,电子设备根据该两个角点可以建立直线方程ax+by+c=0,其中a、b、c的具体数值根据{P0,P1}的具体坐标值确定。应理解,若待检测图像中有N个角点,则可以确定条直线。例如,当N为30时,即电子设备可以确定435条直线。
其次,将处于直线上的点记为Pn={xn,yn},根据点到直线的距离遍历待检测图像中的每条直线,筛选每条直线上包含的所有角点,其中abc的具体数值根据需要遍历的具体直线确定。即确定待检测图像中每一个角点到各个直线的距离,若角点到某直线的距离在阈值范围(如0-10-2mm)内,将该角点确定为该直线上的角点。通过该方法,可以确定出每条直线上包括的所有角点。
随后,图像处理设备从所有直线中筛选出满足斜率条件,且满足角点数量条件的直线。其中,斜率条件是指角点所在直线与第一方向所在直线斜率的差值在预设范围,角点数量条件是指角点数量与标定区域中每条直线上实际的角点数量差值在预设范围。
应理解,在本实施例中,当标定过程采用的标定板为图3所示的竖向标定板时,该第一方向为图3中的竖向方向,设置斜率条件为直线的斜率k大于10或者小于-10;每条竖向直线上的角点数量至少为16个,因此,在设置角点数量条件时,可以将该范围设置为10-30个。
在另一些实施例中,当标定过程采用的标定板为横向标定板时,即第一方向为横向方向,斜率条件可以是斜率k的取值范围为0至0.5,或者,-0.5至0,角点数量条件的方式同上所述。
需要说明的是,在实际应用中,为了适应于具体的算法,在进行标定板的选取时,通常情况下竖向标定板相较于横向标定板优势更为突出。由于在求取直线斜率时,正弦函数的公式,使得斜率在90°左右的单位角度变化的比较大,在直线筛选时适合过滤。而横向标定板虽然也可实现同样的功能,但是从车间标定的环境来说,横向标定板相较于竖向标定板存在更多的直线干扰。当然,可以根据实际的应用环境进行选择,本实施例中只提供了一种应用场景以及实施方式,具体在应用时可以根据实际情况进行调整,本实施例不做限制。
图像处理设备基于上述斜率条件以及角点数量条件从所有直线中不断重复的过滤筛选,从而得到符合特定角点数量并且斜率在一定范围内的所有竖向直线。如图10所示,在对图8中的所有角点所建立的直线进行筛选后,即得到如图10中所示的若干条竖向直线图。
S5、图像处理设备对筛选出的所有直线模型按照斜率相近的方式进行直线组合聚类。
在本实施例中,图像处理设备可以依次通过确定基准直线、计算待检测图像中每条直线上角点到该基准直线的距离,对待检测图像中的每条竖向直线上的角点进行排序,具体如下所示。
首先,图像处理设备确定基准直线,该基准直线可以是与需要进行角点排序的直线相邻的直线,也可以是除过该直线外的任一直线。
然后根据基准直线的方向向量vec=p1-p0,计算待检测图像中每条竖向直线上每个角点Pn={xn,yn}到该基准直线上的距离。其中,p1和p0为该基准直线上的任意两点。
最后通过每条竖向直线上的角点到基准直线的距离大小,对该竖向直线上每个角点进行排序,筛选出该竖向直线上角点的起点和终点。
在本实施例中,起点是指待检测图像中一条直线的一端的第一个角点;终点是指该条直线的另一端的第一个角点。
图像处理设备在对待检测图像中的每条竖向直线进行角点排序时,可以根据每条竖向直线上的角点到基准直线的距离,以及直线间预设的线性关系。该预设的线性关系可以是待排序直线上的起点为待排序直线中到基准直线上距离最大的点,终点为待排序直线中到基准直线上距离最小的点。或者预设的线性关系可以是待排序直线上的起点为待排序直线中到基准直线一端距离最大的点,终点为待排序直线中到基准直线另一端上距离最大的点。
例如,请参考附图11,以附图11中的直线A为例,计算直线B上的角点到直线A的距离,即直线A为基准直线,直线B为需要进行角点排序的直线,图像处理设备根据该距离对直线B上的角点进行排序,得到直线B上的起点和终点。图像处理设备根据预设的线性关系即待排序直线上的起点为待排序直线中到基准直线上距离最大的点,终点为待排序直线中到基准直线上距离最小的点,确定直线B上的起点和终点,在该示例中,直线B上的起点为直线B上到直线A的距离最大的点,终点为直线B上到直线A的距离最小的点。反之,通过计算直线A上的角点到直线B的距离,由此对直线A上的角点进行排序,得到直线A上的起点和终点。如图11中所示,直线A的起点和终点以及直线B的起点和终点均如图中所示位置。
在另一些实施例中,请参考附图11,以附图11中的直线C为例,计算直线D上的角点到直线C的距离,根据该距离对直线D上的角点进行排序,得到直线D上的起点和终点。图像处理设备根据预设的线性关系即待排序直线上的起点为待排序直线中到基准直线一端距离最大的点,终点为待排序直线中到基准直线另一端上距离最大的点,确定直线D上的起点和终点,在该示例中,直线D上的起点为直线D上到直线C一端距离最大的点,终点为直线D上到直线C另一端距离最大的点。反之,通过计算直线C上的角点到直线D的距离,由此对直线C上的角点进行排序,得到直线C上的起点和终点。如图11中所示,直线C的起点和终点以及直线D的起点和终点均如图中所示位置。
应理解,本实施例中,在计算直线上的起点和终点时,图像处理设备可以先根据点到直线的距离将该直线上所有的点进行排序后再进行存储,比如,距离由大到小的顺序进行存储。这是由于计算起点和终点时所采用的算法是按照排序好的角点的位置进行计算的,为了降低时间复杂度,需要提前将每条直线上的角点位置进行排序,从而降低后续算法的复杂度,有利于进行起点和终点的计算。如果不进行排序,在后续计算终点和起点时需要重新对角点位置进行排序,导致计算工作量大,计算复杂度高。
图像处理设备根据上述方式遍历待处理图像中所有直线上的角点,对每条直线上的角点进行排序,最终得到每条直线上的起点和终点。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
图像处理设备对每条直线上的角点进行排序后,由于同一直线上的角点可能是属于不同物体上的角点,例如,图像中的某一角点可能是标定区域中的角点,也可能是背景信息中的角点。因此,需要进一步确定判断该角点的具体。
例如,通过计算每条直线上角点至角点之间的距离,对直线上距离相等的角点进行粗略的聚类,即首先通过直线上的角点确定直线上的多个线段,然后对每个线段中间距相等的角点进行聚类,由此得到角点距离相等的所有直线模型,从而剔除不符合该条件的所有角点。
再例如,通过计算角点与角点组成线段的斜率,将斜率属于同一范围内的角点线段进行聚类。最后将角点与角点之间的距离相等或者相近的直线进行聚类,将斜率属于同一范围内的角点线段所在的直线进行聚类,从而剔除不属于该聚类直线上的角点。
本实施例是以标定板是图3中所示的竖向标定板为例,因此,图像处理设备可以根据标定板的特征属性,在筛选出的所有直线模型中找到符合平行且等距条件的两条边线以及中线的直线组合。
在一些实施例中,图像处理设备首先确定标定板中满足要求的所有中线,具体包括:对于筛选出的所有直线模型中的每条直线,筛选斜率相等的所有直线,然后将同一斜率的直线确定为一个直线组合,再确定每个直线组合中的中线。例如,图像处理设备首先任意选择一条直线,然后在所有的直线模型中筛选与该条直线斜率相等的直线,若存在与该直线斜率相等的两条直线,则将该三条直线设置为一个直线组合,并确定该三条直线的中间直线为中线。
图像处理设备通过上述方式将所有直线模型中满足与中线具有相同斜率的所有三条直线的组合全部筛出。然后根据每种组合中,边线上角点与中线的位置关系,将组合直线分为位于中线一边的边线以及位于中线另一边的边线。最后根据两条边线与中线等距的条件,筛选出所有可能的三条直线组合,并将每个直线组合进行聚类。
S6、图像处理设备确定标定板内角点所在直线的直线组合。
在一些实施例中,图像处理设备对筛选出的所有直线组合进行处理,将每个直线组合中两边边线上的角点均投影至中线上,投影完成之后,两边边线上的角点则有可能与中间中线上的角点合并,然后针对投影且角点合并后的中线做进一步的判断。图12为筛选出的一种直线组合示意图,如图12所示,将图12中左右两条边线上的角点均投影至中线上,得到如图13所示的直线组合示意图。
应理解,本实施例中,根据标定板实际的独立参数,即标定格组之间所形成的交线相互平行且等距,并且每条直线上的内角点之间的距离相等,因此,直线组合中两条边线至中线的距离与角点之间的距离相等,且满足平行、等距的角点才能投影至中线上。
在一些实施例中,由于两条边线以及中线上的角点可能存在漏检的情况,因此需要将两条边线上的角点投影至中线上,然后再针对中线上原始的角点以及投影后的角点做进一步筛选处理。
图像处理设备首先计算投影合并后的中线上的角点间距a,然后基于标定板的特征属性,即中线上每个角点之间的距离相等,以每个直线组合中三条线的线间距作为估算的直线点间距b,与计算出的投影合并后的中线上的角点间距a进行比较。如图14所示,通常情况下,a与b的值一致,在计算时,若存在计算出来的a值明显偏大或者偏小,则说明其中的角点不属于标定板上的角点,根据此方式筛选出符合标定板中间线段长度的投影线段,由此剔除掉直线上不属于标定板的外侧角点。在计算过程中,若存在多个符合要求的组合,则从中筛选出包含等间距线段最多的三条直线组合,则该包含等间距线段最多的三条直线组合即为标定板内角点部分的直线组合。
应理解,在上述标定板内角点部分的直线组合中,该直线组合内所检出的所有角点即为第一部分角点。
S7、图像处理设备将直线组合上的内角点与标定板中标定区域中实际的内角点对应,检出直线组合中的所有内角点。
在一些实施例中,图像处理设备在筛选出标定板对应的直线组合后,首先获取直线上的起点和终点,该起点和终点为通过上述直线角点排序的方式检测出的点。然后结合中线与两条边线上的距离以及每条直线上各个角点之间的点间距相等的原则,即可将其与标定板中标定区域中的角点进行一一对应,检出直线组合中的所有未检出的内角点,该未检出的内角点即为第二部分角点。
通过本实施例提供的技术方案,在标定板的直线组合中,每组直线只要能检测到8个内角点,标定板内角点就能成功检测。具体的,该8个内角点包括:三条直线组合中至少每条直线上的两个内角点确认一条直线,确认中线的直线上至少需要检测出四个内角点才能确认中线的起点和终点,该四个内角点为确定中线的两个角点以及起点和终点,确定中线的起点和终点之后,即可根据实际标定板的尺寸检测出三条直线上所有标定板上的内角点。可见,两条边线上需要至少检出两个内角点,中线上确认直线的两个内角点以及起点和终点,共四点。因此,三条直线组合中,至少需要检出8个内角点,即可实现所有内角点的检测。
本实施例中,检出上述直线组合和8个内角点的方式再上述实施例中均有所阐述,因此,通过本实施例中提供的方法,如图15所示,通过第一部分角点与第二部分角点相对应,在有角点漏检的情况下,该算法仍能提取出标定板角点,并找到对应位置。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图16为本申请实施例提供的一种角点检测装置的示意图,如图16所示,该装置包括:
获取单元,用于获取待检测图像,所述待检测图像中包括标定板,所述标定板包括多个内角点,且所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;
识别单元,用于识别待检测图像中的第一部分角点;
确定单元,用于根据预设的排布关系,结合第一部分角点确定待检测图像中的第二部分角点。
图17是本申请一实施例提供的角点检测设备的示意图。如图17所示,该实施例的角点检测设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如角点检测程序。所述处理器40执行所述计算机程序42时实现上述各个角点检测方法实施例中的步骤。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述角点检测设备4中的执行过程。
所述角点检测设备4可以是平板电脑、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述角点检测设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图17仅仅是角点检测设备4的示例,并不构成对角点检测设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述角点检测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述角点检测设备4的内部存储单元,例如角点检测设备4的硬盘或内存。所述存储器41也可以是所述角点检测设备4的外部存储设备,例如所述角点检测设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述角点检测设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述角点检测设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (7)

1.一种角点检测方法,其特征在于,包括:
获取待检测图像,所述待检测图像中包括标定板,所述标定板包括多个内角点,且所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;
识别所述待检测图像中的所述第一部分角点;
根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点;
所述标定板包括M组标定格,所述M组标定格之间存在M-1条公共的交线,所述交线包括边线和中线,所述中线为所述M-1条交线中处于中间位置的交线,所述边线为所述M-1条交线中除所述中线外的交线;
所述第一部分角点包括每一条所述边线上的任意两个内角点,以及处于所述中线上两端的内角点,其中,M>2且为偶数;
所述第二部分角点为所述标定板中除所述第一部分角点外的其他内角点;
在每一组所述标定格中,各个所述标定格沿第一方向相邻或者间隔设置,且所述M组所述标定格以组为单位沿第二方向依次设置,所述第二方向与所述第一方向相互垂直;其中,每一个所述标定格大小相同且均为正方形;
识别所述待检测图像中的所述第一部分角点,包括:
识别所述待检测图像中的所有角点;
根据每两个角点的位置确定一个直线模型;
从所有所述直线模型中筛选出包括所述内角点的M-1条目标直线模型;
从所述M-1条目标直线模型中识别出所述第一部分角点。
2.根据权利要求1所述的方法,其特征在于,从所有所述直线模型中筛选出包括所述内角点的M-1条目标直线模型,包括:
在所有所述直线模型中,筛选符合预设斜率条件以及角点数量条件的所有直线模型;
对筛选出的所有直线模型按照斜率相近的方式进行直线组合聚类;
按照内角点之间的距离对聚类后的所有直线组合进行筛选,确定所述M-1条目标直线模型。
3.根据权利要求2所述的方法,其特征在于,所述斜率条件根据所述直线模型中所有直线与第一方向的位置关系确定;
所述角点数量条件根据标定区域中每条交线上实际内角点数量确定。
4.根据权利要求2所述的方法,其特征在于,对筛选出的所有直线模型按照斜率相近的方式进行直线组合聚类,包括:
确定所有直线模型中斜率相近的直线模型,生成多个直线组合;
确定每个所述直线组合的中线;
确定所有斜率相近的直线组合;
根据边线上的角点与中线的预设的位置关系,从斜率相近的所述直线组合中筛选出所有直线组合中的边线;
将每个所述直线组合的中线和边线进行直线组合聚类。
5.根据权利要求1所述的方法,其特征在于,根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点,包括:
确定所述第一部分角点的位置;
根据标定板中标定格的组数以及设置位置确定所述待检测图像中的第二部分角点。
6.一种角点检测装置,其特征在于,所述装置包括:
获取单元,用于获取待检测图像,所述待检测图像中包括标定板,所述标定板包括多个内角点,且所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;
识别单元,用于识别所述待检测图像中的所述第一部分角点;
确定单元,用于根据所述预设的排布关系,结合所述第一部分角点确定所述待检测图像中的所述第二部分角点;
所述标定板包括M组标定格,所述M组标定格之间存在M-1条公共的交线,所述交线包括边线和中线,所述中线为所述M-1条交线中处于中间位置的交线,所述边线为所述M-1条交线中除所述中线外的交线;
所述第一部分角点包括每一条所述边线上的任意两个内角点,以及处于所述中线上两端的内角点,其中,M>2且为偶数;
所述第二部分角点为所述标定板中除所述第一部分角点外的其他内角点;
在每一组所述标定格中,各个所述标定格沿第一方向相邻或者间隔设置,且所述M组所述标定格以组为单位沿第二方向依次设置,所述第二方向与所述第一方向相互垂直;其中,每一个所述标定格大小相同且均为正方形;
识别所述待检测图像中的所述第一部分角点,包括:
识别所述待检测图像中的所有角点;
根据每两个角点的位置确定一个直线模型;
从所有所述直线模型中筛选出包括所述内角点的M-1条目标直线模型;
从所述M-1条目标直线模型中识别出所述第一部分角点。
7.一种标定板,其特征在于,包括基板以及所述基板上的标定区域;
所述标定区域包括多个内角点,所述多个内角点中的第一部分角点和第二部分角点之间存在预设的排布关系;其中,所述预设的排布关系用于,电子设备在识别到所述第一部分角点但未识别到所述第二部分角点的情况下,确定所述第二部分角点;
在对所述标定板进行角点检测时,所述电子设备采用如权利要求1~5任一项所述的角点检测方法。
CN202210446262.5A 2022-04-26 2022-04-26 一种角点检测方法、装置及标定板 Active CN114882058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446262.5A CN114882058B (zh) 2022-04-26 2022-04-26 一种角点检测方法、装置及标定板

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446262.5A CN114882058B (zh) 2022-04-26 2022-04-26 一种角点检测方法、装置及标定板

Publications (2)

Publication Number Publication Date
CN114882058A CN114882058A (zh) 2022-08-09
CN114882058B true CN114882058B (zh) 2024-06-07

Family

ID=82672303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446262.5A Active CN114882058B (zh) 2022-04-26 2022-04-26 一种角点检测方法、装置及标定板

Country Status (1)

Country Link
CN (1) CN114882058B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146932A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 确定图像中目标点的世界坐标的方法、装置和***
CN111681284A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种角点检测方法、装置、电子设备及存储介质
CN112085798A (zh) * 2020-08-10 2020-12-15 深圳市优必选科技股份有限公司 摄像机标定方法、装置、电子设备及存储介质
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146932A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 确定图像中目标点的世界坐标的方法、装置和***
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN111681284A (zh) * 2020-06-09 2020-09-18 商汤集团有限公司 一种角点检测方法、装置、电子设备及存储介质
CN112085798A (zh) * 2020-08-10 2020-12-15 深圳市优必选科技股份有限公司 摄像机标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114882058A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN110136182B (zh) 激光点云与2d影像的配准方法、装置、设备和介质
CN107038443B (zh) 一种在电路板上定位感兴趣区域的方法和装置
CN114067001B (zh) 车载相机角度标定方法、终端及存储介质
CN112233076B (zh) 基于红色圆标靶图像处理的结构振动位移测量方法及装置
CN112556994B (zh) 一种光学信息检测方法、装置及设备
CN112198878B (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN110909772B (zh) 一种高精度实时多尺度表盘指针检测方法和***
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN114882058B (zh) 一种角点检测方法、装置及标定板
CN108564571B (zh) 图像区域选取方法及终端设备
CN111598956A (zh) 标定方法、装置和***
CN113674361B (zh) 一种车载环视校准实现方法及***
CN113625296B (zh) 基于反光板的机器人定位方法、装置及机器人
CN111260723A (zh) 棒材的质心定位方法及终端设备
CN110490865A (zh) 基于螺柱高反光特性的螺柱点云分割方法
CN115063613B (zh) 一种验证商品标签的方法及装置
CN116485917B (zh) 拍摄装置与雷达装置的联合标定方法、***、设备及介质
CN116152350B (zh) 内参评估方法、装置、终端及存储介质
CN114037767A (zh) 一种相机内参标定装置及方法
CN117423123A (zh) 缺失单元格位置确定方法、装置及计算机设备
CN116188571A (zh) 一种用于机械臂的正多棱柱检测方法
CN116843766A (zh) 一种线结构光设备标定方法、装置和***
CN118015632A (zh) 一种直线交点题卡校正方法、装置、设备及存储介质
CN118112543A (zh) 一种基于双线结构的二维激光雷达与相机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant