CN118115368A - 一种自动化喷涂路径优化方法及*** - Google Patents
一种自动化喷涂路径优化方法及*** Download PDFInfo
- Publication number
- CN118115368A CN118115368A CN202410516641.6A CN202410516641A CN118115368A CN 118115368 A CN118115368 A CN 118115368A CN 202410516641 A CN202410516641 A CN 202410516641A CN 118115368 A CN118115368 A CN 118115368A
- Authority
- CN
- China
- Prior art keywords
- point
- center point
- points
- value
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005507 spraying Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 40
- 230000002146 bilateral effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000007921 spray Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 26
- 238000004220 aggregation Methods 0.000 description 12
- 230000002776 aggregation Effects 0.000 description 12
- 238000009826 distribution Methods 0.000 description 12
- 239000006185 dispersion Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及点云数据处理领域,具体涉及一种自动化喷涂路径优化方法及***,方法包括:获取零部件的点云数据及其颜色信息,得到对应的灰度值;对点进行聚类,得到点的聚类类别;以任一点为中心点,设定滤波器,根据每一位置的局部密度和梯度幅度,确定对应的空间域权重调节因子,根据每一位置的局部密度和离散值,确定对应的灰度值域权重调节因子,基于双边滤波算法,得到更新后的灰度值,从而得到处理后的点云数据,基于蚁群算法,得到喷涂路径;其中,根据一个位置所在区域中点的特征,确定局部密度、梯度幅度、离散值和灰度值。本发明对点云数据进行滤波的效果较好,从而得到的喷涂路径更合理。
Description
技术领域
本发明一般地涉及点云数据处理领域。更具体地,本发明涉及一种自动化喷涂路径优化方法及***。
背景技术
对汽车零部件进行喷涂涂层既可以使得汽车零部件更加美观,还可以对零部件起到保护的作用。
汽车行驶在路上时,会遭受到各种各样的天气和环境的影响,比如雨水、阳光、灰尘等等。如果没有涂层的保护,汽车的金属部件很容易生锈和腐蚀。而涂层可以形成一层保护层,将金属部件与外界环境隔离开来,从而延长它们的使用寿命。
随着科技的发展,更多种类的工业品的生产通过自动化设备完成,自动化设备生产的产品的精确度较高,生产的效率较高。在汽车零部件涂装领域,人工喷涂的方式也逐渐被机器喷涂取代。
因为不同汽车零部件的形状、大小和结构各异,为了确保喷涂的均匀性和完整性,机器可根据被喷涂零部件的三维形状来生成喷涂路径,根据喷涂路径对零部件进行喷涂。
获取三维形状的方式为:通过激光雷达对零部件进行扫描,得到零部件的点云数据,其表示了零部件的三维形状,点云数据中点包括对应的位置信息和颜色信息等。然而得到的点云数据中通常存在一定量的噪声,导致识别到的零部件的三维形状的准确度较低的可能性较大,进而导致得到的喷涂路径的准确度较低的可能性较大,得到的喷涂路径的合理程度较低。
现有技术中,可通过常规滤波算法对点云数据进行滤波,使得噪声被平滑,例如可通过高斯滤波算法对点云数据进行滤波,其仅考虑点云数据中点的距离对滤波的权重的影响,因为点云数据中的噪声与非噪声点的距离较大的可能性较大,所以滤波后点云数据中仍然存在较多噪声的可能性较大,即对点云数据进行滤波的效果较差,导致识别到的零部件的三维形状的准确度较低的可能性较大,进而导致得到的喷涂路径的准确度较低的可能性较大,机器根据该喷涂路径对零部件进行喷涂的效果较差。
发明内容
为解决上述一个或多个技术问题,本发明提出通过点云数据中点的分布、噪声点相对于非噪声点的特征,确定中心点对应的滤波器中每一个位置处在噪声区域的可能性,从而确定每一个位置对应的滤波的权重,处在噪声区域的可能性越大,对应的权重越小,进而对中心点进行处理,得到更新后的灰度值,从而得到滤波后的点云数据,对其使用蚁群算法,得到零部件的喷涂路径。为此,本发明在如下的多个方面中提供方案。
在本发明实施方式的第一方面中,提供了一种自动化喷涂路径优化方法,包括:获取零部件的点云数据和其中每一个点的颜色信息,对其灰度化,得到每一个点的灰度值;对所有点进行密度聚类,得到每一个点的聚类类别;以任一点为中心点,以所述中心点为中心设定预设尺寸的滤波器,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子;基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理;遍历所述点云数据中所有剩余点,对每一个剩余点的灰度值进行处理,得到第一点云数据,对其使用蚁群算法,得到所述零部件的喷涂路径;其中,所述滤波器中的位置包括无点位置和有点位置;对于有点位置:以所述中心点为球心,以第一预设邻域距离为半径,确定所述中心点所在球内的目标点的目标总数,根据所有目标点的灰度值的离散程度,确定所述中心点的离散值;根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度;根据所有目标点的位置,确定所述中心点的梯度幅度;遍历所述滤波器中的所有剩余点,确定每一个剩余点的局部密度、梯度幅度和离散值;对于无点位置:将所有所述有点位置的局部密度的均值作为每一个无点位置的局部密度,将所有所述有点位置的梯度幅度的均值作为每一个无点位置的梯度幅度,将所有所述有点位置的离散值的均值作为每一个无点位置的离散值,将所有所述有点位置的灰度值的均值作为每一个无点位置的灰度值。
在一个实施例中,所述滤波器的尺寸的获取过程,包括:根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,所述滤波器的形状为正方体。
在一个实施例中,根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,包括:所述滤波器的边长的表达式为:
其中,K为所述滤波器的边长,为获取最大值的函数,/>为向上取整函数,e为自然常数,a为所述中心点的局部密度,b为所述中心点的离散值,B为所述点云数据中所有点的灰度值的方差,/>为/>的正向指标函数,u为预设参数。
在一个实施例中,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,包括:所述每一个位置的空间域权重调节因子的表达式为:
其中,为所述滤波器中的第i个位置对应的空间域权重调节因子,/>为第i个位置的局部密度,/>为第i个位置的梯度幅度,/>为自然常数,/>为双曲正切函数。
在一个实施例中,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子,包括:所述每一个位置的灰度值域权重调节因子的表达式为:
其中,为所述滤波器中的第i个位置的灰度值域权重调节因子,/>为第i个位置的局部密度,/>为自然常数,/>为第i个位置的离散值,/>为/>的正向指标函数。
在一个实施例中,基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理,包括:所述滤波器的第i个位置的权重的表达式为:
其中,为第i个位置的权重积,/>为第i个位置的空间域权重,/>为第i个位置的空间域权重调节因子,/>为自然常数,/>为所述中心点的坐标,/>为第i个位置的坐标,/>为第一预设值,/>为第i个位置的灰度值域权重,/>为第i个位置的灰度值域权重调节因子,/>为所述中心点的灰度值,/>为第i个位置的灰度值,/>为第二预设值,/>为第i个位置的权重,/>为所述滤波器中的所有位置的权重积的最大值,/>为所述滤波器中的所有位置的权重积的最小值;对所述中心点的灰度值进行处理的公式为:
其中,为第i个位置的灰度值,n为所述滤波器中的所有位置的总数量,/>为第i个位置的权重,/>为对所述中心点的灰度值进行处理后的灰度值。
在一个实施例中,所述第一预设邻域距离的获取过程,包括:将所述点云数据中所有的两点距离的平均值与第一预设系数的积作为所述第一预设邻域距离,所述两点距离为所述点云数据中两个点之间的欧式距离。
在一个实施例中,根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度,包括:所述中心点的局部密度的表达式为:
其中,为所述中心点的局部密度,/>为所述目标总数,S为第一参考值,P为与所述中心点的聚类类别相同的所述目标点的总数;其中,所述第一参考值的获取过程为:遍历所述点云数据中除所述中心点外的所有点,得到该所有点分别对应的目标总数,将所述点云数据中所有点的目标总数的最大值作为第一参考值。
在一个实施例中,根据所有目标点的位置,确定所述中心点的梯度幅度,包括:所述中心点的梯度幅度的表达式为:
其中,T为所述中心点的梯度幅度,为所述中心点的横坐标,/>为所述中心点的纵坐标,/>为所述中心点的竖坐标,/>为所有所述目标点的横坐标的平均值,/>为所有目标点的纵坐标的平均值,/>为所有目标点的竖坐标的平均值。
在本发明实施方式的第二方面中,提供了一种自动化喷涂路径优化***,包括:处理器和存储器,所述存储器存储有计算机程序指令,当所述计算机程序指令被所述处理器执行时实现上述任一实施例的方法。
本发明的有益效果包括:
在中心点对应的滤波器中,由于一个位置对应的局部密度反映了该位置所在区域中所有点的聚集程度,一个位置对应的梯度幅度反映了该位置所在区域中所有点的杂乱程度,根据所述聚集程度和所述杂乱程度,能够得到对应的位置处于噪声区域的可能性,进而得到每一个位置对应的空间域权重调节因子,使得处于噪声区域的可能性较大的位置对应的空间域权重调节因子较小。由于一个位置对应的离散值反映了该位置所在区域中所有点的灰度值的离散程度,根据所述离散程度和聚集程度,能够得到对应的位置处于噪声区域的可能性,进而得到每一个位置对应的灰度值域权权重调节因子,使得处于噪声区域的可能性较大的位置对应的灰度值域权权重调节因子较小。
基于双边滤波算法,对点云数据中点进行去噪,增强了双边滤波算法的噪声处理能力,从而使得对噪声点滤波的效果较好,对去噪后的点云数据使用蚁群算法,得到零部件的喷涂路径,其的准确度较高可能性较大,得到的喷涂路径更合理,机器根据该喷涂路径对零部件进行喷涂的效果较好。
为了提高对点云数据进行去噪的效果,考虑到噪声点与非噪声点的特征,噪声点对应的滤波器的边长应当更大。因此,根据中心点的局部密度、中心点的离散值和点云数据中所有点的灰度值的离散程度,确定对应的滤波器的边长,以自适应地确定不同点的滤波器的边长。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示意性示出根据本发明的实施例的一种自动化喷涂路径优化方法流程图;
图2是示意性示出根据本实施例中的一种自动化喷涂路径优化***的结构框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图来详细描述本发明的具体实施方式。
噪声点的颜色信息对应的灰度值与非噪声点的颜色信息对应的灰度值的差异较大的可能性较大,导致识别到的零部件的三维形状的准确度较低的可能性较大,进而导致得到的喷涂路径的准确度较低的可能性较大。
可通过均值滤波算法对点云数据进行滤波,导致过度平滑的可能性较大。因为点云数据中的噪声与非噪声点的距离较大,滤波后点云数据仍然存在较多噪声的可能性较大,对点云数据进行滤波的效果较差的可能性较大。
可基于双边滤波算法对点云数据进行滤波,该算法考虑了点与点之间的距离和相似度对滤波的权重的影响,由于噪声点的灰度值与非噪声点的灰度值差异较大的可能性较大,噪声点与非噪声点的距离较大的可能性较大,所以噪声点的灰度值对应的权重较大的可能性较大,非噪声点的灰度值对应的权重较小的可能性较大,进而对点云数据进行滤波的效果较差的可能性较大。降低噪声点对应的权重可提高滤波的效果。
本方案通过点云数据中点的分布、噪声点相对于非噪声点的特征,确定中心点对应的滤波器中每一个位置处在噪声区域的可能性,从而确定每一个位置对应的滤波的权重,其中,处在噪声区域的可能性越大,对应的权重越小,进而对中心点进行处理,得到更新后的灰度值,从而得到滤波后的点云数据,对其使用蚁群算法,得到零部件的喷涂路径。
本方案对点云数据进行滤波的效果较好,进而使得识别到的零部件的三维形状的准确度较高的可能性较大,进而使得得到的喷涂路径的准确度较高的可能性较大。
图1是示意性示出根据本发明的实施例的一种自动化喷涂路径优化方法流程图。如图1所示,首先,根据本发明的第一方面,提供了一种自动化喷涂路径优化方法。
具体说明如下,如图1所示,包括步骤S1至S4:
在步骤S1中,获取零部件的点云数据和其中每一个点的颜色信息,对其灰度化,得到每一个点的灰度值;对所有点进行密度聚类,得到每一个点的聚类类别。
可通过激光雷达获取汽车零部件的点云数据,其中的点包括位置信息,位置信息可通过坐标表示。可通过摄像设备获取点云数据中每一个点的颜色信息,对其灰度化,得到每一个点的灰度值。通过标定和匹配处理,使得点云数据中每一点包括对应的坐标和灰度值。
可通过现有技术中常规的密度聚类算法对点云数据中所有点进行聚类,得到聚类簇,进而确定每一个点的聚类类别,所述聚类为基于距离的聚类。
获取每一个点的聚类类别的目的在于,为了后续计算每一个点的局部密度。
在一个实施例中,可基于DBSCAN密度聚类,根据第一预设邻域半径和预设最小样本数,对点云数据中的所有点进行聚类,得到聚类簇,进而确定每一个点的聚类类别,所述聚类为基于欧式距离的聚类。
在一个实施例中,第一预设邻域半径可根据点云数据中的所有点的位置确定,以根据点云数据中的所有点的位置自适应地确定第一预设邻域半径。具体的,将点云数据中所有的两点距离的平均值与第二预设系数的积作为所述第一预设邻域半径,所述两点距离为点云数据中两个点之间的欧式距离。即计算点云数据中每两点的距离,将所有该距离的平均值与第二预设系数的积作为所述第一预设邻域半径。
在一个实施例中,实施者可根据具体实施场景自行设置第二预设系数、预设最小样本数,以使得聚类效果较好。
在步骤S2中,以任一点为中心点,以所述中心点为中心设定预设尺寸的滤波器,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子;其中,所述滤波器中的位置包括无点位置和有点位置;对于有点位置:以所述中心点为球心,以第一预设邻域距离为半径,确定所述中心点所在球内的目标点的目标总数,根据所有目标点的灰度值的离散程度,确定所述中心点的离散值;根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度;根据所有目标点的位置,确定所述中心点的梯度幅度;遍历所述滤波器中的所有剩余点,确定每一个剩余点的局部密度、梯度幅度和离散值;对于无点位置:将所有所述有点位置的局部密度的均值作为每一个无点位置的局部密度,将所有所述有点位置的梯度幅度的均值作为每一个无点位置的梯度幅度,将所有所述有点位置的离散值的均值作为每一个无点位置的离散值,将所有所述有点位置的灰度值的均值作为每一个无点位置的灰度值。
以任一点为中心点,以所述中心点为中心设定预设尺寸的滤波器。
中心点为点云数据中任意一个点。中心点在其对应的滤波器的中心位置处。点云数据中的点与滤波器一一对应。
在一个实施例中,实施者可根据具体实施场景自行设置滤波器的形状和尺寸,以使得后续对点云数据进行滤波的效果较好,例如:滤波器的形状可为正方体,实施者可根据具体实施场景自行设置该正方体的边长,该边长为奇数。
其中,滤波器中的位置包括无点位置和有点位置。也就是说,滤波器中的某一个位置处可能有点,也可能无点。
举个示例,若滤波器为正方体,其边长为3,则滤波器中所有位置的总数为27。
对于中心点对应的滤波器中的有点位置:以中心点为球心,以第一预设邻域距离为半径,得到中心点对应的球,将球内的点称为目标点,将所有该目标点的总数称为目标总数。
在一个实施例中,所述第一预设邻域距离的获取过程,包括:将所述点云数据中所有的两点距离的平均值与第一预设系数的积作为所述第一预设邻域距离,所述两点距离为所述点云数据中两个点之间的欧式距离。换句话说,计算点云数据中每两点的距离,将所有该距离的平均值与第一预设系数的积作为所述第一预设邻域距离。
在一个实施例中,实施者可根据具体实施场景自行设置第一预设系数,以使得后续得到的局部密度更好地反映点的聚集程度。
根据所有目标点的灰度值的离散程度,确定所述中心点的离散值。离散值反映了所有目标点的灰度值的离散程度。
在一个实施例中,将所有目标点的灰度值的方差作为中心点的离散值。
根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度。
需要说明的是,通常点云数据中的噪声点随机离散分布在数据空间中,噪声点被聚类到同一类的可能性较小,噪声点对应的聚类簇中点的数量较少的可能性较大。而汽车零部件表面对应的区域中的点的聚集程度较大,该点被聚类到同一个聚类簇的可能性较大,该聚类簇包含的点的数量较多的可能性较大。
点的局部密度反映了该点所在区域中的所有点的聚集程度。
目标总数越大,说明中心点及其周围的点的聚集程度越大的可能性越大,中心点在噪声区域的可能性越小,所述噪声区域为噪声占比较多的区域,中心点为噪声点的可能性越小;反之,说明中心点及其周围的点越稀疏的可能性越大,中心点为噪声点的可能性越大。
与中心点的聚类类别相同的目标点的总数越多,说明中心点与该聚类类别对应簇的中心位置的距离越小的可能性越大,中心点在噪声区域的可能性越小,中心点为噪声点的可能性越小;反之,说明中心点与该聚类类别对应簇的中心位置的距离越大的可能性越大,中心点在该聚类类别对应的簇的边缘区域的可能性较大,中心点及其周围的点越稀疏的可能性越大,中心点为噪声点的可能性越大。
根据点云数据中点的位置,可评价中心点及其周围的点的聚集程度在点云数据中点的聚集程度的水平。
在一个实施例中,根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度,包括:所述中心点的局部密度的表达式为:
其中,为所述中心点的局部密度,/>为所述目标总数,S为第一参考值,P为与所述中心点的聚类类别相同的所述目标点的总数;其中,所述第一参考值的获取过程为:对于一个点,以其球心,以第一预设邻域距离为半径,得到该一个点对应的球,确定该球内点的总数;遍历点云数据中所有剩余点,确定每一个剩余点的总数;将所有总数的最大值作为第一参考值。
遍历点云数据中的所有剩余点,可得到每一个点的局部密度。
点的局部密度反映了该点所在区域中的所有点的聚集程度。
越小,中心点及其周围的点越稀疏的可能性越大,中心点为噪声点的可能性越大,/>应当越小。
越小,中心点在对应的聚类类别对应的簇的边缘区域的可能性较大,中心点及其周围的点越稀疏的可能性越大,中心点为噪声点的可能性越大,/>应当越小。
的作用:类似于“归一化”。
根据所有目标点的位置,确定所述中心点的梯度幅度。位置可通过点的坐标表示。
一个点的梯度通常通过差值表示,该差值为该一个点与其相邻的点的欧式距离的差值。
汽车零部件对应的点的梯度之间的差异较小。噪声点所在区域中的点的梯度之间的差异较大。也就是说,噪声点所在区域中的点的分布的均匀程度较差,噪声点所在区域中的点的分布的杂乱程度较大;汽车零部件对应的点的分布的均匀程度较好、点分布的杂乱程度较小。
点的梯度幅度反映了该点所在区域的所有点的分布的杂乱程度。
中心点所在区域的点的分布的杂乱程度越大,或者说,中心点所在区域的点的分布的均匀程度越小,中心点为噪声点的可能性越大,中心点的梯度幅度应当越大;反之,中心点为汽车零部件对应的非噪声点的可能性越大。
因此,可根据中心点对应的所有目标点的位置,确定中心点的梯度幅度。
在一个实施例中,根据所有目标点的位置,确定所述中心点的梯度幅度,包括:所述中心点的梯度幅度的表达式为:
其中,T为所述中心点的梯度幅度,为所述中心点的横坐标,/>为所述中心点的纵坐标,/>为所述中心点的竖坐标,/>为所有目标点的横坐标的平均值,/>为所有目标点的纵坐标的平均值,/>为所有目标点的竖坐标的平均值。
遍历点云数据中的所有剩余点,可得到每一个点的梯度幅度。
越大,中心点所在区域的点的分布的杂乱程度越大,或者说,中心点所在区域的点的分布的均匀程度越小,中心点为噪声点的可能性越大,/>应当越大;反之,中心点为汽车零部件对应的非噪声点的可能性越大,/>应当越小。
在中心点对应的滤波器中,还有无点的位置,对于无点位置:为了达到对中心点较好的滤波效果,将滤波器中所有有点位置的局部密度的均值作为每一个无点位置的局部密度,将滤波器中所有有点位置的梯度幅度的均值作为每一个无点位置的梯度幅度,将滤波器中所有有点位置的离散值的均值作为每一个无点位置的离散值,将滤波器中所有有点位置的灰度值的均值作为每一个无点位置的灰度值。以使得对点云数据的滤波过程类似于对二维图像的滤波过程。
一个无点位置的局部密度反映了该位置所在区域中所有点的聚集程度。
一个无点位置的梯度幅度反映了该位置所在区域中所有点的分布的杂乱程度。
一个无点位置的离散值反映了该位置所在区域中所有点的灰度值的离散程度。
对于中心点的滤波器,类似于对无点位置进行“填充”,以实现较好的去噪效果。
在一个实施例中,在中心点对应的滤波器中,对于无点位置:将滤波器中所有有点位置的局部密度的中值作为每一个无点位置的局部密度,将滤波器中所有有点位置的梯度幅度的中值作为每一个无点位置的梯度幅度,将滤波器中所有有点位置的离散值的中值作为每一个无点位置的离散值,将滤波器中所有有点位置的灰度值的中值作为每一个无点位置的灰度值。
在一个实施例中,所述滤波器的尺寸的获取过程,包括:根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,所述滤波器的形状为正方体。
若中心点的局部密度越大,则说明该中心点越可能处于汽车零部件对应的非噪声点所在区域,即该中心点越可能处于汽车零部件的表面。原因在于,汽车零部件的表面对应的点的聚集程度较大。
而且,中心点的局部密度越大,该中心点越可能处于汽车零部件的结构变化区域,在对汽车零部件喷涂的过程中,对结构变化区域中点的处理尤为重要,要求对结构变化区域中点的处理更精细。
汽车零部件的表面的纹理、边缘等细微的特征较多,为了使得保留该细微的特征的程度较大,汽车零部件的表面对应的点的滤波器的尺寸应该越小。
因此,中心点的局部密度越大,对应的滤波器的尺寸应当越小。
若中心点的局部密度越小,则说明该中心点越可能处于噪声区域,该中心点越可能为噪声。噪声区域对应的特征较少,且噪声区域中点较少,为了更好地获得更多的点,以更好地平滑数据,使得噪声点被去噪的效果更好,应当使得噪声区域中点对应的滤波器的尺寸较大。
因此,中心点的局部密度越小,对应的滤波器的尺寸应当越大。
被喷涂的汽车零部件的颜色单一,进而汽车零部件对应的点的灰度值之间的差异较小,即所有该灰度值的离散程度较小。
若中心点的离散值越小,则该中心点越可能处于汽车零部件的表面,越可能为非噪声点,中心点的滤波器的尺寸应当越小。
噪声点是随机的,其灰度值与汽车零部件对应的非噪声点的灰度值之间的差异较大的可能性越大,且噪声点所在区域中所有点的数量较少。噪声区域中所有点的灰度值的离散程度较大的可能性较大。
若中心点的离散值越大,则该中心点越可能处于噪声区域,该中心点越可能为噪声点,中心点的滤波器的尺寸应当越大。
点云数据中所有点的灰度值的离散程度的作用为:用于评价中心点所在区域中的所有点的离散程度相较于点云数据中所有点的灰度值的离散程度的水平。
在一个实施例中,根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,包括:所述滤波器的边长的表达式为:
其中,K为所述滤波器的边长,为获取最大值的函数,/>为向上取整函数,e为自然常数,/>为所述中心点的局部密度,b为所述中心点的离散值,B为所述点云数据中所有点的灰度值的方差,/>为/>的正向指标函数,其为/>,exp()为以自然常数为底的指数函数,u为预设参数。
遍历点云数据中的所有剩余点,可得到每一个剩余点的滤波器的边长。
中B的作用类似于“归一化”。
中“1”的作用为确保滤波器的边长为奇数。
在一个实施例中,实施者可根据具体实施场景自行设置预设参数,其可为6。
因为中心点的滤波器的边长最小为3,所以当
小于等于3时,则使得滤波器的边长为3。因为当
小于等于3时,该中心点处于汽车零部件表面位置的可能性较大,该中心点为汽车零部件表面对应的非噪声点的可能性较大,为了使得保留该细微的特征的程度较大,将滤波器的边长取为3。
a越大,该中心点越可能处于汽车零部件对应的非噪声点所在区域。
b越小,该中心点越可能处于汽车零部件对应的非噪声点所在区域。
a越大,越小。
b越小,越小。
大于3时,a越小,中心点越可能处于噪声区域,中心点越可能为噪声点,应当使得中心点的滤波器的边长越大。所述噪声区域为噪声占比较多的区域。
大于3时,b越大,中心点越可能处于噪声区域,中心点越可能为噪声点,应当使得中心点的滤波器的边长越大。
根据中心点对应滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子。
滤波器的一个位置的局部密度越小,该位置越可能处于噪声区域,若该位置有点,则该点越可能为噪声点,该位置的空间域权重调节因子应当越小,以使得该位置对应的灰度值在双边滤波中的权重越小,以达到较好得去噪效果。
滤波器的一个位置的局部密度越大,该位置越可能处于汽车零部件的表面区域,该区域中点的非噪声点的占比较大,若该位置有点,则该点越可能为非噪声点,该位置的空间域权重调节因子应当越大,以使得该位置对应的灰度值在双边滤波中的权重越大,以达到较好得去噪效果。
滤波器的一个位置的梯度幅度越小,该位置越可能处于汽车零部件的表面区域,该位置的空间域权重调节因子应当越大,以使得该位置对应的灰度值在双边滤波中的权重越大,以达到较好得去噪效果。
滤波器的一个位置的梯度幅度越大,该位置越可能处于噪声区域,该位置的空间域权重调节因子应当越小,以使得该位置对应的灰度值在双边滤波中的权重越小,以达到较好得去噪效果。
在一个实施例中,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,包括:所述每一个位置的空间域权重调节因子的表达式为:
其中,为所述滤波器中的第i个位置对应的空间域权重调节因子,/>为第i个位置的局部密度,/>为第i个位置的梯度幅度,/>为自然常数,/>为双曲正切函数。
越小,第i个位置越可能处于噪声区域,/>应当越小。
越大,第i个位置越可能处于噪声区域,/>应当越小。
根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子。
滤波器的一个位置的局部密度越大,该位置越可能处于汽车零部件的表面区域,该位置的空间域权重调节因子应当越大,以使得该位置对应的灰度值在双边滤波中的权重越大,以达到较好得去噪效果。
滤波器的一个位置的局部密度越小,该位置越可能处于噪声区域,该位置的空间域权重调节因子应当越小,以使得该位置对应的灰度值在双边滤波中的权重越小,以达到较好得去噪效果。
滤波器的一个位置的离散值越大,该位置越可能处于噪声区域,该位置的空间域权重调节因子应当越小,以使得该位置对应的灰度值在双边滤波中的权重越小,以达到较好得去噪效果。
滤波器的一个位置的离散值越小,该位置越可能处于汽车零部件的表面区域,该位置的空间域权重调节因子应当越大,以使得该位置对应的灰度值在双边滤波中的权重越大,以达到较好得去噪效果。
需要说明的是,零部件表面对应的点的权重相较于噪声点的滤波过程中的权重越大,保留物体表面的细节和轮廓的效果越好的可能性越大。
在一个实施例中,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子,包括:所述每一个位置的灰度值域权重调节因子的表达式为:
其中,为所述滤波器中的第i个位置的灰度值域权重调节因子,/>为第i个位置的局部密度,/>为自然常数,/>为第i个位置的离散值,/>为/>的正向指标函数。
越小,第i个位置越可能处于噪声区域,/>应当越小。
越大,第i个位置越可能处于噪声区域,/>应当越小。
在步骤S3中,基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理。
基于双边滤波算法,可根据中心点的滤波器中每一个位置的空间域权重调节因子、灰度值域权重调节因子及其灰度值,可对中心点的灰度值进行处理,得到更新后的灰度值。
在一个实施例中,基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理,包括:所述滤波器的第i个位置的权重的表达式为:
其中,为第i个位置的权重积,/>为第i个位置的空间域权重,/>为第i个位置的空间域权重调节因子,/>为自然常数,/>为所述中心点的坐标,/>为第i个位置的坐标,/>为第一预设值,/>为第i个位置的灰度值域权重,/>为第i个位置的灰度值域权重调节因子,/>为所述中心点的灰度值,/>为第i个位置的灰度值,/>为第二预设值,/>为第i个位置的权重,/>为所述滤波器中的所有位置的权重积的最大值,/>为所述滤波器中的所有位置的权重积的最小值;对所述中心点的灰度值进行处理的公式为:
其中,为第i个位置的灰度值,n为所述滤波器中的所有位置的总数量,/>为第i个位置的权重,/>为对所述中心点的灰度值进行处理后的灰度值。
在另一个实施例中,根据点云数据中所有点的位置权重积,得到中心点对应的滤波器中每一个位置的权重,其的表达式为:
其中,为中心点对应的滤波器中第i个位置的权重,/>为第i个位置的权重积,为点云数据中所有点的位置权重积的最大值,/>为点云数据中所有点的位置权重积的最小值。
双边滤波算法为本领域技术人员所熟知的现有技术,在此不再赘述。
在步骤S4中,遍历所述点云数据中所有剩余点,对每一个剩余点的灰度值进行处理,得到第一点云数据,对其使用蚁群算法,得到所述零部件的喷涂路径。
蚁群算法是一种用来寻找优化路径的概率型算法。蚁群算法为本领域技术人员所熟知的现有技术,在此不再赘述。
遍历所述点云数据中所有剩余点,对每一个剩余点的灰度值进行处理,得到每一个剩余点的更新后的灰度值,进而得到第一点云数据,其为去噪后的数据。对第一点云数据使用蚁群算法,可得到零部件的喷涂路径。机器可依据喷涂路径对汽车零部件进行喷涂。
图2是示意性示出根据本实施例中的一种自动化喷涂路径优化***的结构框示意图。
本发明还提供了一种自动化喷涂路径优化***。如图2所示,所述***包括处理器和存储器,所述存储器存储有计算机程序指令,当所述计算机程序指令被所述处理器执行时实现根据本发明第一方面所述的一种自动化喷涂路径优化方法。
所述***还包括通信总线和通信接口等本领域技术人员熟知的其他组件,其设置和功能为本领域中已知,因此在此不再赘述。
在本发明中,前述的存储器可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如,计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器RRAM(Resistive RandomAccess Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等,或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
在本说明书的描述中,“多个”、“若干个”的含义是至少两个,例如两个,三个或更多个等,除非另有明确具体的限定。
虽然本说明书已经示出和描述了本发明的多个实施例,但对于本领域技术人员显而易见的是,这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中,可以采用对本文所描述的本发明实施例的各种替代方案。
Claims (10)
1.一种自动化喷涂路径优化方法,其特征在于,包括:
获取零部件的点云数据和其中每一个点的颜色信息,对其灰度化,得到每一个点的灰度值;对所有点进行密度聚类,得到每一个点的聚类类别;
以任一点为中心点,以所述中心点为中心设定预设尺寸的滤波器,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子;
基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理;
遍历所述点云数据中所有剩余点,对每一个剩余点的灰度值进行处理,得到第一点云数据,对其使用蚁群算法,得到所述零部件的喷涂路径;
其中,所述滤波器中的位置包括无点位置和有点位置;
对于有点位置:以所述中心点为球心,以第一预设邻域距离为半径,确定所述中心点所在球内的目标点的目标总数,根据所有目标点的灰度值的离散程度,确定所述中心点的离散值;根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度;根据所有目标点的位置,确定所述中心点的梯度幅度;遍历所述滤波器中的所有剩余点,确定每一个剩余点的局部密度、梯度幅度和离散值;
对于无点位置:将所有所述有点位置的局部密度的均值作为每一个无点位置的局部密度,将所有所述有点位置的梯度幅度的均值作为每一个无点位置的梯度幅度,将所有所述有点位置的离散值的均值作为每一个无点位置的离散值,将所有所述有点位置的灰度值的均值作为每一个无点位置的灰度值。
2.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,所述滤波器的尺寸的获取过程,包括:
根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,所述滤波器的形状为正方体。
3.根据权利要求2所述的一种自动化喷涂路径优化方法,其特征在于,根据所述中心点的离散值、所述中心点的局部密度和所述点云数据中所有点的灰度值的离散程度,得到所述滤波器的边长,包括:
所述滤波器的边长的表达式为:
,其中,K为所述滤波器的边长,/>为获取最大值的函数,/>为向上取整函数,e为自然常数,a为所述中心点的局部密度,b为所述中心点的离散值,其为所有目标点的灰度值的方差,B为所述点云数据中所有点的灰度值的方差,为/>的正向指标函数,u为预设参数。
4.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,根据所述滤波器中的每一个位置的局部密度及其梯度幅度,确定所述每一个位置的空间域权重调节因子,包括:
所述每一个位置的空间域权重调节因子的表达式为:
,其中,/>为所述滤波器中的第i个位置对应的空间域权重调节因子,/>为第i个位置的局部密度,/>为第i个位置的梯度幅度,/>为自然常数,/>为双曲正切函数。
5.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,根据所述每一个位置的局部密度及其离散值,确定所述每一个位置的灰度值域权重调节因子,包括:
所述每一个位置的灰度值域权重调节因子的表达式为:
,其中,/>为所述滤波器中的第i个位置的灰度值域权重调节因子,/>为第i个位置的局部密度,/>为自然常数,/>为第i个位置的离散值,其为第i个位置对应的所有目标点的灰度值的方差,/>为/>的正向指标函数。
6.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,基于双边滤波算法,根据所述空间域权重调节因子、灰度值域权重调节因子和所述每一个位置的灰度值,对所述中心点的灰度值进行处理,包括:
所述滤波器的第i个位置的权重的表达式为:
,/>,,/>,其中,/>为第i个位置的权重积,/>为第i个位置的空间域权重,/>为第i个位置的空间域权重调节因子,/>为自然常数,/>为所述中心点的坐标,/>为第i个位置的坐标,/>为第一预设值,/>为第i个位置的灰度值域权重,为第i个位置的灰度值域权重调节因子,/>为所述中心点的灰度值,/>为第i个位置的灰度值,/>为第二预设值,/>为第i个位置的权重,/>为所述滤波器中的所有位置的权重积的最大值,/>为所述滤波器中的所有位置的权重积的最小值;
对所述中心点的灰度值进行处理的公式为:
,其中,/>为第i个位置的灰度值,n为所述滤波器中的所有位置的总数量,/>为第i个位置的权重,/>为对所述中心点的灰度值进行处理后的灰度值。
7.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,所述第一预设邻域距离的获取过程,包括:
将所述点云数据中所有的两点距离的平均值与第一预设系数的积作为所述第一预设邻域距离,所述两点距离为所述点云数据中两个点之间的欧式距离。
8.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,根据所述目标总数、目标点的聚类类别和点云数据中点的位置,确定所述中心点的局部密度,包括:
所述中心点的局部密度的表达式为:
,其中,/>为所述中心点的局部密度,/>为所述目标总数,S为第一参考值,P为与所述中心点的聚类类别相同的所述目标点的总数;
其中,所述第一参考值的获取过程为:遍历所述点云数据中除所述中心点外的所有点,得到该所有点分别对应的目标总数,将所述点云数据中所有点的目标总数的最大值作为第一参考值。
9.根据权利要求1所述的一种自动化喷涂路径优化方法,其特征在于,根据所有目标点的位置,确定所述中心点的梯度幅度,包括:
所述中心点的梯度幅度的表达式为:
,其中,T为所述中心点的梯度幅度,/>为所述中心点的横坐标,/>为所述中心点的纵坐标,/>为所述中心点的竖坐标,/>为所有所述目标点的横坐标的平均值,/>为所有目标点的纵坐标的平均值,/>为所有目标点的竖坐标的平均值。
10.一种自动化喷涂路径优化***,其特征在于,包括:
处理器和存储器,所述存储器存储有计算机程序指令,当所述计算机程序指令被所述处理器执行时实现根据权利要求1至9任一项所述的一种自动化喷涂路径优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410516641.6A CN118115368B (zh) | 2024-04-28 | 2024-04-28 | 一种自动化喷涂路径优化方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410516641.6A CN118115368B (zh) | 2024-04-28 | 2024-04-28 | 一种自动化喷涂路径优化方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118115368A true CN118115368A (zh) | 2024-05-31 |
CN118115368B CN118115368B (zh) | 2024-07-16 |
Family
ID=91209002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410516641.6A Active CN118115368B (zh) | 2024-04-28 | 2024-04-28 | 一种自动化喷涂路径优化方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118115368B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160125619A1 (en) * | 2014-10-30 | 2016-05-05 | Intelescope Solutions Ltd. | System and method for directionality based row detection |
CN111222516A (zh) * | 2020-01-06 | 2020-06-02 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 印制电路板点云关键轮廓特征提取方法 |
WO2021103154A1 (zh) * | 2019-11-25 | 2021-06-03 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN113139982A (zh) * | 2021-04-21 | 2021-07-20 | 香港理工大学深圳研究院 | 一种室内房间点云的自动分割方法 |
CN116486395A (zh) * | 2022-09-21 | 2023-07-25 | 北京理工大学 | 基于高斯混合模型和深度-彩色图像的空间障碍判别方法 |
-
2024
- 2024-04-28 CN CN202410516641.6A patent/CN118115368B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160125619A1 (en) * | 2014-10-30 | 2016-05-05 | Intelescope Solutions Ltd. | System and method for directionality based row detection |
WO2021103154A1 (zh) * | 2019-11-25 | 2021-06-03 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN111222516A (zh) * | 2020-01-06 | 2020-06-02 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 印制电路板点云关键轮廓特征提取方法 |
CN113139982A (zh) * | 2021-04-21 | 2021-07-20 | 香港理工大学深圳研究院 | 一种室内房间点云的自动分割方法 |
CN116486395A (zh) * | 2022-09-21 | 2023-07-25 | 北京理工大学 | 基于高斯混合模型和深度-彩色图像的空间障碍判别方法 |
Non-Patent Citations (2)
Title |
---|
YU X等: "Point cloud modeling and slicing algorithm for trajectory planning of spray painting robot", 《ROBOTICA》, vol. 39, no. 12, 20 June 2021 (2021-06-20), pages 2246 - 2267 * |
杨晶东;韩太军;: "一种有效的基于点云特征人体识别方法", 计算机应用研究, no. 05, 15 May 2017 (2017-05-15), pages 279 - 285 * |
Also Published As
Publication number | Publication date |
---|---|
CN118115368B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647835B (zh) | 基于3d点云数据的目标检测与分类方法和*** | |
CN111210429B (zh) | 点云数据划分方法及装置、障碍物检测方法及装置 | |
CN105844602B (zh) | 一种基于体元的机载lidar点云三维滤波方法 | |
CN114820465B (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
CN111765882B (zh) | 激光雷达定位方法及其相关装置 | |
CN114972377B (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
CN115451983B (zh) | 一种复杂场景下的动态环境建图与路径规划方法及装置 | |
CN111553946B (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
CN111783722B (zh) | 一种激光点云的车道线提取方法和电子设备 | |
CN116109601A (zh) | 一种基于三维激光雷达点云的实时目标检测方法 | |
CN112861983A (zh) | 图像匹配方法、装置、电子设备以及存储介质 | |
Kumar et al. | Precision tracking based on segmentation with optimal layering for imaging sensors | |
CN118115368B (zh) | 一种自动化喷涂路径优化方法及*** | |
CN112767429B (zh) | 一种地面-雪面点云快速分割方法 | |
CN113836484A (zh) | 基于路径点邻近域与地面滤波的自适应点云抽稀方法 | |
CN116664854A (zh) | 目标检测方法、装置、电子设备及机器可读存储介质 | |
CN115542346A (zh) | 地面检测方法、装置、车辆及存储介质 | |
CN115620263A (zh) | 基于摄像机和激光雷达图像融合的智能车障碍物检测方法 | |
CN115272409A (zh) | 一种基于深度神经网络的单目标长时跟踪方法 | |
CN116071571B (zh) | 一种鲁棒快速的车用单线激光雷达点云聚类方法 | |
CN117826843B (zh) | 基于三维点云的无人机智能避障方法及*** | |
CN115641462B (zh) | 一种雷达图像目标识别方法 | |
CN117710717B (zh) | 超体聚类点云分割方法、装置、设备和存储介质 | |
CN115423833A (zh) | 基于车辆目标的点云边界框计算方法、***、设备及介质 | |
CN117994272B (zh) | 一种应用于工业无序摆放软包堆的点云分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |