CN117474861A - 基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** - Google Patents
基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** Download PDFInfo
- Publication number
- CN117474861A CN117474861A CN202311424107.4A CN202311424107A CN117474861A CN 117474861 A CN117474861 A CN 117474861A CN 202311424107 A CN202311424107 A CN 202311424107A CN 117474861 A CN117474861 A CN 117474861A
- Authority
- CN
- China
- Prior art keywords
- pin
- pins
- channel
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000003708 edge detection Methods 0.000 claims abstract description 23
- 230000002146 bilateral effect Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 229940060587 alpha e Drugs 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 101100043112 Homo sapiens SERPINB3 gene Proteins 0.000 description 8
- 102100036383 Serpin B3 Human genes 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于改进RetinaNet及Canny‑Franklin矩亚像素的表面贴装异形元件参数提取方法及***。为解决现有的方法存在检测精度低、不具有泛化性及检测效率低的问题。包括如下步骤：S1、采集表面贴装异形元件图像；S2、构建元件参数提取模型，该模型基于改进的RetinaNet网络，并构建有空间与通道注意力模块，使网络更加关注引脚区域，基于差分聚类算法求解anchor比例，以预测引脚类型及引脚初始位置；同时该模型基于双边滤波与动态阈值的Canny算子以实现图像像素级边缘的提取，并基于Franklin矩实现像素级边缘的亚像素边缘检测，以提取引脚最终位置信息；S3、采用所述元件参数提取模型对表面贴装异形元件图像的元件参数进行提取。本发明方法具有更好的鲁棒性、更高的精度和速度。
Description
技术领域
本发明涉及贴装元件检测技术领域，具体而言，涉及一种基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及***。
背景技术
表面贴装技术(Surface Mounted Technology，SMT)是一种在印刷电路板(PCB)上进行一系列加工的工艺流程，SMT贴片机的主要技术包括贴片头、视觉***、送料***以及运动控制***等，其中视觉检测作为SMT贴片机核心技术之一直接影响着贴片机的贴装精度和速度，决定着贴片机的贴装能力，视觉检测根据功能要求可分为在offline teaching，and on line testing(离线教学，在线测试)两部分。离线参数学习为获取元件尺寸参数以及元件引脚信息，在线测试为自动选择预设的组件算法进行测试。传统的离线参数学习是由人工判断元件类别后从贴装数据库中选择相应的类别来注册组件进行检测，之后根据视觉尺寸对参数进行调整，若人工注册元件类别不合理，则可能导致异形元件在检测过程中出现偏差，使元件不能贴装到PCB板对应位置，造成PCB板出现故障。现有的异形元件检测方法只能针对一种或者有着相似特征的元件进行检测，对于不同特征元件检测精度低，不具有泛化性，且检测效率低。
发明内容
本发明要解决的技术问题是：
现有的方法对于具有不同特征的元件进行检测，存在检测精度低、不具有泛化性及检测效率低的问题。
本发明为解决上述技术问题所采用的技术方案：
本发明提供了基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法，包括如下步骤：
S1、采集表面贴装异形元件图像；
S2、构建元件参数提取模型，该模型基于改进的RetinaNet网络，并构建有空间与通道注意力模块，使网络更加关注引脚区域，基于差分聚类算法求解anchor比例，以预测引脚类型及引脚初始位置；同时该模型基于双边滤波与动态阈值的Canny算子以实现图像像素级边缘的提取，并基于Franklin矩实现像素级边缘的亚像素边缘检测，以提取引脚最终位置信息；
S3、采用所述元件参数提取模型对表面贴装异形元件图像的元件参数进行提取。
进一步地，S2中所述引脚类型包括：引脚组、矩形和圆三种类型。
进一步地，S2中所述改进的RetinaNet网络包括：特征提取网络、特征金字塔网络FPN和分类及回归网络三部分，通过所述特征提取网络对表面贴装异形元件图像进行特征提取得到有效特征图，通过空间与通道注意力模块获得特征图的空间和通道权重，后经特征金字塔网络FPN完成多尺度特征融合，采用差分聚类算法计算anchor的比例，根据分类及回归结果对引脚种类与引脚初始位置进行预测。
进一步地，所述空间与通道注意力模块包括空间注意力模块和通道注意力模块，所述空间注意力模块通过空间注意力机制来捕获长距离的引脚位置依赖，并将全局信息融合到通道中，以补充元件图像的语义信息，所述通道注意力模块利用通道注意力建模通道间依赖关系重标定每个通道的重要性，动态生成网络关注区域，突出重要的元件引脚信息，抑制不相关背景区域特征激活。
进一步地，所述空间注意力模块的输入特征图为：X∈RH×W×C，其中C是通道数，H和W为特征图高度和宽度，用三个不同权重的1x1卷积Wθ、Wφ和Wg对X进行线性映射，得到θ＝Wθ(X)、φ＝Wφ(X)和g＝Wg(X)，采用特征金字塔网络FPN从θ和g中采样S个代表点得到和计算相似度矩阵VP为：
VP＝φT＝P×(θ)
使用softmax函数归一化相似度矩阵VP，约束矩阵元素值为[0,1]，则空间注意力输出表示为：
Wo为1×1卷积，使注意力输出恢复原始特征图尺寸。
进一步地，所述通道注意力模块引入ECA注意力模块，优先关注有效通道，学习相邻通道的相关性，获取特征通道的重要程度，生成通道权重，使网络强化有利于引脚检测的特征通道，弱化无关特征。
进一步地，所述差分聚类算法结合K-Means聚类算法和差分进化算法，计算过程为：
(1)初始化群体
从anchor比例数据中随机选取f个样本作为初始聚类中心，进行重复执行Np次，Np为种群规模，通过实数编码构造初始种群，编码方式为：
Ui(0)＝(ui1,ui2,ui3,…uif)
其中i＝1,2,…,Np，Ui(0)表示初始种群的第i个个体，uif表示第i个体的第f个聚类中心；
(2)变异操作
Vi,j(γ+1)＝ur1(γ)+α(ur2(γ)-ur3(γ))
Vi,j(γ+1)为变异个体，α∈[0,1]为缩放系数，r1,r2,r3为在[1,Np]区间中的随机数且互不相同，γ代表第γ代；
(3)交叉操作
当前个体Ui(γ)和变异个体Vi,j(γ+1)进行交叉操作来获得中间个体Mi,j(γ+1)＝(mi,1(γ+1),mi,2(γ+1),…,mi,f(γ+1))，中间个体的第j分量为：
其中CR为交叉概率，且CR∈[0,1]，σ为[1,D]之间随机产生的一个整数，D为个体维度，β为[0,1]之间满足均匀分布且随机产生的一个数；
(4)选择操作
采用贪婪算法选择进入下一代群体的个体；
f(Ui(γ))为Ui(γ)个体适应度；
(5)算法终止判断
进行检验种群U(γ+1)中的个体，算法的终止条件是种群中最优的个体连续γ代不发生改变；若满足算法终止条件，输出最佳个体，否则重复变异交叉选择操作，一直到输出最佳聚类中心为止；
(6)采用马氏距离计算每个样本与每个簇中心的距离：
其中，a代表样本的坐标，bi代表中心簇的坐标，∑-1是多维随机变量的协方差矩阵；
(7)更新簇中心，计算每个簇中所有样本的均值作为新的簇中心；
(8)重复步骤(6)～(7)，直至每个簇中心不再变化或者簇中心变化很小。
进一步地，该方法还包括对亚像素边缘检测结果采用非极大值抑制去除非边缘点以降低噪点干扰，最后采用多边形拟合得到引脚最终位置信息。
进一步地，若引脚类型为矩形，使用多边形拟合亚像素边缘点，得到拟合轮廓；若引脚类型为引脚组，计算引脚右边界与相邻引脚左边界间的距离，若小于阈值，将两个引脚定义为一个引脚，若大于阈值则认为是两个独立的引脚，统计定位框内引脚个数，拟合引脚，计算同一引脚组中所有相邻引脚中心距离的平均值，作为该引脚组中相邻引脚之间的间距，所有引脚长度和宽度均值为该组中引脚的长度和宽度；若引脚类型为圆，通过最小二乘法对圆进行拟合，得到圆的中心点坐标x′,y′和圆的半径R′，如果检测到多个圆的圆心为同一点，则拟合半径R′取最大圆的半径。
基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取***，该***具有与上述技术方案中任一项技术方案的步骤对应的模块，运行时执行上述的基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法中的步骤。
相较于现有技术，本发明的有益效果是：
本发明基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及***，基于RetinaNet设计了简化的空间和通道注意力，使网络更加关注引脚区域，提高特征利用率，同时使用差分聚类算法求出anchor比例以实现高效的元件引脚粗定位和分类，最后通过改进Canny-Franklin矩对引脚进行亚像素边缘检测，对亚像素边缘检测结果多边形近似拟合，减少噪点干扰，提高异性元件检测精度，实现元件引脚精准定位。本发明方法具有更好的鲁棒性、更高的精度和速度。
附图说明
图1为本发明实施例中的基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法流程图；
图2为本发明实施例中的基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取网络结构图；
图3为本发明实施例中的空间注意力模块结构图；
图4为本发明实施例中的通道注意力模块结构图；
图5为本发明实施例中的亚像素边缘检测模型图；
图6为本发明实施例中的亚像素检测对比图；
图7为本发明实施例中方法在不同条件下稳定性结果对比图；
图8为本发明实施例中的不同算法在贴装过程中通过率结果对比图；
图9为本发明实施例中的在不同亮度下异形芯片的检测结果为通过的示例图。
具体实施方式
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
具体实施方案一：如图1所示，本发明提供了基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法，包括如下步骤：
S1、采集表面贴装异形元件图像；
S2、构建元件参数提取模型，该模型基于改进的RetinaNet网络，并构建有空间与通道注意力模块SCCA，使网络更加关注引脚区域，基于差分聚类算法求解anchor比例，以预测引脚类型及引脚初始位置；同时该模型基于双边滤波与动态阈值的Canny算子以实现图像像素级边缘的提取，并基于Franklin矩实现像素级边缘的亚像素边缘检测，以提取引脚最终位置信息；
S3、采用所述元件参数提取模型对表面贴装异形元件图像的元件参数进行提取。
本实施方案中，采用差分聚类算法使anchor能够自适应检测样本中的目标尺寸，预测得到引脚种类与引脚初始位置；基于Canny-Franklin矩检测网络，将目标检测得到的bounding box作为亚像素边缘检测的ROI(Region Of Instead)区域，通过亚像素边缘检测得到引脚的边缘后根据不同的引脚类别进行边缘拟合，在保证检测精度的同时大幅降低亚像素边缘定位执行时间，实现高效、准确、通用的芯片检测。
具体实施方案二：所述引脚类型包括：引脚组、矩形和圆三种类型。本实施方案其它与具体实施方案一相同。
具体实施方案三：如图2所示，S2中所述改进的RetinaNet网络包括：特征提取网络、特征金字塔网络FPN和分类及回归网络三部分，通过所述特征提取网络对表面贴装异形元件图像进行特征提取得到有效特征图，通过空间与通道注意力模块SCCA获得特征图的空间和通道权重，后经特征金字塔网络FPN完成多尺度特征融合，采用差分聚类算法计算anchor的比例，根据分类及回归结果对引脚种类与引脚初始位置进行预测。本实施方案其它与具体实施方案一相同。
本实施方案中，Resnet特征提取网络通过一系列有效的卷积操作输出四个有效的特征图C2、C3、C4和C5，其中低层特征图具有更多的位置信息和较少的特征语义信息，而高层特征图则具有丰富的特征语义信息和较少的位置信息。特征金字塔FPN结构通过自上而下的连接和侧向连接实现特征的跨层融合，将低层特征传导到高层特征层中，减少了高层到低层特征流通所需穿越的卷积层数。同时，自上而下的连接生成粗粒度特征，自下而上的连接通过侧向连接加入细粒度特征，有效解决了多尺度目标检测问题，但是计算底层特征图会造成计算量剧增，所以RetinaNet在FPN中只对C3，C4，C5进行底层和高层信息融合，为了增强FPN特征融合能力，使网络更加关注关键信息，本实施方案将SCCA(Space iscombined with channel attention mechanisms)模块添加到提取C3，C4，C5特征图的特征层与FPN之间，以实现图像特征信息的重标定。
具体实施方案四：所述空间与通道注意力模块SCCA包括空间注意力模块和通道注意力模块，所述空间注意力模块通过空间注意力机制来捕获长距离的引脚位置依赖，并将全局信息融合到通道中，以补充元件图像的语义信息，所述通道注意力模块利用通道注意力建模通道间依赖关系重标定每个通道的重要性，动态生成网络关注区域，突出重要的元件引脚信息，抑制不相关背景区域特征激活。本实施方案其它与具体实施方案三相同。
具体实施方案五：如图3所示，所述空间注意力模块的输入特征图为：X∈RH×W×C，其中C是通道数，H和W为特征图高度和宽度，用三个不同权重的1x1卷积Wθ、Wφ和Wg对X进行线性映射，得到θ＝Wθ(X)、φ＝Wφ(X)和g＝Wg(X)，采用特征金字塔网络FPN从θ和g中采样S个代表点得到和/>计算相似度矩阵VP为：
VP＝φT＝P×(θ)
使用softmax函数归一化相似度矩阵VP，约束矩阵元素值为[0,1]，则空间注意力输出表示为：
Wo为1×1卷积，使注意力输出恢复原始特征图尺寸。最后将原始输入特征图与经过改进注意力后的特征图使用残差结构进行融合，提高网络的特征表达能力。本实施方案其它与具体实施方案四相同。
本实施方案中，由于Non-localNetwork在矩阵乘法和softmax过程中计算量最多，所以在key和value上进行采样(Pyramid Pooling Module)能够大大减少计算量，直接采样会使特征丢失，所以使用金字塔采样能够在大幅度减少计算量的同时，捕获不同尺度的语义统计信息。
具体实施方案六：所述通道注意力模块引入ECA注意力模块，优先关注有效通道，学习相邻通道的相关性，获取特征通道的重要程度，生成通道权重，使网络强化有利于引脚检测的特征通道，弱化无关特征。本实施方案其它与具体实施方案四相同。
本实施方案中，由于不同的特征图聚焦图像不同特征信息，但是Non-localNetwork只关注图像的空间信息，将所有特征通道同等看待，无法充分挖掘不同通道的相关性。本实施方案引入ECA模块，提升网络检测的准确度
如图4所示，H，W和C分别是图像高度、宽度和通道数。将输入特征图X∈RH×W×C进行全局平均池化GAP得到聚合特征v∈R1×1×C，通过一维卷积学习相邻通道相关性，实现局部跨通道信息交互，利用激活函数生成通道权重ω，最后利用ω调整输入特征图，通过乘法加权筛选显著特征，完成通道空间特征再标定。ECA表达式为：
ω＝σ(Conv1Dk(v))
Conv1D表示一维卷积，σ为Sigmoid激活函数，k为卷积核大小。卷积核k决定局部跨通道交互的范围，C越大，跨通道信息交互的范围越大，k与通道数C存在映射关系，考虑到C一般是2的指数倍，采用指数函数C＝2(γ·k-b)作为非线性映射函数，确定无需降维的局部跨通道信息交互的范围，降低模型复杂度，提高模型的效率。
当C确定时，k可自适应确定，即：
其中，|t|odd表示离t最近的奇数，γ和n分别设置为2和1。ECA动态调整特征通道权重，加强有效特征传播，使网络高效的利用特征通道，提高特征筛选能力。
具体实施方案七：所述差分聚类算法的计算过程为：
(1)初始化群体
从anchor比例数据中随机选取f个样本作为初始聚类中心，进行重复执行Np次，Np为种群规模，通过实数编码构造初始种群，编码方式为：
Ui(0)＝(ui1,ui2,ui3,…uif)
其中i＝1,2,…,Np，Ui(0)表示初始种群的第i个个体，uif表示第i个体的第f个聚类中心；
(2)变异操作
Vi,j(γ+1)＝ur1(γ)+α(ur2(γ)-ur3(γ))
Vi,j(γ+1)为变异个体，α∈[0,1]为缩放系数，r1,r2,r3为在[1,Np]区间中的随机数且互不相同，γ代表第γ代；
(3)交叉操作
当前个体Ui(γ)和变异个体Vi,j(γ+1)进行交叉操作来获得中间个体Mi,j(γ+1)＝(mi,1(γ+1),mi,2(γ+1),…,mi,f(γ+1))，中间个体的第j分量为：
其中CR为交叉概率，且CR∈[0,1]，σ为[1,D]之间随机产生的一个整数，D为个体维度，β为0～1之间满足均匀分布且随机产生的一个数；
(4)选择操作
采用贪婪算法选择进入下一代群体的个体；
f(Ui(γ))为Ui(γ)个体适应度；
(5)算法终止判断
进行检验种群U(γ+1)中的个体，算法的终止条件是种群中最优的个体连续γ代不发生改变；若满足算法终止条件，输出最佳个体，否则重复变异交叉选择操作，一直到输出最佳聚类中心为止；
(6)采用马氏距离计算每个样本与每个簇中心的距离：
其中，a代表样本的坐标，bi代表中心簇的坐标，∑-1是多维随机变量的协方差矩阵；
(7)更新簇中心，计算每个簇中所有样本的均值作为新的簇中心；
(8)重复步骤(6)～(7)，直至每个簇中心不再变化或者簇中心变化很小。本实施方案其它与具体实施方案一相同。
按照本实施方案的步骤，计算出5个比例3个尺度的最佳anchor，而不是默认的3个比例3个尺度。得到的最佳比例为{0.574，1.322，3.182，5.637，6.926}，尺度为{0.125，0.541，0.895}，总体上符合表面贴装元件引脚的形状。
在原始RetinaNet特征金字塔中在P3到P7的每一层上，anchor的scale默认设置为{1:2，1:1，2:1}，ratio为{20，21/3，22/3}，每个层都有9种类型的锚框，对于普通的元件，9种类型的锚框似乎是足够了，但对于异形元件来说这些锚框并不能完全满足需求，因此，本发明提出差分加权聚类算法求anchor比例。
由于K-Means聚类方法容易受到初始聚类种群的影响，往往导致模型陷入局部最优。差分进化算法具有很强的全局收敛能力和鲁棒性，因此，本发明结合K-Means聚类算法和差分进化算法自适应确定anchor比例；由于欧氏距离对于样品的不同属性(即各指标或各变量量纲)之间的差别等同看待，所以本实施方案采用马氏距离代替欧氏距离。
由于Canny算法进行非极大值抑制时采用的双阀值是全局固定的，由于元件图像光照条件的差异，即使在同样的光照条件下，不同元件可能由于旋转、偏移等成像效果也并不一定相同，因此，本实施方案提出一种基于双边滤波与动态阈值的Canny算子边缘检测算法，采用在去噪同时保持边缘特性的双边滤波器代替高斯滤波器对图像平滑处理。计算图像的梯度值得到可能的边缘结果，之后经过非极大值抑制剔除错误的边缘，最后利用最大化类间方差(otsu)算法算出高阈值TH，高阈值的一半作为低阈值TL。
Franklin函数是一类定义在L 2[0，1]上的连续正交函数系，它是对一组线性无关的截断幂基经正交化过程得到的。Franklin函数系记作{φn(x)}，其前三项基函数的表达式为：
φ0(x)＝1 0≤x≤1
连续图像f(x,y)的n阶m次Franklin矩为：
假设单位圆的圆心在某一个像素点上，并且单位圆正好压在图像中某条边缘上，则建立如图5所示的亚像素边缘检测模型，直线L代表理想边缘，单位圆被直线L分为两个灰度区域，h为背景灰度，k为阶跃高度(灰度差)，l为圆心到边缘的垂直距离，两条虚线a,b和c,d对应于在不同阶次的Franklin矩条件下的图像边缘，l1和l2分别为圆心到a,b和c,d的距离，为圆心到边缘的垂直线段与x轴的夹角，将图5(a)顺时针旋转角度/>至图5(b)，则边缘L平行于y轴。
根据图5(a)的模板，得到旋转后图像的各阶Franklin矩:
l1和l2的值为：
在实际操作中，Franklin矩是通过模板对图像进行卷积计算得到的，若Franklin矩的模板大小为N×N，则Franklin矩亚像素边缘检测算法计算出的亚像素位置为：
式中(xs,ys)为图像边缘亚像素坐标，(x,y)为图5a中原点坐标。
具体实施方案八：该方法还包括对亚像素边缘检测结果采用非极大值抑制去除非边缘点以降低噪点干扰，最后采用多边形拟合得到引脚最终位置信息。
具体实施方案九：若引脚类型为矩形，使用多边形拟合亚像素边缘点，得到拟合轮廓；若引脚类型为引脚组，计算引脚右边界与相邻引脚左边界间的距离，若小于阈值，将两个引脚定义为一个引脚，若大于阈值则认为是两个独立的引脚，统计定位框内引脚个数，拟合引脚，计算同一引脚组中所有相邻引脚中心距离的平均值，作为该引脚组中相邻引脚之间的间距，所有引脚长度和宽度均值为该组中引脚的长度和宽度；若引脚类型为圆，通过最小二乘法对圆进行拟合，得到圆的中心点坐标x′,y′和圆的半径R′，如果检测到多个圆的圆心为同一点，则拟合半径R′取最大圆的半径。本实施方案其它与具体实施方案八相同。
本实施方案中，引脚右边界与相邻引脚左边界间的距离阈值一般设置为3，这是一个经验值
如图6所示为亚像素检测结果，P1表示原始图像，P2表示使用Canny固定阈值进行边缘检测的结果阈值，P3表示使用Canny动态阈值的边缘检测结果，P4表示使用Canny动态阈值与Franklin矩结合的边缘检测结果。可以看到使用Canny动态阈值与Franklin矩结合的方法在光照和噪声的情况下进行边缘检测效果更好。
基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取***，包括：
图像采集模块，用于采集表面贴装异形元件图像；
模型构建模块，用于构建元件参数提取模型，该模型基于改进的RetinaNet网络，并构建有空间与通道注意力模块SCCA，使网络更加关注引脚区域，基于差分聚类算法求解anchor比例，以预测引脚类型及引脚初始位置；同时该模型基于双边滤波与动态阈值的Canny算子以实现图像像素级边缘的提取，并基于Franklin矩实现像素级边缘的亚像素边缘检测，以提取引脚最终位置信息；
参数提取模块，用于采用所述元件参数提取模型对表面贴装异形元件图像的元件参数进行提取。
实施例1
为进一步验证本发明的有效性，采用如下实施例对本发明方法进行说明。
数据集构建
采用韩华SM482Plus贴片机采集图片构建数据集，韩华SM482Plus贴片机视觉***有飞行和固定相机两种图像采集方式，飞行相机有内光，外光两种亮度选择，每一种亮度选择中又包括了16个亮度级别，固定相机分为内光，外光，边光，三种亮度选择，每一种亮度选择中同样包括了16个亮度级别，由于固定相机比飞行相机拍照范围和拍照精度较好，所以本实施例采用固定相机采集图像，采集图像时相机亮度级别步距为2，采集30种不同类型元件61440张图像，去除成像过暗、曝光过度或成像效果不好的图片后，共包括5740张图片组成数据集，对每幅图像进行元件引脚位置标定并根据引脚类型(引脚组、矩形和圆三种类型)进行分类注释，通过图像裁剪和旋转等数据增强操作构建最终数据集SMPD(SufaceMount Chip Dimension)，SMPD共有25000元件图像，按照8:1:1比例划分训练集、验证集和测试集。
训练过程
本实施例采用PyTorch1.9深度学习框架进行训练，Ubuntu 22.0操作***，CPU：Intel(R)Xeon(R)Gold5218R，使用NVIDIAGeForceRTX3090显卡。采用了Adam优化器，批大小(batch size)设置为8，并在训练过程中使用动态学习方法设置学习率，初始学习率设置为0.005，训练50个epoch后，学习率降低为0.0001；训练100个epoch后，学习率降为0.00001，总迭代数为300。
采用Focal-Loss损失作为损失函数，表达式为：
FL(pt)＝-(1-pt)μlog(pt)
其中，pt表示的是真实标签为正样本的概率，μ为非负数，用于平衡已分类样本和困难样本的权重。
目标检测
采用平均精度(Average Precision，AP)和平均召回率(Average Recall，AR)评价网络检测性能。正确预测的正样本在总预测样本数中所占的比例称为查准率(Precision，P)，正确预测的样本在数据集正样本数中所占的比例称为召回率(Recall，R)，表达式为：
其中，TP表示正样本被正确预测，FP为负样本被错误预测的数量，FN为正样本被错误预测的数量。
在目标检测中预测正样本的确定是根据预测框和真实框的IOU(Intersectionover union)值判断的，在IOU值设置为α时，平均精度APα为：
其中，N为检测目标类别总数，AP50表示在IOU阈值为0.5所围PR曲线的面积。AP表示IOU在0.5到0.95之间，间隔为0.05的10个值下的平均精度。同样AR为10个IOU阈值下召回率的均值，ARO中的O表示在一幅图像中最多检测O个引脚框。
将本发明提出的RetinaNet+SCCA网络与Faster R-CNN、SSD、RetinaNet网络进行对比，结果如表1所示，可以看到本发明方法在AP，AP50，AP75，AR1，AR10，AR100各指标值上均有明显的优势，其中召回率AR10和AR100在各个检测算法中得到相近的值，这是因为SMPD数据集中每一幅图像中包含的引脚个数普遍不多。本发明方法比单纯的RetinaNet AP值大幅提高，说明加入注意力机制模块可以使网络更加关注的引脚，改善低对比度区域的引脚检测效果。
表1
消融实验
在实际贴装中元件的位置会因为很多因素产生偏移，例如元件在料带中产生晃动会造成吸嘴不能落在元件的中心位置，或者在芯片吸取时吸嘴内的气压可能会造成元件产生X-Y方向和角度R的偏移，表面贴装元件大多由编带和托盘式包装，元件x、y方向偏移基本在-3mm到3mm范围内，角度偏移在-30到30之间，为了测试本发明的注意力机制对在芯片姿态变化时的表现，选取x方向偏移-3mm到3mm，y方向偏移-3mm到3mm，步距为1mm，角度偏移从-30度到30度，步距为10度，光照等级从2到10，步距为2，实验由人工标注的金标准引脚定位中心与使用不同注意力的引脚中心定位结果的平均差值来衡量，计算公式为：
其中，xm、ym为人工标注的金标准引脚中心x、y坐标，xp、yp为检测引脚中心x、y坐标；n为人工标注的金标准引脚个数。
实验N1：原始RetinaNet，实验N2：原始RetinaNet添加改进空间注意力；实验N3：原始Retinanet添加通道注意力；实验N4，本发明的RetinaNet+SCCA网络，其余结构保持不变同时保证每个实验只有一个参数在上述范围内变化。实验芯片为图6中的四种芯片，每种芯片有一百个元件。
如图7所示，给出了四种方法在不同X偏移、Y偏移、旋转角度和亮度的中心偏移B值，可以看出，光照的变化对实验的影响是最大的，实验N4方法在不同的X偏移、Y偏移、旋转角度中心偏移最小且最稳定，证明本发明提方法的有效性。
通过率和速度
元件贴装通过率为：经过亚像素边缘检测后的引脚作为贴装的模板M，在线贴装元件检测后与模版M求IOU计算相似度。若相似度大于一定比例(本实施例设置为60％)，则认为贴装元件选取正确，结果为通过，反之为不通过。测试通过的芯片数量占总测试芯片的比例即为通过率。统计元件通过率意味着操作员可以更容易地使用机器。同时由于贴装机对元件贴装的实时性要求较高，因此本实施例在保证通过率的同时，使用改进的亚像素边缘检测方法以提高元件检测效率。不同算法在贴装过程中通过率和速度如图8和表2所示：
表2
其中，M1为SM482Plus，M2点集配准，M3为RetinaNet+SCCA+Franklin矩，M4为本发明的RetinaNet+Canny-Franklin矩+SCCA。
由图8可知，本实施例的通过率都在95％以上，相比于M1和M2更加稳定，由表2可见，发明方法采用Canny算法对图像像素级边缘进行提取，再对得到的像素级边缘基础上在进行Franklin矩亚像素检测，相较于M3平均可节约一半以上的检测时间。虽然利用franklin矩直接进行亚像素边缘检测比有较高的通过率，但表面贴装设备对元件检测实时性要求较高，算法具备精度高的同时也要具备实时性，因此，如图9所示，本发明方法兼顾了检测速度与稳定性，更符合实际检测要求。
综上所述，本发明提出将元件检测简化为对元件引脚的检测，适应不同特征的引脚，使元件检测具有泛化性，引入改进的空间和通道注意力，提取多尺度元件引脚特征，使网络更加关注引脚区域的同时加快元件检测时间，并使用差分加权聚类算法自适应确定anchor比例，完成元件引脚分类和粗定位。采用改进Canny-Franklin矩的亚像素图像边缘检测方法，使用Canny算法对图像像素级边缘进行提取，进而使用Frankin矩对得到像素级边缘检测结果进行精细定位，在保证检测精度的同时大幅降低亚像素边缘定位执行时间。实验结果表明，相比于SSD，FasterR-CNN等方法，本发明方法具有良好的目标框检测能力，在实际贴装中比韩华SM482Plus、点集配准具有更高精确度、速度。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法，其特征在于，包括如下步骤：
S1、采集表面贴装异形元件图像；
S2、构建元件参数提取模型，该模型基于改进的RetinaNet网络，并构建有空间与通道注意力模块，使网络更加关注引脚区域，基于差分聚类算法求解anchor比例，以预测引脚类型及引脚初始位置；同时该模型基于双边滤波与动态阈值的Canny算子以实现图像像素级边缘的提取，并基于Franklin矩实现像素级边缘的亚像素边缘检测，以提取引脚最终位置信息；
S3、采用所述元件参数提取模型对表面贴装异形元件图像的元件参数进行提取。
2.根据权利要求1所述的方法，其特征在于，S2中所述引脚类型包括：引脚组、矩形和圆三种类型。
3.根据权利要求1所述的方法，其特征在于，S2中所述改进的RetinaNet网络包括：特征提取网络、特征金字塔网络FPN和分类及回归网络三部分，通过所述特征提取网络对表面贴装异形元件图像进行特征提取得到有效特征图，通过空间与通道注意力模块获得特征图的空间和通道权重，后经特征金字塔网络FPN完成多尺度特征融合，采用差分聚类算法计算anchor的比例，根据分类及回归结果对引脚种类与引脚初始位置进行预测。
4.根据权利要求3所述的方法，其特征在于，所述空间与通道注意力模块包括空间注意力模块和通道注意力模块，所述空间注意力模块通过空间注意力机制来捕获长距离的引脚位置依赖，并将全局信息融合到通道中，以补充元件图像的语义信息，所述通道注意力模块利用通道注意力建模通道间依赖关系重标定每个通道的重要性，动态生成网络关注区域，突出重要的元件引脚信息，抑制不相关背景区域特征激活。
5.根据权利要求4所述的方法，其特征在于，所述空间注意力模块的输入特征图为：X∈RH×W×C，其中C是通道数，H和W为特征图高度和宽度，用三个不同权重的1x1卷积Wθ、Wφ和Wg对X进行线性映射，得到θ＝Wθ(X)、φ＝Wφ(X)和g＝Wg(X)，采用特征金字塔网络FPN从θ和g中采样S个代表点得到和/> 计算相似度矩阵VP为：
VP＝φT×Pθ(θ)
使用softmax函数归一化相似度矩阵VP，约束矩阵元素值为[0,1]，则空间注意力输出表示为：
Wo为1×1卷积，使注意力输出恢复原始特征图尺寸。
6.根据权利要求4所述的方法，其特征在于，所述通道注意力模块引入ECA注意力模块，优先关注有效通道，学习相邻通道的相关性，获取特征通道的重要程度，生成通道权重，使网络强化有利于引脚检测的特征通道，弱化无关特征。
7.根据权利要求1所述的方法，其特征在于，所述差分聚类算法结合K-Means聚类算法和差分进化算法，计算过程为：
(1)初始化群体
从anchor比例数据中随机选取f个样本作为初始聚类中心，进行重复执行Np次，通过实数编码构造初始种群，编码方式为：
Ui(0)＝(ui1,ui2,ui3,…uif)
其中i＝1,2,…,Np，Ui(0)表示初始种群的第i个个体，uif表示第i个体的第f个聚类中心；
(2)变异操作
Vi,j(γ+1)＝ur1(γ)+α(ur2(γ)-ur3(γ))
Vi,j(γ+1)为变异个体，α∈[0,1]为缩放系数，r1,r2,r3为在[1,Np]区间中的随机数且互不相同，γ代表第γ代；
(3)交叉操作
当前个体Ui(γ)和变异个体Vi,j(γ+1)进行交叉操作来获得中间个体Mi,j(γ+1)＝(mi,1(γ+1),mi,2(γ+1),…,mi,f(γ+1))，中间个体的第j分量为：
其中CR为交叉概率，且CR∈[0,1]，σ为[1,D]之间随机产生的一个整数，D为个体维度，β为[0,1]之间满足均匀分布且随机产生的一个数；
(4)选择操作
采用贪婪算法选择进入下一代群体的个体；
f(Ui(γ))为Ui(γ)个体适应度；
(5)算法终止判断
进行检验种群U(γ+1)中的个体，算法的终止条件是种群中最优的个体连续γ代不发生改变；若满足算法终止条件，输出最佳个体，否则重复变异交叉选择操作，一直到输出最佳聚类中心为止；
(6)采用马氏距离计算每个样本与每个簇中心的距离：
其中，a代表样本的坐标，bi代表中心簇的坐标，Σ-1是多维随机变量的协方差矩阵；
(7)更新簇中心，计算每个簇中所有样本的均值作为新的簇中心；
(8)重复步骤(6)～(7)，直至每个簇中心不再变化或者簇中心变化很小。
8.根据权利要求1所述的方法，其特征在于，该方法还包括对亚像素边缘检测结果采用非极大值抑制去除非边缘点以降低噪点干扰，最后采用多边形拟合得到引脚最终位置信息。
9.根据权利要求8所述的方法，其特征在于，若引脚类型为矩形，使用多边形拟合亚像素边缘点，得到拟合轮廓；若引脚类型为引脚组，计算引脚右边界与相邻引脚左边界间的距离，若小于阈值，将两个引脚定义为一个引脚，若大于阈值则认为是两个独立的引脚，统计定位框内引脚个数，拟合引脚，计算同一引脚组中所有相邻引脚中心距离的平均值，作为该引脚组中相邻引脚之间的间距，所有引脚长度和宽度均值为该组中引脚的长度和宽度；若引脚类型为圆，通过最小二乘法对圆进行拟合，得到圆的中心点坐标x′,y′和圆的半径R′，如果检测到多个圆的圆心为同一点，则拟合半径R′取最大圆的半径。
10.基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取***，其特征在于，该***具有与上述权利要求1～9中任一项权利要求的步骤对应的模块，运行时执行上述的基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311424107.4A CN117474861A (zh) | 2023-10-31 | 2023-10-31 | 基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311424107.4A CN117474861A (zh) | 2023-10-31 | 2023-10-31 | 基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117474861A true CN117474861A (zh) | 2024-01-30 |
Family
ID=89637308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311424107.4A Pending CN117474861A (zh) | 2023-10-31 | 2023-10-31 | 基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117474861A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
| US20220230324A1 (en) * | 2021-01-21 | 2022-07-21 | Dalian University Of Technology | Camouflaged object segmentation method with distraction mining |
| CN115731517A (zh) * | 2022-11-22 | 2023-03-03 | 南京邮电大学 | 一种基于Crowd-RetinaNet网络的拥挤人群检测方法 |
-
2023
- 2023-10-31 CN CN202311424107.4A patent/CN117474861A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| US20220230324A1 (en) * | 2021-01-21 | 2022-07-21 | Dalian University Of Technology | Camouflaged object segmentation method with distraction mining |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
| CN115731517A (zh) * | 2022-11-22 | 2023-03-03 | 南京邮电大学 | 一种基于Crowd-RetinaNet网络的拥挤人群检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| WEIGUO SHENG等: "A Differential Evolution Algorithm With Adaptive Niching and K-Means Operation for Data Clustering", IEEE TRANSACTIONS ON CYBERNETICS, vol. 52, no. 7, 31 July 2022 (2022-07-31), XP011913383, DOI: 10.1109/TCYB.2020.3035887 * |
| XUN CHENG等: "RetinaNet With Difference Channel Attention and Adaptively Spatial Feature Fusion for Steel Surface Defect Detection", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, vol. 70, 31 December 2021 (2021-12-31) * |
| ZHICHENG WANG等: "An Improved Canny-Zernike Subpixel Detection Algorithm", WIRELESS CONNNUNICARIONS AND MOBILE COMPURING, vol. 2022, 31 December 2022 (2022-12-31) * |
| 吴一全等: "基于Franklin矩的亚像素级图像边缘检测算法", 仪器仪表学报, vol. 40, no. 5, 31 May 2019 (2019-05-31) * |
| 马艳娥等: "基于改进的Canny算子和Zernike矩的亚像素边缘检测方法", 电子测试, no. 07, 6 July 2011 (2011-07-06) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103593670B (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和*** | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及*** | |
| CN103996052B (zh) | 基于三维点云的三维人脸性别分类方法 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN111860494B (zh) | 图像目标检测的优化方法、装置、电子设备和存储介质 | |
| CN105308944A (zh) | 对移动设备捕获的数字图像中的对象进行分类的***和方法 | |
| CN109993221B (zh) | 一种图像分类方法及装置 | |
| CN110648322A (zh) | 一种子宫颈异常细胞检测方法及*** | |
| CN104392231A (zh) | 基于分块与稀疏主特征提取的快速协同显著性检测方法 | |
| CN116990323B (zh) | 一种高精密印刷版视觉检测*** | |
| CN116342597B (zh) | 一种汽车配件表面电镀加工缺陷检测方法和*** | |
| CN110449658A (zh) | 板材开料方法及装置 | |
| CN111783885A (zh) | 一种基于局部增强的毫米波图像的质量分类模型构建方法 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和*** | |
| CN115375690A (zh) | 一种舌象腐腻苔分类识别方法 | |
| CN113221956A (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN110188864B (zh) | 基于分布表示和分布度量的小样本学习方法 | |
| CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| TWI498830B (zh) | 不均勻光線下的車牌辨識方法及系統 | |
| CN117474861A (zh) | 基于改进RetinaNet及Canny-Franklin矩亚像素的表面贴装异形元件参数提取方法及*** | |
| CN111968115A (zh) | 基于栅格化图像处理方法的骨科耗材检测方法及*** | |
| CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
| CN114359742B (zh) | 一种优化小目标检测的加权损失函数计算方法 | |
| CN115719414A (zh) | 基于任意四边形回归的目标检测与精确定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |