CN114676957A - 一种钟表产品装配质量数据分析*** - Google Patents
一种钟表产品装配质量数据分析*** Download PDFInfo
- Publication number
- CN114676957A CN114676957A CN202210101153.XA CN202210101153A CN114676957A CN 114676957 A CN114676957 A CN 114676957A CN 202210101153 A CN202210101153 A CN 202210101153A CN 114676957 A CN114676957 A CN 114676957A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- image
- clock
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 38
- 239000000463 material Substances 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012797 qualification Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000006855 networking Effects 0.000 abstract description 3
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 230000009471 action Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 241000544051 Damasonium alisma Species 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种钟表产品装配质量数据分析***，所述***包括：测量模块：钟表走时准确性自动化检测模块、钟表指针装配平行度测量模块、分析模块：包括数据综合分析模块、数据整理统计模块、综合管理模块：包括用户权限管理模块，测量数据模块、测量报告生成管理模块、数据交互管理模块；本发明的优点在于对钟表装针质量及走时准确性的全链质量数据分析，利用产品质量数据平台分析生产过程中易产生问题的原因，推进生产过程的数字化、网络化和智能化，改善和优化生产工艺技术，过程信息自动检测与存储，在线实时监控反馈，使生产过程质量可控稳定，提高生产效率和产品质量，降低生产成本。
Description
技术领域
本发明涉及人脸识别技术领域，特别涉及一种钟表产品装配质量数据分析***。
背景技术
日差是代表钟表走时质量最主要的指标之一，通常采用瞬时日差和实走日差两种方式评价，瞬时日差可在校表仪(时差测试仪)上测量，主要对所采购的机芯质量进行检测，测量效率高，受后续指针装配等多个工序环节影响会造成走时不准确，因此此方法不能完全代表钟表的实际走时误差；实走日差测量目前基本上没有适用测量设备，有能力的一些企业采取人工目视与标准时间比对(24h)，按一定比例抽检，耗时耗力，测量精度低，且易受人为主观影响。指针的装配质量(平行度)目前也处于人工目视定性检查，易使检验人员疲劳、误判。因此申请人提出一种钟表产品装配质量数据分析***，解决以往人工目视、主观判断、易疲劳等问题。
发明内容
(一)技术方案
本发明通过如下技术方案实现：一种钟表产品装配质量数据分析***，所述***包括：
测量模块：钟表走时准确性自动化检测模块、钟表指针装配平行度测量模块；
分析模块：包括数据综合分析模块、数据整理统计模块；
综合管理模块：包括用户权限管理模块，测量数据模块、测量报告生成管理模块、数据交互管理模块。
作为上述方案的进一步说明，所述钟表走时准确性自动化检测模块包括：
第一硬件模块：用于对钟表指针表盘图像进行采集，并通过数据线传输到计算机；
第一图像识别处理模块：用于对采集到的图像进行处理，特征提取与读数识别方面；
料盘自动传输模块：用于钟表的自动下料、自动上料及钟表的传输。
作为上述方案的进一步说明，所述第一硬件模块具体的：
工业相机；
安装于所述工业相机的镜头；
安装与镜头下部两侧的LED光源；
所述工业相机为CCD相机；
所述LED光源的投射方式为双侧LED光源同角度侧向投射。
作为上述方案的进一步说明，所述第一图像识别处理模块包括：
图像预处理模块：用于对钟表图像进行去除噪声影响并突出目标图像的有用特征信息；
图像处理模块：用于对钟表图像进行图像形态学运算、指针直线检测、表盘刻度线拟合、指针旋转中心拟合；
表盘读数识别模块：用于读取表盘读数。
作为上述方案的进一步说明，所述料盘自动传输模块包括上料区、检测区、暂存区、分选区。
作为上述方案的进一步说明，所述料盘自动传输模块自动化运输方法如下：
S1：人工上料，料盘通过上料机构转移到输送线上运往检测区；
S2：检测区的工业相机对料盘中的每4个表盘进行同时第一次拍照；
S3：将拍过后的料盘转移到暂存位的堆垛区；
S4：料盘在暂存位存放24h之前，将料盘运送到检测区候检；
S5：当时间达到24h左右，检测区工业相机开始启动拍照，对料盘依次进行第二次拍照，上位机进行图像处理，对相应位置表盘的走时准确性进行判断，下料机构将不合格表盘转移到次品位；
S6：将合格表盘的料盘通过下料机构送往合格位进行存放。
作为上述方案的进一步说明，所述钟表指针装配平行度测量模块：
第二硬件模块：用于对钟表指针图像进行采集，并通过数据线传输到计算机；
第二图像识别处理模块：用于对采集到的图像进行处理，特征提取与读数识别方面。
作为上述方案的进一步说明，所述第二硬件模块包括：
CMOS工业相机；
安装于所述CMOS工业相机的低畸变定焦镜头；
安装与镜头两侧的平行面LED光源。
作为上述方案的进一步说明，所述第二图像识别处理模块包括：
相机控制子模块：用于控制相机初始化及启动；
图像采集子模块：用于单次采集图像；
图像预处理子模块：用于对采集的图像进行预处理；
结果输出子模块：用于输出合格、不合格、异常的测量结果
数据统计存储子模块：用于统计指针的合格、不合格、异常的情况。
作为上述方案的进一步说明，所述***流程如下：
更新数据，包括更新经验数据及设置参数；
新建测量项目；
分析数据及生成报告；
数据管理，包括上传测量数据、上传经验数据。
(三)有益效果
本发明相对于现有技术，具有以下有益效果：
结合钟表走时准确性自动化检测***和钟表指针平行度在线自动检测***所采集的检测数据建立钟表产品装配质量数据分析平台，对钟表装针质量及走时准确性的全链质量数据分析，利用产品质量数据平台分析生产过程中易产生问题的原因，推进生产过程的数字化、网络化和智能化，改善和优化生产工艺技术，过程信息自动检测与存储，在线实时监控反馈，使生产过程质量可控稳定，提高生产效率和产品质量，降低生产成本。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例***架构图；
图2为本发明实施例第一硬件模块示意图；
图3为本发明实施例第一硬件模块光照模型图；
图4为本发明实施例***分层架构图；
图5为本发明实施例图像识别处理软件流程图；
图6为本发明实施例***自动传输流程图；
图7为本发明实施例料盘自动传输***路线图；
图8为本发明实施例第二硬件模块示意图；
图9为本发明实施例图像处理测量结构图；
图10为本发明实施例标准化流程架构图。
具体实施方式
实施例1
结合钟表走时准确性自动化检测***和钟表指针平行度在线自动检测***所采集的检测数据建立钟表产品装配质量数据分析平台，对钟表装针质量及走时准确性的全链质量数据分析，利用产品质量数据平台分析生产过程中易产生问题的原因，推进生产过程的数字化、网络化和智能化，改善和优化生产工艺技术，过程信息自动检测与存储，在线实时监控反馈，使生产过程质量可控稳定，提高生产效率和产品质量，降低生产成本。钟表产品装配质量数据分析平台具有控制、测量、综合分析、决策调整等功能，分为测量模块、分析模块及综合管理模块。产品质量数据分析平台内部架构参阅图1。
一种钟表产品装配质量数据分析***，所述***包括：测量模块、分析模块、综合管理模块。
1.测量模块：钟表走时准确性自动化检测模块、钟表指针装配平行度测量模块；
1.1钟表走时准确性自动化检测模块
1.1.1第一硬件模块
请参阅图2，第一硬件模块：用于对钟表指针表盘图像进行采集，并通过数据线传输到计算机；所述第一硬件模块具体的：工业相机；安装于所述工业相机的镜头；安装与镜头下部两侧的LED光源；所述工业相机为 CCD相机；所述LED光源的投射方式为双侧LED光源同角度侧向投射。钟表指针图像采集硬件***由钟表指针表盘、图像采集设备与计算机三个主要模块组成。图像采集设备主要包括工业相机、光学镜头和高亮度均匀光源***等。初始钟表指针表盘图像的采集是整个读数识别***的基础。采集过程中的许多因素都会对后续图像处理和识别过程造成影响，如光学镜头分辨率低会使图像不清晰，特征信息缺失；光照的角度不恰当造成钟表表蒙反光或指针产生阴影等。所以为了简化整个***识别的过程和降低处理难度，必须设计好***图像的采集方案，选择合理的采集设备。钟表走时准确性自动化检测***中以钟表指针表盘作为***识别处理对象，由于钟表指针末梢非常细小，且指针侧向具有一定厚度，刻度盘有不同长短多条刻度线，刻度线较细并且较为密集，同时外表面安装了玻璃表蒙，当进行图像采集过程时，一旦光照方式选择不合适会有强烈的光反射情况，会造成因表盘曝光过度而使图像特征不清晰的情况发生。故在进行图像采集的时候，讨论并选择合适的光源、投射方式及合适的相机具有重要意义。
(1)光源选择
使用光源进行光照的目的是使钟表表盘不同区域之间形成足够的对比度，从而突出指针和表盘特征信息，为识别***的处理和识别提供方便。因此，选择好光源，并设计好光照方式成为***设计中必不可少而且极其重要的步骤。光源的种类繁多，卤素灯光源、荧光灯光源以及RGB三色发光二极管光源(LED)等都是常用的光源类型。其中LED是一种新型的节能高效光源，在生产和生活中获得广泛的关注和应用。LED在性能上具有诸多优势，如较长的使用寿命、低功率功耗、无辐射、节能又环保。在机器视觉测量等相关领域中，LED光源也得到越来越多的使用，结合成本和性能方面，本项目选用LED光源作为机器视觉光源。
(2)光照方式
理想的光源光照方案能够很大程度上简化整个***的后期处理工作量。而光源的照明方案的设计过程通常要依据***中具体被识别对象的特征来设计确定。
根据反射系数的不同可将表面反射分为漫反射和镜面反射两种类型。由于被测平面平整及光滑程度不同会造成入射光线在反射方式上不同产生漫反射及镜面反射。强烈的反射干扰会造成被测表面特征不清晰。每一种光源在不同介质之中传播能力也不尽相同。当某一种介质中的光穿越到另一种介质中时，光会产生折射，可以利用此特性来区分某些难以区分开的不同部分。
本项目钟表走时准确性自动化检测***光照方式主要从相机镜头的视场、光源摆放位置及与被测钟表表盘所成角度、镜面反射等方面着手进行设计。本项目研究对象为钟表指针式表盘，表蒙是透明玻璃平面，且指针与刻度盘不在同一平面内，采用单侧光源投射时，会使表盘一侧较亮，而另一侧较暗，并且指针会在与光源位置相反的一侧刻度盘上产生阴影，使整个***识别过程变得更加复杂，显然是不合理的。一般常用的照明光源结构形式有四种方式。为了使表盘表面通过光照获得均匀的亮度，结合上述四种照明光源结构形式，本***选用选择的光源方案为将两侧光源成一定的相同角度照射在被测表盘上，有效消除了表蒙镜面反射影响。同时避免了指针在表盘平面产生影子。图3所示为本项目所采用的双侧LED光源同角度侧向投射方案示意图。
工业相机是工业技术上必不可少的组成部分，相机的好坏直接影响到所采集到的图像分辨率和图像质量，最终会影响到项目结果。常用的工业相机有CMOS(ComplementaryMetal Oxide Silicon)和CCD(Charge- Coupled Devices)两种类型。CMOS和CCD都是由一系列的光敏元件构成，光敏元件是电荷汇集的区域，其电荷与投射到该区域的光成正比，然后以离散或采样的方式得到这些电荷。
CMOS是一种常用的半导体光敏元件，可以记录数码相机中的光线变化情况。但利用其进行快速变化的影像处理过程中，因为过于频繁的电流变化所导致过热的现象，而常常出现一些杂点。CCD实质上是一个图像传感器，并通过电荷包为主要载体进行信息的存储和传送信息。CCD的灵敏度极高，动态范围也比较大，频谱光谱响应宽，能够快速的完成光的采集过程***号的转换，同时由于其摄像头的小体积、低功率功耗、要求工作电压低以及成本低等主要优点，在机器视觉中应用更为广泛。基于CCD 相机在视觉测量中所具有的优越性，故将其应用于本***的图像采集***中进行图像采集并获取工作。
在整个机器视觉***中，光学镜头是图像采集设备的重要成像部件，选择合适的镜头可以有效的提高成像质量。在选择镜头时候，主要参考下面七个因素：
(1)焦距：镜头焦距指的是透镜中心到焦点的距离。镜头的焦距主要由视场角、成像以及景深等参数决定。焦距一般用f表示：f＝L/ (1+α/β)。当对同一距离远的同一个被摄目标拍摄时，镜头焦距长的所成的像大，镜头焦距短的所成的像素小。
(2)视场：视场取决于的规格化敏感面尺寸和镜头的视场，是图像采集设备所输出的数字图像所能覆盖的最大范围，常用采集设备所能覆盖的实际物面的幅面(V×H)表示成像视场范围。
(3)距离：距离分为物到像的距离和工作距离。物到像的具体是指被测物到相机内部传感器的距离。工作距离指的是被测物到相机前端的距离，由于本项目使用的是焦距参数，所以在具体的计算时就必须选择工作距离作为距离标准。
(4)畸变：一般来讲，光学镜头的畸变在光学中心处最小，并随着镜头上区域到主光轴距离的增大而增大。因此，根据被测零件的外形尺寸，要求对边缘的某一区域做出了较高的设计要求，要求该范围内的畸变小于 0.05％。
畸变定义为实际像高与理想像高之差，与理想像高之比，用百分数来表示，相对畸变计算公式为：Dist＝(y'-y0')/y0'×100％。
(5)放大倍数：放大倍数是指在成像过程中，物体通过透镜后的成像大小与物体本身大小的比值。而通常所说的相机的最大放大倍率是指在最大焦距下清晰成像，拍摄距离最短的条件下的放大倍率。
(6)景深：指在光学镜头前，沿着能够取得清晰图像的镜头轴线所测定的物体的距离范围。景深与物镜的焦距、光圈大小和工作距离有关。光圈越小(F数越大)，或工作距离越大、景深就越大。
景深Δ分为前景深ΔL1和后景深ΔL2，计算公式为：ΔL1＝p2σ'/(f2F+pσ')；ΔL2＝p2σ'/(f2F-pσ')；Δ＝ΔL1+ΔL2。
公式中，f为物镜的焦距，F为物镜的光圈数，σ′为像面上可允许的弥散圆直径，在CCD或CMOS上其最小值为像元尺寸。
(7)环境：在视觉***的应用中，有许多环境因素，如反射，光照，温度等。环境因素会影响成像。考虑不同的环境因素并选择不同的焦距镜头。
1.1.2第一图像识别处理模块
第一图像识别处理模块用于对采集到的图像进行处理，特征提取与读数识别方面；包括图像预处理模块：用于对钟表图像进行去除噪声影响并突出目标图像的有用特征信息；图像处理模块：用于对钟表图像进行图像形态学运算、指针直线检测、表盘刻度线拟合、指针旋转中心拟合；表盘读数识别模块：用于读取表盘读数。该模块包括以下内容：
(1)软件开发环境
Visual Studio软件开发环境是微软Windows应用程序开发环境，提拱了高效的智能的高级开发工具、调试功能、数据库和各种可视化程序开发创新功能，包括了整个软件生命周期中所需的大部分工具，如UML工具、代码管控工具、集成开发环境(IDE)等，是目前应用最流行的Windows 平台应用程序的集成开发环境。而且大多数的图像处理库都是基于C和C++语言编写，采用C++进行程序编写兼容性较好，代码的执行效率高。本项目在VisualStudio软件开发环境下使用C++语言编写一套MFC可执行程序。
Visual Studio软件的语言命令较为容易掌握，而且可读性也非常强。同时，软件采集工具箱中包含丰富的函数，为图像采集带来方便。软件处理工具箱中具有不同种类及数据格式的图像处理功能。在对目标图像进行采集、分析及处理时可以通过软件函数的调用来完成具体操作，从而识别图像中的信息细节，结合相关算法并应用C++语言编写相关程序来实现函数的调用进行数据的统计和分析，从而完成图像数据分析识别及整合过程。
请参阅图4，根据项目的实际开展情况，项目设计了一种采用面向对象技术加以实现的分层软件构架，使其具有灵活的移植性和一定的复用性。根据具体检测要求和任务，提出建立钟表走时准确性自动化检测***控制软件的分层架构。该结构自上而下分为：任务层、策略层和行为层等三个控制层。任务层首先接受和解析操作者发出的指令，以检测工艺指标为依据进行任务分解；然后综合策略层反馈的当前信息；最后来构造策略层能理解的动作序列，并传递给策略层。策略层接受任务层发来的动作序列，将每个动作分解为多个部件的行为传输给行为层，策略层只与封装后的行为接口有关，并不涉及到任何行为层的硬件信息。行为层根据策略层传来的命令控制各传动传输机构、CCD工业相机以及机械手分拣机构等组件动作。
(2)钟表指针图像识别处理***主要通过以下三部分工作来完成：即图像预处理模块，图像处理模块以及读数识别模块。图像识别处理流程如图5所示。
1.1.3料盘自动传输模块
料盘自动传输模块：用于钟表的自动下料、自动上料及钟表的传输。包括上料区、检测区、暂存区、分选区，请参阅图6。采用可编程序控制***(PLC)进行整体运行控制，以微处理器为基础，应用微电子技术和计算机技术，各种控制功能是通过软件来实现的，适应性强。由中央处理单元、存储器、输入/输出单元、电源、编程器等组成，是专为在工业环境下应用而设计的一种工业控制计算机。PLC控制方式具有体积小、可靠性高，通用性强，成本较低，软、硬件开发周期短，安装维护简便，在工业现场抗干扰能力强等优点。整***自动传输流程图请参阅图7。
料盘自动传输***运行过程概要如下：
S1：操作工将表盘工件放置到料盘上后堆放于上料区的料盘位等待上料，料盘通过上料机构转移到输送线上运往检测区进行检测；
S2：当料盘通过输送线移动到检测区时，检测区安装的工业相机对料盘中的每4个表盘进行同时第一次拍照；
S3：夹爪模组将拍过后的料盘通过输送线运输到暂存区上，然后被运送到暂存位，暂存位的模组机构将料盘转移到暂存位的堆垛区；
S4：料盘在暂存位存放24h之前，暂存位的模组机构将料盘转移到输送线上，并通过输送线将对应的料盘运送到检测区候检；
S5：当时间达到24h左右，检测区工业相机开始启动拍照，对从暂存区运输过来的料盘依次进行第二次拍照，上位机进行图像处理，对相应位置表盘的走时准确性进行判断，下料机构将不合格表盘转移到次品位。
S6：输送线将剩下装有合格表盘的料盘通过下料机构送往合格位进行存放。
1.2钟表指针装配平行度测量模块
钟表指针装配平行度测量模块基于机器视觉的高精密钟表指针平行度在线自动检测***的总体方案设计概述如下：首先，将高精密钟表指针平行度在线自动检测***安装于指针装配生产工位上，待指针装配完成后，其指针轮廓已置入低畸变定焦镜头视场中，然后由高分辨率工业相机拍摄三针实时图像，经过模数转换将模拟的图像信号转换为数字信号并经串口数据线进入计算机，利用专用图像测量软件对所采集的图像进行处理以实现测量功能，最后输出合格/不合格/异常(使用OK/NG/EX表示)结果，操作人员根据软件界面上的测量结果，对所装配的钟表指针进行实时修整，达到实时指导装配的效果。***功能的实现需要软件和硬件的相互配合，同时还要考虑现实的生产条件、开发时间、测量和识别要求及经费限制选取最合适的软硬件组合。本***的硬件主要包括计算机、大恒水星相机、日本Computer千万像素低畸变定焦镜头、背光高亮度平行面光源、串口数据线、光源控制器和光源相机支架等。
1.2.1第二硬件模块
硬件部分请参阅图8，第二硬件模块：用于对钟表指针图像进行采集，并通过数据线传输到计算机；包括：CMOS工业相机；安装于所述CMOS工业相机的低畸变定焦镜头；安装与镜头两侧的平行面LED光源。
相机是机器视觉检测***中关键部件之一。分辨率是相机最为重要的性能参数之一，数字相机的分辨率直接取决于靶面上像元的数目，主要用于衡量相机对物像中明暗细节的分辨能力，尤其是图像边缘细节的刻画能力，因此相机分辨率的高低将直接影响到***的精度。根据被测表盘大小及测量精度，设定工作距时视场为40mm；分辨精度为0.015mm，通过***放大倍率、分辨精度等的计算，最终选用大恒水星系列MER-1070- 14U3C/M相机，1000万级像素分辨率作为图像采集的终端设备。该相机是一款USB3.0接口CMOS工业数字相机，采用Onsemi MT9J003 CMOS感光芯片，通过USB3.0数据接口进行图像数据的传输，集成I/O(GPIO)接口，并提供线缆锁紧装置，能稳定工作在各种恶劣环境下，是高可靠性、高性价比的工业数字相机产品。具有高分辨率、高清晰度、高精度、低噪声等特点，支持自定义AOI，降低分辨率可提高帧率；连续采集、软触发采集、外触发采集三种工作方式。具体性能参数见表1。
表1 MER-1070-14U3C/M相机具体参数
| 指标名称 | 具体参数 |
| 分辨率 | 3856(H)x 2764(V) |
| 帧率 | 14fps |
| 传感器类型 | 1/2.3”Rolling Shutter CMOS |
| 像素尺寸 | 1.67μm×1.67μm |
| 光谱 | 黑白 |
| 图像数据格式 | Mono 8/Mono 10/Bayer RG 8/Bayer RG 10 |
| 数据接口 | Mini USB 3.0 |
| 功耗 | <2.5W@5V |
| 镜头接口 | C口 |
| 机械尺寸 | 29×29×29mm，不含连接件 |
| 工作温度 | 0℃～+45℃ |
| 工作湿度 | 10％～80％ |
| 重量 | 58g |
根据被测表盘大小、测量精度以及所选大恒水星系列MER-1070- 14U3C/M相机的要求，定焦镜头比对表见表2，最终选用日本Computer M2518-MPW2镜头，1000万像素低畸变定焦镜头(紧凑型)。
表2镜头选用比对表
***选取大恒水星系列MER-1070-14U3C/M相机的靶面尺寸为1/2.3" (6.4mm×4.6mm)，像素数为3856(H)×2764(V)，像元尺寸为1.67μm×1.67μm，***的放大倍率β＝4.6/40＝0.115mm，可分辨的景物精度为：像素尺寸/放大倍率＝0.00167/0.115＝0.0145mm，满足***分辨精度0.015mm的要求。
光源也是机器视觉检测***中重要的组成部分之一，主要用于凸显被测目标，使其与背景信息之间具有较好的对比度。在实际应用中，一般要求最好得到重复性好的图片以便于分析，这就要求为目标物区域提供稳定均匀的照明条件。该***结合被测零件的特点选用背光透射式高亮度平行面光源照明方式，大面积均匀照射，发光面积为60mm×60mm，发光颜色为白色(色温：6600k～7000k)。
1.2.2第二图像识别处理模块
第二图像识别处理模块用于对采集到的图像进行处理，特征提取与读数识别方面。图像处理测量软件通过VC++语言进行程序开发，控制相机开启采集图像，并获取实时图像进行二值化数据处理，获得三针平行度值。软件架构请参阅图9，包括：相机控制子模块：用于控制相机初始化及启动；图像采集子模块：用于单次采集图像；图像预处理子模块：用于对采集的图像进行预处理；结果输出子模块：用于输出合格、不合格、异常的测量结果数据统计存储子模块：用于统计指针的合格、不合格、异常的情况。
请参阅图10，所述***流程如下：
更新数据，包括更新经验数据及设置参数；
新建测量项目；
分析数据及生成报告；
数据管理，包括上传测量数据、上传经验数据。
2.分析模块：包括数据综合分析模块、数据整理统计模块；
3.综合管理模块：包括用户权限管理模块，测量数据模块、测量报告生成管理模块、数据交互管理模块。
4.本***采用在TCP/IP协议，通信的两个进程间相互作用的主要模式是客户机/服务器模式，即子***向主平台服务器发出服务请求，服务器接收到请求后，提供相应的服务。该模式网络间进程通信完全是异步的，相互通信的进程间既不存在父子关系，又不存在共享内存缓冲区，TCP/IP 通讯为通信的进程间建立联系，为子***客户机和服务器的数据交换提供同步。
本发明的控制方式是通过人工启动和关闭开关来控制，动力元件的接线图与电源的提供属于本领域的公知常识，并且本发明主要用来保护机械装置，所以本发明不再详细解释控制方式和接线布置。
本发明的控制方式是通过控制器来自动控制，控制器的控制电路通过本领域的技术人员简单编程即可实现，电源的提供也属于本领域的公知常识，并且本发明主要用来保护机械装置，所以本发明不再详细解释控制方式和电路连接。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种钟表产品装配质量数据分析***，其特征在于，所述***包括：
测量模块：钟表走时准确性自动化检测模块、钟表指针装配平行度测量模块；
分析模块：包括数据综合分析模块、数据整理统计模块；
综合管理模块：包括用户权限管理模块，测量数据模块、测量报告生成管理模块、数据交互管理模块。
2.根据权利要求1所述的一种钟表产品装配质量数据分析***，其特征在于，
所述钟表走时准确性自动化检测模块包括：
第一硬件模块：用于对钟表指针表盘图像进行采集，并通过数据线传输到计算机；
第一图像识别处理模块：用于对采集到的图像进行处理，特征提取与读数识别方面；
料盘自动传输模块：用于钟表的自动下料、自动上料及钟表的传输。
3.根据权利要求2所述的一种钟表产品装配质量数据分析***，其特征在于，
所述第一硬件模块具体的：
工业相机；
安装于所述工业相机的镜头；
安装与镜头下部两侧的LED光源；
所述工业相机为CCD相机；
所述LED光源的投射方式为双侧LED光源同角度侧向投射。
4.根据权利要求2所述的一种钟表产品装配质量数据分析***，其特征在于，
所述第一图像识别处理模块包括：
图像预处理模块：用于对钟表图像进行去除噪声影响并突出目标图像的有用特征信息；
图像处理模块：用于对钟表图像进行图像形态学运算、指针直线检测、表盘刻度线拟合、指针旋转中心拟合；
表盘读数识别模块：用于读取表盘读数。
5.根据权利要求2所述的一种钟表产品装配质量数据分析***，其特征在于，
所述料盘自动传输模块包括上料区、检测区、暂存区、分选区。
6.根据权利要求5所述的一种钟表产品装配质量数据分析***，其特征在于，
所述料盘自动传输模块自动化运输方法如下：
S1：人工上料，料盘通过上料机构转移到输送线上运往检测区；
S2：检测区的工业相机对料盘中的每4个表盘进行同时第一次拍照；
S3：将拍过后的料盘转移到暂存位的堆垛区；
S4：料盘在暂存位存放24h之前，将料盘运送到检测区候检；
S5：当时间达到24h左右，检测区工业相机开始启动拍照，对料盘依次进行第二次拍照，上位机进行图像处理，对相应位置表盘的走时准确性进行判断，下料机构将不合格表盘转移到次品位；
S6：将合格表盘的料盘通过下料机构送往合格位进行存放。
7.根据权利要求1所述的一种钟表产品装配质量数据分析***，其特征在于，
所述钟表指针装配平行度测量模块：
第二硬件模块：用于对钟表指针图像进行采集，并通过数据线传输到计算机；
第二图像识别处理模块：用于对采集到的图像进行处理，特征提取与读数识别方面。
8.根据权利要求7所述的一种钟表产品装配质量数据分析***，其特征在于，
所述第二硬件模块包括：
CMOS工业相机；
安装于所述CMOS工业相机的低畸变定焦镜头；
安装与镜头两侧的平行面LED光源。
9.根据权利要求7所述的一种钟表产品装配质量数据分析***，其特征在于，
所述第二图像识别处理模块包括：
相机控制子模块：用于控制相机初始化及启动；
图像采集子模块：用于单次采集图像；
图像预处理子模块：用于对采集的图像进行预处理；
结果输出子模块：用于输出合格、不合格、异常的测量结果
数据统计存储子模块：用于统计指针的合格、不合格、异常的情况。
10.根据权利要求1所述的一种钟表产品装配质量数据分析***，其特征在于，
所述***流程如下：
更新数据，包括更新经验数据及设置参数；
新建测量项目；
分析数据及生成报告；
数据管理，包括上传测量数据、上传经验数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101153.XA CN114676957A (zh) | 2022-01-27 | 2022-01-27 | 一种钟表产品装配质量数据分析*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101153.XA CN114676957A (zh) | 2022-01-27 | 2022-01-27 | 一种钟表产品装配质量数据分析*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114676957A true CN114676957A (zh) | 2022-06-28 |
Family
ID=82071654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210101153.XA Pending CN114676957A (zh) | 2022-01-27 | 2022-01-27 | 一种钟表产品装配质量数据分析*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114676957A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082666A (zh) * | 2022-08-23 | 2022-09-20 | 山东聊城中泰表业有限公司 | 一种基于图像理解的手表走时精度验证方法 |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1038887A (zh) * | 1988-06-21 | 1990-01-17 | 天津市第二手表厂 | 指针式钟手表实走日差测试方法 |
| CN101839688A (zh) * | 2009-08-21 | 2010-09-22 | 上海铭源数康生物芯片有限公司 | 基于机器视觉的生物芯片点样过程实时检测***及分析方法 |
| US20130329040A1 (en) * | 2010-11-26 | 2013-12-12 | The Swatch Group Research And Development Ltd. | Method of measuring the accuracy of a mechanical watch |
| CN104392206A (zh) * | 2014-10-24 | 2015-03-04 | 南京航空航天大学 | 一种指针式仪表读数自动识别的图像处理方法 |
| CN104503221A (zh) * | 2014-11-18 | 2015-04-08 | 深圳市金立通信设备有限公司 | 一种钟表校准方法 |
| CN104913797A (zh) * | 2015-05-29 | 2015-09-16 | 广州供电局有限公司 | 指针式仪表的读数识别方法及*** |
| CN105091922A (zh) * | 2014-05-04 | 2015-11-25 | 广东工业大学 | 一种基于虚拟表盘的指针表读数识别方法 |
| CN105806849A (zh) * | 2016-04-08 | 2016-07-27 | 广东工业大学 | 基于机器视觉的汽车座椅表面缺陷检测***及检测方法 |
| CN106960207A (zh) * | 2017-04-26 | 2017-07-18 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别***及方法 |
| CN107024860A (zh) * | 2017-05-18 | 2017-08-08 | 广东乐源数字技术有限公司 | 一种可通过图像识别进行手表对时的*** |
| CN107038447A (zh) * | 2017-04-26 | 2017-08-11 | 大连理工大学 | 一种基于机器视觉的指针式仪表识别方法 |
| CN107167172A (zh) * | 2017-04-17 | 2017-09-15 | 江苏大学 | 一种总线式汽车数字仪表指针功能的在线监测方法 |
| CN107194916A (zh) * | 2017-04-22 | 2017-09-22 | 西安科技大学 | 一种基于特征点匹配的视觉测量*** |
| CN207216293U (zh) * | 2017-08-30 | 2018-04-10 | 深圳市泰坦时钟表科技有限公司 | 基于图像识别技术的手表实走日差测试*** |
| CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
| CN108458733A (zh) * | 2018-06-20 | 2018-08-28 | 安徽炬视科技有限公司 | 基于指针检测的指针式仪表自动读数装置***及识别方法 |
| CN108921176A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 一种基于机器视觉的指针式仪表定位与识别方法 |
| CN108993929A (zh) * | 2018-08-01 | 2018-12-14 | 穆科明 | 一种双机联动工业机器视觉自动检测*** |
| CN109499908A (zh) * | 2018-11-10 | 2019-03-22 | 东莞理工学院 | 一种用于机械零件的视觉检测*** |
| CN109544628A (zh) * | 2018-11-23 | 2019-03-29 | 福州大学 | 一种指针式仪表的准确读数识别***及方法 |
| CN110220545A (zh) * | 2019-07-03 | 2019-09-10 | 国家电网有限公司 | 一次设备仪表信号核对方法、装置及终端设备 |
| CN110929710A (zh) * | 2019-10-29 | 2020-03-27 | 湖南大学 | 一种基于视觉的仪表指针读数自动识别方法与*** |
| CN110942058A (zh) * | 2019-07-31 | 2020-03-31 | 广东互动电子网络媒体有限公司 | 一种基于ccd机器视觉识别的仪表数据读取方法 |
| CN110967961A (zh) * | 2019-12-12 | 2020-04-07 | 中国科学院西安光学精密机械研究所 | 高精密手表三针自动检测***及方法 |
| CN113588653A (zh) * | 2021-05-31 | 2021-11-02 | 内蒙古霍煤鸿骏铝电有限责任公司 | 一种检测和追踪铝用阳极炭块质量的***及方法 |
| CN113835327A (zh) * | 2020-06-23 | 2021-12-24 | 天津海鸥表业集团有限公司 | 一种手表走时精度检测装置及检测方法 |
| CN113835328A (zh) * | 2020-06-23 | 2021-12-24 | 天津海鸥表业集团有限公司 | 一种走时精度检测仪 |
-
2022
- 2022-01-27 CN CN202210101153.XA patent/CN114676957A/zh active Pending
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1038887A (zh) * | 1988-06-21 | 1990-01-17 | 天津市第二手表厂 | 指针式钟手表实走日差测试方法 |
| CN101839688A (zh) * | 2009-08-21 | 2010-09-22 | 上海铭源数康生物芯片有限公司 | 基于机器视觉的生物芯片点样过程实时检测***及分析方法 |
| US20130329040A1 (en) * | 2010-11-26 | 2013-12-12 | The Swatch Group Research And Development Ltd. | Method of measuring the accuracy of a mechanical watch |
| CN105091922A (zh) * | 2014-05-04 | 2015-11-25 | 广东工业大学 | 一种基于虚拟表盘的指针表读数识别方法 |
| CN104392206A (zh) * | 2014-10-24 | 2015-03-04 | 南京航空航天大学 | 一种指针式仪表读数自动识别的图像处理方法 |
| CN104503221A (zh) * | 2014-11-18 | 2015-04-08 | 深圳市金立通信设备有限公司 | 一种钟表校准方法 |
| CN104913797A (zh) * | 2015-05-29 | 2015-09-16 | 广州供电局有限公司 | 指针式仪表的读数识别方法及*** |
| CN105806849A (zh) * | 2016-04-08 | 2016-07-27 | 广东工业大学 | 基于机器视觉的汽车座椅表面缺陷检测***及检测方法 |
| CN107167172A (zh) * | 2017-04-17 | 2017-09-15 | 江苏大学 | 一种总线式汽车数字仪表指针功能的在线监测方法 |
| CN107194916A (zh) * | 2017-04-22 | 2017-09-22 | 西安科技大学 | 一种基于特征点匹配的视觉测量*** |
| CN107038447A (zh) * | 2017-04-26 | 2017-08-11 | 大连理工大学 | 一种基于机器视觉的指针式仪表识别方法 |
| CN106960207A (zh) * | 2017-04-26 | 2017-07-18 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别***及方法 |
| CN107024860A (zh) * | 2017-05-18 | 2017-08-08 | 广东乐源数字技术有限公司 | 一种可通过图像识别进行手表对时的*** |
| CN207216293U (zh) * | 2017-08-30 | 2018-04-10 | 深圳市泰坦时钟表科技有限公司 | 基于图像识别技术的手表实走日差测试*** |
| CN108009535A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电科技股份有限公司 | 一种基于机器视觉的单指针仪表读数方法 |
| CN108458733A (zh) * | 2018-06-20 | 2018-08-28 | 安徽炬视科技有限公司 | 基于指针检测的指针式仪表自动读数装置***及识别方法 |
| CN108921176A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 一种基于机器视觉的指针式仪表定位与识别方法 |
| CN108993929A (zh) * | 2018-08-01 | 2018-12-14 | 穆科明 | 一种双机联动工业机器视觉自动检测*** |
| CN109499908A (zh) * | 2018-11-10 | 2019-03-22 | 东莞理工学院 | 一种用于机械零件的视觉检测*** |
| CN109544628A (zh) * | 2018-11-23 | 2019-03-29 | 福州大学 | 一种指针式仪表的准确读数识别***及方法 |
| CN110220545A (zh) * | 2019-07-03 | 2019-09-10 | 国家电网有限公司 | 一次设备仪表信号核对方法、装置及终端设备 |
| CN110942058A (zh) * | 2019-07-31 | 2020-03-31 | 广东互动电子网络媒体有限公司 | 一种基于ccd机器视觉识别的仪表数据读取方法 |
| CN110929710A (zh) * | 2019-10-29 | 2020-03-27 | 湖南大学 | 一种基于视觉的仪表指针读数自动识别方法与*** |
| CN110967961A (zh) * | 2019-12-12 | 2020-04-07 | 中国科学院西安光学精密机械研究所 | 高精密手表三针自动检测***及方法 |
| CN113835327A (zh) * | 2020-06-23 | 2021-12-24 | 天津海鸥表业集团有限公司 | 一种手表走时精度检测装置及检测方法 |
| CN113835328A (zh) * | 2020-06-23 | 2021-12-24 | 天津海鸥表业集团有限公司 | 一种走时精度检测仪 |
| CN113588653A (zh) * | 2021-05-31 | 2021-11-02 | 内蒙古霍煤鸿骏铝电有限责任公司 | 一种检测和追踪铝用阳极炭块质量的***及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 姜子敬;高敬惠;田金慷;刘国丽;: "基于LabVIEW的指针式仪表实时读数***", 微计算机信息, no. 19, 5 July 2007 (2007-07-05) * |
| 李杰;张丽红;王志敏;胡德双;: "基于图像处理技术指针表的自动识别", 承德石油高等专科学校学报, no. 02, 15 April 2015 (2015-04-15) * |
| 李杰等: "基于图像处理技术指针表的自动识别", 《承德石油高等专科学校学报》, 30 April 2015 (2015-04-30), pages 43 - 46 * |
| 林献坤;林羿江;朱琳;: "机械仪表的机器视觉数据自动获取技术", 组合机床与自动化加工技术, no. 07, 20 July 2016 (2016-07-20) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082666A (zh) * | 2022-08-23 | 2022-09-20 | 山东聊城中泰表业有限公司 | 一种基于图像理解的手表走时精度验证方法 |
| CN115082666B (zh) * | 2022-08-23 | 2022-11-11 | 山东聊城中泰表业有限公司 | 一种基于图像理解的手表走时精度验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN208206822U (zh) | 基于机器视觉的pcb板缺陷自动检测*** | |
| US7272253B2 (en) | Method for non-destructive inspection, apparatus thereof and digital camera system | |
| EP1197728B1 (en) | Displacement sensor | |
| CN109765234A (zh) | 同时对物体正反两个表面进行光学检测的装置及方法 | |
| CN114819627A (zh) | 一种基于机器视觉的高清电子屏生产质量智能监测分析*** | |
| CN102521648A (zh) | 一种元器件自动计数统计方法和装置 | |
| CN114676957A (zh) | 一种钟表产品装配质量数据分析*** | |
| CN108419026A (zh) | 相机曝光时间调整方法、装置及设备 | |
| CN108188042A (zh) | 应用在手机屏玻璃生产线的全自动在线透光率检测*** | |
| CN102176074B (zh) | 日照时数测量方法和日照时数测量装置 | |
| CN113063788A (zh) | 一种标准化图像采集方法及装置 | |
| CN210102906U (zh) | 一种微型化电容的自动识别抓取装置 | |
| CN112730442A (zh) | 基于机器视觉的产品表面缺陷自动在线检测装置及*** | |
| CN108811483A (zh) | 组装电路板检测***及组装电路板检测方法 | |
| US10845784B2 (en) | Sensor system, information processing device, and sensor management method | |
| CN105657265A (zh) | 一种全自动拍摄成像***及方法 | |
| CN113758683B (zh) | 一种基于平均色彩饱和度的相机***辐照后光谱退化评估方法 | |
| CN115604561A (zh) | 一种隧道检测光源自适应调整装置与方法 | |
| CN2911673Y (zh) | 一种检查印刷电路板的扫描成像装置 | |
| CN106845163A (zh) | 一种通用视觉检测***的设定方法 | |
| CN102721531B (zh) | 一种检测仪 | |
| TW201326798A (zh) | 光學檢測系統 | |
| CN113411512B (zh) | 用于卷烟领域的工业相机自动曝光控制方法 | |
| CN116962860B (zh) | 基于hdr高亮色度仪的图像数据处理*** | |
| CN114710659B (zh) | 基于相机亮度非均匀性的图像传感器辐照后prnu退化快速评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |