CN109919899A - 基于多光谱成像的图像的质量评估方法 - Google Patents

基于多光谱成像的图像的质量评估方法 Download PDF

Info

Publication number
CN109919899A
CN109919899A CN201711329341.3A CN201711329341A CN109919899A CN 109919899 A CN109919899 A CN 109919899A CN 201711329341 A CN201711329341 A CN 201711329341A CN 109919899 A CN109919899 A CN 109919899A
Authority
CN
China
Prior art keywords
image
standard specimen
lot sample
operating area
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711329341.3A
Other languages
English (en)
Inventor
忻浩忠
沈会良
葛权耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Research Institute of Textiles and Apparel Ltd
Original Assignee
Hong Kong Research Institute of Textiles and Apparel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Research Institute of Textiles and Apparel Ltd filed Critical Hong Kong Research Institute of Textiles and Apparel Ltd
Priority to CN201711329341.3A priority Critical patent/CN109919899A/zh
Priority to PCT/CN2018/120205 priority patent/WO2019114677A1/en
Priority to US16/215,734 priority patent/US10713780B2/en
Priority to EP18887328.5A priority patent/EP3724850A4/en
Publication of CN109919899A publication Critical patent/CN109919899A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多光谱成像的图像的质量评估方法及计算机可读存储介质，该方法包括：在标样图像中选择需要进行质量评估的操作区域；应用图像匹配算法在批样图像中获取相匹配的操作区域；在标样图像的操作区域中划取不同颜色的种子点；在批样图像的操作区域中获取相对应的种子点；应用图像分割算法对标样图像和批样图像的操作区域进行颜色分割操作，得到各自的颜色信息；以及将标样图像和批样图像的操作区域中的颜色信息进行对比，通过阈值设定判断批样图像中的各颜色是否达到标样图像的要求。该方法可以对纺织行业内混色面料的形状和颜色质量进行精准评估，有效地避免了差异显著的人工对比，并克服了现有方法只能处理单色面料的问题。

Description

基于多光谱成像的图像的质量评估方法
技术领域
本发明涉及一种基于多光谱成像的图像的质量评估方法。
背景技术
在纺织行业中，如何根据标样图像或CAD设计图样批量生产符合客户要求的批样织物是非常困难的，其主要难点在于如何来精确获取批样织物的图像并评估该批样图像与标样图像或CAD设计图样的形状和颜色的一致性。
目前，在一般的纺织企业，批样图像与标样图像(或是CAD设计图样)之间的形状和颜色质量评估都还停留在人工判断的阶段。因此，对于操作人员的要求比较高。但是，由于人工判断的差异性，会造成比较大的比对误差。因此，产生不合格批样的概率也会大大增加。
为了解决人工判断差异过大的问题，现在的纺织企业也会采用标准的测色仪来进行形状和颜色的质量评估。目前的测色仪有多种，也存在多种优势。比如，便携式测色仪，其能直接读取数据，能够连接电脑，体积较小，便于携带；台式测色仪，其可以测量透射物体，体积较大，性能稳定；在线式分光测色仪，其适合生产车间与生产同步使用，大大提高生产效率与生产质量。
但是，目前纺织行业内使用的这些测色仪只能进行纯色(即，单色)的信息提取和质量评估，对于混色面料却难以进行质量评估。比如，在Datacolor测色仪的测色使用说明中，明确提出“物料控制人员送来的小块样布，如果不能机器测色，用目测；如果可以机器测色，用Datacolor测色，再用目测复核”。换言之，Datacolor测色仪难以对混色面料进行颜色评估。
为了解决纺织行业内混色面料的形状和颜色质量评估难题，本发明提出了一种全新的基于多光谱成像的图像形状和/或颜色质量评估方法，其有效地处理了混色面料的质量评估。
发明内容
为了解决以上问题，本发明提出了一种基于多光谱成像的图像的质量评估方法。该方法从不同样品图像颜色色差出发，用户可通过表格化的数据和可视化的色差图直接观察，从而判断批样图像是否合格。也就是说，本发明为用户提供了一套完整的图像质量评估方法。
在一个实施方式中，本发明提出了一种基于多光谱成像的图像的质量评估方法，该方法包括以下步骤：(1)在标样图像中选择需要进行质量评估的操作区域；(2)应用图像匹配算法在批样图像中获取与标样图像相匹配的操作区域；(3)在标样图像的操作区域中划取不同颜色的种子点；(4)在批样图像的操作区域中获取与标样图像中的种子点位置相对应的种子点；(5)应用图像分割算法对标样图像的操作区域和批样图像的操作区域进行颜色分割操作，得到各自的颜色信息；以及(6)将标样图像的操作区域和批样图像的操作区域中的颜色信息进行对比，以获得各项对比信息，并通过阈值设定判断所述批样图像中的各颜色是否达到标样图像的要求，其中，如果标样图像是包括颜色信息的CAD设计图样，则在步骤(2)中获得批样图像的操作区域中的相关颜色信息，并跳过步骤(3)-(5)，执行步骤(6)。
颜色信息可以包括像素点的颜色值，和/或对比信息可以包括色差。
在批样图像的操作区域中，可以通过自动匹配或手动划取获得与标样图像中的种子点位置相对应的种子点。
图像匹配算法可以为基于NTG模型的图像匹配算法，所述算法的公式为：
其中，fr,x和fr,y分别表示图像fr在x和y方向的梯度，ft,x和ft,y分别表示图像ft在x和y方向的梯度。
图像匹配算法可以包括以下步骤：在标样图像中获取模板图像，分别计算模板图像与批样图像的梯度；根据模板图像大小，在批样图像上框出与模板图像的大小对应的窗口并逐像素地移动窗口的位置；将梯度值代入基于NTG模型的图像匹配算法的公式中，计算出模板图像与所述窗口内批样图像的NTG值；以及记录移动过程中NTG值最小的位置，该NTG值最小的位置即是批样图像与模板图像匹配的位置。
图像分割算法可以为基于K-Means聚类的图像分割算法，包括以下步骤：a.给定大小为n的数据集X＝{x1,x2,n,xn}，从所述数据集中随机选取k个数据作为初始聚类中心的集合V(1)＝{v1,v2,n,vk}，1＜k＜n；b.计算数据集中剩余每个数据与每个聚类中心的距离D(xi,vj)，其中1≤i≤n，1≤j≤k，如果D(xi,vw)＝min(D(xi,vj),j＝1,2,n,k)，则xi∈Cw，Cw表示以数据vw为聚类中心的第w类的数据集合；c.计算各个类的数据集合的新的聚类中心从而得到新的聚类中心的集合V(m)，其中V(m)表示第m次迭代的聚类中心，其中ni表示第i类的数据个数；以及d.判断相邻两次计算的聚类中心是否变化，以误差平方和J作为准则函数：J＝||V(m)-V(m-1)||2，当J＜ε时，算法结束，否则返回b步骤，继续迭代，其中ε表示误差容忍度。
该基于多光谱成像的图像的质量评估方法还可以包括以下步骤：将所述标样图像与所述批样图像匹配后融合；以及用色差公式计算操作区域中的对应像素点色差，从而得到空间色差图。
未解决图像边缘部分颜色存在过渡的问题，可以通过以下公式抑制所述空间色差图的边缘部分：
其中，(x,y)为空间色差图的像素点坐标，I(x,y)为空间色差图，Ix(x,y),Iy(x,y)分别为空间色差图在x和y方向的梯度，O(x,y)为抑制边缘后的空间色差图，κ为相关系数。
色差计算公式可以为DECMC(2:1)。
在另一实施方式中，本发明提出了一种基于多光谱成像的图像的质量评估方法，所述方法包括以下步骤：(1)在标样图像中选择需要进行质量评估的操作区域；(2)应用图像匹配算法在批样图像中获取与所述标样图像相匹配的操作区域；(3)将所述标样图像与所述批样图像匹配后融合；以及(4)用色差公式计算操作区域中的对应像素点色差，从而得到所述标样图像和所述批样图像的空间色差图。
在又一个实施方式中，本发明提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明的方法。
本发明的基于多光谱成像的图像的质量评估方法包括了标样图像或者CAD设计图样中颜色与批样图像中对应颜色的色差结果、颜色评价、通过/失败评定等，并且结果可以用表格形式打印出来。涉及图像空间色差图的质量评估方法更是将每个对应像素点的色差一一表示在色差空间分布图上，并通过颜色深浅来表示色差大小，从而使得用户一眼就能发现哪个颜色没有达到要求，样品哪块区域还有问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是根据本发明一个实施例的基于多光谱成像的图像的质量评估方法的流程图。
图2是根据本发明一个实施例的基于NTG模型的图像匹配算法流程；
图3是根据本发明一个实施例的基于K-Means聚类的图像分割算法流程；
图4是根据本发明一个实施例的织物的标样图像和批样图像之间的颜色质量评估结果；
图5是根据本发明一个实施例的织物的CAD设计图样和真实的批样图像之间的颜色质量评估的示意图；
图6是根据本发明另一实施例的基于多光谱成像的图像的质量评估方法的流程图；以及
图7是根据本发明另一个实施例的织物的空间色差图色差评估示例。
具体实施方式
以下说明是本发明的典型实施方式，其并且并不旨在以任何方式限制本发明的范围或适用范围。相反，下列说明旨在提供用于实施本发明的各种实施方式的示例。
众所周知，纺织工业领域中目前还没有对于混色面料图案进行形状和/或颜色质量评估的非人工方法。因此，本发明所提出的方法优选地但非限制性地应用于纺织领域中。
图1是根据本发明的一个实施例的基于多光谱成像的质量评估方法的流程图。混色面料织物的标样图像和批样图像可以优选地通过多光谱成像***获得。如本文所使用，术语“标样图像”指的是标准织物样品的图像。术语“批样图像”指的是实际生产出的各批次的织物样品的图像。
如图1中所示，为了在批样图像中获取进行对比的操作区域，首先执行图像匹配方法：在标样图像中选择需要进行质量评估的操作区域(S1002)；以及应用图像匹配算法在批样图像中获取与标样图像相匹配的操作区域(S1004)。
图像匹配指的是一种将两幅或多幅相同场景的图像对齐的处理过程，两幅或多幅图像可能由于采集时间、采集视角甚至采集设备的不同而产生位置上的偏差或形状上的改变。尤其在纺织领域中，在进行标样图像与批样图像的实际采集时，往往会存在平移、旋转变换。又由于纱线织成的织物为非刚体，可能存在缩放、错切等形变，导致批样图像与给定标样图像不能对齐。此时图像匹配工作就显得尤为重要，该过程可以为工作人员快速寻找标样图像和批样图像中纹理相同的区域，进而快速进行图像质量评估操作，提高工作效率。
匹配方法主要包含以下四个步骤：
特征检测：包括点特征提取法(Harris算子、SUSAN算子等)、线特征提取法(如LoG算子、Canny算子)、Fourier变换法、Gabor变换法、最小二乘法、边界方向直方图法等；
特征匹配：建立在第一步特征检测的基础上，将特征一一对应，寻找特征匹配的过程同时也是变换参数估计的过程，因此相当于将特征匹配与第三步的变换模型估计合并为一步。类似于特征检测，特征匹配方法分为两大类：基于区域(Area-based)的特征匹配方法和基于特征(Feature-based)的特征匹配方法；
变换模型估计：特征匹配之后需要选择图像之间的映射关系以及进行映射关系的参数估计。映射关系可对应于待匹配图像与参考图像之间假设的几何形变，如仿射变换、刚体变换、投影变换以及非线性变换等。待匹配图像与参考图像之间的几何形变模型可分为全局变换与局部变换。在全局变换中，整幅待匹配图像与参考图像服从一个统一的映射关系，而局部变换则将待匹配图像分成若干块，每一小块服从各自的映射关系。在全局变换中，可使用二元多项式模型，其中相似变换是最简单的模型，包括旋转、缩放和平移变换，其形式为：
其中，s为缩放因子，为旋转角度，tx,ty分别为水平与竖直平移量，该变换只包含旋转、缩放和平移变换。由于相似变换保留了角度与曲率等特征，故而一般被称作“保形变换”，即几何体的形状未发生改变。相似变换包含4个未知参数，求解一般至少需要已知2对坐标点。
另外一种线性变换模型是仿射变换，其形式为：
仿射变换包括旋转、缩放、平移和错切变换。仿射变换保留了几何形状的平直性，即原来一对平行的直线变换后仍保留平行性，如长方形经过仿射变换可以变换为平行四边形。仿射变换包含6个未知参数，求解至少需要已知3对坐标点的信息。
图像重采样与变换：在确定了变换模型及估计出参数之后，就可以对待匹配图像作相应的变换得到目标图像，即匹配图像。其实现方法包括正向映射与反向映射两大类。正向映射从待匹配图像的每一个像素点出发利用变换模型计算出目标图像的对应像素点坐标，然后将待匹配图像像素点的灰度值赋予目标图像上对应的像素点，但该方法会在目标图像上产生空洞或者重叠。反向映射从目标图像的像素点出发，利用变换模型的逆映射计算出对应待匹配图像的像素点坐标，然后将待匹配图像上像素点灰度值赋予目标图像上对应的像素点，该方法不会在目标图像上产生空洞或者重叠的现象。
在图1所示的实施例中，在步骤S1004中优选使用的图像匹配算法是归一化总梯度(normalized total gradient，下称NTG)的度量算法。该NTG算法是一种基于图像梯度信息衡量两幅图像匹配程度的度量算法，通过归一化两幅图的差值图像的总梯度获得，其取值范围为[0,1]，其中当NTG取值为0时说明两幅图像是完全匹配的，而取值为1时说明两图是不匹配的，因此可以通过寻找使得NTG最小的位置获得两幅图像的匹配位置和变换参数，实现模板匹配和图像匹配。
对于两幅图像fr和ft，NTG可以通过如下公式计算：
其中fr,x和fr,y分别表示图像fr在x和y方向的梯度，ft,x和ft,y分别表示图像ft在x和y方向的梯度。NTG利用了图像梯度的稀疏性特点，相比于其他相似性度量指标，具有计算效率高以及对图像局部强度变化鲁棒的特点，在多光谱图像的匹配中具有很好的效果。
进一步地，如图2所示，该基于NTG模型的图像匹配算法基本可以由以下步骤实现：
(1)在标样图像中获取模板图像，分别计算模板图像与目标图像的梯度，这里模板图像指的是在标样图像中框出的需要进行质量评估的操作区域的小图，目标图像指的是待匹配的完整大图，例如，批样图像；
(2)根据模板图像大小，在目标图像上框出与模板图像的大小对应的窗口，并按照一定方向，例如按照从左到右、从上到下的方向，逐像素地移动窗口的位置，然后将按照步骤(1)计算的模板图像和窗口内目标图像的梯度值代入公式(3)中，计算出模板图像与窗口内目标图像的NTG值，记录移动过程中NTG值最小的位置，该位置即是目标图像与模板图像匹配的位置；
(3)在目标图像上标记出模板图像识别出的匹配结果，并在目标图像上显示出来。
若用于两幅图像的全局匹配，则先将两图像用相同的方式分别分为若干个模板图像，将各对应块使用(1)-(3)中的步骤找到最佳匹配位置，之后取每一组匹配块的中心当作一个匹配点对，就可使用这些点对计算得到图像的全局变换模型参数。
在实际操作过程中，也可使用其他匹配算法取代上述匹配过程，如经典的SIFT算法、MAD算法、SAD算法、NCC算法等。
在进行图像匹配过程之后紧接着就是进行图像分割以进行质量评估的过程。该过程首先需要在标样图像的匹配框的操作区域中划取种子点。对于批样图像匹配框中与所述标样图像中的种子点，其既可通过手动划取获得，也可由标样图像上种子点位置对应自动匹配生成。参见图1，图像分割包括以下步骤：在标样图像的操作区域中划取不同颜色的种子点(S1006)；在批样图像的操作区域中通过自动匹配或者手动划取获得与标样图像中的种子点位置相对应的种子点(S1008)；以及应用图像分割算法对标样图像的操作区域和批样图像的操作区域分别进行颜色分割操作，得到各自的颜色信息(例如，像素点的颜色值)(S1010)。
图像分割是图像处理中的关键技术，是图像分析的第一步，尤其对于多光谱纺织图像，分割结果的好坏对于样品颜色的提取有着比较直接的影响。图像分割技术自20世纪70年代起一直受到人们的高度重视，经过多年的发展，目前主要的图像分割方法有阈值分割方法、基于边缘的分割方法、基于区域的分割方法、基于数学形态的分割技术、基于模糊技术的分割方法、基于人工神经网络或遗传算法的分割方法等。
本发明一较佳实施例的图像分割方法可以是基于K-Means聚类的图像分割方法。图3是根据本发明一个实施例的基于K-Means聚类的图像分割算法流程。如图3中所示，所述基于K-Means聚类的图像分割方法包括以下步骤：
(1)给定大小为n的数据集X＝{x1,x2,n,xn}，从数据集中随机选取k个数据作为初始聚类中心的集合V(1)＝{v1,v2,n,vk}，其中1＜k＜n；
(2)计算数据集中剩余每个数据与每个聚类中心的距离D(xi,vj)，其中1≤i≤n，1≤j≤k，如果D(xi,vw)＝min(D(xi,vj),j＝1,2,n,k)，则xi∈Cw，Cw表示以数据vw为聚类中心的第w类的数据集合；
(3)计算各个类的数据集合的新的聚类中心从而得到新的聚类中心的集合V(m)，其中V(m)表示第m次计算的聚类中心，其中ni表示第i类的数据个数；和
(4)判断相邻两次计算的聚类中心是否变化，以误差平方和J作为准则函数：
J＝||V(m)-V(m-1)||2
当J＜ε时，算法结束，否则返回(2)步骤，继续迭代，其中ε表示误差容忍度。
由于用K-Means算法进行图像分割之后，一些颜色值相近，导致边缘部分噪点较多，对最终颜色的准确性有一定影响，因此，本发明在图像聚类完成之后又进行了一步图像腐蚀操作，具体表现为将两个颜色边缘部分的2-5个像素点的值删除不做考虑。这里需要腐蚀的像素点个数根据样品具体特性修改。
在本发明的一较佳实施例中，图像腐蚀操作包括以下步骤：1.在图像分割结束后，给每个颜色类都标记一个色标，用3×3(对应腐蚀2个像素，其余类推)的结构元素扫描图像的每个像素；2.用结构元素与其覆盖的标记的图像做“与”操作，如果色标对应的值相同，则保持该像素点的色标不变，否则将该像素点标记为一个被腐蚀点(用一般不可能出现的色标序号标记)，即，表示应该将该像素点的颜色信息去除，不在最终统计颜色信息时使用。该图像腐蚀操作位于上述(4)步骤之后。
当然，对于不同的样品图像，考虑其材质、纹理、表面粗糙度等影响，可以使用不同的算法进行最后的图像分割，如FLICM算法；基于边缘的算法；基于区域的算法，例如区域生长法、区域***合并法、分水岭法等。
最后，如图1中所示，通过步骤S1012实现最终的图像质量评估：将标样图像的操作区域和批样图像的操作区域中的颜色信息进行对比，以获得各项对比信息(例如，色差)，并通过阈值设定判断批样图像中的各颜色是否达到标样图像的要求。
图4示出了根据本发明一个实施例的织物的标样图像和批样图像之间的颜色质量评估结果。在图4中，为了便于使用者直观查看结果，以表格形式示出了标样图像和批样图像之间的颜色质量评估结果，该表格也可以通过打印机打印出。如图4中所示，图像颜色分割结果在显示区以表格的形式显示出来，表格罗列两幅图像中对应颜色的颜色值以及之间的色差，并根据色差大小自动评判批样图像是否达到标样图像的颜色要求，从而确定批样样品布料是否达到批量生产要求。运用该实施方式的质量控制方式，可以更加准确高效地得出结果，实现纺织行业的颜色质量自动评估。
在另一实施例中，标样图像是带有颜色信息的CAD设计图样。因为CAD图样自身也自带颜色信息，因此在图像匹配操作之后，就可以得出真实批样图像上对应的操作区域上的像素点的颜色值，也就是说，可直接得出真实批样图像的操作区域中的各颜色的信息，不再需要进行图像分割操作。因此，在标样图像是包括颜色信息的CAD设计图样的情况下，在执行步骤S1002-S1004之后，直接跳过步骤S1006-S1010，直接执行步骤S1012。
图5示出了根据本发明一个实施例的织物的CAD设计图样和真实的批样图像之间的颜色质量评估的示意图。
如图5所示，左边图片表示预设的CAD设计图样，其包括相应使用的颜色信息。右边图片即为根据CAD设计图样批量织造出的织物的批样图像(即，实物样品图)。与标样图像和批样图像之间的形状颜色质量评估过程类似。首先需要调整CAD设计图样与真实的批样图像的缩放比例，之后需要在设计图样上选择形状图像循环单元或者需要做质量分析的操作区域，再通过匹配算法找出实物样品图中与之对应的区域。由于CAD设计图样的颜色信息是已知的，所以在通过匹配算法找到实物样品图中需要做质量分析的区域后，根据像素位置坐标就可以得到相应的样品图片中的颜色信息，之后就可进行后续的对比操作，从而整个过程不需图像分割。该方法可以快速有效地比较实际生产的样品是否达到设计要求，可以减少资源浪费，并节约成本。
本发明还提出了另一种基于多光谱成像的图像的质量评估方法，该方法主要通过色差图让观看者直观地确定实际织物产品颜色和/或形状是否达标。图6是根据本发明另一实施例的基于多光谱成像的图像的质量评估方法的流程图。该基于多光谱成像的图像的质量评估方法，所述方法包括以下步骤：在标样图像中选择需要进行质量评估的操作区域(S6002)；应用图像匹配算法在批样图像中获取与标样图像相匹配的操作区域(S6004)；将标样图像的操作区域与批样图像的操作区域融合(S6006)；以及用色差公式计算操作区域中的对应像素点色差，从而得到标样图像和批样图像的空间色差图(S6008)。在该实施例中的图像匹配算法优选地是基于NTG模型的图像匹配算法。
图7是根据图6所示的方法的空间色差图色差评估示例。如图7所示，图7(a)和图7(c)表示标样图像和批样图像匹配后融合的图像，而图7(b)和图7(d)表示对应空间色差图。织物的空间色差图的获取可以通过以下步骤进行：将批样图像与标样图像/CAD设计图样匹配后，按照色差公式DECMC(l:c)计算对应像素点色差，从而得到空间色差图。
DECMC(l:c)色差公式如下：
式中：
SH＝SC(Tf+1-f)
其中和hab,std均为标准色样的色度参数，这些值以及上述公式中的都是由CIELAB色差公式计算得到。明度权重因子l和彩度权重因子c用来调整明度和彩度对总色差的影响程度，所以在不同的应用场合应取其不同的比值。在本发明的实施例中，如果对纺织业界的产品进行质量控制，采用l:c＝2:1；如对数字***的色度进行校正以及对涂料或塑料等行业的产品进行质量控制，采用l:c＝1:1。
除色差公式DECMC(l:c)外，也可以采用其他色差公式，例如，CIEDE2000色差公式、CIELAB色差公式、CIE94色差公式等。
对于CIEDE2000色差公式，鉴于其复杂性，采用该公式计算色差时需要分4步进行，具体步骤如下：
第1步：按常规计算CIELAB空间中的L*、a*、b*和
L*＝116f(Y/Yn)-16
a*＝500[f(X/Xn)-f(Y/Yn)]
b*＝200[f(Y/Yn)-f(Z/Zn)]
式中
其中I表示X/Xn、Y/Yn或Z/Zn。
第2步：计算a'、C'和h'：
L'＝L*
a'＝(1+G)a*
b'＝b*
h'＝tan-1(b'/a')
式中
其中是样品对中了两个色样C*值的算数平均值。第3步：计算ΔL'、ΔC'和ΔH'：
式中
Δh'＝hb'-hs'
其中下标“b”表示样品中的试样，下标“s”表示标样。第4步：计算CIEDE2000色差ΔE00：
式中
RT＝-sin(2Δθ)RC
其中和分别是样品中两个色样的L'、C'和h'(以度为单位)值的算术平均值。在计算时，如果两个颜色的色调角处于不同的象限，那么需要加以特别的注意，以免出错。例如，某样品对中标样与批样的色调角分别为90°和300°，则直接计算出平均值为195°，但正确的结果是15°。实际计算时，可以通过两个色调角之间的绝对差值来检查。如果该差值小于180°，那么应该直接采用算术平均值；否则，如果该差值大于180°，则需要先从较大的色调角中减去360°，然后再计算其算术平均值。因此，在上面例子中，对于试样，先计算300°-360°＝-60°，然后可以进一步计算出该样品对中两个颜色的色调角的算术平均值为(90°-60°)/2＝15°。
CIEDE2000色差公式中的参数因子kL、kC、kH仍用于修正实际观测实验条件的变化。因此，可以根据具体的色差评价环境条件，采用与相关色差公式中类似的方法进行分析和定义。
CIELAB色差公式如下：
色度差：
总色差：
色调差：
其中ΔL*,Δa*,Δb*即为标样与批样颜色在LAB颜色空间的对应值差。
CIE94色差公式如下：
式中
其中ΔL*,均由CIELAB色差公式计算得到；一般指标准色样的CIELAB彩度，但当被测样品对中不分标样与批样时则以两个色样彩度的几何均值作为即
考虑到图像边缘部分颜色有过渡，因此色差图中也会相应有边缘出现而影响真实评估，故在空间色差图中按照下式抑制边缘部分：
其中(x,y)为空间像素点坐标，I(x,y)为色差图，Ix(x,y),Iy(x,y)分别为图像在x和y方向的梯度，O(x,y)为抑制边缘后的图像，κ为相关系数。
另外，由于织物为非刚体，不能保证每个像素点均对齐，直接对应像素点求色差会出现类似椒盐噪声的噪点，本发明的方法优选对空间色差图作了中值滤波。
在本实施例中，色差分析结果表明第一对样本的白色、浅蓝色与深蓝色色差较大，黄色色差相对较小；第二对样本的粉色色差相对明显。空间色差图的概念为织物颜色质量评估提供了直观的分析手段。
虽然本发明通过具体实施例进行说明，但是所属领域技术人员应当理解，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或应用需求，可以对本发明做各种修改或替换，而不脱离本发明的范围。因此，本发明并不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (15)

1.一种基于多光谱成像的图像的质量评估方法，其特征在于，所述方法包括以下步骤：
步骤(1)在标样图像中选择需要进行质量评估的操作区域；
步骤(2)应用图像匹配算法在批样图像中获取与所述标样图像相匹配的操作区域，如果所述标样图像是包括颜色信息的CAD设计图样，则执行步骤(6)，否则继续执行步骤(3)；
步骤(3)在所述标样图像的操作区域中划取不同颜色的种子点；
步骤(4)在所述批样图像的操作区域中获取与所述标样图像中的种子点位置相对应的种子点；
步骤(5)应用图像分割算法对所述标样图像的操作区域和所述批样图像的操作区域进行颜色分割操作，得到各自的颜色信息；以及
步骤(6)将所述标样图像的操作区域和所述批样图像的操作区域中的颜色信息进行对比，以获得各项对比信息，并通过阈值设定判断所述批样图像中的各颜色是否达到所述标样图像的要求。
2.根据权利要求1所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述颜色信息包括像素点的颜色值，和/或所述对比信息包括色差。
3.根据权利要求1所述的基于多光谱成像的图像的质量评估方法，其特征在于，在所述批样图像的操作区域中，通过手动划取或自动匹配生成与所述标样图像中的种子点位置相对应的种子点。
4.根据权利要求1所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述图像匹配算法为基于NTG模型的图像匹配算法，所述算法的公式为：
其中，fr,x和fr,y分别表示图像fr在x和y方向的梯度，ft,x和ft,y分别表示图像ft在x和y方向的梯度。
5.根据权利要求4所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述图像匹配算法包括以下步骤：
在所述标样图像中获取模板图像，分别计算所述模板图像与所述批样图像的梯度；
根据所述模板图像大小，在批样图像上框出与所述模板图像的大小对应的窗口并逐像素地移动窗口的位置；
将所述梯度值代入基于NTG模型的图像匹配算法的公式中，计算出所述模板图像与所述窗口内批样图像的NTG值；以及
记录移动过程中NTG值最小的位置，该NTG值最小的位置即是所述批样图像与所述模板图像匹配的位置。
6.根据权利要求1-5中任一项所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述图像分割算法为基于K-Means聚类的图像分割算法，包括以下步骤：
a.给定大小为n的数据集X＝{x1,x2,n,xn}，从所述数据集中随机选取k个数据作为初始聚类中心的集合V(1)＝{v1,v2,n,vk}，1＜k＜n；
b.计算所述数据集中剩余每个数据与每个聚类中心的距离D(xi,vj)，其中1≤i≤n，1≤j≤k，如果D(xi,vw)＝min(D(xi,vj),j＝1,2,n,k)，则xi∈Cw，Cw表示以数据vw为聚类中心的第w类的数据集合；
c.计算各个类的数据集合的新的聚类中心从而得到新的聚类中心的集合V(m)，其中V(m)表示第m次迭代的聚类中心，其中ni表示第i类的数据个数；以及
d.判断相邻两次计算的聚类中心是否变化，以误差平方和J作为准则函数：
J＝||V(m)-V(m-1)||2
当J＜ε时，算法结束，否则返回b步骤，继续迭代，其中ε表示误差容忍度。
7.根据权利要求1-6中任一项所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述方法还包括以下步骤：
将所述标样图像与所述批样图像匹配后融合；以及
用色差公式计算操作区域中的对应像素点色差，从而得到空间色差图。
8.根据权利要求7所述的基于多光谱成像的图像的质量评估方法，其特征在于，通过以下公式抑制所述空间色差图的边缘部分：
其中，(x,y)为空间色差图的像素点坐标，I(x,y)为空间色差图，Ix(x,y),Iy(x,y)分别为空间色差图在x和y方向的梯度，O(x,y)为坐标为(x,y)的像素点的抑制边缘后的空间色差，κ为相关系数。
9.根据权利要求7所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述色差计算公式为DECMC(2:1)。
10.一种基于多光谱成像的图像的质量评估方法，所述方法包括以下步骤：
步骤(1)在标样图像中选择需要进行质量评估的操作区域；
步骤(2)应用图像匹配算法在批样图像中获取与所述标样图像相匹配的操作区域；
步骤(3)将所述标样图像与所述批样图像匹配后融合；以及
步骤(4)用色差公式计算操作区域中的对应像素点色差，从而得到所述标样图像和所述批样图像的空间色差图。
11.根据权利要求10所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述图像匹配算法为基于NTG模型的图像匹配算法，所述算法的公式为：
其中，fr,x和fr,y分别表示图像fr在x和y方向的梯度，ft,x和ft,y分别表示图像ft在x和y方向的梯度。
12.根据权利要求11所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述图像匹配算法包括以下步骤：
在所述标样图像中获取模板图像，分别计算所述模板图像与所述批样图像的梯度；
根据所述模板图像大小，在批样图像上框出与所述模板图像的大小对应的窗口并逐像素地移动窗口的位置；
将所述梯度值代入基于NTG模型的图像匹配算法的公式中，计算出所述模板图像与所述窗口内批样图像的NTG值；以及
记录移动过程中NTG值最小的位置，该NTG值最小的位置即是所述批样图像与所述模板图像匹配的位置。
13.根据权利要求10所述的基于多光谱成像的图像的质量评估方法，其特征在于，通过以下公式抑制所述空间色差图的边缘部分：
其中，(x,y)为空间色差图的像素点坐标，I(x,y)为空间色差图，Ix(x,y),Iy(x,y)分别为空间色差图在x和y方向的梯度，O(x,y)为坐标为(x,y)的像素点的抑制边缘后的空间色差，κ为相关系数。
14.根据权利要求10所述的基于多光谱成像的图像的质量评估方法，其特征在于，所述色差计算公式为DECMC(2:1)。
15.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-14所述的方法。
CN201711329341.3A 2017-12-13 2017-12-13 基于多光谱成像的图像的质量评估方法 Pending CN109919899A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711329341.3A CN109919899A (zh) 2017-12-13 2017-12-13 基于多光谱成像的图像的质量评估方法
PCT/CN2018/120205 WO2019114677A1 (en) 2017-12-13 2018-12-11 Color quality assessment based on multispectral imaging
US16/215,734 US10713780B2 (en) 2017-12-13 2018-12-11 Color quality assessment based on multispectral imaging
EP18887328.5A EP3724850A4 (en) 2017-12-13 2018-12-11 COLOR QUALITY ASSESSMENT BASED ON MULTISPECTRAL IMAGING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711329341.3A CN109919899A (zh) 2017-12-13 2017-12-13 基于多光谱成像的图像的质量评估方法

Publications (1)

Publication Number Publication Date
CN109919899A true CN109919899A (zh) 2019-06-21

Family

ID=66696327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711329341.3A Pending CN109919899A (zh) 2017-12-13 2017-12-13 基于多光谱成像的图像的质量评估方法

Country Status (4)

Country Link
US (1) US10713780B2 (zh)
EP (1) EP3724850A4 (zh)
CN (1) CN109919899A (zh)
WO (1) WO2019114677A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544279A (zh) * 2019-08-26 2019-12-06 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN111272673A (zh) * 2020-03-23 2020-06-12 泸州麦穗智能科技有限公司 非纯色布匹色差检测***及检测方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN112668621A (zh) * 2020-12-22 2021-04-16 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及***
CN113920112A (zh) * 2021-11-18 2022-01-11 杭州云图智检科技有限公司 一种基于独立分类型特征提取的织物瑕疵检测方法
CN114252401A (zh) * 2021-12-17 2022-03-29 江苏恒力化纤股份有限公司 一种基于光谱图像颜色处理技术检测纤维染色的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458231B (zh) * 2019-08-12 2022-05-10 广东工业大学 一种陶瓷产品检测方法、装置和设备
AU2020327651A1 (en) * 2019-08-13 2022-03-03 University Of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
CN112785664B (zh) * 2020-12-29 2022-12-13 愉悦家纺有限公司 多维度耦合混色模型与渐变色谱矩阵算法构建应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629386A (zh) * 2012-03-28 2012-08-08 浙江大学 一种彩色纺织纹理图像的区域分割方法
JP2013080524A (ja) * 2013-02-07 2013-05-02 Hideki Kawabata 画像比較装置および画像比較プログラム
WO2013164043A1 (en) * 2012-05-03 2013-11-07 Thomson Licensing Method and system for determining a color mapping model able to transform colors of a first view into colors of at least one second view
EP2902966A1 (en) * 2014-02-03 2015-08-05 Prosper Creative Co., Ltd. Image inspecting apparatus and image inspecting program
CN105844676A (zh) * 2016-03-24 2016-08-10 上海工程技术大学 印花织物的颜色聚类分析装置及方法
CN106504241A (zh) * 2016-10-25 2017-03-15 西安交通大学 一种自动对色装置和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0540833B1 (de) 1991-08-12 1997-04-23 KOENIG & BAUER-ALBERT AKTIENGESELLSCHAFT Qualitätskontrolle einer Bildvorlage z. B. eines gedruckten Musters
US5270530A (en) 1992-11-24 1993-12-14 Eastman Kodak Company Digital radiographic image quality control workstation operable in manual or pass-through modes
US5600574A (en) 1994-05-13 1997-02-04 Minnesota Mining And Manufacturing Company Automated image quality control
US6628829B1 (en) * 2000-08-08 2003-09-30 Richard Jeffrey Chasen Method and system for matching a surface color
US7189000B2 (en) 2003-12-22 2007-03-13 Kabushiki Kaisha Toshiba Image-quality control system
IL164679A0 (en) 2004-10-19 2005-12-18 Rafi Bronstein Scitex Vision L A method of inkjet printing with image quality control
US20070036453A1 (en) 2005-08-09 2007-02-15 Eastman Kodak Company Image quality control in an imaging system
US8634640B2 (en) * 2010-10-21 2014-01-21 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting a color palette
CN102024155B (zh) * 2010-12-06 2012-10-03 广州科易光电技术有限公司 基于边缘检测的多光谱图像快速匹配方法
US8737733B1 (en) * 2011-04-22 2014-05-27 Digitalglobe, Inc. Hyperspherical pan sharpening
CA2839778C (en) 2011-06-26 2019-10-29 Universite Laval Quality control and assurance of images
US9754181B2 (en) * 2011-11-04 2017-09-05 National Ict Australia Limited Determining color values in hyperspectral or multispectral images
US9396531B2 (en) * 2013-12-23 2016-07-19 Tufts University Systems and methods for image and video signal measurement
CN104008543A (zh) * 2014-05-12 2014-08-27 河海大学 一种图像融合质量评价方法
CN106023111A (zh) * 2016-05-23 2016-10-12 中国科学院深圳先进技术研究院 一种影像融合质量评价方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629386A (zh) * 2012-03-28 2012-08-08 浙江大学 一种彩色纺织纹理图像的区域分割方法
WO2013164043A1 (en) * 2012-05-03 2013-11-07 Thomson Licensing Method and system for determining a color mapping model able to transform colors of a first view into colors of at least one second view
JP2013080524A (ja) * 2013-02-07 2013-05-02 Hideki Kawabata 画像比較装置および画像比較プログラム
EP2902966A1 (en) * 2014-02-03 2015-08-05 Prosper Creative Co., Ltd. Image inspecting apparatus and image inspecting program
CN105844676A (zh) * 2016-03-24 2016-08-10 上海工程技术大学 印花织物的颜色聚类分析装置及方法
CN106504241A (zh) * 2016-10-25 2017-03-15 西安交通大学 一种自动对色装置和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544279A (zh) * 2019-08-26 2019-12-06 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN110544279B (zh) * 2019-08-26 2023-06-23 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN111272673A (zh) * 2020-03-23 2020-06-12 泸州麦穗智能科技有限公司 非纯色布匹色差检测***及检测方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN111681207B (zh) * 2020-05-09 2023-10-27 四维高景卫星遥感有限公司 一种遥感图像融合质量评价方法
CN112668621A (zh) * 2020-12-22 2021-04-16 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及***
CN112668621B (zh) * 2020-12-22 2023-04-18 南京航空航天大学 一种基于跨源图像翻译的图像质量评价方法及***
CN113920112A (zh) * 2021-11-18 2022-01-11 杭州云图智检科技有限公司 一种基于独立分类型特征提取的织物瑕疵检测方法
CN114252401A (zh) * 2021-12-17 2022-03-29 江苏恒力化纤股份有限公司 一种基于光谱图像颜色处理技术检测纤维染色的方法
CN114252401B (zh) * 2021-12-17 2023-06-02 江苏恒力化纤股份有限公司 一种基于光谱图像颜色处理技术检测纤维染色的方法

Also Published As

Publication number Publication date
EP3724850A1 (en) 2020-10-21
US20190180432A1 (en) 2019-06-13
EP3724850A4 (en) 2021-09-01
US10713780B2 (en) 2020-07-14
WO2019114677A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN109919899A (zh) 基于多光谱成像的图像的质量评估方法
US7522769B2 (en) Method and system for skin color estimation from an image
Ganesan et al. Segmentation and edge detection of color images using CIELAB color space and edge detectors
CN110349131A (zh) 一种色纺织物颜色差异性检测方法
CN112881467A (zh) 一种大尺寸复合材料损伤成像与定量识别方法
CN106485288B (zh) 一种色织物组织的自动识别方法
JP2010520551A (ja) 画像から推定される皮膚色に基づいて製品を推奨するための方法及びシステム
CN109671113B (zh) 一种基于图像技术的色纺面料的测配色方法
CN109345601A (zh) 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法
US11614362B1 (en) Method of digital measuring color of fabrics based on digital camera
CN111738931B (zh) 光伏阵列无人机航拍图像的阴影去除算法
Zheng et al. Object measurement methods
CN113793274A (zh) 一种基于色调的高光图像恢复方法
Montenegro et al. A comparative study of color spaces in skin-based face segmentation
Kikuchi et al. Color-tone similarity on digital images
CN107886549A (zh) 一种基于编织纹理细节增强的织物纹样色彩转移方法
Carbonetto et al. Characterization of border structure using fractal dimension in melanomas
Zaouali et al. Objective evaluation of multidirectional fabric wrinkling using image analysis
CN116106319A (zh) 一种合成革瑕疵自动化检测方法及***
Bergman et al. Unsupervised colour image segmentation applied to printing quality assessment
WO2008108763A1 (en) Method and system for skin color estimation from an image
Xie et al. Colour tonality inspection using eigenspace features
CN109087289A (zh) 一种格栅背景下的板材视觉图像检测算法
Valavanis et al. A total color difference measure for segmentation in color images
CN114757892B (zh) 基于人工智能的透视材料缺陷检测方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190621

WD01 Invention patent application deemed withdrawn after publication