CN112926760A - 预测模型的建立装置、建立方法与产品品质监控*** - Google Patents

预测模型的建立装置、建立方法与产品品质监控*** Download PDF

Info

Publication number
CN112926760A
CN112926760A CN202010058246.XA CN202010058246A CN112926760A CN 112926760 A CN112926760 A CN 112926760A CN 202010058246 A CN202010058246 A CN 202010058246A CN 112926760 A CN112926760 A CN 112926760A
Authority
CN
China
Prior art keywords
classifier
candidate
strong classifier
product
strong
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010058246.XA
Other languages
English (en)
Other versions
CN112926760B (zh
Inventor
谢得威
王孝裕
陈承辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN112926760A publication Critical patent/CN112926760A/zh
Application granted granted Critical
Publication of CN112926760B publication Critical patent/CN112926760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • General Factory Administration (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明是为一种预测模型的建立装置、预测模型的建立方法,与产品品质监控***。建立装置对根据检测多个产品所产生的品质检测数据集,以及与该多个产品的生产相关的加工特征数据集进行解析。建立装置包含:强分类器产生模块。强分类器产生模块包含多个产生器,以及初选模块。该多个产生器根据不同的分类器策略、加工特征数据集与品质检测数据集而产生多个候选强分类器群组。初选模块根据品质检测数据集,判断该多个候选强分类器群组是否满足初选条件。

Description

预测模型的建立装置、建立方法与产品品质监控***
【技术领域】
本发明是有关于一种预测模型的建立装置、建立方法与产品品质监控***,且特别是有关于一种无须实际进行品质检测,即可预测产品品质的预测模型的建立装置、建立方法与产品品质监控***。
【背景技术】
制造业是工业化社会中不可或缺的一环。尽管不同类型的制造业生产的产品不同,但其本质均是对生产材料进行加工后,生产产品。固然,制造商希望所生产的产品品质均合格。然而,生产流程中存在诸多变因,使产品的品质呈现不稳定的情况。只要有任何产品的品质可能具有瑕疵时,制造商便须考虑以下问题。例如,如何判断产品具有瑕疵、是否须对全部的产品进行品质检测,以及,究竟生产环节何处出现问题,导致产品品质出现瑕疵等。为能确保产品的品质符合规定,品质检测对制造业相当必要。
请参见图1,其是习用技术通过品质检测装置对产品进行检测的示意图。生产材料11经过生产设备13的加工后,产生产品19。产品19经由品质检测装置17进行品质检测后,产生品质检测数据15。品质检测数据15显示产品19的品质为合格或是具有瑕疵。
但是,利用品质检测装置17检测产品品质的做法,不但需耗费相当多时间金钱,亦无法协助制造商厘清是生产流程中的哪里出现异常,才导致产品19的品质出现问题。换言之,产品生产流程涉及相当多的环节,何者才是真正使产品19产生瑕疵的实际原因,对制造商而言,并不是一个容易判断的问题。
【发明内容】
本发明是有关于一种预测模型的建立装置、建立方法与产品品质监控***。本发明的预测模型的建立装置、建立方法与产品品质监控***建立预测模型,让产品的制造商仅依据由预测模型产出的品质预测结果与瑕疵源追踪信息等。预测模型的使用,可让制造商快速地掌握产品的品质,不但可节省进行品质检测所需花费的大量时间与成本,亦可对生产流程的异常提供相关的分析信息。
根据本发明的第一方面,提出一种预测模型的建立装置。预测模型的建立装置根据检测多个产品所产生的品质检测数据集,以及与该多个产品的生产相关的加工特征数据集进行解析。建立装置包含:强分类器产生模块。强分类器产生模块包含:第一产生器、第二产生器、第三产生器,以及初选模块。第一产生器根据第一分类器策略、该加工特征数据集与品质检测数据集而产生包含K个第一候选强分类器的第一候选强分类器群组,其中,K为正整数。第二产生器根据第二分类器策略、加工特征数据集与品质检测数据集而产生包含K个第二候选强分类器的第二候选强分类器群组。第三产生器根据第三分类器策略、加工特征数据集与品质检测数据集而产生包含K个第三候选强分类器的第三候选强分类器群组。初选模块电连接于第一产生器、第二产生器与第三产生器。初选模块根据品质检测数据集判断第一候选强分类器群组、第二候选强分类器群组与第三候选强分类器群组是否满足初选条件。
根据本发明的第二方面,提出一种预测模型的建立方法。预测模型的建立方法根据对多个产品进行检测所产生的品质检测数据集,以及与该多个产品的生产相关的加工特征数据集进行解析。建立方法包含以下步骤。首先,根据第一分类器策略、加工特征数据集与品质检测数据集而产生包含K个第一候选强分类器的第一候选强分类器群组,其中,K为正整数。其次,根据第二分类器策略、加工特征数据集与品质检测数据集而产生包含K个第二候选强分类器的第二候选强分类器群组。接着,根据第三分类器策略、加工特征数据集与品质检测数据集而产生包含K个第三候选强分类器的第三候选强分类器群组。此外,根据该品质检测数据集判断第一候选强分类器群组、第二候选强分类器群组与第三候选强分类器群组是否满足初选条件。
根据本发明的第三方面,提出一种产品品质监控***。产品品质监控***包含:品质检测装置、数据前处理装置以及模型建立装置。品质检测装置检测多个产品并产生品质检测数据集。数据前处理装置接收与该多个产品的生产相关的多个生产参数,并据以产生加工特征数据集。模型建立装置包含:强分类器产生模块。强分类器产生模块包含:第一产生器、第二产生器、第三产生器,以及初选模块。第一产生器根据第一分类器策略、加工特征数据集与品质检测数据集而产生包含K个第一候选强分类器的第一候选强分类器群组,其中,K为正整数。第二产生器根据第二分类器策略、加工特征数据集与品质检测数据集而产生包含K个第二候选强分类器的第二候选强分类器群组。第三产生器根据第三分类器策略、加工特征数据集与品质检测数据集而产生包含K个第三候选强分类器的第三候选强分类器群组。一初选模块电连接于第一产生器、第二产生器与第三产生器。初选模块根据品质检测数据集判断第一候选强分类器群组、第二候选强分类器群组与第三候选强分类器群组是否满足初选条件。
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合所附图式详细说明如下:
【附图说明】
图1,其是习用技术通过品质检测装置对产品进行品质检测的示意图。
图2,其是于自行车前叉肩盖的生产流程中,搭配根据本案构想的产品品质监控***的实施例的示意图。
图3,其是数据前处理装置的方块图。
图4,其是预处理模块产生预测模型输入的加工特征的示意图。
图5,其是说明与产品对应的加工特征数据集PMFGall的示意图。
图6A,其是产品品质监控***处于模型建立模式bM时,数据前处理装置提供产品bMP的加工特征数据集bMPMFGall作为模型建立用途的示意图。
图6B,其是产品品质监控***处于模型使用模式uM时,数据前处理装置提供产品uMP的加工特征数据集作为模型使用用途的示意图。
图6C,其是产品品质监控***处于模型评估模式eM时,数据前处理装置提供产品eMP的加工特征数据集作为模型评估用途的示意图。
图7,其是预测模型使用二元树架构,对加工特征与品质检测数据进行分类的示意图。
图8A,其是使用随机森林作为分类器策略的示意图。
图8B,其是使用自适应增强作为分类器策略的示意图。
图9,其是产品品质监控***处于模型建立模式(bM)时,利用加工特征建立预测模型的示意图。
图10,其是模型建立装置的方块图。
图11,其是强分类器产生器产生候选强分类器群组canSClfGp的流程图。
图12,其是以候选强分类器群组canSClfGp_A所产生的分类结果为例,说明初选模块如何判断将分类器策略选为初选策略的示意图。
图13,其是初选模块根据候选强分类器群组canSClfGp所产生的品质预测结果,判断分类器策略是否可作为初选策略的流程图。
图14,其是强分类器产生器建立初选强分类器preSClf后,验证序列计算模块搭配初选强分类器preSClf产生验证序列,进而由相关性计算模块计算验证序列相关系数的示意图。
图15,其是强分类器产生模块的流程图。
图16,其是产品品质监控***处于模型使用模式(uM)时,依据预测模型与产品的加工特征而预测产品uMP的品质的示意图。
图17,其是模型使用装置的方块图。
图18,其是产品品质监控***处于模型评估模式(eM)时,检视预测模型是否需更新的示意图。
图19,其是产品品质监控***处于模型评估模式(eM)的流程图。
【符号说明】
生产材料 11、31、21 生产设备 13、23
产品 19、29、P1、P100、bMP、uMP、eMP
品质检测装置 17、248 品质检测数据 15
胚料加热炉 331 半成品 31a、31b
温锻冲压机台 333 静置冷却区 335
传感器 231、232、241 厂房 20
产品品质监控*** 24 数据前处理装置 243
模型建立装置 245 模型使用装置 247
模型评估装置 249 生产参数 PP
接收模块 2430 预处理模块 2431
关键数据选取模块 2435 数据库 2433
特征转换模块 2437 生产条件选取模块 2439
关键生产参数 corePP1、corePP2、corePP3、corePP4、corePP5、corePP6、corePP7、corePP8、corePP9、corePP10
关键生产因子 corePF1、corePF2、corePF3
加工特征 PMF1、PMF2、PMF3、PMF4、PMF5、P1MF1、P1MF2、P1MF3、P1MF4、P1MF5、P100MF1、P100MF2、P100MF3、P100MF4、P100MF5
加工特征数据 P1MFG、P100MFG
加工特征数据集 PMFGall 模型建立模式 bM
复选强分类器 reSClf1、reSClf2
模型使用模式 uM 模型评估模式 eM
节点路径 C1
节点 1、2-1、2-2、3-1、3-2、3-3、3-4
产品bMP的加工特征411a、411b、411c、431a、431b、431c N1个分类条件 413a N2个分类条件413b N3个分类条件 413c
弱分类器 415a、415b、415c、433a、433b、433c
调整权重 435a、435b
原始生产参数 bMP_origPP、uMP_origPP、eMP_origPP
强分类器产生模块 245a
强分类器产生器 2451a、2451b、2451c、2451d、2451e
初选模块 2453 准确率计算模块 2453a
策略选择模块 2453b 复选模块 2455
验证序列计算模块 2455a 相关性计算模块 2455c
强分类器选择模块 2455e 强分类器解析模块 245b
规则比较模块 2457 支持度计算模块 2457a
覆盖率计算模块 2457c 权重计算模块 2457b
节点分析模块 2458 规则项集转换模块 2458a
规则读取模块 2458b
步骤S41、S43、S45、S43a、S43c、S43e、S43g、S43h、S45、S47、S501、S503、S506、S505、S507、S509、S511、S513、S5031、S5033、S5035、S5037、S31、S33、S35、S37、S331、S333、S335、S337、S801、S802、S803、S804、S805、S807、S811、S813、S815、S817
初选测试数据 preTstDAT_1、preTstDAT_10
候选强分类器群组 canSClfGp_A
候选强分类器 canSClf_A1、canSClf_A10
个别准确率 pdtA1、pdtA10
复选训练数据 reTrnDAT 复选测试数据 reTstDAT
复选验证产品的品质检测数据 reTst_QC
复选验证产品的品质预测结果 QpdtA、QpdtB、QpdtD
初选强分类器 preSClf_A、preSClf_B、preSClf_D
验证序列 seqA、seqB、seqD
产品特征接收模块 2471 分类规则接收模块 2473
产品特征与分类规则比较模块 2475
相似度计算模块 2477 品质预测模块 2479
瑕疵源追踪模块 2470
【具体实施方式】
如前所述,产品的制造商须能掌握产品的品质,但使用品质检测装置进行品质检测的做法成本过高,亦无法有效的针对生产流程中的瑕疵源进行有效的分析。为此,本案提出一种搭配生产设备的产品品质监控***。为便于说明此种产品品质监控***的用法,本文将搭配自行车前叉肩盖的生产流程为例,说明如何应用本案的产品品质监控***。
请参见图2,其是于自行车前叉肩盖的生产流程中,搭配根据本案构想的产品品质监控***的实施例的示意图。在图2中,假设产品品质监控***24与生产自行车前叉肩盖的生产设备23均设置于厂房20内。实际应用时,产品品质监控***24亦可设置在厂房20外,再经由网络等方式与传感器231、232和生产设备23连线。
简言之,自行车前叉肩盖的生产流程大致分为三个步骤。首先,胚料加热炉331对生产材料(铝块)31进行加热产生半成品(铝块)31a。其次,温锻冲压机台333对半成品(铝块)31a加压与加热,使其被塑形后,产生前叉肩盖形状的半成品(铝块)31b。接着,将半成品(铝块)31b放置在静置冷却区335一段时间后,完成产品29的生产。自行车前叉肩盖的品质瑕疵,可能指产品35的尺寸发生变形、碰伤、产生裂痕等现象。
在生产设备23对生产材料21进行加工制造,使生产材料31转变成为产品29的生产过程中,生产设备23本身可能有些机台设定参数需要加以设定。或者,生产设备23内部或周边可安装多个传感器232。该多个传感器232可能用来感测生产设备23的机台状态(例如,机台的温度、压力),或者用于感测工件(生产材料31或半成品31a、31b)的温度等特性。此外,在厂房20内,也可能设置温度计或湿度计等传感器231。为便于说明,此处将不同来源的感测参数或设定参数统一称为生产参数PP。
在图2中,假设胚料加热炉331分四个阶段对生产材料31加热,包含:以470℃进行第一段加热;以480℃进行第二段加热;以490℃进行第三段加热;以及,以500℃进行第四段加热。当半成品31a自胚料加热炉331取出后,可先利用红外线传感器对半成品31a感测其入料温度(例如,介于440℃~460℃之间)。再者,在温锻冲压机台333中,可设置温度传感器与压力传感器。通常,温锻冲压机台333的上模具温度介于120℃~150℃之间;下模具温度介于150℃~190℃之间;而锻压压力的压力最大值为6吨。据此,生产参数PP可搭配与生产设备23相关的传感器232的感测结果。
产品品质监控***24包含数据前处理装置243、模型建立装置245、模型使用装置247、模型评估装置249,以及品质检测装置248。其中,数据前处理装置243电连接于传感器231、232、生产设备23、模型建立装置245与模型使用装置247;模型使用装置247电连接于模型建立装置245与模型评估装置249;且品质检测装置248电连接于模型建立装置245与模型评估装置249。
产品品质监控***24的核心为一针对产品品质与制造商所需分析的目的而建立的预测模型。随着预测模型的建立、使用与维护等目的的不同,产品品质监控***24可能轮流处于模型建立模式bM、模型使用模式uM或模型评估模式eM。
为便于说明,本文将产品品质监控***24处于模型建立模式bM时,生产设备23所生产的产品以符号bMP表示;将产品品质监控***24处于模型使用模式uM时,生产设备23所生产的产品以uMP表示;以及,将产品品质监控***24处于模型评估模式eM时,生产设备23所生产的产品以eMP表示。
实际应用时,产品品质监控***24在各个模式下,由生产设备23所生产的产品bMP、uMP、eMP的个数并不需要被限定,而可由制造商视其生产流程或产品特性等考量而选择。或者,可搭配抽样方式选择产品bMP、uMP、eMP。关于实际应用时,产品bMP、uMP、eMP如何选用与其数量,以及产品品质监控***24何时切换操作模式等细节,可视制造商的需求而调整,此处不予详述。
由于产品品质监控***24在各个模式下,均须使用数据前处理装置243。此处先以图3、4、5说明数据前处理装置243如何处理生产参数PP。接着,后续将以图6A、6B、6C说明如何在模型建立模式(bM)、模型使用模式(uM),或模型评估模式(eM)下建立或使用预测模型;以图7、8A、8B说明预测模型的基本架构;以图9~15说明模型建立模式(bM);以图16、17说明模型使用模式(uM);以图18、19说明模型评估模式(eM)。
请参见图3,其是数据前处理装置的方块图。数据前处理装置243包含接收模块2430、预处理模块2431、关键数据选取模块2435、数据库2433、特征转换模块2437,以及生产条件选取模块2439。其中,预处理模块2431电连接于接收模块2430与数据库2433;关键数据选取模块2435电连接于数据库2433与特征转换模块2437;且生产条件选取模块2439电连接于特征转换模块2437。此外,接收模块2430可通过电连接或信号连接等方式,自传感器231、232接收生产参数PP;以及,生产条件选取模块2439可通过电连接或信号连接等方式,将产品bMP、uMP、eMP的加工特征数据集传送至模型使用装置247。
首先,基于减少数据量的考量,由传感器231、232感测的生产参数PP需先进行取样。例如,每小时仅取一笔生产参数作为取样生产参数smpPP。此外,由于生产流程中所使用传感器231、232的个数可能相当多。因此,制造商可根据对产线的掌握度与理解而选择性提供选取策略。关键数据选取模块2435依据选取策略选出哪些传感器231、232感测到的生产参数PP相对重要,并将其定义为关键生产参数corePP。或者,也可省略关键数据选取模块2435,直接将全部的取样生产参数smpPP直接视为关键生产参数corePP。在图4中,假设关键数据选取模块2435共选取10个关键生产参数corePP1~corePP10。
由于部分的关键生产参数corePP1~corePP10彼此间可能互有关连。例如,可能是在同一个机台内部的不同位置所感测到的温度。因此,可由制造商根据对生产流程的理解与掌握度而提供特征转换公式,通过性质归纳等方式,将该多个彼此相关的关键生产参数corePP共同整合为一个关键生产因子PF。例如,假设特征转换模块2437将关键生产参数corePP3、corePP4、corePP5整合为关键生产因子corePF1;将关键生产参数corePP6、corePP7整合为关键生产因子corePF2;以及,将关键生产参数corePP9、corePP10整合为关键生产因子corePF3。关于特征转换模块2437产生关键生产因子corePF的这个步骤,亦可于实际应用时省略。
其后,生产条件选取模块2439可根据预测模型的用途不同而自关键生产参数corePP及/或关键生产因子corePF中,选取较符合预测模型的用途者,作为加工特征使用。图4假设生产条件选取模块2439共选取关键生产参数corePP1、corePP5、corePP8,以及关键生产因子corePF1、corePF3作为加工特征PMF1~PMF5。
须留意的是,随着预测模型的建立目的不同(例如,分析良率、或是分析影响瑕疵的根本原因),生产条件选取模块2439选择加工特征的考量也可能不同。因此,尽管关键生产参数corePP2~corePP4、corePP6、corePP7、corePP9、corePP10与关键生产因子corePF2在图4并未被选为加工特征,但仍可能在建立其他用途的预测模型时被选用。在图4所说明之,数据前处理装置243对生产参数PP的转换,仅以单一个产品为例。实际应用时,关于该多个参数的转换还需应用于产线所生产的其他产品。为便于说明,图5将说明产品与其对应的加工特征的对应关系。
请参见图5,其是说明与产品对应的加工特征数据集的示意图。在图5中,假设以1~100代表产品的编号,其中每个产品P1~P100均对应于五个加工特征PMF1~PMF5。例如,产品P1对应于加工特征P1MF1~P1MF5;产品P100对应于加工特征P100MF1~P100MF5。
为区隔不同产品P1~P100所对应的加工特征,此处针对不同的产品P1~P100定义与其对应的加工特征。例如,将与产品P1对应的加工特征P1MF1~P1MF5共同定义为,与产品P1对应的加工特征数据P1MFG。又如,将与产品P100对应的加工特征P100MF1~P100MF5共同定义为,与产品P100对应的加工特征数据P100MFG。另,将多个产品P1~P100的加工特征所形成的集合可定义为加工特征数据集PMFGall。
于图4、5中,关于产品数量、产品编号、参数的个数等,均仅作为举例使用。图6A、6B、6C将说明数据前处理装置243如何在模型建立模式bM、于模型使用模式uM与模型评估模式eM下,产生与产品bMP、uMP、eMP分别对应的加工特征数据集,进而将其提供予模型建立装置245、模型使用装置247与模型评估装置249使用。
请参见图6A,其是产品品质监控***处于模型建立模式bM时,数据前处理装置提供产品bMP的加工特征数据集作为模型建立用途的示意图。于模型建立模式bM下,模型建立装置245依据产品bMP的加工特征数据集与产品bMP的品质检测数据集而建立预测模型。关于此处所绘式的预测模型的内容(复选强分类器reSClf1、reSClf2、规则项集与权重等),将于后续说明。
请参见图6B,其是产品品质监控***处于模型使用模式uM时,数据前处理装置提供产品uMP的加工特征数据集作为模型使用用途的示意图。于模型使用模式uM下,模型使用装置247使用根据产品bMP而建立的预测模型,以产品uMP的加工特征数据集为输入,对产品uMP进行分类,并以分类的结果作为产品uMP的品质预测结果。此外,模型使用装置247还可根据产品uMP的品质预测结果,针对被归类为瑕疵的产品uMP产生相关的瑕疵源分析信息。
请参见图6C,其是产品品质监控***处于模型评估模式eM时,数据前处理装置提供产品eMP的加工特征数据集作为模型评估用途的示意图。于模型评估模式eM下,模型使用装置247使用根据产品bMP而建立的预测模型,对产品eMP的加工特征数据集进行分类后,以分类结果做为产品eMP的品质预测结果。另一方面,品质检测装置248将针对产品eMP进行品质检测并产生产品eMP的品质检测数据集。其后,模型评估装置249再比较产品eMP的品质预测结果与品质检测数据集,进而判断可否续用先前建立的预测模型。
在图6A、6B、6C中,根据产品bMP而建立的预测模型包含复选强分类器reSClf1、reSClf2,以及规则项集与规则权重的关系列表。其中,假设复选强分类器reSClf1包含T1个弱分类器;以及假设复选强分类器reSClf2包含T2个弱分类器。实际应用时,预测模型所包含的复选强分类器的数量不须限定。另,基于简化的考量,可假设T1=T2。
接着说明本案的预测模型的基本架构。简言之,本发明的实施例可通过机器学习的方式,建立将多个采用二元树(binary tree)架构的弱分类器(weak classifier)集结后产生的复选强分类器reSClf1、reSClf2。关于如何产生预测模型中的复选强分类器reSClf1、reSClf2,将于图11~15说明,此处先说明弱分类器的组成。
请参见图7,其是预测模型使用二元树架构,对产品的加工特征与品质检测数据进行分类的示意图。在预设情况下,假设强分类器由100个弱分类器(T=100)组成,且每个弱分类器的深度为三层(D=3)。
根据本发明的构想,无论产品品质监控***所处的操作模式为何者,复选强分类器reSClf中的弱分类器均采用二元树架构对产品bMP、uMP、eMP的加工特征数据集进行分类。在模型建立模式bM下,复选强分类器reSClf的输入为产品bMP的加工特征数据集;在模型使用模式uM下,复选强分类器reSClf的输入为产品uMP的加工特征数据集;以及,在模型评估模式eM下,复选强分类器reSClf的输入为产品eMP的加工特征数据集。其中,弱分类器的每个节点相当于,对加工特征进行分类用的分类条件clfCOND(classificationcondition of prediction model)。
于模型建立模式bM下,弱分类器的节点是根据所选的分类器策略而产生。弱分类器的节点所代表的分类条件,在模型建立模式bM下,会被反复的修改,直到产生复选强分类器reSClf为止。另一方面,一旦复选强分类器reSClf产生后,其所包含的弱分类器的节点,将作为在模型使用模式uM与模型评估模式eM下,针对产品uMP、eMP的分类使用。也因此,在模型建立模式bM时所选定的复选强分类器reSClf中的弱分类器的设定(数量T、深度D、节点所代表的分类条件等),并不会在模型使用模式uM与模型评估模式eM下修改。
以图7为例,节点1为第一层节点;节点2-1、2-2为第二层节点;节点3-1、3-2、3-3、3-4为第三层节点(终端节点)。此外,在节点3-1、3-2、3-3、3-4下方再延伸的圆圈用于表示符合该多个节点路径的产品的数量;在图7最下方的方框则表示符合该多个节点路径的产品的数量中,经品质检测后确认为合格(以白色网底表示)与瑕疵(以点状网底表示)的个数。
为便于说明,以下以一个例子说明弱分类器的架构与如何搭配产品bMP的加工特征数据集进行判断。此处假设在模型建立模式bM下,共有80个产品bMP需要进行分类。此外,此处所假设的各个节点所对应的分类条件整理如表1。
表1
Figure BDA0002373524830000161
Figure BDA0002373524830000171
此处另假设产品bMP的加工特征包含:半成品31a的入料温度、胚料加热炉331的第一段~第四段加热温度、温锻冲压机台333的压力最大值,以及温锻冲压机台333的上模具与下模具温度。在弱分类器中,根据该多个产品bMP的加工特征与表1所列的分类条件,对产品bMP进行分类。为简化说明,此处仅以节点路径C1为例,说明如何利用弱分类器对产品bMP进行分类。
首先,读取这80个产品bMP的入料温度是否大于450℃(节点1)。其中,假设入料温度大于450℃的产品bMP为35个、入料温度小于或等于450℃的产品bMP为45个。接着,入料温度大于450℃的35个产品bMP中,那些产品bMP的第一段加热温度高于470℃。此处假设入料温度大于450℃的35个产品bMP中,共有25个产品bMP的第一段加热温度高于470℃,其余的10个bMP的第一段加热温度小于或等于470℃。其后,在节点3-1判断入料温度大于450℃且第一段加热温度高于470℃的25个产品,其所对应的下模具温度是否高于150℃。此处假设入料温度大于450℃且第一段加热温度高于470℃的25个产品bMP中,共有23个产品bMP的下模具温度高于150℃,其余的两个产品bMP的下模具温度小于或等于150℃。再者,在入料温度大于450℃、第一段加热温度高于470℃且下模具温度高于150℃的23个产品bMP中,共有15个被品质检测装置248判断为合格,以及有8个被品质检测装置248判断为瑕疵。
附带一提的是,符合节点1但不符合节点2-1(即,入料温度高于450℃,且第一段加热温度小于或等于470℃)的产品bMP假设有10个。若这10个产品bMP的品检结果均为合格时,则不须在节点3-2再以其他的分类条件进行判断。
接着,以图8A、8B为例,说明如何产生图7所示的弱分类器。在图7、8A、8B中,均以垂直网底代表第一层节点;以水平网底代表第二层节点;以右上-左下方向的网底代表第三层节点。此外,当节点为终端节点时,以较粗的框线标示。
为便于说明,本文假设模型建立装置245提供五个分类器策略(candidatestrategies)作为建立强分类器使用。实际应用时,分类器策略的数量与种类并不以本文的举例为限。图8A、8B为其中两种可作为分类器策略的举例。
请参见图8A,其是使用随机森林(random forest)作为分类器策略的示意图。此图式仅以弱分类器415a、415b、415c为例。采用随机森林策略时,弱分类器415a、415b、415c分别自产品bMP的加工特征中,选取一部分的产品bMP,并使用与该多个被选取的产品bMP的加工特征。此外,弱分类器415a、415b、415c是从相同的N个生产条件中,独立选取产生。
例如,假设共有M个产品bMP,且随机森林策略共提供N个分类条件。则,弱分类器415a的输入为,从M个产品bMP中,随机选取M1个产品bMP的加工特征411a,且其节点是为,自N个分类条件随机选取的N1个分类条件413a。接着,弱分类器415a再根据所选取的N1个分类条件413a,对输入的M1个产品bMP的加工特征411a进行如图7所示的分类。再者,弱分类器415b的输入为,从M个产品bMP,随机选取M2个产品bMP的加工特征411b,且其节点是为,自N个分类条件随机选取的N2个分类条件413b。接着,弱分类器415b再根据所选取的N2个分类条件413b,对输入的M2个产品bMP的加工特征411b进行如图7所示的分类。同样的,弱分类器415c的输入为,从M个产品bMP中,随机选取M3个产品bMP的加工特征411c,且其节点是为,自N个分类条件随机选取的N3个分类条件413c。接着,弱分类器415c再根据所选取的N3个分类条件413c,对输入的M3个产品bMP的加工特征411c进行如图7所示的分类。
请参见图8B,其是使用自适应增强(Adaptive Boosting)作为分类器策略的示意图。此图式仅绘示其中的三个弱分类器433a、433b、433c。采用自适应增强策略时,弱分类器433a、433b、433c的输入不完全相同。
同样假设有M个产品bMP,且自适应增强策略共提供N个分类条件。则,弱分类器433a虽是自M个产品bMP中,分别且随机选取所使用的M1个产品bMP的加工特征431a作为输入,但弱分类器433b会根据弱分类器433a的分类结果而产生产品bMP的调整权重435a,以及,依据调整权重435a与产品bMP的加工特征431a,共同产生经第一次权重调整的产品bMP的加工特征431b。经第一次权重调整的产品bMP的加工特征431b被视为弱分类器433b的输入。此处对弱分类器433b的输入预先进行权重调整的原因是,避免弱分类器433b将弱分类器433a分类错误的样本再次将产品bMP分类错误。此处所述的分类错误指的是,将产品bMP的加工特征加以分类后所产生的分类结果,与实际对产品bMP进行检测后所产生的品质检测结果进行比较后,确认两者不符合者。
同理,弱分类器433c根据弱分类器433b的分类结果而再次调整产品bMP的调整权重435b,以及,依据调整权重435b与经第一次权重调整的产品bMP的加工特征431b,共同产生经第二次权重调整的产品bMP的加工特征431c。经第二次权重调整的产品bMP的加工特征431c将作为弱分类器433c的输入。同样的,对弱分类器433c的输入再次进行权重调整的原因是,避免弱分类器433c将弱分类器433b分类错误的样本再次将产品bMP分类错误。即,依据自适应增强策略产生的弱分类器,具有修正前一级弱分类器的误判结果的能力,故可达到迭代修正的效果。
根据图8A、8B的说明可以得知,采用不同的分类器策略时,可以针对相同的加工特征与分类条件,产生不同的分类结果。根据本发明的构想,弱分类器的节点所代表的分类条件是于模型建立模式bM决定。在模型使用模式uM与模型评估模式eM下,弱分类器的节点所代表的分类条件,将直接用于对产品uMP、eMP的加工特征进行分类。其后,将进一步比较使用该多个分类器策略所建立的弱分类器,针对加工特征进行分类的效果,何者较为符合实际状况。
接着,本文将以图9至图15说明产品品质监控***24的模型建立模式bM;以图16、17说明产品品质监控***24的模型使用模式uM;以及,以图18、19说明产品品质监控***24的模型评估模式eM。
请参见图9,其是产品品质监控***处于模型建立模式(bM)时,依据产品bMP的原始生产参数bMP_origPP建立预测模型的过程的示意图。请同时参见图6A。在模型建立模式bM下,生产设备23对生产材料21进行加工产生产品(bMP)29a。在生产产品bMP的同时,传感器241(可为图2的传感器231、232)产生原始参数bMP_origPP至数据前处理装置243。接着,数据前处理装置243将转换得出的产品bMP的加工特征数据集传送至模型建立装置245。另一方面,品质检测装置248会对产品bMP进行品质检测。品质检测装置248对产品bMP进行品质检测后产生的品质检测数据,将进一步传送至模型建立装置245,提供给模型建立装置245作为参考。因此,模型建立装置245将从数据前处理装置243接收产品bMP的加工特征数据集,以及从品质检测装置248接收产品bMP的品质检测数据集。
请参见图10,其是模型建立装置的方块图。模型建立装置245包含强分类器产生模块245a与强分类器解析模块245b。此处仅简要介绍该多个模块的内部架构与彼此的连接关系,关于该多个模块的操作细节将于后续说明。
强分类器产生模块245a包含:强分类器产生器2451a~2451e、初选模块2453,以及复选模块2455。其中,初选模块2453包含:准确率计算模块2453a,以及策略选择模块2453b。其中,准确率计算模块2453a电连接于强分类器产生器2451a~2451e、策略选择模块2453b,以及复选模块2455。复选模块2455则进一步包含:验证序列计算模块2455a、相关性计算模块2455c,以及强分类器选择模块2455e。相关性计算模块2455c电连接于验证序列计算模块2455a与选择模块2455e,而复选模块2455电连接于强分类器解析模块245b。复选模块2455电连接于强分类器产生器2451a~2451e与强分类器解析模块245b。
强分类器解析模块245b包含:规则比较模块2457与节点分析模块2458。其中,规则比较模块2457包含:支持度计算模块2457a、覆盖率计算模块2457c,以及权重计算模块2457b。其中,支持度计算模块2457a与覆盖率计算模块2457c均同时电连接于节点分析模块2458与权重计算模块2457b。
为便于说明,此处将模型建立装置245建立预测模型的过程分为三个阶段(初选阶段STG1、复选阶段STG2,以及解析阶段STG3)。其中,强分类器产生模块245a与初选阶段STG1、复选阶段STG2相关;强分类器解析模块245b与解析阶段STG3相关。
在初选阶段STG1中,强分类器产生器2451a~2451e根据分类器策略A~E分别建立候选强分类器群组canSClfGp_A~canSClfGp_E,且初选模块2453根据候选强分类器群组canSClfGp_A~canSClfGp_E选择初选策略。在复选阶段STG2中,强分类器产生器2451a~2451e依据初选策略建立初选强分类器preSClf1~preSClf3,且复选模块2455自初选强分类器preSClf1~preSClf3中选择复选强分类器reSClf1、reSClf2。在解析阶段STG3中,强分类器解析模块245b读取复选强分类器reSClf1、reSClf2所包含的,各个弱分类器的节点所代表的生产条件,并进一步在比较复选强分类器reSClf1、reSClf2所包含的弱分类器的规则项集后,计算与规则项集对应的规则权重。
接着说明初选阶段STG1的操作。在本发明的实施例中,假设提供五种不同的分类器策略A~E。首先,使用不同的强分类器产生器2451a~2451e产生五个各自包含K个强分类器的候选强分类器群组canSClfGp_A~canSClfGp_E。根据本发明的构想,强分类器产生器2451a~2451e所产生的候选强分类器群组canSClfGp_A~canSClfGp_E各自均包含K个候选强分类器(如表2所示)。
表2
Figure BDA0002373524830000231
为便于说明,假设共有100个产品bMP,并将其分为K个部分(此处假设K=10)。基于此种假设,每个部分包含10个产品bMP。其中,每个产品bMP均有其对应的加工特征与品质检测数据。此外,将全部产品bMP所对应的加工特征所形成的组合,定义为产品bMP的加工特征数据集bMPMFGall。接着,将加工特征数据集bMPMFGall分为K个等分。且,将该多个等分定义为与K个候选强分类器分别对应的K个加工特征子数据集DATdiv(1)~DATdiv(K)。则,根据k的数值不同,而自加工特征子数据集DATdiv(1)~DATdiv(K)中选择其中的(K-1)个作为初选训练数据preTrnDAT_k;以及,自加工特征子数据集DATdiv(1)~DATdiv(K)中选择其中的一个作为初选测试数据preTstDAT_k。
表3以候选强分类器群组canSClfGp_A的K个(假设K=10)候选强分类器canSClf_A1~canSClf_A10为例,说明第k个候选强分类器(k=1~K)所对应的初选训练数据preTrnDAT_k与初选测试数据preTstDAT_k。基于共有100个产品bMP与K=10的假设可以得知,每个初选训练数据preTrnDAT_k包含的加工特征子数据集,共对应于其中90个产品bMP所对应的加工特征;且,每个初选测试数据preTstDAT_k所包含的加工特征子数据集,共包含其中10个产品bMP所对应的加工特征。
表3
Figure BDA0002373524830000241
Figure BDA0002373524830000251
接着,强分类器产生器2451b~2451e将以类似表4的关系,搭配不同的分类器策略B~E与初选训练数据preTrnDAT_B~preTrnDAT_E而分别产生的候选强分类器群组canSClfGp_B~canSClfGp_E。根据前述说明可以得知,与k=1对应的初选训练数据preTrnDAT_1与分类器策略A~E分别搭配后,将分别产生候选强分类器canSClf_A1、canSClf_B1、canSClf_C1、canSClf_D1、canSClf_E1。同理,其余的初选训练数据preTrnDAT_2~preTrnDAT_10与分类器策略A~E分别搭配后,亦对应其对应的候选强分类器。
请参见图11,其是强分类器产生器产生候选强分类器群组的流程图。各个强分类器产生器2451a~2451e会分别执行此流程。首先,初始化强分类器计数器(k=1)(步骤S41)。其次,形成候选强分类器群组中的第k个候选强分类器(步骤S43)。接着,判断是否已经形成候选强分类器群组中全部(K个)的候选强分类器(步骤S45)。若K个候选强分类器均已形成,则流程结束。若步骤S45的判断结果为否定,则将强分类器计数器累加(k++)(步骤S47)后,重新执行步骤S43。
步骤S43进一步包含以下步骤:首先,初始化弱分类器计数器(t=1)(步骤S43a)。其次,使用初选训练数据preTrnDAT以及与强分类器产生器对应的分类器策略,形成与分类器策略的第k个候选强分类器中的第t个弱分类器(步骤S43c)。其后,判断是否已经形成第k个候选强分类器中全部的弱分类器(假设每个强分类器包含T个弱分类器)(步骤S43g)。
若步骤S43g的判断结果为否定,则在累加弱分类器计数器(t)(步骤S43e)后,重新执行步骤S43c。若步骤S43g的判断结果为肯定,便可在将候选强分类器群组中的第k个候选强分类器所包含的T个弱分类器,共同集结为候选强分类器群组中的第k个候选强分类器(步骤S43h)后,结束步骤S43。
请参见图12,其是以候选强分类器群组canSClfGp_A所产生的分类结果为例,说明初选模块如何判断将分类器策略选为初选策略的示意图。如前所述,候选强分类器群组canSClfGp_A包含候选强分类器canSClf_A1~canSClf_AK。针对候选强分类器群组canSClfGp_A中的每个候选强分类器canSClf_A1~canSClf_AK,分别以初选测试数据preTstDAT_1~preTstDAT_K进行测试,得出与候选强分类器canSClf_A1~canSClf_AK对应的个别准确率pdtA1~pdtAK。
以候选强分类器canSClf_A1为例,与其对应的个别准确率pdtA1的计算方式如下。延续前面的假设与表3的举例,假设共有100个产品bMP1~bMP100作为建立预测模型使用。则,其中,以产品bMP1~bMP90的加工特征,作为训练候选强分类器canSClf_A1使用的初选训练数据preTrnDAT_1;以及,以产品bMP91~bMP100的加工特征,作为测试候选强分类器canSClf_A1的个别准确率pdtA1的初选测试数据preTstDAT_1。
将产品bMP91~bMP100的加工特征输入候选强分类器canSClf_A1后,可依据候选强分类器canSClf_A1的节点路径而产生多个分类结果。该多个分类结果相当于对产品bMP91~bMP100的品质预测结果。之后,再将产品bMP91~bMP100的分类结果,用来和产品bMP91~bMP100的品质检测结果进行比对。进行比对后,可以得知,由候选强分类器canSClf_A1所产生的,与产品bMP91~bMP100对应的分类结果中,正确预测产品bMP品质的个数(例如:5个)。接着,再将可正确预测品质的产品bMP的个数除以产品bMP91~bMP100个数(10个),进而得出与候选强分类器canSClf_A1对应的个别准确率(例如:5/10*100%=50%)。同理,与候选强分类器canSClf_A2~AK对应的个别准确率pdtA2~pdtAK可用类似方式计算。
将候选强分类器canSClf_A1~canSClf_AK对应的个别准确率pdtA1~pdtAK加总后的结果,除以在候选强分类器群组canSClfGp_A中的候选强分类器canSClf的个数(K),即可得出与候选强分类器群组canSClfGp_A对应的群组平均准确率pdtGA。同样的,针对候选强分类器群组canSClfGp_B~canSClfGp_E,亦可以类似的方式计算得出群组平均准确率pdtGB~pdtGE。其后,各个群组平均准确率pdtGA~pdtGE将分别与平均准确率门槛比较。
请参见图13,其是初选模块根据候选强分类器群组所产生的品质预测结果,判断分类器策略是否可作为初选策略的流程图。初始化强分类器计数器(k=1)(步骤S501)。针对第k个候选强分类器计算与其对应的个别准确率pdtk(S503)。
接着,判断是否已经产生候选强分类器群组canSClfGp内全部的强分类器(强分类器计数器k==K?)(步骤S505)。若否,则在累加强分类器计数器k(步骤S506)后,重新执行步骤S503。
若步骤S505的判断结果为肯定,策略选择模块2453b将候选强分类器群组canSClfGp内的K个强分类器的个别准确率pdt1~pdtK加总并平均后,得出与候选强分类器群组canSClfGp对应的群组平均准确率pdtG(步骤S507)。在本文中,依据的群组平均准确率pdtG与平均准确率门槛的比较,判断候选强分类器群组canSClfGp是否满足初选条件。
即,初选条件相当于,判断候选强分类器群组canSClfGp的群组平均准确率pdtG是否高于平均准确率门槛(步骤S509)。若候选强分类器群组canSClfGp的群组平均准确率pdtG确实高于或等于平均准确率门槛,则策略选择模块2453b确认该分类器策略可列入初选策略(步骤S511)。此时,确认候选强分类器群组canSClfGp满足初选条件。
反之,若候选强分类器群组canSClfGp的群组平均准确率pdtG低于平均准确率门槛,则策略选择模块2453b确认该分类器策略不应列入初选策略(步骤S513)。此时,确认候选强分类器群组canSClfGp不满足初选条件。
请参见表4,其是延续前述举例的候选强分类器群组所对应的群组平均准确率pdtG与平均准确率门槛的比较的列表。在表4中,假设平均准确率门槛为80%,并以Y代表被选为初选策略的分类器策略;以及以N代表未被选为初选策略的分类器策略。
表4
Figure BDA0002373524830000291
候选强分类器群组canSClfGp_A的群组平均准确率pdtGA为80%,等于平均准确率门槛。因此,分类器策略A可被视为初选策略。候选强分类器群组canSClfGp_B的群组平均准确率pdtGB为90%,高于平均准确率门槛。因此,分类器策略B可被视为初选策略。候选强分类器群组canSClfGp_C的群组平均准确率pdtGC为70%,低于平均准确率门槛。因此,分类器策略C未被选为初选策略。候选强分类器群组canSClfGp_D的群组平均准确率pdtGD为80%,等于平均准确率门槛。因此,分类器策略D可被视为初选策略。候选强分类器群组canSClfGp_E的群组平均准确率pdtGE为60%,低于平均准确率门槛。因此,分类器策略E不应被视为初选策略。
承上,分类器策略A、B、D将被视为初选策略,而分类器策略C、E不被视为初选策略。根据本案的构想,被选为初选策略者,将再度以与其对应的强分类器产生器产生初选强分类器。例如,在此例子中,针对被视为初选策略的分类器策略A、B、D,以强分类器产生器2451a、2451b、2451d产生与其对应的初选强分类器preSClf_A、preSClf_B、preSClf_D。
根据本发明的构想,在初选阶段STG1与复选阶段STG2中,均采用相同的产品bMP的加工特征数据集bMPMFGall。惟,在初选阶段STG1与复选阶段STG2中,根据加工特征数据集bMPMFGall而定义的训练数据和测试数据的方式并不相同。
在初选阶段STG1中,强分类器产生器2451a~2451e利用初选训练数据preTrnDAT与初选测试数据preTstDAT产生候选强分类器群组canSClfGp。在初选阶段STG1段中,用于产生候选强分类器canSClf的初选训练数据preTrnDAT与初选测试数据preTstDAT,会随着在候选强分类器群组canSClfGp中,代表个别的候选强分类器canSClf的强分类器计数器(k)而改变。
另一方面,在复选阶段STG2中。强分类器产生器2451a~2451e根据初选策略,以随机选取的复选训练数据reTrnDAT作为输入,产生初选强分类器preSClf。之后,再由复选模块2455使用复选测试数据reTstDAT与复选验证产品的品质检测数据reTst_QC进行测试。因此,在复选阶段STG2中,用于产生初选强分类器preSClf的复选训练数据reTrnDAT,以及用于评估初选强分类器preSClf的复选测试数据reTstDAT均维持不变。
请参见图14,其是强分类器产生器建立初选强分类器preSClf后,验证序列计算模块搭配初选强分类器preSClf产生验证序列,进而由相关性计算模块计算验证序列相关系数的示意图。强分类器产生器2451a依据分类器策略A与复选训练数据reTrnDAT产生初选强分类器preSClf_A。强分类器产生器2451b依据分类器策略B与复选训练数据reTrnDAT产生初选强分类器preSClf_B。强分类器产生器2451d依据分类器策略D与复选训练数据reTrnDAT产生初选强分类器preSClf_D。
在复选阶段STG2中,以复选测试数据reTstDAT,以及与复选测试数据reTstDAT所对应的多个(例如:从100个产品bMP中抽样选出其中的10个)复选验证产品的品质检测数据reTst_QC作为输入。初选强分类器preSClf_A、preSClf_B、preSClf_D分别依据复选测试数据reTstDAT对复选验证产品的品质进行预测后,产生与初选强分类器preSClf_A对应的多笔复选验证产品的品质预测结果QpdtA、与初选强分类器preSClf_B对应的多笔复选验证产品的品质预测结果QpdtB、与初选强分类器preSClf_D对应的多笔复选验证产品的品质预测结果QpdtD。接着,验证序列计算模块2455a将复选验证产品的品质预测结果QpdtA、QpdtB、QpdtD,搭配复选验证产品的品质检测数据reTst_QC分别进行比较后,产生多笔与复选验证产品对应的验证结果。并且,将该多个验证结果逐一列出后,形成如表5所示的验证序列seqA、seqB、seqD。
在表5中,以”1”和”0”分别代表验证序列计算模块2455a确认复选验证产品的品质检测数据reTst_QC与初选强分类器preSClf产生的复选验证产品的品质预测结果QpdtA、QpdtB、QpdtD是否符合的验证结果。以”1”代表验证结果为符合,以”0”代表验证结果为不符合。进一步的,将验证结果集结为与各个初选强分类器preSClf对应的验证序列seq。在表5中,与初选强分类器preSClf_A对应的验证序列seqA为{1,0,1,1,1,0,1,1,1,1};与初选强分类器preSClf_B对应的验证序列seqB为{1,0,1,1,1,1,1,1,1,1};与初选强分类器preSClf_D对应的验证序列seqD为{1,1,0,1,1,1,0,1,1,1}。
表5
Figure BDA0002373524830000311
Figure BDA0002373524830000321
当验证结果为符合(“1”)时,代表初选强分类器preSClf根据复选测试数据reTstDAT所预测的复选验证产品的品质预测结果(例如,QpdtA、QpdtB、QpdtD),与复选验证产品的品质检测数据reTst_QC一致。即,初选强分类器preSClf_A、preSClf_B、preSClf_D预测该复选验证产品为合格,且复选验证产品的品质检测数据reTst_QC也显示该复选验证产品为合格;或者,初选强分类器preSClf_A、preSClf_B、preSClf_D预测该复选验证产品为瑕疵,且复选验证产品的品质检测数据reTst_QC也显示该复选验证产品为瑕疵。
当验证结果为不符合(“0”)时,代表初选强分类器preSClf根据复选测试数据reTstDAT所预测的复选验证产品的品质预测结果(例如,QpdtA、QpdtB、QpdtD),与复选验证产品的品质检测数据reTst_QC不一致。即,初选强分类器preSClf_A、preSClf_B、preSClf_D预测该复选验证产品为瑕疵,但复选验证产品的品质检测数据reTst_QC显示该复选验证产品为瑕疵;或者,经初选强分类器preSClf_A、preSClf_B、preSClf_D预测该复选验证产品为瑕疵,但复选验证产品的品质检测数据reTst_QC显示该复选验证产品的品质良好。
验证序列计算模块2455a产生与初选强分类器preSClf_A、preSClf_B、preSClf_D分别对应的验证序列seqA、seqB、seqD后,相关性计算模块2455c借由关联性计算公式而计算验证序列seqA、seqB、seqD彼此之间的验证序列相关系数(验证序列相关系数A-B/B-A、验证序列相关系数A-D/D-A,以及验证序列相关系数B-D/D-B)。表6为验证序列相关系数与验证序列的列表。
表6
Figure BDA0002373524830000331
请同时参见图14与表6。验证序列相关系数A-B/B-A代表验证序列seqA、seqB彼此间的关联性。验证序列相关系数A-D/D-A代表验证序列seqA、seqD彼此间的关联性。验证序列相关系数B-D/D-B代表验证序列seqB、seqD彼此间的关联性。根据表5所示的验证序列seqA、seqB、seqD,可搭配相关性计算公式计算得出验证序列相关系数A-B/B-A为0.666667;验证序列相关系数A-D/D-A为2.5;以及,验证序列相关系数B-D/D-B为0.16667。
强分类器选择模块2455e将进一步比较验证序列相关系数A-B/B-A、A-D/D-A、B-D/D-B后,可以确认根据初选策略preStg1(分类器策略A)、初选策略preStg3(分类器策略D)所产生的初选强分类器preSClf彼此的相关性最低(验证序列相关系数A-D/D-A的数值与1相差最大)。因此,强分类器选择模块2455e将从初选强分类器preSClf_A、preSClf_B、preSClf_D中,选择以候选强分类器canSClf_A、canSClf_D作为复选强分类器reSClf1、reSClf2。接着,将前述如何根据多个分类器策略选择初选策略preSelStg,进而产生初选强分类器preSClf的过程整理于图15。
请参见图15,其是强分类器产生模块的流程图。初选强分类器的产生,主要包含四个步骤。首先,强分类器产生器2451a~2451e依据分类器策略而产生多个候选强分类器群组(例如,候选强分类器群组canSClfGpA~canSClfGpE)(步骤S31)。其次,初选模块2453根据候选强分类器群组而决定初选策略(步骤S33)。接着,强分类器产生器2451a~2451e依据初选策略而建立初选强分类器(例如,初选强分类preSClf_A、preSClf_B、preSClf_D)(步骤S35);以及,复选模块2455自初选强分类器中,选择两个做为复选强分类器reSClf1、reSClf2。
步骤S33进一步包含以下步骤。首先,准确率计算模块2453a分别针对每个候选强分类器群组canSClfGp计算群组平均准确率pdtG,并根据群组平均准确率pdtG判断分类器策略是否应被选为初选策略(步骤S331)。接着,判断初选策略的个数是否足够(例如,是否大于或等于3个)(步骤S333)。
若步骤S333的判断结果为肯定,则执行步骤S35。反之,策略选择模块2453b需针对未被获选为初选策略的分类器策略,控制与其对应的强分类器产生器2451a~2451e修改模型结构参数,并由该多个强分类器产生器2451a~2451e再度产生候选强分类器群组canSClfGp(步骤S335)。此处的模型结构参数例如,强分类器所包含的弱分类器的个数(T),弱分类器所包含的节点的深度(D)等。步骤S335的细节与步骤S331,差别在于强分类器产生器2451a~2451e用于产生强分类器的模型结构参数被改变。
接着,当模型结构参数经过修改并重新产生候选强分类器群组canSClfGp后,准确率计算模块2453a针对重新产生的候选强分类器群组canSClfGp再度计算群组平均准确率pdtG后,判断原本未被选取的分类器策略是否可被选为初选策略(步骤S337)。
在强分类器选择模块2455e选出复选强分类器reSClf后,节点分析模块2458将进一步读取各复选强分类器reSClf所包含的多个弱分类器中,由根节点(root node)至终端节点(end node)的节点路径。若延续前述举例,规则读取模块2458b相当于需读取在候选强分类器canSClf_A、canSClf_D中,各自包含的T个(例如,T=100)弱分类器的根节点至多个终端节点间的多种节点路径。
弱分类器的根节点至各个终端节点的节点路径由多个节点所组成。如图7所述,每个节点代表一个分类条件。因此,弱分类器的根节点至各个终端节点的节点路径代表须满足节点路径上的各个节点所代表的分类条件。为便于说明,此处将弱分类器的根节点至各个终端节点的节点路径定义为分类规则。
如图10所示,强分类器解析模块245b包含节点分析模块2458与规则比较模块2457。其中,节点分析模块2458进一步包含规则读取模块2458b与规则项集转换模块2458a;规则比较模块2457进一步包含支持度计算模块2457a、覆盖率计算模块2457c,以及权重计算模块2457b。
规则读取模块2458b读取复选强分类器reSClf1、reSClf2的各个弱分类器,自根节点至终端节点的各个节点路径所代表的分类规则。由于每个弱分类器的节点均为分类条件,且各节点路径是包括个数不等的节点,因此,节点路径上的多个节点所代表的分类条件可共同组合而成一组分类规则。此外,规则项集转换模块2458a将分类规则中的各个生产条件,以频繁项集(A-priori)的方式加以转换。因而得出如表7的关系。
由于候选强分类器canSClf_A、canSClf_D所包含的弱分类器的数量甚多(例如,100个),且对每个弱分类器的节点路径进行解析后还可得出多个规则项集,此处不予详列。于表7中,列出几个举例用的弱分类器1~3所包含的规则项集,以及规则项集所包含的生产条件的例子。
表7
Figure BDA0002373524830000361
请参见表8,其是支持度计算模块2457a根据规则项集而计算支持度的举例。
表8
Figure BDA0002373524830000371
此处假设共有五个规则项集。与规则项集1-1对应的项集分类范围为,入料温度小于临界温度pdtTmpTh_a。与规则项集2-1对应的项集分类范围为,入料温度介于临界温度pdtTmpTh_a、pdtTmpTh_b之间,且压力最大值小于临界压力Pth_a。与规则项集2-2对应的项集分类范围为,入料温度小于临界温度pdtTmpTh_a,且上模具温度小于临界温度mlduTmpTh_a。与规则项集3-1对应的项集分类范围为,入料温度小于临界温度pdtTmpTh_a,且下模具温度小于临界温度mldlTmpTh_a。与规则项集3-2对应的项集分类范围为压力最大值介于临界压力Pth_a、Pth_b之间。
表8中的支持度相当于,与规则项集对应的项集分类范围,占全部的规则项集所对应的项集分类范围中的比例。例如,在表8中,与规则项集1-1对应的项集分类范围(即,入料温度小于临界温度pdtTmpTh_a),亦重复出现在规则项集2-2与规则项集3-1里。因此,与规则项集1-1对应的项集分类范围(即,入料温度小于临界温度pdtTmpTh_a),在全部的规则项集的总数量(5个)中共出现三次。因此,与规则项集1-1对应的项集分类范围(即,入料温度小于临界温度pdtTmpTh_a)的支持度为3/5。
另一方面,与规则项集2-1、2-2、3-1、3-2对应的项集分类范围,均未与其他的规则项集的项集分类范围重复。也就是说,与规则项集2-1对应的项集分类范围(即,入料温度-(pdtTmpTh_a,b),压力最大值-(Pth_a))仅出现在规则项集2-1,未见于其他四个规则项集的项集分类范围中;与规则项集2-2对应的项集分类范围(即,入料温度-(pdtTmpTh_a),上模具温度-(mlduTmpTh_a))仅出现在规则项集2-2,未见于其他四个规则项集的项集分类范围中;与规则项集3-1对应的项集分类范围(即,入料温度-(pdtTmpTh_a),且下模具温度-(mldlTmpTh_a)),压力最大值-(Pth_a))仅出现在规则项集3-1,未见于其他四个规则项集的项集分类范围中;以及,与规则项集3-2对应的项集分类范围(即,压力最大值-(Pth_a,Pth_b))仅出现在规则项集3-2,未见于其他四个规则项集的项集分类范围中。也因此,规则项集2-1、2-2、3-1、3-2的支持度均为1/5。
请参见表9,其是覆盖率计算模块2457c根据规则项集而计算覆盖率的举例。覆盖率的含意为,在被判断为瑕疵的产品bMP中,符合规则项集所对应的项集分类范围者,占瑕疵的产品bMP的总数量中的比率。
表9
Figure BDA0002373524830000381
覆盖率计算模块2457c自规则项集转换模块2458a接收规则项集,以及,自品质检测模块接收关于产品bMP的品质检测数据(例如,共有多少产品bMP被判断为瑕疵,以及与被判断为瑕疵的产品bMP所对应的加工特征等)。覆盖率计算模块2457c将产品bMP的品质检测数据和与规则项集对应的项集分类范围进行比较,判断在品质检测数据被判断为瑕疵的产品bMP,其加工特征是否符合各个规则项集(例如,规则项集1-1、2-1、2-2、3-1、3-2)的项集分类范围;以及,在品质检测数据被判断为瑕疵的产品bMP中,符合规则项集的项集分类范围的数量。
依据规则项集1-1、2-1、2-2、3-1、3-2的不同,覆盖率计算模块2457c将分别以品质检测数据被判断为瑕疵的产品bMP中符合规则项集的个数,除以品质检测数据被判断为瑕疵的产品bMP的总个数后,得出与规则项集1-1、2-1、2-2、3-1、3-2分别对应的覆盖率。如表9所示,与规则项集1-1对应的覆盖率为0.1;与规则项集2-1对应的覆盖率为0.32;与规则项集2-2对应的覆盖率为0.98;与规则项集3-1对应的覆盖率为0.36;以及,与规则项集3-2对应的覆盖率为0.08。
权重计算模块2457b自支持度计算模块2457a接收与规则项集1-1、2-1、2-2、3-1、3-2对应的支持度,以及自覆盖率计算模块2457c接收与规则项集1-1、2-1、2-2、3-1、3-2对应的覆盖率后,将分别计算与规则项集1-1、2-1、2-2、3-1、3-2对应的规则权重。
请参见表10,其是权重计算模块2457b根据支持度与覆盖率,而因应规则项集的不同而计算与规则项集对应的规则权重的举例。
表10
Figure BDA0002373524830000391
Figure BDA0002373524830000401
权重计算模块2457b将与规则项集1-1对应的支持度(0.6)与覆盖率(0.1)直接相乘后,得出原始规则权重(0.6*0.1=0.06);将与规则项集2-1对应的支持度(0.2)与覆盖率(0.32)直接相乘后,得出原始规则权重(0.2*0.32=0.064);将与规则项集2-2对应的支持度(0.2)与覆盖率(0.98)直接相乘后,得出原始规则权重(0.2*0.98=0.196);将与规则项集3-1对应的支持度(0.2)与覆盖率(0.36)直接相乘后,得出原始规则权重(0.2*0.36=0.072);以及,将与规则项集3-2对应的支持度(0.2)与覆盖率(0.08)直接相乘后,得出原始规则权重(0.2*0.08=0.016)。之后,权重计算模块2457b将与规则项集1-1、2-1、2-2、3-1、3-2对应的原始规则权重加总后,得出原始规则权重总和;以及,以各个原始规则权重,分别除以原始规则权重总和,得出与规则项集1-1、2-1、2-2、3-1、3-2对应的原始规则权重的权重占比。
在表10中,支持度的范围介于0~1之间,且覆盖率的范围亦介于0~1之间。据此,根据两者的乘积得出的原始规则权重的范围亦介于0~1之间。为避免当支持度或覆盖率的其中一者的数值偏大,但另一者的数值刚好为0,导致原始规则权重的计算结果为0的情况,此处亦可搭配使用支持度平移量(例如:0.5),以及覆盖率平移量(例如:0.5)。即,将支持度与支持度平移量加总后得出平移后的支持度,以及将覆盖率与覆盖率平移量加总后得出平移后的覆盖率。接着,再将平移后的支持度与平移后的覆盖率互乘,得出平移后规则权重。其后,可用类似表10的说明,计算平移后规则权重总和,以及与规则项集对应的平移后规则权重占比。
经过平移处理后,平移后的支持度的范围介于0.5~1.5之间,且平移后的覆盖率的范围亦介于0.5~1.5之间。据此,将两者相乘后的乘积所表示的平移后规则权重的范围,将介于0.5*0.5=0.25与1.5*1.5=2.25的范围内,故能避免原始规则权重为0的情况。
根据本发明的构想,与规则项集1-1、2-1、2-2、3-1、3-2对应的原始规则权重的权重占比越高时,代表与规则项集1-1、2-1、2-2、3-1、3-2对应的项集分类范围与瑕疵的相关性越高。例如,在表11中,与规则项集2-2对应的原始规则权重的权重占比(0.48)为最高。因此,搭配表8可以得知,若某一产品uMP的加工特征符合入料温度≦430℃,且上模具温度≦155℃时,该产品uMP为瑕疵的机会也较高。
以上说明预测模型如何建立。接着继续说明建立好的预测模型,如何被用于预测产品uMP是否需要进行品质检测;以及,若产品uMP被确认为需要品质检测时,预测模型还可用于分析在生产设备23中,提供瑕疵源分析的功能,协助制造商判断哪个加工的环节较可能导致这个产品uMP的品质发生瑕疵。
请参见图16,其是产品品质监控***处于模型使用模式(uM)时,依据预测模型与产品加工特征而预测产品的品质的示意图。请同时参见图6B与图16。
生产材料21经过生产设备23的加工成为产品uMP。在制造产品uMP的生产流程中,传感器241将感测到的原始生产参数uMP_origPP提供给数据前处理装置243。由数据前处理装置243转换产生产品uMP的加工特征数据集。在模型使用模式uM下,模型使用装置247将使用根据产品bMP所建立的预测模型,对产品uMP的加工特征数据集进行分析与比对。之后,模型使用装置247将产生产品uMP的品质预测结果,以及产生产品uMP的瑕疵源分析信息。
当产品uMP的品质预测结果显示产品uMP不需进行品质检测的抽样时,产品uMP可直接出厂。当产品uMP的品质预测结果显示产品uMP需品质检测的抽样时,品质检测装置248对产品uMP进行品质检测。此外,瑕疵源分析信息可作为使用者检测生产设备23时的参考。
请参见图17,其是模型使用装置的方块图。模型使用装置247包含产品特征接收模块2471、分类规则接收模块2473、产品特征与分类规则比较模块2475、相似度计算模块2477、品质预测模块2479与瑕疵源追踪模块2470。其中,产品特征与分类规则比较模块2475电连接于相似度计算模块2477、产品特征接收模块2471与分类规则接收模块2473。品质预测模块2479电连接于相似度计算模块2477与瑕疵源追踪模块2470。
产品特征接收模块2471电连接于数据前处理装置243,并从数据前处理装置243接收产品uMP的加工特征数据集。另一方面,分类规则接收模块2473电连接于模型建立装置245,并从模型建立装置245接收与规则项集对应的项集分类范围,以及与规则项集对应的原始规则权重的权重占比。产品特征接收模块2471所接收的产品uMP的加工特征如表11所示。
实际应用时,模型使用装置247所需分析的产品uMP的数量相当多,此处为便于举例,仅以产品uMP1~uMP6为例,并假设加工特征包含入料温度、压力最大值、上模具温度与下模具温度。
表11
Figure BDA0002373524830000431
产品特征接收模块2471接收到如表11所列出的各个产品uMP1~uMP6的加工特征(例如,入料温度、压力最大值、上模具温度与下模具温度)后,首先以频繁项集的方式转换产品uMP1~uMP6的加工特征。接着,再以表7所列出的规则项集1-1、2-1、2-2、3-1、3-2的项集分类范围与产品uMP1~uMP6的加工特征进行比对。即,确认产品uMP1~uMP6的入料温度、压力最大值、上模具温度与下模具温度是否符合表8所列出的规则项集1-1、2-1、2-2、3-1、3-2的项集分类范围。
表12为确认产品是否符合规则项集1-1、2-1、2-2、3-1、3-2的加工规则的确认表。其中,Y代表产品uMP的加工特征符合规则项集的项集分类范围。产品特征与分类规则比较模块2475用于执行表12所示的比较。
表12
Figure BDA0002373524830000432
在表12中,产品uMp1的加工特征符合规则项集2-1、3-1的项集分类范围;产品uMp2的加工特征符合规则项集3-2的项集分类范围;产品uMp3的加工特征符合规则项集1-1、2-1、2-2的项集分类范围;产品uMp4的加工特征符合规则项集3-1、3-2的项集分类范围;产品uMp5的加工特征符合规则项集1-1、3-2的项集分类范围;以及,产品uMp6的加工特征符合规则项集1-1、2-1的项集分类范围。
产品特征与分类规则比较模块2475产生如表12所示的比较结果后,将比较结果传送至相似度计算模块2477。接着,相似度计算模块2477从权重计算模块2457b接收如表10最右侧栏位所示的,与规则项集对应的原始规则权重的权重占比,以及从产品特征与分类规则比较模块2475接收比较结果后,将用于计算产品uMP以及与规则项集对应的原始规则权重的权重占比之间的关系。
请参见表13,其是相似度计算模块根据产品uMP以及与规则项集对应的原始规则权重的权重占比,计算瑕疵相似度的列表。表13是根据表10与表12而产生,其产生方式为,针对表12中被列为Y的栏位,填入在表10所计算的与规则项集对应的原始规则权重的权重占比。接着,按照各个产品uMP1~uMP6的不同,分别计算与其对应的瑕疵相似度后,便可得出表13。瑕疵相似度可视为,生产设备23生产产品uMP的过程中,与产品uMP对应的加工特征数据集中,符合规则项集所对应的项集分类范围的多寡。
表13
Figure BDA0002373524830000441
Figure BDA0002373524830000451
当瑕疵相似度越高时,代表在产品uMp的生产过程中所产生的加工特征中,较容易使产品uMp产生瑕疵的加工特征越多,可因此预测产品uMp可能为瑕疵的机会越高。反之,当瑕疵相似度越高低,代表在生产产品uMp的过程中,伴随产生的加工特征中,并没有太多容易使产品uMp产生瑕疵的加工特征,可因此预测产品uMp可能为瑕疵的机会越低。
如表12所示,产品uMP1的加工特征符合规则项集2-1、3-1的项集分类范围。因此,在表13中,与产品uMP1对应的瑕疵相似度,是根据表11中,与规则项集2-1对应的原始规则权重的权重占比(0.16),以及与规则项集3-1对应的原始规则权重的权重占比(0.18)的总和而得出((0.16+0.18)*100%=34%)。
如表12所示,产品uMP2的加工特征符合规则项集3-2的项集分类范围。因此,在表13中,与产品uMP2对应的瑕疵相似度,是根据表11中,与规则项集2-1对应的原始规则权重的权重占比而得出(0.04*100%=4%)。
如表12所示,产品uMP3的加工特征符合规则项集1-1、2-1、2-2的项集分类范围。因此,在表13中,与产品uMP3对应的瑕疵相似度,是表11中,与规则项集1-1对应的原始规则权重的权重占比(0.15)、与规则项集2-1对应的原始规则权重的权重占比(0.16),以及与规则项集2-2对应的原始规则权重的权重占比(0.48)加总后得出((0.15+0.16+0.48)*100%=79%)。
如表12所示,产品uMP4的加工特征符合规则项集3-1、3-2的项集分类范围。因此,在表13中,与产品uMP4对应的瑕疵相似度,是根据与规则项集3-1对应的原始规则权重的权重占比(0.18),以及与规则项集3-2对应的原始规则权重的权重占比(0.04)的总和而得出((0.18+0.04)*100%=22%)。
如表12所示,产品uMP5的加工特征符合规则项集1-1、3-2的项集分类范围。因此,在表13中,与产品uMP5对应的瑕疵相似度,是根据与规则项集1-1对应的原始规则权重的权重占比(0.15),以及与规则项集3-2对应的原始规则权重的权重占比(0.04)的总和而得出((0.15+0.04)*100%=19%)。
如表12所示,产品uMP6的加工特征符合规则项集1-1、2-1的项集分类范围。因此,在表13中,与产品uMP6对应的瑕疵相似度,是根据与规则项集1-1对应的原始规则权重的权重占比(0.15),以及与规则项集2-1对应的原始规则权重的权重占比(0.16)的总和而得出((0.15+0.16)*100%=31%)。
待相似度计算模块2477分别针对产品uMP1~uMP6计算与其对应的瑕疵相似度后,品质预测模块2479再用于将该多个瑕疵相似度与瑕疵相似度门槛进行比较,并根据比较结果判断产品是否需要进行品质检测。
请参见表14,其是品质预测模块2479执行表13所示的瑕疵相似度与瑕疵相似度门槛比较后,判断是否须对产品进行品质检测的列表。品质预测模块2479将产品uMP1~uMP6的瑕疵相似度分别与瑕疵相似度门槛(例如,30%)进行比较。实际应用时,瑕疵相似度门槛的数值可视产品类型、良率等考量而改变。
表14
Figure BDA0002373524830000471
如表14所示,产品uMP1的瑕疵相似度为34%、产品uMP3的瑕疵相似度为79%,且产品uMP6的瑕疵相似度为31%,均高于瑕疵相似度门槛(30%)。因此,品质预测模块2479判断产品uMP1、uMP3、uMP6应进行品质检测。另一方面,产品uMP2的瑕疵相似度为4%、产品uMP4的瑕疵相似度为22%、产品uMP5的瑕疵相似度为19%,均低于瑕疵相似度门槛(30%)。因此,品质预测模块2479判断产品uMP2、uMP4、uMP5均不需要进行品质检测。
除了针对产品本身是否需进行品质检测而产生品质预测结果外,模型使用装置247还可利用预测模型提供瑕疵源追踪的功能。根据本发明的实施例,制造商可提供一根因对照表予瑕疵源追踪模块2470。根因对照表代表规则项集1-1、2-1、2-2、3-1、3-2与影响该多个生规则的相关生产设备之间的关系。实际应用时,根因对照表可由制造商根据经验或统计数值所提供。表15为根因对照表的举例。
表15
Figure BDA0002373524830000472
Figure BDA0002373524830000481
在表15中,规则项集1-1的根因仅与胚料加热炉331相关。因此,当某个产品uMP因加工特征符合规则项集1-1的特征范围而使预测模型预测其品质为瑕疵时,代表因胚料加热炉331引起此产品uMP的瑕疵风险为100%。
在表15中,规则项集2-1的根因为胚料加热炉331与温锻冲压机台333压力。其中,由胚料加热炉331引起的机会为70%,由温锻冲压机台333压力引起的机会为30%。因此,当某个产品uMP因加工特征符合规则项集2-1的特征范围而使预测模型预测其品质为瑕疵时,代表因胚料加热炉331引起此产品uMP的瑕疵风险为70%,因温锻冲压机台333压力引起此产品uMP的瑕疵风险为30%。
在表15中,规则项集2-2的根因为胚料加热炉331与温锻冲压机台333加热。其中,由胚料加热炉331引起的机会为50%,由温锻冲压机台333加热引起的机会为50%。因此,当某个产品uMP因加工特征符合规则项集2-2的特征范围而使预测模型预测其品质为瑕疵时,代表因胚料加热炉331引起此产品uMP的瑕疵风险为50%,因温锻冲压机台333加热引起此产品uMP的瑕疵风险为50%。
在表15中,规则项集3-1的根因仅与温锻冲压机台333加热相关。因此,当某个产品uMP因加工特征符合规则项集3-1的特征范围而使预测模型将其品质被预测为瑕疵时,代表因温锻冲压机台333加热引起此产品uMP的瑕疵风险为100%。
在表15中,规则项集3-2的根因仅与温锻冲压机台333压力相关。因此,当某个产品uMP因加工特征符合规则项集3-2的特征范围而使预测模型将其品质被预测为瑕疵时,代表因温锻冲压机台333压力引起此产品uMP的瑕疵风险为100%。
由于在表14中,产品uMP3的瑕疵相似度(79%)最高。因此,此处以产品uMP3为例,说明瑕疵源追踪模块2470如何搭配表15所示的根因对照表,进一步分析使产品uMP3的生产流程中,何者为较可能造成产品uMP3为瑕疵的瑕疵源。
如表12所示,产品uMP3与规则项集1-1、2-1、2-2、相关。因此,为便于说明,此处引用表11所示的规则权重以及与规则项集对应的原始规则权重的权重占比,以及表15所示关于规则项集与根因的对照关系整理于表16。
表16
Figure BDA0002373524830000491
根据表16可以计算与规则项集对应的原始规则权重的权重占比的总和为0.15+0.16+0.48=0.79。此外,由表15可以看出,导致产品uMP3被预测为瑕疵的根因包含胚料加热炉331、温锻冲压机台333压力与温锻冲压机台333加热。因此,瑕疵源追踪模块2470将判断由胚料加热炉331、温锻冲压机台333压力与温锻冲压机台333加热造成产品uMP3可能被预测为瑕疵的比率。
请参见表17,其是可能引起产品uMP3需要进行品质检测的根因与其比率列表。此表格针对能使产品uMP3为瑕疵的根因,分别计算其影响产品uMP3可能为瑕疵的机会。
表17
Figure BDA0002373524830000501
根据表17,产品uMP3可能因胚料加热炉331故障,导致基于规则项集1-1而将产品uMP3预测(归类)为瑕疵的机会为0.15*1;基于规则项集2-1而将产品uMP3预测(归类)为瑕疵的机会为0.16*0.7;以及,基于规则项集2-2而将产品uMP3预测(归类)为瑕疵的机会为0.48*0.5。将这三者加总的结果,除以与规则项集对应的原始规则权重的权重占比的总和(0.79)后,便可得出产品uMP3因胚料加热炉331故障而被归类为瑕疵的几率为0.63。
根据表17,产品uMP3可能因温锻冲压机台333压力异常,导致基于规则项集2-1而对产品uMP3分类时,将产品uMP3归类为瑕疵的机会为0.16*0.3。将产品uMP3归类为瑕疵的机会(0.16*0.3),除以与规则项集对应的原始规则权重的权重占比的总和(0.79)后,便可得出产品uMP3因温锻冲压机台333压力异常而被归类为瑕疵的几率为0.63。
根据表17,产品uMP3可能因温锻冲压机台333加热异常,导致基于规则项集2-2而对产品uMP3分类时,将产品uMP3归类为瑕疵的机会为0.48*0.5。也就是说,将产品uMP3归类为瑕疵的机会(0.48*0.5),除以与规则项集对应的原始规则权重的权重占比的总和(0.79)后,便可得出产品uMP3因温锻冲压机台333加热异常而被归类为瑕疵的几率为0.31。
为便于比较,此处将表17的计算结果整理于表18。根据本发明的构想,瑕疵源追踪模块2470可将此结果以圆饼图等方式,呈现给使用者参考。因此,制造商无须经过复杂的分析,即可掌握应就生产设备23的哪个环节进行检修。
表18
产品 胚料加热炉 温锻冲压机台压力 温锻冲压机台加热
uMP3 63% 6% 31%
预测模型建立后,还可进一步对其预测的效果进行评估,进而确认其预测结果是否仍符合生产流程的特性。评估预测模型的适用与否的确切时点,可视制造商的需求、产品特性等考量而调整,无须加以限定。例如,每间隔一段固定的期间,或是生产一定数量的产品之后等。
请参见图18,其是产品品质监控***处于模型评估模式(eM)时,检视预测模型是否需更新的示意图。请同时参见图6C与图18。生产设备23生产产品eMP的同时,传感器241亦对应产生与产品eMP对应的原始生产参数eMP_origPP。数据前处理装置243接收原始生产参数eMP_origPP后,将其转换为产品eMP的加工特征。模型使用装置247根据产品加工特征与预测模型,产生与产品eMP对应的品质预测结果。另一方面,品质检测装置248针对产品eMP进行品质检测后产生品质检测数据集。
模型评估装置249分别从模型使用装置247接收产品eMP的品质预测结果,以及从品质检测装置248接收产品eMP的品质检测数据集后,将两者进行比较后,产生模型评估结果。之后,依据模型评估结果决定是否需要通知模型建立装置245需重新建立预测模型,或通知模型使用装置247可继续使用预测模型。
请参见图19,其是产品品质监控***处于模型评估模式(eM)的流程图。首先,初始化预测模型的更新计数器(步骤S801)。接着,传感器对产品eMP的生产流程进行感测后,产生原始生产参数eMP_origPP(步骤S802);数据前处理装置243对原始生产参数eMP_origPP进行数据前处理后,产生产品eMP的加工特征数据集(步骤S803);且模型使用装置247以产品eMP的加工特征数据集作为预测模型的输入后,搭配预测模型产生与产品eMP对应的品质预测结果(步骤S804)。另一方面,品质检测装置248对产品eMP进行检测,产生与其对应的品质检测数据(步骤S805)。
待品质预测结果与品质检测数据集分别产生后,模型评估装置249将比较产品eMP的品质预测结果与品质检测数据是否分歧(步骤S807)。若步骤S807的比较结果显示,品质预测结果仍符合品质检测的结果,则模型评估装置249通知模型使用装置247b仍可继续使用预测模型(步骤S817)。
若步骤S807的比较结果却认为分歧,则先判断预测模型更新计数器是否已经达到预设的更新次数门槛(例如,两次)(步骤S811)。若步骤S811的判断结果为否定,模型评估装置249将通知模型建立装置245需重新建立预测模型,并累加预测模型更新计数器(步骤S813)。待模型建立装置245重新建立预测模型后,重复自步骤S804开始执行。反之,若步骤S811的判断结果为肯定,则在重新选择用于评估预测模型用的产品eMP(步骤S815)后,重新执行图19的流程。
承上,本案的产品品质监控***24首先在模型建立模式(bM)下,取得产品bMP生产过程的加工特征,以及针对产品的品质检测数据集。借由分析产品bMP的品质优劣与其加工特征之间的关联性而建立预测模型。其次,在模型使用模式(uM)下,取得生产产品uMP时伴随产生的加工特征,并在预测模型预测产品uMP可能有一部分具有瑕疵时,针对瑕疵风险较高的产品uMP进行进一步的品质检测,以及提供瑕疵源分析信息让制造商可以对生产设备23进行维护或检修。此外,产品品质监控***24还提供模型评估模式(eM)维持预测模型的预测品质。
另请留意,以上的说明虽以自行车零件的生产为例,但本案的产品品质监控***24可应用于各种不同类型的制造业的生产工厂。对产品品质监控***24而言,不同类型的生产工厂的生产设备23可能取得的生产参数虽然不同,所以由数据前处理装置243进行的产生加工特征的步骤需针对生产工厂的特性与产品种类修改。但,经转换为加工特征后,后续的模型建立装置245、模型使用装置247与模型评估装置249的操作方式仍类似。因此,本发明的产品品质监控***24可应用于各种制造业。
综上,本发明的产品品质监控***24所提供的模型建立模式(bM)、模型使用模式(uM),以及模型评估模式(eM),可以使预测模型保持其预测产品品质的准确度。由于预测模型可用于稳定地预测产品的品质,制造商将可大幅节省对产品品质进行品质检测所需的成本与时间。
在本领域中的通常知识者均可了解:在上述的说明中,作为举例的各种逻辑方块、模块、电路及方法步骤皆可利用电子硬件、电脑软件,或二者的组合来实现,且该多个实现方式间的连线方式,无论上述说明所采用的是信号连结、连接、耦接、电连接或其他类型的替代作法等用语,其目的仅为了说明在实现逻辑方块、模块、电路及方法步骤时,可以通过不同的手段,例如有线电子信号、无线电磁信号以及光信号等,以直接、间接的方式来进行信号交换,进而达到信号、数据、控制信息的交换与传递的目的。因此说明书所采的用语并不会形成本案在实现连线关系时的限制,更不会因其连线方式的不同而脱离本案的范畴。
综上所述,虽然本发明已以实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (15)

1.一种预测模型的建立装置,其是根据检测多个产品所产生的一品质检测数据集,以及与该多个产品的生产相关的一加工特征数据集进行解析,其特征在于,该建立装置是包含:
一强分类器产生模块,包含:
一第一产生器,其是根据一第一分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第一候选强分类器的一第一候选强分类器群组,其中K为正整数;
一第二产生器,其是根据一第二分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第二候选强分类器的一第二候选强分类器群组;
一第三产生器,其是根据一第三分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第三候选强分类器的一第三候选强分类器群组;以及,
一初选模块,电连接于该第一产生器、该第二产生器与该第三产生器,
其中该初选模块是根据该品质检测数据集判断该第一候选强分类器群组、该第二候选强分类器群组与该第三候选强分类器群组是否满足一初选条件。
2.如权利要求1所述的建立装置,其特征在于,
当该第一候选强分类器群组满足该初选条件时,该第一产生器是于根据该第一分类器策略与一复选训练数据而产生一第一初选强分类器;
当该第二候选强分类器群组满足该初选条件时,该第二产生器是根据该第二分类器策略与该复选训练数据而产生一第二初选强分类器;以及
当该第三候选强分类器群组满足该初选条件时,该第三产生器是于根据该第三分类器策略与该复选训练数据而产生一第三初选强分类器。
3.如权利要求2所述的建立装置,其特征在于,该复选训练数据是自该加工特征数据集随机选取,且该加工特征数据集是由该复选训练数据与一复选测试数据组成。
4.如权利要求3所述的建立装置,其特征在于,该强分类器产生模块更包含:
一复选模块,电连接于该第一产生器、该第二产生器与该第三产生器,其是根据该复选测试数据与该品质检测数据集,自该第一初选强分类器、该第二初选强分类器,以及该第三初选强分类器中,选择其中两者作为一第一复选强分类器与一第二复选强分类器。
5.如权利要求4所述的建立装置,其特征在于,该复选模块是包含:
一验证序列计算模块,电连接于该第一产生器、该第二产生器与该第三产生器,其是产生与该第一强分类器对应的一第一验证序列、与该第二强分类器对应的一第二验证序列,以及与该第三强分类器对应的一第三验证序列。
6.如权利要求5所述的建立装置,其特征在于,该复选模块更包含:
一相关性计算模块,电连接于该验证序列计算模块,其是计算该第一验证序列与该第二验证序列之间的一第一验证序列相关系数、计算该第一验证序列与该第三验证序列之间的一第二验证序列相关系数,以及计算该第二验证序列与该第三验证序列之间的一第三验证序列相关系数;以及
一强分类器选择模块,电连接于该相关性计算模块,其是根据该第一验证序列相关系数、该第二验证序列相关系数与该第三验证序列相关系数的比较而决定该第一复选强分类器与该第二复选强分类器。
7.如权利要求4所述的建立装置,其特征在于,该建立装置更包含:
一强分类器解析模块,电连接于该复选模块,其是于读取该第一复选强分类器所包含的多个第一弱分类器的路径,以及读取该第二复选强分类器所包含的多个第二弱分类器的路径后,得出多个分类规则,以及与该多个分类规则对应的多个规则权重。
8.如权利要求1所述的建立装置,其特征在于,该品质检测数据集是包含K份品质检测数据,且该加工特征数据集是包含K份加工特征数据,其中,
该K个第一候选强分类器中的一第k个第一候选强分类器是根据该K份品质检测数据中的(K-1)份品质检测数据、该K份加工特征数据中的(K-1)份加工特征数据,以及该第一分类器策略而产生;
该K个第二候选强分类器中的一第k个第二候选强分类器是根据该(K-1)份品质检测数据、该(K-1)份加工特征数据,以及该第二分类器策略而产生;且
该K个第三候选强分类器中的一第k个第三候选强分类器是根据该(K-1)份品质检测数据、该(K-1)份加工特征数据,以及该第三分类器策略而产生。
9.如权利要求1所述的建立装置,其特征在于,
当该初选模块判断该第一候选强分类器群组不满足该初选条件时,该第一产生器是在修改与该第一分类器策略相关的多个第一模型结构参数中的至少一者后,更新该K个第一候选强分类器;
当该初选模块判断该第二候选强分类器群组不满足该初选条件时,该第二产生器是在修改与该第二分类器策略相关的多个第二模型结构参数中的至少一者后,更新该K个第二候选强分类器;
当该初选模块判断该第三候选强分类器群组不满足该初选条件时,该第三产生器是在修改与该第三分类器策略相关的多个第三模型结构参数中的至少一者后,更新该K个第三候选强分类器。
10.如权利要求1所述的建立装置,其特征在于,该第一分类器策略、该第二分类器策略与该第三分类器策略是采用一二元树架构,其中,各该K个第一候选强分类器均包含T1个第一弱分类器、各该K个第二候选强分类器均包含T2个第一弱分类器,且各该K个第三候选强分类器均包含T3个第三弱分类器。
11.如权利要求10所述的建立装置,其特征在于,T1等于T2。
12.如权利要求10所述的建立装置,其特征在于,各该T1个第一弱分类器均具有一第一深度、各该T2个第二弱分类器均具有一第二深度,且各该T3个第三弱分类器均具有一第三深度,其中,该多个第一模型结构参数是包含T1与该第一深度、该多个第二模型结构参数是包含T2与该第二深度,且该多个第三模型结构参数是包含T3与该第三深度。
13.如权利要求12所述的建立装置,其特征在于,该第一深度等于该第二深度。
14.一种预测模型的建立方法,其是根据对多个产品进行检测所产生的一品质检测数据集,以及与该多个产品的生产相关的一加工特征数据集进行解析,其特征在于,该建立方法是包含以下步骤:
根据一第一分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第一候选强分类器的一第一候选强分类器群组,其中K为正整数;
根据一第二分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第二候选强分类器的一第二候选强分类器群组;
根据一第三分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第三候选强分类器的一第三候选强分类器群组;以及,
根据该品质检测数据集判断该第一候选强分类器群组、该第二候选强分类器群组与该第三候选强分类器群组是否满足一初选条件。
15.一种产品品质监控***,其特征在于,包含:
一品质检测装置,其是检测多个产品并产生一品质检测数据集;
一数据前处理装置,其是接收与该多个产品的生产相关的多个生产参数,并据以产生一加工特征数据集;以及,
一模型建立装置,包含:
一强分类器产生模块,包含:
一第一产生器,其是根据一第一分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第一候选强分类器的一第一候选强分类器群组,其中K为正整数;
一第二产生器,其是根据一第二分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第二候选强分类器的一第二候选强分类器群组;
一第三产生器,其是根据一第三分类器策略、该加工特征数据集与该品质检测数据集而产生包含K个第三候选强分类器的一第三候选强分类器群组;以及,
一初选模块,电连接于该第一产生器、该第二产生器与该第三产生器,其中,
该初选模块是根据该品质检测数据集判断该第一候选强分类器群组、该第二候选强分类器群组与该第三候选强分类器群组是否满足一初选条件。
CN202010058246.XA 2019-12-05 2020-01-19 预测模型的建立装置、建立方法与产品品质监控*** Active CN112926760B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108144495 2019-12-05
TW108144495A TWI709054B (zh) 2019-12-05 2019-12-05 預測模型的建立裝置、建立方法與產品品質監控系統

Publications (2)

Publication Number Publication Date
CN112926760A true CN112926760A (zh) 2021-06-08
CN112926760B CN112926760B (zh) 2022-08-09

Family

ID=74202245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010058246.XA Active CN112926760B (zh) 2019-12-05 2020-01-19 预测模型的建立装置、建立方法与产品品质监控***

Country Status (2)

Country Link
CN (1) CN112926760B (zh)
TW (1) TWI709054B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421264A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 轮毂质量检测方法、设备、介质及计算机程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI734641B (zh) * 2020-11-06 2021-07-21 財團法人金屬工業研究發展中心 鍛造成形道次預估方法及使用該方法的鍛造成形設計系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745659A (zh) * 2013-09-16 2016-07-06 佰欧迪塞克斯公司 利用借助正则化组合多个微型分类器的分类器生成方法及其应用
CN106611233A (zh) * 2015-10-27 2017-05-03 财团法人资讯工业策进会 适用于加工机台的用电量预估***与用电量预估方法
US20170185938A1 (en) * 2015-12-29 2017-06-29 Crowd Computing Systems, Inc. Task Similarity Clusters for Worker Assessment
CN109635830A (zh) * 2018-10-24 2019-04-16 吉林大学 用于估算汽车质量的有效数据的筛选方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430719B2 (en) * 2014-11-25 2019-10-01 Stream Mosaic, Inc. Process control techniques for semiconductor manufacturing processes
CN104615122B (zh) * 2014-12-11 2018-04-06 深圳市永达电子信息股份有限公司 一种工控信号检测***及检测方法
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
EP3594749A1 (en) * 2018-07-10 2020-01-15 ASML Netherlands B.V. Method to label substrates based on process parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745659A (zh) * 2013-09-16 2016-07-06 佰欧迪塞克斯公司 利用借助正则化组合多个微型分类器的分类器生成方法及其应用
CN106611233A (zh) * 2015-10-27 2017-05-03 财团法人资讯工业策进会 适用于加工机台的用电量预估***与用电量预估方法
US20170185938A1 (en) * 2015-12-29 2017-06-29 Crowd Computing Systems, Inc. Task Similarity Clusters for Worker Assessment
CN109635830A (zh) * 2018-10-24 2019-04-16 吉林大学 用于估算汽车质量的有效数据的筛选方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨鹤标等: "适用于非平衡数据的多关系多分类模型", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421264A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 轮毂质量检测方法、设备、介质及计算机程序产品
CN113421264B (zh) * 2021-08-24 2021-11-30 深圳市信润富联数字科技有限公司 轮毂质量检测方法、设备、介质及计算机程序产品

Also Published As

Publication number Publication date
CN112926760B (zh) 2022-08-09
TWI709054B (zh) 2020-11-01
TW202123054A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
CN112926760B (zh) 预测模型的建立装置、建立方法与产品品质监控***
CN111382546B (zh) 一种基于支持向量机建模对发电机绝缘***进行寿命预测的方法
JP7102941B2 (ja) 情報処理方法、情報処理装置、及びプログラム
KR102417415B1 (ko) 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
EP4068140A1 (en) Method and system for optimizing a simulation model using machine learning
EP2410312A1 (en) A method for computer-assisted analyzing of a technical system
JP2009042997A (ja) データ分類方法および装置
CN113435699A (zh) 一种质量智能管控方法及***
Pan et al. Unsupervised root-cause analysis for integrated systems
KR101105790B1 (ko) 불량 판정 방법
CN117852116A (zh) 一种数字孪生模型的构建方法
CN115280334A (zh) 错误原因的推定装置以及推定方法
CN117196405B (zh) 一种钢铁工业生产数据质量评价方法和评价***
CN117557827A (zh) 一种基于自编码级联森林的板形异常检测方法
Fallah Nezhad et al. Economic design of acceptance sampling plans based on conforming run lengths using loss functions
EP4042172B1 (en) Methods and systems for assessing printed circuit boards
CN114818281B (zh) 一种基于卷积神经网络的剖面反演方法及***
CN113586554A (zh) 一种液压马达检测***及方法
US20200387152A1 (en) Test time reduction for manufacturing processes by removing a redundant test
JP7345006B1 (ja) 学習モデル生成方法及び検査装置
CN112766410A (zh) 一种基于图神经网络特征融合的回转窑烧成状态识别方法
KR20110007714A (ko) 불량인식 시스템의 학습방법
JP2019144870A (ja) 対象検査のためのシステム及び方法
CN117372720B (zh) 一种基于多特征交叉掩码修复的无监督异常检测方法
CN113420498B (zh) 常减压装置的ai建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant