CN113554585B - 影像分析***及影像分析方法 - Google Patents

影像分析***及影像分析方法 Download PDF

Info

Publication number
CN113554585B
CN113554585B CN202010331956.5A CN202010331956A CN113554585B CN 113554585 B CN113554585 B CN 113554585B CN 202010331956 A CN202010331956 A CN 202010331956A CN 113554585 B CN113554585 B CN 113554585B
Authority
CN
China
Prior art keywords
pixel
processor
image analysis
image
analysis block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010331956.5A
Other languages
English (en)
Other versions
CN113554585A (zh
Inventor
吴东郁
廖俊谚
吴俊昇
蔡高财
黄兆义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winbond Electronics Corp
Original Assignee
Winbond Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winbond Electronics Corp filed Critical Winbond Electronics Corp
Priority to CN202010331956.5A priority Critical patent/CN113554585B/zh
Publication of CN113554585A publication Critical patent/CN113554585A/zh
Application granted granted Critical
Publication of CN113554585B publication Critical patent/CN113554585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/07—Investigating materials by wave or particle radiation secondary emission
    • G01N2223/09—Investigating materials by wave or particle radiation secondary emission exo-electron emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/10—Different kinds of radiation or particles
    • G01N2223/102—Different kinds of radiation or particles beta or electrons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

一种影像分析***及影像分析方法，所述影像分析***包含：一影像获取装置以及一处理器；影像获取装置用以获取一待分析影像；处理器用以将待分析影像输入至一区域卷积神经网络模型，区域卷积神经网络模型输出一遮罩影像，处理器计算遮罩影像中的一遮罩物件的一中心，将中心视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点，对于每个最远坐标点产生一影像分析区块，并将影像分析区块进行一后处理，以取得一物件范围。

Description

影像分析***及影像分析方法
技术领域
本发明是关于一种分析***及分析方法，特别是关于一种影像分析***及影像分析方法。
背景技术
关键尺寸扫描电子显微镜(Critical Dimension Scanning ElectronMicroscope，CD SEM)主要用途为线上产品线宽测量，其特点为晶片无须经过切片或镀金属膜等预处理步骤，即可观察及测量光阻、绝缘层及金属层等的图案。当使用者以CDSEM测量关键尺寸时，必须先建置工艺参数(recipe)让CDSEM知道要怎么标的、标的在哪、怎么测量等信息。测量CD也是影像处理的一环，必须告知CDSEM精准的测量区域、方向、取值方式等信息，否则CDSEM无法在大面积的图像中找到标的，并取得正确的结果，也因此前置作业(建构工艺参数)相当重要但也相当耗时。
由此可知，前置作业需要大量时间，若改变测量位置或物件，即需要重新设置工艺参数，且此方法在分析灰阶影像时，若起始黑白交错边与预期不同，则会整批影像测量错误，故影像获取的容错率相当低。
因此，上述现有方式仍有待加以进一步改进。
发明内容
为了解决上述的问题，本申请内容的一实施例提供了一种影像分析***，包含：一影像获取装置以及一处理器。影像获取装置用以获取一待分析影像。处理器用以将待分析影像输入至一区域卷积神经网络(Region-based Convolutional Neural Network，RCNN)模型，区域卷积神经网络模型输出一遮罩影像，处理器计算遮罩影像中的一遮罩物件的一中心，将中心视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点，对于每个最远坐标点产生一影像分析区块，并将影像分析区块进行一后处理，以取得一物件范围。
为了解决上述的问题，本申请内容的一实施例提供了一种影像分析方法，包含：输入一待分析影像至一区域卷积神经网络模型，区域卷积神经网络模型输出一遮罩影像；计算遮罩影像中的一遮罩物件的一中心；将中心视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点；对于每个最远坐标点产生一影像分析区块；以及将影像分析区块进行一后处理，以取得一物件范围。
本发明所示的影像分析***及影像分析方法，将待分析影像输入至区域卷积神经网络模型，依据区域卷积神经网络模型输出的遮罩影像产生多个影像分析区块，并将此影像分析区块进行后处理，无须将整张遮罩影像都进行后处理，即可以取得遮罩影像中重要的关键点，故大幅减少运算量。在完成后处理之后，处理器可自动地分析出此影像分析区块中的关键点，透过此关键点的位置，可精准地可得到物件范围的效果。
附图说明
图1为依照本发明一实施例绘示一种影像分析***的方块图；
图2为根据本发明的一实施例绘示一种影像分析方法的流程图；
图3A～图3D为根据本发明的一实施例绘示一种影像分析方法的示意图；
图4为根据本发明的一实施例绘示一种产生影像分析区块的方法的示意图；
图5A～图5F为根据本发明的一实施例绘示一种后处理方法的示意图；
图6为根据本发明的一实施例绘示一种影像分析方法的示意图。
[符号说明]
100：影像分析***
10：影像获取装置
20：处理器
200：影像分析方法
210～250：步骤
BK1、BK2：区块
M1、M2：遮罩物件
Ra：物件范围
IMG：遮罩影像
P1、P2：中心
A1～E1、A2～E2：最远坐标点
V1、V2：向量
PA1～PE1、PA2～PE2：影像分析区块
EUR、EDR、CI、IDR：坐标
PI：初始分析区块
IL：第一像素曲线
ND：标示点
SL：第一斜率曲线
RL：回归线段
PCD1～PCD5：关键点
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
请参照图1、图2及图3A～图3D，图1是依照本发明一实施例绘示一种影像分析***100的方块图。图2是根据本发明的一实施例绘示一种影像分析方法200的流程图。图3A～图3D是根据本发明的一实施例绘示一种影像分析方法的示意图。
如图1所示，影像分析***100包含一影像获取装置10及一处理器20。影像获取装置10与处理器20以有线/无线方式通信耦接。于一实施例中，影像获取装置10用以获取一待分析影像，待分析影像例如是半导体影像。于一实施例中，影像获取装置为一扫描电子显微镜(Scanning Electron Microscope，SEM)，扫描电子显微镜透过用聚焦电子束扫描样品的表面来产生样品表面的图像。
于一实施例中，处理器20可由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数位信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit，ASIC)或一逻辑电路来实施。
以下叙述精准自动标记待分析影像中物件范围Ra(例如为半导体剖面的一或多层)的影像分析方法200。于一实施例中，物件范围Ra的表示单位为纳米(nm)。
于步骤210中，通过处理器20输入一待分析影像至一区域卷积神经网络模型，区域卷积神经网络模型输出一遮罩影像。
于一实施例中，如图3A所示，待分析影像例如是由影像获取装置10所获取的半导体影像。一般而言，半导体影像中包含多层结构，许多半导体的剖面形状为角锥状，例如区块BK1为光阻层或金属层，区块BK1上面的区块BK2为氧化层或光阻层。为方便说明，本案实施例以区块BK1及区块BK2为例做说明。
于一实施例中，区域卷积神经网络模型的训练过程为：首先给予大量的标记图片数据(例如为标记出半导体剖面的每一层的影像)给予区域卷积神经网络模型，区域卷积神经网络模型会先将此些标记图片的特征获取出来，再经由可能物件区域(例如半导体剖面的每一层)的模拟，评断出物件较可能出现的区域，将可能物件区域内的特征合并成物件的特征频谱，再将特征频谱信息经运算推得物件种类机率与物件可能位置，将特征频谱重组，并利用神经元尝试还原物件轮廓。此些步骤可以重复实施，以训练区域卷积神经网络模型。当区域卷积神经网络模型训练好后，将影像输入，即可获得对应的物件位置、轮廓与种类。由于区域卷积神经网络模型为已知演算法，此处不赘述。
于一实施例中，当区域卷积神经网络模型训练完后，处理器20输入待分析影像至区域卷积神经网络模型，如图3A所示，区域卷积神经网络模型输出一遮罩影像IMG，遮罩影像IMG中包含遮罩物件M1及遮罩物件M2。
于一实施例中，遮罩影像IMG还包含遮罩物件M1的区块BK1及遮罩物件M2的区块BK2。区块BK1是区域卷积神经网络模型依据遮罩物件M1的最高点像素、最右侧像素、最左侧像素及最低点像素所产生；区块BK2是区域卷积神经网络模型依据遮罩物件M2的最高点像素、最右侧像素、最左侧像素及最低点像素所产生。
于步骤220中，处理器20计算遮罩影像IMG中的一遮罩物件(例如为遮罩物件M1)的一中心(例如为中心P1)。
于一实施例中，如图3B所示处理器20可以将遮罩影像IMG中没被遮罩的部分视为“0”，被遮罩的部分视为“1”，依据遮罩物件M1中的每个像素点的坐标，例如将遮罩影像IMG的最左下角视为坐标原点，将遮罩物件M1(即被视为“1”的被遮罩的部分)中所有像素点的X值与Y值分别加总后再取平均值，以计算出遮罩物件M1的中心P1。遮罩物件M2的中心P2亦可由相同方法算出。然而，计算遮罩物件M1、M2各自对应的中心P1、P2的方法不限于此，此仅为计算中心P1、P2的一示例性方法。
于步骤230中，处理器20将中心(例如为中心P1)视为一坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的一最远坐标点。
于一实施例中，如图3C所示，处理器20将中心P1视为坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。最远坐标点是指遮罩物件M1的范围中，相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。例如，第一象限中，遮罩物件M1的范围与坐标原点距离最远的最远坐标点为最远坐标点B1。例如，第二象限中，遮罩物件M1的范围与坐标原点距离最远的最远坐标点为最远坐标点A1。例如，第三象限中，遮罩物件M1的范围与坐标原点距离最远的最远坐标点为最远坐标点D1。例如，第四象限中，遮罩物件M1的范围与坐标原点距离最远的最远坐标点为最远坐标点E1。其中，处理器20计算最远坐标点B1与最远坐标点A1相连后的中心点，将此中心点视为最远坐标点C1，最远坐标点C1可应用于后续推测遮罩范围M1的高度。
于一实施例中，如图3D所示，处理器20将中心P2视为坐标原点，往相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。最远坐标点是指遮罩物件M2的范围中，相对坐标原点的四个象限分别搜寻与坐标原点距离最远的最远坐标点。例如，第一象限中，遮罩物件M2的范围与坐标原点距离最远的最远坐标点为最远坐标点B2。例如，第二象限中，遮罩物件M2的范围与坐标原点距离最远的最远坐标点为最远坐标点A2。例如，第三象限中，遮罩物件M2的范围与坐标原点距离最远的最远坐标点为最远坐标点D2。例如，第四象限中，遮罩物件M2的范围与坐标原点距离最远的最远坐标点为最远坐标点E2。其中，处理器20计算最远坐标点B2与最远坐标点A2相连后的中心点，将此中心点视为最远坐标点C2，也视为最远坐标点之一，最远坐标点C2可应用于后续推测遮罩范围M2的高度。
由于遮罩物件M2的下述处理方式可以比照遮罩物件M1处理，故后续以遮罩物件M1作为说明。
于步骤240中，处理器20对于每个最远坐标点产生一影像分析区块。
于一实施例中，如图3D所示，对于遮罩物件M1而言，处理器20对于每个最远坐标点(例如，最远坐标点A1、最远坐标点B1、最远坐标点C1、最远坐标点D1及最远坐标点E1)各自产生影像分析区块(例如，影像分析区块PA1、影像分析区块PB1、影像分析区块PC1、影像分析区块PD1及影像分析区块PE1)。
于一实施例中，最远坐标点A1、最远坐标点B1、最远坐标点C1、最远坐标点D1及最远坐标点E1的相对位置可以用以旋转遮罩影像IMG，例如，处理器20可算出最远坐标点A1与最远坐标点B1的连线大致上平行于最远坐标点D1与最远坐标点E1的连线，当处理器20判断此两条连线并非水平时，可将整张遮罩影像IMG进行旋转，使此两条连线趋近水平状态，藉此可转正遮罩影像IMG。
于一实施例中，影像分析区块PA1、影像分析区块PB1、影像分析区块PC1、影像分析区块PD1及影像分析区块PE1会各自往遮罩物件M1的外部外推一些，以尽量包含到物件范围Ra的转角处。举例而言，请参阅图4，图4是根据本发明的一实施例绘示一种产生影像分析区块PE1的方法的示意图。由于遮罩物件M1的遮罩范围不一定能精准的遮盖到物件范围Ra的转角处，换言之，遮罩物件M1在转角处可能因为产生抖边，而没有遮罩到物件范围Ra，或是遮罩到过超过物件范围Ra，此会导致定位出来的物件范围Ra不精准。因此，需要针对每个最远坐标点A1、最远坐标点B1、最远坐标点C1、最远坐标点D1及最远坐标点E1(都是位于遮罩物件M1的边界或角落)应用各自对应的影像分析区块PA1、影像分析区块PB1、影像分析区块PC1、影像分析区块PD1及影像分析区块PE1进行细部的分析，以更精准的分析出物件范围Ra。
于图4中，以最远坐标点E1为例，由于最远坐标点E1位于遮罩物件M1的右下部分，处理器20在产生影像分析区块PE1时，除了要将确认最远坐标点E1要在影像分析区块PE1中，亦要将影像分析区块PE1往右下方向外推一些，以尽量包含到物件范围Ra的右下转角处。
具体而言，处理器20先计算中心P1到最远坐标点E1的向量V1(即包含方向性)，计算最远坐标点E1往右边推算一预设像素值(例如为5)的坐标CI，将坐标CI作为产生影像分析区块PE1的中心点，如此一来，可以产生相对于最远坐标点E1往右偏的初始分析区块PI，初始分析区块PI的长度、宽度皆为一预设值(例如长度为10像素，宽度为20像素)，接着，取得初始分析区块PI的右下角坐标IDR，从坐标IDR依据向量V2的方向延长另一预设像素值(例如为20)，以找到坐标EDR，其中，向量V2与向量V1平行。依据初始分析区块PI的左上角坐标EUR及坐标EDR可以绘制出影像分析区块PE1，且藉此方式可以让影像分析区块PE1往最远坐标点E1右下方再向外推一些，以尽量包含到物件范围Ra的右下转角处。然，定义影像分析区块PE1的方式不限于此，此处仅为一实施例。此外，影像分析区块PA1、影像分析区块PB1、影像分析区块PC1及影像分析区块PD1亦可以此方式产生，故此处不赘述。
通过上述方式，如图3D所示，处理器20可产生对应于遮罩物件M1的影像分析区块PA1、影像分析区块PB1、影像分析区块PC1、影像分析区块PD1及影像分析区块PE1，依据同样的方式，处理器20亦可产生对应于遮罩物件M2的影像分析区块PA2、影像分析区块PB2、影像分析区块PC2、影像分析区块PD2及影像分析区块PE2。
于步骤250中，处理器20将影像分析区块进行一后处理，以取得一物件范围Ra。
于一实施例中，请参阅图5A～图5F，图5A～图5F根据本发明的一实施例绘示一种后处理方法的示意图。由于后处理方法可以应用于每个影像分析区块(如，影像分析区块PA1、影像分析区块PB1、影像分析区块PC1、影像分析区块PD1、影像分析区块PE1、影像分析区块PA2、影像分析区块PB2、影像分析区块PC2、影像分析区块PD2及影像分析区块PE2)中，将此些影像分析区块各自进行后处理之后，可得到物件的各个角落，藉此精准的定义出物件范围Ra，下述以影像分析区块PE1为例作说明。
于一实施例中，如图5A所示，处理器20还用以在进行后处理时，将当前分析区块(例如影像分析区块PE1)进行一平滑化处理。平滑化处理可以去除影像杂质。于一实施例中，平滑化处理可以采用现有的演算法例如领域平均法、低通滤波法及多影像平均法等。
于一实施例中，如图5B所示，处理器20处理完成平滑后处理后的影像分析区块PE1，处理器20垂直扫描影像分析区块PE1的每个像素。当处理器20在垂直扫描影像分析区块PE1的像素行(column)SC时，计算像素行SC中的所有像素各自的一像素强度，此些像素强度形成一第一像素曲线IL，计算第一像素曲线IL的斜率，以得到一第一斜率曲线SL，将第一斜率曲线SL的最大值标示为一标示点ND。处理器20会垂直扫描影像分析区块PE1中的所有像素行，因此会计算出许多标示点ND(即图5B上的圆点都为标示点ND)。
于一实施例中，处理器20垂直扫描影像分析区块PE1的每个像素，以取得多个标示点ND，计算此些标示点ND所对应的一强度平均值(average intensity)，例如将此些标示点ND的灰阶度相加后取平均值以得到强度平均值，将强度平均值乘以一参数(例如为0.8)，以取得一门槛值，将像素强度低于门槛值的标示点过滤后(如图5C所示，图5C中的每个圆点都是过滤后剩余的标示点ND)，将剩余的标示点ND代入一线性回归演算法，以取得一回归线段RL(如图5D所示)。
于一实施例中，处理器20更用以垂直扫描回归线段RL的每个像素，当处理器20在垂直扫描回归线段的一第二像素行时，计算第二像素行中的所有像素各自的一第二像素强度，此些第二像素强度形成一第二像素曲线，计算第二像素曲线的斜率，以得到一第二斜率曲线，将第二斜率曲线的最大值的坐标视为关键点PCD1(如图5E所示)。
于一实施例中，处理器20计算关键点PCD2(如图5F所示)，并计算关键点PCD1与关键点PCD2之间的距离，以取得一关键尺寸，关键尺寸例如为349.62纳米，此关键尺寸为一底部关键尺寸(bottom CD)。于一实施例中，关键点PCD2的计算方式与关键点PCD1相同，关键点PCD2位于影像分析区块PD1中。
于一实施例中，关键点PCD3、关键点PCD4的计算方式与关键点PCD1相同，关键点PCD3位于影像分析区块PA1中，关键点PCD4位于影像分析区块PB1中。
于一实施例中，请参阅图6，图6是根据本发明的一实施例绘示一种影像分析方法的示意图。处理器20处理器计算多个关键点PCD1～关键点PCD5，此些关键点为物件范围Ra之整体或一部分的顶点，例如为区块BK1中的物件范围Ra的一右下角(关键点PCD1)、一左下角(关键点PCD2)、一左上角(关键点PCD3)及一右上角(关键点PCD4)。于此例中，处理器20计算对应右上角的关键点PCD4与对应左上角的关键点PCD3的一中间位置，将此中间位置视为关键点PCD5，并将中间位置(关键点PCD5)与一底部关键尺寸(即关键点PCD1与关键点PCD2之间的连线)的距离视为一高度(例如为401.12纳米)。
于一实施例中，处理器20计算关键点PCD3与关键点PCD4之间的距离，以取得关键尺寸，关键尺寸例如为215.27纳米。此关键尺寸为一上部关键尺寸(top CD)。
由上述可知，处理器20将对应右上角的关键点PCD4与对应左上角的关键点PCD3相连，以取得上部关键尺寸，处理器20将对应右下角的关键点PCD1与对应左下角的关键点PCD2相连，以取得底部关键尺寸。处理器20计算关键点PCD5与关键点PCD1与关键点PCD2之间的连线的距离，以得到高度。因此，处理器20可计算出多个关键尺寸，此些关键尺寸包含上部关键尺寸、底部关键尺寸及高度，处理器20依据此些关键尺寸以精准地取得物件范围Ra。
本发明所示的影像分析***及影像分析方法，将待分析影像输入至区域卷积神经网络模型，依据区域卷积神经网络模型输出的遮罩影像产生多个影像分析区块，并将此些影像分析区块进行后处理，无须将整张遮罩影像都进行后处理，即可以取得遮罩影像中重要的关键点，因此大幅减少运算量。在完成后处理之后，处理器可自动地分析出此些影像分析区块中的关键点，通过此些关键点的位置，可精准地可得到物件范围的效果。

Claims (6)

1.一种影像分析***，其特征在于，包含：
一影像获取装置，用以获取一待分析影像；以及
一处理器，用以将所述待分析影像输入至一区域卷积神经网络模型，所述区域卷积神经网络模型输出一遮罩影像，所述处理器计算所述遮罩影像中的一遮罩物件的一中心，将所述中心视为一坐标原点，往相对所述坐标原点的四个象限分别搜寻与所述坐标原点距离最远的一最远坐标点，对于每个所述最远坐标点产生一影像分析区块，并将所述影像分析区块进行一后处理，以取得一物件范围；
其中，所述影像分析区块包含一当前分析区块，所述处理器还用以在进行所述后处理时，将所述当前分析区块进行一平滑化处理；
所述处理器还用以在进行所述后处理时，垂直扫描所述当前分析区块的每个像素，当所述处理器在垂直扫描所述当前分析区块的一第一像素行时，计算所述第一像素行中的所有像素各自的一第一像素强度，所述第一像素强度形成一第一像素曲线，计算所述第一像素曲线的斜率，以得到一第一斜率曲线，将所述第一斜率曲线的最大值标示为一标示点；其中所述处理器还用以垂直扫描所述当前分析区块的每个像素，以取得多个标示点，计算所述标示点所对应的一强度平均值，将所述强度平均值乘以一参数，以取得一门槛值，将所述像素强度低于所述门槛值的所述标示点过滤后，将剩余的所述标示点代入一线性回归演算法，以取得一回归线段。
2.根据权利要求1所述的影像分析***，其特征在于，所述处理器还用以垂直扫描所述回归线段的每个像素，当所述处理器在垂直扫描所述回归线段的一第二像素行时，计算所述第二像素行中的所有像素各自的一第二像素强度，所述第二像素强度形成一第二像素曲线，计算所述第二像素曲线的斜率，以得到一第二斜率曲线，将所述第二斜率曲线的最大值的坐标视为一第一关键点；其中所述处理器还用以计算一第二关键点，并计算所述第一关键点与所述第二关键点之间的距离，以取得一关键尺寸。
3.根据权利要求2所述的影像分析***，其特征在于，所述处理器还用以计算多个关键点，所述关键点为所述物件范围的一右下角、一左下角、一左上角及一右上角，所述处理器计算对应所述右上角的关键点与对应所述左下角的关键点的一中间位置，并将所述中间位置与一底部关键尺寸的距离视为一高度；其中所述处理器还用以计算多个关键尺寸，所述关键尺寸包含一上部关键尺寸、所述底部关键尺寸及所述高度，所述处理器依据所述关键尺寸以取得所述物件范围；其中所述处理器将对应所述右上角的关键点与对应所述左上角的关键点相连，以取得所述上部关键尺寸，所述处理器将对应所述右下角的关键点与对应所述左下角的关键点相连，以取得所述底部关键尺寸。
4.一种影像分析方法，其特征在于，包含：
输入一待分析影像至一区域卷积神经网络模型，所述区域卷积神经网络模型输出一遮罩影像；
计算所述遮罩影像中的一遮罩物件的一中心；
将所述中心视为一坐标原点，往相对所述坐标原点的四个象限分别搜寻与所述坐标原点距离最远的一最远坐标点；
对于每个所述最远坐标点产生一影像分析区块；以及
将所述影像分析区块进行一后处理，以取得一物件范围；
其中，所述影像分析区块包含一当前分析区块，一处理器用以在进行所述后处理时，将所述当前分析区块进行一平滑化处理；
在将所述影像分析区块进行所述后处理的步骤中，所述影像分析方法还包含：
垂直扫描所述当前分析区块的每个像素；
当所述处理器在垂直扫描所述当前分析区块的一第一像素行时，计算所述第一像素行中的所有像素各自的一第一像素强度；所述第一像素强度形成一第一像素曲线；
计算所述第一像素曲线的斜率，以得到一第一斜率曲线；
将所述第一斜率曲线的最大值标示为一标示点；
垂直扫描所述当前分析区块的每个像素，以取得多个标示点；
计算所述标示点所对应的一强度平均值；
将所述强度平均值乘以一参数，以取得一门槛值；以及
将所述像素强度低于所述门槛值的所述标示点过滤后，将剩余的所述标示点代入一线性回归演算法，以取得一回归线段。
5.根据权利要求4所述的影像分析方法，其特征在于，还包含：
垂直扫描所述回归线段的每个像素；
当所述处理器在垂直扫描所述回归线段的一第二像素行时，计算所述第二像素行中的所有像素各自的一第二像素强度；所述第二像素强度形成一第二像素曲线；
计算所述第二像素曲线的斜率，以得到一第二斜率曲线；
将所述第二斜率曲线的最大值的坐标视为一第一关键点；以及
计算一第二关键点，并计算所述第一关键点与所述第二关键点之间的距离，以取得一关键尺寸。
6.根据权利要求5所述的影像分析方法，其特征在于，还包含：
计算多个关键点，所述关键点为所述物件范围的一右下角、一左下角、一左上角及一右上角；
计算对应所述右上角的关键点与对应所述左下角的关键点的一中间位置，并将所述中间位置与一底部关键尺寸的距离视为一高度；
计算多个关键尺寸；
其中，所述关键尺寸包含一上部关键尺寸、所述底部关键尺寸及所述高度，所述处理器依据所述关键尺寸以取得所述物件范围；
将对应所述右上角的关键点与对应所述左上角的关键点相连，以取得所述上部关键尺寸；以及
将对应所述右下角的关键点与对应所述左下角的关键点相连，以取得所述底部关键尺寸。
CN202010331956.5A 2020-04-24 2020-04-24 影像分析***及影像分析方法 Active CN113554585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010331956.5A CN113554585B (zh) 2020-04-24 2020-04-24 影像分析***及影像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010331956.5A CN113554585B (zh) 2020-04-24 2020-04-24 影像分析***及影像分析方法

Publications (2)

Publication Number Publication Date
CN113554585A CN113554585A (zh) 2021-10-26
CN113554585B true CN113554585B (zh) 2024-04-09

Family

ID=78129612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010331956.5A Active CN113554585B (zh) 2020-04-24 2020-04-24 影像分析***及影像分析方法

Country Status (1)

Country Link
CN (1) CN113554585B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494171A1 (en) * 2000-06-06 2005-01-05 Agilent Technologies, Inc. Method and system for evaluating orientation of molecular array
TW201533667A (zh) * 2014-02-26 2015-09-01 Univ Kun Shan 偵測指峰的影像處理方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及***
CN110533029A (zh) * 2019-08-02 2019-12-03 杭州依图医疗技术有限公司 确定影像中目标区域的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494171A1 (en) * 2000-06-06 2005-01-05 Agilent Technologies, Inc. Method and system for evaluating orientation of molecular array
TW201533667A (zh) * 2014-02-26 2015-09-01 Univ Kun Shan 偵測指峰的影像處理方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及***
CN110533029A (zh) * 2019-08-02 2019-12-03 杭州依图医疗技术有限公司 确定影像中目标区域的方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Simple Single Seeded Region Growing Algorithm for Color Image Segmentation using Adaptive Thresholding;Om Prakash Verma 等;《2011 International Conference on Communication Systems and Network Technologies》;第500-503页 *
Region-Based Convolutional Networks for Accurate Object Detection and Segmentation;Ross Girshick 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第38卷(第1期);第142-158页 *
图像分割算法在零件图像测量中的应用研究;李庆利 等;《唐山学院学报》;第17卷(第02期);第91-94页 *
基于机器视觉的麦田边界检测;张磊 等;《农业机械学报》;第38卷(第02期);第117-120页 *
基于灰度曲线交点的结构光编码条纹边缘检测;吴海滨 等;《光学学报》;第28卷(第06期);第73-78页 *
基于结构光视觉的激光拼焊焊缝背面质量检测方法研究;张万江 等;《仪表技术与传感器》(第09期);第88-91页 *

Also Published As

Publication number Publication date
CN113554585A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
US11315235B2 (en) Processing method for performing process on image and processing device using the processing method
CN109035276B (zh) 一种图像边缘提取方法、装置及自动驾驶***
JP6009351B2 (ja) 検査画像内の分類のためのシステム、方法、及びコンピュータプログラム製品
US6539106B1 (en) Feature-based defect detection
TWI539150B (zh) 用於偵測檢查圖像中之缺陷的系統、方法及電腦程式產品
CN101996398B (zh) 用于晶圆对准的图像匹配方法及设备
JP4154374B2 (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
KR101604789B1 (ko) 오버레이 마크 이미지의 중심점을 찾는 방법
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及***、存储介质
JP3749090B2 (ja) パターン検査装置
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
US11663713B2 (en) Image generation system
JP6177541B2 (ja) 文字認識装置、文字認識方法及びプログラム
JP2008051617A (ja) 画像検査装置、その方法、及びその記録媒体
JP2023002652A (ja) 画像処理プログラム、画像処理装置および画像処理方法
KR20100138794A (ko) 검사 파라미터 설정 방법, 검사성 평가 방법 및 검사 시스템
US11798185B2 (en) Image analysis system and image analysis method for obtaining object range
Xie et al. A golden-template self-generating method for patterned wafer inspection
CN113554585B (zh) 影像分析***及影像分析方法
JP4801697B2 (ja) 画像形成方法，画像形成装置、及びコンピュータプログラム
CN110553581B (zh) 临界尺寸量测方法及用于量测临界尺寸的图像处理装置
CN113077429B (zh) 基于相邻子区相关系数的散斑质量评价方法
KR102659861B1 (ko) 치수 계측 장치, 반도체 제조 장치 및 반도체 장치 제조 시스템
JPH06160047A (ja) パターンマッチング方法
JP6373729B2 (ja) プログラム、画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant