CN109507218A - 表征带有夹杂物的材料的方法 - Google Patents

表征带有夹杂物的材料的方法 Download PDF

Info

Publication number
CN109507218A
CN109507218A CN201811059995.3A CN201811059995A CN109507218A CN 109507218 A CN109507218 A CN 109507218A CN 201811059995 A CN201811059995 A CN 201811059995A CN 109507218 A CN109507218 A CN 109507218A
Authority
CN
China
Prior art keywords
image
feature
probability
pixel
field trash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811059995.3A
Other languages
English (en)
Inventor
F·沃尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yxlon International GmbH
Original Assignee
Yxlon International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yxlon International GmbH filed Critical Yxlon International GmbH
Publication of CN109507218A publication Critical patent/CN109507218A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18Investigating the presence of flaws defects or foreign matter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明涉及一种用于分析空气夹杂物51的方法,特别是一种用于对由原始图像1和滤波图像形成的差异图像3的数据进行图像处理的方法。例如在粘合点、焊接点或焊缝的情况下,可能出现独立体积中的空气夹杂物。在用于半导体部件或微电子部件的粘合剂层领域中,重要的是表征每个粘合剂表面相对于其中存在空气夹杂物的比例。能够表征的空气夹杂物越准确,能够越可靠地确定粘合剂表面是否为不可用的废料。提出通过一种方法来表征粘合剂表面,其中,基于特定像素中存在空气夹杂物51的概率,计算图像中空气夹杂物51的比例。可以对该图像区域实现至少两个彼此随机组合的特征的条件概率的关联。

Description

表征带有夹杂物的材料的方法
本发明涉及一种用于检查材料中,特别是粘合剂表面或焊接点中的空气夹杂物的方法。此外,本发明涉及用于该方法的自动化应用的计算机程序,特别是在材料测试的背景下。
粘合剂表面或(平坦)焊接点中的空气夹杂物,也称为空隙,因为它们呈现为中空空间,通常可以通过在粘合剂表面的图像(例如X射线图像)或记录的情况下确定,实现对原始图像的滤波。空气夹杂物相对于被检查材料表面或体积的百分比是有意义的(所谓的“空隙计算”),例如为了能够评估材料是否仍然形成为足够结实、稳定或黏着,或者是否必须担心它由于太多的夹杂物而不能再执行特定的功能。作为标准执行空隙计算(VC),例如在高性能LED的生产期间,以确保在导热材料中不存在具有太多或太大的空气夹杂物的区域。这是因为这些可能导致冷却能力不足或甚至破坏部件,特别是在包括气泡的情况下。
可以例如根据针对X射线图像的特定特征的阈值来实现夹杂物或中空空间的捕捉和计算。空气夹杂物可以例如以不同的颜色或亮度表示,或者在不受空气夹杂物影响的区域中以不同的灰度表示,结果是可以通过灰度值执行图像分析。VC通常可以通过计算原始图像和低通滤波图像之间的差异来实现,其中尝试定义阈值,使得它可以用于评估差异图像。对于信息性图像分析,除了阈值之外,还要手动定义低通滤波器的掩模尺寸。对于相应的图像区域,基于差异图像中的特定灰度值制作空气夹杂物的是/否声明。差异图像中的手动阈值形成比原始图像中的阈值形成更有用,因为可以由此补偿图像的不均匀照射(灰度值级数)。低通滤波图像包含周围环境中的平均灰度值。周围环境的尺寸由低通滤波器的掩模尺寸决定。因此,差异图像包含各个像素灰度值与周围环境中所有像素的平均灰度值的偏差。通过差异图像中的阈值形成,检测灰度值与周围环境的平均灰度值的偏差。也以同样的方式在视觉上识别空隙:它们的灰度值比周围环境更亮。在原始图像中阈值形成的情况下,检测像素相对于总阈值的绝对亮度。这导致检测到明亮的结构,而不管它们是否比周围环境更亮。
通常存在且或多或少强烈显著的图像的灰度值级数对正确的计算结果具有特定的影响。“灰度值级数”优选地是指灰度值相对于特定方向上的特定平均灰度值或相邻像素的偏差,这不是通过夹杂物来解释的,而是例如通过图像捕获的类型或检查材料本身的不均匀性(例如变化的厚度)来解释的。灰度值级数对应于照明时间的变化,这取决于图像中的位置。
显著的灰度值级数使得基于阈值难以进行评估:在图像例如亮度波动很大的情况下,仅基于灰度值的特定阈值的评估是不可取的,因为不太可能准确地定义阈值,使得可以肯定地捕获所有空气夹杂物,但是没有噪声或任何假象。而是,频繁的情况是这样的阈值甚至不存在,因此手动地定义任何阈值隐含地涉及不利的不准确性。
因此,通常不能令人满意地仅通过灰度值的特定阈值捕获空气夹杂物,其中阈值形成在差异图像中实现。在待检查的图像中,通常存在阈值将下降的灰度值级数或灰度值范围,因此不表示特定的空气夹杂物(较弱或较小的信号)。如果存在明显的灰度值级数,那么基于差异图像通常也不可能定义阈值,使得捕获所有夹杂物但是也不会错误地捕获噪声作为夹杂物。由于图像质量不足导致阈值的不当选择,通常也难以进行合理准确的评估。
目的是以尽可能最准确的方式在材料中检测夹杂物,例如空气夹杂物或其他中空空间或至少部分地填充有介质的腔。目的还在于提供一种准确定位空气夹杂物并尽可能完全捕获空气夹杂物的方法。尤其是,目的是尽可能准确地确定粘合剂或焊接点中空气夹杂物的百分比。
通过根据权利要求1的方法以及根据权利要求11的计算机程序以及根据权利要求13的存储介质实现至少一个目的。在从属权利要求中描述了有利的发展,其中在不同的从属权利要求中指定的各个特征原则上可以彼此组合,除非明确排除。
提供根据本发明的方法,用于基于体积的图像确定封闭体积中的夹杂物,其中对于取决于像素的第一特征的阈值的相应像素,做出关于像素中是否存在空气夹杂物的是/否声明,其中第一特征涉及得自图像的原件和该图像的滤波图像的差异图像,其中根据本发明,提议滤波图像由中值滤波器形成。
通过这种方法,可以从原始图像和中值滤波图像更稳健地确定差异图像。第一特征优选地基于分配给特定像素的灰度值。例如与低通滤波器相比,中值滤波器提供了可以从(灰度值)列表中选择中值的优点,通过该列表可以将更合适或更真实的灰度值而不是极度偏离的灰度值分配给像素。
夹杂物至少在粘合剂或焊接点的情况下通常作为空气夹杂物存在。然而,夹杂物通常可以指实际材料被中断的任何中空空间,而不管中空空间是否填充有介质。图像可以例如是X射线图像。体积可以是有待分析的任何独立的粘合剂、焊接或熔接区域,其中术语“独立的”可以理解为意指任何夹杂物或间断点存在于体积内不可见或可从外部触及的材料组合物中。这使得基于图像(例如X射线图像)的分析是必要的。因此,体积优选是所检查的材料样品,或部件的特定区域,例如,LED与安装它的部件之间的交叉点。原则上,体积也可以是任何所需的实心部分,例如,铸造或挤压或注塑或压制的部件。因此,本发明总体上还涉及材料测试领域。
第一特征可以是特定像素中的灰度值,特别是灰度值强度I。
在应用中值滤波器的情况下,可以使用特定的掩模。掩模用于确定应用了滤波器的相应像素的局部环境U(所谓的邻域)。在应用中值滤波器的情况下,掩模尺寸(所谓的局部性)本身可以手动或自动定义。选择掩模越大,在滤波期间考虑的邻近像素越多,并且在更宽的基础上确定中值。更大的掩模需要更多的计算能力。为了节省计算时间,可以将星形区域或周围环境U用于中值滤波器。在中值的计算中仅包括水平、垂直和两个对角线上的像素。掩模通常是二维的,但理论上也可以是一维的,然而随后可能过滤掉垂直于掩模的窄线。此外,掩模尺寸是手动设定的;到目前为止,没有自动化。
中值(med)本身可以根据Niklaus Wirth的计算方法确定,该方法在以下引用中也有更详细的描述:
Niklaus Wirth,Algorithms+data Structures=Programs,Englewood Cliffs:Prentice-Hall,1976,pp.366.
根据该方法的优选发展,基于差异图像中的噪声自动确定阈值。
因此,不再需要手动定义阈值。这可以节省时间或者避免错误输入或者不利或不准确的计算基础。用户不再需要通过对阈值的试错选择来对据推测的最佳计算结果采取谨慎的方法。
可以通过自动确定差异图像中的图像噪声,特别是通过所谓的X84标准来自动确定阈值。X84标准基于确定第一特征与中值(med)的绝对偏差的中值。X84标准也在以下引用中详细描述:
Hampel FR,Rousseeuw PJ,Ronchetti EM,Stahel WA.Robust Statistics:theApproach Based on Influence Functions.Wiley Series in Probability andMathematical Statistics,John Wiley&Sons,1986.
“图像噪声”是指与实际图像信息无关地发生的干扰,并且必须与图像信息一起捕获,并且使得难以评估图像,特别是当噪声强于夹杂物的最弱图像信号时,特别是在非常小的夹杂物的情况下。噪声可以叠加在灰度值级数上,并且具有完全独立于灰度值级数的分布。
如上所述,X84标准计算与中值(med)的绝对偏差的中值σX84(x)。这大致对应于标准偏差的稳健确定。中值σX84(x)的计算可以通过位置x处的检查像素的局部环境U中的灰度值强度I来实现,其可以通过掩模尺寸来设置:
σX84(x)=med|I(x∈U)–med(I(x∈U))|
(公式1.1)
根据该方法的优选发展,在基于针对相应像素建立的夹杂物的存在概率考虑所有特征之后,仅在最后做出是/否声明。条件概率优选地视为概率。通过考虑概率,可以避免必须仅基于可能不准确的手动确定的阈值来产生是/否声明。
所谓的“贝叶斯定理(Bayes’theorem)”允许计算条件概率:
贝叶斯定理可用于在所谓贝叶斯统计的背景下计算条件概率。在贝叶斯统计中,通常存在三种边界条件:
1、概率不仅在经典意义上定义为事件的概率,而且还定义为声明的概率,其中概率与声明的可信性有关,并且应理解为对可信性的度量;对特定声明的了解越多,声明就越可信;(在这里考虑的图像计算的情况下,该声明可以涉及例如像素中的特定灰度值并且因此间接地涉及夹杂物的存在);
2、根据贝叶斯定理考虑或计算条件概率;
3、定义随机变量,但它可以代表常数。
当应用贝叶斯定理时,确定特征的概率分布,从中确定值的可信性或特征的声明。
在上面的公式1.2中,变量s是状态,特别是两种互补可能状态中的一种,在所考虑的情况下,即夹杂物是否存在,并且m是所检查的特征或若干特征之一,例如灰度值或差异图像的灰度值强度ΔI。
这里,p(s|m)是所谓的后验概率,即如果存在特征m的度量,则属于夹杂物的像素的搜索概率。此外,p(m|s)是所谓的似然函数,即特征m的条件概率,当状态s为既定时,p(s)是所谓的先验。在两个状态的情况下,非信息先验的值为0.5。两种状态中的每一种都具有相同的概率。
在下文中,通过示例的方式假设先验具有值p(s)=0.5。
示例:p(s=夹杂物|m(ΔI=a))是在差异图像中建立了特定灰度值a时,像素属于夹杂物的概率。
似然函数p(m|s)由以下函数建模:
这里c是小常数,特别是在0到0.5的范围内。值a对应于由图像噪声产生的梯度,特别是得自x84标准乘以灵敏度(输入参数)。
或者,能够使用逻辑函数作为另一种建模。其公式表示差异图像中特定灰度值的概率,条件是像素描绘空气夹杂物。差异图像的灰度值是公式的输入值。
梯度由图像中的噪声产生,结果是当噪声较小时梯度较大。阈值t由图像噪声乘以灵敏度产生。
差异图像背景的似然函数可以与此互补地建模:
P(ΔI|s=背景)=1.0-p(ΔI|s=夹杂物)
“背景”是指图像的一部分,其描绘没有夹杂物的实心材料,并且可选地用噪声可感知地或不可察觉地叠加。因此,背景提供了所检查材料的典型信号。
根据该方法的优选发展,定义像素的第二特征,并分别为第一和第二特征计算概率。
沿搜索方向的梯度可以用作第二特征。取决于位置的强度的推导视为梯度。第二特征优选地涉及梯度对的绝对量和方向,特别是边缘对。“边缘对”是指一对边缘,其中较亮的灰度值位于边缘之间,其中一个边缘可以通过特征之间的条件依赖性形成。例如,第一边缘和第二边缘可以一起形成边缘对。“方向”是指一个相应边缘相对于限定方向的二维对齐,例如,差异图像的x坐标轴或y坐标轴。当两个梯度具有相反的符号时,一对具有相反的方向。可以基于差异图像确定第二特征,优选地基于从差异图像建立的梯度图像,其可以作为梯度绝对值高于特定阈值t的列表的基础。
梯度是沿特定方向的灰度值的变化。如果梯度大于零,则在图像中发生灰度值从暗到亮的转变。梯度越大,转变发生得越快。如果梯度为负,则发生灰度值从亮到暗的转变。如果图像中的强度恒定,则梯度为零。非常大或非常小的梯度视为图像中的边缘。边缘对是一对绝对量非常高的两个梯度,其中一个较大而一个小于零。边缘对与梯度对相同。
根据该方法的优选发展,第一和第二特征随机地彼此组合,并且第一和第二特征的概率彼此关联。
在做出是/否声明之前,还可以将两个以上的特征随机地相互组合。在组合的情况下获得的信息同样可以构成是/否声明的更广泛的基础,而不是单独考虑每个特征,结果是可以更好地做出是/否声明,并且可以更准确地确定夹杂物的比例。
第一和第二特征的组合可以通过条件概率的贝叶斯统计来实现,因为特征的概率可以通过第二特征的整合彼此关联。根据每个特征,可以首先单独计算概率。然后可以将这些概率与条件概率的贝叶斯统计相关联,特别是因为相应在前特征的搜索概率用作进一步计算的先验。因此,“关联”是指一种整合过程,其中除了基于第一特征建立的概率之外,在计算中还包括并考虑另一概率。可以组合任意数量的特征或概率,并且在组合两个特征的情况下可以已经建立更准确的结果图像。“关联”和“组合”在此同义使用。组合特征,这可以通过关联概率来实现。“整合”由贝叶斯公式定义。
优选地,组合两个特征,即一方面是原始图像和中值滤波图像之间的差异图像的像素的灰度值,另一方面是差异图像中的所谓的梯度对,其中梯度对是相对于特定搜索方向定义的。夹杂物可以通过第二特征识别,特别是如下:在差异图像中,在图像中在四个不同方向上搜索兼容的边缘对或梯度对,例如,北N-南S、西W-东E、西北NW-东南SE、东北NE-西南SW,或垂直、水平和两个对角线。取决于边缘的方向,夹杂物或背景位于它们之间:如果在搜索方向上定向的边缘定向为使得更亮的像素位于它们之间,则它们之间存在夹杂物,并且如果边缘定向为使得较暗的像素位于它们之间,则它们之间不存在夹杂物。梯度图像和差异图像原则上是不同的。仅当已经为差异图像中的每个像素计算了梯度时,才存在梯度图像。
“兼容的边缘对”是指具有相反方向和至少近似相等的绝对量的边缘对。
除了灰度值和梯度对或其方向之外,例如,根据公式1.5的似然函数可以定义为进一步的特征。任何还可单独用于识别空气夹杂物的图像操作也可用作特征。统计上独立的特征组合得越多,结果的确定性就越大。
在下文中,特别描述了使用梯度或梯度对作为差异图像中的第二特征的情况的建模。
第二特征优选地涉及差异图像中的梯度,并且优选地基于具有相当的绝对量的一对两个梯度。第二特征不能用单个公式直接描述。而是,为了沿着搜索方向(例如,水平地)确定第二特征,具有差异图像中绝对值高于特定阈值t的所有梯度收集在(梯度)列表中。但是,当其绝对值是局部最大值时,梯度仅包含在列表中。现在,在列表中搜索具有相反方向但绝对量大致相等的梯度对。现在,特征由一个梯度对g(x1)、g(x2)组成,其中x1<x2。沿着搜索方向的所有位置x∈[x1,x2]的似然函数(被这个梯度对括起来)可以如下建模:
其中,常数c<0.5。
另一种建模也是可能的,例如,因为概率是根据边缘对之间的距离建模的,使得较大的距离导致较低的概率。
背景的似然函数可以再次与此互补地实现:
p(g(x1),g(x2)|s=背景)=1.0-p(g(x1),g(x2)|s=夹杂物)
在上述(梯度)列表中没有配对的梯度g(x1),即没有找到具有相反方向和近似相等的绝对量的相应梯度的梯度,也有助于确定所搜索的概率。因此,搜索方向上所有后续位置x的似然函数可以如下建模:
这里,s是常数,它与夹杂物的预期尺寸有关。该关系由用户预定义或指定。
在概率关联,即另一特征的整合的情况下,先前特征的后验概率在每种情况下都可以用作新计算的先验:
以这种方式,可以使用更广泛的信息基础并且可以提供更可靠的计算结果。提高了图像分析的准确性。
根据该方法的优选发展,实现通过关联获得的结果平滑化,其中,为了确定最大概率,在检查的像素和相邻像素之间交换信息。
可以通过所谓的置信传播(BP)实现平滑化。这在以下引用中也有详细描述:
Jonataha S.Yedidia,William T.Freeman and Yair Weiss UnderstandingBelief Propagation and its Generalizations,2002,TR-2001-22,PedroF.Felzenzwalb and Daniel P.Huttenlocher,Efficient Belief propagation forEarly Vision“,IJCV 2006.
可以实现将相邻像素中存在夹杂物的概率与当前正在检查的像素中存在夹杂物的概率的整合,特别是在相邻像素迭代地交换信息并且迭代地更新信息等方面。这里的整合是通过BP实现的。
该信息可以以在两个像素之间交换并重复更新的消息的形式存在,其中一个像素中的信息可以基于其四邻域的像素中的信息来确定。为此,可以应用根据所谓的置信传播的方法。利用置信传播(BP),可以描述一类计算方法,利用它们可以计算贝叶斯网络中所谓的边际概率或最大概率。“边际”优选地是指边际概率。边际概率是位于频率表边缘的概率,其包含特征组合的相对频率。
“贝叶斯网络”优选地是指有向非循环(无循环)图,其中节点随机变量和边缘描述变量或特征之间的条件依赖性。“循环”优选地是指从节点到其自身的路径,即在其输出节点处结束的路径,并且当路径不引领经过两个相等的节点时,该路径是无循环的;树结构可以认为是无循环图的示例。考虑到已知的条件独立性,所涉及的所有变量或特征的共同概率分布可以由贝叶斯网络表示。贝叶斯网络基于概率模型的图形分解的基本思想。
BP在非无循环图中的应用,即所谓的“循环置信传播”,也可以在马尔可夫随机场(MRF)上使用,并且是在图像处理中使用信息或引入平滑状况的有前途的方法。例如,不同状态的常数值和相同状态的零可以认为是平滑状况。在当前情况下,常数值取决于梯度。
这里只涉及无循环图。另外,贝叶斯网络将不再适用。因此,图像认为是马尔可夫随机场。
图像可以建模为MRF,并且每个像素与贝叶斯网络中的四个直接邻域关联。BP是一种迭代计算方法,其中相邻像素交换消息。消息的要点是:“我(像素xi)相信你(像素xj)属于具有以下概率的状态s。”
在BP中,可以迭代更新这些消息n:
其中局部测量gi(xi)的影响函数fij(xi,xj),和四个邻域N(xi)围绕一个像素。由于上述更新公式,标准BP也称为和积算法。
“马尔可夫随机场”(MRF)是指描述场或图像中的无向图或关系的统计模型,与有向非循环图(贝叶斯网络)相反,并且可用于分割图像,其中,特定像素的特征相对于相邻像素中的对应特征来放置。“无向”优选地是指在两个节点之间的边缘处不包含方向信息的图形;因此,两个节点之间的关系是对称的。
如果现在用BP计算具有最大概率的像素的状态,则相对于上面的公式1.7,可以使用最大值来代替总和。为了节省计算时间,在BP中可以使用概率的负对数来代替概率。根据最大乘积算法,即基于消息乘积(概率)的计算方法,由此创建最小和算法,即基于概率的负对数之和的计算方法。
可以在BP中输入或考虑在前一步骤中计算的概率的负对数。影响函数与梯度的绝对量成反比,其中梯度绝对量以最大量为上限。
高斯图像金字塔可用于加速计算。“图像金字塔”在此优选地是指图像信息的分层划分,其中各个金字塔步骤包含与局部分辨率和对比度相关的不同图像信息。可以考虑相邻的像素,并且高对比度结构变得更容易识别,但是可定位性较差。假设小的分辨率步骤,以便仍然仅仅必须在更高分辨率的步骤上分析相关的图像区域。
此外,棋盘更新模式可用于更新BP中的消息。“棋盘更新模式”是指以下内容:图像中的像素分成两组,像棋盘上的方块一样交替。“黑色”组和“白色”组。其中,在这里“黑色”和“白色”不是指灰度值或像素的颜色,而是仅取决于像素的位置。在更新过程的第一次迭代中,仅更新“黑色”像素的消息,在第二次迭代中,仅更新“白色”,在第三次再次更新“黑色”,依此类推。
根据该方法的优选发展,该方法通过以下参数中的至少一个来设置:
-中值滤波器的掩模尺寸U;
-第一特征的灵敏度值和至少一个其他特征的灵敏度值;
-夹杂物存在概率的阈值(置信度);
其中,可以将用户在检测结果中期望的置信度设置为高于置信度阈值。选择的置信度阈值越高,在声明像素为空隙之前,其最终概率必须越大。置信度阈值参考计算的概率控制决策:给用户指示空隙所根据的概率是多少?由于置信度值,基本计算不会改变。
“掩模尺寸”(所谓的局部性)优选地是指相应像素的局部环境U的尺寸,其中应用滤波器(所谓的邻域)。
在像素描绘空气夹杂物的情况下,灵敏度值乘以差异图像的x84值得到针对灰度值概率的似然函数p(m|s)中的阈值t。似然函数中的梯度a是根据阈值t计算的,因此同样受到灵敏度的间接影响。总之,该算法对空隙的反应越敏感,灵敏度越高。“置信度值”是指用户可以预定义他在计算中接受的不确定性。
根据该方法的优选发展,该方法还通过以下参数中的至少一个来设置:
-第二特征的平滑度值;
-平滑化方法的平滑度补偿值;
其中,可以通过平滑度值和平滑度补偿值来设定所需的平滑度状况。
平滑度值与梯度特征(第15页,第21行)有关,并定义了当无法找到边缘的兼容伙伴(以前的变量s-现在指数函数中的变量z)时概率下降的速度。该设置是手动完成的。平滑度补偿值与置信传播有关。影响函数乘数应视为平滑度补偿值。影响函数从梯度的绝对量产生每个像素,其中当梯度最大时,影响为零,并且当梯度为零时,影响为1。因此设定,四邻域的影响有多高。当处于非常高的平滑度补偿值的情况下,图像中的所有像素获得相同的结果(空隙或背景)。在非常小的平滑度补偿值的情况下,仅对各个像素的度量进行计数。该设置是手动完成的。
梯度绝对量的阈值t同样间接地由x84标准乘以灵敏度产生。概率(置信度)的阈值应设置为显著大于0.5,以便获得相应的确定性。
根据该方法的优选发展,该方法针对所有相关像素迭代地执行,无论用户手动选择的图像的所有像素或区域的所有像素(特定检查区域,例如为了节省计算时间)是否在图像中。
根据该方法的优选发展,该方法基于X射线图像作为原始图像来执行。
通过根据权利要求11的计算机程序和根据权利要求13的存储介质也可以实现上述目的中的至少一个。可以为根据前述权利要求之一的方法的自动化应用而提供计算机程序,其中“自动化”可以优选地是指这样的进程:在记录原始图像和形成差异图像之后,可以在没有进一步用户输入的情况下计算和评估并输出结果图像,可选地已经与关于检查材料的质量或可用性的声明相关联。
借助于下面的附图更详细地解释本发明。除非另外明确说明,否则详细示出的实施例示例的各个特征原则上也可以彼此组合。
如下所示:
图1是带有空气夹杂物的粘合剂表面的X射线图像;
图2是图1所示的原始图像与低通滤波图像之间的差异图像,其中差异图像用作计算结果图像的基础;
图3是结果图像,可以在有利条件下通过基于如图2所示的差异图像的标准计算来建立,其中夹杂物和背景的部分都表示为夹杂物;以及
图4是结果图像的示例,可以基于如图2所示的差异图像、利用根据本发明的方法来计算。
图1示出原始图像1,特别是带有空气夹杂物的粘合剂表面的X射线图像,其中空气夹杂物表现出比背景更亮。大约三分之二的图像表面由大部分居中布置的框架界定,该框架限定了用于图像分析的特定选择的检查区域。在所示的图像1中,存在灰度值级数,其可以识别为右上角的图像背景比左下角更亮。这种灰度值级数使得难以通过简单的阈值形成来确定空气夹杂物。
图2示出了从图1的原始图像和低通滤波图像(未示出)计算出的差异图像3。可以识别空气夹杂物31。
图3示出了结果图像4,其可以在有利条件下利用基于图2中所示的差异图像的标准计算来建立。夹杂物41和图像背景42的部分都已经计算为夹杂物,其中背景42首先清楚地出现在结果图像4中。这里已知这些是背景42而不是空气夹杂物,仅仅因为可以利用根据本发明的方法来检查计算结果。因此,计算结果不够准确。
图4示出了结果图像5,其可以基于图2所示的差异图像、利用根据本发明的方法来计算,其中显而易见的是,在结果图像5中,夹杂物51已经与背景清楚地分离。在图3所示的结果图像4中错误计算的背景41在当前结果图像5中不再可见。计算结果更准确。同时,可以更准确地确定夹杂物51的轮廓并因此确定夹杂物51的表面或体积,这是由夹杂物边缘的较高对比度分界引起的。同样显而易见的是,在结果图像5中位于右侧的大肘形夹杂物51的情况下,整个夹杂物51在内部是中空的,即具有比基于图3所示的结果图像4计算的夹杂物41更大的体积。这是因为,在不准确计算的夹杂物41的情况下,存在明显估计不是中空空间的区域,其中在利用根据本发明的方法的计算中,改进的准确度同样明显。
附图标记列表
1 原始图像
2 滤波图像
3 差异图像
31 差异图像中的夹杂物
4 标准VC的结果(计算图像)
41 在计算结果图像中的夹杂物
42 在计算结果图像中的背景
5 根据本发明的VC结果(计算图像)
51 在计算结果图像中的夹杂物
xc 似然阈值(置信度)
xs 平滑度值,特别是对于梯度特征
Pxs 平滑度补偿值(平滑度补偿)
SM 灵敏度值
Sm1 特征1的灵敏度值
Sm2 特征2的灵敏度值
a 由图像噪声引起的梯度
BP 置信传播
c 与条件概率有关的似然函数的常数,特别是小常数<0.5
fij(xi,xj) 影响函数
g(x1),g(x2) 梯度对
gi(xi) 局部测量
ΔI 差异图像的灰度值强度
m 一般来说指特征,例如m1或m2或其他特征
m1 第一特征,特别是灰度值或灰度值强度
m2 第二特征,特别是梯度特征
med 中值
MRF 马尔可夫随机场
n 消息
nij(xj) 已经基于像素i中和周围的信息建立的消息
N(xi) 四邻域
p(m|s) 当状态s存在时,根据贝叶斯定理计算特征m的条件概率(所谓的似然函数)
p(s) 先验
p(s|m) 根据贝叶斯定理,搜索在像素中存在夹杂物的概率(所谓的后验概率)
s 互补(固定)状态:夹杂物是否存在
z 常数,与夹杂物的预期尺寸相关联(在似然函数的右侧结果侧指定)
σX84(x) 中值(med)绝对偏差的中值
t 梯度绝对值的阈值
U 位置x处的像素的局部环境;与滤波器的应用有关,并且在准确定义为掩模尺寸的情况下(局部性)
VC 空隙计算
xi 第一像素
xj 第二像素

Claims (14)

1.用于基于体积的图像(1)确定封闭体积中的夹杂物(51)的方法,其中,对于取决于像素的第一特征的阈值的相应像素,做出关于在像素中是否存在空气夹杂物的是/否声明,其中第一特征涉及得自图像的原件(1)和图像的滤波图像的差异图像(3),
其特征在于,通过中值滤波器形成滤波图像。
2.根据权利要求1所述的方法,其特征在于,基于差异图像(3)中的噪声自动确定阈值。
3.根据权利要求1或2所述的方法,其特征在于,在基于存在针对相应像素建立的夹杂物(51)的概率考虑所有特征之后,仅在最后做出是/否声明。
4.根据权利要求3所述的方法,其特征在于,定义像素的第二特征,并分别计算第一和第二特征的概率。
5.根据权利要求4所述的方法,其特征在于,第一和第二特征随机地相互组合,并且第一和第二特征的概率彼此关联。
6.根据权利要求5所述的方法,其特征在于,实现通过关联获得的结果的平滑化,其中,为了确定最大概率,在检查的像素和相邻像素之间交换信息。
7.根据前述权利要求4-6中任一项所述的方法,其特征在于,所述方法至少通过以下参数之一来设置:
-中值滤波器的掩模尺寸(U);
-第一特征的灵敏度值(Sm1)和可选地至少一个其他特征的灵敏度值(Sm2);
-夹杂物存在概率的阈值(xc)。
8.根据权利要求6所述的方法,其特征在于,所述方法至少通过以下参数之一设置:
-中值滤波器的掩模尺寸(U);
-第一特征的灵敏度值(Sm1)和可选地至少一个其他特征的灵敏度值(Sm2);
-第二特征的平滑度值(xs);
-平滑化方法的平滑度补偿值(Pxs);
-夹杂物存在概率的阈值(xc)。
9.根据前述权利要求中任一项所述的方法,其特征在于,对于多个相邻像素迭代地执行所述方法。
10.根据前述权利要求中任一项所述的方法,其特征在于,所述方法基于由X射线图像和中值滤波图像形成的差异图像(3)。
11.计算机程序,用于在将计算机程序加载到计算机中时执行根据前述权利要求中任一项所述的方法。
12.根据权利要求11所述的计算机程序,其形成用于相对于图像或所选图像区域以自动方式执行所述方法。
13.一种存储介质,其具有存储在存储介质中的根据权利要求11或12所述的计算机程序。
14.根据权利要求1至10中任一项所述的方法或根据权利要求11或12中任一项所述的计算机程序或根据权利要求13的存储介质的应用,用于自动化材料测试。
CN201811059995.3A 2017-09-15 2018-09-12 表征带有夹杂物的材料的方法 Pending CN109507218A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017121490.9 2017-09-15
DE102017121490.9A DE102017121490A1 (de) 2017-09-15 2017-09-15 Verfahren zum Charakterisieren von Materialien mit Einschlüssen

Publications (1)

Publication Number Publication Date
CN109507218A true CN109507218A (zh) 2019-03-22

Family

ID=65526435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811059995.3A Pending CN109507218A (zh) 2017-09-15 2018-09-12 表征带有夹杂物的材料的方法

Country Status (4)

Country Link
US (1) US20190087949A1 (zh)
JP (1) JP2019061668A (zh)
CN (1) CN109507218A (zh)
DE (1) DE102017121490A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838128A (zh) * 2019-11-07 2020-02-25 华侨大学 一种图像法集料堆叠空隙率预测方法和***
CN112557396A (zh) * 2020-12-23 2021-03-26 东软睿驰汽车技术(沈阳)有限公司 一种检测方法及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108979A1 (de) 2022-04-12 2023-10-12 Wipotec Gmbh Verfahren und Vorrichtung zur Detektion von Anomalien in zweidimensionalen digitalen Bildern von Produkten

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838128A (zh) * 2019-11-07 2020-02-25 华侨大学 一种图像法集料堆叠空隙率预测方法和***
CN110838128B (zh) * 2019-11-07 2023-04-07 华侨大学 一种图像法集料堆叠空隙率预测方法和***
CN112557396A (zh) * 2020-12-23 2021-03-26 东软睿驰汽车技术(沈阳)有限公司 一种检测方法及相关设备

Also Published As

Publication number Publication date
DE102017121490A1 (de) 2019-03-21
JP2019061668A (ja) 2019-04-18
US20190087949A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
CN111780763B (zh) 一种基于视觉地图的视觉定位方法、装置
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
Candemir et al. Graph-cut based automatic lung boundary detection in chest radiographs
Wealands et al. Quantitative comparison of spatial fields for hydrological model assessment––some promising approaches
CN109507218A (zh) 表征带有夹杂物的材料的方法
CN110599489A (zh) 一种目标空间定位方法
CN110599483B (zh) 肺部病灶检测装置、检测设备及可读存储介质
Kashyap et al. Active contours using global models for medical image segmentation
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
Hermoza et al. Region proposals for saliency map refinement for weakly-supervised disease localisation and classification
CN109035196A (zh) 基于显著性的图像局部模糊检测方法
JP2019096222A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
Suliga et al. Markov random field-based clustering applied to the segmentation of masses in digital mammograms
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
JP2020160543A (ja) 情報処理システムおよび情報処理方法
Koniar et al. Machine vision application in animal trajectory tracking
Chalfoun et al. Segmenting time‐lapse phase contrast images of adjacent NIH 3T3 cells
Kar et al. Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets
CN108665436A (zh) 一种基于灰度均值参照的多聚焦图像融合方法和***
CN105701810B (zh) 一种基于点击式图像分割的无人机航拍图像电子勾绘方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Siddiqui et al. Clustering techniques for image segmentation
CN107657628A (zh) 一种实时彩色目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40002782

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190322

WD01 Invention patent application deemed withdrawn after publication