CN109716355A - 微粒边界识别 - Google Patents
微粒边界识别 Download PDFInfo
- Publication number
- CN109716355A CN109716355A CN201780054158.9A CN201780054158A CN109716355A CN 109716355 A CN109716355 A CN 109716355A CN 201780054158 A CN201780054158 A CN 201780054158A CN 109716355 A CN109716355 A CN 109716355A
- Authority
- CN
- China
- Prior art keywords
- image
- particle
- boundary
- threshold
- percentile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 136
- 239000002245 particle Substances 0.000 claims abstract description 90
- 238000003708 edge detection Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 claims abstract description 20
- 238000003705 background correction Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 102000004169 proteins and genes Human genes 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 102000002265 Human Growth Hormone Human genes 0.000 description 2
- 108010000521 Human Growth Hormone Proteins 0.000 description 2
- 239000000854 Human Growth Hormone Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102000014150 Interferons Human genes 0.000 description 1
- 108010050904 Interferons Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940126534 drug product Drugs 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 229940079322 interferon Drugs 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000011192 particle characterization Methods 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1493—Particle size
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1497—Particle shape
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
一种通过使用处理器(301)来识别图像(135,171)中的至少一个微粒(140)的微粒边界(165)的微粒(140)表征方法。该方法包括使用阈值方法处理图像(135,171)以确定与至少一个微粒(140)对应的第一边界(160a)并使用边缘检测方法处理图像(135,171)以确定与至少一个微粒(140)对应的第二边界(160b)。组合第一边界(160a)和第二边界(160b)以创建组合边界(160)。使用组合边界确定至少一个微粒(140)的微粒边界(165)。边缘检测方法使用的参数是自适应的,并且参考图像(135,171)确定。
Description
本发明涉及图像处理,更具体地涉及处理图像数据以识别微粒的边缘。
一种用于微粒表征的方法包括:获得包括至少一个微粒的图像,以及处理图像以识别和表征(一个或多个)微粒。有必要区分图像的哪些部分是(一个或多个)微粒,哪些不是。这个问题可以称为分割,或将前景(一个或多个微粒)与背景(非微粒)分开。背景可以包括例如由于噪声或者由于照明强度的变化而产生的强度的变化。
在微粒和背景之间存在低对比度的情况下,将前景与背景分开或识别微粒边界的这个问题会特别具有挑战性。例如,包含蛋白质的生物制药化合物通常不吸收或散射大量光(在通常的成像波长下),并且难以用标准显微镜技术与背景区分,这导致低对比度图像。
现有的分割方法包括阈值分析,例如基于大津法(Otsu)的方法(Otsu,Nobuyuki.“A threshold selection method from gray-level histograms.”Automatica 11.285-296(1975):23-27)。该方法具有低计算成本,但可能不适合于低对比度微粒的分割。
最近,已经开发了一系列用于分割的技术,称为“主动轮廓”(Duan,D.Z.H.Q.C.&.X.S.,2015.A review of active contour model based image segmentationalgorithms,Chinese Journal of Biomedical Engineering,34(4),pp.445-454)。这些技术将分割问题作为能量最小化问题提出。虽然能够进行有效的分割,但这些技术有两个主要缺点。首先,因为通常采用随机种子,当解决方案不是唯一的,结果是不可重复的。其次,这些方法的迭代性质需要一些时间来运行,由图像的复杂性和可用的计算能力来限定。在目前的技术水平下,如果不对计算能力进行大量投资,就不可能获得很短时间(例如几秒钟,或少于一秒)的解决方案。
需要有效利用计算资源同时提供良好的微粒边界识别(例如在低对比度图像中)的解决方案。
根据本发明的第一方面,提供了一种通过使用处理器来识别图像中的至少一个微粒的边界来表征微粒的方法,该方法包括:
使用基于强度的方法处理图像以确定与所述至少一个微粒对应的第一边界;
使用基于梯度的方法处理图像以确定与所述至少一个微粒对应的第二边界;
组合第一边界和第二边界以创建组合边界;
使用所述组合边界确定所述至少一个微粒的微粒边界。
申请人已经发现基于强度的方法和基于梯度的方法的组合以获得微粒边界的快速可靠识别。
组合第一边界和第二边界可以包括使用OR运算符。
该方法还可以包括使用微粒边界确定图像中的微粒的特性(例如,形状或大小,或这些特征在多于一个微粒上的分布)。
该方法可以包括确定图像中的微粒的特性的汇总,例如微粒大小分布,或者与形状和大小相关的参数的平均值和/或中值。
该方法可以包括使用相机获取图像。
基于强度的方法可以是基于图像强度的任何方法,例如阈值方法(例如,具有预定阈值)或自适应阈值方法(其中基于图像确定或修改阈值),诸如大津法的方法。
自适应阈值方法可以包括:测量图像中的强度范围;参考图像中强度范围的百分比确定阈值。
确定自适应阈值可以包括:确定像素强度(或亮度)的较高百分位数和较低百分位数(例如,分别为第95和第5百分位数)。自适应阈值可以是较高百分位数和较低百分位数之间的差异的一定百分比(例如,差异的80%)。在其他实施方式中,可以使用不同的值。较低百分位数可以是从第1到第20的百分位数。较高百分位数可以是第80和第99之间的百分位数。差异的百分比可以在60%和100%之间。
基于梯度的方法可以是参考图像的强度梯度计算的任何方法。基于梯度的方法可以是边缘检测方法。合适的基于梯度的技术可以基于图像中的强度的一阶梯度或二阶梯度,并且可以进一步使用任何合适的平滑滤波器。基于特定梯度的方法的示例是Canny的边缘检测器(Canny,J.,1986.Acomputation approach to edge detection.IEEETrans.Pattern Anal.Mach.Intell.,8(6),pp.769-798.),但是,可以使用任何其他基于梯度的方法,诸如:过零方法;在使用Sobel或Prewitt算子确定的梯度上执行的方法;分水岭方法和/或包括确定高斯拉普拉斯算子的方法。
基于梯度的/边缘检测的方法的参数可以是自适应的,并且参考图像来确定。
可以参考图像确定边缘检测方法(例如,关于Canny边缘检测方法)的一个或多个参数(诸如阈值)。可以参考图像来确定Canny边缘检测中使用的双阈值中的一个或两个。可以基于图像统计来调整双阈值中的一个或两个。用于调整(或确定)阈值中的一个或两个的图像统计可以是图像强度的标准偏差(或其倍数)。
例如,Canny方法的低阈值可以被确定为图像强度的标准偏差的百分比。
在一些实施方式中,可以使用以下步骤来确定低阈值:找到最大可能图像强度(例如,对于8位灰度图像为255)与图像像素强度的较高百分位数(例如,第99百分位数)之间的差异。
可以根据低阈值确定高阈值(例如,作为低阈值的预定倍数(无论如何确定低阈值)。
该方法可以包括利用边缘保留滤波器处理图像。边缘保留滤波器可以在确定第一分割图像和第二分割图像之前应用。边缘保留滤波器可以包括西格玛(sigma)滤波器,例如Computer Vision,Graphics and Image Processing,vol.24,255-269(1983)中的“Digital image noise smoothing and the sigma filter”中的Lee's西格玛滤波器。已经发现,这减少了图像噪声,同时有效地增强了微粒边缘,这可以帮助使用强度和梯度方法处理以确定第一分割图像和第二分割图像的后续步骤。
该方法可以包括对包括组合边界的图像执行闭运算(例如,由于边界的不完全检测而填充边界中的孔)。闭运算可包括使用3×3方形结构元素。闭运算可以定义为扩张操作,然后是侵蚀操作,其中使用相同的结构元素(例如3×3方形)执行扩张操作和侵蚀操作。可以使用其他结构元素,例如4×4方形或5×5方形。
根据本发明的第二方面,提供了一种通过使用处理器以识别捕获的图像中的至少一个微粒的微粒边界来表征微粒的方法。处理捕获的图像以识别与微粒对应(或可能与微粒对应)的图像特征。在捕获的图像中识别感兴趣区域,每个感兴趣区域包括与微粒对应的至少一个识别的特征。至少一些捕获的图像可能不包括在任何感兴趣区域中。从捕获的图像中提取至少一个图像区域,每个图像区域小于捕获的图像并且与感兴趣区域相对应。根据本发明的第一方面对至少一个图像区域中的至少一部分进行处理,以确定至少一个微粒的微粒边界。
该方法还可以包括通过执行平场校正来校正照明变化(在处理捕获的图像以识别与微粒对应的图像特征的步骤之前)。可以参考不包含任何微粒的照明校准图像来确定平场校正。可以参考可以包含微粒的多个照明校准图像来确定平场校正,平场校正仅使用被确定为不可能与微粒相关的像素(例如,基于阈值强度)。
平场校正还可以包括使用在没有照明的情况下拍摄的暗图像来校正成像检测器中的固定模式噪声。
该方法可以包括在处理捕获的图像以识别与微粒对应的特征之前使用边缘保留滤波器(如上所述)处理捕获的图像。
处理捕获的图像以识别与微粒对应的图像特征可以包括应用阈值操作,识别具有小于阈值的亮度(或强度)的图像特征(对于明场图像),或者具有亮度大于阈值的特征(对于暗场图像)。阈值操作可以包括基于在捕获的图像中找到的亮度分布来确定阈值。更一般地,阈值可以是自适应的并且响应于捕获的图像(或参考捕获的图像来确定)。在一些实施方式中,可以参考亮度分布的统计性质(例如,参考模态或平均值的标准偏差的倍数)来确定阈值。可以应用参考第一方面描述的相同自适应阈值方法来识别与捕获的图像中的微粒对应的图像特征。
从捕获的图像中获取一系列较小的图像区域并分别对每个捕获的图像进行分割,允许基于微粒周围的特定图像区域设置自适应阈值标准,这提高了方法的一致性和准确性,并且减少了计算量。通过基于梯度或阈值的方法可以不处理捕获的图像的重要区域以识别微粒边界。可以丢弃不是图像区域(或感兴趣区域)的一部分的捕获的图像的区域而无需进一步处理。
在一些实施方式中,每个图像区域可以经受拒绝标准,该拒绝标准确定是否根据第一方面处理图像区域,或者不处理图像区域(例如,去除其中特征仅仅是噪声的图像区域,或者去除失焦的图像区域)。拒绝标准可以基于图像区域内的亮度(或强度)的范围,以及可以基于阈值,例如,拒绝具有小于阈值的亮度范围的每个图像区域。拒绝标准也可以基于统计如强度的标准偏差。亮度范围可以被确定为亮度的较高百分位数和较低百分位数之间的亮度差异(例如,分别为第99和第1百分位数)。阈值可以是亮度的较高百分位数的百分比(例如,1%,或第99百分位数的1%)。该计算中的较高百分位数可以在第80和第99之间,而较低百分位数在第1和第20之间。较高百分位数的百分比可以从1%到10%。
捕获的图像可以包括成像显微镜的视场。该方法可以包括从相机捕获图像。
根据另一个实施方式,提供了一种用于表征微粒的仪器,包括被配置为执行第一方面或第二方面的方法的处理器。可以提供非易失性机器可读存储器(例如,CD-ROM),其具有用于配置处理器以执行第一方面或第二方面的方法的指令。
该仪器可包括配置成获得包括微粒的图像的相机,配置成根据该方法处理图像并确定图像中微粒的特性(例如它们的形状或大小,或这些特征的分布)的处理器。该仪器可以包括屏幕,用于向用户显示微粒的特性。
仪器可以被配置成向用户呈现缩略图图像阵列,每个缩略图包括根据实施方式处理的图像区域。该仪器可以配置成呈现微粒的特性的汇总,例如微粒大小分布,或与形状和大小有关的参数的平均值和/或中值。
该仪器可以被配置成允许用户改变如何执行图像处理以确定微粒边界。例如,用户可能能够调整阈值参数,和/或选择特定的基于梯度的方法。
每个实施方式和/或方面的各个和每个特征可以与每个其他实施方式和/或方面的各个和每个特征组合。
现在将参考随附附图描述示例实施方式,在附图中:
图1是根据实施方式的方法的流程图,其中处理图像以识别微粒边界;
图2是根据另一个实施方式的方法的流程图,其中处理捕获的图像以首先识别感兴趣区域,然后处理每个感兴趣区域以识别微粒边界;
图3是用于平场校正的一叠图像;
图4是应用边缘保留西格玛滤波器之前的微粒图像;
图5是在应用了边缘保留西格玛滤波器之后的图4的图像;
图6是从捕获的图像创建的二元掩模,示出了被识别为与微粒对应的所有图像特征(基于阈值强度标准);
图7是用于创建图5的捕获的图像,被分成感兴趣区域;
图8是一组图像,显示:(A)蛋白质显微照片图像;(B)通过应用具有分割不够设置的边缘检测方法而产生的检测到的边缘;(C)通过应用具有过度分割设置的边缘检测方法产生的检测到的边缘;
图9是a)使用基于梯度的方法产生的用于识别边缘的图像和b)使用基于自适应强度阈值的方法处理相同图像;
图10示出了通过强度方法和梯度方法获得的边界的组合,示出了检测到的边缘如何互补,并产生基本准确的组合的外部微粒边界;
图11是包括微粒的捕获的未处理图像的区域;
图12示出了根据实施方式的通过处理图像获得的图10所示区域中的边界;以及
图13是根据实施方式的仪器的示意性框图。
参考图1,示出了示例方法。初始图像是该方法的起始点,其可以作为来自较大图像的感兴趣区域获得,或者可以是从图像检测器捕获的帧。
在步骤111处,应用基于强度的方法来确定第一边界。如已经讨论的,基于强度的方法是基于图像的强度识别边界的任何方法,诸如阈值方法。
基于强度的方法的结果可以用于确定逻辑(二值化)图像,其中如果“高于”阈值则每个像素被分类为“微粒”,并且如果“低于”阈值则被分类为“非微粒”。术语“…高于”可以意味着在暗场成像的情况下具有比阈值强度更高的强度值,并且可以意味着在光场成像的情况下具有更低的强度值。可以根据逻辑图像中识别为“微粒”的区域的边界确定第一边界。
在步骤112处,采用基于梯度的方法来确定第二边界。如已经讨论的,梯度方法可以是参考强度梯度计算的任何方法。
在步骤104处,通过组合第一边界和第二边界来确定组合边界,在该示例中使用OR运算符。如果像素位于第一边界或第二边界(或者如果它们在两者中),则将像素添加到组合边界。既不在第一边界也不在第二边界中的像素将不包括在组合边界中。
在步骤105处,根据组合边界确定微粒边界。可以处理组合边界以确定微粒边界,例如消除伪内部边缘,和/或闭合边界中的小间隙(例如,使用闭运算,如上所述)。
参考图2,公开了一种用于识别从成像检测器捕获的图像帧中的微粒边界的方法。在这种方法中,首先处理图像帧以识别感兴趣区域,然后处理每个感兴趣区域以识别其中的微粒边界。
在步骤101处,对捕获的图像执行平场校正。执行平场校正的一种方式是使用静态校正(例如,不存在微粒)。根据将用于捕获要处理的图像的照明设置捕获“空白”图像。通常还使用没有照明的暗图像来从检测器去除任何固定模式噪声,但这不是必需的。
可以根据以下公式来确定校正的图像:
其中Iμ是捕获的图像的平均强度。
或者,可以根据捕获待处理的图像的时间或附近获得的多个帧动态地确定平场校正(例如,存在或流过成像帧的微粒)。例如,可以捕获十个帧。捕获的帧越多,动态平场校正就越准确。
图3示出了这一点,示出了捕获的帧125的叠层120,用于确定动态平场校正。x和y轴是每帧中的图像尺寸,以及z轴是帧的数量。
动态平场校正可以包括确定与微粒相关联的未被拒绝的每个像素在z方向上的平均强度和标准偏差。这包括确定捕获的每个图像上的第一像素的平均强度,等等。为了确定哪些像素被保留并平均用于平场校正以及哪些被忽略,对于每个像素位置,可以将下限和上限计算为每个像素位置处的平均强度减去或加上每个位置处的标准偏差乘以某些因子,例如
对于所有像素位置
下限(像素posn)=平均强度(像素posn)-测量(SCALE)*std(像素posn)
上限(像素posn)=平均强度(像素posn)+测量*std(像素posn)
对于每个像素位置,可以确定每个图像中位置处的在这些界限内的像素的平均强度以创建掩模。不在这些界限内的像素对平场校正没有贡献,因为它们可能与微粒有关,或者由于某些其他原因而是伪的。掩模可以根据以下伪代码确定:
平均掩模强度是所有掩模强度之和除以单个图像中的像素数。可以通过将该平均强度除以掩模强度来确定最终的平场校正掩模:
校正掩模(x,y)=平均掩模强度/掩模(x,y)。
如上所述的平场校正也可以用在图1中描述的方法中(尽管不太可能有效地应用于图像区域)。
返回参考图2,示例方法的下一步是使用边缘保留滤波器处理图像。这不是必需的,但可以降低捕获的图像中的噪声,这有助于避免错误检测微粒和微粒边界。合适的边缘保留滤波器的示例是西格玛滤波器。这需要围绕每个像素的窗口并且识别窗口内具有在当前像素的西格玛范围内的强度的每个其他像素。然后将当前像素设置为窗口内在它的西格玛范围内的所有像素的平均值。
一个方形窗口,具有介于7与11之间的大小(即跨7至11个像素,中间有当前像素),大约为5的西格玛已经被发现很好地作用于具有8位强度深度的18兆像素相机拍摄的低对比度图像。图4和图5示出了这种滤波器的操作,图4和图5分别示出了在应用西格玛滤波器之前和应用西格玛滤波器之后捕获的图像的区域135。保留了微粒140及其边界,但是背景145中的噪声已经大大减少。
返回参考图2,示例方法中的下一步103是确定可能包含微粒的捕获的图像中的感兴趣区域。如已经讨论的,可以使用阈值方法来做到这一点,所述方法可以包括上面所讨论的关于用于识别边界的基于强度的方法的任何特征。
在本示例中,这包括计算第95和第5百分位数像素强度之间的差异,并将该差异乘以0.8。目的是生成阈值,该阈值将捕获所有微粒和一些可以在以后被拒绝的噪声。阈值也可以使用大津法的方法或任何其他适当的方法生成。
该阈值用于生成逻辑图像,其中如果“高于”阈值,则将像素标记为“微粒”。图6示出了逻辑图像126,其中基于阈值强度,黑色表示被分类为“非微粒”的像素,而白色表示被分类为“微粒”141的像素。
参考图7,由框135表示的感兴趣区域可以通过在像素的每个连续的“微粒”区域周围绘制边界框来限定。每个感兴趣区域135可以大于边界框,例如在远离边界框的每个方向上包括预定数量的像素。可以分别处理这些感兴趣区域135中的每个,并且可以丢弃感兴趣区域之外的任何区域因为不再需要。
已经创建了感兴趣区域(或图像区域),其中一些可以作为噪声被拒绝,如前所述。在示例方法中,拒绝标准基于图像区域中的强度范围。如果计算为像素强度的第99百分位数和第1百分位数之间的差异的强度范围小于像素强度的第99百分位数值的1%,则图像区域作为噪声被拒绝。拒绝图像区域可以提高处理捕获的图像以识别微粒的速度。
返回参考图2,如已经描述的,然后使用强度方法111和基于梯度的方法112分别处理110每个图像区域(或感兴趣区域),以确定第一边界和第二边界。还已经描述了然后使用OR运算符组合第一边界和第二边界。然后,根据组合边界确定每个图像区域中的微粒边界(例如,通过丢弃内部边界,并通过闭合边界中的间隙)。
这导致为捕获的图像(或图像帧)中的每个感兴趣区域确定微粒边界。以这种方式确定的微粒边界可以组合以产生具有存在的所有微粒边界的帧级图像。这种组合图像的区域在图11中示出,稍后将更详细地描述。
参考图8A,显示了蛋白质180的显微照片图像。为了表征蛋白质180的性质,期望准确地确定蛋白质180的边界。将边缘检测方法应用于该任务(以确定第二边界,如上所述)通常可以导致识别太多的边界(过度分割)或不完整/过少的边界(分割不够)。图8B示出了通过将Canny边缘检测器应用于图像而获得的边界181,其中参数(低阈值和高阈值)导致分割不够。图8C示出了通过将Canny边缘检测器应用于图像而获得的边界182,其中参数导致过度分割。很难为边缘检测方法确定固定的参数,所述参数适用于在微粒分析中必须可靠分割的典型图像的范围。
申请人已经考虑了许多不同的边缘检测方法,并且已经发现具有自适应阈值的Canny边缘检测(其中至少一个阈值是参照图像确定的)在微粒分析的背景下提供了优异的结果。大多数边缘检测方法倾向于导致微粒图像的过度分割。例如,分水岭方法倾向于导致过度分割,而过零方法(例如Marr-Hildreth)倾向于返回“假边缘”。
在可应用的可用边缘检测方法中,申请人已经识别具有自适应阈值的边缘检测特别有利于最小化伪边缘检测,同时在处理可能与微粒的图像区域相关联的广泛对比度方面提供灵活性。特别地,该方法能够适应低对比度和混合对比度样本,同时对于一般样本(其中微粒对比度倾向于高)保持高性能。
微粒分析特别感兴趣的低对比度样本包括可用于药物产品的生物仿制药,涉及胰岛素、人生长激素、干扰素、***等。
用于分析的全帧可以包括与高对比度微粒和低对比度微粒两者相对应的图像区域,并且本文公开的用于分割的方法允许两者都被容纳有以高可靠性识别的微粒边界。该性能的主要贡献者是在每个感兴趣区域中使用不同的分割参数。具体地,已经发现自适应阈值和自适应边缘检测方法(例如Canny方法,其中基于图像区域调整阈值)的组合是特别有利的。
参考图9,示出了使用基于梯度的方法a)和使用基于强度的方法b)确定的边界的示例。在这个示例中,基于梯度的方法是Canny边缘检测,它不能检测到微粒140的低对比度边缘。基于强度的方法,在这种情况下是自适应阈值方法(如已经描述的),通过基于阈值强度将图像中的像素分类为微粒161和非微粒162,正确地识别微粒140的边界160。
这说明了基于梯度和基于强度的边界检测如何可以互补。在该示例中,组合边界将仅是使用基于强度的方法确定的第一边界。
在图10中示出了根据第一边界和第二边界确定组合边界的另一示例,所述第一边界和第二边界分别使用基于强度和基于梯度的方法确定,该图示出:使用基于强度的方法处理第一图像153以确定第一边界160a;使用基于梯度的方法处理第二图像154以确定第二边界160b,以及示出组合边界160的第三图像155。
如上所述,使用自适应阈值方法确定该示例中的第一边界160a。使用Canny边缘检测方法确定该示例中的第二边界160b。如第三图像155中所示,组合边界160包括来自第一边界和来自第二边界的像素(即,第一边界和第二边界的逻辑OR)。
可以进一步处理组合边界160以确定微粒边界,例如通过丢弃内部边界,以及执行闭运算以将可能存在于组合边界中的任何小开口编织在一起。如上所述,闭运算可包括使用3×3方形结构元素(或5×5方形结构元素)。
根据示例实施方式处理捕获的图像的结果在图11和图12中示出,图11和图12分别示出了处理171之前的捕获的图像的一部分,以及处理172以确定微粒边界165之后的捕获的图像的相同部分。微粒边界165在图12中用黑实线指示。
本文公开的方法的实施方式允许快速且可靠地识别图像中的样本的边界,即使在图像中微粒提供相对低的对比度的情况下也是如此。边界可用于确定微粒的特征,诸如它们的大小和形状。可以根据微粒的边界确定微粒大小的分布,并呈现给用户(例如以图形的形式)。
可以提供非易失性机器可读存储器(例如,CD-ROM)以配置执行该方法的处理器。
根据实施方式的微粒表征仪器300在图13中示意性地示出,包括处理器301、相机302和显示器303。处理器301被配置为执行根据实施方式的方法。相机302被配置为获得包括微粒的图像并将图像提供给处理器301。处理器301根据该方法处理图像,并根据微粒边界确定图像中微粒的特性(例如,它们的形状或大小,或者这些特征的分布)。处理器301被配置为使用屏幕303向用户显示微粒的特性。
仪器300可以被配置为向用户呈现缩略图图像阵列(例如,在显示器303上),每个缩略图包括根据实施方式处理的图像区域。仪器300可以配置成呈现微粒特性的汇总,例如微粒大小分布,或与形状和大小有关的参数的平均值和/或中值。
仪器300可以被配置为允许用户改变如何执行图像处理以确定微粒边界。例如,用户可能能够调整阈值参数,或者选择特定的基于梯度的方法。
本文描述的示例不旨在限制。本领域技术人员将理解,在由所附权利要求确定的本发明的范围内,许多其他变型是可能的。
Claims (15)
1.一种通过使用处理器识别图像中的至少一个微粒的微粒边界来表征微粒的方法,所述方法包括:
使用阈值方法处理所述图像以确定与所述至少一个微粒对应的第一边界;
使用边缘检测方法处理所述图像以确定与所述至少一个微粒对应的第二边界;
组合所述第一边界和所述第二边界以创建组合边界;
使用所述组合边界确定所述至少一个微粒的微粒边界;
其中所述边缘检测方法使用的参数是自适应的,并且参考所述图像来确定。
2.根据权利要求1所述的方法,其中,所述阈值方法是自适应阈值方法,其中基于所述图像确定或修改阈值。
3.根据权利要求2所述的方法,其中,所述自适应阈值方法包括:测量所述图像中的强度范围;参考所述图像中强度范围的百分比确定所述阈值。
4.根据权利要求2或3所述的方法,其中,所述自适应阈值方法包括确定像素强度的较高百分位数和较低百分位数,并且然后使用所述较高百分位数和所述较低百分位数之间的差异来确定所述阈值。
5.根据权利要求4所述的方法,其中,所述较高百分位数是第80百分位数和第99百分位数之间的百分位数,和/或所述较低百分位数是第1百分位数和第20百分位数之间的百分位数。
6.根据前述权利要求中任一项所述的方法,其中,所述边缘检测方法是Canny的边缘检测器。
7.根据权利要求6所述的方法,其中,参考所述图像确定Canny边缘检测器的低阈值和/或高阈值。
8.根据权利要求7所述的方法,其中,参考所述图像的强度的标准偏差来确定所述低阈值,并且较高阈值是较低阈值的倍数。
9.根据前述权利要求中任一项所述的方法,包括:对包括所述组合边界的图像执行闭运算。
10.一种通过使用处理器来识别捕获的图像中的至少一个微粒的微粒边界来表征微粒的方法,所述方法包括:
使用阈值操作来处理所述捕获的图像,以基于强度阈值识别与微粒对应的图像特征;
通过在所述图像特征的连续像素周围绘制边界框来识别所述捕获的图像中的感兴趣区域,每个感兴趣区域包括与微粒对应的至少一个识别的图像特征;
从所述捕获的图像中提取至少一个图像区域,每个图像区域小于所述捕获的图像并且与感兴趣区域相对应;
对每个图像区域使用根据任一前述权利要求的处理方法以确定至少一个微粒的所述微粒边界。
11.根据权利要求10所述的方法,还包括通过在处理所述捕获的图像的步骤之前执行平场校正来校正照明变化,以识别与微粒对应的图像特征。
12.根据权利要求9至11中任一项所述的方法,包括应用拒绝标准以确定是否应根据确定微粒边界来处理每个图像区域,以去除不可能包括微粒的图像区域。
13.根据权利要求9至12中任一项所述的方法,还包括:在处理所述捕获的图像之前,使用边缘保留滤波器,例如西格玛滤波器,处理所述捕获的图像以识别与微粒对应的图像特征。
14.一种用于表征微粒的仪器,包括配置成执行任一前述权利要求的所述方法的处理器。
15.一种机器可读非易失性存储器,包括用于配置处理器以执行根据权利要求1至13中任一项所述的方法的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16187702.2A EP3293672A1 (en) | 2016-09-07 | 2016-09-07 | Particle boundary identification |
EP16187702.2 | 2016-09-07 | ||
PCT/EP2017/072016 WO2018046407A1 (en) | 2016-09-07 | 2017-09-01 | Particle boundary identification |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109716355A true CN109716355A (zh) | 2019-05-03 |
CN109716355B CN109716355B (zh) | 2023-12-26 |
Family
ID=56943324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780054158.9A Active CN109716355B (zh) | 2016-09-07 | 2017-09-01 | 微粒边界识别 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11068740B2 (zh) |
EP (2) | EP3293672A1 (zh) |
JP (1) | JP7234106B2 (zh) |
CN (1) | CN109716355B (zh) |
WO (1) | WO2018046407A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561942A (zh) * | 2020-12-16 | 2021-03-26 | 中国科学院地理科学与资源研究所 | 一种基于dmsp夜间灯光影像的城郊村三元结构自动提取方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10834591B2 (en) | 2018-08-30 | 2020-11-10 | At&T Intellectual Property I, L.P. | System and method for policy-based extensible authentication protocol authentication |
CN116958774B (zh) * | 2023-09-21 | 2023-12-01 | 北京航空航天大学合肥创新研究院 | 一种基于自适应空间特征融合的目标检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1426574A (zh) * | 2000-04-14 | 2003-06-25 | 皮克塞(研究)有限公司 | 形状处理器 |
US20050251347A1 (en) * | 2004-05-05 | 2005-11-10 | Pietro Perona | Automatic visual recognition of biological particles |
CN102142135A (zh) * | 2010-01-29 | 2011-08-03 | 三星电子株式会社 | 用于基于图像特征强调边缘的图像生成设备和方法 |
CN102608016A (zh) * | 2012-04-13 | 2012-07-25 | 福州大学 | 基于Canny边界检测的复杂颗粒平均尺寸测量方法 |
CN103177260A (zh) * | 2013-04-19 | 2013-06-26 | 福州大学 | 一种彩色图像边界提取方法 |
CN104992222A (zh) * | 2015-07-21 | 2015-10-21 | 梧州学院 | 一种基于图像的宝石快速自动计数方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61136394A (ja) * | 1984-12-07 | 1986-06-24 | Nec Corp | 領域識別方式 |
US6094508A (en) * | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
CN100484479C (zh) * | 2005-08-26 | 2009-05-06 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像增强与斑点抑制方法 |
JP4528247B2 (ja) | 2005-10-27 | 2010-08-18 | アロカ株式会社 | 超音波診断装置及び超音波画像処理方法 |
CN101681432B (zh) * | 2007-05-01 | 2013-11-06 | 计算机连接管理中心公司 | 图片文档分割方法和*** |
US8498465B2 (en) * | 2009-09-29 | 2013-07-30 | The Board Of Trustees Of The Leland Stanford Junior University | Accurate determination of the shape and localization of metallic object(s) in X-ray CT imaging |
US9008406B2 (en) | 2009-10-09 | 2015-04-14 | Kawasaki Jukogyo Kabushiki Kaisha | Method and apparatus for discriminating undifferentiated pluripotent stem cells, and automated culture method and system |
US8805056B2 (en) * | 2011-01-24 | 2014-08-12 | Xerox Corporation | Automatic detection and grouping of straight lines in images for personalization |
WO2012115594A1 (en) * | 2011-02-21 | 2012-08-30 | Stratech Systems Limited | A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield |
WO2013049153A2 (en) * | 2011-09-27 | 2013-04-04 | Board Of Regents, University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
US8965132B2 (en) * | 2011-11-18 | 2015-02-24 | Analog Devices Technology | Edge tracing with hysteresis thresholding |
JP6116044B2 (ja) | 2012-10-25 | 2017-04-19 | 大日本印刷株式会社 | 細胞挙動解析装置、細胞挙動解析方法、及びプログラム |
US20140119633A1 (en) * | 2012-10-30 | 2014-05-01 | Prodo Laboratories | Systems, processes, methods and machines for transforming image data into sizing and volume measurements for tissue |
TWI554107B (zh) * | 2015-01-12 | 2016-10-11 | 晶睿通訊股份有限公司 | 可改變縮放比例的影像調整方法及其攝影機與影像處理系統 |
EP3580773B1 (en) * | 2017-02-07 | 2023-05-31 | ASML Netherlands B.V. | Apparatus for charged particle detection |
US10660613B2 (en) * | 2017-09-29 | 2020-05-26 | Siemens Medical Solutions Usa, Inc. | Measurement point determination in medical diagnostic imaging |
-
2016
- 2016-09-07 EP EP16187702.2A patent/EP3293672A1/en not_active Withdrawn
-
2017
- 2017-09-01 US US16/330,406 patent/US11068740B2/en active Active
- 2017-09-01 EP EP17758564.3A patent/EP3510526B1/en active Active
- 2017-09-01 CN CN201780054158.9A patent/CN109716355B/zh active Active
- 2017-09-01 JP JP2019512617A patent/JP7234106B2/ja active Active
- 2017-09-01 WO PCT/EP2017/072016 patent/WO2018046407A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1426574A (zh) * | 2000-04-14 | 2003-06-25 | 皮克塞(研究)有限公司 | 形状处理器 |
US20050251347A1 (en) * | 2004-05-05 | 2005-11-10 | Pietro Perona | Automatic visual recognition of biological particles |
CN102142135A (zh) * | 2010-01-29 | 2011-08-03 | 三星电子株式会社 | 用于基于图像特征强调边缘的图像生成设备和方法 |
CN102608016A (zh) * | 2012-04-13 | 2012-07-25 | 福州大学 | 基于Canny边界检测的复杂颗粒平均尺寸测量方法 |
CN103177260A (zh) * | 2013-04-19 | 2013-06-26 | 福州大学 | 一种彩色图像边界提取方法 |
CN104992222A (zh) * | 2015-07-21 | 2015-10-21 | 梧州学院 | 一种基于图像的宝石快速自动计数方法 |
Non-Patent Citations (11)
Title |
---|
FEBRILIYAN SAMOPA ET AL.: "Hybrid Image Thresholding Method Using Edge Detection", 《BOWLERS JOURNAL INTERNATIONAL》 * |
FEBRILIYAN SAMOPA ET AL.: "Hybrid Image Thresholding Method Using Edge Detection", 《BOWLERS JOURNAL INTERNATIONAL》, vol. 9, no. 4, 30 April 2009 (2009-04-30), pages 2 - 4, XP002622941 * |
J CANNY: "A Computational Approach to Edge Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
J CANNY: "A Computational Approach to Edge Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 31 December 1986 (1986-12-31), pages 690 * |
JIANN-SHU LEE ET AL: "INTEGRATING EDGE DETECTION AND THRESHOLDING APPROACHES TO SEGMENTING FEMORA AND PATELLAE FROM MAGNETIC RESONANCE IMAGES", 《BIOMEDICAL ENGINEERING》 * |
JIANN-SHU LEE ET AL: "INTEGRATING EDGE DETECTION AND THRESHOLDING APPROACHES TO SEGMENTING FEMORA AND PATELLAE FROM MAGNETIC RESONANCE IMAGES", 《BIOMEDICAL ENGINEERING》, 25 February 2005 (2005-02-25) * |
MOSLEM TAGHIZADEH ET AL.: "Bidirectional image thresholding algorithm using combined edge detection and P-Tile algorithms", 《THE JOURNAL OF MATHEMATICS AND COMPUTER SCIENCE》 * |
MOSLEM TAGHIZADEH ET AL.: "Bidirectional image thresholding algorithm using combined edge detection and P-Tile algorithms", 《THE JOURNAL OF MATHEMATICS AND COMPUTER SCIENCE》, 1 January 2011 (2011-01-01) * |
周琪 等: "基于自适应图像粒的目标对象边界周长估算", 计算机工程 * |
张晶晶;范学良;蔡小舒;: "计算Canny算子双阈值的新方法", 中国粉体技术, no. 01 * |
高梁;刘晓云;廖志武;陈武凡;: "一种基于多信息融合的模糊边界检测算法", 仪器仪表学报, no. 11 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561942A (zh) * | 2020-12-16 | 2021-03-26 | 中国科学院地理科学与资源研究所 | 一种基于dmsp夜间灯光影像的城郊村三元结构自动提取方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019526865A (ja) | 2019-09-19 |
US20200193212A1 (en) | 2020-06-18 |
JP7234106B2 (ja) | 2023-03-07 |
EP3293672A1 (en) | 2018-03-14 |
EP3510526A1 (en) | 2019-07-17 |
WO2018046407A1 (en) | 2018-03-15 |
EP3510526B1 (en) | 2023-08-09 |
CN109716355B (zh) | 2023-12-26 |
US11068740B2 (en) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Malarvel et al. | An improved version of Otsu's method for segmentation of weld defects on X-radiography images | |
US9305343B2 (en) | Observation device and observation method | |
Macfarlane | Classification method of mixed pixels does not affect canopy metrics from digital images of forest overstorey | |
US8483480B2 (en) | Method and system for factoring an illumination image | |
US20120207379A1 (en) | Image Inspection Apparatus, Image Inspection Method, And Computer Program | |
US9396411B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
Mustafa et al. | Background correction using average filtering and gradient based thresholding | |
CN109716355A (zh) | 微粒边界识别 | |
CN117274113B (zh) | 基于图像增强的碎硅片清洗效果视觉检测方法 | |
JP2013117409A (ja) | ひび割れ検出方法 | |
US9754155B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
JP2005283197A (ja) | 画面のスジ欠陥検出方法及び装置 | |
JP4775599B2 (ja) | 目の位置の検出方法 | |
Poostchi et al. | Diabetic retinopathy dark lesion detection: preprocessing phase | |
JP4683236B2 (ja) | 目の位置の検出方法 | |
JP4247993B2 (ja) | 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体 | |
JP4869323B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4831344B2 (ja) | 目の位置の検出方法 | |
JP4089780B2 (ja) | カラー画像の処理方法 | |
Ghewari et al. | Analysis of model based shadow detection and removal in color images | |
JP5093540B2 (ja) | 目の位置の検出方法および検出システム | |
JP2001155173A (ja) | カラー画像の処理方法 | |
Naidu et al. | Efficient case study for image edge gradient based detectors-sobel, robert cross, prewitt and canny | |
JP4831361B2 (ja) | 目の位置の検出方法および検出システム | |
JP2018021817A (ja) | 検査装置及び検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |