CN107969148A - 图像分析***和方法 - Google Patents
图像分析***和方法 Download PDFInfo
- Publication number
- CN107969148A CN107969148A CN201680049333.0A CN201680049333A CN107969148A CN 107969148 A CN107969148 A CN 107969148A CN 201680049333 A CN201680049333 A CN 201680049333A CN 107969148 A CN107969148 A CN 107969148A
- Authority
- CN
- China
- Prior art keywords
- image
- binary picture
- component image
- gray
- analysis system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims description 73
- 238000000149 argon plasma sintering Methods 0.000 claims abstract description 76
- 239000007788 liquid Substances 0.000 claims abstract description 72
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims description 55
- 150000001875 compounds Chemical class 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 15
- 229910002056 binary alloy Inorganic materials 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 239000012530 fluid Substances 0.000 description 45
- 230000003287 optical effect Effects 0.000 description 18
- 238000000605 extraction Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000007547 defect Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 241000270295 Serpentes Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005587 bubbling Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000010813 municipal solid waste Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000002798 spectrophotometry method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007086 side reaction Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
- G01N21/51—Scattering, i.e. diffuse reflection within a body or fluid inside a container, e.g. in an ampoule
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N21/03—Cuvette constructions
- G01N2021/0346—Capillary cells; Microcells
- G01N2021/035—Supports for sample drops
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种图像分析***,包含:摄像机,其收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;和处理器,其适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
Description
相关申请案的交叉引用
本申请要求题为图像分析***和方法(IMAGE ANALYSIS SYSTEM AND METHOD)的2015年9月16日提交的序列号为62/219,444和2016年3月11日提交的序列号为62/306,786的美国临时专利申请的优先权,所述美国临时专利申请的全文以引入的方式并入本文中。
技术领域
本发明大体上涉及对液体样本柱的图像的分析。
背景技术
常常使用例如分光光度法等光学技术来表征液体、混合物、溶液和反应混合物。为了表征这些液体的样本,液体通常含于被称作池或试管的容器中,容器的两侧或更多个侧具有光学质量,且准许表征其中含有的液体所需的那些波长通过。当处理例如1到2微升的极小样本体积时,难以产生小到足以被填充的池或试管且难以准许使用行业标准1cm的光学路径。清洁用于另一样本的这些池或试管也是困难和/或耗时的。
如图1A中所示,例如在2003年9月30日颁予罗伯森(Robertson)的第6,628,382B2号美国专利(其公开内容特此以全文引用的方式并入,然而,在所并入参考案中的任何内容与在本申请中陈述的任何内容矛盾的情况下,以本申请为准)中描述的微体积UV/Vis分光光度计经由样本保留技术测量液体样本的微升量的吸收,所述技术使得能够通过在表面2与7之间的表面张力来容留液体样本。所述液体样本在通常耦合到光纤11的光接收样本界面7与通常耦合到另一光纤6的光透射样本界面2之间形成柱9。上部样本界面2和下部样本界面7可相对于彼此移动以形成通常小于或等于1mm的多个已知路径长度。通过含于表面2(在本文中也被称作上部样本界面或柱顶)中且与所述表面齐平的光纤6的来自光源的光3向下辐射通过液体样本柱9,且由下部样本界面4的下部表面7(在本文中也被称作基座)中的光纤11收集且被发送到分析光谱仪上以供吸收测量。所述柱顶和所述基座分别为一柱的上部和下部部件。
液体样本的放置通过用户手动地将样本(通常一微升或两微升)直接移液到下部样本界面上来实现。样本的吸收是通过取得在不存在样本的情况下透射穿过***的光量(I0)与样本存在于取样界面中时透射穿过***的光量(I)的比率的负对数来加以测量。在正常条件下,根据比尔-兰伯特定律(Beer-Lambert law),在样本存在于取样界面中时透射穿过***的光量与路径长度和样本浓度成正比。
然而,偶尔存在透射穿过***的光量受物理因素影响的情况,所述物理因素包含断裂或畸形样本柱、界面上样本的错位和样本中的气泡。在大多数情况下,这些因素由用户移液误差引起。在这些情况下,来自光透射界面的光被样本吸收且从其原始光束路径散射或从其原始光束路径偏移,从而导致进入光接收界面的光的量不再与路径长度和样本浓度成正比。最终结果为所关注的液体样本的不准确的光度测量。
对这些情况的检测是困难的,部分归因于极小的路径长度。因此,需要用于对液体样本柱进行图像分析的图像分析***。
发明内容
在一个实施例中,一种图像分析***包含:收集安置于柱顶与基座之间的液体样本的YUV彩色图像的摄像机,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;和处理器,其适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。所述处理器可进一步适合于根据所述灰度分量图像检测包含柱顶和基座的位置的受关注区域。图像分析***可包含均匀反射背景,例如浅灰色均匀反射背景,例如82%亮度和12%光泽度的浅灰色均匀反射背景。
在一些实施例中,摄像机可从相机视频流收集YUV彩色图像。在那些特定实施例中,处理器可进一步适合于从YUV彩色图像的Y分量的平均值获得灰度分量图像,且从YUV彩色图像的最大U分量获得光散射分量图像。
在某些实施例中,灰度分量图像的至少一个二进制图像可包含灰度分量图像的第一二进制图像,其通过在灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。在那些特定实施例中,灰度分量图像的至少一个二进制图像可包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用灰度分量图像和静态阈值而获得。在那些特定实施例中的一些中,灰度分量图像的至少一个二进制图像可包含从第一与第二二进制图像的组合获得的复合二进制图像。所述处理器可进一步适合于根据所述复合二进制图像检测液体样本柱的位置和光束路径的位置。所述处理器还可进一步适合于根据所述复合二进制图像检测液体样本柱的偏度和/或完整性。
在另一实施例中,一种分析图像的方法包含收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集。所述方法进一步包含从YUV彩色图像获得灰度分量图像和光散射分量图像,且获得灰度分量图像的至少一个二进制图像和光散射分量图像的至少一个二进制图像。所述方法接着包含根据所述灰度分量图像检测包含柱顶和基座的位置的受关注区域,且将图像分析总结报告给显示器。收集YUV彩色图像可包含从相机视频流收集YUV彩色图像。获得灰度分量图像可包含求YUV彩色图像的Y分量的平均值。获得光散射分量图像可包含选择YUV彩色图像的最大U分量。上文描述对灰度分量图像、光散射分量图像和从其获得的二进制图像的处理。
在再一实施例中,一种图像分析***包含摄像机,其收集安置于柱顶与基座之间的液体样本的图像,所述图像在光源通过柱顶与基座之间的光束路径发光时收集;和处理器,其适合于使用所述图像检测液体样本柱中的任何气泡。在本文中所描述的实施例中的任一者中,通过柱顶与基座之间的光束路径发光的光源的实例是跨越柱顶与基座之间的光束路径发光的光源。所述图像可为YUV彩色图像,且所述处理器可进一步适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像且ii)获得灰度分量图像的至少一个二进制图像和光散射分量图像的至少一个二进制图像。灰度分量图像的至少一个二进制图像可包含灰度分量图像的第一二进制图像,其通过在灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。在一些实施例中,灰度分量图像的至少一个二进制图像可包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用灰度分量图像和静态阈值而获得。灰度分量图像的至少一个二进制图像可包含从第一与第二二进制图像的组合获得的复合二进制图像。所述处理器可进一步适合于根据所述复合二进制图像检测液体样本柱的位置和光束路径的位置。在一些实施例中,所述处理器可进一步适合于使用灰度分量图像和光散射分量图像的至少一个二进制图像两者检测液体样本柱中的任何气泡。使用灰度分量图像可包含将环形检测滤波器应用于从灰度分量图像获得的灰度各向同性梯度图像。使用至少一个二进制光散射分量图像可包含将形态滤波器应用于光散射分量图像的至少一个二进制图像。在某些实施例中,所述处理器可进一步适合于使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
在又一实施例中,一种分析图像的方法包含收集安置于柱顶与基座之间的液体样本的图像,所述图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;根据所述图像检测液体样本柱的位置和光束路径的位置;使用所述图像检测液体样本柱中的任何气泡;以及将图像分析总结报告给显示器。收集液体样本的图像可包含收集YUV彩色图像;从所述YUV彩色图像获得灰度分量图像和光散射分量图像;以及获得灰度分量图像的至少一个二进制图像和光散射分量图像的至少一个二进制图像。灰度分量图像的至少一个二进制图像可包含灰度分量图像的第一二进制图像,其通过在灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。在一些实施例中,灰度分量图像的至少一个二进制图像可包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用灰度分量图像和静态阈值而获得。在某些实施例中,灰度分量图像的至少一个二进制图像可包含从第一与第二二进制图像的组合获得的复合二进制图像。在一些实施例中,所述方法可进一步包括根据所述复合二进制图像检测液体样本柱的位置和光束路径的位置。在某些实施例中,检测液体样本柱中的任何气泡可包含使用灰度分量图像和光散射分量图像的至少一个二进制图像两者。使用灰度分量图像可包含将环形检测滤波器应用于从灰度分量图像获得的灰度各向同性梯度图像。使用至少一个二进制光散射分量图像可包含将形态滤波器应用于光散射分量图像的至少一个二进制图像。在某些实施例中,所述方法可进一步包含使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
本发明具有许多优点,例如实现透射穿过***的光量受包含断裂或畸形样本柱、界面上样本的错位和样本中的气泡的物理因素影响的情况的检测。
附图说明
图1A是现有技术分光光度计中的光学路径的剖视截面的说明。
图1B是分光光度计的示意性说明,其中呈液滴(液柱)形式的样本含于两个平面界面表面之间的隔室中。UV光源位于顶部部分(柱顶)且分光光度检测器在装置的底部部分(基座)下方。光学路径可建立在所述源与所述检测器之间。摄像机相对于背景收集液滴的彩色图像。
图2展示测量隔室的原始高分辨率相机图像。所指示矩形区域展示初始受关注区域(region-of-interest;ROI),其足够大以捕获图像的所有必要特征,包含其灰色背景的大部分。
图3A到3C展示在两个界面表面(柱顶与基座)之间提供良好光学路径的正常液柱的实例。
图4A到4C展示液柱的第一类型的可能缺陷的实例-在两个界面表面之间仅提供部分光学路径或不提供光学路径的偏移(图4A)和偏离中心(图4C)柱。
图5A到5C展示第二类型的缺陷的实例——由从气泡或其它夹杂物的表面的反射引起的散射光。气泡由空气(或气体)组成且被视为劣化分光光度法测量的缺陷。
图6A到6C展示两端情况的实例-断裂柱(***成两个液滴)(图6A和6B)或两个界面表面之间的空隙/空的(图6C)空间。不可在这些情况下进行分光光度测量。
图7A到7C说明用于图像分析的分量图像提取。图7A是相机源彩色图像的ROI部分。图7B是从图7A提取的灰度(强度)分量。图7C是其所提取的互补光散射分量(用于散射光测量)。
图8A是从相机视频流的图像收集和从YUV彩色图像的灰度和光散射分量图像提取的流程图。
图8B是液柱图像分析方法的流程图。
图9展示含有原始相机图像的灰度(明度)分量的所提取的初始ROI图像。
图10展示初始灰度ROI图像(来自图9)的直方图。最大峰值表示背景强度。Tmin与Tmax之间的划定区域展示选定背景强度范围。
图11说明灰度图像上的背景区域。背景像素以使用与选定范围匹配的阈值的点刻法为特点。应注意,低估背景强度范围以防止受关注特征被标记为背景。
图12说明如何使用来自灰度图像(图11)的累积特征曲线提取具有所述特征的ROI的水平部分。所述特征曲线由图像的每个垂直柱的像素值的总和组成。从像素值减去背景值以便获得特征曲线标绘图上的谷值与峰值之间的良好比率。目标区域表示特征曲线中的中心升高平台。
图13展示用于处理并且进一步提取例如柱顶和基座的隔室特征的ROI的灰度图像的所提取的水平部分。
图14表示将水平梯度滤波器应用于灰度图像(来自图13)的结果。其突出显示两个主要边缘——一个用于柱顶(顶部水平边缘1420)且第二个用于基座(底部水平边缘1410)。
图15展示如何使用来自灰度图像(图11)的累积特征曲线的特征曲线提取ROI的垂直部分。所述特征曲线由图像的每个水平柱的像素值的总和组成。目标ROI的垂直部分驻存于两个最高峰值之间,所述峰值表示柱顶和基座的水平边缘。
图16展示用于进一步提取器械界面区域的所提取的灰度ROI图像。
图17展示在应用对角线(45度)梯度滤波器之后的所得图像且展示与线段(以白色展示)拟合的上部圆锥形柱顶表面的所提取右对角线边缘。
图18展示在应用对角线(135度)梯度滤波器之后的所得图像且展示与线段(以白色展示)拟合的左圆锥形柱顶表面的所提取右对角线边缘。所提取边缘段的两端之间的距离(以像素为单位)充当图11中所展示的柱顶直径1110的量度。所测量柱顶直径1110接着用于样本隔室区域的准确提取。
图19展示居中(相对于光路的轴线)的最终的所提取ROI灰度图像且仅含有预期图像的两侧上具有足够量的背景区域的液柱(液滴)的区域。
图20说明液柱灰度图像的二进制化(通过阈值处理)。其展示图像的两个水平侧上的矩形区域(白色矩形),在此处计算背景参数。那些参数用于设定二进制化阈值。应注意,突出显示经点刻区域(其表示二进制图像前景)的结果具有大量断开段。难以将那些段连接成柱状。
图21说明仅用于一行灰度图像的动态阈值处理技术。通过使用来自两个背景区域(左与右,以灰色标记)的像素强度值的平均值和累积标准差(σ)且在上限带阈值与下限带阈值之间施加线性插值法而产生阈值带。带宽为6σ。将具有高于(和低于)所述带的强度的像素分配到二进制前景。应注意图像的左部与右部之间图像亮度的差异。
图22展示通过应用各向同性梯度滤波器获得的梯度图像。使用背景区域计算梯度强度的标准差,其用于计算图像二进制化的阈值。将强度高于所计算阈值的每一像素分配到二进制前景(其经展示为梯度图像顶部上的经点刻叠对)。
图23展示组合两个二进制前景图像的结果,一个图像来自灰度图像且另一个图像来自梯度图像(图22)以产生复合二进制图像。改进所得二进制图像-现使其恢复柱状要容易得多。
图24展示在二进制图像的顶部和底部边界上额外应用两个水平前景条带情况下覆盖在灰度图像顶部上的复合二进制图像。这使得能够进一步连接所述柱的左边缘和右边缘。
图25展示将孔填充操作器应用于二进制图像且去除接近于边界的人造条带的结果。随后形态滤波去除残余物且使前景边缘平滑。
图26展示将矩形拟合到表示理论光学路径的柱状中的结果(3D空间中圆柱体的横截面)。
图27展示图像的顶部上具有特别的气泡的液柱中的缺陷的实例。
图28展示变为环形特征的顶部上具有气泡的灰度图像的梯度图像。
图29A到29B说明环形检测滤波器内核(大小为9×9像素)。图29A说明滤波器的3D几何形状,而图29B是作为9×9矩阵的其数字近似值(出于说明性目的将矩阵值乘以100)。滤波器的3D形状表示围绕其周边的升高圆形平台和中心的圆形负腔区域。内核的其余部分的强度值被设定成0。滤波器经设计以与强度梯度图像(参见图27)上的环状粒子相关从而使得能够测量环形特征强度。
图30A到30B说明将环形滤波器应用于单个图像行:梯度图像(图30A-1),其行特征曲线(图30A-2)展示于左上方。通过使用下文展示的公式将环形滤波器(右上方)应用于所有行像素,其中Kj为内核位置j处的内核系数,Pi为行位置i处的像素强度且Fi为位置i处的结果值。将环形滤波器应用于所有图像行。图30B-1展示具有其横截面行的所得图像。应注意图30B-2中所展示的结果峰值,其对应于梯度图像上的环形特征(顶部上标记有箭头)。
图31说明从蓝色色度分量图像获得光散射二进制图像。首先,使用背景区域标准差计算二进制化阈值且使用所述阈值使图像二进制化。通过使用形态闭合滤波器接着去除小前景特征而清除所得二进制图像。
图32A到32B说明断裂柱的情况。图32A为所提取的初始ROI图像。图32B为展示恰当地检测到两个断裂片段(通过点刻法突出显示)的分析算法应用的结果的(二进制)图像。
图33为液柱的示范性图像。
图34为图33中所展示的图像的所得梯度图像。
图35为图33中所展示的图像的所得二进制图像。
图36为具有气泡的液柱的示范性图像。
在整个图式的若干视图中,相同参考标号指代对应部分。
具体实施方式
在本文中的本发明描述中,应理解,除非另外隐含地或明确地理解或陈述,否则以单数形式呈现的词语涵盖其复数对应物,且以复数形式呈现的词语涵盖其单数对应物。此外,应理解,对于本文中描述的任何给定组件或实施例,除非隐含地或明确地另有理解或陈述,否则针对所述组件列出的任何可能候选或替代方案通常可以个别地使用或彼此结合使用。此外,应了解,如本文中展示的图式未必按比例绘制,其中为了本发明的清楚起见可仅仅绘制一些元件。此外,参考标号可在各图中重复以展示相对应的或相似的元件。另外,应理解,除非另外隐含地或明确地理解或陈述,否则此类候选或替代方案的任何列表仅是说明性的,而不是限制性的。另外,除非另外指示,否则本说明书和权利要求书中所用的表示成分的量、组分、反应条件等等的标号应理解为均由术语“约”修饰。
因此,除非相反地指示,否则本说明书和随附权利要求书中所阐述的数值参数是可以取决于寻求通过本文提出的主题获得的所希望性质而改变的近似值。最低限度地,且并不试图限制等效物原则应用于权利要求书的范围,每一数值参数都应至少根据所报告的有效数字的数目并且通过应用一般四舍五入技术来解释。尽管阐述本文中提出的主题的广泛范围的数值范围和参数为近似值,但具体实例中所阐述的数值是尽可能精确地报告的。然而,任何数值固有地含有某些由其相应测试测量中所发现的标准差必然造成的误差。
随着例如NanoDropTM(热电子科学器械,麦迪逊(Madison)WI)的UV/Vis光谱仪的普及性的增长,需要改进如上文所论述依赖于液体样本(液滴)的表面张力的其测量技术的可靠性。问题是液滴(液柱)的光谱测量可能因测量期间液柱形状的不均匀性和其位置而劣化。液柱可能畸形(偏移)、偏离中心(相对于器械的光路),可能含有气泡或其它夹杂物,或液柱甚至可能断裂开。当前可用器械不能够自动地识别和报告这些问题,同时对液滴形状的目视检查极其受限且不可靠。本文中所描述的设计包含样本隔室前方聚焦于液柱的高分辨率摄像机且使用计算机视觉处理算法以用于自动识别液柱缺陷且将其报告给器械操作员。图像分析***还包含对由冒泡液体引起的散射光的测量和报告,所述液体使测量劣化。摄像机和光谱仪一起经同步且每一光谱测量均伴有液柱图像质量量度。
图1B展示分光光度计100,其中呈液滴(液柱9)形式的样本含于两个平面界面表面2与7(隔室)之间。光源10位于装置的顶部部分(柱顶2)且分光光度检测器20在装置的底部部分(基座4)下方且光学路径30可建立于其间。
测量的质量取决于经测量液柱9在光束3正穿过其的时间期间的质量。液柱9的质量由于间隙(两个界面表面2与7之间的距离)太窄——1mm或更小而极难以直观地分析。
可能的液柱缺陷可总结为以下类别:
偏移和偏离中心液柱。此缺陷的实例呈现于图4A到4C中;
液柱中具有夹杂物的冒泡液柱。参见图5A到5C以作为实例。
断裂液柱或空的隔室(无液滴)。这是最终缺陷-将不进行液柱质量测量。参见图6A到6C以作为实例。
返回到图1B,摄像机40收集安置于柱顶2与基座4之间的液体样本9的YUV彩色图像,所述彩色图像在光源10跨越柱顶2与基座4之间的光束路径30发光3时收集以用于检查液柱9的质量。相机40安装在器械基座4上且聚焦于预期将形成液柱9的两个光透射界面2与7之间的间隙。图2展示典型摄像机图像。返回到图1B,通过还形成背景60的罩盖50从直接环境光中遮蔽相机视图。背景60的表面由均匀反射材料组成且具有浅(约82%亮度和12%光泽度)灰色的颜色。背景表面60类似于在用于产生漫(朗伯(Lambertian))反射的摄影中使用的灰卡。背景表面浅灰色均匀反射背景使光泽度最小化且使得所述背景均匀,这在通过相机获取图像时在强度直方图上产生窄的高斯型峰值。
相机视频可由器械的操作员检查;然而,更准确和方便的方式是使用机器视觉算法。处理器70适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
在获取具有例如含气体或空气的气泡的夹杂物的液柱上的光谱时发出散射光。蓝色波长范围为散射光中的主导分量,这是因为瑞利(Rayleigh)散射光的强(λ-4)波长相依性(相较于较长波长(红色),较短波长(蓝色)的瑞利散射更加强烈)。所得光谱质量可由于从气泡反射并进行散射的光束能量的损耗而劣化。通过应用机器视觉算法,有可能定量地测量散射光的量。
尽管有可能在现代计算机上分析原始彩色图像,但这会产生不必要的复杂度和冗余。对于图像分析,以以下三个可能方式中的一个来产生两个仅强度(灰度)图像:
1.当某人仅具有一个彩色RGB图像(快照)时,提取所述图像且产生以下两个分量图像:
a.通过求来自原始RGB图像的红色(R)和绿色(G)分量的平均值而产生灰度分量(明度)图像(L)。对于每一x,y-经定位图像像素,应用以下计算:
L(x,y)=(R(x,y)+G(x,y))/2;
b.对于每一x,y-经定位像素,通过使用来自RGB图像的原始蓝色(B)分量且计算以下互补图像而产生蓝色色度分量(对于光散射分量)图像(S),如下:
S(x,y)=max(0,B(x,y)-L(x,y));
2.在YUV图像格式(可用于安卓(Android)/Linux***上)情况下,两个分量图像的计算为:
a.灰度分量图像为原始YUV图像的Y(明度)分量,即:L(x,y)=Y(x,y);
b.对于每一x,y-经定位像素,通过使用来自YUV图像的U-色度分量且计算以下互补图像而产生光散射分量图像S:S(x,y)=max(0,U(x,y)-128);
3.在可根据图8A中所展示的流程图从所获得相机视频流获得具有不同闪光的YUV图像的序列(图8B中的步骤800)的情况下,例如3个图像,两个分量图像的计算如下进行:
a.灰度分量图像经计算为来自所述序列的原始YUV图像的所有可用Yi(明度)分量的平均值(图8B中的步骤801),即:
L(x,y)=(Y1(x,y)+Y2(x,y)+Y3(x,y))/3;
b.使Si(x,y)为以像素(x,y)为单位的i-图像的光散射(蓝色色度)强度,其是使用上述公式由Ui-分量计算(参见2.b)。接着,通过取得每个像素(x,y)的所有可用Si(x,y)的最大值而计算S(x,y)光散射分量图像如下:
S(x,y)=max(S1(x,y),S2(x,y),S3(x,y));
Si(x,y)的最大值用于获得对应于闪光出现时刻的最大散射光。
参见图7B和7C以用于说明双分量***图像。图7A为源相机彩色图像的碎片。图7B为从源RGB图像提取的灰度分量图像且图7C为其光散射分量。
以下步骤形成液柱分析算法:
1.使大小为M×N的灰度图像L由像素gi,j构成,使得i∈[0,M-1],j∈[0,N-1])0≤gi,j≤255.
换句话说,gi,j为图像矩形区域且其值(强度)可在0到255范围内变化。
2.使用所提取灰度图像L(图9)计算源图像的所有像素的图10中所展示的直方图。使用图像直方图(图10)的最大强度峰值找出图像背景强度范围(Tmin,Tmax)。假设所述背景均匀以及具有高斯强度分布且假设背景区域占据所提取灰色图像的至少50%。检查直方图参数:峰值位置和其宽度以验证背景质量。如果峰值位置小于40(太深)或大于210(太亮)或峰宽宽于80,那么报告所述背景不良且跳过图像分析的其余部分。(图8B中的步骤803和804)。
3.通过沿着每个图像列对绝对像素-减去-背景值求和而形成水平累积特征曲线。即,通过计算∑jδi,j,其中
4.参见图12以作为针对图11中所展示的图像计算的累积特征曲线的实例。
5.通过在特征曲线(参见图12)中找到平台强度的边缘而找到器械柱顶(上部部分,参见图11)的左边缘和右边缘。其对应于柱顶位置和其在灰度图像上的直径且用于受关注区域(ROI)提取。
6.提取新ROI图像,其包括所发现特征(柱顶和基座)以及如图13中所示的在两侧上的额外延伸。
7.将水平梯度(索贝尔(Sobel)算子,参见拉斐尔(Rafael)C.冈萨雷斯(Gonzalez)和理查德(Richard)E.伍兹(Woods)的数字图像处理(Digital Image Processing)的578页,第2版,普伦蒂斯霍尔出版社(Prentice Hall),2002,(在下文中为“Gonzalez”),其全部内容和教示的全文特此以引用的方式并入)滤波器应用于所提取ROI灰度图像以找到下部水平柱顶边缘1420和上部水平基座边缘1410,由此根据如图14中所展示的灰度分量图像检测包含柱顶和基座的位置的受关注区域。
8.通过沿着每个图像行对像素值求和,即∑jg'i,j形成图14中所展示的梯度图像的图15中所展示的垂直累积特征曲线,其中g'i,j为i,j位置处梯度图像的像素强度。
9.在垂直累积特征曲线(图15)上找到两个主要强度峰值1510和1520。其右(最高)峰值1520对应于柱顶的下边缘(顶部边界或顶部水平边缘),而左(第二强度)峰值1510对应于基座的上边缘(底部边界或底部水平边缘)。
10.使用来自先前步骤的所发现边界,提取ROI子图像的垂直部分以用于进一步处理(图16)。
11.在ROI图像的顶部上找到柱顶的右边缘(图16)。将45度对角线梯度滤波器应用于图像。通过找到与右对角线边缘1710最佳拟合的最小二乘法而使右上梯度强度像素组与对角线线段拟合(图17)。
12.继续找到柱顶的左边缘。应用135度对角线梯度滤波器。通过找到最佳的最小二乘拟合法而使左上梯度强度像素组与135度对角线线段拟合。图18展示拟合的柱顶左对角线边缘1810和右对角线边缘1820两者。使用所发现段的左端和右端,计算以像素为单位的柱顶直径1830和光学路径中心的位置XC 1840。所计算柱顶直径1830使得真实器械坐标单位与图像(像素)单位能够准确匹配。光学路径中心XC用于液柱特征位置评估。
13.使用先前找到的柱顶对角线边缘且了解柱顶和基座的实际大小以提取最终ROI图像,其相对于器械柱顶和基座两者居中(图8B中的步骤805)。在所提取ROI图像的左边和右边添加额外空间以便包含更大背景区域,如图19中所示。
14.使用背景经预期的左背景矩形区域2010和2020以及右背景矩形区域2030和2040(参见图20中的白色矩形)而计算图像的左部和右部的背景参数。选定背景矩形区域使得能够估计灰度图像的不同部分的背景强度范围,同时考虑到图像的左部与右部之间的照明差异。
15.阈值处理技术接着应用于形成方便的二进制图像(实例经展示为图20中的经点刻图像叠对),其用于柱定位和测量。二进制图像为对于每个像素仅具有两个可能值的数字图像。那两个值通常被称为前景(值=1)和背景(值=0)。参见Gonzalez,第595页,以用于描述阈值处理技术。
16.通过应用使用左与右背景阈值之间的插值的动态阈值处理以个别地针对每个像素计算阈值而产生灰度ROI图像的第一二进制图像。图21说明仅用于一行灰度图像2110的动态阈值处理技术。通过使用来自两个背景区域2120和2130(分别为左侧矩形和右侧矩形,以灰色标记)的像素强度值的平均值和总标准差(σ)且应用上限与下限带阈值之间的插值而产生阈值带。带宽为6σ。将具有高于(和低于)所述带的强度的像素分配到二进制前景。应注意图21的图像的左部与右部之间图像亮度的差异。通过使用左侧背景区域均值ML2145和其标准差将左侧下限阈值Tmin 2150计算为Tmin=ML-3σ。使用相同值将左侧上限阈值Tmax 2140计算为Tmax=ML+3σ。使用等效公式和右侧背景区域均值MR 2165和其标准差σ计算右侧下限阈值2170和右侧上限阈值2160。在图21中所示的实例中,所述值大致为ML=110,MR=90,且对于ML和MR两者σ=3.3。两个带2120与2130之间的行2110上的所有像素的下限带阈值和上限带阈值通过插值法获得。分别在上限带阈值2140与2160之间和下限带阈值2150与2170之间的插值可为线性插值法,如图21中所示,或另一函数,例如二次插值法,在此函数产生较高分辨率二进制图像的情况下。
17.图20中所展示的突出显示的经点刻区域2050为图21中所展示的灰度分量图像的第一二进制图像的前景,其在将上文所描述的动态阈值处理技术应用于图21中所展示的所有灰度分量图像行之后获得。二进制图像前景2050具有大量断开段,其有时散射远离真实柱的区域。在此情况下,难以连接那些段以得到柱状。可通过使用第二二进制图像而进行所述连接。
18.通过使用相同灰度分量图像的各向同性梯度而产生第二二进制图像且基于梯度背景统计数据而施加静态阈值处理。假设各向同性梯度图像具有均值零,因此仅使用选定左侧和右侧矩形组来计算标准差。统计数据±三西格玛(σ)规则用于形成二进制化的阈值。所得第二二进制图像展示于图22中,其中所述图像覆盖于各向同性梯度(深色)图像顶部上。
19.组合两个二进制图像:第一个来自灰度分量图像且第二个来自各向同性梯度图像(上述)以产生复合二进制图像。所述组合使得能够通过断开前景段产生更完整的前景二进制图像。图23展示覆盖在梯度图像上的经组合二进制图像。
20.对于前景空腔的进一步柱状检测和填充,添加两个人造前景条带2410和2420,一个在顶部2410上且另一个在底部2420上(通过将二进制像素的值设为1)。图24展示覆盖在原始灰度图像顶部上的所得二进制。
21.形态操作和孔填充操作用于填充前景孔且使粗糙边缘平滑。参见Gonzalez,第528到536页。在图25中,所得二进制图像经展示覆盖在灰度图像顶部上。
22.通过将顶部和底部水平边缘上的二进制像素设为背景值(0,透明)而去除两个人造条带。接着,应用筛分滤波器以去除造成噪声的小特征(图8B中的步骤806)。所得二进制图像在前景叠对与柱状之间产生良好匹配(参见图26),由此根据复合二进制图像检测液体样本柱的位置和光束路径的位置。
23.通过使用连接分量提取算法(参见Gonzalez,第536页)提取连接前景对象,由此根据复合二进制图像评估液体样本柱的完整性。通常,仅一个对象与正常液柱匹配。如果存在两个或多于两个对象,那么这是断裂柱的情况(参见图32以作为实例)。如果未发现对象,那么这是空隔室的情况。在后两种情况下,可不进行进一步分析且报告错误码以通知算子(图8B中的步骤807和808)。
24.根据所检测到的二进制对象2610计算柱状(以像素为单位)的面积,如图26中所示。此外,通过找到封闭到所检测到的柱二进制对象2610中的最大面积矩形而计算光学路径左边缘位置XL 2620和右边缘位置XR 2630。差XR-XL为光路直径(图8B中的步骤809)。所计算光束中心XC 1840、理论最大光束半径RO(在一个实施例中,RO等于所计算柱顶直径1110的约1/20)、柱XL 2620和XR 2630(封闭矩形垂直边缘位置)用于计算偏离中心参数。如果距离min(XC+RO,XR)-max(X C-RO,XL)小于1.5RO,那么根据复合二进制图像检测液体样本柱的偏度和偏离中心情况。半径为RO且居于中心XC的理论光束路径应与所计算柱光路(矩形)拟合,重叠至少为1.5光束半径宽度。
用于液柱形状检测的替代图像分析方法包含通过使用用于提取对象轮廓的边缘检测算子而检测例如液柱的关注对象。这些算子基于计算灰度图像的浅色区域与深色区域之间像素强度的差。存在可应用的若干基本的边缘检测(梯度)算子:索贝尔、高斯拉普拉斯(Laplacian-of-Gaussian)、罗伯茨(Roberts)、普瑞维特(Prewitt)或复合坎尼(Canny)算法。最后一个由若干步骤组成,包含噪声抑制和动态阈值处理/二进制化。参见坎尼,J.,“边缘检测计算方法(A Computational Approach To Edge Detection)”,美国电力工程学会公刊(IEEE Trans)。模式分析和机器智能(Pattern Analysis and MachineIntelligence),第8(6)卷:679到698,1986(在下文中为“Canny”),其公开内容特此以全文引用的方式并入本文中(然而,当所并入参考文献中的任何内容与本申请中所陈述的任何内容抵触时,以本申请为准)。
然而,当处理模糊且有噪声的图像,例如图33中所展示的液柱的模糊图像的实例时,所有这些梯度阈值方法可能不足。在将索贝尔边缘检测器算子应用于图33中所展示的模糊图像之后获得的所得梯度图像,图34中所展示,显露所述柱的边缘(光带)但其在底部部分上被洗掉。在阈值处理/二进制化之后,图35中所展示的所得二进制图像(经点刻叠对)含有具有额外杂散的若干非连续部分。未能检测到连续轮廓(形状)的原因是梯度或边缘检测器算子在例如3×3、5×5等本地图像区域(窗口)中进行运算,像素宽区域和因此这些算子遗漏关于对象轮廓形状的‘高’级结构信息。
有效轮廓跟踪(也被称作“蛇”)方法可用于处理断开或有噪声的(杂散)轮廓结果。参见Kass,M.;威特金(Witkin),A.;特佐波乐斯(Terzopoulos),D.,“蛇:有效轮廓模型(Snakes:Active contour models)”,国际计算机视觉处理期刊,第1(4)卷:321,1988,其公开内容特此以全文引用的方式并入本文中(然而,当所并入参考文献中的任何内容与本申请中所陈述的任何内容抵触时,以本申请为准)。有效轮廓跟踪方法为后接使用例如连续性和平滑度的轮廓曲线性质的结果(二进制化)的轮廓跟踪的边缘检测器算子的组合。有效轮廓法是基于使用能量泛函的想法,所述能量泛函表示应用于轮廓曲线的内力与外力的加权组合。在外力来自图像性质(梯度)时,通过轮廓的物理性质(弹性和弯曲)控管内力。通过获得能量泛函的最佳值(最小值)而解决所述问题。总能量泛函经界定为在参数化轮廓的完整范围C[0,1]内的以下定积分
E* v=∫CEac(v(s))ds=∫CEin(v(s))+Eex(v(s))ds
其中Ein(v(s))表示有效轮廓归因于弹性和弯曲的内部能量,且Eex(v(s))表示应用于所述轮廓的外部(图像)力。内部能量经界定为以下两项的和:
Ein=(α|v'(s)|2+β|v”(s)|2)/2
通过α系数控制的一阶项调整有效轮廓的弹性。通过β系数控制的二阶项调整有效轮廓的刚度。换句话说,第一部分使有效轮廓保持较短(阻止拉伸),而第二部分使其保持笔直(阻止弯曲)。
鉴于灰度图像L(x,y),其表示图像的每个(x,y)位置的强度的函数,选择图像(外部)力以引导有效轮廓朝向对象边缘且可由两个泛函表示(参见Canny):
其中Gδ(x,y)为具有标准差δ的二维高斯函数,为梯度算子且*表示卷积算子。换句话说,Eex (2)表示经平滑L(x,y)图像的梯度。
在二进制图像B(x,y)的情况下,外力可经公式化如下:
Eex (1)=~B(x,y)
Eex (2)=Gδ(x,y)*~B(x,y)
其中~B(x,y)表示倒置二进制图像。
所述参数δ控制灰度或二进制图像的平滑度-δ参数越大,图像和其对象边缘越模糊。参数δ的目标是扩大搜索范围以用于优化有效轮廓。
可使用欧拉(Euler)语言方程式发现E* V的最小值:
姑且表示Fin=αv”(s)-βv””(s)且且接着后一方程式可经重新公式化为力平衡方程式:
Fin+Fex=0
Fin项表示阻止拉伸和弯曲的内力,而外力Fex拉动有效轮廓朝向所要图像边缘。使用梯度下降法实现求解以上方程式,所述梯度下降法需要将有效轮廓v转换成时间的函数v(s,t)。接着v(s,t)相对于t的偏导数可应用于欧拉语言方程式的两侧。在若干迭代之后,当有效轮廓(“蛇”)已收敛为最小值时,其相对于时间的导数变为零,且求解所述方程式。
可通过使参数s和t离散且在数值上求解所述方程式而获得以上方程式的数值解。
对有效轮廓模型进行修改,其中隐含地将曲线v界定为新参数r的函数,即,接着可根据测地线形式(GAC)来对所述问题进行重新公式化,其认为有效轮廓优化可表达为在界定约束下找到最小(测地线)长度的曲线。参见Caselles,V.,基梅尔(Kimmel),R.和Sapiro,G.,“测地线有效轮廓(Geodesic Active Contours)”,国际计算机视觉处理期刊,第22(1)卷:61到79,1997,其公开内容特此以全文引用的方式并入本文中(然而,当所并入参考文献中的任何内容与本申请中所陈述的任何内容抵触时,以本申请为准)。
另一方面,下文描述的图像分析技术涉及检测夹杂物(呈气泡形式)和散射光,其可能影响光谱测量。可测量以下两个参数,发现所述参数以组合形式有效:气泡存在分数和散射光强度。图27展示图像顶部附近具有相当大气泡2710的图像的实例。
灰度分量图像的各向同性梯度图像用于气泡夹杂物检测(参见图28)。特殊的环形检测滤波器经设计以测量气泡分数。图29A和29B展示内核大小为9×9像素的环形检测滤波器的实例。图29A展示滤波器的3D连续表示,而图29B展示作为9×9矩阵的其数字近似值(出于显示目的将矩阵值乘以100)。图29A中所展示的3D图说明围绕其周边的升高圆形平台和中心的圆形负腔区域。内核的其余部分的强度值被设定成0。其形状与各向同性梯度图像上的环状特征相关从而使得能够测量其强度分数,由此检测液体样本柱中的任何气泡。
环形检测滤波器的简化解释呈现于图30A到30B中,其中将环形滤波器应用于单个图像行(图像顶部附近的灰色线3010)。具有行特征曲线(图30A-2中所展示的图)的梯度图像展示于图30A-1中。通过使用环形滤波器下方展示的公式将环形滤波器(右上方)应用于所述行中的所有像素,其中Kj为内核位置j处的内核系数,Pi为行位置i处的像素强度且Fi为位置i处的结果值。将所述程序应用于所有图像行。图30B-1展示具有其横截面行3020的所得图像。应注意图30B-2中所展示的结果峰值,其对应于梯度图像上的环形特征(顶部上标记有箭头)。
以下步骤形成用于使用灰度分量图像和光散射分量图像的二进制图像两者检测液体样本柱中的任何气泡的环形/气泡存在分数计算算法:
1.将连续环形检测滤波施加于从灰度分量图像获得的灰度各向同性梯度图像(图28)。
2.将所述结果积累为累积图像分数。
3.使用所计算光路矩形(在上述步骤24中获得的2610,图26中所展示)以限制环形检测滤波器应用区域。
4.从最小环形滤波器大小(3×3)开始且使其按2来增大(下一大小为5×5)以此类推直到预先界定最大滤波器直径(例如15×15)以涵盖所有可能的气泡大小。在计算时,跳过低于某一阈值的分数以避免归因于噪声而积累值。基于梯度图像的背景矩形区域的统计数据而计算噪声阈值(图8B中的步骤810)。
5.从光散射分量图像提取(与图19中所展示的灰度分量图像的ROI部分)相同的ROI部分以估计所发现柱状区域中的光散射强度。图31展示光散射分量强度测量的工作流程。应注意去除的噪声且仅测量气泡散射。
6.如图31中的工作流程中所展示,光散射分量图像经二进制化以使用阈值形成二进制光散射分量图像,所述阈值是使用选定背景矩形区域的所计算标准差而计算出的(假设均值为零,这是因为正常情况下预期不存在蓝色)。同样,统计数据±三西格玛(σ)规则用于设定二进制化阈值。接着,应用形态闭合(形态滤波器)后接筛分滤波器以用于去除小粒子。接着,二进制前景和所计算光路矩形用于限制将蓝色分量强度像素相加的区域。接着,所得强度和经标准化以使其对于为一和更高的值来说相当大(图8B中的步骤811)。
7.检查气泡存在分数和散射光强度分数。如果两个分数均大于一,那么报告所述缺陷(图8B中的步骤812和814)。
为了区分光束路径中的气泡与光束路径之外的气泡,使用所计算光束中心XC1840、理论最大光束半径RO(在一个实施例中,RO等于所计算柱顶直径1110的约1/20)、柱XL2620和XR 2630(所计算光学路径边缘)。气泡检测滤波器和散射光分数两者的计算区域受限如下:左限为max(XC-RO,XL)且右限为min(XC+RO,XR)。限制计算区域使得能够仅在已知使光谱测量失真的图像部分中执行气泡和光散射分数测量。
如图36中所示的具有气泡的液柱的图像表明气泡边缘(轮廓)表示圆形或椭圆形形状。应注意,所述气泡中的一些可由于图像为具有气泡的3D液柱的2D(投影)图像而被遮挡。对于发现圆形对象,可使用霍夫(Hough)变换作为气泡检测的替代方法。参见FilibertoP.,“根据分段轮廓辨识部分圆形形状(Recognition of Partial Circular Shapes fromSegmented Contours)”,计算机视觉处理和图像理解(Computer Vision And ImageUnderstanding),第63(2)卷,334到342,1996,其公开内容特此以全文引用的方式并入本文中(然而,当所并入参考文献中的任何内容与本申请中所陈述的任何内容抵触时,以本申请为准)。变换的优点包含其归因于遮挡对噪声的不敏感性和对变形的稳固性等等。
姑且仅考虑圆形形状,但霍夫变换也可处理椭圆形形状。将霍夫变换施加到梯度图像的二进制化(经阈值处理)图像或所检测到的气泡边缘的二进制图像。举例来说,坎尼算子可用于边缘检测和将其阈值处理为二进制图像。
标准圆方程式具有以下形式:
(x-a)2+(y-b)2=r2,
其中r为圆的半径且(a,b)为圆心的坐标。
将霍夫变换施加到圆方程式的数字形式,其中所有参数为离散的:x和y为二进制(0或1)像素的矩阵的列和行的索引,参数a和b也是圆心的索引(相对位置)且r横跨圆的可能半径,其与图像拟合且绑定到所关注的物理对象(在此情况下为气泡)。半径通常从大于一的值开始,由于半径的近似值-数字图像上的一个圆太粗糙(其表示正方形)。接着,每一二进制边缘(轮廓)像素(xi,yi)可转换为3D(a,b,r)参数空间中圆锥体的近似值。如果所有轮廓点均位于圆上,那么所有其对应圆锥将在对应于圆的所述参数的单个点(ai,bi,ri)处相交。
由于空间为数字的,因此满足圆方程式的数字形式的圆锥在一个像素处将并不相交,但替代地表示具有高斯状密度分布的像素的小集群,其中心(最密集值)为所得(ai,bi,ri)圆三元组。为了实施分布空间,需要额外表决(整数)值v且变换的结果为表决值的3D矩阵:
V=v(a',b',r'),
其中a'横跨所有图像列,b'横跨所有图像行且r'横跨所关注对象的所有可能半径。
霍夫算法的最终且最具有挑战性的部分为获得所得矩阵V(参数空间)中的局部极大值点。通常,这需要对最终矩阵V应用额外滤波器。可通过将阈值应用于经滤波矩阵V而获得所得局部极大值点,且其表示所有可能的圆形对象。由于表决技术,所述算法甚至对于不完整或有噪声的图像也效果很好。
对于表1中所展示的图像分析总结报告,将具有示范性值的以下参数显示给器械的操作员。
表1.图像分析报告
偏离中心偏移(像素) | 5 |
光学路径直径(像素) | 208 |
光散射强度分数 | 21.9 |
气泡存在分数 | 36.0 |
液柱特征区域(像素) | 25554 |
平均ROI像素强度 | 148 |
柱光学路径长度(像素) | 119 |
偏离中心偏移:展示柱形状中心偏移,以像素为单位(参见图11)。应注意,由于柱顶和基座的物理尺寸已知,因此像素易于转化为量度单位。图26中所展示的且在上述步骤24中所描述的所计算光路矩形2610用于偏离中心偏移计算。
光学路径直径:所计算液柱光/光学路径(封闭圆柱体)直径,以像素为单位。参见上述步骤24以找到其计算的细节。
光散射分数:经测量光散射标准化强度,呈任意分数单位;1和更高的值通常指示气泡/夹杂物缺陷。所述计算展示于上述环形/气泡存在分数计算算法的步骤4中。
气泡存在分数:呈任意单位,大于1的值指示气泡的存在。气泡存在分数与光散射分数组合使用以识别冒泡(有缺陷的)液柱。对于参数计算细节,参见上述环形/气泡存在分数计算算法的步骤4。
液柱特征区域:以像素为单位的所计算柱状的经测量区域。
液柱光学路径长度:以像素为单位的所计算光路矩形的经测量高度,描述于上述步骤24中。
平均ROI像素强度:平均图像强度(在0与255之间),适用于检测曝光不足或曝光过度灰度图像且调整二进制化阈值。
液柱分析算法产生以下软件完成码:
未定义:意味着在初始ROI提取阶段期间分析中断或失败(异常条件)的初始值;
OK:正常液柱,预期良好光谱读数(图8B中的步骤813);
有缺陷的液柱:检查偏离中心值、气泡存在分数和光散射分数以识别原因(图8B中的步骤814);
空的隔室:未检测到液柱(图8B中的步骤808);
断裂液柱:界面表面之间无连接(图8B中的步骤808);
液柱太短:界面表面之间的距离太短(异常条件);
不良背景:图像背景质量对于分析来说太差(异常条件)(图8B中的步骤803)。
虽然已参考示范性实施例描述了本发明,但所属领域的技术人员应理解,在不脱离本发明范围的情况下可以进行各种改变并且其要素可以由等效物取代。另外,所属领域的技术人员应了解,在不脱离本发明的基本范围的情况下,可以进行许多修改以使具体器械、情形或材料适应本发明的教示。因此,不希望本发明限于作为预期用于执行本发明的最佳模式来公开的具体实施例,而是本发明将包含属于所附权利要求书的范围内的所有实施例。
权利要求书(按照条约第19条的修改)
1.一种图像分析***,包括:
a.摄像机,其收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;和
b.处理器,其适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
2.根据权利要求1所述的图像分析***,进一步包含均匀反射背景。
3.根据权利要求2所述的图像分析***,其中所述均匀反射背景为浅灰色均匀反射背景。
4.根据权利要求3所述的图像分析***,其中所述浅灰色均匀反射背景为82%亮度和12%光泽度的浅灰色均匀反射背景。
5.根据权利要求1所述的图像分析***,其中所述摄像机从相机视频流收集所述YUV彩色图像。
6.根据权利要求5所述的图像分析***,其中所述处理器进一步适合于从所述YUV彩色图像的Y分量的平均值获得所述灰度分量图像。
7.根据权利要求5所述的图像分析***,其中所述处理器进一步适合于从所述YUV彩色图像的最大U分量获得所述光散射分量图像。
8.根据权利要求1所述的图像分析***,其中所述处理器进一步适合于根据所述灰度分量图像检测包含所述柱顶和所述基座的位置的受关注区域。
9.根据权利要求1所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的上限动态阈值和下限动态阈值而获得。
10.根据权利要求9所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
11.根据权利要求10所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
12.根据权利要求11所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
13.根据权利要求12所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本的所述柱的偏度。
14.根据权利要求12所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像评估所述液体样本的所述柱的完整性。
15.一种分析图像的方法,所述方法包括:
a.收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;
b.从所述YUV彩色图像获得灰度分量图像和光散射分量图像;
c.获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像;以及
d.将图像分析总结报告给显示器。
16.根据权利要求15所述的分析图像的方法,其中收集YUV彩色图像包含从相机视频流收集所述YUV彩色图像。
17.根据权利要求16所述的分析图像的方法,其中获得所述灰度分量图像包含求所述YUV彩色图像的Y分量的平均值。
18.根据权利要求16所述的分析图像的方法,其中获得所述光散射分量图像包含选择所述YUV彩色图像的最大U分量。
19.根据权利要求15所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的上限动态阈值和下限动态阈值而获得。
20.根据权利要求19所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
21.根据权利要求20所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
22.根据权利要求21所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
23.根据权利要求22所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本的所述柱的偏度。
24.根据权利要求22所述的分析图像的方法,进一步包含根据所述复合二进制图像评估所述液体样本的所述柱的完整性。
25.一种包含图像分析***的光谱仪,所述***包括:
a.摄像机,其收集安置于所述光谱仪的柱顶与基座之间的液体样本的图像,所述图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集以供光度或光谱测量;和
b.处理器,其适合于使用所述图像而检测所述液体样本柱中的任何气泡。
26.根据权利要求25所述的图像分析***,其中所述图像为YUV彩色图像,且所述处理器进一步适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
27.根据权利要求26所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的上限动态阈值和下限动态阈值而获得。
28.根据权利要求27所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
29.根据权利要求28所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
30.根据权利要求29所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本的所述柱的位置和所述光束路径的位置。
31.根据权利要求30所述的图像分析***,其中所述处理器进一步适合于使用所述灰度分量图像和所述光散射分量图像的所述至少一个二进制图像两者来检测所述液体样本的所述柱中的任何气泡。
32.根据权利要求31所述的图像分析***,其中使用所述灰度分量图像包含将环形检测滤波器应用于从所述灰度分量图像获得的灰度各向同性梯度图像。
33.根据权利要求31所述的图像分析***,其中使用所述至少一个二进制光散射分量图像包含将形态滤波器应用于所述光散射分量图像的所述至少一个二进制图像。
34.根据权利要求31所述的图像分析***,其中所述处理器进一步适合于使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
35.一种分析图像的方法,所述方法包括:
a.收集安置于光谱仪的柱顶与基座之间的液体样本的图像,所述图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集以供光度或光谱测量;
b.根据所述图像检测所述液体样本柱的位置和所述光束路径的位置;
c.使用所述图像而检测所述液体样本的所述柱中的任何气泡;以及
d.将图像分析总结报告给显示器。
36.根据权利要求35所述的分析图像的方法,其中收集所述液体样本的图像包含收集YUV彩色图像;从所述YUV彩色图像获得灰度分量图像和光散射分量图像;以及获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
37.根据权利要求36所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的上限动态阈值和下限动态阈值而获得。
38.根据权利要求37所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
39.根据权利要求38所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
40.根据权利要求39所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
41.根据权利要求40所述的分析图像的方法,其中检测所述液体样本的所述柱中的任何气泡包含使用所述灰度分量图像和所述光散射分量图像的所述至少一个二进制图像两者。
42.根据权利要求41所述的分析图像的方法,其中使用所述灰度分量图像包含将环形检测滤波器应用于从所述灰度分量图像获得的灰度各向同性梯度图像。
43.根据权利要求41所述的分析图像的方法,其中使用所述至少一个二进制光散射分量图像包含将形态滤波器应用于所述光散射分量图像的所述至少一个二进制图像。
44.根据权利要求41所述的分析图像的方法,进一步包含使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
说明或声明(按照条约第19条的修改)
尊敬的先生/女士:
申请人请求在上述国际申请中根据PCT条约19条进入下列修改。
原始权利要求1-8、10-18、20-26、28-36、38-44未改变。原始权利要求9、19、27和37被修改。
修改的基础:权利要求9、19、27和37在每项权利要求的第3行处已被修改为包括在原始段落[0037]和[0099]中公开的上限动态阈值和下限动态阈值的限定。
附上包含权利要求1-44的原始页27-32的替换页。
未通过该修改引入新的事物。此外,该修改未超出所提交的国际申请中的披露内容。
Claims (44)
1.一种图像分析***,包括:
a.摄像机,其收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;和
b.处理器,其适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
2.根据权利要求1所述的图像分析***,进一步包含均匀反射背景。
3.根据权利要求2所述的图像分析***,其中所述均匀反射背景为浅灰色均匀反射背景。
4.根据权利要求3所述的图像分析***,其中所述浅灰色均匀反射背景为82%亮度和12%光泽度的浅灰色均匀反射背景。
5.根据权利要求1所述的图像分析***,其中所述摄像机从相机视频流收集所述YUV彩色图像。
6.根据权利要求5所述的图像分析***,其中所述处理器进一步适合于从所述YUV彩色图像的Y分量的平均值获得所述灰度分量图像。
7.根据权利要求5所述的图像分析***,其中所述处理器进一步适合于从所述YUV彩色图像的最大U分量获得所述光散射分量图像。
8.根据权利要求1所述的图像分析***,其中所述处理器进一步适合于根据所述灰度分量图像检测包含所述柱顶和所述基座的位置的受关注区域。
9.根据权利要求1所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。
10.根据权利要求9所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
11.根据权利要求10所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
12.根据权利要求11所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
13.根据权利要求12所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本的所述柱的偏度。
14.根据权利要求12所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像评估所述液体样本的所述柱的完整性。
15.一种分析图像的方法,所述方法包括:
a.收集安置于柱顶与基座之间的液体样本的YUV彩色图像,所述彩色图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集;
b.从所述YUV彩色图像获得灰度分量图像和光散射分量图像;
c.获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像;以及
d.将图像分析总结报告给显示器。
16.根据权利要求15所述的分析图像的方法,其中收集YUV彩色图像包含从相机视频流收集所述YUV彩色图像。
17.根据权利要求16所述的分析图像的方法,其中获得所述灰度分量图像包含求所述YUV彩色图像的Y分量的平均值。
18.根据权利要求16所述的分析图像的方法,其中获得所述光散射分量图像包含选择所述YUV彩色图像的最大U分量。
19.根据权利要求15所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。
20.根据权利要求19所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
21.根据权利要求20所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
22.根据权利要求21所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
23.根据权利要求22所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本的所述柱的偏度。
24.根据权利要求22所述的分析图像的方法,进一步包含根据所述复合二进制图像评估所述液体样本的所述柱的完整性。
25.一种包含图像分析***的光谱仪,所述***包括:
a.摄像机,其收集安置于所述光谱仪的柱顶与基座之间的液体样本的图像,所述图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集以供光度或光谱测量;和
b.处理器,其适合于使用所述图像而检测所述液体样本柱中的任何气泡。
26.根据权利要求25所述的图像分析***,其中所述图像为YUV彩色图像,且所述处理器进一步适合于i)从所述YUV彩色图像获得灰度分量图像和光散射分量图像,以及ii)获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
27.根据权利要求26所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。
28.根据权利要求27所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
29.根据权利要求28所述的图像分析***,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
30.根据权利要求29所述的图像分析***,其中所述处理器进一步适合于根据所述复合二进制图像检测所述液体样本的所述柱的位置和所述光束路径的位置。
31.根据权利要求30所述的图像分析***,其中所述处理器进一步适合于使用所述灰度分量图像和所述光散射分量图像的所述至少一个二进制图像两者来检测所述液体样本的所述柱中的任何气泡。
32.根据权利要求31所述的图像分析***,其中使用所述灰度分量图像包含将环形检测滤波器应用于从所述灰度分量图像获得的灰度各向同性梯度图像。
33.根据权利要求31所述的图像分析***,其中使用所述至少一个二进制光散射分量图像包含将形态滤波器应用于所述光散射分量图像的所述至少一个二进制图像。
34.根据权利要求31所述的图像分析***,其中所述处理器进一步适合于使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
35.一种分析图像的方法,所述方法包括:
a.收集安置于光谱仪的柱顶与基座之间的液体样本的图像,所述图像在光源通过所述柱顶与所述基座之间的光束路径发光时收集以供光度或光谱测量;
b.根据所述图像检测所述液体样本柱的位置和所述光束路径的位置;
c.使用所述图像而检测所述液体样本的所述柱中的任何气泡;以及
d.将图像分析总结报告给显示器。
36.根据权利要求35所述的分析图像的方法,其中收集所述液体样本的图像包含收集YUV彩色图像;从所述YUV彩色图像获得灰度分量图像和光散射分量图像;以及获得所述灰度分量图像的至少一个二进制图像和所述光散射分量图像的至少一个二进制图像。
37.根据权利要求36所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含所述灰度分量图像的第一二进制图像,所述第一二进制图像通过在所述灰度分量图像中施加从左与右背景变化阈值之间的插值获得的动态阈值而获得。
38.根据权利要求37所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含灰度各向同性梯度图像的第二二进制图像,所述灰度各向同性梯度图像是基于各向同性梯度图像背景噪声统计数据使用所述灰度分量图像和静态阈值而获得。
39.根据权利要求38所述的分析图像的方法,其中所述灰度分量图像的所述至少一个二进制图像包含从所述第一与第二二进制图像的组合获得的复合二进制图像。
40.根据权利要求39所述的分析图像的方法,进一步包含根据所述复合二进制图像检测所述液体样本柱的位置和所述光束路径的位置。
41.根据权利要求40所述的分析图像的方法,其中检测所述液体样本的所述柱中的任何气泡包含使用所述灰度分量图像和所述光散射分量图像的所述至少一个二进制图像两者。
42.根据权利要求41所述的分析图像的方法,其中使用所述灰度分量图像包含将环形检测滤波器应用于从所述灰度分量图像获得的灰度各向同性梯度图像。
43.根据权利要求41所述的分析图像的方法,其中使用所述至少一个二进制光散射分量图像包含将形态滤波器应用于所述光散射分量图像的所述至少一个二进制图像。
44.根据权利要求41所述的分析图像的方法,进一步包含使用所述灰度分量图像、所述光散射分量图像的所述至少一个二进制图像和所述光束路径的所述计算位置而区分所述光束路径中的气泡与所述光束路径之外的气泡。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562219444P | 2015-09-16 | 2015-09-16 | |
US62/219,444 | 2015-09-16 | ||
US201662306786P | 2016-03-11 | 2016-03-11 | |
US62/306,786 | 2016-03-11 | ||
PCT/US2016/049189 WO2017048491A1 (en) | 2015-09-16 | 2016-08-29 | Image analysis system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107969148A true CN107969148A (zh) | 2018-04-27 |
CN107969148B CN107969148B (zh) | 2021-03-19 |
Family
ID=56883875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680049333.0A Active CN107969148B (zh) | 2015-09-16 | 2016-08-29 | 图像分析***和方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10630951B2 (zh) |
EP (1) | EP3350574B1 (zh) |
JP (1) | JP7139243B2 (zh) |
CN (1) | CN107969148B (zh) |
CA (1) | CA2995732A1 (zh) |
WO (1) | WO2017048491A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108534802A (zh) * | 2018-04-28 | 2018-09-14 | 中国计量大学 | 基于图像处理技术的管水准器气泡偏移量测量方法 |
CN114993212A (zh) * | 2022-07-18 | 2022-09-02 | 扬州宇航测绘科技有限公司 | 基于视觉灰度和延时摄影的测绘方法和*** |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102245238B1 (ko) | 2019-10-29 | 2021-04-28 | (주)마이크로디지탈 | 흡광 분석 장치 |
CN116710960A (zh) * | 2020-12-24 | 2023-09-05 | 星德科技术株式会社 | 气泡识别装置、气泡识别方法及异物检测*** |
CN117314924B (zh) * | 2023-11-30 | 2024-02-09 | 湖南西欧新材料有限公司 | 基于图像特征的电镀产品表面瑕疵检测方法 |
CN117876361B (zh) * | 2024-03-11 | 2024-05-10 | 烟台海上航天科技有限公司 | 用于燃气管道高危作业的图像处理方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1120163A (zh) * | 1993-11-24 | 1996-04-10 | 尼若·施瓦茨 | 用于质量和流程控制的动态流体液位及气泡的检测 |
WO2001014855A1 (en) * | 1999-08-20 | 2001-03-01 | Charles William Robertson | Liquid photometer using surface tension to contain sample |
CN102341690B (zh) * | 2009-03-04 | 2013-10-09 | 马尔文仪器有限公司 | 粒子表征 |
WO2014100715A2 (en) * | 2012-12-21 | 2014-06-26 | Ehrenkranz Joel R L | Supplements and monitoring systems for dosing of the supplements |
CN104487816A (zh) * | 2012-05-24 | 2015-04-01 | 艾伯维公司 | 用于检测有益制剂中的颗粒的***及方法 |
WO2015069936A2 (en) * | 2013-11-06 | 2015-05-14 | Martino Raymond Anthony | Cancer urine test |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0657630B2 (ja) * | 1987-04-27 | 1994-08-03 | 信越半導体株式会社 | 半導体棒熔融帯域制御装置 |
JPS63307186A (ja) * | 1987-06-05 | 1988-12-14 | Shin Etsu Handotai Co Ltd | 晶出結晶径制御装置 |
JP2795454B2 (ja) * | 1989-03-16 | 1998-09-10 | ヤンマー農機株式会社 | カラー情報による境界線の検出方法 |
JP2707743B2 (ja) * | 1989-07-17 | 1998-02-04 | 株式会社イナックス | 表面性状の変化度の自動評価方法 |
JPH04359106A (ja) * | 1991-06-06 | 1992-12-11 | Hitachi Ltd | 透明物体内の気泡検出装置 |
US5566249A (en) * | 1994-09-20 | 1996-10-15 | Neopath, Inc. | Apparatus for detecting bubbles in coverslip adhesive |
JPH09185711A (ja) * | 1995-12-28 | 1997-07-15 | Kobe Steel Ltd | 形状認識方法及び装置 |
JP2000036032A (ja) * | 1998-07-17 | 2000-02-02 | Fujitsu Ltd | 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置 |
JP3917341B2 (ja) * | 2000-01-05 | 2007-05-23 | 株式会社東芝 | 画像処理装置 |
US6809826B2 (en) * | 2001-02-20 | 2004-10-26 | Charles William Robertson | Liquid photometer using surface tension to contain sample |
GB0326374D0 (en) * | 2003-11-12 | 2003-12-17 | British Telecomm | Object detection in images |
US7375815B2 (en) * | 2004-10-12 | 2008-05-20 | Agilent Technologies, Inc. | Optical devices, systems and method for producing a collimated light path |
US20060158546A1 (en) * | 2005-01-20 | 2006-07-20 | Pentax Corporation | Image surface illuminance varying apparatus, exposure correcting apparatus, and exposure correcting method |
EP1861653B1 (en) * | 2005-02-11 | 2014-05-21 | NanoDrop Technologies LLC | Apparatus and method for measuring the signal from a fluorescing nanodrop contained by surface tension |
JP2007189577A (ja) * | 2006-01-16 | 2007-07-26 | Matsushita Electric Ind Co Ltd | コンピュータプログラム、画像入力装置、画像入力システムおよび画像入力方法 |
JP2007226334A (ja) * | 2006-02-21 | 2007-09-06 | Omron Corp | カラー画像の処理方法およびカラー画像処理装置 |
GB0611701D0 (en) * | 2006-06-14 | 2006-07-26 | Biochrom Ltd | Analytical apparatus |
GB2460981B (en) * | 2007-04-13 | 2011-11-09 | Technologies Inc C | Interactive variable pathlength device |
US8355595B2 (en) * | 2007-05-15 | 2013-01-15 | Xerox Corporation | Contrast enhancement methods and apparatuses |
US9502227B2 (en) * | 2007-11-02 | 2016-11-22 | Humanix Co., Ltd. | Capturing of cell fluid and analysis of its components under observation of cells and instruments for the cell fluid capturing and the analysis |
JP2010009480A (ja) * | 2008-06-30 | 2010-01-14 | Bonds Networks Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及びこれが記録された記録媒体 |
US8189199B2 (en) * | 2008-10-03 | 2012-05-29 | Nanodrop Technologies, Llc | Dual sample mode spectrophotometer |
JP5567020B2 (ja) * | 2008-10-03 | 2014-08-06 | ナノドロップ テクノロジーズ リミテッド ライアビリティ カンパニー | 最適な吸光度測定のための光路長センサ及び方法 |
US8742351B2 (en) * | 2008-12-02 | 2014-06-03 | Shimadzu Corporation | Spectrophotometer |
US7969575B2 (en) * | 2009-02-03 | 2011-06-28 | Quawell Technology, Inc. | Method and apparatus for measuring light absorption of liquid samples |
JP2011221603A (ja) * | 2010-04-05 | 2011-11-04 | Hiromitsu Hama | 支配的特徴を用いたマルチメディア認識・検索システム |
US20180354683A1 (en) * | 2010-05-17 | 2018-12-13 | Richard Clarence Bludorn | Liquid Sample Package Device |
US8570521B2 (en) * | 2010-11-21 | 2013-10-29 | Reach Devices, LLC | Optical system design for wide range optical density measurements |
US9341515B2 (en) * | 2011-02-11 | 2016-05-17 | University Of Central Florida Research Foundation, Inc. | Optical absorbance measurement apparatus, method, and applications |
KR20130143542A (ko) * | 2011-02-15 | 2013-12-31 | 파나소닉 주식회사 | 액체 토출 장치 및 액체 토출 방법 |
JP5692880B2 (ja) * | 2011-06-07 | 2015-04-01 | 国立大学法人東北大学 | フォトダイオード及びその製造方法、フォトダイオードアレイ、分光光度計、並びに固体撮像装置 |
TWI456199B (zh) * | 2011-12-29 | 2014-10-11 | Univ Nat Chiao Tung | 生物檢測裝置及檢測方法 |
GB2519460B (en) * | 2012-07-09 | 2018-02-21 | Thermo Electron Scient Instruments Llc | Motorized variable path length cell for spectroscopy |
US9339572B2 (en) * | 2013-03-15 | 2016-05-17 | EP Technologies LLC | Methods and solutions for killing or deactivating spores |
JP6221682B2 (ja) * | 2013-11-22 | 2017-11-01 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
EP3175302B1 (en) * | 2014-08-01 | 2021-12-29 | The Regents of the University of California | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography |
US9366634B2 (en) * | 2014-10-22 | 2016-06-14 | Bwt Property, Inc. | Substrate enhanced laser-induced breakdown spectroscopy (LIBS) apparatus |
US10281795B2 (en) * | 2014-12-29 | 2019-05-07 | Lg Display Co., Ltd. | Liquid crystal lens film structure, method of fabricating the same and image display device with the same |
EP3303407B1 (en) * | 2015-06-05 | 2022-02-09 | Dow Global Technologies LLC | Cellulose ether powders |
WO2016196152A1 (en) * | 2015-06-05 | 2016-12-08 | Dow Global Technologies Llc | Cellulose ether powders |
US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
EP3350548B1 (en) * | 2015-07-23 | 2022-11-23 | Khalifa University of Science and Technology | System and method for real-time flow measurement in pipelines using thz imaging |
US10384813B2 (en) * | 2016-11-16 | 2019-08-20 | Jerome Drexler | Spacecraft landing and site-to-site transport for a planet, moon or other space body |
-
2016
- 2016-08-29 CA CA2995732A patent/CA2995732A1/en active Pending
- 2016-08-29 WO PCT/US2016/049189 patent/WO2017048491A1/en active Application Filing
- 2016-08-29 EP EP16762943.5A patent/EP3350574B1/en active Active
- 2016-08-29 CN CN201680049333.0A patent/CN107969148B/zh active Active
- 2016-08-29 JP JP2018513670A patent/JP7139243B2/ja active Active
- 2016-09-12 US US15/262,191 patent/US10630951B2/en active Active
-
2020
- 2020-03-10 US US16/814,646 patent/US11057599B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1120163A (zh) * | 1993-11-24 | 1996-04-10 | 尼若·施瓦茨 | 用于质量和流程控制的动态流体液位及气泡的检测 |
WO2001014855A1 (en) * | 1999-08-20 | 2001-03-01 | Charles William Robertson | Liquid photometer using surface tension to contain sample |
CN102341690B (zh) * | 2009-03-04 | 2013-10-09 | 马尔文仪器有限公司 | 粒子表征 |
CN104487816A (zh) * | 2012-05-24 | 2015-04-01 | 艾伯维公司 | 用于检测有益制剂中的颗粒的***及方法 |
WO2014100715A2 (en) * | 2012-12-21 | 2014-06-26 | Ehrenkranz Joel R L | Supplements and monitoring systems for dosing of the supplements |
WO2015069936A2 (en) * | 2013-11-06 | 2015-05-14 | Martino Raymond Anthony | Cancer urine test |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108534802A (zh) * | 2018-04-28 | 2018-09-14 | 中国计量大学 | 基于图像处理技术的管水准器气泡偏移量测量方法 |
CN108534802B (zh) * | 2018-04-28 | 2023-03-14 | 中国计量大学 | 基于图像处理技术的管水准器气泡偏移量测量方法 |
CN114993212A (zh) * | 2022-07-18 | 2022-09-02 | 扬州宇航测绘科技有限公司 | 基于视觉灰度和延时摄影的测绘方法和*** |
Also Published As
Publication number | Publication date |
---|---|
US20170078634A1 (en) | 2017-03-16 |
US10630951B2 (en) | 2020-04-21 |
EP3350574A1 (en) | 2018-07-25 |
JP2018535393A (ja) | 2018-11-29 |
CN107969148B (zh) | 2021-03-19 |
US20200213569A1 (en) | 2020-07-02 |
WO2017048491A1 (en) | 2017-03-23 |
JP7139243B2 (ja) | 2022-09-20 |
CA2995732A1 (en) | 2017-03-23 |
EP3350574B1 (en) | 2021-12-15 |
US11057599B2 (en) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107969148A (zh) | 图像分析***和方法 | |
CN114627111B (zh) | 一种纺织品缺陷检测识别装置 | |
WO2023077404A1 (zh) | 缺陷检测方法、装置和*** | |
US20200034651A1 (en) | Identifying and Excluding Blurred Areas of Images of Stained Tissue To Improve Cancer Scoring | |
CN112308832B (zh) | 一种基于机器视觉的轴承质量检测方法 | |
CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
KR20080016847A (ko) | 크로모겐 분리에 기초한 영상 분석 방법 | |
CN104598886B (zh) | 一种利用近红外高光谱图像识别霉变油料作物的方法 | |
CN103415869B (zh) | 检测和量化数字图像中的模糊的方法 | |
CN113470041B (zh) | 免疫组化细胞图像细胞核分割与计数方法和*** | |
CN103985110A (zh) | 数字图像中伪影或非均匀亮度的定位及显示方法 | |
CN105763871A (zh) | 一种摄像机清晰度的实时检测***及检测方法 | |
van Zwanenberg et al. | Edge detection techniques for quantifying spatial imaging system performance and image quality | |
CN105787870A (zh) | 一种图形图像拼接融合*** | |
US11790673B2 (en) | Method for detection of cells in a cytological sample having at least one anomaly | |
CN109682821A (zh) | 一种基于多尺度高斯函数的柑橘表面缺陷检测方法 | |
US8824768B1 (en) | Fertilization test method and apparatus | |
CN117495791A (zh) | 一种表面缺陷定位方法 | |
US11887355B2 (en) | System and method for analysis of microscopic image data and for generating an annotated data set for classifier training | |
JPH08145871A (ja) | 粒子画像の領域分割方法及び装置 | |
CN112800870B (zh) | 一种基于层间覆盖比的非极大抑制方法及*** | |
JP2015023858A (ja) | 林相解析装置、林相解析方法及びプログラム | |
JP2015501968A (ja) | 固有画像の生成を改良するための後処理 | |
Setiawan et al. | Improved Edge Detection Based on Adaptive Gaussian Smoothing in X-Ray Image | |
Fong et al. | Analysis and design of foreign objects automatic detecting system for scallion pancake production line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |