CN101441320A - 一种基于显微成像检测的高动态图像获取装置及其方法 - Google Patents
一种基于显微成像检测的高动态图像获取装置及其方法 Download PDFInfo
- Publication number
- CN101441320A CN101441320A CNA2008102041956A CN200810204195A CN101441320A CN 101441320 A CN101441320 A CN 101441320A CN A2008102041956 A CNA2008102041956 A CN A2008102041956A CN 200810204195 A CN200810204195 A CN 200810204195A CN 101441320 A CN101441320 A CN 101441320A
- Authority
- CN
- China
- Prior art keywords
- image
- micro
- piece
- light intensity
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种基于显微成像检测的高动态图像获取方法及其装置,包括显微镜和计算机***,并在显微镜上加装数字CCD图像传感器,在物镜下方加装圆盘型光学梯度衰减器和控制器件。在保持CCD曝光时间不变的条件下,通过计算机控制圆盘型光学梯度衰减片旋转定位的方法,摄取同一视场多帧不同曝光量的显微图像,从而获取该场景高动态范围图像信息。利用计算机图像处理技术对不同曝光的显微图像序列帧进行预处理和分块处理,选择序列显微图像相同位置不同帧的相应块参与高动态显微图像的合成,最后对合成图像进行平滑和融合处理,实现高动态显微图像输出。本发明可以有效地表达亮区和暗区的场景信息,提高显微成像检测***的检测精度。
Description
技术领域
本发明属高精度显微成像检测技术领域,特别是涉及一种基于显微成像检测的高动态图像获取装置及其方法。在激光束精细加工领域、半导体微电子行业、光通讯、光存储、航天工业、生物芯片及生物细胞自动识别等方面有广泛应用。
背景技术
随着科学技术的高速发展,精细加工的精度不断提高和加工对象的不断变化,对显微图像几何量的检测提出了越来越高的要求,尤其在激光束精细加工领域,其产品已深入影响到全球经济发展的各大领域,另外在半导体微电子行业、光通讯、光存储、航天工业、生物芯片等产品的显微图像检测也显得越来越重要。精细加工的高精度检测一直是工业生产和科学研究的重要部分。
在显微成像检测中,目前通常广泛地采用显微镜、数字CCD及计算机和应用软件等构成观察、检测***。由于在目前的制造技术条件下,CCD图像传感器的动态范围是由它的信号饱和电平和噪声电平决定。它反映了器件在不同光照度下的工作范围。其数值可以用输出端的信号峰值电压与均方根噪声电压的比值来表示,其单位符号通常为dB,一般为60~80dB,而人眼在观察目标时,可以看清目标的最低照度为1lx,在夏天的中午,当目标照度达到3×105lx时,人眼仍可以看清目标。由此可知,通过眼睛瞳孔的自动调节,人眼分辨物体的动态范围大致为110dB,所以用动态范围较小的图像传感器记录动态范围较高的图像,总会有图像信息的丢失。对高动态范围的图像的显示也碰到同样的困难,一般需进行对数变换后进行显示。为了提高检测的精度,现有的图像处理方法是对某一帧图像进行处理,如图像的增强、校正和变换等处理,但其能力有限,对记录时就已经丢失的信息是很难或根本不可能在后续的处理过程中得到恢复。如图2(a)为图像传感器动态的动态响应曲线,其响应范围为ST,而图2(b)表示的是待记录的输入显微图像的灰度直方图,灰度分布的动态范围为MN。由于只要ST<MN,用具有图2(a)的响应特性的传感器就不可能把具有直方图为图2(b)的图像真实地记录下来。对于一个特定的传感器的动态响应范围ST是固定不变的,待记录图像的灰度级范围MN虽然不能改变,但是可以通过改变图像的光照强度来移动,比如可使图像整体变暗或整体变亮。图像灰度范围一旦进入传感器线性响应范围内,相应的这一部分的结构信息就能被真实地记录下来。因此,从理论说,可以通过改变输入图像的光照强度来记录下同一视场多帧图像的方法,就可以实现记录场景全部信息。
目前传统显微图像检测***,其成像质量受成像环境的影响大,当光照一定的条件下,通过CCD所获取的显微图像的所摄取的动态范围较窄,特别是光照过亮或过暗,无法记录或表达检测场景中亮区和暗区的场景的图像信息,难以在满足特定检测环境下对微细精密加工产品检测质量的要求,严重地影响其检测的精确性与可靠性。为了得到工件加工清晰显微图像,实现对加工效果进行客观分析、科学评判和精确测量,急需在观察、检测前提高显微图像的动态范围,以获取检测场景的丰富信息。
发明内容
本发明所要解决的技术问题是:(1)显微成像***同一场景不同曝光的多帧图像序列获取方法;(2)同一场景不同曝光显微图像序列的预处理和配准技术;(3)高动态图像的合成算法。本发明解决上述技术问题,可获取检测过程中被检视野的高动态范围显微图像,为集成电路、激光精细加工及医疗生物的显微检测提供一个高精度检测平台。
本发明解决其技术问题所采用的技术方案是:提供一种基于显微成像检测的高动态图像获取装置,包括显微镜和计算机***,所述的显微镜的光源和载物平台之间加装由控制电机和圆盘型光学梯度衰减器组成的光强控制装置,并通过数字CCD图像传感器与计算机***相连,所述的计算机***包括:
(1)显微图像光强控制及图像获取模块:由计算机控制圆盘型光学梯度衰减器旋转定位到不同的位置并进行显微图像采集,以获取同一视场不同光强度的显微图像序列供后续处理,实现显微图像动态范围的扩展;
(2)图像预处理和配准模块:通过显微图像预处理消除成像过程中引入的噪声;由于在成像过程中,同一视场多帧不同曝光图像之间可能存在平移和旋转,对其进行精确配准,以保证合成高质量高动态范围显微图像;
(3)高动态显微图像合成处理模块:对同一视场多帧不同曝光的显微图像进行分块处理,在图像块间设置重叠缓冲区;采用评价函数实现对同一位置不同光强的图像帧进行块的选择,并利用图像块的统计特征生成调整因子对合成的显微图像进行灰度调整,对块间的缓冲区像素进行融合处理,实现同一视场多帧不同曝光显微图像合成为一帧更高动态范围的显微图像。
所述的光学梯度衰减器,是由六个不同光强透过率的光学衰减片构成,包括全透档在内一共七档,其实现光的透过率分别为100%,80%,60%,40%,20%,10%,及1%。
所述的显微图像光强控制及图像获取模块采用计算机控制圆盘型光学梯度衰减器旋转定位至不同的位置以控制检测***显微成像时不同光强,并在保证相机曝光时间相等的条件下进行显微成像,以获取同一视场不同光强多帧显微图像序列。
一种高动态范围显微成像检测***的图像获取方法,包括下列步骤:
(1)首先通过计算机控制电机使圆盘型梯度衰减器旋转定位至不同位置,以控制显微镜视场的光强,并在保证曝光时间不变,利用数字CCD在不同光强条件下成像,获取同一视场7帧不同曝光强度的图像序列;
(2)对同一场景7帧不同曝光强度的显微图像序列先进行高斯滤波后,再拉普拉斯边缘增强处理,实现滤除噪声、强化图像的边缘特征;
(3)以第4帧图像为参考帧,并将其分成6个垂直的区间,每个区间选取一个特征点,每一部分将从上到下进行搜索,选择灰度最大的点作为该区域上的特征点;并根据所选取的特征点在其它图像帧的对应区域搜寻对应的特征点,分别确定其它的图像帧相对于参考图像在各区的局部运动矢量;
(4)分别将各自局部运动矢量代入图像运动模型,计算各帧与选定的参考帧的全局运动矢量,其中包括平移量和旋转量,并以之进行同一场景7显微图像配准;
(5)从给定的CCD参数中,获取其光照响应曲线,或利用获取的不同曝光图像序列,由Debevec算法,计算相机的光照响应曲线;并对获取的光照响应曲线进行变换,得到一条光滑单调的反函数响应曲线;
(6)对同一视场的7帧已配准的不同曝光的图像进行分块,利用显微图像的点梯度算法计算图像的清晰度,CCD的光照响应曲线的反函数估算图像的信息量,并在对其进行归一化处理基础上,综合图像块的清晰度和信息量,构建出图像评价函数Ω(i)=λWi+(1-λ)Vi,用于选择不同曝光显微图像帧相同位置的相应块参与最终显微图像的合成;
(7)对已选定参与合成的显微图像块,划分块间重叠缓冲区,分别采用左块和上块的统计参数均值和方差构成的调整因子来调整右块和下块图像的整体灰度,以解决图像块间的光照变化问题;其处理的顺序是先处理行块,从左到右,再处理列块,从上到下;
(8)将图像重叠缓冲区域的像素进行融合处理,融合因子采用图像灰度位置线形平滑过渡算法确定。采用像素值按一定的权值进行融合相加,可使灰度逐渐过渡,避免显微图像变得模糊或出现明显的边界。
(9)最后输出合成高动态图像f(x,y)。
本发明利用VC++6.0开发器编程软件,实现对光学梯度衰减片旋转定位、数字CCD图像采集和数字图像处理,包括:图像序列预处理、图像配准和高动态图像合成与显示。
圆盘型光学梯度衰减器,是利用多片不同透过率的光学衰减片组合而成。光学衰减片是利用物质对光的吸收特性,制成片状,放在光路上,实现将光强衰减。本发明的圆盘型光学梯度衰减器是采用型号为ND80,ND60,ND40,ND20,ND10,ND1的光学衰减片自制而成,包括全透档在内一共七档,其实现光的透过率分别为100%,80%,60%,40%,20%,10%及1%。经测试,上述各种型号的光学衰减片对不同光谱的透过率如图3所示。首先,在保证CCD图像传感器曝光时间不变的条件下,由计算机***控制光学梯度衰减片到位置1,并通过数字CCD采集图像到计算机内存中,然后控制光学梯度衰减片到位置2,通过数字CCD再采集同一视场的不同灰度另一帧图像到计算机内存中,......连续的采集7帧不同灰度强度的同一场景图像,它们包含了场景的丰富图像信息,然后由后续的处理合成一帧高动态范围输出。
由于显微成像设备在序列图像成像过程中,不可避免地会出现抖动或旋转等情况,特别是圆盘型光学梯度衰减器的旋转会导致同一场景图像间产生小的平移或旋转,致使合成的显微图像质量下降,因此在图像合成前,应该先进行不同曝光显微图像序列的配准,同一场景显微图像序列的配准是保证合成高动态图像质量的关键。本发明采用灰度特征点配准技术实现图像序列的配准。
由于显微成像***摄取的视频图像序列往往存在随机分布的噪声,即高斯噪声,为了能准确地选取每一帧不同灰度图像的特征点,则必须对图像进行预处理。Laplacian边缘检测算子是对二维函数进行运算的二阶微分算子,是偏导数运算的线性组合。它将可在边缘处产生一个陡峭的零交叉。Laplacian检测算子能增强所围特征点所在的区域,同时能减弱灰度变化小的区域,通常这些区域包围着边缘。另外Laplacian变换还具有旋转不变性,对于边缘,不同的方向都能同等的被增强,所以经过Laplacian变换后的图像不会被输入图像可能的旋转所影响。因此可选择Laplacian边缘检测算子进行图像进行预处理,有利于特征的提取。值得注意的是Laplacian算子不仅对像素灰度梯度变化很敏感同时对噪声也非常敏感,由于显微***所摄取的视频图像往往存在一些杂乱无章、随机分布的噪声即高斯噪声,为了能准确地选取一帧图像的特征点,本发明采用把高斯平滑滤波器和拉普拉斯锐化滤波器结合了起来的方法,先平滑掉噪声,后进行边缘检测,获得了效果较好。
为了减小误差,配准的基本思想是把同一场景不同曝光图像序列的中间帧(第4帧)选为参考图像帧或基准图像帧,而其它图像帧与其配准。
本发明提出一种利用特征点进行图像匹配的算法。其实现时先把图像分成若干子区,并在各个子区内选取灰度最大值点作为特征点,用于子区局部运动矢量的计算,然后将算出的局部运动矢量,代入给定的变换模型对当前图像进行仿射变换,求出全局运动矢量,包括平移矢量和旋转矢量,最后实现图像序列的配准。
为了提高特征点的匹配运算速度,本发明提出利用多分辨率匹配技术。单帧多分辨率结构,底层为最高分辨率(即原始图像)。层越高,图像分辨率越低。用不同的低通滤波器或二次抽样就可获得相应的低分辨率的图像。多分辨率匹配的思想是从最低分辨率级开始,逐次地,在每一层进行运动估计,由较低分辨率级确定位移粗估计。这样,在较高分辨率级下,用前一较低分辨率级位移矢量作为起始估计进行匹配,可使位移矢量估计得到精细的调整,不仅有一较理想的初始值,还可以实现用较小的搜索窗达到较大的搜索范围。可用高斯多分辨率锥形层次图或拉普拉斯多分辨率锥形层次图实现特征点的匹配。
在求出局部运动矢量后,本发明采用以下二维的运动模型,来确定表征图像帧间的平移量和旋转矢量。这种变换模型可定义如下:
在这里,(Xi,Yi)和(Xj,Yj)是在不同时间ti和tj时,所摄取同一视场两帧显微图像像素的坐标,其中(Xi,Yi)是参考图像,(ΔX,ΔY)t是在参考帧图像坐标系下所测的平移矢量,Θ是两帧图像的旋转角度。通过代入N个匹配的特征点即可得一个线性方程组。每一对特征点可得到两个方程,因此,线形***共有2N个方程、3个未知量,即:Θ、ΔX和ΔY。通过解线形方程组,可以得到两帧图像间的旋转和平移的运动参数:θ和Δx、Δy。最后利用所得的运动参数对当前图像进行平移和旋转,实现其与参考图像的配准。
本申请所述的图像合成模块,主要包括实现以下两个方面的处理。一是对同一视场配准的多帧不同光强的显微图像帧进行分块处理,并利用显微图像的点梯度能量和CCD的光照响应曲线构建出判决函数,确定不同曝光显微图像帧相同位置的相应块参与最终显微图像的合成。二是由于所选择用于图像合成的图像块可能来自不同图像帧,直接对图像块进行拼接,其图像的灰度变化和块效应将会过于明显,采用图像块间设置重叠缓冲区方法,如图5所示,对块间的灰度处理,采用左块和上块的统计参数均值和方差构成的调整因子,调整右块和下块图像的整体亮度,以解决光照变化问题;采用融合算法实现块间重叠缓冲区图像信息融合,以消除其块效用。
首先要求知道数字CCD的光照响应曲线,即辐照度响应函数。CCD的光照响应曲线可以从给定的CCD参数中获取,或利用获取的不同曝光图像序列,根据Debevec算法,计算相机的光照响应曲线;该光照响应曲线函数表达了相机接收到的场景光照辐射度与所成像图像中像素值的关系。在这里我们表达为:F=g(L)。响应函数事实上是相机成像过程中受到的各种线性和非线性作用因素的综合。F和L是非线性的关系,但g为单调增函数,其反函数存在。对于相机的响应函数g的曲线,两端切线斜率比较小,即光强辐射度信息压缩比较大,像素值趋于截止或饱和,而中间部分切线的斜率比较大,信息压缩比小,包含的信息较丰富。其相应的反函数g-1则对应于切线斜率较小的部分,最终成像包含的原始图像信息较多,而对斜率较大的部分,图像信息较少。因此可用g-1函数进行图像块的信息含量进行评价。本发明采用如下方法对图像块所含的信息进行评价:对已经配准的7帧不同曝光的显微图像进行分块,设图像块大小为:M×N,每帧图像共分n个块,用Ki,j(i=1,...7;j=1,...n)表示第i帧的第j块图像,如图4所示。对同一视场位置r的7个图像块Bi,r(i=1,....7;1≤r≤n),分别求其平均亮度值Li,r(i=1,....7)并代入g-1中,得到Xi,r=g-1(Li,r),则其值越小,该图像块所包含的信息越丰富。在这里我们令Xmax=max(Xi,r)并进行归一化处理,则有
Wi=(Xmax-Xi,r)/Xmax……(1)
Wi值越大,表明其对应的帧块所含的信息就越丰富。
另外所选取的块不仅要含有丰富的信息,且要求图像清晰,本发明采用图像点梯度算法计算图像的清晰度。对于同一位置的不同帧块Ki,j(i=1,...7;j=1,...n)表示第i帧的第j块图像,其公式如下:
其算法描述为:逐个对图像中的每点取8邻域点与之相减,先求8个差值的加权和,其中权的大小取决于两像素点的距离,距离远,则权小,在这里与参考像素成0°,90°,180°和270°方向四个点的差,其权值为1,而与参考像素成45°,135°,225°和315°方向四个点差的绝对值,其权值为再将所有点所得值相加除以像素总个数作为图像的清晰评价指数。本发明采用|(f(xi)-f(xia))/(xi-xia)|来代替边缘锐度算法的平方(f(xi)-f(xia))2是考虑到整幅图像的8邻域梯度差值之和已足够反映图像的灰度分布情况,若加上平方的放大作用,反而会因噪声等众多因素而造成该参数的波动。
并令Vmax=max(Vi),做归一化处理,则有:
Vi=Vi,r/Vmax……(2)
根据公式(1)和(2),则可以构建以下的评价函数:
Ω(i)=λWi+(1-λ)Vi……(3)
其中λ为一个权系数,可以根据实验来确定,实验时取0.6。
综合上述,选取图像块的原则,既要考虑图像块所含的信息量,又要考虑图像的清晰度,所以采用Ω(i)值的大小进行图像块的选取,Ω(i)值最大时所对应的图像帧i,就是我们所要选取的图像块。
对于已选定的图像块,考虑到它们来自不同的曝光图像帧,由于光照条件不同,虽然它们质量最好(所含有的信息量和清晰度综合评价指数最高),但采集的原始图像在亮度上会有较大变化,因此直接拼接会使图像产生亮度的跳变,给人不真实的感觉。为了在最终合成的图像中得到流畅的效果,采用在图像块之间设置重叠区域的方法对图像进行处理如图(5)所示。首先,对选择参与合成的图像块,进行灰度调整;第二,图像的重叠区的像素采用图像数据融合算法进行处理,保证图像块之间图像灰度过度自然、流畅。
由于光照条件不同,图像块之间的灰度变化会引起合成的高动态显微图像块效应明显,因此必须对其进行灰度处理。本发明采用图像块像素的均值和方差两个统计参数,对参与合成的图像块进行调整。分别采用左块和上块的统计参数均值和方差构成的调整因子来调整右块和下块图像的整体亮度,最终使合成显微图像整体亮度一致,以解决光照突变而引起的块效应问题。其算法如下:
设待拼接左、右图像分别为fL(x,y)和fR(x,y),而左、右图像的重叠区域分别为AL(x,y)和AR(x,y),AL(x,y)和AR(x,y)的均值和方差分别为ML、MR和σL、σR,并设 其均值为SR,则由fL(x,y)对fR(x,y)的调整方法为:
依次用左块图像调整右块图像的灰度,其上、下显微图像块的调整也做类似处理,其调整顺序如图4所示。
对于上述处理后的中间结果图像,虽然考虑了显微图像块灰度的连续性约束条件,但是图块边缘仍然会有不连续的现象,因此需要进一步处理来消除块与块之间由于曝光不同而产生的块效应。对于重叠区域的待合成的像素点,虽然它们在位置上相对应,但由于其像素值并不完全相同,因此,为了克服和消除图像光强的不连续性,还需要对显微图像重叠区域的像素进行融合处理,让显微图像在拼接处的光强平滑过渡以消除光强的突变,提高图像质量。
本发明对显微图像块间的重叠过度区,采用图像灰度位置线形平滑过渡算法,使灰度逐渐过渡,以免图像变得模糊或出现明显的边界。在重叠部分由左显微图像块慢慢过渡到右微图像块(上下图像也做类似的处理),其算法思想是通过将图像重叠区域的像素值按一定的权值相加,合成新的图像。设对应的左、右两图像块重叠部分中线对应坐标为x=0,其重叠区左、右断点的坐标为:x=±δ,则重叠区图像像素融合可用如下公式表示:
在式中,融合因子w(x,y)是用来平滑图像的灰度,产生加权平均值的作用,其取值范围应该限制在(0,1)之间。在图像重叠区域中,随着对应像素点的位置变化,参数w(x,y)融合因子也在不断地变化。参数w(x,y)采用图像灰度位置线形平滑过渡算法确定,其值随着对应像素点位置而线形变化的过程如图6所示。
本发明采用同一场景连续采集七帧不同灰度的显微图像,通过图像的合成算法,实现高动态显微图像的输出,增加观察检测场景的细节特征,满足特定检测环境下微细精密加工产品检测要求。
有益效果
本申请发明是通过对现有显微成像检测***进行改进,来实现提高显微成像检测精度的要求。采用将光学成像***、机器视觉和数字图像处理技术相结合的方法,对同一视场采集多帧光强度的图像,合成高动态范围的显微图像,提高检测对象显微图像的清晰度,以便通过编制软件的方法,提高显微图像检测精度,为激光束精细加工、集成电路及生物医学检测等提供更高水平的检测手段。该发明在生产、科研、教学等领域也有重要的实际应用价值。
附图说明
图1高动态显微成像检测装置示意图。
图中:1—显微成像*** 2—被检测器件 3—载物平台 4—梯度衰减片5—光源 6—数字CCD图像传感器 7—步进电机 8—计算机***
图2传感器动态响应范围与实际场景图像灰度直方图。
图3所选光学衰减片其透过率与光波长关系。
图4不同光强度显微图像分块及灰度调整顺序。
图5显微图像块缓冲区划分示意图。
图6图像块缓冲重叠区像素融合因子生成示意图。
图7高动态显微图像检测流程图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
在实施过程中,采用下列器材:
(1)CCD型号为:HV1303UM主要参数:分辨率为1280*1024的CMOS CCD,;光学尺寸为1/1.8″;最高130万像素;最高的水平分辨率为1280;数模转换精度为10bit;45dB的高信噪比(AGC OFF);可开/关的自动增益控制(AGC),数字增益倍数是:*2、*1、*0.5、*0.25;对于550nm的光源,其灵敏度为:2.1V/Lux-s;可自动跟踪(ATW)/手动设定的黑白电平衡校正方式;可接受24V AC及12V DC两种电源供应。
(2)显微成像***型号为:Nikon E200光学***CFI60无限远光学***,齐焦距离60mm放大倍数40—1500X,目镜筒三目镜筒,目镜CFIE 10X(视场直径:20mm),CFIE 15x(视场直径:12mm)物镜CFIE平场消色差物镜:4X、10X、40X、100X,也可选其它较高级物镜,照明6V20W卤素灯。
(3)圆盘型光学梯度衰减器。利用多片不同透过率的光学衰减片组合而成。采用型号为ND80,ND60,ND40,ND20,ND10,ND1的光学衰减片,其光的透过率分别为80%,60%,40%,20%,10%,1%及100%。
(4)步进控制电机:型号42HSM02,两相步进电机,步距角0.9分,额定电流0.87A,转子惯量38g,步进精度为+—5%,温升80C(max),环境温度-10到+50,绝缘电阻为100M欧min,500VDC,耐压500VACfor one minute,径向跳动0.06Max(450g-load),轴向跳动0.08Max(450g-load)。
(5)步进电机控制器:型号M420,高性能的步进电机驱动器,适合任何的两相2.0或3.5A项电流的混合式步进电机,单电源供电、光隔离输入,细分精度可选。供电电压典型值为32V,输出电流0.25-2A,逻辑输入电流为6-16Ma,步进脉冲响应频率最大为200KHz,脉冲低电平时间最小5us。
(6)计算机***:联想启天M4880(P4631 512s80VN(XP)),处理器类型Pentium 4631,标称主频(MHz)3000,配置内存容量(MB)512,硬盘容量80GB,显示器类型lenovo,显示器尺寸:17英寸。
如图7所示为其实施流程图,首先通过计算机控制电机使圆盘型梯度衰减器的旋转定位至不同位置,以控制显微镜视场的光强,并在保证CCD曝光时间不变条件下,利用数字CCD在不同光强条件下成像,获取同一视场7帧不同曝光强度的图像序列。对同一场景7帧不同曝光强度的显微图像序列先进行高斯滤波后,再拉普拉斯边缘增强处理,实现滤除噪声、强化图像的边缘特征。以第4帧图像为参考帧,并将其分成6个垂直的区间,每个区间选取一个特征点,每一部分将从上到下进行搜索,选择灰度最大的点作为该区域上的特征点,并根据所选取的特征点在其它图像帧的对应区域搜寻对应的特征点,分别确定其它的图像帧相对于参考图像在各区的局部运动矢量。分别将各自局部运动矢量代入图像运动模型,计算各帧与选定的参考帧的全局运动矢量,其中包括平移量和旋转量,并以之进行同一场景7显微图像配准。从给定的CCD参数中,获取其光照响应曲线,或利用获取的不同曝光图像序列,根据Debevec算法,计算相机的光照响应曲线,对获取的光照响应曲线进行反变换,得到一条光滑单调的反函数响应曲线。对同一视场的7帧已配准的不同曝光的图像进行分块,利用显微图像的点梯度算法计算图像的清晰度,CCD的光照响应曲线的反函数估算图像的信息量,并在综合图像块的清晰度和信息量基础上,构建出图像评价函数,用于选择不同曝光显微图像帧相同位置的相应块参与最终显微图像的合成。为了消除块效应在参与合成的显微图像块间设置重叠缓冲区,分别采用左块和上块的统计参数均值和方差构成的调整因子来调整右块和下块图像的整体亮度,以解决图像块间的光照变化问题。并且对所有的块做类似的处理,其处理的顺序是先处理行块,从左到右,再处理列块,从上到下,如图4所示。将图像重叠缓冲区域的像素值按一定的权值相加,进行图像数据融合,其融合因子w(x,y)采用图像灰度位置线形平滑过渡算法确定,并按下公式处理进行像素灰度融合:
上、下图像块间重叠缓冲区域的合成也做类似的处理。最后输出合成高动态图像f(x,y)。
Claims (4)
1.一种基于显微成像检测的高动态图像获取装置,包括显微镜和计算机***,其特征在于:所述的显微镜光源和载物平台之间加装由控制电机和圆盘型光学梯度衰减器组成的光强控制装置,并通过数字CCD图像传感器与计算机***相连,所述的计算机***包括:
(1)显微图像光强控制及图像获取模块:由计算机控制圆盘型光学梯度衰减器旋转定位到不同的位置并进行显微图像采集,以获取同一视场不同光强度的显微图像序列供后续处理,实现显微图像动态范围的扩展;
(2)图像预处理和配准模块:通过显微图像预处理消除成像过程中引入的噪声;由于在成像过程中,同一视场多帧不同曝光图像之间可能存在平移和旋转,对其进行精确配准,以保证合成高质量高动态范围显微图像;
(3)高动态显微图像合成处理模块:对同一视场多帧不同曝光的显微图像进行分块处理,在图像块间设置重叠缓冲区;采用评价函数实现对同一位置不同光强的图像帧进行块的选择,并利用图像块的统计特征生成调整因子对合成的显微图像进行灰度调整,对块间的缓冲区像素进行融合处理,实现同一视场多帧不同曝光显微图像合成为一帧更高动态范围的显微图像。
2.根据权利要求1所述的一种基于显微成像检测的高动态图像获取装置,其特征在于:所述的光学梯度衰减器,是由六个不同光强透过率的光学衰减片构成,包括全透档在内一共七档,其实现光的透过率分别为100%,80%,60%,40%,20%,10%,及1%。
3.根据权利要求1所述的一种基于显微成像检测的高动态图像获取装置,其特征在于:所述的显微图像光强控制及图像获取模块采用计算机控制圆盘型光学梯度衰减片旋转定位至不同的位置以控制检测***显微成像时不同光强,并在保证相机曝光时间相等的条件下进行显微成像,以获取同一视场不同光强多帧显微图像序列。
4.根据权利要求1所述的一种基于显微成像检测的高动态图像获取方法,包括下列步骤:
(1)首先通过计算机控制电机使圆盘型梯度衰减器旋转定位至不同位置,以控制显微镜视场的光强,并在保证曝光时间不变,利用数字CCD在不同光强条件下成像,获取同一视场7帧不同曝光强度的图像序列;
(2)对同一场景7帧不同曝光强度的显微图像序列先进行高斯滤波后,再拉普拉斯边缘增强处理,实现滤除噪声、强化图像的边缘特征;
(3)以第4帧图像为参考帧,并将其分成6个垂直的区间,每个区间选取一个特征点,每一部分将从上到下进行搜索,选择灰度最大的点作为该区域上的特征点;并根据所选取的特征点在其它图像帧的对应区域搜寻对应的特征点,分别确定其它的图像帧相对于参考图像在各区的局部运动矢量;
(4)分别将各自局部运动矢量代入图像运动模型,计算各帧与选定的参考帧的全局运动矢量,其中包括平移量和旋转量,并以之进行同一场景7显微图像配准;
(5)从给定的CCD参数中,获取其光照响应曲线,或利用获取的不同曝光图像序列,由Debevec算法,计算相机的光照响应曲线;并对获取的光照响应曲线进行变换,得到一条光滑单调的反函数响应曲线;
(6)对同一视场的7帧已配准的不同曝光的图像进行分块,利用显微图像的点梯度算法计算图像的清晰度,CCD的光照响应曲线的反函数估算图像的信息量,并在对其进行归一化处理基础上,综合图像块的清晰度和信息量,构建出图像评价函数Ω(i)=λWi+(1-λ)Vi,用于选择不同曝光显微图像帧相同位置的相应块参与最终显微图像的合成;
(7)对已选定参与合成的显微图像块,划分块间重叠缓冲区,分别采用左块和上块的统计参数均值和方差构成的调整因子来调整右块和下块图像的整体灰度,以解决图像块间的光照变化问题;处理的顺序是先处理行块,从左到右,再处理列块,从上到下;
(8)将图像重叠缓冲区域的像素进行融合处理,融合因子采用图像灰度位置线形平滑过渡算法确定;采用像素值按一定的权值进行融合相加的方法,可使灰度逐渐过渡,避免显微图像变得模糊或出现明显的边界;
(9)最后输出合成高动态图像f(x,y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102041956A CN101441320B (zh) | 2008-12-09 | 2008-12-09 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102041956A CN101441320B (zh) | 2008-12-09 | 2008-12-09 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101441320A true CN101441320A (zh) | 2009-05-27 |
CN101441320B CN101441320B (zh) | 2010-06-09 |
Family
ID=40725822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102041956A Expired - Fee Related CN101441320B (zh) | 2008-12-09 | 2008-12-09 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101441320B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572245A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
CN103033148A (zh) * | 2012-12-12 | 2013-04-10 | 东华大学 | 一种基于嵌入式图像信息处理技术的测角装置和方法 |
CN103575652A (zh) * | 2012-08-10 | 2014-02-12 | 陈宪璋 | 自动快速分析生物细胞的装置和其相关的方法 |
CN105431760A (zh) * | 2013-05-14 | 2016-03-23 | 生命科技股份有限公司 | 用于使用综合控制的样品图像捕获的***和方法 |
CN106716485A (zh) * | 2014-09-15 | 2017-05-24 | 卡尔蔡司显微镜有限责任公司 | 用于产生结果图像的方法和光学器件 |
CN107392946A (zh) * | 2017-07-18 | 2017-11-24 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
CN107850619A (zh) * | 2015-05-22 | 2018-03-27 | 株式会社岛津制作所 | 扫描型探针显微镜 |
CN107845145A (zh) * | 2017-11-29 | 2018-03-27 | 电子科技大学 | 一种电子显微场景下的三维重构***及方法 |
CN107886479A (zh) * | 2017-10-31 | 2018-04-06 | 建荣半导体(深圳)有限公司 | 一种图像hdr转换方法、装置、图像处理芯片及存储装置 |
CN108051453A (zh) * | 2017-12-05 | 2018-05-18 | 楚天科技股份有限公司 | 一种用于具有不同深浅颜色产品的视觉检测方法 |
CN108805817A (zh) * | 2018-02-28 | 2018-11-13 | 山峰 | 基于图像处理的计算机日志记录*** |
CN108830904A (zh) * | 2018-05-04 | 2018-11-16 | 长春理工大学 | 一种参数优化的相机响应曲线定标方法 |
CN109358059A (zh) * | 2018-10-12 | 2019-02-19 | 东华大学 | 一种基于激光动态散斑技术的油漆干燥分析仪 |
CN109491972A (zh) * | 2018-02-28 | 2019-03-19 | 尚宇新 | 一种基于图像的计算机日志记录快速恢复***及方法 |
CN109633896A (zh) * | 2017-10-09 | 2019-04-16 | 艾菲瑞斯特有限公司 | 具有制作误差的容差的透镜设计 |
CN109738903A (zh) * | 2018-12-05 | 2019-05-10 | 华南理工大学 | 一种侧扫声呐实时二维成像方法及*** |
TWI662262B (zh) * | 2018-04-20 | 2019-06-11 | 國立臺灣大學 | 具等向性轉換函數之量化差分相位對比顯微系統 |
CN110095472A (zh) * | 2019-05-08 | 2019-08-06 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及*** |
CN110830697A (zh) * | 2019-11-27 | 2020-02-21 | Oppo广东移动通信有限公司 | 控制方法、电子装置和存储介质 |
CN111354014A (zh) * | 2020-02-20 | 2020-06-30 | 北京航空航天大学 | 一种针对相机自动曝光的特征点跟踪方法 |
CN113395481A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种亮度相关的显微镜成像***及其控制方法 |
CN116744123A (zh) * | 2022-12-14 | 2023-09-12 | 深圳市中图仪器股份有限公司 | 共焦测量***的多孔盘 |
CN116962860A (zh) * | 2023-09-21 | 2023-10-27 | 深圳市利和兴股份有限公司 | 基于hdr高亮色度仪的图像数据处理*** |
CN117309903A (zh) * | 2023-10-10 | 2023-12-29 | 青岛峻海物联科技有限公司 | 一种隧道内缺陷定位方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102679878B (zh) * | 2012-06-06 | 2015-09-30 | 广东万濠精密仪器股份有限公司 | 影像测量仪的图像匹配方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1200380C (zh) * | 2001-11-30 | 2005-05-04 | 麦克奥迪实业集团有限公司 | 增加动态滤波以实现实时观察各种分辨率图像的方法及装置 |
JP4358606B2 (ja) * | 2003-11-20 | 2009-11-04 | オリンパス株式会社 | インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法 |
CN2919329Y (zh) * | 2006-04-19 | 2007-07-04 | 哈尔滨英特纳科技有限责任公司 | 用于光存储与相关识别的图像照度自适应反馈装置 |
-
2008
- 2008-12-09 CN CN2008102041956A patent/CN101441320B/zh not_active Expired - Fee Related
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572245A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
CN102572245B (zh) * | 2011-12-22 | 2014-12-17 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
CN103575652A (zh) * | 2012-08-10 | 2014-02-12 | 陈宪璋 | 自动快速分析生物细胞的装置和其相关的方法 |
CN103033148A (zh) * | 2012-12-12 | 2013-04-10 | 东华大学 | 一种基于嵌入式图像信息处理技术的测角装置和方法 |
CN103033148B (zh) * | 2012-12-12 | 2015-07-08 | 东华大学 | 一种基于嵌入式图像信息处理技术的测角装置和方法 |
CN105431760A (zh) * | 2013-05-14 | 2016-03-23 | 生命科技股份有限公司 | 用于使用综合控制的样品图像捕获的***和方法 |
CN106716485A (zh) * | 2014-09-15 | 2017-05-24 | 卡尔蔡司显微镜有限责任公司 | 用于产生结果图像的方法和光学器件 |
CN106716485B (zh) * | 2014-09-15 | 2021-05-25 | 卡尔蔡司显微镜有限责任公司 | 用于产生结果图像的方法和光学器件 |
CN107850619A (zh) * | 2015-05-22 | 2018-03-27 | 株式会社岛津制作所 | 扫描型探针显微镜 |
CN107850619B (zh) * | 2015-05-22 | 2020-01-31 | 株式会社岛津制作所 | 扫描型探针显微镜 |
CN107392946A (zh) * | 2017-07-18 | 2017-11-24 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
CN107392946B (zh) * | 2017-07-18 | 2020-06-16 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
CN109633896A (zh) * | 2017-10-09 | 2019-04-16 | 艾菲瑞斯特有限公司 | 具有制作误差的容差的透镜设计 |
US11493670B2 (en) | 2017-10-09 | 2022-11-08 | Iphysicist Ltd. | Lens design with tolerance of fabrication errors |
CN109633896B (zh) * | 2017-10-09 | 2022-06-14 | 艾菲瑞斯特有限公司 | 具有制作误差的容差的透镜设计 |
CN107886479A (zh) * | 2017-10-31 | 2018-04-06 | 建荣半导体(深圳)有限公司 | 一种图像hdr转换方法、装置、图像处理芯片及存储装置 |
CN107845145B (zh) * | 2017-11-29 | 2020-12-01 | 电子科技大学 | 一种电子显微场景下的三维重构***及方法 |
CN107845145A (zh) * | 2017-11-29 | 2018-03-27 | 电子科技大学 | 一种电子显微场景下的三维重构***及方法 |
CN108051453A (zh) * | 2017-12-05 | 2018-05-18 | 楚天科技股份有限公司 | 一种用于具有不同深浅颜色产品的视觉检测方法 |
CN109491972A (zh) * | 2018-02-28 | 2019-03-19 | 尚宇新 | 一种基于图像的计算机日志记录快速恢复***及方法 |
CN109491972B (zh) * | 2018-02-28 | 2021-12-10 | 浙江久道信息科技有限公司 | 一种基于图像的计算机日志记录快速恢复***及方法 |
CN108805817A (zh) * | 2018-02-28 | 2018-11-13 | 山峰 | 基于图像处理的计算机日志记录*** |
TWI662262B (zh) * | 2018-04-20 | 2019-06-11 | 國立臺灣大學 | 具等向性轉換函數之量化差分相位對比顯微系統 |
CN108830904A (zh) * | 2018-05-04 | 2018-11-16 | 长春理工大学 | 一种参数优化的相机响应曲线定标方法 |
CN108830904B (zh) * | 2018-05-04 | 2022-07-01 | 长春理工大学 | 一种参数优化的相机响应曲线定标方法 |
CN109358059A (zh) * | 2018-10-12 | 2019-02-19 | 东华大学 | 一种基于激光动态散斑技术的油漆干燥分析仪 |
CN109738903A (zh) * | 2018-12-05 | 2019-05-10 | 华南理工大学 | 一种侧扫声呐实时二维成像方法及*** |
CN110095472B (zh) * | 2019-05-08 | 2019-12-13 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及*** |
CN110095472A (zh) * | 2019-05-08 | 2019-08-06 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及*** |
CN110830697A (zh) * | 2019-11-27 | 2020-02-21 | Oppo广东移动通信有限公司 | 控制方法、电子装置和存储介质 |
CN111354014A (zh) * | 2020-02-20 | 2020-06-30 | 北京航空航天大学 | 一种针对相机自动曝光的特征点跟踪方法 |
CN111354014B (zh) * | 2020-02-20 | 2022-10-04 | 北京航空航天大学 | 一种针对相机自动曝光的特征点跟踪方法 |
CN113395481A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种亮度相关的显微镜成像***及其控制方法 |
CN116744123A (zh) * | 2022-12-14 | 2023-09-12 | 深圳市中图仪器股份有限公司 | 共焦测量***的多孔盘 |
CN116744123B (zh) * | 2022-12-14 | 2024-01-23 | 深圳市中图仪器股份有限公司 | 共焦测量***的多孔盘 |
CN116962860A (zh) * | 2023-09-21 | 2023-10-27 | 深圳市利和兴股份有限公司 | 基于hdr高亮色度仪的图像数据处理*** |
CN116962860B (zh) * | 2023-09-21 | 2024-02-27 | 深圳市利和兴股份有限公司 | 基于hdr高亮色度仪的图像数据处理*** |
CN117309903A (zh) * | 2023-10-10 | 2023-12-29 | 青岛峻海物联科技有限公司 | 一种隧道内缺陷定位方法及装置 |
CN117309903B (zh) * | 2023-10-10 | 2024-05-07 | 青岛峻海物联科技有限公司 | 一种隧道内缺陷定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101441320B (zh) | 2010-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101441320B (zh) | 一种基于显微成像检测的高动态图像获取装置及其方法 | |
CN101221118A (zh) | 一种智能识别与计数痰涂片显微图像结核菌的***和方法 | |
CN101493312B (zh) | 一种显微成像高精度三维检测装置及方法 | |
US7187811B2 (en) | Method for image resolution enhancement | |
CN107677216B (zh) | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 | |
CN102304472A (zh) | 一种快速检测痰涂片结核菌的装置与方法 | |
CN105652429B (zh) | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 | |
CN102982518A (zh) | 红外与可见光动态图像的融合方法及装置 | |
Curto et al. | Automatic sunspots detection on full-disk solar images using mathematical morphology | |
CN111444973B (zh) | 一种无人零售购物台商品检测方法 | |
CN110264426A (zh) | 图像畸变校正方法和装置 | |
CN101943839A (zh) | 一体化的自动聚焦摄像机装置及清晰度评价方法 | |
CA2826372A1 (en) | Fast auto-focus in microscopic imaging | |
CN107421722A (zh) | 基于ccd相机像增强器调制传递函数测试方法及*** | |
CN108681992A (zh) | 用于探测器阵列法测量激光光斑的图像插值算法 | |
CN105787876B (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
CN103413286A (zh) | 一种基于学习的高动态范围与高分辨率图像联合重建方法 | |
Várkonyi-Kóczy et al. | Gradient-based synthesized multiple exposure time color HDR image | |
CN105894513B (zh) | 顾及影像对象时空变化的遥感影像变化检测方法及*** | |
CN111083365A (zh) | 一种最佳焦平面位置快速检测方法及装置 | |
CN110956624B (zh) | 一种针对立体物体的图像清晰度评价方法 | |
CN201364140Y (zh) | 一种显微成像高精度三维检测装置 | |
CN109001902A (zh) | 基于图像融合的显微镜聚焦方法 | |
CN106324820A (zh) | 一种双通道荧光光学显微成像中基于图像处理的自动对焦方法 | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20121209 |