CN102609931A - 一种显微图像的景深扩展方法及装置 - Google Patents

一种显微图像的景深扩展方法及装置 Download PDF

Info

Publication number
CN102609931A
CN102609931A CN2012100227035A CN201210022703A CN102609931A CN 102609931 A CN102609931 A CN 102609931A CN 2012100227035 A CN2012100227035 A CN 2012100227035A CN 201210022703 A CN201210022703 A CN 201210022703A CN 102609931 A CN102609931 A CN 102609931A
Authority
CN
China
Prior art keywords
image
images
wavelet
micro
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100227035A
Other languages
English (en)
Other versions
CN102609931B (zh
Inventor
张春旺
明德烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU MING-MEI PHOTOELECTRIC TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU MING-MEI PHOTOELECTRIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU MING-MEI PHOTOELECTRIC TECHNOLOGY Co Ltd filed Critical GUANGZHOU MING-MEI PHOTOELECTRIC TECHNOLOGY Co Ltd
Priority to CN201210022703.5A priority Critical patent/CN102609931B/zh
Publication of CN102609931A publication Critical patent/CN102609931A/zh
Application granted granted Critical
Publication of CN102609931B publication Critical patent/CN102609931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种显微图像的景深扩展方法,选定参考图像后对源图像进行色彩空间变换,在变换后色彩空间进行图像的匹配,进而对空间对准后的图像进行融合及重构,最后得到抗色偏的结果图像。同时还公开了一种显微图像的景深扩展的装置,包括图像参考模块,图像变换模块,图像匹配模块,图像融合模块及图像重构模块。采用本发明实施例中的方法及装置,可以快速对由于不同原因存在较大旋转及尺度缩放的模糊图像序列进行景深扩展,自动合成一幅清晰的重构图像,并能有效解决彩色图像景深扩展的偏色问题,同时该算法时间复杂度和空间复杂度都很低,可用非常低的硬件成本实现。在景深扩展性能、处理速度和性价比等方面均优于现有景深扩展***。

Description

一种显微图像的景深扩展方法及装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种显微图像的景深扩展方法及装置,特别适合对高分辨率显微图像的景深扩展。
背景技术
景深扩展有时又称作为图像融合、超景深处理,因为普通显微镜都有固定的景深,在纵向变化范围较大的情况下,难以在各个层面都清晰显示,尤其是在增大放大倍数时这种缺陷就更加明显。利用数字图像处理技术,对多幅各层面聚焦图像进行处理,可以得到各点均清晰聚焦的整幅图像。主要用来进行显微拍摄,微机械零件拍摄,粗糙的微观表面拍摄等。传统的景深扩展方法一般只针对单通道灰度黑白图像进行,并且只考虑由于焦距微调引起的图像模糊问题。但在实际的显微图像景深扩展应用中,大部分是针对彩色图像进行,因此引入了如何保证景深扩展结果图像不偏色的问题;并且模糊图像的产生原因是由聚焦和镜下物体移动两部分共同作用的结果,因此待融合图像不仅仅存在不同程度、不同部位的模糊,还存在较大的几何(旋转、缩放)失真。对于这些情况,如果采用传统的方法都是无法解决的,并且传统算法没有考虑到目前显微图像高分辨率的成像特点,即只能针对较小尺寸的图像进行景深扩展,且扩展的效果也不够好,而对于类似300万、500万像素或更高像素的显微图像就更加无能为力了。
发明内容
本发明提供一种显微图像的景深扩展方法,能够解决现有景深扩展方法抗偏色能力差、计算效率低、无法对高分辨率大尺寸显微图像操作、景深扩展效果不稳定、难以工程实用化的问题。 
本发明提供一种显微图像的景深扩展方法,包括步骤:
从多张不同聚焦的显微图像中设定参考图像;
读取参考图像和剩余新图像进行色彩空间变换;
在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配;
对匹配后的图像与参考图像采用小波变换算法进行融合;
对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
优选地,在所述对融合后的图像采用小波逆变换的方式进行重构并输出重构图像的步骤之前还包括:
判断所有显微图像是否已经进行了融合;
如果是,则直接执行采用小波逆变换将融合图像输出;
如果否,则将当前参考图像更新为融合后的图像并返回读取参考图像和剩余新图像进行色彩空间变换的步骤。
优选地,所述读取参考图像和剩余新图像进行色彩空间变换的步骤包括:
将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像;
针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度扩展图像;
将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
优选地,所述在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配的步骤包括:
提取待匹配图像的几何特征点;
计算几何特征点的多维特征向量描述;
将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
剔除误匹配点对得到结果匹配点对集合;
根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
优选地,所述对匹配后的图像进行融合的步骤包括:
对匹配后的图像进行小波分解,选择小波基函数和小波分解层数;
对匹配后的图像进行二维离散小波变换,建立小波塔形;
对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。
本发明还提供了一种显微图像的景深扩展装置,包括:
图像参考模块,用于从多张不同聚焦的显微图像中设定参考图像;
图像变换模块,用于读取参考图像和剩余新图像进行色彩空间变换;
图像匹配模块,用于在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配;
图像融合模块,用于对匹配后的图像与参考图像采用小波变换算法进行融合;
图像重构模块,用于对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
作为一种优选方式,本发明实施例的装置还包括:
图像判断模块,用于判断图像融合模块是否对所有显微图像已经进行了融合,如果是,则启动图像重构模块;如果否,则将当前参考图像更新为融合后的图像并启动图像变换模块。
优选地,所述图像变换模块包括:
HLS转换单元,用于将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像;
亮度扩展单元,用于针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度扩展图像;
RGB转换单元,用于将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
优选地,所述图像匹配模块包括:
几何特征点提取单元,用于提取待匹配图像的几何特征点;
几何特征点计算单元,用于计算几何特征点的多维特征向量描述;
欧式距离匹配单元,用于将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
误匹配点对检测单元,用于剔除误匹配点对得到结果匹配点对集合;
仿射变换矩阵求解单元,用于根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
像素级匹配单元,用于将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
优选地,所述图像融合模块包括:
小波分解单元,用于匹配后的对图像进行小波分解,选择小波基函数和小波分解层数;
小波变换单元,用于对匹配后的图像进行二维离散小波变换,建立小波塔形;
小波金字塔生成单元,用于对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。
上述技术方案可以看出,由于本发明实施例采用首选对图像进行色彩空间转换然后对图像进行像素匹配再进行融合,能够对多幅存在缩放、刚体运动引起的变形图像实现像素级匹配,并且充分考虑到每帧图像的不同部位可能存在的对焦模糊;并能够针对匹配后的图像进行像素级融合,根据不同部位存在对焦模糊的原始图像生成一幅清晰的重构图像,相对于现有技术中的景深扩展技术具有以下优点:
1.提出了一种抗偏色的显微图像景深扩展方法,通过本方法对待景深扩展图像首先进行色彩空间变换,然后只针对其中的亮度分量进行景深扩展,最后进行色彩空间反变换重构输出图像,本方法具有抗偏色,大幅度减少景深扩展程序计算量等特点,同时具有算法简洁、计算复杂度低特点;
2.基于几何点特征描述多聚焦图像匹配方法,能够自动检测待景深扩展图像中的几何点特征结构,并提取其特征向量,通过特征向量的比对实现图像的匹配和几何校正,该方法具有抗旋转、缩放等几何失真的特点,同时具有算法简洁、计算复杂度低,易于工程实现特点;
3.基于小波的多聚焦图像融合方法,能够在不同尺度上提取原始输入图像序列中的几何及纹理细节特征,并重构输出一幅完全聚焦的清晰图像。通过合适的小波基的选取和小波系数融合策略,本方法能适应不同背景、不同图像内容的景深扩展应用,同时具有算法简洁,易于工程实现特点;
采用本发明中的方法及装置,可以快速对由于不同原因存在较大旋转及尺度缩放的模糊图像序列进行景深扩展,自动合成一幅清晰的重构图像,并能有效解决彩色图像景深扩展的偏色问题,同时该算法时间复杂度和空间复杂度都很低,可用非常低的硬件成本实现。在景深扩展性能、处理速度和性价比等方面均优于现有景深扩展***。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
 
图1是本发明实施例1中显微图像的景深扩展方法的流程图;
图2是本发明实施例1中对图像进行色彩空间变换的流程图;
图3是本发明实施例1中在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配的流程图;
图4是本发明实施例1中图像融合与图像重构的示例图;
图5是本发明实施例2中显微图像的景深扩展装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:
如图1所示,本发明实施例提供一种显微图像的景深扩展方法,包括:
步骤11:从多张不同聚焦的显微图像中设定参考图像。
在本步骤中,显微图像是彩色图像,在显微镜取景的时候由于焦距变换以及物镜的移动等原因会对同一个事物产生多个聚焦的显微图像,在这些不同聚焦的显微图像中,每个显微图像的景深也不一样,这些不同聚焦的显微图像属于源图像。而本步骤中从多张不同聚焦的显微图像中选取一个显微图像作为基准参考图像,以便于在后续的步骤中以这个参考图像作为扩展基准,实现匹配、融合等扩展方案。那么在选取参考图像时,可以人为的选定,也可以设定选取条件由***进行自动选定,那么无论是那种选取参考图像的方式都要遵循一个原则:设定的参考图像须具有一定的质量,即具有良好的画质,那么如果采用人为选取参考图像,则凭肉眼判断选取较为清晰的图像即可,如果采用设定选取条件由***自动选取,则可以在亮度、饱和度、对比度、色度等方面设定条件值,达到设定条件值且越接近设定条件的图像即可设定为参考图像。那么可以理解的是,在设定参考图像后,***中其他的源图像即为剩余新图像。
步骤12:读取参考图像和剩余新图像进行色彩空间变换。
本步骤中参考图像与剩余新图像被读取后,对所读取的参考图像与新图像分别进行色彩空间变换,对于图像色彩空间变换的具体方法,结合图2作出具体介绍。
如图2所示,对图像进行色彩空间变换的过程包括了三个步骤。
步骤121:将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像。此处读取的图像是尚未进行景深扩展的新图像,本实施例中的显微图像是彩色图像,将其有RGB色彩空间转换到HLS色彩空间后能够得到灰度图像。在此步骤中还需要对参考图像进行色彩空间转换,即将参考图像由RGB色彩空间变换为HLS色彩空间,得到参考图像的灰度图像。
步骤122:针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度通道灰度图像,即亮度扩展图像。而具有最清晰亮度分量的图像是通过比较两幅图像的亮度通道的值得到,即比较参考图像和当前剩余新图像的亮度通道的值,因此在得到最清晰亮度分量的图像后,直接选取其色度通道和饱和度通道的值即可。可以理解的是,本步骤中相对应地对参考图像的灰度图像作出上述扩展,得到相应的参考图像的亮度扩展图像。
步骤123:将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
本步骤中对亮度扩展图像由HLS色彩空间转换回RGB色彩空间,输出的变换图像能够抗偏色,大幅度减少景深扩展过程中的计算量。
步骤13:在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配。
本步骤中色彩空间变换后的当前剩余新图像相对于参考图像会有一定的变形,所述的变形主要是显微图像在缩放、刚体运动(例如变焦、旋转)的过程中不可避免的相对于参考图像所产生的变形,而需要强调的是在显微图像进行色彩空间的过程中则不出现变形,那么可以理解的是,图像的变形是在生成变换图像之前就存在的,本步骤只是在对不同聚焦图像进行色彩空间变换,而经过色彩空间变换的图像也依然存在变形。变形的变换图像与参考图像进行像素级匹配,实际上是变形的变换图像与参考图像的变换图像进行像素级匹配,这样便保持了所匹配的图像的特征具有相同性。具体匹配的方法结合图3作出具体说明。
步骤131:提取待匹配图像的几何特征点;
步骤132:计算几何特征点的多维特征向量描述;
步骤133:将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
步骤134:剔除误匹配点对得到结果匹配点对集合;
步骤135:根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
步骤136:将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
本步骤中所述的待匹配图像是指经过色彩空间变换后的当前的剩余新图像和经过色彩空间变换后的参考图像,所述的原始图像即为上述在色彩空间变换前所读取的剩余新图像,将仿射变换矩阵作用于原始图像是为了对当前的剩余新图像作出几何校正。
至此完成了对当前的剩余新图像的像素级匹配的步骤。
步骤14:对匹配后的图像与参考图像采用小波变换算法进行融合。
在本步骤中的具体操作如下:
对匹配后的图像进行小波分解,选择小波基函数和小波分解层数;
对匹配后的图像进行二维离散小波变换,建立小波塔形;
对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。本步骤所操作的图像均为上一步骤中得到的经过匹配后的图像。
步骤15:判断所有显微图像是否已经进行了融合;如果是,则直接执行步骤16:对融合后的图像采用小波逆变换的方式进行重构并输出重构图像;如果否,则执行步骤10:将当前参考图像更新为融合后的图像,并返回步骤12:读取参考图像和剩余新图像进行色彩空间变换。
由于本方法实施例中对于上述匹配步骤及融合步骤均为两两匹配,两两融合,举例说明,如果本***处理的显微图像具有4张不同聚焦的源图像,那么从中选择一个源图像作为参考图像,剩余3张新图像则分别在上述匹配步骤及融合步骤中与参考图像进行匹配及融合,在每次融合完毕后都会判断是否所有的剩余新图像都已经融合完毕,并及时将参考图像与剩余新图像进行融合,形成新的参考图像,最后形成一个由所有源图像融合成的融合图像,本步骤是为了保证***中存在的多张不同聚焦的显微图像均做了融合处理,以保证***在对显微图像做图像融合的时候,能够进一步达到效率最高及效果最佳的要求,因此增加这个判断步骤可以让***在最快的时间内读取到尚未进行图像融合的显微图像,即剩余新图像,然后将剩余新图像进行图像融合的处理动作;只有所有源图像都进行了融合,才能保证图像景深处理的效果是最佳的,那满足这个条件后,就直接交给图像重构模块对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
步骤16:对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
为了加强图片景深扩展的效果,在输出重构图像之前对重构图像进行分析评价,做出相应修正。
对于图像的融合以及图像的重构,本发明实施例采用基于多尺度分解融合算法,采用小波分解对原始图像进行分解,能够保持尽可能多的现场数据,有利于图像的进一步分析和处理。参考图4,本发明实施采用的图像融合与图像重构的过程中,可以采取一种较佳的实施方式,将待融合的图像即匹配后的图像分别同时选择最佳小波基和最佳小波分解层数,然后对匹配后的图像小波分解,再进行高频信息的融合和低频信息的融合,得到融合后的小波系数,至此完成图像的融合步骤,紧接着进入图像重构的步骤,采用小波系数的反变换,进而将重构图像输出。
实施例2:
如图5所示,本发明实施例提供了一种显微图像的景深扩展装置,包括:
图像参考模块101,用于从多张不同聚焦的显微图像中设定参考图像;
图像变换模块102,用于读取参考图像和剩余新图像进行色彩空间变换;
图像匹配模块103,用于在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配;
图像融合模块104,用于对匹配后的图像与参考图像采用小波变换算法进行融合;
图像重构模块105,用于对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
本发明实施例的装置还包括图像判断模块106,用于判断图像融合模块是否对所有显微图像已经进行了融合,如果是,则启动图像重构模块105;如果否,则将当前参考图像更新为融合后的图像并启动图像变换模块102。
本发明实施例中还可以专门增加一个参考图像存储模块,专用于存储并及时更新参考模块,该参考图像存储模块连接于图像判断模块与图像变换模块之间,可以理解的是,本发明实施例中图像判断模块同时具备参考图像存储模块的功能。
具体地,所述图像变换模块102包括:
HLS转换单元,用于将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像;
亮度扩展单元,用于针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度扩展图像;
RGB转换单元,用于将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
具体地,所述图像匹配模块103包括:
几何特征点提取单元,用于提取待匹配图像的几何特征点;
几何特征点计算单元,用于计算几何特征点的多维特征向量描述;
欧式距离匹配单元,用于将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
误匹配点对检测单元,用于剔除误匹配点对得到结果匹配点对集合;
仿射变换矩阵求解单元,用于根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
像素级匹配单元,用于将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
具体地,所述图像融合模块104包括:
小波分解单元,用于匹配后的对图像进行小波分解,选择小波基函数和小波分解层数;
小波变换单元,用于对匹配后的图像进行二维离散小波变换,建立小波塔形;
小波金字塔生成单元,用于对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。
具体地,所述图像重构模块105包括:
分析评价单元,用于在输出重构图像之前对重构图像进行分析评价,做出相应修正。
需要说明的是,上述装置和***内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种显微图像的景深扩展方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种显微图像的景深扩展方法,其特征在于,包括步骤:
从多张不同聚焦的显微图像中设定参考图像;
读取参考图像和剩余新图像进行色彩空间变换;
在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配;
对匹配后的图像与参考图像采用小波变换算法进行融合;
对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
2.如权利要求1所述的一种显微图像的景深扩展方法,其特征在于,在所述对融合后的图像采用小波逆变换的方式进行重构并输出重构图像的步骤之前还包括:
判断所有显微图像是否已经进行了融合;
如果是,则直接执行采用小波逆变换将融合图像输出;
如果否,则将当前参考图像更新为融合后的图像并返回读取参考图像和剩余新图像进行色彩空间变换的步骤。
3.如权利要求1或2所述的一种显微图像的景深扩展方法,其特征在于,所述读取参考图像和剩余新图像进行色彩空间变换的步骤包括:
将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像;
针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度扩展图像;
将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
4.如权利要求1或2所述的一种显微图像的景深扩展方法,其特征在于,所述在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配的步骤包括:
提取待匹配图像的几何特征点;
计算几何特征点的多维特征向量描述;
将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
剔除误匹配点对得到结果匹配点对集合;
根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
5.如权利要求1或2所述的一种显微图像的景深扩展方法,其特征在于,所述对匹配后的图像进行融合的步骤包括:
对匹配后的图像进行小波分解,选择小波基函数和小波分解层数;
对匹配后的图像进行二维离散小波变换,建立小波塔形;
对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。
6.一种显微图像的景深扩展装置,其特征在于,包括:
图像参考模块,用于从多张不同聚焦的显微图像中设定参考图像;
图像变换模块,用于读取参考图像和剩余新图像进行色彩空间变换;
图像匹配模块,用于在变换后的色彩空间中,对剩余新图像与参考图像进行像素级匹配;
图像融合模块,用于对匹配后的图像与参考图像采用小波变换算法进行融合;
图像重构模块,用于对融合后的图像采用小波逆变换的方式进行重构并输出重构图像。
7.如权利要求6所述的一种显微图像的景深扩展装置,其特征在于,还包括:
图像判断模块,用于判断图像融合模块是否对所有显微图像已经进行了融合,如果是,则启动图像重构模块;如果否,则将当前参考图像更新为融合后的图像并启动图像变换模块。
8.如权利要求6或7所述的一种显微图像的景深扩展装置,其特征在于,所述图像变换模块包括:
HLS转换单元,用于将读取的图像由RGB色彩空间转换到HLS色彩空间得到灰度图像;
亮度扩展单元,用于针对灰度图像的亮度通道进行景深扩展,对色度通道、饱和度通道直接取具有最清晰亮度分量的图像的对应值,得到亮度扩展图像;
RGB转换单元,用于将亮度扩展图像由HLS色彩空间转换到RGB色彩空间,输出变换图像。
9.如权利要求6或7所述的一种显微图像的景深扩展装置,其特征在于,所述图像匹配模块包括:
几何特征点提取单元,用于提取待匹配图像的几何特征点;
几何特征点计算单元,用于计算几何特征点的多维特征向量描述;
欧式距离匹配单元,用于将待匹配图像中的特征点集合按照特征向量的欧式距离最小原则进行匹配;
误匹配点对检测单元,用于剔除误匹配点对得到结果匹配点对集合;
仿射变换矩阵求解单元,用于根据结果匹配点对集合计算待匹配图像间的仿射变换矩阵;
像素级匹配单元,用于将仿射变换矩阵作用于原始图像完成图像的像素级匹配。
10.如权利要求6或7所述的一种显微图像的景深扩展装置,其特征在于,所述图像融合模块包括:
小波分解单元,用于对匹配后的图像进行小波分解,选择小波基函数和小波分解层数;
小波变换单元,用于对匹配后的图像进行二维离散小波变换,建立小波塔形;
小波金字塔生成单元,用于对分解的小波系数分高低频及分不同算子进行融合处理,最终得到融合后的小波金字塔。
CN201210022703.5A 2012-02-01 2012-02-01 一种显微图像的景深扩展方法及装置 Active CN102609931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210022703.5A CN102609931B (zh) 2012-02-01 2012-02-01 一种显微图像的景深扩展方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210022703.5A CN102609931B (zh) 2012-02-01 2012-02-01 一种显微图像的景深扩展方法及装置

Publications (2)

Publication Number Publication Date
CN102609931A true CN102609931A (zh) 2012-07-25
CN102609931B CN102609931B (zh) 2014-04-09

Family

ID=46527277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210022703.5A Active CN102609931B (zh) 2012-02-01 2012-02-01 一种显微图像的景深扩展方法及装置

Country Status (1)

Country Link
CN (1) CN102609931B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008358A (zh) * 2013-02-27 2014-08-27 电装波动株式会社 码读取装置
US9047666B2 (en) 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
CN104008358B (zh) * 2013-02-27 2016-11-30 电装波动株式会社 码读取装置
CN106327442A (zh) * 2016-08-22 2017-01-11 上海奥通激光技术有限公司 多光谱显微成像的景深扩展方法及***
CN109310278A (zh) * 2016-06-17 2019-02-05 索尼公司 图像处理装置、图像处理方法、程序和图像处理***
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN111242880A (zh) * 2019-12-30 2020-06-05 广州市明美光电技术有限公司 一种用于显微镜的多景深图像叠加方法、设备及介质
CN112801913A (zh) * 2021-02-07 2021-05-14 佛山中纺联检验技术服务有限公司 一种解决显微镜景深限制的方法
EP3920134A1 (en) * 2020-06-05 2021-12-08 VitaDX International Multi-channel extended depth-of-field method for automated digital cytology
CN114815207A (zh) * 2022-05-24 2022-07-29 宾盛科技(武汉)有限公司 显微成像自动对焦的图像景深融合方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
CN101399900A (zh) * 2008-11-11 2009-04-01 南京大学 一种基于小波变换的彩色序列图像融合方法
CN102063710A (zh) * 2009-11-13 2011-05-18 烟台海岸带可持续发展研究所 一种遥感图像融合增强的实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
CN101399900A (zh) * 2008-11-11 2009-04-01 南京大学 一种基于小波变换的彩色序列图像融合方法
CN102063710A (zh) * 2009-11-13 2011-05-18 烟台海岸带可持续发展研究所 一种遥感图像融合增强的实现方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JARUWAN TOONTHAM ET AL: "Comparative Efficiency of Wavelet Filter for Multi-focus Color Image Fusion", 《2010 2ND INTERNATIONAL CONFERENCE ON EDUCATION TECHNOLOGY AND COMPUTER》, vol. 5, 24 June 2010 (2010-06-24), pages 1 *
JIANG ZHI-GUO ET AL: "a wavelet based algorithm for multi-focus micro-image fusion", 《2004 IEEE FIRST SYMPOSIUM ON MULTI-AGENT SECURITY AND SURVIVABILITY》, 20 December 2004 (2004-12-20), pages 176 - 179 *
RADU CIPRIAN BILCU ET AL: "A Novel Method for Multi-focus Image Fusion", 《2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》, 31 December 2009 (2009-12-31), pages 1525 - 1528 *
付朝霞 等: "一种新的多聚集彩色图像融合方法", 《中国体视学与图像分析》, vol. 11, no. 3, 30 September 2006 (2006-09-30), pages 222 - 229 *
连伟龙 等: "基于色彩空间和小波分析的多聚集彩色图像融合", 《佳木斯大学学报(自然科学版)》, vol. 29, no. 6, 31 December 2011 (2011-12-31), pages 3 - 1 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008358A (zh) * 2013-02-27 2014-08-27 电装波动株式会社 码读取装置
CN104008358B (zh) * 2013-02-27 2016-11-30 电装波动株式会社 码读取装置
US9047666B2 (en) 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
CN109310278A (zh) * 2016-06-17 2019-02-05 索尼公司 图像处理装置、图像处理方法、程序和图像处理***
CN109310278B (zh) * 2016-06-17 2022-05-03 索尼公司 图像处理装置、图像处理方法、程序和图像处理***
CN106327442A (zh) * 2016-08-22 2017-01-11 上海奥通激光技术有限公司 多光谱显微成像的景深扩展方法及***
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN110517213B (zh) * 2019-08-22 2021-11-09 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN111242880A (zh) * 2019-12-30 2020-06-05 广州市明美光电技术有限公司 一种用于显微镜的多景深图像叠加方法、设备及介质
EP3920134A1 (en) * 2020-06-05 2021-12-08 VitaDX International Multi-channel extended depth-of-field method for automated digital cytology
CN112801913A (zh) * 2021-02-07 2021-05-14 佛山中纺联检验技术服务有限公司 一种解决显微镜景深限制的方法
CN114815207A (zh) * 2022-05-24 2022-07-29 宾盛科技(武汉)有限公司 显微成像自动对焦的图像景深融合方法及相关设备

Also Published As

Publication number Publication date
CN102609931B (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN102609931B (zh) 一种显微图像的景深扩展方法及装置
Yang et al. Deep edge guided recurrent residual learning for image super-resolution
Purohit et al. Bringing alive blurred moments
Qian et al. Trinity of pixel enhancement: a joint solution for demosaicking, denoising and super-resolution
Wang et al. Deeplens: Shallow depth of field from a single image
Cheng et al. Light field super-resolution with zero-shot learning
Alayrac et al. The visual centrifuge: Model-free layered video representations
Li et al. Synthesizing light field from a single image with variable MPI and two network fusion.
Abuolaim et al. Improving single-image defocus deblurring: How dual-pixel images help through multi-task learning
Chadha et al. iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Purohit et al. Depth-guided dense dynamic filtering network for bokeh effect rendering
Keller et al. Video super-resolution using simultaneous motion and intensity calculations
KR20170032288A (ko) 이미지를 업-스케일링하기 위한 방법 및 장치
Li et al. Uphdr-gan: Generative adversarial network for high dynamic range imaging with unpaired data
Thawakar et al. Image and video super resolution using recurrent generative adversarial network
Qian et al. Rethinking learning-based demosaicing, denoising, and super-resolution pipeline
Zou et al. Super-Resolution Reconstruction of Images Based on Microarray Camera.
Liang et al. A decoupled learning scheme for real-world burst denoising from raw images
Yue et al. Real-rawvsr: Real-world raw video super-resolution with a benchmark dataset
Kim et al. Video depth-from-defocus
Shaw et al. Hdr reconstruction from bracketed exposures and events
Yoo et al. 3D image reconstruction from multi-focus microscope: axial super-resolution and multiple-frame processing
Hu et al. CNN-based deghosting in high dynamic range imaging
Chen et al. A defocus and similarity attention-based cascaded network for multi-focus and misaligned image fusion
Liang et al. Guidance network with staged learning for image enhancement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant