CN111105346A - 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 - Google Patents
基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 Download PDFInfo
- Publication number
- CN111105346A CN111105346A CN201911086401.2A CN201911086401A CN111105346A CN 111105346 A CN111105346 A CN 111105346A CN 201911086401 A CN201911086401 A CN 201911086401A CN 111105346 A CN111105346 A CN 111105346A
- Authority
- CN
- China
- Prior art keywords
- image
- entering
- gray
- search
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 230000009194 climbing Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 35
- 238000002546 full scan Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- 239000013049 sediment Substances 0.000 abstract description 19
- 230000002485 urinary effect Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007500 overflow downdraw method Methods 0.000 abstract description 3
- 238000010187 selection method Methods 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 210000003855 cell nucleus Anatomy 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 206010061481 Renal injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000037806 kidney injury Diseases 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，属于图像处理领域。本发明提供了一种通过基于灰度直方图的非连续聚焦区域选择方法提取出评价函数主要作用的区域，再通过改进的Tenegrad梯度评价函数进行清晰度计算，最后使用改进的爬山算法逐步得到最佳聚焦位置，再通过灰度化、滤波操作对染色尿沉渣显微图像进行预处理，获得较为平滑且计算量较小的灰度图，再用改进的基于灰度值的模板配准算法对相邻图像进行配准，最后用改进的基于可变权重的融合方法将两图的重叠区域进行融合的图像处理方法。本发明不仅解决样本自动聚焦问题，使能较为快速准确地获得显微图像，还解决显微图像拼接问题，还减少了图像拼接时间。
Description
技术领域
本发明涉及一种图像拼接方法，具体涉及一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，属于图像处理领域。
背景技术
糖尿病近年来已经成为危害身体健康的高发疾病，基于染色尿沉渣细胞计数的方法是诊断糖尿病早期肾损伤的关键技术。鉴于无法获取样本的全视野，传统的计数方法只能手动挑选一块样本区域，然后通过细胞计数板的方法进行估算。由于染色尿沉渣中细胞分布不均匀，这种估算方法的结果通常很不准确，严重时会导致误诊，所以获取染色尿沉渣样本的完整显微图像至关重要。
目前，基于自动聚焦和显微图像拼接结束的自动显微成像***的研究已经有了一些成果：比如匈牙利3DHISTECH公司的Pannoramic系列数字切片扫描仪；日本滨松公司的Hammamatsu系列数字切片扫描仪；国内江丰公司的KF-PRO系列数字切片扫描仪等。相比较而言，国外相关领域的研究开展较早，目前研发的设备准确率更高、稳定性更强，但是价格也相对昂贵；而国内的设备存在技术上的缺陷，设计时没有实现一些拓展性功能：比如移动时没有进行自动对焦，图像拼接成功率不高，无法适用于特殊的拼接场景等问题。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法。
本发明提供了一种基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，具有这样的特征，包括如下步骤：S1，拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图；S2，将多张聚焦图拼接，得融合图；其中，S1包括如下步骤：S1.1，拍摄图像，得原始图像，进入S1.2；S1.2，将原始图像灰度化，生成灰度图以及灰度直方图，进入S1.3；S1.3，根据聚焦区域选择策略从灰度图中提取图像，得聚焦图，进入S1.4；S1.4，用评价函数计算聚焦图的清晰度，进入S1.5；S1.5，判断聚焦图清晰度是否大于阈值，当判断为是时，进入步骤S1.6，否则进入S1.7；S1.6，按照峰值搜索算法调整图像拍摄装置，进入S1.1；S1.7，保存聚焦图，进入S2；S2包括如下步骤：S2.1，分别对待拼接的聚焦图进行预处理，得预处理图，进入S2.2；S2.2，匹配预处理图的重合区域从而进行图像配准，得到最佳匹配点，进入S2.3，图像配准是基于灰度的模板配准算法来进行的；S2.3，根据最佳匹配点将预处理图对齐，进入S2.4；S2.4，将预处理图融合，得融合图，进入S2.5；S2.5，保存融合图。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，聚焦区域选择策略为基于灰度直方图的非连续聚焦区域选择策略，基于灰度直方图的非连续聚焦区域选择策略的算法流程包括如下步骤：找到灰度直方图中的波峰对应的灰度级M，设定阈值K，则背景灰度级范围为(M-K，M+K)，扫描灰度图，提取背景灰度级以外的区域。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，评价函数为Tenegrad梯度评价函数，Tenegrad梯度评价函数如下式所示：
式中，F为清晰度，G(x,y)表示梯度幅度，M和N表示像素点，T表示超过阈值的梯度个数。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，峰值搜索算法为逐步逼近峰值的爬山算法，逐步逼近峰值的爬山算法包括如下步骤：步骤1，根据图像初始清晰度，初始化移动步长L，方向为正，进入步骤2；步骤2，根据按照移动步长和方向移动一次，采集图像，计算二次清晰度，进入步骤3；步骤3，判断二次清晰度是否大于初始清晰度，若判断为是，则进入步骤2，否则进入步骤4；步骤4，减小移动步长，判断步长是否大于设备精度，当判断为是时，更改移动方向，并进入步骤2，否则结束算法。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，对待拼接图像进行预处理的方法包括如下步骤：步骤1，按照经验权重比值对待拼接图像灰度化，得初步预处理图像，进入步骤2；步骤2，对初步预处理图像使用中值滤波处理除噪，得到预处理图像。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，基于灰度的模板配准算法包括如下流程：步骤1，对于两张待配准的预处理图像，选择任意一张待配准的预处理图像提取匹配模板，并称之为模板图，另一张待配准的预处理图像作为搜索图，进入步骤2；步骤2，根据隔行搜索策略获得搜索图像比较区域，进入步骤3；步骤3，计算模板图与搜索图的相似度，进入步骤4；步骤4，判断相似度是否大于设定的阈值，当判断为是时，进入步骤5，否则返回步骤2；步骤5，保存比较区域的坐标点和相似度信息，进入步骤6；步骤6，判断比较区域是否搜索完毕，判断为是时，进入步骤7，否则返回步骤2；步骤7，确定相似度最高的点为最佳匹配点。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，提取模板的方法包括如下步骤：步骤1，搜索并计算模板区域内灰度直方图方差，进入步骤2；步骤2，判断灰度直方图方差是否大于当前最大的灰度直方图方差，当判断为是时，进入步骤3，否则返回步骤1；步骤3，保存模板区域的方差和坐标信息，进入步骤4；步骤4，判断比较区域是否搜索完毕，判断为是时，确定当前灰度直方图方差最大的区域为模板区域，并结束流程，否则返回步骤1。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，以搜索图中点(i,j)为左上方顶点，边长为n像素的正方形图像为搜索子图，计算搜索子图与模板图的相似度的公式如下：
式中，R(i,j)为相似度，Sij(x,y)表示搜索子图在(x,y)点的灰度值，
表示搜索子图的平均灰度值，T(x,y)表示模板图在(x,y)点的灰度值，
表示模板图的平均灰度值。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，基于灰度的模板配准算法步骤4中的阈值为0.6。
在本发明提供的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法中，还可以具有这样的特征：其中，预处理图融合采用加权平均融合算法进行；加权平均融合算法计算公式如下：
Vdst＝αiVa+(1-αi)Vb
式中，Vdst表示融合后的图像的像素值、Va、Vb分别表示融合前两张图的像素值；αi表示在融合区域坐标系中像素点的横坐标，w表示融合区域的宽度。
发明的作用与效果
根据本发明所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过基于灰度直方图的非连续聚焦区域选择方法提取出评价函数主要作用的区域，再通过改进的Tenegrad梯度评价函数进行清晰度计算，最后使用改进的爬山算法逐步得到最佳聚焦位置，所以，本发明解决染色尿沉渣样本自动聚焦问题，使能较为快速准确地获得染色尿沉渣显微图像。
根据本发明所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过灰度化、滤波操作对染色尿沉渣显微图像进行预处理，获得较为平滑且计算量较小的灰度图，再用改进的基于灰度值的模板配准算法对相邻图像进行配准，最后用改进的基于可变权重的融合方法将两图的重叠区域进行融合，所以，本发明解决尿沉渣显微图像的拼接问题，还减少了图像拼接时间。
附图说明
图1是本发明的实施例中S1拍摄得到原始图像并将原始图像自动聚焦的流程图；
图2是本发明的实施例中爬山搜索的清晰度评价曲线图；
图3是本发明的实施例中S2将多张所述聚焦图拼接得融合图的流程图；
图4是本发明的实施例中尿沉渣显微图像原图；
图5(a)是本发明的实施例中尿沉渣显微图像红色分量灰度图；
图5(b)是本发明的实施例中尿沉渣显微图像绿色分量灰度图；
图5(c)是本发明的实施例中尿沉渣显微图像蓝色分量灰度图；
图6(a)-(b)是本发明的实施例中尿沉渣显微图像两种不同加权平均灰度图；
图7是本发明的实施例中基于灰度的模板配准算法的流程图；
图8是本发明的实施例中模板提取的流程图；
图9是本发明的实施例中未加权融合的融合图；以及
图10是本发明的实施例中加权融合的融合图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
<实施例>
基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，步骤如下：
S1，拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图；
S2，将多张聚焦图拼接，得融合图。
图1是本发明的实施例中拍摄得到原始图像并将原始图像自动聚焦的流程图。
如图1所示，S1拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图步骤如下：
S1.1，拍摄图像，得原始图像，进入S1.2；
S1.2，将所述原始图像灰度化，生成灰度图以及灰度直方图，进入S1.3；
S1.3，根据聚焦区域选择策略从灰度图中提取图像，得聚焦图，进入S1.4；
本步骤中，聚焦区域选择策略为基于灰度直方图的非连续聚焦区域选择策略，
基于灰度直方图的非连续聚焦区域选择策略的算法流程如下：
S1.3.1，找到灰度直方图中的波峰对应的灰度级M，设定阈值K，则背景灰度级范围为(M-K，M+K)，扫描所述灰度图，提取背景灰度级以外的区域。
S1.4，用评价函数计算所述聚焦图的清晰度，进入S1.5；
在本步骤中，评价函数可选自Tenegrad梯度评价函数、Laplace评价函数或方差评价函数中的任意一种，在本实施例中，评价函数选用Tenegrad梯度评价函数。
具体地，本实施例中使用的Tenegrad梯度评价函数为下式：
式中，F为清晰度，G(x,y)表示梯度幅度，M和N表示像素点，T表示超过阈值的梯度个数。
S1.5，判断所述聚焦图清晰度是否大于阈值(设备精度)，当判断为是时，进入步骤S1.6，否则进入S1.7；
在本实施例中，阈值为显微镜的自动聚焦精度。
S1.6，按照峰值搜索算法调整显微镜的Z轴，进入S1.1；
在本实施例中，峰值搜索算法为逐步逼近峰值的爬山算法，
逐步逼近峰值的爬山算法步骤如下：
S1.6.1，根据图像初始清晰度，初始化移动步长L，方向为正，进入S1.6.2；
S1.6.2，根据按照移动步长和方向移动一次，采集图像，计算二次清晰度，进入S1.6.3；
S1.6.3，判断二次清晰度是否大于初始清晰度，若判断为是，则进入步骤2，否则进入S1.6.4；
S1.6.4，减小移动步长，判断步长是否大于设备精度，当判断为是时，更改移动方向，并进入S1.6.2，否则结束算法。
在本实施例中，计算初始清晰度和二次清晰度的计算公式与S1.4中相同。
图2是本发明的实施例中爬山搜索的清晰度评价曲线图。
如图2所示，一开始由于处于完全离焦状态，所以曲线增长速度不快；之后图像逐渐清晰，曲线大幅度增长；然后因为搜索的距离刚好越过了峰值点，导致清晰度略微下降，此时调整了搜索步长，得到了后续逐渐逼近峰值的结果。
S1.7，保存所述聚焦图，进入S2。
图3是本发明的实施例中S2将多张所述聚焦图拼接得融合图的流程图。
如图3所示，S2，将多张所述聚焦图拼接，得融合图的流程如下：
S2.1，分别对待拼接的聚焦图进行预处理，得预处理图，进入S2.2；
对待拼接图像进行预处理的方法包括如下步骤：
S2.1.1，按照经验权重比值对待拼接图像灰度化，得初步预处理图像，进入S2.1.2；
图4是本发明的实施例中尿沉渣显微图像原图。图5(a)是本发明的实施例中尿沉渣显微图像红色分量灰度图。图5(b)是本发明的实施例中尿沉渣显微图像绿色分量灰度图。图5(c)是本发明的实施例中尿沉渣显微图像蓝色分量灰度图。图6(a)-(b)是本发明的实施例中两种尿沉渣显微图像不同加权平均灰度图。
图4-6中所有图像左侧是10倍物镜下采集到的染色尿沉渣显微图像，右侧是40倍物镜下采集到的图像。
如图4所示，染色试剂颜色较浅并且细胞分布比较稀疏，导致染色尿沉渣显微图像中的细胞轮廓对比度不太高，图像信息量不大，所以灰度化的结果要最大程度保留这些信息。
如图5(a)-(c)所示，图5(a)是红色分量(α＝1，β＝0，γ＝0)处理后的灰度图，相对于原图比较模糊，但是仔细观察会发现保留了大多数原图像的细节，就人眼视觉而言这不是好的灰度变换，可能会给之后的图像配准增加难度；图5(b)是绿色分量(α＝0，β＝1，γ＝0)处理后的灰度图，图像中的很多细节得到了保留，观察能看到细胞核部分都较为清晰，但是细胞其他结构却不够清晰，尤其是在40倍图中模糊的更加明显，而在之后的配准过程中，可能只会选择边界区域作为感兴趣的区域，假如这区域中没有细胞核这样比较有效的信息，很难成功地进行图像的配准；图5(c)是蓝色分量(α＝0，β＝0，γ＝1)处理后的结果，其丢失了部分细胞细节，主要是降低了细胞核与细胞其他结构的对比度，但是提高到了细胞与周围环境的对比度，这相当于扩大了有效信息的面积，理论上更加有利于图像的配准。
在本实施例中，采用经验权重比值灰度化，经验权重比值为α＝0.193-0.285，β＝0.203-0.287，γ＝0.512-0.520，且α+β+γ＝1。
如图6(a)-(b)所示，图6(a)的经验权重比值为α＝0.285，β＝0.203，γ＝0.512，图6(b)的经验权重比值为α＝0.193，β＝0.287，γ＝0.520，结果发现其没有丢失太多原图像中的细节；并且相对于单纯用绿色分量进行处理，这样处理后的结果显得更为清晰，也就是对比度更为明显；而且相对于单纯用蓝色分量进行处理，这种方式的处理结果在细节描绘上更加全面，这点可以从左侧图片中左下角的一个细胞群体现出来，权重比值处理的结果能将这些细胞核清晰地分离开来。
S2.1.2，对所述初步预处理图像使用中值滤波处理除噪，得到预处理图像。
S2.2，匹配所述预处理图的重合区域从而进行图像配准，得到最佳匹配点，进入S2.3，
图像配准是基于灰度的模板配准算法来进行的，
图7是本发明的实施例中基于灰度的模板配准算法的流程图。
如图7所示，基于灰度的模板配准算法包括如下流程：
S2.2.1，对于两张待配准的预处理图像，选择任意一张待配准的预处理图像提取匹配模板，并称之为模板图，另一张待配准的预处理图像作为搜索图，进入S2.2.2；
图8是本发明的实施例中模板提取的流程图。
如图8所示，提取模板的方法步骤如下：
S2.2.1.1，搜索并计算模板区域内灰度直方图方差，进入S2.2.1.2；
模板的大小是基于模板的配准算法中重要的参数，模板越大，包含的信息量越多，配准时越精确，在本实施例中，采用80像素×80像素大小的模板。搜索范围为300像素。
S2.2.1.2，判断灰度直方图方差是否大于当前最大的灰度直方图方差，当判断为是时，进入S2.2.1.3，否则返回S2.2.1.1；
在本实施例中，灰度直方图方差的计算公式如下：
式中，其中δ表示标准差，i表示灰度值，
表示平均值，Pi表示相应灰度出现的频率。
S2.2.1.3，保存模板区域的方差和坐标信息，进入S2.2.1.4；
S2.2.1.4，判断比较区域是否搜索完毕，判断为是时，确定当前灰度直方图方差最大的区域为模板区域，并结束流程，否则返回S2.2.1.1。
S2.2.2，根据隔行搜索策略获得搜索图的比较区域，进入S2.2.3；
S2.2.3，计算模板图与搜索图的相似度，进入S2.2.4；
以所述搜索图中点(i,j)为左上方顶点，边长为n像素的正方形图像为搜索子图，计算所述搜索子图与所述模板图的相似度的公式如下：
式中，R(i,j)为相似度，Sij(x,y)表示所述搜索子图在(x,y)点的灰度值，
表示搜索子图的平均灰度值，T(x,y)表示所述模板图在(x,y)点的灰度值，
表示所述模板图的平均灰度值。
在本实施例中，搜索子图为边长为80像素的正方形图像，即n＝80。
S2.2.4，判断相似度是否大于设定的阈值，当判断为是时，进入S2.2.5，否则返回S2.2.2；
本实施例中，阈值根据经验值确定为0.6。
S2.2.5，保存所述比较区域的坐标点和相似度信息，进入S2.2.6；
S2.2.6，判断比较区域是否搜索完毕，判断为是时，进入S2.2.7，否则返回S2.2.2；
S2.2.7，确定相似度最高的点为最佳匹配点。
S2.3，根据最佳匹配点将预处理图对齐，进入S2.4；
S2.4，将预处理图融合，得融合图，进入S2.5；
在本实施例中，预处理图融合采用加权平均融合算法进行；
加权平均融合算法计算公式如下：
Vdst＝αiVa+(1-αi)Vb
式中，Vdst表示融合后的图像的像素值、Va、Vb分别表示融合前两张图的像素值；αi表示在融合区域坐标系中像素点的横坐标，w表示融合区域的宽度。
图9是本发明的实施例中未加权融合的融合图。图10是本发明的实施例中加权融合的融合图。
如图9-10所示，在没有使用融合算法时，图像有较为明显的拼接痕迹，而用渐变加权融合算法处理后，图像的信息基本没有变化，拼接的痕迹也都消失了。
S2.5，保存所述融合图。
实施例的作用与效果
根据本实施例所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过基于灰度直方图的非连续聚焦区域选择方法提取出评价函数主要作用的区域，再通过改进的Tenegrad梯度评价函数进行清晰度计算，最后使用改进的爬山算法逐步得到最佳聚焦位置，所以，本实施例解决染色尿沉渣样本自动聚焦问题，使能较为快速准确地获得染色尿沉渣显微图像。
根据本实施例所涉及的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，因为提出一种通过灰度化、滤波操作对染色尿沉渣显微图像进行预处理，获得较为平滑且计算量较小的灰度图，再用改进的基于灰度值的模板配准算法对相邻图像进行配准，最后用改进的基于可变权重的融合方法将两图的重叠区域进行融合，所以，本实施例解决尿沉渣显微图像的拼接问题，还减少了图像拼接时间。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
Claims (10)
1.基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于，包括如下步骤：
S1，拍摄得到原始图像并将原始图像自动聚焦，得到聚焦图；
S2，将多张所述聚焦图进行拼接，得融合图；
其中，S1包括如下步骤：
S1.1，拍摄图像，得所述原始图像，进入S1.2；
S1.2，将所述原始图像灰度化，生成灰度图以及灰度直方图，进入S1.3；
S1.3，根据聚焦区域选择策略从所述灰度图中提取图像，得聚焦图，进入S1.4；
S1.4，用评价函数计算所述聚焦图的清晰度，进入S1.5；
S1.5，判断所述聚焦图的清晰度是否大于阈值，当判断为是时，进入步骤S1.6，否则进入S1.7；
S1.6，按照峰值搜索算法调整图像拍摄装置，进入S1.1；
S1.7，保存所述聚焦图，进入S2；
S2包括如下步骤：
S2.1，分别对待拼接的聚焦图进行预处理，得预处理图，进入S2.2；
S2.2，匹配所述预处理图的重合区域从而进行图像配准，得到最佳匹配点，进入S2.3，
所述图像配准是基于灰度的模板配准算法来进行的；
S2.3，根据所述最佳匹配点将所述预处理图对齐，进入S2.4；
S2.4，将所述预处理图融合，得融合图，进入S2.5；
S2.5，保存所述融合图。
2.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述聚焦区域选择策略为基于灰度直方图的非连续聚焦区域选择策略，
所述基于灰度直方图的非连续聚焦区域选择策略的算法流程包括如下步骤：
找到灰度直方图中的波峰对应的灰度级M，设定阈值K，则背景灰度级范围为(M-K，M+K)，扫描所述灰度图，提取所述背景灰度级以外的区域。
3.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述评价函数为Tenegrad梯度评价函数，
所述Tenegrad梯度评价函数如下式所示：
式中，F为清晰度，G(x,y)表示梯度幅度，M和N表示像素点，T表示超过阈值的梯度个数。
4.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述峰值搜索算法为逐步逼近峰值的爬山算法，
所述逐步逼近峰值的爬山算法包括如下步骤：
步骤1，根据图像初始清晰度，初始化移动步长L，方向为正，进入步骤2；
步骤2，根据按照移动步长和方向移动一次，采集图像，计算二次清晰度，进入步骤3；
步骤3，判断二次清晰度是否大于初始清晰度，若判断为是，则进入步骤2，否则进入步骤4；
步骤4，减小移动步长，判断步长是否大于设备精度，当判断为是时，更改移动方向，并进入步骤2，否则结束算法。
5.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述对待拼接图像进行预处理的方法包括如下步骤：
步骤1，按照经验权重比值对所述待拼接图像灰度化，得初步预处理图像，进入步骤2；
步骤2，对所述初步预处理图像使用中值滤波处理除噪，得到预处理图像。
6.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述基于灰度的模板配准算法包括如下流程：
步骤1，对于两张待配准的预处理图像，选择任意一张所述待配准的预处理图像提取匹配模板，并称之为模板图，另一张所述待配准的预处理图像作为搜索图，进入步骤2；
步骤2，根据隔行搜索策略获得搜索图的比较区域，进入步骤3；
步骤3，计算所述模板图与所述搜索图的相似度，进入步骤4；
步骤4，判断相似度是否大于设定的阈值，当判断为是时，进入步骤5，否则返回步骤2；
步骤5，保存所述比较区域的坐标点和相似度信息，进入步骤6；
步骤6，判断比较区域是否搜索完毕，判断为是时，进入步骤7，否则返回步骤2；
步骤7，确定相似度最高的点为最佳匹配点。
7.根据权利要求6所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，提取模板的方法包括如下步骤：
步骤1，搜索并计算模板区域内灰度直方图方差，进入步骤2；
步骤2，判断所述灰度直方图方差是否大于当前最大的灰度直方图方差，当判断为是时，进入步骤3，否则返回步骤1；
步骤3，保存模板区域的方差和坐标信息，进入步骤4；
步骤4，判断比较区域是否搜索完毕，判断为是时，确定当前灰度直方图方差最大的区域为模板区域，并结束流程，否则返回步骤1。
8.根据权利要求6所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，以所述搜索图中点(i,j)为左上方顶点，边长为n像素的正方形图像为搜索子图，计算所述搜索子图与所述模板图的相似度的公式如下：
式中，R(i,j)为相似度，Sij(x,y)表示所述搜索子图在(x,y)点的灰度值，
表示搜索子图的平均灰度值，T(x,y)表示所述模板图在(x,y)点的灰度值，
表示所述模板图的平均灰度值。
9.根据权利要求6所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述阈值为0.6。
10.根据权利要求1所述的基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法，其特征在于：
其中，所述预处理图融合采用加权平均融合算法进行；
所述加权平均融合算法计算公式如下：
Vdst＝αiVa+(1-αi)Vb
式中，Vdst表示融合后的图像的像素值、Va、Vb分别表示融合前两张图的像素值；αi表示在融合区域坐标系中像素点的横坐标，w表示融合区域的宽度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911086401.2A CN111105346A (zh) | 2019-11-08 | 2019-11-08 | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911086401.2A CN111105346A (zh) | 2019-11-08 | 2019-11-08 | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111105346A true CN111105346A (zh) | 2020-05-05 |
Family
ID=70420625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911086401.2A Pending CN111105346A (zh) | 2019-11-08 | 2019-11-08 | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111105346A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040136A (zh) * | 2020-09-23 | 2020-12-04 | 重庆邮电大学 | 一种基于清晰域及暗视觉的自动聚焦优化方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
| CN113344958A (zh) * | 2021-08-02 | 2021-09-03 | 长沙蓝芯智能科技有限责任公司 | 一种显微成像扫描方法及扫描*** |
| CN114119443A (zh) * | 2021-11-28 | 2022-03-01 | 特斯联科技集团有限公司 | 一种基于多光谱相机的图像融合*** |
| CN115049714A (zh) * | 2022-05-17 | 2022-09-13 | 长沙览思智能科技有限公司 | 原位杂交荧光显微全景图配准、微环境的构建方法及*** |
| CN116681633A (zh) * | 2023-06-06 | 2023-09-01 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106873142A (zh) * | 2017-03-15 | 2017-06-20 | 北方工业大学 | 一种结核杆菌检测仪的高质量图像获取装置及方法 |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
-
2019
- 2019-11-08 CN CN201911086401.2A patent/CN111105346A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106873142A (zh) * | 2017-03-15 | 2017-06-20 | 北方工业大学 | 一种结核杆菌检测仪的高质量图像获取装置及方法 |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| LISHENG WANG,ETC: "Study on Microscopic Image Stitching Mehtod of Dyeing Urine Sediment", 《CSAE 2019》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040136A (zh) * | 2020-09-23 | 2020-12-04 | 重庆邮电大学 | 一种基于清晰域及暗视觉的自动聚焦优化方法 |
| CN112040136B (zh) * | 2020-09-23 | 2021-08-10 | 重庆邮电大学 | 一种基于清晰域及暗视觉的自动聚焦优化方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
| CN112241940B (zh) * | 2020-09-28 | 2023-12-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
| CN113344958A (zh) * | 2021-08-02 | 2021-09-03 | 长沙蓝芯智能科技有限责任公司 | 一种显微成像扫描方法及扫描*** |
| CN114119443A (zh) * | 2021-11-28 | 2022-03-01 | 特斯联科技集团有限公司 | 一种基于多光谱相机的图像融合*** |
| CN114119443B (zh) * | 2021-11-28 | 2022-07-01 | 特斯联科技集团有限公司 | 一种基于多光谱相机的图像融合*** |
| CN115049714A (zh) * | 2022-05-17 | 2022-09-13 | 长沙览思智能科技有限公司 | 原位杂交荧光显微全景图配准、微环境的构建方法及*** |
| CN116681633A (zh) * | 2023-06-06 | 2023-09-01 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
| CN116681633B (zh) * | 2023-06-06 | 2024-04-12 | 国网上海市电力公司 | 一种多波段成像及融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105346A (zh) | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 | |
| EP2889619B1 (en) | Image processing device, image processing method, computer-readable medium, and image processing system | |
| CN107093166B (zh) | 低重合率显微图像的无缝拼接方法 | |
| US7772535B2 (en) | Method of capturing a focused image via an objective of a microscopy device | |
| US9934571B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
| CN111626933B (zh) | 一种精准、快速的显微图像拼接方法及*** | |
| CN105652429B (zh) | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 | |
| CN109361849B (zh) | 一种自动对焦的方法 | |
| CN111462075B (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及*** | |
| CN110473189A (zh) | 一种文本图像清晰度判断方法及*** | |
| CN113344958B (zh) | 一种显微成像扫描方法及扫描*** | |
| CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
| US6681035B1 (en) | Method of unsupervised cell nuclei segmentation | |
| CN110987886A (zh) | 一种全自动显微影像荧光扫描*** | |
| CN111179170A (zh) | 一种显微血细胞图像快速全景拼接方法 | |
| CN115047610B (zh) | 一种自动拟合显微对焦平面的染色体核型分析装置及方法 | |
| CN113538545B (zh) | 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质 | |
| JP3860540B2 (ja) | エントロピーフィルタ及び該フィルタを用いた領域抽出法 | |
| CN116489513A (zh) | 一种自动聚焦方法、装置、电子设备及存储介质 | |
| CN114384681A (zh) | 显微镜快速精准自动对焦方法、***、计算机设备及介质 | |
| Shajkofci et al. | DeepFocus: a few-shot microscope slide auto-focus using a sample invariant CNN-based sharpness function | |
| CN110097062A (zh) | 一种利用指针中心点的指针识别方法 | |
| Tian et al. | Computer Controlled Microscope Autofocus and Image Real-Time Fusion Technology. | |
| CN117452619B (zh) | 一种稀疏目标显微成像自动对焦方法、***及存储介质 | |
| Artyukhova et al. | Investigation of image sharpness characteristics in the field of automated microscopy of cytological preparations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200505 |
|
| WD01 | Invention patent application deemed withdrawn after publication |