CN113554628A - 图像处理方法、装置及计算机可读存储介质 - Google Patents
图像处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113554628A CN113554628A CN202110850741.9A CN202110850741A CN113554628A CN 113554628 A CN113554628 A CN 113554628A CN 202110850741 A CN202110850741 A CN 202110850741A CN 113554628 A CN113554628 A CN 113554628A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- sampled
- information
- useful information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 title claims description 43
- 238000005070 sampling Methods 0.000 claims abstract description 161
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 79
- 238000003384 imaging method Methods 0.000 description 14
- 238000002059 diagnostic imaging Methods 0.000 description 11
- 238000001574 biopsy Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000001727 in vivo Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 210000000170 cell membrane Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010926 purge Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000005400 gorilla glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 239000005301 willow glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像处理方法、装置及计算机可读存储介质。该图像处理方法包括:获取采样图像;基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定采样图像是否为不含有用信息的图像;以及在确定所述采样图像为不含有用信息的图像的情况下,清除采样图像。本公开能够从采集的医学图像中自动、迅速且高效地清除掉由于各种原因所导致的不含有用信息的图像,相较于医师手动筛选不含有用信息的图像的方式,提高了图像筛选的效率与准确性。
Description
技术领域
本公开涉及图像处理领域,更具体地,涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
诸如内窥镜的医学成像技术广泛地应用于医疗领域。相较于离体的病理检测,在体(in vivo)活检且高分辨率的成像手段能够为医师提供更及时且准确的影像信息,有些成像装置的分辨率可以达到毫米级别,甚至微米级别,例如但不限于各种显微内窥镜。
通过在体活检的成像手段(比如显微内窥镜)所得到的大量图像中,不少图像并不含有用信息,是无用图像。无用图像对医师诊断疾病没有帮助,需要删除,因此医师通常需要花费大量时间手动筛选出有用图像,甚至不熟练的医师可能错误地将不含有用信息的图像当作有用图像保留,进而用于后续的诊断,从而降低了诊断的可靠性。
此外,对于挑选后保留的有用图像,医师为了得到感兴趣区域更全面的信息,通常会进一步对图像进行拼接、融合、重建等处理。目前,医师通常只能在头脑中“拼接”、“融合”一系列空间关联的图像并在头脑中“重建”出所需视野的复合图像。但是,这对医师的空间想象能力提出了很高的要求,也给医师带来了较大的工作负担。对于单次成像视野较小的一些成像装置,例如显微内窥镜而言,需要的视野越大,头脑中的“融合”和“重建”带来的工作负担更沉重。而且,在图像拼接过程中,若医师误将无用的图像保留,并将其与有用图像进行拼接,导致拼接困难或者错误拼接。
发明内容
针对现有技术中存在的上述技术问题,本公开提供了一种图像处理方法、装置及计算机可读存储介质,其能够从采集的医学图像中自动、迅速且高效地清除掉针对各种原因到导致的不含有用信息的图像,相较于医师手动筛选不含有用信息的图像的方式,提高了图像筛选的效率与准确性,也为后续图像的配准和拼接提供了迅速且良好的基础。
根据本公开的第一方面,提供了一种图像处理方法。该图像处理方法包括获取采样图像;基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像;以及在确定所述采样图像为不含有用信息的图像的情况下,清除所述采样图像。
在一些实施例中,基于所获取的所述采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像具体包括:确定所述采样图像的代表灰度和背景区域的参考灰度,并将两者进行比较,在两者差异低于第一阈值的情况下,判定所述采样图像为不含有用信息的暗图像。
在一些实施例中,基于所获取的所述采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像具体包括:确定所述采样图像的边缘灰度梯度;在所述边缘灰度梯度的幅值小于第二阈值的情况下,判定所述采样图像为不含有用信息的亮图像;在所述边缘灰度梯度的幅值大于所述第二阈值的情况下,基于所述采样图像的边缘灰度梯度判定所述采样图像是否为不含有用信息的运动模糊图像。
在一些实施例中,基于所述采样图像的边缘灰度梯度判定所述采样图像是否为不含有用信息的运动模糊图像具体包括:在所述采样图像在至少一个方向上的边缘灰度梯度的幅值低于第三阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像;和/或在所述采样图像在不同方向上的边缘灰度梯度的幅值的差异高于第四阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像。
在一些实施例中,所述图像处理方法还包括:在清除不含有用信息的图像之后,获取所保留的含有用信息的第一采样图像和含有用信息的第二采样图像,其中,所述第一采样图像的采集时间早于所述第二采样图像;从所述第一采样图像提取对象的第一特征结构,且从所述第二采样图像提取对象的第二特征结构;基于所述第一特征结构和所述第二特征结构,确定所述第一采样图像和所述第二采样图像之间的第一坐标转换关系;以及基于所述第一坐标转换关系,对所述第二采样图像进行坐标转换以与所述第一采样图像配准。
在一些实施例中,所述图像处理方法还包括:确定所述第一采样图像与坐标转换后的第二采样图像之间的第一互信息参数;在所述第一互信息参数达到第五阈值的情况下,对所述第一采样图像和坐标转换后的第二采样图像进行拼接。
在一些实施例中,所述图像处理方法还包括:在所述第一互信息参数未达到所述第五阈值的情况下,获取所保留的含有用信息的第三采样图像,所述第三采样图像的采集时间晚于所述第二采样图像;从所述第三采样图像中提取对象的第三特征结构;基于所述第二特征结构和所述第三特征结构的配准,来确定所述第二采样图像和所述第三采样图像之间的第二坐标转换关系;基于所述第二坐标转换关系,对所述第三采样图像进行坐标转换以与所述第二采样图像配准;确定所述第二采样图像和坐标转换后的第三采样图像之间的第二互信息参数;在所述第二互信息参数达到第六阈值的情况下,对所述第二采样图像和坐标转换后的第三采样图像进行拼接。
在一些实施例中,所述第一互信息参数基于熵和联合熵中的至少一种。
在一些实施例中,对所述第一采样图像和坐标转换后的第二采样图像进行拼接具体包括:对所述第一采样图像和坐标转换后的第二采样图像通过插值方法进行融合。
根据本公开的第二方面,提供了一种图像处理装置。该图像处理装置可以包括获取模块、检测模块和清除模块。获取模块可以配置为获取采样图像。检测模块可以配置为基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像。清除模块可以配置为:在确定所述采样图像为不含有用信息的图像的情况下,清除所述采样图像。
在一些实施例中,所述检测模块还包括第一检测子模块,其配置为:确定所述采样图像的代表灰度和背景区域的参考灰度,并将两者进行比较,在两者差异低于第一阈值的情况下,判定所述采样图像为不含有用信息的暗图像。
在一些实施例中,所述检测模块还包括第二检测子模块,其配置为:确定所述采样图像的边缘灰度梯度;在所述边缘灰度梯度的幅值小于第二阈值的情况下,判定所述采样图像为不含有用信息的亮图像;在所述边缘灰度梯度的幅值大于所述第二阈值的情况下,基于所述采样图像的边缘灰度梯度判定所述采样图像是否为不含有用信息的运动模糊图像。
在一些实施例中,所述第二检测子模块还包括第三检测子模块,其配置为:在所述采样图像在至少一个方向上的边缘灰度梯度的幅值低于第三阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像;和/或在所述采样图像在不同方向上的边缘灰度梯度的幅值的差异高于第四阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像。
在一些实施例中,所述获取模块进一步配置为:在清除不含有用信息的图像之后,获取所保留的含有用信息的第一采样图像和含有用信息的第二采样图像,其中,所述第一采样图像的采集时间早于所述第二采样图像。所述图像处理装置还包括:提取模块,其配置为从所述第一采样图像提取对象的第一特征结构,且从所述第二采样图像提取对象的第二特征结构;转换确定模块,其配置为:基于所述第一特征结构和所述第二特征结构,确定所述第一采样图像和所述第二采样图像之间的第一坐标转换关系;转换模块,其配置为:基于所述第一坐标转换关系,对所述第二采样图像进行坐标转换以与所述第一采样图像配准。
在一些实施例中,所述图像处理装置还包括:相关模块,其配置为:确定所述第一采样图像和坐标转换后的第二采样图像之间的第一互信息参数;拼接模块,其配置为:在所述第一互信息参数达到第五阈值的情况下,对所述第一采样图像和坐标转换后的第二采样图像进行拼接。
在一些实施例中,所述获取模块进一步配置为:在所述第一互信息参数未达到所述第五阈值的情况下,获取所保留的含有用信息的第三采样图像,所述第三采样图像的采集时间晚于所述第二采样图像;所述提取模块进一步配置为从所述第三采样图像中提取对象的第三特征结构;所述转换确定模块进一步配置为:基于所述第二特征结构和所述第三特征结构的配准,来确定所述第二采样图像和所述第三采样图像之间的第二坐标转换关系;所述转换模块进一步配置为:基于所述第二坐标转换关系,对所述第三采样图像进行坐标转换以与所述第二采样图像配准;所述相关模块进一步配置为:确定所述第二采样图像和坐标转换后的第三采样图像之间的第二互信息参数;所述拼接模块进一步配置为:在所述第二互信息参数达到第六阈值的情况下,对所述第二采样图像和坐标转换后的第三采样图像进行拼接。
在一些实施例中,所述第一互信息参数基于熵和联合熵中的至少一种。
在一些实施例中,所述拼接模块进一步配置为:对所述第一采样图像和坐标转换后的第二采样图像通过插值方法进行融合。
根据本公开的第三方面,提供一种图像处理装置。该图像处理装置可以包括处理器和存储器。存储器上存储有计算机可执行指令,所述处理器在执行所述计算机可执行指令时,可以实现根据本公开各个实施例的图像处理方法。
根据本公开的第四方面,提供一种计算机可读存储介质。所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行被处理器执行时,可以实现根据本公开各个实施例的图像处理方法。
利用根据本公开各个实施例的图像处理方法、装置和计算机可读存储介质,能够从采集的医学图像中自动、迅速且高效地清除掉由于各种原因导致的不含有用信息的图像,相较于医师手动筛选不含有用信息的图像的方式,提高了图像筛选的效率与准确性,也为后续图像的配准和拼接提供了迅速且良好的基础。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
图1(a)示出根据本公开实施例的图像处理方法的流程图;
图1(b)示出根据本公开实施例的图像处理方法的另一流程图;
图2(a)示出根据本公开实施例的要清除的暗图像的图示;
图2(b)示出根据本公开实施例的要清除的运动模糊图像的图示;
图3示出根据本公开实施例的对第一图像和其后的第二图像进行拼接的图像处理方法的流程图;
图4示出根据本公开实施例的对两幅图像之间进行配准以确定其间的坐标转换关系的图示;
图5示出根据本公开实施例的两幅邻近图像以及将其拼接后所得的复合图像的图示;
图6示出根据本公开实施例的在第一图像和第二图像不适合拼接情况下的图像处理方法的流程图;
图7示出根据本公开实施例的图像处理装置的图示;以及
图8示出根据本公开实施例的图像处理装置的框图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案,下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述,但不作为对本公开的限定。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
图1(a)示出根据本公开实施例的图像处理方法的流程图。如图1(a)所示,可以在步骤101获取由医学成像装置采集的采样图像。在获取采样图像之后,可以通过以下步骤来检出不含有用信息的图像(本文中也简称为无用图像)。
在步骤102,可以基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定采样图像是否为不含有用信息的图像。
具体说来,采样图像的灰度信息和边缘灰度梯度信息两者结合可以较为全面地表征各种无用图像,包括但不限于不含有用信息的暗图像、不含有用信息的亮图像、不含有用信息的运动模糊图像等等。
在一些实施例中,可以先基于灰度信息确定该采样图像是否为不含有用信息的图像;也可以先基于边缘灰度梯度信息确定该采样图像是否为不含有用信息的图像。以先基于灰度信息进行确定为例,当基于灰度信息确定出该采样图像为不含有用信息的图像时,则不再基于边缘灰度梯度信息确定该采样图像是否为不含有用信息的图像。相似的,当先基于边缘灰度梯度信息确定出该采样图像为时,则不再基于灰度信息确定该采样图像是否为不含有用信息的图像。
在一些实施例中,可以为采样图像的灰度信息和边缘灰度梯度信息两者分别设置对应于有用图像(含有用信息的图像)的预定范围,从而可以通过将各个采样图像的灰度信息和边缘灰度梯度信息与该预定范围进行比对,来检出偏离预定范围的采样图像作为无用图像。
在一些实施例中,可以每获取一张采样图像判断该图像是否为不含有用信息的图像;也可以等获取一系列采样图像后,再依次判断每张采样图像是否为不含有用信息的图像。
在步骤109,可以在确定采样图像为不含有用信息的图像的情况下,清除该图像。
通过本实施例,能够从采集的医学图像中自动、迅速且高效地清除掉由于各种原因导致的不含有用信息的图像,相较于医师手动筛选不含有用信息的图像的方式,提高了图像筛选的效率与准确性。并且可以大幅节约存储空间、减少图像判读的无效工作量,也为后续图像的配准和拼接提供了迅速且良好的基础。
图1(b)示出根据本公开实施例的图像处理方法的另一流程图,其中的步骤101、102和109与图1(a)中对应步骤类似,在此不赘述。在后者的基础上,图1(b)示出了步骤102的示例性实现方式。
步骤102可以采用各种方式来实现。在一些实施例中,可以先基于灰度信息确定该采样图像是否为不含有用信息的图像,当基于灰度信息确定出该采样图像为不含有用信息的图像时,则不再基于边缘灰度梯度信息确定该采样图像是否为不含有用信息的图像。鉴于灰度信息相较边缘灰度梯度更容易获得,先基于灰度信息检出不含有用信息的图像(例如暗图像),则无需为这些无用图像提取边缘灰度梯度信息及进行相应的无用图像分析处理,从而显著降低工作负荷。
在一些实施例中,在基于边缘灰度梯度信息确定该采样图像是否为不含有用信息的图像的过程中,也可以按照工作负荷和计算复杂度来确定各个具体步骤的顺序,使得工作负荷和计算复杂度越大的步骤执行越靠后。在一些实施例中,在某个针对无用图像的检测步骤之前,可以先遍历针对各种无用图像的工作负荷和计算复杂度越小的其他检测步骤,以便进一步降低工作负荷。例如,如图1(b)所示,可以先基于灰度信息确定出该采样图像是否为不含有用信息的暗图像;随后,再基于边缘灰度梯度信息确定该采样图像是否为不含有用信息的图像的过程中,可以先执行不含有用信息的亮图像的检出步骤,再执行不含有用信息的运动模糊图像的检出步骤;在执行不含有用信息的运动模糊图像的检出步骤中,可以先执行至少一个方向上的边缘灰度梯度的幅值的分析,再执行更复杂一些的在不同方向上的边缘灰度梯度的幅值的差异的分析。
具体说来,可以确定采样图像的代表灰度和背景区域的参考灰度。在步骤103,可以将采样图像的代表灰度与背景区域的参考灰度进行比较,在两者差异低于第一阈值的情况下,可以判定采样图像为不含有用信息的暗图像(步骤108)。采样图像的代表灰度例如灰度的平均值、中值等,背景区域的参考灰度例如背景区域的灰度的平均值、中值等。暗图像在不含有用信息的采样图像中占据较大比例,如图2(a)所示,暗图像的亮度极低,本身不含有有用信息,其灰度值与有用采样图像的代表灰度具有显著差异。通过在步骤103的简单的比较操作,就可以有效识别出暗图像作为要清除的无用采样图像,避免后续处理应用于暗图像以浪费计算负荷和影响采样图像处理速度。
在步骤103的判定结果为否定的情况下,可以在步骤104确定采样图像的边缘灰度梯度,并在步骤105判定边缘灰度梯度的幅值是否小于第二阈值,如果是,则判定采样图像为不含有用信息的亮图像。除了灰度显著区别于有用采样图像的暗图像以外,一些无用采样图像的代表灰度相较于背景区域的参考灰度的识别度不够,但可以用边缘灰度梯度来有效识别。具体说来,边缘灰度梯度,包括但不限于边缘灰度梯度的幅值,表征了该采样图像的图案化,一些无用采样图像体现为较弱的图案化,经由边缘灰度梯度的幅值与第二阈值的比对可以有效检出。
进一步地,通过边缘灰度梯度的幅值没有检出为不含有用信息的亮图像,则可以继续判定采样图像是否为不含有用信息的运动模糊图像。在医学成像装置的探头移动过程中的运动伪影会导致产生整体模糊(条带状光斑)的采样图像,如图2(b)所示。例如,可以在步骤106判定采样图像在至少一个方向上的边缘灰度梯度的幅值是否低于第三阈值,和/或在步骤107判定采样图像在不同方向上的边缘灰度梯度的幅值的差异是否高于第四阈值,如果是,则判定采样图像为不含有用信息的运动模糊图像(步骤108)。此判断方式也与例如图2(b)所示的运动模糊图像的条带状光斑的梯度特性相吻合,从而能够高效准确地检出运动模糊图像。具体说来,如图2(b)所示,沿着条带的长度方向的边缘灰度梯度的幅值显著低于有用采样图像,并且在沿着条带的长度方向和从其偏离(例如偏离30度到90度)的方向的边缘灰度梯度的幅值具有不同于有用采样图像的显著差异。
作为示例,在图1(b)中的步骤顺序仅仅作为示例,与这几个分析步骤的复杂度和计算负荷相适应。如上,该执行顺序相较其他执行顺序,能够显著降低计算负荷并提高检测速度。在另一些实施例中,也可以以其他顺序来执行这些步骤,依然可以预先清除不含有用信息的采样图像(步骤109),以确保仅仅对含有用信息的采样图像进行转换、配准和拼接处理。
申请人发现,在医学成像装置的常规使用过程中,进行在体(in vivo)移动镜头(或者探头)并持续采集医学采样图像时,探头快速移动,在无对比剂区域或快速移动过程中采集到的无用的暗图像、亮图像或运动模糊图像会占用大量的存储空间,且无法用于正常的诊断,为感兴趣采样图像的查找带来麻烦。通过根据本公开各个实施例的对无用的暗图像、亮图像和运动模糊图像的识别和清除操作,能够高效迅速地清除掉大部分不含有用信息的采样图像,以避免这些不含有用信息的采样图像(不仅不适合拼接,执行转换、配准和拼接处理消耗的计算负荷还显著高于含有用信息的采样图像)占用存储空间,避免对本公开的“链式”拼接过程的干扰,以节省计算负荷,并提升一系列采样图像的拼接处理和诊断结果的鲁棒性。
图3示出根据本公开实施例的对第一采样图像和其后采集的第二采样图像进行拼接的图像处理方法的流程图。如图3所示,该图像处理方法可以包括:
在步骤301,在清除不含有用信息的图像之后,获取所保留的含有用信息的第一采样图像和含有用信息的第二采样图像,其中,第一采样图像的采集时间早于第二采样图像。本公开的各个实施例不限于但尤其适用于在体(in vivo)移动镜头(或者探头)并持续采集图像的医学成像装置,例如超声成像装置、弹性成像装置、各种内窥镜(例如但不限于激光共聚焦显微内窥镜)等等。对于这些需要在体移动镜头并持续采集图像的医学成像装置来说,一大优点是赋予医师能够根据当前医学采样图像的视觉分析而手动自主调节和移动镜头的能力,目前,自动移动镜头的控制方法通常不能满足医师灵活多变的临床需求。
在步骤302,可以从第一采样图像提取对象的第一特征结构,且从第二采样图像提取对象的第二特征结构。
在步骤303,可以基于第一特征结构和第二特征结构,来确定第一采样图像和第二采样图像之间的第一坐标转换关系。
在步骤304,可以基于第一坐标转换关系,对第二采样图像进行坐标转换以与第一采样图像配准。在体移动镜头对患者进行活检的过程中,感兴趣区域可能因为患者的移动或者医师的操作抖动造成运动。
通过步骤302-304可以自动且高效地校正和配准不同采集时间获取的第一采样图像和第二采样图像,消除这种运动(包括但不限于平移、旋转等)对不同采样图像的影响,将要拼接的采样图像统一在同一坐标体系下,有利于简化拼接的运算和降低其计算负担。
下面以激光共聚焦显微内窥镜作为医学成像装置的示例对两幅采样图像之间进行配准以确定其间的坐标转换关系进行示例性说明,这里,各个采样图像由激光共聚焦显微内窥镜于在体移动微型物镜的过程中在不同时间获取。
如图4所示,可以从第一采样图像和第二采样图像中分别提取细胞(作为对象的示例)的共有的特征点pi和qi,i为特征点的序号。作为示例,特征点可以采用共形的顶点,但不限于此。
在一些实施例中,可以采用其他形式的特征结构,以细胞作为对象的示例,特征结构可以采用细胞核、细胞膜的至少部分曲线、细胞膜的至少部分骨架线以及细胞膜的形状中的至少一种。
在一些实施例中,利用激光共聚焦显微内窥镜对肠胃进行内壁成像,所得到的细胞并不具有圆滑的细胞膜边缘,而是呈现出丰富的绒毛分布(难以配准),这种情况下,可以为细胞膜的曲线提取骨架线(也可称为包络线),从而便利和加快第一采样图像和第二采样图像之间的结构特征的配准。
基于共有的特征点pi和qi的配准,可以确定第一采样图像和第二采样图像之间的第一坐标转换关系T,T可以采用各种表达方式,例如可以表示为转换矩阵。基于第一坐标转换关系,可以对第二采样图像进行坐标转换,以与第一采样图像对齐。例如,在转换矩阵非奇异的情况下,通过将第二采样图像利用转换矩阵的逆矩阵进行处理,就可以求得坐标转换后的第二采样图像。
接着在步骤305,可以确定第一采样图像和坐标转换后的第二采样图像之间的第一互信息参数。可以通过两幅采样图像之间的第一互信息参数来评估两幅采样图像的相似程度,其描述了两幅采样图像之间的相关性,或相互包含信息的多少。注意,本公开中的“互信息参数”越大,就表示两幅采样图像的相似程度和相关性越大,也越可能适合进行拼接。
在一些实施例中,互信息参数可以基于熵和联合熵中的至少一种(例如但不限于设置为其倒数、或其他随之变大而使得互信息参数变小),来反映两幅采样图像之间信息的相互包含程度。当两幅采样图像相似度越高或重合部分越大时,其相关性也越大,联合熵越小,即互信息参数越大。可以为第一互信息参数设置第五阈值。
相应地,在步骤306,可以对第一互信息参数与第五阈值进行比较。在第一互信息参数达到第五阈值的情况下(判定结果为“是”),则可以对第一采样图像和坐标转换后的第二采样图像进行拼接(步骤307)。否则,则不拼接,而是执行步骤601。通过第一互信息参数与第五阈值的比较,可以识别出两幅采样图像是否适合进行拼接,如果第一互信息参数小于第五阈值,则可以认为这两幅采样图像之间的坐标转换关系不可靠,转换后所得的两幅采样图像并不适合拼接,从而确保步骤307仅对适合拼接的采样图像进行拼接。不适合彼此拼接的采样图像,不仅拼接效果不好,拼接后得到的采样图像没有临床参考价值,而且相较适合拼接的采样图像计算负荷也显著更大,从而导致计算资源的浪费,在对于拼接采样图像的时效性要求较高的情况下尤其不利。
通过步骤305和306,可以对要执行拼接运算的采样图像进行及时筛选,提高拼接的处理速度、改善拼接采样图像的时效性和计算资源的利用效率。
利用根据本公开各个实施例的拼接的图像处理方法,可以高效地得到扩展视野的高质量拼接采样图像。如图5所示出,利用根据本公开各个实施例的图像处理方法,可以将左侧的两幅邻近的采样图像501和502进行高效拼接,例如但不限于在两幅采样图像的边缘通过插值方法进行融合,以达到右侧的复合采样图像503,达到了两幅采样图像融合为一的效果。
图3所示的执行顺序仅仅作为示例,也可以采用其他顺序执行,例如,采样图像接收步骤301与步骤302-步骤307可以并行执行。在一些实施例中,可以在医学成像装置采集了待拼接的一组采样图像之后,执行步骤302-步骤307的转换、配准和拼接。在另一些实施例中,尤其是医学成像装置的采样图像采集速率足够高(例如但不限于达到几十帧/秒)的情况下,也可以在医学成像装置采集这组采样图像的同时,执行步骤302-步骤307的转换、配准和拼接。具体说来,在采集到第一采样图像和后一采集时间的第二采样图像之后,可以接收第一采样图像和第二采样图像并由处理器执行步骤302-步骤307的转换、配准和拼接,同时继续执行对下一采集时间的第三采样图像的采集和接收,等等。
图6示出根据本公开实施例的在第一采样图像和第二采样图像不适合拼接情况下的图像处理方法的流程图。在第一互信息参数未达到第五阈值的情况下,获取所保留的含有用信息的第三采样图像,第三采样图像的采集时间晚于第二采样图像。第三采样图像的接收可以在第一采样图像和第二采样图像的接收之后,也可以与之并行,只要不影响图1(a)、图1(b)和图3中其他步骤的执行即可,在此不做具体限定。
在一些实施例中,在图3中的步骤306处,如果判定第一互信息参数未达到第五阈值,则认为第一采样图像和坐标转换后的第二采样图像不适合拼接,第一采样图像与第二采样图像之间的坐标转换关系也并不可靠,不对第一采样图像和坐标转换后的第二采样图像进行拼接,转而以原始的第二采样图像开始,选用新的第三采样图像,继续重复第一采样图像与第二采样图像之间的转换、配准和拼接操作。如此,可以通过将所有时间上邻近的前后一对采样图像执行转换、配准和拼接操作,方便地将尽可能多幅的相似采样图像依序拼接起来(逐一的“链式”拼接),从而实现视野的充分扩展。并且,可以灵活地中断不适合拼接的前后一对采样图像的各种操作,使得后一采样图像原样作为基准(而不受前一采样图像的不可靠的配准和转换的影响)来与下一采样图像执行转换、配准和拼接操作,从而节省计算负荷,并且能够有效避免个别的一对前后采样图像的不当转换传递到后续的一系列采样图像的拼接处理,从而提升一系列采样图像的拼接处理的鲁棒性。
下面以未进行坐标转换的第二采样图像开始与第三采样图像进行拼接为例进行说明。在步骤601,可以从第三采样图像中提取对象的第三特征结构。在步骤602,可以基于第二特征结构和第三特征结构的配准,来确定第二采样图像和第三采样图像之间的第二坐标转换关系。在步骤603,基于第二坐标转换关系,对第三采样图像进行坐标转换以与第二采样图像配准,从而将第三采样图像与第二采样图像统一到同个坐标系中。在步骤604,确定第二采样图像和坐标转换后的第三采样图像之间的第二互信息参数,其表征两者之间的相似程度,以及某种程度上是否适合拼接。在步骤605,可以对第二互信息参数与第六阈值进行比较。在第二互信息参数达到第六阈值的情况下(判定为“是”),对第二采样图像和坐标转换后的第三采样图像进行拼接(步骤606)。否则,判定第二采样图像和坐标转换后的第三采样图像不适合拼接,转而以原始的第三采样图像作为参考采样图像,选用新的采样图像数据继续拼接处理。
具体说来,采用以上方法,可以在采样图像的拼接和配准过程中,对采样图像依次判断互信息,评估其是否可以用于采样图像拼接和配准,如果可以则保留,不可以则清除缓存,有利于高速且高效的完成采样图像拼接。
根据本公开各个实施例的图像处理方法适用于平面的在体大视野宽景活检成像。常规情况下,可以对某个部位进行实时活检成像(细胞成像),探头连续移动时,可以实时判断(是否无用采样图像)、清除、配准、拼接,形成局部区域乃至整个成像区域的平面的大视野宽景活检成像,使用户可以避免遗漏细节而进行更全面的判断。
根据本公开各个实施例的图像处理方法也适用于非平面的大视野宽景活检成像。可以通过在探头的位置处集成定位和角度传感器,以便实时定位采样图像采集时探头的位置和角度。如此,在形成大视野宽景活检成像的过程中,可以考虑到解剖结构,通过实时判断(是否无用采样图像)、清除、配准、拼接,来获得非平面的、符合生理解剖结构分布的大视野宽景活检成像,使用户可以结合解剖结构位置查找病变位置,为病变的定性、治疗、手术等提供有益的参考信息。
图7示出根据本公开实施例的图像处理装置700的框图。该图像处理装置700可以包括获取模块701a、检测模块701b和清除模块701c。获取模块701a可以配置为获取采样图像。检测模块701b可以配置为在获取采样图像之后,基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定采样图像是否为不含有用信息的图像。清除模块701c可以配置为在确定采样图像为不含有用信息的图像的情况下,清除采样图像。
在一些实施例中,检测模块701b还包括第一检测子模块(未示出),其配置为:确定采样图像的代表灰度和背景区域的参考灰度,并将两者进行比较,在两者差异低于第一阈值的情况下,判定采样图像为不含有用信息的暗图像。
在一些实施例中,检测模块701b还包括第二检测子模块(未示出),其配置为:确定采样图像的边缘灰度梯度;在边缘灰度梯度的幅值小于第二阈值的情况下,判定采样图像为不含有用信息的亮图像;在边缘灰度梯度的幅值大于第二阈值的情况下,基于采样图像的边缘灰度梯度判定采样图像是否为不含有用信息的运动模糊图像。
在一些实施例中,第二检测子模块还包括第三检测子模块(未示出),其配置为:在采样图像在至少一个方向上的边缘灰度梯度的幅值低于第三阈值的情况下,判定采样图像为不含有用信息的运动模糊图像;和/或在采样图像在不同方向上的边缘灰度梯度的幅值的差异高于第四阈值的情况下,判定采样图像为不含有用信息的运动模糊图像。
在一些实施例中,获取模块701a可以进一步配置为:在清除不含有用信息的图像之后,获取所保留的含有用信息的第一采样图像和含有用信息的第二采样图像,其中,第一采样图像的采集时间早于第二采样图像。图像处理装置700还可以包括:提取模块702,其配置为从第一采样图像提取对象的第一特征结构,且从第二采样图像提取对象的第二特征结构;转换确定模块703,其配置为:基于第一特征结构和第二特征结构,确定第一采样图像和第二采样图像之间的第一坐标转换关系;转换模块704,其配置为:基于第一坐标转换关系,对第二采样图像进行坐标转换以与第一采样图像配准。
在一些实施例中,图像处理装置700还可以包括:相关模块705,其配置为:确定第一采样图像和坐标转换后的第二采样图像之间的第一互信息参数;拼接模块706,其配置为:在第一互信息参数达到第五阈值的情况下,对第一采样图像和坐标转换后的第二采样图像进行拼接。
在一些实施例中,获取模块701a进一步配置为:在第一互信息参数未达到第五阈值的情况下,获取所保留的含有用信息的第三采样图像,第三采样图像的采集时间晚于第二采样图像;提取模块702进一步配置为从第三采样图像中提取对象的第三特征结构;转换确定模块703进一步配置为:基于第二特征结构和第三特征结构的配准,来确定第二采样图像和第三采样图像之间的第二坐标转换关系;转换模块704进一步配置为:基于第二坐标转换关系,对第三采样图像进行坐标转换以与第二采样图像配准;相关模块705进一步配置为:确定第二采样图像和坐标转换后的第三采样图像之间的第二互信息参数;拼接模块706进一步配置为:在第二互信息参数达到第六阈值的情况下,对第二采样图像和坐标转换后的第三采样图像进行拼接。
在一些实施例中,第一互信息参数基于熵和联合熵中的至少一种。在一些实施例中,拼接模块706进一步配置为:对第一采样图像和坐标转换后的第二采样图像通过插值方法进行融合。
图8示出根据本公开另一实施例的图像处理装置800的框图。如图8所示,该图像处理装置800可以包括处理器804和存储器805,存储器805上可以存储有计算机可执行指令,处理器804在执行计算机可执行指令时,可以实现根据本公开各个实施例的图像处理方法。存储器805作为计算机可读存储介质的示例,计算机可读存储介质存储有计算机可执行指令,计算机可执行被处理器执行时,可以实现根据本公开各个实施例的图像处理方法。
图像处理装置800可以是专用计算机、通用计算机甚或在云端。例如,图像处理装置800可以是定制的计算机,以执行光纤信号数据获取和处理任务。如图8中所示,图像处理装置800还可以包括通信接口803、储存器806和显示器807。
通信接口803可以包括网络适配器、电缆连接器、串行连接器,USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE、5G等)适配器等。图像处理装置800可以通过通信接口803连接到其他构件,例如但不限于显微镜的光纤组件、采样图像信号采集组件等。在一些实施例中,图7的图像处理装置700可以经由通信接口803来接收采样图像,其可以配置为接收医学成像装置在不同时间获取的各个采样图像。在一些实施例中,检测模块701b和清除模块701c可以实现为与通信接口803配合使用的软件模块,其可配置为对接收的采样图像进行过滤处理,以预先清除不含有用信息的采样图像,使得后续的操作仅对含有用信息的采样图像处理,从而节省计算负荷。
处理器804可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等。处理器804可以通信地耦合到存储器805并且被配置为执行存储在其上的计算机可执行指令,以执行诸如在本公开的各个实施例中描述的图像处理方法。
存储器805/储存器806可以是非暂时性计算机可读的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备,或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
在一些实施例中,储存器806可以储存在执行计算机程序的同时所接收的、所使用的或所生成的数据等,例如但不限于光纤单元的位置、校正系数、划分网格等。在一些实施例中,存储器805可以从储存器806加载计算机可执行指令,以实现根据本公开各个实施例的图像处理方法。在一些实施例中,存储器805可以储存计算机可执行指令,诸如一个以上用于根据本公开各个实施例的图像处理方法的程序。根据本公开的各个实施例的各个模块可以实现为存储器805和/或储存器806上的程序模块。
在一些实施例中,显示器807可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器,并提供显示器上呈现的图形用户界面(GUI)用于用户输入和采样图像/数据显示,例如原始带网格采样图像、漂移校正后的去网格采样图像、漂移校正且实时校正后的去网格采样图像等等。所述显示器可以包括许多不同类型的材料(诸如塑料或玻璃),并且可以是触敏的以从用户接收命令。例如,显示器可以包括基本上刚性的触敏材料(诸如Gorilla玻璃TM)或基本上柔韧的(诸如Willow玻璃TM)的触敏材料。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元素将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
在本公开中的各个步骤的顺序仅仅是示例性的,而非限制性的。在不影响本公开的实现的情况下(不破坏所需的步骤之间的逻辑关系的情况下),可以对步骤的执行顺序进行调整,调整后得到的各种实施例依然落在本公开的范围内。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本发明的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
Claims (12)
1.一种图像处理方法,其特征在于,所述图像处理方法包括:
获取采样图像;
基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像;以及
在确定所述采样图像为不含有用信息的图像的情况下,清除所述采样图像。
2.根据权利要求1所述的图像处理方法,其特征在于,基于所获取的所述采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像具体包括:
确定所述采样图像的代表灰度和背景区域的参考灰度,并将两者进行比较,在两者差异低于第一阈值的情况下,判定所述采样图像为不含有用信息的暗图像。
3.根据权利要求1所述的图像处理方法,其特征在于,基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像具体包括:
确定所述采样图像的边缘灰度梯度;
在所述边缘灰度梯度的幅值小于第二阈值的情况下,判定所述采样图像为不含有用信息的亮图像;
在所述边缘灰度梯度的幅值大于所述第二阈值的情况下,基于所述采样图像的边缘灰度梯度判定所述采样图像是否为不含有用信息的运动模糊图像。
4.根据权利要求3所述的图像处理方法,其特征在于,基于所述采样图像的边缘灰度梯度判定所述采样图像是否为不含有用信息的运动模糊图像具体包括:
在所述采样图像在至少一个方向上的边缘灰度梯度的幅值低于第三阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像;和/或
在所述采样图像在不同方向上的边缘灰度梯度的幅值的差异高于第四阈值的情况下,判定所述采样图像为不含有用信息的运动模糊图像。
5.根据权利要求1-4中任何一项所述的图像处理方法,其特征在于,所述图像处理方法还包括:
在清除不含有用信息的图像之后,获取所保留的含有用信息的第一采样图像和含有用信息的第二采样图像,其中,所述第一采样图像的采集时间早于所述第二采样图像;
从所述第一采样图像提取对象的第一特征结构,且从所述第二采样图像提取对象的第二特征结构;
基于所述第一特征结构和所述第二特征结构,确定所述第一采样图像和所述第二采样图像之间的第一坐标转换关系;以及
基于所述第一坐标转换关系,对所述第二采样图像进行坐标转换以与所述第一采样图像配准。
6.根据权利要求5所述的图像处理方法,其特征在于,所述图像处理方法还包括:
确定所述第一采样图像与坐标转换后的第二采样图像之间的第一互信息参数;
在所述第一互信息参数达到第五阈值的情况下,对所述第一采样图像和坐标转换后的第二采样图像进行拼接。
7.根据权利要求6所述的图像处理方法,其特征在于,所述图像处理方法还包括:
在所述第一互信息参数未达到所述第五阈值的情况下,获取所保留的含有用信息的第三采样图像,所述第三采样图像的采集时间晚于所述第二采样图像;
从所述第三采样图像中提取对象的第三特征结构;
基于所述第二特征结构和所述第三特征结构的配准,来确定所述第二采样图像和所述第三采样图像之间的第二坐标转换关系;
基于所述第二坐标转换关系,对所述第三采样图像进行坐标转换以与所述第二采样图像配准;
确定所述第二采样图像和坐标转换后的第三采样图像之间的第二互信息参数;
在所述第二互信息参数达到第六阈值的情况下,对所述第二采样图像和坐标转换后的第三采样图像进行拼接。
8.根据权利要求6所述的图像处理方法,其特征在于,所述第一互信息参数基于熵和联合熵中的至少一种。
9.根据权利要求6所述的图像处理方法,其特征在于,对所述第一采样图像和坐标转换后的第二采样图像进行拼接具体包括:
对所述第一采样图像和坐标转换后的第二采样图像通过插值方法进行融合。
10.一种图像处理装置,其特征在于,包括:
获取模块,其配置为获取采样图像;
检测模块,其配置为基于所获取的采样图像的灰度信息和边缘灰度梯度信息,确定所述采样图像是否为不含有用信息的图像;以及
清除模块,其配置为在确定所述采样图像为不含有用信息的图像的情况下,清除所述采样图像。
11.一种图像处理装置,其特征在于,包括处理器和存储器,存储器上存储有计算机可执行指令,所述处理器在执行所述计算机可执行指令时,实现根据权利要求1-9中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行被处理器执行时,实现根据权利要求1-9中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850741.9A CN113554628A (zh) | 2021-07-27 | 2021-07-27 | 图像处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850741.9A CN113554628A (zh) | 2021-07-27 | 2021-07-27 | 图像处理方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113554628A true CN113554628A (zh) | 2021-10-26 |
Family
ID=78104598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110850741.9A Pending CN113554628A (zh) | 2021-07-27 | 2021-07-27 | 图像处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554628A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563299A (zh) * | 2023-07-12 | 2023-08-08 | 之江实验室 | 医学图像筛选方法、装置、电子装置和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739674A (zh) * | 2008-11-19 | 2010-06-16 | 深圳迈瑞生物医疗电子股份有限公司 | 影像序列自动拼接方法与装置以及拼接*** |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102446358A (zh) * | 2012-01-17 | 2012-05-09 | 南京航空航天大学 | 基于边缘特征和cs信息的多模态医学图像配准方法 |
CN104637064A (zh) * | 2015-02-28 | 2015-05-20 | 中国科学院光电技术研究所 | 一种基于边缘强度权重的离焦模糊图像清晰度检测方法 |
CN105139454A (zh) * | 2015-08-06 | 2015-12-09 | 北京工业大学 | 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法 |
CN107240091A (zh) * | 2017-04-21 | 2017-10-10 | 安翰光电技术(武汉)有限公司 | 胶囊内窥镜图像预处理***及方法 |
CN107622475A (zh) * | 2016-07-14 | 2018-01-23 | 上海联影医疗科技有限公司 | 图像拼接中的灰度校正方法 |
CN109509183A (zh) * | 2018-10-31 | 2019-03-22 | 上海联影医疗科技有限公司 | 医学图像的筛选方法、装置、医学设备、医学影像***及存储介质 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗***有限公司 | 一种超声宽景成像的图像拼接方法 |
CN110765940A (zh) * | 2019-10-22 | 2020-02-07 | 杭州姿感科技有限公司 | 目标对象统计方法和装置 |
CN110852997A (zh) * | 2019-10-24 | 2020-02-28 | 普联技术有限公司 | 动态图像清晰度检测方法、装置、电子设备及存储介质 |
CN110930363A (zh) * | 2019-10-29 | 2020-03-27 | 北京临近空间飞行器***工程研究所 | 曲面模糊图像清晰度评价值确定方法、设备及存储介质 |
CN111462113A (zh) * | 2020-04-24 | 2020-07-28 | 上海精测半导体技术有限公司 | 无图形晶圆的复检方法 |
CN112233067A (zh) * | 2020-09-21 | 2021-01-15 | 武汉钢铁有限公司 | 一种热轧钢卷端面质量检测方法及*** |
-
2021
- 2021-07-27 CN CN202110850741.9A patent/CN113554628A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739674A (zh) * | 2008-11-19 | 2010-06-16 | 深圳迈瑞生物医疗电子股份有限公司 | 影像序列自动拼接方法与装置以及拼接*** |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102446358A (zh) * | 2012-01-17 | 2012-05-09 | 南京航空航天大学 | 基于边缘特征和cs信息的多模态医学图像配准方法 |
CN104637064A (zh) * | 2015-02-28 | 2015-05-20 | 中国科学院光电技术研究所 | 一种基于边缘强度权重的离焦模糊图像清晰度检测方法 |
CN105139454A (zh) * | 2015-08-06 | 2015-12-09 | 北京工业大学 | 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法 |
CN107622475A (zh) * | 2016-07-14 | 2018-01-23 | 上海联影医疗科技有限公司 | 图像拼接中的灰度校正方法 |
CN107240091A (zh) * | 2017-04-21 | 2017-10-10 | 安翰光电技术(武汉)有限公司 | 胶囊内窥镜图像预处理***及方法 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗***有限公司 | 一种超声宽景成像的图像拼接方法 |
CN109509183A (zh) * | 2018-10-31 | 2019-03-22 | 上海联影医疗科技有限公司 | 医学图像的筛选方法、装置、医学设备、医学影像***及存储介质 |
CN110765940A (zh) * | 2019-10-22 | 2020-02-07 | 杭州姿感科技有限公司 | 目标对象统计方法和装置 |
CN110852997A (zh) * | 2019-10-24 | 2020-02-28 | 普联技术有限公司 | 动态图像清晰度检测方法、装置、电子设备及存储介质 |
CN110930363A (zh) * | 2019-10-29 | 2020-03-27 | 北京临近空间飞行器***工程研究所 | 曲面模糊图像清晰度评价值确定方法、设备及存储介质 |
CN111462113A (zh) * | 2020-04-24 | 2020-07-28 | 上海精测半导体技术有限公司 | 无图形晶圆的复检方法 |
CN112233067A (zh) * | 2020-09-21 | 2021-01-15 | 武汉钢铁有限公司 | 一种热轧钢卷端面质量检测方法及*** |
Non-Patent Citations (1)
Title |
---|
段影影: "医学图像质量评价方法研究", 中国知网 硕士学位论文, 1 April 2010 (2010-04-01), pages 1 - 59 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563299A (zh) * | 2023-07-12 | 2023-08-08 | 之江实验室 | 医学图像筛选方法、装置、电子装置和存储介质 |
CN116563299B (zh) * | 2023-07-12 | 2023-09-26 | 之江实验室 | 医学图像筛选方法、装置、电子装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019431299B2 (en) | AI systems for detecting and sizing lesions | |
Zaimi et al. | AxonSeg: open source software for axon and myelin segmentation and morphometric analysis | |
US9881373B2 (en) | Image generating apparatus and image generating method | |
CN103764036B (zh) | 医用诊断图像处理装置 | |
CN110111296B (zh) | 深度学习的新发皮层下小梗死病灶自动分割***及其方法 | |
CN104268846A (zh) | 图像拼接方法及装置 | |
US11284855B2 (en) | Ultrasound needle positioning system and ultrasound needle positioning method utilizing convolutional neural networks | |
CN111128382A (zh) | 一种人工智能多模成像分析装置 | |
CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
US20090141968A1 (en) | Coronary reconstruction from rotational x-ray projection sequence | |
JP7001295B2 (ja) | 光ファイバー束画像処理方法及び装置 | |
CN111598965A (zh) | 超声造影图像的超分辨重建预处理方法和超分辨重建方法 | |
CN111079901A (zh) | 基于小样本学习的急性脑卒中病变分割方法 | |
CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
US9398857B2 (en) | Diagnostic imaging apparatus and method of operating the same | |
CN114419181A (zh) | Cta图像的重建方法及重建装置、显示方法及显示装置 | |
CN113554628A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
WO2014038428A1 (ja) | 画像処理装置及び画像処理方法 | |
CN112200726B (zh) | 基于无透镜显微成像的尿沉渣有形成分检测方法及*** | |
CN111751371B (zh) | 一种免疫组化数字玻片阅片***及方法 | |
CN116503258B (zh) | 超分辨计算成像方法、装置、电子设备及存储介质 | |
CN109214433A (zh) | 一种卷积神经网络区分肝癌分化等级的方法 | |
CN110728660B (zh) | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 | |
US20230105073A1 (en) | Method and apparatus for removing honeycomb artifacts from optical fiber bundle images based on artificial intelligence | |
CN111311561B (zh) | 一种基于显微手术成像***的术区自动测光方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |