CN112767307A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112767307A CN112767307A CN202011584703.5A CN202011584703A CN112767307A CN 112767307 A CN112767307 A CN 112767307A CN 202011584703 A CN202011584703 A CN 202011584703A CN 112767307 A CN112767307 A CN 112767307A
- Authority
- CN
- China
- Prior art keywords
- quality
- training
- image
- training image
- regression model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 549
- 238000013139 quantization Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000002372 labelling Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 30
- 238000012163 sequencing technique Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000003213 activating effect Effects 0.000 claims description 12
- 238000011002 quantification Methods 0.000 claims description 4
- 210000004351 coronary vessel Anatomy 0.000 abstract description 19
- 238000001514 detection method Methods 0.000 description 34
- 238000000605 extraction Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000001994 activation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 230000002861 ventricular Effects 0.000 description 3
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101150027765 PLB2 gene Proteins 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 101150088709 plb3 gene Proteins 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括:获取待检测对象的至少两个医学图像;将各所述医学图像输入至预设的质量回归模型中进行质量分析,确定各所述医学图像对应的质量量化值;其中,所述质量回归模型是基于训练医学图像集进行训练得到的,所述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;根据各所述医学图像对应的质量量化值,从各所述医学图像中确定所述待检测对象的目标医学图像。采用本方法在寻找图像质量最好的冠脉血管图像时,能够节省人力和时间。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
冠脉指的是冠状动脉,通常在患者的冠脉出现问题并去医院进行检查时,医生大多会对患者的冠脉进行冠脉CT(Computed Tomography,电子计算机断层扫描)血管造影(即进行冠脉CTA,Computed Tomography Angiography,计算机断层造影),得到患者的冠脉血管图像,并通过该冠脉血管图像对患者的冠脉进行检查分析。
相关技术中,通常在患者进行冠脉CT血管造影时,一般会按照不同的成像期相(即在扫描过程中的不同成像时间)对患者的冠脉血管进行成像,得到患者在多个不同期相下的冠脉血管图像。之后医生会按照自身经验,对比各个期相的冠脉血管图像,并从中找出一个图像质量最好的冠脉血管图像进行后续检查分析。
然而,上述技术中医生在寻找图像质量最好的冠脉血管图像时,存在耗时耗力的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种在寻找图像质量最好的冠脉血管图像时,能够节省人力和时间的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法,该方法包括:
获取待检测对象的至少两个医学图像;
将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
在其中一个实施例中,上述将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值,包括:
对各上述医学图像进行特征提取,确定各上述医学图像对应的图像特征;上述图像特征与上述医学图像的质量相关;
将各上述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值。
在其中一个实施例中,上述质量回归模型的训练方式包括:
获取训练图像集;上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个上述训练图像对中包括两个训练图像;
对各上述训练图像对中的各训练图像进行特征提取,确定各上述训练图像对应的图像特征;
将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在其中一个实施例中,上述将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型,包括:
将各上述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各上述训练图像对应的预测质量量化值;
获取各上述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;上述n为大于和/或等于0的整数值;
根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在其中一个实施例中,上述根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型,包括:
将上述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到上述训练图像对所对应的预测质量量化值差值;
对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签;
对上述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对上述初始质量回归模型进行训练,得到上述质量回归模型。
在其中一个实施例中,上述对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签,包括:
根据上述初始质量回归模型在训练过程中的训练次数,对上述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到上述训练图像对缩放后的预测质量量化值差值;
对上述训练图像对缩放后的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
在其中一个实施例中,上述根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像,包括:
将各上述医学图像对应的质量量化值进行排序,得到各上述医学图像的质量量化值的排序结果;
根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像。
在其中一个实施例中,上述根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像,包括:
从上述排序结果中获取最大质量量化值;
将上述最大质量量化值对应的医学图像确定为上述待检测对象的目标医学图像。
在其中一个实施例中,上述获取训练图像集,包括:
获取同一检测对象的至少两个训练图像;
将上述同一检测对象的任意两个训练图像组成训练图像对,得到上述同一检测对象对应的至少一个训练图像对;
根据上述同一对象的每个训练图像对中的两个训练图像的质量等级,对上述同一对象的每个训练图像对中的两个训练图像进行质量等级排序,得到每个训练图像对的质量排序结果;
基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签。
在其中一个实施例中,上述每个训练图像对中包括第一训练图像和第二训练图像;上述基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签,包括:
若上述训练图像对中上述第一个训练图像的质量等级高于上述第二训练图像的质量等级,则确定上述训练图像对所对应的标注质量标签为第一标注质量标签;
否则,确定上述训练图像对所对应的标注质量标签为第二标注质量标签。
一种图像处理装置,该装置包括:
图像获取模块,用于获取待检测对象的至少两个医学图像;
质量分析模块,用于将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
目标图像确定模块,用于根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测对象的至少两个医学图像;
将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测对象的至少两个医学图像;
将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
上述图像处理方法、装置、计算机设备和存储介质,通过将获取的待检测对象的至少两个医学图像分别输入至预设的质量回归模型中进行质量分析,确定各医学图像对应的质量量化值,根据各医学图像对应的质量量化值,从各医学图像中确定出待检测对象的目标医学图像;其中,质量回归模型是基于多个训练图像对和每个训练图像对所对应的标注质量标签所训练得到的。在该方法中,由于可以通过训练好的质量回归模型确定各个医学图像的质量量化值,并通过各医学图像的质量量化值确定目标医学图像,这样就不需要医生根据自身经验去对比选择目标图像,也即不需要医生花费时间和精力去寻找目标图像,因此可以节省选择目标图像的人力和时间成本。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中图像处理方法的流程示意图;
图3为一个实施例中图像处理步骤的流程示意图;
图3a为一个实施例中神经网络进行特征提取的结构示例图;
图4为另一个实施例中图像处理方法的流程示意图;
图4a为另一个实施例中对医学图像进行预处理的示例图;
图4b为另一个实施例中预测质量标签和差值的对应关系示例图;
图5为另一个实施例中图像处理方法的流程示意图;
图6为另一个实施例中图像处理方法的流程示意图;
图6a为另一个实施例中为训练图像对确定标注质量标签的示例图;
图7为一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像处理方法,可以应用于计算机设备,该计算机设备可以和扫描设备连接,扫描设备在对待检测对象进行扫描之后,可以将获取到的扫描数据传输给计算机设备,这样计算机设备就可以对扫描数据进行后处理。这里计算机设备可以是终端,也可以是服务器,以计算机设备是终端为例,其内部结构图可以如图1所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,本申请实施例的执行主体可以是图像处理装置,也可以是计算机设备,还可以是计算机设备和扫描设备构成的图像处理***,当然还可以是其他装置,以下就以计算机设备为执行主体来对本申请的技术方案进行详细说明。
在一个实施例中,提供了一种图像处理方法,本实施例涉及的是如何通过待检测对象的多个医学图像,从中确定出目标医学图像的具体过程。如图2所示,该方法可以包括以下步骤:
S202,获取待检测对象的至少两个医学图像。
其中,待检测对象指的是同一个待检测对象。至少两个医学图像为同一待检测对象在不同期相下的医学图像,这里的不同期相可以认为是在对待检测对象进行同一次扫描成像过程中,在该次扫描成像过程中的不同的成像时期或不同的成像阶段。
另外,这里医学图像的模态可以是CT(Computed Tomography,电子计算机断层扫描),也可以是其他模态。这里的医学图像可以是心脏冠脉图像,也可以是其他部位的图像。以心脏冠脉图像为例,这里的医学图像可以是包括冠脉血管的分割结果的图像,即冠脉血管的掩膜图像。
具体的,可以在对待检测对象进行扫描成像的过程中,在不同成像时期或不同成像阶段获取相应的扫描数据,并对不同成像时期或不同成像阶段的扫描数据进行图像重建,获得不同成像时期或不同成像阶段的医学图像,即获得待检测对象的至少两个医学图像。
S204,将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签。
其中,这里每个医学图像对应的质量量化值可以表征医学图像的质量好坏。
另外,质量回归模型可以是神经网络模型,也可以是其他类型的模型。这里质量回归模型可以是通过多个训练图像对和每个训练图像对所对应的标注质量标签进行训练得到的,在具体训练过程中也是输入一个医学图像就可以获得一个医学图像的质量量化值,通过训练图像对的质量量化值以及训练图像对的标注质量标签来综合对质量回归模型进行训练。这里的标注质量标签可以是标注质量好坏的文字,也可以是标注质量的数字等,例如可以是标注0或1的数字。
在质量回归模型训练好之后,具体应用过程中只选取输入一个医学图像就可以获得一个医学图像的质量量化值的部分,这样在获得待检测对象的至少两个医学图像之后,就可以将各个医学图像依次输入至质量回归模型进行质量分析,获得每个医学图像各自对应的质量量化值。
S206,根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
在本步骤中,在获得各个医学图像各自对应的质量量化值之后,可以通过对比各个医学图像的质量量化值,并从中选取出符合要求的目标医学图像。这里符合要求,例如可以是选取质量量化值最高的医学图像作为目标医学图像,也可以是剔除一定的误差,选取质量量化值次高的医学图像作为目标医学图像,或者,也可以是选取质量量化值为中位数的医学图像作为目标医学图像。总之,这里选取出的目标医学图像相对而言,其图像质量是比较高的。
由上述描述内容可知,本实施例的方法在对图像质量量化时,采用的是单个图像输入,获得单个图像的质量量化值,即采用的是单通道输入,单通道输出,假设有m(m大于1)个不同期相图像,那么本实施例的方法为计算m次;而采用现有技术中的双通道输入、两两对比对图像进行处理的方式,需要计算Cm2次,可见,采用本实施例的方法在图像处理过程中的计算量较小,可以简化图像处理的计算过程,提高图像处理的效率。
上述图像处理方法中,通过将获取的待检测对象的至少两个医学图像分别输入至预设的质量回归模型中进行质量分析,确定各医学图像对应的质量量化值,根据各医学图像对应的质量量化值,从各医学图像中确定出待检测对象的目标医学图像;其中,质量回归模型是基于多个训练图像对和每个训练图像对所对应的标注质量标签所训练得到的。在该方法中,由于可以通过训练好的质量回归模型确定各个医学图像的质量量化值,并通过各医学图像的质量量化值确定目标医学图像,这样就不需要医生根据自身经验去对比选择目标图像,也即不需要医生花费时间和精力去寻找目标图像,因此可以节省选择目标图像的人力和时间成本。
在另一个实施例中,提供了另一种图像处理方法,本实施例涉及的是如何通过质量回归模型对各医学图像进行质量分析,确定各医学图像的质量量化值的具体过程。在上述实施例的基础上,如图3所示,上述S204可以包括以下步骤:
S302,对各上述医学图像进行特征提取,确定各上述医学图像对应的图像特征;上述图像特征与上述医学图像的质量相关。
在本步骤中,可以采用卷积神经网络模型对各医学图像进行特征提取,例如这里的卷积神经网络模型可以包括多个下采样模块,其中下采样模块的数量可以是5个,每个下采样模块都由一个卷积核为3×3的卷积层(3×3Conv)、Batch Normalization(归一化,简写BN)层及激活单元ReLU组成,可以对各医学图像的进行特征提取,得到各医学图像对应的图像特征。
当然,也可以采用传统的特征提取方式对各医学图像进行特征提取,以冠脉为例,这里提取的图像特征可以包括血管支数、连通域个数、每支血管体积、中心线长度、曲率均值与曲率最大值等等。这里一共对19条血管进行统计(18段内的13支和OM3、OM4、OM5、PLB2、PLB3、PLB4),总共提取了78个图像特征。这里的OM为钝缘支,PLB为左室后支,但因OM和PLB均有多个分支,所以会以1、2、3等数字来区分,OM3、OM4、OM5中文名即为第一钝缘支、第二钝缘支、第三钝缘支。18段内的13支血管是按照国际SCCT标准定义的,此处19条血管详细为:右冠状动脉、后降支(左、右2支)、右室后支、左主干、前降支、回旋支、钝缘支(5支)、对角支、中间支、左室后支(5支)。
通常这里提取的特征都是与医学图像的质量相关的,即后期可以参与对图像质量量化过程的图像特征。
S304,将各上述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值。
在本步骤中,在获得各医学图像对应的图像特征之后,可以将各医学图像的图像特征分别输入至上述训练好的质量回归模型中进行质量分析,获得每个医学图像各自对应的质量量化值。
另外,这里医学图像对应的质量量化值可以是0-1之间的整数或小数,也可以是其他范围的整数或小数,例如可以是1-10之间的整数或小数,当然还可以是其他范围内的整数或小数,本实施例对此不作具体限定。
示例地,假设上述进行特征提取采用的卷积神经网络模型,质量量化值为0-1之间的整数或小数,那么这里卷积神经网络模型和质量回归模型可以包括多个下采样模块以及多个全连接层,这里的下采样模块的数量和包括内容与上述相同,全连接层的数量可以是2个,输出经过Sigmoid激活函数回归为0-1之间的小数。参见图3a所示,输入图像Input经过五个下采样模块(Down Block)之后,经过全连接层FC+ReLU以及全连接层FC+Sigmoid之后,输出回归为0-1之间的整数或小数。
本实施例的图像处理方法,可以对各医学图像进行特征提取,并将提取的图像特征输入至质量回归模型中进行质量分析,确定各医学图像对应的质量量化值;其中,提取的图像特征与医学图像的质量相关。在本实施例中,由于可以采用与医学图像的质量相关的图像特征以及质量回归模型对医学图像的质量进行量化,因此该质量量化过程是比较准确的,从而确定的医学图像的质量量化值也比较准确。
在另一个实施例中,提供了另一种图像处理方法,本实施例涉及的是如何对质量回归模型进行训练的具体过程。在上述实施例的基础上,如图4所示,上述质量回归模型的训练过程可以包括以下步骤:
S402,获取训练图像集;上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个上述训练图像对中包括两个训练图像。
在本步骤中,可以预先获取不同检测对象的多个训练图像,并将同一个检测对象的训练图像两两组成训练图像对,以及根据每个训练图像对中包括的训练图像的质量,为每个训练图像对标注好质量标签,得到训练图像集。
另外,在获得训练图像集之后,可以对训练图像集中的各个训练图像分别进行图像预处理,这里的图像预处理可以包括膨胀、重采样、截取等处理。以训练图像为冠脉血管的分割结果图像为例,参见图4a所示,预处理过程具体为:将冠脉血管的分割结果图像以26邻域膨胀3个像素单位后,对膨胀后的图像进行重采样,将图像重采样到2.4mm的分辨率下;之后,对冠脉血管的分割结果图像做最小外接矩形框确定血管的中心点位置,并根据血管的中心点位置截取一个64*64*64的矩形框所在的图像,作为下一步特征提取的输入图像。
需要说明的是,这里的膨胀邻域大小、膨胀像素大小、重采样大小以及矩形框的大小,均可以根据实际情况设定,这里只是示例。同时,这里的图4a只是示例,不影响本申请实施例的实质内容。
S404,对各上述训练图像对中的各训练图像进行特征提取,确定各上述训练图像对应的图像特征。
在本步骤中,在对每个训练图像对中的各个训练图像进行特征提取时,可以采用与上述S302相同的方式,这里不再进行赘述。
S406,将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在本步骤中,可选的,本步骤可以包括以下步骤A1-A3:
步骤A1,将各上述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各上述训练图像对应的预测质量量化值。
在本步骤中,在获得每个训练图像对应的图像特征之后,就可以将每个训练图像的图像特征输入至初始质量回归模型中,获得每个训练图像的预测质量量化值。
步骤A2,获取各上述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;上述n为大于和/或等于0的整数值。
其中,这里为了保证后续进行损失计算的训练图像对为同一检测对象的不同训练图像构成的训练图像对,因此,选取训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对进行后续的损失计算。
示例地,假设1号检测对象有2个医学图像,分别为图像11和图像12,2号检测对象也有2个医学图像,分别为图像21和图像22,这里组成的训练图像对分别为图像11和图像12的第1组训练图像对,图像21和图像22的第2组训练图像对。那么n为0,则第0个和第1个训练图像为同一组训练图像对,即第1组训练图像对;n为1,则第2个和第3个训练图像为同一组训练图像对,即第2组训练图像对,这里获取到的每个训练图像对分别是针对同一个检测对象的。
步骤A3,根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型。
可选的,上述步骤A3可以包括以下步骤A31-A33:
步骤A31,将上述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到上述训练图像对所对应的预测质量量化值差值。
在本步骤中,在获得上述第2n个训练图像和第2n+1个训练图像组成的训练图像对之后,也可以获得第2n个训练图像的预测质量量化值以及第2n+1个训练图像的预测质量量化值。之后,可以采用如下公式(1)计算训练图像对中各个训练图像的预测质量量化值的差值,公式如下:
diff=output(2n)-output(2n+1) (1)
其中,output(2n)为第2n个训练图像的预测质量量化值,output(2n+1)为第2n+1个训练图像的预测质量量化值,diff为这两个训练图像的预测质量量化值的差值,记为这两个训练图像组成的训练图像对所对应的预测质量量化值差值。
按照公式(1)的计算方式,可以计算得到所有训练图像对所对应的预测质量量化值差值。
步骤A32,对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
在本步骤中,可以采用动态调整方式对每个训练图像对所对应的预测质量量化值差值进行激活处理,也可以采用非动态调整方式对每个训练图像对所对应的预测质量量化值差值进行激活处理,总之,在进行激活处理之后,可以得到每个训练图像对所对应的预测质量标签。以下就给出这两种不同调整方式获得预测质量标签的可能的实施方式。
在一种可能的实施方式中,以采用非动态调整方式对每个训练图像对所对应的预测质量量化值差值进行激活处理为例,在上述获得每个训练图像对所对应的预测质量量化值差值之后,可以采用如下公式(2)获得每个训练图像对所对应的预测质量标签,公式如下:
predictresult=sigmoid(diff+1)/2 (2)
其中,predictresult为每个训练图像对所对应的预测质量标签,sigmoid为激活函数。
通过公式(2)的计算方式,就可以计算得到每个训练图像对所对应的预测质量标签。这里预测质量标签通常为0-1之间的整数或小数。
在另一种可能的实施方式中,以采用动态调整方式对每个训练图像对所对应的预测质量量化值差值进行激活处理为例,可选的,上述步骤A32可以包括以下步骤A321-A322:
步骤A321,根据上述初始质量回归模型在训练过程中的训练次数,对上述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到上述训练图像对缩放后的预测质量量化值差值。
步骤A322,对上述训练图像对缩放后的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
这里的训练次数为训练集在初始质量回归模型训练过程的迭代次数,迭代一次则训练次数为1,迭代两次则训练次数为2,以此类推得到训练次数。在上述获得每个训练图像对所对应的预测质量量化值差值、以及训练次数之后,具体可以采用如下公式(3)获得每个训练图像对所对应的预测质量标签,公式如下:
predictresult=sigmoid[diff×5×(epoch/30+1)] (3)
其中,predictresult为每个训练图像对所对应的预测质量标签,sigmoid为激活函数,epoch为训练次数。这里predictresult和diff的关系可以参见图4b所示,其中横轴为diff,范围为-1到1,纵轴为predict result,范围为0到1。
通过公式(3)的计算方式,就可以计算得到每个训练图像对所对应的预测质量标签。这里预测质量标签通常也为0-1之间的整数或小数。
步骤A33,对上述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对上述初始质量回归模型进行训练,得到上述质量回归模型。
在本步骤中,在获得每个训练图像对所对应的预测质量标签之后,就可以采用损失函数计算每个训练图像对所对应的预测质量标签和对应的标注质量标签之间的损失,这里的损失函数一般是二分类损失函数,可以是MSE loss,也可以是BCE loss等等。
之后,可以利用计算得到的每个训练图像对的损失进行参数反传,对初始质量回归模型的参数进行调整,然后对初始质量回归模型继续进行训练。在训练过程中,直至损失函数的值达到损失阈值,或者损失函数的值不再变化,或者达到预设的训练次数等情况下,就可以认为初始质量回归模型已经训练好,此时可以固定质量回归模型的参数,得到训练好的质量回归模型。
进一步地,上述在动态调整方式中引入训练次数,可以动态调整sigmoid激活函数的曲线斜率,曲线变陡后较小的predict result会被预测成接近0或1,如果预测质量标签正确,则减小损失,如果预测质量标签错误,则损失会被放大;这样随着训练次数的增大,质量回归模型会更倾向对预测质量标签错误的训练图像进行重点学习,提高质量回归模型的性能。
另外,上述采用非动态调整方式计算每个训练图像对的预测质量标签,该计算过程中涉及参数较少,即计算量较小,因此可以加快获得每个训练图像对的预测质量标签的速度,从而可以提高整个质量回归模型的训练速度。
本实施例的图像处理方法,通过获取训练图像集,对训练图像集的各个训练训练图像对中的各训练图像进行特征提取,并将提取到的特征作为初始质量回归模型的输入,每个训练图像对的标注质量标签作为初始回归模型的参考输出,对初始回归模型进行训练,获得训练好的质量回归模型;其中,训练图像集包括多个训练图像对以及每个训练图像对的标注质量标签。在本实施例中,由于质量回归模型是基于多个训练图像对中以及各自的标注质量标签进行训练得到的,因此训练的质量回归模型比较准确,这样后续采用该训练好的模型对图像质量进行分析时,获得的质量量化值也是比较准确的。
在另一个实施例中,提供了另一种图像处理方法,本实施例涉及的是如何根据各医学图像的质量量化值确定目标医学图像的具体过程。在上述实施例的基础上,如图5所示,上述S206可以包括以下步骤:
S502,将各上述医学图像对应的质量量化值进行排序,得到各上述医学图像的质量量化值的排序结果。
在本步骤中,在获得各医学图像对应的质量量化值之后,可以对各医学图像的质量量化值进行排序,排序时可以采用从小到大排序,也可以采用从大到小排序,总之在排序之后可以得到各医学图像的质量量化值的排序结果。
S504,根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像。
在本步骤中,可选的,可以包括以下步骤:从上述排序结果中获取最大质量量化值;将上述最大质量量化值对应的医学图像确定为上述待检测对象的目标医学图像。
也就是说,在上述排序完成之后,如果是从小到大排序,那么排序结果中最后一个质量量化值即为最大质量量化值,那么就可以将这最后一个质量量化值对应的医学图像作为目标医学图像。如果是从大到小排序,那么排序结果中第一个质量量化值即为最大质量量化值,那么就可以将这第一个质量量化值对应的医学图像作为目标医学图像。
本实施例的图像处理方法,通过将各医学图像的质量量化值进行排序,并根据排序结果从各医学图像中确定待检测对象的目标医学图像。该排序过程比较简单明了,因此可以提高确定目标医学图像的速度,即可以提高整体图像处理的效率。进一步地,可以通过将排序结果中的最大质量量化值对应的医学图像作为目标医学图像,这样确定的目标医学图像即为质量最好的图像,其确定结果也比较客观,即可以保证确定的目标医学图像的准确性。
在另一个实施例中,提供了另一种图像处理方法,本实施例涉及的是如何获取训练图像集的具体过程。在上述实施例的基础上,如图6所示,上述S402可以包括以下步骤:
S602,获取同一检测对象的至少两个训练图像。
在本步骤中,这里获取训练图像的检测对象可以是一个或多个,通常是多个检测对象,每个检测对象会获取至少两个训练图像,这里每个检测对象获取的至少两个训练图像跟上述S202的至少两个医学图像相同,为不同期相下的训练图像。另外,各个检测对象的至少两个训练图像所针对的期相可以相同,也可以不同。每个检测对象所对应的训练图像的数量可以相同,也可以不同。
S604,将上述同一检测对象的任意两个训练图像组成训练图像对,得到上述同一检测对象对应的至少一个训练图像对。
在本步骤中,可以将同一检测对象的至少两个训练图像之间进行两两配对,得到每个检测对象对应的至少一个训练图像对。
示例地,假设一个检测对象有p个期相,那么将会产生Cp2个配对,假设p=3,即一个检测对象有三个不同期相的训练图像,分别记为训练图像phase1、训练图像phase2、训练图像phase3,那么对这三个不同期相的训练图像进行两两配对,可以得到三个训练图像对,这三个训练图像对分别为(phase1,phase2)、(phase2,phase3)、(phase3,phase1),这里只是给出示例,对于每个训练图像对中的两个训练图像的顺序,可以根据实际情况设定,这里不作具体限定。
S606,根据上述同一对象的每个训练图像对中的两个训练图像的质量等级,对上述同一对象的每个训练图像对中的两个训练图像进行质量等级排序,得到每个训练图像对的质量排序结果。
在本步骤中,在预先获取各个训练图像时,也可以获知每个检测对象对应的各个训练图像的质量等级,即可以获知各个训练图像的质量好坏。那么在上述获得同一检测对象对应的至少一个训练图像对之后,以一个检测对象来说,那么就可以针对该检测对象所对应的每个训练图像对中的两个训练图像的质量等级进行排序,得到该检测对象的每个训练图像对所对应的质量等级排序结果,即质量排序结果。
示例地,假设上述这三个不同期相的训练图像phase1、phase2、phase3之间的质量等级排序为phase3>phase1>phase2,那么继续以上述三个训练图像对(phase1,phase2)、(phase2,phase3)、(phase3,phase1)为例,这里每个训练图像对的质量排序结果分别为(phase1>phase2)、(phase2<phase3)、(phase3>phase1)。
S608,基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签。
在本步骤中,可选的,上述每个训练图像对中包括第一训练图像和第二训练图像,那么本步骤可以包括:若上述训练图像对中上述第一个训练图像的质量等级高于上述第二训练图像的质量等级,则确定上述训练图像对所对应的标注质量标签为第一标注质量标签;否则,确定上述训练图像对所对应的标注质量标签为第二标注质量标签。
示例地,继续以上述三个不同期相的训练图像phase1、phase2、phase3为例,这里参见图6a所示,对于该检测对象的三个期相的训练图像,在每个期相下均截取了两个角度的图片,如上所述,会产生三个训练图像对,分别是(phase1,phase2)、(phase2,phase3)以及(phase3,phase1),这里可以对每个配对的训练图像对之间相较的好坏给与金标准。例如若训练图像对中第一训练图像的质量等级高于第二训练图像的质量等级,则该训练图像对所对应的标注质量标签记为1;若训练图像对中第一训练图像的质量等级低于第二训练图像的质量等级,则该训练图像对所对应的标注质量标签记为0。通过上述的标注方式,可以得到这三个训练图像对Pair,(phase1,phase2)、(phase2,phase3)以及(phase3,phase1)的标注质量标签label分别为1、0、1。
需要说明的是,这里图6a只是示例,不影响本申请实施例的实质内容。
本实施例的图像处理方法,通过将同一检测对象的任意两个训练图像组成训练图像对,得到每个检测对象的训练图像对,对每个训练图像对中的两个训练图像的质量等级进行排序,并根据排序结果确定每个训练图像对所对应的标注质量标签。在本实施例中,由于可以通过训练图像对中的训练图像的质量等级排序结果为每个训练图像对确定标注质量标签,因此确定的标注质量标签相对是比较准确的,那么后续通过标注质量标签的训练图像对训练的质量回归模型也就是比较准确的。进一步地,由于可以通过训练图像对中两个训练图像对的质量等级比较确定训练图像对的标注质量标签,该过程较为简单直接,因此可以提高确定训练图像对的标注质量标签的速度,从而可以提高质量回归模型的训练效率,进而提高整体图像处理的效率。
应该理解的是,虽然图2、3、4、5、6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3、4、5、6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种图像处理装置,包括:图像获取模块10、质量分析模块11和图像模块确定模块12,其中:
图像获取模块10,用于获取待检测对象的至少两个医学图像;
质量分析模块11,用于将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
目标图像确定模块12,用于根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在另一个实施例中,提供了另一种图像处理装置,在上述实施例的基础上,上述质量分析模块11可以包括特征提取单元和质量分析单元,其中:
特征提取单元,用于对各上述医学图像进行特征提取,确定各上述医学图像对应的图像特征;上述图像特征与上述医学图像的质量相关;
质量分析单元,用于将各上述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值。
在另一个实施例中,提供了另一种图像处理装置,在上述实施例的基础上,上述装置还可以包括模型训练模块,该模型训练模块包括训练集获取单元、训练集特征提取单元和模型训练单元,其中:
训练集获取单元,用于获取训练图像集;上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个上述训练图像对中包括两个训练图像;
训练集特征提取单元,用于对各上述训练图像对中的各训练图像进行特征提取,确定各上述训练图像对应的图像特征;
模型训练单元,用于将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型。
可选的,上述模型训练单元可以包括质量分析子单元、图像对获取子单元和模型训练子单元,其中:
质量分析子单元,用于将各上述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各上述训练图像对应的预测质量量化值;
图像对获取子单元,用于获取各上述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;上述n为大于和/或等于0的整数值;
模型训练子单元,用于根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型。
可选的,上述模型训练子单元,具体用于将上述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到上述训练图像对所对应的预测质量量化值差值;对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签;对上述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对上述初始质量回归模型进行训练,得到上述质量回归模型。
可选的,上述模型训练子单元,具体用于根据上述初始质量回归模型在训练过程中的训练次数,对上述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到上述训练图像对缩放后的预测质量量化值差值;对上述训练图像对缩放后的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
在另一个实施例中,提供了另一种图像处理装置,在上述实施例的基础上,上述目标图像确定模块12可以包括排序单元和目标图像确定单元,其中:
排序单元,用于将各上述医学图像对应的质量量化值进行排序,得到各上述医学图像的质量量化值的排序结果;
目标图像确定单元,用于根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像。
可选的,上述目标图像确定单元,具体用于从上述排序结果中获取最大质量量化值;将上述最大质量量化值对应的医学图像确定为上述待检测对象的目标医学图像。
在另一个实施例中,提供了另一种图像处理装置,在上述实施例的基础上,上述训练集获取单元可以包括训练图像获取子单元、训练图像对获取子单元、质量排序子单元和质量标签确定子单元,其中:
训练图像获取子单元,用于获取同一检测对象的至少两个训练图像;
训练图像对获取子单元,用于将上述同一检测对象的任意两个训练图像组成训练图像对,得到上述同一检测对象对应的至少一个训练图像对;
质量排序子单元,用于根据上述同一对象的每个训练图像对中的两个训练图像的质量等级,对上述同一对象的每个训练图像对中的两个训练图像进行质量等级排序,得到每个训练图像对的质量排序结果;
质量标签确定子单元,用于基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签。
可选的,上述每个训练图像对中包括第一训练图像和第二训练图像,上述质量标签确定子单元,具体用于在上述训练图像对中上述第一个训练图像的质量等级高于上述第二训练图像的质量等级的情况下,确定上述训练图像对所对应的标注质量标签为第一标注质量标签;否则,确定上述训练图像对所对应的标注质量标签为第二标注质量标签。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检测对象的至少两个医学图像;将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对各上述医学图像进行特征提取,确定各上述医学图像对应的图像特征;上述图像特征与上述医学图像的质量相关;将各上述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练图像集;上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个上述训练图像对中包括两个训练图像;对各上述训练图像对中的各训练图像进行特征提取,确定各上述训练图像对应的图像特征;将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将各上述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各上述训练图像对应的预测质量量化值;获取各上述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;上述n为大于和/或等于0的整数值;根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将上述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到上述训练图像对所对应的预测质量量化值差值;对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签;对上述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据上述初始质量回归模型在训练过程中的训练次数,对上述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到上述训练图像对缩放后的预测质量量化值差值;对上述训练图像对缩放后的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将各上述医学图像对应的质量量化值进行排序,得到各上述医学图像的质量量化值的排序结果;根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从上述排序结果中获取最大质量量化值;将上述最大质量量化值对应的医学图像确定为上述待检测对象的目标医学图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取同一检测对象的至少两个训练图像;将上述同一检测对象的任意两个训练图像组成训练图像对,得到上述同一检测对象对应的至少一个训练图像对;根据上述同一对象的每个训练图像对中的两个训练图像的质量等级,对上述同一对象的每个训练图像对中的两个训练图像进行质量等级排序,得到每个训练图像对的质量排序结果;基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若上述训练图像对中上述第一个训练图像的质量等级高于上述第二训练图像的质量等级,则确定上述训练图像对所对应的标注质量标签为第一标注质量标签;否则,确定上述训练图像对所对应的标注质量标签为第二标注质量标签。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检测对象的至少两个医学图像;将各上述医学图像输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值;其中,上述质量回归模型是基于训练医学图像集进行训练得到的,上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;根据各上述医学图像对应的质量量化值,从各上述医学图像中确定上述待检测对象的目标医学图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对各上述医学图像进行特征提取,确定各上述医学图像对应的图像特征;上述图像特征与上述医学图像的质量相关;将各上述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各上述医学图像对应的质量量化值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练图像集;上述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个上述训练图像对中包括两个训练图像;对各上述训练图像对中的各训练图像进行特征提取,确定各上述训练图像对应的图像特征;将各上述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为上述初始质量回归模型的参考输出,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各上述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各上述训练图像对应的预测质量量化值;获取各上述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;上述n为大于和/或等于0的整数值;根据上述训练图像对中的各训练图像的预测质量量化值,以及上述训练图像对所对应的标注质量标签,对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将上述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到上述训练图像对所对应的预测质量量化值差值;对上述训练图像对所对应的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签;对上述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对上述初始质量回归模型进行训练,得到上述质量回归模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据上述初始质量回归模型在训练过程中的训练次数,对上述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到上述训练图像对缩放后的预测质量量化值差值;对上述训练图像对缩放后的预测质量量化值差值进行激活处理,确定上述训练图像对所对应的预测质量标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各上述医学图像对应的质量量化值进行排序,得到各上述医学图像的质量量化值的排序结果;根据上述排序结果,从各上述医学图像中确定上述待检测对象的目标医学图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从上述排序结果中获取最大质量量化值;将上述最大质量量化值对应的医学图像确定为上述待检测对象的目标医学图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取同一检测对象的至少两个训练图像;将上述同一检测对象的任意两个训练图像组成训练图像对,得到上述同一检测对象对应的至少一个训练图像对;根据上述同一对象的每个训练图像对中的两个训练图像的质量等级,对上述同一对象的每个训练图像对中的两个训练图像进行质量等级排序,得到每个训练图像对的质量排序结果;基于上述每个训练图像对的排序结果,确定每个训练图像对所对应的标注质量标签。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若上述训练图像对中上述第一个训练图像的质量等级高于上述第二训练图像的质量等级,则确定上述训练图像对所对应的标注质量标签为第一标注质量标签;否则,确定上述训练图像对所对应的标注质量标签为第二标注质量标签。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待检测对象的至少两个医学图像;
将各所述医学图像输入至预设的质量回归模型中进行质量分析,确定各所述医学图像对应的质量量化值;其中,所述质量回归模型是基于训练医学图像集进行训练得到的,所述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
根据各所述医学图像对应的质量量化值,从各所述医学图像中确定所述待检测对象的目标医学图像。
2.根据权利要求1所述的方法,其特征在于,所述将各所述医学图像输入至预设的质量回归模型中进行质量分析,确定各所述医学图像对应的质量量化值,包括:
对各所述医学图像进行特征提取,确定各所述医学图像对应的图像特征;所述图像特征与所述医学图像的质量相关;
将各所述医学图像对应的图像特征输入至预设的质量回归模型中进行质量分析,确定各所述医学图像对应的质量量化值。
3.根据权利要求2所述的方法,其特征在于,所述质量回归模型的训练方式包括:
获取训练图像集;所述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签,每个所述训练图像对中包括两个训练图像;
对各所述训练图像对中的各训练图像进行特征提取,确定各所述训练图像对应的图像特征;
将各所述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为所述初始质量回归模型的参考输出,对所述初始质量回归模型进行训练,得到所述质量回归模型。
4.根据权利要求3所述的方法,其特征在于,所述将各所述训练图像对应的图像特征作为初始质量回归模型的输入,将每个训练图像对所对应的标注质量标签作为所述初始质量回归模型的参考输出,对所述初始质量回归模型进行训练,得到所述质量回归模型,包括:
将各所述训练图像对应的图像特征输入至初始质量回归模型进行质量分析,得到各所述训练图像对应的预测质量量化值;
获取各所述训练图像中第2n个训练图像和第2n+1个训练图像组成的训练图像对;所述n为大于和/或等于0的整数值;
根据所述训练图像对中的各训练图像的预测质量量化值,以及所述训练图像对所对应的标注质量标签,对所述初始质量回归模型进行训练,得到所述质量回归模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述训练图像对中的各训练图像的预测质量量化值,以及所述训练图像对所对应的标注质量标签,对所述初始质量回归模型进行训练,得到所述质量回归模型,包括:
将所述训练图像对中的各训练图像的预测质量量化值进行作差处理,得到所述训练图像对所对应的预测质量量化值差值;
对所述训练图像对所对应的预测质量量化值差值进行激活处理,确定所述训练图像对所对应的预测质量标签;
对所述训练图像对所对应的预测质量标签和标注质量标签进行损失计算,并基于计算的损失对所述初始质量回归模型进行训练,得到所述质量回归模型。
6.根据权利要求5所述的方法,其特征在于,所述对所述训练图像对所对应的预测质量量化值差值进行激活处理,确定所述训练图像对所对应的预测质量标签,包括:
根据所述初始质量回归模型在训练过程中的训练次数,对所述训练图像对所对应的预测质量量化值差值进行动态线性缩放处理,得到所述训练图像对缩放后的预测质量量化值差值;
对所述训练图像对缩放后的预测质量量化值差值进行激活处理,确定所述训练图像对所对应的预测质量标签。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述根据各所述医学图像对应的质量量化值,从各所述医学图像中确定所述待检测对象的目标医学图像,包括:
将各所述医学图像对应的质量量化值进行排序,得到各所述医学图像的质量量化值的排序结果;
根据所述排序结果,从各所述医学图像中确定所述待检测对象的目标医学图像。
8.一种图像处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测对象的至少两个医学图像;
质量分析模块,用于将各所述医学图像输入至预设的质量回归模型中进行质量分析,确定各所述医学图像对应的质量量化值;其中,所述质量回归模型是基于训练医学图像集进行训练得到的,所述训练医学图像集包括多个训练图像对和每个训练图像对所对应的标注质量标签;
目标图像确定模块,用于根据各所述医学图像对应的质量量化值,从各所述医学图像中确定所述待检测对象的目标医学图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011584703.5A CN112767307A (zh) | 2020-12-28 | 2020-12-28 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011584703.5A CN112767307A (zh) | 2020-12-28 | 2020-12-28 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112767307A true CN112767307A (zh) | 2021-05-07 |
Family
ID=75696556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011584703.5A Pending CN112767307A (zh) | 2020-12-28 | 2020-12-28 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767307A (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171272A (zh) * | 2018-01-12 | 2018-06-15 | 上海东软医疗科技有限公司 | 一种医学影像技术的评价方法和装置 |
CN109360197A (zh) * | 2018-09-30 | 2019-02-19 | 北京达佳互联信息技术有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
CN109949277A (zh) * | 2019-03-04 | 2019-06-28 | 西北大学 | 一种基于排序学习和简化残差网络的oct图像质量评价方法 |
US20190213474A1 (en) * | 2018-01-09 | 2019-07-11 | Adobe Inc. | Frame selection based on a trained neural network |
CN110458817A (zh) * | 2019-08-05 | 2019-11-15 | 上海联影医疗科技有限公司 | 医学图像的质量预测方法、装置、设备及存储介质 |
CN110807491A (zh) * | 2019-11-05 | 2020-02-18 | 上海眼控科技股份有限公司 | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 |
CN110827250A (zh) * | 2019-10-29 | 2020-02-21 | 浙江明峰智能医疗科技有限公司 | 基于轻量级卷积神经网络的智能医学图像质量评估方法 |
CN110942072A (zh) * | 2019-12-31 | 2020-03-31 | 北京迈格威科技有限公司 | 基于质量评估的质量分、检测模型训练、检测方法及装置 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN111523489A (zh) * | 2020-04-26 | 2020-08-11 | 上海眼控科技股份有限公司 | 年龄分类网络的生成方法、车载人员检测方法、装置 |
CN111539222A (zh) * | 2020-05-20 | 2020-08-14 | 北京百度网讯科技有限公司 | 语义相似度任务模型的训练方法、装置、电子设备及存储介质 |
CN111583199A (zh) * | 2020-04-24 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 样本图像标注方法、装置、计算机设备和存储介质 |
CN111709906A (zh) * | 2020-04-13 | 2020-09-25 | 北京深睿博联科技有限责任公司 | 医学图像的质量评估方法和装置 |
CN111815558A (zh) * | 2020-06-04 | 2020-10-23 | 上海联影智能医疗科技有限公司 | 一种医学图像处理***、方法及计算机存储介质 |
CN111860790A (zh) * | 2020-08-04 | 2020-10-30 | 南京大学 | 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其*** |
CN112084307A (zh) * | 2020-09-14 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、服务器及计算机可读存储介质 |
US20200401856A1 (en) * | 2019-06-24 | 2020-12-24 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of controlling the same |
-
2020
- 2020-12-28 CN CN202011584703.5A patent/CN112767307A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190213474A1 (en) * | 2018-01-09 | 2019-07-11 | Adobe Inc. | Frame selection based on a trained neural network |
CN108171272A (zh) * | 2018-01-12 | 2018-06-15 | 上海东软医疗科技有限公司 | 一种医学影像技术的评价方法和装置 |
CN109360197A (zh) * | 2018-09-30 | 2019-02-19 | 北京达佳互联信息技术有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
CN109949277A (zh) * | 2019-03-04 | 2019-06-28 | 西北大学 | 一种基于排序学习和简化残差网络的oct图像质量评价方法 |
CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
US20200401856A1 (en) * | 2019-06-24 | 2020-12-24 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of controlling the same |
CN110458817A (zh) * | 2019-08-05 | 2019-11-15 | 上海联影医疗科技有限公司 | 医学图像的质量预测方法、装置、设备及存储介质 |
CN110827250A (zh) * | 2019-10-29 | 2020-02-21 | 浙江明峰智能医疗科技有限公司 | 基于轻量级卷积神经网络的智能医学图像质量评估方法 |
CN110807491A (zh) * | 2019-11-05 | 2020-02-18 | 上海眼控科技股份有限公司 | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN110942072A (zh) * | 2019-12-31 | 2020-03-31 | 北京迈格威科技有限公司 | 基于质量评估的质量分、检测模型训练、检测方法及装置 |
CN111709906A (zh) * | 2020-04-13 | 2020-09-25 | 北京深睿博联科技有限责任公司 | 医学图像的质量评估方法和装置 |
CN111583199A (zh) * | 2020-04-24 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 样本图像标注方法、装置、计算机设备和存储介质 |
CN111523489A (zh) * | 2020-04-26 | 2020-08-11 | 上海眼控科技股份有限公司 | 年龄分类网络的生成方法、车载人员检测方法、装置 |
CN111539222A (zh) * | 2020-05-20 | 2020-08-14 | 北京百度网讯科技有限公司 | 语义相似度任务模型的训练方法、装置、电子设备及存储介质 |
CN111815558A (zh) * | 2020-06-04 | 2020-10-23 | 上海联影智能医疗科技有限公司 | 一种医学图像处理***、方法及计算机存储介质 |
CN111860790A (zh) * | 2020-08-04 | 2020-10-30 | 南京大学 | 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其*** |
CN112084307A (zh) * | 2020-09-14 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、服务器及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
KEDE MA等: "End-to-End Blind Image Quality Assessment Using Deep Neural Networks", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 27, no. 3, 31 March 2018 (2018-03-31), pages 1202 - 1213 * |
WEIXIA ZHANG等: "Blind Image Quality Assessment Using a Deep Bilinear Convolutional Neural Network", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 30, no. 1, 31 January 2020 (2020-01-31), pages 36 - 47, XP011766399, DOI: 10.1109/TCSVT.2018.2886771 * |
产银萍: "基于深度学习的锥形束CT图像质量自动评价的关键技术研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, vol. 2020, no. 1, 15 January 2020 (2020-01-15), pages 060 - 340 * |
王佳阳: "眼部光学相干断层扫描图像的质量评价算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, vol. 2019, no. 12, 15 December 2019 (2019-12-15), pages 073 - 28 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321920B (zh) | 图像分类方法、装置、计算机可读存储介质和计算机设备 | |
CN110310256B (zh) | 冠脉狭窄检测方法、装置、计算机设备和存储介质 | |
CN109993726B (zh) | 医学图像的检测方法、装置、设备和存储介质 | |
EP4036931A1 (en) | Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model | |
CN108846829B (zh) | 病变部位识别装置、计算机装置及可读存储介质 | |
CN110570407B (zh) | 图像处理方法、存储介质及计算机设备 | |
CN109242863B (zh) | 一种缺血性脑卒中图像区域分割方法及装置 | |
CN114298234B (zh) | 脑部医学影像分类方法、装置、计算机设备和存储介质 | |
CN109712163B (zh) | 冠脉提取方法、装置、图像处理工作站和可读存储介质 | |
CN111951281A (zh) | 图像分割方法、装置、设备及存储介质 | |
CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
CN111223158A (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
CN116681716B (zh) | 颅内血管感兴趣区域分割方法、装置、设备和存储介质 | |
AU2019204365C1 (en) | Method and System for Image Segmentation and Identification | |
CN116993812A (zh) | 冠脉血管中心线的提取方法、装置、设备及存储介质 | |
CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
CN110992312A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
CN112767307A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN115690063A (zh) | 骨密度参数检测方法、计算机设备和存储介质 | |
CN114494014A (zh) | 一种磁共振图像超分辨率重建方法及装置 | |
CN114359133A (zh) | 基于特征提取的手骨影像分析方法及相关设备 | |
CN113239978B (zh) | 医学图像预处理模型与分析模型的相关方法和装置 | |
CN115578285B (zh) | 一种乳腺钼靶图像细节增强方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210817 Address after: Room 3674, 3 / F, 2879 Longteng Avenue, Xuhui District, Shanghai, 200232 Applicant after: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd. Applicant after: Lianying intelligent medical technology (Beijing) Co.,Ltd. Address before: Room 3674, 3 / F, 2879 Longteng Avenue, Xuhui District, Shanghai, 200232 Applicant before: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd. |