CN111340904A - 图像处理方法、装置及计算机可读存储介质 - Google Patents
图像处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111340904A CN111340904A CN202010085677.5A CN202010085677A CN111340904A CN 111340904 A CN111340904 A CN 111340904A CN 202010085677 A CN202010085677 A CN 202010085677A CN 111340904 A CN111340904 A CN 111340904A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- sample data
- image processing
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 251
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 105
- 238000000605 extraction Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000002600 positron emission tomography Methods 0.000 abstract description 14
- 201000010099 disease Diseases 0.000 abstract description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 12
- 239000000700 radioactive tracer Substances 0.000 abstract description 12
- 238000012216 screening Methods 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000002347 injection Methods 0.000 abstract description 8
- 239000007924 injection Substances 0.000 abstract description 8
- 230000005855 radiation Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000012879 PET imaging Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置及计算机可读存储介质。其中,该方法可包括:接收客户端的图像处理请求,该图像处理请求包括待处理投影数据,图像处理请求用于请求根据待处理投影数据重建图像;对待处理投影数据进行域变换处理,得到图像数据;调用图像处理模型对图像数据进行图像重建处理,得到图像结果,图像处理模型是根据图像样本数据及目标样本数据对图像处理模型进行训练得到的;发送图像结果至客户端。采用本发明实施例,在实现减少示踪剂注射剂量,降低辐射的同时,提高了正电子发射断层扫描的成像质量,有利于疾病的诊断与筛查。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
正电子发射断层扫描(Positron Emission Computed Tomography,PET)是指通过向人体注入放射性示踪剂,观测人体组织中的分子水平活性,进而达到诊断及筛查疾病的目的。PET是一种较为常用的医学成像手段,但同时也存在着很多问题,例如:对患者身体造成辐射、示踪剂的成本较高,等等。针对此类问题,目前,采用的解决方法主要包括减少示踪剂注射剂量或减少扫描时间,但是,上述两种方法均会导致PET图像的成像质量下降,不利于疾病的诊断与筛查。
发明内容
本发明实施例提供一种图像处理方法、装置及计算机可读存储介质,在实现减少示踪剂注射剂量,降低辐射的同时,提高了正电子发射断层扫描的成像质量,有利于疾病的诊断与筛查。
第一方面,本发明实施例提供一种图像处理方法,包括:
接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
对所述待处理投影数据进行域变换处理,得到图像数据;
调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
发送所述图像结果至所述客户端。
在该技术方案中,客户端发送包括待处理投影数据的图像处理请求至服务器,以使服务器对该待处理投影数据进行域变换,得到图像数据,并将图像数据通过已训练的图像处理模型对该图像数据进行图像重建,得到图像结果,将该图像结果返回至客户端。通过这种方法,可以将成像质量较差的PET图像进行图像重建生成清晰度较高图像,以使用户根据该清晰度较高的图像进行疾病诊断和筛查。
第二方面,本发明实施例提供一种图像处理装置,包括:
收发单元,用于接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
处理单元,用于对所述待处理投影数据进行域变换处理,得到图像数据;调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
所述收发单元,还用于发送所述图像结果至所述客户端。
第三方面,本发明实施例提供一种图像处理装置,包括处理器、存储器和通信接口,所述处理器、所述存储器和所述通信接口相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如第一方面所描述的方法。该处理设备解决问题的实施方式以及有益效果可以参见上述第一方面所描述的方法以及有益效果,重复之处不再赘述。
第四方面,本发明实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如第一方面所描述的方法。
本申请实施例中,客户端发送图像处理请求至服务器,该图像处理请求包括待处理投影数据,服务器根据该图像处理请求对待处理投影数据进行域变换,得到图像数据,此处在输入至图像处理模型之前先对待处理投影数据进行域变换处理可以节省网络资源;将图像数据通过已训练的图像处理模型对该图像数据进行图像重建,得到图像结果,将该图像结果返回至客户端,其中,图像处理模型的训练方法为:通过循环一致性生成对抗网络对输入的至少一组图像样本数据及目标样本数据进行迭代训练,该循环一致性生成对抗网络的执行设备包括:第一生成器、第二生成器、第一判别器及第二判别器,以优化模型损失函数,使该图像处理模型实现了在减少示踪剂注射剂量,降低辐射的基础上,更准确、清晰的重建一些成像质量低的PET图像,以使用户根据重建后更为清晰的图像进行疾病诊断和筛查。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理***的架构图;
图2是本发明实施例提供的另一种图像处理***的架构图;
图3是本发明实施例提供的一种图像处理方法的流程图;
图4是本发明实施例提供的一种生成器网络的结构示意图;
图5是本发明实施例提供的另一种图像处理方法的流程图;
图6是本发明实施例提供的一种判别器网络的结构示意图;
图7是本发明实施例提供的一种图像处理装置的结构示意图;
图8是本发明实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或装置没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或装置固有的其它步骤或模块。
目前,在使用PET进行疾病筛查及诊断的过程中,通过减少放射性示踪剂的注射剂量或减少对患者的扫描时间,可以带来很多优势,例如:可以减小辐射对患者产生的危害,减低示踪剂成本,减少患者的生理运动在成像时产生的运动伪影及提高PET扫描仪的效率。但减少放射性示踪剂的注射剂量或减少对患者的扫描时间均会造成PET成像质量的下降,例如:图像噪声增加、清晰度不足,等等。
为解决上述问题,本发明实施例提供一种图像处理方法,该图像处理方法通过已训练的图像处理模型对质量较差的PET图像进行处理,生成清晰度较高的图像,有利于用户根据该清晰度较高的图像进行疾病诊断和筛查,此处的质量较差的PET图像也可以描述为低计数投影图像,在本发明实施例中还可以描述为待处理投影数据。可选的,本实施方式也可以应用于单光子发射计算机断层成像术(Single-Photon Emission ComputedTomography,SPECT)及电子计算机断层扫描(Computed Tomography,CT)图像的重建上,此处不做限制。
具体的,可以通过循环一致性生成对抗网络对若干投影样本数据进行处理,得到投影样本数据与真实图像的映射关系,基于该映射关系,对待处理投影数据进行图像重建,生成清晰度较高的图像。在本发明实施例中,真实图像也可以描述为目标样本数据,该目标样本数据为期望生成的目标图像,即通过图像处理模型对投影样本数据进行图像重建时,期望得到的图像结果。
上述所提及的图像处理方法可应用于如图1所示的图像处理***中,该图像处理***可包括客户端101及服务器102。该客户端101的形态和数量用于举例,并不构成对本发明实施例的限定。例如,可以包括两个客户端101。
其中,客户端101可以为向服务器102发送图像处理请求的客户端,也可以为在图像处理模型训练时,用于为服务器102提供样本数据的客户端,该客户端可以为以下任一种:终端、独立的应用程序、应用程序编程接口(Application Programming Interface,API)或者软件开发工具包(Software Development Kit,SDK)。其中,终端可以包括但不限于:智能手机(如Android手机、IOS手机等)、平板电脑、便携式个人计算机、移动互联网设备(Mobile Internet Devices,MID)等设备,本发明实施例不做限定。服务器102可以包括但不限于集群服务器。
在本发明的实施例中,客户端101向服务器102发送图像处理请求,服务器102根据该图像处理请求所包含的待处理投影数据重建图像,具体的,对该待处理投影数据做域变换处理,得到图像数据,通过预先训练好的图像处理模型对该图像数据进行处理,得到重建的图像结果,将该图像结果发送至客户端101,以使客户端101的操作用户103可以根据该图像结果进行疾病诊断和筛查。
该图像处理***的框架图可参见图2所示,该图像处理***的框架图可包括图像处理模型训练过程的***框架及利用训练好的图像处理模型进行图像重建过程的***框架。其中,图像处理模型的训练主要基于循环一致性生成对抗网络,其训练的过程主要包括:将投影样本数据进行域变换处理,得到图像样本数据,将图像样本数据输入第一生成器得到第一生成数据,进一步的,将第一生成数据输入第二生成器得到第三生成数据;另一方面,确定目标样本数据,目标样本数据为通过对图像处理模型的训练所期望达到的目标图像,将该目标样本数据输入第二生成器得到第二生成数据,进一步的,将第二生成数据输入第二生成器得到第四生成数据。通过第一判别器对图像样本数据及第二生成数据进行判别处理,可以得到第一判别损失;通过第二判别器对目标样本数据及第一生成数据进行判别处理,可以得到第二判别损失。在得到上述的第一生成数据、第二生成数据、第三生成数据及第四生成数据、第一判别损失及第二判别损失的情况下,可以得到最终的模型损失函数,通过对上述训练过程执行至少一次的迭代训练,可以优化模型损失函数,得到图像样本数据与目标样本数据的映射关系,达到训练第一生成器的目的,则在图像重建过程中,可以利用上述训练完成的第一生成器进行图像重建,该图像重建的方法包括:对待处理投影数据进行域变换处理,得到图像数据,将图像数据输入至第一生成器,经过第一生成器对该图像数据进行图像重建处理,可以得到重建后的图像结果。
请参见图3,图3是本发明实施例提供的一种图像处理方法的流程示意图,如图3所示,该图像处理方法可以包括301~304部分,其中:
301、客户端101发送图像处理请求至服务器102。
具体的,客户端101发送图像处理请求至服务器102,相应的,服务器102接收来自客户端101的图像处理请求,该图像处理请求包括待处理投影数据,该图像处理请求用于请求根据该待处理投影数据重建图像,其中,该待处理投影数据的横坐标为探测器距离,纵坐标为成像角度。待处理投影数据为在PET成像过程中,由于减少了放射性示踪剂的注射剂量或减少对患者的扫描时间而产生的欠采样图像的数据,该欠采样图像的成像质量较低,清晰度较差。可选的,也可以在客户端101在获取到PET图像后,由服务器102自动获取生成的待处理投影数据,本发明不做限制,其中,客户端101也可以为与PET成像设备相连接的成像客户端。
302、服务器102对待处理投影数据进行域变换处理,得到图像数据。
具体的,服务器102通过域变换算法对待处理投影数据进行域变换处理,得到图像数据。其中,该域变换算法可以包括但不限于反向传播(Back Propagation,BP)算法。待处理投影数据的相关描述可以参见步骤301中的描述,生成的图像数据可以为一种正弦图像,该生成的图像数据可以作为输入数据,输入至训练完成的图像处理模型,以得到重建后的图像结果。此处在输入至图像处理模型之前先对待处理投影数据进行域变换处理可以节省网络资源。
303、服务器102调用图像处理模型对图像数据进行图像重建处理,得到图像结果。
具体的,服务器102调用图像处理模型对图像数据进行图像重建处理,得到重建后的图像结果。该图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的。其中,图像样本数据为在模型训练过程中的输入数据,目标样本数据为通过训练期望得到的输出数据,则训练过程可以构建输入数据与输出数据之间的映射关系,将图像数据作为输入数据输入至图像处理模型的情况下,输出的结果即为重建的图像结果。该图像结果的图像质量与清晰度均高于待处理投影数据所对应的图像。
作为一种可选的实施方式,可以利用第一生成器执行上述图像重建步骤,则该图像处理模型可以被配置于第一生成器中。进一步的,可以对上述经过域变换得到的图像数据进行m层特征提取,得到编码数据,其中,m为正整数。并将编码数据经过残差网络处理,得到转换数据。对该转换数据进行n层上采样处理,得到图像结果,其中,n为正整数。
通过执行本实施方式,可以利用已完成训练的第一生成器对输入的图像数据进行重建,得到重建后的图像结果,以提高PET成像质量,有利于疾病的诊断与筛查。
作为一种可选的实施方式,在执行对转换数据进行n层上采样处理,得到图像结果的过程中,还可以获取转换数据的第x层的上采样处理结果,x为小于n且小于或等于m的正整数;并获取图像数据的第y层的特征提取结果,y为小于n且小于或等于m的正整数;对第x层上采样处理结果与第y层特征提取结果进行跳跃连接处理,得到跳跃链接结果,并将该结果输入至第(x+1)层。可选的,第x层上采样处理结果与第y层的特征提取结果成镜像关系,即对在上采样及特征提取过程中生成的特征图的数量相同的两个镜像结果进行跳跃链接。
通过执行本实施方式,可以解决在对图像数据进行特征提取及残差网络处理时,由于网络层数太深而导致的图像数据细节丢失的问题,同时也可以降低图像处理模型的训练难度。
进一步的,上述可选的实施方式中涉及的第一生成器网络的结构示意图可参见图4,该第一生成器网络可以包括:编码部分、变换部分、解码部分及跳跃链接部分。其中,编码部分用于执行上述对图像数据进行m层特征提取,得到编码数据的步骤,在图4中以m等于3为例;变换部分用于执行上述将编码数据经过残差网络处理,得到转换数据的步骤,在图4中以残差网络包括5个残差块为例;解码部分用于执行对转换数据进行n层上采样处理,得到图像结果的步骤,在图4中以n等于4为例。跳跃链接部分用于执行上述对第x层上采样处理结果与第y层特征提取结果进行跳跃连接处理,得到图像数据的步骤。
进一步的,在执行本步骤时,将图像数据输入至第一生成器后,可以通过第一生成器网络的编码部分对图像数据进行3层特征提取,得到编码数据。具体的,每层均由两个卷积层(Convolutional Layer,CIL)块组成,则共有6个CIL块。每个CIL块包括卷积层、归一化层及激活函数层三部分。可选的,卷积内核的大小可以为3*3。第二层第一个CIL块及第三层第一个的CIL的卷积步长为2,通过该方式,可以将图像的尺寸减小一半。而其余CIL块的卷积步长为1。进一步的,也可以将第二层第一个CIL块及第三层第一个的CIL的卷积核的数量设置为上一个CIL块的2倍,例如:第一层第二个CIL块的卷积核数为32,第二层第一个CIL块的卷积核数为64,通过该方式,可以扩展特征图的数量,此处的特征图为每个CIL块的输出的特征提取结果,特征图数量与卷积核的数量相同,则本发明每层输出的特征图的数量可以为32个、64个、128个。
进一步的,在完成上述编码部分后,可以通过第一生成器网络的变换部分对得到的编码数据进行处理,得到转换数据。具体的,该变换部分由残差网络构成,该残差网络包括至少一个残差模块,在本发明实施例中以五个残差模块为例,其中,每个残差模块可以包括但不限于两个CIL块,关于CIL块的相关描述可参见上述描述,此处不赘述。可选的,该CIL块的步长可以为1,卷积核数量可以为128。在执行过程中,每个残差模块的输入数据可以描述为输入张量,输出数据可以描述为输出张量。通过引入残差网络执行本实施例所描述的方法,可以使第一生成器网络更深,表达能力更强,输出的重建结果更为准确。
进一步的,在完成上述变换部分后,可以通过第一生成器网络的解码部分对得到的转换数据进行四层上采样处理,得到图像结果。具体的,该解码部分包括四个CIL块及两个反卷积(Deconvolution Layer,DIL)块,其中,第一层及第四层均只有一个CIL块,而第二层及第三层均包括一个CIL块及一个DIL块。且第一层与残差模块相连接,为变换部分的第一个输入层,第四层为第一生成器网络的最终输出层,此处CIL块的相关描述可参见上述描述,此处不赘述。DIL块则由步长为2反卷积层、归一化层及激活函数层组成,将步长设置为2可以将图像的尺寸扩展为原来的2倍。进一步的,也可以将两个DIL块的卷积核数量设置为上一个CIL块的一半,以将特征图的数量减少一半,例如:第一层CIL块的卷积核数为128,第二层第一个DIL块的卷积核数为64。此处的卷积核数量及特征图数量的相关描述可参见上述描述,此处不赘述。其中,最后一层将卷积核数设置为1,则通过该最后一层的卷积核处理后输出的数据可以作为最终的图像结果。
进一步的,在执行上述解码部分的过程中,也可以加入跳跃链接处理。具体的,可以对第x层上采样处理结果与第y层特征提取结果进行跳跃连接处理。其中第x层上采样处理结果与第y层的特征提取结果成镜像关系,即对在上采样及特征提取过程中生成的特征图的数量相同的两个镜像结果进行跳跃链接。例如:当x为3,y为1时,第三层上采样处理得到的特征图的数量为32,第一层特征提取得到的特征图的数量也为32,此时第一层特征提取结果与第三层上采样结果成镜像对称关系,则对第三层上采样处理结果与第一层特征提取结果进行跳跃链接,得到跳跃链接结果,该跳跃链接结果可以作为上采样过程中第四层的输入数据。
304、服务器102发送图像结果至客户端101。
具体的,在通过第一生成器网络得到重建后的图像结果的情况下,服务器102发送该图像结果至客户端101,相应的,客户端101接收该图像结果。该图像结果的清晰度要高于客户端101发送的待处理投影数据所对应的图像。
可见,通过实施图3所描述的方法,客户端101在发送图像处理请求后,服务器102对图像处理请求中的待处理数据进行域变换处理,得到图像数据,此处在输入至图像处理模型之前先对待处理投影数据进行域变换处理可以节省网络资源;通过已训练好的图像处理模型对图像数据进行图像重建,生成重建后的图像结果,将该图像结果发送至客户端101。通过本实施例的方法,在实现减少示踪剂注射剂量,降低辐射的同时,将成像质量较差的PET图像进行图像重建生成清晰度较高图像,以使用户根据该清晰度较高的图像进行疾病诊断和筛查。
请参见图5,图5是本发明实施例提供的一种图像处理方法的流程示意图,如图5所示,该图像处理方法可以包括501~505部分,其中:
501、服务器102获取投影样本数据。
具体的,服务器102可以从客户端101或其他数据存储平台获取投影样本数据,该投影样本数据与上述步骤301中的待处理投影数据属于一类数据,则此处的投影样本数据可参见步骤301中待处理投影数据的相关描述,该投影样本数据主要用于作为样本数据输入至图像处理模型中,以对该图像处理模型进行训练,其数量可以为一个或多个。可选的,该样本投影数据也可以由客户端101发送至服务器102,此处不做限制。
502、服务器102对投影样本数据进行域变换处理,得到图像样本数据。
具体的,此处可以采用域变换算法对投影样本数据进行处理,得到图像样本数据,该图像样本数据为投影样本数据经过域变换得到的,此处的域变换生成图像样本数据的过程可以参见上述步骤302中的相关描述,此处不赘述。
503、服务器102获取目标样本数据。
具体的,服务器102获取目标样本数据,该目标样本数据为与图像样本数据相匹配的目标数据。即此处的目标样本数据为通过图像处理模型对图像样本数据进行图像重建后,期望达到的目标图像的数据。
504、服务器102根据图像样本数据及目标样本数据对图像处理模型进行训练,得到模型损失函数。
具体的,该模型训练的过程主要基于循环一致性生成对抗网络,该循环一致性生成对抗网络主要包括两个生成器及两个判别器,则执行本实施方式的过程可以为,服务器102在获取到图像样本数据及目标样本数据的情况下,将该图像样本数据及目标样本数据分别输入第一生成器及第二生成器,并通过第一判别器及第二判别器对生成结果进行判别,通过各个生成器的生成结果及各个判别器的判别结果,得到模型损失函数。进一步的,可以将图像样本数据输入第一生成器得到第一生成数据,并将第一生成数据输入第二生成器得到第三生成数据;另一方面,将目标样本数据输入第二生成器得到第二生成数据,并将第二生成数据输入第二生成器得到第四生成数据。通过第一判别器对图像样本数据及第二生成数据进行判别处理,可以得到第一判别损失函数;通过第二判别器对目标样本数据及第一生成数据进行判别处理,可以得到第二判别损失函数。在得到上述的第一生成数据、第二生成数据、第三生成数据及第四生成数据、第一判别损失函数及第二判别损失函数的情况下,可以得到最终的模型损失函数。上述步骤中,第一判别器及第二判别器所包含的判别器网络的结构示意图可参见图6,该判别器网络可以包括八个卷积层及两个全连接层。其中,每个卷积层后均携带有一个归一化层及一个激活函数层。该卷积层的卷积核的大小均为3*3,且在图6中第一层至第八层的卷积核数分别以32、32、64、64、128、128、256、256为例。在实际操作过程中,输入判别器网络的数据在经过八个由卷积层、归一化层及激活函数层组成的模块处理后,再输入至两个全连接层,其中,第一个全连接层可以有1024个单位节点,该第一全连接层携带有一个激活函数层;第二个全连接层可以有1个单位节点。第一生成器及第二生成器所包含的生成器网络的相关描述可参见上述步骤303中的相关描述,此处不赘述。
作为一种可选的实施方式,在执行获取模型损失函数的步骤时,可以先根据图像样本数据及目标样本数据,确定图像处理模型的循环一致性损失函数。具体的,服务器102可以获取图像样本数据的第一生成数据及第三生成数据,并获取目标样本数据的第二生成数据及第四生成数据,该第一生成数据、第二生成数据、第三生成数据及第四生成数据的获取方法可参见上述描述,此处不赘述。则根据图像样本数据、目标样本数据、第三生成数据及第四生成数据,得到图像处理模型的循环一致性损失函数。该循环一致性网络的损失函数的表达式为:
其中,x表示图像样本数据,y表示目标样本数据,F(G(x))表示第三生成数据,G(F(y))表示第四生成数据,F(G(x))≈x表示前向周期一致性,G(F(y))≈y表示后向周期一致性,‖·‖2表示L2范数。这种周期一致性可以防止对抗性学习的恶化,表示前向周期一致性的损失结果,表示后向周期一致性的损失结果。
通过执行该实施方式获取循环一致性损失函数,可以增强图像样本数据与目标样本数据之前的映射关系,防止对抗性学习的恶化。
进一步的,对图像样本数据及目标样本数据分别进行监督训练,确定图像处理模型的监督损失函数。具体的,服务器102可以对获取到的目标样本数据及第一生成数据进行监督训练,得到第一监督结果;并对获取到的图像样本数据及第二生成数据进行监督训练,得到第二监督结果;根据第一监督结果及第二监督结果,得到图像处理模型的监督损失函数。其中,第一生成数据、第二生成数据、目标样本数据及图像样本数据的获取方式可以参见上述步骤502、503及504的相关描述,此处不赘述。该监督损失函数的表达式为:
通过执行该实施方式获取监督损失函数,可以进一步优化该图像处理模型,避免对抗性学习的恶化。
进一步的,服务器102获取图像处理模型的第一判别损失函数及第二判别损失函数,其中,第一判别损失函数为第一判别器对图像样本数据及第二生成数据进行判别处理时,生成的损失函数。第二判别损失函数为第二判别器对目标样本数据及第一生成数据进行判别时,生成的损失函数。则可以根据循环一致性损失函数、监督损失函数、第一判别损失函数及第二判别损失函数,确定图像处理模型的模型损失函数。该模型损失函数的表达式为:
Ltotal=LLSGAN(DLC,G)+LLSGAN(DFC,F)+λ1LCYC(G,F)+λ2LSUP(G,F)
其中,LLSGAN(DLC,G)表示第一判别损失函数,LLSGAN(DFC,F)表示第二判别损失函数,LCYC(G,F)为循环一致性损失函数,LSUP(G,F)为监督损失函数,λ1和λ2是用于平衡不同比例的参数,可选的,λ1和λ2均可以取值为1。
可选的,可以对循环一致性损失及监督损失进行优化,具体的,可以在每完成一个周期的训练进行一轮优化。该优化过程所采用的优化算法包括但不限于Adam算法,采用Adam算法对循环一致性损失及监督损失进行优化,为不同的参数设计独立的自适应性学习率,可以实现对图像处理模型的进一步优化。
505、服务器102根据模型损失函数,构建图像处理模型。
具体的,服务器102可以根据步骤504中所描述的模型训练过程,执行至少一次的迭代训练,以优化模型损失函数,构建图像处理模型,达到训练第一生成器的目的,得到第一生成器中图像样本数据与目标样本数据的映射关系F,则第一生成器可以根据该映射关系F将步骤302中的图像数据重建为步骤303中清晰度更高的图像结果。
可见,通过实施图5所描述的方法,服务器102在获取到投影样本数据和目标样本数据后,对投影样本数据做域变换处理得到图像样本数据,将图像样本数据输入至第一生成器,并将目标样本数据输入至第二生成器,并通过循环一致性生成对抗网络对输入的至少一组图像样本数据及目标样本数据进行迭代训练,该循环一致性生成对抗网络的执行设备包括:第一生成器、第二生成器、第一判别器及第二判别器,以优化模型损失函数,构建图像处理模型,该图像处理模型实现了在减少示踪剂注射剂量,降低辐射的基础上,将PET图像重建成清晰度更高的图像,以使用户可以根据该重建后图像进行疾病诊断和筛查。
基于上述方法实施例的描述,本发明实施例还提出一种图像处理装置。该智能合约调用装置可以是运行于处理设备中的计算机程序(包括程序代码);请参见图7所示,该智能合约调用装置可以运行如下单元:
收发单元701,用于接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
处理单元702,用于对所述待处理投影数据进行域变换处理,得到图像数据;调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
所述收发单元701,还用于发送所述图像结果至所述客户端。
在一种实施方式中,处理单元702,还可用于获取投影样本数据,并对所述投影样本数据进行域变换处理,得到所述图像样本数据;
获取目标样本数据,所述目标样本数据为与所述图像样本数据相匹配的目标数据;
根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数;
根据所述模型损失函数,构建所述图像处理模型。
再一种实施方式中,所述调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,处理单元702,还可用于对所述图像数据进行m层特征提取,得到编码数据,m为正整数;
获取所述编码数据的转换数据,所述转换数据为所述编码数据经过残差网络处理得到的;
对所述转换数据进行n层上采样处理,得到所述图像结果,n为正整数。
再一种实施方式中,处理单元702,还可用于获取所述转换数据的第x层的上采样处理结果,x为小于n且小于或等于m的正整数;
获取所述图像数据的第y层的特征提取结果,y为小于n且小于或等于m的正整数;
对所述第x层上采样处理结果与所述第y层特征提取结果进行跳跃连接处理,得到跳跃链接结果,并将所述跳跃链接结果输入至第(x+1)层。
再一种实施方式中,所述根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数,处理单元702,还可用于根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数;
对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数;
获取所述图像处理模型的第一判别损失函数及第二判别损失函数,所述第一判别损失函数为第一判别器的损失函数,所述第二判别损失函数为所述第二判别器的损失函数;
根据所述循环一致性损失函数、所述监督损失函数、所述第一判别损失函数及所述第二判别损失函数,确定所述图像处理模型的模型损失函数。
再一种实施方式中,所述根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数,处理单元702,还可用于获取所述图像样本数据的第一生成数据及所述目标样本数据的第二生成数据,所述第一生成数据是通过第一生成器对所述图像样本数据进行处理得到的,所述第二生成数据是通过第二生成器对所述目标样本数据进行处理得到的;
获取所图像样本数据的第三生成数据及所述目标样本数据的第四生成数据,所述第三生成数据是通过所述第二生成器对所述第一生成数据进行处理得到的,所述第四生成数据是通过所述第一生成器对所述第二生成数据进行处理得到的;
根据所述图像样本数据、所述目标样本数据、所述第三生成数据及所述第四生成数据,得到所述图像处理模型的所述循环一致性损失函数。
再一种实施方式中,所述对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数,处理单元702,还可用于获取所述图像样本数据的所述第一生成数据,对所述目标样本数据及所述第一生成数据进行监督训练,得到第一监督结果;
获取所述目标样本数据的所述第二生成数据,对所述图像样本数据及所述第二生成数据进行监督训练,得到第二监督结果;
根据所述第一监督结果及所述第二监督结果,得到所述图像处理模型的所述监督损失函数。
根据本发明的一个实施例,图3及图5所示的图像处理方法所涉及的部分步骤可由图像处理装置中的处理单元来执行。例如,图3中所示的步骤301和304可由收发单元701执行;又如,图3所示的步骤302可由处理单元702执行。根据本发明的另一个实施例,图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。
请参见图8,是本发明实施例提供的一种图像处理装置的结构示意图,该图像处理装置包括处理器801、存储器802及通信接口803,处理器801、存储器802及通信接口803通过至少一条通信总线连接,处理器801被配置为支持处理设备执行图3及图5方法中处理设备相应的功能。
存储器802用于存放有适于被处理器加载并执行的至少一条指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。
通信接口803用于接收数据和用于发送数据。例如,通信接口803用于发送图像处理请求等。
在本发明实施例中,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
通过通信接口803接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
对所述待处理投影数据进行域变换处理,得到图像数据;
调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
通过通信接口803发送所述图像结果至所述客户端。
作为一种可选的实施方式,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
获取投影样本数据,并对所述投影样本数据进行域变换处理,得到所述图像样本数据;
获取目标样本数据,所述目标样本数据为与所述图像样本数据相匹配的目标数据;
根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数;
根据所述模型损失函数,构建所述图像处理模型。
作为一种可选的实施方式,所述调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
对所述图像数据进行m层特征提取,得到编码数据,m为正整数;
获取所述编码数据的转换数据,所述转换数据为所述编码数据经过残差网络处理得到的;
对所述转换数据进行n层上采样处理,得到所述图像结果,n为正整数。
作为一种可选的实施方式,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
获取所述转换数据的第x层的上采样处理结果,x为小于n且小于或等于m的正整数;
获取所述图像数据的第y层的特征提取结果,y为小于n且小于或等于m的正整数;
对所述第x层上采样处理结果与所述第y层特征提取结果进行跳跃连接处理,得到跳跃链接结果,并将所述跳跃链接结果输入至第(x+1)层。
作为一种可选的实施方式,所述根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数;
对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数;
获取所述图像处理模型的第一判别损失函数及第二判别损失函数,所述第一判别损失函数为第一判别器的损失函数,所述第二判别损失函数为所述第二判别器的损失函数;
根据所述循环一致性损失函数、所述监督损失函数、所述第一判别损失函数及所述第二判别损失函数,确定所述图像处理模型的模型损失函数。
作为一种可选的实施方式,所述根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
获取所述图像样本数据的第一生成数据及所述目标样本数据的第二生成数据,所述第一生成数据是通过第一生成器对所述图像样本数据进行处理得到的,所述第二生成数据是通过第二生成器对所述目标样本数据进行处理得到的;
获取所图像样本数据的第三生成数据及所述目标样本数据的第四生成数据,所述第三生成数据是通过所述第二生成器对所述第一生成数据进行处理得到的,所述第四生成数据是通过所述第一生成器对所述第二生成数据进行处理得到的;
根据所述图像样本数据、所述目标样本数据、所述第三生成数据及所述第四生成数据,得到所述图像处理模型的所述循环一致性损失函数。
作为一种可选的实施方式,所述对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数,该处理器801可以调用存储器802中存储的程序代码以执行以下操作:
获取所述图像样本数据的所述第一生成数据,对所述目标样本数据及所述第一生成数据进行监督训练,得到第一监督结果;
获取所述目标样本数据的所述第二生成数据,对所述图像样本数据及所述第二生成数据进行监督训练,得到第二监督结果;
根据所述第一监督结果及所述第二监督结果,得到所述图像处理模型的所述监督损失函数。
本发明实施例还提供了一种计算机可读存储介质(Memory),可以用于存储图3及图5中所示实施例中处理设备所用的计算机软件指令,在该存储空间中还存放了适于被处理器加载并执行的至少一条指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。
上述计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
对所述待处理投影数据进行域变换处理,得到图像数据;
调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
发送所述图像结果至所述客户端。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取投影样本数据,并对所述投影样本数据进行域变换处理,得到所述图像样本数据;
获取目标样本数据,所述目标样本数据为与所述图像样本数据相匹配的目标数据;
根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数;
根据所述模型损失函数,构建所述图像处理模型。
3.根据权利要求1所述的方法,其特征在于,所述调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,包括:
对所述图像数据进行m层特征提取,得到编码数据,m为正整数;
获取所述编码数据的转换数据,所述转换数据为所述编码数据经过残差网络处理得到的;
对所述转换数据进行n层上采样处理,得到所述图像结果,n为正整数。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述转换数据的第x层的上采样处理结果,x为小于n且小于或等于m的正整数;
获取所述图像数据的第y层的特征提取结果,y为小于n且小于或等于m的正整数;
对所述第x层上采样处理结果与所述第y层特征提取结果进行跳跃连接处理,得到跳跃链接结果,并将所述跳跃链接结果输入至第(x+1)层。
5.根据权利要求2所述的方法,其特征在于,所述根据所述图像样本数据及所述目标样本数据对所述图像处理模型进行训练,得到模型损失函数,包括:
根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数;
对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数;
获取所述图像处理模型的第一判别损失函数及第二判别损失函数,所述第一判别损失函数为第一判别器的损失函数,所述第二判别损失函数为所述第二判别器的损失函数;
根据所述循环一致性损失函数、所述监督损失函数、所述第一判别损失函数及所述第二判别损失函数,确定所述图像处理模型的模型损失函数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述图像样本数据及所述目标样本数据,确定所述图像处理模型的循环一致性损失函数,包括:
获取所述图像样本数据的第一生成数据及所述目标样本数据的第二生成数据,所述第一生成数据是通过第一生成器对所述图像样本数据进行处理得到的,所述第二生成数据是通过第二生成器对所述目标样本数据进行处理得到的;
获取所图像样本数据的第三生成数据及所述目标样本数据的第四生成数据,所述第三生成数据是通过所述第二生成器对所述第一生成数据进行处理得到的,所述第四生成数据是通过所述第一生成器对所述第二生成数据进行处理得到的;
根据所述图像样本数据、所述目标样本数据、所述第三生成数据及所述第四生成数据,得到所述图像处理模型的所述循环一致性损失函数。
7.根据权利要求5所述的方法,其特征在于,所述对所述图像样本数据及所述目标样本数据分别进行监督训练,确定所述图像处理模型的监督损失函数,包括:
获取所述图像样本数据的所述第一生成数据,对所述目标样本数据及所述第一生成数据进行监督训练,得到第一监督结果;
获取所述目标样本数据的所述第二生成数据,对所述图像样本数据及所述第二生成数据进行监督训练,得到第二监督结果;
根据所述第一监督结果及所述第二监督结果,得到所述图像处理模型的所述监督损失函数。
8.一种图像处理装置,其特征在于,包括:
收发单元,用于接收客户端的图像处理请求,所述图像处理请求包括待处理投影数据,所述图像处理请求用于请求根据所述待处理投影数据重建图像;
处理单元,用于对所述待处理投影数据进行域变换处理,得到图像数据;调用图像处理模型对所述图像数据进行图像重建处理,得到图像结果,所述图像处理模型是根据图像样本数据及目标样本数据对所述图像处理模型进行训练得到的;
所述收发单元,还用于发送所述图像结果至所述客户端。
9.一种图像处理装置,其特征在于,包括处理器、存储器和通信接口,所述处理器、所述存储器和所述通信接口相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010085677.5A CN111340904B (zh) | 2020-02-10 | 2020-02-10 | 图像处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010085677.5A CN111340904B (zh) | 2020-02-10 | 2020-02-10 | 图像处理方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340904A true CN111340904A (zh) | 2020-06-26 |
CN111340904B CN111340904B (zh) | 2023-09-29 |
Family
ID=71186805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010085677.5A Active CN111340904B (zh) | 2020-02-10 | 2020-02-10 | 图像处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340904B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112509091A (zh) * | 2020-12-10 | 2021-03-16 | 上海联影医疗科技股份有限公司 | 医学图像重建方法、装置、设备及介质 |
CN112819016A (zh) * | 2021-02-19 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050249667A1 (en) * | 2004-03-24 | 2005-11-10 | Tuszynski Jack A | Process for treating a biological organism |
US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
US20190251713A1 (en) * | 2018-02-13 | 2019-08-15 | Wisconsin Alumni Research Foundation | System and method for multi-architecture computed tomography pipeline |
CN110197229A (zh) * | 2019-05-31 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 图像处理模型的训练方法、装置及存储介质 |
CN110580689A (zh) * | 2019-08-19 | 2019-12-17 | 深圳先进技术研究院 | 一种图像重建方法及装置 |
US20200167929A1 (en) * | 2018-03-15 | 2020-05-28 | Boe Technology Group Co., Ltd. | Image processing method, image processing apparatus, and computer-program product |
-
2020
- 2020-02-10 CN CN202010085677.5A patent/CN111340904B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050249667A1 (en) * | 2004-03-24 | 2005-11-10 | Tuszynski Jack A | Process for treating a biological organism |
US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
US20190251713A1 (en) * | 2018-02-13 | 2019-08-15 | Wisconsin Alumni Research Foundation | System and method for multi-architecture computed tomography pipeline |
US20200167929A1 (en) * | 2018-03-15 | 2020-05-28 | Boe Technology Group Co., Ltd. | Image processing method, image processing apparatus, and computer-program product |
CN110197229A (zh) * | 2019-05-31 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 图像处理模型的训练方法、装置及存储介质 |
CN110580689A (zh) * | 2019-08-19 | 2019-12-17 | 深圳先进技术研究院 | 一种图像重建方法及装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112016475B (zh) * | 2020-08-31 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112509091A (zh) * | 2020-12-10 | 2021-03-16 | 上海联影医疗科技股份有限公司 | 医学图像重建方法、装置、设备及介质 |
CN112509091B (zh) * | 2020-12-10 | 2023-11-14 | 上海联影医疗科技股份有限公司 | 医学图像重建方法、装置、设备及介质 |
CN112819016A (zh) * | 2021-02-19 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111340904B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12016717B2 (en) | CT image generation method and apparatus, computer device, and computer-readable storage medium | |
CN111340904B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN109685206A (zh) | 生成用于图像处理的神经网络模型的***和方法 | |
US20200402204A1 (en) | Medical imaging using neural networks | |
CN112819914B (zh) | 一种pet图像处理方法 | |
CN111462020A (zh) | 心脏图像的运动伪影校正方法、***、存储介质和设备 | |
CN113920213B (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
WO2021139835A2 (zh) | 一种spect成像预测模型创建方法、装置、设备及存储介质 | |
US20240185484A1 (en) | System and method for image reconstruction | |
US20230032472A1 (en) | Method and apparatus for reconstructing medical image | |
CN111340903A (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和*** | |
CN112489158A (zh) | 基于cGAN的自适应网络用于低剂量PET图像的增强方法 | |
CN111489406B (zh) | 生成高能ct图像模型的训练及生成方法、设备、存储介质 | |
CN110874855B (zh) | 一种协同成像方法、装置、存储介质和协同成像设备 | |
CN115272511A (zh) | 基于双解码器的cbct图像中金属伪影去除***、方法、终端及介质 | |
Su et al. | A deep learning method for eliminating head motion artifacts in computed tomography | |
CN115205415A (zh) | Ct均值图像生成方法、装置、***和计算机设备 | |
CN113780519A (zh) | 生成对抗网络训练方法、装置、计算机设备和存储介质 | |
CN111626964B (zh) | 扫描图像的优化方法、优化装置和医学扫描*** | |
US11455755B2 (en) | Methods and apparatus for neural network based image reconstruction | |
CN111445547A (zh) | 一种基于神经网络的网格化磁共振图像重建方法和装置 | |
WO2021159234A1 (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN113053496B (zh) | 一种用于医学图像低剂量估计的深度学习方法 | |
US11574184B2 (en) | Multi-modal reconstruction network | |
CN114862980A (zh) | 散射校正方法、pet成像方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |