CN112085807A - 提供差分图像数据组和训练生成器函数的方法和提供*** - Google Patents
提供差分图像数据组和训练生成器函数的方法和提供*** Download PDFInfo
- Publication number
- CN112085807A CN112085807A CN202010529347.0A CN202010529347A CN112085807A CN 112085807 A CN112085807 A CN 112085807A CN 202010529347 A CN202010529347 A CN 202010529347A CN 112085807 A CN112085807 A CN 112085807A
- Authority
- CN
- China
- Prior art keywords
- image data
- data set
- training
- function
- rds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 490
- 238000000034 method Methods 0.000 title claims abstract description 133
- 239000002872 contrast media Substances 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 486
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000000052 comparative effect Effects 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 20
- 125000004122 cyclic group Chemical group 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 42
- 239000002131 composite material Substances 0.000 description 10
- 230000009466 transformation Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- BNPSSFBOAGDEEL-UHFFFAOYSA-N albuterol sulfate Chemical compound OS(O)(=O)=O.CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1.CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1 BNPSSFBOAGDEEL-UHFFFAOYSA-N 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 241000701093 Suid alphaherpesvirus 1 Species 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/404—Angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Vascular Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
Abstract
本发明涉及提供差分图像数据组和训练生成器函数的方法和提供***。在此检查体积包括血管且第一真实图像数据组描绘包括造影剂的检查体积。还通过将第一训练生成器函数应用到输入数据上确定检查体积的差分图像数据组。在此输入数据包括第一真实图像数据组且训练生成器函数的参数基于GA算法。还提供差分图像数据组。本发明基于接收检查体积的真实图像数据组和比较差分图像数据组。通过将第一训练生成器函数应用到第一输入数据上确定检查体积的差分图像数据组,在此第一输入数据包括真实图像数据组。通过应用第一训练分类器函数确定第一和第二分类值。基于第一分类值和/或第二分类值调整第一训练生成器函数。提供训练生成器函数。
Description
技术领域
在医学实践中,X射线设备通常用于监控(尤其微创的)外科手术,在部分情况下特定的手术部分通过X射线监控才能行,例如借助于导管置入主动脉瓣。
背景技术
在此,这种X射线监控的手术的优点必须相对于通过所吸收的X射线剂量引起的射束负荷做出权衡。因为典型地X射线剂量的减少也伴随有图像质量的下降或信噪比的升高,通常必须在良好的图像质量与低的X射线剂量之间找到折衷。
如果信噪比太高,则这尤其也可能导致在数字减影血管造影术(简称DSA)中的低图像质量。尤其可能无法进行掩码图像数据组和填充图像数据组的必要配准,或噪声可能在配准中导致伪影。
在数字减影血管造影术(简称DSA)中,通过X射线记录显示检查体积中的一个或多个血管,其中为了抑制检查体积中的其他结构,将不具有造影剂的血管的记录(所谓的蒙片记录)与包括处于血管中的造影剂的血管的记录进行组合。在此,在检查期间将造影剂引入到血管中,以便确定流体的参数、尤其流体动力学的参数,其中,流体在血管中流动。
通过对于数字减影血管造影术不仅记录不具有造影剂的血管、而且也记录包括造影剂的血管,检查体积经受高的X射线负荷。不具有造影剂的血管的记录也描述为蒙片记录。
已知通过不同的降噪方法来提高图像质量。但是,所述方法可能改变图像印象和/或导致伪像。如果过度地应用降噪,则这可能导致例如动画状的图像印象。
此外已知了,通过优化的协议(也就是说,通过X射线设备的参数的优化的选择)来优化信噪比。但是,协议的这种选择也会改变图像印象(例如,对于被成像的相同结构,图像像素的值在不同的图像记录值中会不同)。这尤其在如下情况下成问题:图像数据应通过经训练的算法进一步处理,尤其用于训练的算法仅借助于有限数量的协议或有限数量的X射线设备记录。
从未公开的专利申请EP18182251中已知,在不执行附加的蒙片记录的情况下,通过将经训练的函数应用到真实图像数据组上来确定差分图像数据组。但是在此,差分图像数据组的噪声级对应于真实图像数据组的噪声级。因此虽然可以舍弃蒙片记录,但是必须使用具有低的噪声级并从而具有高的X射线剂量的真实图像数据组来降低差分图像数据组中的噪声级。
发明内容
因此,本发明的目的是:基于真实图像数据组,提供具有低的噪声级的差分图像数据组。
所述目的通过根据一种用于提供差分图像数据组的计算机实施的方法、一种用于提供训练生成器函数的计算机实施的方法、一种提供***、一种X射线设备、一种计算机程序产品以及一种计算机可读的存储介质来实现。在下文的描述中描述有利的改进方案。
以下,所述目的的根据本发明的解决方案不仅在所要求保护的设备方面而且也在要求保护的方法方面予以描述。在此提及的特征、优点或替选的实施方式同样也可转用于其他要求保护的主题,反之亦然。换言之,实体实施例(所述实施例例如针对设备)也可以借助于结合方法描述或要求保护的特征来改进。在此,所述方法的对应的功能性特征通过对应的实体模块构成。
此外,所述目的的根据本发明的解决方案不仅在用于提供差分图像数据组的方法和设备方面而且在用于提供训练生成器函数的方法和设备予以描述。在此,在用于提供差分图像数据组的方法和设备中的数据结构和/或功能的特征和替选的实施方式能够转用于在用于提供训练生成器函数的方法和设备中的类似的数据结构和/或功能。在此,类似的数据结构的特征尤其可以在于使用前缀“训练”。此外,在用于提供差分图像数据组的方法和设备中使用的训练生成器函数尤其可以通过用于提供训练生成器函数的方法和设备来调整和/或提供。
在第一方面中,本发明涉及一种用于提供差分图像数据组的计算机实施的方法。所述方法基于:接收检查体积的第一真实图像数据组,尤其借助于接口来接收。在此,检查体积包括血管,并且第一真实图像数据组描绘包括造影剂的检查体积。此外,通过将第一训练生成器函数应用到输入数据上来确定检查体积的差分图像数据组,尤其借助于计算单元来确定。在此,输入数据包括第一真实图像数据组,并且训练生成器函数的参数基于GA算法。此外,提供差分图像数据组,尤其借助于接口来提供。
图像数据组尤其包括多个像素或多个体素。在此,每个像素或每个体素关联有一强度值。图像数据组尤其可以是X射线图像数据组。在X射线图像数据组中,尤其每个像素或每个体素关联有一X射线强度值,所述X射线强度值是用于照射在所述像素或体素中的X射线强度或用于像素或体素的X射线吸收系数的量度。照射的X射线强度与处于检查体积中的并且由X射线辐射穿透的对象的数量、大小、形状和材料相关。图像数据组尤其可以包括其他数据,尤其可以包括成像检查、尤其X射线检查的元数据。
在此,二维图像数据组包括检查体积的至少一个二维表达。在此,三维图像数据组包括检查体积的至少一个三维表达,三维图像数据组尤其也可以附加地还包括检查体积的一个或多个二维表达。三维表达尤其可以是空间上三维的,但是三维表达也可以是空间上二维的和时间上一维的。在此,四维图像数据组包括检查体积的至少一个四维表达。检查体积的四维表达尤其可以是空间上三维的和时间上一维的。
如果图像数据组描绘检查体积中的值和/或强度(例如亨氏单位、X射线衰减系数)的实际分布时,图像数据组尤其可以描述为真实图像数据组。当图像数据组描绘检查体积中的值和/或强度的实际分布的差时,图像数据组尤其可以描述为差分图像数据组。但是,差分图像数据组不一定通过两个真实图像数据组相减来确定。当图像数据组通过两个图像数据组相减、尤其通过两个真实图像数据组相减来确定时,图像数据组尤其可以描述为减影图像数据组。因此,每个减影图像数据组尤其可以理解为差分图像数据组,但是并非每个差分图像数据组可以理解为减影图像数据组。
训练函数尤其是将输入数据映射到输出数据上的函数,其中,输出数据还与函数的至少一个函数参数相关,并且其中,函数参数能够通过监督学习(英文技术术语为“supervised learning”)、通过半监督学习(英文技术术语为“semi-supervisedlearning”)和/或通过无监督学习(英文技术术语为“unsupervised learning”)来调整。在此,输入数据和/或输出数据尤其可以分别包括至少一个图像数据组。
尤其地,训练生成器函数是训练函数,并且训练分类器函数是训练函数。在训练函数中,其参数中的一个参数不必一定已经被调整,因此术语“训练函数”也可以由“可训练的函数”替代,尤其地术语“训练生成器函数”可以通过“可训练的生成器函数”替代,和/或术语“训练分类器函数”可以通过“可训练的生成器函数”替代。术语“训练生成器函数”和“生成器函数”尤其可以用作同义词,和/或术语“训练分类器函数”和“分类器函数”可以用作同义词。
在训练生成器函数中,输入数据和输出数据尤其包括至少一个图像数据组。在训练分类器函数中,输入数据尤其包括至少一个图像数据组,并且输出包括一个或多个概率值。概率值尤其对应于如下概率:输入数据的图像数据组是真实图像数据组或合成图像数据组的概率。名称“分类器函数”尤其可以通过名称“鉴别器函数”和/或通过名称“鉴别器和分类器函数”或通过名称“分类器和鉴别器函数”替代。
GA算法(“GA”是“生成式对抗”的缩写,德文翻译是“erzeugend und gegnerisch(生成与对抗)”)包括生成器函数和分类器函数。在此,生成器函数生成合成数据(换言之是“虚拟数据”),并且分类器函数在合成数据与真实数据之间进行区分。尤其,通过生成器函数和/或分类器函数的训练实现:一方面,生成器函数生成这种合成数据,所述合成数据通过分类器函数错误地分类为真实的;另一方面,分类器函数可以尽可能良好地在真实数据与合成数据之间进行区分。就博弈论而言,GA算法也可以理解为零和博弈。生成器函数和/或分类器函数的训练尤其基于各一个成本函数的最小化。
如果生成器函数和分类器函数通过网络、尤其通过人工神经网络给出,则GA算法也描述为GA网络(也描述为“GAN”,英文缩写“generative adversarial network(生成式对抗网络)”,德文翻译为“erzeugende gegnerische Netzwerke”)。这些名称尤其从IanJ.Goodfellow的出版物《Generative Adversarial Networks》(arxiv1406.2661(2014))中已知。成本函数的最小化尤其可以借助于梯度下降(英文技术术语为“gradient descent”)并且尤其借助于反向传播(英文技术术语为“backpropagation”)来实现。
训练生成器函数的参数尤其基于GA算法或基于GA网络,使得训练生成器函数的参数与GA算法或GA网络的生成器函数的参数相同。训练生成器函数的参数尤其基于GA算法或基于GA网络,使得训练生成器函数与GA算法或GA网络的生成器函数相同。
发明人已经认识到,通过所述方法可以基于检查体积的真实图像数据组来求取检查体积的差分图像数据组,其中通过使用训练生成器函数,差分图像数据组可以具有与真实图像数据组不同的特性。所描述的方法尤其可以用于减少图像数据组中的噪声。由此,例如在X射线成像中,可以减少所使用的X射线剂量或所使用的造影剂的量,其中同时可以使差分图像数据组的质量保持至少恒定。
根据本发明的另一方面,第一真实图像数据组具有第一噪声级,并且差分图像数据组具有第二噪声级。在此,第一噪声级比第二噪声级更高。
图像数据组的噪声级尤其涉及图像数据组中的噪声的强度。有利地,噪声级可以通过信噪比来描述(其中,当信噪比下降时,噪声级升高,并且其中,当信噪比升高时,噪声级下降)。在X射线成像中,信噪比通常随着所使用的X射线剂量升高。
发明人已经认识到,通过噪声级的所述选择可以生成差分图像数据组,所述差分图像数据组具有比用作输入数据的第一真实图像数据组更低的噪声级。由此,在记录真实图像数据组时可以使用比直接记录具有所追求的第二噪声级的图像数据组所需的X射线剂量更低的X射线剂量。
当将训练生成器函数在GA训练或GA算法中应用到具有第一训练噪声级的真实图像数据组上时,训练生成器函数尤其可以减小噪声级,并且将训练的结果与具有第二训练噪声级的差分图像数据组(尤其借助于训练分类器函数)进行比较,其中第二训练噪声级比第一训练噪声级更低。
根据本发明的另一方面,第一真实图像数据组是X射线图像数据组、尤其二维X射线图像数据组或三维X射线图像数据组。
发明人已经认识到,通过将所述方法应用到X射线图像数据组上,在不需要同时提高X射线剂量和从而提高检查体积的射束负荷的情况下,可以降低差分图像数据组的噪声级。
根据本发明的另一方面,用于提供差分图像数据组的方法还包括:通过将第一训练生成器函数应用到输入数据上来确定检查体积的蒙片图像数据组,其中,蒙片图像数据组描绘无造影剂的检查体积。所述确定尤其借助于计算单元进行。第一训练生成器函数尤其仅应用到输入数据上一次,并且应用第一训练生成器函数的结果包括蒙片图像数据组和差分图像数据组。
发明人已经认识到,除了差分图像数据组之外,通过检查体积的蒙片图像数据组的附加生成通过如下方式可以执行合理性检查:可以将差分图像数据组与第一真实图像数据组与蒙片图像数据组之间的差进行比较。由此,尤其在偏差强烈时可以确定:所接收到的第一真实图像数据组与在第一训练生成器函数的训练中所使用的图像数据组强烈地偏差,并且因此无法可靠地使用第一训练生成器函数的应用的结果或差分图像数据组。
根据本发明的另一可行的方面,用于提供差分图像数据组的方法还包括:接收检查体积的蒙片图像数据组。在此,蒙片图像数据组描绘无造影剂的检查体积,并且训练生成器函数的输入数据包括蒙片图像数据组。
蒙片图像数据组尤其可以具有比差分图像数据组的第二噪声级更高的第三噪声级。尤其是,第三噪声级和第一真实图像数据组的第一噪声级可以相似或相同。
发明人已经认识到,通过在第一训练生成器函数的输入数据中使用蒙片图像数据组,关于检查体积的结构的其他信息可供使用,所述其他信息可以在确定差分图像数据组时使用。尤其不必单独基于第一真实图像数据组的强度值通过使用蒙片图像数据组来判断:第一真实图像数据组的像素或体素是否与血管或背景相关联。
根据本发明的另一方面,用于提供差分图像数据组的方法还包括:接收检查体积的第二真实图像数据组。在此,第一真实图像数据组描绘在第一时刻的检查体积,并且第二真实图像数据组描绘在第二时刻的检查体积。在此,训练生成器函数的输入数据还包括第二真实图像数据组。
在此,第一真实图像数据组和第二真实图像数据组尤其可以是二维图像数据组,其在C形臂X射线设备围绕检查体积旋转期间所记录。第一真实图像数据组和第二真实图像数据组尤其可以已经记录,以便执行检查体积的三维重建。
发明人已经认识到,通过使用在与记录第一真实图像数据组的时刻不同的时刻记录的第二真实图像数据组,训练生成器函数的应用可以基于检查体积的更多信息。由此,在假设第一真实图像数据组和第二真实图像数据组中的噪声在统计上不相关的情况下,可以更好地考虑噪声。
根据本发明的另一方面,将第一训练生成器函数分部段地应用到包含在输入数据中的图像数据组上。在此,尤其将包含在输入数据中的图像数据组划分成多个子图像数据组,并且将第一训练生成器函数应用到多个子图像数据组中的每个子图像数据组上。然后,尤其将各个子结果再次组合成一个结果。各个子图像数据组可以有利地不相交,但是各个子图像数据组也可以重叠。
发明人已经认识到,通过分部段地应用第一训练生成器函数,虽然多次应用所述第一训练生成器函数,但是每次应用涉及较少的像素或体素。因为各个部段的特性对应于整个图像数据组的特性,所以使训练生成器函数的训练变得容易,因为一方面训练生成器函数可以包括更少的参数,并且另一方面更多的训练数据可供使用(因为训练数据也可以划分成多个子训练数据)。由此,训练生成器函数的应用更精确,或训练生成器函数的训练耗费更低。
根据本发明的另一方面,第一训练生成器函数的参数基于循环一致性成本函数。
如果训练函数的参数已经进行了调整或改变来使成本函数最小化或最大化,则训练函数的参数尤其基于所述成本函数。
循环一致性成本函数尤其是如下成本函数:所述成本函数基于训练生成器函数的两次应用与输入数据的比较。循环一致性成本函数尤其基于输入图像数据组与训练生成器函数到包括结果图像数据组和输入图像参数的输入数据上的应用的差的范数。所述范数尤其可以为1范数或2范数,所述范数尤其可以逐像素地和/或逐体素地评估。
通过使用循环一致性成本函数可以实现:训练生成器函数的多次应用(在这种情况下,第一训练生成器函数的应用和第二训练生成器函数的应用,第二训练生成器函数作为第一训练生成器函数的反函数起作用)作为身份映射起作用。借此可以实现:第一训练生成器函数可以生成特别切合实际的差分图像数据组。
根据本发明的另一方面,第一训练生成器函数包括人工神经网络。
发明人已认识到,也可以通过神经网络、尤其通过选择或调整作为参数的边缘权重有效地描述非线性函数,并且神经网络特别适合于处理图像数据。
根据本发明的另一方面,第一训练生成器函数包括残差值块(Restwertblock)、快捷连接(Abkürzungsverbindung)、卷积层、解卷积层、池化层(Poolingschicht)和/或空间变换层。
在残差值块(替选的名称为“残差块(Residualblock)”,英文技术术语为“residual block”)中,神经网络的节点层不仅与直接跟随的层连接,而且也与其他后续的层中的一个层连接。与这种其他后续层的连接也描述为快捷连接。
通过使用残差块,可以更好地训练神经网络的输入层附近的层,并且可以避免梯度消失的问题。
在此,卷积层(英文技术术语是“convolutional layer”)尤其模仿具有一个或多个卷积核的卷积的数学运算,其中,所述卷积核的元素对应于神经网络的权重。在此,解卷积层(英文技术术语是“deconvolutional layer”)尤其模仿具有一个或多个卷积核的解卷积的数学运算。
卷积层特别良好地适合于,识别和继续处理图像数据组的特征。尤其可以通过不同的卷积核来分析所处理的图像数据组的不同的特征(例如边缘或梯度)。通过解卷积层,尤其可以将预设的特征(例如边缘或梯度)再次转换成所属的图像数据组。卷积层和解卷积层的合适的组合尤其可以作为自动编码器起作用。
池化层尤其可以是上采样层(英文技术术语为“upsampling layer”)或下采样层(英文技术术语为“downsampling layer”)。在应用到图像数据组上的情况下,在上采样层时,一个像素或一个体素变换为多个像素或多个体素。在应用到图像数据组上的情况下,在下采样层时,多个像素或多个体素变换为一个像素或一个体素。
通过使用下采样层,尤其可以减少所考虑的相关特征的数量,这尤其可以防止过拟合(英文技术术语为“overfitting”)。通过使用上采样层,尤其可以将一些特征再次转换成所属的图像数据组。尤其是,上采样层和下采样层的合适的组合可以作为自动编码器起作用。
空间变换层(英文技术术语为“spatial transformer layer”)模仿图像数据组的几何变换(例如,旋转、平移、拉伸、压缩)。空间变换层例如从Max Jaderberg等人的《Spatial Transformer Networks》(arXiv:1506.02025v3(2016))中已知。
通过使用一个或多个空间变换层,尤其可以将未在空间上配准的第一真实图像数据组和第二真实图像数据组或第一真实图像数据组和蒙片图像数据组在网络中配准,并且由此提高用于这种图像数据的网络的准确性或鲁棒性。
在第二方面中,本发明涉及一种用于提供第一训练生成器函数的计算机实施的方法。所述方法基于:接收检查体积的真实图像数据组和比较差分图像数据组,尤其借助于训练接口来接收。此外,通过将第一训练生成器函数应用到第一输入数据上来确定检查体积的差分图像数据组,在此,第一输入数据包括真实图像数据组。此外,通过将第一训练分类器函数应用到差分图像数据组上来确定第一分类值,并且通过将第一训练分类器函数应用到比较差分图像数据组上来确定第二分类值,尤其借助于训练计算单元来确定。此外,基于第一分类值和/或第二分类值来调整第一训练生成器函数和/或第一训练分类器函数,尤其同样借助于训练计算单元来调整。此外,提供训练生成器函数,尤其借助于训练接口来提供。提供训练生成器函数尤其可以包括:存储、传输和/或显示训练生成器函数。
通过一个分类器函数尤其可以在合成图像数据组与真实图像数据组之间进行区分。在此,分类值尤其可以包括概率值,其中,所述概率值对应于分类器函数的输入值是真实图像数据组的概率。于是,1与所述概率值之间的差对应于分类器函数的输入值是合成图像数据组的概率。
发明人已经认识到,通过所述方法可以提供第一训练生成器函数,所述第一训练生成器函数可以将真实图像数据组转换为差分图像数据组,并且所述第一训练生成器函数可以在用于提供差分图像数据组的方法中使用。
根据本发明的另一方面,用于提供第一训练生成器函数的方法包括:通过将第二训练生成器函数应用到第二输入数据上来确定检查体积的第一比较真实图像数据组,尤其借助于训练计算单元来确定。在此,所述第二输入数据包括差分图像数据组。此外,所述方法包括:基于循环一致性成本函数来调整第二训练生成器函数,尤其借助于训练计算单元来调整,其中,所述循环一致性成本函数基于第一真实图像数据组与第一比较真实图像数据组的比较。
发明人已经认识到,通过使用循环一致性成本函数可以调整第二训练生成器函数,使得第一训练生成器函数和第二训练生成器函数作为各自反函数共同作用,或共同地作为自动编码器起作用。由此,可以实现通过第一训练生成器函数生成的图像数据的特别高的图像质量。
根据本发明的另一方面,用于提供第一训练发生器函数的方法包括:接收检查体积的比较蒙片图像数据组,尤其借助于训练接口来接收。此外,所述方法包括:通过将第一训练生成器函数应用到第一输入数据上来确定检查体积的蒙片图像数据组,尤其借助于训练计算单元来确定。在此,确定蒙片图像数据组可以通过第一训练生成器函数的相同应用来进行,通过所述第一训练生成器函数也确定差分图像数据组。换言之,第一训练生成器函数的应用生成包括差分图像数据组和蒙片图像数据组的输出数据。此外,所述方法包括:通过将训练蒙片分类器函数应用到蒙片图像数据组上来确定第一蒙片分类值,以及通过将训练蒙片分类器函数应用到比较蒙片图像数据组上来确定第二蒙片分类值,分别尤其借助于训练计算单元来确定。此外,所述方法包括:基于第一蒙片分类值和/或第二蒙片分类值来调整第一训练生成器函数和/或训练蒙片分类器函数。
发明人已经认识到,通过所述方法,也可以将蒙片图像数据组包括到第一生成器函数的训练中。因为由此在训练中存在更多相关的特征或信息,由此可以改进训练。
根据本发明的另一方面,用于提供第一训练生成器函数的方法包括:接收检查体积的训练差分图像数据组和接收检查体积的训练真实图像数据组,尤其借助于训练接口来接收。此外,所述方法包括:通过将第二训练生成器函数应用到第二训练输入数据上来确定第一合成真实图像数据组,其中,第二训练输入数据包括训练差分图像数据组。此外,所述方法包括:分别借助于训练计算单元,通过将第二训练分类器函数应用到第一合成真实图像数据组上来确定第三分类值,以及通过将第二训练分类器函数应用到训练真实图像数据组上来确定第四分类值。此外,所述方法包括:基于第三分类值和/或第四分类值来调整第二训练生成器函数和/或第二训练分类器函数。
发明人已经认识到,可以基于第三分类值和/或第四分类值,通过调整第二训练生成器函数和/或第二训练分类器函数调整成,使得第二训练生成器函数生成合成数据,所述合成数据尽可能地由第二训练分类器函数分类为真实数据,并且第二训练分类器函数可以尽可能良好地在真实数据与合成数据之间进行区分。通过所述相反的目标可以同时改进两个训练函数。
根据本发明的另一方面,用于提供第一训练生成器函数的方法包括:通过将第一训练生成器函数应用到第一训练输入数据上来确定检查体积的合成差分图像数据组,其中,第一训练输入数据包括第一合成真实图像数据组。此外,所述方法包括:基于循环一致性成本函数来调整第一训练生成器函数,其中,所述循环一致性成本函数基于训练差分图像数据组与合成差分图像数据组的比较。
发明人已经认识到,通过使用循环一致性成本函数,可以调整第一训练生成器函数,使得第一训练生成器函数和第二训练生成器函数作为各自反函数共同作用,或共同地作为自动编码器起作用。由此可以实现,通过第一训练生成器函数生成的图像数据的特别高的图像质量。
根据本发明的另一方面,用于提供第一训练生成器函数的方法包括:接收检查体积的训练蒙片图像数据组,其中,第二训练输入数据还包括训练蒙片图像数据组。
发明人已经认识到,也可以通过所述方法将蒙片图像数据组包含到第一发生器函数的训练中。因为由此在训练中存在更多相关的特征或信息,所以由此可以改进训练。
根据本发明的另一方面,在将第一训练生成器函数应用到第一训练输入数据上时,还确定合成蒙片图像数据组,其中,循环一致性成本函数还基于训练蒙片图像数据组与合成蒙片图像数据组的比较。
发明人已经认识到,通过使用循环一致性成本函数,可以调整第一训练生成器函数,使得第一训练生成器函数和第二训练生成器函数作为各自反函数共同作用,或共同地作为自动编码器起作用。由此可以实现,通过第一训练生成器函数生成的图像数据的特别高的图像质量。
根据本发明的另一方面,在用于提供差分图像数据组的方法中,通过根据本发明或其方面中的任一方面的用于提供第一训练生成器函数的方法提供第一训练生成器函数。
在第三方面中,本发明涉及一种用于提供检查体积的差分图像数据组的提供***,所述提供***包括接口和计算单元,
-其中,所述接口构成用于接收检查体积的第一真实图像数据组,
其中,所述检查体积包括血管,
其中,第一真实图像数据组描绘包括造影剂的检查体积,
-其中,计算单元构成用于,通过将第一训练生成器函数应用到输入数据上来确定检查体积的差分图像数据组,
其中,输入数据包括第一真实图像数据组,
其中,第一训练生成器函数的参数基于GA算法,
-其中,所述接口还构成用于提供差分图像数据组。
这种提供***尤其可以构成用于,执行上述根据本发明的用于提供差分图像数据组的方法和所述方法的方面。提供***构成用于,通过如下方式执行所述方法和所述方法的方面:接口和计算单元构成用于执行对应的方法步骤。
在可行的第四方面中,本发明涉及一种X射线设备,所述X射线设备包括X射线源和X射线探测器,还包括根据本发明的第三方面的提供***。X射线设备尤其可以涉及C形臂X射线设备或涉及计算机断层扫描仪。
在可行的第五方面中,本发明涉及一种用于提供第一训练生成器函数的训练***,所述训练***包括训练接口和训练计算单元,
-其中,训练接口构成用于接收检查体积的第一真实图像数据组,
-其中,训练接口还构成用于接收检查体积的比较差分图像数据组,
-其中,计算单元构成用于,通过将第一训练生成器函数应用到第一输入数据上来确定检查体积的差分图像数据组,
其中,第一输入数据包括第一真实图像数据组,
-其中,计算单元还构成用于,通过将第一训练分类器函数应用到差分图像数据组上来确定第一分类值,
-其中,计算单元还构成用于,通过将第一训练分类器函数应用到比较差分图像数据组上来确定第二分类值;
-其中,计算单元还构成用于,基于第一分类值和/或第二分类值来调整第一训练生成器函数和/或第一训练分类器函数,
-其中,训练接口还构成用于,提供(PRV-GF-1)第一训练生成器函数(GF-1)。
这种训练***尤其可以构成用于,执行上述根据本发明的用于提供第一训练生成器函数的方法和所述方法的方面。训练***构成用于,通过如下方式执行所述方法和所述方法的方面:接口和计算单元构成用于执行对应的方法步骤。
在第六方面中,本发明涉及一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序可直接加载到提供***的存储器中,所述计算机程序具有程序部段,以便当由提供***执行程序部段时,执行用于提供差分图像数据组的方法的所有步骤和所述方法的方面;和/或,所述计算机程序可直接加载到训练***的训练存储器中,所述计算机程序具有程序部段,以便当由训练***执行程序部段时,执行用于提供第一训练生成器函数的方法的所有步骤和所述方法的方面。
本发明尤其涉及一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序可直接加载到提供***的存储器中,所述计算机程序具有程序部段,以便当由提供***执行程序部段时,执行用于提供差分图像数据组的方法的所有步骤和所述方法的方面。
本发明尤其涉及一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序可直接加载到训练***的训练存储器中,所述计算机程序具有程序部段,以便当由训练***执行程序部段时,执行用于提供第一训练生成器函数的方法的所有步骤和所述方法的方面。
在第七方面中,本发明涉及一种计算机可读的存储介质,在所述计算机可读的存储介质上存储有由提供***可读的和可执行的程序部段,以便当由提供***执行程序部段时,执行用于提供差分数据组的方法的所有步骤和所述方法的方面;和/或,在所述计算机可读的存储介质上存储有由训练***可读的和可执行的程序部段,以便当由训练***执行程序部段时,执行用于提供第一训练生成器函数的方法的所有步骤和所述方法的方面。
本发明尤其涉及一种计算机可读的存储介质,在所述计算机可读的存储介质上存储有由提供***可读的和可执行的程序部段,以便当由提供***执行程序部段时,执行用于提供差分图像数据组的方法的所有步骤和所述方法的方面。
本发明尤其涉及一种计算机可读的存储介质,在所述计算机可读的存储介质上存储有由训练***可读的和可执行的程序部段,以便当由训练***执行程序部段时,执行用于提供第一训练生成器函数的方法的所有步骤和所述方法的方面。
在第八方面中,本发明涉及一种计算机程序或计算机可读的存储介质,所述计算机程序或计算机可读的存储介质包括通过用于提供第一训练生成器函数的方法提供的第一训练生成器函数。
在很大程度上以软件方式的实现方案具有如下优点:也能够以简单的方式通过软件升级来改装至今已经使用的提供***和训练***,以便以根据本发明的方式工作。除了计算机程序之外,这种计算机程序产品必要时可以包括附加的组成部分、例如文档和/或附加的组件,也包括硬件组件、例如用于使用软件的硬件秘钥(软件狗等)。
附图说明
本发明的上述特性、特征和优点以及如何实现所述特性、特征和优点的方式和方法结合以下对实施例的描述变得更清晰和更清楚地容易理解,所述实施例结合附图更详细地阐述。本发明不因所述描述而限于所述实施例。在不同的附图中,相同的部件设有相同的附图标记。附图通常不是符合比例的。附图示出:
图1示出根据本发明的方法和所述方法的方面的第一数据流程图,
图2示出根据本发明的方法和所述方法的方面的第二数据流程图,
图3示出根据本发明的方法和所述方法的方面的第三数据流程图,
图4示出根据本发明的方法和所述方法的方面的第四数据流程图,
图5示出用于提供检查体积的差分图像数据组的方法的第一实施例,
图6示出用于提供检查体积的差分图像数据组的方法的第二实施例,
图7示出用于提供第一训练生成器函数的第一实施例,
图8示出用于提供第一训练生成器函数的第二实施例,
图9示出用于提供第一训练生成器函数的第三实施例,
图10示出用于提供第一训练生成器函数的第四实施例,
图11示出提供***,
图12示出训练***,
图13示出X射线设备。
具体实施方式
图1示出第一数据流程图,所述第一数据流程图用于在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中使用。
在第一数据流程图中,将第一训练生成器函数GF-1在第一变型方案中应用到第一真实图像数据组RDS-1上,在第一数据流程图中,将第一训练生成器函数GF-1在第二变型方案中应用到第一真实图像数据组RDS-1和第二真实图像数据组RDS-2上。在两个变型方案中,第一训练生成器函数GF-1的输出数据包括差分图像数据组DDS。
如果Xfill,1表示第一真实图像数据组RDS-1,Xfill,2表示第二真实图像数据组RDS-2,并且YDSA表示差分图像数据组DDS,那么因此在第一变型方案中适用:YDSA=GF-1(Xfill,1),并且在第二变型方案中适用:YDSA=GF-1(Xfill,1,Xfill,2)。在下文中,B表示图像数据组的空间。例如,对于二维图像数据组,图像数据组的空间可以是B=Rm·n(其中,R表示实数,并且m或n表示对于维度中的每个维度的像素或体素的数量),对于三维图像数据组,图像数据组的空间可以是B=Ri·j·k(其中,i、j和k表示对于维度中的每个维度的像素或体素的数量)。因此,在第一变型方案中,第一训练生成器函数GF-1是函数GF-1:B→B,并且在第二变型方案中,第一训练生成器函数GF-1是函数GF-1:B2→B。
替选地可行的是,第一训练生成器函数GF-1的输入数据包括检查体积的其他真实图像数据组。因此,在所述另一变型方案中,第一训练生成器函数GF-1是函数GF-1:Bn→B,其中,n表示第一训练生成器函数GF-1的输入数据的真实图像数据组的数量。
第一数据流程图中的至今所描述的数据流尤其描述用于提供差分图像数据组DDS的方法中的数据流。第一数据流程图的其他元素尤其描述用于提供第一训练生成器函数GF-1的方法中的数据流。
在第一数据流程图中,还将第一训练分类器函数DF-1应用到差分图像数据组DDS上,应用的结果是概率值。此外,将第一分类器函数DF-1应用到检查体积的比较差分图像数据组DDS-C上,应用的结果是比较概率值。
如果Y(C) DSA表示比较差分图像数据组DDS-C,则适用于概率值p=DF-1(YDSA)=DF-1(YDSA)=GF-1(Xfill,1)或p=DF-1(YDSA)=DF-1(YDSA)=GF-1(Xfill,1,Xfill,2),并且适用于比较概率值p(C)=DF-1(Y(C) DSA)。因此,第一分类器函数DF-1尤其是函数DF-1:B→[0,1]。
在此,概率值和比较概率值可以要么共同地或要么独立地使用在对抗成本函数AL(英文技术术语为“adversarial loss(对抗损失)”)中。可以基于所述对抗成本函数AL来调整第一训练生成器函数GF-1和第一训练分类器函数DF-1,尤其可以通过调整相应的参数来优化所述对抗成本函数AL。
在第一数据流程图中,还将第二训练生成器函数GF-2应用到差分图像数据组DDS上,应用的结果在第一变型方案中是第一比较真实图像数据组RDS-1-C,应用的结果在第二变型方案中是第一比较图像数据组RDS-1-C和第二比较真实图像数据组RDS-2-C。
如果X(C) fill,1表示第一比较真实图像数据组RDS-C-1,并且X(C) fill,2表示第二比较真实图像数据组RDS-C-2,于是在第一变型方案中适用:X(C) fill,1=GF-2(YDSA),在第二变型方案中适用:(X(C) fill,1,X(C) fill,2)=GF-2(YDSA)。因此,第二训练生成器函数GF-2在第一变型方案中是函数GF-2:B→B,并且在第二变型方案中是函数GF-2:B→B2。如果还使用其他真实图像数据组,则第二训练生成器函数GF-2是函数GF-2:B→Bn。第二训练生成器函数GF-2尤其可以理解为第一训练生成器函数GF-1的反函数。
在此,第一比较真实图像数据组RDS-1-C可以与第一真实图像数据组RDS-1一起使用在循环一致性成本函数CCL(英文技术术语为“cyclic consistency loss”)的计算中。可以基于所述循环一致性成本函数CCL来调整第二训练生成器函数GF-2,尤其可以通过调整相应的参数来优化所述循环一致性成本函数CCL。
图2示出第二数据流程图,所述第二数据流程图使用于在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中。第二数据流程图具有已经关于图1或关于第一数据流程图描述的元素。只要未不同地描述,则第二数据流程图的元素可以具有第一数据流程图的对应元素的所有实施方案和改进方案。
与第一数据流程图不同,在第二数据流程图中,除了差分图像数据组DDS之外,第一训练生成器函数GF-1生成蒙片图像数据组MDS作为输出值。如果M表示蒙片图像数据组,则因此适用:(YDSA,M)=GF-1(Xfill,1)。替选地,也可以将第一训练生成器函数GF-1应用到多个真实图像数据组RDS-1、RDS-2上。因此,第一训练生成器函数GF-1是函数GF-1:B→B2。
除了第一训练分类器函数DF-1之外,在第二数据流程图中存在训练蒙片分类器函数DF-M,所述蒙片分类器函数可以应用到蒙片图像数据组MDS或比较蒙片图像数据组MDS-C上。在此,在应用到蒙片图像数据组MDS上时,求取概率值;在应用到比较蒙片图像数据组MDS-C上时在此求取比较概率值。
如果M(C)表示比较蒙片图像数据组MDS-C,则适用于概率值r=DF-M(M),并且适用于比较概率值r(C)=DF-M(M(C))。因此,训练蒙片分类器函数DF-M尤其是函数DF-1:B→[0,1]。
在此,概率值和比较概率值可以要么共同地或要么独立地使用在对抗成本函数AL(英文技术术语为“adversarial loss”)中。可以基于所述对抗成本函数AL来调整第一训练生成器函数GF-1和训练蒙片分类器函数DF-M,尤其可以通过调整相应的参数来优化所述对抗成本函数AL。
在第二数据流程图中,还将第二训练生成器函数GF-2应用到差分图像数据组DDS和蒙片图像数据组MDS上,应用的结果是第一比较真实图像数据组RDS-1-C。因此适用:X(C) fill,1=GF-2(YDSA,M),并且第二训练生成器函数GF-2是函数GF-2:B→B2。第二训练生成器函数GF-2尤其可以理解为第一训练生成器函数GF-1的反函数。
在此,第一比较真实图像数据组RDS-1-C可以与第一真实图像数据组RDS-1一起使用,以用于计算循环一致性成本函数CCL(英文技术术语为“cyclic consistency loss”)。可以基于所述循环一致性成本函数CCL来调整第二训练生成器函数GF-2,尤其可以通过调整相应的参数来优化所述循环一致性成本函数CCL。
图3示出第三数据流程图,所述第三数据流程图使用在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中。第一数据流程图和第三数据流程图尤其可以共同地使用在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中。
在第三数据流程图中,将第二训练生成器函数GF-2应用到训练差分图像数据组DDS-T上,在第一变型方案中,输出数据包括第一合成真实图像数据组RDS-1-S,在第二变型方案中,输出数据包括第一合成真实图像数据组RDS-1-S和第二合成真实图像数据组RDS-2-S。在此,训练差分图像数据组DDS-T可以具有差分图像数据组DDS的所有实施方案和改进方案,第一合成真实图像数据组或第二合成真实图像数据组RDS-1-S、RDS-2-S可以具有第一真实图像数据组或第二真实图像数据组RDS-1、RDS-2的所有实施方案和改进方案。
如果Y(T) DSA表示训练差分图像数据组DDS-T,X(S) fill,1表示第一合成真实图像数据组RDS-1-S,并且X(S) fill,2表示第二合成真实图像数据组RDS-2-S,于是在第一变型方案中适用:X(S) fill,1=GF-2(Y(T)DSA),在第二变型方案中适用:(X(S) fill,1,X(S) fill,2)=GF-2(Y(T) DSA)。因此,第二训练生成器函数GF-2在第一变型方案中是函数GF-2:B→B,并且在第二变型方案中是函数GF-2:B→B2。如果还使用其他真实图像数据组,则第二训练生成器函数GF-2是函数GF-2:B→Bn。
在第三数据流程图中,将第一训练生成器函数GF-1在第一变型方案中应用到第一合成真实图像数据组RDS-1-S上,在第三数据流程图中,将第一训练生成器函数GF-1在第二变型方案中应用到第一合成真实图像数据组RDS-1-S和第二合成真实图像数据组RDS-2-S上。在两个变型方案中,第一训练生成器函数GF-1的输出数据包括合成差分图像数据组DDS-S。
如果Y(S) DSA表示合成差分图像数据组DDS-S,则因此在第一变型方案中适用:Y(S) DSA=GF-1(X(S) fill,1),并且在第二变型方案中适用:Y(S) DSA=GF-1(X(S) fill,1,X(S) fill,2)。因此,在第一变型方案中,第一训练生成器函数GF-1是函数GF-1:B→B,并且在第二变型方案中,第一训练生成器函数GF-1是函数GF-1:B2→B。如果还使用其他真实图像数据组,则第一训练生成器函数GF-1是函数GF-1:Bn→B。
在此,合成差分图像数据组DDS-S可以与训练差分图像数据组DDS-T一起使用在循环一致性成本函数CCL(英文技术术语为“cyclic consistency loss”)中使用。可以基于所述循环一致性成本函数CCL来调整第一训练生成器函数GF-1,尤其可以通过调整相应的参数来优化所述循环一致性成本函数CCL。
在第三数据流程图中,还将第二训练分类器函数DF-2应用到第一合成真实图像数据组RDS-1-S上,应用的结果是概率值。还将第二训练分类器函数DF-2应用到检查体积VOL的训练真实图像数据组RDS-T上,应用的结果是比较概率值。
如果X(T) fill表示第一训练真实图像数据组RDS-T,则适用于概率值q=DF-2(X(S) fill,1),并且适用于比较概率值q(C)=DF-2(X(T) fill)。因此,第二训练分类器函数DF-2尤其是函数DF-1:B→[0,1]。
在此,概率值和比较概率值可以要么共同地或要么独立地使用在对抗成本函数AL(英文技术术语为“adversarial loss”)中。可以基于所述对抗成本函数AL来调整第二训练生成器函数GF-2和第二训练分类器函数DF-2,尤其可以通过调整相应的参数来优化所述对抗成本函数AL。
图4示出第四数据流程图,所述第四数据流程图用于使用在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中。第四数据流程图具有已经关于图3或关于第三数据流程图描述的元素。只要未不同地描述,则第二数据流程图的元素可以具有第一数据流程图的对应元素的所有实施方案和改进方案。第二数据流程图和第四数据流程图尤其可以共同地使用在用于提供差分图像数据组DDS的方法中和/或在用于提供第一训练生成器函数GF-1的方法中。
在第四数据流程图中,将第二训练生成器函数GF-2应用到训练差分图像数据组DDS-T和训练蒙片图像数据组MDS-T上,输出数据包括第一合成真实图像数据组RDS-1-S。因此适用:X(S) fill,1=GF-2(Y(T) DSA,M(T))。因此,第二训练生成器函数GF-2是函数GF-2:B2→B。
在第四数据流程图中,将第一训练生成器函数GF-1应用到第一合成真实图像数据组RDS-1-S上。第一训练生成器函数GF-1的输出数据包括合成差分图像数据组DDS-S和合成蒙片图像数据组MDS-S。如果M(S)表示合成蒙片图像数据组MDS-S,则因此适用:(Y(S) DSA,M(S))=GF-1(X(S) fill,1)。因此,第一训练生成器函数GF-1是函数GF-1:B→B2。
在此,合成蒙片图像数据组MDS-S可以与训练蒙片图像数据组MDS-T一起使用在循环一致性成本函数CCL(英文技术术语为“cyclic consistency loss”)中,同样地,比较差分图像数据组DDS-C可以与训练差分图像数据组DDS-T一起使用在循环一致性成本函数CCL中。可以基于所述循环一致性成本函数CCL来调整第一训练生成器函数GF-1,尤其可以通过调整相应的参数来优化所述循环一致性成本函数CCL。
图5示出用于提供检查体积VOL的差分图像数据组DDS的方法的第一实施例。所示出的第一实施例可以实施在图1中示出的第一数据流程图。
所示出的第一实施例的第一步骤是接收REC-RDS-1检查体积VOL的第一真实图像数据组RDS-1。在此,检查体积VOL包括血管,并且第一真实图像数据组RDS-1描绘包括造影剂的检查体积VOL。接收REC-RDS-1第一真实图像数据组RDS-1尤其借助于提供***PRVS的接口IF来进行。
在所述实施例中,第一真实图像数据组RDS-1是根据DICOM标准的图像数据组(“Digital Imaging and Communications in Medicine(医学中的数字成像和通信)”的缩写,德文翻译为“Digitale Bildgebung und Kommunikation in der Medizin”)。第一真实图像数据组RDS-1尤其是二维图像数据组,并且例如可以具有512×512个像素的扩展。替选地,第一真实图像数据组RDS-1也可以是三维图像数据组,并且例如可以具有512×512×512个体素的扩展。在此尤其,每个像素和/或每个体素可以相关联有强度值、尤其X射线强度值,所述强度值基于检查体积VOL的X射线吸收系数。替选地,第一真实图像数据组RDS-1可以具有其他维度、其他扩展和/或其他格式。
所示出的第一实施例的第二步骤是通过将第一训练生成器函数GF-1应用到输入数据上来确定DET-DDS检查体积VOL的差分图像数据组DDS。在此,输入数据包括第一真实图像数据组RDS-1,并且第一训练生成器函数GF-1的参数基于GA算法。确定DET-DDS差分图像数据组DDS尤其借助于提供***PRVS的计算单元CU进行。
在所述第一实施例中,差分图像数据组DDS尤其具有与第一真实图像数据组RDS-1相同的维度和相同的扩展,因此所述差分图像数据组尤其可以是具有512×512个像素的扩展的二维图像数据组,或是具有512×512×512个像素的扩展的三维图像数组。差分图像数据组DDS尤其至少近似对应于由第一真实图像数据组RDS-1和如下图像数据组构成的差,所述图像数据组关于与第一真实图像数据组RDS-1相同的描绘几何而描绘检查体积VOL,其中,但是检查体积VOL不包括造影剂。差分图像数据组DDS尤其也是根据DICOM标准的图像数据组。
在所述实施例中,在GA算法中或借助于GA算法,尤其与训练分类器函数DF-1、DF-2一起训练第一训练生成器函数GF-1。在此,第一训练生成器函数GF-1尤其训练成,使得由第一训练生成器函数DF-1生成的合成数据尽可能不被训练分类器函数DF-1、DF-2与真实数据区分。
在所述实施例中,第一真实图像数据组RDS-1具有第一噪声级,并且差分图像数据组DDS具有第二噪声级。在此,第一噪声级比第二噪声级更高。在所述实施例中,噪声级是信噪比(英文技术术语是“signal-to-noise ratio”)的倒数。尤其可以通过如下方式实现降低第一训练生成器函数GF-1的特性、噪声或噪声级:在训练生成器函数GF-1的训练中将所述训练生成器函数应用到具有高的噪声级的图像数据组上,并且将所述应用的结果(借助于训练分类器函数DF-1、DF-2)与具有低的噪声级的差分图像数据组进行比较。
在所述实施例中,将第一训练生成器函数GF-1有利地分部段地(英文技术术语是“patch-wise”)应用到第一真实图像数据组RDS-1上。如果例如Xfill (1)、…、Xfill (K)表示第一真实图像数据组RDS-1的部段(英文技术术语为“patch”),则可以将差分图像数据组DDS的部段计算为YDSA (k)=GF-1(Xfill (k)),其中1≤k≤K。然后,差分图像数据组DDS可以由部段YDSA (1)、…、YDSA (K)组成。如果第一真实图像数据组RDS-1例如是具有512×512个像素的二维图像数据组,则可以将第一真实图像数据组划分成具有256×256个像素的四个不相交的部段。
在所述实施例中,第一训练生成器函数GF-1是人工神经网络,或第一训练生成器函数GF-1包括人工神经网络。有利地,所述人工神经网络包括残差块、快捷连接、卷积层、解卷积层、池化层和/或空间变换层。此外,在所述实施例中,使循环一致性成本函数最小化,以用于训练第一训练生成器函数GF-1,由此第一训练生成器函数GF-1的参数尤其基于所述循环一致性成本函数。此外,在第一训练生成器函数GF-1的训练中,对抗成本函数AL还可以已经被最小化。
所示出的第一实施例的第三步骤是提供PRV-DDS差分图像数据组DDS,尤其借助于提供***PRVS的接口IF来提供。在所述第一实施例中,显示差分图像数据组DDS,尤其以便使得能够诊断血管。替选地,也可以存储差分图像数据组DDS,或将其传输给其他***。
图6示出用于提供检查体积VOL的差分图像数据组DDS的方法的第二实施例。第二实施例尤其实施在图1或图2中示出的第一数据流程图或第二数据流程图。第二实施例尤其包括在图5中示出的用于提供差分图像数据组DDS的方法的第一实施例的所有步骤,并且可以包括在那里描述的所有实施方案和改进方案。
第二实施例还包括接收REC-RDS-2检查体积VOL的第二真实图像数据组RDS-2,尤其借助于提供***PRVS的接口IF来接收,和/或,确定检查体积VOL的蒙片图像数据组MDS,尤其借助于提供***PRVS的计算单元CU来确定。
如果第二实施例包括接收REC-RDS-2检查体积的第二真实图像数据组RDS-2,于是第一真实图像数据组RDS-1描绘在第一时刻的检查体积VOL,并且第二真实图像数据组RDS-2描绘在第二时刻的检查体积VOL。在此,第一时刻和第二时刻尤其不同。在这种情况下,输入数据还包括第二真实图像数据组RDS-2。检查体积VOL在第一时刻期间和第二时刻期间尤其包括造影剂。在第一时刻中造影剂在检查体积VOL中的空间分布会与在第二时刻中造影剂在检查体积VOL中的空间分布偏差,但是替选地,空间分布也可以相同。
在所述实施例中,第一真实图像数据组RDS-1和第二真实图像数据组RDS-2具有相同的维度和相同的扩展。此外,在所述实施例中,第一真实图像数据组RDS-1和第二真实图像数据组RDS-2关于检查体积VOL具有相同的描绘几何,尤其关于检查体积VOL具有相同的投影方向。因此例如,第一真实图像数据组RDS-1和第二真实图像数据组RDS-2已可以借助于X射线源XSYS.SRC和X射线探测器XSYS.DTC记录,所述X射线源和X射线探测器关于检查体积VOL不改变其位置和定向。替选地,第一真实图像数据组RDS-1和第二真实图像数据组RDS-2关于检查体积VOL可以具有不同的描绘几何。例如,可以在X射线源XSYS.SRC和/或X射线探测器XSYS.DTC围绕检查体积VOL旋转期间来记录第一真实图像数据组RDS-1和第二真实图像数据组RDS-2,例如借助于C形臂X射线设备XSYS或借助于计算机断层扫描仪来记录。
如果第二实施例包括通过将第一训练生成器函数GF-1应用到输入数据上来确定DET-MDS检查体积的蒙片图像数据组MDS,于是蒙片图像数据组MDS描绘尤其无造影剂的检查体积VOL。换言之,蒙片图像数据组MDS是无造影剂的检查体积VOL的图像数据组。蒙片图像数据组MDS尤其是合成图像数据组。
在所述实施例中,第一真实图像数据组RDS-1和蒙片图像数据组MDS具有相同的维度和相同的扩展。此外,在所述实施例中,第一真实图像数据组RDS-1和蒙片图像数据组关于检查体积VOL具有相同的描绘几何,尤其关于检查体积VOL具有相同的投影方向。
图7示出用于提供第一训练生成器函数GF-1的方法的第一实施例。第一实施例尤其可以实施在图1至图4中示出的数据流程图中的一个或多个数据流程图。
第一实施例的第一步骤是:分别借助于训练***TSYS的训练接口TIF,接收TREC-RDS-1检查体积VOL的第一真实图像数据组RDS-1,以及接收TREC-DDS-C检查体积VOL的比较差分图像数据组DDS-C。可选地,第一实施例可以包括接收TREC-RDS-2接收检查体积的第二真实图像数据组RDS-2,尤其借助于训练***TSYS的训练接口TIF来接收。
因此,尤其可以借助于训练接口TIF接收训练数据对,所述训练数据对包括第一真实图像数据组RDS-1和比较差分图像数据组DDS-C。在所述实施例中,分别接收一对训练数据,替选地也可以接收多对训练数据。如果接收到第二真实图像数据组RDS-2,则一对训练数据包括真实图像数据组RDS-1、RDS-2以及比较差分图像数据组DDS-C。
第一真实图像数据组RDS-1和比较差分图像数据组DDS-C具有相同的维度。在所述实施例中,第一真实图像数据组RDS-1和比较差分图像数据组DDS-C是二维图像数据组。替选地,也可以涉及三维图像数据组或四维图像数据组。此外,真实图像数据组RDS-1和比较差分图像数据组DDS-C尤其关于维度中的每个维度具有在像素或体素中测量的相同的扩展。例如,在所述实施例中,不仅第一真实图像数据组RDS-1而且比较差分图像数据组DDS-C可以具有512×512个像素的扩展。
可选的第二真实图像数据组RDS-2尤其同样具有相同的维度,并且关于维度中的每个维度具有与在像素或体素中测量的与第一真实图像数据组RDS-1相同的扩展。例如,第二真实图像数据组RDS-2可以具有512×512个像素的扩展。
比较差分图像数据组DDS-C尤其至少近似地对应于由第一真实图像数据组RDS-1和如下图像数据组构成的差,所述图像数据组关于与第一真实图像数据组RDS-1相同的描绘几何而描绘检查体积VOL,其中,但是检查体积VOL不包括造影剂。此外,比较差分图像数据组DDS-C具有比第一真实图像数据组RDS-1更低的噪声值。
在所述实施例中,第一真实图像数据组RDS-1和比较差分图像数据组DDS-C尤其是根据DICOM标准的图像数据组。可选的第二真实图像数据组也可以是根据DICOM标准的图像数据组。
第一实施例的另一步骤是通过将第一训练生成器函数GF-1应用到第一输入数据上来确定TDET-DDS检查体积VOL的差分图像数据组DDS,其中,第一输入数据包括第一真实图像数据组RDS-1。确定TDET-DDS差分图像数据组DDS尤其借助于训练***TSYS的训练计算单元TCU来进行。如果Xfill,1表示第一真实图像数据组RDS-1并且YDSA表示差分图像数据组DDS,则因此适用:YDSA=GF-1(Xfill,1)。
在所述第一实施例中,差分图像数据组DDS尤其具有与第一真实图像数据组RDS-1相同的维度和相同的扩展,因此尤其可以是具有512×512个像素的扩展的二维图像数据组。
在所述实施例的存在第二真实图像数据组RDS-2的变型方案中,输入数据尤其还可以包括第二真实图像数据组RDS-2。如果Xfill,2表示第二真实图像数据组RDS-2,并且YDSA表示差分图像数据组DDS,则因此在此适用:YDSA=GF-1(Xfill,1,Xfill,2)。
第一实施例的另外的步骤是:分别借助于训练***TSYS的训练计算单元TCU,通过将第一训练分类器函数DF-1应用到差分图像数据组DDS上来确定TDET-CV-1第一分类值,以及通过将第一训练分类器函数DF-1应用到比较差分图像数据组DDS-C上来确定TDET-CV-2第二分类值。
在此,第一分类值是概率值p,所述概率值对应于由第一分类器函数DF-1估计的差分图像数据组DDS是真实图像数据组的概率。在此,第二分类值是概率值p(c),所述概率值对应于由第一分类器函数DF-1估计的比较差分图像数据组DDS-C是真实图像数据组的概率。在所述实施例中,因此适用:p=DF-1(YDSA)=DF-1(GF-1(Xfill,1,Xfill,2))或p=DF-1(YDSA)=DF-1(GF-1(Xfill,1))和p(c)=DF-1(Y(c) DSA),其中,Y(c) DSA表示比较差分图像数据组DDS-C。
在所述实施例中,第一训练分类器函数DF-1是人工神经网络,或第一训练分类器函数DF-1包括人工神经网络。有利地,所述人工神经网络包括残差块、快捷连接、卷积层、解卷积层、池化层和/或空间变换层。此外,在训练第一训练分类器函数DF-1时,已可以使对抗成本函数AL最小化。
所示出的实施例的另一步骤是基于第一分类值和/或第二分类值来调整TADJ-1第一训练生成器函数GF-1和/或第一训练分类器函数DF-1,尤其借助于训练***TSYS的训练计算单元TCU来调整。
在所述第一实施例中,通过如下方式调整第一训练生成器函数GF-1:调整第一训练生成器函数GF-1的一个或多个参数用于优化、尤其用于最小化成本函数K(GF-1)。此外,通过如下方式来调整第一训练分类器函数DF-1:调整第一训练分类器函数DF-1的一个或多个参数用于优化、尤其用于最小化成本函数K(DF-1)。尤其将梯度下降和反向传播用于最小化。
在此,成本函数K(DF-1)与对抗成本函数K(DF-1) A=-BCE(DF-1(Y(c)),1)-BCE(DF-1(Y),0)=-BCE(p(c),1)-BCE(p,0)相同,其中,BCE以BCE(z,z‘)=z’log(z)+(1-z‘)log(1-z)表示二进制交叉熵(英文技术术语为“binary cross-entropy”)。因此,尤其通过K(DF-1) A=-log(DF-1(Y(c)))-log(1–DF-1(Y))=-log(p(c))-log(1-p)给出对抗成本函数K(DF-1) A。在所述成本函数最小化时,第一训练分类器函数DF-1构成用于,尽可能良好地在真实图像数据(对应于比较差分图像数据组DDS-C)与由第一训练生成器函数GF-1生成的合成图像数据(对应于差分图像数据组DDS)之间进行区分。
尤其可以同样将对抗成本函数K(GF-1) A=-BCE(DF-1(Y),1)=-log(p)用于第一训练生成器函数GF-1的成本函数K(GF-1)。在所述成本函数最小化时,第一训练生成器函数GF-1构成用于生成由第一训练分类器函数DF-1错误地分类为真实图像数据的差分图像数据组DDS。
第一实施例的最后步骤是借助于训练***TSYS的训练接口TIF来提供PRV-GF-1第一训练生成器函数GF-1。在此,第一训练生成器函数GF-1尤其可以传输给提供***PRVS。
图8示出用于提供第一训练生成器函数GF-1的方法的第二实施例。第二实施例包括在图7中示出的第一实施例的所有步骤,并且可以具有关于第一实施例所描述的所有实施方案和改进方案。第二实施例尤其可以实施在图1至图4中示出的数据流程图中的一个或多个数据流程图。
第二实施例还包括:借助于训练***TSYS的训练计算单元TCU,通过将第二训练生成器函数GF-2应用到第二输入数据上来确定TDET-RDS-1-C检查体积VOL的第一比较真实图像数据组RDS-1-C,其中,第二输入数据包括差分图像数据组DDS。因此,对于第一比较真实图像数据组RDS-1-C,尤其适用关系:X(C) fill,1=GF-2(YDSA)。
第一比较真实图像数据组RDS-1-C和差分图像数据组DDS尤其具有相同的维度。此外,关于每个维度,第一比较真实图像数据组RDS-1-C的在像素或体素中测量的扩展与差分图像数据组DDS的扩展相同。
在所述实施例中,第二训练生成器函数GF-2是人工神经网络,或第二训练生成器函数GF-2包括人工神经网络。有利地,所述人工神经网络包括残差块、快捷连接、卷积层、反卷积层、池化层和/或空间变换层。此外,在所述实施例中,为了训练第二训练生成器函数GF-2使循环一致性成本函数CCL最小化,由此,第二训练生成器函数GF-2的参数尤其基于所述循环一致性成本函数CCL。此外,在训练第二训练生成器函数GF-2时,对抗成本函数AL还可以已经最小化。
所示出的实施例的另一步骤是基于循环一致性成本函数CCL来调整TADJ-2第二训练生成器函数GF-2,其中,循环一致性成本函数CCL基于第一真实图像数据组RDS-1与第一比较真实图像数据组RDS-1-C的比较。
在所述第一实施例中,通过如下方式来调整第二训练生成器函数GF-2:调整第二训练生成器函数GF-2的一个或多个参数用于优化、尤其用于最小化成本函数K(GF-2)。
在此,第二训练生成器函数GF-2的成本函数K(GF-2)包括循环一致性成本函数K(GF -2) CC。循环一致性成本函数的数值K(GF-2) CC通过以下公式给出:K(GF-2) CC=|Xfill,1–X(C) fill,1|m=|Xfill,1–GF-2(GF-1(Xfill,1))|m,其中,|A|m表示A的m范数。尤其可以选择m=1和m=2。因为Xfill,1和X(C) fill,1是尤其相同维度和相同扩展的图像数据组,所以可以分别逐像素地或逐体素地计算范数。循环一致性成本函数的最小化引起:第二训练生成器函数GF-2与第一训练生成器函数GF-1的反函数类似地起作用,并从而第一训练生成器函数GF-1与第二训练生成器函数GF-2的链接与身份映射类似地(从而与自动编码器类似地)起作用,并进而图像数据的生成具有较少的错误。
相对于确定TDET-RDS-1-C第一比较真实图像数据组RDS-1-C以及调整TADJ-2第二训练生成器函数GF-2的步骤替选地和附加地,第二实施例可以具有在下文中所描述的步骤。
第二实施例的另一步骤是借助于训练***TSYS的训练接口TIF来接收TREC-MDS-C检查体积的比较蒙片图像数据组MDS-C。
在所述实施例中,比较蒙片图像数据组MDS-C具有与第一真实图像数据组RDS-1相同的维度,并且关于每个维度具有在像素或体素中测量的与所述第一真实图像数据组相同的扩展。此外,在记录比较蒙片图像数据组MDS-C时所使用的描绘几何对应于在记录第一真实图像数据组RDS-1时所使用的描绘几何,尤其关于相同的投影方向记录检查体积。比较蒙片图像数据组MDS-C尤其可以对应于比较差分图像数据组DDS-C,尤其是,其方式是:将比较差分图像数据组DDS-C确定为另一图像数据组与比较蒙片图像数据组MDS-C之间的差。
第二实施例的另一步骤是:借助于训练***TSYS的训练计算单元TCU,通过将第一训练生成器函数GF-1应用到第一输入数据上来确定TDET-MDS检查体积VOL的蒙片图像数据组MDS。
在所述实施例中,蒙片图像数据组MDS具有与第一真实图像数据组RDS-1相同的维度,并且关于每个维度具有在像素或体素中测量的与所述第一真实图像数据组相同的扩展。
在所述实施例中,差分图像数据组DDS和蒙片图像数据组MDS通过第一训练生成器函数GF-1的相同应用来确定。如果M表示蒙片图像数据组MDS,则例如适用:(YDSA,M)=GF-1(Xfill,1)。替选地,也可以通过第一训练生成器函数GF-1的独立应用来确定蒙片图像数据组MDS。
第二实施例还包括:分别借助于训练***TSYS的训练计算单元TCU,通过将训练蒙片分类器函数DF-M应用到蒙片图像数据组MDS上来确定TDET-CV-M1第一蒙片分类值,以及通过将训练蒙片分类器函数DF-M应用到比较蒙片图像数据组MDS-C上来确定TDET-CV-M2第二蒙片分类值。
在此,第一蒙片分类值是概率值r,所述概率值对应于由蒙片分类器函数DF-M估计的蒙片图像数据组MDS是真实图像数据组的概率。在此,第二分类值是概率值r(c),所述概率值对应于由蒙片分类器函数DF-M估计的比较蒙片图像数据组MDS-C是真实图像数据组的概率。因此,在所述实施例中适用:r=DF-M(M)=DF-M(GF-1(Xfill,1))和r(c)=DF-M(M(c)),其中,M(c)表示比较蒙片图像数据组MDS-C。在此,计算DF-M(GF-1(…))应理解为,仅将第一训练生成器函数GF-1的输出值中的相关输出值用作训练蒙片分类器函数DF-M的输入值。
所示出的第二实施例的最后步骤是:基于第一蒙片分类值和/或第二蒙片分类值来调整TADJ-3第一训练生成器函数GF-1和/或训练蒙片分类器函数DF-M。
为此,在所述第三实施例中,训练蒙片分类器函数DF-M的成本函数K(DF-M)通过对抗成本函数K(DF-M) A=-BCE(DF-M(Y(c)),1)-BCE(DF-M(Y),0)=-BCE(r(c),1)-BCE(r,0)给出。因此,对抗成本函数K(DF-M) A尤其通过K(DF-1) A=-log(DF-1(Y(c)))-log(1–DF-1(Y))=-log(r(c))-log(1-r)给出。在所述成本函数最小化时,训练蒙片分类器函数DF-M构成用于,尽可能良好地在真实图像数据(对应于比较蒙片图像数据组MDS-C)与由第一训练生成器函数GF-1生成的合成图像数据(对应于蒙片图像数据组MDS)之间进行区分。
对于第一训练生成器函数GF-1的成本函数K(GF-1),尤其同样可以使用附加的对抗成本函数K(GF-1) MA=-BCE(DF-M(Y),1)=-log(r)。在所述成本函数最小化时,第一训练生成器函数GF-1构成用于,生成由训练蒙片分类器函数DF-M错误地分类为真实图像数据的蒙片图像数据组MDS。
图9示出用于提供第一训练生成器函数GF-1的方法的第三实施例。第三实施例包括在图7中示出的第一实施例的所有步骤,并且可以具有关于第一实施例描述的所有实施方案和改进方案。第三实施例尤其可以实施在图1至图4中示出的数据流程图中的一个或多个数据流程图。
第三实施例的另一步骤是:接收TREC-DDS-T检查体积VOL的训练差分图像数据组DDS-T,以及接收TREC-RDS-T检查体积VOL的训练真实图像数据组RDS-T,尤其借助于训练***TSYS的训练接口TIF来接收。训练差分图像数据组DDS-T和训练真实图像数据组RDS-T尤其可以具有与第一真实图像数据组RDS-1相同的尺寸,并且关于每个维度具有在像素或体素中测量的与所述第一真实图像数据组相同的扩展。
所示出的第三实施例的另一步骤是:通过将第二训练生成器函数GF-2应用到第二训练输入数据上来确定TDET-RDS-1-S第一合成真实图像数据组RDS-1-S,其中,第二训练输入数据包括训练差分图像数据组DDT-T。确定TDET-RDS-1-S第一合成真实图像数据组RDS-1-S尤其借助于训练***TSYS的训练计算单元TCU进行。如果Y(T) DSA表示训练差分图像数据组DDS-T并且X(S) fill,1表示第一合成真实图像数据组RDS-1-S,于是在此适用:X(S) fill,1=GF-2(Y(T) DSA)。
可选地,在所述第三实施例中,可以接收TREC-MDS-T检查体积VOL的训练蒙片图像数据组MDS-T,尤其借助于训练***TSYS的训练接口TIF来接收,其中,于是第二训练输入数据还包括训练蒙片图像数据组MDS-T。在此,于是尤其适用:X(S) fill,1=GF-2(Y(T) DSA,M(T))。
第三实施例的另外的步骤是:分别借助于训练***TSYS的训练计算单元TCU,通过将第二训练分类器函数DF-2应用到合成真实图像数据组RDS-1-S上来确定TDET-CV-3第三分类值,以及通过将第二训练分类器函数DF-2应用到训练真实图像数据组RDS-T上来确定TDET-CV-4第四分类值。
在此,第三分类值是概率值q,所述概率值对应于由第二训练分类器函数DF-2估计的第一合成真实图像数据组RDS-1-S是真实图像数据组的概率。在此,第四分类值是概率值q(c),所述概率值对应于由第二训练分类器函数DF-2估计的训练真实图像数据组RDS-T是真实图像数据组的概率。因此,在所述实施例中适用:q=DF-2(X(S) fill,1)=DF-2(GF-2(Y(T) DSA))和p(c)=DF-2(X(T) fill),其中,X(T) fill表示训练真实图像数据组RDS-T。
所示出的实施例的另一步骤是:基于第三分类值和/或第四分类值来调整TADJ-4第二训练生成器函数GF-2和/或第二训练分类器函数DF-2,尤其借助于训练***TSYS的训练计算单元TCU来调整。
在所述第一实施例中,通过如下方式调整第二训练生成器函数GF-2:调整第二训练生成器函数GF-2的一个或多个参数来优化、尤其最小化成本函数K(GF-2)。此外,通过如下方式调整第二训练分类器函数DF-2:调整第二训练分类器函数DF-2的一个或多个参数来优化、尤其最小化成本函数K(DF-2)。
在此,成本函数K(DF-2)包括对抗成本函数K(DF-2) A=-BCE(DF-2(X(T) fill),1)-BCE(DF-2(X(S) fill,1),0)=-BCE(q(c),1)-BCE(q,0)。因此,对抗成本函数K(DF-2) A尤其通过K(DF-2) A=-log(DF-1(X(T) fill))-log(1–DF-1(X(S) fill,1))=-log(q(c))-log(1-q)给出。在所述成本函数最小化时,第二训练分类器函数DF-2构成用于,尽可能良好地在真实数据(对应于训练真实图像数据组RDS-T)与由第二训练生成器函数GF-2生成的合成图像数据(对应于第一合成真实图像数据组RDS-1-S)之间来进行区分。
在第二训练生成器函数GF-2的成本函数K(GF-2)中,尤其可以同样使用对抗成本函数K(GF-2) A=-BCE(DF-2(X(S) fill,1),1)=-log(q)。在所述成本函数最小化时,第二训练生成器函数GF-2构成用于,生成由第二训练分类器函数DF-2错误地分类为真实图像数据的第一合成真实图像数据组RDS-1-S。
在所述实施例中,第二训练分类器函数DF-2是人工神经网络,或第二训练分类器函数DF-2包括人工神经网络。有利地,所述人工神经网络包括残差块、快捷连接、卷积层、解卷积层、池化层和/或空间变换层。此外,在训练第二训练分类器函数DF-2时,对抗成本函数AL可以已经最小化。
第三实施例的另一可选的步骤是:通过将第一训练生成器函数GF-1应用到第一训练输入数据上来确定TDET-DDS-S检查体积VOL的合成差分图像数据组DDS-S,尤其借助于训练***TSYS的训练计算单元TCU来确定,其中,第一训练输入数据包括第一合成真实图像数据组RDS-1-S。
合成差分图像数据组DDS-S尤其可以具有与第一真实图像数据组RDS-1相同的维度,并且关于每个维度具有在像素或体素中测量的与所述第一真实图像数据组的相同的扩展。如果Y(S) DSA表示合成差分图像数据组DDS-S,则因此适用:Y(S) DSA=GF-1(X(S) fill,1)。
所示出的实施例的另一可选的步骤是基于循环一致性成本函数CCL来调整TADJ-5第一训练生成器函数GF-1,其中,循环一致性成本函数CCL基于训练差分图像数据组DDS-T与合成差分图像数据组DDS-S的比较。
在所述第三实施例中,通过如下方式调整第一训练生成器函数GF-1:调整第一训练生成器函数GF-1的一个或多个参数来优化、尤其最小化成本函数K(GF-1)。
在此,第一训练生成器函数GF-1的成本函数K(GF-1)包括循环一致性成本函数K(GF -1) CC。循环一致性成本函数的数值K(GF-1) CC通过K(GF-1) CC=|Y(T) DSA–Y(S) DSA|m=|Y(T) DSA–GF-1(GF-2(Y(T) DSA))|m给出,其中|A|m表示A的m范数。尤其可以选择m=1和m=2。因为Y(T) DSA和Y(S) DSA是尤其相同维度和相同扩展的图像数据组,所以可以分别逐像素地或逐体素地计算范数。循环一致性成本函数的最小化引起:第一训练生成器函数GF-1与第二训练生成器函数GF-2的反函数类似地起作用,并从而第二训练生成器函数GF-2与第一训练生成器函数GF-1的链接与身份映射类似地(从而与自动编码器类似地)起作用,并进而图像数据的生成具有较少的错误。
图10示出用于提供第一训练生成器函数GF-1的方法的第四实施例。第四实施例合并在图7至图9中示出的第一实施例至第三实施例的元素。所述步骤尤其可以划分成第一训练TRN-1和第二训练TRN-2,其中,生成器函数GF-1、GF-2分别与分类器函数DF-1、DF-2、DF-M成对地训练。第四实施例尤其可以实施在图1至图4中示出的数据流程图中的一个或多个数据流程图。
在此,生成器函数GF-1、GF-2和分类器函数DF-1、DF-2、DF-M的成本函数可以包括对抗成本函数AL作为组成部分。此外,生成器函数GF-1、GF-2的成本函数可以包括循环一致性成本函数CCL。例如,相应的成本函数可以通过以下公式给出:
K(GF-1)=K(GF-1) A+K(GF-1) MA+K(GF-1) CC
K(GF-2)=K(GF-2) A+K(GF-2) CC
K(DF-1)=K(DF-1) A
K(DF-2)=K(DF-2) A
K(DF-M)=K(DF-M) A
图11示出提供***PRVS,图12示出训练***TSYS。所示出的提供***PRVS构成用于执行根据本发明的用于提供差分图像数据组DDS的方法。所示出的训练***TSYS构成用于执行根据本发明的用于提供第一训练生成器函数GF-1和/或第一训练分类器函数DF-1的方法。提供***PRVS包括接口IF、计算单元CU和存储单元MU,训练***TSYS包括训练接口TIF、训练计算单元TCU和训练存储单元TMU。
提供***PRVS和/或训练***TSYS尤其可以是计算机、微控制器或集成电路。替选地,提供***PRVS和/或训练***TSYS可以是计算机的真实的或虚拟的复合体(对于真实的复合体的英文专业术语是“Cluster(集群)”,对于虚拟的复合体的英文专业术语是“Cloud(云)”)。提供***PRVS和/或训练***TSYS也可以构成为在真实计算机或计算机的真实的或虚拟的复合体上运行的虚拟***(英文专业术语是“Virtualization(虚拟化)”)。
接口IF和/或训练接口TIF可以是硬件或软件接口(例如PCI总线、USB或火线)。计算单元CU和/或训练计算单元TCU可以具有硬件元件或软件元件,例如微处理器或所谓的FPGA(“Field Programmable Gate Array(现场可编程门阵列)”的英文缩写)。存储单元MU和/或训练存储单元TMU可以实现为非持久的工作存储器(Random Access Memory,简称RAM)或实现为持久的大容量存储器(硬盘、USB记忆棒、SD卡、固态硬盘)。
接口IF和/或训练接口TIF尤其可以包括实施相应的方法的不同步骤的多个子接口。换言之,接口IF和/或训练接口TIF也可以理解为多个接口IF或多个训练接口TIF。计算单元CU和/或训练计算单元TCU尤其可以包括实施相应的方法的不同步骤的多个子计算单元。换言之,计算单元CU和/或训练计算单元TCU也可以理解为多个计算单元CU或多个训练计算单元TCU。
图13示出与提供***PRVS连接的X射线设备XSYS。在所示出的实施例中,X射线设备XSYS是C形臂X射线设备XSYS。C形臂X射线设备XSYS包括用于发射X射束的X射线源XSYS.SRC。此外,C形臂X射线设备XSYS包括用于接收X射束的X射线探测器XSYS.DTC。X射线源XSYS.SRC以及X射线探测器XSYS.DTC紧固在C形臂XSYS.ARM的两个不同端部上。C形臂X射线设备XSYS的C形臂XSYS.ARM紧固在支架XSYS.STC上。支架XSYS.STC包括设计用于改变C形臂XSYS.ARM的位置的驱动元件。C形臂XSYS.ARM尤其可以围绕两个不同轴线旋转。C形臂X射线设备还包括控制和评估单元XSYS.CTRL以及患者支承设备XSYS.PAT,可以在所述患者支承设备上支承患者PAT。借助于控制和评估单元XSYS.CTRL可以调节C形臂XSYS.ARM的位置,C形臂XSYS.ARM可以围绕检查体积VOL旋转,并且可以记录检查体积VOL的X射线图像数据组。相对于所示出的实施例的替代方案替选地,也可行的是,将提供***PRVS实施为控制和评估单元XSYS.CTRL的部分。
即使未明确表明,但是有意义的并且在本发明的意义下,可以将各个实施例、实施例的各个子方面或特征彼此组合或交换,而不脱离本发明的范畴。在没有明确提及可转用的情况下,本发明的参照实施例描述的优点也适用于其他实施例。
Claims (21)
1.一种用于提供检查体积(VOL)的差分图像数据组(DDS)的计算机实施的方法,所述方法包括:
-接收(REC-RDS-1)所述检查体积(VOL)的第一真实图像数据组(RDS-1),
其中,所述检查体积(VOL)包括血管,
其中,所述第一真实图像数据组(RDS-1)描绘包括造影剂的检查体积(VOL),
-通过将第一训练生成器函数(GF-1)应用到输入数据上来确定(DET-DDS)所述检查体积(VOL)的差分图像数据组(DDS),
其中,所述输入数据包括所述第一真实图像数据组(RDS-1),
其中,所述第一训练生成器函数(GF-1)的参数基于GA算法,
-提供(PRV-DDS)所述差分图像数据组(DDS)。
2.根据权利要求1所述的方法,其中,所述第一真实图像数据组(RDS-1)具有第一噪声级,其中,所述差分图像数据组(DDS)具有第二噪声级,并且其中,所述第一噪声级比所述第二噪声级更高。
3.根据权利要求1或2所述的方法,其中,所述第一真实图像数据组(RDS-1)是X射线图像数据组、尤其是二维X射线图像数据组或三维X射线图像数据组。
4.根据上述权利要求中任一项所述的方法,所述方法还包括:
-通过将所述第一训练生成器函数(GF-1)应用到所述输入数据上来确定(DET-MDS)所述检查体积的蒙片图像数据组(MDS),
其中,所述蒙片图像数据组(MDS)描绘无造影剂的检查体积(VOL)。
5.根据上述权利要求中任一项所述的方法,所述方法还包括:
-接收(REC-RDS-2)所述检查体积(VOL)的第二真实图像数据组(RDS-2),
其中,所述第一真实图像数据组(RDS-1)描绘在第一时刻的所述检查体积(VOL),
其中,所述第二真实图像数据组(RDS-2)描绘在第二时刻的所述检查体积(VOL),
其中,所述输入数据还包括所述第二真实图像数据组(RDS-2)。
6.根据上述权利要求中任一项所述的方法,其中,将所述第一训练生成器函数(GF-1)分部段地应用到包含在所述输入数据中的图像数据组上。
7.根据上述权利要求中任一项所述的方法,其中,所述第一训练生成器函数(GF-1)的参数基于循环一致性成本函数。
8.根据上述权利要求中任一项所述的方法,其中,所述第一训练生成器函数(GF-1)包括人工神经网络。
9.根据权利要求8所述的方法,其中,所述训练生成器函数(GF-1)包括残差块、快捷连接、卷积层、解卷积层、池化层和/或空间变换层。
10.一种用于提供第一训练生成器函数(GF-1)的计算机实施的方法,所述方法包括:
-接收(TREC-RDS-1)检查体积(VOL)的第一真实图像数据组(RDS-1),
-接收(TREC-DDS-C)所述检查体积(VOL)的比较差分图像数据组(DDS-C),
-通过将第一训练生成器函数(GF-1)应用到第一输入数据上来确定(TDET-DDS)所述检查体积(VOL)的差分图像数据组(DDS),
其中,所述第一输入数据包括所述第一真实图像数据组(RDS-1),
-通过将第一训练分类器函数(DF-1)应用到所述差分图像数据组(DDS)上来确定(TDET-CV-1)第一分类值,
-通过将所述第一训练分类器函数(DF-1)应用到所述比较差分图像数据组(DDS-C)上来确定(TDET-CV-2)第二分类值,
-基于所述第一分类值和/或所述第二分类值来调整(TADJ-1)所述第一训练生成器函数(GF-1)和/或所述第一训练分类器函数(DF-1),
-提供(PRV-GF-1)所述第一训练生成器函数(GF-1)。
11.根据权利要求10所述的方法,所述方法还包括:
-通过将第二训练生成器函数(GF-2)应用到第二输入数据上来确定(TDET-RDS-1-C)所述检查体积(VOL)的第一比较真实图像数据组(RDS-1-C),
其中,所述第二输入数据包括所述差分图像数据组(DDS),
-基于循环一致性成本函数(CCL)来调整(TADJ-2)所述第二训练生成器函数(GF-2),其中,所述循环一致性成本函数(CCL)基于所述第一真实图像数据组(RDS-1)与所述第一比较真实图像数据组(RDS-1-C)的比较。
12.根据权利要求10或11所述的方法,所述方法还包括:
-接收(TREC-MDS-C)所述检查体积的比较蒙片图像数据组(MDS-C),
-通过将所述第一训练生成器函数(GF-1)应用到所述第一输入数据上来确定(TDET-MDS)所述检查体积(VOL)的蒙片图像数据组(MDS),
-通过将训练蒙片分类器函数(DF-M)应用到所述蒙片图像数据组(MDS)上来确定(TDET-CV-M1)第一蒙片分类值,
-通过将训练蒙片分类器函数(DF-M)应用到所述比较蒙片图像数据组(MDS-C)上来确定(TDET-CV-M2)第二蒙片分类值,
-基于所述第一蒙片分类值和/或所述第二蒙片分类值来调整(TADJ-3)所述第一训练生成器函数(GF-1)和/或所述训练蒙片分类器函数(DF-M)。
13.根据权利要求10至12中任一项所述的方法,所述方法还包括:
-接收(TREC-DDS-T)所述检查体积(VOL)的训练差分图像数据组(DDS-T),
-接收(TREC-RDS-T)所述检查体积(VOL)的训练真实图像数据组(RDS-T),
-通过将所述第二训练生成器函数(GF-2)应用到第二训练输入数据上来确定(TDET-RDS-1-S)第一合成真实图像数据组(RDS-1-S),
其中,所述第二训练输入数据包括所述训练差分图像数据组(DDT-T),
-通过将第二训练分类器函数(DF-2)应用到所述第一合成真实图像数据组(RDS-1-S)上来确定(TDET-CV-3)第三分类值,
-通过将所述第二训练分类器函数(DF-2)应用到所述训练真实图像数据组(RDS-T)上来确定(TDET-CV-4)第四分类值,
-基于所述第三分类值和/或所述第四分类值来调整(TADJ-4)所述第二训练生成器函数(GF-2)和/或所述第二训练分类器函数(DF-2)。
14.根据权利要求13所述的方法,所述方法还包括:
-通过将所述第一训练生成器函数(GF-1)应用到第一训练输入数据上来确定(TDET-DDS-S)所述检查体积(VOL)的合成差分图像数据组(DDS-S),
其中,所述第一训练输入数据包括所述第一合成真实图像数据组(RDS-1-S),
-基于循环一致性成本函数(CCL)来调整(TADJ-5)所述第一训练生成器函数(GF-1),其中,所述循环一致性成本函数(CCL)基于所述训练差分图像数据组(DDS-T)与所述合成差分图像数据组(DDS-S)的比较。
15.根据权利要求13或14所述的方法,所述方法还包括:
-接收(TREC-MDS-T)所述检查体积(VOL)的训练蒙片图像数据组(MDS-T),
其中,所述第二训练输入数据还包括所述训练蒙片图像数据组(MDS-T)。
16.根据权利要求15所述的方法,其中,在将所述第一训练生成器函数(GF-1)应用到所述第一训练输入数据上时,还确定合成蒙片图像数据组(MDS-S),
其中,所述循环一致性成本函数(CCL)还基于所述训练蒙片图像数据组(MDS-T)与所述合成蒙片图像数据组(MDS-S)的比较。
17.根据权利要求1至9中任一项所述的方法,其中,所述第一训练生成器函数(GF-1)通过根据权利要求10至16中任一项所述的方法来提供。
18.一种用于提供检查体积(VOL)的差分图像数据组(DDS)的提供***(PRVS),所述提供***包括接口(IF)和计算单元(CU),
-所述接口(IF)构成用于接收(REC-RDS-1)所述检查体积(VOL)的第一真实图像数据组(RDS-1),
其中,所述检查体积(VOL)包括血管,
其中,所述第一真实图像数据组(RDS-1)描绘包括造影剂的所述检查体积(VOL),
-其中,所述计算单元(CU)构成用于,通过将第一训练生成器函数(GF-1)应用到输入数据上来确定(DET-DDS)所述检查体积(VOL)的差分图像数据组(DDS),
其中,所述输入数据包括所述第一真实图像数据组(RDS-1),
其中,所述第一训练生成器函数(RDS-1)的参数基于GA算法,
-其中,所述接口(IF)还构成用于提供(PRV-DDS)所述差分图像数据组(DDS)。
19.一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序能够直接加载到提供***(PRVS)的存储器(MU)中,所述计算机程序具有程序部段,以便当由所述提供***(PRVS)执行所述程序部段时,执行根据权利要求1至9中任一项或根据权利要求17所述的方法的所有步骤;和/或,所述计算机程序能够直接加载到训练***(TSYS)的训练存储器(TMU)中,所述计算机程序具有程序部段,以便当由所述训练***(TSYS)执行所述程序部段时,执行根据权利要求10至16中任一项所述的方法的所有步骤。
20.一种计算机可读的存储介质,在所述计算机可读的存储介质上存储有由提供***(PRVS)可读的和可执行的程序部段,以便当由所述提供***(PRVS)执行所述程序部段时,执行根据权利要求1至9中任一项或根据权利要求17所述的方法的所有步骤;和/或,在所述计算机可读的存储介质上存储有由训练***(TSYS)可读的和可执行的程序部段,以便当由所述训练***(TSYS)执行所述程序部段时,执行根据权利要求10至16中任一项所述的方法的所有步骤。
21.一种计算机程序或计算机可读的存储介质,所述计算机程序或计算机可读的存储介质包括通过根据权利要求10至16中任一项所述的方法提供的第一训练生成器函数(GF-1)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019208496.6A DE102019208496B4 (de) | 2019-06-12 | 2019-06-12 | Computerimplementierte Verfahren und Vorrichtungen zum Bereitstellen eines Differenzbilddatensatzes eines Untersuchungsvolumens und zum Bereitstellen einer trainierten Generatorfunktion |
DE102019208496.6 | 2019-06-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112085807A true CN112085807A (zh) | 2020-12-15 |
CN112085807B CN112085807B (zh) | 2023-12-15 |
Family
ID=73547170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010529347.0A Active CN112085807B (zh) | 2019-06-12 | 2020-06-11 | 提供差分图像数据组和训练生成器函数的方法和提供*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US11423539B2 (zh) |
CN (1) | CN112085807B (zh) |
DE (1) | DE102019208496B4 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6954719B2 (ja) | 2018-07-06 | 2021-10-27 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 検査ボリュームの差分画像データセットの決定 |
WO2020024127A1 (zh) * | 2018-08-01 | 2020-02-06 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其***及其预测方法 |
DE102019210545B4 (de) | 2019-07-17 | 2024-02-01 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisbilddatensatzes und einer trainierten Generatorfunktion |
US11762951B2 (en) * | 2020-11-18 | 2023-09-19 | Adobe Inc. | Generative image congealing |
CN112967260B (zh) * | 2021-03-17 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
CN114117333B (zh) * | 2022-01-20 | 2022-05-17 | 南湖实验室 | 用于异常检测的对抗重构网络设计、训练方法及检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
DE102017203248B3 (de) * | 2017-02-28 | 2018-03-22 | Siemens Healthcare Gmbh | Verfahren zum Bestimmen einer Biopsieposition, Verfahren zum Optimieren eines Positionsbestimmungsalgorithmus, Positionsbestimmungseinheit, bildgebende medizinische Vorrichtung, Computerprogrammprodukte und computerlesbare Speichermedien |
CN107997778A (zh) * | 2016-10-31 | 2018-05-08 | 西门子保健有限责任公司 | 在计算机断层扫描血管造影术中基于深度学习的骨移除 |
CN108899075A (zh) * | 2018-06-28 | 2018-11-27 | 众安信息技术服务有限公司 | 一种基于深度学习的dsa图像检测方法、装置及设备 |
CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
US20190090834A1 (en) * | 2017-09-28 | 2019-03-28 | Siemens Healthcare Gmbh | Determining a two-dimensional mammography dataset |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600511B2 (en) * | 2018-02-20 | 2020-03-24 | International Business Machine Corporation | Accelerating human understanding of medical images by dynamic image alteration |
JP6954719B2 (ja) | 2018-07-06 | 2021-10-27 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 検査ボリュームの差分画像データセットの決定 |
US11042778B2 (en) * | 2018-11-29 | 2021-06-22 | International Business Machines Corporation | Generating realistic organ x-ray angiography (XA) images for deep learning consumption |
DE102019207238A1 (de) | 2019-05-17 | 2020-11-19 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisbilddatensatzes |
-
2019
- 2019-06-12 DE DE102019208496.6A patent/DE102019208496B4/de active Active
-
2020
- 2020-06-03 US US16/891,446 patent/US11423539B2/en active Active
- 2020-06-11 CN CN202010529347.0A patent/CN112085807B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN107997778A (zh) * | 2016-10-31 | 2018-05-08 | 西门子保健有限责任公司 | 在计算机断层扫描血管造影术中基于深度学习的骨移除 |
DE102017203248B3 (de) * | 2017-02-28 | 2018-03-22 | Siemens Healthcare Gmbh | Verfahren zum Bestimmen einer Biopsieposition, Verfahren zum Optimieren eines Positionsbestimmungsalgorithmus, Positionsbestimmungseinheit, bildgebende medizinische Vorrichtung, Computerprogrammprodukte und computerlesbare Speichermedien |
US20190090834A1 (en) * | 2017-09-28 | 2019-03-28 | Siemens Healthcare Gmbh | Determining a two-dimensional mammography dataset |
CN108899075A (zh) * | 2018-06-28 | 2018-11-27 | 众安信息技术服务有限公司 | 一种基于深度学习的dsa图像检测方法、装置及设备 |
CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801282A (zh) * | 2021-03-24 | 2021-05-14 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112085807B (zh) | 2023-12-15 |
DE102019208496B4 (de) | 2024-01-25 |
US20200394790A1 (en) | 2020-12-17 |
DE102019208496A1 (de) | 2020-12-17 |
US11423539B2 (en) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112085807B (zh) | 提供差分图像数据组和训练生成器函数的方法和提供*** | |
JP7150837B2 (ja) | 機械学習を使用した画像生成 | |
JP7245364B2 (ja) | 変形可能な層を有するCycleGANを用いたsCT画像生成 | |
JP7187476B2 (ja) | 深層学習に基づくトモグラフィ再構成 | |
EP3716214B1 (en) | Medical image processing apparatus and method for acquiring training images | |
JP6855223B2 (ja) | 医用画像処理装置、x線コンピュータ断層撮像装置及び医用画像処理方法 | |
CN110807737B (zh) | 迭代图像重建框架 | |
JP7202302B2 (ja) | 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 | |
CN111540025B (zh) | 预测用于图像处理的图像 | |
CN112770838A (zh) | 使用自关注深度学习进行图像增强的***和方法 | |
EP3785234A1 (en) | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques | |
CN108242067B (zh) | 计算具有可变空间分辨率的四维dsa数据组 | |
KR102428725B1 (ko) | 영상 개선 방법 및 이를 수행하는 컴퓨터 프로그램 | |
JP2020022728A (ja) | 検査ボリュームの差分画像データセットの決定 | |
CN111435542A (zh) | 提供差分图像数据组和提供训练函数 | |
JP2023515367A (ja) | モデルへの入力インスタンスの分布外検出 | |
US20200151880A1 (en) | Reconstruction of difference images using prior structural information | |
US11532074B2 (en) | Providing a resultant image dataset and providing a trained generator function | |
CN111435530B (zh) | 提供限制图像数据组和/或差分图像数据组 | |
Zarei et al. | A Physics-informed Deep Neural Network for Harmonization of CT Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |