KR20190139580A - high-definition heart image producing apparatus using deep learning and method therefor - Google Patents
high-definition heart image producing apparatus using deep learning and method therefor Download PDFInfo
- Publication number
- KR20190139580A KR20190139580A KR1020180066221A KR20180066221A KR20190139580A KR 20190139580 A KR20190139580 A KR 20190139580A KR 1020180066221 A KR1020180066221 A KR 1020180066221A KR 20180066221 A KR20180066221 A KR 20180066221A KR 20190139580 A KR20190139580 A KR 20190139580A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual
- loss value
- generating
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 76
- 238000002592 echocardiography Methods 0.000 claims abstract description 31
- 230000000747 cardiac effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008602 contraction Effects 0.000 claims 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000002565 electrocardiography Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000011002 quantification Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000003205 diastolic effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
본 발명은 심초음파(Echocardiogram; echo) 영상, 심전도(electrocard iography; ECG)값 및 쌍(pair)을 이루는 고화질(high resolution) 의료영상(computed tomography; CT, magnetic resonance imaging; MRI 등)을 이용하여 고화질 의료영상을 생성(generation)할 수 있는 딥러닝(deep learning) 모델을 통해 저화질의 심초음파 영상을 기반으로 가상(virtual)의 고화질 CT영상을 생성하는 장치 그 방법에 대한 것이다.The present invention uses echocardiogram (echo) images, electrocardiography (ECG) values and paired high resolution computed tomography (CT, magnetic resonance imaging; MRI, etc.). An apparatus for generating a virtual high-quality CT image based on a low-quality echocardiography image through a deep learning model capable of generating high-quality medical images.
종래의 기술에서도 심초음파 판막(valve) 정량화(quantification)를 통해 자동화된 정량화는 가능하며, 이때 심초음파 판막에서 정량화되는 변수는 판막의 면적, 판막의 두께, 판막의 압력 반감기, 판막의 압력차이, 혈류 속도, 혈류 속도 비 등이 있다.Even in the prior art, automated quantification is possible through echocardiography quantification, in which the variables quantified in the echocardiography are the area of the valve, the thickness of the valve, the pressure half-life of the valve, the pressure difference of the valve, Blood flow rate, blood flow rate ratio, and the like.
그러나 이러한 정량화에 있어 심초음파 영상의 화질(spatial resolution)은상대적으로 낮은 화질을 가지고 있으므로 정확한 자동 정량화에 한계가 존재한다.However, in this quantification, the spatial resolution of the echocardiography image has a relatively low image quality, and thus there is a limit to accurate automatic quantification.
종래의 기술에 따르면 심초음파 영상과 심전도 값을 동시에 고려하여 이완기 말기(end-diastolic; ED)와 수축기 말기(end-systolic; ES)을 정확히 알 수 있으며, 이때 판막은 심실과 마찬가지로 전기신호를 통해 열리고 닫히는 기능을 반복하기 때문에 이완기 말기와 수축기 말기를 정확히 알 수 있다면 심전도는 판막이 완전히 열리는 순간의 영상과 완전히 닫히는 순간의 영상을 얻을 수 있는 근거가 된다. According to the related art, the end-diastolic (ED) and the end-systolic (ES) can be accurately known by considering the echocardiography and electrocardiogram simultaneously. If the end-to-end diastolic and end-to-end systolic are known exactly because the opening and closing functions are repeated, the electrocardiogram is the basis for obtaining images of the moment when the valve is fully opened and images of the moment when the valve is completely closed.
하지만 부정맥(arrhythmia)과 같이 정확한 심전도를 얻지 못하는 경우 이완기 말기와 수축기 말기의 정확한 순간을 확보하기 어렵기 때문에 단순 심초음파 영상만 이용한 정량화에는 한계가 존재한다.However, there is a limit in quantification using only simple echocardiography because it is difficult to obtain accurate moments at the end of the diastolic and the end of the systolic stage when the cardiogram is not obtained, such as arrhythmia.
이러한 저화질에서의 한계를 극복하고자 이미지 프로세싱 분야에서 최근 GAN (generative adversarial network)을 이용하여 영상을 높은 정확도로 생성 가능하며, 이는 가우시안 분포를 따르는 잡음(latent vector; z)으로부터 정답 영상과의 분포의 차이를 줄여 가상의 영상을 생성할 수 있도록 하는 손실을 최소화하는 생성기(generator)와, 가상으로 생성된 영상과 정답 영상의 차이를 판별하여 진짜 영상인지 가짜 영상인지 판별하는 판별기(discriminator)로 구성될 수 있다.In order to overcome this limitation in low quality, the image processing field has been able to generate images with high accuracy using the recent GAN (generative adversarial network), which is based on the distribution of the distribution with the correct image from the noise vector (z) following the Gaussian distribution. It consists of a generator that minimizes the loss to reduce the difference and generates a virtual image, and a discriminator that discriminates between the virtually generated image and the correct answer image to determine whether it is a real image or a fake image. Can be.
여기서 생성기는 판별기를 속이기 위해 더욱 진짜 영상의 분포와 유사한 영상을 생성하기위해 손실을 반복적으로 줄여 나가고, 판별기는 더욱 정확히 영상의 진위여부를 판단하기 위해 기각의 기준을 높일 수 있으며, 최종적으로 생성기의 손실을 최소화하고, 판별기의 손실을 최대화하는 분포의 위치(혹은 분포)를 이용하여 실제 영상과 유사한 가상의 영상을 생성할 수 있다.Here, the generator repeatedly reduces the loss to generate a more similar image of the real image to deceive the discriminator, and the discriminator can raise the criterion of rejection to more accurately determine the authenticity of the image. A virtual image similar to a real image may be generated by using a position (or distribution) of a distribution that minimizes loss and maximizes loss of a discriminator.
그러나 이러한 알고리즘(GAN)은 이용자가 입력영상을 조절하지 못하는 문제가 있기 때문에 새로운 기법인 cGAN (conditional generative adversarial network)이 제안되었으며, 이는 상기 알고리즘의 입력이 가우시안 잡음 분포인데 반해, 영상의 분포를 입력할 수 있다.However, since the algorithm (GAN) has a problem that the user cannot control the input image, a new technique, a conditional generative adversarial network (cGAN), has been proposed. This means that the input of the algorithm is a Gaussian noise distribution. can do.
가령 가우시안 잡음으로 생성된 영상은 학습한 영상과 유사하지만 기준을 파악하기 힘든 무작위 영상이 생성되는 반면에, cGAN은 입력영상의 기준에 따라 학습한 결과기반 가상의 영상이 생성되기 때문에 이용자가 통제하기 쉽다는 장점을 가지고 있다.For example, an image generated with Gaussian noise generates a random image that is similar to the learned image but difficult to grasp, while cGAN generates a virtual image based on the result of learning based on the criteria of the input image. Easy has the advantage.
또한 알고리즘(cGAN)의 입력에 한 쌍의 영상을 입력하여 쌍의 생성과 판별을 학습하여 각각의 영상으로 변환이 가능하도록 약간의 편법을 이용하는 방법(pix2pix)도 대두되고 있으며, 가령 스케치한 동물 영상과 실제 동물사진의 쌍을 학습하는 모델이 있다면, 해당 모델의 입력에 스케치한 영상을 입력으로 하면 실제와 유사한 가상의 동물사진이, 입력에 실제 동물사진을 입력으로 하면 실제 동물영상의 스케치 된 영상을 생성하는 기능을 제공할 수 있다.In addition, a method (pix2pix) has been developed to input a pair of images to the input of the algorithm (cGAN) to learn the generation and discrimination of the pair and convert them into individual images (pix2pix). If there is a model that learns a pair of real animal photographs, a sketched image of the actual animal image is inputted by inputting a sketched image into the input of the corresponding model. It can provide a function to generate.
이뿐만 아니라 최근 알고리즘(cGAN)에 계급(class)을 나누기 위한 방법으로 ACGAN이 제안되었으며 이는 입력 분포 값의 뒷 부분에 계급을 추가하고 그 이후 알고리즘(cGAN)과 동일한 학습을 수행할 수 있으며, 이로 인하여 해당 모델에 영상과 계급을 입력으로 하면 계급별로 구분이 가능한 가상의 영상을 생성할 수 있다.In addition, ACGAN has been proposed as a method for dividing classes into recent algorithms (cGANs), which can add a class to the back of the input distribution and then perform the same learning as the algorithms (cGANs). Therefore, if the image and rank are input to the corresponding model, a virtual image that can be distinguished by rank can be generated.
그러나 상술한 GAN은 영상의 통제가 어려운 문제점, cGAN은 계급 구분이 어려운 문제점, ACGAN)의 문제점은 판별기가 입력 쌍 간의 진위여부를 판별할 뿐, 가짜 영상과 진짜 영상 간 진위여부를 판별하지 못하는 한계점이 존재하여 실제 응용분야에서 활발하게 사용되는데 제한적인 부분이 존재한다.However, the above-mentioned GAN problem is difficult to control the image, cGAN problem is difficult to classify, ACGAN (problem) problem that the discriminator only discriminate between authenticity between input pairs, it is not able to determine the authenticity between the fake image and the real image This exists and is actively used in practical applications.
본 발명은 종래의 GAN의 다양한 유형들이 가지고 있는 다수의 문제점들을 해결하면서도 실제로 의료영역에 사용될 수 있을 만큼의 정확도를 가지는 가상 영상을 생성하여 제공하기 위하여 심전도 1회 순환을 기준으로 심장의 상태를 계급화 하여 GAN 모델의 입력 latent code c에 할당함으로써 계급간 영상의 변화를 주고, 판별을 수행하는 판단부를 2개로 구성하여 입력 쌍 간의 진위여부 판별 뿐만 아니라, 가상 CT영상과 진짜 CT영상 간 진위여부를 판별할 수 있도록 구성하여 심초음파 영상의 특징 분포와 실제 CT영상의 특징 분포를 같게 함과 동시에 실제 CT영상과 생성된 가상 CT영상의 특징 분포도 같게 하여 더욱 실제에 가까운 영상을 생성할 수 있는 딥러닝을 이용한 고화질 심장 영상 생성장치 및 그 방법을 제공하는 데 그 목적이 있다.The present invention classifies the state of the heart on the basis of a single electrocardiogram in order to solve and solve a number of problems with various types of conventional GANs, and to generate and provide a virtual image having accuracy enough to be actually used in a medical field. By assigning to the input latent code c of the GAN model, it is possible to change the image between classes, and make up two judging units to determine the authenticity between input pairs, as well as the authenticity between the virtual CT image and the real CT image. It is configured to make the feature distribution of the echocardiogram image and the feature distribution of the real CT image the same, and also the deeper learning that can produce a more real image by making the feature distribution of the real CT image and the generated virtual CT image the same. It is an object of the present invention to provide a high quality cardiac image generating apparatus and a method thereof.
본 발명의 실시 예에 따르면 딥러닝을 이용한 고화질 심장 영상 생성장치는 미리 설정되어 있는 가상영상 생성 모델 또는 수신한 손실 값을 반영한 가상영상 생성 모델을 기반으로 하여 입력받은 심초음파 영상을 이용해 고화질의 가상 CT영상을 생성하는 가상 영상 생성부; 수신한 실제 CT영상과 상기 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 상기 가상 CT영상의 진위여부를 판단하는 제1 판단부; 상기 심초음파 영상과 상기 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단하는 제2 판단부; 및 상기 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 상기 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 상기 생성된 가상 영상의 손실 값을 산출하는 손실 값 산출부를 포함하고, 상기 손실 값을 상기 가상 영상 생성부에 제공하고, 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복함으로써 상대적으로 더 실제와 동일한 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, a high-quality cardiac image generating apparatus using deep learning uses a pre-set virtual image generation model or a virtual image generation model reflecting a received loss value, and uses a received echocardiography image to provide a high quality virtual image. A virtual image generator for generating a CT image; A first determination unit comparing the difference of data distribution between the received real CT image and the generated virtual CT image to determine the authenticity of the virtual CT image; A second judging unit which judges the authenticity of the data distribution pair of the echocardiogram image and the actual CT image; And calculating a loss value of the generated virtual image by reflecting an authenticity determination result received from the first and second determination units, the virtual CT image, a preset weight value, an electrocardiogram rank range, and a mutual information amount. A virtual CT image may be generated by providing the loss value to the virtual image generation unit and repeating a generation process of the virtual CT image reflecting the loss value.
본 발명의 일 실시 예에 따르면 심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정하는 심전도 계급 설정부를 더 포함할 수 있다.According to an embodiment of the present invention may further include an ECG class setting unit for setting the class range of the ECG divided into 10 ranks according to the heart rate cycle.
본 발명의 일 실시 예에 따르면 상기 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정할 수 있다.According to an embodiment of the present invention, the rank of the ECG may be set to 10 ranks by subdividing the period up to the next R into 10 steps based on the R value of the QRS wave generated when the ventricles contract.
본 발명의 일 실시 예에 따르면, 상기 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 상기 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정하는 영상 전처리부를 더 포함할 수 있다.According to an embodiment of the present invention, before using the echocardiography image and the real CT image, an optimal short axis and a long axis calculated for the echocardiogram image and the real CT image are applied, and the 3D image is converted into a 2D image. The apparatus may further include an image preprocessor configured to separate the set and adjust the window width and the window level for optimal contrast.
본 발명의 일 실시 예에 따르면 상기 손실 값 산출부는, 상기 제1 판단부와 제2 판단부의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 상기 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출할 수 있다.According to an embodiment of the present invention, the loss value calculator applies first and second weights preset to loss values according to the determination result of the first determination unit and the second determination unit, and adds the loss values reflecting the weights. Therefore, a loss value for correcting a problem in which the echocardiogram distribution is lost can be calculated.
본 발명의 일 실시 예에 따르면 상기 가상 영상 생성부는, 수신한 상기 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 상기 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 상기 제1 판단부에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복할 수 있다.According to an embodiment of the present invention, the virtual image generating unit corrects an error between the data distribution of the actual CT image and the data distribution of the virtual CT image by applying the received loss value, and has the corrected data distribution. By generating the CT image, the first determination unit may repeat the generation of the virtual CT image reflecting the loss value until the authenticity determination accuracy of the actual CT image and the virtual CT image reaches 50%.
본 발명의 실시 예에 따르면 딥러닝을 이용한 고화질 심장 영상 생성방법은 미리 설정되어 있는 가상영상 생성 모델 또는 수신한 손실 값을 반영한 가상영상 생성 모델을 기반으로 하여 입력받은 심초음파 영상을 이용해 고화질의 가상 CT영상을 생성하는 단계; 수신한 실제 CT영상과 상기 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 상기 가상 CT영상의 진위여부를 판단하는 제1 판단 단계; 상기 심초음파 영상과 상기 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단하는 제2 판단 단계; 및 상기 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 상기 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 상기 생성된 가상 영상의 손실 값을 산출하는 단계를 포함하고, 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복함으로써 상대적으로 더 실제와 동일한 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, a high quality cardiac image generation method using deep learning uses a virtual image generation model based on a preset virtual image generation model or a virtual image generation model that reflects a received loss value, and thus uses a high quality virtual image. Generating a CT image; A first determination step of determining whether the virtual CT image is authentic by comparing a difference in data distribution between the received actual CT image and the generated virtual CT image; A second determination step of determining the authenticity of the data distribution pair of the echocardiogram image and the actual CT image; And calculating a loss value of the generated virtual image by reflecting an authenticity determination result received from the first and second determination units, the virtual CT image, a predetermined weight value, an ECG class range, and a mutual information amount. In addition, by repeating the generation of the virtual CT image reflecting the loss value, it is possible to generate a virtual CT image that is relatively more realistic.
본 발명의 일 실시 예에 따르면 심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the method may further include setting a rank range of the ECG by dividing the rank into ten ranks according to the heartbeat cycle.
본 발명의 일 실시 예에 따르면 상기 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정할 수 있다.According to an embodiment of the present invention, the rank of the ECG may be set to 10 ranks by subdividing the period up to the next R into 10 steps based on the R value of the QRS wave generated when the ventricles contract.
본 발명의 일 실시 예에 따르면 상기 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 상기 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, before using the echocardiography image and the real CT image, an optimal short axis and a long axis calculated for the echocardiogram image and the real CT image are applied, and the 3D image is a set of 2D images. The method may further include adjusting the window width and the window level for optimal contrast.
본 발명의 일 실시 예에 따르면 상기 손실 값을 산출하는 단계는, 상기 제1 판단 단계와 제2 판단 단계의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 상기 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출할 수 있다.According to an embodiment of the present disclosure, the calculating of the loss value may include applying first and second weights preset to loss values according to the determination result of the first determination step and the second determination step, and reflecting the weight. The loss values may be summed to calculate a loss value for correcting the problem of loss of echocardiogram distribution.
본 발명의 일 실시 예에 따르면 상기 가상 CT영상을 생성하는 단계는, 수신한 상기 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 상기 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 상기 제1 판단 단계에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복할 수 있다.According to an embodiment of the present invention, the generating of the virtual CT image may include correcting an error between the data distribution of the actual CT image and the data distribution of the virtual CT image by applying the received loss value. By generating a virtual CT image having a distribution, the process of generating the virtual CT image reflecting the loss value is repeated until the authenticity determination accuracy of the real CT image and the virtual CT image reaches 50% in the first determination step. Can be.
본 발명의 실시 예에 딥러닝을 이용한 고화질 심장 영상 생성장치 및 그 방법을 이용하여 저화질의 심초음파 영상으로부터 고화질의 가상 CT영상을 생성함으로써 기존 심초음파 영상을 이용한 판막의 정상/비정상 판독보다 그 정확도를 높일 수 있을 뿐만 아니라, 판독자로 하여금 구조적 특징과 움직임 특징을 직관적으로 파악할 수 있고, 가상 CT영상 생성시 종래의 심초음파 영상에서는 볼 수 없었던 특징을 파악 가능케하여 병변을 놓치는 확률을 줄일 수 있는 효과를 제공할 수 있다.According to an embodiment of the present invention, a high-quality cardiac image generating apparatus using deep learning and a method thereof are used to generate a high-quality virtual CT image from a low-quality echocardiogram, which is more accurate than normal / abnormal reading of a valve using an existing echocardiography. In addition, the reader can intuitively grasp structural features and movement features, and it is possible to reduce the probability of missing a lesion by allowing the reader to grasp features not seen in conventional echocardiography when generating a virtual CT image. Can be provided.
또한 심초음파의 병변 판단을 위해서 오랜 기간 경험을 쌓아야 하는 부분을 가성 CT영상 생성으로 직관적 영상을 통해 수련이 높지 않은 판독의도 정확한 판독이 가능하도록 장벽을 줄일 수 있는 효과도 제공할 수 있다.In addition, it is possible to provide an effect that can reduce barriers so that accurate readings can be made even inexperienced through intuitive image generation by generating a pseudo CT image where the long-term experience should be acquired for judging an echocardiography lesion.
도 1은 본 발명의 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.
도 2는 본 발명의 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 데이터 흐름을 나타낸 도면이다.
도 3은 도 1에 도시된 제1 판단부에서 데이터 분포의 차이를 비교하는 과정을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 상호 정보량을 설명하기 위한 다이아그램이다.
도 5는 본 발명의 제2 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.
도 6은 본 발명의 일 실시 예에 따른 심전도 계급 범위의 설정을 설명하기 위한 도면이다.
도 7은 본 발명의 제3 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.
도 8은 도 7에 개시된 영상 전처리부의 세부 프로세스를 나타낸 도면이다.
도 9는 본 발명의 일 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성방법의 흐름도이다.1 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a first embodiment of the present invention.
2 is a diagram illustrating a data flow of a high quality cardiac image generating apparatus using deep learning according to a first embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of comparing a difference in data distribution in the first determiner illustrated in FIG. 1.
4 is a diagram illustrating a mutual information amount according to an embodiment of the present invention.
5 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a second embodiment of the present invention.
6 is a view for explaining the setting of the ECG rank range according to an embodiment of the present invention.
7 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a third embodiment of the present invention.
FIG. 8 is a diagram illustrating a detailed process of the image preprocessor of FIG. 7.
9 is a flowchart illustrating a method of generating a high quality heart image using deep learning according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, except to exclude other components unless specifically stated otherwise.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치 및 그 방법에 대하여 설명한다.Hereinafter, a high quality cardiac image generating apparatus using deep learning and a method thereof will be described with reference to the accompanying drawings.
도 1은 본 발명의 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.1 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a first embodiment of the present invention.
도 1을 참조하면 본 발명의 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치는 가상 영상 생성부(100), 제1 판단부(200), 제2 판단부(300), 손실 값 산출부(400)를 포함할 수 있다.Referring to FIG. 1, the apparatus for generating a high quality cardiac image using deep learning according to an exemplary embodiment of the present invention may include a
본 발명의 일 실시 예에 따르면 가상 영상 생성부(100)는 미리 설정되어 있는 가상영상 생성 모델 또는 수신한 손실 값을 반영한 가상영상 생성 모델을 기반으로 하여 입력받은 심초음파 영상을 이용해 고화질의 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, the virtual
본 발명의 일 실시 예에 따르면 가상 영상 생성부(100)의 가상영상 생성 모델로는 GAN (generative adversarial network)을 사용할 수 있으며, 더 자세하게는 cGAN (conditional generative adversarial network) 또는 ACGAN(Auxiliary Classifier Generative Adversarial Network)의 모델이 사용될 수 있다.According to an embodiment of the present invention, a virtual image generation model of the virtual
본 발명의 일 실시 예에 따르면 가상 영상 생성부(100)의 가상영상 생성 모델은 최초에는 손실 값이 반영되지 아니한 상태로 운영되다, 가상 CT영상의 생성 과정을 반복할 때마다 손실 값 산출부(400)로부터 얻어지는 손실 값을 수신하고, 이를 반영하여 점진적으로 실제 CT영상과 데이터의 분포가 동일하여 제1 판단부(100)에서 진위여부에 대한 정답을 맞힐 확률이 50%에 다가가도록 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, the virtual image generation model of the virtual
본 발명의 일 실시 예에 따르면 제1 판단부(200)는 수신한 실제 CT영상과 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 가상 CT영상의 진위여부를 판단할 수 있다.According to an embodiment of the present invention, the
본 발명의 일 실시 예에 따르면 수신한 실제 CT영상과 생성된 가상 CT영상의 데이터 분포의 차이를 비교하는 것은 심초음파 영상의 특징 분포와 실제 CT영상의 특징 분포가 동일한 위치에 존재하는지 여부에 따라 판단할 수 있다.According to an embodiment of the present invention, comparing the difference of data distribution between the received real CT image and the generated virtual CT image depends on whether the feature distribution of the echocardiogram image and the feature distribution of the actual CT image are present at the same position. You can judge.
실제 CT영상과 생성된 가상 CT영상의 데이터 분포의 차이를 비교하는 방법에 대해서는 도 3을 참조하며 더 자세하게 설명하도록 한다.A method of comparing the difference in data distribution between the actual CT image and the generated virtual CT image will be described in more detail with reference to FIG. 3.
본 발명의 일 실시 예에 따르면 제2 판단부(300)는 심초음파 영상과 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단할 수 있다.According to an embodiment of the present invention, the
본 발명의 일 실시 예에 따르면 심초음파 영상과 실제 CT 영상의 데이터 분포 쌍의 진위여부를 판단하는 것은 심초음파 영상과 실제 CT 영상의 데이터 분포의 쌍이 동일하게 존재하는지 여부로 판단할 수 있다.According to an embodiment of the present invention, the authenticity of the data distribution pairs of the echocardiography image and the actual CT image may be determined by whether the pairs of data distributions of the echocardiography image and the actual CT image are identical.
본 발명의 일 실시 예에 따르면 손실 값 산출부(400)는 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 생성된 가상 영상의 손실 값을 산출할 수 있다.According to an embodiment of the present invention, the loss
본 발명의 일 실시 예에 따르면 손실 값 산출부(400)는 제1 판단부(200)와 제2 판단부(300)의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출할 수 있다.According to an embodiment of the present invention, the
상기 실시 예에 따르면 손실 값 산출부(400)는 아래의 수학식 1에 의하여 손실 값을 산출할 수 있다.According to the exemplary embodiment, the
[수학식 1][Equation 1]
상기 수학식 1에서 D1은 제1 판단부(200)이며 D2는 제2 판단부(300)이며, G는 가상영상 생성부(100)이며, z는 심초음파 영상, c는 심전도 계급 범위 값일 수 있다.In Equation 1, D1 is the
또한 w1과 w2는 각각 제1, 2판단부의 제1, 2가중치 값이며, I는 c와 G(z,c) 사이의 상호 정보량일 수 있다.In addition, w1 and w2 are first and second weighted values of the first and second determination parts, respectively, and I may be the mutual information amount between c and G (z, c).
여기서 상호 정보량은 c에서 G(z, c)로부터 설명될 수 있는 정보량(amount of information)을 의미할 수 있으며, 더 자세하게는 I(c, G(z, c))는 G(z, c)가 관측되었을 때, c에서 사라지는 불확실성(uncertainty)의 양이라 정의할 수 있으며, 그에 따라 두 값이 독립이면 I(c, G(z, c)는 0일 수 있다.Here, the mutual information amount may mean an amount of information that can be explained from G (z, c) in c, and more specifically, I (c, G (z, c)) is G (z, c). When is observed, it can be defined as the amount of uncertainty (uncertainty) disappearing from c. Thus, if two values are independent, I (c, G (z, c) may be zero.
상호 정보량에 대한 더 정확한 설명은 도 4를 참조하여 더 자세하게 설명하도록 한다.A more accurate description of the mutual information amount will be described in more detail with reference to FIG. 4.
본 발명의 일 실시 예에 따르면 생성된 손실 값을 가상 영상 생성부(100)에 제공하고, 가상 영상 생성부(100)는 손실 값을 반영하여 가상영상 생성 모델을 이용하여 가상 CT영상을 생성하는 과정을 반복함으로써 점차 더 실제 CT영상과 동일한 가상 CT영상을 제공할 수 있다.According to an embodiment of the present invention, the generated loss value is provided to the
본 발명의 일 실시 예에 따르면 손실 값을 반영하여 가상영상 생성 모델을 이용하여 가상 CT영상을 생성하는 과정을 반복할수록 상대적으로 더 실제와 동일한 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, as the process of generating the virtual CT image by using the virtual image generation model by reflecting the loss value is repeated, a virtual CT image that is more realistic than the actual one may be generated.
상기 실시 예에 따르면 가상 영상 생성부(100)는 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 제1 판단부(200)에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 손실 값을 반영한 가상 CT영상의 생성 과정을 반복할 수 있다.According to the exemplary embodiment, the
도 2는 본 발명의 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 데이터 흐름을 나타낸 도면이다.2 is a diagram illustrating a data flow of a high quality cardiac image generating apparatus using deep learning according to a first embodiment of the present invention.
도 2를 참조하면 딥러닝을 이용한 고화질 심장 영상 생성장치는 심초음파 영상 및 실제 CT영상을 수신하고, 가상 영상 생성부(100)를 통해 미리 설정된 가상영상 생성 모델을 이용하여 가상 CT영상을 생성할 수 있다.Referring to FIG. 2, the apparatus for generating high-quality heart images using deep learning receives an echocardiogram image and a real CT image, and generates a virtual CT image by using a virtual image generation model preset through the
그 이후 제1 판단부(200)를 이용하여 실제 CT영상과 상기 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 상기 가상 CT영상의 진위여부를 판단할 수 있다.Thereafter, the authenticity of the virtual CT image may be determined by comparing the difference of data distribution between the actual CT image and the generated virtual CT image using the
또한 제2 판단부(300)를 이용하여 심초음파 영상과 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단하고, 손실 값 산출부(400)를 통해 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 상기 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 상기 생성된 가상 영상의 손실 값을 산출할 수 있다.In addition, the authenticity of the data distribution pairs of the echocardiography image and the actual CT image is determined using the
마지막으로 산출된 손실 값을 가상 영상 생성부(100)에 제공하고, 가상 영상 생성부(100)는 손실 값을 반영한 가상 CT영상의 생성 과정을 반복할 수 있다.Finally, the calculated loss value is provided to the
도 3은 도 1에 도시된 제1 판단부(100)에서 데이터 분포의 차이를 비교하는 과정을 나타내는 도면이다.3 is a diagram illustrating a process of comparing the difference of data distribution in the
도 3을 참조하면 제1 판단부(100)에서 실제 CT영상과 가상 CT영상의 데이터 분포 비교방법에 대하여 도시되어 있다.Referring to FIG. 3, the
도 3의 굵은 점선은 데이터 생성 분포(data generating distribution)이고, 얇은 점선은 판별기 분포(discriminator distribution), 마지막으로 실선은 생성적 분포(generative distribution)를 나타낸다.The thick dashed line in FIG. 3 is the data generating distribution, the thin dashed line is the discriminator distribution, and finally the solid line is the generative distribution.
즉 굵은 점선이 기준이 되는 분포(실제 CT영상)이고, 얇은 점선이 실선과 굵은 점선과 유사하게 될 수 있도록 가이딩을 해주는 기준으로 볼 수 있다.In other words, the thick dotted line is a distribution (actual CT image) as a reference, and the thin dotted line can be regarded as a guide for guiding so that the thin line is similar to the solid line and the thick dotted line.
본 발명의 일 실시 예에 따르면 본 발명의 처음 실행할 때에는 (a)단계와 같이 굵은 점선과 실선이 전혀 다르다가 제1 판단부(100)가 두 분포를 구별하기 위해 손실 값을 이용하여 학습하고, 이러한 과정이 반복적으로 진행되면((b)~(C)단계) 결국 제1 판단부(200)가 실제 CT영상(굵은 점선)와 가상 CT영상(실선)를 구별하지 못하는 단계, 즉 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달하는 (d)단계에 도달하게 된다.According to an embodiment of the present invention, when the first execution of the present invention, the thick dashed line and the solid line are completely different as in step (a), but the
도 4는 본 발명의 일 실시 예에 따른 상호 정보량을 설명하기 위한 다이아그램이다.4 is a diagram illustrating a mutual information amount according to an embodiment of the present invention.
도 4를 참조하면 본 발명의 일 실시 예에 따른 상호 정보량은 가상 영상 생성 모델이 표현 학습(Representation Learning)을 진행할 때 약간의 제약을 주어, 보다 풀린(disentangled) 방식으로 표현을 학습하도록 도와줄 수 있으며, 이를 위해서 입력 노이즈 벡터(input noise vector)를 더이상 압축되지 않는 노이즈에 해당하는 z와 데이터 분포의 의미 특징(semantic feature)에 해당하는 latent code c로 나누어 입력할 수 있다.Referring to FIG. 4, the amount of mutual information according to an embodiment of the present invention may help to learn a representation in a more disentangled manner by giving a slight restriction when the virtual image generation model performs representation learning. For this, the input noise vector may be divided into z, which corresponds to noise that is no longer compressed, and latent code c, which corresponds to a semantic feature of the data distribution.
이 때 각각의 code ci에 대한 분포는 가장 간단하게 P(c1,c2...cL)=ΠL i=1P(ci)과 같은 계수 분포(factored distribution)를 갖는다 가정하고 모든 i에 대해 연관된(concatenate) code를 c라고 정의할 수 있다.In this case, the distribution for each code ci is most simply associated with all i, assuming that it has a factored distribution such that P (c1, c2 ... cL) = Π L i = 1 P (ci). You can define (concatenate) code as c.
본 발명의 일 실시 예에 따르면 c1은 각각의 0~9 digit type에 대응하도록 c1∼Cat(K=10,p=0.1)와 같이 categorical code를 갖게 하고 c2와 c3는 회전이나 두께와 같은 것에 대응되는 continuous code를 갖도록 c2,c3∼Unif(-1,1) 분포를 줄 수 있다.According to an embodiment of the present invention, c1 has a categorical code such as c1 to Cat (K = 10, p = 0.1) so as to correspond to each 0 to 9 digit type, and c2 and c3 correspond to things such as rotation or thickness. C2, c3 ~ Unif (-1,1) distribution can be given to have continuous code.
기존의 GAN에서는 다른 제약이 없기 때문에 생성 모델이 G(z,c)이 되어도 PG(x|c)=PG(x)를 만족하는 solution을 찾는 것으로 c를 간단히 무시해버릴 수 있으나, 가상영상 생성 모델이 주기적 코드(trivial code)를 학습하는 것을 막기 위하여, latent code c가 생성 모델의 분포 G(z,c)와 상호 정보량(Mutual Information, MI)이 높도록 제약을 부여할 수 있으며,이는 I(c;G(z,c))를 높게 유지하는 것을 의미한다.Since there is no other restriction in the existing GAN, even if the generation model is G (z, c), the solution can be simply ignored by finding a solution that satisfies PG (x | c) = PG (x). To prevent learning this periodic code, latent code c can be constrained to have high distribution information G (z, c) and mutual information (MI) of the generation model, which is I ( c; G (z, c)) means to be kept high.
이 때 X와 Y 사이의 상호 정보량을 I(X;Y)라 나타내고 이는 X에서 Y로부터 설명될 수 있는 정보량("amount of information")을 의미할 수 있으며, 본 발명의 상호 정보량은 이러한 정의로 표현될 수 있다(I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)).In this case, the amount of mutual information between X and Y may be referred to as I (X; Y), which may mean an amount of information (“amount of information”) that can be explained from X to Y, and the amount of mutual information of the present invention is defined in this definition. Can be expressed (I (X; Y) = H (X) -H (X | Y) = H (Y) -H (Y | X)).
즉, I(X;Y)는 Y가 관측되었을 때, X에서 사라지는 불확실성(uncertainty)의 양으로써, X와 Y과 독립변수라면 하나를 아는 것이 다른 하나에 대해 예측하거나 알 수 있는 것에 영향을 미칠 수 없기 때문에 I(X;Y)=0일 수 있다.In other words, I (X; Y) is the amount of uncertainty that disappears from X when Y is observed, so knowing one if it is independent of X and Y affects what can be predicted or known about the other. Since I (X; Y) = 0
도 5는 본 발명의 제2 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.5 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a second embodiment of the present invention.
도 5를 참조하면 제2 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치는 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치에 심전도 계급 설정부(500)를 더 포함할 수 있다.Referring to FIG. 5, the apparatus for generating high quality heart images using deep learning according to the second embodiment may further include an ECG
심전도 계급 설정부(500)는 심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정할 수 있다.The ECG
본 발명의 일 실시 예에 따르면 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정할 수 있다.According to an embodiment of the present invention, the ECG rank may be set to 10 ranks by subdividing the period to the next R into 10 steps based on the R value of the QRS wave generated when the ventricles contract.
도 6은 본 발명의 일 실시 예에 따른 심전도 계급 범위의 설정을 설명하기 위한 도면이다.6 is a view for explaining the setting of the ECG rank range according to an embodiment of the present invention.
도 6을 참조하면 심장의 박동주기에 따라 심실이 수축 또는 이완하게 되는 바, 지속적으로 움직이는 심장의 움직임을 판별하기 위해 심장 박동주기에 따라 심전도(ECG gating)를 측정할 수 있으며, 이때 그려지는 그래프 중 심방이 수축할 때 P파, 심실이 수축할 때 QRS파, 심실이 이완되었을 때 T파로 나뉘게 되고, 구분한 주기에 따라 R값을 기준으로 다음 R이 나오기까지 부분을 10개 단계로 세분함으로써 10개의 계급으로 심전도 계급을 설정할 수 있다.Referring to FIG. 6, the ventricle contracts or relaxes according to the rhythm of the heart, and thus, ECG gating may be measured according to the rhythm of the heart to determine the continuously moving heart movement. It is divided into P wave when the atrium contracts, QRS wave when the ventricles are contracted, and T wave when the ventricles are relaxed, and subdivided into 10 stages until the next R comes out based on the R value You can set the ECG class with 10 classes.
도 7은 본 발명의 제3 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치의 구성도이다.7 is a block diagram of a high quality cardiac image generating apparatus using deep learning according to a third embodiment of the present invention.
도 7을 참조하면 제3 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치는 제1 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성장치에 영상 전처리부(600)를 더 포함할 수 있다.Referring to FIG. 7, the apparatus for generating high quality heart images using deep learning according to the third embodiment may further include an
영상 전처리부(600)는 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정함으로써 각 영상의 전처리를 수행할 수 있다.The
도 8은 도 7에 개시된 영상 전처리부(600)의 세부 프로세스를 나타낸 도면이다.8 is a diagram illustrating a detailed process of the
도 8을 참조하면 본 발명의 제3 실시 예에 따른 영상 전처리부(600)의 세부 프로세스가 나타나 있으며, 이때 심초음파 영상 및 실제 CT영상에 대한 전처리로 최적의 단축, 장축을 계산하고, 3D영상을 2D영상의 집합으로 분리하고, 최적의 대조도를 위해 윈도우폭과 윈도우레벨을 조정하는 것이 수행될 수 있다.Referring to FIG. 8, a detailed process of the
도 9는 본 발명의 일 실시 예에 따른 딥러닝을 이용한 고화질 심장 영상 생성방법의 흐름도이다.9 is a flowchart illustrating a method of generating a high quality heart image using deep learning according to an embodiment of the present invention.
가상영상 생성 모델을 기반으로 고화질의 가상 CT영상을 생성한다(910).A high quality virtual CT image is generated based on the virtual image generation model (910).
본 발명의 일 실시 예에 따르면 미리 설정되어 있는 가상영상 생성 모델 또는 수신한 손실 값을 반영한 가상영상 생성 모델을 기반으로 하여 입력받은 심초음파 영상을 이용해 고화질의 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, a high quality virtual CT image may be generated using an input echocardiography image based on a preset virtual image generation model or a virtual image generation model reflecting a received loss value.
본 발명의 일 실시 예에 따르면 가상영상 생성 모델은 최초에는 손실 값이 반영되지 아니한 상태로 운영되다, 가상 CT영상의 생성 과정을 반복할 때마다 산출된 손실 값을 수신하고, 이를 반영하여 점진적으로 실제 CT영상과 데이터의 분포가 동일하여 제1 판단 단계에서 실제 CT영상과 가상 CT영상의 진위여부에 대한 정답을 맞힐 확률이 50%에 다가가도록 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, the virtual image generation model is initially operated without a loss value reflected, and receives a calculated loss value every time the process of generating the virtual CT image is repeated, and gradually reflects the calculated loss value. Since the distribution of data is the same as the actual CT image, the virtual CT image may be generated such that the probability of correct answer for authenticity of the actual CT image and the virtual CT image approaches 50% in the first determination step.
실제 CT영상과 대비하여 생성된 가상 CT영상의 진위여부를 판단한다(920).In
본 발명의 일 실시 예에 따르면 수신한 실제 CT영상과 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 가상 CT영상의 진위여부를 판단할 수 있으며 이를 제1 판단 단계라 한다.According to an embodiment of the present invention, the authenticity of the virtual CT image may be determined by comparing the difference of data distribution between the received actual CT image and the generated virtual CT image, which is called a first determination step.
본 발명의 일 실시 예에 따르면 수신한 실제 CT영상과 생성된 가상 CT영상의 데이터 분포의 차이를 비교하는 것은 심초음파 영상의 특징 분포와 실제 CT영상의 특징 분포가 동일한 위치에 존재하는지 여부에 따라 판단할 수 있다.According to an embodiment of the present invention, comparing the difference of data distribution between the received real CT image and the generated virtual CT image depends on whether the feature distribution of the echocardiogram image and the feature distribution of the actual CT image are present at the same position. You can judge.
심초음파 영상과 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부 판단한다(930).The authenticity of the data distribution pair of the echocardiogram image and the actual CT image is determined (930).
본 발병의 일 실시 예에 따르면 심초음파 영상과 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단할 수 있으며, 이를 제2 판단 단계라 한다.According to an embodiment of the present invention, it is possible to determine the authenticity of the data distribution pair of the echocardiography image and the actual CT image, which is called a second determination step.
본 발명의 일 실시 예에 따르면 심초음파 영상과 실제 CT 영상의 데이터 분포 쌍의 진위여부를 판단하는 것은 심초음파 영상과 실제 CT 영상의 데이터 분포의 쌍이 동일하게 존재하는지 여부로 판단할 수 있다.According to an embodiment of the present invention, the authenticity of the data distribution pairs of the echocardiography image and the actual CT image may be determined by whether the pairs of data distributions of the echocardiography image and the actual CT image are identical.
판단결과를 반영하여 가상 CT영상의 손실 값을 산출한다(940).The loss value of the virtual CT image is calculated based on the determination result (940).
제1, 2판단부로부터 수신한 진위 여부 판단결과 및 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 생성된 가상 영상의 손실 값을 산출할 수 있다.The loss value of the generated virtual image may be calculated by reflecting the authenticity determination result and the virtual CT image received from the first and second determination units, the preset weight value, the ECG class range, and the mutual information amount.
본 발명의 일 실시 예에 따르면 제1,2 판단 단계의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출할 수 있다.According to an embodiment of the present invention, the loss of echocardiography characteristics is lost by applying the first and second weights preset to the loss values according to the determination result of the first and second determination steps, and adding the loss values reflecting the weights. A loss value that can be corrected can be calculated.
상기 실시 예에 따르면 위의 수학식 1에 의하여 손실 값을 산출할 수 있다.According to the above embodiment, the loss value may be calculated by Equation 1 above.
본 발명의 일 실시 예에 따르면 생성된 손실 값을 반영하여 가상영상 생성 모델을 이용하여 가상 CT영상을 생성하는 과정을 반복함으로써 점차 더 실제 CT영상과 동일한 가상 CT영상을 제공할 수 있다.According to an embodiment of the present invention, by repeating the process of generating a virtual CT image using the virtual image generation model by reflecting the generated loss value, a virtual CT image that is more identical to an actual CT image may be gradually provided.
본 발명의 일 실시 예에 따르면 손실 값을 반영하여 가상영상 생성 모델을 이용하여 가상 CT영상을 생성하는 과정을 반복할수록 상대적으로 더 실제와 동일한 가상 CT영상을 생성할 수 있다.According to an embodiment of the present invention, as the process of generating the virtual CT image by using the virtual image generation model by reflecting the loss value is repeated, a virtual CT image that is more realistic than the actual one may be generated.
상기 실시 예에 따르면 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 제1 판단 단계에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 손실 값을 반영한 가상 CT영상의 생성 과정을 반복할 수 있다.According to the embodiment, by applying a loss value, an error between the data distribution of the actual CT image and the data distribution of the virtual CT image is corrected, and a virtual CT image having the corrected data distribution is generated, thereby performing the actual CT in the first determination step. The generation process of the virtual CT image reflecting the loss value may be repeated until the authenticity determination accuracy of the image and the virtual CT image reaches 50%.
본 발명의 일 실시 예에 따르면 심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정할 수 있다.According to an embodiment of the present invention, the rank range of the electrocardiogram may be set by dividing into 10 ranks according to the heartbeat cycle.
본 발명의 일 실시 예에 따르면 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정할 수 있다.According to an embodiment of the present invention, the ECG rank may be set to 10 ranks by subdividing the period to the next R into 10 steps based on the R value of the QRS wave generated when the ventricles contract.
본 발명의 일 실시 예에 따르면 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정함으로써 각 영상의 전처리를 수행할 수 있다.According to an embodiment of the present invention, before using the Echocardiography image and the real CT image, the optimal short axis and the long axis calculated for the Echocardiography image and the real CT image are applied, and the 3D image is separated into a set of 2D images. In addition, preprocessing of each image may be performed by adjusting the window width and the window level for optimal contrast.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Embodiments of the present invention are not implemented only by the above-described apparatus and / or method, but the embodiments of the present invention have been described in detail above, but the scope of the present invention is not limited thereto, and the following claims are made. Various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the scope of the present invention.
100 : 가상 영상 생성부 200 : 제1 판단부
300 : 제2 판단부 400 : 손실 값 산출부
500 : 심전도 계급 설정부 600 : 영상 전처리부100: virtual image generating unit 200: first determination unit
300: second determination unit 400: loss value calculation unit
500: ECG rank setting unit 600: Image preprocessor
Claims (12)
수신한 실제 CT영상과 상기 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 상기 가상 CT영상의 진위여부를 판단하는 제1 판단부;
상기 심초음파 영상과 상기 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단하는 제2 판단부; 및
상기 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 상기 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 상기 생성된 가상 영상의 손실 값을 산출하는 손실 값 산출부를 포함하고,
상기 손실 값을 상기 가상 영상 생성부에 제공하고, 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복함으로써 상대적으로 더 실제와 동일한 가상 CT영상을 생성하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.A virtual image generation unit generating a high quality virtual CT image using an input echocardiography image based on a preset virtual image generation model or a virtual image generation model reflecting the received loss value;
A first determination unit which determines the authenticity of the virtual CT image by comparing a difference of data distribution between the received actual CT image and the generated virtual CT image;
A second judging unit which judges the authenticity of the data distribution pair of the echocardiogram image and the actual CT image; And
A loss value calculator for calculating a loss value of the generated virtual image by reflecting the authenticity determination result received from the first and second determination units, the virtual CT image, a preset weight value, an ECG class range, and a mutual information amount Including,
The high-quality cardiac image using deep learning, wherein the loss value is provided to the virtual image generation unit, and a virtual CT image that is relatively more realistic is generated by repeating the process of generating the virtual CT image reflecting the loss value. Generating device.
심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정하는 심전도 계급 설정부를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.The method of claim 1,
High-definition cardiac image generating apparatus using deep learning further comprises an ECG class setting unit for setting the class range of the ECG divided into 10 classes according to the heart rate cycle.
상기 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.The method of claim 2,
The ECG rank is a high-quality cardiac image generating apparatus using deep learning, characterized in that the period to the next R is subdivided into 10 steps based on the R value of the QRS wave generated when the ventricles contract. .
상기 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 상기 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정하는 영상 전처리부를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.The method of claim 1,
Before using the echocardiography and the real CT image, the optimal short axis and the long axis calculated for the echocardiogram and the real CT image are applied, and the 3D image is separated into a set of 2D images, and the optimal contrast is achieved. High-quality cardiac image generating apparatus using deep learning, further comprising an image preprocessing unit for adjusting the window width and window level for.
상기 제1 판단부와 제2 판단부의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 상기 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.The method of claim 1, wherein the loss value calculator,
The first and second weights may be preset to the loss values according to the determination result of the first and second determination units, and the loss values reflecting the weights may be summed to correct the problem of loss of echocardiogram distribution. High quality cardiac image generating apparatus using deep learning, characterized in that to calculate the loss value.
수신한 상기 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 상기 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 상기 제1 판단부에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성장치.The method of claim 1, wherein the virtual image generating unit,
By applying the received loss value, the error between the data distribution of the actual CT image and the data distribution of the virtual CT image is corrected, and by generating the virtual CT image having the corrected data distribution, the first CT determines the actual CT. High-quality cardiac image generating apparatus using deep learning, characterized in that to repeat the process of generating the virtual CT image reflecting the loss value until the accuracy of the authenticity of the image and the virtual CT image reaches 50%.
수신한 실제 CT영상과 상기 생성된 가상 CT영상의 데이터 분포의 차이를 비교하여 상기 가상 CT영상의 진위여부를 판단하는 제1 판단 단계;
상기 심초음파 영상과 상기 실제 CT 영상의 데이터 분포 쌍에 대한 진위여부를 판단하는 제2 판단 단계; 및
상기 제1, 2판단부로부터 수신한 진위 여부 판단결과 및 상기 가상 CT영상, 미리 설정된 가중치 값, 심전도의 계급 범위, 상호 정보량을 반영하여 상기 생성된 가상 영상의 손실 값을 산출하는 단계를 포함하고,
상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복함으로써 상대적으로 더 실제와 동일한 가상 CT영상을 생성하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.Generating a high quality virtual CT image using an input echocardiography image based on a preset virtual image generation model or a virtual image generation model reflecting the received loss value;
A first determination step of determining whether the virtual CT image is authentic by comparing a difference in data distribution between the received actual CT image and the generated virtual CT image;
A second determination step of determining the authenticity of the data distribution pair of the echocardiogram image and the actual CT image; And
Calculating a loss value of the generated virtual image by reflecting an authenticity determination result received from the first and second determination units, the virtual CT image, a preset weight value, an ECG class range, and a mutual information amount; ,
High-quality cardiac image generation method using deep learning, characterized in that to generate a virtual CT image that is relatively more real by repeating the generation process of the virtual CT image reflecting the loss value.
심장 박동 주기에 따라 10개의 계급으로 나누어 심전도의 계급 범위를 설정하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.The method of claim 7, wherein
High-quality cardiac image generation method using deep learning, further comprising the step of setting the class range of the ECG divided into 10 ranks according to the heart rate cycle.
상기 심전도의 계급은 심실이 수축할 때 발생하는 QRS파의 R값을 기준으로 다음 R까지의 주기를 10 단계로 세분화하여 10개의 계급으로 설정하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.The method of claim 8,
The ECG rank is a high-quality cardiac image generation method using deep learning, characterized in that the interval to the next R based on the R value of the QRS wave generated when the ventricles contraction is divided into 10 levels and set to 10 ranks. .
상기 심초음파 영상 및 실제 CT 영상을 사용하기 이전에 상기 심초음파 영상 및 실제 CT 영상을 대상으로 계산된 최적의 단축, 장축을 적용하고, 3D영상을 2D영상의 집합으로 분리하며, 최적의 대조도를 위해 윈도우 폭과 윈도우 레벨을 조정하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.The method of claim 7, wherein
Before using the echocardiography and the real CT image, the optimal short axis and the long axis calculated for the echocardiogram and the real CT image are applied, and the 3D image is separated into a set of 2D images, and the optimal contrast is achieved. The method for generating a high quality heart image using deep learning, characterized in that it further comprises the step of adjusting the window width and window level.
상기 제1 판단 단계와 제2 판단 단계의 판단 결과에 따른 손실 값에 미리 설정된 제1, 2 가중치를 적용하고, 상기 가중치가 반영된 손실 값을 합산하여 심초음파 특징 분포가 소실되는 문제를 보정할 수 있는 손실 값을 산출하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.The method of claim 7, wherein calculating the loss value,
The first and second weights may be applied to the loss values according to the determination result of the first and second determination steps, and the loss value reflecting the weights may be summed to correct the problem of loss of echocardiogram distribution. High-quality cardiac image generation method using deep learning, characterized in that to calculate the loss value.
수신한 상기 손실 값을 적용하여 실제 CT 영상의 데이터 분포와 가상 CT영상의 데이터 분포 사이의 오차를 보정하고, 상기 보정된 데이터 분포를 가지는 가상 CT영상을 생성함으로써, 상기 제1 판단 단계에서 실제 CT 영상과 가상 CT영상의 진위 여부 판단 정확도가 50%에 도달할 때까지 상기 손실 값을 반영한 가상 CT영상의 생성 과정을 반복하는 것을 특징으로 하는 딥러닝을 이용한 고화질 심장 영상 생성방법.
The method of claim 7, wherein generating the virtual CT image,
By applying the received loss value, the error between the data distribution of the actual CT image and the data distribution of the virtual CT image is corrected, and a virtual CT image having the corrected data distribution is generated, thereby performing the actual CT in the first determination step. High-quality cardiac image generation method using deep learning, characterized in that to repeat the process of generating the virtual CT image reflecting the loss value until the accuracy of the authenticity of the image and the virtual CT image reaches 50%.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180066221A KR20190139580A (en) | 2018-06-08 | 2018-06-08 | high-definition heart image producing apparatus using deep learning and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180066221A KR20190139580A (en) | 2018-06-08 | 2018-06-08 | high-definition heart image producing apparatus using deep learning and method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190139580A true KR20190139580A (en) | 2019-12-18 |
Family
ID=69052562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180066221A KR20190139580A (en) | 2018-06-08 | 2018-06-08 | high-definition heart image producing apparatus using deep learning and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190139580A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210089365A (en) * | 2020-01-08 | 2021-07-16 | 한국건설기술연구원 | System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method |
| KR102298175B1 (en) * | 2020-05-28 | 2021-09-03 | 건양대학교 산학협력단 | Image out-painting appratus and method on deep-learning |
| KR20220040872A (en) * | 2020-09-24 | 2022-03-31 | 충남대학교병원 | Image Processing Method and Image Processing Device using the same |
| KR20220067616A (en) * | 2020-11-17 | 2022-05-25 | (주)자비스 | System, method and program for creating high definition x-ray image basen on deep-learning |
| WO2022240076A1 (en) * | 2021-05-11 | 2022-11-17 | 삼성전자 주식회사 | Image processing method and electronic device supporting same |
| CN116152403A (en) * | 2023-01-09 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | Image generation method and device, storage medium and electronic equipment |
-
2018
- 2018-06-08 KR KR1020180066221A patent/KR20190139580A/en not_active Application Discontinuation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210089365A (en) * | 2020-01-08 | 2021-07-16 | 한국건설기술연구원 | System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method |
| KR102298175B1 (en) * | 2020-05-28 | 2021-09-03 | 건양대학교 산학협력단 | Image out-painting appratus and method on deep-learning |
| KR20220040872A (en) * | 2020-09-24 | 2022-03-31 | 충남대학교병원 | Image Processing Method and Image Processing Device using the same |
| KR20220067616A (en) * | 2020-11-17 | 2022-05-25 | (주)자비스 | System, method and program for creating high definition x-ray image basen on deep-learning |
| WO2022108250A1 (en) * | 2020-11-17 | 2022-05-27 | (주)자비스 | Deep learning-based high image quality x-ray image generation method, apparatus, and program |
| WO2022240076A1 (en) * | 2021-05-11 | 2022-11-17 | 삼성전자 주식회사 | Image processing method and electronic device supporting same |
| CN116152403A (en) * | 2023-01-09 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | Image generation method and device, storage medium and electronic equipment |
| CN116152403B (en) * | 2023-01-09 | 2024-06-07 | 支付宝(杭州)信息技术有限公司 | Image generation method and device, storage medium and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190139580A (en) | high-definition heart image producing apparatus using deep learning and method therefor | |
| KR101908520B1 (en) | Landmark detection with spatial and temporal constraints in medical imaging | |
| US8396268B2 (en) | System and method for image sequence processing | |
| US20060074315A1 (en) | Medical diagnostic ultrasound characterization of cardiac motion | |
| US11367001B2 (en) | Neural network image analysis | |
| US9462952B2 (en) | System and method for estimating artery compliance and resistance from 4D cardiac images and pressure measurements | |
| CN110638438A (en) | Method and system for machine learning-based assessment of fractional flow reserve | |
| CN110458904B (en) | Method and device for generating capsule endoscope image and computer storage medium | |
| KR20220062596A (en) | SYSTEMS AND METHODS FOR AUTOMATED ULTRASOUND IMAGE LABELING AND QUALITY GRADING | |
| KR102036416B1 (en) | Apparatus for converting diagnostic images, method thereof and computer recordable medium storing program to perform the method | |
| EP3751580A1 (en) | Hemodynamic analysis of vessels using recurrent neural network | |
| KR20230004704A (en) | SYSTEMS AND METHODS FOR AUTOMATED PHYSIOLOGICAL PARAMETER ESTIMATION FROM ULTRASOUND IMAGE SEQUENCES | |
| CN111046893B (en) | Image similarity determining method and device, image processing method and device | |
| CN114004817A (en) | Segmented network semi-supervised training method, system, equipment and storage medium | |
| JP2021506541A (en) | Diagnostic modeling methods and equipment | |
| CN113827263A (en) | Perfusion image processing method, system, electronic equipment and storage medium | |
| US11995823B2 (en) | Technique for quantifying a cardiac function from CMR images | |
| EP3983957A1 (en) | Method and system for confidence estimation of a trained deep learning model | |
| EP3770921A1 (en) | Method and system for pressure autoregulation based synthesizing of photoplethysmogram signal | |
| Lane | A computer vision pipeline for fully automated echocardiogram interpretation | |
| KR20190002959A (en) | Method, apparatus, and computer program stored in computer readable medium for identifying plaque in the blood vessel | |
| US12040076B2 (en) | Automatic myocardial aneurysm assessment | |
| EP4084013A1 (en) | Circulatory system assessment | |
| US20230187052A1 (en) | Automatic myocardial aneurysm assessment | |
| Laumer et al. | Fully automated 4D cardiac modelling from 2D echocardiography for clinical applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |