WO2023113438A1 - Method of providing information about organ functions and device for providing information about organ functions using same - Google Patents
Method of providing information about organ functions and device for providing information about organ functions using same Download PDFInfo
- Publication number
- WO2023113438A1 WO2023113438A1 PCT/KR2022/020265 KR2022020265W WO2023113438A1 WO 2023113438 A1 WO2023113438 A1 WO 2023113438A1 KR 2022020265 W KR2022020265 W KR 2022020265W WO 2023113438 A1 WO2023113438 A1 WO 2023113438A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- motion vector
- vector field
- frame
- medical image
- organ
- Prior art date
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 110
- 230000006870 function Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 233
- 239000013598 vector Substances 0.000 claims abstract description 194
- 238000004891 communication Methods 0.000 claims description 18
- 210000003205 muscle Anatomy 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 210000004072 lung Anatomy 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 4
- 238000002600 positron emission tomography Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 14
- 230000007774 longterm Effects 0.000 description 11
- 238000002059 diagnostic imaging Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000005240 left ventricle Anatomy 0.000 description 4
- 238000004393 prognosis Methods 0.000 description 4
- 238000012827 research and development Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 238000013399 early diagnosis Methods 0.000 description 3
- 210000005246 left atrium Anatomy 0.000 description 3
- 210000004165 myocardium Anatomy 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000005245 right atrium Anatomy 0.000 description 3
- 210000005241 right ventricle Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 201000006306 Cor pulmonale Diseases 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Definitions
- the present invention relates to a method for providing information on organ function and a device for providing information on organ function using the same.
- a medical imaging diagnosis device is equipment for acquiring an image of an internal structure of an object.
- a medical imaging device is a non-invasive examination device that is performed without causing pain to the human body. Structural details within the body, internal tissues, and flow of fluids are photographed and processed to show medical personnel. Medical personnel may diagnose a patient's health condition and disease using a medical image output from a medical imaging device.
- Medical imaging diagnosis devices include a magnetic resonance imaging (MRI) device for providing magnetic resonance images, a computed tomography (CT) device, an X-ray device, and an ultrasound diagnosis device. devices, etc.
- MRI magnetic resonance imaging
- CT computed tomography
- X-ray X-ray
- ultrasound diagnosis device ultrasound diagnosis devices
- ultrasound diagnosis is performed by projecting ultrasound waves on organs having a three-dimensional structure on a multi-dimensional plane to acquire medical images and measuring hemodynamic variables.
- an ultrasound probe is placed in a location easy to obtain medical images to obtain multi-faceted images through surrounding anatomical structures such as between ribs, and images are recorded by finding an appropriate tomography through rotation and tilt. .
- strain is a technique for determining whether an organ is abnormal by measuring the strain rate of fine muscles.
- this strain-based diagnostic aid system has the advantage of visually providing a functional abnormality, it is applicable only to the evaluation of a specific region (for example, the left ventricle in the case of the heart), and is less susceptible to noise due to limited use of regional features. There are limits to being vulnerable.
- strain-based diagnosis assistance system may be dependent on the quality of medical images and the experience of experts, so there is a problem in that the reliability of analysis results is insufficient according to the skill level of medical staff.
- CNN convolutional neural network
- the proposed speckle tracking-based approach may still have limitations in that it models using local features, has inaccuracies that make it difficult to use directly without post-processing, and is vulnerable to image noise. Moreover, the analysis speed can be very slow as it depends on the algorithm for post-processing.
- a long-term strain analysis method based on segmentation correspondence matching is proposed. However, this may depend on the segmentation performance of the artificial neural network, and there may be a problem that it may be extended to an entire frame error if the segmentation result is not good in some frames.
- the inventors of the present invention have been able to recognize that as a solution to this problem, noise-resistant motion estimation, structural feature reflection, and similarity constraints between adjacent motions are required.
- the inventors of the present invention recognized that, when predicting a motion vector field between adjacent frames, global structure characteristics and local feature similarities may be considered, and therefore, motion estimation strong against image noise is possible.
- the inventors of the present invention were able to apply a prediction model learned to predict a motion field vector between adjacent frames to a diagnosis assistance system.
- the inventors of the present invention tried to further consider the characteristics of a series of image data having periodicity in constructing a predictive model. More specifically, the inventors of the present invention can predict a bi-directional vector field for a frame constituting an input image, and when a new image is input, 'bi-directional circular motion' considering the predicted value of the vector field of the frame for the previous image Modeling (Bi-directional cyclic motion modeling)' was applied.
- the inventors of the present invention can accurately evaluate the movement of long-term muscles (eg, cardiac muscle or lung muscle) by providing a new diagnostic aid system based on spatio-temporal motion modeling, providing visual and quantitative information of dysfunctional areas. can be expected to provide.
- long-term muscles eg, cardiac muscle or lung muscle
- the problem to be solved by the present invention is to determine a motion vector field for an organ region using a predictive model for a time-series medical image obtained from an object, and based on this, to provide information related to organ function. Configured, It is to provide a method and device for providing information on organ function.
- a method for providing information on organ function is provided.
- a method according to an embodiment of the present invention is a method for providing information on organ functions implemented by a processor, which includes a plurality of frames including an organ region of an object. Receiving the formed time-series medical image, using the medical image as an input, and outputting a motion vector field between adjacent frames, using a predictive model configured to output a motion vector field for an organ region in the received medical image determining, and providing information about the determined motion vector field.
- determining a motion vector field may include determining a motion vector field for each of a plurality of frames using a predictive model.
- determining a motion vector field includes determining a first motion vector field for a first frame of a plurality of frames, and based on the first motion vector field, the first frame next It may include estimating a second motion vector field for a second frame of .
- determining a motion vector field includes determining a first motion vector field for a first frame of a plurality of frames, and based on the first motion vector field, the first frame It may include estimating a third motion vector field for a previous third frame.
- the medical image may include a plurality of pixels, and determining the motion vector field may include determining a motion vector field for each of the plurality of pixels by using a predictive model. there is.
- a medical image may include one set consisting of a plurality of frames and a second set consisting of a plurality of frames different from the first set.
- the step of determining the motion vector field may include determining the motion vector field of the first frame of the second set based on the last frame of the first set using a predictive model, or the step of determining the motion vector field of the first frame of the second set using a predictive model. Based on the first frame of the first set, determining the motion vector field of the last frame of the second set.
- the predictive model may have a structure of at least one of a 3D Convolutional Neural Network (CNN), a 2D CNN, and a combination thereof.
- CNN 3D Convolutional Neural Network
- the predictive model may be configured to output motion vector fields having different colors according to directions by taking a medical image as an input.
- the providing information on the motion vector field may include determining strain of fine muscles for a plurality of parts of the organ region based on the determined motion vector field.
- providing information on the motion vector field may include generating visual information indicating motions of a plurality of parts of an organ region based on the determined motion vector field.
- the predictive model may be a model further configured to output a motion vector field and an organ region by taking a medical image as an input.
- the medical image may be any one of ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and single photon emission computed tomography (SPET). .
- CT computerized tomography
- MRI magnetic resonance imaging
- PET positron emission tomography
- SPET single photon emission computed tomography
- the organ may be the heart or lungs.
- a device for providing information on organ functions includes a communication unit configured to receive a time series medical image including a plurality of frames including an organ region of an object, and a processor.
- the processor determines a motion vector field for the organ region in the received medical image by using a predictive model configured to output a motion vector field between adjacent frames with a medical image as an input; configured to provide information about the determined motion vector field.
- a processor may be configured to determine the motion vector field for each of a plurality of frames using a predictive model.
- a processor determines a first motion vector field for a first frame among a plurality of frames, and based on the first motion vector field, a second motion vector field for a second frame next to the first frame. It may be configured to estimate a motion vector field.
- the processor determines a first motion vector field for a first frame among a plurality of frames, and based on the first motion vector field, a first motion vector field for a third frame before the first frame. It can be configured to estimate 3 motion vector fields.
- the medical image may include a plurality of pixels
- the processor may be further configured to determine a motion vector field for each of the plurality of pixels using a predictive model.
- a medical image may include one set consisting of a plurality of frames and a second set consisting of a plurality of frames different from the first set.
- the processor determines the motion vector field of the first frame of the second set based on the last frame of the first set using a predictive model, or based on the first frame of the first set using a predictive model. , may be configured to determine the motion vector field of the last frame of the second set.
- the processor may be further configured to determine strain rates of fine muscles for a plurality of parts of the organ region based on the determined motion vector field.
- the processor may be further configured to generate visual information representing motions of a plurality of parts of the organ region based on the determined motion vector field.
- the present invention provides a diagnosis assisting system capable of predicting a motion vector field between adjacent frames for a time-series medical image, thereby providing highly reliable information for organ function.
- the present invention can overcome the limitations of the conventional diagnosis assistance system based on long-term strain (or strain) analysis considering only regional characteristics.
- the present invention is dependent on image quality and expert experience in strain analysis of medical images, and can overcome the limitations of conventional diagnostic assistance systems that require the application of motion noise post-processing algorithms as only regional characteristics are considered.
- the present invention can provide a new diagnostic assistance system to which a spatio-temporal motion model considering similarity of global structural features and regional features is applied, enabling motion estimation that is resistant to image noise.
- the present invention provides a new diagnosis assistance system based on spatio-temporal motion modeling, which can accurately evaluate myocardial motion, thereby providing visual and quantitative information on functional abnormalities.
- the present invention can contribute to early diagnosis and good treatment prognosis of cardiopulmonary diseases by providing information on organ function, particularly heart or lung.
- Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present invention.
- FIG. 1 is a schematic diagram for explaining a diagnosis assistance system using time-series medical images according to an embodiment of the present invention.
- FIG. 2A is a schematic diagram illustrating a device for providing information on organ functions according to an embodiment of the present invention.
- 2B is a schematic diagram illustrating a user device receiving information from a device for providing information on organ functions according to an embodiment of the present invention.
- FIG. 3 is a schematic flowchart illustrating a method for providing information on organ functions based on a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
- 4A to 4D exemplarily illustrate a procedure for determining a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
- 5A illustrates the structure of a predictive model applied to various embodiments of the present invention by way of example.
- 5B exemplarily illustrates a modeling procedure of a predictive model applied to various embodiments of the present invention.
- 6A to 6C exemplarily illustrate preprocessing of input data in motion vector field prediction used in various embodiments of the present invention.
- FIG. 7A and 7B illustrate evaluation results of a device for providing information on organ function according to an embodiment of the present invention.
- expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
- first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element as It is used only to distinguish it from other components and does not limit the corresponding components.
- a first user device and a second user device may represent different user devices regardless of order or importance.
- a first element may be named a second element, and similarly, the second element may also be renamed to the first element.
- a component e.g., a first component
- another component e.g., a second component
- the certain component may be directly connected to the other component or connected through another component (eg, a third component).
- an element e.g, a first element
- another element e.g., a second element
- the element and the above It may be understood that other components (eg, third components) do not exist between the other components.
- the expression “configured to” means “suitable for,” “having the capacity to,” depending on the circumstances. ,” “designed to,” “adapted to,” “made to,” or “capable of.”
- the term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware.
- the expression “a device configured to” may mean that the device “is capable of” in conjunction with other devices or components.
- the phrase “a processor configured (or configured) to perform A, B, and C” may include a dedicated processor (eg, an embedded processor) to perform those operations, or by executing one or more software programs stored on a memory device.
- a general-purpose processor eg, CPU or application processor
- medical image may refer to a medical image obtained from a medical imaging diagnosis device.
- the medical image may be one of ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and single photon emission computed tomography (SPET).
- CT computerized tomography
- MRI magnetic resonance imaging
- PET positron emission tomography
- SPET single photon emission computed tomography
- the medical image may be a 2D medical image, but is not limited thereto and may be a 3D medical image.
- a medical image may be an ultrasound image, but is not limited thereto.
- the medical image may be a medical image (or video) having periodicity composed of a plurality of frames.
- a medical image having periodicity may be a medical image of the heart or lungs.
- organ within the present specification may be the heart or lung, but is not limited thereto.
- a motion vector field between adjacent frames may be determined for each frame of the image according to the method for providing information on organ function according to an embodiment of the present invention.
- a time series medical image may be a time series echocardiography image having a sequence of 2 beats.
- a time-series medical image in units of 2 bits may include end systole (ES) and end diastole (ED) frames, and further include mid (ES) between end systole and end diastole.
- ES end systole
- ED end diastole
- -ED time-series echocardiographic image including a mid (ED-ES) frame between end-diastole and end-systole.
- the medical image may be a lung image.
- the medical image may be an image including information about a breathing pattern (inhalation, expiration), effort, duration, or airflow through the throat, swallowing of a specific type of food (fluid or solid), and vocal cord vibration.
- motion vector field refers to a vector field, which is a space expressed as a vector function, and a plurality of directions and magnitudes according to the movement of fine muscles of an organ within an image (or frame). may be a vector of
- a motion vector field may mean vectors for each of a plurality of pixels constituting an organ region in a frame of a medical image. Accordingly, by determining motion vector fields between adjacent frames, strain analysis according to long-term global structural characteristics may be possible.
- prediction model may be a model learned to determine a motion vector field between adjacent frames by taking a time-series medical image as an input.
- the predictive model may estimate a motion vector field relative to adjacent frames for each of a plurality of frames by learning spatiotemporal characteristics of time-series medical images.
- a predictive model may be trained to classify two classes of motion vector fields corresponding to each of the x-axis and y-axis in the forward direction of a frame of a 2D time-series medical image as an input.
- motion vector fields corresponding to each of the x-axis and y-axis in the backward direction of the frame of the image may be obtained based on the output value in the forward motion.
- the predictive model may be trained to classify 4 classes of motion vector fields corresponding to each of the forward and backward x- and y-axes of the frame.
- Unsupervised learning-based learning may be applied to the prediction model for the purpose of such motion estimation.
- the predictive model takes a 2D time-series medical image as an input and converts not only a motion vector field but also an organ region in the image into a plurality of regions (eg, left atrium, left ventricle, right atrium, and right ventricle). It can be a model that has been trained to segment.
- the predictive model may be able to robustly segment a missing region within a frame due to time-series modeling that reflects periodic characteristics of an image.
- supervised learning-based learning in which a specific region within a specific frame or image is labeled may be applied.
- the predictive model is semi-supervised learning, which can be selectively unsupervised or supervised according to the learning purpose, such as prediction of a motion vector field or segmentation of a region.
- the learning purpose such as prediction of a motion vector field or segmentation of a region.
- the predictive model includes end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole. It can be a model learned to estimate motion based on 2D time-series medical images with a sequence of 2 bits labeled for the middle mid (ED-ES).
- the predictive model may be configured to output motion vector fields having different colors depending on the direction. That is, movements of fine muscles can be visually displayed more clearly.
- the prediction model may be a segmentation model based on 3D-CNN and/or 2D-CNN.
- a predictive model used in various embodiments of the present invention may have a U-net structure having a 2D convolution layer and a 3D convolution layer.
- the prediction model is SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network) based on 2D convolution and/or 3D convolution. , RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), or SSD (Single Shot Detector).
- FIG. 1 is a schematic diagram illustrating a device-based diagnosis assistance system for providing information on organ function according to an embodiment of the present invention.
- a diagnosis assistance system 1000 may be a system configured to provide information related to an organ function based on a user's medical image, particularly a time-series medical image.
- the diagnostic assistance system 1000 is configured to provide a device 100 for providing information about an organ function configured to predict a motion vector field based on a time-series medical image, a user device 200, and a medical image of an object. It may be configured as a medical imaging diagnosis device 400 .
- the device 100 for providing information on organ function performs various operations to predict a motion vector field between adjacent frames of a time-series medical image of an object provided from a medical imaging diagnosis device 400 such as an ultrasound diagnosis device.
- a medical imaging diagnosis device 400 such as an ultrasound diagnosis device.
- the user device 200 may be a device for accessing a web server providing a web page storing information related to an organ function or a mobile web server providing a mobile web site, but is limited thereto. It doesn't work.
- the medical imaging diagnosis device 400 may be a medical imaging diagnosis device equipped with a communication module communicating with the device 100 for providing information on organ functions, but is not limited thereto.
- the device for providing information on organ function 100 predicts a motion vector field for each frame of the time-series medical image received from the medical image diagnosis device 400, and from this predicts information on organ function. It can be configured to provide.
- the device 100 for providing information on organ functions can provide data on organ functions to the user device 200 .
- organ function-related data provided from the device for providing information on organ function 100 may be provided as a web page through a web browser installed in the user device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.
- the user device 200 is an electronic device that requests provision of data on organ function and provides a user interface for displaying analysis result data, such as a smart phone, a tablet PC (Personal Computer), a laptop computer, and/or a PC. may include at least one of them.
- the user device 200 can receive organ function-related data from the organ function-providing device 100 . At this time, the received result may be displayed through the display unit of the user device 200 .
- data related to organ function may include strain rates (or strains) of muscles for a plurality of parts of an organ area, visual information representing motions of a plurality of parts of an organ area, and the like.
- FIG. 2A is a schematic diagram illustrating a device for providing information on organ functions according to an embodiment of the present invention.
- a device 100 for providing information on organ functions includes a storage unit 110 , a communication unit 120 and a processor 130 .
- the storage unit 110 may store various data for providing data on organ functions.
- the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.
- the communication unit 120 connects the device 100 for providing information on organ functions to enable communication with an external device.
- the communication unit 120 is connected to the user device 200 using wired/wireless communication to transmit/receive various data.
- the communication unit 120 may receive a medical image of an object from the medical image diagnosis device 400 and deliver a segmentation result to the user device 200 .
- the processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and can execute various commands for analyzing a medical image having periodicity for an object.
- the processor 130 may receive a medical image of an object from the medical imaging device 400 through the communication unit 120 and predict a motion vector field.
- processor 130 can be based on a predictive model configured to predict motion vector fields based on periodic medical images.
- the present invention predicts a vector field from a medical image and provides clinically meaningful information, and provides long-term strain analysis results, thereby contributing to early diagnosis of diseases and good treatment prognosis.
- the user device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 and a processor 240 .
- the communication unit 210 connects the user device 200 to enable communication with an external device.
- the communication unit 210 is connected to the device 100 for providing information on organ functions using wired/wireless communication to transmit/receive various data.
- the communication unit 210 may receive an analysis result of an organ function from the device 100 for providing information on an organ function.
- the display unit 220 can display various interface screens for displaying data on organ functions.
- the display unit 220 may include a touch screen, and for example, a touch using an electronic pen or a part of the user's body, a gesture, a proximity, a drag, or a swipe A swipe or hovering input may be received.
- the storage unit 230 may store various data used to provide a user interface for displaying result data.
- the storage unit 230 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
- the processor 240 is operably connected to the communication unit 210, the display unit 220, and the storage unit 230, and can perform various commands to provide a user interface for displaying information.
- FIG. 3 is a schematic flowchart illustrating a method for providing information on organ functions based on a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
- 4A to 4D exemplarily illustrate a procedure for determining a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
- an echocardiographic medical image is described as an example, it should not be construed as being limited thereto. That is, the determination of the motion vector field disclosed in various embodiments of the present invention may be applicable to more diverse medical images.
- a time-series medical image of an object is received (S310). Then, a motion vector field is determined by the predictive model (S320). Finally, data for the motion vector field is provided (S330).
- step S310 of receiving the time-series medical image a 2D time-series medical image may be received.
- step S310 of receiving a time series medical image a 2D ultrasound image having a 2-bit sequence may be received.
- step S310 of receiving a time-series medical image a medical image having periodicity may be received.
- step S320 of determining the motion vector field the motion vector field between adjacent frames is predicted for each of a plurality of frames of the medical image by the predictive model.
- a motion vector field for each of a plurality of pixels within a frame may be determined by a predictive model.
- step S320 of determining a motion vector field a 2D time-series medical image 412 having a plurality of frames is input to the predictive model 420 .
- a motion vector field relative to an adjacent frame is output in units of pixels for a plurality of frames, and a medical image 422 in which the motion vector field is determined for each of the plurality of frames may be obtained.
- a first motion vector field for a first frame among a plurality of frames is determined, and based on the first motion vector field, a first motion vector field next to the first frame is determined.
- a second motion vector field for the second frame is determined.
- the motion vector field of the frame may be determined in the forward direction.
- a first motion vector field for a first frame among a plurality of frames is determined, and the first motion vector field is determined based on the first motion vector field.
- a third motion vector field for the previous third frame is determined.
- the motion vector field of the frame may be determined in the reverse direction.
- motion vector fields for frames in both forward and reverse directions may be determined.
- the step of determining a motion vector field (S320) when a motion field is estimated in a forward direction, based on the motion field for the first frame (I 1 ), the second The motion vector field of the second frame (I 2 ) following the first frame can be determined. Furthermore, when the motion field is estimated in the backward direction, the motion vector field of the third frame (I 0 ) before the first frame may be determined based on the motion field of the first frame (I 1 ).
- the predictive model can predict and output the motion vector field corresponding to the forward direction.
- the prediction model may output a motion vector field corresponding to an x-axis and a y-axis in a forward direction with respect to a frame of one 2D medical image.
- the predictive model may be further trained to output four motion vector fields of the x-axis and y-axis for forward and backward directions, respectively.
- the predictive model may be a model learned to divide the long-term region into a plurality of regions as well as the motion vector field between adjacent frames for each frame. .
- a 2D time-series medical image 412 having a plurality of frames is input to the predictive model 420 .
- a motion vector field relative to an adjacent frame is output in units of pixels for a plurality of frames, and a medical image 422 in which the motion vector field is determined for each of the plurality of frames may be obtained.
- the organ region in a plurality of frames is divided into a plurality of regions (left atrium, left ventricle, right atrium, and right ventricle), and a medical image 424 in which the organ region is divided can be obtained for each of the plurality of frames.
- a step (S330) of providing data for a motion vector field is performed.
- step S330 of providing data for a motion vector field data associated with organ functions may be generated and provided.
- strains of fine muscles for a plurality of parts of the organ region may be determined based on the determined motion vector field.
- visual information indicating motions of a plurality of parts of an organ region may be generated based on the motion vector field.
- step S330 of providing motion vector field data visual and quantitative analysis results in relation to myocardial motion are provided. can be provided.
- step of providing data on the motion vector field (S330) visual information ((a) of 4d) on deformation of fine muscles of a plurality of sections within the medical image can be provided. Furthermore, in the step of providing data on the motion vector field (S330), data for visually distinguishing which section has more or less movement with respect to the organ region divided into 17 sections ((b) of 4d) provision of may be possible. Furthermore, in the step of providing data on the motion vector field (S330), the strain rate of the myocardium for each frame is determined to provide quantitative information on the muscle (for example, myocardium or lung muscle) (in (c of 4d) )).
- FIGS. 5A and 5B the structure and learning method of a predictive model used in various embodiments of the present invention will be described with reference to FIGS. 5A and 5B.
- 5A illustrates the structure of a predictive model applied to various embodiments of the present invention by way of example.
- 5B exemplarily illustrates a modeling procedure of a predictive model applied to various embodiments of the present invention.
- a predictive model used in various embodiments of the present invention may have a U-net structure.
- the left region is 3D convolutional, batch normalization (BN), and max pooling (max pooling) using a local maximum value as a feature by extracting a layer for calculating a Relu activation function and a Relu activation function. pooling) layer.
- each convolution layer may include a 2D convolution layer in which 2D convolution is performed on an input image (or shared image data) and a 3D convolution layer connected to the 2D convolution layer. That is, 2D convolution and 3D convolution may be performed on the image.
- a 2D medical image composed of a plurality of frames may be expressed as global features. Furthermore, in the right region of the predictive model, features obtained in the lowermost region are upsampled as they go up.
- a motion vector field corresponding to each of the x-axis and y-axis in the forward direction of the frame of the image and each of the x-axis and y-axis in the backward direction of the frame of the image Four channels of four motion vector fields corresponding to can be output.
- an organ region eg, left atrium, left ventricle, right atrium and right ventricle, or trachea, bronchus, right upper lobe, left upper lobe, right lung mesenchyme, right lobe interlobule, right main lobe) interlobe, right lower lobe, left main lobe interlobe, and left lower lobe
- an organ region eg, left atrium, left ventricle, right atrium and right ventricle, or trachea, bronchus, right upper lobe, left upper lobe, right lung mesenchyme, right lobe interlobule, right main lobe) interlobe, right lower lobe, left main lobe interlobe, and left lower lobe
- features of the left region may be copied and pasted to positions of the same level in the right region through a skip connection from left to right.
- the structural feature prediction model described above may be a model designed to efficiently learn to determine a motion vector field between adjacent frames by considering the similarity of global structural features and local features. Accordingly, it is resistant to noise and can provide highly reliable results for long-term strain analysis regardless of image quality.
- the predictive model used in the information providing method according to various embodiments of the present invention is not limited to the above and may have more diverse structures.
- a predictive model used in various embodiments of the present invention can be learned to estimate a motion vector field through cyclic motion modeling.
- the prediction model includes end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole.
- ES end systole
- ED end diastole
- ES-ED mid between end systole and end diastole
- ED-ES end systole and end systole.
- Time-series medical images in 2-bit units, each labeled with mid (ED-ES) frames in the middle, can be used for learning.
- the prediction model is applied to the last frame of the first set. Based on this, it may be learned to determine a motion vector field of a newly input first frame of the second set. That is, the motion vector field of the first frame of the second set may be determined based on the motion field of the last frame of the first set other than '0'.
- the predictive model may be trained to determine the motion vector field of the newly input last frame of the second set based on the first frame of the first set.
- the predictive model applied to various embodiments of the present invention can estimate a motion vector field by considering spatio-temporal characteristics of time-series medical images through bi-directional cyclic motion modeling. .
- bi-directional circular motion modeling may be performed through Equation 1 based on bi-directional circular motion, consistency constraints, and sparse labels for a specific frame.
- y is a mask label, may mean model prediction, and p may mean omega defined as an arbitrary point in the image space.
- the first equation (Bi-directional cyclic motions) can be a loss function that makes (t+1)%T, (T-1)%T images coincide with the current one using forward and backward motion vectors. there is.
- the second equation is an equation that constrains the differential value of each motion vector to be close to 0, and the third equation (Sparse labels) is a segmentation loss that has a correct answer (ground truth; GT). This formula is applied sparsely to frame t.
- 6A to 6C exemplarily illustrate pre-processing of input data in motion vector field prediction used in various embodiments of the present invention.
- the medical image 510 for learning is removed after the color is recognized (512).
- binarization is performed by time-axis variance (514), and morphological operations (open/close) are performed.
- a line is then detected (516), Line clustering is performed to detect intersecting straight lines and intersecting points, and then a circular sector is detected.
- Distance & Angle maps 518 are extracted, and a valid region is extracted. In this way, the preprocessed medical image 520 can be acquired.
- the preprocessed medical image 520 may include a sector-shaped region with a radius R.
- the height of the training medical image is R, and the width is can be set to R.
- the detailed size of the training medical image can be set to 256 X 384, and the ratio of height to width is can be equal to or greater than
- medical images for learning include end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole.
- the mid(ED-ES) frame in the middle may be a time-series medical image in units of 2 bits each labeled.
- the length of the target frame in the training medical image may be 25 or less, the frame rate may be 10, and the heart rate may be 40 to 100.
- the resampling rate may be determined based on the target frame, [0 ⁇ ES], [ES ⁇ mid(ES-ED)], [mid(ES-ED) ⁇ ED], [ED to mid(ED-ES)], and [mid(ED-ES) to T] resampling may be performed.
- pre-processing of medical images for training is not limited to the above.
- the preprocessing procedure is not limited to cardiac medical images, and preprocessing may be performed on periodic medical images such as lung medical images.
- FIG. 7A and 7B illustrate evaluation results of a device for providing information on organ function according to an embodiment of the present invention.
- FIG. 7B a motion vector field (based on a previous frame or a subsequent frame) of a specific frame in an echocardiogram image according to an information providing method according to various embodiments of the present disclosure is illustrated.
- the motion vector field may be output in different colors according to the direction by the predictive model. As a result, movements of fine muscles can be expressed more accurately.
- the predictive model may determine a motion vector field of each frame (a motion field for an adjacent frame) for a time-series medical image, and output the motion vector field in a different color according to its direction. As a result, movements of fine muscles can be expressed more accurately.
- results of division of long-term regions corresponding to times T0, T1, and T2 based on a predictive model used in various embodiments of the present invention are shown. More specifically, the predictive model may be able to robustly segment a region that may be lost as it learns spatiotemporal characteristics together with motion estimation.
- the present invention can determine and provide a motion vector field of a medical image of a lung medical image or a medical image having a periodicity of a heart medical image, thereby providing information on the heart and lungs.
- the present invention can contribute to early diagnosis of diseases and good treatment prognosis by providing information on organ function.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
The present invention provides a method of providing information about organ functions and a device using same, the method being implemented by a processor and comprising the steps of: receiving a time-series medical image which includes an organ area of a subject, and consists of a plurality of frames; determining motion vector fields for the organ area in the received medical image by using a prediction model configured to output the motion vector fields between adjacent frames by using the medical image as input; and providing information about the determined motion vector fields.
Description
본 발명은 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스에 관한 것이다.The present invention relates to a method for providing information on organ function and a device for providing information on organ function using the same.
의료 영상 진단 디바이스는 대상체의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 디바이스는 인체에 고통을 주지 않고 실시되는 비침습 검사 디바이스로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다. 의료인들은 의료 영상 디바이스에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.A medical imaging diagnosis device is equipment for acquiring an image of an internal structure of an object. Such a medical imaging device is a non-invasive examination device that is performed without causing pain to the human body. Structural details within the body, internal tissues, and flow of fluids are photographed and processed to show medical personnel. Medical personnel may diagnose a patient's health condition and disease using a medical image output from a medical imaging device.
의료 영상 진단 디바이스로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 디바이스, 컴퓨터 단층 촬영 (CT, Computed Tomography) 디바이스, 엑스레이 (X-ray) 디바이스, 및 초음파 (ultrasound) 진단 디바이스 등이 있다.Medical imaging diagnosis devices include a magnetic resonance imaging (MRI) device for providing magnetic resonance images, a computed tomography (CT) device, an X-ray device, and an ultrasound diagnosis device. devices, etc.
예를 들어, 초음파 진단은 입체적인 구조의 장기를 여러 차원의 평면에서 초음파를 투사하여 의료 영상을 획득하고 혈역학적인 변수들을 측정하는 방식으로 이루어진다. 심장 또는 폐의 경우, 갈비뼈 사이 등의 주변 해부학적인 구조물들을 통해 다면적인 영상을 획득하도록 의료 영상을 얻기 쉬운 위치에 초음파 프로브 (probe) 를 위치시키고 회전과 기울임을 통해 적절한 단층을 찾아 영상이 기록된다.For example, ultrasound diagnosis is performed by projecting ultrasound waves on organs having a three-dimensional structure on a multi-dimensional plane to acquire medical images and measuring hemodynamic variables. In the case of the heart or lungs, an ultrasound probe is placed in a location easy to obtain medical images to obtain multi-faceted images through surrounding anatomical structures such as between ribs, and images are recorded by finding an appropriate tomography through rotation and tilt. .
*한편, 스트레인 (strain) 은 미세 근육의 변형율을 측정하여 장기의 이상 여부를 판별하기 위한 기법이다. *On the other hand, strain is a technique for determining whether an organ is abnormal by measuring the strain rate of fine muscles.
이러한 스트레인 기반 진단 보조 시스템은, 기능 이상 부위를 시각적으로 제공한다는 이점이 있음에도, 특정 영역 (예를 들어 심장의 경우 좌심실) 의 평가에 한정하여 적용가능 하고, 지역적 특징을 제한적으로 활용함에 따라 노이즈에 취약하다는 한계가 존재한다.Although this strain-based diagnostic aid system has the advantage of visually providing a functional abnormality, it is applicable only to the evaluation of a specific region (for example, the left ventricle in the case of the heart), and is less susceptible to noise due to limited use of regional features. There are limits to being vulnerable.
더욱이, 스트레인 기반 진단 보조 시스템은 의료 영상 품질과 전문가의 경험에 의존적일 수 있어 의료진의 숙련도에 따라 분석 결과의 신뢰성이 부족한 문제점이 있다.Moreover, the strain-based diagnosis assistance system may be dependent on the quality of medical images and the experience of experts, so there is a problem in that the reliability of analysis results is insufficient according to the skill level of medical staff.
이에, 장기 구조 전체에 대한 포괄적인 정보를 제공하고, 영상 노이즈에 강건한 스트레인 분석 기반의 진단 보조 시스템의 개발이 지속적으로 요구되고 있는 실정이다. Accordingly, there is a continuous demand for the development of a strain analysis-based diagnostic aid system that provides comprehensive information on the entire organ structure and is robust against image noise.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The background description of the invention has been prepared to facilitate understanding of the present invention. It should not be construed as an admission that matters described in the background art of the invention exist as prior art.
최근 인공지능 기술의 발전과 함께 장기 스트레인 분석을 위한 다양한 기법들이 제안되었다. 대표적으로, 합성곱 신경망 (convolutional neural network, CNN) 기반의 스펙클 추적 (Speckle tracking) 을 활용한 방법이 있다. Recently, with the development of artificial intelligence technology, various techniques for long-term strain analysis have been proposed. Representatively, there is a method using speckle tracking based on a convolutional neural network (CNN).
그러나 제안된 스펙클 추척 기반의 접근 방법은, 지역적 특징을 이용하여 모델링 한다는 점, 후처리 없이 직접 사용하기 어려울 정도의 부정확성을 갖고 영상 노이즈에 취약하다는 점의 한계가 여전히 존재할 수 있다. 더욱이, 후처리를 위한 알고리즘에 의존적임에 따라 분석 속도가 매우 느릴 수 있다.However, the proposed speckle tracking-based approach may still have limitations in that it models using local features, has inaccuracies that make it difficult to use directly without post-processing, and is vulnerable to image noise. Moreover, the analysis speed can be very slow as it depends on the algorithm for post-processing.
분할 대응 매칭 (Segmentation correspondence matching) 기반의 장기 스트레인 분석 방법이 제안되었다. 그러나, 이는 인공 신경망의 분할 성능에 의존적일 수 있고, 일부 프레임에서 분할 결과가 좋지 않을 경우 전체 프레임 오류로 확장될 수 있다는 문제가 존재할 수 있다. A long-term strain analysis method based on segmentation correspondence matching is proposed. However, this may depend on the segmentation performance of the artificial neural network, and there may be a problem that it may be extended to an entire frame error if the segmentation result is not good in some frames.
본 발명의 발명자들은 이를 해결하기 위한 방안으로 노이즈에 강한 모션 추정 (motion estimation), 구조적 특징 반영 및 인접한 모션간의 유사성 제약이 필요하다는 점을 인지할 수 있었다.The inventors of the present invention have been able to recognize that as a solution to this problem, noise-resistant motion estimation, structural feature reflection, and similarity constraints between adjacent motions are required.
특히, 본 발명의 발명자들은, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 예측할 경우 전역적 구조 특징과 지역적 특징 유사성을 고려할 수 있어, 영상 노이즈에 강한 모션 추정이 가능함을 인지할 수 있었다.In particular, the inventors of the present invention recognized that, when predicting a motion vector field between adjacent frames, global structure characteristics and local feature similarities may be considered, and therefore, motion estimation strong against image noise is possible.
그 결과, 본 발명의 발명자들은 인접한 프레임간의 모션 필드 벡터를 예측하도록 학습된 예측 모델을 진단 보조 시스템에 적용할 수 있었다.As a result, the inventors of the present invention were able to apply a prediction model learned to predict a motion field vector between adjacent frames to a diagnosis assistance system.
한편, 본 발명의 발명자들은 예측 모델의 구축에 있어서, 주기성이 있는 일련의 영상 데이터의 특징을 더욱 고려하고자 하였다. 보다 구체적으로, 본 발명의 발명자들은 입력되는 영상을 이루는 프레임에 대한 양 방향 벡터 필드의 예측이 가능하며, 새로운 영상이 입력될 경우 이전 영상에 대한 프레임의 벡터 필드 예측값을 고려한 '양-방향 순환 모션 모델링 (Bi-directional cyclic motion modeling)' 을 적용하고자 하였다. Meanwhile, the inventors of the present invention tried to further consider the characteristics of a series of image data having periodicity in constructing a predictive model. More specifically, the inventors of the present invention can predict a bi-directional vector field for a frame constituting an input image, and when a new image is input, 'bi-directional circular motion' considering the predicted value of the vector field of the frame for the previous image Modeling (Bi-directional cyclic motion modeling)' was applied.
그 결과, 본 발명의 발명자들은, 시-공간적 모션 모델링 기반의 새로운 진단 보조 시스템을 제공함으로써 장기 근육 (예를 들어, 심근 또는 폐근육) 의 움직임을 정확히 평가할 수 있어 기능 이상 부위의 시각적 및 정량적 정보를 제공할 수 있음을 기대할 수 있다. As a result, the inventors of the present invention can accurately evaluate the movement of long-term muscles (eg, cardiac muscle or lung muscle) by providing a new diagnostic aid system based on spatio-temporal motion modeling, providing visual and quantitative information of dysfunctional areas. can be expected to provide.
이에, 본 발명이 해결하고자 하는 과제는, 개체로부터 획득된 시계열 의료 영상에 대하여, 예측 모델을 이용하여 장기 영역에 대한 모션 벡터 필드를 결정하고, 이를 기초로 장기 기능과 연관된 정보를 제공하도록 구성된, 장기 기능에 대한 정보 제공 방법 및 디바이스를 제공하는 것이다. Therefore, the problem to be solved by the present invention is to determine a motion vector field for an organ region using a predictive model for a time-series medical image obtained from an object, and based on this, to provide information related to organ function. Configured, It is to provide a method and device for providing information on organ function.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 방법은, 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서, 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서, 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하는 단계, 의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 의료 영상 내의 장기 영역에 대한 모션 벡터 필드를 결정하는 단계, 및 결정된 모션 벡터 필드에 대한 정보를 제공하는 단계를 포함한다.In order to solve the above problems, a method for providing information on organ function according to an embodiment of the present invention is provided. A method according to an embodiment of the present invention is a method for providing information on organ functions implemented by a processor, which includes a plurality of frames including an organ region of an object. Receiving the formed time-series medical image, using the medical image as an input, and outputting a motion vector field between adjacent frames, using a predictive model configured to output a motion vector field for an organ region in the received medical image determining, and providing information about the determined motion vector field.
본 발명의 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여 복수의 프레임 각각에 대하여 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.According to an aspect of the invention, determining a motion vector field may include determining a motion vector field for each of a plurality of frames using a predictive model.
본 발명의 다른 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및 제1 모션 벡터 필드를 기초로, 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하는 단계를 포함할 수 있다.According to another feature of the present invention, determining a motion vector field includes determining a first motion vector field for a first frame of a plurality of frames, and based on the first motion vector field, the first frame next It may include estimating a second motion vector field for a second frame of .
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및 제1 모션 벡터 필드를 기초로, 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하는 단계를 포함할 수 있다.According to another feature of the present invention, determining a motion vector field includes determining a first motion vector field for a first frame of a plurality of frames, and based on the first motion vector field, the first frame It may include estimating a third motion vector field for a previous third frame.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 픽셀을 포함하고, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the medical image may include a plurality of pixels, and determining the motion vector field may include determining a motion vector field for each of the plurality of pixels by using a predictive model. there is.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 프레임으로 이루어진 1 세트, 및 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함할 수 있다. 이때, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여, 제1 세트의 마지막 프레임에 기초하여, 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하는 단계, 또는 예측 모델을 이용하여 제1 세트의 첫 번째 프레임에 기초하여, 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, a medical image may include one set consisting of a plurality of frames and a second set consisting of a plurality of frames different from the first set. In this case, the step of determining the motion vector field may include determining the motion vector field of the first frame of the second set based on the last frame of the first set using a predictive model, or the step of determining the motion vector field of the first frame of the second set using a predictive model. Based on the first frame of the first set, determining the motion vector field of the last frame of the second set.
본 발명의 또 다른 특징에 따르면, 예측 모델은 3D CNN (Convolutional Neural Network), 2D CNN 및 이들의 조합 중 적어도 하나의 구조를 가질 수 있다. According to another feature of the present invention, the predictive model may have a structure of at least one of a 3D Convolutional Neural Network (CNN), a 2D CNN, and a combination thereof.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상을 입력으로 하여 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성될 수 있다.According to another feature of the present invention, the predictive model may be configured to output motion vector fields having different colors according to directions by taking a medical image as an input.
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드에 대한 정보를 제공하는 단계는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the providing information on the motion vector field may include determining strain of fine muscles for a plurality of parts of the organ region based on the determined motion vector field. can
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드에 대한 정보를 제공하는 단계는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하는 단계를 포함할 수 있다.According to another feature of the present invention, providing information on the motion vector field may include generating visual information indicating motions of a plurality of parts of an organ region based on the determined motion vector field. .
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상을 입력으로 하여 모션 벡터 필드 및 장기 영역을 출력하도록 더 구성된 모델일 수 있다.According to another feature of the present invention, the predictive model may be a model further configured to output a motion vector field and an organ region by taking a medical image as an input.
본 발명의 또 다른 특징에 따르면, 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 어느 하나 영상일 수 있다.According to another feature of the present invention, the medical image may be any one of ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and single photon emission computed tomography (SPET). .
본 발명의 또 다른 특징에 따르면, 장기는 심장 또는 폐일 수 있다.According to another feature of the invention, the organ may be the heart or lungs.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스가 제공된다. 본 발명의 다른 실시예에 따른 디바이스는, 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하도록 구성된 통신부, 및 프로세서를 포함한다.In order to solve the above problems, a device for providing information on organ functions according to another embodiment of the present invention is provided. A device according to another embodiment of the present invention includes a communication unit configured to receive a time series medical image including a plurality of frames including an organ region of an object, and a processor.
이때, 프로세서는, 의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하고, 결정된 모션 벡터 필드에 대한 정보를 제공하도록 구성된다.At this time, the processor determines a motion vector field for the organ region in the received medical image by using a predictive model configured to output a motion vector field between adjacent frames with a medical image as an input; configured to provide information about the determined motion vector field.
본 발명의 특징에 따르면, 프로세서는, 예측 모델을 이용하여 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하도록 구성될 수 있다.According to an aspect of the invention, a processor may be configured to determine the motion vector field for each of a plurality of frames using a predictive model.
본 발명의 다른 특징에 따르면, 프로세서는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고, 제1 모션 벡터 필드를 기초로, 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하도록 구성될 수 있다.According to another feature of the present invention, a processor determines a first motion vector field for a first frame among a plurality of frames, and based on the first motion vector field, a second motion vector field for a second frame next to the first frame. It may be configured to estimate a motion vector field.
본 발명의 또 다른 특징에 따르면, 프로세서는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고, 제1 모션 벡터 필드를 기초로, 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하도록 구성될 수 있다.According to another feature of the present invention, the processor determines a first motion vector field for a first frame among a plurality of frames, and based on the first motion vector field, a first motion vector field for a third frame before the first frame. It can be configured to estimate 3 motion vector fields.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 픽셀을 포함하고, 프로세서는, 예측 모델을 이용하여 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the medical image may include a plurality of pixels, and the processor may be further configured to determine a motion vector field for each of the plurality of pixels using a predictive model.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 프레임으로 이루어진 1 세트, 및 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함할 수 있다. According to another feature of the present invention, a medical image may include one set consisting of a plurality of frames and a second set consisting of a plurality of frames different from the first set.
이때 프로세서는, 예측 모델을 이용하여, 제1 세트의 마지막 프레임에 기초하여, 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하거나, 예측 모델을 이용하여 제1 세트의 첫 번째 프레임에 기초하여, 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 구성될 수 있다.In this case, the processor determines the motion vector field of the first frame of the second set based on the last frame of the first set using a predictive model, or based on the first frame of the first set using a predictive model. , may be configured to determine the motion vector field of the last frame of the second set.
본 발명의 또 다른 특징에 따르면, 프로세서는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to determine strain rates of fine muscles for a plurality of parts of the organ region based on the determined motion vector field.
본 발명의 또 다른 특징에 따르면, 프로세서는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to generate visual information representing motions of a plurality of parts of the organ region based on the determined motion vector field.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other embodiment specifics are included in the detailed description and drawings.
본 발명은, 시계열 의료 영상에 대하여 인접한 프레임간의 모션 벡터 필드의 예측이 가능한 진단 보조 시스템을 제공함에 따라, 장기 기능에 신뢰도 높은 정보를 제공할 수 있다. The present invention provides a diagnosis assisting system capable of predicting a motion vector field between adjacent frames for a time-series medical image, thereby providing highly reliable information for organ function.
이에, 본 발명은, 종래의 지역적 특징만을 고려한 장기 스트레인 (또는 변형율) 분석 기반 진단 보조 시스템의 한계를 극복할 수 있다.Accordingly, the present invention can overcome the limitations of the conventional diagnosis assistance system based on long-term strain (or strain) analysis considering only regional characteristics.
특히, 본 발명은, 의료 영상의 스트레인 분석에 있어서 영상의 품질 및 전문가의 경험에 의존적이며, 지역적 특징만을 고려함에 따라 모션 노이즈 후처리 알고리즘의 적용이 요구되는 종래의 진단 보조 시스템의 한계를 극복할 수 있다.In particular, the present invention is dependent on image quality and expert experience in strain analysis of medical images, and can overcome the limitations of conventional diagnostic assistance systems that require the application of motion noise post-processing algorithms as only regional characteristics are considered. can
보다 구체적으로, 본 발명은 전역적 구조 특징 및 지역적 특징 유사성을 고려한 시-공간적 모션 모델이 적용된 새로운 진단 보조 시스템을 제공할 수 있어, 영상 노이즈에 강한 모션 추정이 가능할 수 있다.More specifically, the present invention can provide a new diagnostic assistance system to which a spatio-temporal motion model considering similarity of global structural features and regional features is applied, enabling motion estimation that is resistant to image noise.
이에, 본 발명은 시-공간적 모션 모델링 기반의 새로운 진단 보조 시스템을 제공함으로써 심근의 움직임을 정확히 평가할 수 있어 기능 이상 부위의 시작적 및 정량적 정보를 제공할 수 있다. Accordingly, the present invention provides a new diagnosis assistance system based on spatio-temporal motion modeling, which can accurately evaluate myocardial motion, thereby providing visual and quantitative information on functional abnormalities.
즉, 본 발명은 장기 기능, 특히 심장 또는 폐에 대한 정보를 제공함에 따라, 심-폐 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다. That is, the present invention can contribute to early diagnosis and good treatment prognosis of cardiopulmonary diseases by providing information on organ function, particularly heart or lung.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present invention.
도 1은 본 발명의 실시예에 따른 시계열 의료 영상을 이용한 진단 보조 시스템을 설명하기 위한 개략도이다.1 is a schematic diagram for explaining a diagnosis assistance system using time-series medical images according to an embodiment of the present invention.
도 2a는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.2A is a schematic diagram illustrating a device for providing information on organ functions according to an embodiment of the present invention.
도 2b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스로부터 정보를 제공받는 사용자 디바이스를 설명하기 위한 개략도이다.2B is a schematic diagram illustrating a user device receiving information from a device for providing information on organ functions according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드에 기반하여 장기 기능에 대한 정보 제공 방법을 설명하기 위한 개략적인 순서도이다.3 is a schematic flowchart illustrating a method for providing information on organ functions based on a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
도 4a 내지 4d는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드를 결정하는 절차를 예시적으로 도시한 것이다. 4A to 4D exemplarily illustrate a procedure for determining a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
도 5a는 본 발명의 다양한 실시예에 적용되는 예측 모델의 구조를 예시적으로 도시한 것이다.5A illustrates the structure of a predictive model applied to various embodiments of the present invention by way of example.
도 5b는 본 발명의 다양한 실시예에 적용되는 예측 모델의 모델링 절차를 예시적으로 도시한 것이다.5B exemplarily illustrates a modeling procedure of a predictive model applied to various embodiments of the present invention.
도 6a 내지 6c는 본 발명의 다양한 실시예에 이용되는 모션 벡터 필드 예측에 있어서, 입력 데이터의 전처리를 예시적으로 도시한 것이다.6A to 6C exemplarily illustrate preprocessing of input data in motion vector field prediction used in various embodiments of the present invention.
도 7a 및 7b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다.7A and 7B illustrate evaluation results of a device for providing information on organ function according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. In connection with the description of the drawings, like reference numerals may be used for like elements.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "has," "may have," "includes," or "may include" indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, Or (3) may refer to all cases including at least one A and at least one B.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element as It is used only to distinguish it from other components and does not limit the corresponding components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of rights described in this document, a first element may be named a second element, and similarly, the second element may also be renamed to the first element.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (e.g., a first component) is "(operatively or communicatively) coupled with/to" another component (e.g., a second component); When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component). On the other hand, when an element (eg, a first element) is referred to as being “directly connected” or “directly connected” to another element (eg, a second element), the element and the above It may be understood that other components (eg, third components) do not exist between the other components.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.As used in this document, the expression "configured to" means "suitable for," "having the capacity to," depending on the circumstances. ," "designed to," "adapted to," "made to," or "capable of." The term "configured (or set) to" may not necessarily mean only "specifically designed to" hardware. Instead, in some contexts, the expression "a device configured to" may mean that the device "is capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" may include a dedicated processor (eg, an embedded processor) to perform those operations, or by executing one or more software programs stored on a memory device. , may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the art described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, an ideal or excessively formal meaning. not be interpreted as In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.For clarity of interpretation of this specification, terms used in this specification will be defined below.
본 명세서에서 사용되는 용어, "의료 영상"은, 의료 영상 진단 디바이스로부터 획득된 의료 영상을 의미할 수 있다. As used herein, the term “medical image” may refer to a medical image obtained from a medical imaging diagnosis device.
이때, 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 하나의 영상일 수 있다. 바람직하게, 의료 영상은 2차원 의료 영상일 수 있으나, 이에 제한되는 것은 아니며 3차원 의료 영상일 수도 있다.In this case, the medical image may be one of ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and single photon emission computed tomography (SPET). Preferably, the medical image may be a 2D medical image, but is not limited thereto and may be a 3D medical image.
본 발명의 특징에 따르면, 의료 영상은 초음파 영상일 수 있으나, 이에 제한되는 것은 아니다. According to a feature of the present invention, a medical image may be an ultrasound image, but is not limited thereto.
한편, 의료 영상은, 복수 개의 프레임으로 구성된 주기성이 있는 의료 영상 (또는, 동영상) 일 수 있다. Meanwhile, the medical image may be a medical image (or video) having periodicity composed of a plurality of frames.
예를 들어, 주기성이 있는 의료 영상은, 심장 또는 폐에 대한 의료 영상일 수 있다.For example, a medical image having periodicity may be a medical image of the heart or lungs.
즉, 본원 명세서 내에서 "장기"는 심장 또는 폐일 수 있으나, 이에 제한되는 것은 아니다.That is, "organ" within the present specification may be the heart or lung, but is not limited thereto.
한편, 시계열 의료 영상은 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 따라 영상의 프레임 각각에 대하여 인접한 프레임간 모션 벡터 필드가 결정될 수도 있다. Meanwhile, in a time-series medical image, a motion vector field between adjacent frames may be determined for each frame of the image according to the method for providing information on organ function according to an embodiment of the present invention.
본 발명의 다른 특징에 따르면, 시계열 의료 영상은, 2 비트 (beat) 의 시퀀스를 갖는 시계열 심초음파 영상일 수 있다.According to another feature of the present invention, a time series medical image may be a time series echocardiography image having a sequence of 2 beats.
*예를 들어, 2 비트 단위의 시계열 의료 영상은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole) 의 프레임을 포함할 수 있고, 나아가 수축기 말과 이완기 말 중간의 mid (ES-ED) 프레임, 이완기 말과 수축기 말 중간의 mid (ED-ES) 프레임을 포함하는 시계열 심초음파 영상일 수 있다.* For example, a time-series medical image in units of 2 bits may include end systole (ES) and end diastole (ED) frames, and further include mid (ES) between end systole and end diastole. -ED) frame, and a time-series echocardiographic image including a mid (ED-ES) frame between end-diastole and end-systole.
그러나, 이에 제한되는 것은 아니며 의료 영상은 폐에 대한 영상일 수 있다. 상기 의료 영상은 호흡 패턴(흡기, 호기), 노력, 지속시간, 또는 목을 통한 공기 흐름, 특정 유형의 음식(유체, 고체) 삼키기, 및 성대 진동에 대한 정보를 포함하는 영상일 수 있다. 본 발명에 따른 장기 기능에 대한 정보 제공 방법을 통해, 호기, 흡기 장애를 통해 천식, 만성폐쇄성 폐질환, 간질성 폐질환 등의 여부 및 중증도를 판단하고 치료의 반응과 경과, 예후를 확인할 수도 있다.본 명세서에서 사용되는 용어, "모션 벡터 필드"는 벡터 함수로 표현된 공간인 벡터 장을 의미하며, 영상 (또는, 프레임) 내에서 장기의 미세 근육의 움직임에 따른 방향성과 크기를 제시하는 복수의 벡터일 수 있다. However, it is not limited thereto, and the medical image may be a lung image. The medical image may be an image including information about a breathing pattern (inhalation, expiration), effort, duration, or airflow through the throat, swallowing of a specific type of food (fluid or solid), and vocal cord vibration. Through the method for providing information on organ function according to the present invention, the presence and severity of asthma, chronic obstructive pulmonary disease, interstitial lung disease, etc. can be determined through expiration and inhalation disorders, and the response, progress, and prognosis of treatment can be confirmed. As used herein, the term "motion vector field" refers to a vector field, which is a space expressed as a vector function, and a plurality of directions and magnitudes according to the movement of fine muscles of an organ within an image (or frame). may be a vector of
보다 구체적으로, 본원 명세서 내에서 모션 벡터 필드는, 의료 영상의 프레임에서 장기 영역을 이루는 복수의 픽셀 각각에 대한 벡터들을 의미할 수 있다. 이에, 인접한 프레임 간의 모션 벡터 필드가 결정됨으로써 장기의 전역적 구조 특징에 따른 스트레인 분석이 가능할 수 있다.More specifically, in the present specification, a motion vector field may mean vectors for each of a plurality of pixels constituting an organ region in a frame of a medical image. Accordingly, by determining motion vector fields between adjacent frames, strain analysis according to long-term global structural characteristics may be possible.
본 명세서에서 사용되는 용어, "예측 모델"은 시계열 의료 영상을 입력으로 하여, 인접한 프레임간 모션 벡터 필드를 결정하도록 학습된 모델일 수 있다.As used herein, the term “prediction model” may be a model learned to determine a motion vector field between adjacent frames by taking a time-series medical image as an input.
즉, 예측 모델은, 시계열 의료 영상의 시공간 특성을 학습하여, 복수의 프레임 각각에 대하여 인접한 프레임 대비 모션 벡터 필드를 추정할 수 있다. That is, the predictive model may estimate a motion vector field relative to adjacent frames for each of a plurality of frames by learning spatiotemporal characteristics of time-series medical images.
본 발명의 특징에 따르면, 예측 모델은 2D 시계열 의료 영상을 입력으로 하여, 영상의 프레임의 정방향 (forward) 으로 x축 y축 각각에 대응하는 모션 벡터 필드의 2 클래스를 분류하도록 학습될 수 있다.According to a feature of the present invention, a predictive model may be trained to classify two classes of motion vector fields corresponding to each of the x-axis and y-axis in the forward direction of a frame of a 2D time-series medical image as an input.
이때, 정방향 모션에서의 출력 값에 기초하여 영상의 프레임의 역방향 (backward) 의 x축 y축 각각에 대응하는 모션 벡터 필드가 획득될 수 있다.In this case, motion vector fields corresponding to each of the x-axis and y-axis in the backward direction of the frame of the image may be obtained based on the output value in the forward motion.
예를 들어, 예측 모델의 출력 층 이전 층에서 파라미터의 공유가 이루어질 수 있어, 정방향 모션에 대한 리버스 시퀀스 (reverse sequence) 가 적용되면 역방향 모션에 대한 x축 y축 각각에 대응하는 모션 벡터 필드의 획득이 가능할 수 있다. For example, if parameters are shared in a layer prior to the output layer of the predictive model, and a reverse sequence for forward motion is applied, motion vector fields corresponding to each of the x-axis and y-axis for backward motion are obtained this could be possible
즉, 이를 통해 프레임의 양 방향에 대한 모션 추정이 가능할 수 있다. That is, through this, motion estimation for both directions of the frame may be possible.
그러나, 이에 제한되는 것은 아니며 예측 모델은 프레임의 정방향 및 역방향의 x축 y축 각각에 대응하는 모션 벡터 필드의 4 클래스를 분류하도록 학습될 수도 있다.However, it is not limited thereto, and the predictive model may be trained to classify 4 classes of motion vector fields corresponding to each of the forward and backward x- and y-axes of the frame.
이러한 모션 추정을 목적으로 하는 예측 모델은, 비지도학습 기반의 학습이 적용될 수 있다.Unsupervised learning-based learning may be applied to the prediction model for the purpose of such motion estimation.
한편, 본 발명의 다른 특징에 따르면, 예측 모델은 2D 시계열 의료 영상을 입력으로 하여, 모션 벡터 필드뿐만 아니라, 영상 내 장기 영역을 복수의 영역 (예를 들어, 좌심방, 좌심실, 우심방 및 우심실) 으로 분할하도록 학습된 모델일 수 있다.Meanwhile, according to another feature of the present invention, the predictive model takes a 2D time-series medical image as an input and converts not only a motion vector field but also an organ region in the image into a plurality of regions (eg, left atrium, left ventricle, right atrium, and right ventricle). It can be a model that has been trained to segment.
특히, 예측 모델은 영상의 주기성 특징을 반영한 시계열 모델링으로 인해, 프레임 내에서 소실된 영역에 대한 강건한 분할이 가능할 수 있다. In particular, the predictive model may be able to robustly segment a missing region within a frame due to time-series modeling that reflects periodic characteristics of an image.
이때, 분할을 위한 예측 모델은, 특정 프레임 또는 영상 내의 특정 영역이 라벨링된 지도 학습 기반의 학습이 적용될 수 있다. In this case, as the prediction model for segmentation, supervised learning-based learning in which a specific region within a specific frame or image is labeled may be applied.
즉, 본 발명의 특징에 따르면, 예측 모델은, 모션 벡터 필드의 예측 또는 영역의 분할과 같은 학습 목적에 따라 선택적으로 비지도학습 또는 지도학습될 수 있는, 준-지도 학습 (semi-supervised learning) 모델일 수 있다.That is, according to a feature of the present invention, the predictive model is semi-supervised learning, which can be selectively unsupervised or supervised according to the learning purpose, such as prediction of a motion vector field or segmentation of a region. can be a model
본 발명의 다른 특징에 따르면, 예측 모델은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid (ES-ED), 및 이완기 말과 수축기 말 중간의 mid (ED-ES) 에 대해서 라벨링된 2 비트의 시퀀스를 갖는 2D 시계열 의료 영상을 기초로 모션을 추정하도록 학습된 모델일 수 있다.According to another feature of the present invention, the predictive model includes end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole. It can be a model learned to estimate motion based on 2D time-series medical images with a sequence of 2 bits labeled for the middle mid (ED-ES).
본 발명의 또 다른 특징에 따르면, 예측 모델은, 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성될 수 있다. 즉, 미세 근육의 움직임이 보다 명확하게 시각적으로 표시될 수 있다. According to another feature of the present invention, the predictive model may be configured to output motion vector fields having different colors depending on the direction. That is, movements of fine muscles can be visually displayed more clearly.
이때, 예측 모델은 3D-CNN 및/또는 2D-CNN을 기반으로 하는 분할 모델일 수도 있다. 예를 들어, 본 발명의 다양한 실시예에 이용되는 예측 모델은, 2D 컨볼루션 층 및 3D 컨볼루션 층을 갖는 U-net 구조를 가질 수 있다.In this case, the prediction model may be a segmentation model based on 3D-CNN and/or 2D-CNN. For example, a predictive model used in various embodiments of the present invention may have a U-net structure having a 2D convolution layer and a 3D convolution layer.
그러나 이에 제한되는 것은 아니며 예측 모델은, 2D 컨볼루션 및/또는 3D 컨볼루션 기반의 SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 지능 네트워크 기반의 모델일 수 있다. However, it is not limited thereto, and the prediction model is SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network) based on 2D convolution and/or 3D convolution. , RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), or SSD (Single Shot Detector).
이하에서는, 도 1, 도 2a 내지 2b를 참조하여, 본 발명의 다양한 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 상세히 설명한다.Hereinafter, with reference to FIGS. 1 and 2A to 2B , a device for providing information on organ functions according to various embodiments of the present disclosure will be described in detail.
도 1은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스 기반의 진단 보조 시스템을 설명하기 위한 개략도이다.1 is a schematic diagram illustrating a device-based diagnosis assistance system for providing information on organ function according to an embodiment of the present invention.
먼저, 도 1을 참조하면, 진단 보조 시스템 (1000) 은, 사용자의 의료 영상, 특히 시계열 의료 영상을 기초로 장기 기능과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 진단 보조 시스템 (1000) 은, 시계열 의료 영상에 기초하여, 모션 벡터 필드를 예측하도록 구성된 장기 기능에 대한 정보 제공용 디바이스 (100), 사용자 디바이스 (200) 및 개체의 의료 영상을 제공하도록 구성된 의료 영상 진단 디바이스 (400) 로 구성될 수 있다. First, referring to FIG. 1 , a diagnosis assistance system 1000 may be a system configured to provide information related to an organ function based on a user's medical image, particularly a time-series medical image. At this time, the diagnostic assistance system 1000 is configured to provide a device 100 for providing information about an organ function configured to predict a motion vector field based on a time-series medical image, a user device 200, and a medical image of an object. It may be configured as a medical imaging diagnosis device 400 .
먼저, 장기 기능에 대한 정보 제공용 디바이스 (100) 는, 초음파 진단 디바이스와 같은 의료 영상 진단 디바이스 (400) 로부터 제공된 개체의 시계열 의료 영상의 인접한 프레임간 모션 벡터 필드를 예측하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. First, the device 100 for providing information on organ function performs various operations to predict a motion vector field between adjacent frames of a time-series medical image of an object provided from a medical imaging diagnosis device 400 such as an ultrasound diagnosis device. general purpose computers, laptops, and/or data servers, and the like.
사용자 디바이스 (200) 는 장기 기능과 연관된 정보가 저장된 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. The user device 200 may be a device for accessing a web server providing a web page storing information related to an organ function or a mobile web server providing a mobile web site, but is limited thereto. It doesn't work.
의료 영상 진단 디바이스 (400) 는, 장기 기능에 대한 정보 제공용 디바이스 (100) 와 통신하는 통신 모듈이 구비된 의료 영상 진단 디바이스일 수 있으나, 이에 제한되는 것은 아니다. The medical imaging diagnosis device 400 may be a medical imaging diagnosis device equipped with a communication module communicating with the device 100 for providing information on organ functions, but is not limited thereto.
보다 구체적으로, 장기 기능에 대한 정보 제공용 디바이스 (100) 는 의료 영상 진단 디바이스 (400) 로부터 수신된 시계열 의료 영상에 대하여, 각 프레임에 대한 모션 벡터 필드를 예측하고, 이로부터 장기 기능에 관한 정보를 제공하도록 구성될 수 있다.More specifically, the device for providing information on organ function 100 predicts a motion vector field for each frame of the time-series medical image received from the medical image diagnosis device 400, and from this predicts information on organ function. It can be configured to provide.
장기 기능에 대한 정보 제공용 디바이스 (100) 는 장기 기능에 관한 데이터를 사용자 디바이스 (200) 로 제공할 수 있다. The device 100 for providing information on organ functions can provide data on organ functions to the user device 200 .
이와 같이 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 장기 기능에 관한 데이터는 사용자 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.In this way, organ function-related data provided from the device for providing information on organ function 100 may be provided as a web page through a web browser installed in the user device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.
다음으로, 사용자 디바이스 (200) 는 장기 기능에 관한 데이터 제공을 요청하고 분석 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.Next, the user device 200 is an electronic device that requests provision of data on organ function and provides a user interface for displaying analysis result data, such as a smart phone, a tablet PC (Personal Computer), a laptop computer, and/or a PC. may include at least one of them.
사용자 디바이스 (200) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 장기 기능에 관한 데이터를 수신할 수 있다. 이때, 수신된 결과는 사용자 디바이스 (200) 의 표시부를 통해 표시될 수 있다. 여기서, 장기 기능에 관한 데이터는, 장기 영역의 복수의 부위에 대한 근육의 변형율 (또는 스트레인; strain), 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보 등을 포함할 수 있다.The user device 200 can receive organ function-related data from the organ function-providing device 100 . At this time, the received result may be displayed through the display unit of the user device 200 . Here, data related to organ function may include strain rates (or strains) of muscles for a plurality of parts of an organ area, visual information representing motions of a plurality of parts of an organ area, and the like.
다음으로, 도 2a를 참조하여, 본 발명의 장기 기능에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 2A, components of the device 100 for providing information on organ functions according to the present invention will be described in detail.
도 2a는 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다. 2A is a schematic diagram illustrating a device for providing information on organ functions according to an embodiment of the present invention.
도 2a를 참조하면, 장기 기능에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다. Referring to FIG. 2A , a device 100 for providing information on organ functions includes a storage unit 110 , a communication unit 120 and a processor 130 .
먼저, 저장부 (110) 는 장기 기능에 관한 데이터를 제공을 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.First, the storage unit 110 may store various data for providing data on organ functions. In various embodiments, the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.
통신부 (120) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 사용자 디바이스 (200) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 진단 디바이스 (400) 로부터 개체의 의료 영상을 수신하고 사용자 디바이스 (200) 로 분할 결과를 전달할 수 있다. The communication unit 120 connects the device 100 for providing information on organ functions to enable communication with an external device. The communication unit 120 is connected to the user device 200 using wired/wireless communication to transmit/receive various data. Specifically, the communication unit 120 may receive a medical image of an object from the medical image diagnosis device 400 and deliver a segmentation result to the user device 200 .
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 주기성이 있는 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다. The processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and can execute various commands for analyzing a medical image having periodicity for an object.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 의료 영상 진단 디바이스 (400) 로부터 개체의 의료 영상을 수신하고, 모션 벡터 필드를 예측할 수 있다. In detail, the processor 130 may receive a medical image of an object from the medical imaging device 400 through the communication unit 120 and predict a motion vector field.
더욱이, 프로세서 (130) 는 주기성이 있는 의료 영상에 기초하여 모션 벡터 필드를 예측하도록 구성된 예측 모델에 기초할 수 있다. Furthermore, processor 130 can be based on a predictive model configured to predict motion vector fields based on periodic medical images.
이와 같이 본 발명은 의료 영상으로부터 벡터 필드를 예측하고, 임상적으로 유의미한 정보를 제공하는, 장기 스트레인 분석에 관한 결과를 제공함에 따라, 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.As described above, the present invention predicts a vector field from a medical image and provides clinically meaningful information, and provides long-term strain analysis results, thereby contributing to early diagnosis of diseases and good treatment prognosis.
한편, 도 2b를 함께 참조하면, 사용자 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다. Meanwhile, referring to FIG. 2B , the user device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 and a processor 240 .
통신부 (210) 는 사용자 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 장기 기능에 대한 정보 제공용 디바이스 (100) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (210) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 장기 기능에 대한 분석 결과를 수신할 수 있다. The communication unit 210 connects the user device 200 to enable communication with an external device. The communication unit 210 is connected to the device 100 for providing information on organ functions using wired/wireless communication to transmit/receive various data. In detail, the communication unit 210 may receive an analysis result of an organ function from the device 100 for providing information on an organ function.
표시부 (220) 는 장기 기능에 대한 데이터를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The display unit 220 can display various interface screens for displaying data on organ functions.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다. In various embodiments, the display unit 220 may include a touch screen, and for example, a touch using an electronic pen or a part of the user's body, a gesture, a proximity, a drag, or a swipe A swipe or hovering input may be received.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 230 may store various data used to provide a user interface for displaying result data. In various embodiments, the storage unit 230 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 정보를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다. The processor 240 is operably connected to the communication unit 210, the display unit 220, and the storage unit 230, and can perform various commands to provide a user interface for displaying information.
이하에서는 도 3 및 4a 내지 4d를 참조하여 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 대하여 설명한다. Hereinafter, a method for providing information on organ function according to an embodiment of the present invention will be described with reference to FIGS. 3 and 4a to 4d.
도 3은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드에 기반하여 장기 기능에 대한 정보 제공 방법을 설명하기 위한 개략적인 순서도이다. 도 4a 내지 4d는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드를 결정하는 절차를 예시적으로 도시한 것이다. 3 is a schematic flowchart illustrating a method for providing information on organ functions based on a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention. 4A to 4D exemplarily illustrate a procedure for determining a motion vector field in a device for providing information on organ functions according to an embodiment of the present invention.
이때, 심장 초음파 의료 영상이 예시로서 설명되나 이에 제한되어 해석되어서는 아니된다. 즉, 본 발명의 다양한 실시예에 개시된 모션 벡터 필드의 결정은 보다 다양한 의료 영상에 적용 가능할 수 있다. In this case, although an echocardiographic medical image is described as an example, it should not be construed as being limited thereto. That is, the determination of the motion vector field disclosed in various embodiments of the present invention may be applicable to more diverse medical images.
먼저, 도 3을 참조하면 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 따라 개체의 시계열 의료 영상이 수신된다 (S310). 그 다음, 예측 모델에 의해 모션 벡터 필드가 결정되고 (S320). 최종적으로, 모션 벡터 필드에 대한 데이터가 제공된다 (S330).First, referring to FIG. 3 , according to the method for providing information on organ function according to an embodiment of the present invention, a time-series medical image of an object is received (S310). Then, a motion vector field is determined by the predictive model (S320). Finally, data for the motion vector field is provided (S330).
보다 구체적으로, 시계열 의료 영상이 수신되는 단계 (S310) 에서 2D 시계열 의료 영상이 수신될 수 있다. More specifically, in step S310 of receiving the time-series medical image, a 2D time-series medical image may be received.
예를 들어, 시계열 의료 영상이 수신되는 단계 (S310) 에서 2 비트의 시퀀스를 갖는 2D 초음파 영상이 수신될 수 있다.For example, in step S310 of receiving a time series medical image, a 2D ultrasound image having a 2-bit sequence may be received.
본 발명의 다른 특징에 따르면, 시계열 의료 영상이 수신되는 단계 (S310) 에서 주기성이 있는 의료 영상이 수신될 수 있다. According to another feature of the present invention, in step S310 of receiving a time-series medical image, a medical image having periodicity may be received.
그 다음, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델에 의해 의료 영상의 복수의 프레임 각각에 대하여, 인접한 프레임간의 모션 벡터 필드가 예측된다.Then, in step S320 of determining the motion vector field, the motion vector field between adjacent frames is predicted for each of a plurality of frames of the medical image by the predictive model.
본 발명의 특징에 따르면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델에 의해 프레임 내 복수의 픽셀, 특히 장기 영역의 복수의 픽셀 각각에 대한 모션 벡터 필드가 결정될 수 있다.According to a feature of the present invention, in the step of determining a motion vector field (S320), a motion vector field for each of a plurality of pixels within a frame, particularly a plurality of pixels of a long-term region, may be determined by a predictive model.
예를 들어, 도 4a를 함께 참조하면, 모션 벡터 필드가 결정되는 단계 (S320), 복수의 프레임을 갖는 2D 시계열 의료 영상 (412) 이 예측 모델 (420) 에 입력된다. 그 결과, 복수의 프레임에 대하여 픽셀 단위로, 인접한 프레임 대비 모션 벡터 필드가 출력되고, 복수의 프레임 각각에 대하여 모션 벡터 필드가 결정된 의료 영상 (422) 이 획득될 수 있다. For example, referring to FIG. 4A together, in step S320 of determining a motion vector field, a 2D time-series medical image 412 having a plurality of frames is input to the predictive model 420 . As a result, a motion vector field relative to an adjacent frame is output in units of pixels for a plurality of frames, and a medical image 422 in which the motion vector field is determined for each of the plurality of frames may be obtained.
다시 도 3을 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드가 결정되고, 제1 모션 벡터 필드에 기초하여 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드가 결정된다. Referring back to FIG. 3 , in the step of determining a motion vector field (S320), a first motion vector field for a first frame among a plurality of frames is determined, and based on the first motion vector field, a first motion vector field next to the first frame is determined. A second motion vector field for the second frame is determined.
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향으로 프레임의 모션 벡터 필드가 결정될 수 있다.That is, in the step of determining the motion vector field (S320), the motion vector field of the frame may be determined in the forward direction.
본 발명의 다른 특징에 따르면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드가 결정되고, 제1 모션 벡터 필드에 기초하여 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드가 결정된다.According to another feature of the present invention, in the step of determining a motion vector field (S320), a first motion vector field for a first frame among a plurality of frames is determined, and the first motion vector field is determined based on the first motion vector field. A third motion vector field for the previous third frame is determined.
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 역방향으로 프레임의 모션 벡터 필드가 결정될 수 있다.That is, in the step of determining the motion vector field (S320), the motion vector field of the frame may be determined in the reverse direction.
다시 말해, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향 및 역방향의 양 방향의 프레임에 대한 모션 벡터 필드가 결정될 수 있다. In other words, in the step of determining the motion vector fields (S320), motion vector fields for frames in both forward and reverse directions may be determined.
예를 들어, 도 4b를 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향 (forward) 으로 모션 필드가 추정될 경우, 제1 프레임 (I1) 에 대한 모션 필드에 기초하여, 제1 프레임 다음의 제2 프레임 (I2) 의 모션 벡터 필드가 결정될 수 있다. 나아가, 역방향 (Backward) 으로 모션 필드가 추정될 경우, 1 프레임 (I1) 에 대한 모션 필드에 기초하여, 제1 프레임 이전의 제3 프레임 (I0) 의 모션 벡터 필드가 결정될 수 있다.For example, referring to FIG. 4B , in the step of determining a motion vector field (S320), when a motion field is estimated in a forward direction, based on the motion field for the first frame (I 1 ), the second The motion vector field of the second frame (I 2 ) following the first frame can be determined. Furthermore, when the motion field is estimated in the backward direction, the motion vector field of the third frame (I 0 ) before the first frame may be determined based on the motion field of the first frame (I 1 ).
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델은, 정방향에 대응하는 모션 벡터 필드를 예측하고 출력할 수 있다. That is, in the step of determining the motion vector field (S320), the predictive model can predict and output the motion vector field corresponding to the forward direction.
예를 들어, 예측 모델은 하나의 2D 의료 영상의 프레임에 대하여, 정방향에서 x축 y축에 대응하는 모션 벡터 필드를 출력할 수도 있다. For example, the prediction model may output a motion vector field corresponding to an x-axis and a y-axis in a forward direction with respect to a frame of one 2D medical image.
이때, 선택적으로, 정방향 모션에 대한 리버스 시퀀스 (reverse sequence) 가 적용되면 역방향 모션에 대한 x축 y축 각각에 대응하는 모션 벡터 필드의 획득이 가능할 수 있다.In this case, optionally, if a reverse sequence for forward motion is applied, it is possible to obtain motion vector fields corresponding to each of the x-axis and y-axis for backward motion.
즉, 이를 통해 프레임의 양 방향에 대한 모션 추정이 가능할 수 있다. That is, through this, motion estimation for both directions of the frame may be possible.
그러나, 이에 제한되는 것은 아니며, 예측 모델은 정 방향 및 역 방향 각각에 대한 x축 y축의 4 개의 모션 벡터 필드를 출력하도록 더욱 학습될 수 도 있다.However, it is not limited thereto, and the predictive model may be further trained to output four motion vector fields of the x-axis and y-axis for forward and backward directions, respectively.
다시 도 3을 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델은 각 프레임에 대하여, 인접한 프레임간의 모션 벡터 필드뿐만 아니라 장기 영역을 복수의 영역으로 분할하도록 학습된 모델일 수 있다.Referring back to FIG. 3 , in the step of determining the motion vector field (S320), the predictive model may be a model learned to divide the long-term region into a plurality of regions as well as the motion vector field between adjacent frames for each frame. .
예를 들어, 도 4c를 함께 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임을 갖는 2D 시계열 의료 영상 (412) 이 예측 모델 (420) 에 입력된다. 그 결과, 복수의 프레임에 대하여 픽셀 단위로, 인접한 프레임 대비 모션 벡터 필드가 출력되고, 복수의 프레임 각각에 대하여 모션 벡터 필드가 결정된 의료 영상 (422) 이 획득될 수 있다. 나아가, 복수의 프레임 내의 장기 영역이 복수의 영역 (좌심방, 좌심실, 우심방 및 우심실) 으로 분할되고 복수의 프레임 각각에 대하여 장기 영역이 분할된 의료 영상 (424) 이 획득될 수 있다.For example, referring to FIG. 4C together, in step S320 of determining a motion vector field, a 2D time-series medical image 412 having a plurality of frames is input to the predictive model 420 . As a result, a motion vector field relative to an adjacent frame is output in units of pixels for a plurality of frames, and a medical image 422 in which the motion vector field is determined for each of the plurality of frames may be obtained. Furthermore, the organ region in a plurality of frames is divided into a plurality of regions (left atrium, left ventricle, right atrium, and right ventricle), and a medical image 424 in which the organ region is divided can be obtained for each of the plurality of frames.
다시 도 3을 참조하면, 최종적으로 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 가 수행된다.Referring back to FIG. 3 , finally, a step (S330) of providing data for a motion vector field is performed.
보다 구체적으로, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서 장기 기능과 연관된 데이터가 생성되고 제공될 수 있다. More specifically, in step S330 of providing data for a motion vector field, data associated with organ functions may be generated and provided.
본 발명의 특징에 따르면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 이 결정될 수 있다.According to a feature of the present invention, in the step of providing motion vector field data (S330), strains of fine muscles for a plurality of parts of the organ region may be determined based on the determined motion vector field.
본 발명의 다른 특징에 따르면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보가 생성될 수 있다.According to another feature of the present invention, in the step of providing motion vector field data (S330), visual information indicating motions of a plurality of parts of an organ region may be generated based on the motion vector field.
예를 들어, 도 4a 및 4d의 (a), (b) 및 (c)를 참조하면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 심근 움직임과 관련하여 시각적 및 정량적 분석 결과가 제공될 수 있다. For example, referring to (a), (b) and (c) of FIGS. 4A and 4D , in step S330 of providing motion vector field data, visual and quantitative analysis results in relation to myocardial motion are provided. can be provided.
보다 구체적으로, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 의료 영상 내에서 복수의 섹션의 미세 근육의 변형에 대한 시각적 정보 (4d의 (a)) 를 제공할 수 있다. 나아가, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 17 개의 섹션으로 나뉘어진 장기 영역에 대하여 어느 섹션의 움직임이 많은지, 또는 적은지 시각적으로 구별할 수 있는 데이터 (4d의 (b)) 의 제공이 가능할 수 있다. 더욱이, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 각 프레임 별 심근의 변형율이 결정되어 근육 (예를 들어 심근 또는 폐 근육) 에 대한 정량 정보가 제공될 수 있다 (4d의 (c)).More specifically, in the step of providing data on the motion vector field (S330), visual information ((a) of 4d) on deformation of fine muscles of a plurality of sections within the medical image can be provided. Furthermore, in the step of providing data on the motion vector field (S330), data for visually distinguishing which section has more or less movement with respect to the organ region divided into 17 sections ((b) of 4d) provision of may be possible. Furthermore, in the step of providing data on the motion vector field (S330), the strain rate of the myocardium for each frame is determined to provide quantitative information on the muscle (for example, myocardium or lung muscle) (in (c of 4d) )).
즉, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 의 결과로 장기 기능과 연관된 장기 스트레인 분석에 관한 데이터가 결정되고 제공될 수 있다.That is, as a result of providing data on the motion vector field (S330), data on organ strain analysis related to organ function can be determined and provided.
이하에서는 도 5a 및 5b를 참조하여 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조 및 학습 방법을 설명한다.Hereinafter, the structure and learning method of a predictive model used in various embodiments of the present invention will be described with reference to FIGS. 5A and 5B.
도 5a는 본 발명의 다양한 실시예에 적용되는 예측 모델의 구조를 예시적으로 도시한 것이다. 도 5b는 본 발명의 다양한 실시예에 적용되는 예측 모델의 모델링 절차를 예시적으로 도시한 것이다.5A illustrates the structure of a predictive model applied to various embodiments of the present invention by way of example. 5B exemplarily illustrates a modeling procedure of a predictive model applied to various embodiments of the present invention.
먼저 도 5a를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 예측 모델은, U-net 구조를 가질 수 있다. 구체적으로 도 5a의 U 자 형태의 예측 모델에서 왼쪽 영역은 3D 컨볼루션 (convolutional), 배치 정규화 (BN; Batch normalization) 및 Relu 활성 함수 연산 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 이때, 각각의 컨볼루션 층은 입력된 영상 (또는 공유된 영상 데이터) 에 대한 2D 컨볼루션이 수행되는 2D 컨볼루션 층 및 2D 컨볼루션 층과 연결되는 3D 컨볼루션 층으로 이루어질 수 있다. 즉, 영상에 대한 2D 컨볼루션 및 3D 컨볼루션이 수행될 수 있다. 그 다음, 최하단 영역에서, 복수의 프레임으로 이루어진 2D 의료 영상은 전역적 특징으로 표현될 수 있다. 나아가, 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 입력된 2D 시계열 의료 영상의 프레임 각각에 대하여, 영상의 프레임의 정방향 (forward) 으로 x축 y축 각각에 대응하는 모션 벡터 필드 및 영상의 프레임의 역방향 (backward) 으로 x축 y축 각각에 대응하는 4 개의 모션 벡터 필드의 4 개의 채널이 출력될 수 있다.Referring first to FIG. 5A , a predictive model used in various embodiments of the present invention may have a U-net structure. Specifically, in the U-shaped prediction model of FIG. 5A, the left region is 3D convolutional, batch normalization (BN), and max pooling (max pooling) using a local maximum value as a feature by extracting a layer for calculating a Relu activation function and a Relu activation function. pooling) layer. In this case, each convolution layer may include a 2D convolution layer in which 2D convolution is performed on an input image (or shared image data) and a 3D convolution layer connected to the 2D convolution layer. That is, 2D convolution and 3D convolution may be performed on the image. Then, in the lowermost region, a 2D medical image composed of a plurality of frames may be expressed as global features. Furthermore, in the right region of the predictive model, features obtained in the lowermost region are upsampled as they go up. As a result, for each frame of the input 2D time-series medical image, a motion vector field corresponding to each of the x-axis and y-axis in the forward direction of the frame of the image and each of the x-axis and y-axis in the backward direction of the frame of the image Four channels of four motion vector fields corresponding to can be output.
동시에, 입력된 2D 시계열 의료 영상의 프레임 각각에 대하여, 장기 영역 (예를 들어, 좌심방, 좌심실, 우심방 및 우심실, 또는 기관, 기관지, 우폐 상엽, 좌폐 상엽, 우폐 중간엽, 우폐 소엽간열, 우폐 주엽간열, 우폐 하엽, 좌폐 주엽간열 및 좌폐 하엽) 이 분할되어 출력될 수 있다. 그러나, 이에 한정되는 것은 아니다.At the same time, for each frame of the input 2D time-series medical image, an organ region (eg, left atrium, left ventricle, right atrium and right ventricle, or trachea, bronchus, right upper lobe, left upper lobe, right lung mesenchyme, right lobe interlobule, right main lobe) interlobe, right lower lobe, left main lobe interlobe, and left lower lobe) can be divided and output. However, it is not limited thereto.
한편, U 형태의 예측 모델에서 왼쪽에서 오른쪽으로 연결된 선 (skip connection) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 모션 벡터 필드의 예측 동안 입력 데이터가 작아짐에 따라 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다. Meanwhile, in the U-shaped prediction model, features of the left region may be copied and pasted to positions of the same level in the right region through a skip connection from left to right. Through this, features lost as input data becomes smaller during prediction of the motion vector field can be corrected, and copied features can be used together with features transferred from the lowermost region.
즉, 전술한 구조적 특징의 예측 모델은 전역적 구조 특징 및 지역적 특징 유사성을 고려하여, 인접한 프레임간의 모션 벡터 필드를 결정하도록, 효율적으로 학습하도록 설계된 모델일 수 있다. 이에, 노이즈에 강하고, 영상 품질에 관계 없이 장기 스트레인 분석에 대한 신뢰도 높은 결과를 제공할 수 있다. That is, the structural feature prediction model described above may be a model designed to efficiently learn to determine a motion vector field between adjacent frames by considering the similarity of global structural features and local features. Accordingly, it is resistant to noise and can provide highly reliable results for long-term strain analysis regardless of image quality.
본 발명의 다양한 실시예에 따른 정보 제공 방법에서 이용되는, 예측 모델은 전술한 것에 제한되지 않고 보다 다양한 구조를 가질 수 있다.The predictive model used in the information providing method according to various embodiments of the present invention is not limited to the above and may have more diverse structures.
한편, 본 발명의 다양한 실시예에 이용되는 예측 모델은 순환 모션 모델링 (cyclic motion modeling) 을 통해 모션 벡터 필드를 추정하도록 학습될 수 있다.Meanwhile, a predictive model used in various embodiments of the present invention can be learned to estimate a motion vector field through cyclic motion modeling.
보다 구체적으로 도 5b를 참조하면, 예측 모델은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid (ES-ED) 및 이완기 말과 수축기 말 중간의 mid (ED-ES) 프레임이 각각 라벨링된 2 비트 단위의 시계열 의료 영상을 학습에 이용할 수 있다. More specifically, referring to FIG. 5B , the prediction model includes end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole. Time-series medical images in 2-bit units, each labeled with mid (ED-ES) frames in the middle, can be used for learning.
보다 구체적으로, 2 비트 단위의 제1 세트 및 제1 세트와 상이한 제2 세트의 입력 데이터가 존재할 때, 정방향으로 프레임의 모션 벡터 필드를 결정하고자 할 경우, 예측 모델은 제1 세트의 마지막 프레임에 기초하여, 새롭게 입력되는 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하도록 학습될 수 있다. 즉, 제2 세트의 첫 번째 프레임의 모션 벡터 필드는 '0'이 아닌 제1 세트의 마지막 프레임의 모션 필드에 기초하여 결정될 수 있다. More specifically, when there is a first set of 2-bit units and a second set of input data different from the first set, when it is desired to determine the motion vector field of a frame in the forward direction, the prediction model is applied to the last frame of the first set. Based on this, it may be learned to determine a motion vector field of a newly input first frame of the second set. That is, the motion vector field of the first frame of the second set may be determined based on the motion field of the last frame of the first set other than '0'.
다음으로, 역방향으로 프레임의 모션 벡터 필드를 결정하고자 할 경우, 예측 모델은 제1 세트의 첫 번째 프레임에 기초하여, 새롭게 입력되는 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 학습될 수 있다.Next, when it is desired to determine the motion vector field of a frame in the reverse direction, the predictive model may be trained to determine the motion vector field of the newly input last frame of the second set based on the first frame of the first set. .
이와 같이 본 발명의 다양한 실시예에 적용되는 예측 모델은, 양-방향 순환 모션 모델링 (Bi-directional cyclic motion modeling) 을 통해, 시계열의 의료 영상의 시공간 특징을 고려하여 모션 벡터 필드를 추정할 수 있다.As described above, the predictive model applied to various embodiments of the present invention can estimate a motion vector field by considering spatio-temporal characteristics of time-series medical images through bi-directional cyclic motion modeling. .
한편, 양-방향 순환 모션 모델링은, 양 방향 순환 모션, 일관성 제약 (consistency constraint) 및 특정 프레임에 대한 라벨 (sparse labels) 기반의 수학식 1을 통해 수행될 수 있다.Meanwhile, bi-directional circular motion modeling may be performed through Equation 1 based on bi-directional circular motion, consistency constraints, and sparse labels for a specific frame.
여기서 는 정방향에서 추정된 모션 벡터이고, 는 역방향에서 추정된 모션 벡터를 의미할 수 있다. 나아가, y는 마스크 라벨 (mask label), 는 모델 예측 (model prediction), p는 영상 공간 상의 임의의 한 점으로 정의되는 오메가를 의미할 수 있다. here is a motion vector estimated in the forward direction, may mean a motion vector estimated in the reverse direction. Further, y is a mask label, may mean model prediction, and p may mean omega defined as an arbitrary point in the image space.
보다 구체적으로, 첫 번째 수식 (Bi-directional cyclic motions) 은 정방향 모션 벡터, 역방향 모션 벡터를 사용하여 (t+1)%T, (T-1)%T 영상이 현재와 일치하도록 하는 손실 함수일 수 있다.More specifically, the first equation (Bi-directional cyclic motions) can be a loss function that makes (t+1)%T, (T-1)%T images coincide with the current one using forward and backward motion vectors. there is.
두 번째 수식 (Consistency costraint) 은 각각의 모션 벡터들의 미분값이 0에 가깝도록 제약을 주는 수식이며, 세 번째 수식 (Sparse labels) 은 분할 손실 (segmentation loss) 로 정답 (ground truth; GT) 이 있는 프레임 t에 대하여 스파스 (sparse) 하게 적용되도록 하는 수식이다. The second equation (Consistency costraint) is an equation that constrains the differential value of each motion vector to be close to 0, and the third equation (Sparse labels) is a segmentation loss that has a correct answer (ground truth; GT). This formula is applied sparsely to frame t.
이하에서는 도 6a 내지 도 6c를 참조하여, 학습 데이터에 대한 전처리 절차를 설명한다. Hereinafter, a preprocessing procedure for learning data will be described with reference to FIGS. 6A to 6C.
도 6a 내지 도 6c는 본 발명의 다양한 실시예에 이용되는 모션 벡터 필드 예측에 있어서, 입력 데이터의 전처리를 예시적으로 도시한 것이다.6A to 6C exemplarily illustrate pre-processing of input data in motion vector field prediction used in various embodiments of the present invention.
먼저, 도 6a를 참조하면, 학습용 의료 영상 (510) 은 컬러가 인식된 후 (512) 제거된다. 그 다음, 시간 축 변량 (Time-axis variance) 에 의해 이진화가 진행되고 (514), 형태학적 연산 (열기/닫기) 이 수행된다. 그 다음, 라인이 검출되고 (516), 라인 클러스터링 (Line clustering) 이 수행되어 교차 직선 및 교차점 검출되고, 그 다음 원형 섹터 (Circular sector) 가 검출된다. 그 다음, 디스턴스 맵 및 앵글 맵 (Distance & Angle maps) (518) 이 추출되고, 유효 영역 (Valid region) 이 추출된다. 이렇게, 전처리가 수행된 의료 영상 (520) 이 획득 가능하다.First, referring to FIG. 6A , the medical image 510 for learning is removed after the color is recognized (512). Next, binarization is performed by time-axis variance (514), and morphological operations (open/close) are performed. A line is then detected (516), Line clustering is performed to detect intersecting straight lines and intersecting points, and then a circular sector is detected. Next, Distance & Angle maps 518 are extracted, and a valid region is extracted. In this way, the preprocessed medical image 520 can be acquired.
그 다음, 도 6b 를 참조하면, 전처리가 수행된 의료 영상 (520) 에 대한 크기 조절이 수행된다. 보다 구체적으로, 전처리가 수행된 의료 영상 (520) 은, 반지름이 R인 부채꼴의 영역을 포함할 수 있다. 이때, 학습용 의료 영상의 높이는 R로, 너비는 R로 설정될 수 있다.Next, referring to FIG. 6B , scaling of the preprocessed medical image 520 is performed. More specifically, the preprocessed medical image 520 may include a sector-shaped region with a radius R. At this time, the height of the training medical image is R, and the width is can be set to R.
학습용 의료 영상의 상세 사이즈는 256 X 384로 설정될 수 있고, 너비에 대한 높이의 비율은 와 동일하거나 클 수 있다. The detailed size of the training medical image can be set to 256 X 384, and the ratio of height to width is can be equal to or greater than
다음으로, 도 6c를 참조하면, 학습용 의료 영상은 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid(ES-ED) 및 이완기 말과 수축기 말 중간의 mid(ED-ES) 프레임이 각각 라벨링된 2 비트 단위의 시계열 의료 영상일 수 있다.Next, referring to FIG. 6C , medical images for learning include end systole (ES), end diastole (ED), mid between end systole and end diastole (ES-ED), and end systole and end systole. The mid(ED-ES) frame in the middle may be a time-series medical image in units of 2 bits each labeled.
이때, 학습용 의료 영상에서 표적 프레임의 길이는 25 이하이고, 프레임율 (frame rate) 은 10, 심박수는 40 내지 100일 수 있다. In this case, the length of the target frame in the training medical image may be 25 or less, the frame rate may be 10, and the heart rate may be 40 to 100.
한편, 학습 단계에서 영상 리샘플링 (resampling) 에 있어서, 리샘플링율은 표적 프레임에 기초하여 결정될 수 있고, [0 ~ ES], [ES ~ mid(ES-ED)], [mid(ES-ED) ~ ED], [ED ~ mid(ED-ES)], [mid(ED-ES) ~ T] 의 구간별로 리샘플링이 수행될 수 있다. Meanwhile, in image resampling in the learning step, the resampling rate may be determined based on the target frame, [0 ~ ES], [ES ~ mid(ES-ED)], [mid(ES-ED) ~ ED], [ED to mid(ED-ES)], and [mid(ED-ES) to T] resampling may be performed.
그러나, 학습용 의료 영상의 전처리는 전술한 것에 제한되는 것은 아니다. 더욱이, 전처리 절차는 심장 의료 영상에 제한되는 것이 아니며, 폐 의료 영상과 같은 주기성 의료 영상에 대한 전처리가 수행될 수도 있다. However, pre-processing of medical images for training is not limited to the above. Moreover, the preprocessing procedure is not limited to cardiac medical images, and preprocessing may be performed on periodic medical images such as lung medical images.
평가: 장기 기능에 대한 정보 제공용 디바이스의 분할 성능 평가Evaluation: Evaluate segmentation performance of devices for providing information on organ function
이하에서는, 도 7a 및 7b를 참조하여, 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 설명한다.Hereinafter, evaluation results of a device for providing information on organ functions according to an embodiment of the present invention will be described with reference to FIGS. 7A and 7B.
도 7a 및 7b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다. 7A and 7B illustrate evaluation results of a device for providing information on organ function according to an embodiment of the present invention.
먼저, 도 7b를 참조하면 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따른 심장 초음파 영상에서의 특정 프레임에 대한 모션 벡터 필드 (이전 프레임 또는 이후 프레임을 기준으로 함) 가 도시된다. First, referring to FIG. 7B , a motion vector field (based on a previous frame or a subsequent frame) of a specific frame in an echocardiogram image according to an information providing method according to various embodiments of the present disclosure is illustrated.
이때, 예측 모델에 의해 모션 벡터 필드는 방향에 따라 상이한 색상으로 출력할 수 있다. 이에 미세 근육의 움직임이 보다 정확하게 표현될 수 있다.In this case, the motion vector field may be output in different colors according to the direction by the predictive model. As a result, movements of fine muscles can be expressed more accurately.
보다 구체적으로, 도 7b의 (a)를 참조하면 T0, T1 및 T2 시간에 해당하는 2D 의료 영상 (또는 스틸 컷 프레임) 이 도시된다. More specifically, referring to (a) of FIG. 7B, 2D medical images (or still cut frames) corresponding to times T0, T1, and T2 are shown.
이때, 도 7b의 (b)를 함께 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델 기반의 T0, T1 및 T2 시간에 해당하는 장기 영역의 모션 벡터 필드가 도시된다. 도시된 바와 같이, 예측 모델은 시계열의 의료 영상에 대하여, 각 프레임의 모션 벡터 필드 (인접한 프레임에 대한 모션 필드) 를 결정하고, 이의 방향에 따라 상이한 색상으로 출력할 수 있다. 이에 미세 근육의 움직임이 보다 정확하게 표현될 수 있다. At this time, referring to (b) of FIG. 7B together, motion vector fields of long-term domains corresponding to times T0, T1, and T2 based on a predictive model used in various embodiments of the present invention are shown. As shown, the predictive model may determine a motion vector field of each frame (a motion field for an adjacent frame) for a time-series medical image, and output the motion vector field in a different color according to its direction. As a result, movements of fine muscles can be expressed more accurately.
도 7b의 (b)를 함께 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델 기반의 T0, T1 및 T2 시간에 해당하는 장기 영역의 분할 결과가 도시된다. 보다 구체적으로, 예측 모델은 모션 추정과 함께 시공간적 특성을 학습함에 따라 소실될 수 있는 영역에 대한 강건한 분할이 가능할 수 있다.Referring to (b) of FIG. 7B together, results of division of long-term regions corresponding to times T0, T1, and T2 based on a predictive model used in various embodiments of the present invention are shown. More specifically, the predictive model may be able to robustly segment a region that may be lost as it learns spatiotemporal characteristics together with motion estimation.
이러한 모션 벡터 필드 추정 결과는, 장기 기능과 연관된 장기 스트레인 분석에 적용될 수 있다.These motion vector field estimation results may be applied to organ strain analysis associated with organ functions.
보다 구체적으로, 모션 벡터 필드에 의해 장기의 미세 근육의 움직임을 정확히 평가할 수 있어, 예측된 모션 벡터 필드에 기초하여 기능 이상 부위의 시작적 및 정량적 정보가 제공될 수 있다. More specifically, it is possible to accurately evaluate the movement of the minute muscles of the organ by the motion vector field, and visual and quantitative information of the malfunctioning part can be provided based on the predicted motion vector field.
특히, 본 발명은 폐 의료 영상 또는 심장 의료 영상의 주기성을 갖는 의료 영상의 모션 벡터 필드를 결정하고 제공할 수 있어 심장 및 폐에 대한 정보를 제공할 수 있다. In particular, the present invention can determine and provide a motion vector field of a medical image of a lung medical image or a medical image having a periodicity of a heart medical image, thereby providing information on the heart and lungs.
즉, 본 발명은 장기 기능에 대한 정보를 제공함에 따라, 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다. That is, the present invention can contribute to early diagnosis of diseases and good treatment prognosis by providing information on organ function.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and may be variously modified and implemented without departing from the technical spirit of the present invention. . Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
[이 발명을 지원한 국가연구개발사업][National research and development project supporting this invention]
[과제고유번호]1711139123[Assignment identification number]1711139123
[과제번호]KMDF_PR_20200901_0156-05[Task number]KMDF_PR_20200901_0156-05
[부처명]다부처[Name of Buddha] Multiple Buddhas
[과제관리(전문)기관명](재단)범부처전주기의료기기연구개발사업단[Task management (professional) institution name] (Foundation) Pan-departmental life cycle medical device research and development project group
[연구사업명]범부처전주기의료기기연구개발사업(R&D)[Research project name] Pan-governmental medical device research and development project (R&D)
[연구과제명](참여4)관상동맥질환 선별을 위한 이종 특징 기반 'Al[Name of research project] (Participation 4) 'Al' based on heterogeneous features for coronary artery disease screening
Gatekeeper' 솔루션 개발Gatekeeper' solution development
[기여율]1/1[Contribution rate] 1/1
[과제수행기관명]㈜온택트헬스[Name of project performing organization] Ontact Health Co., Ltd.
[연구기간]2021.05.01 ~ 2022.04.30[Research period] 2021.05.01 ~ 2022.04.30
Claims (22)
- 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서,A method for providing information about organ functions implemented by a processor, comprising:개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하는 단계;receiving a time series medical image including a plurality of frames including an organ region of the object;의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 상기 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하는 단계, 및determining a motion vector field for the organ region in the received medical image using a predictive model configured to output a motion vector field between adjacent frames with a medical image as an input; and결정된 상기 모션 벡터 필드에 대한 정보를 제공하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.A method of providing information about an organ function, comprising providing information about the determined motion vector field.
- 제1항에 있어서,According to claim 1,상기 모션 벡터 필드를 결정하는 단계는,Determining the motion vector field,상기 예측 모델을 이용하여 상기 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and determining the motion vector field for each of the plurality of frames using the predictive model.
- 제2항에 있어서,According to claim 2,상기 모션 벡터 필드를 결정하는 단계는,Determining the motion vector field,상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및determining a first motion vector field for a first frame of the plurality of frames; and상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and estimating a second motion vector field for a second frame following the first frame based on the first motion vector field.
- 제2항에 있어서,According to claim 2,상기 모션 벡터 필드를 결정하는 단계는,Determining the motion vector field,상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및determining a first motion vector field for a first frame of the plurality of frames; and상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법. and estimating a third motion vector field for a third frame prior to the first frame based on the first motion vector field.
- 제1항에 있어서,According to claim 1,상기 의료 영상은 복수의 픽셀을 포함하고,The medical image includes a plurality of pixels,상기 모션 벡터 필드를 결정하는 단계는,Determining the motion vector field,상기 예측 모델을 이용하여 상기 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and determining a motion vector field for each of the plurality of pixels using the predictive model.
- 제1항에 있어서,According to claim 1,상기 의료 영상은The medical image is복수의 프레임으로 이루어진 1 세트, 및1 set consisting of a plurality of frames, and상기 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함하고,a second set consisting of a plurality of frames different from the first set;상기 모션 벡터 필드를 결정하는 단계는,Determining the motion vector field,상기 예측 모델을 이용하여, 상기 제1 세트의 마지막 프레임에 기초하여, 상기 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하는 단계, 또는determining, using the predictive model, a motion vector field of a first frame of the second set based on the last frame of the first set; or상기 예측 모델을 이용하여 상기 제1 세트의 첫 번째 프레임에 기초하여, 상기 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and determining a motion vector field of a last frame of the second set based on a first frame of the first set using the predictive model.
- 제1항에 있어서,According to claim 1,상기 예측 모델은,The predictive model,3D CNN (Convolutional Neural Network), 2D CNN 및 이들의 조합 중 적어도 하나의 구조를 갖는, 장기 기능에 대한 정보 제공 방법.A method for providing information on organ function, having a structure of at least one of a 3D convolutional neural network (CNN), a 2D CNN, and a combination thereof.
- 제1항에 있어서,According to claim 1,상기 예측 모델은, The predictive model,의료 영상을 입력으로 하여 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성된, 장기 기능에 대한 정보 제공 방법.A method for providing information on organ function, configured to output a motion vector field having different colors depending on a direction by taking a medical image as an input.
- 제1항에 있어서,According to claim 1,상기 모션 벡터 필드에 대한 정보를 제공하는 단계는,The step of providing information on the motion vector field,결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and determining strains of fine muscles for a plurality of parts of the organ region based on the determined motion vector field.
- 제1항에 있어서,According to claim 1,상기 모션 벡터 필드에 대한 정보를 제공하는 단계는,The step of providing information on the motion vector field,결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.and generating visual information representing motions of a plurality of parts of the organ region based on the determined motion vector field.
- 제1항에 있어서,According to claim 1,상기 예측 모델은,The predictive model,상기 의료 영상을 입력으로 하여 상기 모션 벡터 필드 및 상기 장기 영역을 출력하도록 더 구성된 모델인, 장기 기능에 대한 정보 제공 방법.The method of claim 1 , wherein the model is further configured to output the motion vector field and the organ region by taking the medical image as an input.
- 제1항에 있어서,According to claim 1,상기 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 어느 하나 영상인, 장기 기능에 대한 정보 제공 방법.The medical image is any one of ultrasound, computerized tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and single photon emission computed tomography (SPET).
- 제1항에 있어서,According to claim 1,상기 장기는 심장 또는 폐인, 장기 기능에 대한 정보 제공 방법.The organ is a heart or lungs, a method for providing information on organ function.
- 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하도록 구성된 통신부, 및A communication unit configured to receive a time-series medical image consisting of a plurality of frames including an organ region of an object; and프로세서를 포함하고,contains a processor;상기 프로세서는,the processor,의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 상기 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하고,determining a motion vector field for the organ region in the received medical image by using a predictive model configured to output a motion vector field between adjacent frames by taking a medical image as an input;결정된 상기 모션 벡터 필드에 대한 정보를 제공하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.A device for providing information about an organ function, configured to provide information about the determined motion vector field.
- 제14항에 있어서,According to claim 14,상기 프로세서는, the processor,상기 예측 모델을 이용하여 상기 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.and determining the motion vector field for each of the plurality of frames using the predictive model.
- 제15항에 있어서,According to claim 15,상기 프로세서는,the processor,상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고,determining a first motion vector field for a first frame among the plurality of frames;상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.and estimating a second motion vector field for a second frame following the first frame based on the first motion vector field.
- 제15항에 있어서,According to claim 15,상기 프로세서는,the processor,상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고,determining a first motion vector field for a first frame among the plurality of frames;상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스. A device for providing information about an organ function, configured to estimate a third motion vector field for a third frame prior to the first frame based on the first motion vector field.
- 제14항에 있어서,According to claim 14,상기 의료 영상은 복수의 픽셀을 포함하고,The medical image includes a plurality of pixels,상기 프로세서는,the processor,상기 예측 모델을 이용하여 상기 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스.and determining a motion vector field for each of the plurality of pixels using the predictive model.
- 제14항에 있어서,According to claim 14,상기 의료 영상은The medical image is복수의 프레임으로 이루어진 1 세트, 및1 set consisting of a plurality of frames, and상기 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함하고,a second set consisting of a plurality of frames different from the first set;상기 프로세서는,the processor,상기 예측 모델을 이용하여, 상기 제1 세트의 마지막 프레임에 기초하여, 상기 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하거나,determine a motion vector field of a first frame of the second set, based on the last frame of the first set, using the predictive model;상기 예측 모델을 이용하여 상기 제1 세트의 첫 번째 프레임에 기초하여, 상기 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스. and determine a motion vector field of a last frame of the second set based on a first frame of the first set using the predictive model.
- 제14항에 있어서,According to claim 14,상기 프로세서는,the processor,결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스. The device for providing information on organ functions, further configured to determine strains of fine muscles for a plurality of parts of the organ region based on the determined motion vector field.
- 제14항에 있어서,According to claim 14,상기 프로세서는,the processor,결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스.The device for providing information on organ functions, further configured to generate visual information representing motions of a plurality of parts of the organ region based on the determined motion vector field.
- 제14항에 있어서,According to claim 14,상기 예측 모델은,The predictive model,상기 의료 영상을 입력으로 하여 상기 모션 벡터 필드 및 상기 장기 영역을 출력하도록 더 구성된 모델인, 장기 기능에 대한 정보 제공용 디바이스.The device for providing information on organ functions, the model further configured to output the motion vector field and the organ region by taking the medical image as an input.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0180953 | 2021-12-16 | ||
KR1020210180953A KR20230091645A (en) | 2021-12-16 | 2021-12-16 | Method for providng information of organ function and device for providng information of organ function using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023113438A1 true WO2023113438A1 (en) | 2023-06-22 |
Family
ID=86772990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2022/020265 WO2023113438A1 (en) | 2021-12-16 | 2022-12-13 | Method of providing information about organ functions and device for providing information about organ functions using same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230091645A (en) |
WO (1) | WO2023113438A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458127A (en) * | 2019-03-01 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | Image processing method, device, equipment and system |
WO2020102544A1 (en) * | 2018-11-16 | 2020-05-22 | Elekta, Inc. | Real-time motion monitoring using deep neural network |
US20210133984A1 (en) * | 2019-11-04 | 2021-05-06 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for machine learning based physiological motion measurement |
KR20210115451A (en) * | 2020-03-13 | 2021-09-27 | 숭실대학교산학협력단 | Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method |
-
2021
- 2021-12-16 KR KR1020210180953A patent/KR20230091645A/en active IP Right Grant
-
2022
- 2022-12-13 WO PCT/KR2022/020265 patent/WO2023113438A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020102544A1 (en) * | 2018-11-16 | 2020-05-22 | Elekta, Inc. | Real-time motion monitoring using deep neural network |
CN110458127A (en) * | 2019-03-01 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | Image processing method, device, equipment and system |
US20210133984A1 (en) * | 2019-11-04 | 2021-05-06 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for machine learning based physiological motion measurement |
KR20210115451A (en) * | 2020-03-13 | 2021-09-27 | 숭실대학교산학협력단 | Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method |
Non-Patent Citations (1)
Title |
---|
ANDRE Z KYME; ROGER R FULTON: "Motion estimation and correction in SPECT, PET and CT", PHYSICS IN MEDICINE AND BIOLOGY, INSTITUTE OF PHYSICS PUBLISHING, BRISTOL GB, vol. 66, no. 18, 15 September 2021 (2021-09-15), Bristol GB , XP020368998, ISSN: 0031-9155, DOI: 10.1088/1361-6560/ac093b * |
Also Published As
Publication number | Publication date |
---|---|
KR20230091645A (en) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sermesant et al. | Applications of artificial intelligence in cardiovascular imaging | |
Dey et al. | Artificial intelligence in cardiovascular imaging: JACC state-of-the-art review | |
KR102014385B1 (en) | Method and apparatus for learning surgical image and recognizing surgical action based on learning | |
US20200051238A1 (en) | Anatomical Segmentation Identifying Modes and Viewpoints with Deep Learning Across Modalities | |
EP3164062B1 (en) | Detecting tooth wear using intra-oral 3d scans | |
JP2022519979A (en) | Automated clinical workflow for recognizing and analyzing 2D and Doppler modality echocardiographic images for automated cardiac measurement and diagnosis, prediction, and prognosis of heart disease | |
WO2021060899A1 (en) | Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model | |
Hernandez et al. | Deep learning in spatiotemporal cardiac imaging: A review of methodologies and clinical usability | |
Seetharam et al. | The role of artificial intelligence in cardiovascular imaging: state of the art review | |
WO2021259395A2 (en) | Method and apparatus for obtaining myocardial bridge image, and electronic device and storage medium | |
WO2021057423A1 (en) | Image processing method, image processing apparatus, and storage medium | |
WO2012064986A2 (en) | System and method of ultrasound image processing | |
WO2021210797A1 (en) | Artificial intelligence-based cloud platform system for reading medical images | |
WO2021210796A1 (en) | Artificial intelligence-based cloud platform system for reading medical image | |
WO2020122606A1 (en) | Method for measuring volume of organ by using artificial neural network, and apparatus therefor | |
WO2021261808A1 (en) | Method for displaying lesion reading result | |
Qazi et al. | Automated Heart Wall Motion Abnormality Detection from Ultrasound Images Using Bayesian Networks. | |
WO2022124705A1 (en) | Apparatus and method for providing medical image-based hologram | |
WO2023239151A1 (en) | Method and device for converting chest radiology data into numerical vector, and method and device for analyzing disease by using same | |
WO2023113438A1 (en) | Method of providing information about organ functions and device for providing information about organ functions using same | |
Mostafa et al. | An enhanced chameleon swarm algorithm for global optimization and multi-level thresholding medical image segmentation | |
WO2023080697A1 (en) | Method for dividing heart signal and device for dividing heart signal by using same | |
Shen et al. | Tracking anything in heart all at once | |
US20230124674A1 (en) | Deep learning for optical coherence tomography segmentation | |
WO2021246625A1 (en) | Artificial intelligence-based cloud platform system for reading medical image where expected execution time of individual layer is displayed |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22907905 Country of ref document: EP Kind code of ref document: A1 |