KR20210056884A - Medical image displaying apparatus and method of displaying medical image using thereof - Google Patents
Medical image displaying apparatus and method of displaying medical image using thereof Download PDFInfo
- Publication number
- KR20210056884A KR20210056884A KR1020200034045A KR20200034045A KR20210056884A KR 20210056884 A KR20210056884 A KR 20210056884A KR 1020200034045 A KR1020200034045 A KR 1020200034045A KR 20200034045 A KR20200034045 A KR 20200034045A KR 20210056884 A KR20210056884 A KR 20210056884A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- medical image
- ultrasound
- artificial intelligence
- medical
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
개시된 실시예들은 의료 영상 출력 장치 및 이를 이용한 의료 영상 출력 방법에 관한 것이다.The disclosed embodiments relate to a medical image output device and a medical image output method using the same.
초음파 영상 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 획득한다.The ultrasound imaging apparatus irradiates an ultrasound signal generated from a transducer of a probe to an object, receives information of a signal reflected from the object, and provides information on a portion (eg, soft tissue or blood flow) inside the object. Acquire at least one image.
초음파 영상 장치는 소형이고, 저렴하며, 실시간으로 표시 가능하다는 이점이 있다. 또한, 초음파 영상 장치는, 방사능 등의 피폭이 없어 안정성이 높은 장점이 있어, X선 진단장치, CT(Computerized Tomography) 스캐너, MRI(Magnetic Resonance Image) 장치, 핵의학 진단장치 등의 다른 화상 진단장치와 함께 널리 이용되고 있다.The ultrasonic imaging device has the advantage of being compact, inexpensive, and capable of displaying in real time. In addition, the ultrasonic imaging device has the advantage of high stability because there is no exposure to radiation, etc., so other image diagnostic devices such as an X-ray diagnostic device, a computerized tomography (CT) scanner, a magnetic resonance image (MRI) device, and a nuclear medicine diagnostic device. It is widely used with.
초음파 영상은 신호대 잡음비가 낮으므로, CT 영상, MR 영상과 영상 정합을 통해서 보완될 수 있다. 초음파 영상과 CT / MR 영상으로부터 특징점이 추출되고, 추출된 특징점이 매칭됨으로써, 영상 정합이 수행된다.Since the ultrasound image has a low signal-to-noise ratio, it can be supplemented through image matching with a CT image and an MR image. Feature points are extracted from the ultrasound image and the CT/MR image, and the extracted feature points are matched, thereby performing image registration.
하지만, 초음파 프로브에 의해서, 장기의 형태가 변형되거나 위치가 이동되는 경우에는 영상 정합이 용이하게 수행되기 어렵다는 문제점이 존재한다. However, there is a problem in that it is difficult to easily perform image registration when the shape of the organ is deformed or the position is moved by the ultrasonic probe.
개시된 실시예들은 초음파 영상과 기획득된 의료 영상을 정합하여 출력하는 의료 영상 출력 장치 및 의료 영상 출력 방법을 제공할 수 있다.The disclosed embodiments may provide a medical image output device and a medical image output method for matching and outputting an ultrasound image and a planned medical image.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 의료 영상 출력 방법은 상기 의료 영상 출력 장치의 초음파 프로브를 이용하여 대상체로 초음파 신호를 송신하고 상기 대상체로부터 초음파 에코 신호를 수신하는 단계, 상기 초음파 에코 신호를 이용하여 제1 초음파 영상을 획득하는 단계, 기획득된 제1 의료 영상과 상기 제1 초음파 영상의 영상 정합을 수행하는 단계, 상기 초음파 프로브를 이용하여 상기 대상체의 제2 초음파 영상을 획득하는 단계, 상기 제2 초음파 영상에 대응되도록 상기 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득하는 단계 및 상기 제2 의료 영상을 상기 제2 초음파 영상과 함께 디스플레이하는 단계를 포함할 수 있다. A medical image output method disclosed as a technical means for achieving the above-described technical problem includes transmitting an ultrasonic signal to an object using an ultrasonic probe of the medical image output device and receiving an ultrasonic echo signal from the object, the ultrasonic echo signal Acquiring a first ultrasound image by using, performing image matching of the acquired first medical image and the first ultrasound image, and acquiring a second ultrasound image of the object using the ultrasound probe And obtaining a second medical image by transforming the first medical image to correspond to the second ultrasound image, and displaying the second medical image together with the second ultrasound image.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 의료 영상 출력 장치는 디스플레이부, 대상체로 초음파 신호를 송신하고 상기 대상체로부터 초음파 에코 신호를 수신하는 초음파 프로브, 하나 이상의 명령어들을 저장하는 메모리 및 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 명령어들을 실행함으로써, 상기 초음파 에코 신호를 이용하여 제1 초음파 영상을 획득하고, 기획득된 제1 의료 영상과 상기 제1 초음파 영상의 영상 정합을 수행하고, 상기 초음파 프로브를 제어하여 상기 대상체의 제2 초음파 영상을 획득하고, 상기 제2 초음파 영상에 대응되도록 상기 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득하고, 상기 제2 의료 영상을 상기 제2 초음파 영상과 함께 디스플레이하도록 상기 디스플레이부를 제어할 수 있다. A medical image output device disclosed as a technical means for achieving the above-described technical problem includes a display unit, an ultrasonic probe that transmits an ultrasonic signal to an object and receives an ultrasonic echo signal from the object, a memory for storing one or more instructions, and the instructions. And a processor that executes, wherein the processor executes the instructions, thereby obtaining a first ultrasound image using the ultrasound echo signal, and performing image matching between the acquired first medical image and the first ultrasound image, and , By controlling the ultrasound probe to obtain a second ultrasound image of the object, and by transforming the first medical image to correspond to the second ultrasound image to obtain a second medical image, and the second medical image The display unit may be controlled to display together with the second ultrasound image.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터로 읽을 수 있는 기록매체는 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.As a technical means for achieving the above-described technical problem, the computer-readable recording medium may be one recording a program for executing at least one of the embodiments of the disclosed method on a computer.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 기록매체에 저장된 어플리케이션은 개시된 방법의 실시예들 중에서 적어도 하나의 기능을 실행시키기 위한 것일 수 있다.As a technical means for achieving the above-described technical problem, an application stored in the recording medium may be for executing at least one function among embodiments of the disclosed method.
도 1은 의료 영상 출력 장치의 일 실시 예에 따른 초음파 영상 장치의 구성을 도시한 블록도이다.
도 2a는 일 실시 예에 따른 초음파 영상 장치를 나타내는 도면이다.
도 2b는 일 실시 예에 따른 초음파 영상 장치를 나타내는 도면이다.
도 2c는 일 실시 예에 따른 초음파 영상 장치를 나타내는 도면이다.
도 3은 일 실시예에 따른 의료 영상 출력 장치가 의료 영상을 출력하는 방법에 대한 순서도이다.
도 4는 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상과 의료 영상을 정합하는 방법에 대한 순서도이다.
도 5는 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상을 인공지능 모델에 적용하는 것을 나타낸 도면이다.
도 6은 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건의 만족 여부에 관한 정보를 디스플레이하는 것을 나타낸 도면이다.
도 7은 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건의 만족 여부에 관한 정보를 디스플레이하는 것을 나타낸 도면이다.
도 8은 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건을 만족 하는지 여부를 식별하는 것을 나타낸 도면이다.
도 9는 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건을 만족 하는지 여부를 식별하는 것을 나타낸 도면이다.
도 10은 일 실시예에 따른 의료 영상 출력 장치가 의료 영상을 인공지능 모델에 적용하는 것을 나타낸 도면이다.
도 11은 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상과 의료 영상을 정합하는 것을 나타내는 도면이다.
도 12는 일 실시예에 따른 의료 영상 출력 장치가 의료 영상에 대해서 보정 연산을 적용하는 방법에 대한 순서도이다.
도 13은 일 실시예에 따른 의료 영상 출력 장치가 보정 연산 결과를 의료 영상에 적용한 결과를 나타내는 도면이다.1 is a block diagram illustrating a configuration of an ultrasound imaging apparatus according to an embodiment of a medical image output apparatus.
2A is a diagram illustrating an ultrasound imaging apparatus according to an exemplary embodiment.
2B is a diagram illustrating an ultrasound imaging apparatus according to an exemplary embodiment.
2C is a diagram illustrating an ultrasound imaging apparatus according to an exemplary embodiment.
3 is a flowchart illustrating a method of outputting a medical image by a medical image output device according to an exemplary embodiment.
4 is a flowchart illustrating a method of matching an ultrasound image and a medical image by a medical image output device according to an exemplary embodiment.
5 is a diagram illustrating that an ultrasound image is applied to an artificial intelligence model by an apparatus for outputting a medical image according to an exemplary embodiment.
6 is a diagram illustrating that a medical image output device according to an exemplary embodiment displays information on whether an image matching condition is satisfied.
7 is a diagram illustrating that a medical image output device according to an exemplary embodiment displays information on whether an image matching condition is satisfied.
8 is a diagram illustrating that a medical image output device according to an exemplary embodiment identifies whether an image matching condition is satisfied.
9 is a diagram illustrating that a medical image output device according to an exemplary embodiment identifies whether an image matching condition is satisfied.
10 is a diagram illustrating that a medical image output device according to an exemplary embodiment applies a medical image to an artificial intelligence model.
11 is a diagram illustrating that an ultrasound image and a medical image are matched by a medical image output device according to an exemplary embodiment.
12 is a flowchart illustrating a method of applying a correction operation to a medical image by a medical image output device according to an exemplary embodiment.
13 is a diagram illustrating a result of applying a correction operation result to a medical image by a medical image output device according to an exemplary embodiment.
본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시예들을 실시할 수 있도록, 본 개시의 실시예들의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.The present specification clarifies the scope of the claims of the present disclosure, and describes the principles of the embodiments of the present disclosure so that those of ordinary skill in the art to which the embodiments of the present disclosure belong may implement the embodiments of the present disclosure. And, embodiments are disclosed. The disclosed embodiments can be implemented in various forms.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시예들이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시예들, 및 실시예들의 작용 원리에 대해 설명한다.The same reference numerals refer to the same elements throughout the specification. This specification does not describe all elements of the embodiments, and general content in the technical field to which the embodiments of the present disclosure pertain or overlapping content between the embodiments will be omitted. The term'part, portion' used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of'parts' may be implemented as one element or one'part'. It is also possible for'part' to include a plurality of elements. Hereinafter, exemplary embodiments of the present disclosure and operating principles of the exemplary embodiments will be described with reference to the accompanying drawings.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and/or software components that perform specific functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or may be implemented by circuit configurations for a predetermined function. In addition, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. Functional blocks may be implemented as an algorithm executed on one or more processors. In addition, the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and/or data processing. Terms such as “mechanism”, “element”, “means” and “composition” can be used widely, and are not limited to mechanical and physical configurations.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.Further, the connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
본 명세서에서 의료 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 다양한 종류(modality)의 의료 영상 장치들에 의해 획득된 의료 영상을 포함할 수 있다. In the present specification, the medical image includes medical images acquired by various modality medical imaging devices such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an X-ray imaging device. can do.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.In the present specification, the'object' is an object to be photographed, and may include a person, an animal, or a part thereof. For example, the object may include a part of the body (organ or organ) or a phantom.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.Throughout the specification, "ultrasonic image" refers to an image of an object that is transmitted to an object and processed based on an ultrasonic signal reflected from the object.
본 명세서에서 의료 영상 출력 장치는 장치 내부에 저장된 의료 영상, 네트워크를 통해서 수신된 의료 영상 및 대상체로부터 획득한 의료 영상 중에서 적어도 하나를 출력할 수 있는 전자 장치를 의미한다. In the present specification, a medical image output device refers to an electronic device capable of outputting at least one of a medical image stored in the device, a medical image received through a network, and a medical image acquired from an object.
예를 들면, 의료 영상 출력 장치는 초음파 영상을 획득할 수 있는 초음파 영상 장치와 같은 의료 영상 촬영 장치를 포함할 수 있다. 또는, 의료 영상 출력 장치는 네트워크를 통해서 서버(예를 들면, PACS와 같은 의료 영상 전송 시스템)로부터 획득한 의료 영상을 출력하는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다.For example, the medical image output device may include a medical image capturing device such as an ultrasound imaging device capable of obtaining an ultrasound image. Alternatively, the medical image output device may be a mobile device (for example, a smartphone, a tablet PC, etc.) that outputs a medical image acquired from a server (for example, a medical image transmission system such as PACS) through a network, or a general-purpose computer ( It may include a computing device such as a PC, Personal Computer).
일 실시예에 따르면, 본 명세서 상에 개시된 영상 정합은 인공지능 기술의 시각적 이해 기술을 이용하여 수행될 수 있다. According to an embodiment, image matching disclosed in the present specification may be performed using a visual understanding technique of artificial intelligence technology.
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다. 이 중에서 시각적 이해 기술은 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. Artificial intelligence technology consists of machine learning (deep learning) technology that uses algorithms to classify/learn the features of input data by itself, and element technologies that simulate the functions of human brain's cognition and judgment using machine learning algorithms. Among them, visual understanding technology is a technology that recognizes and processes objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image improvement.
본 명세서에 개시된 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 것 일 수 있다. The functions related to artificial intelligence disclosed herein are operated through a processor and a memory. The processor may be composed of one or a plurality of processors. In this case, one or more processors may be a general-purpose processor such as a CPU, AP, or Digital Signal Processor (DSP), a graphics-only processor such as a GPU, a Vision Processing Unit (VPU), or an artificial intelligence-only processor such as an NPU. One or more processors control to process input data according to a predefined operation rule or an artificial intelligence model stored in the memory. Alternatively, when one or more processors are dedicated artificial intelligence processors, the dedicated artificial intelligence processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined motion rule or artificial intelligence model is characterized by being created through learning. Here, to be made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined motion rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. Means Jim. Such learning may be performed in a device on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system. Examples of the learning algorithm include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above-described examples.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다. The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation result of a previous layer and a plurality of weights. The plurality of weights of the plurality of neural network layers can be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated to reduce or minimize a loss value or a cost value obtained from the artificial intelligence model during the learning process. The artificial neural network may include a deep neural network (DNN), for example, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network), Deep Q-Networks (Deep Q-Networks), and the like, but is not limited to the above-described example.
개시된 인공지능 모델은 학습 데이터로서 입력된 복수의 텍스트 데이터 및 이미지 데이터를 소정의 기준에 의해 학습함으로써 생성된 것일 수 있다. 인공지능 모델은 입력된 데이터에 대응하여, 학습된 기능을 수행함으로써 결과 데이터를 생성하고, 결과 데이터를 출력할 수 있다. The disclosed artificial intelligence model may be generated by learning a plurality of text data and image data input as training data according to a predetermined criterion. The artificial intelligence model may generate result data by performing a learned function in response to input data and output result data.
또한, 개시된 인공지능 모델은 적어도 하나의 기능을 수행하도록 학습된(trained) 복수개의 인공지능 모델을 포함할 수 있다.In addition, the disclosed artificial intelligence model may include a plurality of artificial intelligence models trained to perform at least one function.
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델이 구축될 수 있다. 의료 영상 출력 장치는 인공지능 모델을 이용하여 초음파 영상을 CT / MR 영상과 영상 정합하고, 정합된 영상들을 디스플레이할 수 있다. According to an embodiment, an artificial intelligence model may be built in the apparatus for outputting a medical image. The medical image output device may image match an ultrasound image with a CT/MR image using an artificial intelligence model, and may display the matched images.
일 실시예에 따르면, 의료 영상 출력 장치는 획득한 의료 영상을 인공지능 모델이 구축된 전자 장치(예를 들면, 서버)로 전송하고, 전자 장치로부터 수신된 데이터를 이용하여 의료 영상을 출력할 수 있다. According to an embodiment, the medical image output device may transmit the acquired medical image to an electronic device (eg, a server) on which an artificial intelligence model is built, and output the medical image using data received from the electronic device. have.
예를 들면, 의료 영상 출력 장치는 대상체로부터 획득한 초음파 영상을 서버로 전송하고, 초음파 영상과 영상 정합된 CT / MR 영상을 서버로부터 수신하여 디스플레이 할 수 있다. For example, the apparatus for outputting a medical image may transmit an ultrasound image acquired from an object to a server, and may receive and display a CT/MR image matched with the ultrasound image from the server.
또한, 본 명세서에서 사용되는 “제1” 또는 “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. In addition, terms including ordinal numbers such as “first” or “second” used in the present specification may be used to describe various constituent elements, but the constituent elements should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another component.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, exemplary embodiments will be described in detail with reference to the drawings.
도 1은 의료 영상 출력 장치의 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 1 is a block diagram illustrating a configuration of an
일 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 입력부(170), 및 센서부(190)를 포함할 수 있다.The
초음파 진단 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.The
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다. The
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.The
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.The
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.The
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.The
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.The
또한, 제어부(120)는 초음파 영상과 의료 영상을 정합하는 인공지능 모델(125)을 포함할 수 있다. In addition, the
인공지능 모델(125)은 초음파 영상과 의료 영상의 영상 정합을 수행하기 위한 조건이 만족되는지 여부를 식별하고, 식별된 결과를 출력하도록 학습된 것일 수 있다.The
인공지능 모델(125)은 초음파 영상의 특징점들을 획득하고, 의료 영상의 특징점들과 비교하여 매칭함으로써, 영상 정합을 수행하도록 학습된 것 일 수 있다. The
인공지능 모델(125)은 초음파 영상의 특징점들과 의료 영상의 특징점들을 비교함으로써, 의료 영상에 대한 보정 연산을 수행하도록 학습된 것 일 수 있다. 인공지능 모델(125)은 보정 연산 결과를 의료 영상에 적용함으로써 의료 영상에 대해서 형태 보정을 수행하도록 학습 된 것 일 수 있다. 초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.The
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.The
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(100)를 제어하도록 하는 것도 가능하다.The
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.Alternatively, the
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.For example, the external device may process data of the external device according to a control signal from the controller received through the communication unit.
외부 장치에는 초음파 진단 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.A program capable of controlling the
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.The program may be installed in advance on an external device, or a user of the external device may download and install the program from a server providing an application. The server providing the application may include a recording medium in which the corresponding program is stored.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.The
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.The
센서부(190)는 초음파 프로브의 위치에 관한 정보를 획득할 수 있는 적어도 하나의 센서를 포함할 수 있다. 예를 들면, 센서부(190)는 소정의 범위 내에 자기장(magnetic field)을 생성하는 자기장 생성부, 자기장 내에서 전자기 유도를 발생시키는 전자기 센서 및 전자기 센서의 위치를 추적하는 위치 추적부를 포함할 수 있다.The
일 실시예에 따른 초음파 진단 장치(100)의 예시는 도 2a, 도 2b, 및 도 2c를 통해 후술된다.An example of the
도 2a, 도 2b, 및 도 2c는 일 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.2A, 2B, and 2C are diagrams illustrating an ultrasound diagnosis apparatus according to an exemplary embodiment.
도 2a 및 도 2b를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.2A and 2B, the
도 2b를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다. Referring to FIG. 2B, the
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.Meanwhile, buttons, trackballs, jog switches, and knobs included in the
도 2c를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.Referring to FIG. 2C, the
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.The
도 3은 일 실시예에 따른 의료 영상 출력 장치가 의료 영상을 출력하는 방법에 대한 순서도이다.3 is a flowchart illustrating a method of outputting a medical image by a medical image output device according to an exemplary embodiment.
단계 310을 참조하면, 의료 영상 출력 장치는 제1 초음파 영상을 획득할 수 있다. Referring to step 310, the apparatus for outputting a medical image may acquire a first ultrasound image.
일 실시예에 따르면, 의료 영상 출력 장치는 의료 영상 출력 장치에 연결된 프로브(20)를 이용하여 초음파 영상을 획득할 수 있다. According to an embodiment, the medical image output device may acquire an ultrasound image using the
예를 들면, 의료 영상 출력 장치는 초음파 진단 장치(100)일 수 있다. 초음파 진단 장치(100)는 대상체(10)로 초음파 신호를 송신하고, 대상체(10)로부터 초음파 에코 신호를 수신할 수 있다. 초음파 진단 장치(100)는 초음파 에코 신호를 이용하여 초음파 영상을 획득할 수 있다. For example, the medical image output device may be the
일 실시예에 따르면, 의료 영상 출력 장치는 통신부(160)를 이용하여 초음파 진단 장치 및 서버 중에서 적어도 하나로부터 초음파 영상을 획득할 수 있다. According to an embodiment, the apparatus for outputting a medical image may obtain an ultrasound image from at least one of the ultrasound diagnosis apparatus and the server using the
예를 들면, 의료 영상 출력 장치는 네트워크를 통해서 연결된 초음파 진단 장치로부터, 초음파 진단 장치가 획득한 초음파 영상 데이터를 수신할 수 있다. 다른 예를 들면, 의료 영상 출력 장치는 PACS와 같은 의료 영상 전송 시스템과 같은 서버로부터 초음파 영상 데이터를 수신할 수 있다. For example, the medical image output device may receive ultrasound image data acquired by the ultrasound diagnosis apparatus from an ultrasound diagnosis apparatus connected through a network. For another example, the medical image output device may receive ultrasound image data from a server such as a medical image transmission system such as a PACS.
단계 330을 참조하면, 의료 영상 출력 장치는 단계 310에서 획득한 제1 초음파 영상과 제1 의료 영상의 영상 정합을 수행할 수 있다. Referring to step 330, the apparatus for outputting a medical image may perform image matching between the first ultrasound image acquired in
일 실시예에 따르면, 제1 의료 영상은 기획득된 의료 영상일 수 있다. According to an embodiment, the first medical image may be a planned medical image.
일 실시예에 따르면, 제1 의료 영상은 의료 영상 출력 장치의 메모리에 저장된 영상일 수 있다. According to an embodiment, the first medical image may be an image stored in a memory of the medical image output device.
일 실시예에 따르면, 제1 의료 영상은 의료 영상 출력 장치가 PACS와 같은 의료 영상 전송 시스템과 같은 서버로부터 수신한 의료 영상일 수 있다. According to an embodiment, the first medical image may be a medical image received by a medical image output device from a server such as a medical image transmission system such as a PACS.
일 실시예에 따르면, 제1 의료 영상은 CT 영상, MR 영상 및 3차원 초음파 영상 중에서 적어도 하나일 수 있다. 또는, 제1 의료 영상은 X레이 영상 및 2차원 초음파 영상 중에서 적어도 하나일 수 있다. According to an embodiment, the first medical image may be at least one of a CT image, an MR image, and a 3D ultrasound image. Alternatively, the first medical image may be at least one of an X-ray image and a 2D ultrasound image.
의료 영상 출력 장치는 제1 초음파 영상 및 제1 의료 영상 중에서 적어도 하나를 인공지능 모델에 적용함으로써, 영상 정합을 수행할 수 있다. The apparatus for outputting a medical image may perform image matching by applying at least one of the first ultrasound image and the first medical image to the artificial intelligence model.
일 실시예에 따르면, 의료 영상 출력 장치는 제1 초음파 영상을 인공지능 모델에 적용함으로써, 제1 초음파 영상의 특징점들(features)을 획득할 수 있다. According to an embodiment, the apparatus for outputting a medical image may obtain features of the first ultrasound image by applying the first ultrasound image to the artificial intelligence model.
예를 들면, 의료 영상 출력 장치는 의료 영상 출력 장치에 구축된 인공지능 모델에 제1 초음파 영상을 적용할 수 있다. 또는, 의료 영상 출력 장치는 인공지능 모델이 구축된 서버로 제1 초음파 영상의 데이터를 송신함으로써, 인공지능 모델에 제1 초음파 영상을 적용할 수 있다. For example, the medical image output device may apply the first ultrasound image to an artificial intelligence model built in the medical image output device. Alternatively, the medical image output device may apply the first ultrasound image to the artificial intelligence model by transmitting data of the first ultrasound image to the server on which the artificial intelligence model is built.
인공지능 모델은 적용된 제1 초음파 영상을 분석함으로써 제1 초음파 영상의 특징점들(features)을 식별할 수 있다. 인공지능 모델은 제1 초음파 영상의 특징점들에 기초하여, 제1 초음파 영상 내의 대상체를 식별할 수 있다. The artificial intelligence model may identify features of the first ultrasound image by analyzing the applied first ultrasound image. The artificial intelligence model may identify an object in the first ultrasound image based on feature points of the first ultrasound image.
일 실시예에 따르면, 의료 영상 출력 장치는 제1 초음파 영상의 특징점들과 제1 의료 영상의 특징점들을 비교하여 매칭함으로써, 제1 의료 영상과 제1 초음파 영상의 영상 정합을 수행할 수 있다. According to an embodiment, the apparatus for outputting a medical image may perform image matching between the first medical image and the first ultrasound image by comparing and matching the feature points of the first ultrasound image and the feature points of the first medical image.
예를 들면, 의료 영상 출력 장치는 의료 영상 출력 장치에 구축된 인공지능 모델을 이용하여, 제1 초음파 영상의 특징점들과 제1 의료 영상의 특징점들 중에서 서로 대응되는 특징점들을 식별하고, 매칭할 수 있다. For example, the medical image output device may identify and match feature points corresponding to each other among feature points of a first ultrasound image and feature points of a first medical image using an artificial intelligence model built in the medical image output device. have.
한편, 제1 의료 영상의 특징점들은 기획득된 것일 수 있다. 또는, 제1 의료 영상의 특징점들은 의료 영상 출력 장치에 구축된 인공지능 모델에 제1 의료 영상이 적용됨으로써 획득된 것일 수 있다. Meanwhile, the feature points of the first medical image may be planned. Alternatively, the feature points of the first medical image may be obtained by applying the first medical image to an artificial intelligence model built in the medical image output device.
일 실시예에 따르면, 의료 영상 출력 장치는 서버로 제1 초음파 영상을 송신하고, 서버로부터 수신된 제1 초음파 영상의 특징점들과 제1 의료 영상의 특징점들 중에서 일치하는 특징점들을 매칭함으로써, 영상 정합을 수행할 수 있다. 이 경우, 서버는 서버에 구축된 인공지능 모델로 제1 초음파 영상을 적용함으로써 제1 초음파 영상의 특징점들을 획득할 수 있다. According to an embodiment, the apparatus for outputting a medical image transmits a first ultrasound image to a server, and matches the feature points of the first ultrasound image received from the server and the feature points that match among the feature points of the first medical image, thereby matching the image. You can do it. In this case, the server may acquire feature points of the first ultrasound image by applying the first ultrasound image to the artificial intelligence model built in the server.
일 실시예에 따르면, 의료 영상 출력 장치는 서버로 제1 초음파 영상 및 제1 의료 영상을 송신하고, 서버로부터 수신된 제1 초음파 영상의 특징점들과 서버로부터 수신된 제1 의료 영상의 특징점들을 매칭함으로써, 영상 정합을 수행할 수 있다. 이 경우, 서버는 서버에 구축된 인공지능 모델로 제1 초음파 영상을 적용함으로써 제1 초음파 영상의 특징점들을 획득할 수 있다. 또한, 서버는 서버에 구축된 인공지능 모델로 제1 의료 영상을 적용함으로써 제1 의료 영상의 특징점들을 획득할 수 있다.According to an embodiment, the medical image output device transmits the first ultrasound image and the first medical image to the server, and matches the feature points of the first ultrasound image received from the server and the feature points of the first medical image received from the server. By doing so, image matching can be performed. In this case, the server may acquire feature points of the first ultrasound image by applying the first ultrasound image to the artificial intelligence model built in the server. Also, the server may acquire feature points of the first medical image by applying the first medical image to the artificial intelligence model built in the server.
일 실시예에 따르면, 의료 영상 출력 장치는 서버로 제1 초음파 영상 및 제1 의료 영상을 송신하고, 서버로부터 영상 정합을 위한 데이터(예를 들면, 제1 초음파 영상의 특징점들의 위치 정보 및 제1 의료 영상의 특징점들의 위치 정보)를 수신할 수 있다. 의료 영상 출력 장치는 서버로부터 수신된 데이터를 이용하여 제1 의료 영상과 제1 초음파 영상의 영상 정합을 수행할 수 있다.According to an embodiment, the apparatus for outputting a medical image transmits a first ultrasound image and a first medical image to a server, and transmits data for image matching from the server (e.g., location information of feature points of the first ultrasound image and first Location information of feature points of a medical image) may be received. The apparatus for outputting a medical image may perform image matching of the first medical image and the first ultrasound image using data received from the server.
단계 350을 참조하면, 의료 영상 출력 장치는 제2 초음파 영상을 획득할 수 있다. Referring to step 350, the apparatus for outputting a medical image may acquire a second ultrasound image.
일 실시예에 따르면, 의료 영상 출력 장치는 의료 영상 출력 장치에 연결된 프로브(20)를 이용하여 초음파 영상을 획득할 수 있다. According to an embodiment, the medical image output device may acquire an ultrasound image using the
일 실시예에 따르면, 의료 영상 출력 장치는 통신부를 이용하여 초음파 진단 장치 및 서버 중에서 적어도 하나로부터 초음파 영상을 획득할 수 있다. According to an embodiment, the apparatus for outputting a medical image may acquire an ultrasound image from at least one of the ultrasound diagnosis apparatus and the server by using the communication unit.
일 실시예에 따르면, 제2 초음파 영상은 프로브(20)가 이동함으로써 새롭게 획득되는 초음파 영상일 수 있다. 이 경우, 프로브(20)가 대상체에 가압함으로써, 대상체의 형태가 변형된 제2 초음파 영상이 획득될 수 있다. According to an embodiment, the second ultrasound image may be an ultrasound image newly acquired by moving the
중복 기재를 피하기 위해서 단계 310과 유사한 부분은 생략한다.In order to avoid redundant description, parts similar to step 310 are omitted.
단계 370을 참조하면, 의료 영상 출력 장치는 제2 초음파 영상에 대응되도록 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득할 수 있다. Referring to step 370, the apparatus for outputting a medical image may obtain a second medical image by transforming the first medical image to correspond to the second ultrasound image.
일 실시예에 따르면, 의료 영상 출력 장치는 제2 초음파 영상을 인공지능 모델에 적용함으로써, 제2 초음파 영상의 특징점들(features)을 획득할 수 있다.According to an embodiment, the apparatus for outputting a medical image may obtain features of the second ultrasound image by applying the second ultrasound image to the artificial intelligence model.
예를 들면, 의료 영상 출력 장치는 의료 영상 출력 장치에 구축된 인공지능 모델로 제2 초음파 영상을 적용할 수 있다. 또는, 의료 영상 출력 장치는 인공지능 모델이 구축된 서버로 제2 초음파 영상의 데이터를 송신함으로써, 인공지능 모델에 제2 초음파 영상을 적용할 수 있다. For example, the medical image output device may apply the second ultrasound image to an artificial intelligence model built in the medical image output device. Alternatively, the medical image output device may apply the second ultrasound image to the artificial intelligence model by transmitting data of the second ultrasound image to the server on which the artificial intelligence model is built.
인공지능 모델은 제2 초음파 영상의 특징점들을 인식할 수 있다. 인공지능 모델은 제2 초음파 영상의 특징점들에 기초하여, 제2 초음파 영상 내의 대상체를 식별할 수 있다.The artificial intelligence model may recognize feature points of the second ultrasound image. The artificial intelligence model may identify an object in the second ultrasound image based on feature points of the second ultrasound image.
일 실시예에 따르면, 인공지능 모델은 제2 초음파 영상의 특징점들과 제1 의료 영상의 특징점들을 비교함으로써, 제2 초음파 영상과 제1 의료 영상의 차이점을 식별할 수 있다. According to an embodiment, the artificial intelligence model may identify a difference between the second ultrasound image and the first medical image by comparing the feature points of the second ultrasound image and the feature points of the first medical image.
예를 들면, 인공지능 모델은 제2 초음파 영상의 특징점들의 위치와 제1 의료 영상의 특징점들의 위치를 비교함으로써, 제2 초음파 영상과 제1 의료 영상의 차이점을 식별할 수 있다. 또한, 인공지능 모델은 제2 초음파 영상의 특징점들의 위치와 제1 의료 영상의 특징점들의 위치를 비교함으로써, 서로 매칭되는 특징점들의 위치의 변화에 대한 제1 정보를 획득할 수 있다. For example, the artificial intelligence model may identify differences between the second ultrasound image and the first medical image by comparing the positions of the feature points of the second ultrasound image and the positions of the feature points of the first medical image. In addition, the artificial intelligence model may obtain first information on a change in the location of the feature points that match each other by comparing the locations of the feature points of the second ultrasound image with the locations of the feature points of the first medical image.
일 실시예에 따르면, 인공지능 모델은 서로 매칭되는 제2 초음파 영상의 특징점들과 제1 의료 영상의 특징점들에 기초하여 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득할 수 있다. According to an embodiment, the artificial intelligence model may obtain the second medical image by transforming the first medical image based on the feature points of the second ultrasound image and the feature points of the first medical image that match each other.
예를 들면, 인공지능 모델은 제2 초음파 영상의 특징점들의 위치에 대응되도록 제1 의료 영상의 특징점들을 이동함으로써, 제2 의료 영상을 획득할 수 있다. 이 경우, 인공지능 모델은 제1 정보를 제1 의료 영상의 특징점들에 적용함으로써, 제1 의료 영상의 특징점들을 이동시킬 수 있다. 제2 의료 영상은 제1 의료 영상의 특징점들이 이동됨으로써 생성될 수 있다.For example, the artificial intelligence model may acquire the second medical image by moving the feature points of the first medical image to correspond to the positions of the feature points of the second ultrasound image. In this case, the artificial intelligence model may move the feature points of the first medical image by applying the first information to the feature points of the first medical image. The second medical image may be generated by moving feature points of the first medical image.
일 실시예에 따르면, 인공지능 모델은 제1 초음파 영상의 특징점들과 제2 초음파 영상의 특징점들을 비교함으로써, 제2 초음파 영상과 제1 초음파 영상의 차이점를 식별할 수 있다. According to an embodiment, the artificial intelligence model may identify a difference between the second ultrasound image and the first ultrasound image by comparing the feature points of the first ultrasound image and the feature points of the second ultrasound image.
예를 들면, 인공지능 모델은 제1 초음파 영상의 특징점들의 위치와 제2 초음파 영상의 특징점들의 위치를 비교함으로써, 제2 초음파 영상 내의 대상체를 추적할 수 있다. For example, the artificial intelligence model may track an object in the second ultrasound image by comparing the locations of the feature points of the first ultrasound image with the locations of the feature points of the second ultrasound image.
다른 예를 들면, 인공지능 모델은 제1 초음파 영상의 특징점들의 위치와 제2 초음파 영상의 특징점들의 위치를 비교함으로써, 서로 매칭되는 특징점들의 위치의 변화에 대한 제2 정보를 획득할 수 있다. As another example, the artificial intelligence model may obtain second information on a change in the location of the feature points that match each other by comparing the locations of the feature points of the first ultrasound image with the locations of the feature points of the second ultrasound image.
일 실시예에 따르면, 인공지능 모델은 서로 매칭되는 제2 초음파 영상의 특징점들과 제1 초음파 영상의 특징점들에 기초하여 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득할 수 있다. According to an embodiment, the artificial intelligence model may obtain the second medical image by transforming the first medical image based on the feature points of the second ultrasound image and the feature points of the first ultrasound image that are matched with each other.
예를 들면, 인공지능 모델은 제2 정보를 제1 의료 영상의 특징점들에 적용함으로써, 제1 의료 영상의 특징점들을 이동시킬 수 있다. 제2 의료 영상은 제1 의료 영상의 특징점들이 이동됨으로써 생성될 수 있다. 이 경우, 단계 330에서 영상 정합이 수행됨으로써 제1 초음파 영상의 특징점과 제1 의료 영상의 특징점이 매칭되었기 때문에, 제2 정보가 제1 의료 영상의 특징점들에 적용될 수 있다. For example, the artificial intelligence model may move the feature points of the first medical image by applying the second information to the feature points of the first medical image. The second medical image may be generated by moving feature points of the first medical image. In this case, since the feature points of the first ultrasound image and the feature points of the first medical image are matched by performing image matching in
의료 영상 출력 장치는 인공지능 신경망으로부터 제2 의료 영상을 획득할 수 있다. 예를 들면, 의료 영상 출력 장치 내에 구축된 인공지능 신경망은 제2 의료 영상을 의료 영상 출력 장치의 메모리에 저장할 수 있다. 다른 예를 들면, 서버에 구축된 인공지능 신경망은 제2 의료 영상을 네트워크를 통해서 의료 영상 출력 장치로 송신할 수 있다. The medical image output device may acquire a second medical image from an artificial intelligence neural network. For example, the artificial intelligence neural network built in the medical image output device may store the second medical image in the memory of the medical image output device. For another example, the artificial intelligence neural network built in the server may transmit the second medical image to the medical image output device through the network.
단계 390을 참조하면, 의료 영상 출력 장치는 제2 의료 영상을 디스플레이할 수 있다.Referring to step 390, the apparatus for outputting a medical image may display a second medical image.
일 실시예에 따르면, 의료 영상 출력 장치는 제2 초음파 영상과 함께 제2 의료 영상을 디스플레이 할 수 있다. According to an embodiment, the apparatus for outputting a medical image may display a second medical image together with the second ultrasound image.
일 실시예에 따르면, 의료 영상 출력 장치는 제2 초음파 영상 및 제2 의료 영상 내의 대상체가 용이하게 식별되도록 영상 처리를 수행하여 디스플레이 할 수 있다 According to an embodiment, the apparatus for outputting a medical image may perform image processing and display the second ultrasound image and an object in the second medical image so that an object in the second medical image is easily identified
예를 들면, 의료 영상 출력 장치는 대상체를 컬러코딩하는 영상 처리를 수행할 수 있다. 또는, 의료 영상 출력 장치는 대상체의 경계선을 소정의 컬러로 나타내는 영상 처리를 수행할 수 있다. For example, the apparatus for outputting a medical image may perform image processing of color coding an object. Alternatively, the apparatus for outputting a medical image may perform image processing indicating a boundary line of an object in a predetermined color.
도 4는 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상과 의료 영상을 정합하는 방법에 대한 순서도이다.4 is a flowchart illustrating a method of matching an ultrasound image and a medical image by a medical image output device according to an exemplary embodiment.
단계 331을 참조하면, 의료 영상 출력 장치는 제1 초음파 영상을 인공지능 모델에 적용할 수 있다. Referring to step 331, the apparatus for outputting a medical image may apply the first ultrasound image to the artificial intelligence model.
단계 331은 단계 330을 참조하여 위에서 설명한 제1 초음파 영상을 인공지능 모델에 적용하는 방법을 유추 적용할 수 있으므로, 중복되는 내용은 생략한다.In
단계 333을 참조하면, 인공지능 모델은 제1 초음파 영상의 특징점들을 획득할 수 있다.Referring to step 333, the artificial intelligence model may acquire feature points of the first ultrasound image.
인공지능 모델은 학습 데이터로서 대상체(예를 들면, 전립선, 간, 신장 등)이 포함된 복수의 초음파 영상을 학습함으로써, 초음파 영상으로부터 특징점들을 획득하도록 학습 된 것일 수 있다. The artificial intelligence model may be learned to acquire feature points from the ultrasound image by learning a plurality of ultrasound images including an object (eg, prostate, liver, kidney, etc.) as training data.
일 실시예에 따르면, 인공지능 모델은 특징점으로 대상체(예를 들면, 전립선, 간, 신장 등)의 경계(outline)를 획득하도록 학습된 것일 수 있다.According to an embodiment, the artificial intelligence model may be learned to obtain an outline of an object (eg, prostate, liver, kidney, etc.) as a feature point.
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상 및 의료 영상을 픽셀별(pixel-wise)로 분류(classification)하는 시맨틱 분류(Semantic Segmentation)의 유클리디안 거리(euclidean distance)를 특징점으로 획득하도록 학습된 것일 수 있다. According to an embodiment, the
특징점으로 Semantic Segmentation의 유클리디안 거리(euclidean distance)를 획득하도록 학습된 것일 수 있다. It may be learned to obtain a Euclidean distance of Semantic Segmentation as a feature point.
일 실시예에 따르면, 인공지능 모델은 대상체의 경계를 식별하고, 대상체의 경계로부터의 유클리디안 거리를 나타내는 거리 맵 (distance map) 이미지를 획득하도록 학습된 것일 수 있다.According to an embodiment, the artificial intelligence model may be trained to identify a boundary of an object and obtain a distance map image representing a Euclidean distance from the boundary of the object.
구체적인 내용은 도 5를 참조하여 이하에서 설명한다.Details will be described below with reference to FIG. 5.
일 실시예에 따르면, 인공지능 모델은 획득한 제1 초음파 영상의 특징점들을 의료 영상 출력 장치로 출력할 수 있다. According to an embodiment, the artificial intelligence model may output feature points of the acquired first ultrasound image to the medical image output device.
단계 335를 참조하면, 의료 영상 출력 장치는 영상 정합을 위한 조건의 만족 여부를 식별할 수 있다. Referring to step 335, the apparatus for outputting a medical image may identify whether a condition for image matching is satisfied.
일 실시예에 따르면 의료 영상 출력 장치는 단계 333에서 획득된, 제1 초음파 영상의 특징점에 기초하여 영상 정합을 위한 조건의 만족 여부를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether a condition for image matching is satisfied based on a feature point of the first ultrasound image acquired in
예를 들면, 의료 영상 출력 장치는 대상체의 경계에 기초하여 대상체의 총 너비를 식별하고, 식별된 대상체의 총 너비에 대한 제1 초음파 영상 내의 대상체의 너비의 비율에 기초하여, 영상 정합을 위한 조건의 만족 여부를 식별할 수 있다. 구체적인 내용은 도 6 및 도 7을 참조하여 이하에서 설명한다.For example, the apparatus for outputting a medical image identifies the total width of the object based on the boundary of the object, and based on the ratio of the width of the object in the first ultrasound image to the total width of the identified object, the condition for image matching You can identify whether or not you are satisfied. Details will be described below with reference to FIGS. 6 and 7.
다른 예를 들면, 의료 영상 출력 장치는 제1 초음파 영상 내에 대상체가 차지하는 비율에 기초하여, 영상 정합을 위한 조건의 만족 여부를 식별할 수 있다. 구체적인 내용은 도 8을 참조하여 이하에서 설명한다.For another example, the apparatus for outputting a medical image may identify whether a condition for image matching is satisfied based on a ratio of the object in the first ultrasound image. Details will be described below with reference to FIG. 8.
다른 예를 들면, 의료 영상 출력 장치는 프로브로부터 송신되는 초음파 신호의 방향에 기초하여, 영상 정합을 위한 조건의 만족 여부를 식별할 수 있다. 구체적인 내용은 도 9를 참조하여 이하에서 설명한다.For another example, the apparatus for outputting a medical image may identify whether a condition for image matching is satisfied based on a direction of an ultrasound signal transmitted from a probe. Details will be described below with reference to FIG. 9.
단계 337을 참조하면, 의료 영상 출력 장치는 영상 정합에 관한 정보를 디스플레이할 수 있다. Referring to step 337, the apparatus for outputting a medical image may display information about image matching.
일 실시예에 따르면, 의료 영상 출력 장치는 영상 정합의 조건이 만족되는지 여부에 대한 정보를 디스플레이 할 수 있다. According to an embodiment, the apparatus for outputting a medical image may display information on whether a condition for image matching is satisfied.
예를 들면, 의료 영상 출력 장치는 대상체가 초음파 영상에 소정의 비율 미만으로 디스플레이 되고 있음을 나타내는 정보를 디스플레이 할 수 있다. For example, the apparatus for outputting a medical image may display information indicating that an object is being displayed in an ultrasound image in an amount less than a predetermined ratio.
다른 예를 들면, 의료 영상 출력 장치는 초음파 영상 내부의 대상체가 소정의 크기 미만임을 나타내는 정보를 디스플레이 할 수 있다. For another example, the apparatus for outputting a medical image may display information indicating that an object inside the ultrasound image is less than a predetermined size.
다른 예를 들면, 의료 영상 출력 장치는 초음파 신호가 대상체로 송신되고 있지 않음을 나타내는 정보를 디스플레이 할 수 있다. For another example, the apparatus for outputting a medical image may display information indicating that an ultrasound signal is not being transmitted to the object.
일 실시예에 따르면, 의료 영상 출력 장치는 정합된 의료 영상의 형태가 보정되었는지 여부에 대한 정보를 디스플레이할 수 있다. According to an embodiment, the apparatus for outputting a medical image may display information on whether the shape of the matched medical image has been corrected.
구체적인 내용은 도 6 및 도 7을 참조하여 이하에서 설명한다.Details will be described below with reference to FIGS. 6 and 7.
도 5는 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상을 인공지능 모델에 적용하는 것을 나타낸 도면이다.5 is a diagram illustrating that an ultrasound image is applied to an artificial intelligence model by an apparatus for outputting a medical image according to an exemplary embodiment.
도 5를 참조하면, 의료 영상 출력 장치는 초음파 영상(510)을 인공지능 모델(125)에 적용할 수 있다. Referring to FIG. 5, the apparatus for outputting a medical image may apply an
일 실시예에 따르면, 인공지능 모델(125)은 의료 영상 출력 장치에 구축된 것일 수 있다. 또는 인공지능 모델(125)은 의료 영상 출력 장치와 네트워크로 연결된 서버에 구축된 것일 수 있다. 설명의 편의를 위해서 인공지능 모델(125)이 의료 영상 출력 장치에 구축된 실시예로 설명한다. 이하에서 설명되는 인공지능 모델에 관한 내용은 개시된 다른 실시예의 인공지능 모델에게도 유추 적용될 수 있음은 자명하다.According to an embodiment, the
일 실시예에 따르면, 인공지능 모델(125)은 학습 데이터로서 대상체가 포함된 복수의 초음파 영상을 학습함으로써, 초음파 영상으로부터 특징점들을 획득하도록 학습된 것일 수 있다. According to an embodiment, the
예를 들면, 인공지능 모델(125)은 전립선이 포함된 복수의 초음파 영상이 학습 데이터로 입력될 수 있다. 복수의 초음파 영상의 각각은 복수개의 조각(segment)으로 세분화(segmentation)된 것일 수 있다. 복수의 초음파 영상의 각각은 전립선의 경계가 특징점으로 표시된 것일 수 있다. 인공지능 모델(125)은 CNN (Convolutional Neural Network)을 이용하여 세분화된 복수의 초음파 영상들의 각각으로부터 특징 벡터를 획득할 수 있다. For example, in the
일 실시예에 따르면, 인공지능 모델(125)은 특징점으로 대상체의 경계(outline)를 식별하도록 학습된 것일 수 있다. 또한, 인공지능 모델(125)은 식별한 대상체의 경계에 기초하여, 대상체의 경계 맵 이미지를 획득하도록 학습 된 것일 수 있다.According to an embodiment, the
예를 들면, 인공지능 모델(125)은 학습 데이터들로부터 획득한 특징 벡터들에 기초하여, 인공지능 모델(125)에 적용된 초음파 영상(510)으로부터 대상체(예를 들면, 전립선)의 경계를 식별할 수 있다. 인공지능 모델(125)은 초음파 영상(510)을 분할하여 특징 벡터를 획득하고, 획득된 특징 벡터에 기초하여 대상체의 경계를 식별할 수 있다. 인공지능 모델(125)은 식별한 대상체의 경계에 기초하여, 초음파 영상(510)으로부터 대상체 경계 맵 이미지(530)를 획득할 수 있다. For example, the
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상을 픽셀별(pixel-wise)로 분류(classification)하는 시맨틱 분류(Semantic Segmentation)의 유클리디안 거리(euclidean distance)를 특징점으로 획득하도록 학습된 것일 수 있다. According to an embodiment, the
예를 들면, 인공지능 모델(125)은 대상체의 경계로부터의 유클리디안 거리를 획득할 수 있다. 인공지능 모델(125)은 대상체의 경계로부터의 유클리디안 거리를 나타내는 거리 맵 이미지(550)를 획득할 수 있다. 인공지능 모델(125)은 대상체의 경계로부터 유클리디안 거리가 동일한 영역을 동일한 색으로 컬러코딩함으로써, 거리 맵 이미지(550)를 생성할 수 있다. For example, the
도 6 및 도 7은 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건의 만족 여부에 관한 정보를 디스플레이하는 것을 나타낸 도면이다.6 and 7 are diagrams illustrating a display of information on whether or not an image matching condition is satisfied by a medical image output device according to an exemplary embodiment.
도 6 및 도 7을 참조하면, 의료 영상 출력 장치는 디스플레이부(140)를 이용하여 대상체(611, 711)가 포함된 초음파 영상(610, 710) 및 대상체(631, 731)가 포함된 의료 영상(630, 730)을 디스플레이 할 수 있다. 또한, 의료 영상 출력 장치는 초음파 영상(610, 710) 및 의료 영상(630, 730)의 영상 정합을 수행하기 위한 조건이 만족되는지 여부에 관한 정보를 다양한 방법으로 디스플레이 할 수 있다. 6 and 7, the apparatus for outputting a medical image includes
초음파 프로브가 송신하는 초음파 신호의 방향에 따라서 초음파 영상(610, 710) 내의 대상체(611, 711)의 위치가 변화된다. The positions of the
도 6의 초음파 영상(610)과 도 7의 초음파 영상(710)을 비교하면, 도 6의 대상체(611)는 초음파 영상(610) 내에 모두 포함되지만, 도 7의 대상체(711)는 일부만이 초음파 영상(710) 내에 포함된다. 즉, 도 7의 대상체(711)는 초음파 영상(710)의 외부로 벗어난 것이다. 대상체(611, 711)가 초음파 영상(610, 710)에서 벗어날수록 영상 정합의 정확도가 낮아진다. Comparing the
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체(611, 711)의 경계가 초음파 영상(610, 710)에 모두 포함되었는지 여부를 식별할 수 있다. 즉, 의료 영상 출력 장치는 대상체(611, 711)가 초음파 영상(610, 710)의 외부로 벗어난 정도를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether the boundary of the
예를 들면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체(611, 711)의 경계에 기초하여 초음파 영상(610, 710)내의 대상체(611, 711)의 면적을 식별할 수 있다. 의료 영상 출력 장치는 초음파 영상(610, 710)내의 대상체(611, 711)의 면적에 기초하여, 초음파 영상(610, 710)내에 대상체(611, 711)가 포함된 정도를 식별할 수 있다. For example, the medical image output device may identify the areas of the
구체적으로, 의료 영상 출력 장치는 대상체(611)가 모두 포함된 초음파 영상(610)으로부터 대상체(611)의 전체 면적을 식별할 수 있다. 의료 영상 출력 장치는 대상체(711)의 일부만 포함된 초음파 영상(710)으로부터 대상체(711)의 면적을 식별할 수 있다. 의료 영상 출력 장치는 대상체의 전체 면적 중에서 초음파 영상(710)내에 포함된 대상체(711)의 면적의 비율을 획득할 수 있다. 의료 영상 출력 장치는 획득된 비율에 기초하여 대상체(711)가 초음파 영상(710)에 포함된 정도를 식별할 수 있다. Specifically, the apparatus for outputting a medical image may identify the entire area of the
다른 예를 들면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체(611, 711)의 경계에 기초하여, 초음파 영상(610, 710)내의 대상체(611, 711)의 위치를 식별할 수 있다. 의료 영상 출력 장치는 초음파 영상(610, 710)내의 대상체(611, 711)의 위치에 기초하여, 초음파 영상(610, 710)내에 대상체(611, 711)가 포함된 정도를 식별할 수 있다. For another example, the apparatus for outputting a medical image may determine the location of the
일 실시예에 따르면, 의료 영상 출력 장치는 대상체가 초음파 영상에 포함된 정도와 소정의 임계값을 비교함으로써, 영상 정합을 수행하기 위한 조건이 만족되는지 여부를 식별할 수 있다. 예를 들면, 의료 영상 출력 장치는 대상체의 전체 면적 중에서 초음파 영상(710)내에 포함된 대상체(711)의 면적의 비율이 50% 미만인 경우, 영상 정합을 수행하기 위한 조건이 만족되지 않음을 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether a condition for performing image matching is satisfied by comparing a degree to which an object is included in an ultrasound image with a predetermined threshold value. For example, when the ratio of the area of the
일 실시예에 따르면, 의료 영상 출력 장치는 센서부를 이용하여 획득한 프로브(20)의 위치에 관한 정보에 기초하여, 영상 정합을 수행하기 위한 조건이 만족되었는지 여부를 식별할 수 있다. 예를 들면, 의료 영상 출력 장치는 자기장 생성부가 생성한 소정 범위 내의 자기장 내에서 전자기 센서를 이용하여 프로브(20)의 움직임을 추적함으로써, 대상체(611, 711)가 초음파 영상(610, 710)을 벗어난 정도를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether a condition for performing image matching is satisfied, based on information about the position of the
일 실시예에 따르면, 의료 영상 출력 장치는 영상 정합을 수행하기 위한 조건이 만족되지 않았음을 나타내는 정보를 디스플레이 할 수 있다. 예를 들면, 의료 영상 출력 장치는 대상체(711)가 초음파 영상(710)의 외부로 벗어났음을 나타내는 알림을 디스플레이 할 수 있다.According to an embodiment, the apparatus for outputting a medical image may display information indicating that a condition for performing image matching is not satisfied. For example, the apparatus for outputting a medical image may display a notification indicating that the
일 실시예에 따르면, 의료 영상 출력 장치는 대상체가 초음파 영상에 포함된 정도와 소정의 임계값을 비교함으로써, 영상 정합의 신뢰도에 관한 정보를 획득할 수 있다. 의료 영상 출력 장치는 영상 정합의 신뢰도에 관한 정보를 디스플레이 할 수 있다. According to an embodiment, the apparatus for outputting a medical image may obtain information on reliability of image matching by comparing a degree to which an object is included in an ultrasound image with a predetermined threshold. The medical image output device may display information on the reliability of image matching.
예를 들면, 의료 영상 출력 장치는 소정의 임계값에 대응하는 막대 그래프(635, 735)를 디스플레이부(140)에 디스플레이함으로써, 영상 정합의 신뢰도에 관한 정보를 디스플레이 할 수 있다. For example, the apparatus for outputting a medical image may display information on reliability of image matching by displaying
구체적으로, 의료 영상 출력 장치는 대상체의 전체 면적 중에서 초음파 영상(710)내에 포함된 대상체(711)의 면적의 비율을 30%, 50%, 70%으로 설정된 임계값과 비교한 결과를 막대 그래프(635, 735)로 디스플레이 할 수 있다.Specifically, the medical image output device compares the ratio of the area of the
도 8은 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건을 만족 하는지 여부를 식별하는 것을 나타낸 도면이다.8 is a diagram illustrating that a medical image output device according to an exemplary embodiment identifies whether an image matching condition is satisfied.
초음파 영상(810) 내의 대상체(811)가 지나치게 작거나 큰 경우 영상 정합을 수행하기 위한 조건이 만족되지 않을 수 있다.When the
따라서, 도 8을 참조하면, 의료 영상 출력 장치는 초음파 영상(810)내에 대상체(811)가 차지하는 비율에 기초하여, 영상 정합을 수행하기 위한 조건이 만족되는지 여부를 식별할 수 있다. Accordingly, referring to FIG. 8, the apparatus for outputting a medical image may identify whether a condition for performing image matching is satisfied based on a ratio of the
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체(611, 711)의 경계에 기초하여, 초음파 영상(810) 내에 대상체(811)가 차지하는 비율을 획득할 수 있다.According to an embodiment, the apparatus for outputting a medical image may obtain a ratio of the
예를 들면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체(811)의 경계에 기초하여, 초음파 영상(810)내의 대상체(811)의 면적을 식별할 수 있다. 의료 영상 출력 장치는 대상체(811)의 면적에 기초하여, 초음파 영상(810) 내에 대상체(811)가 차지하는 비율을 획득할 수 있다. For example, the apparatus for outputting a medical image may identify the area of the
일 실시예에 따르면, 의료 영상 출력 장치는 초음파 영상(810)내에 대상체(811)가 차지하는 비율과 소정의 임계값을 비교함으로써, 영상 정합을 수행하기 위한 조건이 만족되는지 여부를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether a condition for performing image matching is satisfied by comparing a ratio occupied by the
예를 들면, 의료 영상 출력 장치는 초음파 영상(810)내에 대상체(811)가 차지하는 비율이 20% 미만인 경우, 영상 정합을 수행하기 위한 조건이 만족되지 않음을 식별할 수 있다. For example, when the ratio of the
다른 예를 들면, 의료 영상 출력 장치는 초음파 영상(810)내에 대상체(811)가 차지하는 비율이 90% 이상인 경우, 영상 정합을 수행하기 위한 조건이 만족되지 않음을 식별할 수 있다. For another example, when the ratio of the
일 실시예에 따르면, 의료 영상 출력 장치는 영상 정합을 수행하기 위한 조건이 만족되지 않았음을 나타내는 정보를 디스플레이 할 수 있다. 예를 들면, 의료 영상 출력 장치는 초음파 영상(810) 내에 대상체(811)가 지나치게 작거나 크다는 것을 나타내는 알림을 디스플레이 할 수 있다.According to an embodiment, the apparatus for outputting a medical image may display information indicating that a condition for performing image matching is not satisfied. For example, the apparatus for outputting a medical image may display a notification indicating that the
일 실시예에 따르면, 의료 영상 출력 장치는 초음파 영상(810)내에 대상체(811)가 차지하는 비율과 소정의 임계값을 비교함으로써, 영상 정합의 신뢰도에 관한 정보를 획득할 수 있다. 의료 영상 출력 장치는 영상 정합의 신뢰도에 관한 정보를 디스플레이 할 수 있다. According to an embodiment, the apparatus for outputting a medical image may obtain information on reliability of image matching by comparing a ratio occupied by the
도 9는 일 실시예에 따른 의료 영상 출력 장치가 영상 정합 조건을 만족 하는지 여부를 식별하는 것을 나타낸 도면이다.9 is a diagram illustrating that a medical image output device according to an exemplary embodiment identifies whether an image matching condition is satisfied.
프로브(20)로부터 송신되는 초음파 신호의 방향(25)이 대상체(10)를 향하지 않는 경우에는 영상 정합을 수행하기 어렵다. When the
따라서, 도 9를 참조하면, 의료 영상 출력 장치는 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향(25)에 기초하여, 영상 정합을 수행하기 위한 조건이 만족되는지 여부를 식별할 수 있다.Accordingly, referring to FIG. 9, the apparatus for outputting a medical image may identify whether a condition for performing image matching is satisfied based on a
일 실시예에 따르면, 의료 영상 출력 장치는 센서부를 이용하여 획득한 프로브(20)의 위치에 관한 정보에 기초하여, 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향(25)을 식별함으로써, 영상 정합을 수행하기 위한 조건이 만족되었는지 여부를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image identifies a
예를 들면, 의료 영상 출력 장치는 자기장 생성부가 생성한 소정 범위 내의 자기장내에서 전자기 센서를 이용하여 프로브(20)의 움직임을 추적함으로써, 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향을 식별할 수 있다. For example, the medical image output device can identify the direction in which the ultrasonic signal transmitted from the
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 초음파 영상으로부터 식별한 대상체의 경계에 기초하여, 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향(25)을 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify a
예를 들면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 식별한 대상체의 경계에 기초하여, 초음파 영상 내의 대상체의 위치를 식별할 수 있다. 의료 영상 출력 장치는 초음파 영상내의 대상체의 위치에 기초하여, 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향(25)을 식별할 수 있다.For example, the apparatus for outputting a medical image may identify the position of the object in the ultrasound image based on the boundary of the object identified using the
일 실시예에 따르면, 의료 영상 출력 장치는 영상 정합을 수행하기 위한 조건이 만족되지 않았음을 나타내는 정보를 디스플레이 할 수 있다. 예를 들면, 의료 영상 출력 장치는 프로브(20)로부터 송신되는 초음파 신호가 향하는 방향(25)이 대상체(10)가 아님을 나타내는 정보를 디스플레이 할 수 있다.According to an embodiment, the apparatus for outputting a medical image may display information indicating that a condition for performing image matching is not satisfied. For example, the apparatus for outputting a medical image may display information indicating that the
도 10은 일 실시예에 따른 의료 영상 출력 장치가 의료 영상을 인공지능 모델에 적용하는 것을 나타낸 도면이다.10 is a diagram illustrating that a medical image output device according to an exemplary embodiment applies a medical image to an artificial intelligence model.
도 10을 참조하면, 의료 영상 출력 장치는 의료 영상(1010)을 인공지능 모델(125)에 적용할 수 있다. Referring to FIG. 10, the apparatus for outputting a medical image may apply a
일 실시예에 따르면, 인공지능 모델(125)은 의료 영상 출력 장치에 구축된 것일 수 있다. 또는 인공지능 모델(125)은 의료 영상 출력 장치와 네트워크로 연결된 서버에 구축된 것일 수 있다. 설명의 편의를 위해서 인공지능 모델(125)이 의료 영상 출력 장치에 구축된 실시예로 설명한다. 이하에서 설명되는 인공지능 모델에 관한 내용은 개시된 다른 실시예의 인공지능 모델에게도 유추 적용될 수 있음은 자명하다.According to an embodiment, the
일 실시예에 따르면, 의료 영상(1010)은 CT 영상, MR 영상 및 3차원 초음파 영상 중에서 적어도 하나일 수 있다. According to an embodiment, the
일 실시예에 따르면, 인공지능 모델(125)은 의료 영상 출력 장치에 구축된 것일 수 있다. 또는 인공지능 모델(125)은 의료 영상 출력 장치와 네트워크로 연결된 서버에 구축된 것일 수 있다. According to an embodiment, the
일 실시예에 따르면, 인공지능 모델(125)은 학습 데이터로서 대상체가 포함된 의료 영상을 학습함으로써, 의료 영상으로부터 특징점들을 획득하도록 학습된 것일 수 있다. According to an embodiment, the
예를 들면, 인공지능 모델(125)은 전립선이 포함된 복수의 의료 영상이 학습 데이터로 입력될 수 있다. 복수의 의료 영상의 각각은 슬라이스 영상을 포함할 수 있다. 슬라이스 영상은 복수개의 조각(segment)으로 세분화된 것일 수 있다. 복수의 의료 영상의 각각은 전립선의 경계가 특징점으로 표시된 것일 수 있다. 인공지능 모델(125)은 CNN (Convolutional Neural Network)을 이용하여 세분화된 복수의 단면 의료 영상들의 각각으로부터 특징 벡터를 획득할 수 있다. For example, in the
일 실시예에 따르면, 인공지능 모델(125)은 특징점으로 대상체의 경계(outline)를 식별하도록 학습된 것일 수 있다. 예를 들면, 인공지능 모델(125)은 3차원 의료 영상 내에서의 대상체의 경계를 특징점으로 식별하도록 학습된 것일 수 있다. 다른 예를 들면, 인공지능 모델(125)은 단면 영상내에서의 대상체의 경계를 특징점으로 식별하도록 학습된 것일 수 있다.According to an embodiment, the
또한, 인공지능 모델(125)은 식별한 대상체의 경계에 기초하여, 대상체의 경계 맵 이미지를 획득하도록 학습 된 것일 수 있다.In addition, the
예를 들면, 인공지능 모델(125)은 학습 데이터들로부터 획득한 특징 벡터들에 기초하여, 인공지능 모델(125)에 적용된 의료 영상(1010)으로부터 대상체(예를 들면, 전립선)의 경계를 식별할 수 있다. 인공지능 모델(125)은 의료 영상(1010)을 세분화(segment)하여 특징 벡터를 획득하고, 획득된 특징 벡터에 기초하여 대상체의 경계를 식별할 수 있다. 인공지능 모델(125)은 식별한 대상체의 경계에 기초하여, 의료 영상(1010)으로부터 대상체 경계 맵 이미지를 획득할 수 있다. For example, the
일 실시예에 따르면, 인공지능 모델(125)은 의료 영상을 픽셀별(pixel-wise)로 분류(classification)하는 시맨틱 분류(Semantic Segmentation)의 유클리디안 거리(euclidean distance)를 특징점으로 획득하도록 학습된 것일 수 있다.According to an embodiment, the
예를 들면, 인공지능 모델(125)은 대상체의 경계로부터의 유클리디안 거리를 획득할 수 있다. 인공지능 모델(125)은 대상체의 경계로부터의 유클리디안 거리를 나타내는 3차원 거리 맵 이미지(1030)를 획득할 수 있다. 인공지능 모델(125)은 대상체의 경계로부터 유클리디안 거리가 동일한 영역을 동일한 색으로 컬러코딩함으로써, 3차원 거리 맵 이미지(1030)를 생성할 수 있다. For example, the
일 실시예에 따르면, 인공지능 모델(125)은 3차원 거리 맵 이미지(1030)를 슬라이스 함으로써, 단면 거리 맵 이미지(1050)를 생성할 수 있다. According to an embodiment, the
예를 들면, 인공지능 모델(125)은 프로브의 위치에 관한 정보에 기초하여, 3차원 거리 맵 이미지(1030)를 슬라이스 함으로써, 단면 거리 맵 이미지(1050)를 생성할 수 있다. For example, the
일 실시예에 따르면, 의료 영상(1010)의 특징점들은 기획득된 것일 수 있다. 예를 들면, 의료 영상(1010)의 특징점들은 서버에 구축된 인공지능 신경망이 기획득된 의료 영상(1010)으로부터 획득하여, 의료 영상 출력 장치로 전송한 것일 수 있다. 다른 예를 들면, 의료영상(1010)의 특징점들은 의료 영상 출력 장치에 구축된 인공지능 신경망이 기획득된 의료 영상(1010)으로부터 획득한 것일 수 있다. According to an embodiment, the feature points of the
도 11은 일 실시예에 따른 의료 영상 출력 장치가 초음파 영상과 의료 영상을 영상 정합하는 것을 나타내는 도면이다.11 is a diagram illustrating that an ultrasound image and a medical image are image matched by a medical image output device according to an exemplary embodiment.
도 11을 참조하면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여 초음파 영상(1110)과 의료 영상(1120)을 영상 정합할 수 있다. Referring to FIG. 11, the apparatus for outputting a medical image may image match an
일 실시예에 따르면, 의료 영상 출력 장치는 3차원 초음파 영상과 3차원 의료 영상을 영상 정합할 수 있다. According to an embodiment, the apparatus for outputting a medical image may image match a 3D ultrasound image and a 3D medical image.
일 실시예에 따르면, 의료 영상 출력 장치는 2차원 초음파 영상과 차원 의료 영상이 슬라이스됨으로써 생성된 단면 영상을 영상 정합할 수 있다. 예를 들면, 의료 영상 출력 장치는 센서부를 이용하여 획득한 프로브(20)의 위치에 관한 정보에 기초하여, 3차원 의료 영상의 단면 영상을 추출할 수 있다. 의료 영상 출력 장치는 선택된 단면 영상과 2차원 초음파 영상을 영상 정합할 수 있다.According to an embodiment, the apparatus for outputting a medical image may image match a cross-sectional image generated by slicing a 2D ultrasound image and a 3D medical image. For example, the apparatus for outputting a medical image may extract a cross-sectional image of a 3D medical image based on information about the position of the
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상(1110)과 의료 영상(1120)을 두 단계로 나누어서 영상 정합을 수행할 수 있다.According to an embodiment, the
예를 들면, 인공지능 모델(125)은 초음파 영상(1110)과 의료 영상(1120)을 전반적(overall)으로 정합하는 1단계 영상 정합과, 초음파 영상(1110)에 포함된 대상체(1111)와 의료 영상(1120)에 포함된 대상체(1121)를 세밀하게 정합하는 2단계 영상 정합을 수행할 수 있다. For example, the
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 특징점들과 의료 영상(1120)으로부터 획득된 특징점들을 비교하여 매칭함으로써, 초음파 영상(1110)과 의료 영상(1120)을 영상 정합할 수 있다.According to an embodiment, the
예를 들면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 특징점들의 위치와 의료 영상(1120)으로부터 획득된 특징점들의 위치를 비교하여 매칭함으로써, 초음파 영상(1110)과 의료 영상(1120)을 영상 정합할 수 있다.For example, the
다른 예를 들면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 대상체(1111)의 경계와 의료 영상(1120)으로부터 획득된 대상체(1121)의 경계를 비교하여 매칭함으로써, 초음파 영상(1110)과 의료 영상(1120)을 영상 정합할 수 있다. As another example, the
다른 예를 들면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 대상체(1111)의 거리 맵 이미지와 의료 영상(1120)으로부터 획득된 대상체(1121)의 거리 맵 이미지를 비교하여 매칭함으로써, 초음파 영상(1110)과 의료 영상(1120)을 영상 정합할 수 있다.As another example, the
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 특징점들과 의료 영상(1120)으로부터 획득된 특징점들을 비교하여 매칭함으로써, 초음파 영상(1110) 및 의료 영상(1120) 중에서 적어도 하나를 회전하여 영상 정합할 수 있다. According to an embodiment, the
예를 들면, 인공지능 모델(125)은 초음파 영상(1110)과 의료 영상(1120)을 전반적(overall)으로 영상 정합하기 위해서 초음파 영상(1110) 및 의료 영상(1120) 중에서 적어도 하나를 회전할 수 있다. 인공지능 모델(125)은 초음파 영상(1110) 및 의료 영상(1120) 중에서 적어도 하나를 회전함으로써, 초음파 영상(1110)에 포함된 대상체(1111)의 특징점들과 의료 영상(1120)에 포함된 대상체(1121)의 특징점들을 매칭할 수 있다. For example, the
일 실시예에 따르면, 인공지능 모델(125)은 초음파 영상(1110)으로부터 획득된 특징점들과 의료 영상(1120)으로부터 획득된 특징점들을 비교하여 매칭함으로써, 초음파 영상(1110)에 포함된 대상체(1111) 및 의료 영상(1120)에 포함된 대상체(1121) 중에서 적어도 하나에 대해서 형태 보정을 수행할 수 있다.According to an exemplary embodiment, the
예를 들면, 인공지능 모델(125)은 초음파 영상(1110)과 의료 영상(1120)을 세밀하게 영상 정합하기 위해서, 초음파 영상(1110)에 포함된 대상체(1111) 및 의료 영상(1120)에 포함된 대상체(1121) 중에서 적어도 하나에 대해서 형태 보정을 수행할 수 있다.For example, the
도 12를 참조하여 아래에서 구체적으로 설명한다. It will be described in detail below with reference to FIG. 12.
도 12는 일 실시예에 따른 의료 영상 출력 장치가 의료 영상에 대해서 보정 연산을 적용하는 방법에 대한 순서도이다.12 is a flowchart illustrating a method of applying a correction operation to a medical image by a medical image output device according to an exemplary embodiment.
단계 351을 참조하면, 의료 영상 출력 장치는 제2 초음파 영상을 인공지능 모델(125)에 적용할 수 있다. 제2 초음파 영상은 도 3의 단계 350에서 획득된 초음파 영상이다. Referring to step 351, the apparatus for outputting a medical image may apply the second ultrasound image to the
일 실시예에 따르면, 제2 초음파 영상은 프로브(20)가 이동함으로써 새롭게 획득되는 초음파 영상일 수 있다. 이 경우, 프로브(20)가 대상체에 가압함으로써 대상체의 형태가 변형된 제2 초음파 영상을 의료 영상 출력 장치가 획득할 수 있다. According to an embodiment, the second ultrasound image may be an ultrasound image newly acquired by moving the
단계 352를 참조하면, 인공지능 모델(125)은 제2 초음파 영상의 특징점들을 획득할 수 있다. 인공지능 모델(125)은 획득한 제2 초음파 영상의 특징점들을 의료 영상 출력 장치로 출력할 수 있다.Referring to step 352, the
단계 352는 단계 333과 유사하므로, 중복되는 내용은 생략한다.Step 352 is similar to step 333, and thus redundant content is omitted.
단계 353을 참조하면, 의료 영상 출력 장치는 제1 의료 영상에 대한 보정 연산을 수행한 결과가 존재하는지 여부를 식별할 수 있다. Referring to step 353, the apparatus for outputting a medical image may identify whether there is a result of performing a correction operation on the first medical image.
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)에 의해서 제1 의료 영상에 포함된 대상체의 형태를 변형하기 위한 보정 연산을 수행한 결과가 존재하는지 여부를 식별할 수 있다. According to an embodiment, the apparatus for outputting a medical image may identify whether there is a result of performing a correction operation for modifying a shape of an object included in the first medical image by the
의료 영상 출력 장치는 제1 의료 영상에 대한 보정 연산을 수행한 결과를 제1 의료 영상에 적용함으로써, 추가적인 보정 연산을 수행하지 않을 수 있다. 따라서, 의료 영상 출력 장치는 빠르게 영상 정합을 수행하고, 의료 영상에 형태 보정을 적용하여 디스플레이 할 수 있다. The apparatus for outputting a medical image may not perform an additional correction operation by applying a result of performing a correction operation on the first medical image to the first medical image. Accordingly, the apparatus for outputting a medical image can quickly perform image matching and apply shape correction to the medical image for display.
의료 영상 출력 장치는 제1 의료 영상에 대한 보정 연산을 수행한 결과가 존재하면, 단계 354를 진행할 수 있다. 또한, 의료 영상 출력 장치는 제1 의료 영상에 대한 보정 연산을 수행한 결과가 존재하지 않으면, 단계 355를 진행할 수 있다.If there is a result of performing the correction operation on the first medical image, the apparatus for outputting a medical image may proceed to step 354. Also, if there is no result of performing the correction operation on the first medical image, the apparatus for outputting a medical image may proceed to step 355.
단계 354를 참조하면, 의료 영상 출력 장치는 프로브(20)의 위치가 변경되었는지 여부를 식별할 수 있다.Referring to step 354, the apparatus for outputting a medical image may identify whether the position of the
일 실시예에 따르면, 의료 영상 출력 장치는 센서부를 이용하여 획득한 프로브(20)의 위치에 관한 정보에 기초하여, 프로브(20)의 위치가 변경되었는지 여부를 식별할 수 있다. 예를 들면, 의료 영상 출력 장치는 자기장 생성부가 생성한 소정 범위 내의 자기장내에서 전자기 센서를 이용하여 프로브(20)의 움직임을 추적함으로써, 프로브(20)의 위치가 변경되었는지 여부를 식별할 수 있다.According to an embodiment, the apparatus for outputting a medical image may identify whether the position of the
의료 영상 출력 장치는 프로브(20)의 위치가 변경된 경우, 단계 355를 진행할 수 있다. 또한, 의료 영상 출력 장치는 프로브(20)의 위치가 변경되지 않은 경우, 단계 371를 진행할 수 있다.When the position of the
즉, 의료 영상 출력 장치는 프로브(20)의 위치가 변경되지 않은 경우에 단계 371을 진행함으로써, 빠르게 영상 정합을 수행하고, 형태 보정이 적용된 의료 영상을 디스플레이 할 수 있다. That is, when the position of the
단계 355를 참조하면, 의료 영상 출력 장치는 제1 의료 영상을 변형하기 위한 보정 연산을 수행할 수 있다. Referring to step 355, the apparatus for outputting a medical image may perform a correction operation for transforming the first medical image.
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여, 단계 352에서 획득한 제2 초음파 영상의 특징점들과 제1 의료 영상의 특징점들을 비교하여 매칭함으로써, 제1 의료 영상을 변형하기 위한 보정 연산을 수행할 수 있다. According to an embodiment, the apparatus for outputting a medical image compares and matches the feature points of the second ultrasound image acquired in
예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 특징점들의 위치와 제1 의료 영상으로부터 획득된 특징점들의 위치의 차이를 보정하기 위한 벡터를 획득하는 보정 연산을 수행할 수 있다. For example, the
다른 예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 대상체의 경계와 제1 의료 영상으로부터 획득된 대상체의 경계의 차이를 보정하기 위한 벡터를 획득하는 보정 연산을 수행할 수 있다. As another example, the
다른 예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 대상체의 거리 맵 이미지와 제1 의료 영상으로부터 획득된 대상체의 거리 맵 이미지의 차이를 보정하기 위한 벡터를 획득하는 보정 연산을 수행할 수 있다. As another example, the
단계 371을 참조하면, 의료 영상 출력 장치는 보정 연산의 결과를 제1 의료 영상에 적용함으로써 제2 의료 영상을 획득할 수 있다.Referring to step 371, the apparatus for outputting a medical image may acquire a second medical image by applying the result of the correction operation to the first medical image.
일 실시예에 따르면, 의료 영상 출력 장치는 인공지능 모델(125)을 이용하여, 단계 355에서 수행한 보정 연산의 결과를 제1 의료 영상에 적용함으로써, 형태 보정이 적용된 대상체를 포함하는 제2 의료 영상을 획득할 수 있다. According to an embodiment, the medical image output device uses the
예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 특징점들의 위치와 제1 의료 영상으로부터 획득된 특징점들의 위치의 차이를 보정하기 위한 벡터를 제1 의료 영상에 적용함으로써, 형태 보정이 적용된 대상체를 포함하는 제2 의료 영상을 획득할 수 있다. For example, the
다른 예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 대상체의 경계와 제1 의료 영상으로부터 획득된 대상체의 경계의 차이를 보정하기 위한 벡터를 제1 의료 영상에 적용함으로써, 형태 보정이 적용된 대상체를 포함하는 제2 의료 영상을 획득할 수 있다. As another example, the
다른 예를 들면, 인공지능 모델(125)은 제2 초음파 영상으로부터 획득된 대상체의 거리 맵 이미지와 제1 의료 영상으로부터 획득된 대상체의 거리 맵 이미지의 차이를 보정하기 위한 벡터를 제1 의료 영상에 적용함으로써, 형태 보정이 적용된 대상체를 포함하는 제2 의료 영상을 획득할 수 있다. As another example, the
일 실시예에 따르면, 의료 영상 출력 장치 내에 구축된 인공지능 신경망은 제2 의료 영상을 의료 영상 출력 장치의 메모리에 저장할 수 있다. 다른 예를 들면, 서버에 구축된 인공지능 신경망은 제2 의료 영상을 네트워크를 통해서 의료 영상 출력 장치로 송신할 수 있다. According to an embodiment, the artificial intelligence neural network built in the medical image output device may store the second medical image in a memory of the medical image output device. For another example, the artificial intelligence neural network built in the server may transmit the second medical image to the medical image output device through the network.
도 13은 일 실시예에 따른 의료 영상 출력 장치가 보정 연산 결과를 의료 영상에 적용한 결과를 나타내는 도면이다.13 is a diagram illustrating a result of applying a correction operation result to a medical image by a medical image output device according to an exemplary embodiment.
도 13을 참조하면, 대상체(1311)는 도 3의 단계 310에서 획득된 제1 초음파 영상으로부터 식별된 것이다. 대상체(1313)는 도 3의 단계 350에서 획득된 제2 초음파 영상(1310)으로부터 식별된 것이다. 대상체(1331)는 도 3의 단계 330에서 제1 초음파 영상과 영상 정합된 제1 의료 영상(1330)으로부터 식별된 것이다. 대상체(1353)는 도 3의 단계 370에서 획득된 제2 의료 영상(1350)에 포함된 것이다. Referring to FIG. 13, an
제1 초음파 영상과 제1 의료 영상이 영상 정합됨으로써, 제1 초음파에 포함된 대상체(1311)는 제1 의료 영상(1330)에 포함된 대상체(1331)와 매칭된다. 따라서, 제1 초음파에 포함된 대상체(1311)의 형상은 제1 의료 영상(1330)에 포함된 대상체(1331)의 형상과 유사하다.As the first ultrasound image and the first medical image are image-matched, the
또한, 제2 의료 영상(1350)에 포함된 대상체(1353)는 제2 초음파 영상(1310)에 포함된 대상체(1313)에 기초하여, 제1 의료 영상(1330)에 포함된 대상체(1331)의 형상이 변형된 것이다. 따라서, 제2 초음파에 포함된 대상체(1313)의 형상은 제2 의료 영상(1330)에 포함된 대상체(1331)의 형상과 유사하다.In addition, the object 1351 included in the second
실험 결과에 따르면, 의료 영상 출력 장치가 8개의 논리 코어를 포함하는 i7-4790 CPU (3.60 GHz), 16GB RAM 및 Nvidia Quadro K2200 GPU를 포함하는 컴퓨터인 경우, 프레임 당 평균적으로 115ms의 시간이 의료 영상을 보정하는데 소요된다. 따라서, 개시된 실시예의 의료 영상 출력 장치는 실시간으로 초음파 영상에 대응되도록 의료 영상를 보정하여 디스플레이 할 수 있다.According to the experimental results, if the medical image output device is a computer including an i7-4790 CPU (3.60 GHz) with 8 logical cores, 16 GB RAM and Nvidia Quadro K2200 GPU, an average time of 115 ms per frame is medical image It takes to calibrate. Accordingly, the apparatus for outputting a medical image according to the disclosed embodiment may correct and display a medical image to correspond to an ultrasound image in real time.
또한, 실험 결과에 따르면, 개시된 실시예에 따라서 의료 영상을 보정한 결과는, 팬텀을 이용한 결과에 대해서 오차(유클리디안 거리에 관한 평균 trans-registration error)가 1.595 ± 1.602 mm이고, 임상 결과에 대해서 오차(유클리디안 거리에 관한 평균 trans-registration error)가 3.068±1.599 mm 이다. 따라서, 개시된 실시예의 의료 영상 출력 장치는 초음파 영상과 영상 정합된 의료 영상을 초음파 영상에 대응되도록 보정하여 디스플레이 함으로써, 사용자에게 대상체에 관한 정보를 명확하게 제공할 수 있다. In addition, according to the experimental results, the result of correcting the medical image according to the disclosed embodiment has an error (average trans-registration error with respect to the Euclidean distance) of 1.595 ± 1.602 mm with respect to the result using the phantom, and the clinical result. The error (mean trans-registration error with respect to the Euclidean distance) is 3.068±1.599 mm. Accordingly, the apparatus for outputting a medical image according to the disclosed embodiment may clearly provide information about an object to a user by correcting and displaying the medical image matched with the ultrasound image to correspond to the ultrasound image.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a computer-readable recording medium storing instructions and data executable by a computer. The instruction may be stored in the form of a program code, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation. Also, when the command is executed by a processor, certain operations of the disclosed embodiments may be performed.
Claims (20)
상기 의료 영상 출력 장치의 초음파 프로브를 이용하여 대상체로 초음파 신호를 송신하고 상기 대상체로부터 초음파 에코 신호를 수신하는 단계;
상기 초음파 에코 신호를 이용하여 제1 초음파 영상을 획득하는 단계;
기획득된 제1 의료 영상과 상기 제1 초음파 영상의 영상 정합을 수행하는 단계;
상기 초음파 프로브를 이용하여 상기 대상체의 제2 초음파 영상을 획득하는 단계;
상기 제2 초음파 영상에 대응되도록 상기 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득하는 단계; 및
상기 제2 의료 영상을 상기 제2 초음파 영상과 함께 디스플레이하는 단계;를 포함하는, 방법.
In the medical image output method using a medical image output device,
Transmitting an ultrasound signal to an object using an ultrasound probe of the medical image output device and receiving an ultrasound echo signal from the object;
Obtaining a first ultrasound image using the ultrasound echo signal;
Performing image matching of the acquired first medical image and the first ultrasound image;
Acquiring a second ultrasound image of the object using the ultrasound probe;
Obtaining a second medical image by transforming the first medical image to correspond to the second ultrasound image; And
Including, displaying the second medical image together with the second ultrasound image.
상기 영상 정합을 수행하는 단계는,
상기 제1 초음파 영상을 인공지능 모델에 적용함으로써, 상기 제1 초음파 영상의 특징점(features)을 획득하는 단계; 및
기획득된 제1 의료 영상의 특징점과 상기 제1 초음파 영상의 특징점을 비교하는 단계를 포함하는, 방법.
The method of claim 1,
The step of performing the image matching,
Obtaining features of the first ultrasound image by applying the first ultrasound image to an artificial intelligence model; And
Comprising the step of comparing the obtained feature points of the first medical image and the feature points of the first ultrasound image.
상기 영상 정합을 수행하는 단계는,
상기 제1 초음파 영상의 특징점에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는 단계; 및
상기 식별한 결과에 기초하여, 상기 영상 정합에 관한 정보를 디스플레이하는 단계를 포함하는,
방법.
The method of claim 2,
The step of performing the image matching,
Identifying whether a condition for image matching is satisfied based on the feature points of the first ultrasound image; And
Including the step of displaying information on the image matching based on the identified result,
Way.
상기 영상 정합을 위한 조건이 만족되었는지를 식별하는 단계는,
상기 제1 초음파 영상 내에 상기 대상체가 차지하는 제1 비율을 획득하는 단계;
상기 제1 비율과 소정의 임계값을 비교하는 단계; 및
상기 비교한 결과에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는 단계를 포함하는,
방법.
The method of claim 3,
The step of identifying whether the condition for image matching is satisfied,
Obtaining a first ratio occupied by the object in the first ultrasound image;
Comparing the first ratio with a predetermined threshold value; And
Including the step of identifying whether the condition for matching the image is satisfied based on the comparison result,
Way.
상기 영상 정합을 위한 조건이 만족되었는지를 식별하는 단계는,
상기 제1 초음파 영상의 특징점에 기초하여, 상기 대상체의 전체 면적 중에서 상기 제1 초음파 영상 내에 포함된 상기 대상체의 면적의 비율을 의미하는 제2 비율을 획득하는 단계;
상기 제2 비율과 소정의 임계값을 비교하는 단계;
상기 비교한 결과에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는 단계를 포함하는,
방법.
The method of claim 3,
The step of identifying whether the condition for image matching is satisfied,
Obtaining a second ratio indicating a ratio of the area of the object included in the first ultrasound image among the total area of the object based on the feature points of the first ultrasound image;
Comparing the second ratio with a predetermined threshold value;
Including the step of identifying whether the condition for matching the image is satisfied based on the comparison result,
Way.
상기 영상 정합을 위한 조건이 만족되었는지를 식별하는 단계는,
상기 초음파 프로브로부터 송신되는 초음파 신호가 향하는 방향을 식별하는 단계; 및
상기 식별된 방향에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는 단계를 포함하는,
방법.
The method of claim 3,
The step of identifying whether the condition for image matching is satisfied,
Identifying a direction in which the ultrasonic signal transmitted from the ultrasonic probe is directed; And
Including the step of identifying whether the condition for matching the image is satisfied based on the identified direction,
Way.
상기 제1 초음파 영상의 특징점들을 획득하는 단계는,
상기 인공지능 모델을 이용하여, 상기 제1 초음파 영상 내의 상기 대상체의 제1 경계(outline)를 식별하는 단계를 포함하고,
상기 제1 의료 영상의 특징점과 상기 제1 초음파 영상의 특징점을 비교하는 단계는,
상기 인공지능 모델을 이용하여 획득된 상기 제1 의료 영상 내의 상기 대상체의 제2 경계를 상기 제1 경계와 비교하는 단계를 포함하는,
방법.
The method of claim 2,
Acquiring the feature points of the first ultrasound image,
Including the step of identifying a first outline of the object in the first ultrasound image using the artificial intelligence model,
Comparing the feature points of the first medical image and the feature points of the first ultrasound image,
Comprising the step of comparing a second boundary of the object in the first medical image acquired using the artificial intelligence model with the first boundary,
Way.
상기 제1 초음파 영상의 특징점을 획득하는 단계는,
상기 인공지능 모델을 이용하여, 상기 제1 초음파 영상 내의 상기 대상체의 경계(outline)를 식별하는 단계; 및
상기 대상체의 경계로부터의 거리를 나타내는 제1 거리 맵(distance map)을 획득하는 단계를 포함하고,
상기 제1 의료 영상의 특징점과 상기 제1 초음파 영상의 특징점을 비교하는 단계는,
상기 제1 거리 맵과 상기 인공지능 모델을 이용하여 상기 제1 의료 영상으로부터 기획득된 제2 거리 맵을 비교하는 단계를 포함하는,
방법.
The method of claim 2,
Acquiring the feature points of the first ultrasound image,
Identifying an outline of the object in the first ultrasound image using the artificial intelligence model; And
Comprising the step of obtaining a first distance map (distance map) representing the distance from the boundary of the object,
Comparing the feature points of the first medical image and the feature points of the first ultrasound image,
Comprising the step of comparing a second distance map obtained from the first medical image using the first distance map and the artificial intelligence model,
Way.
상기 제1 의료 영상은 3차원 의료 영상이고,
상기 제2 거리 맵은, 상기 인공지능 모델을 이용하여 상기 제1 의료 영상으로부터 획득된 3차원 경계로부터의 거리를 나타내는 3차원 영상이고,
상기 제1 거리 맵과 상기 제2 거리 맵을 비교하는 단계는,
상기 제2 거리 맵을 슬라이스 함으로써 2차원 영상인 제3 거리 맵을 획득하는 단계; 및
상기 제3 거리 맵과 상기 제1 거리 맵을 비교하는 단계를 포함하는,
방법.
The method of claim 8,
The first medical image is a 3D medical image,
The second distance map is a three-dimensional image representing a distance from a three-dimensional boundary obtained from the first medical image using the artificial intelligence model,
Comparing the first distance map and the second distance map,
Obtaining a third distance map that is a 2D image by slicing the second distance map; And
Comprising the step of comparing the third distance map and the first distance map,
Way.
상기 제2 초음파 영상을 획득하는 단계는,
상기 초음파 프로브를 이용하여 상기 대상체를 가압함으로써 변형된, 상기 대상체를 포함하는 제2 초음파 영상을 획득하는 단계를 포함하고,
상기 제2 의료 영상을 획득하는 단계는,
상기 제2 초음파 영상을 상기 인공지능 모델에 적용함으로써, 상기 제2 초음파 영상의 특징점(features)을 획득하는 단계;
상기 제1 의료 영상의 특징점과 상기 제2 초음파 영상의 특징점을 비교한 결과에 기초하여 상기 제1 의료 영상을 변형함으로써, 상기 제2 의료 영상을 획득하는 단계를 포함하는,
방법.
The method of claim 2,
Acquiring the second ultrasound image,
Comprising the step of acquiring a second ultrasound image including the object, which is deformed by pressing the object using the ultrasonic probe,
Acquiring the second medical image,
Obtaining features of the second ultrasound image by applying the second ultrasound image to the artificial intelligence model;
Comprising the step of obtaining the second medical image by transforming the first medical image based on a result of comparing the feature points of the first medical image and the feature points of the second ultrasound image,
Way.
디스플레이부;
대상체로 초음파 신호를 송신하고 상기 대상체로부터 초음파 에코 신호를 수신하는 초음파 프로브;
하나 이상의 명령어들을 저장하는 메모리; 및
상기 명령어들을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 명령어들을 실행함으로써,
상기 초음파 에코 신호를 이용하여 제1 초음파 영상을 획득하고,
기획득된 제1 의료 영상과 상기 제1 초음파 영상의 영상 정합을 수행하고,
상기 초음파 프로브를 제어하여 상기 대상체의 제2 초음파 영상을 획득하고,
상기 제2 초음파 영상에 대응되도록 상기 제1 의료 영상을 변형함으로써, 제2 의료 영상을 획득하고,
상기 제2 의료 영상을 상기 제2 초음파 영상과 함께 디스플레이하도록 상기 디스플레이부를 제어하는,
의료 영상 출력 장치.
In the medical image output device,
A display unit;
An ultrasound probe that transmits an ultrasound signal to an object and receives an ultrasound echo signal from the object;
A memory storing one or more instructions; And
Comprising a processor that executes the instructions,
The processor executes the instructions,
Acquiring a first ultrasound image using the ultrasound echo signal,
Perform image matching of the acquired first medical image and the first ultrasound image,
Controlling the ultrasound probe to obtain a second ultrasound image of the object,
Obtaining a second medical image by transforming the first medical image to correspond to the second ultrasound image,
Controlling the display unit to display the second medical image together with the second ultrasound image,
Medical image output device.
상기 프로세서는,
상기 제1 초음파 영상을 인공지능 모델에 적용함으로써, 상기 제1 초음파 영상의 특징점(features)을 획득하고,
기획득된 제1 의료 영상의 특징점과 상기 제1 초음파 영상의 특징점을 비교하는, 의료 영상 출력 장치.
The method of claim 11,
The processor,
By applying the first ultrasound image to an artificial intelligence model, features of the first ultrasound image are obtained,
A medical image output device that compares the feature points of the first medical image acquired and the feature points of the first ultrasound image.
상기 프로세서는,
상기 제1 초음파 영상의 특징점에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하고,
상기 식별한 결과에 기초하여, 상기 영상 정합에 관한 정보를 디스플레이하도록 상기 디스플레이부를 제어하는,
의료 영상 출력 장치.
The method of claim 12,
The processor,
Identifying whether the condition for image matching is satisfied based on the feature points of the first ultrasound image,
Controlling the display unit to display information on the image matching based on the identified result,
Medical image output device.
상기 프로세서는,
상기 제1 초음파 영상 내에 상기 대상체가 차지하는 제1 비율을 획득하고,
상기 제1 의료 영상 내에 상기 대상체가 차지하는 제2 비율을 획득하고,
상기 제1 비율 및 상기 제2 비율 중에서 적어도 하나와 소정의 임계값을 비교하고,
상기 비교한 결과에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는,
의료 영상 출력 장치.
The method of claim 13,
The processor,
Obtaining a first ratio occupied by the object in the first ultrasound image,
Obtaining a second ratio occupied by the object in the first medical image,
Comparing at least one of the first ratio and the second ratio with a predetermined threshold,
Identifying whether the condition for image matching is satisfied based on the comparison result,
Medical image output device.
상기 프로세서는,
상기 제1 초음파 영상의 특징점에 기초하여, 상기 대상체의 전체 경계 중에서 상기 제1 초음파 영상 내에 포함된 상기 대상체의 경계의 비율을 의미하는 제3 비율을 획득하고,
상기 제3 비율과 소정의 임계값을 비교하고,
상기 비교한 결과에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는,
의료 영상 출력 장치.
The method of claim 13,
The processor,
Based on the feature points of the first ultrasound image, a third ratio, which means the ratio of the boundary of the object included in the first ultrasound image, is obtained among the entire boundary of the object,
Comparing the third ratio with a predetermined threshold,
Identifying whether the condition for image matching is satisfied based on the comparison result,
Medical image output device.
상기 프로세서는,
상기 초음파 프로브로부터 송신되는 초음파 신호가 향하는 방향을 식별하고,
상기 식별된 방향에 기초하여, 상기 영상 정합을 위한 조건이 만족되는지를 식별하는,
의료 영상 출력 장치.
The method of claim 13,
The processor,
Identify the direction in which the ultrasonic signal transmitted from the ultrasonic probe is directed,
Identifying whether the condition for image matching is satisfied based on the identified direction,
Medical image output device.
상기 프로세서는,
상기 인공지능 모델을 이용하여, 상기 제1 초음파 영상 내의 상기 대상체의 제1 경계(outline)를 식별하고,
상기 인공지능 모델을 이용하여 획득된 상기 제1 의료 영상 내의 상기 대상체의 제2 경계를 상기 제1 경계와 비교하는,
의료 영상 출력 장치.
The method of claim 12,
The processor,
Using the artificial intelligence model, to identify a first outline of the object in the first ultrasound image,
Comparing a second boundary of the object in the first medical image acquired using the artificial intelligence model with the first boundary,
Medical image output device.
상기 프로세서는,
상기 인공지능 모델을 이용하여, 상기 제1 초음파 영상 내의 상기 대상체의 경계(outline)를 식별하고,
상기 대상체의 경계로부터의 거리를 나타내는 제1 거리 맵 이미지(distance map image)를 획득하고,
상기 제1 거리 맵 이미지와 상기 인공지능 모델을 이용하여 상기 제1 의료 영상으로부터 기획득된 제2 거리 맵 이미지를 비교하는,
의료 영상 출력 장치.
The method of claim 12,
The processor,
Using the artificial intelligence model, to identify the outline of the object in the first ultrasound image,
Acquiring a first distance map image representing the distance from the boundary of the object,
Comparing the first distance map image and the second distance map image planned from the first medical image using the artificial intelligence model,
Medical image output device.
상기 제1 의료 영상은 3차원 의료 영상이고,
상기 제2 거리 맵은, 상기 인공지능 모델을 이용하여 상기 제1 의료 영상으로부터 획득된 3차원 경계로부터의 거리를 나타내는 3차원 영상이고,
상기 프로세서는,
상기 제2 거리 맵을 슬라이스 함으로써 2차원 영상인 제3 거리 맵을 획득하고,
상기 제3 거리 맵과 상기 제1 거리 맵을 비교하는,
의료 영상 출력 장치.
The method of claim 18,
The first medical image is a 3D medical image,
The second distance map is a three-dimensional image representing a distance from a three-dimensional boundary obtained from the first medical image using the artificial intelligence model,
The processor,
Slicing the second distance map to obtain a third distance map that is a two-dimensional image,
Comparing the third distance map and the first distance map,
Medical image output device.
상기 프로세서는,
상기 초음파 프로브가 상기 대상체를 가압함으로써 변형된, 상기 대상체를 포함하는 제2 초음파 영상을 획득하고,
상기 제2 초음파 영상을 상기 인공지능 모델에 적용함으로써, 상기 제2 초음파 영상의 특징점(features)을 획득하고,
상기 제1 의료 영상의 특징점과 상기 제2 초음파 영상의 특징점을 비교한 결과에 기초하여 상기 제1 의료 영상을 변형함으로써, 상기 제2 의료 영상을 획득하는,
의료 영상 출력 장치. The method of claim 12,
The processor,
Acquiring a second ultrasound image including the object, which is deformed by the ultrasound probe pressing the object,
By applying the second ultrasound image to the artificial intelligence model, features of the second ultrasound image are obtained,
Obtaining the second medical image by transforming the first medical image based on a result of comparing the feature points of the first medical image and the feature points of the second ultrasound image,
Medical image output device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/091,814 US11571185B2 (en) | 2019-11-08 | 2020-11-06 | Medical image displaying apparatus and method of displaying medical image using the same |
PCT/KR2020/015490 WO2021091293A1 (en) | 2019-11-08 | 2020-11-06 | Medical image output apparatus and medical image output method using same |
CN202080077300.3A CN114650777A (en) | 2019-11-08 | 2020-11-06 | Medical image display apparatus and method of displaying medical image using the same |
EP20885768.0A EP4056124A4 (en) | 2019-11-08 | 2020-11-06 | Medical image output apparatus and medical image output method using same |
US17/126,557 US20210142493A1 (en) | 2019-11-08 | 2020-12-18 | Medical image displaying apparatus and method of displaying medical image using the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962932631P | 2019-11-08 | 2019-11-08 | |
US62/932,631 | 2019-11-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210056884A true KR20210056884A (en) | 2021-05-20 |
Family
ID=76142898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200034045A KR20210056884A (en) | 2019-11-08 | 2020-03-19 | Medical image displaying apparatus and method of displaying medical image using thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210056884A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102518493B1 (en) * | 2022-11-29 | 2023-04-04 | 프로메디우스 주식회사 | Electronic apparatus and method for detecting at least one cervical vertebrae point included in cervical vertebrae using artificial intelligence model in x-ray image including cervical vertebrae |
-
2020
- 2020-03-19 KR KR1020200034045A patent/KR20210056884A/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102518493B1 (en) * | 2022-11-29 | 2023-04-04 | 프로메디우스 주식회사 | Electronic apparatus and method for detecting at least one cervical vertebrae point included in cervical vertebrae using artificial intelligence model in x-ray image including cervical vertebrae |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3444776B1 (en) | Topogram prediction from surface data in medical imaging | |
EP3477589B1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
US20200226752A1 (en) | Apparatus and method for processing medical image | |
US11033250B2 (en) | Ultrasound apparatus and ultrasound medical imaging method for identifying view plane of ultrasound image based on classifiers | |
CN111724904A (en) | Multi-tasking progressive network for patient modeling for medical scanning | |
EP3653131B1 (en) | Ultrasound diagnosis apparatus for determining abnormality of fetal heart, and operating method thereof | |
JP2018139693A (en) | Image classification device, method and program | |
US11284850B2 (en) | Reduced interaction CT scanning | |
KR102347038B1 (en) | Ultra sonic apparatus and method for scanning thereof | |
US11564663B2 (en) | Ultrasound imaging apparatus and control method thereof | |
EP3379488B1 (en) | Medical image displaying apparatus and medical image displaying method | |
US20230062672A1 (en) | Ultrasonic diagnostic apparatus and method for operating same | |
KR20210056884A (en) | Medical image displaying apparatus and method of displaying medical image using thereof | |
US11571185B2 (en) | Medical image displaying apparatus and method of displaying medical image using the same | |
KR102557389B1 (en) | Ultrasound Imaging Apparatus and Controlling Method Thereof | |
US20240074738A1 (en) | Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position | |
CN114511642A (en) | Method and system for predicting virtual anchor sheet flow | |
US11452494B2 (en) | Methods and systems for projection profile enabled computer aided detection (CAD) | |
US20210142493A1 (en) | Medical image displaying apparatus and method of displaying medical image using the same | |
US20220378395A1 (en) | Image-processing method and apparatus for object detection or identification | |
KR20210120716A (en) | Ultrasound diagnosis apparatus and operating method for the same | |
KR20240082452A (en) | Method for learning a classification model for image data and device therefor | |
KR20220161597A (en) | Apparatus and method for predicting position informaiton according to movement of tool | |
CN115969414A (en) | Method and system for using analytical aids during ultrasound imaging | |
KR20210094913A (en) | Ultrasound diagnosis apparatus and method for managing ultrasound image thereby |