KR20220097859A - Method and apparatus for distinguishing lesion - Google Patents
Method and apparatus for distinguishing lesion Download PDFInfo
- Publication number
- KR20220097859A KR20220097859A KR1020220022774A KR20220022774A KR20220097859A KR 20220097859 A KR20220097859 A KR 20220097859A KR 1020220022774 A KR1020220022774 A KR 1020220022774A KR 20220022774 A KR20220022774 A KR 20220022774A KR 20220097859 A KR20220097859 A KR 20220097859A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lesion
- dimensional
- image information
- region
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000004072 lung Anatomy 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000003325 tomography Methods 0.000 description 5
- 206010035664 Pneumonia Diseases 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 208000036142 Viral infection Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009385 viral infection Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
본 개시(disclosure)의 기술적 사상은 병변 판독 방법 및 이를 위한 장치에 관한 것이다.The technical idea of the present disclosure relates to a lesion reading method and an apparatus therefor.
컴퓨터 단층촬영(CT, Computed Tomography)은 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. CT는 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 좀더 명확히 볼 수 있는 장점이 있다. 또한 CT 촬영은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧기 때문에, 대부분의 장기 및 질환에서 병변이 의심되고 정밀검사를 시행해야 할 필요가 있을 때 기본이 되는 검사법이다.Unlike X-ray imaging, computed tomography (CT) acquires a transverse cross-sectional image of the human body. Compared to simple X-ray imaging, CT has the advantage of being able to see structures and lesions more clearly because there is less overlap of structures. In addition, CT scan is a basic examination method when a lesion is suspected in most organs and diseases and a detailed examination is necessary because the examination cost is cheaper and examination time is shorter than that of MRI.
최근에는 다중채널 CT(MDCT, multi-detector CT)가 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 3차원(3D) 영상도 자유로이 얻을 수 있게 되었고, CT 촬영영상을 의료기관에서 수집할 수도 있다.Recently, with the spread of multi-channel CT (MDCT, multi-detector CT), it is possible to freely obtain desired cross-sectional images and three-dimensional (3D) images like MRI by reconstructing images after imaging, and CT images can be collected at medical institutions. have.
하지만, CT 영상을 판독하는 전문의는 한정적이고, 의료 영상 판독을 의뢰할 수 있는 시스템이 갖춰져 있지 않은 실정이다. 이로 인해 개인이 CT 촬영영상을 소유하더라도 온라인으로 신뢰성 있는 판독을 의뢰할 수 없다.However, the number of specialists who read CT images is limited, and there is no system capable of requesting medical image reading. Due to this, even if an individual owns CT images, reliable readings cannot be requested online.
특히, 코로나 바이러스 등의 바이러스 감염에 의한 폐렴은 단기간에 중증 상태로 진행이 가능하기 때문에 신속하고 정확한 진단이 요청되는데, 전문의의 판독을 기다리다 증상이 급속히 악화될 수 있는 문제점 또한 있다.In particular, since pneumonia caused by a viral infection such as coronavirus can progress to a severe state in a short period of time, a prompt and accurate diagnosis is requested, but there is also a problem that symptoms can rapidly worsen while waiting for a doctor's reading.
이에 한국등록특허공보 제1887194호에는 피검체의 흉부 영상이 입력되면 딥러닝 모델에 기초하여 흉부 영상을 판독하는 기술이 도입된 바 있다.Accordingly, in Korea Patent Publication No. 1887194, when a chest image of a subject is input, a technology for reading a chest image based on a deep learning model has been introduced.
본 개시의 기술적 사상에 따른 병변 판독 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는, CT 영상으로부터 정확하고 신속하게 병변을 자동 판독하고, 병변 유무를 보다 직관적으로 표시할 수 있는 병변 판독 방법 및 그 장치를 제공하는 데에 있다.A lesion reading method and an apparatus for the same according to the technical idea of the present disclosure provide a lesion reading method capable of automatically and quickly reading a lesion from a CT image and more intuitively displaying the presence or absence of a lesion, and an apparatus therefor is to provide
본 개시의 기술적 사상에 따른 병변 판독 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical task to be achieved by the lesion reading method and the device therefor according to the technical spirit of the present disclosure are not limited to the tasks mentioned above, and another task not mentioned will be clearly understood by those skilled in the art from the following description .
본 개시의 기술적 사상에 의한 일 양태에 따르면, 병변 판독 방법은, 흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득하는 단계; 상기 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 폐 영역을 추출한 제 1 영상 정보를 생성하는 단계; 상기 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성하는 단계; 및 상기 제 1 영상 정보와 상기 제 2 영상 정보를 기초로 상기 병변 영역이 포함된 3차원 영상을 생성하는 단계를 포함할 수 있다.According to an aspect of the technical concept of the present disclosure, a lesion reading method includes: acquiring an image group including a plurality of two-dimensional images generated corresponding to a continuous volume of a chest; generating first image information obtained by extracting a lung region from each of the two-dimensional images by inputting the image group into a learned first network function; generating second image information obtained by detecting a predetermined lesion region from each of the two-dimensional images by inputting the image group into a learned second network function; and generating a 3D image including the lesion region based on the first image information and the second image information.
예시적인 실시예에 따르면, 상기 제 1 영상 정보를 생성하는 단계는, 상기 제 1 네트워크 함수를 통해, 상기 2차원 영상으로부터 추출된 상기 폐 영역을 복수의 로브 영역(lobe region)으로 분할하는 단계를 포함하고, 상기 제 1 영상 정보는 분할된 상기 복수의 로브 영역에 관한 정보를 포함할 수 있다.According to an exemplary embodiment, the generating of the first image information includes dividing the lung region extracted from the 2D image into a plurality of lobe regions through the first network function. And, the first image information may include information about the divided plurality of lobe regions.
예시적인 실시예에 따르면, 상기 3차원 영상은 분할된 상기 복수의 로브 영역에 대응하는 3차원 로브 영역을 포함하고, 상기 방법은, 각각의 상기 3차원 로브 영역에 대하여 병변 영역의 비율을 산출하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, the three-dimensional image includes a three-dimensional lobe region corresponding to the plurality of segmented lobe regions, and the method includes calculating a ratio of a lesion region with respect to each of the three-dimensional lobe regions It may include further steps.
예시적인 실시예에 따르면, 상기 제 1 영상 정보 및 상기 제 2 영상 정보 중 적어도 하나를 기초로 상기 복수의 2차원 영상에 각각 대응하는 복수의 제 2 영상을 생성하는 단계 - 상기 제 2 영상에는 추출된 상기 폐 영역 및 검출된 상기 병변 영역 중 적어도 하나에 관한 정보가 포함됨 - ; 상기 3차원 영상의 수직 좌표 중 소정의 기준 좌표에 대응하는 상기 제 2 영상을 검색하는 단계; 및 상기 기준 좌표를 기초로 검색된 상기 제 2 영상을 상기 3차원 영상과 정합하여 표시하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, generating a plurality of second images respectively corresponding to the plurality of 2D images based on at least one of the first image information and the second image information - Extraction to the second image information about at least one of the detected lung region and the detected lesion region is included; searching for the second image corresponding to a predetermined reference coordinate among vertical coordinates of the 3D image; and matching the second image searched for based on the reference coordinates with the 3D image and displaying the matched image.
예시적인 실시예에 따르면, 상기 기준 좌표를 설정하기 위한 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 따라 상기 기준 좌표가 변경되면, 상기 3차원 영상과 정합하여 표시되는 상기 제 2 영상을 변경된 기준 좌표에 대응하여 갱신하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, receiving a user input for setting the reference coordinates; and when the reference coordinates are changed according to the user input, updating the second image displayed by matching the 3D image to correspond to the changed reference coordinates.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 병변 판독 장치는, 병변 판독을 위한 프로그램을 저장하는 메모리; 및 상기 프로그램을 실행함으로써, 흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득하고, 상기 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 폐 영역을 추출한 제 1 영상 정보를 생성하며, 상기 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성하고, 상기 제 1 영상 정보와 상기 제 2 영상 정보를 기초로 상기 병변 영역이 포함된 3차원 영상을 생성하는 적어도 하나의 프로세서를 포함할 수 있다.According to an aspect of the technical concept of the present disclosure, an apparatus for reading a lesion includes: a memory for storing a program for reading a lesion; and by executing the program, an image group including a plurality of two-dimensional images generated corresponding to the continuous volume of the chest is obtained, and the image group is input to a learned first network function to each of the two-dimensional images Generates first image information obtained by extracting a lung region from and at least one processor for generating a 3D image including the lesion region based on the first image information and the second image information.
예시적인 실시예에 따르면, 상기 프로세서는, 상기 제 1 네트워크 함수를 통해, 상기 2차원 영상으로부터 추출된 상기 폐 영역을 복수의 로브 영역(lobe region)으로 분할하고, 상기 제 1 영상 정보는 분할된 상기 복수의 로브 영역에 관한 정보를 포함할 수 있다.According to an exemplary embodiment, the processor divides the lung region extracted from the 2D image into a plurality of lobe regions through the first network function, and the first image information is divided into It may include information about the plurality of lobe regions.
예시적인 실시예에 따르면, 상기 3차원 영상은 분할된 상기 복수의 로브 영역에 대응하는 3차원 로브 영역을 포함하고, 상기 프로세서는, 각각의 상기 3차원 로브 영역에 대하여 병변 영역의 비율을 산출할 수 있다.According to an exemplary embodiment, the three-dimensional image includes a three-dimensional lobe region corresponding to the plurality of divided lobe regions, and the processor calculates a ratio of a lesion region with respect to each of the three-dimensional lobe regions. can
예시적인 실시예에 따르면, 상기 프로세서는, 상기 제 1 영상 정보 및 상기 제 2 영상 정보 중 적어도 하나를 기초로 상기 복수의 2차원 영상에 각각 대응하는 복수의 제 2 영상을 생성하고, 상기 3차원 영상의 수직 좌표 중 소정의 기준 좌표에 대응하는 상기 제 2 영상을 검색하며, 상기 기준 좌표를 기초로 검색된 상기 제 2 영상을 상기 3차원 영상과 정합하여 표시하고, 생성된 상기 제 2 영상에는 추출된 상기 폐 영역 및 검출된 상기 병변 영역 중 적어도 하나에 관한 정보가 포함될 수 있다.According to an exemplary embodiment, the processor generates a plurality of second images respectively corresponding to the plurality of 2D images based on at least one of the first image information and the second image information, and the 3D image The second image corresponding to a predetermined reference coordinate among the vertical coordinates of the image is searched for, the second image searched based on the reference coordinate is matched with the 3D image and displayed, and the generated second image is extracted Information on at least one of the detected lung region and the detected lesion region may be included.
예시적인 실시예에 따르면, 상기 기준 좌표를 설정하기 위한 사용자 입력을 수신하는 입력부를 더 포함하고, 상기 프로세서는, 상기 사용자 입력에 따라 상기 기준 좌표가 변경되면, 상기 3차원 영상과 정합하여 표시되는 상기 제 2 영상을 변경된 기준 좌표에 대응하여 갱신할 수 있다.According to an exemplary embodiment, further comprising an input unit for receiving a user input for setting the reference coordinates, the processor, when the reference coordinates are changed according to the user input, the three-dimensional image is matched and displayed The second image may be updated to correspond to the changed reference coordinates.
본 개시의 기술적 사상에 의한 실시예들에 따른 병변 판독 장치 및 이를 위한 장치에 따르면, 신경망 네트워크를 이용하여 흉부 CT 영상 등으로부터 폐 영역 및 병변 영역을 빠르고 정확하게 검출하고, 3차원 영상으로 보다 직관적으로 병변 판독 결과를 제공할 수 있다.According to an apparatus for reading a lesion and an apparatus therefor according to embodiments according to the technical spirit of the present disclosure, a lung area and a lesion area are quickly and accurately detected from a chest CT image using a neural network, and more intuitively with a three-dimensional image A lesion reading result can be provided.
본 개시의 기술적 사상에 따른 병변 판독 장치 및 이를 위한 장치가 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The lesion reading device according to the technical spirit of the present disclosure and the effect obtainable by the device for the same are not limited to the above-mentioned effects, and other effects not mentioned are common in the art to which the present disclosure belongs from the description below. It can be clearly understood by those with knowledge.
본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 실시예에 따른 병변 판독 방법을 설명하기 위한 흐름도이다.
도 2는 본 개시의 실시예에 따른 병변 판독 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 실시예에 따른 병변 판독 방법에 있어서 네트워크 함수의 동작을 예시적으로 도시한다.
도 4는 본 개시의 실시예에 따른 병변 판독 방법을 통해 생성된 3차원 영상을 예시적으로 도시한다.
도 5 및 도 6은 본 개시의 실시예에 따른 병변 판독 방법을 통해 생성된 3차원 영상과 이에 정합하여 표시되는 2차원 영상을 예시적으로 도시한다.
도 7은 본 개시의 실시예에 따른 병변 판독 장치의 구성을 간략히 도시한 블록도이다.In order to more fully understand the drawings cited in this disclosure, a brief description of each drawing is provided.
1 is a flowchart illustrating a lesion reading method according to an embodiment of the present disclosure.
2 is a flowchart illustrating a lesion reading method according to an embodiment of the present disclosure.
3 exemplarily illustrates the operation of a network function in a lesion reading method according to an embodiment of the present disclosure.
4 exemplarily illustrates a 3D image generated through the lesion reading method according to an embodiment of the present disclosure.
5 and 6 exemplarily show a 3D image generated through the lesion reading method according to an embodiment of the present disclosure and a 2D image displayed by matching the 3D image.
7 is a block diagram schematically illustrating a configuration of a lesion reading apparatus according to an embodiment of the present disclosure.
본 개시의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 개시의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the technical spirit of the present disclosure may have various changes and may have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technical spirit of the present disclosure to specific embodiments, and it should be understood to include all changes, equivalents or substitutes included in the scope of the technical spirit of the present disclosure.
본 개시의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 개시의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the technical idea of the present disclosure, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present disclosure are only identification symbols for distinguishing one component from other components.
또한, 본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in the present disclosure, when a component is referred to as “connected” or “connected” with another component, the one component may be directly connected or directly connected to the other component, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle.
또한, 본 개시에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as "~ unit", "~ group", "~ character", and "~ module" described in the present disclosure mean a unit that processes at least one function or operation, which is a processor, a micro Processor (Micro Processor), Micro Controller (Micro Controller), CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerate Processor Unit), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) may be implemented as hardware or software, or a combination of hardware and software.
그리고 본 개시에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, it is intended to clarify that the classification of the constituent units in the present disclosure is merely a division for each main function that each constituent unit is responsible for. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to the main function it is responsible for. Of course, it may be carried out by being dedicated to it.
이하, 본 개시의 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail in turn.
본 명세서에 걸쳐, 네트워크 함수는 신경망 네트워크 및/또는 뉴럴 네트워크(neural network)와 동일한 의미로 사용될 수 있다. 여기서, 뉴럴 네트워크(신경망)는 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있고, 이러한 노드들은 뉴런으로 지칭될 수 있다. 뉴럴 네트워크는 일반적으로 복수의 노드들을 포함하여 구성된다. 뉴럴 네트워크를 구성하는 노드들은 하나 이상의 링크에 의해 상호 연결될 수 있다.Throughout this specification, a network function may be used synonymously with a neural network and/or a neural network. Here, a neural network (neural network) may be generally composed of a set of interconnected computational units that may be referred to as nodes, and these nodes may be referred to as neurons. A neural network is generally configured to include a plurality of nodes. Nodes constituting the neural network may be interconnected by one or more links.
뉴럴 네트워크를 구성하는 노드들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은 n 레이어를 구성할 수 있다.Some of the nodes constituting the neural network may configure one layer based on distances from the initial input node. For example, a set of nodes having a distance of n from the initial input node may constitute n layers.
본 명세서에서 설명하는 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함할 수 있다The neural network described herein may include a deep neural network (DNN) including a plurality of hidden layers in addition to an input layer and an output layer.
도 1은 본 개시의 실시예에 따른 병변 판독 방법을 설명하기 위한 흐름도이다.1 is a flowchart illustrating a lesion reading method according to an embodiment of the present disclosure.
본 개시의 실시예에 따른 병변 판독 방법(100)은 연산 능력을 구비한 개인용 컴퓨터(Personal Computer), 워크스테이션(work station), 서버용 컴퓨터 장치 등에서 수행되거나 이를 위한 별도의 장치에서 수행될 수 있다.The
또한, 병변 판독 방법(100)은 하나 이상의 연산 장치들에서 수행될 수도 있다. 예를 들어, 본 개시의 일 실시예에 따른 병변 판독 방법(100) 중 적어도 하나 이상의 단계들은 클라이언트 디바이스에서, 다른 단계들은 서버 디바이스에서 수행될 수 있다. 이러한 경우, 클라이언트 디바이스와 서버 디바이스는 네트워크로 연결되어 연산 결과를 송수신할 수 있다. 또는, 병변 판독 방법(100)은 분산 컴퓨팅 기술에 의해 수행될 수도 있다.Also, the
S110 단계에서, 병변 판독 장치는 흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득할 수 있다. 예를 들어, 영상군은 대상자의 흉부 CT(Computed Tomography) 촬영 영상일 수 있다. 즉, 영상군을 구성하는 복수의 2차원 영상은 컴퓨터 단층 촬영 방법을 통해 폐를 포함하는 흉부의 단면을 일 방향으로 연속하여 촬영한 복수의 슬라이스일 수 있다. 이러한 2차원 영상을 적층함으로써, 흉부에 대한 3차원 영상 정보를 획득할 수 있게 된다.In step S110 , the lesion reading apparatus may acquire an image group including a plurality of 2D images generated in response to a continuous volume of the chest. For example, the image group may be a computed tomography (CT) image of the subject's chest. That is, the plurality of 2D images constituting the image group may be a plurality of slices obtained by continuously photographing a cross-section of the chest including the lungs in one direction through the computed tomography method. By stacking these two-dimensional images, it is possible to obtain three-dimensional image information about the chest.
S120 단계에서, 병변 판독 장치는 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 2차원 영상으로부터 폐 영역을 추출하고, 폐 영역을 복수의 로브 영역(lobe region)으로 분할한 제 1 영상 정보를 생성할 수 있다. 제 1 네트워크 함수는 학습 데이터(예를 들어, 전문가 등에 의해 폐 영역 추출 및 로브 영역 분할이 수행된 흉부 CT 영상)를 통해 사전에 폐 영역 추출 및 로브 영역의 분할에 대한 학습이 수행된 것일 수 있다.In step S120, the lesion reading apparatus inputs the image group to the learned first network function to extract a lung region from each 2D image, and first image information obtained by dividing the lung region into a plurality of lobe regions can create The first network function may be one in which learning of lung region extraction and lobe region segmentation has been performed in advance through learning data (eg, a chest CT image on which lung region extraction and lobe region segmentation have been performed by an expert, etc.) .
실시예에서, 제 1 영상 정보는 복수의 2차원 영상에 폐 영역 및/또는 로브 영역을 마스킹한 다른 2차원 영상이거나, 폐 영역 및/또는 로브 영역에 대한 좌표 정보를 포함하는 데이터일 수 있다.In an embodiment, the first image information may be another 2D image obtained by masking the lung region and/or lobe region in a plurality of 2D images, or may be data including coordinate information for the lung region and/or lobe region.
S130 단계에서, 병변 판독 장치는 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성할 수 있다. 제 2 네트워크 함수는 학습 데이터(예를 들어, 전문가 등에 의해 병변 영역 검출이 수행된 흉부 CT 영상)를 통해 사전에 병변 영역 검출에 대한 학습이 수행된 것일 수 있다.In operation S130 , the lesion reading apparatus may generate second image information obtained by detecting a predetermined lesion region from each 2D image by inputting the image group to the learned second network function. The second network function may be one in which learning for lesion region detection has been performed in advance through learning data (eg, a chest CT image on which lesion region detection is performed by an expert, etc.).
실시예에서, 제 2 영상 정보는 복수의 2차원 영상에 병변 영역을 마스킹한 다른 2차원 영상이거나, 병변 영역에 대한 좌표 정보를 포함하는 데이터일 수 있다. In an embodiment, the second image information may be another two-dimensional image obtained by masking a lesion region on a plurality of two-dimensional images, or data including coordinate information on the lesion region.
실시예에서, 병변 영역은 바이러스 감염에 의한 폐렴 영역을 포함할 수 있다.In embodiments, the lesion region may include a region of pneumonia caused by a viral infection.
S140 단계에서, 병변 판독 장치는 제 1 영상 정보와 제 2 영상 정보를 기초로 병변 영역이 포함된 3차원 영상을 생성 및/또는 표시할 수 있다. 예를 들어, 3차원 영상은 제 1 영상 정보를 기초로 생성된 3차원 폐 영상에, 제 2 영상을 기초로 생성된 3차원의 병변 영역을 중첩하여 표시한 것일 수 있다.In operation S140 , the lesion reading apparatus may generate and/or display a 3D image including the lesion region based on the first image information and the second image information. For example, the 3D image may be displayed by superimposing a 3D lesion area generated based on the second image on a 3D lung image generated based on the first image information.
실시예에서, 3차원 영상에는 분할된 복수의 로브 영역(lobe region)에 대한 정보를 포함할 수 있다. 예를 들어, S120 단계에서 분할된 로브 영역에 대응하는 복수의 3차원 로브 영역이 3차원 영상에 상이한 색상 등을 통해 표시될 수 있다.In an embodiment, the 3D image may include information on a plurality of divided lobe regions. For example, a plurality of 3D lobe regions corresponding to the lobe regions divided in step S120 may be displayed in a 3D image using different colors.
한편, 도시되어 있지 않지만, 방법(100)은 3차원 로브 영역 각각에 대하여 병변 영역의 비율을 산출하는 단계를 더 포함할 수 있다. 이러한 비율은, 특정 바이러스에 기초한 폐렴 등의 병변이 폐의 어느 부위에 집중이 되는지, 중증 정도에 따라 병변이 집중되는 부위가 어디인지, 환자의 신체적 특징 등에 따라 병변이 집중되는 부위가 어디인지 등을 판단 또는 추정하기 위한 통계적 데이터로 활용이 가능하다.Meanwhile, although not shown, the
도 2는 본 개시의 실시예에 따른 병변 판독 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a lesion reading method according to an embodiment of the present disclosure.
도 2의 방법(200)은 도 1의 방법(100)에 추가하여 S210 단계 내지 S240 단계를 더 포함할 수 있다.The
S210 단계에서, 병변 판독 장치는 제 1 영상 정보 및 제 2 영상 정보 중 적어도 하나를 기초로 복수의 2차원 영상에 대응하는 복수의 제 2 영상을 생성할 수 있다.In operation S210 , the lesion reading apparatus may generate a plurality of second images corresponding to the plurality of 2D images based on at least one of the first image information and the second image information.
예를 들어, 제 2 영상은 2차원 영상 각각에 대하여 폐 영역 및/또는 로브 영역을 표시한 영상이거나, 병변 영역을 표시한 영상일 수 있다. 또한, 예를 들어, 제 2 영상은 2차원 영상 각각에 대하여, 폐 영역(및/또는 로브 영역)과 병변 영역을 모두 표시한 영상일 수 있다.For example, the second image may be an image in which a lung region and/or a lobe region is displayed on each of the 2D images, or an image in which a lesion region is displayed. Also, for example, the second image may be an image in which both a lung region (and/or a lobe region) and a lesion region are displayed with respect to each of the two-dimensional images.
S220 단계에서, 병변 판독 장치는 기준 좌표의 설정을 위한 사용자 입력을 수신할 수 있다. 기준 좌표는 3차원 영상과 정합하여 표시될 2차원의 제 2 영상을 선택하기 위한 기준이 되는 것으로서, 생성된 3차원 영상이 맵핑되는 3차원 좌표 공간 상의 수직 좌표 값일 수 있다.In step S220 , the lesion reading apparatus may receive a user input for setting reference coordinates. The reference coordinate serves as a reference for selecting a two-dimensional second image to be displayed by matching with the three-dimensional image, and may be a vertical coordinate value in a three-dimensional coordinate space to which the generated three-dimensional image is mapped.
예를 들어, 사용자 입력은 디스플레이 장치에 표시된 3차원 영상의 일 영역을 클릭하거나, 스크롤하는 등의 입력일 수 있다.For example, the user input may be an input such as clicking or scrolling an area of a 3D image displayed on the display device.
실시예에서, 병변 판독 장치는 기준 좌표에 대한 사용자 입력이 수신되기 전에는 병변 판독 장치는 디폴트 값으로 설정된 기준 좌표에 대응하는 제 2 영상을 3차원 영상과 정합하여 표시하도록 설정될 수 있다.In an embodiment, the lesion reading apparatus may be set to match and display the second image corresponding to the reference coordinate set as a default value with the 3D image before a user input for the reference coordinate is received.
S230 단계에서, 병변 판독 장치는 기준 좌표에 대응하는 제 2 영상을 검색할 수 있다.In step S230, the lesion reading apparatus may search for a second image corresponding to the reference coordinates.
예를 들어, 3차원 영상은 입력된 영상군에 포함된 2차원 영상으로부터 획득된 제 1 영상 정보와 제 2 영상 정보를 수직 방향으로 적층하여 소정의 3차원 좌표 공간에 생성된 것일 수 있으며, 3차원 영상의 수직 좌표 중 하나에 대응하는 기준 좌표가 입력되면, 병변 판독 장치는 복수의 제 2 영상 중에서 해당 위치에 대응하는 제 2 영상을 검색할 수 있다.For example, the 3D image may be generated in a predetermined 3D coordinate space by vertically stacking first image information and second image information obtained from 2D images included in an input image group, 3 When the reference coordinate corresponding to one of the vertical coordinates of the dimensional image is input, the lesion reading apparatus may search for a second image corresponding to the corresponding position from among the plurality of second images.
S240 단계에서, 병변 판독 장치는 검색된 제 2 영상을 기준 좌표를 기초로 3차원 영상에 정합하여 표시할 수 있다.In step S240 , the lesion reading apparatus may display the searched second image by matching it with the 3D image based on the reference coordinates.
예를 들어, 병변 판독 장치는 검색된 제 2 영상을 3차원 공간의 수직 좌표 축에 수직되도록 배치하고, 제 2 영상의 폐 영역을 3차원 영상(폐 영상)의 수평 단면과 정합하여 표시할 수 있다.For example, the lesion reading apparatus may arrange the retrieved second image to be perpendicular to the vertical coordinate axis of the three-dimensional space, and display the lung region of the second image by matching the horizontal section of the three-dimensional image (lung image). .
한편, 사용자 입력에 의해 기준 좌표가 변경되면, 병변 판독 장치는 제 2 영상을 갱신하여 표시할 수 있다. 즉, 병변 판독 장치는 변경된 기준 좌표에 대응하는 새로운 제 2 영상을 검색하고, 이를 3차원 영상과 정합하여 다시 표시할 수 있다.Meanwhile, when the reference coordinates are changed by the user input, the lesion reading apparatus may update and display the second image. That is, the lesion reading apparatus may search for a new second image corresponding to the changed reference coordinates, match it with the 3D image, and display it again.
도 3은 본 개시의 실시예에 따른 병변 판독 방법에 있어서 네트워크 함수의 동작을 예시적으로 도시한다.3 exemplarily illustrates an operation of a network function in a lesion reading method according to an embodiment of the present disclosure.
도 3을 참조하면, 복수의 2차원 단층 영상을 포함하는 흉부 CT 영상(10)이 학습된 제 1 네트워크 함수(310)와 제 2 네트워크 함수(320)에 각각 입력될 수 있다.Referring to FIG. 3 , a
이에 따라, 제 1 네트워크 함수(310)는 입력된 복수의 2차원 단층 영상 각각으로부터 폐 영역을 추출하거나, 이에 더하여, 폐 영역을 복수의 로브 영역으로 분리하고, 추출 및/또는 분리된 영역을 2차원 단층 영상에 각각 마스킹함으로써 제 1 영상 정보(20)를 생성할 수 있다.Accordingly, the
한편, 제 2 네트워크 함수(320)는 입력된 복수의 2차원 단층 영상 각각으로부터 폐렴에 해당하는 병변 영역을 검출하고, 검출된 병변 영역을 2차원 단층 영상에 각각 마스킹함으로써 제 2 영상 정보(30)를 생성할 수 있다.On the other hand, the
도 4는 본 개시의 실시예에 따른 병변 판독 방법을 통해 생성된 3차원 영상을 예시적으로 도시한다.4 exemplarily illustrates a 3D image generated through the lesion reading method according to an embodiment of the present disclosure.
도 4를 참조하면, 제 1 네트워크 함수와 제 2 네트워크 함수에 의해 각각 생성된 제 1 영상 정보와 제 2 영상 정보를 기초로 병변 판독 장치는 3차원의 폐 영상을 생성할 수 있다.Referring to FIG. 4 , the lesion reading apparatus may generate a three-dimensional lung image based on the first image information and the second image information generated by the first network function and the second network function, respectively.
실시예에서, 3차원 폐 영상은, 도 4의 (a)에서 도시되는 바와 같이, 5개의 3차원 로브 영역(410)과 해당 영역 각각에 분포된 3차원의 병변 영역(420)을 포함할 수 있다.In an embodiment, the three-dimensional lung image may include five three-
또한, 실시예에서, 3차원 폐 영상은, 로브 영역의 구분 없이 전체의 폐 영역에 분포된 3차원의 병변 영역(420)을 포함할 수 있다.Also, in an embodiment, the 3D lung image may include the
도 5 및 도 6은 본 개시의 실시예에 따른 병변 판독 방법을 통해 생성된 3차원 영상과 이에 정합하여 표시되는 2차원 영상을 예시적으로 도시한다.5 and 6 exemplarily show a 3D image generated through the lesion reading method according to an embodiment of the present disclosure and a 2D image displayed by matching the 3D image.
먼저, 도 5를 참조하면, 병변 판독 장치는 제 1 영상 정보 및/또는 제 2 영상 정보를 기초로 각각의 2차원 단층 영상에 대응하는 복수의 제 2 영상을 생성하고, 이들 중 하나를 3차원 폐 영상과 정합하여 표시할 수 있다. 여기서, 각각의 제 2 영상은 폐 영역, 로브 영역 및/또는 병변 영역에 대한 정보를 포함할 수 있다.First, referring to FIG. 5 , the lesion reading apparatus generates a plurality of second images corresponding to each two-dimensional tomography image based on the first image information and/or the second image information, and converts one of them into a three-dimensional It can be displayed by matching with the lung image. Here, each second image may include information on a lung region, a lobe region, and/or a lesion region.
도시되는 바와 같이, 사용자가 입력한 또는 디폴트 값으로 설정된 기준 좌표에 대응하는 제 2 영상을 선택하고, 3차원 폐 영상이 수직 좌표축과 수직되도록 수평 방향으로 제 2 영상을 배치하되, 제 2 영상의 폐 영역이 3차원 폐 영상이 수평 단면과 정합되도록 표시될 수 있다.As shown, a second image corresponding to a reference coordinate input by the user or set as a default value is selected, and the second image is arranged in a horizontal direction so that the three-dimensional lung image is perpendicular to the vertical coordinate axis, but The lung region may be displayed so that the 3D lung image is matched with the horizontal section.
한편, 사용자가 기준 좌표를 변경하는 소정의 사용자 입력을 수행하면, 도 6에서 도시되는 바와 같이, 제 2 영상이 갱신되어 표시될 수 있다.Meanwhile, when the user performs a predetermined user input for changing the reference coordinates, as shown in FIG. 6 , the second image may be updated and displayed.
예를 들어, 사용자가 3차원 폐 영상이 표시된 영역 또는 그 주변 영역을 상측으로 스크롤하면, 기준 좌표가 증가하면서, 이에 대응하는 제 2 영상이 순차적으로 검출되고, 검출된 제 2 영상이 수직 방향으로 보다 상측으로 이동하면서 3차원 폐 영상과 정합하여 표시될 수 있다.For example, when a user scrolls upwardly in a region on which a 3D lung image is displayed or a region around it, a second image corresponding thereto is sequentially detected while the reference coordinates increase, and the detected second image is displayed in a vertical direction. It can be displayed while moving upwards while matching the 3D lung image.
도 7은 본 개시의 실시예에 따른 병변 판독 장치의 구성을 간략히 도시한 블록도이다.7 is a block diagram schematically illustrating a configuration of a lesion reading apparatus according to an embodiment of the present disclosure.
통신부(710)는 병변을 판독하기 위한 입력 데이터(흉부 CT 영상 등)를 수신할 수 있다. 통신부(710)는 유무선 통신부를 포함할 수 있다. 통신부(710)가 유선 통신부를 포함하는 경우, 통신부(710)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(710)가 무선 통신부를 포함하는 경우, 통신부(710)는 셀룰러 통신, 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다. 일 실시예에서, 통신부는 프로세서(740)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다.The communication unit 710 may receive input data (such as a chest CT image) for reading the lesion. The communication unit 710 may include a wired/wireless communication unit. When the communication unit 710 includes a wired communication unit, the communication unit 710 is a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile communication network ( It may include one or more components that allow communication through a mobile radio communication network), a satellite communication network, and a combination thereof. In addition, when the communication unit 710 includes a wireless communication unit, the communication unit 710 wirelessly transmits and receives data or signals using cellular communication or a wireless LAN (eg, Wi-Fi). can In an embodiment, the communication unit may transmit/receive data or signals to and from an external device or an external server under the control of the processor 740 .
입력부(720)는 외부의 조작을 통해 다양한 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 하나 이상의 입력 장치를 포함하거나 연결할 수 있다. 예를 들어, 입력부(720)는 키패드, 마우스 등 다양한 입력을 위한 인터페이스와 연결되어 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 USB 포트 뿐만 아니라 선더볼트 등의 인터페이스를 포함할 수도 있다. 또한, 입력부(720)는 터치스크린, 버튼 등의 다양한 입력 장치를 포함하거나 이들과 결합하여 외부의 사용자 명령을 수신할 수 있다.The input unit 720 may receive various user commands through external manipulation. To this end, the input unit 720 may include or connect one or more input devices. For example, the input unit 720 may be connected to an interface for various inputs, such as a keypad and a mouse, to receive a user command. To this end, the input unit 720 may include an interface such as a Thunderbolt as well as a USB port. Also, the input unit 720 may include or combine various input devices such as a touch screen and a button to receive an external user command.
메모리(730)는 프로세서(740)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 또는 영구 저장할 수 있다. 메모리(730)는 플래시 메모리(flash memory) 타입, 하드디스크(hard disk) 타입, 멀티미디어 카드 마이크로(multimedia card micro) 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 730 may store a program for the operation of the processor 740 and may temporarily or permanently store input/output data. The memory 730 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), a RAM (RAM). , SRAM, ROM, EEPROM, PROM, magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
또한, 메모리(730)는 다양한 네트워크 함수 및 알고리즘을 저장할 수 있으며, 장치(700)를 구동하고 제어하기 위한 다양한 데이터, 프로그램(하나 이상이 인스트럭션들), 어플리케이션, 소프트웨어, 명령, 코드 등을 저장할 수 있다.In addition, the memory 730 may store various network functions and algorithms, and may store various data, programs (one or more instructions), applications, software, commands, codes, etc. for driving and controlling the
프로세서(740)는 장치(700)의 전반적인 동작을 제어할 수 있다. 프로세서(740)는 메모리(730)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(740)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU) 또는 본 개시의 기술적 사상에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.The processor 740 may control the overall operation of the
일 실시예에서, 프로세서(740)는 흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득하고, 상기 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 폐 영역을 추출한 제 1 영상 정보를 생성하며, 상기 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성하고, 상기 제 1 영상 정보와 상기 제 2 영상 정보를 기초로 상기 병변 영역이 포함된 3차원 영상을 생성할 수 있다.In one embodiment, the processor 740 obtains an image group including a plurality of two-dimensional images generated corresponding to a continuous volume of the chest, and inputs the image group to a learned first network function to each A first image information obtained by extracting a lung region from a two-dimensional image is generated, and the image group is input to a learned second network function to generate second image information obtained by detecting a predetermined lesion region from each of the two-dimensional images, , a 3D image including the lesion region may be generated based on the first image information and the second image information.
일 실시예에 따른 병변 판독 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The lesion reading method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present disclosure, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
또한, 개시된 실시예들에 따른 병변 판독 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.In addition, the lesion reading method according to the disclosed embodiments may be provided as included in a computer program product. Computer program products may be traded between sellers and buyers as commodities.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.The computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored. For example, computer program products may include products (eg, downloadable apps) in the form of S/W programs distributed electronically through manufacturers of electronic devices or electronic markets (eg, Google Play Store, App Store). have. For electronic distribution, at least a portion of the S/W program may be stored in a storage medium or may be temporarily generated. In this case, the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제 3 장치로 전송되거나, 제 3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.The computer program product, in a system consisting of a server and a client device, may include a storage medium of the server or a storage medium of the client device. Alternatively, when there is a third device (eg, a smart phone) that is communicatively connected to the server or the client device, the computer program product may include a storage medium of the third device. Alternatively, the computer program product may include the S/W program itself transmitted from the server to the client device or a third device, or transmitted from the third device to the client device.
이 경우, 서버, 클라이언트 장치 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.In this case, one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments. Alternatively, two or more of a server, a client device, and a third device may execute a computer program product to distribute the method according to the disclosed embodiments.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.For example, a server (eg, a cloud server or an artificial intelligence server) may execute a computer program product stored in the server to control a client device communicatively connected with the server to perform the method according to the disclosed embodiments.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present disclosure is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present disclosure as defined in the following claims are also included in the scope of the present disclosure. belongs to
Claims (11)
흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득하는 단계;
상기 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 폐 영역을 추출한 제 1 영상 정보를 생성하는 단계;
상기 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성하는 단계; 및
상기 제 1 영상 정보와 상기 제 2 영상 정보를 기초로 상기 병변 영역이 포함된 3차원 영상을 생성하는 단계를 포함하는, 방법.In the lesion reading method,
acquiring an image group including a plurality of two-dimensional images generated corresponding to a continuous volume of the chest;
generating first image information obtained by extracting a lung region from each of the two-dimensional images by inputting the image group into a learned first network function;
generating second image information obtained by detecting a predetermined lesion region from each of the two-dimensional images by inputting the image group into a learned second network function; and
and generating a 3D image including the lesion region based on the first image information and the second image information.
상기 제 1 영상 정보를 생성하는 단계는,
상기 제 1 네트워크 함수를 통해, 상기 2차원 영상으로부터 추출된 상기 폐 영역을 복수의 로브 영역(lobe region)으로 분할하는 단계를 포함하고,
상기 제 1 영상 정보는 분할된 상기 복수의 로브 영역에 관한 정보를 포함하는, 방법.The method of claim 1,
The step of generating the first image information includes:
and dividing the lung region extracted from the two-dimensional image into a plurality of lobe regions through the first network function,
The method of claim 1, wherein the first image information includes information about the segmented plurality of lobe regions.
상기 3차원 영상은 분할된 상기 복수의 로브 영역에 대응하는 3차원 로브 영역을 포함하고,
상기 방법은,
각각의 상기 3차원 로브 영역에 대하여 병변 영역의 비율을 산출하는 단계를 더 포함하는, 방법.3. The method of claim 2,
The three-dimensional image includes a three-dimensional lobe region corresponding to the plurality of divided lobe regions,
The method is
The method further comprising calculating a ratio of lesion area to each said three-dimensional lobe area.
상기 제 1 영상 정보 및 상기 제 2 영상 정보 중 적어도 하나를 기초로 상기 복수의 2차원 영상에 각각 대응하는 복수의 제 2 영상을 생성하는 단계 - 상기 제 2 영상에는 추출된 상기 폐 영역 및 검출된 상기 병변 영역 중 적어도 하나에 관한 정보가 포함됨 - ;
상기 3차원 영상의 수직 좌표 중 소정의 기준 좌표에 대응하는 상기 제 2 영상을 검색하는 단계; 및
상기 기준 좌표를 기초로 검색된 상기 제 2 영상을 상기 3차원 영상과 정합하여 표시하는 단계를 더 포함하는, 방법.3. The method of claim 2,
generating a plurality of second images respectively corresponding to the plurality of 2D images based on at least one of the first image information and the second image information - The second image includes the extracted lung region and the detected information regarding at least one of the lesion areas is included;
searching for the second image corresponding to a predetermined reference coordinate among vertical coordinates of the 3D image; and
The method further comprising the step of matching and displaying the second image searched for based on the reference coordinates with the 3D image.
상기 기준 좌표를 설정하기 위한 사용자 입력을 수신하는 단계; 및
상기 사용자 입력에 따라 상기 기준 좌표가 변경되면, 상기 3차원 영상과 정합하여 표시되는 상기 제 2 영상을 변경된 기준 좌표에 대응하여 갱신하는 단계를 더 포함하는, 방법.5. The method of claim 4,
receiving a user input for setting the reference coordinates; and
When the reference coordinates are changed according to the user input, the method further comprising: updating the second image displayed by matching with the 3D image in response to the changed reference coordinates.
병변 판독을 위한 프로그램을 저장하는 메모리; 및
상기 프로그램을 실행함으로써, 흉부의 연속적인 부피에 대응하여 생성된 복수의 2차원 영상을 포함하는 영상군을 획득하고, 상기 영상군을 학습된 제 1 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 폐 영역을 추출한 제 1 영상 정보를 생성하며, 상기 영상군을 학습된 제 2 네트워크 함수에 입력하여 각각의 상기 2차원 영상으로부터 소정의 병변 영역을 검출한 제 2 영상 정보를 생성하고, 상기 제 1 영상 정보와 상기 제 2 영상 정보를 기초로 상기 병변 영역이 포함된 3차원 영상을 생성하는 적어도 하나의 프로세서를 포함하는, 장치.In the lesion reading device,
a memory storing a program for lesion reading; and
By executing the program, an image group including a plurality of two-dimensional images generated corresponding to a continuous volume of the chest is obtained, and the image group is inputted into a learned first network function and from each of the two-dimensional images. Generates first image information extracted from a lung region, inputs the image group to a learned second network function to generate second image information for detecting a predetermined lesion region from each of the two-dimensional images, and At least one processor for generating a 3D image including the lesion region based on image information and the second image information.
상기 프로세서는, 상기 제 1 네트워크 함수를 통해, 상기 2차원 영상으로부터 추출된 상기 폐 영역을 복수의 로브 영역(lobe region)으로 분할하고,
상기 제 1 영상 정보는 분할된 상기 복수의 로브 영역에 관한 정보를 포함하는, 장치.7. The method of claim 6,
The processor divides the lung region extracted from the 2D image into a plurality of lobe regions through the first network function,
The first image information includes information about the divided plurality of lobe regions.
상기 3차원 영상은 분할된 상기 복수의 로브 영역에 대응하는 3차원 로브 영역을 포함하고,
상기 프로세서는, 각각의 상기 3차원 로브 영역에 대하여 병변 영역의 비율을 산출하는, 장치.8. The method of claim 7,
The three-dimensional image includes a three-dimensional lobe region corresponding to the plurality of divided lobe regions,
wherein the processor calculates a ratio of a lesion area to each of the three-dimensional lobe areas.
상기 프로세서는, 상기 제 1 영상 정보 및 상기 제 2 영상 정보 중 적어도 하나를 기초로 상기 복수의 2차원 영상에 각각 대응하는 복수의 제 2 영상을 생성하고, 상기 3차원 영상의 수직 좌표 중 소정의 기준 좌표에 대응하는 상기 제 2 영상을 검색하며, 상기 기준 좌표를 기초로 검색된 상기 제 2 영상을 상기 3차원 영상과 정합하여 표시하고,
생성된 상기 제 2 영상에는 추출된 상기 폐 영역 및 검출된 상기 병변 영역 중 적어도 하나에 관한 정보가 포함되는, 장치.8. The method of claim 7,
The processor generates a plurality of second images respectively corresponding to the plurality of 2D images based on at least one of the first image information and the second image information, and generates a predetermined number of vertical coordinates of the 3D image. Searching for the second image corresponding to the reference coordinates, matching the second image searched for based on the reference coordinates with the 3D image, and displaying;
The generated second image includes information on at least one of the extracted lung region and the detected lesion region.
상기 기준 좌표를 설정하기 위한 사용자 입력을 수신하는 입력부를 더 포함하고,
상기 프로세서는, 상기 사용자 입력에 따라 상기 기준 좌표가 변경되면, 상기 3차원 영상과 정합하여 표시되는 상기 제 2 영상을 변경된 기준 좌표에 대응하여 갱신하는, 장치.10. The method of claim 9,
Further comprising an input unit for receiving a user input for setting the reference coordinates,
When the reference coordinates are changed according to the user input, the processor updates the second image displayed by matching the 3D image to correspond to the changed reference coordinates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220022774A KR20220097859A (en) | 2020-12-30 | 2022-02-22 | Method and apparatus for distinguishing lesion |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200187884A KR102367984B1 (en) | 2020-12-30 | 2020-12-30 | Method and apparatus for distinguishing lesion |
| KR1020220022774A KR20220097859A (en) | 2020-12-30 | 2022-02-22 | Method and apparatus for distinguishing lesion |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200187884A Division KR102367984B1 (en) | 2020-12-30 | 2020-12-30 | Method and apparatus for distinguishing lesion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220097859A true KR20220097859A (en) | 2022-07-08 |
Family
ID=80818639
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200187884A KR102367984B1 (en) | 2020-12-30 | 2020-12-30 | Method and apparatus for distinguishing lesion |
| KR1020220022774A KR20220097859A (en) | 2020-12-30 | 2022-02-22 | Method and apparatus for distinguishing lesion |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200187884A KR102367984B1 (en) | 2020-12-30 | 2020-12-30 | Method and apparatus for distinguishing lesion |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR102367984B1 (en) |
| WO (1) | WO2022145841A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102501816B1 (en) * | 2022-05-23 | 2023-02-22 | 주식회사 피맥스 | A method for providing an automatic lung organ analysis service using artificial intelligence based on a patient's personalized index |
| KR102501815B1 (en) * | 2022-05-23 | 2023-02-22 | 주식회사 피맥스 | Method and apparatus for automatically analyzing a lung organ using artificial intelligence |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010063514A (en) * | 2008-09-09 | 2010-03-25 | Konica Minolta Medical & Graphic Inc | Medical diagnostic imaging supporting apparatus, medical diagnostic imaging supporting method, and program |
| US8989472B2 (en) * | 2013-02-13 | 2015-03-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for simulating thoracic 4DCT |
| KR101767069B1 (en) * | 2015-12-03 | 2017-08-11 | 서울여자대학교 산학협력단 | Method and apparatus for tumor tracking during radiation treatment using image registration and tumor matching between planning 4d mdct and treatment 4d cbct |
| KR102152385B1 (en) * | 2019-08-08 | 2020-09-04 | 주식회사 딥노이드 | Apparatus and method for detecting singularity |
| KR102132566B1 (en) * | 2019-10-24 | 2020-07-10 | 주식회사 딥노이드 | Apparatus and method for distinguishing lesion |
-
2020
- 2020-12-30 KR KR1020200187884A patent/KR102367984B1/en active IP Right Grant
-
2021
- 2021-12-20 WO PCT/KR2021/019376 patent/WO2022145841A1/en active Application Filing
-
2022
- 2022-02-22 KR KR1020220022774A patent/KR20220097859A/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022145841A1 (en) | 2022-07-07 |
| KR102367984B1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452957B2 (en) | Image classification apparatus, method, and program | |
| US10980493B2 (en) | Medical image display device, method, and program | |
| US10734107B2 (en) | Image search device, image search method, and image search program | |
| US20200226752A1 (en) | Apparatus and method for processing medical image | |
| KR20220097859A (en) | Method and apparatus for distinguishing lesion | |
| JP6824845B2 (en) | Image processing systems, equipment, methods and programs | |
| KR20190046471A (en) | Method for processing of medical image and medical image processing apparatus thereof | |
| KR102427709B1 (en) | Multi-modality medical images analysis method and apparatus for diagnosing brain disease | |
| US20120220855A1 (en) | Method and System for MR Scan Range Planning | |
| KR20220143187A (en) | Method and apparatus for automatically extracting emphysema using deep learning | |
| KR102454374B1 (en) | Method for detecting pleurl effusion and apparatus therof | |
| KR102325970B1 (en) | Method and apparatus for calculating fat mass using images of head and neck | |
| EP4296945A1 (en) | Labeling method and computing device therefor | |
| CN116309346A (en) | Medical image detection method, device, equipment, storage medium and program product | |
| KR20220143188A (en) | Method and apparatus for matching coronal projection image with one or more lung x-ray images | |
| KR20220143186A (en) | Method for determining pleural effusion and increasing accuracy of automatic extraction of lungs with pleural effusion | |
| KR20220143189A (en) | Method and apparatus for reading idiopathic pulmonary fibrosis and severity thereof | |
| KR20220142570A (en) | Method and apparatus for automatically extracting lung and segmenting lung regions | |
| KR20230049938A (en) | Method and apparatus for quantitative analysis of emphysema | |
| KR20220143190A (en) | Method of displaying related data of training results based on a plurality of medical images | |
| KR20220143185A (en) | Method and apparatus for automatically segmenting ground-glass opacity and consolidation region using deep learning | |
| US20210256741A1 (en) | Region correction apparatus, region correction method, and region correction program | |
| KR102444581B1 (en) | Method and apparatus for detecting diaphragm from chest image | |
| KR102325963B1 (en) | Method and apparatus for providing information for diagnosing lymph node metastasis thyroid cancer | |
| KR102525396B1 (en) | Method and apparatus for analyzing medical image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |