KR102270669B1 - An image receiving device that calculates an image including a plurality of lesions using artificial intelligence - Google Patents

An image receiving device that calculates an image including a plurality of lesions using artificial intelligence Download PDF

Info

Publication number
KR102270669B1
KR102270669B1 KR1020200161840A KR20200161840A KR102270669B1 KR 102270669 B1 KR102270669 B1 KR 102270669B1 KR 1020200161840 A KR1020200161840 A KR 1020200161840A KR 20200161840 A KR20200161840 A KR 20200161840A KR 102270669 B1 KR102270669 B1 KR 102270669B1
Authority
KR
South Korea
Prior art keywords
lesion
image
neural network
processing
receiving device
Prior art date
Application number
KR1020200161840A
Other languages
Korean (ko)
Other versions
KR102270669B9 (en
Inventor
김경남
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200161840A priority Critical patent/KR102270669B1/en
Application granted granted Critical
Publication of KR102270669B1 publication Critical patent/KR102270669B1/en
Publication of KR102270669B9 publication Critical patent/KR102270669B9/en

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

An image receiving device for detecting a lesion according to an embodiment may comprise: a communication part that receives an image frame comprising a plurality of lesion areas from a medical imaging device; a control part that performs preprocessing on the image frame to obtain a preprocessed image corresponding to each of the plurality of lesion areas, and performs post-processing on the result values by performing a calculation using a plurality of implemented neural network models to output the result values for detecting the lesion for each of the preprocessed images; and a display part for outputting the results of the post-processing to be overlapped on the image frame. Therefore, the present invention is capable of allowing locations of each lesion to be checked more precisely.

Description

인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치 {An image receiving device that calculates an image including a plurality of lesions using artificial intelligence}An image receiving device that calculates an image including a plurality of lesions using artificial intelligence}

본 발명은 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치에 관한 것으로, 보다 구체적으로 복수의 병변 영역을 포함하는 영상 프레임에 대해 신경망 모델을 이용한 연산 시 다양한 종류의 신경망 모델을 통한 효율적인 처리가 가능하도록 하면서 병변의 위치를 보다 정밀하게 확인할 수 있는 방법을 제공하기 위한, 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치에 관한 것이다. The present invention relates to an image receiving apparatus for performing an operation on an image including a plurality of lesion regions using artificial intelligence, and more particularly, to an image frame including a plurality of lesion regions when performing various calculations using a neural network model. An image receiving device that performs an operation on an image including a plurality of lesion regions using artificial intelligence to provide a method for more precisely confirming the location of a lesion while enabling efficient processing through a type of neural network model is about

위에 생기는 악성 종양에는 위선암(gastric adenocarcinoma), 악성림프종(gastric lymphoma), 간질성 종양(gastrointestinal stromal tumor)등 여러 종류가 있으나 이 중 위선암이 가장 흔하다. 이때, 위암은 종양의 진행 정도에 따라, 조기 위암(early gastric cancer, EGC) 과 진행성 위암(advanced gastric cancer, AGC)으로 분류할 수 있다. There are several types of malignant tumors in the stomach, such as gastric adenocarcinoma, malignant lymphoma, and gastrointestinal stromal tumor, but of these, gastric adenocarcinoma is the most common. In this case, gastric cancer may be classified into early gastric cancer (EGC) and advanced gastric cancer (AGC) according to the degree of tumor progression.

보다 구체적으로, 조기 위암은 림프절로의 전이 유무에 관계없이 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 경우이고, 진행성 위암은 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범된 경우로 주변 장기로의 침습이 가능하다. More specifically, early gastric cancer is a case in which tumor cells have invaded the mucosal layer or submucosal layer of the stomach regardless of whether or not metastasis to the lymph nodes is present, and advanced gastric cancer is a case in which tumor cells penetrate the submucosal layer and penetrate beyond the muscle layer and invade surrounding organs. invasion is possible.

위암의 진단 방법으로는, 위 내시경 검사가 가장 중요하다. 보다 구체적으로, 의료진은 내시경 스코프(scope)를 이용하여 위암 의심 개체에 대하여 촬영된 위 내시경 영상을 판독함으로써 위암을 진단하고, 이를 기초로 병변에 따른 치료를 제공할 수 있다. 한편, 내시경 영상에 기초한 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 이러한 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다.Gastric endoscopy is the most important method for diagnosing gastric cancer. More specifically, the medical staff may diagnose gastric cancer by reading the gastroscopic image of the suspected gastric cancer object using an endoscope scope, and provide treatment according to the lesion based thereon. Meanwhile, in a diagnosis system based on an endoscopic image, there may be a deviation in diagnosis according to the skill level of a medical staff. Such deviations in diagnosis may also be related to medical accidents such as misdiagnosis, delay in treatment timing, and improper treatment.

특히, 조기 위암의 경우 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어, 의료진의 숙련도에 따른 진단의 편차가 보다 클 수 있다.In particular, in the case of early gastric cancer, the lesion site may be very small or it may be difficult to distinguish it from normal tissue, so that the diagnosis deviation according to the skill of the medical staff may be greater.

그리고, 의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부 뿐만 아니라, 병변에 대한 위치를 제공할 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.And, as the accuracy of diagnosis is more demanded for the prevention of medical accidents and improvement of medical services, the development of a new diagnostic method capable of providing the location of the lesion as well as the onset of the disease is continuously required. there is a situation.

특히, 병변이 여러 개 존재할 경우, 다양한 종류의 신경망 모델을 이용해 복수 개의 병변을 효율적이고 정확하게 예측하는 것이 필요하다.In particular, when there are several lesions, it is necessary to efficiently and accurately predict the plurality of lesions using various types of neural network models.

본 발명은 전술한 필요성에 의해 도출된 것으로 복수 개의 병변의 위치를 전반적으로 확인함과 동시에 보다 정밀하게 확인할 수 있도록 하는 데에 그 목적이 있다.The present invention has been derived from the above-mentioned necessity, and it is an object of the present invention to confirm the positions of a plurality of lesions as a whole and to confirm them more precisely at the same time.

실시예에 따른 병변을 검출하기 위한 영상 수신 장치는 의료 영상 장치로부터 복수의 병변 영역을 포함하는 영상 프레임을 수신하는 통신부, 상기 영상 프레임에 대한 전처리를 수행하여 상기 복수의 병변 영역 각각에 대응하는 전처리 이미지들을 획득하고, 상기 전처리 이미지들 각각에 대해 상기 병변을 검출하기 위해 구현된 복수의 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하며, 상기 결과값들에 대한 후처리를 수행하는 제어부; 및 상기 후처리 수행 결과들을 상기 영상 프레임 상에 오버랩하여 출력하기 위한 디스플레이부;를 포함할 수 있다.An image receiving apparatus for detecting a lesion according to an embodiment includes a communication unit configured to receive an image frame including a plurality of lesion regions from a medical imaging apparatus, and pre-processing the image frame to perform pre-processing corresponding to each of the plurality of lesion regions. a controller for obtaining images, outputting result values by performing an operation using a plurality of neural network models implemented to detect the lesion for each of the pre-processed images, and performing post-processing on the result values; and a display unit configured to overlap and output the post-processing results on the image frame.

상기 복수의 신경망 모델 각각을 이용한 상기 연산을 통해 서로 상이한 종류의 결과값들을 출력할 수 있다.Through the operation using each of the plurality of neural network models, different types of result values may be output.

상기 전처리는 전처리 모듈에 의해 수행되고 상기 후처리는 후처리 모듈에 의해 수행되며, 상기 복수의 신경망 모델 중 적어도 일부에 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 상기 연산을 수행할 수 있다.The pre-processing is performed by the pre-processing module and the post-processing is performed by the post-processing module, and the calculation may be performed using different pre-processing modules and different post-processing modules for at least some of the plurality of neural network models, respectively.

상기 복수의 신경망 모델 각각은 (a) 병변 검출 모델, (b) 상기 병변의 종류 판별 모델, (c) 상기 영상 프레임 상의 상기 병변의 위치 정보 판별 모델, (d) 상기 병변의 위치 정보에 대응하는 상기 병변과 관련된 검사 진행 여부 판별 모델, (e) 권장 검사 시간 알림 모델, 및 (f) 상기 병변 발생의 위험 알림 모델 중 어느 하나일 수 있다.Each of the plurality of neural network models corresponds to (a) a lesion detection model, (b) a type determination model of the lesion, (c) a location information determination model of the lesion on the image frame, and (d) location information of the lesion. It may be any one of a model for determining whether to proceed with the examination related to the lesion, (e) a recommended examination time notification model, and (f) a risk notification model for the occurrence of the lesion.

상기 통신부는 상기 영상 프레임을 복수 개 수신하고, 상기 제어부는 상기 (c)를 이용한 상기 연산이 수행되는 상기 복수 개의 영상 프레임의 누적 결과를 기초로 소정 시간이 경과하였는지 여부를 판단하며, 상기 판단 정보를 기초로 상기 병변의 위치 정보에 대응하는 상기 병변과 관련된 검사 진행 여부를 판별할 수 있다.The communication unit receives the plurality of image frames, and the control unit determines whether a predetermined time has elapsed based on the accumulation result of the plurality of image frames for which the operation using (c) is performed, and the determination information It is possible to determine whether to proceed with the examination related to the lesion corresponding to the location information of the lesion based on the .

상기 의료 영상 장치는 소화기관을 촬영하고, 상기 제어부는 상기 소화기관이 절개된 형상의 이미지와 함께 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 인디케이터를 생성하고, 상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 복수의 인디케이터를 출력할 수 있다.The medical imaging apparatus captures the digestive tract, and the control unit performs the calculation on each of the plurality of lesion regions together with an image of a shape in which the digestive tract is cut, and a plurality of indicators corresponding to the output results. , and the display unit may output the plurality of indicators on an image of a shape in which the digestive organs are cut.

상기 복수의 인디케이터 각각의 형태가 상이할 수 있다.Each of the plurality of indicators may have a different shape.

상기 제어부는 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 항목을 상기 디스플레이부 상에 상이한 색상들로 표시할 수 있다.The controller may display a plurality of items corresponding to the result values output by performing the operation on each of the plurality of lesion regions in different colors on the display unit.

상기 의료 영상 장치는 소화기관을 촬영하고, 상기 제어부는, 상기 복수의 항목 중, 상기 복수의 병변 영역 중 어느 하나에 대한 상기 연산이 수행되어 출력된 결과값에 대응하는 특정 항목을 상기 디스플레이부 상에 제1 색상으로 표시하고, 상기 제어부는, 상기 소화기관이 절개된 형상의 이미지와 함께 상기 결과값에 대응하는 인디케이터를 상기 제1 색상과 동일한 색상으로 생성하고, 상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 인디케이터를 표시할 수 있다.The medical imaging apparatus photographs the digestive tract, and the controller displays a specific item corresponding to a result value output by performing the operation on any one of the plurality of lesion regions among the plurality of items on the display unit. is displayed in a first color, and the control unit generates an indicator corresponding to the result value together with an image of a shape in which the digestive tract is cut in the same color as the first color, and the display unit cuts the digestive tract The indicator may be displayed on the image of the shape of the image.

상기 제어부는 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 항목 중, 상기 복수의 병변 영역 중 어느 하나에 대한 상기 연산이 수행되어 출력된 일부 결과값들에 대응하는 일부 특정 항목만을 상기 디스플레이부 상에 상이한 색상들로 표시할 수 있다.The control unit includes a partial result value output by performing the operation on any one of the plurality of lesion regions among a plurality of items corresponding to the result values output by performing the operation on each of the plurality of lesion regions Only some specific items corresponding to the items may be displayed in different colors on the display unit.

실시예에 따르면 복수 개의 각 병변의 위치를 전반적으로 확인함과 동시에 보다 정밀하게 확인할 수 있게 된다. According to the embodiment, it is possible to confirm the position of each of the plurality of lesions as a whole and at the same time to confirm more precisely.

도 1은 실시예에 따른 영상 처리 시스템을 설명하기 위한 개념도이다.
도 2는 실시예에 따른 영상 수신 장치의 동작을 설명하기 위한 순서도이다.
도 3 및 도 4는 실시예에 따른 복수의 신경망 모델에 적용되는 전처리 모듈과 후처리 모듈의 예시이다.
도 5는 실시예에 따라 영상 프레임으로부터 검출되는 복수의 병변 영역에 대한 추론이 수행되는 과정을 설명하기 위해 참조되는 도면이다.
도 6은 실시예에 따른 도 3 내지 도 5에서 전술한 복수의 신경망 모델의 일례를 나타내며 도 7 내지 도 10은 이러한 복수의 신경망 모델을 이용한 추론 수행의 예시를 나타낸다.
도 11 내지 도 14는 실시예에 따른 사용자 인터페이스의 예시를 나타낸다.
도 15는 도 5의 신경망 모델에 대한 특징을 설명하기 위해 함께 참조되는 도면이다.1 is a conceptual diagram illustrating an image processing system according to an embodiment.
2 is a flowchart illustrating an operation of an image receiving apparatus according to an embodiment.
3 and 4 are examples of a pre-processing module and a post-processing module applied to a plurality of neural network models according to an embodiment.
5 is a diagram referenced to explain a process in which inference is performed on a plurality of lesion regions detected from an image frame according to an embodiment.
6 shows an example of the plurality of neural network models described above in FIGS. 3 to 5 according to the embodiment, and FIGS. 7 to 10 show examples of performing inference using the plurality of neural network models.
11 to 14 show examples of a user interface according to an embodiment.
FIG. 15 is a diagram referred to together to describe the characteristics of the neural network model of FIG. 5 .

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be embodied in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 설명한다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.

도 1은 실시예에 따른 영상 처리 시스템을 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating an image processing system according to an embodiment.

본 발명은 의료 영상 장치(110)로부터 출력되는 영상 신호를 분석 소프트웨어가 설치된 영상 수신 장치(120)에서 입력 받으면서, 신경망 모델을 이용하여 실시간으로 병변을 예측/분석하고 결과를 제공하는 방법에 관한 것이다. The present invention relates to a method of predicting/analyzing a lesion in real time using a neural network model and providing a result while receiving an image signal output from a medical imaging device 110 from an image receiving device 120 installed with analysis software. .

도 1에 도시한 바와 같이, 의료 영상 장치(110)는 대상물을 촬영하여 획득된 영상 프레임을 영상 수신 장치(120)로 전송할 수 있다. 실시예에 따른 영상 프레임은 소화기 내시경 검사 장비 같은 의료 기기에서 획득된 영상일 수 있으나, 본 발명의 권리범위는 이에 제한되지 않고 초음파나 MRI 등의 다른 종류의 의료기기에도 동일/유사하게 적용될 수 있다.1 , the medical imaging apparatus 110 may transmit an image frame obtained by photographing an object to the image receiving apparatus 120 . The image frame according to the embodiment may be an image obtained from a medical device such as a digestive endoscopy equipment, but the scope of the present invention is not limited thereto and may be equally/similarly applied to other types of medical devices such as ultrasound or MRI. .

영상 수신 장치(120)는 신경망 모델(121a)을 통한 병변 예측 연산을 수행하여 입력 영상 프레임을 분석하기 위한 소프트웨어를 구동할 수 있는 PC, 노트북 등의 다양한 전자 기기를 포함할 수 있다. The image receiving apparatus 120 may include various electronic devices, such as a PC or a laptop computer, capable of running software for analyzing an input image frame by performing a lesion prediction operation through the neural network model 121a.

영상 수신 장치(120)는 통신부(122), 제어부(121), 메모리(123), 및 디스플레이부(124)를 포함할 수 있다.The image receiving apparatus 120 may include a communication unit 122 , a control unit 121 , a memory 123 , and a display unit 124 .

통신부(122)는 의료 영상 장치(110)로부터 영상 프레임을 수신하여 제어부(121)로 전송한다. The communication unit 122 receives the image frame from the medical imaging apparatus 110 and transmits it to the control unit 121 .

제어부(121)는 신경망 모델(121a)을 이용한 병변 예측 연산을 수행하여 입력 영상 프레임 상의 병변의 결과값(특성값 등)을 획득하고 이를 기초로 병변을 예측할 수 있다. The controller 121 may perform a lesion prediction operation using the neural network model 121a to obtain a result value (a characteristic value, etc.) of a lesion on an input image frame, and predict a lesion based thereon.

메모리(123)는 제어부(121)로부터 획득한 결과값 등 제어부(121)의 처리가 수행된 다양한 종류의 데이터를 저장한다.The memory 123 stores various types of data processed by the control unit 121 , such as a result value obtained from the control unit 121 .

제어부(121)의 제어 하에 메모리(123)에 저장된 결과값이나 이미지 등이 독출되면 디스플레이부(124)는 해당 데이터를 출력하여 사용자에게 제공할 수 있다.When a result value or an image stored in the memory 123 is read under the control of the controller 121 , the display unit 124 may output the corresponding data and provide it to the user.

도 2는 실시예에 따른 영상 수신 장치(120)의 동작을 설명하기 위한 순서도이다. 다만, 아래 각 순서는 일례이며, 본 발명은 해당 순서에만 구속되지 않는다.2 is a flowchart for explaining the operation of the image receiving apparatus 120 according to the embodiment. However, each order below is an example, and the present invention is not limited only to the order.

도 2에 도시한 바와 같이, 제어부(121)는 통신부(122)를 통해 의료 영상 장치(110)로부터 복수의 병변 영역을 포함하는 영상 프레임을 수신할 수 있다(s210). 제어부(121)는 의료 영상 장치(110)로부터 영상 프레임을 1 프레임씩 리딩할 수 있다. 실시예에 따라 하나의 영상 프레임을 처리하기 위한 각 신경망 모델에 대한 연산은 한번에 복수개의 분석이 가능하도록 병렬로 처리될 수도 있고, 직렬로 처리될 수도 있다.As shown in FIG. 2 , the controller 121 may receive an image frame including a plurality of lesion regions from the medical imaging apparatus 110 through the communication unit 122 ( S210 ). The controller 121 may read image frames from the medical imaging apparatus 110 frame by frame. According to an embodiment, an operation for each neural network model for processing one image frame may be processed in parallel or serially so that a plurality of analyzes are possible at once.

제어부(121)는 영상 프레임에 대한 전처리를 수행하여 상기 복수의 병변 영역 각각에 대응하는 전처리 이미지들을 획득할 수 있다(s220). 구체적으로, 제어부(121)는 신경망 모델(121a)로 입력되는 영상 프레임에 대해 전처리 모듈을 이용하여 전처리를 수행할 수 있다.The controller 121 may perform preprocessing on the image frame to obtain preprocessed images corresponding to each of the plurality of lesion regions (s220). Specifically, the controller 121 may perform preprocessing on an image frame input to the neural network model 121a using a preprocessing module.

전처리 수행은 예를 들어, 입력 영상 프레임 중 신경망 모델(121a)에서 연산하기 위한 실제 입력 데이터를 획득하기 위해 입력 영상 프레임 전체 영역이나 원하는 부분 특정 영역(ROI, Region of Interest)에 대해 영상의 크기를 조절(예> 가로 세로 사이즈 조절)하거나 색상 정규화 처리를 수행하거나 영상 변환 등의 적용 등을 수행하는 것을 의미한다. The pre-processing is performed, for example, in order to obtain actual input data for calculation in the neural network model 121a among the input image frames, by determining the size of the image with respect to the entire region of the input image frame or a specific region of interest (ROI). It means adjusting (eg, adjusting the horizontal and vertical size), performing color normalization processing, or applying image conversion, etc.

예를 들어, 영상 프레임이 환자, 날짜, 검사 장비 정보 등이 내시경 이미지와 함께 포함된 경우, 이 중 분석을 위한 내시경 이미지만을 자르는 전처리를 수행하여 입력 데이터를 획득할 수 있다. For example, when the image frame includes patient, date, and examination equipment information together with the endoscopic image, preprocessing of only the endoscopic image for analysis may be performed to obtain input data.

또는, 하나의 영상 프레임에 대하여 복수의 병변 영역이 포함된 경우, 각 병변 영역을 자르거나 사이즈 조절 등과 같은 과정을 적용하여 입력 데이터인 전처리 이미지를 획득할 수 있다.Alternatively, when a plurality of lesion regions are included in one image frame, a preprocessed image as input data may be obtained by cutting each lesion region or applying a process such as size adjustment.

제어부(121)는 전처리 이미지들 각각에 대해 병변을 검출하기 위해 구현된 복수의 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력할 수 있다(s230).The controller 121 may perform an operation using a plurality of neural network models implemented to detect a lesion for each of the preprocessed images and output result values (s230).

예를 들어, 도 5에 도시한 바와 같이, 복수의 병변 영역 각각에 대응하는 전처리 이미지들을 병변 검출 모델 또는 병변 판별 모델과 같은 신경망 모델(121a)의 입력 노드에 입력시키고, 신경망 모델(121a)을 이용한 연산을 수행하여 출력 노드로부터 결과값들(L,N,M,SM,D,UD)을 출력하는 과정을 통해 각 병변 영역에 대한 신경망 모델(121a)을 이용한 연산을 반복 수행할 수 있다. 참고로, 도 5에서는 신경망 모델(121a)로 CNN(Convolutional Neural Network)을 이용한 것을 예시하였으나, 본 발명은 이에 제한되지 않고, FCN, RNN, DNN, GNN 등 다양한 종류의 신경망으로부터 생성된 신경망 모델인 경우에도 동일/유사하게 적용될 수 있다. For example, as shown in FIG. 5 , preprocessed images corresponding to each of a plurality of lesion regions are input to an input node of a neural network model 121a such as a lesion detection model or a lesion discrimination model, and the neural network model 121a is The calculation using the neural network model 121a for each lesion region can be repeatedly performed through the process of performing the calculation using the output node and outputting the result values (L, N, M, SM, D, UD) from the output node. For reference, FIG. 5 exemplifies the use of a convolutional neural network (CNN) as the neural network model 121a, but the present invention is not limited thereto, and a neural network model generated from various types of neural networks such as FCN, RNN, DNN, and GNN. In this case, the same/similar application may be applied.

이로서, 제1 병변 영역에 대한 제1 병변 검출 확률 및 제1 복합 특성 예측 결과가 출력되고, 제2 병변 영역에 대한 제2 병변 검출 확률 및 제2 복합 특성 예측 결과가 출력될 수 있다. Accordingly, the first lesion detection probability and the first composite characteristic prediction result for the first lesion region may be output, and the second lesion detection probability and the second composite characteristic prediction result for the second lesion region may be output.

제어부(121)는 출력된 결과값들에 대한 후처리를 수행할 수 있다(s240). 구체적으로, 제어부(121)는 후처리 모듈을 기초로 신경망 모델(121a)로부터 출력된 결과값들에 대해 후처리를 수행할 수 있다. 참고로, 본 발명에서 전처리 모듈, 신경망 모델(121a), 및 후처리 모듈을 포함하여 병변 예측 모듈로 정의한다. The control unit 121 may perform post-processing on the output result values (s240). Specifically, the controller 121 may perform post-processing on the result values output from the neural network model 121a based on the post-processing module. For reference, in the present invention, it is defined as a lesion prediction module including a pre-processing module, a neural network model 121a, and a post-processing module.

후처리 수행은 신경망 모델(121a)로부터 출력된 결과값들을 취합하는 등의 디스플레이부(124)에 최종 이미지를 디스플레이하기 위한 연산을 의미한다. Post-processing refers to an operation for displaying a final image on the display unit 124, such as collecting result values output from the neural network model 121a.

제어부(121)는 후처리 수행으로 최종 획득된 후처리 수행 결과를 영상 프레임 상에 오버랩하여 출력할 수 있다(s250). The controller 121 may overlap and output the post-processing result finally obtained by performing the post-processing on the image frame (s250).

예를 들어, 도 5를 참조하면, 제1 병변 검출 확률 및 제1 복합 특성 예측 결과에 대한 후처리 수행 이미지(a)와 제2 병변 검출 확률 및 제2 복합 특성 예측 결과와 관련된 이미지에 대한 후처리 수행 이미지(b)가 영상 프레임 상에 표시될 수 있다. 보다 구체적으로, 본 발명에서 후처리 수행 결과는 해당 병변의 병변 확률(L, 68.93%), 깊이(SM, 74.29%), 유형(D, 80.82%)등에 해당하는 정보와 해당 병변 영역의 경계 정보를 포함할 수 있다. For example, referring to FIG. 5 , the post-processing image (a) for the first lesion detection probability and the first composite characteristic prediction result and the post-processing image for the second lesion detection probability and the second composite characteristic prediction result The processed image (b) may be displayed on the image frame. More specifically, in the present invention, the post-processing result is information corresponding to the lesion probability (L, 68.93%), depth (SM, 74.29%), type (D, 80.82%) of the lesion and boundary information of the lesion area. may include.

한편, 이러한 복수의 신경망 모델을 이용한 반복 연산은 복수의 병변 영역 각각을 도 3과 같은 복수의 신경망 모델(121a1 ~ 121an)을 이용하여 순차적으로 또는 병렬적으로 일괄 처리하여 반복 연산을 수행할 수 있다.On the other hand, the iterative operation using the plurality of neural network models may be performed sequentially or in parallel by batch processing each of the plurality of lesion regions using the plurality of neural network models 121a1 to 121an as shown in FIG. 3 . .

실시예에 따르면 복수의 신경망 모델(121a1 ~ 121an)은 각각이 상이한 종류의 결과값을 출력하기 위한 모델들로 구성될 수 있다. 구체적으로, 도 5를 함께 참조하면 복수의 신경망 모델(121a1 ~ 121an)은 각각이 수행하는 목적이 상이할 수 있다. 예를 들어, 제1 신경망 모델은 병변을 검출하기 위한 모델로 병변 확률값을 결과값으로 출력하고 제2 신경망 모델은 병변을 판별하기 위한 모델로 병변과 관련된 복합 특성 예측 결과를 결과값으로 출력할 수 있다. 그리고, 제1 병변 영역에 대하여 제1 신경망 모델과 제2 신경망 모델을 이용하여 연산을 수행하고, 제2 병변 영역에 대하여 다시 상기 연산을 순차적으로 반복 수행할 수 있다. According to an embodiment, the plurality of neural network models 121a1 to 121an may be configured as models for outputting different types of result values, respectively. Specifically, referring to FIG. 5 , each of the plurality of neural network models 121a1 to 121an may have different purposes. For example, the first neural network model is a model for detecting a lesion, and the lesion probability value is output as a result value, and the second neural network model is a model for discriminating a lesion, and a composite characteristic prediction result related to a lesion can be output as a result value. have. Then, an operation may be performed on the first lesion region using the first neural network model and the second neural network model, and the operation may be sequentially repeated again on the second lesion region.

한편, 실시예에 따르면, 도 3의 (a)와 같이 복수의 신경망 모델(121a1 ~ 121an)에 하나의 전처리 모듈과 하나의 후처리 모듈을 이용할 수도 있고, 다른 실시예에 따르면 도 3의 (b) 및 (c)와 같이 복수의 신경망 모델(121a1 ~ 121an)에 각각 대응하는 복수의 전처리 모듈과 복수의 후처리 모듈을 이용할 수도 있다. 후자의 경우, 복수의 신경망 모델(121a1 ~ 121an) 중 적어도 일부가 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 연산을 수행할 수 있다. 예를 들어, 도 3의 (b)와 같이 복수의 신경망 모델 전부가 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 연산을 수행할 수 있고, 다른 실시예에 따르면 도 3의 (c)와 같이 복수의 신경망 모델 중 일부가 같은 전처리 모듈과 같은 후처리 모듈을 이용하여 연산을 수행할 수 있다. 후자의 경우에는, 각 신경망 모델의 목적에 따라 상이한 전처리와 후처리가 수행되어 보다 정확하고 빠르게 연산이 수행될 수 있다는 이점이 있다.Meanwhile, according to an embodiment, one pre-processing module and one post-processing module may be used for the plurality of neural network models 121a1 to 121an as shown in FIG. 3(a), and according to another embodiment, as shown in FIG. 3(b) ) and (c), a plurality of pre-processing modules and a plurality of post-processing modules respectively corresponding to the plurality of neural network models 121a1 to 121an may be used. In the latter case, at least some of the plurality of neural network models 121a1 to 121an may perform calculations using different pre-processing modules and different post-processing modules, respectively. For example, as shown in (b) of FIG. 3, all of the plurality of neural network models may perform calculations using different pre-processing modules and different post-processing modules, respectively, and according to another embodiment, as shown in FIG. 3 (c) Some of the plurality of neural network models may perform calculations using the same pre-processing module and the same post-processing module. In the latter case, there is an advantage that different pre-processing and post-processing are performed according to the purpose of each neural network model, so that the calculation can be performed more accurately and quickly.

다른 실시예에 따르면 도 4와 같이 복수의 병변 영역 중 적어도 일부에 대하여 신경망 모델(121a)을 이용하여 연산을 함께 수행할 수 있다.According to another embodiment, as shown in FIG. 4 , calculation may be performed together with respect to at least a portion of the plurality of lesion regions using the neural network model 121a.

도 4에 도시한 바와 같이, 영상 프레임이 n개의 복수의 병변 영역을 포함한 경우, 복수의 n개의 병변 영역 중 함께 선택된 복수의 k(배치 사이즈)개의 병변 영역에 대하여 도 4의 (a) 내지 (d)와 같이 복수의 신경망 모델(121a1 ~ 121ak)을 이용하여 함께 반복 연산을 수행할 수 있다. 실시예에 따르면, k의 수는 발견된 병변의 개수에 대응하여 가변적으로 변경될 수 있도록 시스템상에 설정할 수 있다.As shown in FIG. 4 , when an image frame includes a plurality of n lesion regions, a plurality of k (batch size) lesion regions selected together among the plurality of n lesion regions are shown in (a) to ( As shown in d), iterative calculations may be performed together using a plurality of neural network models 121a1 to 121ak. According to an embodiment, the number of k may be set on the system to be variably changed in response to the number of found lesions.

한편, 실시예에 따르면 복수의 신경망 모델은 (a)와 같이 각각이 동일한 종류의 결과값을 출력하기 위한 모델들로 구성되거나, (b) 내지 (d)와 같이 각각이 상이한 종류의 결과값을 출력하기 위한 모델들로 구성될 수 있다. 특히, (b) 내지 (d)의 경우, 서로 상이한 1 내지 k의 병변 영역이 k개씩 배치 처리될 수 있다. 구체적으로, 복수의 신경망 모델 각각이 수행하는 목적이 상이한 경우는, 도 3에서 전술한 바와 같다. On the other hand, according to the embodiment, the plurality of neural network models are each composed of models for outputting the same type of result value as shown in (a), or different types of result values as shown in (b) to (d). It can be composed of models for output. In particular, in the case of (b) to (d), 1 to k different lesion regions may be batch-processed by k each. Specifically, the case where the purpose of each of the plurality of neural network models is different is as described above in FIG. 3 .

한편, 실시예에 따르면, 도 4의 (b)와 같이 복수의 신경망 모델에 하나의 동일한 전처리 모듈과 후처리 모듈을 이용할 수도 있고, 다른 실시예에 따르면 도 4의 (c) 및 (d)와 같이 복수의 신경망 모델에 각각 대응하는 복수의 전처리 모듈과 복수의 후처리 모듈을 이용할 수도 있다. 후자의 경우, 복수의 신경망 모델 중 적어도 일부가 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 연산을 수행할 수 있다. 예를 들어, 도 4의 (c)와 같이 복수의 신경망 모델 전부가 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 연산을 수행할 수 있고, 다른 실시예에 따르면 도 4의 (d)와 같이 복수의 신경망 모델 중 일부가 같은 전처리 모듈과 같은 후처리 모듈을 이용하여 연산을 수행할 수 있다. 후자의 경우에는, 각 신경망 모델의 목적에 따라 상이한 전처리와 후처리가 수행되어 보다 정확하고 빠르게 연산이 수행될 수 있다는 이점이 있다.Meanwhile, according to an embodiment, one and the same pre-processing module and one post-processing module may be used for a plurality of neural network models as shown in FIG. 4(b), and according to another embodiment, FIGS. 4(c) and 4(d) and Similarly, a plurality of pre-processing modules and a plurality of post-processing modules respectively corresponding to a plurality of neural network models may be used. In the latter case, at least some of the plurality of neural network models may perform calculations using different pre-processing modules and different post-processing modules, respectively. For example, as shown in (c) of FIG. 4, all of the plurality of neural network models may perform calculations using different pre-processing modules and different post-processing modules, respectively, and according to another embodiment, as shown in FIG. 4 (d) Some of the plurality of neural network models may perform calculations using the same pre-processing module and the same post-processing module. In the latter case, there is an advantage that different pre-processing and post-processing are performed according to the purpose of each neural network model, so that the calculation can be performed more accurately and quickly.

특히, 도 4의 경우에 있어서, 복수의 신경망 모델을 관리하기 위한 관리자 모듈의 관리하에 연산이 수행될 수 있다. In particular, in the case of FIG. 4 , an operation may be performed under the management of a manager module for managing a plurality of neural network models.

관리자 모듈은 전처리 모듈 및 후처리 모듈에 대응하여 (1) 전처리 모듈과 복수의 신경망 모델 사이 및 (2) 후처리 모듈과 복수의 신경망 모델 사이에 배치될 수 있다. (1)의 관리자 모듈은 전처리 모듈로부터 출력된 전처리 데이터가 신경망 모델에 입력되는 과정을 관리한다. 예를 들어, k개의 복수의 병변 영역이 동시에 복수의 신경망 모델에 입력될 때, 어떤 신경망 모델에 어떤 병변 영역을 입력시킬지 여부의 순서 등의 정보를 관리할 수 있다. (2)의 관리자 모듈은 신경망 모델로부터 출력된 결과값이 후처리 모듈로 입력되는 과정을 관리한다.The manager module may be disposed between (1) the pre-processing module and the plurality of neural network models and (2) between the post-processing module and the plurality of neural network models, corresponding to the pre-processing module and the post-processing module. The manager module of (1) manages the process in which the preprocessing data output from the preprocessing module is input to the neural network model. For example, when a plurality of k lesion regions are simultaneously input to a plurality of neural network models, information such as an order of which lesion regions are to be input to a neural network model may be managed. The manager module of (2) manages the process in which the result value output from the neural network model is input to the post-processing module.

제1 관리자 모듈은 적어도 하나의 전처리 모듈에 대응하여 배치될 수 있고, 제2 관리자 모듈은 적어도 하나의 후처리 모듈에 대응하여 배치될 수 있다. 예를 들어, 도 4의 (b)와 같이 하나의 전처리 모듈에 대응한 제1 관리자 모듈과 하나의 후처리 모듈에 대응한 제2 관리자 모듈이 배치되거나, 도 4의 (c) 또는 (d)와 같이 복수의 전처리 모듈에 대응한 제1 관리자 모듈과 복수의 후처리 모듈에 대응한 제2 관리자 모듈이 배치될 수 있다.The first manager module may be disposed to correspond to the at least one pre-processing module, and the second manager module may be disposed to correspond to the at least one post-processing module. For example, a first manager module corresponding to one pre-processing module and a second manager module corresponding to one post-processing module are disposed as shown in (b) of FIG. 4, or (c) or (d) of FIG. 4 The first manager module corresponding to the plurality of pre-processing modules and the second manager module corresponding to the plurality of post-processing modules may be disposed as shown in FIG.

한편, 도 5를 참조하면, 입력 영상 프레임으로부터 복수의 병변 영역이 포함된 것으로 판단하여 해당 과정이 수행되기 위해서는, 영상 프레임이 복수의 병변 영역을 포함하는지 여부에 대한 판단이 선행될 수 있는데, 이 경우, 신경망 모델(121a)을 이용한 연산을 수행하여 출력되는 결과값을 기초로 생성된 히트맵(heat map)을 이용하여 수행될 수 있다. 구체적으로, 제어부(121)는 출력된 결과값을 기초로 히트맵을 생성하고, 히트맵에 임계값을 적용하여 히트맵으로부터 병변 영역을 추출(또는 분리)하여 추출된 이미지를 기초로 영상 프레임이 복수의 병변 영역을 포함하는지 여부를 판별할 수 있다. 또한, 영상 프레임이 포함하는 병변 영역의 개수가 복수인 것으로 판별하는 경우, 히트맵(heat map)의 평균 확률값을 이용하여 복수의 병변 영역 사이의 연산의 우선 순위를 결정하여 연산을 수행할 수 있다. Meanwhile, referring to FIG. 5 , in order to perform a corresponding process by determining that a plurality of lesion regions are included from an input image frame, a determination as to whether an image frame includes a plurality of lesion regions may be preceded. In this case, the operation may be performed using a heat map generated based on a result value output by performing an operation using the neural network model 121a. Specifically, the controller 121 generates a heat map based on the output result value, extracts (or separates) the lesion area from the heat map by applying a threshold value to the heat map, and generates an image frame based on the extracted image. It may be determined whether a plurality of lesion regions are included. In addition, when it is determined that the number of lesion regions included in the image frame is plural, the operation may be performed by determining the priority of the operation between the plurality of lesion regions using an average probability value of a heat map. .

도 6은 실시예에 따른 도 3 내지 도 5에서 전술한 복수의 신경망 모델의 일례를 나타내며 도 7 내지 도 10은 이러한 복수의 신경망 모델을 이용한 추론 수행의 예시를 나타낸다. 6 shows an example of the plurality of neural network models described above in FIGS. 3 to 5 according to the embodiment, and FIGS. 7 to 10 show examples of performing inference using the plurality of neural network models.

도 6에 도시한 바와 같이, 실시예에 따른 복수의 신경망 모델 각각은 (a) 병변 검출 모델, (b) 상기 병변 종류 판별 모델(예> 위암 판별 모델), (c) 상기 영상 프레임 상의 상기 병변의 위치 정보 판별 모델(예> 부위 검증 모델, 영역 분할 모델), (d) 상기 병변의 위치 정보에 대응하는 상기 병변과 관련된 검사 진행 여부 판별 모델, (e) 권장 검사 시간 알림 모델, 및 (f) 상기 병변 발생의 위험 알림 모델 중 어느 하나일 수 있다. 다만, 이는 일 실시예이고 병변 검출과 관련하여 구현된 모델이면 본 발명에 동일/유사하게 적용될 수 있다.As shown in FIG. 6 , each of the plurality of neural network models according to the embodiment includes (a) a lesion detection model, (b) the lesion type discrimination model (eg, gastric cancer discrimination model), and (c) the lesion on the image frame. a model for determining location information (eg, region verification model, region segmentation model), (d) a model for determining whether to proceed with an examination related to the lesion corresponding to the location information of the lesion, (e) a recommended examination time notification model, and (f) ) may be any one of the risk notification models for the occurrence of lesions. However, this is an embodiment, and if it is a model implemented in relation to lesion detection, it may be applied to the present invention in the same/similar manner.

도 7에 도시한 바와 같이, 제어부(121)는 (a) 병변 검출 모델의 결과, (c1) 부위 검증 모델의 결과, 및 (c2) 영역 분할 모델의 결과를 함께 이용하여 연산을 수행할 수 있다.As shown in FIG. 7 , the controller 121 may perform an operation using (a) the result of the lesion detection model, (c1) the result of the site verification model, and (c2) the result of the region segmentation model. .

(a) 병변 검출 모델의 결과를 통해 병변의 유무를 파악하고, (c1) 부위 검증 모델의 결과와 (c2) 영역 분할 모델의 결과를 통해 병변이 검출되는 영역을 보다 구체화하여 위치를 파악할 수 있다. 도 7은 소화기관이 위인 경우를 예시한 것으로, 1차적으로 부위 검증 모델의 결과를 통해 병변 검출 영역이 위저부, 위체부, 위전정부, 위분문부 등에 해당하는지를 식별하고, 다시 2차적으로 영역 분할 모델의 결과를 통해 병변 검출 영역이 소만, 대만, 전벽, 후벽 중 어디에 해당하는지를 보다 구체적으로 식별할 수 있다. (a) The presence or absence of a lesion can be identified through the result of the lesion detection model, and the location can be identified by further specifying the area in which the lesion is detected through the results of the (c1) region verification model and (c2) region segmentation model. . 7 is an example of a case in which the digestive system is the stomach. First, it is identified whether the lesion detection area corresponds to the gastric bottom, the gastric body, the gastric vestibule, the gastric parotid, etc. through the results of the site verification model, and secondarily divided into regions Through the results of the model, it is possible to more specifically identify whether the lesion detection area corresponds to the small mandible, the Taiwanese, the anterior wall, or the posterior wall.

도 8을 참조하면, 제어부(121)는 부위 검증 모델의 결과를 통해 연산이 수행된 결과에 대한 누적된 영상 프레임들의 상태를 파악하여 소정의 시간이 경과하였는지 여부를 판단하며, 이러한 판단 정보를 기초로 권장 검사 부위에 대한 검사 진행 여부를 판별할 수 있다. Referring to FIG. 8 , the controller 121 determines whether a predetermined time has elapsed by determining the state of the accumulated image frames for the result of the operation performed through the result of the region verification model, and based on the determination information It is possible to determine whether or not to proceed with the examination for the recommended examination site.

구체적으로, 소정의 시간이 경과한 경우에는 이는 권장 검사 부위에 대한 검사가 진행된 것으로 판별하여 해당 위치를 권장 검사 위치로 분류하여 기록할 수 있고, 반면 소정의 시간이 경과하지 않은 경우에는 이는 검사가 진행되지 않은 것으로 판별하여 해당 위치를 미 검사 위치인 것으로 분류하여 기록할 수 있다. Specifically, when a predetermined time has elapsed, it is determined that the examination for the recommended examination site has been performed, and the location can be classified and recorded as a recommended examination location. On the other hand, if the predetermined time has not elapsed, it is determined that the examination is not performed. It is determined that it has not progressed, and the location can be classified as an uninspected location and recorded.

또는, 도 9와 같이, 권장 검사 부위에 대한 검사 진행 여부 판별 모델을 통해, 연산으로 획득된 결과값들을 검사한 위치, 검사 중 위치, 미검사 위치 등으로 분류할 수 있고, 제어부(121)는 소화기관의 전면 또는 후면 이미지 상에 상기 연산으로 획득된 후처리 수행 결과들에 대응하는 인디케이터들을 표시할 수 있다. 이 때, 각 인디케이터들은 서로 상이한 색상, 크기, 무늬 등의 상이한 형태로 표시될 수 있다. Alternatively, as shown in FIG. 9 , the result values obtained by calculation may be classified into an inspected position, an inspected position, a non-inspected position, etc. through the inspection progress determination model for the recommended inspection site, and the controller 121 may Indicators corresponding to the post-processing results obtained by the operation may be displayed on the front or rear image of the digestive system. In this case, each indicator may be displayed in different shapes, such as different colors, sizes, and patterns.

그리고, 해당 기록 정보들을 참조하여 (e) 권장 검사 시간 알림 모델이나 (f) 상기 병변 발생의 위험 알림 모델이 추론될 수 있다.Then, (e) a recommended examination time notification model or (f) a risk notification model of the occurrence of the lesion may be inferred with reference to the corresponding record information.

도 10을 참조하면, (b) 상기 병변 종류 판별 모델(예> 위암 판별 모델)의 결과, (c) 상기 영상 프레임 상의 상기 병변의 위치 정보 판별 모델(예> 부위 검증 모델, 영역 분할 모델)의 결과, 및 (f) 상기 병변 발생의 위험 알림 모델의 결과가 함께 연산 될 수 있다. 예를 들어, 위암 판별 모델의 결과는 진행성 위암의 보우만(Borrmann) 유형을 분류하고(융기형, 궤양형, 궤양침윤형, 미만형 등), 부위 검증 모델의 결과는 위, 대장과 같은 소화기관의 부위를 분류 또는 검증하고, 위험 알림 모델의 결과는 소화성 궤양을 판단하여 사용자에게 알리거나 경고할 수 있다. 즉, (b) 모델의 결과를 통해 병변의 종류가 파악되고 (c) 모델의 결과를 통해 병변의 위치 정보가 파악되면 (f) 모델의 결과를 통해 병변 발생 위험 알림이 출력될 수 있다. Referring to FIG. 10 , (b) the result of the lesion type determination model (eg, gastric cancer identification model), (c) the location information identification model of the lesion on the image frame (eg, region verification model, region segmentation model) The result, and (f) the result of the risk notification model of the occurrence of the lesion may be calculated together. For example, the results of the gastric cancer discrimination model classify the Bowrmann types of advanced gastric cancer (e.g., elevated, ulcerative, infiltrating, diffuse, etc.), and the results of the site validation model are for digestive organs such as stomach and large intestine. Classify or verify the part of the , and the result of the risk notification model can determine a peptic ulcer and notify or warn the user. That is, when (b) the type of lesion is identified through the model result and (c) the location information of the lesion is grasped through the model result, (f) a lesion risk notification can be output through the model result.

본 발명에서는 소화기관으로 위를 예시하였으나, 대장, 십이지장 등 내시경으로 촬영 가능한 모든 소화기관의 경우에도 본 발명이 동일/유사하게 적용될 수 있다.In the present invention, the stomach is exemplified as a digestive organ, but the present invention can be applied in the same/similar manner to all digestive organs that can be photographed with an endoscope, such as the large intestine and duodenum.

도 11a를 참조하면, 왼쪽에 위의 전면 또는 후면이 오른쪽에 위가 절개된 형상이 도시되어 있다. 왼쪽 도면에 의하면 위의 한쪽면에서만 바라본 결과를 확인할 수 있으나, 오른쪽 도면에 의하면 위의 전체가 펼쳐진 도면으로 전반적으로 확인할 수 있고, 왼쪽 도면에 의하면 병변의 위치를 위체부, 위전정부, 위저부 등으로만 확인할 수 있으나, 오른쪽 도면에 의하면 소만/대만, 전벽/후벽 등으로까지 분할하여 병변의 위치를 보다 정밀하게 확인할 수 있게 된다. Referring to FIG. 11A , a shape in which the front or back of the stomach is cut on the left and the stomach is cut on the right is shown. According to the drawing on the left, the result of looking at only one side of the stomach can be confirmed, but according to the drawing on the right, the entire stomach can be confirmed as an unfolded drawing. However, according to the drawing on the right, it is possible to check the location of the lesion more precisely by dividing it into soman/taiwan, anterior wall/posterior wall, etc.

한편, 도 11b를 참조하면, 의료 영상 장치(110)는 소화기관을 촬영하고, 제어부(121)는 소화기관이 절개된 형상의 이미지와 함께 복수의 병변 영역 각각에 대한 연산이 수행되어 획득된 후처리 수행 결과들에 대응하는 복수의 인디케이터를 생성할 수 있다. 그리고, 디스플레이부(124)는 소화기관이 절개된 형상의 이미지 상에 복수의 인디케이터를 표시할 수 있다. Meanwhile, referring to FIG. 11B , the medical imaging apparatus 110 photographs the digestive tract, and the control unit 121 performs an operation on each of the plurality of lesion regions together with an image of a shape in which the digestive tract is cut and obtained. A plurality of indicators corresponding to the processing execution results may be generated. In addition, the display unit 124 may display a plurality of indicators on the image in which the digestive tract is cut.

복수의 병변 영역 중 제1 병변 영역이 위체부 대만에 해당하고 제2 병변 영역이 위체부 소만에 해당할 때, 제1 병변 영역에 대응하는 인디케이터와 제2 병변 영역에 대응하는 인디케이터를 각각 표시할 수 있다. 그리고, 각 인디케이터의 색상, 크기, 무늬 등의 형태를 각각 상이하게 표시하여 구분할 수 있다. Among the plurality of lesion regions, when the first lesion region corresponds to only the stomach body and the second lesion region corresponds to the small stomach, the indicator corresponding to the first lesion region and the indicator corresponding to the second lesion region are displayed respectively. can In addition, the color, size, pattern, etc. of each indicator can be displayed differently and can be distinguished.

도 11b의 실시예에 따르면, 각 인디케이터에 의해 각 병변의 위치를 보다 용이하게 식별할 수 있게 된다.According to the embodiment of FIG. 11B , the location of each lesion can be more easily identified by each indicator.

도 12는 디스플레이부(124) 상에 출력되는 화면을 나타낸 것으로, 제어부(121)는 (1) 영상 프레임 상에 후처리 수행 결과들이 오버랩된 이미지 (2) 복수의 병변 영역 각각에 대한 연산이 수행되면 출력가능한 결과값들에 대응하는 복수의 항목 이미지 (3) 히트맵 이미지 (4) (1)이 축소된 썸네일 형태의 이미지 (5) 기타 환자 정보, 환경 설정 정보, 의료 영상 장치(110)와의 연결 상태 등을 디스플레이부(124) 상에 표시할 수 있다. 그리고 (1) 내지 (5)의 각 정보들은 전체 디스플레이 화면 상에서 별도의 박스 영역안에 구분되어 표시될 수 있다.12 shows a screen output on the display unit 124, in which the controller 121 (1) an image in which post-processing results are overlapped on an image frame (2) performs an operation on each of a plurality of lesion regions When a plurality of item images corresponding to outputable result values (3) a heat map image (4) (1) are reduced thumbnail images (5) other patient information, environment setting information, and A connection state and the like may be displayed on the display unit 124 . In addition, each information of (1) to (5) may be displayed separately in a separate box area on the entire display screen.

(1)과 관련하여, 해당 병변의 병변 확률(L, 68.93%), 깊이(SM, 74.29%), 유형(D, 80.82%)에 해당하는 정보와 해당 병변 영역의 경계 정보를 포함하는 후처리 수행 결과들이 영상 프레임 상에 오버랩된 것을 알 수 있다. 또한, (1)의 정보를 포함하는 박스 영역은 병변이 발견되는 경우 경계가 하이라이트 처리되거나 특정 색상으로 볼드 처리되는 등으로 변경되어 병변의 발견을 알릴 수 있다. Regarding (1), post-processing including information corresponding to the lesion probability (L, 68.93%), depth (SM, 74.29%), and type (D, 80.82%) of the lesion and the boundary information of the lesion area It can be seen that the execution results are overlapped on the image frame. In addition, when a lesion is found, the box area including the information of (1) may be changed to highlight or bold with a specific color to inform the discovery of the lesion.

(2)와 관련하여 제어부(121)는 각 결과값들에 대응하는 복수의 항목을 상이한 크기, 무늬, 색상 등의 형태로 상이하게 표시할 수 있다. 다른 실시예에 따르면, 각 클래스에 대응하는 항목마다 별도의 색상으로 구분하고, 즉, 하나의 클래스에 포함되는 결과값들에 대응하는 항목들은 동일한 색상으로 표기하며, 하나의 클래스 안에서 해당 병변에 해당하는 결과값에 대응하는 항목은 하이라이트로 강조하여 표기할 수도 있다. 예를 들어, 도 12에서 M과 SM, D와 UD는 서로 동일 색상으로 표시한 상태에서 SM과 D 부분을 하이라이트로 처리하여 표기할 수도 있다.In relation to (2), the controller 121 may display a plurality of items corresponding to each result value differently in different sizes, patterns, colors, and the like. According to another embodiment, each item corresponding to each class is classified with a separate color, that is, items corresponding to result values included in one class are marked with the same color, and correspond to the corresponding lesion within one class. The item corresponding to the result value may be highlighted with a highlight. For example, in FIG. 12 , in a state where M and SM and D and UD are displayed in the same color, SM and D may be displayed by processing them as highlights.

실시예에 따른 제어부(121)는, 복수의 항목 중, 복수의 병변 영역 중 어느 하나에 대한 복수의 신경망 모델을 이용한 연산이 수행되어 출력된 결과값에 대응하는 특정 항목을 디스플레이부(124) 상에 제1 색상으로 표시하고, 소화기관이 절개된 형상의 이미지와 함께 상기 결과값에 대응하는 인디케이터를 상기 제1 색상과 동일한 색상으로 생성할 수 있다. The control unit 121 according to the embodiment may display a specific item corresponding to a result value output by performing an operation using a plurality of neural network models for any one of a plurality of lesion regions among a plurality of items on the display unit 124 . may be displayed in a first color, and an indicator corresponding to the result value may be generated in the same color as the first color together with an image of a shape in which the digestive tract is cut.

예를 들어, 도 13을 참조하면, Lesion, Mucosa, SubMucosa, Differentiated, Undifferentiated의 항목들이 각각 상이한 색상으로 표시되고, 이 중 해당 병변이 SubMucosa에 해당되어 소화기관이 절개된 형상의 이미지 상에는 SubMucosa와 동일한 색상의 인디케이터가 표시될 수 있다. For example, referring to FIG. 13 , the items of Lesion, Mucosa, SubMucosa, Differentiated, and Undifferentiated are displayed in different colors, and among them, the corresponding lesion corresponds to SubMucosa and on the image of the digestive organ incised, the same as that of SubMucosa. A colored indicator may be displayed.

이로서, 사용자는 항목 표기 정보와 함께 인디케이터 표기 정보까지 한번에 확인할 수 있어 보다 용이하고 빠르게 병변 위치를 확인할 수 있다. As a result, the user can check both the item marking information and the indicator marking information at once, so that the location of the lesion can be confirmed more easily and quickly.

실시예에 따르면, 제어부(121)는 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 항목 중, 상기 복수의 병변 영역 중 어느 하나에 대한 상기 연산이 수행되어 출력된 일부 결과값들에 대응하는 일부 특정 항목만을 상기 디스플레이부 상에 상이한 색상들로 표시할 수 있다.According to an embodiment, the controller 121 performs the operation on any one of the plurality of lesion regions among a plurality of items corresponding to the result values output by performing the operation on each of the plurality of lesion regions. Only some specific items corresponding to some result values that are performed and output may be displayed in different colors on the display unit.

예를 들어, 도 14를 참조하면, 병변이 Mucosa/SubMucosa 클래스 중 SubMucosa에 해당하면서 Differentiated/Undifferentiated 클래스 중 Differentiated에 해당하는 경우, Mucosa와 Undifferentiated의 색상 처리는 비활성화하고, SubMucosa와 Differentiated의 색상 처리만을 활성화하여 각 항목에 상이한 색상들로 표시할 수 있다.For example, referring to FIG. 14 , when the lesion corresponds to SubMucosa in the Mucosa/SubMucosa class and Differentiated in the Differentiated/Undifferentiated class, the color processing of Mucosa and Undifferentiated is inactivated, and only the color processing of SubMucosa and Differentiated is activated. Thus, each item can be displayed in different colors.

또한, 도 14의 경우에도 Lesion, SubMucosa, Differentiated의 항목들이 각각 상이한 색상으로 표시되고, 이 중 해당 병변이 SubMucosa에 해당되어 소화기관이 절개된 형상의 이미지 상에는 SubMucosa와 동일한 색상의 인디케이터가 표시될 수 있다. In addition, even in the case of FIG. 14, the items of Lesion, SubMucosa, and Differentiated are displayed in different colors, and the indicator of the same color as that of SubMucosa can be displayed on the image in which the lesion corresponds to SubMucosa and the digestive tract is cut. have.

이하, 도 5의 신경망 모델에 대한 특징을 도 15와 함께 참조하여 기술한다. Hereinafter, features of the neural network model of FIG. 5 will be described with reference to FIG. 15 .

도 5의 (1) 병변 검출 모델은 실시예에 따른 일대일 분류 모델을 나타내고, 도 5의 (2) 병변 판별 모델은 실시예에 따른 일대다 분류 모델을 나타낸다. The lesion detection model of FIG. 5 (1) indicates a one-to-one classification model according to the embodiment, and the lesion discrimination model of FIG. 5 (2) indicates a one-to-many classification model according to the embodiment.

도 5에서 M(Mucosa)과 SM(Submucosa)은 클래스 Ⅰ에 속하는 특성들(병변의 깊이)을 나타내고, D(Differentiated)와 UD(Undifferentiated)는 클래스 Ⅱ에 속하는 특성들(병변의 유형)을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 명세서에서는 복합 특성이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.In FIG. 5 , M (Mucosa) and SM (Submucosa) indicate characteristics belonging to class I (lesion depth), and D (differentiated) and UD (Undifferentiated) indicate characteristics belonging to class II (lesion types). . The classification criterion of class I and the classification criterion of class II may be different. In this specification, properties belonging to a plurality of classes are referred to as composite properties. An input having a complex characteristic may have a plurality of characteristics, that is, a characteristic for each class.

도 5의 (2) 병변 판별 모델을 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층과 풀링층이 클래스간에 공유되고, 완전결합층은 클래스별로 제공된다. 이때, 완전결합층이 클래스별로 제공되기 때문에, 특성 M과 SM의 예측 확률의 합은 100퍼센트이고, 특성 D와 UD의 예측 확률의 합은 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 보다 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층이 클래스간에 공유되기 때문에 보다 계산량을 감소시키면서도 클래스간의 연관성을 반영시킬 수 있다.Referring to the lesion discrimination model of FIG. 5 (2), in the one-to-many model, some layers, ie, a convolutional layer and a pooling layer, are shared between classes, and a fully coupled layer is provided for each class. In this case, since the fully coupled layer is provided for each class, the sum of the predicted probabilities of the features M and SM is 100%, and the sum of the predicted probabilities of the features D and UD is 100%. Accordingly, since the prediction result in class I and the prediction result in class II are respectively provided, more accurate prediction results can be obtained. In addition, since the convolution layer is shared between classes, it is possible to reflect the correlation between classes while further reducing the amount of computation.

도 15는 본 발명의 실시예에 따른 신경망 모델(121a)의 구조를 나타내는 도면이다. 도 15에서 NT개의 클래스(T1, T2, ... Tt, ... TNT)가 존재하고, 클래스 T1에는 2가지의 특성이 속하고, 클래스 T2에는 2가지의 특성이 속하고, 클래스 Tt에는 n가지의 특성이 속하고, 클래스 TNT에는 3가지의 특성이 속하는 것으로 가정하였다.15 is a diagram illustrating a structure of a neural network model 121a according to an embodiment of the present invention. In FIG. 15 , NT classes (T 1 , T 2 , ... T t , ... T NT ) exist, class T 1 includes two characteristics, and class T 2 includes two characteristics. It is assumed that n types of characteristics belong to class T t , and 3 types of characteristics belong to class T NT .

도 15를 참조하면, 본 발명의 실시예에 따른 신경망 모델(121a)은, 입력 영상 (xi)에 대해 컨볼루션 연산을 수행하기 위한 컨볼루션층(10)과, 상기 컨볼루션층(10)의 출력(oconv)에 대해 풀링을 수행하기 위한 풀링층(20)과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층(20)의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(30)을 포함한다. Referring to FIG. 15 , a neural network model 121a according to an embodiment of the present invention includes a convolution layer 10 for performing a convolution operation on an input image xi, and A pooling layer 20 for performing pooling on an output (oconv), each corresponding to a plurality of classes into which complex characteristics are classified, and a weight w fc (T t ) for each class for the output of the pooling layer 20 )) to output a value multiplied by a plurality of class-specific perfect coupling layers 30 .

신경망 모델(121a)은, 상기 복수의 클래스별 완전결합층(30)에 각각 대응하며 각 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기(40)를 더 포함할 수 있다. The neural network model 121a corresponds to the plurality of class-specific fully-coupled layers 30, respectively, and a plurality of class-specific classifiers 40 for calculating class-specific characteristic probabilities according to the output of each class-specific fully coupled layer 30. may further include.

컨볼루션층(10)은 입력 영상에 대해 복수의 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행함으로써 특징맵을 추출한다. 도 15에 도시된 바와 같이 컨볼루션 연산은 복수회 수행될 수 있다. 컨볼루션층(10)의 출력, 즉 특징맵(oconv)은 높이(H), 너비(W), 채널 수(C)를 갖는 것으로 가정하였다.The convolution layer 10 extracts a feature map by performing a convolution operation on the input image using a plurality of convolution filters. As shown in FIG. 15 , the convolution operation may be performed multiple times. It is assumed that the output of the convolution layer 10, that is, the feature map oconv, has a height (H), a width (W), and the number of channels (C).

풀링층(20)은 컨볼루션층(10)과 완전결합층(30)의 사이에 위치하며, 특징맵(oconv)의 크기를 감소시켜 후술하는 완전결합층(30)에서 필요한 연산을 감소시키고, 오버피팅을 방지하는 역할을 한다. 풀링층(20)은 특징맵(oconv)의 각 채널에 대해 평균값을 출력하는 전체 평균 풀링(Global Average Pooling)을 수행할 수 있다.The pooling layer 20 is located between the convolutional layer 10 and the fully coupled layer 30, and reduces the size of the feature map (oconv) to reduce the calculation required in the fully coupled layer 30 to be described later, It serves to prevent overfitting. The pooling layer 20 may perform global average pooling of outputting an average value for each channel of the feature map (oconv).

클래스별 완전결합층(30)은 풀링층(20)의 출력에 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))를 곱한 값을 출력한다. 이 때, 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))의 각각은 채널 수에 해당하는 복수의 값일 수 있다. The class-specific fully coupled layer 30 outputs to the output of the pooling layer 20 the weights for each class (w fc (T 1 ), w fc (T 2 ), ... w fc (T t ), ... w fc (T NT )) multiplied by At this time, each of the weights for each class (w fc (T 1 ), w fc (T 2 ), ... w fc (T t ), ... w fc (T NT )) is a plurality of channels corresponding to the number of channels. can be the value of

클래스별 분류기(40)는 클래스별 완전결합층(30)에 각각 대응하며, 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산한다. 도 15를 참조하면, 클래스 T1에 해당하는 분류기는 클래스 T1에 속하는 특성들 각각에 해당하는 확률(P1(T1), P2(T1))을 연산하고, 클래스 T2에 해당하는 분류기는 클래스 T2에 속하는 특성들 각각에 해당하는 확률(P1(T2), P2(T2))을 연산하고, 클래스 Tt에 해당하는 분류기는 클래스 Tt에 속하는 특성들 각각에 해당하는 확률(P1(Tt), P2(Tt), ... Pn(Tt))을 연산하고, 클래스 TNT에 해당하는 분류기는 클래스 TNT에 속하는 특성들 각각에 해당하는 확률(P1(TNT), P2(TNT), P3(TNT))을 연산한다. 클래스별 분류기(40)로서 예를 들어 Softmax 함수, Sigmoid 함수 등이 이용될 수 있다.The classifier 40 for each class corresponds to the fully coupled layer 30 for each class, and calculates the characteristic probability for each class according to the output of the perfectly coupled layer 30 for each class. 15, the sorter for the class T 1 corresponds to the class T probability corresponding to the characteristic of belonging to the 1 (P 1 (T 1) , P 2 (T 1)) computing a, and class T 2 classifier computes the probability (P 1 (T 2 ), P 2 (T 2 )) corresponding to each feature belonging to class T 2 , and the classifier corresponding to class T t calculates the probability of each feature belonging to class T t . probability that corresponds to the sorter for calculating the (P 1 (T t), P 2 (T t), ... Pn (T t)) and corresponds to the class T NT is equivalent to each of the attributes belonging to the class T NT Calculate the probability (P 1 (T NT ), P 2 (T NT ), P 3 (T NT )). As the classifier 40 for each class, for example, a Softmax function, a Sigmoid function, or the like may be used.

이상 설명된 실시 형태는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터로 판독가능한 기록매체에 기록될 수 있다. 상기 컴퓨터로 판독가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The embodiments described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

컴퓨터로 판독가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 실행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, and a magneto-optical medium such as a floppy disk. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

본 명세서의 양상들은 전체적으로 하드웨어, 전체적으로 소프트웨어 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 함) 또는 컴퓨터 판독 가능 프로그램 코드가 구현 된 하나 이상의 컴퓨터 판독 가능 매체에 구현 된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.Aspects of this specification may take the form of a computer program product embodied on one or more computer readable media embodied in hardware entirely, software entirely (including firmware, resident software, microcode, etc.) or computer readable program code. .

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in one embodiment of the present invention, and are not necessarily limited to one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by those of ordinary skill in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.

Claims (10)

병변을 검출하기 위한 영상 수신 장치에 있어서,
의료 영상 장치로부터 복수의 병변 영역을 포함하는 영상 프레임을 수신하는 통신부;
상기 영상 프레임에 대한 전처리를 수행하여 상기 복수의 병변 영역 각각에 대응하는 전처리 이미지들을 획득하고, 상기 전처리 이미지들 각각에 대해 상기 병변을 검출하기 위해 구현된 복수의 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하며, 상기 결과값들에 대한 후처리를 수행하는 제어부; 및
상기 후처리 수행 결과들을 상기 영상 프레임 상에 오버랩하여 출력하기 위한 디스플레이부;를 포함하고,
상기 복수의 신경망 모델 각각은 (a) 병변의 검출 모델, (b) 상기 병변의 종류 판별 모델, (c) 상기 영상 프레임 상의 상기 병변의 위치 정보 판별 모델, (d) 상기 병변의 위치 정보에 대응하는 상기 병변과 관련된 검사 진행 여부 판별 모델, (e) 권장 검사 시간 알림 모델, 및 (f) 병변 발생의 위험 알림 모델 중 어느 하나이며,
상기 통신부는 상기 영상 프레임을 복수 개 수신하고,
상기 제어부는 상기 (c)를 이용한 상기 연산이 수행되는 상기 복수 개의 영상 프레임의 누적 결과를 기초로 소정 시간이 경과하였는지 여부를 판단하며, 판단 정보를 기초로 상기 병변의 위치 정보에 대응하는 상기 병변과 관련된 검사 진행 여부를 판별하는,
영상 수신 장치.
An image receiving device for detecting a lesion, comprising:
a communication unit configured to receive an image frame including a plurality of lesion regions from a medical imaging apparatus;
Pre-processing the image frame to obtain pre-processed images corresponding to each of the plurality of lesion regions, and performing an operation using a plurality of neural network models implemented to detect the lesion for each of the pre-processed images. a control unit that outputs values and performs post-processing on the result values; and
a display unit for outputting the results of the post-processing to be overlapped on the image frame; and
Each of the plurality of neural network models corresponds to (a) a detection model of the lesion, (b) a type determination model of the lesion, (c) a location information determination model of the lesion on the image frame, and (d) location information of the lesion. Any one of a model for determining whether to proceed with the examination related to the lesion, (e) a recommended examination time notification model, and (f) a risk notification model for lesion occurrence,
The communication unit receives the plurality of image frames,
The control unit determines whether a predetermined time has elapsed based on a result of the accumulation of the plurality of image frames on which the calculation using (c) is performed, and the lesion corresponding to the location information of the lesion based on the determination information Determining whether to proceed with the related inspection,
video receiving device.
 제 1항에 있어서,
상기 복수의 신경망 모델 각각을 이용한 상기 연산을 통해 서로 상이한 종류의 결과값들을 출력하는,
영상 수신 장치.
The method of claim 1,
Outputting different types of result values through the calculation using each of the plurality of neural network models,
video receiving device.
 제 2항에 있어서,
상기 전처리는 전처리 모듈에 의해 수행되고 상기 후처리는 후처리 모듈에 의해 수행되며,
상기 복수의 신경망 모델 중 적어도 일부에 각각 상이한 전처리 모듈과 상이한 후처리 모듈을 이용하여 상기 연산을 수행하는,
영상 수신 장치.
3. The method of claim 2,
The pre-processing is performed by the pre-processing module and the post-processing is performed by the post-processing module,
Performing the calculation using a different pre-processing module and a different post-processing module for at least some of the plurality of neural network models,
video receiving device.
 삭제delete 삭제delete 제 1항에 있어서,
상기 의료 영상 장치는 소화기관을 촬영하고,
상기 제어부는 상기 소화기관이 절개된 형상의 이미지와 함께 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 인디케이터를 생성하고,
상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 복수의 인디케이터를 출력하는,
영상 수신 장치.
The method of claim 1,
The medical imaging device captures the digestive organs,
The control unit generates a plurality of indicators corresponding to the result values output by performing the calculation on each of the plurality of lesion regions together with the image of the shape in which the digestive organs are cut,
The display unit outputs the plurality of indicators on an image of a shape in which the digestive organs are cut,
video receiving device.
 제 6항에 있어서,
상기 복수의 인디케이터 각각의 형태가 상이한,
영상 수신 장치.
7. The method of claim 6,
The form of each of the plurality of indicators is different,
video receiving device.
 제 1항에 있어서,
상기 제어부는 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 항목을 상기 디스플레이부 상에 상이한 색상들로 표시하는,
영상 수신 장치.
The method of claim 1,
The control unit displays a plurality of items corresponding to the result values output by performing the operation on each of the plurality of lesion regions in different colors on the display unit,
video receiving device.
 제 8항에 있어서,
상기 의료 영상 장치는 소화기관을 촬영하고,
상기 제어부는, 상기 복수의 항목 중, 상기 복수의 병변 영역 중 어느 하나에 대한 상기 연산이 수행되어 출력된 결과값에 대응하는 특정 항목을 상기 디스플레이부 상에 제1 색상으로 표시하고,
상기 제어부는, 상기 소화기관이 절개된 형상의 이미지와 함께 상기 결과값에 대응하는 인디케이터를 상기 제1 색상과 동일한 색상으로 생성하고,
상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 인디케이터를 표시하는,
영상 수신 장치.
9. The method of claim 8,
The medical imaging device captures the digestive organs,
The control unit, among the plurality of items, displays a specific item corresponding to a result value output by performing the operation on any one of the plurality of lesion regions in a first color on the display unit,
The control unit generates an indicator corresponding to the result value in the same color as the first color together with the image of the shape in which the digestive system is cut,
The display unit displays the indicator on the image of the cut-out shape of the digestive system,
video receiving device.
 제 1항에 있어서,
상기 제어부는 상기 복수의 병변 영역 각각에 대한 상기 연산이 수행되어 출력된 상기 결과값들에 대응하는 복수의 항목 중, 상기 복수의 병변 영역 중 어느 하나에 대한 상기 연산이 수행되어 출력된 일부 결과값들에 대응하는 일부 특정 항목만을 상기 디스플레이부 상에 상이한 색상들로 표시하는,
영상 수신 장치.The method of claim 1,
The control unit is a partial result value output by performing the operation on any one of the plurality of lesion regions among a plurality of items corresponding to the result values output by performing the operation on each of the plurality of lesion regions Displaying only some specific items corresponding to the items in different colors on the display unit,
video receiving device.
KR1020200161840A 2020-11-27 2020-11-27 An image receiving device that calculates an image including a plurality of lesions using artificial intelligence KR102270669B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200161840A KR102270669B1 (en) 2020-11-27 2020-11-27 An image receiving device that calculates an image including a plurality of lesions using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161840A KR102270669B1 (en) 2020-11-27 2020-11-27 An image receiving device that calculates an image including a plurality of lesions using artificial intelligence

Publications (2)

Publication Number Publication Date
KR102270669B1 true KR102270669B1 (en) 2021-06-29
KR102270669B9 KR102270669B9 (en) 2021-11-19

Family

ID=76626284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161840A KR102270669B1 (en) 2020-11-27 2020-11-27 An image receiving device that calculates an image including a plurality of lesions using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102270669B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134586A (en) * 2019-11-28 2019-12-04 연세대학교 산학협력단 Method for predicting diseases and device for predicting diseases using the same
KR20200038120A (en) * 2018-10-02 2020-04-10 한림대학교 산학협력단 Apparatus and method for diagnosing gastric lesion using deep learning of endoscopic images
KR20200041813A (en) * 2018-10-11 2020-04-22 (주)제이엘케이인스펙션 Apparatus for learning deep learning model for cancer region and method for the same
KR20200080626A (en) * 2018-12-27 2020-07-07 연세대학교 산학협력단 Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
JP2020168372A (en) * 2019-04-04 2020-10-15 オプトス ピーエルシー Predicting pathological condition from medical image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200038120A (en) * 2018-10-02 2020-04-10 한림대학교 산학협력단 Apparatus and method for diagnosing gastric lesion using deep learning of endoscopic images
KR20200041813A (en) * 2018-10-11 2020-04-22 (주)제이엘케이인스펙션 Apparatus for learning deep learning model for cancer region and method for the same
KR20200080626A (en) * 2018-12-27 2020-07-07 연세대학교 산학협력단 Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
JP2020168372A (en) * 2019-04-04 2020-10-15 オプトス ピーエルシー Predicting pathological condition from medical image
KR20190134586A (en) * 2019-11-28 2019-12-04 연세대학교 산학협력단 Method for predicting diseases and device for predicting diseases using the same

Also Published As

Publication number Publication date
KR102270669B9 (en) 2021-11-19

Similar Documents

Publication Publication Date Title
TWI793337B (en) Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
TWI813696B (en) Systems and methods for processing real-time video from a medical image device and detecting objects in the video
Zhang et al. Automatic detection and classification of colorectal polyps by transferring low-level CNN features from nonmedical domain
Sánchez-Montes et al. Computer-aided prediction of polyp histology on white light colonoscopy using surface pattern analysis
KR102209382B1 (en) Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
Li et al. Attention-guided convolutional neural network for detecting pneumonia on chest x-rays
JP7167515B2 (en) Identification device, program, identification method, information processing device and identification device
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
US10265040B2 (en) Method and apparatus for adaptive computer-aided diagnosis
US20100183210A1 (en) Computer-assisted analysis of colonic polyps by morphology in medical images
KR102531400B1 (en) Artificial intelligence-based colonoscopy diagnosis supporting system and method
KR102600401B1 (en) Apparatus, method and computer program for anayzing medical image using classification and segmentation
US20170018076A1 (en) Method and apparatus for planning Computer-Aided Diagnosis
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Domingues et al. Computer vision in esophageal cancer: a literature review
KR102536369B1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method
KR102270669B1 (en) An image receiving device that calculates an image including a plurality of lesions using artificial intelligence
KR102268771B1 (en) Method for providing a user interface using the data receiving apparatus based on the image processing of the AI and Apparatus for using the same
CN115965617A (en) Digestive tract endoscopy auxiliary system based on integrated learning
Sindhu et al. A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images
JP2024507290A (en) Method and system for breast ultrasonic image diagnosis using weakly-supervised deep learning artificial intelligence ial intelligence}
KR102253398B1 (en) Method for providing user interface through artificial intelligence-based image processing and user events, and image receiving apparatus using the method
KR102360615B1 (en) Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images
KR102262684B1 (en) Image Processing Method based on Artificial Intelligence of Image Receiving Device
KR102259797B1 (en) User event detection method through image analysis and device performing the method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant