KR102639202B1 - 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 - Google Patents
의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102639202B1 KR102639202B1 KR1020220126784A KR20220126784A KR102639202B1 KR 102639202 B1 KR102639202 B1 KR 102639202B1 KR 1020220126784 A KR1020220126784 A KR 1020220126784A KR 20220126784 A KR20220126784 A KR 20220126784A KR 102639202 B1 KR102639202 B1 KR 102639202B1
- Authority
- KR
- South Korea
- Prior art keywords
- control signal
- affected area
- cleaning
- medical image
- washing water
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 title claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 96
- 238000004140 cleaning Methods 0.000 claims abstract description 70
- 238000005406 washing Methods 0.000 claims abstract description 65
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 52
- 238000005507 spraying Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 9
- 239000008280 blood Substances 0.000 claims description 8
- 210000004369 blood Anatomy 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000001939 inductive effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002496 gastric effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011888 autopsy Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Endoscopes (AREA)
Abstract
본 개시의 일 실시예에 따른 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 내시경 장치의 제어 방법은, 상기 내시경 장치로부터 촬영된 의료 영상을 수신하는 단계, 학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척이 필요한지 여부를 결정하는 단계 및 환부의 세척이 필요한 경우, 환부의 세척이 필요한 경우, 소화기 내부에 세척수가 공급되도록 상기 내시경 장치를 제어하는 단계를 포함하는 것을 특징으로 한다.
Description
본 개시는 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 구체적으로 인공지능 모델을 이용하여 세척수를 공급하도록 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
내시경은 수술을 하거나 부검을 하지 않고 스코프를 신체에 삽입하여 장기를 관찰하는 의료기구를 통칭한다. 내시경은 인체 내부로 스코프를 삽입하고, 빛을 조사하여 내벽의 표면에서 반사된 빛을 가시화한다. 목적 및 신체 부위에 따라 내시경의 종류가 구분되며, 크게 내시경 관이 금속으로 형성된 경성 내시경(Rigid Endoscope)과 소화기 내시경으로 대표되는 연성 내시경(flexible endoscope)으로 구분될 수 있다.
연성 내시경 장치는 내부에 다양한 장치들을 포함하므로 충격에 약하고, 연성 내시경이 삽입되는 소화기 내부 역시 매우 연약한 조직이며 비정형적인 형태를 띈다. 또한 환자에 따라 소화기 내부의 형태가 상이하므로 경험이 많은 의료진이라고 하더라도 내시경 삽입 과정이 쉽지 않을 수 있다.
이러한 상황에서 의료진은 내시경을 안전하게 삽입하고, 병변을 탐색하기 위해 신경을 집중해야 하므로 내시경 시술을 반복적으로 수행하는 경우 의료진의 피로도가 매우 증가할 수밖에 없다. 따라서 의료진의 편의성을 증가시키기 위해 내시경 시술을 보조할 수 있는 기술이 요구된다.
본 개시는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공지능 모델을 이용하여 내시경 장치의 워터 펌프를 제어하기 위한 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 내시경 장치의 제어 방법이 개시된다. 상기 방법은 상기 내시경 장치로부터 촬영된 의료 영상을 수신하는 단계, 학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척이 필요한지 여부를 결정하는 단계 및 환부의 세척이 필요한 경우, 소화기 내부에 세척수가 공급되도록 상기 내시경 장치를 제어하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 학습된 인공지능 모델은, 상기 의료 영상의 환부 주변에서 이물질 및 혈액 중 적어도 하나가 검출되는 경우, 상기 환부의 세척이 필요한 경우로 결정하도록 학습된 것을 특징으로 한다.
대안적으로, 상기 제어하는 단계는, 상기 내시경 장치의 출력부를 통해 세척수 분사를 유도하는 알람을 제공하는 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 환부의 세척을 위해 필요한 상기 세척수의 양을 계산하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 생성하는 단계는, 상기 계산된 세척수의 양만큼의 세척수 분사를 유도하는 상기 알람을 제공하는 상기 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 내시경 장치의 제어 방법이 개시된다. 상기 방법은 상기 내시경 장치로부터 촬영된 의료 영상을 수신하는 단계, 학습된 인공지능 모델을 이용하여, 상기 의료 영상을 촬영한 렌즈의 세척이 필요한지 여부를 결정하는 단계 및 렌즈의 세척이 필요한 경우, 세척수를 공급하는 상기 내시경 장치의 워터 펌프가 개방되도록 제1 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 학습된 인공지능 모델은, 상기 의료 영상에서 이물질이 검출되는 경우 및 상기 의료 영상의 초점이 흐린 경우 중 적어도 하나를 상기 렌즈의 세척이 필요한 경우로 결정하도록 학습된 것을 특징으로 한다.
대안적으로, 미리 설정된 시간이 지난 후, 상기 워터 펌프가 차단되도록 제2 제어 신호를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 렌즈의 세척을 위해 필요한 상기 세척수의 양을 계산하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 계산된 세척수의 양만큼의 세척수 분사가 완료되면, 상기 워터 펌프를 차단하는 제2 제어 신호를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 내시경 장치를 제어하기 위한 컴퓨팅 장치가 개시된다. 상기 장치는, 상기 내시경 장치로부터 촬영된 의료 영상을 저장하는 메모리 및 학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척 및 상기 의료 영상을 촬영한 렌즈의 세척 중 적어도 하나가 필요한지 여부를 결정하고, 결정에 따라 상기 내시경 장치를 제어하기 위한 신호를 생성하는 프로세서를 포함하는 것을 특징으로 한다.
대안적으로, 상기 프로세서는, 상기 환부의 세척이 필요하다고 결정한 경우, 상기 내시경 장치의 출력부에 세척수 분사를 유도하는 알람이 출력되도록 제어 신호를 생성하는 것을 특징으로 한다.
대안적으로, 상기 프로세서는, 상기 렌즈의 세척이 필요하다고 결정한 경우, 상기 내시경 장치의 워터 펌프가 개방되도록 제어 신호를 생성하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 의료 영상 기반으로 내시경 장치를 제어하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 내시경 장치로부터 촬영된 의료 영상을 수신하는 동작, 학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척 및 상기 의료 영상을 촬영한 렌즈의 세척 중 적어도 하나가 필요한지 여부를 결정하는 동작 및 결정에 따라 상기 내시경 장치를 제어하기 위한 신호를 생성하는 동작을 포함하는 것을 특징으로 한다.
본 개시의 실시예에 따르면, 의료진이 내시경 시술을 수행하는 동안 세척이 필요한 상황을 정확하게 파악하여 적절한 세척을 수행하므로 시술의 정확도가 증가되고, 내시경 장치의 내구성이 향상될 수 있다.
또한 본 개시의 실시예에 따른 내시경 시스템은, 인공지능 모델을 이용한 판단을 통해 의료 보조 행위를 제공함으로써 내시경 시술을 수행하는 의료진의 피로도를 감소시키고, 시술 과정에서의 편의성을 증가시킬 수 있다.
도 1은 본 개시의 일 실시예에 따른 내시경 시스템의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 내시경 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이다.
도 4는 본 개시의 일 실시예에 따른 인공지능 모델의 학습 데이터를 나타내는 예시도이다.
도 5 및 도 6은 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 내시경 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이다.
도 4는 본 개시의 일 실시예에 따른 인공지능 모델의 학습 데이터를 나타내는 예시도이다.
도 5 및 도 6은 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상"을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제1 구성요소 혹은 제2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제1 구성요소 혹은 제2 구성요소로 구별될 수도 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)"는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
본 개시에서 사용되는 "영상"이라는 용어는 이산적 이미지 요소들로 구성된 다차원 데이터를 지칭할 수 있다. 다시 말해, "영상"은 사람의 눈으로 볼 수 있는 대상의 디지털 표현물을 지칭하는 용어로 이해될 수 있다. 예를 들어, "영상"은 2차원 이미지에서 픽셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다. "영상"은 3차원 이미지에서 복셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 내시경 시스템의 블록도이다.
도 1을 참조하면, 내시경 시스템(10)은 의료 영상을 획득하는 내시경 장치(100)와 내시경 장치(100)로부터 의료 영상을 수신하여 분석하고, 의료 영상을 기초로 내시경 장치(100)를 제어하는 컴퓨팅 장치(200)를 포함한다. 내시경 장치(100)의 구성에 대해서는 도 2를 통해 자세히 후술한다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(200)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(200)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(200)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 상술한 기재는 컴퓨팅 장치(200)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다. 상술한 기재는 컴퓨팅 장치(200)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(200)는 프로세서(processor)(210), 메모리(memory)(220), 및 네트워크부(network unit)(230)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(200)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(210)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(210)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(210)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(210)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(210)의 종류는 하나의 예시일 뿐이므로, 프로세서(210)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
프로세서(210)는 의료 영상, 예를 들어 내시경 영상을 학습 데이터로 하여 인공지능 모델을 학습시킬 수 있다. 구체적으로 프로세서(210)는 내시경 영상에서 환부를 검출하고, 환부 주변에 이물질 또는 혈액이 존재하는지 검출하도록 인공지능 모델을 학습시킬 수 있다. 본 명세서에서 환부는 병변 및 이의 주변부를 의미하며, 병변은 표재성 병변, 용종 등의 이형성 병변을 포괄하여 지칭할 수 있다. 프로세서(210)는 내시경 영상에 이물질이 존재하는지 또는 내시경 영상의 초점이 흐린지 여부를 판단하도록 인공지능 모델을 학습시킬 수 있다.
프로세서(210)는 환부 주변에 이물질 또는 혈액이 존재하는 경우를 환부 세척이 필요한 경우로 판단하고, 내시경 영상에 이물질이 존재하는 경우 또는 내시경 영상의 초점이 흐린 경우를 렌즈 세척이 필요한 경우로 판단하도록 인공지능 모델을 학습시킬 수 있다. 이때 프로세서(210)는 환부 세척의 필요 여부와 렌즈 세척의 필요 여부를 판단하는 하나의 인공지능 모델을 학습시키거나, 각각의 경우에 대응되는 복수의 인공지능 모델을 학습시킬 수 있다.
프로세서(210)는 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또는 별다른 지도없이 데이터 인식을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 데이터 인식을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또는 학습에 따른 데이터 인식의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인공지능 모델을 학습시킬 수 있다.
인공지능 모델은 적어도 하나의 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network), 트랜스포머(transformer)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(210)는 학습이 완료된 인공지능 모델에 내시경 영상을 입력하여, 내시경 영상으로부터 환부 세척이 필요한 경우 또는 렌즈 세척이 필요한 경우를 결정할 수 있다.
프로세서(210)는 인공지능 모델의 출력값을 기초로 내시경 장치(100)를 제어하기 위한 신호를 생성할 수 있다. 구체적으로 프로세서(210)는 환부 세척 및 렌즈 세척 중 적어도 하나를 수행하기 위한 제어 신호를 생성할 수 있다.
인공지능 모델에 의해 환부 세척이 필요하다고 경우, 프로세서(210)는 환부 세척을 위한 세척수를 공급하기 위해, 워터 펌프를 제어하기 위한 신호를 생성할 수 있다. 또는 내시경 장치(100)를 사용하는 의료진으로 하여금 환부에 세척수를 공급하도록 안내를 제공할 수 있다.
인공지능 모델에 의해 렌즈 세척이 필요하다고 경우, 프로세서(210)는 렌즈 세척을 위한 세척수를 공급하기 위해, 워터 펌프를 제어하기 위한 신호를 생성할 수 있다.
한편 인공지능 모델은 환부 또는 렌즈의 세척이 필요한지 여부를 결정하고, 추가로 세척에 필요한 세척수의 양을 추론할 수 있다.
예를 들어, 인공지능 모델은 환부의 종류, 환부의 크기, 이물질의 종류, 이미지의 흐린 정도 등을 기초로 세척수의 양을 추론할 수 있다. 프로세서(210)는 추론된 세척수의 양에 기초하여 워터 펌프를 제어하는 신호를 생성할 수 있다. 즉 프로세서(210)는 추론된 만큼의 세척수가 공급되도록, 워터 펌프의 개폐를 제어하는 신호를 생성할 수 있다.
프로세서(210)는 인공지능 모델의 출력 결과를 기초로, 내시경 장치(100)를 제어하기 위한 제어 신호를 직접 생성하거나 내시경 장치(100)가 제어 신호를 생성하도록 명령할 수 있다.
본 개시의 실시예에 따른 내시경 시스템(10)은, 의료진이 내시경 시술을 수행하는 동안 세척이 필요한 상황을 정확하게 파악하여 적절한 세척을 수행하므로 시술의 정확도가 증가되고, 내시경 장치(100)의 내구성이 향상될 수 있다.
또한 본 개시의 실시예에 따른 내시경 시스템(10)은, 인공지능 모델을 이용한 판단을 통해 의료 보조 행위를 제공함으로써 내시경 시술을 반복하는 의료진의 피로도를 감소시키고, 시술 과정에서의 편의성이 증대될 수 있다.
본 개시의 일 실시예에 따른 메모리(220)는 컴퓨팅 장치(200)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(220)는 프로세서(210)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(230)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(220)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(220)의 종류는 하나의 예시일 뿐이므로, 메모리(220)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(220)는 프로세서(210)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(210)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화하여 관리할 수 있다. 또한 메모리(220)는 프로세서(210)가 학습 데이터를 생성하도록 동작시키는 프로그램 코드를 저장할 수 있다.
메모리(220)는 내시경 장치(100)로부터 촬영된 의료 영상을 저장하고, 이를 기초로 프로세서(210)에서 생성된 제어 신호를 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(230)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(230)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(230)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(230)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(210)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(230)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(210)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(230)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버 또는 내시경 장치(100) 등과의 통신을 통해, 의료 영상을 수신할 수 있다. 네트워크부(230)는 전술한 시스템, 서버, 혹은 내시경 장치(100) 등과의 통신을 통해, 프로세서(210)의 연산을 통해 생성된 각종 데이터를 송신할 수 있다.
한편 도 1에서 내시경 장치(100)와 컴퓨팅 장치(200)가 구분되는 것으로 표현되었으나, 이는 예시적인 것이며 컴퓨팅 장치(200)는 내시경 장치(100) 내부에 구비되어 내시경 장치(100)의 일부를 구성할 수도 있다.
도 2는 본 개시의 일 실시예에 따른 내시경 장치의 블록도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 내시경 장치(100)는 연성 내시경(flexible endoscope), 구체적으로 소화기 내시경일 수 있다. 내시경 장치(100)는 소화기 내부를 촬영한 의료 영상을 획득할 수 있는 구성 및 필요한 경우 도구를 삽입하여 의료 영상을 보면서 치료 또는 처치를 수행할 수 있는 구성을 포함할 수 있다.
내시경 장치(100)는 출력부(110), 제어부(120), 구동부(130), 펌프부(140) 및 스코프(150)를 포함할 수 있다.
출력부(110)는 의료 영상을 표시하는 디스플레이를 포함할 수 있다. 출력부(110)는 액정 디스플레이(LCD: liquid crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD: thin film transistor-liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등과 같이 시각화 된 정보를 출력하거나 터치 스크린(touch screen)을 구현할 수 있는 디스플레이 모듈을 포함할 수 있다.
출력부(110)는 의료 영상에 대한 정보를 제공하는 다양한 수단을 포함할 수 있다. 예를 들어 의료 영상에 대한 알람을 청각적으로 제공하는 스피커를 포함할 수 있다.
출력부(110)는 스코프(150)에서 획득한 의료 영상 또는 제어부(120)에서 처리된 의료 영상을 표시할 수 있다. 출력부(110)는 의료 영상을 표시하고, 상기 의료 영상이 인공지능 모델에 의해 세척이 필요하다고 판단된 경우 세척이 수행되어야 함을 안내하는 정보를 표시하거나, 세척이 수행되는 상태에 대한 정보를 표시할 수 있다. 출력부(110)는 세척이 진행되는 동안 워터 펌프의 상태를 안내하는 정보를 표시할 수 있다.
한편, 도 2에서는 하나의 출력부(110)가 도시되었으나 출력부(110)의 개수는 복수개일 수 있다. 이 경우 스코프(150)에서 획득한 의료 영상이 표시되는 출력부와 제어부(120)에 의해 처리된 정보가 표시되는 출력부가 구분될 수 있다.
제어부(120)는 내시경 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예시적인 실시예에 따르면, 제어부(120)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치일 수 있다. 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치가 포함될 수 있으나, 본 개시의 기술적 사상이 이에 한정되는 것은 아니다.
제어부(120)는 스코프(150)와 연결되는 구동부(130)를 통해 스코프(150)의 움직임을 제어할 수 있다. 제어부(120)는 스코프(150)를 통해 소화기 내부를 촬영하기 위한 각종 제어 동작을 수행할 수 있다. 제어부(120)는 스코프(150)를 통해 획득한 의료 영상의 다양한 처리를 수행할 수 있다. 제어부(120)는 컴퓨팅 장치로부터 수신한 제어 신호에 기초하여 내시경 장치(100)를 제어할 수 있다. 예를 들어 제어부(120)는 컴퓨팅 장치로부터 수신한 워터 펌프의 개폐 신호에 따라 워터 펌프를 개방하거나 폐쇄할 수 있다.
구동부(130)는 스코프(150)가 신체 내부로 삽입되거나, 신체 내부에서 움직이는 과정에 필요한 동력을 제공할 수 있다. 예를 들어, 구동부(130)는 스코프(150) 내부의 와이어와 연결되는 복수의 모터 및 와이어의 장력을 조절하는 장력 조절부를 포함할 수 있다. 구동부(130)는 복수의 모터 각각의 동력을 제어하여 스코프(150)를 다양한 방향으로 제어할 수 있다.
한편, 도 2에서 제어부(120)와 구동부(130)는 별개의 구별된 하드웨어로 도시되었으나, 이에 제한되지 않는다. 예를 들어 제어부(120)와 구동부(130)는 하나의 하드웨어에 구비될 수도 있으며 2개 이상의 하드웨어에 구비될 수 있다. 2개 이상의 하드웨어에 구비되는 경우, 제어부(120)의 구성의 일부, 구동부(130)의 구성의 일부가 물리적으로 나누어질 수 있다.
펌프부(140)는 스코프(150)를 통해 신체 내부로 공기를 주입하는 에어 펌프, 음압 또는 진공을 제공하여 스코프(150)를 통해 신체 내부로부터 공기를 흡입하는 석션(suction) 펌프 및 스코프(150)를 통해 신체 내부로 세척수를 주입하는 워터 펌프 중 적어도 하나를 포함할 수 있다. 각 펌프는 유체의 흐름을 제어하기 위한 밸브를 포함할 수 있다. 펌프부(140)는 제어부(120)에 의해 개폐될 수 있다.
본 개시의 실시예에 따르면, 워터 펌프는 컴퓨팅 장치의 제어 신호 또는 제어부(120)의 제어에 기초하여 개폐될 수 있다. 한 실시예로서 워터 펌프는 컴퓨팅 장치 또는 제어부(120)에서 미리 설정된 시간만큼 개방을 지시하는 제어 신호를 수신할 수 있다. 다른 실시예로서 워터 펌프는 컴퓨팅 장치 또는 제어부(120)에서 미리 설정된 양의 세척수가 공급되도록, 세척수 양에 대응되는 만큼의 개방을 지시하는 제어 신호를 수신할 수 있다. 이에 따라 워터 펌프는 환부 세척 또는 렌즈 세척에 적절한 양의 세척수를 소화기 내부로 공급할 수 있다. 환부 세척 또는 렌즈 세척이 필요하다고 판단된 경우 워터 펌프는 개방되고 세척이 완료된 경우 워터 펌프는 폐쇄될 수 있다.
스코프(150)는 소화기 내부로 삽입되는 삽입부(152) 및 삽입부(152)의 움직임을 제어하고, 소화기 내부에서 각종 시술을 수행하도록 사용자로부터 입력을 수신하는 조작부(151)를 포함할 수 있다.
삽입부(152)는 유연하게 휘어질 수 있도록 구성되며, 일단이 구동부(130)와 연결됨으로써 구동부(130)에 의해 휘어짐의 정도 또는 방향이 결정될 수 있다. 삽입부(152) 말단에서 의료 영상 촬영 및 시술이 이루어지므로, 스코프(150)는 삽입부(152) 말단까지 연장되는 여러 케이블 및 튜브를 포함할 수 있다.
스코프(150) 내부에 광원(153), 렌즈(154), 워킹 채널(155) 및 에어, 워터 채널(156)이 구비될 수 있다. 워킹 채널(155)을 통해 내시경 시술 과정에서 병변의 치료 및 처치를 위한 도구가 삽입될 수 있다. 에어, 워터 채널(156)을 통해 공기가 주입되고, 세척수가 공급될 수 있다. 즉 워터 펌프를 통해 공급되는 세척수는, 에어, 워터 채널(156)을 통해 소화기 내부로 분사될 수 있다. 환부 세척이 필요한 경우 세척수는 환부를 향해 분사될 수 있고, 렌즈 세척이 필요한 경우 세척수는 렌즈(154)를 향해 분사될 수 있다.
한편, 도 2에서는 세척수가 공급되는 통로로써 에어, 워터 채널(156)이 도시되었으나, 이에 제한되는 것은 아니다. 예시적으로 스코프(150) 내부에 별도의 워터젯 채널(미도시)이 구비될 수 있고, 워터젯 채널을 통해서도 세척수가 공급될 수 있다.
조작부(151)는 내시경 시술자가 삽입부(152)의 조향을 제어하고, 워킹 채널(155) 및 에어, 워터 채널(156)을 통해 시술을 수행하도록 각종 기능들을 제공하는 복수의 입력 버튼들을 포함할 수 있다. 환부 세척이 필요하다고 판단된 경우, 내시경 시술자는 출력부(110)의 알람을 통해 세척수 공급이 필요함을 파악할 수 있다. 이에 따라 내시경 시술자는 조작부(151)를 통해 에어, 워터 채널(156)로 세척수가 공급되도록 워터 펌프를 개방할 수 있다.
한편, 전술한 제어부(120)의 동작은 구동부(130)에 의해서 수행될 수 있으며 이를 위해 구동부(130)는 마이크로프로세서, CPU 등의 필요한 처리 장치를 갖출 수 있다. 이 경우 제어부(120)는 스코프(150)를 통해 획득한 의료 영상의 처리를 수행하고, 구동부(130)는 컴퓨팅 장치로부터 수신한 제어 신호에 기초하여 내시경 장치(100)를 제어할 수 있다.
도 3은 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이고, 도 4는 본 개시의 일 실시예에 따른 인공지능 모델의 학습 데이터를 나타내는 예시도이다.
도 3을 참조하면, 인공지능 모델(300)은 의료 영상(400) 및 내시경 영상에 대한 라벨을 학습 데이터로써 입력받을 수 있다. 의료 영상(400)은 소화기 내시경을 통해 촬영된 내시경 영상일 수 있다. 라벨은 해당 의료 영상(400)에 환부 세척이 필요한지 여부 및 렌즈 세척이 필요한지 여부를 나타내는 정보를 포함할 수 있다.
도 4를 참조하면, 제1 의료 영상(410)은 환부 및 환부 주변에 혈액을 포함한다. 따라서 제1 의료 영상(410)은 환부 세척이 필요한 것으로 라벨링될 수 있다. 제2 의료 영상(420)은 스코프 말단의 렌즈에 액체가 고여 초점이 흐린 화면을 나타낸다. 따라서 제2 의료 영상(420)은 렌즈 세척이 필요한 것으로 라벨링될 수 있다. 제3 의료 영상(430)은 환부를 포함하지 않고, 초점이 선명한 화면을 나타낸다. 따라서 제3 의료 영상(430)은 환부 세척 및 렌즈 세척이 필요하지 않은 것으로 라벨링될 수 있다. 라벨링 작업은 의료진에 의해 수행되거나, 라벨링을 위한 별도의 인공지능 모델이 사용될 수 있다.
학습이 완료된 인공지능 모델(300)은 의료 영상을 입력받고, 해당 의료 영상이 촬영된 상태에서 환부 세척이 필요한지 여부 및 렌즈 세척이 필요한지 여부를 결정할 수 있다.
본 개시의 실시예에 따르면, 인공지능 모델(300)은 내시경 장치로부터 획득한 의료 영상을 프레임 단위로 수신하고, 이에 대한 판단 결과를 내시경 장치로 제공할 수 있다. 이에 따라 내시경 시술이 이루어지는 동안에 상술한 동작들이 반복적으로 수행되므로, 의료진의 사용 편의성이 증대될 수 있다.
한편 도 3에서는 인공지능 모델(300)이 환부 세척 필요 여부 및 렌즈 세척 필요 여부를 모두 결정하는 것으로 도시되었으나, 인공지능 모델(300)은 환부 세척 필요 여부 및 렌즈 세척 필요 여부를 각각 판단하는 복수의 인공지능 모델들을 포함할 수 있다.
도 5는 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.
도 5를 참조하면, 컴퓨팅 장치는 내시경 장치로부터 촬영된 의료 영상을 수신할 수 있다(S110). 예시적으로 내시경 장치는 소화기 내시경일 수 있다.
컴퓨팅 장치는 인공지능 모델을 이용하여 환부의 세척이 필요한지 여부를 결정할 수 있다(S120). 예시적으로 인공지능 모델은, 의료 영상의 환부 주변에서 이물질 및 혈액 중 적어도 하나가 검출되는 경우, 환부의 세척이 필요한 경우로 결정하도록 학습이 완료된 상태일 수 있다. 예시적으로, 컴퓨팅 장치는 환부의 세척을 위해 필요한 세척수의 양을 계산할 수 있다.
환부의 세척이 필요한 경우, 컴퓨팅 장치는 소화기 내부에 세척수가 공급되도록 내시경 장치를 제어할 수 있다(S130). 예시적으로 컴퓨팅 장치는 내시경 장치의 출력부를 통해 세척수 분사를 유도하는 알람을 제공하는 제어 신호를 생성하고, 내시경 장치로 제어 신호를 제공할 수 있다. 한편 S120 단계에서 세척수의 양이 계산된 경우, 컴퓨팅 장치는 계산된 양만큼의 세척수 분사를 유도하는 알람을 제공하도록 제어 신호를 생성할 수 있다.
S130 단계 이후에 컴퓨팅 장치는 의료 영상을 기초로 환부 세척이 완료되었는지 판단하고, 이에 따라 세척수의 공급을 중단하도록 내시경 장치를 제어할 수 있다.
또한 S110 단계 내지 S130 단계는 내시경 시술이 종료되기 전까지 반복적으로 수행될 수 있다.
도 6은 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.
도 6을 참조하면, 컴퓨팅 장치는 내시경 장치로부터 촬영된 의료 영상을 수신할 수 있다(S210). 예시적으로 내시경 장치는 소화기 내시경일 수 있다.
컴퓨팅 장치는 인공지능 모델을 이용하여 렌즈의 세척이 필요한지 여부를 결정할 수 있다(S220). 예시적으로 인공지능 모델은, 의료 영상에서 이물질이 검출되는 경우 및 상기 의료 영상의 초점이 흐린 경우 중 적어도 하나를 렌즈의 세척이 필요한 경우로 결정하도록 학습이 완료된 상태일 수 있다. 예시적으로, 컴퓨팅 장치는 렌즈의 세척을 위해 필요한 세척수의 양을 계산할 수 있다.
컴퓨팅 장치는 내시경 장치의 워터 펌프를 개방하는 제1 제어 신호를 생성할 수 있다(S230).
컴퓨팅 장치는 미리 설정된 시간이 지난 후, 내시경 장치의 워터 펌프를 차단하는 제2 제어 신호를 생성할 수 있다(S240). 예시적으로 미리 설정된 시간은 고정된 값이거나 S220 단계에서 계산된 세척수 양에 따라 결정될 수 있다. 한편 S220 단계에서 세척수의 양이 계산된 경우, 컴퓨팅 장치는 계산된 양만큼의 세척수 분사가 완료되면, 워터 펌프를 차단하도록 제2 제어 신호를 생성할 수 있다.
도 5의 단계들 및 도 6의 단계들이 개별적으로 구분되어 도시되었으나, 각 단계들은 병렬적으로 수행될 수 있다. 즉 인공지능 모델이 환부 세척 필요 여부 및 렌즈 세척 필요 여부 중 적어도 하나를 결정하고, 컴퓨팅 장치는 결과에 따라 내시경 장치를 제어할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
10: 내시경 시스템
100: 내시경 장치
110: 출력부
120: 제어부
130: 구동부
140: 펌프부
150: 스코프
151: 조작부
152: 삽입부
153: 광원
154: 렌즈
155: 워킹 채널
156: 에어, 워터 채널
200: 컴퓨팅 장치
210: 프로세서
220: 메모리
230: 네트워크부
300: 인공지능 모델
400: 의료 영상
410: 제1 의료 영상
420: 제2 의료 영상
430: 제3 의료 영상
100: 내시경 장치
110: 출력부
120: 제어부
130: 구동부
140: 펌프부
150: 스코프
151: 조작부
152: 삽입부
153: 광원
154: 렌즈
155: 워킹 채널
156: 에어, 워터 채널
200: 컴퓨팅 장치
210: 프로세서
220: 메모리
230: 네트워크부
300: 인공지능 모델
400: 의료 영상
410: 제1 의료 영상
420: 제2 의료 영상
430: 제3 의료 영상
Claims (14)
- 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 내시경 장치의 제어 방법으로서,
상기 내시경 장치로부터 촬영된 의료 영상을 수신하는 단계;
학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척이 필요한지 여부 및 렌즈의 세척이 필요한지 여부를 결정하는 단계; 및
환부의 세척이 필요한 경우, 환부 세척을 위해 필요한 세척수 양을 계산하는 단계;
계산된 양만큼 세척수 분사를 유도하기 위한 제1 제어 신호를 생성하는 단계;
렌즈의 세척이 필요한 경우, 상기 내시경 장치의 워터 펌프의 개방을 지시하는 제2 제어 신호를 생성하는 단계; 및
상기 내시경 장치의 워터 펌프를 차단하는 제3 제어 신호를 생성하는 단계;
를 포함하고,
상기 인공지능 모델은,
이물질이 검출되거나 초점이 흐린 의료 영상으로서, 렌즈 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 렌즈의 세척이 필요한 경우로 판단하도록 학습되고,
환부를 포함하며, 환부 주변에서 이물질 또는 혈액이 검출되는 의료 영상으로서, 환부 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 환부의 세척이 필요한 경우로 판단하도록 학습되고,
상기 제1 제어 신호 및 상기 제2 제어 신호는,
미리 계산된 양의 세척수를 공급하는 신호 또는 상기 미리 계산된 양에 따라 결정된 시간만큼 상기 워터 펌프의 개방을 지시하는 신호를 포함하고
상기 내시경 장치는,
상기 제1 제어 신호 또는 상기 제2 제어 신호에 기초하여 스코프 내부의 워터 채널을 통해 세척수를 공급하고, 상기 제3 제어 신호에 기초하여 상기 워터 펌프를 차단하는 것을 특징으로 하는 방법. - 삭제
- 제1항에 있어서,
상기 제1 제어 신호를 생성하는 단계는,
상기 내시경 장치의 출력부를 통해 세척수 분사를 유도하는 알람을 제공하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 삭제
- 제3항에 있어서,
상기 알람을 제공하는 단계는,
상기 계산된 세척수의 양만큼의 세척수 분사를 유도하는 상기 알람을 제공하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 제2 제어 신호를 생성하는 단계는,
상기 렌즈의 세척을 위해 필요한 상기 세척수의 양을 계산하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
상기 제3 제어 신호를 생성하는 단계는,
상기 렌즈의 세척을 위해 계산된 세척수의 양만큼의 세척수 분사가 완료되면, 상기 워터 펌프를 차단하는 상기 제3 제어 신호를 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 방법. - 내시경 장치를 제어하기 위한 컴퓨팅 장치로서,
상기 내시경 장치로부터 촬영된 의료 영상을 저장하는 메모리; 및
학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척 및 상기 의료 영상을 촬영한 렌즈의 세척 중 적어도 하나가 필요한지 여부를 결정하고, 결정에 따라 상기 내시경 장치를 제어하기 위한 신호를 생성하는 프로세서;
를 포함하고,
상기 프로세서는,
환부의 세척이 필요한 경우, 환부 세척을 위해 필요한 세척수 양을 계산하고, 계산된 양만큼 세척수 분사를 유도하기 위한 제1 제어 신호를 생성하고,
렌즈의 세척이 필요한 경우, 상기 내시경 장치의 워터 펌프의 개방을 지시하는 제2 제어 신호를 생성하고,
상기 내시경 장치의 워터 펌프를 차단하는 제3 제어 신호를 생성하고,
상기 인공지능 모델은,
이물질이 검출되거나 초점이 흐린 의료 영상으로서, 렌즈 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 렌즈의 세척이 필요한 경우로 판단하도록 학습되고,
환부를 포함하며, 환부 주변에서 이물질 또는 혈액이 검출되는 의료 영상으로서, 환부 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 환부의 세척이 필요한 경우로 판단하도록 학습되고,
상기 제1 제어 신호 및 상기 제2 제어 신호는,
미리 계산된 양의 세척수를 공급하는 신호 또는 상기 미리 계산된 양에 따라 결정된 시간만큼 상기 워터 펌프의 개방을 지시하는 신호를 포함하고,
상기 내시경 장치는,
상기 제1 제어 신호 또는 상기 제2 제어 신호에 기초하여 스코프 내부의 워터 채널을 통해 세척수를 공급하고, 상기 제3 제어 신호에 기초하여 상기 워터 펌프를 차단하는 것을 특징으로 하는 장치. - 제11항에 있어서,
상기 프로세서는,
상기 환부의 세척이 필요하다고 결정한 경우,
상기 내시경 장치의 출력부에 세척수 분사를 유도하는 알람이 출력되도록 상기 제1 제어 신호를 생성하는 것을 특징으로 하는 장치. - 삭제
- 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 의료 영상 기반으로 내시경 장치를 제어하기 위한 동작들을 수행하도록 하며,
상기 동작들은,
내시경 장치로부터 촬영된 의료 영상을 수신하는 동작;
학습된 인공지능 모델을 이용하여, 상기 의료 영상에 표현되는 환부의 세척 및 상기 의료 영상을 촬영한 렌즈의 세척 중 적어도 하나가 필요한지 여부를 결정하는 동작;
환부의 세척이 필요한 경우, 환부 세척을 위해 필요한 세척수 양을 계산하는 동작;
계산된 양만큼 세척수 분사를 유도하기 위한 제1 제어 신호를 생성하는 동작;
렌즈의 세척이 필요한 경우, 상기 내시경 장치의 워터 펌프의 개방을 지시하는 제2 제어 신호를 생성하는 동작; 및
상기 내시경 장치의 워터 펌프를 차단하는 제3 제어 신호를 생성하는 동작;
을 포함하고,
상기 인공지능 모델은,
이물질이 검출되거나 초점이 흐린 의료 영상으로서, 렌즈 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 렌즈의 세척이 필요한 경우로 판단하도록 학습되고,
환부를 포함하며, 환부 주변에서 이물질 또는 혈액이 검출되는 의료 영상으로서, 환부 세척이 필요한 것으로 라벨링 된 의료 영상을 학습 데이터로 하여 환부의 세척이 필요한 경우로 판단하도록 학습되고,
상기 제1 제어 신호 및 상기 제2 제어 신호는,
미리 계산된 양의 세척수를 공급하는 신호 또는 상기 미리 계산된 양에 따라 결정된 시간만큼 상기 워터 펌프의 개방을 지시하는 신호를 포함하고,
상기 내시경 장치는,
상기 제1 제어 신호 또는 상기 제2 제어 신호에 기초하여 스코프 내부의 워터 채널을 통해 세척수를 공급하고, 상기 제3 제어 신호에 기초하여 상기 워터 펌프를 차단하는 것을 특징으로 하는 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220126784A KR102639202B1 (ko) | 2022-10-05 | 2022-10-05 | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220126784A KR102639202B1 (ko) | 2022-10-05 | 2022-10-05 | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102639202B1 true KR102639202B1 (ko) | 2024-02-21 |
Family
ID=90052599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220126784A KR102639202B1 (ko) | 2022-10-05 | 2022-10-05 | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102639202B1 (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003199705A (ja) * | 2002-01-07 | 2003-07-15 | Pentax Corp | 内視鏡の洗浄水噴射装置 |
| JP2011036552A (ja) * | 2009-08-17 | 2011-02-24 | Hoya Corp | 内視鏡システム |
| US20110237880A1 (en) * | 2010-03-23 | 2011-09-29 | Andrew Hamel | Method and system for video based image detection/identification analysis for fluid and visualization control |
| JP2015027324A (ja) * | 2013-07-30 | 2015-02-12 | パナソニック株式会社 | 内視鏡 |
| KR102185886B1 (ko) | 2020-05-22 | 2020-12-02 | 주식회사 웨이센 | 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치 |
| KR20210083201A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 엠티이지 | 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법 |
| KR20210122472A (ko) * | 2020-04-01 | 2021-10-12 | 한국전기연구원 | 내시경 영상 품질 개선 방법, 장치 및 시스템 |
| JP2022137276A (ja) * | 2018-11-22 | 2022-09-21 | 富士フイルム株式会社 | 内視鏡関連業務システム |
-
2022
- 2022-10-05 KR KR1020220126784A patent/KR102639202B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003199705A (ja) * | 2002-01-07 | 2003-07-15 | Pentax Corp | 内視鏡の洗浄水噴射装置 |
| JP2011036552A (ja) * | 2009-08-17 | 2011-02-24 | Hoya Corp | 内視鏡システム |
| US20110237880A1 (en) * | 2010-03-23 | 2011-09-29 | Andrew Hamel | Method and system for video based image detection/identification analysis for fluid and visualization control |
| JP2015027324A (ja) * | 2013-07-30 | 2015-02-12 | パナソニック株式会社 | 内視鏡 |
| JP2022137276A (ja) * | 2018-11-22 | 2022-09-21 | 富士フイルム株式会社 | 内視鏡関連業務システム |
| KR20210083201A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 엠티이지 | 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법 |
| KR20210122472A (ko) * | 2020-04-01 | 2021-10-12 | 한국전기연구원 | 내시경 영상 품질 개선 방법, 장치 및 시스템 |
| KR102185886B1 (ko) | 2020-05-22 | 2020-12-02 | 주식회사 웨이센 | 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Garcia-Peraza-Herrera et al. | Toolnet: holistically-nested real-time segmentation of robotic surgical tools | |
| US10646288B2 (en) | Automated steering systems and methods for a robotic endoscope | |
| US11681952B2 (en) | System for augmenting image data of medically invasive devices using optical imaging | |
| US20210272679A1 (en) | Ultrasound image recognition systems and methods utilizing an artificial intelligence network | |
| US11771318B2 (en) | Method for supporting reading of fundus image of subject, and device using same | |
| JP2021503122A (ja) | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 | |
| WO2017220788A1 (en) | System and method for artificial agent based cognitive operating rooms | |
| US11364629B2 (en) | Data-driven position estimation and collision detection for flexible manipulator | |
| KR102496672B1 (ko) | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| EP4078445A1 (en) | Medical image analysis using machine learning and an anatomical vector | |
| KR102639202B1 (ko) | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| US20220284577A1 (en) | Fundus image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
| KR102584741B1 (ko) | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| US20220095889A1 (en) | Program, information processing method, and information processing apparatus | |
| Zhang et al. | Deep reinforcement learning-based control for stomach coverage scanning of wireless capsule endoscopy | |
| KR102553961B1 (ko) | 의료 영상 기반으로 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| KR102495838B1 (ko) | 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| Luo et al. | Monocular endoscope 6-DoF tracking with constrained evolutionary stochastic filtering | |
| KR102588866B1 (ko) | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 | |
| KR102683543B1 (ko) | 내시경 스코프의 제어를 위한 토크 생성 방법, 프로그램 및 장치 | |
| US20230060613A1 (en) | Blood parameter assessment systems and methods | |
| US20230066948A1 (en) | Ultrasound guidance method and system | |
| Singh | Real-time Control of Angioplasty Balloon Inflation for Beating Heart Model | |
| Boudjaj et al. | Adaptive Reinforcement Learning for Medical Robotics and Telemedicine: A Literature Review | |
| KR102641346B1 (ko) | 혈관 검출 방법 및 이를 수행하는 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |