KR102287364B1 - 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 - Google Patents
인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR102287364B1 KR102287364B1 KR1020190042410A KR20190042410A KR102287364B1 KR 102287364 B1 KR102287364 B1 KR 102287364B1 KR 1020190042410 A KR1020190042410 A KR 1020190042410A KR 20190042410 A KR20190042410 A KR 20190042410A KR 102287364 B1 KR102287364 B1 KR 102287364B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- neural network
- image
- time
- series pattern
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 103
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 64
- 239000002775 capsule Substances 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 230000000306 recurrent effect Effects 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 210000000056 organ Anatomy 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 29
- 201000010099 disease Diseases 0.000 claims description 16
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000001678 irradiating effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004020 luminiscence type Methods 0.000 description 3
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 206010022699 Intestinal stenosis Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010033372 Pain and discomfort Diseases 0.000 description 1
- 206010061549 Sensation of foreign body Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
본 개시는, 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템을 제공한다. 이 시스템은, 인체 장기의 복수의 이미지를 촬영하고, 인체 내부의 원형 이미지를 획득하는 캡슐형 내시경, 캡슐형 내시경에 의해 촬영된 원형의 이미지를 보정하고, 평면 이미지로 변환하는 전처리부, 상기 전처리 된 복수의 이미지 각각의 특징을 추출하는 콘볼루션 신경망부, 상기 추출된 복수의 특징의 시계열적 패턴 특징을 추출하는 순환 신경망부, 상기 시계열적 패턴 특징의 값을 임계값과 비교하는 병변구간 감지부, 상기 촬영된 복수의 이미지 중에서, 상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하는 디스플레이부, 및 상기 복수의 이미지, 상기 추출된 복수의 특징 및 상기 복수의 특징에서 추출한 시계열적 패턴을 저장하는 저장부를 포함한다.
Description
본 개시는 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법에 관한 것으로, 보다 상세하게는, 콘볼루션 신경망과 순환 신경망을 이용하여 캡슐 내시경을 통해 수집한 체내 이미지들에서 병변을 감지하는 시스템 및 방법에 관한 것이다.
일반적으로, 신체 내부의 상태 진단이나 병변 감지를 위해 내시경이 사용될 수 있다. 신체 내부의 이미지를 획득하기 위한 내시경 검진 방법으로는, 카메라가 부착된 연성의 관을 환자의 입이나 항문을 통해 소화기관 등으로 투입하여 내부를 촬영하는 방법이 많이 사용된다. 그러나, 이와 같은 내시경 검진 방법으로는 소장과 같이 좁고 길이가 길면서 복잡하게 구부러진 소화 기관의 내부 관찰에 한계가 있었다. 이러한 문제점을 해결하고자 개발된 캡슐형 내시경은, 알약 모양의 직경 약 9~11mm, 길이 약 24mm~26mm의 초소형 내시경으로, 알약과 같이 환자가 삼키기만 하면 내시경의 카메라가 위, 소장 및/또는 대장과 같은 장기 내부의 이미지를 수집하면서, 외부의 수신기로 전송한다. 진단자는 캡슐 내시경이 전송한 체내 이미지를 비디오 화면 및/또는 컴퓨터 모니터를 통해 관찰하면서 장기들의 내부 상태를 직접 살펴볼 수 있다. 또한, 캡슐형 내시경은 외부장치와 무선 통신을 하고 그 크기가 매우 작기 때문에, 환자들이 기존 내시경 검사에서 느끼던 이물감 및 고통이 해소될 수 있다.
일반적으로 캡슐 내시경은 다양한 소화기관들을 모두 통과하는데 약 8~10시간 정도 소요하고, 체내를 통과하는 동안에 평균적으로 6만장의 이미지를 촬영하게 된다. 따라서, 진단자는 캡슐 내시경이 촬영한 방대한 양의 이미지를 모두 관찰하여 진단하기 위해 장시간의 진료 시간이 필요하게 된다. 이러한 진단자의 오랜 진료 시간은 피검자에 대한 진료비를 증가시키는 원인이 되기 때문에, 피검자의 거부감이 없이 간편하고 정밀하게 진단할 수 있다는 장점에도 불구하고 높은 비용으로 인하여 대중화되지 못하는 문제점이 있다.
또한, 캡슐형 내시경의 촬상 이미지를 통한 진단자의 관찰 시 병증 또는 병변(장의 협착, 출혈, 암)이 발견될 경우, 진단자는 병증 부위를 정확히 파악하여 병증에 대한 처치(즉각적인 조치나 시술)를 할 필요가 있다. 그러나, 진단자는 병증을 촬상한 시점에 대한 캡슐 내시경의 위치를 정확히 알 수 없게 때문에 처치를 위한 병증 부위를 정확하게 파악하기 위해 기존의 소화기 내시경 또는 별도의 정밀 검사를 실시해야 한다는 번거로움이 있다.
종래의 캡슐형 내시경을 이용한 병변 감지 방법에 따르면, 캡슐형 내시경을 통해 수집한 신체 내부의 이미지를 진단자가 직접 관찰하면서 병변 감지와 진단이 수행되기 때문에, 많은 시간과 비용이 소요되고, 진단자에게 과도한 업무 부담을 초래할 수 있다. 또한, 숙련된 진단자라고 하더라도 개인적인 지식이나 경험에 의존하는 주관적 판단을 수행하기 때문에 동일한 신체 내부 이미지에서 서로 다른 진단 결과가 도출되는 문제가 발생할 수 있다. 따라서, 기존의 캡슐형 내시경을 이용한 병변 감지의 문제점들을 극복하고, 진단자가 효율적으로 이미지 분석을 수행하여 환자에게 정확한 병변 감지 결과를 제공할 필요성이 있다.
본 명세서에 개시되는 실시예들은, 캡슐형 내시경을 통해 환자의 신체 내부 이미지를 획득하고, 획득한 이미지를 콘볼루션 신경망과 순환 신경망을 이용하여 분석하여 병변을 감지하는 시스템 및 방법을 제공한다. 또한, 본 개시의 실시예들은, 콘볼루션 신경망과 순환 신경망을 이용하여 감지한 병변의 이미지를 디스플레이부에 디스플레이함으로써 진단자가 효율적으로 병변 이미지에 기초한 최종 진단을 제공할 수 있는 시스템 및 방법을 제공하고자 한다.
본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템은, 캡슐형 내시경에 의해 촬영된 복수의 이미지 각각의 특징을 추출하며, 추출된 복수의 특징의 시계열적 패턴 특징을 추출하고, 시계열적 패턴 특징의 값을 임계값과 비교하고, 촬영된 복수의 이미지 중에서 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하고, 복수의 이미지, 추출된 복수의 특징 및 복수의 특징에서 추출한 시계열적 패턴을 저장한다.
본 개시의 다른 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법은, 캡슐형 내시경을 이용하여, 인체 장기의 복수의 이미지를 촬영하는 단계, 촬영된 복수의 이미지 각각의 특징을 추출하는 단계, 추출된 복수의 특징의 시계열적 패턴 특징을 추출하는 단계, 시계열적 패턴 특징의 값을 임계값과 비교하는 단계, 촬영된 복수의 이미지 중에서, 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하는 단계, 복수의 이미지, 추출된 복수의 특징 및 복수의 특징에서 추출한 시계열적 패턴을 저장하는 단계를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 캡슐형 내시경을 통해 수집한 신체 내부의 이미지를 콘볼루션 신경망과 순환 신경망을 이용하여 분석하여 병변을 감지하여, 병변이 감지된 이미지들을 디스플레이하기 때문에, 진단자가 효율적으로 최종 진단을 내릴 수 있는 기초 정보를 제공할 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템의 개략도이다.
도 2는 본 개시의 일 실시예에 따른 캡슐형 내시경의 구조도이다.
도 3은 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지이다.
도 4는 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지에 대해 전처리 및 특징 추출 프로세스를 실행한 결과 이미지이다.
도 5는 본 개시의 일 실시예에 따른 콘볼루션 신경망의 구성을 나타내는 구조도이다.
도 6은 본 개시의 일 실시예에 따른 순환 신경망의 구성을 나타내는 구조도이다.
도 7은 본 개시의 일 실시예에 따른 순환 신경망의 결과값이 임계값을 초과하는 경우 병변 구간을 나타내는 그래프이다.
도 8은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법을 나타내는 순서도이다.
도 9는 본 개시의 일 실시예에 따라 감지된 병변을 포함하는 이미지와 병변구간을 디스플레이부의 화면을 나타내는 예시도이다.
도 10은 본 개시의 일 실시예에 따른 질병 선택을 통해 임계값이 자동으로 설정되는 디스플레이부의 화면을 나타내는 예시도이다.
도 11은 본 개시의 일 실시예에 따른 임계값 조절을 통해 출력되는 이미지 수를 변경하는 디스플레이부의 화면을 나타내는 예시도이다.
도 1은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템의 개략도이다.
도 2는 본 개시의 일 실시예에 따른 캡슐형 내시경의 구조도이다.
도 3은 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지이다.
도 4는 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지에 대해 전처리 및 특징 추출 프로세스를 실행한 결과 이미지이다.
도 5는 본 개시의 일 실시예에 따른 콘볼루션 신경망의 구성을 나타내는 구조도이다.
도 6은 본 개시의 일 실시예에 따른 순환 신경망의 구성을 나타내는 구조도이다.
도 7은 본 개시의 일 실시예에 따른 순환 신경망의 결과값이 임계값을 초과하는 경우 병변 구간을 나타내는 그래프이다.
도 8은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법을 나타내는 순서도이다.
도 9는 본 개시의 일 실시예에 따라 감지된 병변을 포함하는 이미지와 병변구간을 디스플레이부의 화면을 나타내는 예시도이다.
도 10은 본 개시의 일 실시예에 따른 질병 선택을 통해 임계값이 자동으로 설정되는 디스플레이부의 화면을 나타내는 예시도이다.
도 11은 본 개시의 일 실시예에 따른 임계값 조절을 통해 출력되는 이미지 수를 변경하는 디스플레이부의 화면을 나타내는 예시도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소데는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템은, 캡슐형 내시경을 통해 촬영된 인체 장기의 이미지를 전처리부를 통해 보정처리 및/또는 평면 이미지로 변환하고, 변환된 이미지의 특징 추출을 위해 콘볼루션 신경망을 이용한다. 또한, 이 시스템은, 콘볼루션 신경망을 이용하여 추출한 이미지의 특징의 시계열적 패턴 특징 추출을 위해 순환 신경망을 이용하고, 추출된 시계열적 패턴 특징의 값을 일정 값을 가지고 있는 임계값과 비교해 병변을 검출하여 진단자에게 병변의 이미지를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템(100)의 개략도이다. 도 1에 도시된 시스템(100)은, 캡슐형 내시경(110)을 통해 수집한 인체 내의 이미지를 무선 통신을 이용하여 병변감지 장치(120)로 전송할 수 있다. 본 개시에 있어서, "캡슐형 내시경"은, 환자가 알약처럼 삼키면 식도를 통과하여 위장, 소장, 대장 등과 같은 체내 기관을 통과하면서 체내 이미지를 촬영하여 전송함으로써, 의사와 같은 진단자가 촬영된 체내 이미지를 비디오 화면이나 컴퓨터 모니터를 통해 관찰하여 장기나 체강의 내부의 상태나 병변 여부를 진단할 수 있게 만든 최소형 내시경 장치를 지칭할 수 있다. 카메라가 부착된 연성 관을 포함하는 일반 내시경의 경우, 내시경이 체내에 삽입되어 있는 동안에 느끼는 고통과 불쾌감 등으로 인해 많은 환자들이 내시경 검사를 회피는 경우가 있다. 캡슐내시경은 이러한 일반 내시경의 단점을 보완하고, 특히 소화기관 가운데 가장 긴 소장 등의 질환 진단에 이용될 수 있도록 개발되었다. 일반적인 캡슐형 내시경은, 1초당 약 1.4장 ~ 2.8장의 영상을 촬영해 무선 통신장치를 통해 외부진단장치로 전송할 수 있다. 통상 캡슐형 내시경이 체내에 머무르는 시간이 약 8~10시간인 점을 고려하면, 총 6만 ~ 8만여장의 고감도 영상 정보를 외부진단장치로 전송하여 저장할 수 있다. 캡슐형 내시경이 체외로 배출되어 검사가 끝나면, 진단자가 외부진단장치에 저장된 영상정보를 모니터를 통해 관찰할 수 있다.
도 1에 도시된 바와 같이, 병변감지 장치(120)는, 통신부(122), 전처리부(132), 콘볼루션 신경망부(134), 순환 신경망부(136), 병변구간 감지부(138), 디스플레이부(140), 저장부(124)를 포함할 수 있다. 통신부(122)는, 캡슐형 내시경(110)을 통해 촬영한 인체 내부 이미지를 무선으로 수신하여 프로세서(130)에 전송할 수 있다.
일 실시예에 따르면, 캡슐형 내시경(110)은, 내시경 진행방향의 전면을 촬영하기 위한 이미지 센서(또는 카메라)를 구비하거나, 내시경 진행방향의 측면을 촬영하기 위한 이미지 센서(또는 카메라)를 구비할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 캡슐형 내시경(110)이 그 진행방향의 측면을 촬영하도록 구성된 경우, 내시경(110)의 측면 외부를 향해 배열된 광원을 통해 조사되어 인체 내부에서 반사된 광을 이미지 센서가 촬영할 수 있다. 이 경우, 인체 내부에서 반사되어 내시경의 측면으로 입사되는 광은, 내시경 진행 방향의 전면에 설치된 반사장치에 의해 반사되어, 내시경 진행 방향의 전면을 향해 배열된 이미지 센서에 의해 촬상될 수 있다. 이때, 이미지 센서는 대략 원형(또는 환형)의 체내 이미지를 촬영하는데, 이렇게 촬영된 원형의 체내 이미지는 통신부(122)를 통해 프로세서(130)에 전송될 수 있다.
프로세서(130)는, 전처리부(132), 콘볼루션 신경망부(134), 순환 신경망부(136), 병변구간 감지부(138), 디스플레이부(140)를 포함할 수 있다. 전처리부(132)는, 캡슐형 내시경(110)에 의해 촬영된 원형의 체내 이미지를 띠 형상 또는 직사각형의 체내 이미지로 변환할 수 있다. 추가적으로 또는 대안적으로, 전처리부(132)는, 체내 이미지의 병변 특성을 잘 표현할 수 있는 색상 및/또는 형상 특징을 강조하기 위한 이미지 보정을 실행하거나, 체내 이미지로부터 3차원 형상 정보를 추출하는 전처리를 진행할 수 있다.
캡슐형 내시경(110)을 통한 체내 이미지 촬영 및 수집 과정에서, 캡슐형 내시경의 이미지 센서를 포함한 전자회로에서 열에너지가 발생하기 때문에, 캡슐형 내시경이 촬상한 이미지에 열잡음이 생겨 이미지의 화질을 저하될 수 있다. 이러한 체내 이미지의 화질 저하를 보상하기 위해 전처리부(132)를 통해 이미지의 보정을 할 수 있다. 또한, 체내 이미지는, 캡슐형 내시경(110)의 진행방향의 전면에 배열된 반사장치와 대향하는 위치에 이미지 센서가 배열되어 있으므로, 인체 내부에서 반사된 광이 반사장치에서 다시 반사되어 이미지 센서에 의해 촬영되면, 촬영된 이미지의 중앙 부분은 반사장치의 중앙부 또는 반사장치에 의해 반사된 이미지 센서의 형태가 포함될 수 있다. 이 경우, 도 3에 도시된 바와 같이, 체내 이미지의 중앙이 어둡게 표시되거나 비어 있는 형태로 표현될 수 있다. 따라서, 체내 이미지의 중앙부의 내용은 인체 내부를 반영하는 것이 아니기 때문에, 분석대상에서 제거할 필요가 있다. 이를 위해 원형의 체내 이미지에서 중앙부를 제외한 나머지 환형의 이미지 부분을 평면 이미지로 변환하는 과정을 전처리부(132)를 통해 진행할 수 있다.
콘볼루션 신경망부(134)는, 콘볼루션 신경망을 이용하여 전처리부 (132)에서 보정 및/또는 평면 이미지로 변환한 체내 이미지를 분석하여 병변을 감지할 수 있다. 콘볼루션 신경망은, 이미지 패턴을 분석하는데 많이 사용되는 심층 신경망의 한 종류로, 이미지의 공간 정보를 유지한 상태로 특정 패턴을 학습할 수 있다. 콘볼루션 신경망부(134)는, 체내 이미지의 특징을 찾아내기 위해 콘볼루션(합성곱)과 서브샘플링 과정을 반복하는 신경망을 구성할 수 있다. 콘볼루션 신경망부(134)의 콘볼루션 과정에서, 체내 이미지의 처리를 위해 필터(filter)를 이용하는데, 필터(filter)는 일반적으로 정사각형의 행렬로 정의된다. 콘볼루션 신경망부(134)는 필터를 이용하여 체내 이미지를 지정된 간격으로 순회하며 구간별로 콘볼루션(합성곱)을 계산할 수 있다. 이러한 계산 과정을 통해 체내 이미지의 각 구간별로 피처 맵(feature map)을 생성하고, 각 구간의 피처 맵을 합산하여 최종 피처 맵을 생성할 수 있다. 최종 피처 맵을 생성한 후, 최종 피처 맵의 해당 영역의 최대치를 선택하여 크기를 줄이는 서브샘플링(subsampling)과정을 실행할 수 있다. 콘볼루션 신경망부(134)는, 체내 이미지에 대해, 콘볼루션 과정과 서브샘플링 과정을 반복하여, 체내 이미지의 특징만을 포함하는 1차원 행렬을 출력할 수 있다. 출력된 1차원 행렬은, 완전연결 신경망의 입력층에 입력되고, 완전연결 신경망은 입력값에 대응하는 체내 이미지의 특징을 나타내는 출력 값을 출력할 수 있다.
순환 신경망부(136)에서는, 콘볼루션 신경망부(134)에서 출력된 체내 이미지들의 특징 출력 값들의 시계열적 패턴 변화를 분석하여 병변 구간을 감지할 수 있다. 순환 신경망은, 문장이나 음성과 같이 순서가 있는 입력 정보에 있어서 시계열적 패턴 변화를 분석하는데 사용되는 심층 신경망의 한 종류이다. 순환 신경망은, 시계열 데이터와 같이 시간의 흐름에 따라 변화하는 데이터를 학습하는데, 기준 시점(t)의 과거 시점(t-1)와 다음 시점(t+1)을 상호 연결한 신경망으로 구성할 수 있다. 즉, 순환 신경망의 구조는, 입력층과 출력층, 은닉층으로 구성되어 있는데, 은닉층은 직전 시점(t-1)의 은닉층의 출력을 받아 갱신되어 출력층으로 전달되는 값을 생성할 수 있다. 순환 신경망부(136)는, 콘볼루션 신경망부(134)에서 출력되는 시간적으로 변화하는 체내 이미지들의 특징 출력 값들을 입력층에 입력하고, 직전 시점(t-1)의 은닉층의 출력을 받아 갱신된 은닉층을 이용하여 출력 값을 도출함으로써, 체내 이미지의 시간에 따른 시계열적 패턴 변화를 도출할 수 있다.
병변구간 감지부(138)는, 순환 신경망부(136)에서 도출한 체내 이미지의 시간에 따른 시계열적 패턴 변화를 나타내는 값을 임계값과 비교하여, 임계값 이상이 되는 시계열적 패턴 변화 구간을 병변구간으로 판단할 수 있다. 즉, 병변구간 감지부(138)는, 체내 이미지의 시간에 따른 시계열적 패턴 변화 값을 병변 판단 기준이 되는 기 설정 된 임계값과 비교하여, 기 설정 된 임계값보다 작은 값을 갖는 구간은 정상 상태를 나타내고, 기 설정 된 임계값보다 큰 값을 갖는 구간은 병변 부위가 있을 가능성이 높은 구간이라고 판단할 수 있다.
디스플레이부(140)는, 병변구간 감지부(138)에서 병변 구간에 대응된다고 판단한 체내 이미지를, 진단자가 분석 및 진단할 수 있도록 디스플레이에 출력 할 수 있다.
저장부(124)는, 통신부(122)를 통해 수신된 체내 이미지들을 저장할 수 있다. 또한, 저장부(124)는, 프로세서(130)의 전처리부(132), 콘볼루션 신경망부(134), 순환 신경망부(136), 병변구간 감지부(138), 디스플레이부(140)와 관련되어 발생한 데이터들을 저장할 수 있다.
이상 설명한 병변감지 장치(120)의 구성에 따르면, 프로세서(130)는, 캡슐형 내시경(110)에서 수집한 체내 이미지를 통신부(122)를 통해 수신하고, 통신부(122)를 통해 수신한 원형의 이미지는, 전처리부(132)를 통해 이미지 보정과 변환 과정을 거쳐 평면 이미지로 변환될 수 있다. 전처리부(132)가 체내 이미지에 대해 보정과 평면 이미지화 작업을 실행하면, 보정 및 변환된 평면 이미지는 콘볼루션 신경망(134)에 입력된다. 콘볼루션 신경망(134)는, 평면 이미지에 대한 합성곱 및 서브샘플링 과정을 반복하고, 최종적으로 완전연결 신경망에 의한 분석을 통해 체내 이미지의 특징을 산출한다. 또한, 순환 신경망(136)은, 순서가 있는 체내 이미지의 특징 값들을 입력으로 수신하여 분석함으로써, 체내 이미지의 시간에 따른 시계열적 패턴 변화를 출력할 수 있다. 출력된 체내 이미지의 시간에 따른 시계열적 패턴 변화 값은 병변구간 감지부(138)에서 임계값과 비교되며, 임계값 보다 큰 시계열적 패턴 변화 값을 갖는 구간은 병변 구간으로 식별되어, 디스플레이부(140)에 출력될 수 있다.
도 2는 본 개시의 일 실시예에 따른 캡슐형 내시경의 구조도이다. 도시된 바와 같이, 캡슐형 내시경(110)은, 광원(212), 이미지센서(214), 반사장치(216), 데이터 송신부(218)를 포함할 수 있다. 체내(230)로 들어간 캡슐형 내시경(110)은, 병변 조직 또는 정상 조직의 이미지를 포함하는 다양한 체내 이미지 데이터를 수집할 수 있다.
광원(212)은, 캡슐형 내시경(110)의 진행방향의 측면을 향해 광을 조사하여, 조사된 광을 내시경(110)에 측면에 대향하고 있는 체내(230)의 내부면에서 반사시킬 수 있다. 채내(230)의 내부면에서 반사된 광은, 반사장치(216)를 통해 다시 반사되어 이미지센서(214)로 입사될 수 있다. 이때, 반사장치(216)는, 전부 및/또는 일부가 광을 반사하는 특성을 가진 재료로 구성될 수 있다. 이미지센서(214)는, 반사장치(216)에서 반사된 광을 촬영하고 이미지로 변환하여, 데이터 송신부(218)를 통해 인체 외부의 기록장치 또는 병변감지 장치에 송신할 수 있다.
일 실시 예에서, 이미지센서(214)가 촬영한 체내 이미지는, 병변(220) 조직의 이미지를 포함할 수 있다. 캡슐형 내시경(110)의 광원(212)에서 조사되어 체내(230)에서 반사된 광은, 반사장치(216)에서 다시 한번 반사되어 캡슐형 내시경(110) 내의 이미지 센서(214)로 입사될 수 있다. 이때, 이미지 센서(214)로 입사되는 광은, 내시경(110)의 측면을 둘러싼 360도 전방위의 체내 내부면으로부터 반사된 광이기 때문에, 원형의 체내 이미지로 표현될 수 있다.
도 3은 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지이다. 캡슐형 내시경(110)의 반사장치(216)에서 바라보았을 때, 이미지센서(214)는 반사장치(216)와 대향하는 내시경 내부의 중앙에 위치하고 있으므로, 체내에서 반사된 광이 반사장치(216)에서 다시 반사되는 과정에서 이미지센서(214)의 형태도 같이 반사될 수 있다. 따라서, 이미지센서(214)에 의해 촬영된 체내 이미지(310, 312, 314, 316)는 그 중앙부분이 비어 있는 형태를 가질 수 있다.
일 실시예에서, 캡슐형 내시경(110)이 체내(230)를 이동하면서 그 주변의 이미지를 획득함에 따라, 내시경(110)은 시간에 따라 변화하는 패턴을 갖는 복수의 체내 이미지를 획득할 수 있다. 예를 들어, 캡슐형 내시경(110)이, t 시간에 병변(320)의 일부가 보이기 시작하는 체내 이미지(310)를 획득한다면, 시간이 경과함에 따라, 각각 t+1 시간 일 때 병변(320)이 좀 더 많이 보이는 체내 이미지(312), t+2 시간 일 때 병변(320)이 완전히 보이는 체내 이미지(314), t+3 시간 일 때 병변(320)의 일부가 사라지는 체내 이미지(316)를 획득할 수 있다.
도 4는 본 개시의 일 실시예에 따른 캡슐형 내시경을 통해 수집한 체내 이미지에 대해 전처리 및 특징 추출 프로세스를 실행한 결과 이미지이다. 도 3에서 획득한 체내 이미지(310, 312, 314, 316)는, 중앙이 비어 있거나 어두운 원형의 이미지이다. 따라서, 병변 진단의 편의를 위해, 체내 이미지의 중앙에 나타난 원형을 제거하고, 원형의 이미지를 평면의 이미지로 변환하는 보정 과정을 전처리부(132)를 통해 진행할 수 있다.
일 실시예에 따라, 체내 이미지의 보정을 위해, 내시경의 광원이 발광 된 상태에서 촬영된 체내 발광 이미지와, 광원이 무광인 상태에서 촬영된 체내 무광 이미지를 획득할 수 있다. 전처리부(132)는, 통신부(122)를 통해 체내 발광 이미지와 체내 무광 이미지를 수신하고, 체내 발광 이미지의 픽셀값에서 체내 무광 이미지의 픽셀값을 감산함으로써, 체내 발광 이미지에서 중앙의 어두운 부분을 삭제하는 보정을 실행할 수 있다. 또한, 전처리부(132)는, 캡슐형 내시경을 통해 수신한 원형의 체내 이미지(310, 312, 314, 316) 중, 어두운 중앙부를 둘러싼 안쪽 원의 둘레와, 바깥쪽 원의 반지름에서 안쪽 원의 반지름을 뺀 값을 각각 x, y좌표축으로 변환하는 전처리 작업을 수행함으로써, 평면 이미지(410, 412, 414, 416)를 획득할 수 있다.
즉, 도 3에서 획득한 시간이 t 일 때의 체내 이미지(310), 시간이 t+1 일 때의 체내 이미지(312), 시간이 t+2 일 때의 체내 이미지(314), 시간이 t+3 일 때의 체내 이미지(316)는, 전처리부(132)를 통하여, 각각 시간이 t 일 때의 체내 이미지(410), 시간이 t+1 일 때의 체내 이미지(412), 시간이 t+2 일 때의 체내 이미지(414), 시간이 t+3 일 때의 체내 이미지(416)로 변환될 수 있다. 체내 이미지(410, 412, 414, 416)에 있어서 병변(420)은, 시간이 경과함에 따라, 이미지의 하부에서 일부 나타나기 시작해서 그 전체 형상을 보인 후에 다시 이미지의 상부에서 일부 사라지는 시계열적 패턴을 보인다.
도 5는 본 개시의 일 실시예에 따른 콘볼루션 신경망(500)의 구성을 나타내는 구조도이다. 콘볼루션 신경망(500)은 콘볼루션 신경망부(134)에서 사용되어, 전처리부(132)에서 보정 및/또는 평면 이미지로 변환된 체내 이미지 각각에서 병변을 감지하기 위해 패턴 분석을 실행할 수 있다. 콘볼루션 신경망(500)은, 체내 이미지의 2차원적 특징을 찾아내기 위해 콘볼루션(합성곱)과 서브샘플링을 반복하는 과정을 실행할 수 있다.
도시된 바와 같이, 콘볼루션 신경망(500)은, 체내 이미지(510)에 대해 정사각형의 행렬로 정의된 필터(filter)를 이용하여 체내 이미지를 지정된 간격으로 순회하며 구간별로 콘볼루션(합성곱)을 계산할 수 있다. 콘볼루션(합성곱)을 통해 구간별로 피처 맵(feature map)이 생성되고, 각 구간의 피처 맵(feature map)을 합산하여 최종 피처 맵(512)이 생성될 수 있다. 최종 피처 맵(512)이 생성된 후, 최종 피처 맵(512)의 해당 영역의 최대치를 선택하여 크기를 줄이는 서브샘플링(subsampling, 520)과정을 통해 최종 피처 맵의 크기를 줄일 수 있다. 콘볼루션 신경망(500)은, 체내 이미지에 대해, 피처 맵(512, 514, 516)을 생성하는 콘볼루션(합성곱) 과정과 서브샘플링(520, 522)과정을 반복하여, 체내 이미지의 특징만 남기고 1차원 행렬을 출력할 수 있다. 또한, 완전연결 신경망(518)은 체내 이미지의 특징을 나타내는 1차원 행렬을 입력받아, 체내 이미지의 2차원적 특징을 나타내는 최종 출력값(x)을 생성한다.
일 실시 예에서, 도 4에서 획득한 시간이 t 일 때의 체내 이미지(410), 시간이 t+1 일 때의 체내 이미지(412), 시간이 t+2 일 때의 체내 이미지(414), 시간이 t+3 일 때의 체내 이미지(416) 각각을 콘볼루션 신경망(500)의 입력 값으로 입력할 수 있다. 입력된 각각의 체내 이미지(410, 412, 414, 416)는, 피처 맵(512, 514, 516)을 생성하는 콘볼루션(합성곱) 과정과 서브샘플링(520, 522) 과정을 반복하고, 최종적으로 완전연결 신경망(518)에 의한 특징 추출 과정을 거쳐, 체내 이미지의 2차원적 특징을 포함하는 t, t+1, t+2, t+3 시간 일 때의 출력값들(x)을 생성할 수 있다.
도 6은 본 개시의 일 실시예에 따른 순환 신경망(600)의 구성을 나타내는 구조도이다. 순환 신경망(600)은, 순환 신경망부(134)에서 사용되어, 콘볼루션 신경망부(134)에서 출력된 체내 이미지의 2차원적 특징들을 나타내는 출력값들에 기초하여 체내 이미지들의 시계열적 패턴 변화를 분석하여 병변 구간을 감지할 수 있다. 순환 신경망(600)은, 시계열 데이터와 같이 시간의 흐름에 따라 변화하는 데이터를 학습하고 인식하기 위한 인공신경망이다. 순환 신경망(600)은, 입력층(610)에 입력된 값(x)을 기초로 은닉층(620)의 활성화 함수를 통해 산출된 결과값을 출력층(630)으로 보내면서, 은닉층(620)은 자신의 상태값(은닉 상태값)을 다시 자신에게 보내서 다음 결과값의 산출에 사용한다. 이와 같이, 순환신경망(600)에 있어서 기준 시점(t)에서의 은닉층(620)의 뉴런은 이전 시점(t-1)에서 동일 뉴런에서 출력된 값을 계속해서 자신의 입력으로 보내는 재귀적 계산과정을 실행함으로써, 입력(x)의 시간 경과에 따른 변화 패턴을 출력(y)으로 표현할 수 있다.
또한, 순환 신경망(600)은, 각 계층마다 서로 다른 매개변수를 가지는 일반적 다중계층신경망과는 달리 각 계층마다 동일한 매개변수들 또는 그 매개변수들의 적어도 일부를 공유할 수 있다. 순환 신경망(600)은, 각 계층마다 적어도 일부의 매개변수를 공유함에 따라 학습 대상 매개변수의 개수가 크게 감소하여 학습 시간이 감소될 수 있다. 이때, 순환 신경망(600)은, 매개변수를 변경함에 따라 결과값 산출을 다르게 표현할 수 있다.
일 실시예에서, 순환 신경망(600)은, 콘볼루션 신경망부(134)에서 출력된 체내 이미지의 2차원적 특징을 나타내는 값들(
)을 입력층(610)에 입력하고, 직전 시점(t-1)의 은닉 상태를 받아 갱신된 은닉층(610)의 출력 값(
)을 산출함으로써, 체내 이미지의 시간에 따른 시계열적 패턴 변화를 도출할 수 있다.
다른 실시예에서, 사용자는, 순환 신경망(600)의 색상 모델의 매개변수를 다르게 조절하여 결과값을 다르게 산출할 수 있다. 사용자는, 캡슐형 내시경을 통해 수집한 체내 이미지를 Gray 모델, RGB 모델, HSV 모델, YCbCr 모델과 같은 매개변수를 이용하여 결과값을 다르게 산출할 수 있다. Gray 모델은, 색 정보를 사용하지 않고 밝기 정보만으로 이미지를 표현하는 것으로, 검정색값인 0부터 흰색값인 255까지 총 256 단계의 밝기값으로 이미지의 픽셀값을 표현할 수 있다. RGB 모델은, 가장 기본적인 색상모델로서 특정 색을 적색, 녹색, 청색의 3가지 성분의 조합으로 구성할 수 있다. HSV 모델은, 색조, 채도, 명도의 3가지 성분으로 색을 표현하며, 채도값이 0이면 무채색, 255이면 가장 선명한 색을 표현할 수 있다. YCbCr 모델은, 밝기 정보를 사용하지 않고, 순수한 색상 정보만을 이용하여 이미지를 표현할 수 있다. 사용자는, 순환 신경망(600)의 색상 모델의 매개변수를 조절하여 다양한 형상의 체내 이미지를 산출할 수 있다. 예를 들어, 사용자는 밝기 정보를 사용하지 않고 순수한 색상 정보만을 이용하는 YCbCr 모델을 이용하여 캡슐형 내시경을 통해 수집한 체내 이미지를 표현할 수 있다. YCbCr 모델을 이용한 체내 이미지는, 밝기값을 제거한 순수한 색상 정보만을 이용하기 때문에, 체내의 환경 변화에 관계없이 동일한 물체의 색을 효과적으로 인지하여 보다 선명하고 정확한 체내 이미지를 수집할 수 있다.
도 7은 본 개시의 일 실시예에 따른 순환 신경망의 결과값이 임계값을 초과하는 경우 병변 구간을 나타내는 그래프이다. 병변구간 감지부(138)는, 순환 신경망부(136)에서 도출한 체내 이미지의 시간에 따른 시계열적 패턴 변화(
)를 임계값과 비교하여, 임계값을 초과하는 패턴 변화값(yt)을 포함한 구간을 병변 가능성이 높은 병변 구간으로 감지할 수 있다. 즉, 병변구간 감지부(138)는, 시간 t 일 때의 체내 이미지의 시간에 따른 시계열적 패턴 변화(yt)를 기 설정된 임계값과 비교하여, 기 설정 된 임계값보다 작으면 정상 구간, 기 설정 된 임계값보다 크면 병변 구간이라고 판단할 수 있다.
일 실시 예에서, 순환 신경망부(136)에서 도출한 체내 이미지의 시간에 따른 시계열적 패턴 변화값(
)의 범위를 
라 가정하고, 임계값을 0.5로 가정하였을 때, 기 설정된 임계값인 0.5를 넘어가는 시계열적 패턴 변화(
)는 모두 병변이 포함된 병변 부위라고 판단할 수 있고, 0.5를 넘어가지 않는 시계열적 패턴 변화(
)는 모두 정상 부위라고 판단할 수 있다.
도 8은 본 개시의 일 실시예에 따른 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법을 나타내는 순서도이다. 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법(800)은, 인체 장기를 촬영하여 원형의 체내 이미지를 획득하는 단계(S810)로 개시될 수 있다. 캡슐형 내시경(110)은, 광원(212)을 통해 조사된 광이 인체 내부에서 반사되어 이미지센서(214)로 입사될 수 있다. 이미지센서(214)로 입사한 반사광은, 원형의 체내 이미지로 촬영되어 데이터 송신부(218)를 통해 인체 외부의 기록장치 또는 병변감지 장치(120)에 송신될 수 있다. 이때, 캡슐형 내시경(110)의 반사장치에서 바라보았을 때, 이미지 센서가 내시경(110)의 중앙에 위치하고 있으므로, 인체 내부에서 반사된 광이 반사장치에서 다시 반사되는 과정에서 이미지 센서의 형태도 같이 반사되기 때문에, 체내 이미지는 대략 원형 또는 환형으로 촬영될 수 있다.
인체 외부의 병변감지 장치로 송신된 원형의 체내 이미지에 대해서는, 전처리부(132)를 통해 원형 이미지의 보정과 평면 이미지로의 변환을 위한 전처리가 진행(S820)될 수 있다. 캡슐형 내시경(110)을 통해 획득한 체내 이미지는, 중앙이 어둡거나 비어 있는 원형의 체내 이미지로, 병변 추출을 위해 중앙의 어두운 부분을 제거하고, 원형의 이미지를 평면의 이미지로 변환하는 보정과정을 거칠 수 있다. 체내 이미지를 보정하는 방법으로는, 캡슐형 내시경(110)의 광원이 발광인 상태에서 촬영된 체내 이미지의 픽셀 값과 광원이 무광인 상태에서 촬영된 체내 이미지의 픽셀 값을 감산하는 방법이 사용될 수 있다. 또한, 캡슐형 내시경을 통해 수신한 중앙이 어두운 원형의 체내 이미지 중, 안쪽 원 이미지의 둘레와, 바깥쪽 원의 반지름에서 안쪽 원의 반지름을 뺀 값을 각각 x, y 좌표축으로 변환하는 전처리 작업을 수행하여 평면 이미지를 획득할 수 있다.
그 후, 콘볼루션 신경망을 이용하여 획득한 체내 이미지의 특징을 추출할 수 있다(S830). 콘볼루션 신경망부(134)는, 콘볼루션 신경망(500)을 이용하여, 전처리부(132)에서 보정 및/또는 평면 이미지로 변환된 체내 이미지에서 병변을 감지하기 위해 패턴 분석을 실행하여 체내 이미지의 2차원적 특징을 나타내는 출력값을 생성할 수 있다.
순차적으로 또는 이와 동시에, 순환 신경망을 이용하여 콘볼루션 신경망부에서 추출된 이미지의 2차원적 특징값들로부터 시계열적 패턴 특징을 추출할 수 있다(S840). 일 실시예에서, 순환 신경망(600)은, 콘볼루션 신경망부(134)에서 출력된 체내 이미지의 2차원적 특징을 나타내는 값들(
)을 입력층(610)에 입력하고, 직전 시점(t-1)의 은닉 상태를 받아 갱신된 은닉층(610)의 출력 값(
)을 산출함으로써, 체내 이미지의 시간에 따른 시계열적 패턴 변화를 도출할 수 있다.
순환 신경망을 통해 체내 이미지의 시간에 따른 시계열적 패턴 변화를 도출한 후, 시계역적 패턴 변화 값을 임계값과 비교(S850)하고, 임계값을 초과하는 시계열적 패턴 변화 값에 대응하는 이미지를 디스플레이(S860)할 수 있다. 일 실시예에서, 병변구간 감지부(138)는, 순환 신경망부(136)에서 도출한 체내 이미지의 시간에 따른 시계열적 패턴 변화(
)를 임계값과 비교하여, 임계값을 초과하는 패턴 변화값(yt)을 포함한 구간을 병변 가능성이 높은 병변 구간으로 감지할 수 있다. 즉, 병변구간 감지부(138)는, 시간 t 일 때의 체내 이미지의 시간에 따른 시계열적 패턴 변화(yt)를 기 설정된 임계값과 비교하여, 기 설정 된 임계값보다 작으면 정상 구간, 기 설정 된 임계값보다 크면 병변 구간이라고 판단할 수 있다. 또한, 병변 구간에 대응되는 체내 이미지를 디스플레이부(140)에 디스플레이 할 수 있다.
도 9는 본 개시의 일 실시예에 따라 감지된 병변을 포함하는 이미지와 병변구간을 디스플레이부의 화면에 나타내는 예시도이다. 병변구간 감지부(138)에서 산출한 체내 이미지들의 시간에 따른 시계열적 패턴 변화(
)를 임계값과 비교하여 임계값 이상의 값을 병변 구간이라고 판단한 후, 병변 구간에 대응되는 체내 이미지들을 디스플레이 할 수 있다.
도시된 바와 같이, 디스플레이부(140)에 있어서, 제1디스플레이 영역(910)에, 병변구간 감지부(138)에 의해 감지된 병변구간을 나타내는 그래프를 표시한다. 진단자가 제1디스플레이 영역(910)에 표시된 그래프에서 병변구간을 지정하면, 제3디스플레이 영역(930)에 해당 병변구간에 대응되는 체내 이미지들을 시간 경과 순서대로 디스플레이한다. 이 때, 제1디스플레이 영역(910)에서, 진단자는 추가로 상세한 분석과 진단이 필요하다고 생각되는 체내 이미지를 클릭함으로써, 해당 체내 이미지의 확대된 이미지가 제2디스플레이 영역(920)에 디스플레이될 수 있다.
도 10은 본 개시의 일 실시예에 따른 질병 선택을 통해 임계값이 자동으로 설정되는 디스플레이부의 화면을 나타내는 예시도이다. 제1디스플레이 영역(1012)은, 기 설정되어 있는 임계값 이상의 값에 해당하는 체내 이미지들을 디스플레이 할 수 있다. 진단자는, 제2디스플레이 영역(1014)을 통해 대응되는 질병을 선택하면 제3디스플레이 영역(1016)에는 진단자가 선택한 질병에 대한 적정 임계값을 표기할 수 있다. 이때, 진단자가 제3디스플레이 영역(1016)에서 선택된 질병과 관련된 상세 설명 버튼(예를 들어, "자세히 보기")을 클릭하면, 디스플레이부는 해당 임계값 이상의 값에 해당하는 체내 이미지들만을 제1디스플레이 영역(1022)에 디스플레이할 수 있다. 진단자가 제1디스플레이 영역(1022)에 표시된 체내 이미지들 중 하나를 선택하면, 제2디스플레이 영역(1024)과 제3디스플레이 영역(1026)에는 각각 병변구간을 나타내는 그래프와 선택된 체내 이미지의 확대된 이미지가 디스플레이될 수 있다.
일 실시예에 따르면, 진단자는, 질병의 명칭이 표기되어 있는 제2디스플레이 영역(1014)에서 피진단자에게 해당된다고 생각되는 질병을 선택할 수 있다. 예를 들어, 진단자가 제2디스플레이 영역(1014)에서 대장암을 선택하면, 제3디스플레이 영역(1016)에는 대장암에 해당하는 임계값인 "0.8"이 표기될 수 있다. 제3디스플레이 영역(1016)에 표기되는 임계값은, 실험을 통해 해당 질병에 적합하다고 판정된 임계값이 표기되거나 진단자가 사전에 기 설정한 임계값이 디스플레이 될 수 있다.
도 11은 본 개시의 일 실시예에 따른 임계값 조절을 통해 출력되는 이미지 수를 변경하는 디스플레이부의 화면을 나타내는 예시도이다. 제1디스플레이 영역(1110)은, 임계값을 초과하는 병변 구간을 나타내는 그래프를 디스플레이할 수 있다. 이때, 제2디스플레이 영역(1120)은, 진단자가 임계값을 조절할 수 있는 사용자 인터페이스를 디스플레이할 수 있다. 진단자는 제2디스플레이 영역(1120)의 사용자 인터페이스를 통해, 임계값을 조절하여 최종 임계값을 설정할 수 있다. 제3디스플레이 영역(1130)은, 제2디스플레이 영역(1120)에서 설정한 임계값에 따라, 해당 임계값 이상의 값에 해당하는 체내 이미지들을 시간 경과 순서대로 디스플레이 할 수 있다.
일 실시예에 따르면, 진단자는, 제2디스플레이 영역(1120)에서 사용자 인터페이스(즉, 임계값 조절 버튼)를 통해 임계값을 조절할 수 있다. 이때, 진단자가 임계값을 높이면, 해당 임계값을 초과하는 병변 구간이 감소하게 되고, 상대적으로 시계열적 패턴 변화값이 높은 체내 이미지만 제3디스플레이(1160)에 디스플레이 될 수 있다. 제3디스플레이 (1160)는, 패턴 변화값이 높은 체내 이미지 즉, 병변 확률이 높은 이미지를 표시함으로써, 진단자의 병변 분석에 대한 정확도를 높일 수 있다. 하지만, 진단자가 임계값을 필요 이상으로 높이게 되면 분석이 필요한 병변 구간을 놓칠 가능성이 있어 병변 분석에 대한 정확도가 낮아질 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
110 : 캡슐형 내시경 120 : 병변감지 장치
122 : 통신부 124 : 저장부
130 : 프로세서 132 : 전처리부
134 : 콘볼루션 신경망부 136 : 순환 신경망부
138 : 병변구간 감지부 140 : 디스플레이부
212 : 광원 214 : 이미지센서
216 : 반사장치 218 : 데이터 송신부
220 : 병변 230 : 체내
310, 312, 314, 316 : 체내 이미지
320 : 병변 410, 412, 414, 416 : 평면 체내 이미지
420 : 병변 500 : 콘볼루션 신경망
510 : 체내 이미지 512, 514, 516 : 피처 맵
518 : 1차원 행렬 520, 522 : 서브 샘플링
600 : 순환 신경망
910, 1012, 1022, 1110, 1140 : 제1디스플레이
920, 1014, 1024, 1120, 1150 : 제2디스플레이
930, 1016, 1026, 1130, 1160 : 제3디스플레이
122 : 통신부 124 : 저장부
130 : 프로세서 132 : 전처리부
134 : 콘볼루션 신경망부 136 : 순환 신경망부
138 : 병변구간 감지부 140 : 디스플레이부
212 : 광원 214 : 이미지센서
216 : 반사장치 218 : 데이터 송신부
220 : 병변 230 : 체내
310, 312, 314, 316 : 체내 이미지
320 : 병변 410, 412, 414, 416 : 평면 체내 이미지
420 : 병변 500 : 콘볼루션 신경망
510 : 체내 이미지 512, 514, 516 : 피처 맵
518 : 1차원 행렬 520, 522 : 서브 샘플링
600 : 순환 신경망
910, 1012, 1022, 1110, 1140 : 제1디스플레이
920, 1014, 1024, 1120, 1150 : 제2디스플레이
930, 1016, 1026, 1130, 1160 : 제3디스플레이
Claims (12)
- 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템에 있어서,
인체 장기의 복수의 이미지를 촬영하고, 인체 내부의 원형 이미지를 획득하는 캡슐형 내시경;
상기 캡슐형 내시경에 의해 촬영된 원형의 이미지를 보정하고, 평면 이미지로 변환하는 전처리부;
상기 전처리 된 복수의 이미지 각각의 특징을 추출하는 콘볼루션 신경망부;
상기 추출된 복수의 특징의 시계열적 패턴 특징을 추출하는 순환 신경망부;
상기 시계열적 패턴 특징의 값을 임계값과 비교하여, 상기 시계열적 패턴 특징의 값이 상기 임계값보다 크면 상기 시계열적 패턴 특징과 대응되는 구간은 병변 부위 구간으로 판단하는 병변구간 감지부;
상기 촬영된 복수의 이미지 중에서, 상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하는 디스플레이부; 및
상기 복수의 이미지, 상기 추출된 복수의 특징 및 상기 복수의 특징에서 추출한 시계열적 패턴을 저장하는 저장부를 포함하며,
상기 디스플레이부는, 상기 디스플레이된 복수의 체내 이미지에 해당하는 질병의 선택이 가능하고, 상기 질병에 대응하는 기 설정된 임계값을 제공하도록 구성된 사용자 인터페이스를 포함하며,
상기 디스플레이부는, 상기 임계값의 조절을 위한 사용자 입력에 대응하여, 상기 디스플레이된 복수의 체내 이미지 중에서 상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지 수를 조절하도록 구성된, 시스템.
- 제1항에 있어서,
상기 캡슐형 내시경은,
상기 캡슐형 내시경의 측면을 향해 광을 조사하는 광원;
상기 캡슐형 내시경의 측면으로부터 입사하는 광을 반사하는 반사장치;
상기 반사장치에 의해 반사되는 광을 촬영하는 이미지 센서; 및
상기 이미지 센서에 의해 생성된 복수의 이미지를 전송하는 데이터 송신부를 포함하는, 시스템.
- 제1항에 있어서,
상기 콘볼루션 신경망부는,
상기 캡슐형 내시경을 통해 취득한 상기 인체 장기의 상기 복수의 이미지로부터, 콘볼루션 신경망의 필터(filter)를 이용하여, 상기 복수의 이미지 각각의 특징을 추출하는, 시스템.
- 제1항에 있어서,
상기 순환 신경망부는,
상기 콘볼루션 신경망부에서 추출한 상기 복수의 특징으로부터, 상기 순환 신경망을 이용하여, 상기 인체 장기의 상기 복수의 이미지의 시간의 흐름에 따라 변화하는 시계열적 패턴 특징을 추출하는, 시스템.
- 삭제
- 제1항에 있어서,
상기 디스플레이부는,
복수의 시간에 대응되는 복수의 체내 이미지를 디스플레이하고, 사용자가 상기 복수의 체내 이미지 중 적어도 하나를 선택하면 별도의 디스플레이 구간에 선택한 상기 체내 이미지를 디스플레이하는, 시스템.
- 삭제
- 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 방법에 있어서,
캡슐형 내시경을 이용하여, 인체 장기의 복수의 이미지를 촬영하고, 인체 내부의 원형 이미지를 획득하는 단계;
전처리부에 의해, 촬영된 원형의 이미지를 보정하고, 평면 이미지로 변환 하는 단계;
콘볼루션 신경망부에 의해, 상기 촬영된 복수의 이미지 각각의 특징을 추출하는 단계;
순환 신경망부에 의해, 상기 추출된 복수의 특징의 시계열적 패턴 특징을 추출하는 단계;
병변구간 감지부에 의해, 상기 시계열적 패턴 특징의 값을 임계값과 비교하여, 상기 시계열적 패턴 특징의 값이 상기 임계값보다 크면 상기 시계열적 패턴 특징과 대응되는 구간은 병변 부위 구간으로 판단하는 단계;
디스플레이부에 의해, 상기 촬영된 복수의 이미지 중에서, 상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하는 단계;
저장부에 의해, 상기 복수의 이미지, 상기 추출된 복수의 특징 및 상기 복수의 특징에서 추출한 시계열적 패턴을 저장하는 단계를 포함하며,
상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지를 디스플레이하는 단계는,
상기 디스플레이된 복수의 체내 이미지에 해당하는 질병의 선택이 가능하고, 상기 질병에 대응하는 기 설정된 임계값을 제공하도록 구성된 사용자 인터페이스를 디스플레이하는 단계; 및
상기 임계값의 조절을 위한 사용자 입력에 대응하여, 상기 디스플레이된 복수의 이미지 중에서 상기 임계값을 초과하는 시계열적 패턴 특징의 값에 대응하는 이미지 수를 조절하여 디스플레이하는 단계;
를 포함하는, 방법.
- 제8항에 있어서,
상기 콘볼루션 신경망부에 의해 복수의 특징을 추출하는 단계는,
상기 캡슐형 내시경을 통해 취득한 상기 인체 장기의 상기 복수의 이미지로부터, 콘볼루션 신경망의 필터(filter)를 이용하여, 상기 복수의 이미지 각각의 특징을 추출하는 단계를 포함하는, 방법.
- 제8항에 있어서,
상기 순환 신경망부에 의해 시계열적 패턴 특징을 추출하는 단계는,
상기 콘볼루션 신경망부에서 추출한 상기 복수의 이미지의 특징으로부터, 상기 순환 신경망을 이용하여, 상기 인체 장기의 상기 복수의 이미지의 시간의 흐름에 따라 변화하는 시계열적 패턴 특징을 추출하는 단계를 포함하는, 방법.
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180157424 | 2018-12-07 | ||
| KR20180157424 | 2018-12-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200070062A KR20200070062A (ko) | 2020-06-17 |
| KR102287364B1 true KR102287364B1 (ko) | 2021-08-06 |
Family
ID=71406136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190042410A KR102287364B1 (ko) | 2018-12-07 | 2019-04-11 | 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102287364B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210383935A1 (en) * | 2020-05-01 | 2021-12-09 | Georgetown University | Detecting infection using surrogates |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102359984B1 (ko) * | 2020-06-25 | 2022-02-08 | 가톨릭대학교 산학협력단 | 캡슐 내시경 영상 판독 시스템 및 방법 |
| WO2022114357A1 (ko) | 2020-11-25 | 2022-06-02 | 주식회사 아이도트 | 영상 병변 진단 시스템 |
| WO2022119364A1 (ko) * | 2020-12-03 | 2022-06-09 | 주식회사 서르 | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
| KR102616961B1 (ko) | 2021-08-31 | 2023-12-27 | 동국대학교 산학협력단 | 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 |
| CN113487605B (zh) * | 2021-09-03 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 用于内窥镜的组织腔体定位方法、装置、介质及设备 |
| KR20230163723A (ko) | 2022-05-24 | 2023-12-01 | 주식회사 아이도트 | 내시경 검사 판독 보조 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100900533B1 (ko) | 2008-10-07 | 2009-06-02 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 화면 표시방법과 이를 수행하기 위한 프로그램이 기록된 기록매체 |
| US20120316421A1 (en) * | 2009-07-07 | 2012-12-13 | The Johns Hopkins University | System and method for automated disease assessment in capsule endoscopy |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100620073B1 (ko) * | 2004-08-25 | 2006-09-08 | 한국과학기술연구원 | 인체 내 이미지 획득 시스템 및 방법 |
| KR102210806B1 (ko) | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
-
2019
- 2019-04-11 KR KR1020190042410A patent/KR102287364B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100900533B1 (ko) | 2008-10-07 | 2009-06-02 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 화면 표시방법과 이를 수행하기 위한 프로그램이 기록된 기록매체 |
| US20120316421A1 (en) * | 2009-07-07 | 2012-12-13 | The Johns Hopkins University | System and method for automated disease assessment in capsule endoscopy |
Non-Patent Citations (1)
| Title |
|---|
| Mehmet Turan, et al., "Deep EndoVO: A recurrent convolutional neural network (RCNN) based visual odometry approach for endoscopic capsule robots", Neurocomputing 275 (2018) 1861~1870 (2017.11.07.)* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210383935A1 (en) * | 2020-05-01 | 2021-12-09 | Georgetown University | Detecting infection using surrogates |
| US11728042B2 (en) * | 2020-05-01 | 2023-08-15 | Georgetown University | Detecting infection using surrogates |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200070062A (ko) | 2020-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102287364B1 (ko) | 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 | |
| US8055033B2 (en) | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same | |
| US8582853B2 (en) | Device, system and method for automatic detection of contractile activity in an image frame | |
| WO2007119297A1 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
| US8335362B2 (en) | Device, system and method for measurement and analysis of contractile activity | |
| WO2020066807A1 (ja) | 電子内視鏡システム | |
| JP4749732B2 (ja) | 医用画像処理装置 | |
| US11074690B2 (en) | Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method | |
| JP2011218090A (ja) | 画像処理装置、内視鏡システム及びプログラム | |
| JPWO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
| KR102505791B1 (ko) | 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 | |
| JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
| JP2016151584A (ja) | 器官画像撮影装置 | |
| JP2016150024A (ja) | 器官画像撮影装置 | |
| WO2015068494A1 (ja) | 器官画像撮影装置 | |
| JP2015226599A (ja) | 生体色度計測装置 | |
| US20230410304A1 (en) | Medical image processing apparatus, medical image processing method, and program | |
| CN116721175B (zh) | 一种图像显示方法、图像显示装置以及胶囊内窥镜*** | |
| JP2005137680A (ja) | 器官色計測システムおよびプログラム | |
| US8155414B2 (en) | Device, system and method of in-vivo varix detection | |
| JP5315376B2 (ja) | 柵状血管検出装置および柵状血管検出装置の作動方法 | |
| CN114627045A (zh) | 医用图像处理***、医用图像处理***的工作方法 | |
| Malagelada | Vilarino et a |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |