KR102405434B1 - 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 - Google Patents
딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 Download PDFInfo
- Publication number
- KR102405434B1 KR102405434B1 KR1020200188908A KR20200188908A KR102405434B1 KR 102405434 B1 KR102405434 B1 KR 102405434B1 KR 1020200188908 A KR1020200188908 A KR 1020200188908A KR 20200188908 A KR20200188908 A KR 20200188908A KR 102405434 B1 KR102405434 B1 KR 102405434B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- endoscopic
- group
- irrelevant
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013136 deep learning model Methods 0.000 title claims description 18
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000002496 gastric effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 210000003238 esophagus Anatomy 0.000 claims description 3
- 210000002784 stomach Anatomy 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000001839 endoscopy Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G06T5/005—
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
내시경 영상 데이터에서 자동으로 필요한 영역만을 추출해내고, 딥러닝 기술을 활용하여 개인정보가 노출될 수 있는 불필요한 이미지들을 자동으로 제거할 수 있는 방법 및 시스템이 개시된다. 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 의료 영상 저장 전송 시스템(PACS)에 저장된 원본 내시경 영상으로부터 개인정보 및 연구에 불필요한 정보를 자동적으로 제거함으로써, 데이터 정제에 요구되는 불필요한 인력 소모를 줄이고, 개인정보 유출을 방지할 수 있다는 효과가 있다.
Description
본 발명은 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램에 관한 것이다.
내시경 촬영 시, 너무 빠르거나 늦은 타이밍에 내시경이 녹화된 경우, 위장관 영역이 아닌 환자의 개인정보가 나타나는 장면이 녹화될 수 있다. 이는 병원 내부에서 사용 및 저장되는 경우에는 크게 문제가 되지 않을 수는 있지만, 해당 데이터가 연구를 위해 병원 외부로 전달되는 경우에는 문제가 될 여지가 있다.
이러한 위장관 내시경 동영상의 평균 길이는 7 내지 10분이다. 이러한 위장관 내시경 동영상에서 문제될 여지가 있는 데이터를 정제하기 위해서는 불필요한 인력이 소모되게 된다. 또한 데이터를 정제하는 작업자의 컨디션, 피로, 실수 등과 같은 다양한 요인에 의하여 변동성이 생길 수 있다.
본 발명의 일 측면에서의 목적은 내시경 영상 데이터에서 자동으로 필요한 영역만을 추출해내고, 딥러닝 기술을 활용하여 개인정보가 노출될 수 있는 불필요한 이미지들을 자동으로 제거할 수 있는 방법 및 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계(단계 1);
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 단계(단계 2);
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 단계(단계 3);
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 단계(단계 4);
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 단계(단계 5); 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 단계(단계 6);
를 포함하는 내시경 영상으로부터의 불필요한 이미지 제거 방법이 제공된다.
또한, 본 발명의 다른 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 영상 획득부;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 내시경 영역 추출부;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 이미지 분류부;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 이미지 추출부;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 무관 이미지 판단부; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 무관 이미지 제거부;
를 포함하는 내시경 영상으로부터의 불필요한 이미지 제거 장치가 제공된다.
나아가, 본 발명의 또 다른 측면에서
프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 제1 오퍼레이션;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 제2 오퍼레이션;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 제3 오퍼레이션;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 제4 오퍼레이션;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 제5 오퍼레이션; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 제6 오퍼레이션;
을 포함하는 내시경 영상으로부터의 불필요한 이미지 제거 프로그램이 제공된다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 의료 영상 저장 전송 시스템(PACS)에 저장된 원본 내시경 영상으로부터 개인정보 및 연구에 불필요한 정보를 자동적으로 제거함으로써, 데이터 정제에 요구되는 불필요한 인력 소모를 줄이고, 개인정보 유출을 방지할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 방법의 순서도를 나타낸 것이고,
도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 방법의 전체적인 과정을 구체적으로 나타낸 순서도이고,
도 3은 본 발명의 일 실시예에 따라 내시경 영상으로부터 불필요한 이미지를 제거한 예시를 나타낸 것이고,
도 4는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 장치의 블록도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 방법의 전체적인 과정을 구체적으로 나타낸 순서도이고,
도 3은 본 발명의 일 실시예에 따라 내시경 영상으로부터 불필요한 이미지를 제거한 예시를 나타낸 것이고,
도 4는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 장치의 블록도를 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법을 이하 도 1 및 도 2를 참조하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 방법의 순서도를 나타낸 것이고, 도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 방법의 전체적인 과정을 나타내는 도면이다.
먼저, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계(단계 1, S100)를 포함한다.
일 실시예에서 상기 단계는 초당 15 프레임 내지 30 프레임을 획득(S110)할 수 있으나, 이에 제한되는 것은 아니다.
다음으로, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 단계(단계 2, S200)를 포함한다.
상기 단계는 상기 획득한 이미지의 가장자리를 추출하는 단계(S210) 및 상기 가장자리가 둘러싸고 있는 영역 중 가장 면적이 큰 영역을 내시경 영역으로 간주되는 이미지로 선택하는 단계(S220)를 포함할 수 있다.
일 실시예에서, 상기 획득한 이미지의 가장자리를 추출하는 단계는 픽셀의 그레디언트(Gradient)를 계산하여, 급격히 변하는 그레디언트를 가장자리로 판단하여 추출해낼 수 있다.
일 실시예에서, 상기 획득한 이미지의 가장자리를 추출하는 단계는 Canny 알고리즘을 사용함으로써 수행될 수 있다.
일 실시예에서, 상기 가장자리가 둘러싸고 있는 영역 중 가장 면적이 큰 영역을 내시경 영역으로 간주되는 이미지로 선택하는 단계는, 상기 선택된 내시경 영역으로 간주되는 이미지만을 크롭(Crop)하여 추출할 수 있다.
상기 단계 2는 상기 추출된 내시경 영역으로 간주되는 이미지의 사이즈를 조정하는 단계(S230) 및 상기 추출된 내시경 영역으로 간주되는 이미지의 픽셀 분포를 조정하는 단계(S240)로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 포함할 수 있다.
일 실시예에서, 상기 추출된 내시경 영역으로 간주되는 이미지의 사이즈를 조정하는 단계(S230)는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.
일 실시예에서, 상기 추출된 내시경 영역으로 간주되는 이미지의 픽셀 분포를 조정하는 단계(S240)는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 단계 2를 포함함으로써, 환자 정보 및 내시경 장비 정보가 포함된 영상에서 영상처리 알고리즘 기술을 활용하여 내시경 영역만을 잘라내어, 환자의 개인정보를 보호하고, 연구에 필요한 정보만을 사용할 수 있도록 기여할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 단계(단계 3, S300)를 포함한다.
상기 단계 3에서 상기 복수의 이미지를 식도 그룹, 위 그룹, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류할 수 있다.
상기 무관 이미지 그룹은 위장관 이미지가 아닌 이미지들로 구성될 수 있다.
일 실시예에서 상기 딥러닝 모델은 8000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 딥러닝 모델은 EfficientNetB4 구조가 사용될 수 있다.
상기 단계 3은 상기 분류된 그룹별로 상기 이미지들을 저장하는 단계(S310)를 더 포함할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 단계(단계 4, S400)를 포함한다.
상기 단계에서 상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하게 되며, 바람직하게는 5 이상의 프레임, 보다 바람직하게는 10 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 경우, 해당 프레임의 이미지들을 추출하게 된다.
다음으로, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 단계(단계 5, S500)를 포함한다.
상기 무관 이미지 그룹으로 추출된 이미지란 상기 단계 4에서 2 이상의 프레임에서 연속으로 무관 이미지 그룹으로 분류되어 추출(S510)된 이미지를 의미할 수 있다.
상기 단계 5에서 상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 없는 경우 최종 무관 이미지로 판단(S520)할 수 있으며, 바람직하게는 10 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단할 수 있다.
상기 식도 이미지란 상기 단계 3에서 식도 그룹으로 분류된 이미지를 의미할 수 있다. 즉, 2 이상의 프레임에서 연속으로 식도 그룹으로 분류되는 이미지일 수 있으며, 바람직하게는 5 이상의 프레임, 보다 바람직하게는 10 이상의 프레임에서 연속으로 식도 그룹으로 분류되는 이미지일 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 단계(단계 6, S600)를 포함한다.
상기 단계에서 최종 무관 이미지를 제거한 나머지 이미지들을 데이터베이스(2000)에 저장할 수 있다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 방법은 이와 같이 최종 무관 이미지를 제거함으로써, 너무 빠르거나 늦은 타이밍에 녹화가 진행되어 생긴 위장관 이미지와 무관한 영역의 이미지를 제거할 수 있으며, 이에 따라 환자의 개인정보를 보호하고, 연구에 필요한 정보만 사용할 수 있도록 기여할 수 있다.
본 발명의 다른 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 영상 획득부;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 내시경 영역 추출부;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 이미지 분류부;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 이미지 추출부;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 무관 이미지 판단부; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 무관 이미지 제거부;
를 포함하는 내시경 영상으로부터의 불필요한 이미지 제거 장치가 제공된다.
이하, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치에 대하여 각 구성별로 상세히 설명한다. 이 때, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치는 상술한 내시경 영상으로부터의 불필요한 이미지 제거 방법에서 설명한 내용들이 모두 적용될 수 있으며, 상술한 일부 설명이 생략될 수 있다.
도 4는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 불필요한 이미지 제거 장치의 블록도이다.
먼저, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 영상 획득부(100)를 포함한다.
상기 영상 획득부는 내시경 영상으로부터 복수의 프레임의 이미지를 획득한다.
일 실시예에서 상기 영상 획득부는 초당 15 프레임 내지 30 프레임을 획득할 수 있으나, 이에 제한되는 것은 아니다.
먼저, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 내시경 영역 추출부(200)를 포함한다.
상기 내시경 영역 추출부는 상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출한다.
상기 내시경 영역 추출부는 상기 획득한 이미지의 가장자리를 추출하는 단계 및 상기 가장자리가 둘러싸고 있는 영역 중 가장 면적이 큰 영역을 내시경 영역으로 간주되는 이미지로 선택하는 단계를 수행할 수 있다.
일 실시예에서, 상기 내시경 영역 추출부는 픽셀의 그레디언트(Gradient)를 계산하여, 급격히 변하는 그레디언트를 가장자리로 판단하여 가장자리를 추출해낼 수 있다.
일 실시예에서, 상기 내시경 영역 추출부는 Canny 알고리즘을 사용함으로써 가장자리를 추출해낼 수 있다.
일 실시예에서, 상기 내시경 영역 추출부는 상기 가장자리가 둘러싸고 있는 영역 중 가장 면적이 큰 영역을 내시경 영역으로 간주되는 이미지로 선택하고, 상기 선택된 내시경 영역으로 간주되는 이미지만을 크롭(Crop)하여 추출할 수 있다.
또한, 상기 내시경 영역 추출부는 상기 추출된 내시경 영역으로 간주되는 이미지의 사이즈를 조정하는 단계 및 상기 추출된 내시경 영역으로 간주되는 이미지의 픽셀 분포를 조정하는 단계(S240)로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 더 수행할 수 있다.
일 실시예에서, 상기 추출된 내시경 영역으로 간주되는 이미지의 사이즈를 조정하는 단계는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.
일 실시예에서, 상기 추출된 내시경 영역으로 간주되는 이미지의 픽셀 분포를 조정하는 단계는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 이미지 분류부(300)를 포함한다.
상기 이미지 분류부는 상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화한다.
상기 이미지 분류부는 상기 복수의 이미지를 식도 그룹, 위 그룹, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류할 수 있다.
상기 무관 이미지 그룹은 위장관 이미지가 아닌 이미지들로 구성될 수 있다.
일 실시예에서 상기 딥러닝 모델은 8000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 딥러닝 모델은 EfficientNetB4 구조가 사용될 수 있다.
상기 이미지 분류부는 상기 분류된 그룹별로 상기 이미지들을 저장할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 이미지 추출부(400)를 포함한다.
상기 이미지 추출부는 상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출한다.
바람직하게는 5 이상의 프레임, 보다 바람직하게는 10 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 경우, 상기 이미지 추출부가 해당 프레임의 이미지들을 추출하게 된다.
다음으로, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 무관 이미지 판단부(500)를 포함한다.
상기 무관 이미지 판단부는 상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단한다.
상기 무관 이미지 그룹으로 추출된 이미지란 상기 이미지 추출부에서 2 이상의 프레임에서 연속으로 무관 이미지 그룹으로 분류되어 추출된 이미지를 의미할 수 있다.
상기 무관 이미지 판단부는 상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 없는 경우 최종 무관 이미지로 판단할 수 있으며, 바람직하게는 10 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단할 수 있다.
상기 식도 이미지란 상기 단계 3에서 식도 그룹으로 분류된 이미지를 의미할 수 있다. 즉, 2 이상의 프레임에서 연속으로 식도 그룹으로 분류되는 이미지일 수 있으며, 바람직하게는 5 이상의 프레임, 보다 바람직하게는 10 이상의 프레임에서 연속으로 식도 그룹으로 분류되는 이미지일 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 장치(1000)는 무관 이미지 제거부(600)를 포함한다.
상기 무관 이미지 제거부는 상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장한다.
상기 무관 이미지 제거부는 최종 무관 이미지를 제거한 나머지 이미지들을 데이터베이스(2000)에 저장할 수 있다.
또한, 본 발명의 또 다른 측면에서
프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 제1 오퍼레이션;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 제2 오퍼레이션;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 제3 오퍼레이션;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 제4 오퍼레이션;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 10 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 제5 오퍼레이션; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 제6 오퍼레이션;
을 포함하는 내시경 영상으로부터의 불필요한 이미지 제거 프로그램이 제공된다.
본 발명의 또 다른 측면에서 제공되는 내시경 영상으로부터의 불필요한 이미지 제거 프로그램은 상기 내시경 영상으로부터의 불필요한 이미지 제거 방법 및 장치에서 설명한 내용과 동일한 바, 중복하여 설명하지는 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 영상 획득부
200 내시경 영역 추출부
300 이미지 분류부
400 이미지 추출부
500 무관 이미지 판단부
600 무관 이미지 제거부
1000 내시경 영상으로부터의 불필요한 이미지 제거 장치
2000 데이터베이스
200 내시경 영역 추출부
300 이미지 분류부
400 이미지 추출부
500 무관 이미지 판단부
600 무관 이미지 제거부
1000 내시경 영상으로부터의 불필요한 이미지 제거 장치
2000 데이터베이스
Claims (8)
- 내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계이되, 상기 이미지는 내시경 영역과 불필요한 정보 영역으로 이루어진, 획득하는 단계(단계 1);
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 상기 복수의 이미지 각각에 대응하는 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 단계(단계 2);
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 식도 그룹, 위 그룹 및 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 단계(단계 3);
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 단계(단계 4);
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 단계(단계 5); 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 단계(단계 6);를 포함하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 방법.
- 제1항에 있어서,
상기 단계 2는
상기 획득한 이미지의 가장자리를 추출하는 단계; 및
상기 가장자리가 둘러싸고 있는 영역 중 가장 면적이 큰 영역을 내시경 영역으로 간주되는 이미지로 선택하는 단계;를 포함하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 방법.
- 삭제
- 제1항에 있어서,
상기 무관 이미지 그룹은 위장관 이미지가 아닌 이미지들로 구성된 것을 특징으로 하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 방법.
- 제1항에 있어서,
상기 단계 4에서 상기 그룹화된 이미지 중, 5 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 것을 특징으로 하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 방법.
- 제1항에 있어서,
상기 단계 5에서 상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 10 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 것을 특징으로 하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 방법.
- 내시경 영상으로부터 복수의 프레임의 이미지를 획득하되, 상기 이미지는 내시경 영역과 불필요한 정보 영역으로 이루어지는 영상 획득부;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 상기 복수의 이미지 각각에 대응하는 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 내시경 영역 추출부;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 식도 그룹, 위 그룹 및 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 이미지 분류부;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 이미지 추출부;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 무관 이미지 판단부; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 무관 이미지 제거부;를 포함하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 장치.
- 프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하되, 상기 이미지는 내시경 영역과 불필요한 정보 영역으로 이루어는 제1 오퍼레이션;
상기 복수의 이미지를 영상처리 알고리즘에 적용하여 상기 복수의 이미지 각각에 대응하는 내시경 영역으로 간주되는 이미지만을 선택하여 추출하는 제2 오퍼레이션;
상기 추출된 내시경 영역으로 간주되는 이미지를 딥러닝 모델에 적용하여, 식도 그룹, 위 그룹 및 무관 이미지 그룹을 포함하는 복수의 그룹으로 분류하여 그룹화하는 제3 오퍼레이션;
상기 그룹화된 이미지 중, 2 이상의 프레임에서 연속으로 동일한 그룹으로 분류되는 이미지를 추출하는 제4 오퍼레이션;
상기 무관 이미지 그룹으로 추출된 이미지 중 인접한 30 프레임 내에 식도 이미지가 있는지 판단하여, 없을 경우 최종 무관 이미지로 판단하는 제5 오퍼레이션; 및
상기 내시경 영역으로 간주되는 이미지 중 상기 최종 무관 이미지만을 제거한 후, 나머지 이미지를 저장하는 제6 오퍼레이션;을 포함하는 내시경 영상으로부터의 불필요한 정보 영역의 이미지 제거 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188908A KR102405434B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188908A KR102405434B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102405434B1 true KR102405434B1 (ko) | 2022-06-07 |
Family
ID=81987016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200188908A KR102405434B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102405434B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011024727A (ja) * | 2009-07-23 | 2011-02-10 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| JP2015173827A (ja) * | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2018143594A (ja) * | 2017-03-07 | 2018-09-20 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
-
2020
- 2020-12-31 KR KR1020200188908A patent/KR102405434B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011024727A (ja) * | 2009-07-23 | 2011-02-10 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| JP2015173827A (ja) * | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2018143594A (ja) * | 2017-03-07 | 2018-09-20 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
Non-Patent Citations (1)
| Title |
|---|
| 장현웅 외 4명,"캡슐내시경의 위치추적을 위한 CNN 기반 위장관 랜드마크 분류기 설계", 한국정보처리학회 학술대회논문집, 26권 2호, 1-2, Nov. 2019(2019.11.01.) 1부.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461684B2 (en) | Operation processing circuit and recognition system | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
| KR101879207B1 (ko) | 약한 지도 학습 방식의 객체 인식 방법 및 장치 | |
| KR102344585B1 (ko) | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 | |
| CN110414394B (zh) | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 | |
| KR101557999B1 (ko) | 화상 처리 방법, 화상 처리 프로그램을 기록한 기록 매체 및 화상 처리 장치 | |
| JP2019525786A (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| EP3631750B1 (en) | Image resolution enhancement | |
| JPH09508817A (ja) | 胸部の画像における総体的な異常及び非対称性の自動化検出方法及び装置 | |
| US8457376B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| CN110852349A (zh) | 一种图像处理方法、检测方法、相关设备及存储介质 | |
| US9734424B2 (en) | Sensor data filtering | |
| CN111931772B (zh) | 医学图像处理方法、装置、设备及存储介质 | |
| KR102221943B1 (ko) | 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템 | |
| US10679096B2 (en) | System and method for plant leaf identification | |
| CN111754531A (zh) | 图像实例分割方法和装置 | |
| KR102344041B1 (ko) | 병변 진단 시스템 및 방법 | |
| TWI714025B (zh) | 影像辨識方法及影像辨識裝置 | |
| KR102405434B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 | |
| KR102602392B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 | |
| KR102668408B1 (ko) | 심장자기공명영상에서의 심방벽 분할 장치 및 그 방법 | |
| JP6735340B2 (ja) | 核医学画像からの生理的集積の自動除去及びｃｔ画像の自動セグメンテーション | |
| KR20190140527A (ko) | 특징 데이터 획득 방법 및 장치 | |
| JP2005276188A (ja) | 手書き文字除去画像処理装置、及び手書き文字除去画像処理方法 | |
| CN110110750A (zh) | 一种原始图片的分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |