KR20200116107A

KR20200116107A - 의료적 이미지화 절차의 자동화된 모니터링

Info

Publication number: KR20200116107A
Application number: KR1020207023908A
Authority: KR
Inventors: 아미르 슬로모 베르나트; 다비드 레비츠; 프랭크 존 볼튼; 켈윈 페르난데스
Original assignee: 모바일오디티 엘티디.
Priority date: 2018-01-23
Filing date: 2019-01-23
Publication date: 2020-10-08
Also published as: EP3743885A1; EP3743885A4; IL276225A; US20210042915A1; WO2019145951A1

Abstract

있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 방법은: 신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스를 제공하는 것; 그리고 이미지 스트림을 수신하고, 이미지 스트림에서 출현하는 의료용 액세서리를 식별하고, 그리고 신체 조직의 다수의 이미지들을 캡처하기 위해 적어도 하나의 하드웨어 프로세서를 사용하는 것을 포함하고, 여기서 (i) 이미지들 중 적어도 하나는 상기 식별 전에 캡처되고, 그리고 (ii) 이미지들 중 적어도 하나는 상기 식별시 하나 이상의 특정 시간에 캡처된다.

Description

의료적 이미지화 절차의 자동화된 모니터링

관련 출원의 교차 참조

본 출원은 미국 가특허출원 번호 제62/620,579호(출원일: 2018년 1월 23일; 발명의 명칭: "AUTOMATED COLPOSCOPY IMAGE CAPTURE") 및 미국 가특허출원 번호 제62/689,991호(출원일: 2018년 6월 26일; 발명의 명칭: "AUTOMATED MONITORING OF MEDICAL IMAGING PROCEDURES")에 대한 우선권의 혜택을 주장하며, 이들의 내용은 그 전체가 참조로 본 명세서에 통합된다.

기술분야

본 발명은 의료적 이미지화 시스템의 분야에 관한 것이다.

특정 의료적 절차의 맥락에서, 콘트라스트 촉진제 또는 조영제는 의료적 이미지화를 준비함에 있어 신체 내의 특정 구조 또는 유체의 가시성을 증진시키기 위해 조직에 도포되는 물질이다. 조영제의 수 개의 타입들이 이미지화 양식 및 이들이 사용되는 곳에 따라 의료적 이미지화에서 사용 중이다. 질확대경 검사와 같은 영역에서, 질 확대경과 같은 이미지화 디바이스가 비정상적인 조직을 시사하는 가시적 단서를 식별하기 위해 사용될 수 있다. 이미지화 디바이스는 관찰되는 영역의 이미지를 획득할 수 있는 반면, 묽은 아세트산과 같은 조영제는 비정상의 시각화를 향상시키기 위해, 관찰되는 조직에 도포될 수 있다. "아세토-화이트닝"으로서 알려진 아세트산의 효과는, 예를 들어, 해당하는 비정상, 병변, 또는 성장의 타입 및 등급에 따라, 도포된 이후 특정 시간에 최고조에 도달할 수 있다. 따라서, 정확하고 효과적인 진단을 위해 관찰하는 동안 하나 이상의 특정 시점에서 관찰되는 영역의 이미지를 획득하는 것이 중요하다.

관련 기술 및 이와 관련된 제한의 앞서의 예는 한정적인 것이 아니라 예시적인 것이 되도록 의도되었다. 관련 기술의 다른 제한은 본 명세서를 숙독하고 도면을 연구하는 경우 본 발명의 기술분야에서 숙련된 자에게 명백하게 될 것이다.

다음의 실시예 및 그 실시형태는 범위에서 한정되지 않는 예시적이고 실례가 되도록 의도된 시스템, 도구, 및 방법과 연계되어 설명되고 예시된다.

일부 실시예에서, 있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 방법이 제공되며, 이러한 방법은: 신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스를 제공하는 것; 그리고 이미지 스트림을 수신하고, 이미지 스트림에서 출현하는 의료용 액세서리를 식별하고, 그리고 신체 조직의 다수의 이미지들을 캡처하기 위해 적어도 하나의 하드웨어 프로세서를 사용하는 것을 포함하고, 여기서: (i) 이미지들 중 적어도 하나는 상기 식별 전에 캡처되고, 그리고 (ii) 이미지들 중 적어도 하나는 상기 식별시 하나 이상의 특정 시간에 캡처된다.

일부 실시예에서, 있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템이 또한 제공되며, 이러한 시스템은, 신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스; 적어도 하나의 하드웨어 프로세서; 그리고 프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 명령들은, 신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스를 제공하고; 이미지 스트림을 수신하고, 이미지 스트림에서 출현하는 의료용 액세서리를 식별하고, 그리고 신체 조직의 다수의 이미지들을 캡처하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서: (i) 이미지들 중 적어도 하나는 상기 식별 전에 캡처되고, 그리고 (ii) 이미지들 중 적어도 하나는 상기 식별시 하나 이상의 특정 시간에 캡처된다.

일부 실시예에서, 컴퓨터 프로그램 제품이 또한 제공되며, 이러한 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 코드는, 신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스를 제공하고; 이미지 스트림을 수신하고, 이미지 스트림에서 출현하는 의료용 액세서리를 식별하고, 그리고 신체 조직의 다수의 이미지들을 캡처하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서: (i) 이미지들 중 적어도 하나는 상기 식별 전에 캡처되고, 그리고 (ii) 이미지들 중 적어도 하나는 상기 식별시 하나 이상의 특정 시간에 캡처된다.

일부 실시예에서, 상기 신체 조직은 자궁경부 조직이다.

일부 실시예에서, 상기 의료용 액세서리는 신체 조직에 조영제를 도포하기 위해 사용되는 면봉이다.

일부 실시예에서, 상기 특정 시간은 상기 조영제의 타입에 적어도 부분적으로 근거하여 결정된다.

일부 실시예에서, 상기 조영제는 아세트산이고, 그리고 상기 특정 시간은 15 내지 600 초의 범위 내에 있다.

일부 실시예에서, 상기 범위는 90 내지 150 초이다.

일부 실시예에서, 상기 식별하는 것은: 특정 기간 동안 상기 이미지 스트림에서 상기 의료용 액세서리의 존재를 결정하는 것; 상기 이미지 스트림으로부터 상기 의료용 액세서리의 제거를 결정하는 것; 이미지화 디바이스로부터 상기 의료용 액세서리의 거리를 결정하는 것; 상기 신체 조직에 대한 상기 의료용 액세서리의 특정 위치를 결정하는 것; 상기 신체 조직에 대한 상기 의료용 액세서리의 특정 배향을 결정하는 것; 상기 의료용 액세서리와 동시에 이미지 스트림에서 출현하는 특정 객체를 식별하는 것; 상기 의료용 액세서리의 특정 액션을 식별하기 위해 상기 의료용 액세서리를 추적하는 것; 그리고 상기 의료용 액세서리와 상기 신체 조직 간의 접촉을 검출하는 것 중 하나 이상을 포함한다.

일부 실시예에서, 상기 식별은 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 분류기에 의해 실행된다. 일부 실시예에서, 상기 CNN 분류기는 자궁경부 조직의 배경에 대비되어 보여지는 상기 의료용 액세서리의 하나 이상의 타입들의 라벨링된 이미지들의 세트에 관해 훈련된다.

일부 실시예에서, 상기 특정 시간은 사용자 선택에 근거하여 결정된다.

일부 실시예에서, 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 전 특정 기간 동안 캡처되고, 그리고 여기서 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 후 특정 기간 동안 캡처된다.

일부 실시예에서, 상기 캡처하는 것은 연속 비디오 시퀀스, 타임-랩스 비디오 시퀀스, 및 이미지들의 시퀀스 중 하나 이상을 캡처하는 것을 포함한다.

일부 실시예에서, 상기 캡처하는 것은 이미지 품질 파라미터에 적어도 부분적으로 근거하여 이미지들의 시퀀스로부터 이미지를 선택하는 것을 더 포함한다.

일부 실시예에서, 상기 캡처하는 것은 상기 이미지 스트림에 대한 하나 이상의 조정들을 수행하는 것을 더 포함하고, 그리고 여기서 상기 조정들은: 확대, 초점, 컬러 필터링, 편광, 눈부심 제거, 화이트 밸런스, 노출 시간, 게인(ISO), 및 감마로 이루어진 그룹으로부터 선택된다.

일부 실시예에서, 방법은: 디스플레이, 스피커, 제어 패널, 마이크로폰, 및 프린터 중 하나 이상을 포함하는 사용자 인터페이스 모듈을 제공하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 사용자 인터페이스 모듈을 제공하도록 실행가능하다. 일부 실시예에서, 상기 이미지 스트림은 상기 디스플레이 상에 실시간으로 제시된다.

일부 실시예에서, 상기 캡처하는 것은: 상기 하나 이상의 이미지들 중 상기 적어도 하나를 저장 매체 상에 저장하는 것; 상기 하나 이상의 이미지들 중 적어도 하나에 특정 정보로 주석을 다는 것; 상기 하나 이상의 이미지들 중 적어도 하나를 네트워크 연결을 통해 전송하는 것; 그리고 상기 하나 이상의 이미지들 중 적어도 하나의 이미지의 하드 카피를 인쇄하는 것 중 하나 이상을 더 포함한다.

일부 실시예에서, 방법은 상기 신체 조직의 조명을 제공하도록 구성된 광원을 제공하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 광원을 제공하도록 실행가능하다.

일부 실시예에서, 상기 이미지화 디바이스는 스윙암 상에 장착되도록 구성된다.

일 실시예에서, 또한 방법이 제공되며, 이러한 방법은: 검사 기간 동안 자궁경부의 이미지 스트림을 수신하는 것, 여기서, 상기 자궁경부는, 상기 검사 기간 동안, (i) 상기 자궁경부의 적어도 일부를 덮는 점액질 층의 제거, 및 (ii) 상기 자궁경부로의 조영제의 도포 중 적어도 하나를 겪고; 그리고 상기 이미지 스트림에서: (iii) 상기 점액질 층의 불완전한 제거, (vi) 상기 조영제에 의해 상기 자궁경부에서 유발된 효과의 반전, 및 (v) 상기 조영제의 농도 레벨 중 적어도 하나를 검출하는 것을 포함하고, 여기서 상기 검출하는 것은 상기 이미지 스트림에서 상기 조직 샘플의 적어도 하나의 광학적 속성에서의 시간적 변화들을 측정하는 것에 적어도 부분적으로 근거한다.

일 실시예에서, 있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템이 또한 제공되며, 이러한 시스템은, 적어도 하나의 하드웨어 프로세서; 그리고 프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 명령들은, 검사 기간 동안 자궁경부의 이미지 스트림을 수신하는 것, 여기서, 상기 자궁경부는, 상기 검사 기간 동안, (i) 상기 자궁경부의 적어도 일부를 덮는 점액질 층의 제거, 및 (ii) 상기 자궁경부로의 조영제의 도포 중 적어도 하나를 겪고; 그리고 상기 이미지 스트림에서: (iii) 상기 점액질 층의 불완전한 제거, (iv) 상기 조영제에 의해 상기 자궁경부에서 유발된 효과의 반전, 및 (v) 상기 조영제의 농도 레벨 중 적어도 하나를 검출하는 것을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서 상기 검출하는 것은 상기 이미지 스트림에서 상기 조직 샘플의 적어도 하나의 광학적 속성에서의 시간적 변화들을 측정하는 것에 적어도 부분적으로 근거한다.

일 실시예에서, 컴퓨터 프로그램 제품이 또한 제공되며, 이러한 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 코드는, 검사 기간 동안 자궁경부의 이미지 스트림을 수신하는 것, 여기서, 상기 자궁경부는, 상기 검사 기간 동안, (i) 상기 자궁경부의 적어도 일부를 덮는 점액질 층의 제거, 및 (ii) 상기 자궁경부로의 조영제의 도포 중 적어도 하나를 겪고; 그리고 상기 이미지 스트림에서: (iii) 상기 점액질 층의 불완전한 제거, (iv) 상기 조영제에 의해 상기 자궁경부에서 유발된 효과의 반전, 및 (v) 상기 조영제의 농도 레벨 중 적어도 하나를 검출하는 것을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서 상기 검출하는 것은 상기 이미지 스트림에서 상기 조직 샘플의 적어도 하나의 광학적 속성에서의 시간적 변화들을 측정하는 것에 적어도 부분적으로 근거한다.

일부 실시예에서, 상기 검출하는 것은 상기 이미지 스트림에서 상기 자궁경부의 경계를 먼저 식별하는 것을 포함한다.

일부 실시예에서, 상기 식별하는 것은 조직 샘플 컬러에 적어도 부분적으로 근거한다.

일부 실시예에서, 상기 식별하는 것은 컨볼루션 뉴럴 네트워크(CNN) 분류기들 및 서포트 벡터 머신(Support Vector Machine, SVM) 분류기들로 이루어진 그룹으로부터 선택된 하나 이상의 머신 러닝 알고리즘들을 실행하는 것에 적어도 부분적으로 근거한다.

일부 실시예에서, 상기 조영제는 아세트산이고, 그리고 상기 효과는 아세토화이트닝이다.

일부 실시예에서, 상기 조영제는 루골 요오드이고, 그리고 상기 효과는 글리코겐-함유 조직 영역들에서 요오드의 흡수와 관련된다.

일부 실시예에서, 상기 점액질 층의 상기 불완전한 제거의 상기 검출은, 상기 제거 전에 캡처된 적어도 제1의 상기 이미지를 상기 제거 후에 캡처된 적어도 제2의 상기 이미지와 비교하는 것을 포함하고, 그리고 여기서 상기 비교는 상기 제1의 이미지 및 상기 제2의 이미지에서의 픽셀 값들이 비유사도 임계치를 충족시킴에 적어도 부분적으로 근거한다.

일부 실시예에서, 상기 검출하는 것은 상기 불완전한 제거와 관련된 경고를 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함한다.

일부 실시예에서, 상기 경고는 상기 점액질 층의 상기 불완전한 제거와 관련된 것으로서 식별된 상기 이미지 스트림 내의 하나 이상의 영역들의 위치에 관한 표시를 포함하고, 여기서 상기 표시는: 상기 하나 이상의 영역들 둘레에 아웃라인을 디스플레이하는 것, 상기 하나 이상의 영역들을 둘러싸는 박스를 디스플레이하는 것, 상기 하나 이상의 영역들을 가리키는 화살표를 디스플레이하는 것, 상기 하나 이상의 영역들의 줌-인 뷰를 디스플레이하는 것, 그리고/또는 상기 하나 이상의 영역들과 관련된 하나 이상의 값들의 표시를 디스플레이하는 것 중 적어도 하나를 포함한다.

일부 실시예에서, 상기 효과의 상기 반전의 상기 검출은, 이미지 스트림에서 출현하는 상기 하나 이상의 면봉들을 식별하는 것에 적어도 부분적으로 근거하여 상기 조영제의 상기 도포의 시간을 결정하는 것을 더 포함한다.

일부 실시예에서, 상기 측정하는 것은 상기 결정 후 특정 기간 동안 일어난다.

일부 실시예에서, 상기 측정하는 것은, 상기 효과에서의 상기 시간적 변화들의 적어도 하나의 파라미터를 상기 기간 동안 계산하는 것을 더 포함하고, 여기서, 상기 적어도 하나의 파라미터는: 최대값, 상기 최대값에 도달하기 위해 요구되는 기간, 상기 값에서의 시간적 변화들을 기술하는 곡선의 적분, 상기 최대값으로의 상기 값에서의 증가율, 그리고 상기 최대값으로부터의 상기 값에서의 감소율로 이루어진 그룹으로부터 선택된다.

일부 실시예에서, 방법은, 정상적인 조직, 염증이 있는 조직, 자궁경부 종양, HPV 감염, 형성이상, 병이 있는 조직, 전암성 조직, 및 암에 걸린 조직으로 이루어진 그룹으로부터 선택된 조직 상태와 적어도 하나의 상기 파라미터를 관련시키는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 관련시키는 것을 수행하도록 실행가능하다.

일부 실시예에서, 방법은, 상기 관련시키는 것에 적어도 부분적으로 근거하여, (i) 상기 조영제의 하나 이상의 추가적인 상기 도포에 대한 필요성, 및 (ii) 상기 조영제의 상기 농도 레벨을 조정할 필요성 중 적어도 하나를 결정하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 결정하는 것을 수행하도록 실행가능하다.

일부 실시예에서, 상기 결정하는 것은 상기 결정하는 것과 관련된 하나 이상의 경고들을 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함한다.

일부 실시예에서, 상기 캡처하는 것은, RGB(Red-Green-Blue, 적색-녹색-청색), 단색, 자외선(UltraViolet, UV), 근적외선(Near InfraRed, NIR), 및 단파 적외선(Short-Wave InfraRed, SWIR) 스펙트럼 데이터 중 적어도 하나를 검출하도록 구성된 적어도 하나의 이미지화 디바이스를 사용하는 것을 포함한다.

일부 실시예에서, 상기 적어도 하나의 이미지화 디바이스는: 상보형 금속-산화물-반도체(Complementary Metal-Oxide-Semiconductor, CMOS), 전하-결합 디바이스(Charge-Coupled Device, CCD), 인듐 갈륨 비소 화합물(Indium Gallium Arsenide, InGaAs), 및 편광-감응 센서 소자로 이루어진 그룹으로부터 선택된 디지털 이미지화 센서를 포함한다.

일부 실시예에서, 상기 캡처하는 것은 상기 이미지들에 대한 하나 이상의 조정들을 수행하는 것을 더 포함하고, 그리고 여기서 상기 조정들은: 확대, 초점, 컬러 필터링, 편광, 및 눈부심 제거로 이루어진 그룹으로부터 선택된다.

일 실시예에서, 방법이 또한 제공되며, 이러한 방법은: 적어도 자궁경부를 묘사하는 이미지 스트림을 수신하는 것; 이미지 스트림에서: (i) 하나 이상의 면봉들, (ii) 자궁경부로부터의 점액질 층의 불완전한 제거, (iii) 조영제에 의해 자궁경부에서 유발된 효과의 반전, 및 (iv) 조영제의 농도 레벨 중 적어도 하나를 검출하는 것; (ii) 내지 (iv) 중 적어도 하나의 검출시 통지를 즉시 발행하는 것; (a) 하나 이상의 면봉들에 의한 조영제의 도포 전에, 그리고 (b) 면봉에 의한 조영제의 성공적인 도포 후 특정 시간에, 자궁경부의 이미지들을 캡처하는 것을 포함하고, 여기서 성공적인 도포는 (ii) 내지 (iv) 중 적어도 하나의 검출 또는 검출 없음에 근거하여 결정된다.

일 실시예에서, 있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템이 또한 제공되며, 이러한 시스템은, 적어도 하나의 하드웨어 프로세서; 그리고 프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 명령들은: 적어도 자궁경부를 묘사하는 이미지 스트림을 수신하는 것; 이미지 스트림에서: (i) 하나 이상의 면봉들, (ii) 자궁경부로부터의 점액질 층의 불완전한 제거, (iii) 조영제에 의해 자궁경부에서 유발된 효과의 반전, 및 (iv) 조영제의 농도 레벨 중 적어도 하나를 검출하는 것; (ii) 내지 (iv) 중 적어도 하나의 검출시 통지를 즉시 발행하는 것; (a) 하나 이상의 면봉들에 의한 조영제의 도포 전에, 그리고 (b) 면봉에 의한 조영제의 성공적인 도포 후 특정 시간에, 자궁경부의 이미지들을 캡처하는 것을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서 성공적인 도포는 (ii) 내지 (iv) 중 적어도 하나의 검출 또는 검출 없음에 근거하여 결정된다.

일 실시예에서, 컴퓨터 프로그램 제품이 또한 제공되며, 이러한 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 프로그램 코드는: 적어도 자궁경부를 묘사하는 이미지 스트림을 수신하는 것; 이미지 스트림에서: (i) 하나 이상의 면봉들, (ii) 자궁경부로부터의 점액질 층의 불완전한 제거, (iii) 조영제에 의해 자궁경부에서 유발된 효과의 반전, 및 (iv) 조영제의 농도 레벨 중 적어도 하나를 검출하는 것; (ii) 내지 (iv) 중 적어도 하나의 검출시 통지를 즉시 발행하는 것; (a) 하나 이상의 면봉들에 의한 조영제의 도포 전에, 그리고 (b) 면봉에 의한 조영제의 성공적인 도포 후 특정 시간에, 자궁경부의 이미지들을 캡처하는 것을 수행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능하고, 여기서 성공적인 도포는 (ii) 내지 (iv) 중 적어도 하나의 검출 또는 검출 없음에 근거하여 결정된다.

일부 실시예에서, 상기 범위는 90 내지 150 초이다.

일부 실시예에서, 하나 이상의 면봉들의 상기 검출은: 특정 기간 동안 상기 이미지 스트림에서 상기 면봉의 존재를 결정하는 것; 상기 이미지 스트림으로부터 상기 면봉의 제거를 결정하는 것; 이미지화 디바이스로부터 상기 면봉의 거리를 결정하는 것; 상기 자궁경부에 대한 상기 면봉의 특정 위치를 결정하는 것; 상기 자궁경부에 대한 상기 면봉의 특정 배향을 결정하는 것; 상기 면봉과 동시에 이미지 스트림에서 출현하는 특정 객체를 식별하는 것; 상기 면봉의 특정 액션을 식별하기 위해 상기 면봉을 추적하는 것; 그리고 상기 면봉과 상기 자궁경부 간의 접촉을 검출하는 것 중 하나 이상을 포함한다.

일부 실시예에서, 상기 검출은 컨볼루션 뉴럴 네트워크(CNN) 분류기에 의해 실행된다.

일부 실시예에서, 상기 CNN 분류기는 자궁경부 조직의 배경에 대비되어 보여지는 상기 면봉의 하나 이상의 타입들의 라벨링된 이미지들의 세트에 관해 훈련된다.

일부 실시예에서, 상기 이미지들 중 적어도 일부는 상기 특정 시간 전 특정 기간 동안 캡처되고, 그리고 여기서 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 후 특정 기간 동안 캡처된다.

일부 실시예에서, 방법은: 디스플레이, 스피커, 제어 패널, 마이크로폰, 및 프린터 중 하나 이상을 포함하는 사용자 인터페이스 모듈을 제공하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 사용자 인터페이스 모듈을 제공하도록 실행가능하다.

일부 실시예에서, 상기 이미지 스트림은 상기 디스플레이 상에 실시간으로 제시된다.

일부 실시예에서, 방법은 상기 자궁경부의 조명을 제공하도록 구성된 광원을 제공하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 광원을 제공하도록 실행가능하다.

일부 실시예에서, 상기 식별하는 것은 컨볼루션 뉴럴 네트워크(CNN) 분류기들 및 서포트 벡터 머신(SVM) 분류기들로 이루어진 그룹으로부터 선택된 하나 이상의 머신 러닝 알고리즘들을 실행하는 것에 적어도 부분적으로 근거한다.

일부 실시예에서, 상기 효과의 상기 반전의 상기 검출은, 이미지 스트림에서 출현하는 의료용 면봉을 식별하는 것에 적어도 부분적으로 근거하여 상기 조영제의 상기 도포의 시간을 결정하는 것을 더 포함한다.

일부 실시예에서, 방법은 상기 관련시키는 것에 적어도 부분적으로 근거하여, (i) 상기 조영제의 하나 이상의 추가적인 상기 도포에 대한 필요성, 및 (ii) 상기 조영제의 상기 농도 레벨을 조정할 필요성 중 적어도 하나를 결정하는 것을 더 포함하고, 그리고 프로그램 명령들은 또한, 이러한 결정하는 것을 수행하도록 실행가능하다.

일부 실시예에서, 상기 캡처하는 것은, RGB(적색-녹색-청색), 단색, 자외선(UV), 근적외선(NIR), 및 단파 적외선(SWIR) 스펙트럼 데이터 중 적어도 하나를 검출하도록 구성된 적어도 하나의 이미지화 디바이스를 사용하는 것을 포함한다.

일부 실시예에서, 상기 적어도 하나의 이미지화 디바이스는: 상보형 금속-산화물-반도체(CMOS), 전하-결합 디바이스(CCD), 인듐 갈륨 비소 화합물(InGaAs), 및 편광-감응 센서 소자로 이루어진 그룹으로부터 선택된 디지털 이미지화 센서를 포함한다.

앞에서 설명되는 예시적 실시형태 및 실시예에 추가하여, 다른 실시형태 및 실시예가 다음의 상세한 설명을 연구함으로써 그리고 도면을 참조함으로써 명백하게 될 것이다.

참조되는 도면에서 예시적인 실시예가 예시된다. 도면에서 보여지는 구성요소 및 특징의 치수는 제시의 편의 및 명확화를 위해 일반적으로 선택된 것이지 반드시 일정한 비율로 보여지는 것이 아니다. 도면이 아래에서 나열된다.
도 1은 일 실시예에 따른, 의료적 절차 동안 시간-의존적 이미지 캡처를 위한 자동화된 시스템을 예시하고;
도 2는 일 실시예에 따른, 의료적 절차 동안 자동화된 시간-의존적 이미지 캡처를 위한 방법에서의 기능적 단계들의 흐름도이고;
도 3a는 세정-이전 단계에서 검경의 개구를 통해 캡처된 자궁경부의 기준 이미지를 보여주고;
도 3b는 아세토화이트닝-이전 및 아세토화이트닝-이후 단계에서 백반증 영역을 보여주고;
도 3c는 일 실시예에 따른, 세정-이전 및 세정-이후 이미지들을 서로 비교한 것을 예시하고;
도 3d는 일 실시예에 따른, IUD를 갖는 환자에서 점액질이 완전히 세정되지 않았던 영역들을 검출하는 것을 예시하고;
도 4a 및 4b는 일 실시예에 따른, 의료적 절차 동안 시간-의존적 이미지 캡처를 위한 시스템의 예시적 응용예를 개략적으로 예시하고;
도 5는 HSV 컬러 공간에서 아세토화이트닝-이전 및 아세토화이트닝-이후 이미지들의 예시적인 분석을 보여주고;
도 6은 HSV 및 La*b* 컬러 공간으로 변환된 이미지들을 보여주고; 그리고
도 7은 조직 병상에 대응하는 아세토화이트닝 반응을 겪었던 자궁경부 영역을 보여준다.

컴퓨터 비전 객체 인식에 근거하여, 의료적 절차 동안 자동화된 시간-의존적 이미지 캡처를 가능하게 하는 시스템 및 방법이 본 명세서에서 개시된다. 본 시스템 및 방법은, 이미지화 시스템의 시계 안으로 도입된 의료용 액세서리 또는 기구일 수 있는 특정 트리거링 이벤트의 인식에 근거하여, 특정 시구간에서 신체의 영역의 하나 이상의 이미지들을 자동적으로 캡처하도록 구성된 이미지화 시스템을 포함한다.

일부 실시예에서, 본 방법은 또한, 조영제의 도포를 포함하는 의료적 검사 절차의 부적절한 그리고/또는 불완전한 실행의 자동화된 모니터링 및 검출을 제공한다.

일부 실시예에서, 본 발명은 부적절한 그리고/또는 불완전한 표면 영역 준비, 일관되지 않는 조영제 도포, 및/또는 부적당한 조영제 농도 레벨, 뿐만 아니라 이러한 부적절한/불완전한 단계를 교정하기 위해 취해질 수 있는 단계에 관해 임상의에게 경고하도록 구성될 수 있다.

이에 따라, 본 발명은 더 일관적이고, 정확하고 그리고 신뢰가능한 이미지화 결과를 촉진하는 것을 도울 수 있다. 결과의 증가된 정확성 및 신뢰성은 고-등급 질병을 놓쳐버릴 위험의 감소, 치료 결정에서의 확신의 부가, 그리고 불필요한 치료의 제거를 제공할 수 있다. 추가적으로, 이미지화 결과에서의 더 큰 일관성을 제공함으로써, 본 발명은 컴퓨터화된 이미지 평가 애플리케이션의 더 큰 사용을 용이하게 할 수 있고, 그럼으로써 의료 전문가에 대한 의존도를 감소시키게 되고 전체 효율을 증가시키게 된다.

본 명세서에서 사용되는 바와 같이, 용어 "이미지" 또는 "이미지 프레임"은 물리적 객체 또는 장면의 2-차원, 3-차원, 또는 더 높은 차원의 표현을 포함하는 임의의 이미지 또는 이미지의 일부를 지칭한다.

용어 "이미지화 디바이스"는 이미지들을 캡처하고 이들을 데이터로서 나타내는 임의의 디바이스로서 광범위하게 정의된다. 이미지화 디바이스는 이미지 센서와 같은 광학-기반 디바이스일 수 있지만, 깊이 센서, 무선 주파수 이미지화기, 초음파 이미지화기, 적외선 이미지화기, 등을 또한 포함할 수 있다.

용어 "객체 인식" 및 "객체 분류"는 컴퓨터 비전을 사용하여 디지털 이미지 내의 객체를 인식 및 분류하는 것을 지칭한다.

본 시스템 및 방법의 예시적 실시예는 콘트라스트 촉진제 또는 조영제의 사용을 포함하는 의료적 절차와 연결되어 이용될 수 있다. 조영제는 특정 구조 또는 유체의 가시성을 증진시키기 위해, 검사 중인 신체의 영역에 도포된다. 특정 조영제의 증진 효과는 도포된 이후 특정 시간에 최고조에 도달할 수 있다. 이에 따라, 최적의 진단을 위해서, 조영제의 도포 이후 미리 결정된 특정 최고조 시간에 그 영향을 받은 신체 조직의 하나 이상의 이미지들을 캡처하는 것이 유리하다.

특정 의료적 절차에서, 적절한 조영제가 특정 조직 구조의 가시성을 증진시키기 위해 관찰 중인 신체의 영역에 도포된다. 조영제는 병이 있는 조직과 선택적으로 상호작용하여 그 광학적 특성을 변경시키고, 이에 따라 병변 조직과 건강한 조직 간의 콘트라스트를 증진시킨다. 그 다음에 이러한 광학적 변경은 광-조직 상호작용 현상을 이용함으로써 체내에서 검출될 수 있다. 조직으로부터의 방출된 광의 특성을 측정 및 분석하는 것은 또한, 상이한 분자의 존재에 대한 정보, 또는 질병의 진행 동안 일어나는 다양한 구조적 변화 및 기능적 변화에 대한 정보를 제공할 수 있고, 이에 따라 병변의 체내 식별 및 등급결정을 위한 수단을 제공한다.

다음의 논의는 질확대경 검사의 의료적 절차에 초점을 맞출 것인데, 여기서 질확대경은 자궁의 자궁경부에서 비정상적인 조직을 시사하는 가시적 단서를 식별하기 위해 사용된다. 하지만, 질확대경 검사에 추가하여, 일반 외과(내시경검사 및 복강경검사), 소화기내과, 이비인후과(Ear Nose and Throat, ENT), 비뇨기과, 법의학(즉, 범죄 피해자 또는 용의자인 환자로부터의 증거 수집), 및 (당뇨성 궤양을 포함하는) 일반적인 손상의 시각화를 포함하는(하지만, 이러한 것으로만 한정되는 것은 아닌) 진단 및 치료 처리의 다른 타입이, 결과에서의 가시화의 향상된 일관성 및 신뢰성으로부터 혜택을 받을 수 있다.

현재의 이미지화 시스템은 대부분 수동으로 작동되거나 조작자로부터의 때에 맞는 입력을 요구한다. 예를 들어, 질확대경 검사에서, 질확대경과 같은 자궁경부 이미지화 디바이스는 삼각대, 마운트, 또는 스윙암 상에 배치될 수 있다. 이미지화 디바이스는 예를 들어, 질 검경을 통해 자궁경부에서의 관찰된 영역에 관해 하나 이상의 이미지들을 획득하도록 훈련될 수 있다. 절차를 집행하는 의료 전문가는, 한 손으로 질확대경을 잡고 조종하며, 다른 손을 사용하여 면봉으로 자궁경부의 영역에 조영제를 도포하고, 그 다음에 카운트다운 타이머를 시작하고 관찰하며, 그리고 하나 이상의 원하는 시구간의 만료시 이미지화 디바이스를 수동으로 작동시킬 필요가 있을 수 있다. 말할 필요도 없이, 이러한 수동적 조작은 번거롭고 의료 전문가의 손과 주의력을 속박하며, 이에 따라 정신을 흐트러트리고 오류를 일으키기 쉬운데, 이것은 결과 및 최종 진단의 정확성에 영향을 미칠 수 있다. 예를 들어, 절차를 집행하는 의사의 한 손은 질확대경을 조종하는 데 사용되고 있고 다른 손은 면봉 조작을 행하고 있어, 타이머 기능의 시작은 어쩔 수 없이 약간 지연될 것인데, 왜냐하면 이것은 의사가 면봉 조작을 완료한 다음 검경을 통해 면봉을 다시 회수하여 폐기한 후에만 타이머를 작동시키는 것에 의존하기 때문이다. 대안적으로, 이러한 절차는 의사로부터의 명령에 따라 타이머 및 이미지화 디바이스를 작동시키기 위해 간호사 또는 보조자와 같은 추가적인 인력의 존재를 요구할 수 있는데, 따라서 귀중한 자원을 소요하게 된다.

이에 따라, 본 발명의 예시적 실시예에서는, 자궁경부-질 이미지화에서 사용하기 위한 시스템 및 방법이 개시되는데, 여기서 이미지화 디바이스는 이미지화 디바이스의 시계 내에 의료용 도포기(예를 들어, 면봉)의 검출과 같은 특정 트리거링 이벤트의 발생시 특정 시점에 하나 이상의 이미지들을 자동적으로 캡처 및/또는 저장하도록 구성된다. 결과의 증가된 정확성은 고등급 질병을 놓쳐버릴 위험의 감소, 치료 결정에서의 확신의 부가, 그리고 불필요한 치료의 위험의 감소를 제공할 수 있다.

질확대경 검사는 자궁경부의 비정상적인 영역의 체내 비-침습적 식별을 위한 진단 도구로서 일상적으로 사용된다. 질확대경은, 자궁경부 조직의 표면 구조의 일반적인 인상을 제공할 뿐만 아니라 더 진전된 전암성 또는 암성 병변의 존재를 표시할 수 있는 특정 혈관 패턴을 제공하는 이미지들을 시각화 및/또는 캡처하기 위해 조명 달린 광학 확대 디바이스로서 기능한다. 질확대경 검사 동안, (3 내지 5%에서의) 묽은 아세트산, 루골 요오드 및/또는 톨루이딘 블루와 같은 조영제가 형성이상/선암의 높은 위험을 갖는 영역을 두드러지게 하기 위해 전체 자궁경부에 도포된다. 이러한 영역은 선암성 병변의 더 높은 핵 밀도와 상관되는 아세토-화이트닝의 과정을 겪음으로써 조영제의 도포에 반응할 수 있다.

검사 동안, 이미지들 내의 자궁경부 조직은, 병변의 마진의 형태, 비정상적인 상피의 혈관 패턴, 및 조영제의 도포 이후 착색의 정도와 같은 수 개의 기준에 따라 시간-분해적 방식으로 평가된다. 질확대경 검사 등급결정은 시각적 검사에 근거하고, 그리고 검출된 병변은 경험적으로 정성적인 척도에 따라 분류된다. 예를 들어, 고-등급(레벨 2 내지 3) 자궁경부 상피내 종양(Cervical Intraepithelial Neoplasia, CIN)은 (때때로 융기될 수 있고 펼쳐질 수 있는) 잘-구획되고 규칙적인 마진을 갖는 두껍고 조밀하며 둔하고 불투명한 또는 회백색의 아세토-화이트닝된 영역과 관련된다. 하지만, 저-등급 CIN, 미성숙한 편평상피화생, 및 염증성 병변을 구별하기 위해서는 상당한 기술 및 장기간의 평가가 요구될 수 있다.

모든 경우에 있어서, 질확대경 검사의 효과는 질확대경 검사 절차를 적절하게 따르는 데 크게 의존한다. 이와 관련하여 일어날 수 있는 문제 중 일부는, 부적절한 그리고/또는 불완전한 표면 준비, 조영제의 부적절한 또는 불충분한 투여, 및/또는 조영제 용액의 부적당한 농도를 포함한다. 많은 경우에 있어서, 이것은 검사를 수행하는 임상의의 부분에서 훈련의 부족 또는 불충분한 임상 경험의 결과일 수 있다. 이와 관련하여, 업계 전문가는 임상의들은 이들의 훈련이 완료되기 전에 지도의사와 함께 25 내지 100건의 경우를 수행할 필요가 있을 수 있다고 추정했다(예를 들어, 문헌["Colposcopy can enhance your diagnostic skills", Relias AHC Media, January 1, 1998] 참조). 하지만, 검사가 때때로 현장 상황에서 행해지는 세계의 개발도상 지역에서, 경험이 있는 또는 적절하게-훈련된 직원을 모집하는 것은 어려울 수 있다.

부적절한 표면 영역 준비는 예를 들어, 자궁경부의 점액질 층의 불완전한 제거를 포함할 수 있다. 전형적으로, 질확대경 검사 준비는 마른 면봉 또는 식염수에-적신 면봉으로 자궁경부로부터 과다한 점액질 및/또는 혈액과 같은 다른 오염물을 제거하는 것으로 시작한다. 이것은 미란, 표면 윤곽 비정상, 백반증, 또는 외장성 병변과 같은 침습성 암을 암시하는 임의의 명백한 발견의 초기 시각화를 가능하게 한다. 일부 비정상적인 혈관 패턴은 적색이-없는(즉, 녹색) 필터를 사용하면 아세트산의 도포 전에 더 가시적이다. 추가적으로, 체내 진단 검사의 의료적 이미지화는 조명 및 이미지화 광선이 신체의 동공을 통해 동일한 광학적 경로를 따라 진행할 것을 요구함에 유의해야 한다. 일부 경우에, 조직의 표면 반사는 진단 신호에서의 광학적 노이즈로서 결과적인 이미지에서 실질적으로 나타나며, 따라서 조영제-반응 조직 영역과 조영제 비-반응 조직 영역 간의 지각되는 콘트라스트를 실질적으로 저하시킨다. 이러한 문제는 특히, 점액질 및 타액과 같은 유체에 의해 덮인 자궁경부, 후두, 구강, 등과 같은 상피 조직에서 특히 중요하다. 표면 반사는 또한, 정상적인 조직과 병이 있는 조직 간의 광학적 콘트라스트를 증진시키는 조영제의 투여 이후 유발되는 조직의 광학적 속성에서의 변화의 검출 및 측정을 방해한다. 더 구체적으로, 병이 있는 조직의 산란 특성을 조영제가 선택적으로 변경시키는 경우, 병이 있는(조영제-반응성) 조직 영역과 정상적인(조영제 비-반응성) 조직 영역 모두에서 일어나는 강한 표면 반사는 카메라를 포화시키고, 그리고 조직의 표면아래 특징과 조영제의 상호작용으로부터 유래하는 진단 신호를 감쳐버린다.

또 하나의 다른 잠재적 문제는 아세토-화이트닝의 시각적 효과가 바람직하게는 정적으로 평가되는 것이 아니라 시간-분해적 방식으로 평가되어야 하는 동적 현상이라는 것이다. 일반적으로, 아세토-화이트닝 효과는 대략 120초에서 최고조에 도달할 때까지 점진적으로 증가하고, 그 시간 이후 반전 및 감쇠하기 시작한다(하지만, 다른 질확대경 검사 지침은 최고조 효과 타이밍에 관해 다르게 지시함). 하지만, 초기 병상적 조건의 수 개의 경우에서, 조영제를 투여한 이후 일시적인 착색의 현상은 짧게 지속되고, 따라서 임상의는 유발된 변화를 검출할 수 없고, 심지어는 그 강도 및 범위조차도 검출할 수 없다. 따라서, 예를 들어, 더 긴 기간 동안 아세토화이트닝 효과를 유지시키기 위해서는 특정 구간에서 더 많은 조영제가 도포될 필요가 있을 수 있다. 이러한 변형예는 종종 결과적으로 진단 값 및 절차의 유용성을 저하시킨다.

질확대경 검사 이미지화의 품질, 일관성 및 신뢰성은, 이미지들이 원격 위치에 있는 전문가에 의한 평가를 위해 전송되는 경우(예를 들어, 이미지들이 개발도상국 내의 현장에서 획득된 경우), 그리고/또는 질확대경 검사 이미지들을 분석하기 위해 자동화된 또는 반-자동화된 이미지 분석 애플리케이션에 의존하는 경우, 특히 중요할 수 있다. 부적절하게 수행된 검사의 결과인 일관되지 않는 또는 신뢰가능하지 않는 이미지들은 진단에서 거짓 양성 및 거짓 음성의 문제를 일으킬 수 있다. 이것은 의료 전문가에 의한 일상적인 이중-점검을 필요로 할 수 있는데, 이는 애당초 자동화된 애플리케이션을 사용하는 목적에 반하는 것이다. 추가적으로, 불량한 진단 결과는 환자로 하여금 새로운 질확대경 검사 절차를 다시 받도록 하기 위해 되돌아 올 것을 요구할 수 있는데, 이것은 다시 시간 및 귀중한 자원의 낭비를 초래한다.

이에 따라, 본 발명의 잠재적 이점은, 부적절한 그리고/또는 불완전한 질확대경 검사 절차의 실시간 자동화된 모니터링 및 검출을 제공한다는 것이고, 여기에는 불완전한 그리고/또는 부적절한 영역 세정이 일어난 경우에, 조영제의 하나 이상의 재도포에 대한 필요성 및/또는 조영제 농도 레벨의 모니터링에 대한 필요성을 임상의에게 경고하는 것이 포함된다.

본 발명의 예시적 시스템

도 1은 조영제의 도포를 포함하는 의료적 이미지화 절차의 자동화된 모니터링을 위한 예시적 시스템(100)의 블록도이다. 본 명세서에서 설명되는 바와 같은 시스템(100)은 단지 본 발명의 예시적 실시예이고, 실제로는 보여지는 것보다 더 많거나 더 적은 수의 구성요소를 가질 수 있으며, 구성요소들 중 둘 이상을 조합할 수 있고, 또는 구성요소들의 상이한 구성 또는 정렬을 가질 수 있다. 시스템(100)의 다양한 구성요소는 하드웨어로, 소프트웨어로, 또는 하드웨어와 소프트웨어 양쪽 모두의 조합으로 구현될 수 있다. 다양한 실시예에서, 시스템(100)은, 모바일 디바이스, 셀폰, 디지털 카메라, 등과 같은 전용 하드웨어 디바이스를 포함할 수 있고, 또는 질확대경, 자궁경부확대촬영검사 이미지화 디바이스, 자궁경부 이미지 프로브(다양한 형상 및 크기를 가질 수 있는 프로브, 예를 들어, 템폰 폼 팩터 프로브), 등과 같은 기존 의료용 디바이스에 추가된 형태 또는 기존 의료용 디바이스의 확장된 형태를 가질 수 있다.

일부 실시예에서, 시스템(100)은 하드웨어 프로세서(110), 통신 모듈(112), 메모리 저장 디바이스(114), 사용자 인터페이스(116), 이미지화 디바이스(118), 및 광원(120)을 포함할 수 있다. 시스템(100)은 저장 디바이스(114)와 같은 시스템(100)의 비-휘발성 메모리에 하드웨어 프로세서(110)와 같은 프로세싱 유닛(또한 "하드웨어 프로세서", "CPU", 또는 간단히 "프로세서)을 작동시키도록 구성된 소프트웨어 명령 또는 구성성분을 저장할 수 있다. 일부 실시예에서, 소프트웨어 구성성분은, 일반적인 시스템 태스크(예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리, 등)를 제어 및 관리하기 위한, 그리고 다양한 하드웨어와 소프트웨어 성분 간의 통신을 용이하기 하기 위한, 다양한 소프트웨어 성분 및/또는 드라이버를 포함하는 운영 시스템을 포함할 수 있다.

일부 실시예에서, (하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있는) 비-일시적 컴퓨터-판독가능 저장 디바이스(114)는 캡처된 프레임을 저장하고, 검색하고, 비교하고, 그리고/또는 캡처된 프레임에 주석을 달기 위해 사용된다. 이미지 프레임은 하나 이상의 속성 또는 태그에 근거하여, 몇 가지 예를 들면, 타임 스탬프, 사용자에 의해 입력된 라벨, 또는 프레임의 관련성을 표시하는 적용된 이미지 프로세싱 방법의 결과와 같은 것에 근거하여, 저장 디바이스(114)에 저장될 수 있다.

하드웨어 프로세서(110)를 작동시키는 소프트웨어 명령 및/또는 구성성분은 이미지화 디바이스(118)에 의해 캡처된 다수의 프레임을 수신 및 분석하기 위한 명령을 포함할 수 있다. 예를 들어, 하드웨어 프로세서(110)는 이미지 프로세싱 모듈(110a)을 포함할 수 있는데, 이는 이미지화 디바이스(118)로부터 하나 이상의 이미지 및/또는 이미지 스트림을 수신하고 여기에 하나 이상의 이미지 프로세싱 알고리즘을 적용한다. 일부 실시예에서, 이미지 프로세싱 모듈(110a)은, 임의의 적절한 이미지 프로세싱 또는 특징 추출 기법을 사용하여, 이미지화 디바이스(118)에 의해 캡처된 이미지에서 객체 인식 및 분류를 수행하도록 구성된 하나 이상의 알고리즘을 포함한다. 일부 실시예에 대해, 이미지 프로세싱 모듈(110a)은 다수의 입력 이미지 스트림들을 동시에 수신할 수 있고 다수의 출력 디바이스에 대해 이들 간의 전환을 행할 수 있는데, 이것은 이미지 스트림에 이미지 스트림 프로세싱 기능을 제공하면서 이루어진다. 들어오는 이미지 스트림은 다양한 의료용 또는 다른 이미지화 디바이스로부터 올 수 있다. 이미지 프로세싱 모듈(110a)에 의해 수신된 이미지 스트림들은, 이들의 각각의 소스 디바이스의 특성 및 목적에 따라, 해상도, 프레임 레이트(예를 들어, 초당 15 내지 35 프레임), 포맷, 및 프로토콜에 있어 다양할 수 있다. 실시예에 따라, 이미지 프로세싱 모듈(110a)은 이미지 스트림을 다양한 프로세싱 기능을 통해 라우팅시킬 수 있고, 또는 출력 회로로 라우팅시킬 수 있으며, 출력 회로는 프로세싱된 이미지 스트림을 예를 들어, 디스플레이(116a) 상에서의 제시를 위해 레코딩 시스템으로 네트워크를 거쳐 전송하거나 또 하나의 다른 논리적 목적지로 전송한다. 이미지 프로세싱 모듈(110a)에서, 이미지 스트림 프로세싱 알고리즘은 가시성을 향상시킬 수 있고, 이미지화 디바이스에 의해 제공되는 이미지 스트림 내의 왜곡, 눈부심, 또는 다른 바람직하지 않은 효과를 감소시킬 수 있거나 제거할 수 있다. 이미지 스트림 프로세싱 알고리즘은 이미지 스트림 내에 존재하는 포그, 스모크, 오염물, 또는 다른 불명료한 부분을 감소시킬 수 있거나 제거할 수 있다. 이미지 스트림 프로세싱 모듈(110a)에 의해 이용되는 이미지 스트림 프로세싱 알고리즘의 타입은 예를 들어, 이미지 콘트라스트를 향상시키기 위한 히스토그램 등화 알고리즘, 이미지 선명도를 향상시키는 컨볼루션 커널을 포함하는 알고리즘, 그리고 컬러 분리 알고리즘을 포함할 수 있다. 이미지 스트림 프로세싱 모듈(110a)은 이미지 스트림 프로세싱 알고리즘들을 단독으로 적용할 수 있거나 조합하여 적용할 수 있다.

이미지 프로세싱 모듈(110a)은 또한 이미지 스트림에 대한 로깅 또는 레코딩 동작을 용이하게 할 수 있다. 일부 실시예에 따르면, 이미지 프로세싱 모듈(110a)은 보이스-오버 또는 북마크를 이용해 이미지 스트림의 레코딩을 가능하게 하거나, 또는 이미지 스트림으로부터 프레임의 캡처(예를 들어, 이미지 스트림으로부터 프레임을 윈도우로 드래그-앤-드랍)를 가능하게 한다. 이미지 프로세싱 모듈(110a)의 일부 또는 모든 기능은 이미지 스트림 레코딩 시스템 또는 이미지 스트림 프로세싱 시스템을 통해 용이하게 될 수 있다.

하드웨어 프로세서(110)는 또한, 타이밍 모듈(110b)을 포함할 수 있는데, 타이밍 모듈(110b)은 이미지 캡처와 같은 시스템(100)의 다양한 기능을 트리거링하는 하나 이상의 타이머, 클록, 스톱-워치, 알람, 등을 사용하여 타이머 능력을 제공할 수 있다. 이러한 타이머, 스톱-워치 및 클록은 또한 사용자 인터페이스(116)를 통해 이미지 스트림 위에 부가될 수 있고 디스플레이될 수 있다. 예를 들어, 타이밍 모듈(110b)은 사용자로 하여금 예를 들어, 외과적 절차 또는 진단적 절차 그리고/또는 다른 절차와 관련하여 디스플레이에 카운트다운 타이머를 부가하게 할 수 있다. 사용자는 사용자에 의해 미리 정의되었을 수 있는 미리 정의된 카운트다운 타이머의 목록으로부터 선택할 수 있다. 일부 변형예에서, 카운트다운 타이머는 이미지 스트림의 가장자리에 위치하여 또는 이미지 스트림에 오버레이되어 디스플레이(116a)에 디스플레이될 수 있다.

일부 실시예에서, 시스템(100)은 통신 모듈(또는 명령들의 세트), 접촉/모션 모듈(또는 명령들의 세트), 그래픽 모듈(또는 명령들의 세트), 텍스트 입력 모듈(또는 명령들의 세트), 전지구 위치결정 시스템(Global Positioning System, GPS) 모듈(또는 명령들의 세트), 음성 인식 및/또는 그리고 음성 복제 모듈(또는 명령들의 세트), 그리고 하나 이상의 애플리케이션(또는 명령들의 세트)을 포함한다.

예를 들어, 통신 모듈(112)은 인터넷, 근거리 네트워크, 광역 네트워크, 그리고/또는 무선 네트워크와 같은 네트워크에 시스템(100)을 연결할 수 있다. 통신 모듈(112)은 하나 이상의 외부 포트를 통한 다른 디바이스와의 통신을 용이하게 하고, 그리고 시스템(100)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 성분을 또한 포함한다. 예를 들어, 통신 모듈(112)은 예컨대, 병원 네트워크로부터 환자 의료 기록 데이터베이스에 대한 액세스를 제공할 수 있다. 환자 의료 기록의 내용은, 이미지, 오디오, 비디오, 및 텍스트(예컨대, 문서)를 포함하는 다양한 포맷을 포함할 수 있다. 일부 실시예에서, 시스템(100)은 환자 의료 기록 데이터베이스로부터 정보에 액세스할 수 있고, 이러한 정보를 사용자 인터페이스(116)를 통해 제공할 수 있는데, 이러한 정보는 디스플레이(116a)에서 이미지 스트림 위에 제시된다. 통신 모듈(112)은 또한, 시스템(100)을 통해 수신되거나, 프로세싱되거나, 또는 제시되는 이미지 스트림으로부터 캡처된 이미지의 하드 카피를 발생시키도록 구성된 인쇄 시스템에 연결될 수 있다.

일부 실시예에서, 시스템(100)의 사용자 인터페이스(116)는, 이미지를 디스플레이하기 위한 디스플레이 모니터(116a), 시스템(100)을 제어하기 위한 제어 패널(116b), 그리고 오디오 피드백을 제공하기 위한 스피커(116c)를 포함한다. 일부 변형예에서, 디스플레이(116a)는 이미지화 디바이스(118)에 의한 스틸 이미지 및/또는 비디오 이미지 획득을 위해 뷰파인더 및/또는 라이브 디스플레이로서 사용될 수 있다. 디스플레이(116a)에 의해 제시되는 이미지 스트림은 이미지화 디바이스(118)로부터 유래한 이미지 스트림일 수 있다. 디스플레이(116a)는 터치-감응 디스플레이일 수 있다. 터치-감응 디스플레이는 때때로 편의상 "터치 스크린"으로 지칭되고, 그리고 또한 터치-감응 디스플레이 시스템으로 알려져 있을 수 있거나 지칭될 수 있다. 터치-감응 디스플레이는 시스템(100)의 특정 기능을 활성화하거나 비활성화하는 것에 관한 커맨드를 검출하도록 구성될 수 있다. 이러한 기능은, 이미지 스트림 증진, 윈도우-기반 기능을 위한 윈도우의 관리, 타이머(예컨대, 클록, 카운트다운 타이머, 및 시간-기반 알람), 태깅 및 태그 추적, 이미지 스트림 로깅, 측정 수행, 2-차원에서 3-차원으로의 콘텐츠 변환, 및 유사도 탐색을 포함할 수 있지만, 이러한 것으로만 한정되는 것은 아니다.

이미지화 디바이스(118)는 이미지를 캡처하고 이들을 데이터로서 나타내는 임의의 디바이스로서 광범위하게 정의된다. 이미지화 디바이스는 광학-기반 디바이스일 수 있지만 깊이 센서, 무선 주파수 이미지화기, 초음파 이미지화기, 적외선 이미지화기, 등을 또한 포함할 수 있다. 일부 실시예에서, 이미지화 디바이스(118)는 RGB(적색-녹색-청색) 스펙트럼 데이터를 검출하도록 구성될 수 있다. 다른 실시예에서, 이미지화 디바이스(118)는, 단색, 자외선(UV), 근적외선(NIR), 및 단파 적외선(SWIR) 스펙트럼 데이터 중 적어도 하나를 검출하도록 구성될 수 있다. 일부 실시예에서, 이미지화 디바이스(118)는, 실리콘-기반 검출기, 상보형 금속-산화물-반도체(CMOS), 전하-결합 디바이스(CCD), 인듐 갈륨 비소 화합물(InGaAs), 및 편광-감응 센서 소자로 이루어진 그룹으로부터 선택된 디지털 이미지화 센서를 포함한다. 일부 실시예에서, 이미지화 디바이스(118)는 체내에서 조직 샘플의 이미지를 그 조직 샘플로부터의 직접적인 광학적 경로를 따라 캡처하도록 구성된다. 다른 실시예에서, 이미지화 디바이스(118)는 조직 샘플로부터의 반사 및/또는 형광을 이미지화 디바이스(118)로 지향시키기 위한 광 가이드, 예를 들어, 광섬유 광 가이드에 결합된다. 이미지화 디바이스(118)는 예를 들어, 줌, 확대, 및/또는 초점 능력을 더 포함할 수 있다. 이미지화 디바이스(118)는 또한, 최적의 시각화를 위해, 컬러 필터링, 편광, 및/또는 눈부심 제거와 같은 그러한 기능을 포함할 수 있다. 이미지화 디바이스(118)는 시스템(100)을 통해 수신되고, 프로세싱되고, 그리고/또는 제시되는 이미지 스트림의 레코딩을 수신 및 저장하도록 구성된 이미지 스트림 레코딩 시스템을 더 포함할 수 있다. 일부 실시예에서, 이미지화 디바이스(118)는 복수의 RGB 이미지를 캡처하도록 구성될 수 있고, 여기서 이미지화 디바이스(118) 및/또는 이미지 프로세싱 모듈(110a)은 예를 들어, 녹색 채널 및 적색 채널 중 적어도 하나를 증폭함으로써 개개의 RGB 채널의 비율을 변경시키도록 구성될 수 있다.

일 실시예에 따르면, 광원(120)은 하나 이상의 스펙트럼 대역에서 광을 방출하도록 구성된다. 일부 실시예에서, 광원(120)은 범위 390 내지 430 나노미터(nm)로부터 선택된 파장을 갖는 자주색 광을 생성한다. 짧은 파장으로 인해, 자주색 광은 가시 스펙트럼 내에서 임의의 스펙트럼 대역의 가장 높은 공간 해상도를 갖는다. 하지만, 이것은 여전히 가시 스펙트럼의 일부이기 때문에, 보통의 디지털 RGB(적색-녹색-청색) 카메라 및 흑백 카메라와 같은 많은 일반 이미지화 디바이스에 의해 캡처될 수 있다. 자주색 광은 또한 모든 가시 파장 중 가장 높은 환산된 산란 계수(_s ^')를 갖고, 이것은 결과적으로 조직 안으로의 매우 얕은 침투 깊이를 일으키며, 조직으로부터 산만하게 반사되는 광의 양이 상대적으로 높아지게 한다. 이러한 속성 모두는 아세트산과 같은 산란에 기반을 둔 조영제를 통한 시각화를 포함하는 진단 절차에서 자주색 광이 특히 유익하도록 한다. 추가적으로, 자주색 광의 짧은 파장은 조직 내의 일부 분자에서 형광을 여기시키는 데 자주색 광이 유용하도록 한다.

다른 실시예에서, 시스템(100)은 추가적인 조명원을 포함할 수 있고, 여기서 조직 샘플은 예를 들어, 사용자 선택에 근거하여 자주색 광과 동시에 또는 순차적으로 전송되는 하나 이상의 추가적인 광과 결합된 자주색 광으로 조명될 수 있다. 예를 들어, 시스템(100)은, 450 내지 500 nm 범위(청색 파장 범위); 500 내지 570 nm 범위(녹색 파장 범위); 585 내지 720 nm 범위(적색 파장 범위); 900 내지 3000 nm 범위(근-적외선 및 단파 적외선 파장 범위); 및/또는 100 내지 390 nm 범위(자외선 파장 범위)로부터 선택된 파장을 갖는 하나 이상의 광원을 포함할 수 있다. 또 하나의 다른 실시예에서, 시스템(100)은 편광 차이 이미지화(Polarization Difference Imaging, PDI) 및/또는 구조화된 조명 기법, 예컨대 공간 주파수 도메인 이미지화(Spatial Frequency Domain Imaging, SFDI)를 포함할 수 있다.

광원(120)은, 예를 들어, 백열등, 발광 다이오드(Light Emitting Diode, LED), 레이저 다이오드, 광 방출기, 2-스펙트럼 방출기, 이중 스펙트럼 방출기, 광다이오드, 및 반도체 다이로 이루어진 그룹으로부터 선택된 임의의 적절한 광원을 포함할 수 있다. 일부 실시예에서, 광원(120)은 조직 샘플을 직접적으로 조명하도록 구성된다. 다른 실시예에서, 광원(120)은 조명의 더 높은 초점 및 강도를 위해서, 적합한 도관, 예를 들어, 광섬유 케이블을 통해 조명을 전송하도록 구성된다.

시스템(100)은 또한, 예를 들어, 광 수집 광학기; 스펙트럼 정보의 원하는 부분을 하나보다 많은 이미지화 디바이스를 향하게 분할하고 지향시키기 위한 빔 분할기 및 이색성 미러; 그리고/또는 파장-의존적 방식, 편광-의존적 방식, 및/또는 주파수-의존적 방식으로 방사선의 통행을 선택적으로 통과시키거나 거부하기 위해 상이한 스펙트럼 투과율 속성을 갖는 다수의 광학 필터를 포함할 수 있다.

일부 실시예에서, 시스템(100)은, 물리적 또는 가상의 조이스틱, 마우스, 및/또는 클릭 휠과 같은 하나 이상의 사용자 입력 제어 디바이스를 포함한다. 다른 변형예에서, 시스템(100)은, 주변기기 인터페이스, RF 회로, 오디오 회로, 마이크로폰, 입력/출력(Input/Output, I/O) 서브시스템, 다른 입력 또는 제어 디바이스, 광학 센서 또는 다른 센서, 그리고 외부 포트 중 하나 이상을 포함한다. 시스템(100)은 또한, 근접 센서 및/또는 가속도계와 같은 하나 이상의 센서를 포함할 수 있다. 앞에서 식별된 모듈 및 응용물 각각은 앞에서 설명된 하나 이상의 기능을 수행하기 위한 명령들의 세트에 대응한다. 이러한 모듈들(즉, 명령들의 세트들)이 별개의 소프트웨어 프로그램, 프로시저, 또는 모듈로서 구현될 필요는 없고, 따라서 이러한 모듈들의 다양한 서브세트가 다양한 실시예에서 결합될 수 있거나, 그렇지 않으면 재-정렬될 수 있다.

일부 실시예에서, 시스템(100)은 (예를 들어, 캐스터 휠을 통한) 용이한 가동성 및 조종을 위해 구성될 수 있는 스탠드, 삼각대 및/또는 마운트 상에 장착된다. 일부 실시예에서, 스탠드는 스윙암 또는 또 하나의 다른 타입의 관절식 암을 포함할 수 있다. 이러한 실시예에서, 이미지화 디바이스(118)는 원하는 이미지 획득을 위해서 이미지화 디바이스(118)의 손을 쓸 필요가 없는 안정된 배치 및 배향을 가능하게 하기 위해 스윙암 상에 장착될 수 있다. 다른 실시예에서, 시스템(100)은 셀 폰 또는 스마트폰과 같은 일반 모바일 디바이스에서 구현될 수 있는 휴대가능한 핸드-헬드형 질확대경을 포함할 수 있다.

본 명세서에서 설명되는 시스템(100)은 본 시스템의 단지 예시적 실시예이고, 보여지는 것보다 더 많거나 더 적은 수의 구성요소를 가질 수 있으며, 둘 이상의 구성요소를 조합할 수 있고, 또는 구성요소들의 상이한 구성 또는 정렬을 가질 수 있다. 시스템(100)의 다양한 구성요소는 하드웨어로, 소프트웨어로, 또는 하드웨어와 소프트웨어 양쪽 모두의 조합으로 구현될 수 있고, 여기에는 하나 이상의 신호 프로세싱 및/또는 애플리케이션-특정 집적 회로가 포함된다. 다양한 실시예에서, 시스템(100)은 전용 하드웨어 디바이스를 포함할 수 있고, 또는 질확대경과 같은 기존 의료용 디바이스에 추가된 형태 또는 기존 의료용 디바이스의 확장된 형태를 가질 수 있다. 추가적으로, 컴퓨터 프로그램 명령에 의해 구현될 수 있는 본 시스템의 실시형태는, 범용 컴퓨터, 특수-목적 컴퓨터, 또는 다른 프로그래밍가능 데이터 프로세싱 장치에서 실행될 수 있다.

의료적 이미지화 절차에서의 자동화된 모니터링 및 지침

자궁경부 이미지의 이미지 분석에 관한 배경 및 추가 정보에 대해서는 예를 들어, 문헌[Wenjing Li, Wenjing Li, Jia Gu, Jia Gu, Daron Ferris, Daron Ferris, Allen Poirson, Allen Poirson, "Automated image analysis of uterine cervical images", Proc. SPIE 6514, Medical Imaging 2007: Computer-Aided Diagnosis, 65142P (30 March 2007)]; 문헌[Shiri Gordon, Gali Zimmerman, Rodney Long, Sameer Antani, Jose Jeronimo, Hayit Greenspan, "Content analysis of uterine cervix images: initial steps toward content based indexing and retrieval of cervigrams", Proc. SPIE 6144, Medical Imaging 2006: Image Processing, 61444U (15 March 2006)]; 문헌[K. Fernandes, J. S. Cardoso and J. Fernandes, "Automated Methods for the Decision Support of Cervical Cancer Screening Using Digital Colposcopies," in IEEE Access, vol. 6, pp. 33910-33927, 2018]; 문헌[Lange, Holger. "Automatic detection of multi-level acetowhite regions in RGB color images of the uterine cervix." Medical Imaging 2005: Image Processing. Vol. 5747. International Society for Optics and Photonics, 2005]; 그리고 문헌[Huang, Xiaolei, et al. "Tissue classification using cluster features for lesion detection in digital cervigrams." Medical Imaging 2008: Image Processing. Vol. 6914. International Society for Optics and Photonics, 2008]을 참조하기 바란다.

이제 도 2가 참조되며, 도 2는 본 개시내용의 특정 실시예에 따른 예시적 방법을 예시하는 흐름도이다. 방법의 단계가 질확대경 검사의 의료적 진단 절차를 참조하여 여기서 설명된다. 앞에서 언급된 바와 같이, 질확대경 검사는 해당 영역에서의 전암성 병변 및 악성 병변을 검출하고 평가할 목적으로 질 조직 및 자궁경부 조직의 조명된 뷰의 검사를 포함한다.

초기에, 도 1에서의 시스템(100)의 이미지화 디바이스(118)는, 예를 들어, 질 벽 및 자궁경부의 내부 뷰를 제공하는 검경 또는 유사한 디바이스의 개구를 통해 자궁경부의 뷰를 얻도록 배치된다. 일부 변형예에서, 이러한 검경 또는 유사한 디바이스는 이미지화 디바이스(118)에 부착될 수 있다. 다른 변형예에서, 검경과 같은 확장부가 이미지화 디바이스(118)와 통합되어 함께 형성될 수 있다. 대안적으로, 이미지화 디바이스(118) 또는 그 전방 부분은, 예를 들어, 가이드 수단을 통해 검경의 개구 내에서 수용될 수 있고 인도될 수 있다.

일부 실시예에서, 이미지화 디바이스(118)의 선택 파라미터가 조정되는데, 이러한 선택 파라미터는 화이트 밸런스, 노출 시간, 게인(ISO), 및/또는 감마를 포함하지만, 이러한 것으로만 한정되는 것은 아니다. 일부 실시예에서, 이미지화 디바이스(118)로부터의 이미지는, 이러한 파라미터들 중 임의의 파라미터에서의 변동을 조정하기 위한 프로세싱에 의해 교정될 수 있다. (이미지화 디바이스(118)와 관련되지 않은) 조명 파라미터가 또한, 시스템(100)에 의해 조정될 수 있고 레코딩될 수 있다. 교정 이미지가, 알려진 타겟(예를 들어, 반사율 타겟, 컬러 타겟, 해상도 타겟, 왜곡 타겟)으로부터 획득될 수 있고, 그리고 원시 이미지를 교정하는 데 사용될 수 있다. 이러한 파라미터를 조정하는 이점은 이미지 내에 외부 광원이 있는지 여부를 자궁경부에서 검출할 수 있는 것이다. 설명되지 않는 외부 광원은, 특정 조직 이미지화 조건을 가정한 교정된 데이터에 관해 실행되는 알고리즘에 대해 잠재적으로 문제를 일으킬 수 있다.

단계(200)에서, 이미지화 디바이스(118)는 관찰중인 자궁경부의 영역의 이미지의 획득을 시작한다. 이미지화 디바이스(118)에 의해 획득된 이미지는 스틸 이미지들의 시퀀스 또는 연속 비디오 스트림일 수 있다. 일부 경우에, 아세토-화이트닝의 결과로서 임의의 변화를 평가하기 위한 베이스 기준으로서 사용하기 위해 자궁경부의 하나 이상의 베이스라인 이미지가 이러한 단계에서 캡처된다. 일부 실시예에서, 이미지화 디바이스(118)에 의해 획득된 이미지는 디스플레이(116a)에서 라이브로 디스플레이된다. 이미지화 디바이스(118)에 의해 획득된 이미지는 확대될 수 있거나, 그렇지 않으면 예를 들어, 시각화의 향상을 위해 컬러 필터, 편광, 눈부심 제거, 및/또는 다른 기법을 이미지에 적용함으로써 조작될 수 있다.

자궁경부 ROI의 자동화된 식별

단계(202)에서, 이미지 프로세싱 모듈(110a)은, 이미지화 디바이스(118)에 의해 스트리밍되는 이미지에 연속 시각 인식을 적용하고, 이미지 스트림에서 자궁경부의 경계를 식별하고 묘사한다. 도 3a는, 패널 A에서, 세정-이전 단계에서 검경의 개구를 통해 캡처된 자궁경부의 기준 이미지를 보여준다.

일부 실시예에서, 이 경우 시스템(100)은 이미지 스트림에서 자궁경부의 경계를 포함하는 관심 영역(Region Of Interest, ROI)을 식별하고 묘사하도록 구성된다. 일부 실시예에서, ROI 검출은 또한, 변형대(Transformation Zone, TZ), 자궁경부 구멍, 편평-원주 접합부(Squamo-Columnar Junction, SCJ), 및/또는 검경 중 하나 이상을 식별하는 것을 포함할 수 있다.

예를 들어, 시스템(100)은 병이 있는 조직을 검출할 목적으로 주된 ROI인 자궁경부 영역 내의 TZ를 식별하도록 구성될 수 있다. TZ는 원주 상피가 새로운 화생성 편평 상피로 대체된 그리고/또는 대체되고 있는 자궁경부의 영역이다. TZ는 원단에서는 본래의 편평-원주 접합부(SCJ)에 의해 경계가 정해지고 그리고 기부에서는 새로운 편평-원주 접합부에 의해 정의된 바와 같은 편평상피화생이 일어난 가장 멀리 있는 한도에 의해 경계가 정해지는 자궁경부의 영역에 대응한다. 폐경전 여성에서, TZ는 바깥자궁경부 상에 완전히 위치하고, 월경 주기 동안 방사상으로 후진 및 전진할 수 있다. 폐경 이후 그리고 노령기를 통해, 자궁경부는 에스토로겐의 레벨이 감소함에 따라 수축한다. 결과적으로, TZ는 부분적으로 그리고 나중에 완전히 자궁경관 안으로 이동할 수 있다. 변형대를 식별하는 것은 질확대경 검사에서 매우 중요한데, 왜냐하면 자궁경부 발암의 거의 모든 징후가 이러한 변형대에서 일어나기 때문이다.

일부 실시예에서, 시스템(100)은 또한, 이미지에서 TZ를 적어도 부분적으로 가릴 수 있는, 예를 들어, 부정확하게 배치된 검경 부분을 식별하도록 구성될 수 있다. 이에 후속하여, 시스템(100)은 절차를 수행하는 임상의에게 검경을 재배치하도록 하는 적절한 경고를 발행하도록 구성될 수 있다. 앞에서 언급된 바와 같이, 임상의에 대한 이러한 경고는 예를 들어, 디스플레이(116a) 및/또는 스피커(116c)를 통해 전달되는 시각적 경고, 청각적 경고, 그리고/또는 구두 경고일 수 있다.

일부 실시예에서, 시스템(100)은 또한, 예를 들어, 늘어진 그리고/또는 탈출된 질 벽의 부분이 적어도 TZ의 일부를 시각적으로 차단할 수 있는 경우, 자궁경부 이미지에서 질 벽을 식별하도록 구성될 수 있다. 이에 따라, 만약 시스템(100)이 질 벽에 의한 차단으로 인해 TZ 내에 틈 또는 단절이 존재한다고 결정한다면, 시스템(100)은 절차를 수행하는 임상의에게 적절한 경고를 발행하도록 구성될 수 있다. 일부 실시예에서, 이러한 경고는 예를 들어, 적절한 의료용 액세서리를 사용하여 질 벽을 더 개방하도록 하는 명령을 포함할 수 있다. 일부 경우에, 늘어진 또는 탈출된 질 벽은 예를 들어, 질 벽 개창기를 사용하여 밀쳐질 수 있다. 다른 경우에, 임상의는 검경의 블레이드 위로 (콘돔 팁이 제거된) 콘돔을 슬라이딩시킬 수 있다. 경고의 발행에 후속하여, 시스템(100)은, 임상의에게 예를 들어, 진단 및/또는 치료 절차를 진행하도록 하는 적절한 표시를 발행하기 전에, 질 벽의 위치결정을 재-평가하도록 구성될 수 있다.

일부 실시예에서, 시스템(100)은 세정-이전 기준 이미지에서 자궁경부를 식별 및 묘사하도록, 따라서 자궁경부 마스크(예를 들어, 도 3a에서 패널 B에서의 백색 영역)를 생성하도록 구성될 수 있다. 예를 들어, 시스템(100)은 정상적인 자궁경부 조직 컬러에 근거하여 자궁경부의 컬러-기반 식별을 위해 분홍색/적색/백색을 선택하는 필터와 같은 특정 컬러 필터를 적용할 수 있다. 일부 실시예에서, 시스템(100)은 조직에서의 가시적 변화를 두드러지게 하기 위해 컬러 증강과 같은 그러한 기법을 사용할 수 있다.

일부 실시예에서, 이미지 프로세싱 모듈(110a)은, 발견된 자궁경부에서 "구멍"을 채우는 형태학적 연산을 사용하여, 자궁경부일 수 있는 후보를 이미지에서 찾기 위해 색상, 채도, 명도(Hue, Saturation, Value, HSV) 마스크를 적용할 수 있다. 커널은 이미지 크기의 분율로서 정의될 수 있다(이것은 또한 이미지에서 디지털 줌을 설명할 수 있음). 여기서 임계값은 수동으로 설정되며, K-평균 및/또는 결정 트리를 사용함으로써 조정될 수 있다. 이러한 연산을 위한 샘플 코드는 다음과 같을 수 있다:

일부 실시예에서, 만약 자궁경부가 이미지에서 불량하게 배향되어 있다면, 시스템(100)은 검사를 수행하는 임상의에게 이미지화 디바이스(118)를 재-배치하도록 하는 경고를 발행하도록 구성될 수 있다. 유사하게, 만약 눈에 띄는 음영이 검출된다면, 또는 영역이 너무 크거나 너무 작다면, 적절한 경고는 임상의에게 예를 들어, 높이, 배향, 거리, 및/또는 각도를 바꾸도록 재촉하는 것 및/또는 그림자를 유발하고 있을 수 있는 장애물을 제거하도록 재촉하는 것을 발행할 수 있다.

다른 실시예에서, 시스템(100)은 자궁경부를 식별하기 위해 그리고 자궁경부를 예를 들어, 검경(302) 및 자궁경부 구멍(304)의 가시적 부분으로부터 구획하기 위기 위해 하나 이상의 알려진 컴퓨터 비전 방법을 이용할 수 있다. 예를 들어, 이미지 프로세싱 모듈(110a)은 이미지에서 하나 이상의 영역, 특징, 및/또는 객체를 식별하기 위해 전용 객체 인식 및 분류 애플리케이션을 이용할 수 있다. 애플리케이션은 먼저 이미지에서 객체를 검출 및 국한하기 위해 특징-레벨 결정을 수행할 수 있고, 그 다음에 애플리케이션의 훈련에 근거하여 결정-레벨 분류를 수행할 수 있는데, 예를 들어, 검출된 특징에 분류를 할당할 수 있다. 애플리케이션은 주어진 카테고리 및 서브카테고리에서 객체를 식별하도록 애플리케이션을 훈련시키기 위해 머신 러닝 알고리즘을 사용할 수 있다. 예를 들어, 애플리케이션은 서포트 벡터 머신(SVM) 모델 및/또는 컨볼루션 뉴럴 네트워크(CNN)와 같은 하나 이상의 머신 러닝 알고리즘을 사용할 수 있다. SVM은 분류 및 회귀 분석을 위해 사용되는 데이터를 분석하는 지도형 학습 모델이다. 각각이 두 개의 카테고리 중 하나 또는 다른 하나에 속하는 것으로서 마킹되어 있는 훈련 사례들의 세트가 주어지는 경우, SVM 훈련 알고리즘은 새로운 사례를 하나의 카테고리 또는 다른 카테고리에 할당하는 모델을 확립하여, 비-확률적 이진 선형 분류기가 되게 한다. SVM 모델은 개별 카테고리의 사례가 가능한한 넓은 명확한 간극에 의해 분할되도록 맵핑된, 공간에서의 점으로서 사례를 나타낸다. 그 다음에, 새로운 사례들은 동일한 공간에 맵핑되고, 그리고 간극의 어느 쪽에 이들이 떨어지는 지에 근거하여 임의의 카테고리에 속하는 것으로 예측된다.

CNN은 시각적 이미지의 분석에 가장 일반적으로 적용되는 딥 피드-포워드 인공 뉴럴 네트워크의 클래스이다. CNN 알고리즘은 관심있는 카테고리 및 서브카테고리 내의 아이템들의 다수의 이미지들을 업로드함으로써 훈련될 수 있다. 예를 들어, CNN 알고리즘은, 상이한 형태의 방해 및 간섭이 있는 상태에서, 그리고 다양한 조명 조건 하에서, 상이한 각도 및 배향으로부터 획득된 상이한 크기의 다수의 자궁경부 이미지들을 포함할 수 있는 불량하게-라벨링된 관련 이미지들의 훈련 세트에 관해 훈련될 수 있다. CNN 알고리즘에는 또한, 분류기 훈련을 더 연마하기 위해 부정적 사례들의 세트가 제공될 수 있다. CNN 알고리즘은 반복적 프로세스에서 각각의 훈련 이미지에서의 객체를 분류하기 위해 컨볼루션 프로세스를 적용하는데, 반복적 프로세스에서의 각각의 반복에서는, (i) 결과에 근거하여 분류 에러가 계산되고, 그리고 (ii) CNN 알고리즘에 의해 사용되는 다양한 필터의 파라미터 및 가중치가 그 계산된 에러가 최소화될 때까지 다음 반복에 대해 조정된다. 이것은 라벨링된 훈련 세트로부터 이미지를 인식하고 올바르게 분류하기 위해 CNN 알고리즘이 최적화될 수 있음을 의미한다. 훈련이 완료된 후에, CNN 알고리즘에 새로운 이미지가 업로드되는 경우, CNN 알고리즘은 새로운 이미지를 대응하는 신뢰 점수를 갖도록 분류하기 위해(즉, 식별된 객체에 올바른 라벨을 할당하기 위해), 관련 카테고리에 대해 최적화되었던 파라미터 및 가중치를 사용하여 동일한 프로세스를 적용한다.

자동화된 영역 준비 모니터링

일부 실시예에서는, 단계(204)에서, 시스템(100)은 세정-이전 단계에서 자궁경부의 하나 이상의 베이스라인 기준 이미지를 캡처하도록 구성될 수 있다.

일부 실시예에서는, 그 다음에 단계(206)에서, 임상의는 질확대경 검사의 세정 단계를 수행하는 것으로 진행할 수 있으며, 여기서 과도한 점액질이 예를 들어, 마른 면봉 또는 식염수에-적신 면봉을 적용함으로써 자궁경부로부터 제거된다. 그 다음에, 시스템(100)은, 자궁경부의 세정-이후 기준 이미지를 레코딩하여 조영제의 도포 이후 나중에 비교를 행하기 위해 하나 이상의 세정-이후 이미지들 또는 이미지 프레임들을 캡처하도록 구성될 수 있다.

일부 실시예에서, 시스템(100)은 질확대경 검사의 준비 단계 동안 자궁경부의 점액질 층의 불완전한 제거를 검출하도록 구성된다. 질확대경 검사는 전형적으로, 검경의 삽입 그리고 검경을 통한 자궁경부의 시각화를 위해 이미지화 디바이스(118)와 같은 질확대경 검사 이미지화 디바이스의 배치로 시작된다. 그 다음에, 시스템(100)은 초기 기준 이미지를 캡처하도록 그리고/또는 자궁경부의 연속 비디오 스트림을 시작하도록 구성될 수 있다.

일부 실시예에서, 시스템(100)은 세정-이후 기준 이미지에서 이미 가시적으로 백색인 자궁경부의 영역, 예를 들어, 백반증(과각화증)을 나타내는 영역을 검출 및 묘사하도록 구성될 수 있다. 예를 들어, 도 3b를 참조하면, 백반증 영역이 아세토화이트닝-이전인 패널 A에서 직사각형(1)에 의해 마킹되어 있고, 그리고 아세토화이트닝-이후인 패널 B에서 직사각형(2)에 마킹되어 있다. 이러한 영역은 아세토-화이트닝의 효과에 근거하여 후속 분석으로부터 제외되도록 마킹될 수 있다.

이후의 단계(212)에서, 도 3c를 참조하면, 이 경우 시스템(100)은 점액질이 완전히 그리고/또는 일관적으로 세정되지 않았던 영역을 검출하기 위해 세정-이전 및 세정-이후 이미지들을 서로 비교하도록 구성될 수 있다. 예를 들어, 도 3C에서 패널 A는 자궁경관의 원주 상피 영역을 덮고 있는 점액질을 보여준다. 이에 따라, 이미지 프로세싱 모듈(110a)은 픽셀 값과 같은 비교된 이미지들로부터 관찰된 광학적 신호를 비교하도록 구성될 수 있다. 이러한 비교에 근거하여, 시스템(100)은 관찰된 광학적 신호에서의 차이가 특정 임계치 아래에 있는 영역을 검출하도록 구성될 수 있다. 일부 실시예에서, 이미지 프로세싱 모듈(110a)은 세정되지 않은 영역(예를 들어, 패널 A에서의 직사각형, 그리고 패널 B에서의 회색 영역)의 마스크를 생성할 수 있다. 예를 들어, 형태학적 확장 후에, 만약 마스크가 특정 크기보다 크다고 결정되면, 시스템(100)은 검사를 수행하는 임상의에게 시스템(100)에 의해 식별된 영역에 주의를 기울이도록 하는 경고를 발행하도록 구성될 수 있다. 임상의에 대한 이러한 경고는 예를 들어, 디스플레이(116a) 및/또는 스피커(116c)를 통해 전달되는 시각적 경고, 청각적 경고, 그리고/또는 구두 경고일 수 있다. 일부 실시예에서, 이러한 경고는 세정되지 않은 것으로서 식별된 하나 이상의 영역의 이미지 내에서의 위치에 관한 표시를 포함할 수 있다. 예를 들어, 시스템(100)은, 검출된 영역(들) 둘레에 아웃라인을 디스플레이하는 것, 검출된 영역(들)을 둘러싸는 박스를 디스플레이하는 것, 검출된 영역(들)을 가리키는 화살표를 디스플레이하는 것, 검출된 영역(들)의 줌-인 뷰를 디스플레이하는 것, 그리고/또는 검출된 영역(들)과 관련된 하나 이상의 값들의 표시를 디스플레이하는 것을 수행하도록 구성될 수 있다.

도 3d를 참조하면, 일부 실시예에서, 시스템(100)은, 환자가 (과다한 점액질을 보유하기 쉬울 수 있는) 자궁내 디바이스(IntraUterine Device, IUD)를 갖는 경우에, 점액질이 완전하게 세정되지 않았던 영역을 검출하도록 구성될 수 있다. 이에 따라, 일부 실시예에서, 이미지 프로세싱 모듈(110a)의 객체 인식 및 분류 애플리케이션은 하나 이상의 이미지 구획 알고리즘을 사용하여, 예를 들어, 이미지의 중심에서 (패널 A에서 직사각형에 의해 마킹된) IUD에 연결되는 다크 스트링을 인식하도록 훈련될 수 있다. 만약 발견된다면, IUD 마스크(패널 B에서의 회색 영역)가 생성되고, 그리고 여러 번 확장된다. 그 다음에, 시스템(100)은 자궁경부 내의 IUD의 존재에 관한 (추가적인 점액질 제거 단계를 요구할 수 있는) 경고를 임상의에게 발행하도록 구성될 수 있다. 시스템(100)은 또한, IUD 마스크 영역 내에서 기준 이미지와 세정-이후 이미지 간의 픽셀 값 차이를 (IUD 마스크 영역 외부의 픽셀 값 차이에 비교하여) 비교함으로써 추가적인 세정 검증을 수행하도록 구성될 수 있다. 만약 IUD 마스크 영역 내부의 픽셀 값 차이가 IUD 마스크 영역 외부의 차이보다 더 낮다면, 시스템(100)은 임상의에게 IUD 영역 둘레에 추가적인 세정 단계를 수행하도록 하는 경고를 발행할 수 있다.

의료용 도포기의 자동화된 식별

도 2를 계속 참조하면, 단계(208)에서, 시스템(100)은 이미지화 디바이스(118)의 시계 내에서 특정 의료용 액세서리(질확대경 검사의 경우에, 의료용 액세서리는 면봉과 같은 의료용 도포기임)의 존재를 식별하도록 구성될 수 있다. 일부 실시예에서, 이러한 식별은 이에 관한 특정 시점에서 또는 특정 시점 부근에서 복수의 이미지들을 캡처하기 위한 트리거링 이벤트로서 사용될 수 있다. 일부 실시예에서, 이미지화 디바이스(118)로부터의 비디오의 연속 스트림으로부터 복수의 이미지들이 캡처될 수 있고 그리고/또는 저장될 수 있다.

본 명세서에서 사용되는 바와 같이, 용어 "의료용 액세서리"는 의료적 및/또는 외과적 절차와 연결되어 사용되는 임의의 의료용 및/또는 외과용 액세서리, 도구, 및/또는 기구를 광범위하게 지칭한다. 의료용 액세서리의 예들은, 신체 조직에 물질을 문지르거나, 바르거나, 또는 도포하기 위해 사용되는 의료용 도포기, 흡수성 담체, 또는 면봉; 내시경과 같은 스코프 및 프로브; 그래스퍼, 클램프, 및/또는 개창기; 미러; 메스, 가위, 드릴, 줄, 뼈절단기, 투관침, 등과 같은 절단기; 확장기 및 검경; 흡입 팁 및 튜브; 스테이플러 및 다른 밀봉 디바이스; 바늘; 전동 디바이스; 그리고 자 및 측경기와 같은 측정 디바이스를 포함하지만, 이러한 것으로만 한정되는 것은 아니다.

일부 실시예에서, 추가적인 그리고/또는 다른 객체가 식별될 수 있는데, 여기에는 이미지 검출 및 구획을 보조하는 비-반사형 컬러 의료용 디바이스 및/또는 액세서리가 포함된다(예를 들어, 이미지 내에서 쉽게 검출 및 구획될 수 있는 녹색/청색 검경).

이에 따라, 단계(204)에 대한 준비에서, 임상의는 면봉 또는 유사한 의료용 도포기를 사용하여 조영제를 관찰중인 영역에 도포한다. 예를 들어, 앞에서 언급된 바와 같이, 질확대경 검사에서, 아세토-화이트닝의 현상을 통해 건강한 조직과 특정 성장 및 비정상 간의 시각적 콘트라스트를 생성하기 위해 면봉에 의해 묽은 아세트산이, 관찰된 조직에 도포된다. 아세토-화이트닝의 시각적 효과는 전형적으로 도포 이후 특정 시간에, 예를 들어, 120초에서 최고조에 도달할 수 있으며, 하지만 다른 시나리오에서는, 조영제 또는 다른 진단 프로토콜의 효과가 수 개의 단계 또는 구간에 의해, 예를 들어, 도포 이후 30초에서, 45초에서, 및 90초에서 발현될 수 있다. 이에 따라, 조영제의 효과의 시간-분해적 평가를 수행할 수 있기 위해서는, 이러한 프로세스 동안 특정 시점에서 또는 특정 시점 부근에서 관찰 중인 영역의 이미지 또는 일련의 이미지들을 캡처하는 것이 반드시 필요하다.

이에 따라, 단계(208)에서, 이미지 프로세싱 모듈(110a)은 특정 시점에서 그리고/또는 특정 시점 부근에서 하나 이상의 이미지들을 캡처하기 위한 트리거링 이벤트로서의 역할을 하는 특정 객체를 이미지 스트림에서 식별한다. 질확대경 검사의 경우에, 이미지 프로세싱 모듈(110a)은 이미지 스트림에서 의료용 도포기(예컨대, 면봉)의 존재를 검출하도록 구성된다. 단계(208)에서 면봉의 식별은 조영제의 도포의 표시로서 사용되고, 따라서 이에 관한 복수의 특정 시점에서 이미지 캡처를 트리거링한다.

다른 실시예에서, 또는 다른 실제 응용예와 연계되어, 이미지 프로세싱 모듈(110a)은 다양한 서로 다른 객체들 또는 객체들의 조합을 인식하도록 훈련될 수 있다. 예를 들어, 이미지 프로세싱 모듈(110a)은 시계 내에 있는 하나보다 많은 객체(예를 들어, 둘 이상의 의료용 도포기들의 조합, 그리고/또는 동시에 사용되고 있는 의료용 도포기와 또 하나의 다른 의료용 액세서리 또는 디바이스)의 동시 존재를 검출 및 인식하도록 훈련될 수 있다. 다른 변형예에서, 이미지 프로세싱 모듈(110a)은 시계 내에 있는 의료용 도포기 및/또는 또 하나의 다른 객체를 추적하도록 훈련될 수 있는데, 이것에 의해 트리거링 이벤트는 자궁경부에서 기준 지점으로부터의 특정 거리; 자궁경부에서 기준 지점에 대한 특정 위치 및/또는 배향; 그리고/또는 의료용 도포기와 관련된 특정 액션, 제스처, 또는 움직임일 수 있다. 예를 들어, 이미지 프로세싱 모듈(110a)은, 이미지 캡처 프로세스를 트리거링하기 위해, 특정 신체 영역 또는 조직과 접촉하는 면봉, 면봉의 특정 위치 또는 배향, 특정 기간 동안 면봉의 계속되는 존재, 그리고/또는 신체 영역으로부터 면봉의 제거를 검출하도록 훈련될 수 있다. 다른 변형예에서, 트리거링 이벤트는, 예를 들어, 인간 손 제스처 인식, 안면 인식, 텍스트 인식, 및/또는 음성 커맨드 중 하나 이상에 근거할 수 있다. 이러한 모든 경우에, 이미지 프로세싱 모듈(110a)에 의한 하나 이상의 객체들, 이들의 조합, 또는 또 하나의 다른 아이템 또는 이벤트의 검출은, 시스템(100)으로 하여금 트리거링 이벤트의 발생을 결정하도록 할 수 있다.

일부 실시예에서, 시스템(100)은, 조영제의 도포와 관련된 면봉의 사용과 이미지 캡처 프로세스를 트리거링하지 않아야 하는 면봉의 다른 사용, 관련된 사용, 및/또는 보조적 사용을 구별하도록 구성될 수 있다. 예를 들어, 질확대경 검사의 과정에서, 면봉은 식염수로 자궁경부를 씻는 것, 검경을 삽입함으로써 유발된 외상으로부터의 혈액을 세척하는 것, 생체검사를 한 이후 몬셀 용액을 도포하는 것, 생체검사를 한 이후 국소 압력을 가하는 것, 그리고/또는 자궁경부 및/또는 그 일부를 재배치하는 것 중 하나 이상을 행하기 위해 사용될 수 있다. 이러한 모든 사용은 조영제의 도포를 위해 면봉을 사용하는 것과 구별되어야 한다. 이에 따라, 일부 실시예에서, 시스템(100)은, 자궁경부 영역 내에서의 면봉의 위치, 자궁경부와 면봉의 접촉 지점의 위치, 자궁경부 영역 내에서 면봉의 존재의 기간, 이미지 스트림에서 면봉의 출현의 타이밍, 면봉의 팁에 도포된 용액의 컬러, 및/또는 면봉의 특정 크기 및/또는 형상 중 하나 이상에 근거하여, 이미지 스트림 내에서 면봉의 관련된 그리고/또는 보조적 사용을 결정하도록 구성될 수 있다.

일부 변형예에서, 시스템(100)은 예를 들어, 사용자의 선택을 위해 이용가능할 수 있는 다양한 절차 및 실제 애플리케이션과 관련된 프로그래밍된 트리거링 이벤트의 (저장 디바이스(114)에 저장된) 데이터베이스를 포함할 수 있다.

이미지 프로세싱 모듈(110a)은 이미지 스트림에서 하나 이상의 트리거링 객체 또는 이벤트를 식별하기 위해 전용 객체 인식 및 분류 애플리케이션을 이용할 수 있다.

일부 실시예에서, 이미지 프로세싱 모듈(110a)은 하나 이상의 알려진 이미지 인식 기법을 이용할 수 있다. 이러한 목적을 위한 샘플 코드는 다음과 같을 수 있다:

형태학적 연산이 끝나면, 제안된 ROI가 이미지 내의 가장 밝은 영역의 일부임을 검증하기 위해 이미지 히스토그램이 사용될 수 있다. 이것은 면봉의 반사율이 0.9보다 크고 자궁경부의 반사율이 0.6보다 작다고 가정한다:

애플리케이션은 먼저 이미지에서 객체를 검출 및 국한하기 위해 특징-레벨 결정을 수행할 수 있고, 그 다음에 애플리케이션의 훈련에 근거하여 결정-레벨 분류를 수행할 수 있는데, 예를 들어, 검출된 특징에 분류를 할당할 수 있다. 애플리케이션은 주어진 카테고리 및 서브카테고리에서 객체를 식별하도록 애플리케이션을 훈련시키기 위해 머신 러닝 알고리즘을 사용할 수 있다. 예를 들어, 애플리케이션은 시각적 이미지를 분석하기 위해 성공적으로 적용되어 왔던 뉴럴 네트워크의 타입인 컨볼루션 뉴럴 네트워크(CNN)를 사용할 수 있다. CNN 알고리즘은, 컨볼루션 단계에서, 이미지의 다수의 특징 맵을 추출하기 위해 먼저 다양한 필터를 적용하는데, 여기서 각각의 필터는 파라미터들의 세트를 갖고, 그리고 가중치를 할당받는다. 그 다음에, 컨볼루션된 특징 맵의 서브샘플링을 제공하고 데이터의 양을 감소시키기 위해 풀링 단계가 적용될 수 있다. 그 다음에, 컨볼루션 단계 및 풀링 단계는 다수의 계층을 생성하기 위해 첫 번째 반복의 결과에 관해 되풀이될 수 있다. 그 다음에, CNN 알고리즘은 다수의 계층에 다층 퍼셉션을 적용하여 완전-연결된 계층을 생성할 수 있는데, 이것은 CNN 알고리즘이 훈련된 카테고리에 대비되어 이미지에서의 객체의 검출된 특징을 분류하는 데 사용된다. 출력으로서, CNN 알고리즘은 각각의 카테고리에 대비하여 객체에 대해 0과 1 사이의 확률을 할당할 수 있다.

CNN 알고리즘의 훈련은 관심있는 카테고리 및 서브카테고리 내의 아이템들의 다수의 이미지들을 업로드함으로써 수행될 수 있다. 예를 들어, CNN 알고리즘은 의료용 도포기의 서브카테고리를 포함할 수 있는 일반적인 의료용 액세서리의 카테고리에 관해 훈련될 수 있다. CNN 알고리즘에는, 다양한 위치 및 배향에 배치된 것으로서; 그리고 당면한 태스크와 관련된 다양한 배경에 대비되어; (상이한 형상, 타입 및 크기의 면봉 및 유사한 도포기의 다수의 이미지들을 포함할 수 있는) 적절하게 라벨링된 관련 이미지들이 제공된다. 현재의 맥락에서, CNN 알고리즘에는, 실행시간에 마주칠 수 있는 실제 현실 상황에 관해 CNN 알고리즘을 훈련시키기 위해, 자궁경부 또는 유사한 조직의 배경에 대비된 의료용 도포기의 이미지들이 제공될 수 있다. CNN 알고리즘에는 또한, 분류기 훈련을 더 연마하기 위해 의료용 도포기가 아닌 이미지들의 부정적 사례들이 제공될 수 있다. '면봉' 분류기에 대한 부정적인 사례는 예를 들어, 혀 누르개, 가위, 핀셋, 및/또는 클램프와 같은 다른 서브카테고리 내의 의료용 액세서리의 이미지들을 포함할 수 있다. CNN 알고리즘은 앞에서 설명된 컨볼루션 프로세스를 적용하고, 그리고 반복적 프로세스에서 각각의 훈련 이미지에서의 객체를 분류하는데, 반복적 프로세스에서의 각각의 반복에서는, (i) 결과에 근거하여 분류 에러가 계산되고, 그리고 (ii) CNN 알고리즘에 의해 사용되는 다양한 필터의 파라미터 및 가중치가 그 계산된 에러가 최소화될 때까지 다음 반복에 대해 조정된다. 이것은 라벨링된 훈련 세트로부터 이미지를 인식하고 올바르게 분류하기 위해 CNN 알고리즘이 최적화될 수 있음을 의미한다. 훈련이 완료된 후에, CNN 알고리즘에 새로운 이미지가 업로드되는 경우, CNN 알고리즘은 새로운 이미지를 대응하는 신뢰 점수를 갖도록 분류하기 위해(즉, 식별된 객체에 올바른 라벨을 할당하기 위해), 관련 카테고리에 대해 최적화되었던 파라미터 및 가중치를 사용하여 동일한 프로세스를 적용한다. 실행시간에, CNN 알고리즘은 제약되지 않은 방식에서, 즉 이미지화 디바이스에 대한 다양한 각도에서, 상이한 조명 조건 하에서, 그리고/또는 부분적으로 가려진 상태에서, 이러한 객체를 식별할 필요가 있을 것임이 이해될 것이다. 따라서, CNN 알고리즘의 결과에서 높은 레벨의 신뢰도를 보장하기 위해서, 특정 훈련 지침 및 조건이 충족될 필요가 있다. 예를 들어, 이미지는 적어도 특정 품질 및 해상도를 가질 필요가 있다. 서브카테고리 당 최소 개수의 훈련 이미지가 권장된다. 유리하게는, 동일한 개수의 긍정적 훈련 이미지와 부정적 훈련 이미지, 뿐만 아니라 다양한 설정 및 배경을 갖는 이미지가 사용돼야 한다.

트리거링 이벤트에 근거하는 자동화된 이미지 캡처

도 2를 계속 참조하면, 단계(208)에서, 이미지 프로세싱 모듈(110a)은, 예를 들어, 아세토화이트닝 프로세스의 시작을 표시하기 위해 면봉으로 아세트산을 도포하는 것과 같은 하나 이상의 트리거링 이벤트를 이미지 스트림에서 검출한다. 앞에서 언급된 바와 같이, 일부 실시예에서, 트리거링 이벤트는, 특정 기간 동안 면봉의 존재로서 정의될 수 있거나, 또는 특정 기간 이내 또는 이후 면봉의 제거로서 정의될 수 있다. 일부 실시예에서는, 아래에서 더 상세히 설명되는 바와 같이, 예를 들어, 부적절한 처음 도포 및/또는 부적당한 산 농도의 경우 아세트산의 재도포시 둘 이상의 트리거링 이벤트가 연속적으로 일어날 수 있다. 일부 실시예에서, 시스템(100)은, 복수의 결정 인자에 근거하여, 트리거링 이벤트로서의 면봉의 특정 사용을, 트리거링 이벤트인 것으로 간주되지 않는 다른 사용으로부터 구별하도록 구성될 수 있다.

도 4a는 질확대경 검사 절차에서 도 1의 시스템(100)의 예시적 응용예를 개략적으로 예시한다. 패널 A에서, 디스플레이(116a)와 같은 디스플레이 모니터가 검경(404)의 개구를 통해 자궁경부 영역(406)의 이미지화 디바이스(118)에 의해 획득된 이미지를 보여준다. 패널 B에서, 아세트산과 같은 조영제를 자궁경부 영역(406)에 도포하기 위해 면봉(408)이 자궁경부 안으로 삽입된다. 이미지 프로세싱 모듈(110a)은 (면봉(408)의 팁 둘레의 점선 직사각형에 의해 표시된) 이미지 스트림에서 면봉(408)을 식별하고, 그럼으로써 예를 들어, 120초의 카운트다운을 트리거링하는데, 이것은 카운트다운 타이머(410)를 통해 디스플레이(116a)에 실시간으로 디스플레이될 수 있다.

도 2를 다시 참조하면, 단계(208)에서 트리거링 이벤트의 발생시, 시스템(100)은, 단계(210)에서, 특정 시점에서 또는 특정 시점 부근에서 관찰 중인 영역의 하나 이상의 이미지를 캡처하도록 구성될 수 있다. 여기서 사용되는 바와 같이, 용어 "발생시"는, 트리거링 이벤트가 식별될 때 즉시 하나 이상의 이미지를 캡처하는 것, 및/또는 트리거링 이벤트가 식별된 후에 하나 이상의 이미지를 캡처하는 것을 지칭할 수 있다. 예를 들어, 질확대경 검사의 경우에, 시스템(100)은 하나 이상의 이미지를 트리거링 이벤트의 발생시에 즉시 그리고 그 이후 다양한 시점(예컨대, 30초, 45초, 60초, 90초, 및/또는 120초)에서 캡처할 수 있다. 도 4b에서의 예시적 타임라인에 의해 표시된 바와 같이, 이미지화 디바이스(118)는 일련의 이미지들(430 내지 438)을 스트리밍할 수 있다. 이미지(430)에서 면봉의 검출시, 시스템(100)은 일련의 이미지들을, 예를 들어, 이미지들(430, 432, 434, 436)을 시구간 0초, 30초, 60초, 90초, 및 120초에서 각각 캡처할 수 있다. 선택에 따라서, 시스템(100)은 전체 프로세스의 연속 또는 타임-랩스 비디오를 획득할 수 있다. 본 발명의 일부 실시예는, 미리 결정된 프로토콜에 따라 순차적인 또는 주기적인 일련의 이미지들을 캡처하는 것; 특정 시점 부근에서(예를 들어, 특정 시점 약간 전에 그리고/또는 후에) 이미지들의 시퀀스(또는 버스트)를 캡처하는 것; 또는 다수의 순차적 이미지들을 캡처하고 이미지 품질 파라미터에 근거하여 시퀀스로부터 하나 이상의 이미지를 선택하는 것을 포함한다. 이미지화 디바이스(118)에 의해 획득되고, 시스템(100)에 의해 프로세싱되고, 그리고 디스플레이(116a)에 디스플레이되는 이미지들의 연속 스트림 또는 비디오의 맥락에서, 특정 시점에 개개의 이미지를 캡처하는 것은, 예를 들어, 특정 시점에 대응하는 하나 이상의 이미지 프레임을 캡처하고 저장하는 것, 및/또는 원하는 시점에 이미지 스트림의 스냅샷을 나타내는 비디오 내의 하나 이상의 이미지 프레임에 적절한 자막넣기 또는 주석달기를 적용하는 것을 포함할 수 있다. 그 다음에, 캡처된 이미지(들)는 저장 디바이스(114) 상의 이미지 데이터베이스에 저장될 수 있다. 예를 들어, 시스템(100)은, 저장된 이미지에 환자 또는 사용자 이름, 날짜, 위치, 및 다른 원하는 정보와 같은 필요한 정보 또는 메타데이터로 마킹하거나 주석을 달도록 구성될 수 있다. 일부 실시예에서, 환자 메타데이터는, 장래의 일관된 결과를 보장하기 위해, 이미지 캡처 과정에서 필요한 특정 절차 및/또는 보조 조치에 관한 정보를 포함할 수 있다. 일부 실시예에서, 시스템(100)은, 예를 들어, 검사-이후 검토, 시간 경과에 따른 변화의 장기적인 추적, 등을 가능하게 하기 위해 환자 또는 사용자와 관련하여 다수의 절차에 걸쳐 캡처된 모든 이미지들을 포함하는 자동 전자 환자 기록을 발생시킬 수 있다. 이러한 기록은 저장 디바이스(114) 상의 데이터베이스에 저장될 수 있다. 일부 변형예에서, 환자 기록은, 예방적 방문 및 선별검사가 예정되는 환자의 식별을 용이하게 하기 위해, 그리고 환자가 특정 파라미터에 얼마나 부합하는지를 모니터링하기 위해, EMR(Electronic Medical Records, 전자 의료 기록)과 호환가능할 수 있다. 이 경우, EMR 기록은 예를 들어, 통신 모듈(114)을 통해 네트워크에 걸쳐 공유될 수 있다.

일부 실시예에서, 하나 이상의 카운트다운은, 예를 들어, 조영제 타입, 의료 기관에 의해 실시되는 적용가능한 의료적 절차, 및/또는 (순차적으로 또는 병렬로 실행될 수 있는) 다양한 기간의 상이한 카운트다운을 필요로 할 수 있는 주변 조건(예를 들어, 온도, 상대 습도)을 설명하기 위해 조정될 수 있다.

조영제 효과의 자동화된 분석

도 2에서의 단계(210)에서, 시스템(100)은, (i) 분석중인 조직 영역의 모든 공간적 지점 및 (ii) 시간 경과에 따른 조직에서의 변화의 시간적 진행을 모두 기록화하기 위해, 앞에서 논의된 트리거링 이벤트 이전에 그리고 이후에, 자궁경부의 이미지 스트림 및/또는 복수의 이미지들을 특정된 연속적인 시간 단계에서 캡처하고 그리고/또는 자궁경부의 연속 비디오 스트림을 캡처하도록 구성될 수 있다.

그 다음에, 단계(214)에서, 시스템(100)은 관찰중인 조직의 시간적 연속 이미지들을 캡처하고 프로세싱하도록 구성될 수 있다. 이러한 프로세싱은, 관찰 중인 조직으로부터 (반사의 형태, 확산 산란의 형태, 형광의 형태, 또는 이들의 임의의 조합의 형태를 포함하는 형태로) 다시 방출되는 광의 광학적 속성을 측정하는 것을 포함할 수 있다. 이렇게 캡처된 개개의 이미지 프레임은 예를 들어, 저장 디바이스(114)에 연속적으로 저장될 수 있다. 그 다음에, 시스템(100)은, 분석중인 영역의 모든 공간적 지점에서 시간의 함수로서 이러한 측정된 광학적 속성의 정량적 파라미터를 계산하도록 구성될 수 있는데, 이것은 유발된 아세토화이트닝의 강도 및 범위의 평가를 가능하게 한다. 예를 들어, 시스템(100)은 이러한 측정에 근거하여 아세토화이트닝 강도에 대한 하나 이상의 아세토화이트닝 반응 곡선을 계산할 수 있다. 그 다음에, 이러한 반응 곡선은 다양한 타입의 조직의 병리학적 분류와 관련된 알려진 반응 곡선에 비교될 수 있다. 정량적 파라미터는: 레코딩된 아세토화이트닝의 최대값; 최대 반응값에 도달하기 위해 요구되는 기간; 특정 기간 동안 아세토화이트닝 반응의 전체 '용적'(예를 들어, 반응 곡선을 나타내는 그래프 아래의 적분 또는 면적); 최대값으로의 강도 증가율; 그리고 반응 곡선의 최대값으로부터 출발하는 강도 감소율 중 적어도 일부를 포함할 수 있다. 일부 실시예에서, 이러한 도출된 파라미터에는 또한, 예를 들어, 검사된 조직 샘플에 특정된 특징(예컨대, 환자 나이), 및/또는 검사되는 조직을 갖는 대상의 지역적 개체군을 특징짓는 특징에 근거하여, 가중치가 부여될 수 있다.

도 6에서 보여지는 바와 같이, 일부 실시예에서, 이미지 스트림은 색상, 채도, 명도(HSV) 또는 La*b* 컬러 공간으로 변환될 수 있다. HSV 컬러 공간에서, 각각의 성분은 컬러, 색도, 및 밝기를 보여준다. 따라서, 도메인 지식이 각각의 픽셀 및 각각의 컬러 채널에서의 변화의 양을 측정하기 위해 사용될 수 있다. 조영제의 도포 이후 픽셀의 값을 그 이전의 값의 함수로서 플롯팅함으로써 컬러 채널에서의 변동이 보여질 수 있다. 일부 실시예에서, 회색-레벨 동시-발생 행렬(Gray-Level Co-occurrence Matrix, GLCM)과 함께 사용하도록 설계된 통계적 계산이 사용될 수 있다. 그 다음에, 이러한 값은 결정 트리 또는 분류기에 공급될 수 있다. 도 5는 HSV 컬러 공간에서 아세토화이트닝-이전 이미지(패널 A) 및 아세토화이트닝-이후 이미지(패널 B)의 예시적인 분석을 보여준다. 일부 실시예에서, 시스템(100)은 조직에서의 가시적 변화를 두드러지게 하기 위해 컬러 증강과 같은 그러한 기법을 사용할 수 있다.

일부 실시예에서, 시스템(100)은, HSV/L*ab/RGB 변화; 날카로운 에지와 같은 공간적 특징; 이미지들의 시퀀스에서의 변화에 근거하는(예컨대, 연속되는 이미지들을 빼버림으로써) 외부 객체의 식별; 및/또는 예를 들어, 단일 샷 검출(Single Shot Detection, SSD)을 사용하여, 이미지 프레임 안으로 또는 밖으로 움직이는 객체를 식별하기 위해 광학적 흐름을 사용하는 것에 적어도 부분적으로 근거하여 시간 경과에 따른 변화를 추적하도록 구성될 수 있다.

이와 관련하여, 아세토-화이트닝된 조직에서의 시간-분해적 효과는 해당 조직의 분류에 따라 다양할 수 있음에 유의해야 한다. 예를 들어, 임상적 실시에서 일반적으로 사용되는 카테고리화는, HPV 감염, 조직 염증, CIN 1, 또는 이들의 조합을 저-등급 편평 상피내 병변(Low-grade Squamous Intraepithelial Lesion, LSIL)으로 간주한다. 반대로, 고-등급 편평 상피내 병변(High-grade Squamous Intraepithelial Lesion, HSIL)은 CIN 2, CIN 3, 및 침습성 암종을 포함한다. 이와 관련하여, 예를 들어, HPV로 분류된 조직은 상대적으로 안정된 포화 레벨에 도달하기 전에 빠르게 증가하는 아세토화이트닝 시간-분해적 반응을 제시한다는 것이 관찰되었다. 염증에 대응하는 아세토화이트닝 반응 곡선은 HPV로 분류된 조직보다 더 일찍 더 높은 최고조 값에 도달하지만, 이후에는 상대적으로 급격하게 감쇠한다. CIN 1로 분류된 조직에서, 아세토화이트닝 반응 곡선은 HPV 또는 염증에 대응하는 곡선보다 더 늦게 그 최대치에 도달하고, 그 다음에 염증 경우에서 관찰된 속도보다 현저히 더 느린 속도로 감쇠한다. 마지막으로, HSIL을 갖는 것으로 분류된 조직에 대해서, 곡선의 최대 아세토화이트닝 반응에는 더 늦게 도달하고 그 값은 HPV 및 CIN 1의 경우에서 관찰된 값보다 더 높지만, HSIL 병변에 대한 감쇠율은 염증으로 분류된 곡선에서 보여지는 감쇠율보다 훨씬 더 느리다.

일부 실시예에서, 검사 동안 아세토화이트닝 효과에 대해 계산된 반응 곡선은 또한, 조영제의 하나 이상의 재-도포에 대한 필요성 및/또는 사용되고 있는 조영제의 농도의 적정성을 검출하기 위해 이용될 수 있다. 이와 관련하여, 앞에서 언급된 바와 같이, LSIL 조직, 미성숙한 편평상피화생, 및 염증성 병변은 전형적으로 올바른 결론에 도달하기 위해 장기간의 평가 시간을 요구한다. 이에 따라, 일부 경우에서, 아세토화이트닝 효과를 연장시키기 위해 그리고 이에 따라 유효 관찰 윈도우를 연장시키기 위해 조영제의 다수의 도포가 요구될 수 있다. 다른 실시예에서, 시스템(100)은 조영제의 농도 레벨이 적당한지 여부를 결정하도록 구성될 수 있다.

도 7을 참조하면, 패널 A에서 직사각형에 의해 마킹된 바와 같이, 자궁경부 영역은 조직 병상에 대응할 수 있는 아세토화이트닝 반응을 겪었다. 패널 B는 아세토화이트닝의 효과가 반전된 자궁경부 조직을 보여준다. 관찰중인 조직에서의 아세토화이트닝 강도 감쇠의 타이밍 및 속도를 계산함으로써, 시스템(100)은 예를 들어, 조직의 측정된 광학적 속성이 나타내는 병상의 타입, 및 이에 따라 조영제의 추가적인 도포가 정당화되는지 여부를 결정하도록 구성될 수 있다. 예를 들어, 만약 아세토화이트닝 강도 감쇠 곡선이 LSIL 조직의 아세토화이트닝 강도 감쇠 곡선에 대응한다고 시스템(100)이 결정한다면, 시스템(100)은 아세토화이트닝 효과를 연장시키기 위해 그리고 이에 따라 유효 관찰 윈도우를 연장시키기 위해 조영제의 추가적인 하나 이상의 도포에 대해 표시할 수 있다.

일부 실시예에서는, 단계(216)에서, 시스템(100)은 임상의에게 자궁경부 영역에 조영제를 재도포하도록 하는 적절한 경고를 발행하도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 또한, 예를 들어, 앞에서 설명된 바와 같이 면봉을 검출함으로써 조영제의 재도포를 자동적으로 검출할 때까지 이미지화 디바이스(118)의 시계를 모니터링하도록 구성된다. 이러한 실시예에서, 시스템(100)은 또한, 만약 이러한 면봉 검출이 10 내지 45 초 사이에 있을 수 있는 특정 기간 내에 일어나지 않는다면, 연속적인 일련의 증대되는 경고를 발행하도록 구성될 수 있다. 이러한 증대되는 경고는, 디스플레이(116c) 상의 시각적 경고에서의 증가, 및/또는 스피커(116c)에 의해 소리가 전해지는 청각적 경고 및/또는 구두 경고의 음량에서의 증가를 포함할 수 있다.

조영제의 재도포시, 시스템(100)은 또한, 관찰중인 조직으로부터 다시 방출되는 광의 광학적 속성을 계속해서 측정하고 이러한 측정된 광학적 속성의 정량적 파라미터를 시간의 함수로서 계산하도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은, 앞에서 설명된 바와 같이, 아세토화이트닝 감쇠를 검출하는 단계, 조영제의 재도포에 대해 자동적으로 모니터링하는 단계, 그리고 하나 이상의 적절한 경고를 발행하는 단계를 한 번 이상 되풀이하도록 구성될 수 있다. 예를 들어, 시스템(100)은 이러한 단계를 총 횟수 2 내지 6회 사이에서 되풀이하도록 구성될 수 있다.

일부 실시예에서, 조영제의 재도포에 대한 필요성은, 온도, 상대 습도, 등과 같은 주변 파라미터에 적어도 부분적으로 근거하여 결정될 수 있다. 이러한 파라미터는 시스템(100) 자체 내에 있는 센서에 의해 획득될 수 있고 그리고/또는 외부 소스로부터 획득될 수 있다.

일부 실시예에서는, 단계(218)에서, 시스템(100)은 또한, 아세토화이트닝 감쇠 측정들의 특정 세트가 부적당한 조영제 농도 레벨의 결과일 수 있는지 여부를 결정하기 위해 조직에서의 다른 관찰된 현상 및/또는 병상을 고려하도록 구성될 수 있다. 예를 들어, 앞에서 언급된 바와 같이, 아세토화이트닝 효과의 상대적으로 느린 시간-분해적 감쇠율은 HSIL로 카테고리화된 조직의 존재를 표시할 수 있다. 하지만, 만약 검사 동안 취해진 다른 더 이른 표시가 이러한 결론을 뒷받침하지 않는다면, 더 느린 신호 감쇠율은 너무 낮은 조영제 농도(예를 들어, 4 내지 5% 대신 3%의 아세트산)의 표시일 수 있다. 이에 따라, 만약 예를 들어, 앞에서 설명된 바와 같이, 녹색 광 하에서의 조직의 초기 검토가 이례적인 혈관분포를 나타내지 않는다면, 반전의 느린 속도의 원인은 더 낮은 조영제 농도라는 결론이 도출될 수 있다. 이에 따라, 시스템(100)은 임상의에게 조영제 농도 레벨을 점검하도록 하는 적절한 경고를 발행할 수 있다.

일부 실시예에서, 시스템(100)은 복수의 환자의 다수의 연속적인 검사에 걸쳐 이러한 결정을 하도록 구성될 수 있다. 예를 들어, 만약 유사한 감쇠율 패턴이 수 개의 연속적인 검사에서 나온다면, 시스템(100)은 문제의 원인이 더 낮은 조영제 농도 레벨일 확률이 더 높다고 결정하도록 구성될 수 있다.

일부 실시예에서, 시스템(100)은 또한, 조영제로서 루골 요오드의 도포의 시간-분해적 효과를 모니터링하도록 구성될 수 있다. 요오드 테스트 배후의 원리는 본래의 그리고 새롭게 형성된 성숙한 편평 화생성 상피는 글리코겐화되는 반면 CIN 및 침습성 암종은 글리코겐을 약간 함유하거나 전혀 함유하지 않는다는 것이다. 요오드는 글리코겐에 친한 성질을 갖기 때문에, 요오드 용액의 도포는 결과적으로 글리코겐-함유 상피에서 요오드의 흡수가 일어나게 한다. 따라서, 정상적인 글리코겐-함유 편평 상피는 요오드의 도포 이후 마호가니 갈색 또는 흑색으로 착색된다. 원주 상피는 요오드를 흡수하지 않고, 착색되지 않은 상태로 유지되지만, 요오드 용액의 얇은 막으로 인해 약간 변색된 것으로 보일 수 있다. 미성숙한 편평 화생성 상피의 영역은 요오드로 착색되지 않은 상태로 유지될 수 있거나, 또는 단지 부분적으로만 착색될 수 있다. 만약 편평 상피의 염증 상태와 관련된 표면 세포 층 및 중간 세포 층의 유실(또는 미란)이 존재한다면, 이러한 영역은 요오드로 착색되지 않으며, 주변의 흑색 또는 갈색 배경에서 뚜렷하게 색깔 없는 상태로 유지된다. CIN 및 침습성 암종의 영역은 요오드를 흡수하지 않고(왜냐하면 이들은 글리코겐이 없기 때문), 그리고 진한 머스터드 황색 또는 샤프란-컬러를 갖는 영역으로서 나타난다. 백반증을 갖는 영역은 요오드로 착색되지 않는다. 콘딜로마는 요오드로 착색되지 않을 수 있거나, 또는 때로는 단지 부분적으로만 착색될 수 있다. 이에 따라, 질확대경 검사 실시에서의 루골 요오드의 사용은, 식염수 및 아세트산을 이용한 검사 동안 간과된 병변을 식별함에 있어 도움을 줄 뿐만 아니라 비정상적인 영역의 해부학적 범위를 묘사하는데 있어 도움을 주는, 그럼으로써 치료를 용이하게 하는, 보충적 단계를 형성할 수 있다.

머신 러닝 알고리즘의 사용

일부 실시예에서, 본 발명은 질확대경 검사와 같은 의료적 이미지화 절차의 과정에서 획득된 이미지를 분석하기 위해 인공 지능(Artificial Intelligence, AI), 머신 러닝, 및/또는 컨볼루션 뉴럴 네트워크에 기반을 둔 하나 이상의 기법을 적용할 수 있다.

예를 들어, 앞에서 설명된 바와 같이, 이미지화 디바이스(188)의 기술적 파라미터를 조정하는 대신, 본 발명의 알고리즘은 특정 품질 파라미터에 근거하여 이미지를 분류하기 위해 예를 들어, 훈련된 분류기를 적용하도록 구성될 수 있다. 이러한 분류는, 이미지가 이미지-기반 진단에서 사용되기 위한 특정 표준(예컨대, 선명도, 이미지에서의 자궁경부의 위치, 등)을 충족시키는지 여부를 평가하기 위해, 그리고 시스템(100)의 사용자에게 도중에 이미지 획득을 향상시키도록 지시하는 적절한 경고를 발행하기 위해, 예를 들어, 시스템(100)의 이미지 프로세싱 모듈(110a)에 의해 적용될 수 있다.

일부 실시예에서, 이러한 분류기는 많은 수의 이미지들, 예를 들어, 5,000 내지 25,000개 사이의 이미지들에 관해 훈련될 수 있는데, 여기서 훈련 세트는 이미지 품질 주석으로 (예를 들어, 불량, 적정, 양호, 및 우수의 서열 척도에 따라) 수동으로 라벨링된다. 일부 실시예에서, 이미지의 품질을 판단하기 위한 파라미터는, 이미지 초점, 아티팩트(예컨대, 점액질/유출물, 혈액, 면봉, 등)의 결여, 자궁경부의 4분면의 관찰가능성, 자궁경부를 가리는 그림자의 결여, 적절한 양식(예컨대, 녹색 컬러 필터 및/또는 루골 요오드 테스트에 대한 선택), 등을 포함할 수 있지만, 이러한 것으로만 한정되는 것은 아니다. 주석은 질확대경 검사 전문의 및 이미지 분석 전문가와 같은 전문가에 의해 제공될 수 있다. 이러한 분류기는 이러한 알고리즘들 중 일부에서 서브루틴으로서 사용될 수 있다.

일부 실시예에서, 본 발명의 분류기는 컨볼루션 뉴럴 네트워크(CNN)로부터 추출된 특징을 사용할 수 있고, 뿐만 아니라 블라인드 이미지 품질 평가(예를 들어, BRISQUE 기술어)의 분석을 위해 관련 있는 것으로 식별된 수동으로-주석달린 특징을 사용할 수 있다. 최종 품질은 긍정적인 가중치 제약을 갖는 앞서 언급된 의미론적 특징의 선형 집합으로부터 나온다(예를 들어, 문헌[Fernandes, Kelwin, Jaime S. Cardoso, and Jessica Fernandes. "Transfer learning with partial observability applied to cervical cancer screening." Iberian conference on pattern recognition and image analysis. Springer, Cham, 2017]; 문헌[Silva, Wilson, et al. "Towards Complementary Explanations Using Deep Neural Networks." Understanding and Interpreting Machine Learning in Medical Image Computing Applications. Springer, Cham, 2018. 133-140]; 및 문헌[Mittal, Anish, Anush Krishna Moorthy, and Alan Conrad Bovik. "No-reference image quality assessment in the spatial domain." IEEE Transactions on Image Processing 21.12 (2012): 4695-4708) 참조]. 따라서, 딥 뉴럴 네트워크의 잠재적 활성화를 지도함으로써, 시스템의 사용자에게 획득을 교정하는 방법에 관해 지시하는 것이 가능하다.

본 실시예의 프레임워크에서 사용될 수 있는 추가적인 이미지 품질 분류기들은, 문헌[Fernandes, Kelwin, Jaime S. Cardoso, and Jessica Fernandes. "Transfer learning with partial observability applied to cervical cancer screening." Iberian conference on pattern recognition and image analysis. Springer, Cham, 2017]; 및 문헌[Mittal, Anish, Anush Krishna Moorthy, and Alan Conrad Bovik. "No-reference image quality assessment in the spatial domain." IEEE Transactions on Image Processing 21.12 (2012): 4695-4708]에서 논의된 것들이다.

일부 실시예에서, 본 발명의 이미지 품질 분류기는, 앞에서 설명된 파라미터에 적어도 부분적으로 근거하여 이미지 품질에 대한 선택을 행하면서, 이미지 스트림 및/또는 이미지 시퀀스로부터 관련 이미지를 선택하도록 구성될 수 있다.

일부 실시예에서, 이미지 프로세싱 모듈(110a)은 또한, ROI 식별; 자궁경부를 크로핑하는 것; 추가적인 해부학적 ROI(예컨대, 자궁경부 구멍, 검경, TZ, SCJ, 및/또는 질 벽)의 식별; 타이머 카운트다운을 개시시키기 위한 면봉의 식별, 등을 포함하는, 앞에서 설명된 이전의 단계들 중 하나 이상의 단계에서 적용되도록 구성될 수 있다.

이미지에서의 모든 특징이 식별되었다면, 아세트산이 적절하게 도포되었는지를 평가하기 위해서, 예를 들어, 아세토화이트닝-이전 및 아세토화이트닝-이후 이미지들을 식별하기 위해 본 발명의 머신 러닝 알고리즘이 적용될 수 있다. 예를 들어, 이러한 알고리즘은 두 개의 수정된 이미지들을 수신하는 것 및 이들의 잠재적 표현을 연결하는 것에 근거하여 예측을 행하도록 구성된 짝맞춤 모델을 포함할 수 있다. 일부 실시예에서, 이러한 알고리즘은, 모든 아세토화이트닝-이전 이미지를 모든 아세토화이트닝-이후 이미지와 비교하는 것; 시퀀스에서 단지 첫 번째 이미지와 마지막 이미지만을 비교하는 것; 특정 기간의 시작 및 끝에서 캡처된 이미지들을 비교하는 것; 그리고/또는 특정 품질 임계치를 충족시키는 이전 이미지와 이후 이미지를 비교하는 것을 수행하도록 구성될 수 있다.

일부 실시예에서, 본 발명의 알고리즘은 아세트산의 적절한 도포를 자동적으로 결정하도록 구성될 수 있다. 예를 들어, 알고리즘은 짝맞춤 샴 모델을 적용할 수 있는데, 여기서 알고리즘은 (잠재적으로 등록되고 정렬되는) 자궁경부의 두 개의 크로핑된 이미지들을 수신하고, 그리고 아세트산이 ROI에 도포되었을 확률을 출력한다. 일부 실시예에서, 알고리즘은 외부 아티팩트(예컨대, 혈액, 점액질)를 갖는 영역 및 아세트산이 빠진 영역을 검출하기 위해 구획 네트워크(예컨대, U-Net)를 사용할 수 있다. 그 다음에, 시스템(100)은 이러한 영역을 시스템의 사용자에게 식별시킬 수 있다. (예를 들어, 문헌[Fernandes, Kelwin, Jaime S. Cardoso, and Birgitte Schmidt Astrup. "A deep learning approach for the forensic evaluation of sexual assault." Pattern Analysis and Applications (2018): 1-12]; 및 문헌[Fernandes, Kelwin, Jaime S. Cardoso, and Jessica Fernandes. "Temporal segmentation of digital colposcopies." Iberian conference on pattern recognition and image analysis. Springer, Cham, 2015] 참조.)

일부 실시예에서, 전문가-의존적 주관적인 주석으로부터 아세토화이트 영역의 검출을 위한 강인한 구획 알고리즘을 훈련시키기 위해, 다음과 같은 훈련 전략이 사용될 수 있다:

ㆍ 루골 요오드를 사용하여 착색되지 않은 영역을 인식하도록 구획 딥 뉴럴 네트워크(Deep Neural Network, DNN)가 훈련됨;

ㆍ 아세토화이트닝-이후 이미지 및 루골 요오드를 갖는 이미지가 예를 들어, 기준으로서 자궁경부 구멍을 사용하여 정렬됨; 그리고

ㆍ 아세토화이트닝-이후 이미지 상에서 어떤 영역이 루골 요오드로 착색되지 않은지를 예측하도록 구획 DNN이 훈련됨. 루골 요오드는 과민성이기 때문에, 이러한 영역은 아세토-화이트닝된 영역을 포함할 것이다.

세 개의 이전의 모델(즉, 루골 구획, 루골 주석에 근거하는 비정밀 아세토화이트 구획, 정밀 아세토화이트 구획)은 세 개의 모델로부터의 검출을 결합함으로써 새로운 세션의 추론 동안 사용될 수 있다. (예컨대, 문헌[Fernandes, Kelwin, and Jaime S. Cardoso. "Ordinal image segmentation using deep neural networks." 2018 International Joint Conference on Neural Networks (IJCNN). IEEE, 2018] 참조).

일부 실시예에서, 시스템(100)은, 구획 네트워크의 훈련을 요구하지 않는 iNNvestigate(https://github.com/albermax/innvestigate)와 같은 딥 뉴럴 네트워크(DNN)로부터의 해석가능 기법을 이용할 수 있다.

본 발명의 기술분야에서 숙련된 자에 의해 이해될 것인 바와 같이, 본 발명의 실시형태는 시스템, 방법, 컴퓨터 프로그램 제품으로서 구현될 수 있다. 이에 따라, 본 발명의 실시형태는, 전체적으로 하드웨어 실시예의 형태, (펌웨어, 상주형 소프트웨어, 마이크로-코드, 등을 포함하는) 전체적으로 소프트웨어 실시예의 형태, 또는 소프트웨어 실시형태와 하드웨어 실시형태를 결합한 실시예의 형태를 취할 수 있고, 이들은 모두 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템"으로서 지칭될 수 있다. 더욱이, 본 발명의 실시형태는 하나 이상의 컴퓨터 판독가능 매체(들)로 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수 있고, 하나 이상의 컴퓨터 판독가능 매체(들)에는 컴퓨터 판독가능 프로그램 코드가 구현된다.

하나 이상의 컴퓨터 판독가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 신호 매체 또는 컴퓨터 판독가능 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는, 예를 들어, 전자적, 자기적, 광학적, 전자기적, 적외선 또는 반도체 시스템, 장치, 또는 디바이스일 수 있거나, 또는 앞서의 것들의 임의의 적절한 조합일 수 있지만, 이러한 것으로만 한정되는 것은 아니다. 컴퓨터 판독가능 저장 매체의 더 특정적 예(비-완전 목록)는 다음과 같은 것을 포함하게 된다: 하나 이상의 전선을 갖는 전기적 연결, 휴대가능한 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독-전용 메모리(Read-Only Memory, ROM), 소거가능하고 프로그래밍가능한 판독-전용 메모리(Erasable Programmable Read-Only Memory, EPROM)(또는 플래시 메모리), 광섬유, 휴대가능한 콤팩트 디스크 판독-전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 광학적 저장 디바이스, 자기적 저장 디바이스, 또는 앞서의 것들의 임의의 적절한 조합. 이러한 문서의 맥락에서, 컴퓨터 판독가능 저장 매체는, 명령 실행 시스템, 장치, 또는 디바이스에 의해 사용되기 위한 또는 이들과 연결되어 사용되기 위한 프로그램을 포함할 수 있거나 또는 저장할 수 있는 임의의 유형의 매체일 수 있다.

컴퓨터 판독가능 신호 매체는, 예를 들어, 기저대역에서 또는 반송파의 일부로서, 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파되는 신호는 전자기적 형태, 광학적 형태, 또는 이들의 임의의 적절한 조합의 형태를 포함하는(하지만, 이러한 것으로만 한정되는 것은 아닌) 다양한 형태들 중 임의의 형태를 취할 수 있다. 컴퓨터 판독가능 신호 매체는, 명령 실행 시스템, 장치, 또는 디바이스에 의해 사용되기 위한 또는 이들과 연결되어 사용되기 위한 프로그램을 전달, 전파, 또는 운송할 수 있는, 그리고 컴퓨터 판독가능 저장 매체는 아닌, 임의의 컴퓨터 판독가능 매체일 수 있다.

컴퓨터 판독가능 매체에 구현되는 프로그램 코드는, 무선, 유선, 광섬유 케이블, RF, 등, 또는 앞서의 것들의 임의의 적절한 조합을 포함하는(하지만, 이러한 것으로만 한정되는 것은 아닌) 임의의 적절한 매체를 사용하여 전송될 수 있다.

본 발명의 실시형태에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는, 자바, 스몰토크, C++ 등과 같은 객체 지향 프로그래밍 언어, 그리고 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는, 하나 이상의 프로그래밍 언어들의 임의의 조합으로 작성될 수 있다. 컴퓨터 코드는, 전체적으로 사용자의 컴퓨터 상에서 실행될 수 있거나, 부분적으로 사용자의 컴퓨터 상에서 실행될 수 있거나, 독립형 소프트웨어 패키지로서 실행될 수 있거나, 부분적으로는 사용자의 컴퓨터 상에서 그리고 부분적으로는 원격 컴퓨터 상에서 실행될 수 있거나, 또는 전체적으로 원격 컴퓨터 또는 서버 상에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는, 근거리 네트워크(Local Area Network, LAN) 또는 광역 네트워크(Wide Area Network, WAN)를 포함하는, 임의 타입의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있고, 또는 연결은 (예를 들어, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대해 이루어질 수 있다.

본 발명의 실시형태가, 본 발명의 실시예에 따른, 방법의 흐름도 예시 및/또는 블록도, 장치(시스템), 및 컴퓨터 프로그램 제품을 참조하여 본 명세서에서 설명된다. 흐름도 예시 및/또는 블록도의 각각의 블록, 그리고 흐름도 예시 및/또는 블록도의 블록들의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음이 이해될 것이다. 이러한 컴퓨터 프로그램 명령은, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 머신을 생성하기 위한 다른 프로그래밍가능 데이터 프로세싱 장치의 하드웨어 프로세서에 제공될 수 있고, 이에 따라 컴퓨터 또는 다른 프로그래밍가능 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령은 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/동작을 구현하기 위한 수단을 생성하게 된다.

컴퓨터, 다른 프로그래밍가능 데이터 프로세싱 장치, 또는 다른 디바이스에게 특정 방식으로 기능하도록 지시할 수 있는 이러한 컴퓨터 프로그램 명령은 또한, 컴퓨터 판독가능 매체에 저장될 수 있고, 이에 따라 컴퓨터 판독가능 매체에 저장된 명령은 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/동작을 구현하는 명령을 포함하는 제조 물품을 생성하게 된다.

컴퓨터 프로그램 명령은 또한, 컴퓨터로 구현되는 프로세스를 생성하기 위해서 일련의 동작 단계가 컴퓨터, 다른 프로그래밍가능 장치 또는 다른 디바이스 상에서 수행되게 하기 위해 컴퓨터, 다른 프로그래밍가능 데이터 프로세싱 장치, 또는 다른 디바이스 상에 로딩될 수 있고, 이에 따라 컴퓨터 또는 다른 프로그래밍가능 장치 상에서 실행되는 명령은 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/동작을 구현하기 위한 프로세스를 제공하게 된다.

도면에서의 흐름도 및 블록도는, 본 발명의 다양한 실시예에 따른, 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현예의 구조, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각각의 블록은 특정된 로직 기능(들)을 구현하기 위한 하나 이상의 실행가능한 명령을 포함하는 코드의 모듈, 단편, 또는 부분을 나타낼 수 있다. 일부 대안적 구현예에서, 블록에서 언급된 기능은 도면에서 언급된 순서를 벗어나 일어날 수 있음에 또한 유의해야 한다. 예를 들어, 연속적으로 보여지는 두 개의 블록들은 실제로는 실질적으로 동시에 실행될 수 있고, 또는 이러한 블록들은 때로는 관련된 기능에 따라 역순으로 실행될 수 있다. 블록도 및/또는 흐름도 예시의 각각의 블록, 그리고 블록도 및/또는 흐름도 예시에서의 블록들의 조합은, 특정 기능 또는 동작을 수행하거나 또는 특수 목적 하드웨어 및 컴퓨터 명령들의 조합을 수행하는 특수 목적 하드웨어-기반 시스템에 의해 구현될 수 있음에 또한 유의해야 할 것이다.

본 발명의 다양한 실시예의 설명은 예시의 목적으로 제시되었지 그 개시되는 실시예에 완전히 특정되도록 또는 한정되도록 의도된 것이 아니다. 설명되는 실시예의 범위 및 사상으로부터 벗어남이 없이 많은 수정 및 변형이 본 발명의 기술분야에서 통상의 기술을 가진 자에게는 명백할 것이다. 본 명세서에서 사용되는 용어는, 시장에서 발견되는 기술보다 뛰어난 실시예, 실제 응용예 또는 기술적 향상예의 원리를 가장 잘 설명하기 위해 선택되었고, 또는 본 발명의 기술분야에서 통상의 기술을 가진 다른 사람이 본 명세서에서 개시되는 실시예를 이해할 수 있게 하기 위해 선택되었다.

본 출원의 설명 및 청구항에서, "포함한다", "포함하는", 및 "갖는"의 단어들 각각 그리고 이들의 형태는 해당 단어가 관련될 수 있는 나열 목록에서의 요소로 반드시 한정되는 것은 아니다. 추가적으로, 본 출원과 참조로 통합되는 임의의 문서 간의 불일치가 존재하는 경우, 본 명세서에 의해 본 출원이 주도권을 갖는 것으로 의도된다.

Claims

있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 방법으로서,
신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스를 제공하는 것을 포함하며;
적어도 하나의 하드웨어 프로세서를 사용하여,
상기 이미지 스트림을 수신하고,
상기 이미지 스트림에서 출현하는 의료용 액세서리를 식별하고,
상기 신체 조직의 다수의 이미지들을 캡처하는 것을 포함하며,
(i) 상기 이미지들 중 적어도 하나는 상기 식별 전에 캡처되고,
(ii) 상기 이미지들 중 적어도 하나는 상기 식별시 하나 이상의 특정 시간에 캡처되는, 방법.
제1항에 있어서, 상기 신체 조직은 자궁경부 조직인, 방법.
제1항 또는 제2항에 있어서, 상기 의료용 액세서리는 상기 신체 조직에 조영제를 도포하기 위해 사용되는 면봉인, 방법.
제3항에 있어서, 상기 특정 시간은 상기 조영제의 타입에 적어도 부분적으로 근거하여 결정되는, 방법.
제3항 또는 제4항에 있어서, 상기 조영제는 아세트산이고, 상기 특정 시간은 15 내지 600 초의 범위 내에 있는, 방법.
제5항에 있어서, 상기 범위는 90 내지 150 초인, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 식별하는 것은 특정 기간 동안 상기 이미지 스트림에서 상기 의료용 액세서리의 존재를 결정하는 것; 상기 이미지 스트림으로부터 상기 의료용 액세서리의 제거를 결정하는 것; 상기 이미지화 디바이스로부터 상기 의료용 액세서리의 거리를 결정하는 것; 상기 신체 조직에 대한 상기 의료용 액세서리의 특정 위치를 결정하는 것; 상기 신체 조직에 대한 상기 의료용 액세서리의 특정 배향을 결정하는 것; 상기 의료용 액세서리와 동시에 상기 이미지 스트림에서 출현하는 특정 객체를 식별하는 것; 상기 의료용 액세서리의 특정 액션을 식별하기 위해 상기 의료용 액세서리를 추적하는 것; 그리고 상기 의료용 액세서리와 상기 신체 조직 간의 접촉을 검출하는 것 중 하나 이상을 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 식별은 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 분류기에 의해 실행되는, 방법.
제8항에 있어서, 상기 CNN 분류기는 자궁경부 조직의 배경에 대비되어 보여지는 상기 의료용 액세서리의 하나 이상의 타입들의 라벨링된 이미지들의 세트에 관해 훈련되는, 방법.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 특정 시간은 사용자 선택에 근거하여 결정되는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 전 특정 기간 동안 캡처되고, 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 후 특정 기간 동안 캡처되는, 방법.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 캡처하는 것은 연속 비디오 시퀀스, 타임-랩스 비디오 시퀀스, 및 이미지들의 시퀀스 중 하나 이상을 캡처하는 것을 포함하는, 방법.
제12항에 있어서, 상기 캡처하는 것은 이미지 품질 파라미터에 적어도 부분적으로 근거하여 이미지들의 상기 시퀀스로부터 이미지를 선택하는 것을 더 포함하는, 방법.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 캡처하는 것은 상기 이미지 스트림에 대한 하나 이상의 조정들을 수행하는 것을 더 포함하고, 상기 조정들은 확대, 초점, 컬러 필터링, 편광, 눈부심 제거, 화이트 밸런스, 노출 시간, 게인(ISO), 및 감마로 이루어진 그룹으로부터 선택되는, 방법.
제1항 내지 제14항 중 어느 한 항에 있어서, 디스플레이, 스피커, 제어 패널, 마이크로폰, 및 프린터 중 하나 이상을 포함하는 사용자 인터페이스 모듈을 제공하는 것을 더 포함하는, 방법.
제15항에 있어서, 상기 이미지 스트림은 상기 디스플레이 상에 실시간으로 제시되는, 방법.
제1항 내지 제16항 중 어느 한 항에 있어서, 상기 캡처하는 것은 상기 하나 이상의 이미지들 중 상기 적어도 하나를 저장 매체 상에 저장하는 것; 상기 하나 이상의 이미지들 중 적어도 하나에 특정 정보로 주석을 다는 것; 상기 하나 이상의 이미지들 중 적어도 하나를 네트워크 연결을 통해 전송하는 것; 상기 하나 이상의 이미지들 중 적어도 하나의 이미지의 하드 카피를 인쇄하는 것 중 하나 이상을 더 포함하는, 방법.
제1항 내지 제17항 중 어느 한 항에 있어서, 상기 신체 조직의 조명을 제공하도록 구성된 광원을 제공하는 것을 더 포함하는, 방법.
제1항 내지 제18항 중 어느 한 항에 있어서, 상기 이미지화 디바이스는 스윙암 상에 장착되도록 구성되는, 방법.
컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 상기 프로그램 코드는 제1항 내지 제19항 중 어느 한 항의 방법을 실행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 컴퓨터 프로그램 제품.
있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템으로서,
신체 조직의 이미지 스트림을 전송하도록 구성된 이미지화 디바이스;
적어도 하나의 하드웨어 프로세서;
프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 상기 프로그램 명령들은 제1항 내지 제19항 중 어느 한 항의 방법을 실행하도록 상기 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 시스템.
제21항에 있어서, 디스플레이, 스피커, 제어 패널, 마이크로폰, 및 프린터 중 하나 이상을 포함하는 사용자 인터페이스 모듈을 더 포함하는, 시스템.
제22항에 있어서, 상기 신체 조직의 조명을 제공하도록 구성된 광원을 더 포함하는, 시스템.
검사 기간 동안 자궁경부의 이미지 스트림을 수신하는 것으로, 상기 자궁경부는 상기 검사 기간 동안 다음 중 적어도 하나를 겪으며:
(i) 상기 자궁경부의 적어도 일부를 덮는 점액질 층의 제거, 및
(ii) 상기 자궁경부로의 조영제의 도포; 및
상기 이미지 스트림에서 다음 중 적어도 하나를 검출하는 것을 포함하는 방법으로서:
(iii) 상기 점액질 층의 불완전한 제거,
(iv) 상기 조영제에 의해 상기 자궁경부에서 유발된 효과의 반전, 및
(v) 상기 조영제의 농도 레벨,
상기 검출하는 것은 상기 이미지 스트림에서 상기 조직 샘플의 적어도 하나의 광학적 속성에서의 시간적 변화들을 측정하는 것에 적어도 부분적으로 근거하는, 방법.
제24항에 있어서, 상기 검출하는 것은 상기 이미지 스트림에서 상기 자궁경부의 경계를 먼저 식별하는 것을 포함하는, 방법.
제24항 또는 제25항에 있어서, 상기 식별하는 것은 조직 샘플 컬러에 적어도 부분적으로 근거하는, 방법.
제24항 내지 제26항 중 어느 한 항에 있어서, 상기 식별하는 것은 컨볼루션 뉴럴 네트워크(CNN) 분류기들 및 서포트 벡터 머신(Support Vector Machine, SVM) 분류기들로 이루어진 그룹으로부터 선택된 하나 이상의 머신 러닝 알고리즘들을 실행하는 것에 적어도 부분적으로 근거하는, 방법.
제24항 내지 제27항 중 어느 한 항에 있어서, 상기 조영제는 아세트산이고, 상기 효과는 아세토화이트닝인, 방법.
제24항 내지 제28항 중 어느 한 항에 있어서, 상기 조영제는 루골 요오드이고, 상기 효과는 글리코겐-함유 조직 영역들에서 요오드의 흡수와 관련되는, 방법.
제24항 내지 제29항 중 어느 한 항에 있어서, 상기 점액질 층의 상기 불완전한 제거의 상기 검출은, 상기 제거 전에 캡처된 적어도 제1의 상기 이미지를 상기 제거 후에 캡처된 적어도 제2의 상기 이미지와 비교하는 것을 포함하고, 상기 비교는 상기 제1의 이미지 및 상기 제2의 이미지에서의 픽셀 값들이 비유사도 임계치를 충족시킴에 적어도 부분적으로 근거하는, 방법.
제30항에 있어서, 상기 검출하는 것은 상기 불완전한 제거와 관련된 경고를 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함하는, 방법.
제31항에 있어서, 상기 경고는 상기 점액질 층의 상기 불완전한 제거와 관련된 것으로서 식별된 상기 이미지 스트림 내의 하나 이상의 영역들의 위치에 관한 표시를 포함하고, 상기 표시는: 상기 하나 이상의 영역들 둘레에 아웃라인을 디스플레이하는 것, 상기 하나 이상의 영역들을 둘러싸는 박스를 디스플레이하는 것, 상기 하나 이상의 영역들을 가리키는 화살표를 디스플레이하는 것, 상기 하나 이상의 영역들의 줌-인 뷰를 디스플레이하는 것, 및/또는 상기 하나 이상의 영역들과 관련된 하나 이상의 값들의 표시를 디스플레이하는 것 중 적어도 하나를 포함하는, 방법.
제24항 내지 제32항 중 어느 한 항에 있어서, 상기 효과의 상기 반전의 상기 검출은, 상기 이미지 스트림에서 출현하는 의료용 면봉을 식별하는 것에 적어도 부분적으로 근거하여 상기 조영제의 상기 도포의 시간을 결정하는 것을 더 포함하는, 방법.
제33항에 있어서, 상기 측정하는 것은 상기 결정 후 특정 기간 동안 일어나는, 방법.
제34항에 있어서, 상기 측정하는 것은, 상기 효과에서의 상기 시간적 변화들의 적어도 하나의 파라미터를 상기 기간 동안 계산하는 것을 더 포함하고, 상기 적어도 하나의 파라미터는: 최대값, 상기 최대값에 도달하기 위해 요구되는 기간, 상기 값에서의 시간적 변화들을 기술하는 곡선의 적분, 상기 최대값으로의 상기 값에서의 증가율, 상기 최대값으로부터의 상기 값에서의 감소율로 이루어진 그룹으로부터 선택되는, 방법.
제35항에 있어서, 정상적인 조직, 염증이 있는 조직, 자궁경부 종양, HPV 감염, 형성이상, 병이 있는 조직, 전암성 조직, 및 암에 걸린 조직으로 이루어진 그룹으로부터 선택된 조직 상태와 적어도 하나의 상기 파라미터를 관련시키는 것을 더 포함하는, 방법.
제36항에 있어서, 상기 관련시키는 것에 적어도 부분적으로 근거하여, (i) 상기 조영제의 하나 이상의 추가적인 상기 도포에 대한 필요성, 및 (ii) 상기 조영제의 상기 농도 레벨을 조정할 필요성 중 적어도 하나를 결정하는 것을 더 포함하는, 방법.
제37항에 있어서, 상기 결정하는 것은 상기 결정하는 것과 관련된 하나 이상의 경고들을 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함하는, 방법.
제24항 내지 제38항 중 어느 한 항에 있어서, 상기 캡처하는 것은, RGB(Red-Green-Blue, 적색-녹색-청색), 단색, 자외선(UltraViolet, UV), 근적외선(Near InfraRed, NIR), 및 단파 적외선(Short-Wave InfraRed, SWIR) 스펙트럼 데이터 중 적어도 하나를 검출하도록 구성된 적어도 하나의 이미지화 디바이스를 사용하는 것을 포함하는, 방법.
제39항에 있어서, 상기 적어도 하나의 이미지화 디바이스는 상보형 금속-산화물-반도체(Complementary Metal-Oxide-Semiconductor, CMOS), 전하-결합 디바이스(Charge-Coupled Device, CCD), 인듐 갈륨 비소 화합물(Indium Gallium Arsenide, InGaAs), 및 편광-감응 센서 소자로 이루어진 그룹으로부터 선택된 디지털 이미지화 센서를 포함하는, 방법.
제24항 내지 제40항 중 어느 한 항에 있어서, 상기 캡처하는 것은 연속 비디오 시퀀스, 타임-랩스 비디오 시퀀스, 및 이미지들의 시퀀스 중 하나 이상을 캡처하는 것을 포함하는, 방법.
제24항 내지 제41항 중 어느 한 항에 있어서, 상기 캡처하는 것은 상기 이미지들에 대한 하나 이상의 조정들을 수행하는 것을 더 포함하고, 상기 조정들은: 확대, 초점, 컬러 필터링, 편광, 및 눈부심 제거로 이루어진 그룹으로부터 선택되는, 방법.
컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 상기 프로그램 코드는 제24항 내지 제42항 중 어느 한 항의 방법을 실행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 컴퓨터 프로그램 제품.
있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템으로서,
적어도 하나의 하드웨어 프로세서;
프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 상기 프로그램 명령들은 제24항 내지 제42항 중 어느 한 항의 방법을 실행하도록 상기 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 시스템.
적어도 자궁경부를 묘사하는 이미지 스트림을 수신하는 것;
상기 이미지 스트림에서 다음 중 적어도 하나를 검출하는 것:
(i) 하나 이상의 면봉들,
(ii) 상기 자궁경부로부터의 점액질 층의 불완전한 제거,
(iii) 상기 조영제에 의해 상기 자궁경부에서 유발된 효과의 반전, 및
(iv) 상기 조영제의 농도 레벨,
(ii) 내지 (iv) 중 적어도 하나의 검출시 통지를 즉시 발행하는 것;
(a) 상기 하나 이상의 면봉들에 의한 상기 조영제의 도포 전에, 그리고 (b) 상기 면봉에 의한 상기 조영제의 성공적인 도포 후 특정 시간에, 상기 자궁경부의 이미지들을 캡처하는 것을 포함하는 방법으로서, 상기 성공적인 도포는 (ii) 내지 (iv) 중 적어도 하나의 검출 또는 검출 없음에 근거하여 결정되는, 방법.
제45항에 있어서, 상기 특정 시간은 상기 조영제의 타입에 적어도 부분적으로 근거하여 결정되는, 방법.
제45항 또는 제46항에 있어서, 상기 조영제는 아세트산이고, 그리고 상기 특정 시간은 15 내지 600 초의 범위 내에 있는, 방법.
제47항에 있어서, 상기 범위는 90 내지 150 초인, 방법.
제45항 내지 제48항 중 어느 한 항에 있어서, 하나 이상의 면봉들의 상기 검출은 특정 기간 동안 상기 이미지 스트림에서 상기 면봉의 존재를 결정하는 것; 상기 이미지 스트림으로부터 상기 면봉의 제거를 결정하는 것; 상기 이미지화 디바이스로부터 상기 면봉의 거리를 결정하는 것; 상기 자궁경부에 대한 상기 면봉의 특정 위치를 결정하는 것; 상기 자궁경부에 대한 상기 면봉의 특정 배향을 결정하는 것; 상기 면봉과 동시에 상기 이미지 스트림에서 출현하는 특정 객체를 식별하는 것; 상기 면봉의 특정 액션을 식별하기 위해 상기 면봉을 추적하는 것; 상기 면봉과 상기 자궁경부 간의 접촉을 검출하는 것 중 하나 이상을 포함하는, 방법.
제49항에 있어서, 상기 검출은 컨볼루션 뉴럴 네트워크(CNN) 분류기에 의해 실행되는, 방법.
제50항에 있어서, 상기 CNN 분류기는 자궁경부 조직의 배경에 대비되어 보여지는 상기 면봉의 하나 이상의 타입들의 라벨링된 이미지들의 세트에 관해 훈련되는, 방법.
제45항 내지 제51항 중 어느 한 항에 있어서, 상기 특정 시간은 사용자 선택에 근거하여 결정되는, 방법.
제45항 내지 제52항 중 어느 한 항에 있어서, 상기 이미지들 중 적어도 일부는 상기 특정 시간 전 특정 기간 동안 캡처되고, 상기 다수의 이미지들 중 적어도 일부는 상기 특정 시간 후 특정 기간 동안 캡처되는, 방법.
제45항 내지 제53항 중 어느 한 항에 있어서, 상기 캡처하는 것은 연속 비디오 시퀀스, 타임-랩스 비디오 시퀀스, 및 이미지들의 시퀀스 중 하나 이상을 캡처하는 것을 포함하는, 방법.
제54항에 있어서, 상기 캡처하는 것은 이미지 품질 파라미터에 적어도 부분적으로 근거하여 이미지들의 상기 시퀀스로부터 이미지를 선택하는 것을 더 포함하는, 방법.
제45항 내지 제55항 중 어느 한 항에 있어서, 상기 캡처하는 것은 상기 이미지 스트림에 대한 하나 이상의 조정들을 수행하는 것을 더 포함하고, 상기 조정들은 확대, 초점, 컬러 필터링, 편광, 눈부심 제거, 화이트 밸런스, 노출 시간, 게인(ISO), 및 감마로 이루어진 그룹으로부터 선택되는, 방법.
제45항 내지 제56항 중 어느 한 항에 있어서, 디스플레이, 스피커, 제어 패널, 마이크로폰, 및 프린터 중 하나 이상을 포함하는 사용자 인터페이스 모듈을 제공하는 것을 더 포함하는, 방법.
제57항에 있어서, 상기 이미지 스트림은 상기 디스플레이 상에 실시간으로 제시되는, 방법.
제45항 내지 제58항 중 어느 한 항에 있어서, 상기 캡처하는 것은 상기 하나 이상의 이미지들 중 상기 적어도 하나를 저장 매체 상에 저장하는 것; 상기 하나 이상의 이미지들 중 적어도 하나에 특정 정보로 주석을 다는 것; 상기 하나 이상의 이미지들 중 적어도 하나를 네트워크 연결을 통해 전송하는 것; 상기 하나 이상의 이미지들 중 적어도 하나의 이미지의 하드 카피를 인쇄하는 것 중 하나 이상을 더 포함하는, 방법.
제45항 내지 제59항 중 어느 한 항에 있어서, 상기 자궁경부의 조명을 제공하도록 구성된 광원을 제공하는 것을 더 포함하는, 방법.
제45항 내지 제60항 중 어느 한 항에 있어서, 상기 검출하는 것은 상기 이미지 스트림에서 상기 자궁경부의 경계를 먼저 식별하는 것을 포함하는, 방법.
제61항에 있어서, 상기 식별하는 것은 조직 샘플 컬러에 적어도 부분적으로 근거하는, 방법.
제61항 또는 제62항에 있어서, 상기 식별하는 것은 컨볼루션 뉴럴 네트워크(CNN) 분류기들 및 서포트 벡터 머신(SVM) 분류기들로 이루어진 그룹으로부터 선택된 하나 이상의 머신 러닝 알고리즘들을 실행하는 것에 적어도 부분적으로 근거하는, 방법.
제61항 내지 제63항 중 어느 한 항에 있어서, 상기 조영제는 아세트산이고, 상기 효과는 아세토화이트닝인, 방법.
제61항 내지 제64항 중 어느 한 항에 있어서, 상기 조영제는 루골 요오드이고, 그리고 상기 효과는 글리코겐-함유 조직 영역들에서 요오드의 흡수와 관련되는, 방법.
제45항 내지 제65항 중 어느 한 항에 있어서, 상기 점액질 층의 상기 불완전한 제거의 상기 검출은, 상기 제거 전에 캡처된 적어도 제1의 상기 이미지를 상기 제거 후에 캡처된 적어도 제2의 상기 이미지와 비교하는 것을 포함하고, 상기 비교는 상기 제1의 이미지 및 상기 제2의 이미지에서의 픽셀 값들이 비유사도 임계치를 충족시킴에 적어도 부분적으로 근거하는, 방법.
제66항에 있어서, 상기 검출하는 것은 상기 불완전한 제거와 관련된 경고를 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함하는, 방법.
제67항에 있어서, 상기 경고는 상기 점액질 층의 상기 불완전한 제거와 관련된 것으로서 식별된 상기 이미지 스트림 내의 하나 이상의 영역들의 위치에 관한 표시를 포함하고, 상기 표시는 상기 하나 이상의 영역들 둘레에 아웃라인을 디스플레이하는 것, 상기 하나 이상의 영역들을 둘러싸는 박스를 디스플레이하는 것, 상기 하나 이상의 영역들을 가리키는 화살표를 디스플레이하는 것, 상기 하나 이상의 영역들의 줌-인 뷰를 디스플레이하는 것, 및/또는 상기 하나 이상의 영역들과 관련된 하나 이상의 값들의 표시를 디스플레이하는 것 중 적어도 하나를 포함하는, 방법.
제45항 내지 제68항 중 어느 한 항에 있어서, 상기 효과의 상기 반전의 상기 검출은, 상기 이미지 스트림에서 출현하는 상기 하나 이상의 면봉들을 식별하는 것에 적어도 부분적으로 근거하여 상기 조영제의 상기 도포의 시간을 결정하는 것을 더 포함하는, 방법.
제69항에 있어서, 상기 관련시키는 것에 적어도 부분적으로 근거하여, (i) 상기 조영제의 하나 이상의 추가적인 상기 도포에 대한 필요성, 및 (ii) 상기 조영제의 상기 농도 레벨을 조정할 필요성 중 적어도 하나를 결정하는 것을 더 포함하는, 방법.
제70항에 있어서, 상기 결정하는 것은 상기 결정하는 것과 관련된 하나 이상의 경고들을 상기 검사를 실행하는 임상의에게 발행하는 것을 더 포함하는, 방법.
제45항 내지 제71항 중 어느 한 항에 있어서, 상기 캡처하는 것은, RGB(적색-녹색-청색), 단색, 자외선(UV), 근적외선(NIR), 및 단파 적외선(SWIR) 스펙트럼 데이터 중 적어도 하나를 검출하도록 구성된 적어도 하나의 이미지화 디바이스를 사용하는 것을 포함하는, 방법.
제72항에 있어서, 상기 적어도 하나의 이미지화 디바이스는: 상보형 금속-산화물-반도체(CMOS), 전하-결합 디바이스(CCD), 인듐 갈륨 비소 화합물(InGaAs), 및 편광-감응 센서 소자로 이루어진 그룹으로부터 선택된 디지털 이미지화 센서를 포함하는, 방법.
컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 프로그램 코드가 구현된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하고, 상기 프로그램 코드는 제45항 내지 제73항 중 어느 한 항의 방법을 실행하도록 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 컴퓨터 프로그램 제품.
있는 그대로의 신체 조직의 자동화된 이미지 캡처를 위한 시스템으로서,
적어도 하나의 하드웨어 프로세서;
프로그램 명령들이 저장된 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 상기 프로그램 명령들은 제45항 내지 제73항 중 어느 한 항의 방법을 실행하도록 상기 적어도 하나의 하드웨어 프로세서에 의해 실행가능한, 시스템.