KR102561360B1 - 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 - Google Patents

보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 Download PDF

Info

Publication number
KR102561360B1
KR102561360B1 KR1020210072847A KR20210072847A KR102561360B1 KR 102561360 B1 KR102561360 B1 KR 102561360B1 KR 1020210072847 A KR1020210072847 A KR 1020210072847A KR 20210072847 A KR20210072847 A KR 20210072847A KR 102561360 B1 KR102561360 B1 KR 102561360B1
Authority
KR
South Korea
Prior art keywords
image
core
pixel
pixels
fiberscope
Prior art date
Application number
KR1020210072847A
Other languages
English (en)
Other versions
KR20220164282A (ko
Inventor
신현준
김민경
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210072847A priority Critical patent/KR102561360B1/ko
Publication of KR20220164282A publication Critical patent/KR20220164282A/ko
Application granted granted Critical
Publication of KR102561360B1 publication Critical patent/KR102561360B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/0017—Details of single optical fibres, e.g. material or cladding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

본 출원의 실시예들은 샘플의 적어도 하나의 원시 이미지를 카메라 장치로부터 획득하고, 상기 원시 이미지 내 코어와 클래딩을 분리하기 위해, 상기 원시 이미지를 이진화하며, 이진화 이미지에서 피크 지점을 검출하고, 상기 샘플의 파이버스코프 이미지를 복원하기 위해, 검출된 피크 지점을 기반으로 원시 이미지를 보간하는 파이버스코프 이미지 처리 방법 및 이를 수행하는 파이버스코프 시스템에 관련된다.

Description

보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템{METHOD FOR POSTPROCESSING FIBERSCOPE IMAGE PROCESSING NOT USING CALIBRATION AND FIBERSCOPE SYSTEM PERFORMING THE SAME}
본 출원의 실시예들은 파이버스코프 이미지를 후처리하는 기술에 관한 것으로서, 보다 상세하게는 파이버스코프 이미지를 후처리(post-processing)하는 과정 중 보정(calibration) 과정을 생략한, 파이버스코프 이미지 처리 방법 및 이를 수행하는 파이버스코프 시스템에 관련된다.
파이버스코프(Fiberscopes)라고도 알려진 파이버 번들 내시경은, 컴팩트 한 프로브와 유연성 덕분에 인체 내부 장기 또는 접근하기 어려운 산업용 엔진 및 파이프 내부의 영상 촬영에 적합하여, 의료 진단 및 산업 검사를 포함한 다양한 분야에 활용된다.
파이버스코프에 사용되는 코히어런트 파이버 번들(Coherent fiber bundles)은 클래딩으로 둘러싸인 수만 개의 코어 어셈블리로 구성된다. 이러한 파이버 번들 구조는 파이버스코프의 원시 이미지에 벌집 구조(honeycomb structure)의 인공 패턴을 생성하여 이미지 해상도와 시각화를 제한한다. 이러한 광학적 특성은 결국 이미지 처리에서 노이즈와 같은 장애물로 취급된다.
고해상도 파이버스코프 역시 위의 문제에서 자유롭지 못하다. 고해상도 파이버스코프는 코어 사이의 거리가 좁은 고밀도 코히어런트 파이버 번들로 이루어진다. 이러한 고밀도 파이버 번들은 다양한 크기의 비-원형 코어가 있는 비-균일 코어 클래딩 배열로 구성된다. 이러한 고밀도 광파이버 번들은 밀도가 보다 낮고 코어 간 거리가 더 긴 파이버 번들에 비해 누화(crosstalk) 및 자동 형광이 더 높은 특성을 가진다. 이러한 고해상도 구조 하에서 고밀도 파이버 번들의 누화 및 자동 형광은 매우 국부적으로 발생하며 매우 가변적인 노이즈로 작용하며, 결국 고밀도 광파이버 번들 이미지에서 부분적이고 유동적으로 변화하는 노이즈를 처리하려면 더 복잡한 이미지 처리 작업이 요구된다.
이러한 구조적 문제 하에서 획득되는 파이버스코프 이미지에서 부분적이고 유동적으로 변화하는 노이즈를 처리하기 위해, 가우스 평활 필터(Gaussian smoothing filter)와 스펙트럼 필터를 사용하여 벌집 구조의 패턴을 제거하는 것이 일반적이다.
가우스 평활 필터는 벌집 패턴의 노이즈를 쉽고 빠르게 제거할 수 있지만, 이미지 처리 과정이 증가할수록 이미지 흐림(blur)으로 인한 이미지 다운 샘플링 현상을 더욱 심화시킨다.
스펙트럼 필터 기법은 파이버 번들의 벌집 패턴에 해당하는 고주파 영역만 제거할 수 있으나, 고주파수 영역에 포함된, 비-벌집 패턴의 중요한 광학 정보를 손실시킬 가능성이 있고, 특정 주파수 노이즈에 노출되는 상황 하에서 벌집 구조의 패턴을 정확하게 제거하는데 문제가 있다.
최근에 가우스 평활 필터와 스펙트럼 필터의 문제점을 해결하기 위한 시도로서, 주변 클래딩의 위치에 인접 코어의 세기 정보를 채우는 보간법을 활용하는 시도가 있다.
파이버스코프 이미지의 보간은 파이버 내 코어에 대한 피크 포인트 정보를 사용하여 수행되는데, 이 코어에 대한 피크 포인트 정보는 보정을 통해 획득된다. 때문에, 비특허문헌 1(Wang P, Turcatel G, Arnesano C, Warburton D, Fraser SE, Cutrale F. Fiber pattern removal and image reconstruction method for snapshot mosaic hyperspectral endoscopic images. Biomed Opt Express. 2018 Jan 25;9(2):780-790. doi: 10.1364/BOE.9.000780. PMID: 29552412; PMCID: PMC5854078)과 같은, 파이버스코프 이미지 처리를 위한 종래의 실시예들에서는 벌집 모양의 패턴 구조를 제거하기 위해 이미지 복원(Image reconstruction)과 같은 이미지 보정 기술이 필수적이다.
보정(calibration)은 백색 참조 이미지(white reference image)와 같은 고 대비 이미지를 사용하여 코어 클래딩 분리 및 피크 검출을 수행하는 이미지 전처리 방법으로서, 여기서 백색 참조 이미지는 코어 픽셀을 최대 세기(예컨대, 흰색)으로 표현하고 클래딩 픽셀을 최소 세기(예컨대, 검은색)으로 표현한다. 이상적으로 보정은 이미징(imaging) 전에 한 번만 수행하면 된다. 그러나 대부분의 파이버스코프는 대물 렌즈의 초점면 앞에 파이버 번들을 배치하므로 이미징 중 움직임에 매우 민감하며 이미징 중에 이미지 좌표가 이동할 위험이 항상 있다. 또한, 고밀도 파이버 번들에 대해서는, 실험 조명 조건과 실험 환경이 변경 될 때마다 새로운 보정이 필요하다.
이러한 반복적인 보정의 필요성은 전체 이미지 처리에 부담이 될 수 있으며 고해상도 파이버스코프의 개발을 어렵게 만든다. 특히 생체 내 영상은 보정 영상과는 완전히 다른 상황에서 측정되며, 레이저 광이나 광대역 광원과 같이 사용되는 광원에 따라 다른 자동 형광 및 양식이 발생한다. 더욱이 생체 내 이미징 상황은 미리 예측할 수 없으며 보정에 반영 할 수 없는 한계가 있다.
Wang P et al., "Fiber pattern removal and image reconstruction method for snapshot mosaic hyperspectral endoscopic images", Biomed Opt Express. 2018 Jan 25; 9(2):780-790 K. Minkyung et al., "Development of fiber-based all-optical system for neurovascular coupling mechanism study using optogenetics," in Proc.SPIE, 2020. M. Elter et al., "Physically Motivated Reconstruction of Fiberscopic Images," in 18th International Conference on Pattern Recognition (ICPR'06), 2006), 599-602. N. Otsu, "A Threshold Selection Method from Gray-Level Histograms," IEEE Transactions on Systems, Man, and Cybernetics 9, 62-66 (1979).
본 출원의 실시예들에 따르면, 생채 이미징(in-vivo imaging)을 포함한 다양한 이미징 환경에서 얻은 파이버스코프 이미지를 보정없이 성공적으로 보간하는 파이버스코프 이미지 처리 방법 및 이를 수행하는 파이버스코프 이미지를 제공하고자 한다.
본 출원이 일 측면에 따른 파이버스코프 이미지 처리 방법은 클래딩으로 둘러싸인 다수의 코어로 구성된 파이버 번들을 포함한 파이버스코프 시스템에 의해 수행된다. 상기 파이버스코프 이미지 처리 방법은: 샘플의 적어도 하나의 원시 이미지를 카메라 장치로부터 획득하는 단계 - 상기 원시 이미지는 파이버 번들의 구조로 인한 벌집 패턴이 나타남; 상기 원시 이미지 내 코어와 클래딩을 분리하기 위해, 상기 원시 이미지를 이진화하는 단계; 이진화 이미지에서 세기의 피크 지점을 검출하는 단계; 및 상기 샘플의 파이버스코프 이미지를 복원하기 위해, 검출된 피크 지점의 세기를 기반으로 원시 이미지를 보간하는 단계를 포함할 수도 있다.
일 실시예에서, 상기 원시 이미지를 이진화하는 단계는, 상기 원시 이미지 상의 픽셀이 임계 값 이상의 세기(intensity)를 갖는 경우, 후보 코어 픽셀로 선별하고 상기 후보 코어 픽셀의 세기를 특정 세기로 변환하는 단계; 및 상기 원시 이미지에서 선별되지 않은 픽셀을 클래딩 픽셀로 결정하고 클래딩 픽셀의 세기를 다른 특정 세기로 변환하는 단계;를 포함할 수도 있다.
일 실시예에서, 상기 이진화를 위한 임계 값은 로컬 임계 값으로서, 상기 원시 이미지에서 검출된 피크 지점을 포함한 로컬 윈도우 내의 픽셀들의 세기들에 기초하여 계산된 것일 수도 있다.
일 실시예에서, 상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 최대 그레이 레벨 값과 최소 그레이 레벨 값, 후보 코어 픽셀의 위치에서의 대비 값(contrast value), 및 사용자에 의해 미리 설정된 대비 임계 값(contrast threshold value)에 기초하여 계산된 것일 수도 있다.
일 실시예에서, 상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 로컬 분산에 기초하여 계산된 것일 수도 있다.
일 실시예에서, 상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 로컬 평균에 기초하여 계산된 것일 수도 있다.
일 실시예에서, 상기 피크 지점은 상기 후보 코어 픽셀에서 검출되며, 상기 파이버스코프 이미지에서 코어 픽셀은 피크 지점이 검출된 픽셀일 수도 있다.
일 실시예에서, 상기 보간하는 단계는, 상기 피크 지점이 검출된 코어 픽셀의 주변 클래딩 픽셀에 인접한 해당 코어의 세기를 할당하는 것일 수도 있다.
일 실시예에서, 상기 파이버스코프 이미지 처리 방법은: 이진화 이전에, 상기 원시 이미지에서 카메라의 노이즈를 제거하는 단계를 더 포함할 수도 있다.
일 실시예에서, 상기 파이버스코프 이미지 처리 방법은: 다수의 원시 이미지가 획득된 경우, 미리 설정된 기준에 따라 다수의 원시 이미지 중에서 적어도 하나의 원시 이미지를 참조 이미지로서 선별하는 단계를 더 포함할 수도 있다. 상기 참조 이미지만을 이진화하고 이진화된 참조 이미지에서 피크 지점이 검출된다.
일 실시예에서, 상기 보간하는 단계는, 피크 지점이 검출된 코어 픽셀의 주변에 분포한 상기 참조 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기를 할당하고, 그리고 상기 참조 이미지로 선별되지 않은 나머지 원시 이미지 각각에서 상기 참조 이미지의 코어 픽셀에 대응하는 위치의 주변에 분포한 각 원시 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기를 할당할 수도 있다.
일 실시예에서, 상기 참조 이미지가 둘 이상의 원시 이미지일 경우, 할당되는 코어 픽셀의 세기는 각 참조 이미지의 보간을 위해 사용된 코어 픽셀의 세기의 대표 값일 수도 있다.
본 출원의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 상술한 실시예들에 따른 파이버스코프 이미지 처리 방법을 수행하기 위한, 프로그램을 기록한다.
본 출원의 또 다른 일 측면에 따른 파이버스코프 시스템은: 클래딩으로 둘러싸인 다수의 코어로 구성된 파이버 번들을 포함한 프로브; 상기 파이버 번들에 포함된 파이버의 빛이 동시에 입사되도록 구성된 대물 렌즈; 서로 다른 색상 필드의 형광 이미지를 획득하기 위한 듀얼 컬러 형광 이미징 시스템; 상기 듀얼 컬러 형광 시스템과 파이버 번들을 공유하는 레이저 광 자극 시스템; 및 샘플의 원시 이미지 데이터를 생성하는 카메라 장치 - 상기 원시 이미지는 파이버 번들의 구조로 인한 벌집 패턴이 나타남; 및 상기 샘플의 적어도 하나의 원시 이미지를 카메라 장치로부터 획득하고, 상기 원시 이미지 내 코어와 클래딩을 분리하기 위해, 상기 원시 이미지를 이진화하며, 이진화 이미지에서 피크 지점을 검출하고, 상기 샘플의 파이버스코프 이미지를 복원하기 위해, 검출된 피크 지점을 기반으로 원시 이미지를 보간하도록 구성된 컴퓨팅 장치를 포함할 수도 있다.
본 출원의 일 측면에 따른 파이버스코프 시스템은 보정없이 실제 얻어진 샘플의 원시 이미지만 사용하여 코어와 클래딩을 정확하게 분리한 샘플 이미지를 복원할 수 있다.
또한, 파이버스코프 시스템은 동영상을 이루는 다수의 영상 프레임들과 같은 원시 이미지 세트에 대해서도 세트 내 대부분의 원시 이미지를 보정 없이 정확하게 코어와 클래딩을 분리할 수 있다.
그 결과, 상기 파이버스코프 시스템은 원시 이미지를 정확하고 신속하게 처리할 수 있다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 실시예에 따른, 파이버스코프 시스템 개략도이다.
도 2a는, 일 실시예에 따른, 파이버 번들을 포함한 프로브의 촬영도이다.
도 2b는, 도 2a의 파이버 번들 부분을 확대도시한 것이다.
도 3은, 일 실시예에 따른, 파이버 번들을 통해 획득되는 원시 이미지의 개략도이다.
도 4a 내지 도 4c는, 일 실시예에 따른, 컴퓨팅 장치(50)에 의해 수행되는, 파이버스코프 이미지 처리 동작의 개략도이다.
도 5는, 본 출원의 다른 일 측면에 따른, 파이버스코프 이미지 처리 방법의 흐름도이다.
도 6은, 일 실시예에 따른, 듀얼 컬러 형광 시스템에 의해 획득된 원시 이미지를 도시한다.
도 7은, 일 실시예에 따른, 로컬 회색 범위(local gray range)를 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 8은, 일 실시예에 따른, 로컬 분산을 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 9는, 일 실시예에 따른, 로컬 평균을 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 10은, 본 출원의 또 다른 일 측면에 따른, 파이버스코프 이미지 처리 방법의 흐름도이다.
도 11은, 제1 실험예에 따른, 각각의 케이스별 시뮬레이션된 이미지를 도시한다.
도 12a 및 도 12b는, 도 11의 케이스별 시뮬레이션된 이미지를 사용한 이진화에 대한 임계 값 평가를 도시한다.
도 13은, 제2 실험예에 따른, 샘플의 원시 이미지이다.
도 14a는, 도 13의 원시 이미지를 보정을 통한 사후 이미지 처리한 결과이다.
도 14b는, 도 13의 원시 이미지를 보정 없이 사후 이미지 처리한 결과이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
실시예들에 따른 시스템은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치 또는 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.
도 1은, 본 출원의 일 실시예에 따른, 파이버스코프 시스템 개략도이다.
도 1을 참조하면, 상기 파이버스코프 시스템(1)은 a) 프로브; b) 듀얼 컬러 형광 이미징 시스템(dual-color fluorescence imaging system) ; 및 c) 듀얼 컬러 형광 이미징 시스템과 파이버 번들(10)을 공유하는 레이저 광 자극 시스템(laser light stimulation system);을 포함한다.
특정 실시예들에서, 상기 파이버스코프 시스템(1)은 파이버 번들(10)을 포함한 프로브; 대물 렌즈(21); 색선별 미러(dichroic mirror)(22), 편광빔 스플리터(Polarizing Beam Splitter, PBS, 23); 렌즈(25); 듀얼 컬러 세퍼레이터(dual-color separator, 27); 카메라 장치(29); 및 /또는 컴퓨팅 장치(50)를 포함한다.
또한, 상기 파이버스코프 시스템(1)은 제1 광원(31); 미러(32); 및/또는 렌즈(33, 35)를 포함한다.
또한, 상기 파이버스코프 시스템(1)은 제2 광원의 쌍(제2-1 광원41 및 제2-2 광원42), 미러(44), 색선별 미러(46); 렌즈(47, 49); 및/또는 프로젝션 장치(48)를 포함할 수도 있다.
상기 미러(32, 44, 46), 렌즈(33, 35, 47, 49)는 파이버스코프 시스템(1)의 배율 및 초점을 조절한다.
상기 파이버스코프 시스템(1)은 파이버 번들(10)을 통해 샘플로 광을 조사하거나 샘플의 반사광을 획득한다. 대물 렌즈(21)는 파이버 번들(10)에 포함된 파이버의 빛이 동시에 입사되는 배율을 가진다. 상기 대물 렌즈(21)의 배율은 20배일 수도 있으나, 이에 제한되진 않는다.
상기 파이버스코프 시스템(1)에서 레이저 광 자극 시스템은 제1 광원(31)으로부터 샘플로 자극 광을 방출한다. 상기 제1 광원(31)은 샘플의 광채널을 자극하기 충분한 세기의 출력을 가지는 레이저, 형광등, LD, LED 등으로 구현될 수도 있다.
상기 파이버스코프 시스템(1)에서 듀얼 컬러 형광 이미지 시스템은: 형광 이미지 획득을 위한 관찰 광이 진행하는 경로이다.
제2 광원의 쌍은 서로 다른 색상의 파장 대역을 방출하도록 구성된다. 일 실시예에서, 제2-1 광원(41)은 녹색 파장 대역의 빛을 방출하고 제2-2 광원(42)은 적색 파장 대역의 빛을 방출하도록 구성될 수도 있다. 예를 들어, 제2-1 광원(41)은 대략 470nm의 파장의 레이저를 방출하고 제2-2 광원(42)은 대략 530nm의 파장의 레이저를 방출할 수도 있다.
프로젝션 장치(48)는 크리스탈의 배열 위치에 따라 빛을 선택적으로 반사 또는 투과시켜 홀로그램 형태의 패턴 이미지 전송이 가능한 공간 광 변조 장치(Spatial light modulator; SLM)일 수 있다. 다만, 이에 한정되지는 않으며, 상기 프로젝션 장치(48)는 DMD(Digital micromirror device)와 같이 패턴화된 광을 형성할 수 있는 전자기기로 구현될 수도 있다.
도 2a는, 일 실시예에 따른, 파이버 번들을 포함한 프로브의 촬영도이고, 도 2b는, 도 2a의 파이버 번들 부분을 확대도시한 것이다.
도 2b에 도시된 바와 같이, 본 실시예에 따른 프로브는 원통형의 몸체(11)와, 상기 몸체(11) 안에 복수의 파이버(13)로 이루어진 파이버 번들(10)을 포함한다. 파이버 번들(10)은 프로브의 전단부에 포함된다.
파이버 번들(10)은 다수의 파이버(13)(예컨대, 수만 가닥의 파이버(13))를 포함할 수 있고, 각각의 파이버(13)의 직경은 수 마이크로미터로 하나의 신경 세포에 비해 크기가 작다.
프로브의 몸체(11)는 후단으로 갈수록 직경이 커진다. 도 2a에 도시된 바와 같이, 프로브는 전단으로 갈수록 뾰족해지는 니들(needle) 형태를 가진다. 따라서, 샘플의 내부로 삽입될 경우, 샘플의 손상을 최소화할 수 있다.
또한, 프로브의 몸체(11)는 유연하게 구부러질 수 있는 재질로 이루어질 수도 있다. 그러면, 내시경 장비 등으로 적절히 이용될 수 있다.
파이버 번들(10)의 후단부에는 대물 렌즈(21)가 결합되어 있으며, 레이저 광 자극 시스템의 제1 광원(31); 또는 듀얼 컬러 형광 이미지 시스템의 제2 광원의 쌍(41, 42)으로부터 대물 렌즈(21)를 통해 파이버 번들(10)의 후단부와 정렬되는 광 경로가 형성된다.
상기 파이버스코프 시스템(1)의 원리는 비특허문헌 2 (K. Minkyung and S. Hyun-joon, "Development of fiber-based all-optical system for neurovascular coupling mechanism study using optogenetics," in Proc.SPIE, 2020)에 의해 공개되었는 바, 자세한 설명은 생략한다.
카메라 장치(29)는 파이버스코프 시스템(1)에서 샘플의 반사 광을 수집한다. 상기 카메라 장치(29)는 수집된 샘플의 반사 광에 기초하여 샘플의 원시 이미지 데이터를 생성한다. 상기 카메라 장치(29)는 CCD(Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor)와 같은 이미지 센서를 포함할 수도 있다.
카메라 장치(29)는 샘플의 원시 이미지 데이터를 컴퓨팅 장치(50)로 공급한다. 상기 샘플의 원시 이미지는 듀얼 형광 이미지를 포함한다. 상기 카메라 장치(29)는 수집된 샘플의 반사 광이 형광 신호일 경우, 형광 이미지를 생성할 수도 있다. 상기 제2 광원의 쌍(41, 42)가 녹색/적색 광을 방출할 경우, 상기 샘플의 원시 이미지는 녹색 필드/적색 필드 이미지일 수도 있다.
도 3은, 일 실시예에 따른, 파이버 번들을 통해 획득되는 원시 이미지의 개략도이다.
도 3을 참조하면, 복수의 파이버(13)로 이루어진 파이버 번들(10)의 전단을 물체에 접촉시키면, (해당 물체가 발광하는 경우) 후단을 통해 해당 물체에서 발광하는 빛이 출력되고, 출력되는 빛을 카메라 장치로 수집하여 물체의 표면의 이미지를 획득한다. 파이버 번들의 구조적 특성에 의해, 벌집 구조의 패턴이 나타난 원시 이미지가 획득된다. 카메라 장치(29)는 벌집 구조의 패턴이 나타난 원시 이미지를 컴퓨팅 장치(50)로 공급한다.
컴퓨팅 장치(50)는 하나 이상의 프로세서를 포함한 장치로서, 이미지 처리 동작을 수행하도록 구성된다.
상기 컴퓨팅 장치(50)는 샘플의 파이버스코프 이미지가 획득되면, 상기 파이버스코프 이미지를 처리할 수도 있다.
도 4a 내지 도 4c는, 일 실시예에 따른, 컴퓨팅 장치(50)에 의해 수행되는, 파이버스코프 이미지 처리 동작의 개략도이다.
도 4a를 참조하면, 상기 컴퓨팅 장치(50)는 이미지를 이진화할 수도 있다. 이진화는 디지털 이미지의 픽셀 값을 서로 다른 색상(예컨대, 흰색과 검은색)의 두 그룹으로 분리하는 이미지 처리 과정이다. 컴퓨팅 장치(50)는 파이버스코프 이미지에서 코어와 클래딩을 분리하기 위해 파이버스코프 이미지를 이진화할 수도 있다. 이진화에 대해서는 아래의 도 7 내지 도 9를 참조하여 보다 상세하게 서술한다.
도 4b를 참조하면, 상기 컴퓨팅 장치(50)는 이미지에서 특정 객체 부분에 대응하는 영역의 피크 지점을 검출할 수도 있다. 특정 실시예들에서, 상기 컴퓨팅 장치(50)는 파이버 번들(10)의 코어들에 대한 피크 지점들을 검출할 수도 있다.
또한, 도 4c를 참조하면, 상기 컴퓨팅 장치(50)는 이미지를 보간할 수도 있다. 상기 컴퓨팅 장치(50)는 코어 픽셀 주변의 클래딩 영역을 보간하여 파이버스코프 이미지를 복원할 수도 있다. 보간에 의해 주변 클래딩의 위치에 인접한 코어의 세기가 실제 클래딩 세기 대신 할당된다.
또한, 상기 컴퓨팅 장치(50)는 카메라 장치(29)의 카메라 노이즈를 제거하도록 더 구성될 수도 있다. 상기 카메라 노이즈의 제거 과정은 전술한 도 4를 참조한 이미지 처리 과정에 대한 전처리 과정에 해당한다. 즉, 전술한 이진화 등은 이미지 후처리 과정에 해당한다.
이러한 컴퓨팅 장치(50)의 이미지 전처리/후처리 과정에 대해서는 아래의 도 5 등을 참조하여 보다 상세하게 서술한다.
또한, 상기 컴퓨팅 장치(50)는 시퀀스를 구현하기 위한 다수의 원시 이미지를 카메라 장치(29)로부터 획득하고, 다수의 원시 이미지 각각을 보정 없이 처리할 수도 있다. 상기 카메라 장치(29)가 샘플에 대한 동영상 데이터를 생성하고 컴퓨팅 장치(50)로 공급한 경우, 상기 컴퓨팅 장치(50)는 동영상 프레임의 이미지를 처리하여, 벌집 패턴이 제거된 선명한 동영상을 제공한다. 이에 대해서는 아래의 도 10을 참조하여 보다 상세하게 서술한다.
상기 컴퓨팅 장치(50)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 컴퓨팅 장치(50)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 파이버스코프 이미지 처리 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행될 수도 있다. 특정 실시예들에서, 상기 파이버스코프 이미지 처리 방법은 도 1의 파이버스코프 시스템의 적어도 일부 구성요소(예컨대, 컴퓨팅 장치(50))에 의해 수행될 수도 있다.
도 5는, 본 출원의 다른 일 측면에 따른, 파이버스코프 이미지 처리 방법의 흐름도이다.
도 5를 참조하면, 상기 파이버스코프 이미지 처리 방법(이하, "이미지 처리 방법")은: 샘플의 적어도 하나의 원시 이미지 데이터를 획득하는 단계(S100)를 포함한다. 상기 샘플의 원시 이미지 데이터는 카메라 장치(29)로부터 수신한 원시 이미지 데이터이다. 상기 이미지 데이터는 도 1의 파이버스코프 시스템에서 듀얼 컬러 형광 시스템에 의해 획득되는 원시 이미지 데이터 또는 레이저 광 자극 시스템에 의해 획득되는 원시 이미지 데이터를 포함한다.
단계(S100)에서 벌집 구조의 패턴을 포함한 원시 이미지가 획득된다.
도 6은, 일 실시예에 따른, 듀얼 컬러 형광 시스템에 의해 획득된 원시 이미지를 도시한다.
도 6을 참조하면, 도 1의 파이버스코프 시스템 내 듀얼 컬러 형광 시스템에 의해 녹색 광/적색 광으로 이루어진 원시 이미지 데이터가 획득된다. 도 6의 녹색광 영역을 확대하면, 원시 이미지 내 벌집 구조의 패턴이 표현된다. 벌집모양의 패턴 구조는 샘플 이미지를 분석하는데 노이즈로 작용한다.
또한, 상기 이미지 처리 방법은: 단계(S100)에서 획득된, 벌집 패턴을 포함한 원시 이미지를 이진화하는 단계(S400)를 포함한다. 단계(S400)에서 이진화는 파이버스코프 이미지에서 코어와 클래딩을 분리하기 위해 수행된다.
일 실시예에서, 원시 이미지는 원시 이미지의 픽셀의 세기에 기초하여 이진화될 수도 있다(S400). 상기 단계(S400)는: 상기 원시 이미지 상의 픽셀이 임계 값 이상의 세기(intensity)를 갖는 경우, 후보 코어 픽셀로 선별하고 후보 코어 픽셀의 세기를 특정 세기로 변환하는 단계; 및 상기 원시 이미지에서 선별되지 않은 픽셀을 클래딩 픽셀로 결정하고 클래딩 픽셀의 세기를 다른 특정 세기로 변환하는 단계를 포함할 수도 있다.
도 6의 부분 확대도와 같이, 파이버스코프 이미지에서 코어 부분은 관심 영역의 세기 정보를 전달하는 경로이기 때문에, 주변 클래딩 보다 밝은 경향을 가진다. 따라서, 코어 픽셀은 보다 높은 세기를 가지고, 클래딩 픽셀은 보다 낮은 세기를 가진다.
이러한 경향에 기초할 때, 임계 값 보다 높은 세기를 갖는 픽셀은 코어 픽셀일 가능성이 높은 후보 픽셀일 수도 있다. 특히, 임계 값을 적절하게 설정하면, 코어 픽셀만 선별할 수도 있다. 선별되지 않은 픽셀은 클래딩 픽셀로 취급되어 필터링될 수도 있다.
임계 값 T(x,y)를 사용한 이진화는 다음의 수학식을 통해 진행된다.
여기서 B (x, y)는 이진 영상이고 I(x, y) ∈ [0,1]은 영상 I의 위치(x, y)에 있는 픽셀의 세기이다. 원시 이미지에서 임계 값 이상의 세기 값을 갖는 픽셀과 임계 값 미만의 세기 값을 갖는 픽셀이 분류된다.
그러면, 선별된 후보 코어 픽셀의 세기는 특정 값(예컨대, 세기 1)으로 변환되고, 필터링된 클래딩 픽셀의 세기는 다른 특정 값(예컨대, 세기 0)으로 변환된다.
일 실시예에서, 컴퓨팅 장치(50)는 미리 설정된 로컬 임계 값으로 원시 이미지를 이진화하여, 원시 이미지에서 코어 부분과 클래딩 부분을 분리한다. 로컬 임계 값은 상기 원시 이미지에서 검출된 피크 지점을 포함한 로컬 윈도우 내의 픽셀들의 세기들에 기초하여 계산된 것이다. 다수의 피크 지점이 검출될 경우, 서로 다른 임계 값이 각 피크 지점을 포함한 로컬 윈도우 영역별로 사용될 수도 있다.
로컬 임계 값의 산출 과정에 대해서는 아래의 도 7 내지 도 9를 참조하여 보다 상세하게 서술한다.
상기 이미지 처리 방법은: 단계(S400)의 이진화 이미지에서 피크 지점을 검출하는 단계(S500)를 포함한다. 상기 피크 지점은 상기 이진화 이미지 영역에서 피크 세기를 갖는 지점이다.
전체 파이버스코프 이미지 픽셀에 대한 임계 값 T(x,y)을 사용하여 수학식 1을 통해 이진화 동작이 수행되면(S400), 파이버 스코프 이미지에서 세기 1의 픽셀은 후보 코어 픽셀로 간주되고 세기 0의 픽셀은 각각 후보 클래딩 픽셀로 간주된다 (S400). 그러면, 이진화 결과로서 세기 1의 값을 갖는 후보 코어 픽셀에서 파이버 코어의 중심을 찾기 위한 피크 지점(peak points)이 검출된다(S500). 피크 지점이 검출된 후보 코어 픽셀이 복원 이미지에서 코어 픽셀로 사용된다.
일 실시예에서, 상기 이진화 이미지에서 피크를 검출하는 단계(S500)는: 피크를 검출하기 이전에, 세기 1의 값을 갖는 후보 코어 픽셀로 이루어진 이진 마스크를 생성하는 단계; 및 이진 마스크로 선택된 픽셀에서 피크 지점을 검출하는 단계를 포함할 수도 있다.
피크 지점은 비특허문헌 3 (M. Elter, S. Rupp, and C. Winter, "Physically Motivated Reconstruction of Fiberscopic Images," in 18th International Conference on Pattern Recognition (ICPR'06), 2006), 599-602.)을 기반으로 한 피크 검출 알고리즘을 사용하여 획득될 수도 있다.
코어 픽셀은 중심으로부터의 거리 r에 따라 광섬유의 빔 프로파일에 따라 가우시안 분포를 따르고, 클래딩 픽셀은 피크 세기를 통해 세기 레벨을 조정하여 코어 픽셀에서 계산 된 빛 확산을 표현한다.
일 실시예에서, 상기 이진 마스크로 선택된 픽셀에서 피크 지점을 검출하는 단계는: 이진 마스크로 선택된 픽셀 중에서 2차원 가우시안 분포를 따르는 픽셀을 선택하는 단계; 선택된, 2차원 가우시안 분포를 따르는 픽셀별 점수를 계산하는 단계; 및 픽셀별 점수를 통해 코어 중심에 해당하는 피크 지점을 검출하는 단계를 포함할 수도 있다.
이진 마스크로 선택된 픽셀에 대해서만 가우시안 분포의 값을 계산하여, 2차원 가우시안 분포를 따르는 픽셀별 점수를 통해 코어 중심에 해당하는 피크 지점의 검출이 이루어진다. 상기 픽셀별 점수는 대칭 2D 가우시안이 코어의 위치에 얼마나 잘 맞는지 나타내는 점수로서, 각 후보 코어 지점에 대해 결정된다. 상기 픽셀별 점수를 계산하는데 파이버스코프에 사용된 파이버 번들의 코어 사이즈와 인접한 코어들 간의 거리(core-to-core distance) 등이 고려된다.
후보 코어 중심점의 좌표가 (xc, yc)인 경우, 후보 코어 중심점(Sc)은 다음의 수학식 2를 통해 계산될 수도 있다.
여기서, G(x,y)는 다음의 수학식 3으로 표현 가능하고, N은 다음의 수학식 4로 표현 가능하다.
여기서 r은 후보 코어 중심점 (xc, yc)으로부터 후보 코어 픽셀(x, y)까지의 거리이고 d는 코어 반경을 나타낸다. N은 후보 코어 픽셀 주변의 픽셀 세트이다. G (x, y)는 후보 코어 픽셀 표면에 대한 준 가우시안 표면(quasi-Gaussian surface)으로서, 픽셀 세트 N의 각 후보 코어 픽셀 별 값을 기반으로 계산된 크기 N의 표면이다. a는 각 이미지에 대한 최적화 된 값으로서 a에 대한 값은 다음의 수학식 5 내지 7을 통해 계산된다.
여기서 mid는 이미지의 y 축의 중간 점, j는 중간 선에서 측정 된 피크 수, xj는 측정된 피크의 x 좌표이다.
단계(S500)에서, 특정 세기 값 이상의 피크만이 추출된다. 이어서, 추출된 각 피크 I(xj, mid)에 따른 가우시안 분포가 aj 범위 내에서 수학식 5를 통해 계산되고, 수학식 6에 의해 가장 작은 aj가 선택된다. 이어서, 수학식 7에 의해 각 피크에 대해 계산된 aj의 평균 값을 전체 이미지에 적용한다. 그 후, B(xy,)는 1의 값을 갖는 모든 후보 코어 픽셀 중 가장 높은 후보 코어 중심 점수 Sc 순서로 피크 지점 C(x, y)에 배치된다. 이전에 배치 된 후보 코어 픽셀의 좌표가 (xm,ym)이면, 수학식 8을 만족하는 후보 코어 픽셀이 순서대로 배열된다.
여기서 D는 서로 인접한 코어 대 코어 거리이다.
후보 코어 중심이 이미 배치된 모든 코어 중심(xm,ym)으로부터 단일 코어 직경의 최소 거리 보다 먼 경우에만 가장 높은 순위의 후보 코어 중심으로부터 시작하여 각 후보 코어 중심(xc,yc)을 중심 플롯에 배치한다. 즉, 수학식 8을 만족하는 후보 코어 중심이 코어 중심으로 선택되고, 이 코어 중심에 해당하는 피크 지점이 검출된다. 그러면, 도 4b에 도시된 피크 이미지가 획득된다.
또한, 상기 이미지 처리 방법은 검출된 피크 지점을 기반으로 원시 이미지를 보간하는 단계(S600)를 포함한다. 단계(S500)에서 피크 지점이 검출된 코어 픽셀의 주변에 분포한 클래딩 픽셀에 대해서, 인접한 해당 코어 픽셀의 세기를 할당하여 상기 클래딩 픽셀의 세기 정보를 채운다. 그러면, 이전 단계(S400 및 S500)에서 후보 코어 픽셀로 선별되지 않은 클래딩 영역의 세기 정보가 보간된다.
구체적으로, 피크 검출 단계에서 얻은 피크 지점 맵 C(x, y)를 기반으로 선형 보간 기법을 사용하여 파이버스코프 이미지를 복원한다. 예를 들어, 상기 컴퓨팅 장치(50)에 설치된 MATLAB 프로그램의 scatteredInterpolant 함수를 선형 보간 기법으로 사용할 수도 있다.
이러한 보간이 완료되면, 샘플의 원시 이미지를 복원한 파이버스코프 이미지가 획득된다. 복원된 샘플의 파이버스코프 이미지에서 파이버 번들의 벌집 패턴은 보간을 통해 제거되고 도 4c와 같이 가시성이 향상된 파이버스코프 이미지가 획득된다.
특정 실시예들에서, 상기 이미지 처리 방법은: 카메라 노이즈를 제거하는 단계(S200)를 더 포함할 수도 있다. 카메라 노이즈는 이진화 단계(S400) 이전에 수행되는 전처리 동작이다.
원시 이미지 데이터를 수신한 상기 컴퓨팅 장치(50)는 원시 이미지 픽셀 중에서 카메라 장치(29)의 노이즈로 취급되는 특성을 갖는 픽셀을 선택적으로 사전 제거한다. 상기 노이즈로 취급되는 특성은 세기 특성을 포함할 수도 있다. 그러면, 컴퓨팅 장치(50)는 카메라 장치(29)의 노이즈로 간주되는 것으로 미리 설정된 세기 특성을 갖는 원시 이미지 내 픽셀을 제거할 수도 있다(S200).
일 실시예에서, 미리 설정된 세기 특성은, 상기 카메라 장치(29)가 CCD 카메라일 경우, 전체 대상 이미지의 평균 세기 보다 4배 높은 세기를 갖는 지 여부를 포함할 수도 있다. 원시 이미지의 전체 프레임에서 특정 픽셀이 원시 이미지의 전체 픽셀의 평균 세기 보다 4배 높은 세기를 가지면, 해당 픽셀은 제거될 수도 있다. 그렇지 않으면, 해당 픽셀은 제거되지 않는다.
일 실시예들에서, 상기 컴퓨팅 장치(50)는 픽셀이 상기 미리 설정된 세기 특성을 가질 경우, 2디 필터를 사용하여 해당 픽셀을 제거할 수도 있다. 일부 실시예들에서, 상기 컴퓨팅 장치(50)는 전체 이미지의 평균 세기의 최소 4 배의 세기를 가진 픽셀을 3x3 2D 중앙값 필터를 사용하여 선택적으로 픽셀을 제거할 수도 있다.
특정 실시예들에서, 상기 이미지 처리 방법은: 이진화를 위한 적절한 임계 값T(x,y)을 결정하는 단계(S400)를 더 포함할 수도 있다.
이진화를 위한 임계 값은 원시 이미지를 이루는 전체 픽셀에 기초한 글로벌 임계 값과 원하는 지역의 픽셀에 기초한 로컬 임계 값으로 분류된다.
단계(S100)에서 획득되는 샘플의 원시 이미지는 문서 이미지와 같이 배경과 전경의 균일한 대비 분포(contrast distribution)가 있는 이미지가 아니다. 상기 샘플의 원시 이미지는 배경 노이즈가 높거나 다양한 대비 및 조명을 갖기 때문에, 전경 또는 배경으로 쉽게 분류할 수 없는 픽셀들을 많이 포함하고 있다. 이러한 원시 이미지의 특성을 고려할 때, 이진화를 위한 임계 값은 로컬 임계 값이 적절하다.
특정 실시예들에서, 로컬 임계 값으로서 임계 값 T(x, y)은 크기 w × w 의 로컬 윈도우 내에서 인접 픽셀의 범위(range), 분산 또는 표면 적합 매개 변수(surface-fitting parameters)와 같은 로컬 통계 요소를 기반으로 로컬 윈도우에 위치한 각 픽셀에 대해서 계산된다.
도 7은, 일 실시예에 따른, 로컬 회색 범위(local gray range)를 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 7을 참조하면, 상기 이진화를 위한 임계 값은 로컬 회색 범위(local gray range)를 통해 계산될 수도 있다. 상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치(x,y)를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 최대 그레이 레벨 값과 최소 그레이 레벨 값, 후보 코어 픽셀의 위치(x,y)에서의 대비 값(contrast value), 및 사용자에 의해 미리 설정된 대비 임계 값(contrast threshold value)에 기초하여 계산된다.
예를 들어, 위치(x,y)에서의 로컬 임계 값 T (x, y)는 로컬 임계 값 T(x, y)은 원시 이미지 상의 후보 코어 픽셀의 위치(x,y)를 중심으로 형성된 크기 w × w 의 로컬 윈도우 내에서 다음의 수학식에 의해 계산된다.
여기서, maxw, minx는 위치(x,y)를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 최대 그레이 레벨 값과 최소 그레이 레벨 값을 각각 나타낸다. 아래 첨자의 w는 윈도우 인덱스를 나타낸다.
Cw는 후보 코어 픽셀의 위치(x,y)에서의 대비 값(contrast value)이고, Tc는 대비 임계 값(contrast threshold value) 이다. Tc는 사용자에 의해 미리 설정되는, 하이퍼파라미터(hyperparameter)이다.
샘플의 원시 이미지의 후보 코어 픽셀의 위치(x,y)에 대해서 로컬 윈도우를 형성하고, 계산된 Cw를 미리 설정된 Tc와 비교해 로컬 임계 값 T(x,y)을 계산한다.
도 8은, 일 실시예에 따른, 로컬 분산을 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 8을 참조하면, 상기 이진화를 위한 임계 값은 로컬 분산(local variance)을 사용하여 계산될 수도 있다. 로컬 임계 값 T (x, y)는 윈도우 크기 w × w 내에서 로컬 평균 m(x, y) 및 로컬 표준 편차 δ(x, y)를 기반으로 계산된다.
예를 들어, 로컬 임계 값 T(x, y)은 원시 이미지 상의 후보 코어 픽셀의 위치(x,y)를 중심으로 형성된 크기 w × w 의 윈도우 영역 내에서 다음의 수학식에 의해 계산될 수도 있다.
여기서, k는 시스템(1)의 바이어스 값이고, w는 윈도우 인덱스이다.
도 9는, 일 실시예에 따른, 로컬 평균을 통해 계산된 임계 값을 사용한 이진화 과정의 흐름도이다.
도 9를 참조하면, 상기 이진화를 위한 임계 값은 로컬 평균을 사용하여 계산될 수도 있다. 로컬 임계 값 T(x, y)는 원시 이미지에서 위치(x,y)를 중심으로 형성된 크기 w × w 로컬 윈도우 영역 내의 로컬 평균 m(x, y)를 기반으로 계산된다.
예를 들어, 위치(x, y)에서 로컬 임계 값 T(x, y)는 크기 w × w 의 윈도우 내에서 다음의 수학식에 의해 계산될 수도 있다.
여기서, k는 시스템(1)의 바이어스 값이다.
상기 윈도우의 크기는 통계적 결과에 의해 결정될 수도 있다. 예를 들어, w=7의 픽셀 사이즈로 이루어진 윈도우가 사용될 수도 있다.
이러한 이미지 처리 방법 및 이를 수행하기 위한 파이버스코프 시스템(1)은 사전 보정을 활용하는 종래의 실시예들에 비해 코어 피크 검출 구현의 복잡성을 크게 감소시키면서 전체 처리 시간을 효과적으로 단축시킨다.
구체적으로, 벌집 패턴의 노이즈를 제거하기 위해, 샘플 이미지를 보정하기 위한 종래의 이미지 처리는 실험 전 사전에 촬영된 고대비 이미지인 백색 참조 이미지(White reference image)를 사용하여 샘플 이미지를 전처리하고, 이 과정에서 얻어진 파이버 코어 좌표를 사용하여 실험 이미지(즉, 대상 이미지)를 보간 처리하였다.
반면, 본 출원의 실시예들에 따르면, 보정없이 실제 얻어진 샘플의 원시 이미지만 사용하여 코어와 클래딩을 정확하게 분리한 샘플 이미지를 복원할 수 있다.
본 출원의 또 다른 일 측면에 따르면, 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 파이버스코프 이미지 처리 방법은 시퀀스를 구현하기 위한 다수의 프레임의 이미지를 처리할 수도 있다.
도 10은, 본 출원의 또 다른 일 측면에 따른, 파이버스코프 이미지 처리 방법의 흐름도이다.
도 10의 파이버스코프 이미지 처리 방법의 단계들은 도 5의 파이버스코프 이미지 처리 방법의 단계들과 유사하므로, 차이점을 위주로 서술한다.
상기 파이버스코프 이미지 처리 방법은: 샘플에 대한 다수의 원시 이미지를 획득하는 단계(S1100)를 포함한다. 여기서, 상기 다수의 원시 이미지는 시퀀스 이미지로서, 예를 들어 비디오의 프레임일 수도 있다. 상기 다수의 원시 이미지는 파이버스코프 시스템(1)(예컨대, 대물 렌즈(21))으로부터 샘플로의 뷰(view)가 동일한 환경에서 획득된 이미지이다.
상기 이미지 처리 방법은: 미리 설정된 기준에 따라 다수의 원시 이미지 중에서 적어도 하나의 원시 이미지를 참조 이미지로서 선별하는 단계(S1300)를 포함한다. 선별된 참조 이미지는 선별되지 않은 나머지 원시 이미지의 보간을 위해 활용되는 이미지로서, 이진화 대상이다.
일 실시예에서, 상기 미리 설정된 기준은 프레임 번호일 수도 있다. 상기 프레임 번호의 기준을 충족하는 프레임은 특정 단일 번호를 갖는 프레임(예를 들어, 가장 처음의 프레임) 또는 특정 범위 내 번호들을 갖는 프레임들(예를 들어, 첫번째 내지 n번째 프레임)일 수도 있다.
상기 이미지 처리 방법은: 선별된 원시 이미지 각각에 대해서 이진화하는 단계(S1400); 피크 지점을 검출하는 단계(S1500); 및 보간하는 단계(S1600)를 포함할 수도 있다. 이들 단계(S1400, S1500, S1600)는 도 5의 단계(S400, S500, S600)의 동작과 유사하므로, 자세한 설명은 생략한다.
상기 도 10의 이미지 처리 방법에서, 선별되지 않은 나머지 원시 이미지는 참조 이미지의 보간을 위해 할당된 코어 픽셀의 세기를 사용하여 보간된다.
전술한 단계(S600)를 참조하면, 선별된 참조 이미지에서 피크 지점이 검출되고(S1500), 피크 지점이 검출된 코어 픽셀의 주변에 분포한 상기 참조 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기가 할당된다.
다수의 원시 이미지 모두에 대해서 파이버스코프 시스템(1)으로부터 샘플로의 뷰가 동일하기 때문에, 각 원시 이미지에 나타난 벌집 패턴 구조의 개별 벌집, 즉 코어/클래딩의 상대적 위치는 동일하다. 때문에, 참조 이미지에서 검출된 피크 지점의 위치에 대응하는 나머지 원시 이미지 각각의 위치는 별도의 피크 검출 없이 피크 지점으로 간주 가능하다.
선별되지 않은 나머지 원시 이미지 각각에서 상기 참조 이미지의 코어 픽셀에 대응하는 위치의 주변에 분포한 각 원시 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기가 할당된다. 즉, 나머지 원시 이미지의 클래딩 영역은 참조 이미지의 코어 픽셀의 세기로 보간된다(S1600).
일 예시에서, 참조 이미지가 단일 원시 이미지일 경우, 이미 보간된 단일 참조 이미지 상의 코어 픽셀에 대응하는 위치 주변에 분포한 나머지 원시 이미지의 클래딩 픽셀에는 상기 단일 참조 이미지의 상기 코어 픽셀의 세기가 할당될 수도 있다.
다른 일 예시에서, 단계(S13000)에서 일부 원시 이미지(예컨대, 10장)가 선별, 이진화되어 보간된 경우, 이미 보간된 다수의 참조 이미지 상의 코어 픽셀에 대응하는 위치 주변에 분포한 나머지 원시 이미지의 클래딩 픽셀에는 상기 보간된 다수의 참조 이미지의 코어 픽셀의 세기들의 대표 값이 할당될 수도 있다. 여기서, 할당되는 대표 값은 다수의 참조 이미지의 코어 픽셀의 세기들의 평균 값일 수도 있으나, 이에 제한되진 않으며 최소, 최대, 최빈 값과 같은 다른 대표 값일 수도 있다.
이와 같이 참조 이미지(예컨대, 첫번째 원시 이미지)만을 보간한 결과를 사용해 나머지 원시 이미지를 보간함으로써, 다수의 원시 이미지로부터 다수의 파이버스코프 이미지를 신속하게 복원할 수 있다.
대안적인 실시예들에서, 단계(S100)에서 획득된 다수의 원시 이미지 중 일부가 파이버스코프 시스템(1)(예컨대, 대물 렌즈(21))으로부터 샘플로의 제1 뷰(view)에서 획득된 것이고, 다른 일부는 파이버스코프 시스템(1)(예컨대, 대물 렌즈(21))으로부터 샘플로의 제2 뷰에서 획득된 경우, 참조 이미지는 각 뷰에 대한 서브 그룹의 보간을 위해 각각 선별되어 사용될 수도 있다.
제1 뷰의 원시 이미지에 대해서는 적어도 하나의 제1 참조 이미지가 선별되어 사용될 수도 있다. 상기 제1 참조 이미지는 제1 뷰의 원시 이미지 중에서 선택된다.
제2 뷰의 원시 이미지에 대해서는 적어도 하나의 제2 참조 이미지가 선별되어 사용될 수도 있다. 상기 제2 참조 이미지는 제2 뷰의 원시 이미지 중에서 선택된다.
대안적인 실시예들에서, 상기 파이버스코프 이미지 처리 방법은: 카메라 노이즈를 제거하는 단계(S1200)를 더 포함할 수도 있다. 단계(S1200)는 단계(S200)과 유사하므로, 자세한 설명은 생략한다.
제1 실험예
도 1의 파이버스코프 시스템(1) 및 도 6의 방법의 효과가 명확해지도록, 상기 실험예에서 글로벌 임계 값을 사용한 이미지 처리 결과와 수학식 9 내지 수학식 11에 따른 로컬 임계 값을 사용한 이미지 처리 결과가 비교되었다.
상기 글로벌 임계 값은 비특허문헌 4 (N. Otsu, "A Threshold Selection Method from Gray-Level Histograms," IEEE Transactions on Systems, Man, and Cybernetics 9, 62-66 (1979))에 의해 계산되었다. 비특허문헌 4에 기반하여 흰색 및 검은 색 픽셀의 클래스 내 분산을 최소화하여 임계 값 T (x, y)를 자동으로 선택하였다. 글로벌 임계 값은 전체 이미지에 대한 단일 임계 값으로서 지정된다. 각 픽셀은 변환시 지정된 글로벌 임계 값과 비교된다.
상기 실험예에서 실제 파이버스코프의 원시 이미지와 유사한 시뮬레이션 이미지를 생성하여 각 임계 값이 코어 픽셀만 정확하게 선택할 수 있는지 평가하였다. 코어 픽셀은 중심으로부터의 거리 r에 따라 파이버의 빔 프로파일에 따라 가우시안 분포를 따르고, 클래딩 픽셀은 피크 세기를 통해 세기 레벨을 조정하여 코어 픽셀에서 계산된 빛 확산을 표현한다. 즉, 상기 실험예에서 시뮬레이션 영상은 코어의 세기 레벨뿐만 아니라 클래딩의 세기 레벨도 제어하는 것이 특징이다. 피크 지점 Peak (x, y)에 대한 가우스 분포를 따르는 코어 직경을 갖는 코어 픽셀 C(x, y)의 세기 레벨은 아래의 수학식으로 표현될 수도 있다.
n은 피크 세기의 제곱 행렬 크기이고, 변수 times 은 총 코어 세기의 배수이며, r은 피크 사이의 거리이며 값은 0 <r <코어 직경이다. a는 수학식 5 내지 수학식 7에 의해 계산된 각 이미지에 대한 경험칙 적인 값일 수도 있다 클래딩 값은 지점 Peak (x, y) Х 클래딩 매개 변수의 보간을 통해 지정된다.
도 11은, 제1 실험예에 따른, 각각의 케이스별 시뮬레이션된 이미지를 도시하고, 도 12a 및 도 12b는, 도 11의 케이스별 시뮬레이션된 이미지를 사용한 이진화에 대한 임계 값 평가를 도시한다.
도 11의 케이스별 이미지에서 시뮬레이션된 코어 픽셀은 흰색으로 표시되고, 시뮬레이션된 클래딩 픽셀은 검은 색으로 표시된다. 또한, 각 임계 값에 의해 후보 코어 픽셀로 선택된 픽셀 중 시뮬레이션된 코어 픽셀은 파란색으로 표시되고 시뮬레이션된 클래딩 픽셀은 빨간색으로 표시된다.
도 12a를 참조하면, 글로벌 임계 값을 사용한 케이스에서는 다른 로컬 임계 값에 비해 이진화(즉, 후보 코어 픽셀)로 선택된 클래딩 픽셀 수가 가장 많이 발견된다. 반면, 로컬 임계 값을 사용한 케이스들은 후보 코어 픽셀로 잘못 선택된 클래딩 픽셀의 수가 상대적으로 적으며, 특히 수학식 10 및 수학식 11에 따른 로컬 임계 값을 사용한 케이스들은 시뮬레이션된 코어 픽셀의 수와 거의 일치된 후보 코어 픽셀이 선택된다.
도 12a은 클래딩을 포함한 원시 이미지의 전체 영역에 걸쳐 세기 분포가 균일하지 않고 변화하는 시뮬레이션 테스트 이미지에 대해서 글로벌 임계 값을 사용한 이진화가 높은 왜곡과 손실을 갖는 보관 결과를 야기하는 것이 확인된다.
도 12b은 각 임계 값에 대한 사후 이미지 처리 작업의 평균 런타임을 측정하여 비교한 결과를 도시한다.
도 12b에 도시된 바와 같이, 로컬 임계 값을 사용한 케이스들에서 피크 검출 단계의 처리 시간이 감축된다. 이미지 처리 과정의 전체 시간 중 대부분의 시간이 피크 검출을 위해 사용되므로, 로컬 임계 값을 사용하는 본 출원의 실시예들이 글로벌 임계 값을 사용하는 종래의 실시예들 대비 시간적 자원을 절약하는 것이 확인된다.
제2 실험예
상기 제2 실험예에서는 보정을 통한 사후 이미지 처리 결과와 본 출원의 실시예들에 따른 보정이 불필요한 사후 이미지 처리 결과를 비교하기 위해 진행되었다.
도 13은, 제2 실험예에 따른, 샘플의 원시 이미지이다.
상기 제2 실험예에서, 보정을 통한 사후 이미지 처리는 도 6의 원시 이미지에서 녹색광 부분을 크로핑한 참조 이미지를 사용하여 보정을 통해 이미 얻은 코어 피크 지점들에 보간을 적용하여 수행되었다.
본 출원의 실시예들에 따른 사후 이미지 처리는 도 13의 원시 이미지만을 사용하여 이진화(S400), 피크 검출(S500) 및 보간(S600)을 순차적으로 적용하였다. 여기서, 로컬 임계 값으로서 수학식 10에 의해 계산된 값이 예시적으로 사용되었다.
도 14a는, 도 13의 원시 이미지를 보정을 통한 사후 이미지 처리한 결과이고, 도 14b는, 도 13의 원시 이미지를 보정 없이 사후 이미지 처리한 결과이다.
도 14b의 로컬 임계 값에 기반한 이진화를 사용한 보간 결과가 도 14a의 보정을 사용한 보간 결과 보다 더 선명한 복원 이미지를 생성했음을 시각적으로 확인할 수 있다.
이상에서 설명한 실시예들에 따른 파이버스코프 이미지 처리 방법 및 이를 수행하기 위한 파이버스코프 시스템(1)에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 파이버 번들
11: 몸체
13: 파이버
21: 대물렌즈
22: 색선별 미러
23: 편광빔 스플리터
25: 렌즈
27: 듀얼 컬러 세퍼레이터
29: 카메라 장치
31: 제1 광원
41, 42: 제2 광원
50: 컴퓨팅 장치

Claims (14)

  1. 클래딩으로 둘러싸인 다수의 코어로 구성된 파이버 번들을 포함한 파이버스코프 시스템에 의해 수행되는 파이버스코프 이미지 처리 방법에 있어서,
    샘플의 적어도 하나의 원시 이미지를 카메라 장치로부터 획득하는 단계 - 상기 원시 이미지는 파이버 번들의 구조로 인한 벌집 패턴이 나타남;
    상기 원시 이미지 내 코어와 클래딩을 분리하기 위해, 상기 원시 이미지의 픽셀의 세기(intensity)와 임계 값에 기반하여 상기 원시 이미지를 이진화하되, 상기 원시 이미지 상의 픽셀이 임계 값 이상의 세기 값을 갖는 경우, 후보 코어 픽셀로 선별하고, 선별된 후보 코어 픽셀의 세기를 특정 값으로 변환하고, 상기 원시 이미지 상의 픽셀이 임계 값 미만의 세기 값을 갖는 경우, 클래딩 픽셀로 선별하고, 선별된 클래딩 픽셀의 세기를 다른 특정 값으로 변환하여 상기 원시 이미지를 이진화하는 단계;
    상기 이진화 이미지에서 피크 지점을 검출하되, 상기 후보 코어 픽셀로 이루어진 이진 마스크를 생성하고, 상기 이진 마스크로 선택된 픽셀에 대해서만 가우시안 분포의 값을 계산하여 피크 지점을 검출하는 단계; 및
    상기 샘플의 파이버스코프 이미지를 복원하기 위해, 검출된 피크 지점을 기반으로 원시 이미지를 보간하되, 상기 피크 지점이 검출된 코어 픽셀의 주변 클래딩 픽셀에 인접한 코어 픽셀의 세기를 할당하는 단계를 포함하는 파이버스코프 이미지 처리 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 이진화를 위한 임계 값은 로컬 임계 값으로서, 상기 원시 이미지에서 검출된 피크 지점을 포함한 로컬 윈도우 내의 픽셀들의 세기들에 기초하여 계산된 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 최대 그레이 레벨 값과 최소 그레이 레벨 값, 후보 코어 픽셀의 위치에서의 대비 값(contrast value), 및 사용자에 의해 미리 설정된 대비 임계 값(contrast threshold value)에 기초하여 계산된 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  5. 제3항에 있어서,
    상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 로컬 분산에 기초하여 계산되되, 상기 로컬 윈도우 내에서 로컬 평균 및 로컬 표준 편차를 기반으로 계산된 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  6. 제3항에 있어서,
    상기 이진화를 위한 임계 값은 후보 코어 픽셀의 위치를 중심으로 형성된, 크기 w × w 의 로컬 윈도우에서의 로컬 평균에 기초하여 계산된 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    이진화 이전에, 상기 원시 이미지에서 카메라의 노이즈를 제거하는 단계를 더 포함하는 파이버스코프 이미지 처리 방법.
  10. 제1항에 있어서,
    다수의 원시 이미지가 획득된 경우, 미리 설정된 기준에 따라 다수의 원시 이미지 중에서 적어도 하나의 원시 이미지를 참조 이미지로서 선별하는 단계를 더 포함하고,
    상기 참조 이미지에 대해서만 이진화하고 이진화된 참조 이미지에서 피크 지점을 검출하는 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  11. 제10항에 있어서, 상기 보간하는 단계는,
    피크 지점이 검출된 코어 픽셀의 주변에 분포한 상기 참조 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기를 할당하고, 그리고 상기 참조 이미지로 선별되지 않은 나머지 원시 이미지 각각에서 상기 참조 이미지의 코어 픽셀에 대응하는 위치의 주변에 분포한 각 원시 이미지 내 클래딩 픽셀에 대해서, 상기 참조 이미지 내 인접한 코어 픽셀의 세기를 할당하는 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 참조 이미지가 둘 이상의 원시 이미지일 경우, 할당되는 코어 픽셀의 세기는 각 참조 이미지의 보간을 위해 사용된 코어 픽셀의 세기의 대표 값인 것을 특징으로 하는 파이버스코프 이미지 처리 방법.
  13. 제1항, 제3항 내지 제6항, 제9항 내지 제12항 중 어느 하나의 항에 따른 파이버스코프 이미지 처리 방법을 수행하기 위한, 프로그램을 기록한 컴퓨터 판독가능 기록매체.
  14. 파이버스코프 시스템에 있어서,
    클래딩으로 둘러싸인 다수의 코어로 구성된 파이버 번들을 포함한 프로브;
    상기 파이버 번들에 포함된 파이버의 빛이 동시에 입사되도록 구성된 대물 렌즈;
    서로 다른 색상 필드의 형광 이미지를 획득하기 위한 듀얼 컬러 형광 이미징 시스템;
    상기 듀얼 컬러 형광 시스템과 파이버 번들을 공유하는 레이저 광 자극 시스템;
    샘플의 원시 이미지 데이터를 생성하는 카메라 장치 - 상기 원시 이미지는 파이버 번들의 구조로 인한 벌집 패턴이 나타남; 및
    상기 샘플의 적어도 하나의 원시 이미지를 카메라 장치로부터 획득하고, 상기 원시 이미지 내 코어와 클래딩을 분리하기 위해, 상기 원시 이미지의 픽셀의 세기(intensity)와 임계 값에 기반하여 상기 원시 이미지를 이진화하되, 상기 원시 이미지 상의 픽셀이 임계 값 이상의 세기 값을 갖는 경우, 후보 코어 픽셀로 선별하고, 선별된 후보 코어 픽셀의 세기를 특정 값으로 변환하고, 상기 원시 이미지 상의 픽셀이 임계 값 미만의 세기 값을 갖는 경우, 클래딩 픽셀로 선별하고, 선별된 클래딩 픽셀의 세기를 다른 특정 값으로 변환하여 상기 원시 이미지를 이진화하며, 상기 이진화 이미지에서 피크 지점을 검출하되, 상기 후보 코어 픽셀로 이루어진 이진 마스크를 생성하고, 상기 이진 마스크로 선택된 픽셀에 대해서만 가우시안 분포의 값을 계산하여 피크 지점을 검출하고, 상기 샘플의 파이버스코프 이미지를 복원하기 위해, 검출된 피크 지점을 기반으로 원시 이미지를 보간하되, 상기 피크 지점이 검출된 코어 픽셀의 주변 클래딩 픽셀에 인접한 코어 픽셀의 세기를 할당하여 원시 이미지를 보간하도록 구성된 컴퓨팅 장치를 포함하는 파이버스코프 시스템.
KR1020210072847A 2021-06-04 2021-06-04 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 KR102561360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210072847A KR102561360B1 (ko) 2021-06-04 2021-06-04 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072847A KR102561360B1 (ko) 2021-06-04 2021-06-04 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템

Publications (2)

Publication Number Publication Date
KR20220164282A KR20220164282A (ko) 2022-12-13
KR102561360B1 true KR102561360B1 (ko) 2023-08-01

Family

ID=84439019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072847A KR102561360B1 (ko) 2021-06-04 2021-06-04 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템

Country Status (1)

Country Link
KR (1) KR102561360B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710250B (zh) * 2024-02-04 2024-04-30 江苏无右微创医疗科技有限公司 一种消除纤维镜成像蜂窝状结构的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890780B (zh) * 2011-07-19 2015-07-22 富士通株式会社 图像处理装置和方法
KR20170022571A (ko) * 2015-08-21 2017-03-02 고려대학교 산학협력단 형광 영상을 촬영하는 내시경 장치
CN107678153B (zh) * 2017-10-16 2020-08-11 苏州微景医学科技有限公司 光纤束图像处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REF1*
REF2*

Also Published As

Publication number Publication date
KR20220164282A (ko) 2022-12-13

Similar Documents

Publication Publication Date Title
US11946854B2 (en) Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
US10732400B2 (en) Spectrally encoded probe with multiple diffraction orders
EP3432776B1 (en) Imaging method for determining stray fibers
US10684458B2 (en) Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques
EP3942518B1 (en) Systems and methods for image processing
Ford et al. Fast optically sectioned fluorescence HiLo endomicroscopy
US8781233B2 (en) Image processing apparatus, method of processing image, and computer-readable recording medium
Shinde et al. Pixelate removal in an image fiber probe endoscope incorporating comb structure removal methods
Perperidis et al. Characterization and modelling of inter-core coupling in coherent fiber bundles
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
US20150279033A1 (en) Image data generating apparatus and image data generating method
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
JP2014137558A (ja) 撮像装置、撮像システム、および画像処理方法
US20180247397A1 (en) High resolution microendoscope employing differential structured illumination and method of using same
Harris et al. A pulse coupled neural network segmentation algorithm for reflectance confocal images of epithelial tissue
KR102561360B1 (ko) 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템
Schmied et al. Open-source solutions for SPIMage processing
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
Zhao et al. Deep Learning‐Based Denoising in High‐Speed Portable Reflectance Confocal Microscopy
JP2014157428A (ja) 画像表示装置、画像表示方法、及び、プログラム
Hoffmann et al. Blazed oblique plane microscopy reveals scale-invariant inference of brain-wide population activity
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
JP2015057682A (ja) 画像生成装置および画像生成方法
Dumripatanachod et al. A fast depixelation method of fiber bundle image for an embedded system
US20230105073A1 (en) Method and apparatus for removing honeycomb artifacts from optical fiber bundle images based on artificial intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant