KR102087595B1 - 내시경 시스템 및 그 제어방법 - Google Patents

내시경 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR102087595B1
KR102087595B1 KR1020130022535A KR20130022535A KR102087595B1 KR 102087595 B1 KR102087595 B1 KR 102087595B1 KR 1020130022535 A KR1020130022535 A KR 1020130022535A KR 20130022535 A KR20130022535 A KR 20130022535A KR 102087595 B1 KR102087595 B1 KR 102087595B1
Authority
KR
South Korea
Prior art keywords
endoscope
distance
omnidirectional
information
surrounding objects
Prior art date
Application number
KR1020130022535A
Other languages
English (en)
Other versions
KR20140108066A (ko
Inventor
윤석준
곽노산
노경식
안성환
황원준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130022535A priority Critical patent/KR102087595B1/ko
Priority to US14/134,415 priority patent/US10492668B2/en
Publication of KR20140108066A publication Critical patent/KR20140108066A/ko
Application granted granted Critical
Publication of KR102087595B1 publication Critical patent/KR102087595B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/01—Guiding arrangements therefore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

내시경에 장착된 스테레오 전방위 카메라를 이용하여 내시경 주변에 대한복수의 전방위 영상을 획득하고; 획득된 복수의 전방위 영상을 이용하여 내시경과 주변 물체 간 거리를 산출하고; 산출된 거리에 기초하여 내시경과 주변 물체의 충돌을 회피하기 위한 동작을 수행함으로써, 내시경의 안전한 조작을 가능하게 한다.

Description

내시경 시스템 및 그 제어방법{ENDOSCOPE SYSTEM AND CONTROL METHOD THEREOF}
장기(臟器)나 체강(體腔) 내부를 직접 관찰할 수 있는 내시경 시스템 및 그 제어방법에 관한 것이다.
내시경은 수술을 하거나 절개를 하지 않고서는 직접 병변을 볼 수 없는 신체의 내부에 삽입되어 장기(소화기관)나 체강 내부를 직접 볼 수 있게 만든 의료 기기이다. 초기의 내시경은 신체의 체강 내에 가늘고 긴 삽입부를 삽입하여 체강 내의 장기 등을 단순히 관찰하는 용도로 사용되었다. 이후 영상 처리 기술의 발전에 따라, 흑백 카메라로 체강 내의 각 부위를 촬영한 후, 촬영된 영상을 통해 각 부위의 병변을 자세하게 관찰할 수 있게 되었다. 그리고, 단순 흑백 카메라는 고해상도의 컬러 영상 획득 장치로 대체되어 병변을 더욱 자세하게 관찰할 수 있게 되었다. 또한 구별하고자 하는 병변에 따라 체강 표면을 특정한 색소로 염색한 후 촬영을 하는 색소 내시경(chromo endoscope)도 사용되고 있다.
한편, 내시경은 과거 흑백 영상만을 제공하던 것에서부터 시작하여 영상 처리 기술의 발달에 힘입어 컬러 고해상도 영상 내지는 협대역 영상을 제공하는 수준까지 발전하였다.
이러한 내시경의 발달은 보다 정확한 병변 구별력을 제공하는 것과 밀접한 연관이 있다. 따라서, 차세대 내시경 관련 기술로 가장 유력한 것이 3차원 내시경이다. 기존의 내시경들은 2차원의 촬영 영상만을 제공하기 때문에 병변의 정확한 검출이 어려운 문제점이 있었다. 색상은 주변 조직과 거의 유사하나 다소 돌출되어 높이가 다른 병변의 경우 2차원 영상만을 보고 이를 검출해내기가 매우 어렵기 때문이다. 이에 2차원 촬영 영상뿐만 아니라 촬영 부위의 깊이 정보까지 제공하는 3차원 내시경 개발에 대한 연구는 활발히 진행되고 있다.
내시경을 식도, 위, 대장 등의 소화기관 내에 안전하게 삽입하여 병변을 관찰하기 위해서는 내시경과 주변 물체(주로 소화기관 벽)의 충돌을 회피해야 한다. 하지만, 현재 내시경 검사 시 사용되는 내시경은 삽입부의 선단부에 장착된 카메라의 대물렌즈를 통해 촬영된 전방(前方)의 영상만을 제공하고 있으며, 검사자(주로 의사)는 내시경으로부터 제공된 전방의 영상만을 보면서 내시경을 조종하기 때문에 내시경이 소화기관 벽에 충돌할 가능성이 높다는 문제점이 있다.
내시경에 장착된 스테레오 전방위 카메라를 통해 획득한 스테레오 전방위 영상을 이용하여 내시경과 주변 물체(소화기관, 용종, 조직 등) 간의 거리를 정량적으로 산출하고, 산출된 거리 정보에 기초하여 내시경과 주변 물체의 충돌 회피에 관한 정보를 제공함으로써, 내시경의 안전한 조작을 가능하게 하는 내시경 시스템 및 그 제어방법을 제안하고자 한다.
또한 내시경에 장착된 스테레오 전방위 카메라를 통해 획득한 스테레오 전방위 영상을 이용하여 내시경과 주변 물체 간의 거리를 정량적으로 산출하고, 산출된 거리 정보에 기초하여 주변 물체(소화기관)에 대한 3차원 격자 지도를 작성 및 제공함으로써, 검사 대상에 대한 정확한 진단을 가능하게 하는 내시경 시스템 및 그 제어방법을 제안하고자 한다.
내시경 시스템의 제어방법은 내시경에 장착된 스테레오 전방위 카메라를 이용하여 내시경 주변에 대한 복수의 전방위 영상을 획득하고; 획득된 복수의 전방위 영상을 이용하여 내시경과 주변 물체 간 거리를 산출하고; 산출된 거리에 기초하여 내시경과 주변 물체의 충돌을 회피하기 위한 동작을 수행한다.
또한 내시경과 상기 주변 물체 간 거리의 산출은: 획득된 복수의 전방위 영상에 대한 스테레오 정합을 수행하고; 스테레오 정합 수행의 결과로 획득된 시차지도(disparity map)로부터 산출되는 정보에 기초하여 내시경과 주변 물체 간 거리를 산출하는 것이다.
또한 스테레오 정합의 수행은: 획득된 복수의 전방위 영상을 복수의 파노라마 영상으로 변환하고; 변환된 복수의 파노라마 영상에서 특징점을 추출하고; SAD(Sum Of Absolute Difference) 알고리즘을 이용하여 복수의 파노라마 영상에 대한 시차지도를 획득하는 것이다.
또한 충돌을 회피하기 위한 동작의 수행은: 내시경과 주변 물체의 충돌 회피를 위한 내시경의 이동 방향에 대한 정보를 제공하는 것이다.
또한 충돌 회피를 위한 내시경의 이동 방향에 대한 정보의 제공은: 내시경을 산출된 내시경과 주변 물체 간 거리 중 가장 짧은 거리를 증가시키는 방향으로 이동시키도록 하는 내시경의 이동 방향에 대한 정보를 제공하는 것이다.
또한 충돌 회피를 위한 내시경의 이동 방향에 대한 정보의 제공은: 내시경을 주변 물체의 단면의 무게 중심을 향하는 방향으로 이동시키도록 하는 내시경의 이동 방향에 대한 정보를 제공하는 것이다.
또한 충돌을 회피하기 위한 동작의 수행은: 햅틱기술의 힘 피드백을 이용하여 내시경의 이동 방향을 조종하기 위한 조작부에 힘과 운동감을 전달하는 것을 더 포함한다.
또한 산출된 거리에 기초하여 주변 물체에 대한 3차원 격자지도를 작성하는 것을 더 포함한다.
또한 주변 물체에 대한 3차원 격자지도의 작성은: 주변 물체를 미리 설정된 각도 및 미리 설정된 길이로 분할하여 복수의 3차원 격자를 형성하고; 형성된 복수의 3차원 격자 각각을 대표하는 거리 정보를 결정하는 것을 포함한다.
또한 복수의 3차원 격자 각각을 대표하는 거리 정보는 각 3차원 격자를 이루는 격자 내 점들의 평균 거리 정보이다.
내시경 시스템은 내시경 주변에 대한 복수의 전방위 영상을 획득하는 스테레오 전방위 카메라가 장착된 내시경; 획득된 복수의 전방위 영상을 이용하여 내시경과 주변 물체 간 거리를 산출하고, 산출된 거리에 기초하여 내시경과 주변 물체의 충돌을 회피하기 위한 동작을 수행하는 프로세서를 포함한다.
또한 프로세서는: 획득된 복수의 전방위 영상에 대한 스테레오 정합을 수행하는 스테레오 정합부; 스테레오 정합 수행의 결과로 획득된 시차지도(disparity map)로부터 산출되는 정보에 기초하여 내시경과 주변 물체 간 거리를 산출하는 거리 산출부를 포함한다.
또한 스테레오 정합부는 획득된 복수의 전방위 영상을 복수의 파노라마 영상으로 변환하고, 변환된 복수의 파노라마 영상에서 특징점을 추출하고, SAD(Sum Of Absolute Difference) 알고리즘을 이용하여 복수의 파노라마 영상에 대한 시차지도를 획득한다.
또한 프로세서는: 내시경과 주변 물체의 충돌 회피를 위한 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하는 제어신호 생성부를 더 포함한다.
또한 제어신호 생성부는 내시경을 산출된 내시경과 주변 물체 간 거리 중 가장 짧은 거리를 증가시키는 방향으로 이동시키도록 하는 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성한다.
또한 제어신호 생성부는 내시경을 주변 물체의 단면의 무게 중심을 향하는 방향으로 이동시키도록 하는 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성한다.
또한 제어신호 생성부는 햅틱기술의 힘 피드백을 이용하여 내시경의 이동 방향을 조종하기 위한 조작부에 힘과 운동감을 전달하기 위한 제어신호를 생성한다.
또한 프로세서는: 산출된 거리에 기초하여 주변 물체에 대한 3차원 격자지도를 작성하는 3차원 격자지도 작성부를 더 포함한다.
또한 3차원 격자지도 작성부는 주변 물체를 미리 설정된 각도 및 미리 설정된 길이로 분할하여 복수의 3차원 격자를 형성하고, 형성된 복수의 3차원 격자 각각을 대표하는 거리 정보를 결정한다.
또한 3차원 격자지도 작성부는 복수의 3차원 격자 각각을 대표하는 거리 정보를 각 3차원 격자를 이루는 격자 내 점들의 평균 거리 정보로 결정한다.
제안된 내시경 시스템 및 그 제어방법에 의하면, 내시경에 장착된 스테레오 전방위 카메라를 통해 획득한 스테레오 전방위 영상을 이용하여 내시경과 주변 물체(소화기관, 용종, 조직 등) 간의 거리를 정량적으로 산출하고, 산출된 거리 정보에 기초하여 내시경과 주변 물체의 충돌 회피에 관한 정보를 제공함으로써, 내시경의 안전한 조작이 가능해진다.
또한 제안된 내시경 시스템 및 그 제어방법에 의하면, 내시경에 장착된 스테레오 전방위 카메라를 통해 획득한 스테레오 전방위 영상을 이용하여 내시경과 주변 물체 간의 거리를 정량적으로 산출하고, 산출된 거리 정보에 기초하여 주변 물체(소화기관)에 대한 3차원 격자 지도를 작성 및 제공함으로써, 검사 대상에 대한 정확한 진단이 가능해진다.
도 1은 내시경 시스템을 이용하여 대장 내시경 검사를 수행하고 있는 모습을 나타낸 도면이다.
도 2a는 내시경의 개략적인 구조를 나타낸 도면이고, 도 2b는 내시경의 선단부의 단면도이다.
도 3은 스테레오 전방위 카메라의 구성을 나타낸 도면이다.
도 4는 내시경에 장착되는 내시경 카메라의 시야 범위와 스테레오 전방위 카메라의 시야 범위를 설명하기 위한 도면이다.
도 5는 내시경 시스템의 제어 블록도이다.
도 6은 도 4에 도시한 스테레오 전방위 카메라로 촬영한 전방위 영상을 예시한 도면이다.
도 7은 스테레오 전방위 카메라를 이용한 거리 산출 개념을 설명하기 위한 도면이다.
도 8a는 도 6에 도시한 두 개의 전방위 영상을 파노라마 영상으로 변환했을 때의 결과 영상(변환된 파노라마 영상)을 나타낸 도면이고, 도 8b는 도 8a에 도시한 두 개의 파노라마 영상에 기초하여 산출한 시차지도(Disparity Map)를 나타낸 도면이다.
도 9는 관심 지점의 방위각(azimuth)의 개념을 설명하기 위한 도면이다.
도 10a 및 도 10b는 내시경과 주변 물체의 충돌 회피를 위해 제공되는 시각 정보를 예시한 도면이다.
도 11은 내시경과 주변 물체 간의 거리 정보에 기초하여 작성한 주변 물체에 대한 3차원 격자 지도를 예시한 도면이다.
도 12는 초음파 시스템의 제어방법을 도시한 흐름도이다.
도 13은 도 12에 도시한 스테레오 정합 과정을 상세하게 도시한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 실시예를 상세하게 설명하도록 한다.
도 1은 내시경 시스템을 이용하여 대장 내시경 검사를 수행하고 있는 모습을 나타낸 도면이다.
도 1에 도시한 바와 같이, 내시경 시스템은 내시경(100), 프로세서(200) 및 표시 장치(300)를 포함하여 이루어진다. 대장 내시경 검사를 수행할 때 검사자(examiner, E) 즉, 의사는 피검사자(examinee, e) 즉, 환자의 항문으로 내시경(100)을 삽입하여 대장 내부 및 대장과 인접한 소장의 말단 부위까지를 관찰한다. 내시경(100)에 부착된 카메라를 통해 획득한 검사 대상(관찰 대상, 체강 내의 부위)에 대한 영상 신호는 케이블을 통해 프로세서(200)로 전송된다. 도 1에서는 내시경(100)이 케이블을 통해 프로세서(200)와 유선으로 연결되는 경우를 도시하였지만, 내시경(100)과 프로세서(200)는 무선으로 연결될 수도 있다. 프로세서(200)는 내시경(100)으로부터 전송된 영상 신호에 대한 영상 처리를 수행하여 검사 대상(주로 소화기관)의 각종 조직이나 구조 및 병변에 대한 결과 영상(내시경 영상)을 생성한다. 프로세서(200)는 접속된 표시 장치(300)의 화면상에 영상 처리 과정을 통해 생성한 검사 대상에 대한 결과 영상을 표시한다.프로세서(200)와 표시 장치(300)는 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 프로세서(200)와 표시 장치(300)를 하나로 통합하여 일체형(예: 개인용 컴퓨터)으로 구현하는 것도 가능하다.
도 2a는 내시경의 개략적인 구조를 나타낸 도면이고, 도 2b는 내시경의 선단부의 단면도이다.
내시경(100)은 피검사자(e)의 신체 내부에 삽입되어 장기나 체강 내부를 촬영 대상으로 하여 촬영하는 장치이다. 도 2a에 도시한 바와 같이, 내시경(100)은 검사자(E)가 파지하여 만곡 조작이나 관로계의 제어를 행하는 조작부(110), 조작부(110)로부터 연장되어 선단에 커넥터부(130)를 갖는 유니버셜 케이블(universal cable, 120) 및 조작부(110)에 접속되어 장기나 체강 내에 삽입되는 삽입부(140)로 이루어진다.
커넥터부(130)의 일측 단부(130a)는 소정의 커넥터를 통해 외부 기기로서의 광원 장치(미도시)에 접속되고, 커넥터부(130)의 타측 단부(130b)는 소정의 커넥터를 통해 외부 기기로서의 프로세서(200)에 접속된다.
삽입부(140)는 자유롭게 굴곡되도록 가요성을 갖는 가요부(150), 만곡 가능하도록 마련되는 만곡부(160) 및 만곡부(160)의 선단에 설치되는 경질의 선단부(170)로 이루어진다.
가요부(150)는 나선형의 금속 밴드(helical steel band), 이를 감싸는 스테인레스 철망 와이어 메쉬(stainless steel wire mesh) 및 커버링 튜브(covering tube)로 이루어지고, 외부의 힘에 의하여 수동적으로 굴곡된다.
만곡부(160)는 적어도 하나 이상의 자유도를 가지고 만곡 가능하도록 복수의 만곡구(미도시)가 리벳(rivet) 등의 연결 부재로 연결되어 형성될 수 있다.
도 2b에 도시한 바와 같이, 선단부(170)에는 검사 대상(피사체)의 초점을 맞추는 내시경 카메라(도 5의 172 참조)의 대물렌즈(172a), 광원 장치(미도시)로부터 안내되는 조명광을 검사 대상에 조사하기 위해 대물렌즈(172a)의 주위에 배치되는 두 개의 라이트 가이드 렌즈(light guide lens)(174a, 174b)가 장착될 수 있다. 대물렌즈(172a)의 후측에는 대물렌즈(172a)에 의해 초점이 맞춰진 검사 대상의 이미지를 이미지 신호로 변환시키는 CCD(charge coupled device)(미도시)가 배치되어 대물렌즈(172a)와 연결될 수 있다. 또한 선단부(170)에는 검사 대상을 부풀리기 위한 공기나 검사 대상을 세척하기 위한 물을 주입하기 위한 송수 송기 노즐(176) 및 조직 생검을 위해 체내 조직을 채취하는 겸자(forceps) 기구나 내시경 수술을 위한 수술 기구가 출입 가능한 처치구 채널 개구(178)가 마련될 수 있다.
조작부(110)에는 만곡부(160)를 원격적으로 만곡시키기 위한 조작 손잡이(미도시)가 설치되어 있다. 이 조작 손잡이를 조작함으로써, 삽입부(140) 내에 삽입 관통된 조작 와이어(미도시)에 의한 인장 작용 및 이완 작용이 생기고, 그 결과 만곡부(160)는 네 방향으로 만곡 가능하게 된다.
전방위 카메라는 회전체 반사경과 집광 렌즈 및 촬상 소자(이미지 센서)를 이용하여 전방위를 한 번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추, 복합형 등 다양한 형상들이 이용될 수 있으며, 촬상 소자로는 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor)가 사용될 수 있다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에서 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 화상의 정확한 관찰을 위해 촬상 소자의 출력을 외부의 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.
이 전방위 카메라를 통해 얻은 전방위 영상은 전방위 카메라 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 전방위 카메라를 통해 서로 다른 방향에서 촬영한 복수의 전방위 영상을 이용하면 전방위 카메라 주변에 대한 3차원적인 정보를 얻을 수 있다. 복수의 전방위 카메라로 구성되는 영상 장치를 스테레오 전방위 카메라라고 한다. 이와 같은 스테레오 전방위 카메라를 무인 차량이나 이동 로봇에 장착하여, 스테레오 전방위 카메라에서 촬영된 전방위 영상을 무인 차량 또는 이동 로봇의 위치 인식 및 지도 작성에 이용하기도 한다.
도 3은 스테레오 전방위 카메라의 구성을 나타낸 도면이다.
도 3에 도시한 바와 같이, 스테레오 전방위 카메라(180)는 제 1 전방위 카메라(182) 및 제 2 전방위 카메라(184)를 포함하여 이루어진다. 제 1 전방위 카메라(182)와 제 2 전방위 카메라(184)는 일렬로 배열되어(도 3에서는 y축 방향을 기준으로 일렬로 배열됨) 하나의 스테레오 전방위 카메라(180)를 구성한다. 도 3에는 도시하지 않았으나, 제 1 전방위 카메라(182)와 제 2 전방위 카메라(184)는 별도의 고정 장치에 의해 고정되도록 하는 것이 바람직하다.
제 1 전방위 카메라(182)는 이미지 센서(182b)와 카메라 렌즈(182c)로 이루어지는 카메라 모듈(182a) 및 회전체 반사경의 일예인 쌍곡면 거울(hyperboloid mirror, 182d)를 포함하여 이루어진다. 검사 대상(피사체)을 이루는 3차원 공간 상의 임의의 점 즉, 관심 지점(point of interest) P(x, y, z)에서 입사되는 빛은 쌍곡면 거울(182d)의 표면에서 반사되어 촬상면(image plane, 182e)에 투영된다. 여기서, 촬상면(182e)은 xy 평면에 해당한다. 또한 관심 지점 P(x, y, z)에서 입사되는 빛은 쌍곡면 거울(182d)의 표면에서 반사되어 카메라 모듈(182a) 내 카메라 렌즈(182c)의 중심점(OC)으로 전달된다. 카메라 모듈(182a)은 쌍곡면 거울(182d)의 표면에서 반사되어 입사되는 빛을 전기 신호로 변환하여 영상 신호를 만들어낸다.
제 2 전방위 카메라(184) 역시 이미지 센서(184b)와 카메라 렌즈(184c)로 이루어지는 카메라 모듈(184a) 및 쌍곡면 거울(184d)를 포함하여 이루어진다. 검사 대상을 이루는 3차원 공간 상의 임의의 점 즉, 관심 지점 P(x, y, z)에서 입사되는 빛은 쌍곡면 거울(184d)의 표면에서 반사되어 촬상면(184e)에 투영된다. 여기서, 촬상면(184e)은 xy 평면에 해당한다. 관심 지점 P(x, y, z)에서 입사되는 빛은 쌍곡면 거울(184d)의 표면에서 반사되어 카메라 모듈(184a) 내 카메라 렌즈(184c)의 중심점(OC)으로 전달된다. 카메라 모듈(184a)은 쌍곡면 거울(184d)의 표면에서 반사되어 입사되는 빛을 전기 신호로 변환하여 영상 신호를 만들어낸다.
제 1 전방위 카메라(182) 및 제 2 전방위 카메라(184) 각각은 주변의 360° 화각의 영상(즉 전방위 영상)을 촬영하여 영상을 만든다. 다만 하나의 전방위 영상만으로는 피사체의 2차원 정보만을 알 수 있기 때문에 서로 다른 위치에서 촬영한 두 개의 전방위 영상을 이용하여 피사체의 3차원 정보를 얻는다.
도 4는 내시경에 장착되는 내시경 카메라의 시야 범위와 스테레오 전방위 카메라의 시야 범위를 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 내시경(100)의 삽입부(140)가 화살표의 방향으로 진행한다고 할 때, 내시경(100)의 선단부(170)에 장착된 내시경 카메라(172)의 시야 범위(field of view; FOV)는 도 4에서 점으로 표시된 영역에 해당한다. 따라서, 내시경(100)의 선단부(170)에 장착된 내시경 카메라(172)를 통해서는 내시경(100)의 삽입부(140)가 진행하는 방향에 대한 영상 즉, 내시경 카메라(172)를 기준으로 전방(前方)의 영상을 획득할 수 있게 된다. 도 4에서, W는 검사 대상인 소화기관의 벽을 나타내는 참조 부호이다.
한편, 내시경(100)의 삽입부(140)가 화살표의 방향으로 진행한다고 할 때, 내시경(100)의 만곡부(160) 또는 선단부(170)에 장착된 제 1 전방위 카메라(182)의 시야 범위는 도 4에서 오른쪽 위를 향하는 사선으로 표시된 영역에 해당한다. 따라서, 내시경(100)의 만곡부(160) 또는 선단부(170)에 장착된 제 1 전방위 카메라(182)를 통해서는 검사 대상인 소화기관의 일부에 대한 전방위 영상(대부분 소화기관의 일부의 벽에 대한 영상이 됨)을 획득할 수 있게 된다.
또한 내시경(100)의 삽입부(140)가 화살표의 방향으로 진행한다고 할 때, 내시경(100)의 만곡부(160) 또는 선단부(170)에 장착된 제 2 전방위 카메라(184)의 시야 범위는 도 4에서 오른쪽 아래를 향하는 사선으로 표시된 영역에 해당한다. 따라서, 내시경(100)의 만곡부(160) 또는 선단부(170)에 장착된 제 2 전방위 카메라(184)를 통해서는 관찰 대상인 소화기관의 일부에 대한 전방위 영상(대부분 소화기관의 일부의 벽에 대한 영상이 됨)을 획득할 수 있게 된다.
여기서, 도 4에 도시한 바와 같이, 검사 대상(피사체)을 이루는 3차원 공간 상의 임의의 점 즉, 관심 지점(P)가 제 1 전방위 카메라(182)의 시야 범위와 제 2 전방위 카메라(184)의 시야 범위의 교차 영역에 존재할 때, 제 1 전방위 카메라(182) 및 제 2 전방위 카메라(184)를 통해 획득한 두 개의 전방위 영상을 이용하여 피사체의 3차원 정보를 얻을 수 있게 된다.
도 5는 내시경 시스템의 제어 블록도이다.
도 1 및 도 5에 도시한 바와 같이, 내시경 시스템은 내시경(100), 프로세서(200) 및 표시 장치(300)를 포함하여 이루어진다.
내시경(100)은 내시경 카메라(172), 제 1 전방위 카메라(182)와 제 2 전방위 카메라(184)로 이루어지는 스테레오 전방위 카메라(180), 거리 센서(190) 및 조작부(110)를 포함할 수 있다.
내시경 카메라(172)는 검사 대상(주로 소화기관)에 대한 영상 정보를 획득하고, 획득된 검사 대상에 대한 영상 정보를 프로세서(200)로 전송한다.
스테레오 전방위 카메라(180)를 구성하는 제 1 전방위 카메라(182) 및 제 2 전방위 카메라(184)는 각각 카메라 주변의 360° 영상(전방위 영상) 정보를 획득하고, 획득된 카메라 주변의 전방위 영상 정보를 프로세서(200)로 전송한다.
도 6은 도 4에 도시한 스테레오 전방위 카메라(180)로 촬영한 전방위 영상을 예시한 도면이다. 도 6에 도시한 바와 같이, 스테레오 전방위 카메라(180)로 주변을 촬영하면 제 1 전방위 카메라(182)를 통해 제 1 전방위 영상(402)이 얻어지고 제 2 전방위 카메라(184)를 통해 제 2 전방위 영상(404)이 얻어진다.
거리 센서(190)는 내시경(100)의 위치 정보를 검출하고, 검출된 내시경(100)의 위치 정보를 프로세서(200)로 전송한다. 거리 센서(190)를 통해 획득된 내시경(100)의 위치 정보는 검사 대상에 대한 .3차원 격자 지도의 작성 시 활용된다.
프로세서(200)는 내시경 시스템의 전반적인 동작을 제어하기 위한 구성부로, 프로세서(200)는 다시 영상 처리부(210), 스테레오 정합부(220), 거리 산출부(230), 제어신호 생성부(240) 및 3차원 격자지도 작성부(250)를 포함한다.
영상 처리부(210)는 내시경 카메라(172)로부터 입력된 영상을 화상 이미지로 출력하기 위해 입력된 영상에 대한 처리를 수행한다. 여기서, 영상 처리의 예로는 촬영된 영상의 확대, 축소, 회전, 이동, 편집 및 필터링 등을 들 수 있다.
프로세서(200) 내에 포함되는 세부적인 구성부들인 스테레오 정합부(220) 및 거리 산출부(230)의 동작에 대한 상세한 설명에 앞서, 이하에서는 도 7 내지 도 9를 참조하여 내시경(또는 전방위 카메라)과 검사 대상(피사체) 간 거리를 산출하는 방식에 대해 설명하기로 한다.
도 7은 스테레오 전방위 카메라를 이용한 거리 산출 개념을 설명하기 위한 도면으로, 이해의 편의를 위해 도 3에 도시한 스테레오 전방위 카메라(180)를 구성하는 제 1 전방위 카메라(182) 및 제 2 전방위 카메라(184)를 평면적으로 도시하였다.
도 7에서, b는 제 1 전방위 카메라(182)와 제 2 전방위 카메라(184) 간의 거리, 보다 상세하게는 제 1 전방위 카메라(182)의 쌍곡면 거울(182d)의 중심점(초점, OM)과 제 2 전방위 카메라(184)의 쌍곡면 거울(184d)의 중심점(초점, OM)간의 거리인 베이스 라인(Base Line)이고, p´는 3차원 공간 상의 임의의 점 P(x, y, z)가 제 1 전방위 카메라(182)의 촬상면(182e)에 투영된 점이고, p는 3차원 공간 상의 임의의 점 P(x, y, z)가 제 2 전방위 카메라(184)의 촬상면(184e)에 투영된 점이며, d´는 제 1 전방위 카메라(182)로부터 3차원 공간 상의 임의의 점(P) 까지의 거리이고, d는 제 2 전방위 카메라(184) 3차원 공간 상의 임의의 점(P)까지의 거리이다.
제 2 전방위 카메라(184)와 3차원 공간 상의 임의의 점(P) 간의 거리(d), 보다 상세하게는 제 2 전방위 카메라(184)의 쌍곡면 거울(184d)의 중심점(초점, OM)과 3차원 공간 상의 임의의 점(P) 간의 거리는 아래의 [수학식 1]을 이용하여 산출할 수 있다. 이와 유사한 개념으로 제 1 전방위 카메라(182)와 3차원 공간 상의 임의의 점(P) 사이의 거리(d´)도 산출할 수 있다.
[수학식 1]
Figure 112013018539970-pat00001
여기서, α는 제 2 전방위 카메라(184)의 쌍곡면 거울(184d)의 중심점(OM)을 지나면서 제 2 전방위 카메라(184)의 촬상면(184e)에 평행한 면과 임의의 점(P)을 제 2 전방위 카메라(184)의 쌍곡면 거울(184d)의 중심점(OM)에 연결한 선이 이루는 각도이고, β는 제 1 전방위 카메라(182)의 쌍곡면 거울(182d)의 중심점(OM)을 지나면서 제 1 전방위 카메라(182)의 촬상면(182e)에 평행한 면과 임의의 점(P)를 제 1 전방위 카메라(182)의 쌍곡면 거울(182d)의 중심점(OM )에 연결한 선이 이루는 각도이다.
전술한 [수학식 1]에서 b는 상수이므로, α 및 β를 알아야 제 2 전방위 카메라(184)와 3차원 공간 상의 임의의 점(P) 사이의 거리(d)를 산출할 수 있게 된다.
도 8a는 도 6에 도시한 두 개의 전방위 영상을 파노라마 영상으로 변환했을 때의 결과 영상(변환된 파노라마 영상)을 나타낸 도면이고, 도 8b는 도 8a에 도시한 두 개의 파노라마 영상에 기초하여 산출한 시차(視差)지도(Disparity Map)를 나타낸 도면이다.
도 8a에서, 502는 제 1 전방위 영상(402)의 파노라마 영상 즉 제 1 파노라마 영상이고, 504는 제 2 전방위 영상(404)의 파노라마 영상 즉 제 2 파노라마 영상이다. 또한 도 8b에서, 506은 제 1 파노라마 영상(502)과 제 2 파노라마 영상(504)에 대한 스테레오 정합 과정을 통해 산출된 시차 지도(Disparity Map)이다. 도 8b에 도시한 시차 지도(506)에서는, 스테레오 전방위 카메라(180)로부터 가까운 곳에 위치한 피사체는 상대적으로 더 밝게 나타나고, 스테레오 전방위 카메라(180)로부터 먼 곳에 위치한 피사체는 상대적으로 더 어둡게 나타난다. 이 밝기 정보(즉 영상의 depth)를 이용하면 스테레오 전방위 카메라(180)와 피사체들 사이의 거리를 가늠할 수 있다. 이 시차지도를 이용하여 전술한 α 및 β를 산출할 수 있다.
한편, 도 6에 도시한 파노라마 영상(502, 504)으로부터 3차원 공간 상의 임의의 점(P)의 방위각(azimuth)을 구할 수 있다. 도 9에 도시한 바와 같이, 3차원 공간 상의 임의의 점인 관심 지점(P)의 방위각(azimuth)은 x축 방향을 기준 방향으로 전제하였을 때, 기준 방향(x축 방향)과 좌표계의 원점(O)으로부터 기준 방향(x축 방향)과 동일한 평면(xy 평면)에 투영된 관심 지점(P´)으로 이어지는 선 사이의 각도를 의미한다. 파노라마 영상(502, 504)으로부터 3차원 공간 상의 임의의 점(P)의 방위각(azimuth)을 구할 수 있다면, 아래의 [수학식 2] 내지 [수학식 4]를 통해 3차원 공간 상의 임의의 점(P)의 위치 (x, y, z)를 산출할 수 있다.
[수학식 2]
Figure 112013018539970-pat00002
[수학식 3]
Figure 112013018539970-pat00003
[수학식 4]
Figure 112013018539970-pat00004
다시 도 5에 대한 설명으로 돌아와, 프로세서(200) 내에 포함되는 세부적인 구성부들의 동작에 대해 설명하기로 한다.
스테레오 정합부(220)는 제 1 및 제 2 전방위 카메라(182, 184)로부터 입력되는 제 1 및 제 2 전방위 영상(402, 404)을 제 1 및 제 2 파노라마 영상(502, 504)으로 변환하고, 변환된 두 개의 파노라마 영상에 SAD(Sum Of Absolute Difference) 알고리즘을 적용하여 시차지도(506)를 산출한다. 전술한 바와 같이, 산출된 시차 지도(506)를 이용하여 스테레오 전방위 카메라(180)와 피사체 간의 거리 산출 시 요구되는 α 및 β를 구할 수 있다.
거리 산출부(230)는 전술한 [수학식 1] 내지 [수학식 4]를 통해 스테레오 전방위 카메라(180)와 피사체(검사 대상) 간의 거리 및 피사체(검사 대상)에 대한 3차원 위치 정보 즉, 3차원 좌표 P(x, y, z)를 산출한다.
제어신호 생성부(240)는 거리 산출부(230)를 통해 산출된 전방위 카메라(180)와 피사체 간의 거리 정보(또는 내시경과 주변 물체 간의 거리 정보, d)에 기초하여 내시경(100)과 검사 대상(소화기관 벽)의 충돌 회피에 관한 정보를 제공하기 위한 제어신호를 생성한다. 즉, 제어신호 생성부(240)는 사용자로 하여금 내시경(100)을 검사 대상(예: 식도, 위, 대장 등)의 중앙부로 이동시킬 수 있도록 충돌 회피를 위한 내시경(100)의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하여 표시 장치(300)로 전송한다. 표시 장치(300)는 제어신호 생성부(240)로부터 전송된 제어신호에 따라 화면상에 내시경(100)과 검사 대상의 충돌 회피에 관한 정보를 영상이나 문자, 도형 등의 시각 정보로 표시한다.
내시경(100)과 검사 대상의 충돌 회피에 관한 정보를 제공하는 방법은 도 10a에 도시한 바와 같이, 검사자(E)로 하여금 산출된 내시경(100)과 검사 대상(소화기관 벽, W) 사이의 거리 중에서 가장 짧은 거리(dc)를 증가시키기 위한 방향(도 10a에서 화살표로 도시한 방향)으로 이동시킬 수 있도록 하는 내시경 이동 방향 정보를 제공하거나, 도 10b에 도시한 바와 같이, 검사자(E)로 하여금 검사 대상(소화기관)의 단면의 무게 중심(center of gravity; COG)을 향하는 방향(도 10b에서 화살표로 도시한 방향)으로 이동시킬 수 있도록 하는 내시경 이동 방향 정보를 제공하는 방식으로 구현될 수 있다.
또한 제어신호 생성부(240)는 거리 산출부(230)를 통해 산출된 전방위 카메라(180)와 피사체 간의 거리 정보(d) 및 햅틱기술(haptics)을 이용하여 조이스틱 등으로 구현되는 조작부(110)에 힘과 운동감을 전달하기 위한 제어신호를 생성한다. 즉, 제어신호 생성부(240)는 사용자로 하여금 보다 쉽고 안전하게 내시경(100)을 검사 대상(예: 식도, 위, 대장 등)의 중앙부로 이동시킬 수 있도록 내시경(100)을 검사 대상의 중앙부로 이동시키는 방향에 상응하는 조작부(110)의 조작 방향으로 힘을 전달하기 위한 제어신호를 생성하여 조작부(110)로 전송한다. 이러한 작용을 통해 조작부(110)는 내시경(100)과 검사 대상 간의 거리가 가까워지는 방향으로는 조작이 되지 않고, 내시경(100)과 검사 대상이 거리가 멀어지는 방향으로는 보다 쉽게 조작될 수 있다.
3차원 격자지도 작성부(250)는 거리 산출부(230)를 통해 산출된 스테레오 전방위 카메라(180)와 피사체 간의 거리 정보(또는 내시경과 검사 대상 간의 거리 정보, d)에 기초하여 검사 대상에 대한 3차원 격자 지도를 작성한다. 내시경(100)은 식도, 대장과 같은 관 또는 통로를 통과하기 때문에 내시경 주변의 영역을 3차원 격자로 나누고, 각 3차원 격자에 해당되는 거리값을 산출함으로써 검사 대상에 대한 3차원 격자 지도를 작성한다. 여기서, 3차원 격자에 해당되는 거리값을 산출하기 위해 필요로 하는 내시경(100)의 위치 정보는 거리 센서(190)를 이용하여 획득할 수 있다. 도 11에서는 3차원 격자에 해당되는 거리값을 산출하기 위해 필요로 하는 내시경(100)의 위치 정보를 위치 센서(190)를 이용하여 검출하는 경우를 예로 들어 설명하였으나, 별도의 위치 센서를 이용하지 않고, 스테레오 전방위 카메라(180)를 통해 획득되는 전방위 영상 정보를 이용하여 내시경(100)의 위치 정보를 산출하는 것도 가능하다.
도 11은 내시경과 주변 물체 간의 거리 정보에 기초하여 작성한 3차원 격자 지도를 예시한 도면이다. 도 11은 식도, 대장 등 관 또는 원통 형상으로 이루어진 검사 대상에 대한 3차원 격자 지도를 작성한 경우를 예시하고 있다. 이때, 각각의 3차원 격자(602)는 내시경(100)의 주변 물체를 미리 설정된 각도 및 미리 설정된 길이로 분할하여 형성되며, 각 3차원 격자(602)를 대표하는 거리 정보는 3차원 격자(602)를 이루는 격자 내 점들의 평균 거리값 등을 이용하여 정할 수 있다.
또한 3차원 격자지도 작성부(250)는 거리 산출부(230)를 통해 산출된 전방위 카메라(180)와 피사체 간의 거리 정보(d)에 기초하여 작성된 검사 대상에 대한 3차원 격자 지도(600)에 스테레오 전방위 카메라(180)를 통해 획득한 스테레오 전방위 영상의 컬러 정보(RGB값)를 부가함으로써, 검사 대상에 대한 보다 정확한 3차원 격자지도(영상)을 제공할 수도 있다.
메모리(260)는 3차원 격자지도 작성부(250)를 통해 작성된 검사 대상에 대한 3차원 격자 지도(600)를 저장한다.
도 12는 초음파 시스템의 제어방법을 도시한 흐름도이고, 도 13은 도 12에 도시한 스테레오 정합 과정을 상세하게 도시한 흐름도이다.
검사자(E)가 인체의 체강 내로 내시경(100)을 삽입하면 내시경(100)의 만곡부(160) 또는 선단부(170)에 설치된 스테레오 전방위 카메라(180)는 내시경의 주변 물체(주로 소화기관)에 대한 스테레오 전방위 영상을 획득한다(710).
다음으로, 프로세서(200) 내 스테레오 정합부(720)는 스테레오 전방위 카메라(180)를 이루는 제 1 및 제 2 전방위 카메라(182, 184)로부터 입력되는 제 1 및 제 2 전방위 영상(402, 404)에 대한 스테레오 정합을 수행한다(720).
동작 720에 기재된 스테레오 정합 과정을 보다 상세하게 살펴보면 도 13에 도시한 바와 같이, 스테레오 정합부(720)는 스테레오 전방위 카메라(180)를 통해 획득된 스테레오 전방위 영상(402, 404)을 파노라마 영상(502, 504)으로 변환한다(722). 이때, 변환된 파노라마 영상(502, 504)으로부터 3차원 공간 상의 임의의 점인 관심 지점(P)의 방위각(azimuth)을 산출할 수 있다.
이후, 스테레오 정합부(720)는 변환된 각 파노라마 영상(502, 504)에서 특징점을 추출하고(724), 각 변환된 각 파노라마 영상(502, 504)에 대한 후처리(post-processing)를 수행한다(726).
다음으로, 스테레오 정합부(220)는 후처리가 수행된 두 개의 파노라마 영상(502, 504)에 SAD(Sum Of Absolute Difference) 알고리즘을 적용하여 두 개의 파노라마 영상(502, 504)에 대한 시차지도(506)를 획득한다(728). 이 때, 획득된 두 개의 파노라마 영상(502, 504) 간의 시차지도(506)를 이용하여 스테레오 전방위 카메라(180)와 피사체 간의 거리 산출 시 요구되는 α 및 β를 구할 수 있다.
다시 도 12에 대한 설명으로 돌아와, 프로세서(200) 내 거리 산출부(230)는 동작 720에서 산출된 α, β 및 관심 지점(P)의 방위각(azimuth)과, 전술한 [수학식 1] 내지 [수학식 4]를 이용하여 내시경(100)과 주변 물체 간의 거리 및 주변 물체에 대한 3차원 위치 정보 즉, 3차원 좌표 P(x, y, z)를 산출한다(730).
이후, 프로세서(200) 내 제어신호 생성부(240)는 거리 산출부(230)를 통해 산출된 내시경(100)와 주변 물체 간의 거리 정보(d)에 기초하여 내시경(100)과 주변 물체(주로 소화기관 벽)의 충돌 회피에 관한 정보를 제공하기 위한 제어신호를 생성한다(740). 즉, 제어신호 생성부(240)는 사용자로 하여금 내시경(100)을 검사 대상(예: 식도, 위, 대장 등)의 중앙부로 이동시킬 수 있도록 충돌 회피를 위한 내시경(100)의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하여 표시 장치(300)로 전송한다(740). 표시 장치(300)는 제어신호 생성부(240)로부터 전송된 제어신호에 따라 화면상에 내시경(100)과 검사 대상의 충돌 회피에 관한 정보를 영상이나 문자, 도형 등의 시각 정보로 표시한다.
다음으로, 프로세서(200) 내 제어신호 생성부(240)는 거리 산출부(230)를 통해 산출된 전방위 카메라(180)와 피사체 간의 거리 정보(d) 및 햅틱기술의 힘 피드백을 이용하여 조이스틱 등으로 구현되는 조작부(110)에 힘과 운동감을 전달하기 위한 제어신호를 생성한다(750). 즉, 제어신호 생성부(240)는 사용자로 하여금 보다 쉽고 안전하게 내시경(100)을 검사 대상(예: 식도, 위, 대장 등)의 중앙부로 이동시킬 수 있도록 내시경(100)을 검사 대상의 중앙부로 이동시키기 위한 방향에 상응하는 조작부(110)의 조작 방향으로 힘을 전달하기 위한 제어신호를 생성하여 조작부(110)로 전송한다(750). 이러한 작용을 통해 조작부(110)에 힘과 운동감이 전달되어 조작부(110)가 내시경(100)과 주변 물체 간의 거리가 가까워지는 방향으로는 조작이 되지 않고, 내시경(100)과 주변 물체간의거리가멀어지는방향으로보다쉽게조작될수있다.
이후, 프로세서(200) 내 3차원 격자지도 작성부(250)는 거리 산출부(230)를 통해 산출된 내시경(100)과 주변 물체 간의 거리 정보(d)에 기초하여 내시경(100)의 주변 물체에 대한 3차원 격자 지도를 작성한다(760).
다음으로, 프로세서(200)는 내시경 검사가 완료되었는가 여부를 판단한다(770). 내시경 검사가 아직 완료되지 않았다고 판단되면(동작 770에서의 ‘아니요’) 프로세서(200)는 동작 710으로 돌아가 계속해서 내시경 주변에 대한 스테레오 전방위 영상을 획득한다.
한편, 내시경 검사가 완료되었다고 판단되면(동작 770에서의 ‘예’) 프로세서(200)는 3차원 격자지도 작성부(250)를 통해 작성된 내시경 주변 물체에 대한 3차원 격자지도를 메모리(260)에 저장하고(780), 내시경(100)과 주변 물체의 충돌 방지를 위한 동작을 종료한다.
100 : 내시경
180 : 스테레오 전방위 카메라
182, 184 : 전방위 카메라
200 : 프로세서
300 : 표시 장치

Claims (20)

  1. 내시경에 장착된 스테레오 전방위 카메라를 이용하여 내시경 주변에 대한복수의 전방위 영상을 획득하고;
    상기 획득된 복수의 전방위 영상을 이용하여 상기 내시경과 주변 물체 간 거리를 산출하고;
    상기 산출된 거리에 기초하여 상기 내시경과 상기 주변 물체의 충돌을 회피하기 위한 동작을 수행하되,
    상기 충돌을 회피하기 위한 동작의 수행은:
    상기 내시경을 상기 주변 물체의 중앙부로 이동시키기 위해 상기 내시경과 상기 주변 물체의 충돌 회피를 위한 상기 내시경의 이동 방향에 대한 정보를 제공하는 것인 내시경 시스템의 제어방법.
  2. 제 1 항에 있어서, 상기 내시경과 상기 주변 물체 간 거리의 산출은:
    상기 획득된 복수의 전방위 영상에 대한 스테레오 정합을 수행하고;
    상기 스테레오 정합 수행의 결과로 획득된 시차지도(disparity map)로부터 산출되는 정보에 기초하여 상기 내시경과 상기 주변 물체 간 거리를 산출하는 것인 내시경 시스템의 제어방법.
  3. 제 2 항에 있어서, 상기 스테레오 정합의 수행은:
    상기 획득된 복수의 전방위 영상을 복수의 파노라마 영상으로 변환하고;
    상기 변환된 복수의 파노라마 영상에서 특징점을 추출하고;
    SAD(Sum Of Absolute Difference) 알고리즘을 이용하여 상기 복수의 파노라마 영상에 대한 시차지도를 획득하는 것인 내시경 시스템의 제어방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 충돌 회피를 위한 상기 내시경의 이동 방향에 대한 정보의 제공은:
    상기 내시경을 상기 산출된 상기 내시경과 주변 물체 간 거리 중 가장 짧은 거리를 증가시키는 방향으로 이동시키도록 하는 상기 내시경의 이동 방향에 대한 정보를 제공하는 것인 내시경 시스템의 제어방법.
  6. 제 1 항에 있어서, 상기 충돌 회피를 위한 상기 내시경의 이동 방향에 대한 정보의 제공은:
    상기 내시경을 상기 주변 물체의 단면의 무게 중심을 향하는 방향으로 이동시키도록 하는 상기 내시경의 이동 방향에 대한 정보를 제공하는 것인 내시경 시스템의 제어방법.
  7. 제 1 항에 있어서,
    상기 충돌을 회피하기 위한 동작의 수행은:
    햅틱기술의 힘 피드백을 이용하여 상기 내시경의 이동 방향을 조종하기 위한 조작부에 힘과 운동감을 전달하는 것을 더 포함하는 내시경 시스템의 제어방법.
  8. 제 1 항에 있어서,
    상기 산출된 거리에 기초하여 상기 주변 물체에 대한 3차원 격자지도를 작성하는 것을 더 포함하는 내시경 시스템의 제어방법.
  9. 제 8 항에 있어서,
    상기 주변 물체에 대한 3차원 격자지도의 작성은:
    상기 주변 물체를 미리 설정된 각도 및 미리 설정된 길이로 분할하여 복수의 3차원 격자를 형성하고;
    상기 형성된 복수의 3차원 격자 각각을 대표하는 거리 정보를 결정하는 것을 포함하는 내시경 시스템의 제어방법.
  10. 제 9 항에 있어서,
    상기 복수의 3차원 격자 각각을 대표하는 거리 정보는 각 3차원 격자를 이루는 격자 내 점들의 평균 거리 정보인 내시경 시스템의 제어방법.
  11. 내시경 주변에 대한 복수의 전방위 영상을 획득하는 스테레오 전방위 카메라가 장착된 내시경;
    상기 획득된 복수의 전방위 영상을 이용하여 상기 내시경과 주변 물체 간 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 내시경과 상기 주변 물체의 충돌을 회피하기 위한 동작을 수행하는 프로세서를 포함하고,
    상기 프로세서는:
    상기 내시경을 상기 주변 물체의 중앙부로 이동시키기 위해 상기 내시경과 상기 주변 물체의 충돌 회피를 위한 상기 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하는 제어신호 생성부를 포함하는 내시경 시스템.
  12. 제 11 항에 있어서, 상기 프로세서는:
    상기 획득된 복수의 전방위 영상에 대한 스테레오 정합을 수행하는 스테레오 정합부;
    상기 스테레오 정합 수행의 결과로 획득된 시차지도(disparity map)로부터 산출되는 정보에 기초하여 상기 내시경과 상기 주변 물체 간 거리를 산출하는 거리 산출부를 더 포함하는 내시경 시스템.
  13. 제 12 항에 있어서,
    상기 스테레오 정합부는 상기 획득된 복수의 전방위 영상을 복수의 파노라마 영상으로 변환하고, 상기 변환된 복수의 파노라마 영상에서 특징점을 추출하고, SAD(Sum Of Absolute Difference) 알고리즘을 이용하여 상기 복수의 파노라마 영상에 대한 시차지도를 획득하는 내시경 시스템.
  14. 삭제
  15. 제 11 항에 있어서,
    상기 제어신호 생성부는 상기 내시경을 상기 산출된 상기 내시경과 주변 물체 간 거리 중 가장 짧은 거리를 증가시키는 방향으로 이동시키도록 하는 상기 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하는 내시경 시스템.
  16. 제 11 항에 있어서,
    상기 제어신호 생성부는 상기 내시경을 상기 주변 물체의 단면의 무게 중심을 향하는 방향으로 이동시키도록 하는 상기 내시경의 이동 방향에 대한 정보를 제공하기 위한 제어신호를 생성하는 내시경 시스템.
  17. 제 11 항에 있어서,
    상기 제어신호 생성부는 햅틱기술의 힘 피드백을 이용하여 상기 내시경의 이동 방향을 조종하기 위한 조작부에 힘과 운동감을 전달하기 위한 제어신호를 생성하는 내시경 시스템.
  18. 제 12 항에 있어서, 상기 프로세서는:
    상기 산출된 거리에 기초하여 상기 주변 물체에 대한 3차원 격자지도를 작성하는 3차원 격자지도 작성부를 더 포함하는 내시경 시스템.
  19. 제 18 항에 있어서,
    상기 3차원 격자지도 작성부는 상기 주변 물체를 미리 설정된 각도 및 미리 설정된 길이로 분할하여 복수의 3차원 격자를 형성하고, 상기 형성된 복수의 3차원 격자 각각을 대표하는 거리 정보를 결정하는 내시경 시스템.
  20. 제 19 항에 있어서,
    상기 3차원 격자지도 작성부는 상기 복수의 3차원 격자 각각을 대표하는 거리 정보를 각 3차원 격자를 이루는 격자 내 점들의 평균 거리 정보로 결정하는 내시경 시스템.
KR1020130022535A 2013-02-28 2013-02-28 내시경 시스템 및 그 제어방법 KR102087595B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130022535A KR102087595B1 (ko) 2013-02-28 2013-02-28 내시경 시스템 및 그 제어방법
US14/134,415 US10492668B2 (en) 2013-02-28 2013-12-19 Endoscope system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130022535A KR102087595B1 (ko) 2013-02-28 2013-02-28 내시경 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20140108066A KR20140108066A (ko) 2014-09-05
KR102087595B1 true KR102087595B1 (ko) 2020-03-12

Family

ID=51388813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130022535A KR102087595B1 (ko) 2013-02-28 2013-02-28 내시경 시스템 및 그 제어방법

Country Status (2)

Country Link
US (1) US10492668B2 (ko)
KR (1) KR102087595B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ556655A (en) * 2005-01-19 2010-10-29 Dermaspect Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
JP6062112B2 (ja) * 2015-01-05 2017-01-18 オリンパス株式会社 内視鏡システム
US11463676B2 (en) * 2015-08-07 2022-10-04 Medicaltek Co. Ltd. Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
KR101675567B1 (ko) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
CN107920189B (zh) * 2016-10-11 2020-01-03 全崴科技有限公司 全景内视镜装置
KR101958286B1 (ko) * 2017-02-09 2019-03-15 (주)엘메카 카테터 이동의 정밀 제어 가능한 의료용 석션기
JP6904727B2 (ja) * 2017-02-24 2021-07-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
CN111213181A (zh) * 2017-07-07 2020-05-29 Time2市场公司 用于节点向量化的方法和***
US11562538B2 (en) * 2017-07-07 2023-01-24 Time2Market Sa Method and system for providing a user interface for a 3D environment
EP3705018A4 (en) * 2017-11-01 2020-10-14 Sony Corporation SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM
KR102060880B1 (ko) * 2018-03-05 2020-02-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 단안 카메라를 이용한 내시현미경 및 그 동작 방법
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
JP2020156800A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 医療用アームシステム、制御装置、及び制御方法
WO2023065988A1 (zh) * 2021-10-21 2023-04-27 上海微创医疗机器人（集团）股份有限公司 碰撞检测方法、装置、设备、可读存储介质
DE102021133248B4 (de) 2021-12-15 2023-06-29 Karl Storz Se & Co. Kg Endoskopie-Vorrichtung und Endoskopie-System
CN117503013A (zh) * 2022-07-29 2024-02-06 常州联影智融医疗科技有限公司 内窥镜***
CN115670352B (zh) * 2023-01-05 2023-03-31 珠海视新医用科技有限公司 内窥镜防碰撞报警装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034282A1 (en) * 2002-03-06 2004-02-19 Quaid Arthur E. System and method for using a haptic device as an input device
US20090054729A1 (en) * 2006-05-02 2009-02-26 Olympus Medical Systems Corp. Endoscope insertion support system and endoscope insertion support method
KR101091564B1 (ko) * 2009-12-22 2011-12-13 연세대학교 산학협력단 전방향 카메라
US20120209069A1 (en) * 2009-11-04 2012-08-16 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
US20130046137A1 (en) * 2011-08-15 2013-02-21 Intuitive Surgical Operations, Inc. Surgical instrument and method with multiple image capture sensors

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018509A (en) * 1989-02-21 1991-05-28 Olympus Optical Co., Ltd. Endoscope insertion controlling apparatus
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US6262738B1 (en) * 1998-12-04 2001-07-17 Sarah F. F. Gibson Method for estimating volumetric distance maps from 2D depth images
US6744569B2 (en) * 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
JP4885388B2 (ja) * 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
US20030152897A1 (en) * 2001-12-20 2003-08-14 Bernhard Geiger Automatic navigation for virtual endoscopy
US7559890B2 (en) 2003-02-26 2009-07-14 Ikona Medical Corporation Endoscopic imaging of an organ system
WO2005077253A1 (ja) 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP4916114B2 (ja) 2005-01-04 2012-04-11 オリンパス株式会社 内視鏡装置
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
IL181470A (en) * 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
IL186567A (en) * 2006-10-10 2014-02-27 Visionsense Ltd A method and system for navigating the colon
KR100941418B1 (ko) * 2007-03-20 2010-02-11 삼성전자주식회사 이동 로봇의 위치 인식 방법
US8514218B2 (en) * 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
EP2215960B1 (en) * 2007-11-29 2017-12-27 Olympus Corporation Endoscope curve control apparatus
JP5295555B2 (ja) * 2007-12-10 2013-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR20090062881A (ko) * 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
KR100926760B1 (ko) * 2007-12-17 2009-11-16 삼성전자주식회사 이동 로봇의 위치 인식 및 지도 작성 방법
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
US8374723B2 (en) * 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
JP5283015B2 (ja) 2009-03-24 2013-09-04 学校法人早稲田大学 測距装置及びそのプログラム、並びに測距システム
WO2011040111A1 (ja) * 2009-09-30 2011-04-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2011055613A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034282A1 (en) * 2002-03-06 2004-02-19 Quaid Arthur E. System and method for using a haptic device as an input device
US20090054729A1 (en) * 2006-05-02 2009-02-26 Olympus Medical Systems Corp. Endoscope insertion support system and endoscope insertion support method
US20120209069A1 (en) * 2009-11-04 2012-08-16 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
KR101091564B1 (ko) * 2009-12-22 2011-12-13 연세대학교 산학협력단 전방향 카메라
US20130046137A1 (en) * 2011-08-15 2013-02-21 Intuitive Surgical Operations, Inc. Surgical instrument and method with multiple image capture sensors

Also Published As

Publication number Publication date
US20140243596A1 (en) 2014-08-28
KR20140108066A (ko) 2014-09-05
US10492668B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
KR102087595B1 (ko) 내시경 시스템 및 그 제어방법
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
CN109381152B (zh) 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
CN100399978C (zh) 内窥镜***
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
US20140085421A1 (en) Endoscope having 3d functionality
WO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US9824445B2 (en) Endoscope system
JP2009213627A (ja) 内視鏡検査システム及びその検査方法
JP2016039874A (ja) 内視鏡画像診断支援装置、システム、方法およびプログラム
JP2017225700A (ja) 観察支援装置及び内視鏡システム
US20100262000A1 (en) Methods and devices for endoscopic imaging
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
Dimas et al. Endoscopic single-image size measurements
JPWO2017212725A1 (ja) 医療用観察システム
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP6987243B2 (ja) ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム
KR20120073887A (ko) 이미지 처리 장치 및 그 이미지 처리 방법
JP2009198787A (ja) 内視鏡装置
US20230078857A1 (en) Method of robust surface and depth estimation
KR20190141916A (ko) 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법
US20240062471A1 (en) Image processing apparatus, endoscope apparatus, and image processing method
JP2021141969A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right