KR20090113324A

KR20090113324A - 피하구조물을 물체 표면에 투사하는 장치와 방법

Info

Publication number: KR20090113324A
Application number: KR1020097018766A
Authority: KR
Inventors: 제프 디. 베리힐; 카를로스 브랑켄; 피터 미넨
Original assignee: 루미네트엑스 코포레이션
Priority date: 2007-02-14
Filing date: 2008-02-14
Publication date: 2009-10-29
Also published as: WO2008101129A1; EP2114253A1; US20100177184A1; JP2010517733A; CN101686820A; MX2009008653A

Abstract

본 발명은 적외선을 확산시켜 물체에 비춰서 반사된 적외선을 기반으로 물체 표면 밑에 매립된 구조물의 비디오 영상을 만든 다음, 이 영상을 물체 표면에 투사하는 장치에 관한 것이다. 본 발명의 장치와 방법에 의하면, 적외선을 체조직에 비춰 피하혈관의 선명도를 개선하고, 반사 적외선을 기반으로 체조직과 피하혈관의 영상을 만든다. 이 장치는 적외선을 내는 적외선 조명원과, 체조직에서 반사된 적외선을 받아 개선된 체조직 영상을 만드는 촬영기를 포함한다. 개선된 영상은 언샤프 마스크의 적용에 관한 콘트라스트 강조기술로 생성된다. 이 장치는 촬영된 체조직에 개선 영상을 투사하고 촬영기로부터 출력신호를 받는 프로젝터를 더 포함한다.

Description

피하구조물을 물체 표면에 투사하는 장치와 방법{SYSTEM AND METHOD FOR PROJECTION OF SUBSURFACE STRUCTURE ONTO AN OBJECT'S SURFACE}

본 발명은 적외선 확산에 관한 것으로, 구체적으로는 적외선을 확산시켜 물체에 비춰서 반사된 적외선을 기반으로 물체 표면 밑에 매립된 구조물의 비디오 영상을 만든 다음, 이 영상을 물체 표면에 투사하는 장치에 관한 것이다.

의학적 치료과정에서 환자의 신체인 팔다리에서 혈관을 찾아내야 할 경우가 많다. 혈관을 찾는 것은 어려운 일이고, 혈관이 작거나 상당량의 피하지방이나 기타 조직 밑에 있을 때 특히 어렵다. 이런 혈관을 찾는데 도움을 주도록 설계된 기존의 촬영장치는 그 성능이 좋지 않았다.

Contrast Enhancing Illuminator란 명칭의 미국특허 5,969,754에 소개된 장치는 피하혈관을 보기 위한 것이다. 이 장치에서는 표적 신체부분에 적외선을 확산해서 투사해 생긴 반사광을 이용해 피하혈관 영상을 만들고, 이 영상을 신체부분에 다시 투사하는데, 그 내용을 본 발명에서 참고하였다.

표적에 영상을 되투사하기 전에 영상이 개선되지만, 이런 개선기술은 경우에 따라 다른 것이 좋다. 또, 영상을 표적 신체부분에 되투사할 때, 피부의 톤이나 조직, 털의 양과 같은 요소로 인해 영상의 화질이 나빠지기도 한다. 따라서, 위의 특 허의 장치와 방법은 개선이 필요하다.

Diffuse Infrared Light Imaging system이란 명칭의 미국특허 6,556,858과 Imaging System Using Diffuse Infrared Light란 명칭의 미국특허 7,239,909의 내용도 본 발명에서 참고한 것으로, '754 특허의 장치와 방법을 개선한 것이지만, 여전히 피하혈관과 주변 조직 사이의 시각적 콘트라스트를 개선할 필요가 있다.

발명의 요약

본 발명의 목적은 피하구조물과 주변 조직 사이의 콘트라스트를 개선하는 장치와 방법을 제공해 기존의 이런 문제점을 극복하는데 있다.

본 발명의 장치와 방법에 의하면, 적외선을 체조직에 비춰 피하혈관의 선명도를 개선하고, 반사 적외선을 기반으로 체조직과 피하혈관의 영상을 만든다. 이 장치는 적외선을 내는 적외선 조명원과, 체조직에서 반사된 적외선을 받아 개선된 체조직 영상을 만드는 촬영기를 포함한다. 개선된 영상은 언샤프 마스크의 적용에 관한 콘트라스트 강조기술로 생성된다. 이 장치는 촬영된 체조직에 개선 영상을 투사하고 촬영기로부터 출력신호를 받는 프로젝터를 더 포함한다.

본 발명의 다른 특징에 의한 콘트라스트 강조기술에 의하면 해상도가 서로 다른 제1 및 제2 흐림필터들을 이용한다. 이런 제1 및 제2 흐림필터들을 이용할 때 입력 영상의 각각의 화소에 평균창을 적용한다.

또, 콘트라스트를 강조할 때 흐림필터들을 조정하여 언샤프 마스크를 만들거나, 화소의 값이 임계값보다 작을 때는 화소의 값이 소정의 값으로 변하도록 화소데이터에 임계값을 설정하거나, 각각의 화소의 값을 설정량만큼 차이나게 하여 보정된 화소값을 생성하고 모든 보정된 화소값이 소정 범위를 벗어나면 이 값을 소정 범위내의 값에 적용하거나, 콘트라스트를 강조할 때 선형축척을 적용하기도 한다.

또, 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조할 때 각각의 화소값의 절대값들을 처리단계마다 사용하거나, 최대필터창을 사용해 표적 화소의 값을 최대필터창 내부의 최대 화소값으로 설정하기도 한다.

또, 촬영기에 2가지 이상의 콘트라스트 강조옵션과 셀렉터가 달려있어, 사용자가 셀렉터를 사용해 콘트라스트 강조옵션을 선택하여 개선된 영상을 생성하기도 한다.

또, 체조직 부분이 혈관 구조를 갖는 체조직 부분이고, 사용자가 이런 혈관구조를 찾는데 도움이 되는 데이터가 개선된 영상에 들어있을 수도 있다. 따라서, 피하혈관을 찾거나 피하는데 관련된 과정을 본 발명의 장치와 방법을 이용해 실행할 수 있다.

발명의 기술적 특징

기술적 관점에서, 본 발명은 환자의 팔다리와 같은 신체 내부의 혈관을 찾는 상황에 이용된다. 기존에는, 이런 혈관찾기가 어렵기도 했지만, 두툼한 피하지방 밑에 있는 혈관은 특히 찾기가 어려웠다. 이런 혈관찾기에 사용되는 기존의 촬영장치는 성능이 떨어졌다. 따라서, 본 발명의 기술적 문제는 피하혈관과 주변 조직 사이의 시각적 콘트라스트를 강조하는 장치와 방법을 제공하는데 있다.

이 문제는 물체 표면 밑에 매립된 구조물의 선명도를 개선하는 장치로 해결된다. 의료기기는 물체에서 반사된 확산광을 받아 입력영상을 만들고, 이로부터 개선된 영상을 만들기 위한 촬영기와, 물체 표면에 매립구조물의 가시광 영상을 되투사하는 프로젝터를 포함한다.

본 발명의 기본적 기술사상은 매립 구조물들의 가장자리와 주변 조직의 콘트라스트를 더 강조하여 매립구조물을 쉽게 찾는 새로운 콘트라스트 강조기술이다. 그 결과, 환자의 팔다리에서 혈관을 찾는 일이 훨씬 더 쉬워진다.

이 장치는 체조직에서 반사되고 촬영기에 의해 촬영되는 적외선을 체조직에 비추는 적외선 광원을 구비한다.

본 발명의 콘트라스트 강조는 언샤프 마스킹 작업 외에도 입력영상의 각각의 화소값에 일정 값을 더하여 이루어지는데, 이때 각각의 화소값의 절대값을 취하거나 소정의 임계값을 이용한다.

도 1은 체조직과 같은 물체(32)에 고확산 적외선을 비춰 반사된 적외선을 기반으로 물체의 비디오영상을 만들기 위한 촬영장치(2)의 개략도이다.

도 2는 조명기(10)의 사시도이고, 도 3, 4는 도 2의 A-A선 단면도이다.

도 5는 본 발명에 따른 촬영장치의 블록도이다.

도 6a는 본 발명의 다른 예에 따라 적외선 확산을 이용한 촬영장치의 사시도이고, 도 6b는 도 6a의 단면도이다.

도 7a는 본 발명의 또다른 예에 따라 적외선 확산을 이용한 촬영장치의 사시도이고, 도 7b는 도 7a의 단면도이다.

도 8은 다른 촬영장치의 사시도이다.

도 9는 도 8의 A-A선 단면도이다.

도 10은 도 9의 B-B선 단면도이다.

도 11은 촬영장치의 블록도이다.

도 12는 세번째 촬영장치의 내부구조를 보여주는 사시도이다.

도 13은 네번째 촬영장치의 단면도이다.

도 14는 네번째 촬영장치의 개략도이다.

도 15는 주변광을 이용하는 본 발명의 다섯번째 촬영장치의 내부구조도이다.

도 16은 수신 영상의 잡티제거 처리를 위한 프로그램이다.

도 17은 수신영상의 잡티제거처리를 위해 C++ 언어로 된 프로그램이다.

도 18은 물체를 제위치에 놓는데 한쌍의 레이저 포인터를 이용하는 것을 보여주는 개략적 사시도이다.

도 19는 본 발명의 촬영장치의 보정과정을 보여주는 개략적 사시도이다.

도 20은 피부에 빛을 투사해 촬영한 피하혈관의 영상을 보여주는 사진이다.

도 21은 텍스트보더로 둘러싼 투사영상의 사진이다.

도 22는 도 21과 비슷하게 텍스트보더로 둘러싼 투사영상의 사진이지만, 이 사진에서는 촬영 영상이 제위치를 벗어나 텍스트보더의 초점이 맞지 않으며, 이는 물체가 카메라에 대해 제대로 위치하지 않았음을 의미한다.

도 23은 투사영상에 결합되어 함께 물체에 투사되는 텍스트보더를 보여준다.

도 24는 본 발명에 의해 손에 빛을 비췄을 때의 피하혈관 처리영상의 사진으 로, (텍스트보더가 빠진) 도 20 및 도 21과 비슷하지만, 텍스트보더는 초점이 안맞아 손이 제대로 위치하지 않은 상태이다.

도 25는 본 발명의 촬영장치의 보정과정의 양선형 변환계수의 해법을 보여주는 프로그램이다.

도 26은 보정과정중에 결정된 계수를 사용해 물체의 영상에 실시간 수정을 하는 C++ 프로그램이다.

도 27A는 본 발명에 따라 물체의 영상에서 콘트라스트를 개선하는 방법의 순서도이다.

도27B는 테스트 표적의 영상(구배선)과, 구배선의 선택구간의 화소값 그래프이다.

도 27C는 도 27A의 과정으로 개선된 뒤의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값 그래프이다.

도 28A는 영상의 콘트라스트를 개선하기 위한 다른 방법의 순서도이다.

도 28B는 도 28A의 과정으로 개선된 뒤의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소의 그래프이다.

도 28C는 인간의 팔에 되투사된 피하혈관의 개선된 영상을 보여준다.

도 29A는 본 발명에 따라 영상 콘트라스트를 개선하는 방법의 순서도이다.

도 29B는 도 29A의 과정으로 개선된 이후의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값의 그래프이다.

도 30A는 본 발명에 따라 영상의 콘트라스트를 개선하는 다른 방법의 순서도 이다.

도 30B는 도 30A의 과정으로 개선된 이후의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값의 그래프이다.

피부나 체조직은 700~900nm 정도의 근적외선은 반사하지만 혈액은 이 범위의 적외선을 흡수한다. 따라서, 적외선 조명하에 채취한 체조직의 비디오 영상에서, 혈관은 어두운 선으로 나타나고 주변 배경은 더 밝게 보인다. 그러나, 피하지방의 반사성 때문에, 일방향으로 향하는 직사광으로는 피하지방 밑에 있는 혈관을 보기가 어렵거나 불가능하다.

상당한 피하지방이 있는 체조직 부분을 고확산 적외선 등으로 조명하면서 근적외선으로 촬영하면 혈관과 주변 조직 사이에 적외선 직사광으로 보았을 때보다 훨씬 큰 콘트라스트(contrast)가 있음을 알 수 있다. 피하지방에서 반사된 대부분의 확산 적외선이 조준방향에서 떨어지게 되므로, 고확산 적외선을 조직에 비출 때 혈관과 주변조직 사이에 원하는 시각적 콘트라스트가 유지된다.

도 1은 체조직과 같은 물체(32)에 고확산 적외선을 비춰 반사된 적외선을 기반으로 물체의 비디오영상을 만들기 위한 촬영장치(2)의 개략도이다. 전술한 바와 같이, 물체(32)가 체조직이면, 체조직내 피하지방 밑에 있는 혈관이 비디오영상에서 선명하게 보일 수 있다.

촬영장치(2)의 조명기(10)는 여러 방향에서 적외선을 물체(32)에 비춘다. 조명기(10)는 여러개의 조명원(10a~f)을 포함하는데, 조명원마다 각각 다른 방향으로 적외선을 물체(32)에 비춘다. 도 1에 도시된 것과 같이, 적외선의 방향은 물체(32) 표면에 대해 수직부터 대략 평행한 방향까지 다양하다. 여기서, 이처럼 광범위한 여러 방향에서 물체(32)에 적외선을 비추므로, 적외선이 크게 확산된다.

나중에 자세히 설명하겠지만, 조명원(10a~f)은 각각 물체(32)를 향해 한줄기씩 빛을 비추기 위한 반사면이 바람직하다. 한편, 이들 조명원은 각각 광원이거나, 광원과 반사면의 조합일 수도 있다.

촬영장치(2)는 물체(32)를 보기위한 촬영기로서 비디오카메라(38)를 이용하는데, 본 명세서에서 촬영기는 카메라를 포함하는 개념이다. 카메라(38)는 도 1의 화살표 방향으로 물체(32)를 보면서, 물체에서 반사된 확산적외선을 받아 반사적외선을 기반으로 물체의 전자식 비디오영상을 만든다.

도 2는 조명기(10)의 사시도이고, 도 3은 도 2의 A-A선 단면도로서, 조명기(10)에 조명원(12)이 있다. 도 3과 같이, 조명원(12)의 램프(26)와 케이스(16)의 유도공(18) 사이에 콜드미러(34; cold mirror)가 있다. 콜드미러(34)는 700~1100nm 정도의 적외선 파장대를 벗어난 모든 빛을 반사한다. 유도공(18)을 향해 콜드미러(34)에 붙어있는 것은 적외선 투과필터(36)로서, 위의 적외선 파장대를 벗어난 빛은 감쇠시키고 위의 적외선 파장대의 빛은 투과시킨다. 따라서, 위의 적외선 파장대의 빛만 콜드미러(34)와 필터(36)를 지나 케이스(16)에 도달한다.

조명원(12)에서 적외선을 만들 수 있는 다른 방법도 있다. 예를 들어, LED로 조명원(12)을 하면 좋지만, 본 발명은 이에 한정되지 않는다.

도 4와 같이, 물체(32)에서 반사된 확산광을 기반으로 물체의 비디오영상을 만드는데 비디오카메라(38)와 렌즈(40)를 같이 이용한다. 이 비디오카메라(38)로는 Cohu에서 모델번호 631520010000으로 제작한 CCD 비디오카메라가 바람직하다. 렌즈(40)로는 Angenieux에서 제작한 25mm f-0.95 무비카메라 렌즈가 바람직하다.

카메라(38)와 렌즈(40)는 내부 반사부(24)의 관형 구간(24a) 안에 배치된다. 도 3과 같이, 관형 구간(24a)의 개방단부에 형성된 구멍을 향해 카메라(38)와 렌즈(40)를 겨냥한다. 이렇게 하면, 속이 빈 도광부(22)의 중심이 카메라(38)의 시야범위 안에 위치한다. 따라서, 카메라(38)는 물체(32)에서 반사되어 도광부(22)를 지나 구간(24a)의 개방단부로 들어간 빛을 받는다.

도 4에 도시된 바와 같이, 관형 구간(24a)의 개방단부에 적외선필터(42)를 배치한다. 이 필터(42)는 물체(32)에서 반사된 빛과, 케이스(16)에 들어간 모든 다른 빛을 받아서 700~1100nm 파장대 외의 모든 빛은 걸러낸다. 따라서, 필터(42)를 통해 렌즈(40)로 들어가는 빛은 선택된 파장대의 적외선이고, 이에 따라 카메라(38)는 조명기(10)에서 나와 물체(32)에서 반사된 적외선을 주로 받는다.

물체(32)의 반사광에 기초해 카메라(38)는 비디오신호 형태의 물체의 비디오영상을 만든다. 도 5와 같이, 비디오신호는 화질개선보드(44)에 보내지는데, DigiVision에서 제작하는 모델넘버 ICE3000이 화질개선보드으로 바람직하다. 화질개선보드(44)는 카메라(38)의 비디오신호를 근거로 개선된 비디오 영상신호를 생성하고, 이 신호는 비디오 캡처/디스플레이 보드(46)로 보내지는데, 예를 들면 Miro에서 제작한 모델번호 20-TD가 있다. 이 보드(46)는 디지털 저장기에 디지털 포맷으로 저장되는 영상신호에서 정지영상을 캡처하고, 또한 비디오모니터(48)에 실시 간 디스플레이하도록 비디오 영상신호를 포맷하기도 한다.

조명기(10)는 적외선을 확산시키는 다른 수단을 이용할 수도 있다. 예를 들어, 도 1의 조명원(10a~f)을 링 모양의 섬광원으로 형성하거나, 물체(32)의 표면 부근에 있는 플라스틱 확산기를 원형의 LED로 비출 수도 있는데, 후자의 경우 LED 각각이 조명원이 된다.

도 6에서 촬영장치(2)의 비디오 프로젝터(50)는 물체(32)의 음영 콘트라스트 개선을 위해 물체의 영상을 다시 물체(32)에 비춘다. '754 특허에서 소개한대로, 물체에 투사된 가시광 영상의 특징부들이 물체 자체의 특징부와 겹치면 물체의 특징들이 시각적으로 개선된다. 이렇게 겹쳐진 가시광 영상 때문에 물체의 밝은 부분은 더 밝아지고 어두운 부분은 더 어두워진다.

도 6의 실시예에서도 전술한 바와 마찬가지로 물체(32)에 확산적외선광(52)을 비추지만, 도광부(22)의 출구가 도 1~3의 출구에 비해 90도 꺾여 광경로가 구부러져 있다.

도 6b를 보면, 핫미러(54; hot mirror)와 같은 광분리기가 확산구조물(14)의 내부에서 나온 적외선(52)을 받아 도광부(22)를 통해 물체(32)를 향해 반사한다. 핫미러(54)는 물체(32)의 적외선 영상(56)은 카메라(38)를 향해 반사하고, 프로젝터(50)의 가시광 영상(58)은 도광부(22)를 통해 물체(32)로 보낸다.

미국특허 5,969,754에 설명된 바와 같이, 비디오카메라(38)의 비디오 출력신호는 프로젝터(50)에 대한 비디오 입력신호로 된다. 프로젝터(50)는 이런 비디오 입력신호를 근거로 물체(52)의 가시광 영상(58)을 핫미러(54)에 투사한다. 핫미 러(54)는 가시광 영상(58)을 도광부(22)를 통해 물체(32)에 보낸다. 프로젝터(50)에서 투사된 가시광 영상(58)과 카메라(38)에서 감지된 물체의 적외선 영상(56)을 제대로 정렬하면, 투사 가시광 영상(58)의 특징부들이 물체(32)의 대응 특징부들과 겹쳐지게 된다. 투사 가시광 영상(58)이 카메라(38)에서 받은 적외선 영상(56)과 동축일 때 특히 그렇다.

물체(32)가 체조직이고 본 발명을 이용해 피하혈관을 찾고자 할 때, 투사 가시광 영상(58)에서 혈관은 어두운 선으로 보인다. 따라서, 가시광 영상(58)을 체조직에 투사하면, 피하혈관이 가시광 영상(58)의 어두운 선 바로 밑에 놓이게 되어, 환자의 불편은 줄이면서 의료진이 피하혈관을 찾을 가능성은 크게 높일 것이다.

도 7은 콘트라스트 개선 조명기로 사용하기 위한 본 발명의 변형례를 보여주는데, 도 6의 실시예와 구성이 비슷하지만, 카메라(38)를 확산구조물(14) 밖에 배치한다. 카메라(38)의 위치가 달라 도 7의 핫미러(54)는 도 6에 비해 시계방향으로 90도 돌아가 있지만 도 6과 비슷하게 기능한다. 또, 적외선필터(42)를 도광부(22) 벽면에 설치하고, 조명원(12)의 빛이 도광부(22) 출구(23)로 향하도록 반사판(60)을 설치한다. 반사판(60)은 평면형이면서 물체(32)와 카메라(38)와 프로젝터(50) 사이로 빛이 지나갈 수 있도록 구멍이 뚫려있는 것이 좋다.

비교적 소형이고 신뢰성이 높은 촬영장치(70)가 도 8~11에 도시되었다. 이 촬영장치(70)는 체조직과 같은 물체(71)에서 반사된 적외선을 근거로 물체의 비디오영상을 만드는 것으로, 하우징(72) 안에 장치의 촬영요소들이 들어있다.

도 8에서, 하우징(72)은 직육면체로서, 길이는 3~5인치이고 폭은 3.5인치 정 도이다. 당업자라면 알 수 있겠지만, 이 촬영장치(70)는 여기서 설명된 예에 한정되지 않고, 직육면체가 아닌 원형이나, 다각형 등의 다른 형상을 가질 수 있다.

렌즈(75)가 달린 비디오카메라(74)는 하우징(72) 안에 배치되어, 물체(71)로부터 나오는 적외선을 감지 및 처리하는 기능을 한다. 카메라(74)는 물체(71)에서 반사된 적외선을 근거로 영상을 만든다. 도 8, 9에 도시된 바와 같이, 카메라(74)는 설치 벽면(78)의 구멍(76) 안에 설치되는데, 이때 렌즈(75)는 하우징의 내부(77)로 들어가는데, 이에 대해서는 후술한다. 구체적으로 카메라(74)는 하우징(72) 안의 중앙에 대칭으로 설치되는 것이 좋다. 이 경우, 카메라가 감지한 광량이 최대화되어 영상의 품질이 개선되므로, 결국 체조직내 피하지방 밑의 피하혈관의 화질이 개선된다.

장치(70)의 확산광을 물체(71)에 보내는 각종 요소들을 하우징(72) 안에 넣는 것이 좋다. 화살표(80)는 장치(70)에서 나온 확산광이고, 화살표(82)는 물체(71)의 반사광이다. 도 9는 도 8의 A-Atjs 단면도로서, 웰(78; well) 안에 여러개의 적외선 LED(84)를 LED 어레이(85) 형태로 배열하여 적외선을 낸다. LED 어레이(85)는 LED 평면을 형성한다. 각각의 LED(84)는 작동되었을 때 740nm 정도의 파장의 빛을 낸다. LED(84)로는 오스트리아 Roithner Lasertechnik에서 제조한 모델번호 ELD-740-524가 좋다.

도 10에 의하면, LED(84)를 웰(78) 옆에 있는 회로기판(86)에 설치한다. 도 9에 의하면 LED(84)를 8개 그룹(92,94)으로 하여 카메라(74) 둘레에 동심으로 배열한다. 이렇게 동심으로 LED를 배열하면 장치(70)의 확산광을 최대로 분산시킬 수 있다. LED 그룹(92,94)마다의 LED(84) 개수는 10개 이상이지만, 경우에 따라서는 그 이상이나 이하로 할 수도 있다. 또, LED 어레이(85)의 LED 그룹수도 많거나 적게 할 수 있다.

4개의 LED 그룹(92)은 LED 어레이(85)의 모서리(96)에 위치하고, 각 그룹의 LED 수는 15개 이상이 좋다. LED 어레이(85)의 옆면(98)에는 4개의 LED 그룹(94)이 배치되고, 각 그룹의 LED 수는 10개 이상이 좋다.

LED 어레이(85)를 회로기판(86)에 배치하는 것이 가장 좋다. 제어시스템(90)과 같이, 회로기판(86)의 제어회로는 LED 그룹(92,94)의 LED(84)의 동작을 제어한다. 도 11과 같이, 마이크로프로세서와 같은 제어시스템(90)과 전원(88)을 회로기판(86)에 연결한다. 제어시스템(90) 없이도 LED를 제어할 수 있는데, 예컨대 전원(88)을 온오프하여 LED 어레이(85)를 키거나 끄면 된다. 바람직한 듀티사이클(duty cycle)에 맞게 LED 어레이(85)의 LED(84)를 작동시키는데 전원(88)과 더불어 펄스변조기술도 이용할 수 있다.

도 11은 촬영장치(70)의 블록도로서, LED 어레이(85)가 회로기판(86)을 통해 전원(88)과 제어시스템(90)에 연결된다. 제어시스템(90)은 LED 어레이(85)를 제어하여 물체(71)에 적외선을 단속적으로나 연속적으로 비춘다. 즉, LED(84)를 하나나 여러개 선택하고 제어하여 물체(71)에 적외선을 단속적으로나 연속적으로 비춘다. 따라서, 촬영장치(70)는 LED 그룹(92,94)이나 LED(84) 자체의 다양한 배치나 조합에 맞게 LED 어레이에서 적외선을 방출한다.

도 10을 보면 LED 어레이(85)의 LED 방출면(102)에 접하게 제1 확산층(100) 을 배치하되, 접착제로 접착하여, LED의 빛을 확산시키는데, Physical Optics Corporation에서 제작한 LSD20PC10-F10x10/PSA란 상품과 같은 홀로그래픽 20도 디퓨저가 가장 좋다. 제1 확산층(100)은 길이 3.5인치, 폭 3.5인치, 두께 0.1인치가 좋다. LED(84)가 작동되면, LED 어레이(85)에서 방출된 적외선이 제1 확산층(100)에서 확산되어 적외선에 제1 확산량을 제공한다.

하우징(104)의 내면(104)을 백색 페인트 등으로 코팅하여, 제1 확산층(100)에서 이미 확산된 빛을 반사시킨과 더불어 더 확산시킨다. 제2 확산층(106)은 간격 LDD만큼 제1 확산층(100)에서 떨어진다. 제1, 제2 확산층들의 간격 LDD는 3인치 정도가 적당하다. 제2 확산층도 홀로그래픽 20도 디퓨저가 좋다. 제2 확산층은 길이 3.5인치, 폭 3.5인치, 두께 0.1인치이다.

제2 확산층(106)은 제1 확산층(100)에서 나와 내면(104)에서 반사된 기존 확산광을 한번 더 확산한다. 도 8에 도시된 바와 같이, 제1, 제2 확산층들은 평면이다.

도 10을 보면, 미합중국 델라웨어주 윌밍톤시의 DuPont에서 제작한 LUCITE와 같은 지지층(108)을 제2 확산층(106) 옆에 배치한다. 지지층(108) 옆에는 편광판(110)을 배치하는데, 미합중국 일리노이주의 Visual Pursuits에서 제작한 VP-GS-12U가 가장 좋고, 그 두께는 0.075인치이다.

이 장치(70)는 제1 확산층(100)을 통해 나온 빛을 확산하고, 제1 격실(72a)의 내면(104)에서 반사한 다음 제2 확산층(106)과 지지층(108)과 편광판(110)을 통해 계속 진행시켜 빛을 여러 단계로 확산한다. 따라서, 제1 확산층(100)과 내 면(104)과 제2 확산층(106)을 거치면서 확산도는 각각 다르다.

도 8과 같이, 편광판(110)의 중앙부(112)는 직경 1인치의 원형인 것이 바람직하다. 중앙부(112)는 형상과 크기가 카메라렌즈(75)에 일치하고, 그 편광 방향이 둘레(114)의 편광방향과 90도를 이루는 것이 좋다. 카메라렌즈(75)는 지지층(108)에 접한다. 도 8에서, 렌즈(75)는 하우징(70) 내부에 있으면서 편광판(110)의 중앙부(112)와 중심축이 일치한다. 렌즈(75)의 정면에 편광판의 중앙부(112)를 일치시켜 표면에 생기는 모든 밝은점(specular reflection)을 줄일 수 있다.

도 10에 도시된 바와 같이, 지지층(108)과 편광판(110)의 평면의 방향은 제1, 제2 확산층(100,106)의 평면 방향과 비슷한 것이 좋지만, 가장 좋은 것은 제1 확산층(100), 내면(104), 제2 확산층(106), 지지층(108) 및 편광판(110)이 물체(71)에 확산광을 제공하는 확산시스템(116)을 이루는 것이다(도 10 참조). 본 발명의 확산구조는 이에 한정되지 않고 몇가지 요소를 더 추가하거나 뺄 수도 있다. 예를 들어, 편광판(110)이나 어느 한쪽 확산층을 없애거나, 편광판만 없앨 수도 있다.

작동된 촬영장치(70)는 카메라(74)로 물체(71)에 확산광(80)을 비춰 비디오 영상을 만든다. 구체적으로, 전원(88)이 작동되면 LED 어레이(85)의 LED(84)에서 적외선을 방출한다. 제1 확산층(100)은 방출된 적외선의 제1 확산량을 결정한다. 내면(104)은 제1 확산층(100)에서 나온 확산광을 더 확산시키고, 제2 확산층(106)은 이 확산광을 더 확산시켜 지지층(108)과 편광판에 보낸다. 전술한 바와 같이, 물체(71)는 방출된 확산광(80)을 반사하여 환산반사광(82)을 내고, 이 빛을 카메 라(74)가 캡처하여 물체(71)의 비디오 영상을 만든다. 따라서, 촬영장치(70)는 혈관과 조직사이에 있는 여러가지 물체의 물질특성을 구분하는데 도움을 준다.

당업자라면 알 수 있겠지만, 이상 설명한 본 발명의 실시예는 본 발명의 범위내에서 변형이나 변경이 가능하다. 예를 들어, 확산층(100,106) 평면을 서로 평행이 아니게 조정하여 촬영장치(70)의 확산광을 여러 레벨로 제공할 수 있다. 또, LED 어레이(85) 평면을 확산층(100)과 평행하게 하는 것이 좋지만, 다양한 각도로 배치할 수도 있다. 따라서, 이상의 설명은 어디까지나 예를 든 것일 뿐이고, 본 발명의 범위를 한정하는 것은 아님을 알아야 한다.

조명원, 물체의 표면 밑의 내부구조의 영상을 보여주는 카메라, 처리된 영상을 물체 표면에 되투사하는 프로젝터의 구성도 다양하게 할 수 있다. 본 발명의 모든 실시예들이 많은 구조적 특징들을 공유하고 있으므로, 구조적으로 차이가 나는 부분에 대해서만 설명하고, 동일하거나 비슷한 구조에 대한 설명은 앞으로 생략한다.

물체의 내부 구조의 영상을 멀리 떨어진 모니터나 스크린이 아닌 물체 표면에 다시 투사한다는 점에서 본 발명이 기존의 기술과 다르기 때문에, 본 발명의 사용자들은 광축의 어긋남으로 인한 종래의 장치의 시차를 겪지 않는다. 카메라로 촬영한 내부구조의 영상의 첫번째 스펙트럼이 물체 표면에 되투사된 영상의 두번째 스펙트럼 범위 밖에 있어서, 카메라가 물체 표면에 퇴투사되는 영상에 가려지도록 하는 것이 본 발명의 중요한 특징이다. 내부구조 영상의 스펙트럼과 투사된 영상의 스펙트럼이 중첩되지 않으면, 내부구조의 영상처리시 투사된 영상에 의해 간섭되지 않도록 효과적으로 분리할 수 있다. 투사된 영상은 가시광 스펙트럼에 있고 카메라의 조명은 적외선 스펙트럼에 있으므로, 이런 비중첩 관계를 유지할 수 있다. 한편, 물체를 적외선이 아닌 광대역 주변광으로 조명하되, 적외선필터를 카메라 앞에 설치해 적외선 밖의 성분은 걸러내도록 하면, 카메라가 물체에서 반사된 광대역 확산광의 적외선 성분만을 볼 수 있다.

본 발명의 세번째 촬영장치(130)가 도 12에 도시되었다. 카메라로는 기존의 렌즈 달린 CCD 카메라(132)를 사용한다. 물체의 반사광과 CCD 카메라 사이에 제2 편광필터(134)를 배치해, 물체 표면에서의 정반사를 줄인다. 조명원, 제1 편광필터, 홀로그래픽 확산링, 유리커버는 모두 136으로 표시한 부분에 배치되고, 도 13, 14에 도시된 네번째 촬영시스템에서 자세히 설명한다.

마찬가지로, 프로젝터(138)에서 물체(O)에 영상을 투사한다. 투사된 영상을 보통의 실내조명에서 얼마나 잘 볼 수 있는지를 결정하는 인자가 프로젝터의 출력광 강도이므로 프로젝터(138)는 출력광 강도가 높아야 한다. 프로젝터(138)의 고강도 녹색 LED 조명원(140)이 프리즘(142)에 빛을 비추면, 프리즘(142)의 내부반사에 의해 빛이 꺾여서 DMD(Digital Mirror Device)와 같은 DLP(Digital Light Processing) 장치(144)로 향한다. DLP 장치에는 소형 거울이 빽빽히 배치되어 있어서 입사광을 투사렌즈(146)를 통해 표적 물체에 비추거나 비추지 않을 수 있어, 당업자에게 잘 알려진 화소 기반으로 빛을 보낼 수 있다. 프리즘(142)을 사용하면 장치를 소형화할 수 있고, 이런 프리즘은 당업자에게 잘 알려져 있다.

전술한 바와 마찬가지로, 소위 핫미러(148)를 45도 각도로 설치해 물체에서 반사된 적외선을 카메라(132)를 향해 반사한다. 핫미러(148)는 적외선과 같은 긴 파장의 빛은 반사하지만, 프로젝터(138)의 녹색광과 같은 고주파 광은 통과시킨다.

표적을 카메라(132)의 초점 위치에 제대로 배치하기 위해 2개의 레이저(150,152)를 더 설치하는데, 이에 대해서는 뒤에 자세히 설명한다.

도 13, 14에서는 본 발명의 네번째 촬영장치(154)에 대해 설명한다. 이 장치(154)는 이동식 카트(158)에서 위로 세워져 있는 장대(156)에 설치되므로, 운반이 용이하다. 정밀초점 스테이지(160)에 촬영장치(154)를 놓고 승강시키면서 표적 물체(O) 위에 촬영장치를 제대로 놓을 수 있다. 프로젝터(162)에는 DMD/DLP 칩(166)을 비추기 위한 525nm 녹색 LED 조명원(164)을 설치한다. 본 실시예에 적당한 조명원(164)은 강도 85루멘의 Teledyne Lighting model PE09-G 조명기가 좋다. DMD 칩(166)은 Texas Instrumentw의 0.7SVGA SDR DMD 칩이 좋은데, 이칩은 해상도가 848X600 화소이고 거울기울기는 10도이며 프레임율은 30Hz이다. 프리즘(168) 내부에서 조명원(164)의 빛이 반사되어 DMD 칩(166)으로 향했다가, 이곳에서 물체(O)를 향해 반사된다. DMD 칩(166)은 Optical Sciences Corporation 제작의 공지의 전자기판(167)에 의해 조절된다.

조명원(164)과 프리즘(168) 사이에 집광렌즈(170)를 배치하는데, 주로 OptoSigma에서 판매하는 모델넘버 013-2790-AZ55를 사용하는데, 이 렌즈의 표면에는 425-675nm 빛에 대비해 BBAR/AR을 코팅한다. 프로젝터의 빛이 프리즘(168)에서 나와 공지의 투사렌즈(172; 예, Besler 모델번호 8680)를 통과한 다음 핫미러(174) 로 가는데, 핫미러는 물체(O)에서 받은 적외선 영상을 제2 편광필터(178)를 통해 카메라(176) 쪽으로 반사한다. 적당한 카메라(176)는 Point Grey Research에서 판매하는 Firefly Camera로서 모델번호 FIRE-BW-XX이고, IEEE-1394 인터페이스를 통해 CPU(180)에 영상을 보낸다. CPU(180)의 여러 인터페이스 신호(181)는 당업자에게 잘 알려진 방식으로 촬영장치로 보내진다. 마찬가지로, 네번째 실시예에서도 물체(O)를 카메라(176)의 초점에 제대로 놓기 위해 2개의 레이저(150,152)를 이용한다.

네번째의 촬영장치(154)도 적외선 조명원(182), 제1 편광필터(184; 프로젝터의 영상이나 물체의 영상에 영향을 주지 않도록 가운데가 빈 환형임), LED(190)의 빛을 확산하는 홀로그래픽 확산링(186; 마찬가지로 가운데가 비어있음) 및 유리커버(188)를 갖는다. 적외선 조명원(182)은 원형과 같은 모양으로 여러개의 LED가 배열된 것으로, 중앙의 빈 공간을 투사영상과 물체의 영상이 통과한다. LED로는 물체(O)에 빛을 비추는 740nm 근적외선 LED(190)가 좋으며, 연구에 의하면 이런 구조에서는 적외선을 확산하여 물체를 충분히 비출 수 있다.

이제, 도 15를 참조하여 본 발명의 다섯번째 촬영장치(192)에 대해 설명한다. 본 실시예에서는 다른 실시예와 같이 LED(190)가 달린 조명원(182)을 사용해 물체를 비추는 것이 아니라, 더 넓은 스펙트럼의 주변광 L이나 태양광 S를 이용한다는 점에서 차이가 있다. 주변광은 약간의 적외선 성분을 갖고 상당한 확산을 하기는 하지만, 이런 적외선 성분은 그 강도가 조명원의 적외선보다 훨씬 낮다. 따라서, 본 실시예에서는 성능이 더 좋은 카메라가 필요하다.

본 실시예의 장치(192)도 마찬가지로 프로젝터(162), 녹색 조명원(164), 프리즘(168), 투사렌즈(172) 및 DMD 칩(166)을 갖는다. 소형화를 위해 다른 실시예에서 처럼 폴드미러(194; fold mirror)를 이용해 조명원(164)과 프리즘(168) 사이의 프로젝터 내부에서 빛을 직각으로 꺾는다. 본 실시예에서도 핫미러(174)를 이용한다. 여기서는, 카메라(198)와 물체(O) 사이의 광경로에 적외선필터(196)를 배치해 카메라가 촬영한 영상의 적외선 성분을 걸러낸다. 카메라(198)로는 독일 Basler Vision Technologies사의 모델넘버 A600-HDR를 사용하는 것이 좋다. 본 실시예의 장치는 좀더 환한 실내에서 사용할 수 있다는 장점을 갖는다.

실험에 의하면 어떤 사람은 팔다리에 털이 많아 피부 표면에 투사되는 피하구조를 선명히 보기가 힘들다. 모든 털, 흰털조차도 근적외선에서는 까맣게 보인다. 따라서, 혈관과 같이 크게 어두운 부분은 그대로 유지하면서 털과 같이 작고 어두운 잡티 부분은 제거하도록 영상을 처리한다. 도 16a, 16b는 차례대로 보이는 프로그램으로서, 수신된 영상에서 잡티를 처리하기 위한 프로그램이다. 동일한 잡티제거 과정을 2회 실시한 다음, 적응적 에지강조(adaptive edge enhancement) 과정을 통해 언샵마스킹(unsharp masking)을 한 다음 평활법(smoothing)을 통해 영상의 잡티를 없앤다. 이 프로그램은 영상처리분야의 당업자에게는 잘 알려진 것이다.

화소값이 정수범위(0....255)에 있는 수신 영상이 0.0과 1.0 사이의 부동 소수점값으로 변환된다. 변환된 영상은 시그마 값이 8화소인 가우스회선(Gaussian convolution)을 이용해 평활화된다. 이렇게 평활화된 영상은 시그마 값이 상당히 작고 아주 작은 털과 같은 작은 잡티가 남는다. 원래의 영상에서 가우스평활 영상 을 뺀 "차영상(difference image)"을 만들어 0을 중심으로 -1.0부터 1.0까지의 값을 만든다. 흰털을 포함한 모든 털은 근적외선에서 어둡게 나타나므로, 음의 화소값은 이런 털을 나타내고, 이에따라 이런 음수값 화소들은 가우스평활 영상에서 해당 화소로 대치된다. 이 단계가 첫번째 영상처리 단계이다. 다음, 이 영상을 위한 일련의 값을 생성하여, 원래의 "차영상"에서 음수값을 가졌던 모든 화소의 위치(즉, "털"의 위치)들을 1.0으로 설정하고 그외 다른 모든 화소의 위치는 0으로 설정하여, 0.0과 1.0의 값이 분포된 어레이를 만드는데, 여기서 털을 나타내는 화소는 1.0의 값을 갖고 다른 화소는 0의 값을 갖는다. 다음, 0.0부터 1.0 사이의 화소값을 갖는 원래 영상("iml")을 모든 "털 화소" 위치에서 0.015배 "부스트(boost)"g한다. 이것이 고도의 비선형 작업이므로, "부스트" 양은 겨우 1.5%이다.

동일한 작업과정(가우스 평활, 차영상 생성, 음수값 화소위치 확인, 음수값 화소(잡티)가발견된 영상의 “부스트”)을 되풀이하고, 그 영상을 다시 시그마 64화소의 가우스회선으로 평활화한다. 평활영상에서 “부스트” 영상을 다시 뺀 세 번째 차영상을 만들고, 이 차영상의 모든 화소의 절대값으로 형성된 영상을 만든다. 이런 절대값 영상을 다시 시그마 64화소의 가우스회선으로 평활화하고, 세 번째 차영상을 평활화된 절대값 영상으로 나누어 생긴 분할영상을 다시 시그마 4화소의 가우스회선으로 평활화한다.

이상의 잡티제거 알고리즘을 통해 잡티(털)가 없는 피하 혈관(표적 피하구조)의 콘트라스트를 설정하여, 적응적 언샤프 마스킹 에지 강조(adaptive unsharp masking edge enhancement)를 위한 영상을 준비해 최종 영상의 콘트라스트를 설정 할 수 있다. 시그마 값이나 임계값과 같은 변수는 대상의 연령, 착색도 등에 의해 변할 수 있다.

도 17a~f는 순서대로 표시한 것으로 도 16의 프로그램을 기반으로 수신된 영상의 잡티제거를 위해 C++언어로 표시한 프로그램이지만, 좀더 빠른 수학계산을 위해 인텔 영상처리 라이브러리(IPL; image processing library)를 이용한다.

본 발명의 모든 실시예는 피하구조의 영상을 카메라, 특히 렌즈와 물체 사이의 거리가 적절한 카메라에 보이는대로 유지하는 메커니즘을 갖는다. 도 18에 도시된 바와 같이, 이런 메커니즘에서는 한쌍의 레이저(150,152)를 이용하는데, 레이저 각각의 레이저빔(200,202)은 서로 다른 각도로 물체를 향해 모이다가, 표적이 카메라에서 적당한 거리인 도면의 평면(206) 위치에 있을 때 2개의 레이저빔이 만나 한 점(204)에 나타난다. 표적이 적정 거리 이상으로 카메라에 가까이 있거나(도면에서 208 평면) 멀리 있으면(도면에서 210 평면), 2개의 레이저빔이 제1 쌍점(212,214)이나 제2 쌍점(216,218) 형태로 각각 208 평면이나 210 평면에서 물체 표면에 나타나고, 물체 표면에 한 점(204)에 모인 형태로 보이지 않는데, 이는 피하 구조물이 카메라의 초점에 있지 않고 피하구조물의 영상 초점을 맞추려면 카메라와 물체의 거리에 변화를 주어야 함을 의미한다. 이런 레이저(150,152)는 도 12~14에서도 볼 수 있다. 본 발명에 사용하기에 적당한 레이저는 오스트리아 비엔나 소재 Roithner Lasertechnik사의 모델번호 LM-03이 있다.

표적 위치추적 메커니즘의 두 번째 실시예는 관찰되는 내부 구조와 상관없이 텍스트보더(text border)와 같은 인식패턴을 투사영상에 추가한다. 투사된 인식패 턴은 표적물체가 프로젝터에서 적당한 거리에 있을 때 표적 물체의 표면에 초점을 맺어 육안에 의해서만 인식되므로, 표적물체 표면 밑의 내장 구조물을 카메라에서 적당한 거리에 둘 수 있다. 필요에 따라 어린애들이 좋아하는 만화인물이나 병원의 로고를 적절히 인식패턴으로 사용할 수 있다. 매립 구조물의 투사 영상이 잡티제거과정에서 흐릿해지는 동안, 인식패턴의 초점이 흐려진다면 육안으로 이를 금방 알아챌 수 있다. 이런 두 번째 실시예의 장점은, 레이저가 아닌 인식패턴을 사용한다는 것으로, 레이저를 사용할 경우 적절한 안전조치를 취하지 않으면 시각상실과 같은 심각한 손상을 입을 수 있다.

도 21은 텍스트보더로 둘러싼 투사영상의 사진이다.

도 23은 투사영상에 결합되어 함께 물체에 투사되는 텍스트보더를 보여준다. 프리즘 내부에서 영상이 반사되는 경우 일어나는 영상반전 때문에, 여기서는 텍스트보더가 반전된 것으로 보이지만, 투사되었을 때는 제대로 보인다. 투사영상을 텍스트보더와 결합하기 전에 적절히 재단하여 선명하게 구분되도록 한다.

도 24는 본 발명에 의해 손에 빛을 비췄을 때의 피하혈관 처리영상의 사진으로, (텍스트보더가 빠진) 도 20 및 도 21과 비슷하지만, 텍스트보더는 초점이 안맞아 손이 제대로 위치하지 않은 상태이다.

도 19는 비디오 프로젝터(138,162)가 형광스크린(222)에 녹색 표적패턴(220) 을 투사하는 보정방법을 보여주는데, 여기서는 투사된 4-도트 녹색 표적패턴(220)을 적외선 카메라(132)에서 볼 수 있는 자주색 빛으로 바꾼다. 컴퓨터 프로그램에 의해 4군데 투사 도트(P1~P4)의 패턴 위치가 직각좌표인 (x1,y1), (x2,y2), (x3,y3), (x4,y4)로 기록되고, 정렬상태가 옳은 도트의 원하는 위치는 (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)로 기록되며, (도 25az와 도 25b의 함수를 풀기위한) 양선형 변환방정식에 사용될 보정계수 (a,b,c,d,g,h,k,f)를 계산하여 카메라와 프로젝터 사이의 배율, 회전 및 오정렬을 수정한다. 도 25a~b에서는 보정중에 측정한 값들의 함수로서 양선형 변환계수를 해결하는데 MAPLE 9 컴퓨터 방정식을 이용하는 것을 보여준다. 이런 보정 계수들은 영상의 좌표 (x,y)를 보정된 영상을 만드는데 필요한 수정된 좌표 (X,Y)로 변환하는데 사용된다. 도 26은 한번 보정된 이들 좌표값들을 인텔사의 프로세서에서 제공하는 기존의 영상처리 라이브러리 수학루틴에 사용해 양선형 변환방정식에 의한 고성능 영상정렬수정을 하는 방법을 보여준다. 고속 영상처리를 위해 부동소수점이 아닌 정수산술법을 이용한 런타임 계산을 한다.

이런 보정과정을 통해 각각 (카메라에서 보아) 320x240 화소의 크기를 갖는 직사각형의 모서리 반경이 (카메라에서 보아) 25화소인 4개의 도트 P1~P4로 이루어진 테스트패턴(220)을 형광스크린에 투사한다. 예를 들어, 카메라(132)의 해상도는 640x480 화소이지만, 프로젝터(138)의 해상도는 1024x780 화소이다. 반경이 4~50 화소인 도트에 대한 실험에 의하면, 100개 샘플의 표준편차는 반경 5화소의 도트에서 25화소의 화소까지 급격히 감소하였고, 반경 50화소를 넘으면 훨씬 서서히 감소 하였다.

본 발명의 보정법을 실시하기 위해, 서로 떨어진 4개의 도트(P1~4)로 된 테스트패턴을 제1 스펙트럼(녹색광이 좋음)으로 형광스크린(222)에 투사하면, 적외선이나 그에 가까운 제2 스펙트럼의 빛, 예컨대 카메라(132)에서 보이는 적색광이 생기는데, 심지어는 카메라가 적외선 투과필터를 통해서 표적 물체를 볼 수도 있다. 이어서, 보정 소프트웨어를 이용해 4개 도트의 관찰 위치를 측정하고 양선형 변환방정식의 수정계수(a,b,c,d,g,f,h,k)를 계산하고, 이들 계수를 양선형변환의 변수로 이용해 카메라와 프로젝터 사이의 오정렬 에러(회전, 이동, 확대)를 수정하는데, 이때 투사영상의 오정렬 수정을 위해 투사 이전에 미리 영상을 비틀어둔다. 이런 과정은 수평수직 방향으로 서로 다른 확대에러나 이동에러를 수정할 수 있다.

테스트에 의하면, 이런 보정과정을 거쳐 카메라의 화소사이즈의 절반 범위내에서 ±25.4 mm까지 오정렬을 수정할 수 있다. 테스트패턴의 4개 도트 부근의 영상이 정렬되어 전체적으로 좋아보이는 것이 최선이다.

모든 실시예의 특징들이 지금까지의 설명에서 이해한 것과는 다르게 사용될 수도 있다. 예를 들어, 별도의 확산 적외선을 사용하지 않고 주변광의 적외선 성분을 물체에 비추거나, 카메라에서 물체까지 원하는 거리를 유지하는데 피하 구조물의 투사영상에 인식패턴을 결합하거나 별도의 표적검색기를 사용하기도 한다.

이상 설명한 바와 같이, 본 발명의 장치와 방법에서는, 수신영상을 표적에 되투사하기 전에 다양한 영상처리기술을 이용해 수신영상을 시각적으로 개선할 수 있다. 예를 들어, 언샤프 마스크를 채택한 잡티제거처리를 이용해 원래의 영상(초 점이 맺힌 영상)에서 흐린 부분을 제거해 에지가 강조된 영상을 만들 수 있다. 물론, 다른 기슬도 이용할 수 있다.

도 27A는 본 발명에 따라 물체의 영상에서 콘트라스트를 개선하는 방법의 순서도이다. 27-1 단계에서, 영상처리기인 카메라에서 영상데이터가 수신된다. 영상데이터는 기존의 디지털 포맷, 예컨대 0-255 그레이스케일의 화소데이터로 처리된다. 27-2 단계에서, 흐림필터를 이용해 흐려진 영상을 만든다. 이런 블러링(blurring; 흐리게 처리하는 것)은 속도개선을 위해 컨벌루션(convolution)을 통해 공간 도메인이나 주파수 도메인에서 일어난다. 27-3 단계에서 원래의 영상에서 흐려진 영상을 추출해, 언샤프 마스크를 만든다(27-4 단계). 언샤프 마스크의 절대값(ABS)을 취하고(27-5 단계), 다른 흐림필터를 사용한다(27-6 단계). 언샤프 마스크의 흐려진 절대값으로 언샤프 마스크를 분할하고(27-7 단계), 연산결과를 조정해 최종적으로개선된 영상을 만든다(27-8 단계).

본 발명에 의하면, 영상의 각 화소에 "평균창(averaging window)"을 적용해 흐려진 영상을 만든다. 평균창이란 처리중인 영상보다 커널사이즈(kernel size)가 작은 창을 말한다. 영상의 각각의 화소를 평균창 중심에 놓고, 관심 화소의 값을 평균창 내부의 화소 전체의 평균값으로 한다. 예를 들어, 해상도가 640x480 화소인 영상에서, 크기가 192x192인 평균창은 첫 번째 흐림필터처럼 좋은 결과를 낸다고 한다. 평균창을 영상 경계선 넘어 영상 외부의 화소에 적용할 때는 평균창의 화소들을 복사해 평균창을 채운다.

영상내 각 화소에 평균창을 적용하면, 흐려진 영상이 만들어진다. 도 27A의 방법에서, 각각 다른 2가지 시간에 흐림필터를 적용했더니, 사이즈가 작은 2번째 흐림필터가 첫 번째 흐림필터보다 더 좋은 결과를 얻었다. 첫 번째 평균창의 커넬사이즈는 192x192 화소이고, 두 번째 사이즈의 커넬사이즈는 96x96 화소로서 영상의 샤프니스(sharpness) 효과가 더 좋았다. 당업자라면 알 수 있겠지만, 공간 도메인에서 처리할 경우 커널사이즈가 작으면 더 빠른 처리가 가능하고, 본 발명은 특정 커널사이즈에 한정되지 않는다.

본 발명에 의하면, 선형축척법으로 최종 콘트라스트 조정을 한다(27-8 단계). 예를 들어, 이 단계 이전에 실행된 디비전 기능의 결과 16비트 정수가 생기고, 이 값은 최소최대값을 이용해 8비트 정수로 축척될 수 있다. 축척과정 동안, 최소(Min) 및 최대(Max) 변수들이 스프레드(spread)를 결정하므로, 콘트라스트의 정도가 증가한다. 소스화소 p와 목적화소 p'를 그리는데 이용되는 축척공식은:

p' = dst_Min + k*(p - src_Min)인데,

여기서 k=(dst_Max-dst_Min)/(src_Max-src_Min)이다.

영상처리 결과가 도 27B~C이다. 도27B는 테스트 표적의 영상(구배선)과, 구배선의 선택구간의 화소값 그래프이다. 도 27C는 도 27A의 과정으로 개선된 뒤의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값 그래프이다. 도면에서 보다시피, 구배선 가운데 어두운 중심선이 있는 것과 같은 자세한 영상이 생긴다.

블러링 단계를 위해 더 작은 평균창을 도 27A의 방법에 적용하면 더 자세한 영상을 얻을 수 있다. 사이즈 96x96 화소의 첫 번째 평균창과 48x48화소의 두 번째 평균창을 27-6 단계에 적용하면 더 자세한 영상을 얻을 수 있다.

영상처리를 더 하여 시각적으로 더 유용한 피하혈관 영상을 만들 수 있다. 예를 들어, 가장자리나 중심이 더 선명한 혈관의 영상은 콘트라스트 개선기술로 만들 수 있다. 도 28A는 영상의 콘트라스트를 개선하기 위한 다른 방법의 순서도이다. 28-1 단계에서 처리할 영상을 받으면, 28-2 단계에서 흐림필터를 이용해 흐려진 영상을 만든다. 28-3 단계에서 흐려진 영상을 원래 영상에서 추출하고, 28-4 단계에서 언샤프 마스크를 만든다. 28-5 단계에서 언샤프 마스크의 절대값을 취하고, 28-6 단계에서 흐림필터를 적용한다. 언샤프 마스크의 절대값은 28-7 단계에서 언샤프 마스크의 흐려진 절대값으로 분할되고, 그 결과를 조정해 최종 개선된 영상을 만든다(28-8 단계).

도 28A의 방법에서, 각각 사이즈 76x76, 40x40의 첫 번째와 두 번째 평균창을 이용하면 결과가 더 좋았음이 밝혀졌다.

영상처리 결과가 도 28B~D이다. 도 28B는 도 28A의 과정으로 개선된 뒤의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소의 그래프이다. 도면에서 보듯이, 구배선의 가장자리가 더 어둡게 보이는 자세한 영상이 생겼다. 도 28C는 인간의 팔에 되투사된 피하혈관의 개선된 영상을 보여주는데, 좌측은 도 27A의 방법으로, 우측은 도 28A의 방법으로 각각 생긴 것이다. 당업자라면 알 수 있겠지만, 2가지 방법에는 뚜렷한 차이가 있다.

도 28D는 도 28A의 각 단계에서의 인간의 신체의 영상이다. 상단 좌측 영상은 신체의 원래 영상, 상단 우측 영상은 신체의 흐려진 영상, 중간 좌측 영상은 원 래 영상에서 흐려진 영상을 추출한 결과, 중간 우측은 도 28A의 처리결과 자세하게 개선된 영상, 하단의 2 그래프는 바로 위의 2개 영상 각각의 화소데이터의 그래프이다.

도 29A는 본 발명에 따라 영상 콘트라스트를 개선하는 방법의 순서도이다. 29-1 단계에서 카메라로부터 영상을 받고, 29-2 단계에서 흐림필터를 이용해 흐려진 영상을 만들고, 29-3 단계에서는 흐려진 영상을 원래의 영상에서 추출한 다음, 29-4 단계에서 언샤프 마스크를 만든다. 29-5 단계에서 언샤프 마스크의 절대값을 취해 흐림필터를 적용한다(29-6 단계). 언샤프 마스크의 흐려진 절대값으로 언샤프 마스크를 분할하고(29-7), 그 작업결과를 조정해 개선 영상을 만든다(29-8). 다음, 각각의 화소를 임계휘도와 비교한다(29-9). 화소가 임계값보다 작으면, 이 화소를 최대레벨로 설정한다(예; 0~255의 콘트라스트 스케일에서 255).

29A의 방법에서, 각각 96x96 및 40x40 크기의 첫 번째 및 두 번째 평균창을 이용했더니 더 좋은 결과를 얻었다.

영상처리 결과가 도 29B이다. 도 29B는 도 29A의 과정으로 개선된 이후의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값의 그래프이다. 도면에서 알 수 있듯이, 구배선의 가장자리가 어둡고 중앙이 더 밝은 콘트라스트에 의해 더 자세한 영상이 생긴다.

도 30A는 본 발명에 따라 영상의 콘트라스트를 개선하는 다른 방법의 순서도이다. 30-1 단계에서 카메라에서 처리할 영상을 받는다. 30-2 단계에서는 흐려진 영상이 흐림필터에 의해 생성된다. 흐려진 영상이 30-3 단계에서 원래의 영상에서 추출되고, 언샤프 마스크가 만들어진다(30-4). 언샤프 마스크의 절대값이 취해지고(30-5), 여기에 흐림필터가 적용된다(30-6). 언샤프 마스크의 절대값으로 언샤프 마스크를 분할하고(30-7), 그 결과를 조정해 개선된 영상을 만든다(30-8). 다음, 영상의 각 화소를 조정해 차이값만큼 줄이거나 늘인다. 일례로, 이 값이 상수만큼 감소되고, 그 결과값인 마이너스 값을 다시 적용한다. 예컨대, 그레이 스케일이 0-255이고 상수가 30이라면, 25의 영상값이 허용한도인 -5로 감소되고, 이 값을 적용해 250으로 된다. 차이값을 이용해 화소값을 늘이면, 화소값이 255 내지 0으로 된다.

도 30A의 방법에서, 각각 96x96 및 40x40 크기의 첫 번째 및 두 번째 평균창을 이용했더니 더 좋은 결과를 얻었다.

영상처리 결과가 도 30B로서, 도 30A의 과정으로 개선된 이후의 테스트 구배선의 영상과, 구배선의 선택구간의 후처리 화소값의 그래프이다. 도면에서 알 수 있듯이, 구배선의 가장자리가 어둡고 중앙이 더 밝은 콘트라스트에 의해 더 자세한 영상이 생긴다. 도 30C는 사람의 팔에 되투사한 피하혈관의 영상으로서, 좌측은 도 27A의 방법으로 처리된 영상이고, 우측은 도 30A의 방법으로 처리된 영상이다. 당업자라면 알 수 있겠지만, 둘 사이에는 뚜렷한 차이가 있다.

본 발명의 다른 실시예에 의하면, 영상에 “최대필터”를 먼저 적용하면 신체의 털 때문에 생기는 영상의 잡티나 간섭을 줄일 수 있다. 최대필터는 흐림필터와 비슷하지만, 각 화소에 평균창이 아닌 최대필터창을 적용하는 것이다. 최대필터창은 관심 화소를 커버하는 창의 모든 화소의 최대값을 확인하고 관심화소를 최대 값으로 설정한다. 사이즈 12x12 화소의 최대필터창 중심에 관심 화소를 두었더니 좋은 결과가 얻어졌다.

일례로, 도 27A의 방법에 최대필터창을 적용하면 영상에 대한 털의 영향을 줄일 수 있다. 각각 192x192, 96x96 사이즈의 첫 번째 및 두 번째 평균창을 채택하면 그 결과가 좋았다.

로그 비디오신호나 디지털 비디오신호를 이용해 하드웨어, 소프트웨어, 펌웨어를조합하는 등의 기존의 방법으로 디지털 영상처리를 할 수 있다. 기존의 C 언어와 같은 컴퓨터언어로 된 프로그램으로 과정을 처리하는 것을 예로 들어 본 발명을 설명했지만, 이는 어디까지나 예를 든 것일 뿐이고, 본 발명은 특정 컴퓨터 언어에 한정되지 않는다.

Claims

체조직 부분에서 반사된 적외선을 입력 영상 형태로 받아 상기 체조직 부분의 개선된 영상을 생성하되, 상기 입력 영상에 언샤프 마스크를 적용하는 것을 포함해 콘트라스트를 강조하여 영상을 개선하는 촬영기; 및

상기 개선된 영상을 받아 상기 체조직 부분에 투사하는 프로젝터;를 포함하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 체조직 부위를 향해 적외선을 발사하는 적외선 광원을 더 포함하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 콘트라스트를 강조할 때 해상도가 서로 다른 제1 및 제2 흐림필터들을 이용하는 것을 특징으로 하는 촬영시스템.
제3항에 있어서, 상기 제1 및 제2 흐림필터들을 이용할 때 입력 영상의 각각의 화소에 평균창을 적용하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 콘트라스트를 강조할 때 흐림필터들을 조정하여 언샤프 마스크를 만드는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조하는데 있어서 화소의 값이 임계값보다 작을 때는 화소의 값이 소정의 값으로 변하도록 화소데이터에 임계값을 설정하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조하는데 있어서 각각의 화소의 값을 설정량만큼 차이나게 하여 보정된 화소값을 생성하고, 모든 보정된 화소값이 소정 범위를 벗어나면 이 값을 소정 범위내의 값에 적용하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 콘트라스트를 강조할 때 선형축척을 적용하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조할 때 각각의 화소값의 절대값들을 처리단계마다 사용하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조할 때 최대필터창을 사용해 표적 화소의 값을 최대필터창 내부의 최대 화소값으로 설정하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 촬영기에 2가지 이상의 콘트라스트 강조옵션과 셀렉터가 달려있어, 사용자가 셀렉터를 사용해 콘트라스트 강조옵션을 선택하여 개선된 영상을 생성하는 것을 특징으로 하는 촬영시스템.
제1항에 있어서, 상기 체조직 부분이 혈관 구조를 갖는 체조직 부분이고, 사용자가 이런 혈관구조를 찾는데 도움이 되는 데이터가 개선된 영상에 들어있는 것을 특징으로 하는 촬영시스템.
⒜ 체조직에서 반사된 적외선을 받아 입력 영상을 만드는 단계;

⒝ 상기 입력 영상의 콘트라스트를 강조하여 피하 구조물을 보여주는 개선 영상을 만드는 단계; 및

⒞ 상기 개선 영상을 체조직에 투사하여 피하 구조물을 겹쳐서 보이게 하는 단계;를 포함하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 초기 단계에서 체조직에 적외선을 비추는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 콘트라스트를 강조할 때 해상도가 서로 다른 제1 및 제2 흐림필터들을 이용하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제15항에 있어서, 상기 제1 및 제2 흐림필터들을 사용할 때 입력 영상의 각각의화소에 평균창을 적용하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 콘트라스트를 강조할 때 흐림필터들을 조정하여 언샤프 마스크를 만드는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조하는데 있어서 화소의 값이 임계값보다 작을 때는 화소의 값이 소정의 값으로 변하도록 화소데이터에 임계값을 설정하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조하는데 있어서 각각의 화소의 값을 설정량만큼 차이나게 하여 보정된 화소값을 생성하고, 모든 보정된 화소값이 소정 범위를 벗어나면 이 값을 소정 범위내의 값에 적용하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 콘트라스트를 강조할 때 선형축척을 적용하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조할 때 각각의 화소값의 절대값들을 처리단계마다 사용하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 입력 영상이 화소데이터로 구성되고, 콘트라스트를 강조할 때 최대필터창을 사용해 표적 화소의 값을 최대필터창 내부의 최대 화소값으로 설정하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 촬영기에 적용할 콘트라스트 강조옵션을 선택해 상기 개선 영상을 만드는 단계를 더 포함하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.
제13항에 있어서, 상기 체조직 부분이 혈관 구조를 갖는 체조직 부분이고, 이런 혈관구조를 찾는 단계를 더 포함하는 것을 특징으로 하는 피하 구조물의 선명도 개선방법.