KR102176196B1

KR102176196B1 - 표재정맥 실시간 탐지 장치 및 방법

Info

Publication number: KR102176196B1
Application number: KR1020190082808A
Authority: KR
Inventors: 공성호; 정성호; 이도희
Original assignee: (주)메디센텍; 경북대학교 산학협력단
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2020-11-09

Abstract

본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)의 형태를 검출하고, 고속 영상처리 알고리즘을 적용하여 혈관이 위치한 원래의 피부표면에 실시간으로 투사(投射, Projection)하는 표재정맥 실시간 탐지 장치 및 방법에 관한 것이다.

Description

표재정맥 실시간 탐지 장치 및 방법{Real-time detection device and method of superficial vein}

혈관주사(IV Injection)는 많은 의료영역에서 행해지는 중요한 의료시술의 하나로, 대부분의 경우 숙련된 의료인력이 큰 무리없이 IV 주사 시술을 하고 있으나, 간혹 혈관을 육안으로 파악하기 어려운 비만환자나 특이체질 환자, 아동 환자 등의 경우에는 IV 주사 시술에 어려움을 겪고 있다.

특히 중증의 질병으로 장기 입원하는 환자의 경우, 링거 수액을 거의 24시간 투여해야 하므로 항상 IV 주사가 되어 있는 상태로 있어야 하고, 이 경우 반복된 수액투여로 혈관이 약해지고 약한 부위를 피해서 반복 주사하다 보면 결국 팔, 손, 발목 등에서 더 이상 IV 주사를 실시할 위치를 찾지 못하게 되며, 종국에는 중심정맥관(Central Venous Line) 삽입을 통하여 약물을 주입하는 경우가 발생한다.

이러한 이유로 IV 주사과정에서 혈관이 아닌 곳에 약물을 주입할 경우, 침윤, 혈종, 신경 손상, 급성 구획 증후군 등의 증상이 발생된다.

상기에서 침윤[Infiltration]은 정맥주사액이 정맥 밖의 주위조직들로 새어나가는 것을 뜻하고, 혈종[Hematoma]은 정맥주사 부위의 주변조직으로의 출혈이 일어나 형성되는 좌상을 말하며, 신경 손상[Nerve damage]은 바늘 삽입 시 신경초를 실질적으로 침범하는 경우 혹은 오랜 기간 동안 정맥주사 카테터(catheter)에 의해 신경이 압박된 경우에 발생되며, 급성 구획 증후군[acute compartment syndrome]은 외상에 의해 한정된 공간의 압력이 한계범위까지 증가하여 혈류의 감소로 이어지는 것으로 조직의 허혈과 괴사 및 기능적 손상이 발생하는 것을 말한다.

한편, 성형외과/피부과 영역의 경우에는 미용 시술시 혈관을 피해야 하는 경우가 대부분으로, 최근 유행하고 있는 필러(충전재) 시술의 경우 미세혈관과 신경이 다량으로 분포하고 있는 얼굴에 시술을 해야 하는데, 잘못된 시술로 인한 사고가 자주 발생하는 편이다.

따라서 정확한 혈관 위치와 상태를 파악할 수 있는 기술의 개발이 절실히 요구되고 있다.

등록특허 10-1494638

본 발명의 목적은 근적외선(N-IR)의 반사원리를 이용해 혈관정보를 파악하고, 파악된 혈관정보를 가시(Visible) 영역의 이미지로 재구성하여 측정된 원위치(In-Situ)에 실시간으로 정확하게 투사(Projection)함으로써, 육안으로는 판별되지 않는 혈관의 위치와 형태 등을 실제 모습 그대로 파악하면서 IV주사(또는 필러시술 등)를 할 수 있게 되어, IV주사과정 및 성형시술에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하는 표재정맥 실시간 탐지장치 및 방법을 제공하는 데 있다.

또한 표재정맥 탐지 과정에서 왜곡이나 노이즈가 발생하지 않도록 하여 정확하고 선명한 혈관 영상이 출력되도록 하는 표재정맥 실시간 탐지 장치 및 방법을 제공하는 데 있다.

상기한 목적을 달성하기 위한 본 발명의 특징은, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈; 피하혈관의 영상을 획득하는 하나 이상의 렌즈와 상기 렌즈로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서를 포함하여 구성되어 피하혈관 데이터를 획득하는 카메라 모듈; 상기 카메라모듈로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈; 상기 이미지 프로세서 모듈에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP) 모듈; 을 포함하여 구성되는 표재정맥 실시간 탐지 장치에 있다.

그리고, 본 발명의 다른 특징은 상기 표재정맥 실시간 탐지 장치를 사용하여, 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 표재정맥 실시간 탐지 방법에 있다.

상기와 같은 구성을 갖는 본 발명에 의하면 혈관 이미지가 원위치(In-Situ)에 정확하게 실시간 투사(Projection)됨으로써, IV주사과정에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 혈관을 피해서 주사할 필요가 있는 경우에 혈관을 손상시키지 않도록 하여 IV 주사 또는 성형시술 상황에서 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하며, 환자의 경우에도 정확한 시술로 의료진에 대한 신뢰감을 높일 수 있는 효과가 있다.

이에 따라, 채혈실에서 노인 및 아동 등의 정맥을 찾기 힘든 환자의 정맥 찾는 것을 도움으로써, 채혈자의 실수에 대한 부담감 감소로 일의 효율을 높이고, 환자 및 보호자가 육안으로 확인을 할 수 있어 안정감을 줄 수 있고, 경험이 부족한 채혈자도 채혈을 간편하게 할 수 있기 때문에 채혈 시간을 단축할 수 있는 효과가 있다.

그리고 혈관기형클리닉에서 시술 시 초음파를 이용하여 병변의 위치를 확인하고 마킹 한 뒤 시술하거나 초음파를 보면서 시술하는 것보다 피부 아래를 직접 관찰하면서 시술할 수 있어 보다 직관적이며 시술자의 편의성을 증대시킬 수 있고, 수술 시 육안으로 구별 불가능한 혈관 및 조직들을 간편하게 구별함으로써, 수술 성공률을 높이는데 기여할 수 있다.

또한 성형외과에서 정맥주사, 근육주사, 피하주사 등의 주사 시술 시 피하 층을 정확히 구분할 수 있기 때문에 주사의 부작용을 방지할 수 있다.

아울러, 혈류 패턴 분석은 말초 혈관 질환의 진단에 도움을 줌으로써, 저렴한 비용으로 간단한 판별 검사로써 사용될 수 있으며, 혈관계 질환 예방에 도움을 줄 수 있다.

도 1은 본 발명에 따른 표재정맥 실시간 탐지 장치를 나타내는 도면
도 2는 LED 파장별 혈관 검출 이미지를 나타내는 도면
도 3은 가시광선필터의 동작을 나타내는 도면
도 4 및 도 5는 본 발명에 따른 가시광선필터의 작용을 나타내는 도면
도 6 내지 도 9는 모바일기기용 사용자 인터페이스의 구동예를 나타내는 도면
도 10 내지 도 15는 본 발명에 따른 표재정맥 실시간 탐지 방법을 나타내는 도면
도 16 내지 도 18은 혈류변화 실시간 탐지 방법의 실시예를 나타내는 도면

이하 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 설명한다.

본 발명에 따른 표재정맥 실시간 탐지 장치는 도 1에 나타내는 바와 같이, 피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈(100); 피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200); 상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300); 상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성된다.

도면중 미설명부호 500은 외부기기와 통신을 위한 통신모듈을 나타내고, 600은 전원온/오프 등의 메뉴선택버튼과 충전이나 데이터전송 등을 위한 커넥터 등의 입/출력모듈을 나타낸다.

상기에서 근적외선 광원 모듈(100)은 800-950nm LED 소자를 사용하는데, 최적의 근적외선 파장을 확인하기 위하여, 시판되는 근적외선 LED를 각각 다른 파장으로 다수개 사용하여 피하혈관 영상을 측정하였으며, 그 결과 도 2에 나타내는 바와 같이 850nm LED 소자(확산각 45°)에서 우수한 영상이 획득되었다.

한편, 상기 근적외선 광원모듈(100)의 출력을 조정하고 이에 따라 근적외선 이미지 센서의 감도를 조정하여 세밀한 영상 제어가 가능하도록 하는데, 그 예로 근적외선 광원모듈의 출력을 강하게 하면 혈관의 선명도는 높일 수 있으나 세밀함(Detail)이 사라져서 미세혈관을 볼 수가 없고, 미세혈관을 보려고 근적외선 광원모듈의 출력을 약하게 하면 큰 혈관의 선명도가 약해지는 상관관계가 있다. 따라서, 목적하고자 하는 용도에 따라 사용자가 근적외선 광원모듈의 출력과 근적외선 이미지 센서의 감도를 조정할 수 있도록 한다.

상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 렌즈로, 렌즈에서 IR 대역이 충분히 투과될 수 있도록 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 짧은 거리에서도 적외선(IR) 이미지 센서(220)에 상이 맺힐 수 있도록 최소 초점거리는 15cm이하로 하며, DLP 모듈(400)로부터 프로젝션되는 혈관이미지가 IR 이미지 센서(220)에 간섭을 일으키는 현상(플리커링, Flickering)을 방지하기 위해, 도 1 및 도 3에 나타내는 바와 같이 렌즈(210)에 별도의 720nm 로우컷(Low-cut) 필터인 가시광선필터(230)를 구비한다.

상기 가시광선필터(230)는 렌즈후면에 가시광선 차단물질을 코팅한 것으로, 종래에는 렌즈 및 LED광원 전면에 필터를 부착하는 방법을 사용하였으나 이 경우 필터 자체의 산란효과로 출력 LED광량의 손실과 획득이미지의 해상도 저하 현상을 발생시키므로, 본 발명에서는 렌즈후면에 가시광선 차단물질을 코팅하여 필터링함으로써 LED광량의 손실과 획득이미지의 해상도 저하 현상없이 선명한 이미지를 획득할 수 있는 것이다.

따라서 상기 가시광선필터(230)를 적용하면 햇빛이나 램프빛 등 주변광원(Ambience Light)의 빛과 플리커링 이미지 및 자기이미지(Self Image of Vein) 무한반복을 차단하고, 혈관의 근적외선 이미지(N-IR Image of Vein)만 통과시킬 수 있게 된다.

상기에서 플리커링은 DLP 모듈이 영상의 RGB 각 광원을 회전하는 미러로 출력하는데서 기인하는 구조적인 문제이고, 자기이미지 무한반복은 측정되는 원위치에 영상을 재현하면서 발생하는 문제, 즉 재현되는 영상이 다시 측정과정에 유입되는 문제이다.

이러한 상기 가시광선 필터(230)의 성능을 광학분광기(spectroscope)로 측정한 결과 도 4에 나타내는 바와 같이 720nm 이하의 광간섭이 완벽하게 차단됨을 알 수 있고, 도 5는 가시광선 필터 사용 전/후 영상을 나타내는 것으로 사용 후 간섭이 사라짐을 알 수 있다.

상기 이미지 센서(220)는 N-IR CMOS 센서로, 근적외선(N-IR) 파장대에서 Bayer Color 또는 Monochrome type 이미지 센서 대비 약 2배 높은 QE(Quantum Efficiency) 특성을 가지는 특화된 이미지센서로 ISP(Image signal Processor)를 내장하여 ROI(Random Programmable Region of Interest) 기능으로 외부 Processor에 부하를 주지 않고 이미지 영역을 잘라서 사용할 수 있으며 AEC(Automatic Exposure Control), HDR(High Dynamic Range) 등의 기능을 지원하여 정밀한 혈관 영상 촬영이 가능하도록 함으로써, 표재정맥 영역에서의 보다 높은 해상력을 가진 이미지를 재구성할 수 있게 되어 기존 혈관탐지장비로는 잘 파악되지 않는 미세혈관까지 파악이 가능하게 된다.

이때 양자효율(QE)은 물질 중에서 빛을 양자화한 광자(photon, 光子) 또는 전자(electron, 電子)가 다른 에너지의 광자 또는 전자로 변환되는 비율을 말하는 것으로, 이미지 센서 분야에서는 주로 CMOS 등의 감광성 장치에서 흡수된 광자와 전환된 전자의 비율을 말하며, 이미지 센서에서의 양자효율은 이미지의 해상력(Visiability)과 채도력(Saturation Capacity)을 의미한다.

또한 상기 이미지 센서(220)는 HDMI영상출력을 병렬 24비트로 변경하고, 카메라 영상입력 또한 기존 직렬입력방식인 MIPI 방식에서 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하여 그래픽 가속 기능을 구현하고, 이에 따른 충돌발생을 방지하기 위하여 다른 모든 핀의 포트 리맵핑 및 OS 커널 설정을 변경한다.

이미지 프로세서 모듈(300)은 I.MX6Quad 프로세서를 사용하는데, 이는 높은 Performance와 저전력 소비에 초점을 맞춘 Freescale Semiconductor의 최상위 멀티미디어 전용 프로세서로, HD급 비디오처리가 필요한 하이엔드 포터블 미디어 플레이어(portable media players with HD video capability)에 최적화된 솔루션이며, ARM Cortex-A9 MPCore 플랫폼기반으로 설계된다.

그리고, 상기 이미지 프로세서 모듈(300)은 별도의 배터리타입 전원관리를 위한 PMIC를 포함하여 구성된다.

DLP모듈(400)은 이미지 프로젝션 광원을 조정하는 드라이버부분과 실제 이미지영상을 출력하게 되는 엔진파트로 구성된다.

그리고, 프로젝션의 촛점거리가 15cm 이하로 조정될 수 있도록 경통부를 제작하고, 영상신호의 포트 매핑(Port Mapping)을 변경하여 DLP 컨트롤러 보드에 구현하며, 전용 디바이스 드라이버(Device Driver)를 개발하여 컨트롤러 보드에 포팅(Porting)한다.

이와 같이 구성된 본 발명에서 카메라 모듈(200)의 인식영영과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여 카메라 모듈(200)과 DLP 모듈(400)의 광축을 어긋나게 하여 카메라 모듈(200)의 인식영역과 DLP 모듈(400)의 프로젝션 영역을 일치시키고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정한다.

다른 방법으로 상기 카메라 모듈의 인식영영과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 광학미러를 장착하여 광축을 일치시킨다.

한편, 상기 표재정맥 실시간 탐지 장치에는 와이파이 및 블루투스 등의 통신모듈(500)이 더 구비되어 획득된 표재정맥 이미지를 외부기기 즉, 휴대폰 등의 모바일기기나 담당자 단말기(데스크탑, 노트북 등), 서버 등에 전송하고, 그 동작을 모바일기기나 담당자 단말기로 제어할 수 있도록 하는데, 이를 위한 모바일기기용 사용자 인터페이스의 예를 하기에서 도 6을 참조하여 살펴본다.

상기 모바일기기용 사용자 인터페이스에는 표재정맥 실시간 탐지 장치의 배터리잔량, 이미지의 확대와 축소, 도 7에 나타내는 바와 같이 검출된 표재정맥 이미지의 출력을 다양하게 조정하여 출력하는 메뉴 즉, Universal 메뉴는 실시간 혈관 검출 알고리즘이 적용된 스트리밍 메뉴이고, Fine Detail메뉴는 정밀분석을 위해 해상도를 높인 스트리밍 메뉴(혈관 검출 알고리즘은 CLAHE 2단계까지만 적용)이나 실시간은 아니며, Blook Flow 메뉴는 혈류의 상대적 변화량 관찰을 위해 해상도를 높은 스트리밍 메뉴로 770nm LED와 850nm LED의 교차 점등을 통해서 획득된 영상으로 실시간이미지는 아니다.

또한 상기 모바일기기용 사용자 인터페이스에는 도 8에 나타내는 바와 같이 표재정맥 이미지를 촬영된 영상 그대로 혈관을 검게 표시(Display)하거나, 영상을 반전시켜 혈관을 밝게 표시하는 메뉴가 구비되고, 도 9에 나타내는 바와 같이 밝은 부분에 사용할 색상 선택(Option : Green(Default)/Blue/Red)메뉴가 구비되며, LED 광원의 광량 조절과 상기 표재정맥 탐지장치와 연동을 위한 연동설정메뉴 등이 구비된다.

아울러, 상기 표재정맥 실시간 탐지 장치는 자연공냉 방식을 채택함으로써, 수술실 등에서도 사용할 수 있게 되고, 고해상도로 처리된 혈관이미지를 태블릿등 모바일기기에 실시간으로 스트리밍할 수 있어, 표재정맥의 상세 분석자료로 활용할 수 있으며, 혈관 기형분석, 개복수술에서 내부 장기의 혈관파악, 안과에서 망막혈관 변성 파악 등에 사용이 가능하다.

그리고, 상기 표재정맥 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 본 발명의 표재정맥 실시간 탐지 장치로 전송되어 DLP 모듈을 통해서 해당 피부상에 투사된다.

상기 장치를 이용한 표재정맥 실시간 탐지 방법을 하기에서 살펴본다.

상기 표재정맥 실시간 탐지 방법은 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 Equalization을 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성된다.

상기 전처리과정에서 광학적 왜곡 보정(Distortion Correction)에 대하여 설명한다.

렌즈를 통해 획득된 이미지는 기본적으로 왜곡(Distortion) 현상이 발생하며, 주요 왜곡으로 방사 왜곡(Radial Distortion) 및 접선 왜곡(Tangential Distortion)이 있다.

이 중 방사 왜곡(Radial Distortion)이란 볼록렌즈의 굴절률에 의해 발생하며, 영상의 왜곡 정도는 중심에서의 거리에 의해 결정되는데(이미지 중심에서 멀어질수록 직선이 곡선으로 왜곡), 이러한 방사 왜곡은 아래의 수학식 1로 보정한다.

수학식 1

접선 왜곡(Tangential Distortion)은 카메라 제조(조립) 과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않거나, 렌즈 자체의 Centering이 맞지 않는 경우 발생하며, 이미지의 일부 영역이 예상보다 가깝게 보일 수 있는 왜곡으로, 수학식 2로 보정한다.

수학식 2

기타 발생하는 물리적 왜곡 요소들은 Brown-Conrady Model을 적용하여 추가로 보정한다.

수학식 3

투사각 오차 보정은 렌즈각도에 의한 이미지의 왜곡이 발생하지 않도록 하는 것으로, 혈관측정 전 DLP 모듈을 이용해 먼저 기준점(또는 기준라인)을 검출하고자 하는 위치에 조사하고, 이미지센서를 통해 수집된 영상 데이터에서 상기 기준점의 좌표를 획득하여, 이를 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.

그 예로, 도 10에 나타내는 바와 같이 DLP 모듈로 투사한 체커보드(Checker Board) 영상을 카메라에서 촬영하여 기준점 즉, 모서리 각 4지점(빨간점으로 표시)의 좌표를 획득한 후, 상기 획득된 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.

즉, 상기 카메라 모듈의 인식영역과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 상기 카메라 모듈의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록하고, 이로 인해 발생되는 왜곡현상은 이후 이미지 프로세서 모듈에서 보정한다.

상기와 같은 카메라 모듈의 인식영역 및 DLP 모듈의 투사영역이 일치되도록 한 후, 카메라 모듈로부터 획득된 2D 이미지에 대하여 기하학적 변형과정을 수행하는데, 이는 카메라 모듈과 DLP 모듈의 광축이 일치하지 않아서 발생하는 원근감 변형 등을 보정하는 것으로, 상기 기하학적 변형에는 원근(Perspective), 크기(Scaling), 위치(Translation), 회전(Rotation) 등이 있으며, 그 예는 도 11과 같다.

균일화 과정은 히스토그램 평준화방법으로 수행되는데, 히스토그램 평준화(Histogram Equalization)는 도 12에 나타내는 바와 같이 2D 이미지의 명암 대비를 증가시키는 것으로, 히스토그램(Histogram)의 강도를 더 잘 분산시킬 수 있고, 이로 인해 낮은 명암비의 이미지 영역이 더 높아지게 된다.

따라서 일반적인 히스토그램 평준화는 밝거나 어두운 배경 및 전경이 있는 이미지에 유용하며, 특히 과다 노출 또는 과소 노출된 이미지를 더욱 자세히 묘사할 수 있으나, 전체 영역에서 적용되므로 명암 대비가 향상되면서 과도한 밝기에 의해 이미지의 세부영역 정보가 손실되는 문제점이 발생한다.

따라서, 이러한 문제를 해결하기 위해 도 13에 나타내는 바와 같이 히스토그램 평준화 기법을 변형한 CLAHE기법으로 변경하여 적용하며, CLAHE는 필요에 따라 복수회 반복하여 복수해 실시한다.

상기 CLAHE(Contrast Limited Adaptive Histogram Equalization)는 이미지를 작은 블록(타일, Tile)으로 나눈 후, 각 블록에 대해서 각각 히스토그램 평준화(Histogram Equalization)를 실시하는 것으로, 다만 이미지에 노이즈(Noise)가 많을 경우에는 노이즈 또한 함께 증폭되기 때문에, 별도의 콘트라스트 리미팅(Contrast Limiting) 값을 설정하여 해결한다. 그리고 타일(Tile)의 경계 부분에서 발생하는 Artifact는 이중선형 보간기법(Bilinear Interpolation)을 적용하여 제거한다.

그리고 CLAHE를 적용한 이후 증가된 노이즈(Noise)를 제거하기 위해 도 14에 나타내는 바와 같이 노이즈 제거과정인 Median Blur를 수행하는데, 이는 주변 픽셀들의 값과 자신의 값들을 크기에 따라 정렬하고 중간값(Median)을 선택해서 자신의 픽셀값으로 선택하는 알고리즘이다.

이후 도 14에 나타내는 바와 같이 반전과정(Invert)을 수행하여, 어둡게 표시되는 혈관을 밝게 표현하되도록 이미지의 명암을 역상시킨다.

마지막으로 형상검출과정(Binarization) 즉, 이미지를 분할하여 원하는 부분 혹은 물체의 형상을 검출하는데, 이는 입력된 영상 전체를 스캔하면서 픽셀값보다 트레스홀드(Threshold) 값이 크면 해당 위치의 픽셀값을 흰색(1 또는 255)로 하고, 픽셀값이 트레스홀드(Threshold)값보다 작으면 검은색으로 설정하여 출력하고, 이를 원위치(In-Situ)에 실시간으로 투사(Projection)하는 것으로, 형상검출과정을 거친 이미지와 실제 투사 이미지를 도 15에 나타낸다.

한편, 상기와 같이 검출된 표재정맥 이미지를 이용하여 혈류변화를 실시간으로 탐지할 수 있으며, 이러한 혈류변화 실시간 탐지는 통신모듈을 이용하여 외부기기로 표재혈관 이미지를 전송하여 외부기기에서 혈류변화를 탐지하거나, 상기 표재정맥 실시간 탐지장치에서 자체적으로 탐지할 수도 있다.

이러한 혈류변화 실시간 탐지를 위해서는 상기 LED모듈에 760-790nm LED 소자를 더 추가하여, 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하고, 상기 획득된 LED소자별 혈관이미지에서 도 16에 나타내는 바와 같이 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 기준치(정상이라고 판단할 기준치)를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력한다.

이때 표시부는 외부기기의 표시부이거나 표재정맥 실시간 탐지 장치에 구비된 표시부이거나 원위치에 DLP모듈로 표시하는 것 중에서 택일된다.

한편, 상기에서 혈류의 상태변화 측정은 770nm와 850nm LED를 교차 점등하여 실시간으로 탐지되는 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여 혈류(Blood Flow)의 상태변화를 파악하는 것이다.

그리고 혈류량은 환원 및 산화 Hb의 합으로 추론할 수 있으며, 측정하고자 하는 지점의 계조변화의 차이를 RGB888인터페이스에 의한 24비트 체계로 계조화한 수치로 합산함으로써 두 지점 간의 상대적 변화 정도를 도출하게 된다.

아울러, 복수 개 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론할 수 있는데, 이러한 농도비율변화 측정으로 확인 가능한 질환에는 동정맥루, 동정맥기형, 정맥기형, 모세혈관 동정맥기형, 하지정맥류 등이 있다.

상기에서 동정맥루는 동정맥문합지를 통하지 않고 동맥과 정맥이 이상 단락한 증상으로, 동맥과 정맥을 연결하는 수술시 농도비율 변화를 측정하여 동맥과 정맥의 단락부위 판별에 사용할 수 있다.

그리고, 동정맥기형은 동맥과 정맥이 서로 엉켜 모세혈관과 연결되지 않은 선천적 결함을 의미하는 것으로, 모세혈관의 부족으로 피가 빨리 흐르게 되며, 기형화된 혈관으로 피를 보내게 되므로, 동정맥 기형 부분의 혈류변화량을 측정할 수 있으면, 진단 및 치료계획을 수립하는데 도움을 줄 수 있다.

하지정맥류는 도 17에 나타내는 바와 같이 다리에서 올라오는 혈액이 다시 내려가지 못하게 차단하는 판막이 제 기능을 못해서 혈액이 역류하여 혈관이 비정상적으로 확장/돌출되는 질환으로, 중년 여성에서 주로 발병하며, 미용적인 문제와 함께 다양한 합병증, 부종, 가려움, 경련조직괴사 등을 일으키나, 혈관의 변색이나 돌출이 발생하기 전에는 외견상 소견이 없어 일반적으로는 초기 진단에 어려움이 있었다.

또한 확장된 혈관은 복원되지 않으므로 근본적인 치료가 어려우며 증상이 심할 경우 혈관을 제거하거나 경화요법을 사용하여야 하므로 초기에 이를 검출하는 방법이 절실히 요구된다.

이에 따라 본 발명은 도 18에 나타내는 바와 같이 복수개 지점에서 측정한 각 산화 Hb와 환원 Hb의 농도 차이가 해당 복수개 지점에서 구성비율이 특정지점에서의 구성비율과 유의미하게 차이가 나는 경우, 하지정맥류로 판단하며, 이에 따라 혈관돌출, 변색 등 외형적인 소견이 발생하기 전에 조기 진단할 수 있게 된다.

100 : 근적외선 광원 모듈
200 : 카메라 모듈
210 : 렌즈
220 : 근적외선(IR) 이미지센서
300 : 이미지 프로세서 모듈
400 : 디지털광원처리(Digital Light Processing, DLP)모듈

Claims

피부에 800~950nm 대역의 근적외선을 조사하는 근적외선 광원 모듈(100);
피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200);
상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300);
상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성되어,
혈관 이미지 검출 전 DLP 모듈에서 기준점 또는 기준라인을 피부에 조사하고 카메라 모듈로부터 획득된 영상에서 상기 이미지 프로세서 모듈은 기준점 또는 기준라인을 기준으로 이미지 처리하여 DLP 모듈에서 해당 기준점 또는 기준라인을 기준으로 이미지를 출력하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
제 1항에 있어서, 상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 최소 초점거리는 15cm이하로 하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
제 1항에 있어서, 상기 렌즈(210)의 뒷면에 가시광선차단물질을 코팅하여 가시광선필터(230)를 구비한 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
제 1항에 있어서, 상기 이미지 센서(220)는 N-IR CMOS 이미지 센서를 사용하고, HDMI영상출력을 병렬 24비트로 변경하며, 카메라 영상입력은 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
삭제
제 1항에 있어서, 상기 표재정맥 실시간 탐지 장치에는 통신 모듈이 더 구비되어 획득된 혈관영상이 외부기기로 실시간 전송되는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
제 1항에 있어서, 상기 카메라 모듈(200)의 인식영영과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여, 상기 카메라 모듈(200)의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록 하고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정하는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
제 1항에 있어서, 상기 표재정맥 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 표재정맥 실시간 탐지 장치로 전송되어 DLP 모듈을 통해서 해당 피부 상에 투사되는 것을 특징으로 하는 표재정맥 실시간 탐지 장치.
청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 6, 청구항 7 또는 청구항 8의 어느 하나에 따른 표재정맥 실시간 탐지 장치를 사용하여,
렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 :
상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 :
히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 :
CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 :
이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 포함하여 구성되는 것을 특징으로 하는 표재정맥 실시간 탐지 방법.
제 9항에 있어서, 표재정맥 실시간 탐지 장치를 구성하는 근적외선 광원 모듈은 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하고, 상기 획득된 LED소자별 혈관이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 정상이라고 판단할 기준치를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력하는 것을 특징으로 하는 표재정맥 실시간 탐지 방법.