KR20230064693A - 초분광 피부 화상 심도 분석 장치 및 방법 - Google Patents

초분광 피부 화상 심도 분석 장치 및 방법 Download PDF

Info

Publication number
KR20230064693A
KR20230064693A KR1020210149886A KR20210149886A KR20230064693A KR 20230064693 A KR20230064693 A KR 20230064693A KR 1020210149886 A KR1020210149886 A KR 1020210149886A KR 20210149886 A KR20210149886 A KR 20210149886A KR 20230064693 A KR20230064693 A KR 20230064693A
Authority
KR
South Korea
Prior art keywords
hyperspectral
skin
spectral reflectance
spectral
analysis
Prior art date
Application number
KR1020210149886A
Other languages
English (en)
Inventor
박정환
우시관
이정숙
임기환
윤천재
Original Assignee
영남대학교 산학협력단
(주)그린광학
재단법인 베스티안재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단, (주)그린광학, 재단법인 베스티안재단 filed Critical 영남대학교 산학협력단
Priority to KR1020210149886A priority Critical patent/KR20230064693A/ko
Publication of KR20230064693A publication Critical patent/KR20230064693A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 화상(burned) 피부 부위를 포함하는 영역을 촬영하는 초분광 촬영장치, 상기 촬영하여 획득한 스펙트럴 이미지 데이터와 분광 반사도를 이용하여 분석 데이터를 산출하는 초분광 분석부 및 산출된 분석 데이터를 이용하여 분석 영상을 표시하는 디스플레이 장치를 포함하되, 상기 분석 데이터는 정상 부위의 분석 영상이 미리 흰색으로 표시 되도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값인 것을 특징으로 초분광 피부 화상 심도 분석 장치 및 방법을 제공한다.

Description

초분광 피부 화상 심도 분석 장치 및 방법{DEVICE AND METHOD FOR SKIN BURN DEGREE ANALYSIS BY USE OF HYPERSPECTRAL IMAGING}
본 발명은 빠르고 정확하게 화상 심도(skin burned degree)를 진단할 수 있는 초분광 카메라로 획득한 화상 부위 영상 데이터를 분석하는 장치 및 방법에 관한 것이다.
초분광 이미징(HSI: Hyperspectral Imaging) 기술은 공간(space) 정보에 분광(spectrum) 기술을 더한 것으로, 전자기파의 스펙트럼 밴드(spectrum band)에 따른 2차원적인 영상정보를 초분광 큐브(Hypercube) 형태로 구성하는 이미징 기술을 말한다.
초분광 이미징 기술은 대상체의 상태(state), 구성(composition), 특징(feature), 변이(transform) 등의 성질을 도출할 수 있는 기술이고, 일반적으로 스펙트럼 밴드 수가 10개 이상이면 ‘초분광’으로 분류하며, 분광 해상도(spectrum resolution)는 △λ/λ~0.01 정도이다.
초분광 카메라의 응용 분야를 결정하는 주요한 분류기준으로서, UV(200~400㎚), VIS(400~600㎚), NIR(700~1100㎚), SWIR(1100~2500㎚), MWIR(2500~7000㎚)로 구분하는데, 바이오 분야는 주로 UV~SWIR 대역을, 대기환경(원격감시) 응용 분야는 VIS~SWIR 대역을 사용한다.
한편, 바이오/의료 분야에서 초분광 이미징 기술은 주로 조직의 2차원 스펙트럼 정보를 실시간 분석하여 진단/수술에 이용하는 의료 진단 및 영상 가이드 수술 장치로 사용되는데, 초분광 이미징 기술로 산소포화도, 혈류 등의 측정을 통해 피부질환 또는 피부암 진단에 활용하는 연구가 진행되고 있다.
그런데, 현재 피부 손상을 진단하기 위해 사용되고 있는 의료기기로 Laser Doppler imaging(LDI) 장비가 있지만, 피부 손상을 입은 후 최초 24시간~48시간 내 조기 진단에는 적용이 불가하고, 특히, 조기에 화상의 심도를 정확하게 측정할 수 있는 진단기기는 전무한 실정이다.
현재 의료기관에서 사용되고 있는 LDI와 화상 흉터를 측정하는 ANTERA 3D 장비의 경우 모두 외산 장비로 장비에 투입되는 소모품의 고가 구입 및 AS 장시간 소요 등의 문제로 기기 관리에 어려움을 겪고 있다
본 발명에서 해결하고자 하는 과제는, 첫째, 빠르고 정확하게 화상 심도(skin burned degree)를 진단할 수 있는 초분광 카메라로 획득한 화상 부위 영상 데이터를 분석하는 장치 및 방법을 제공하고, 정상 피부 부위와 화상 부위의 초분광 스펙트럼 데이터를 다양한 방법으로 용이하게 분석하는 장치 및 방법을 제공하고자 함이다.
상술한 과제를 해결하고자 하는 본 발명의 제1 특징은, 화상(burned) 피부 부위를 포함하는 영역을 촬영하는 초분광 촬영장치, 상기 촬영하여 획득한 스펙트럴 이미지 데이터와 분광 반사도를 이용하여 분석 데이터를 산출하는 초분광 분석부 및 산출된 분석 데이터를 이용하여 분석 영상을 표시하는 디스플레이 장치를 포함하되, 상기 분석 데이터는 정상 부위의 분석 영상이 미리 흰색으로 표시 되도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값인 것을 특징으로 한다.
여기서, 상기 초분광 분석부는, 상기 촬영된 영상을 처리하여 스펙트럼 데이터로 변환하는 인터페이스 모듈과, 상기 스펙트럼 데이터를 교정(Calibration)하여 분광 반사도를 산출하는 분광 반사도 산출모듈을 포함하는 것일 수 있고, 상기 분광 반사도 산출모듈은, 가시광 영역대와 근적외선 영역대에서 선택된 2개의 파장에 대한 분광 반사도 를 산출하는 것일 수 있다.
또한, 상기 분광 반사도는,
Figure pat00001
(여기서,
Figure pat00002
는
Figure pat00003
파장 밴드의 반사계수이고,
Figure pat00004
는 상기 스펙트럼 원시 데이터(Raw data)이고,
Figure pat00005
는 카메라 렌즈캡을 닫은 상태의 반사도이고,
Figure pat00006
는 표준 반사판에 대한 반사도이다.)와 같은 식으로 산출되는 것이 바람직하고, 수정된 피부 화상 스펙트럴 인덱스(mSBSI)값은,
Figure pat00007
(여기서,
Figure pat00008
,
Figure pat00009
이고, NSI는 정상 피부 반사도 인덱스이고, BSI는 화상부위 피부 반사도 인덱스이고, i 및 j는 400nm 내지 800nm 범위안의 2개의 파장 인덱스이다.)와 같은 식으로 산출되는 것이 바람직하다.
또한, 상기 초분광 촬영 장치는, 초분광 카메라, 할로겐 광원 및 반사판을 포함하는 것이 바람직하고, 상기 산출된 분광 반사도값을 스케일링한(scaled) 입력값과 미리 설정된 화상 심도를 나타내는 목표값에 대하여 딥러닝(Deep learning) 기법으로 피부 화상 심도를 예측하는 분석 데이터를 상기 초분광 분석부로 전달하는 딥러닝 분석부를 더 포함하는 것이 바람직하다.
본 발명의 제2 특징은, (a) 초분광 분석부가 초분광 촬영장치로부터 화상 피부 부위를 포함하는 영역이 촬영된 영상 데이터를 받아 스펙트럴 이미지 데이터를 획득하는 단계; (b) 초분광 분석부가 획득된 스펙트럴 이미지 데이터로부터 교정(Calibration)하여 분광 반사도를 산출하는 단계; (c) 초분광 분석부가 산출된 분광 반사도 데이터로부터 노이즈를 제거하고, 스케일링 하여 가공하는 단계 및 (d) 초분광 분석부가 가공된 데이터로부터 정상 부위의 분석 영상이 미리 흰색으로 표시 되도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하여 피부 화상 심도를 분석하는 단계를 포함한다.
여기서, 상기 분광 반사도는,
Figure pat00010
(여기서,
Figure pat00011
는
Figure pat00012
파장 밴드의 반사계수이고,
Figure pat00013
는 상기 스펙트럼 원시 데이터(Raw data)이고,
Figure pat00014
는 카메라 렌즈캡을 닫은 상태의 반사도이고,
Figure pat00015
는 표준 반사판에 대한 반사도이다.)와 같은 식으로 산출되는 것이 바람직하다.
더하여, 수정된 피부 화상 스펙트럴 인덱스(mSBSI)값은,
Figure pat00016
(여기서,
Figure pat00017
,
Figure pat00018
이고, NSI는 정상 피부 분광 반사도 인덱스이고, BSI는 화상부위 피부 분광 반사도 인덱스이고, i 및 j는 400nm 내지 800nm 범위안의 2개의 파장 인덱스이다.)와 같은 식으로 산출되는 것이 바람직하다.
또한, 상기 (d) 단계는, 정상 부위를 지정하여 정상 부위의 분석 영상의 색상(color)을 흰색(white)로 미리 설정하는 단계를 포함하는 것이 바람직하고, 상기 (d) 단계에서, 상기 분광 반사도는 디옥시헤모글로빈(deoxyhemoglobin) 흡수율이 가장 높은 2개의 파장대의 분광 반사도인 것이 바람직하다.
또한, 딥러닝 분석부가 상기 산출된 분광 반사도값을 스케일링한(scaled) 입력값과 미리 설정된 화상 심도를 나타내는 목표값에 대하여 픽셀단위로 딥러닝(Deep learning) 기법을 이용하여 상기 촬영된 부위의 분광 반사도 값을 계산하는 단계를 포함하는 것일 수 있고, 상기 2개의 파장대는 556nm 및 760nm 인 것일 수 있다.
본 발명의 제 3 특징은 하드웨어와 결합되어 청구항 8의 초분광 피부 화상 심도 분석 방법을 실행시키기 위한 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램을 특징으로 한다.
본 발명에 따른 초분광 피부 화상 심도 분석 장치 및 방법은 다음과 같은 효과를 가진다.
첫째, 빠르고 정확하게 화상 심도(skin burned degree)를 진단할 수 있는 초분광 카메라로 획득한 화상 부위 영상 데이터를 분석하는 장치 및 방법을 제공한다.
둘째, 본 발명에 적용되는 소프트웨어를 활용하여 정상 피부 부위와 화상 부위의 초분광 스펙트럼 데이터를 다양한 방법으로 용이하게 분석하는 장치 및 방법을 제공한다.
셋째, 초분광 영상 파일을 읽은 후 각 픽셀 별 스펙트럼 데이터를 그래픽과 계수적으로(numerically) 나타내거나, 복수 개 관심 픽셀의 스펙트럼 데이터를 그래픽과 계수적으로 비교할 수 있는 기능을 제공한다.
넷째, 이를 통해 피부 위의 관심 부위에 대해 상대적인 스펙트럼 비교를 할 수 있으며, 임상 데이터와의 비교분석을 거쳐 화상 심도 별 스펙트럼 차이를 정성적/정량적으로 판별할 수 있는 기능을 제공한다.
도 1은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치의 구성 중 하나인 초분광 촬영장치의 구성을 나타낸 사진이다.
도 3은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 방법을 나타내는 흐름도이다.
도 4는 도 3의 구체적의 실시예로서, 초분광 영상 데이터로부터 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하여 다양한 분석 데이터 이미지로 분석하는 방법의 흐름을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 방법에 적용되는 딥러닝 기법의 모식도이다.
도 6은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어의 메인 윈도우 이미지이다.
도 7은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어의 UI 이미지이다.
도 8은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어를 통한 다수개의 파장 밴드에 대한 분석 영상 및 UI를 나타낸 이미지이다.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해 할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도 하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화 하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하 본 발명에 따른 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치의 구성 중 하나인 초분광 촬영장치의 구성을 나타낸 사진이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치는 사람 등 생물체에서 화상을 입은(burned) 피부 부위를 포함하는 영역을 촬영하는 초분광 촬영장치(100)와, 촬영하여 획득한 스펙트럴 이미지 데이터와 분광 반사도를 이용하여 분석 데이터를 산출하는 초분광 분석부(200), 및 산출된 분석 데이터를 이용하여 분석 영상을 표시하는 디스플레이 장치(300)을 포함하되, 상기 분석 데이터는 정상 부위의 분석 영상이 미리 흰색으로 표시하도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI: modified Skin Burns Spectral Index) 값인 것을 특징으로 한다. 여기서, 초분광 촬영장치(100)는 도 2에 나타낸 바와 같이, 초분광 카메라와 대상체에 조명하는 할로겐 광원 및 반사판으로 구성된다.
이처럼, 초분광 이미지를 이용하여 화상의 심도(정도)를 판단하는 이유는 육안으로 볼 때 명확하지 않은 화상의 심도를 객관적으로 볼 수 있도록 수치화 되거나 이미지로 표시하기 용이하고, 화상의 정도에 따른 피부의 상태가 특정 파장대의 분광 반사도 데이터에 따라 달라지므로 진단의 속도와 정확성을 높일 수 있다는 장점이 있기 때문이다.
여기서, 초분광 분석부(200)는 초분광 촬영장치(100)로부터 촬영된 영상 데이터를 스페트럴 2D 이미지 데이터로 처리하는 인터페이스 모듈(210), 분광 반사도를 산출하는 분광 반사도 산출모듈(230), 화상 심도를 확인할 수 있는 분석 데이터로 변환하는 기능을 수행하는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 산출모듈(250)를 포함하여 구성된다. 초분광 분석부(200)에서 산출된 분석 데이터를 디스플레이 장치(300)를 통해 컬러 매핑하여 2D 이미지로 표시하게 된다.
그리고, 도 3은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 방법을 나타내는 흐름도이고, 도 4는 도 3의 구체적인 실시예로서, 초분광 영상 데이터로부터 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하여 다양한 분석 데이터 이미지로 분석하는 방법의 흐름을 나타낸 도면이다.
도 3에 나탄낸 바와 같이, 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 방법은 초분광 피부 화상도를 분석 하는 프로세스로서, (a) 초분광 분석부가 초분광 촬영장치(100)로부터 화상 피부 부위를 포함하는 영역이 촬영된 영상 데이터를 받아 스펙트럴 이미지 데이터를 획득하는 단계(S100); (b) 초분광 분석부가 획득된 스펙트럴 이미지 데이터로부터 교정(Calibration)하여 분광 반사도를 산출하는 단계(S200); (c) 초분광 분석부가 산출된 분광 반사도 데이터로부터 노이즈를 제거하고, 스케일링 하여 가공하는 단계(S300); 및 (d) 초분광 분석부가 가공된 데이터로부터 정상 부위의 분석 영상이 미리 흰색으로 표시하도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하여 피부 화상 심도를 분석하는 단계(S400)를 포함한다.
먼저, 초분광 분석부(200)는 초분광 촬영장치(100)에서 쵤영된 영상을 전달받아 스펙트럼 데이터로 변환하는 인터페이스 모듈(210)과 스펙트럼 데이터를 교정(Calibration)하여 분광 반사도를 산출하는 분광 반사도 산출모듈(230)을 포함할 수 있다.
초분광 카메라 장치(100)에서 화상 부위를 포함하는 영역을 촬영하여 생성된 데이터는 초분광 분석부(200)로 전달되는데, 일반적으로 초분광 영상 데이터를 저장하는 파일 형식(file format)은 BIL(Band InterLeaved by Line), BIP(Band Interleaved by Pixel), BSQ(Band Sequential)가 있으며, 그 밖에 다른 형식으로 지원이 가능하다.
초분광 분석부(200)의 인터페이스 모듈(210)은 초분광 촬영장치(100)로부터 전달 받은 원시 데이터(raw data)를 픽셀 단위 바이너리 파일로 처리하여(Read raw data) 저장하게 된다. 여기서, 초분광 영상의 2차원 해상도는 샘플 개수(M)와 스캔 라인(scan line) 개수(N)로 MxN으로 표현하고, 각 픽셀의 원시 데이터(raw data - DN: digital number)는 일반적으로 8~16bit 정수값으로 기록되고 2byte 단위로 바이너리 파일(binary file)에 저장된다.
그리고, 분광 반사도 산출 모듈은 초분광 촬영장치(100)로부터 얻은 원시 데이터(raw data)를 교정하여 화상 심도 분석에 필요한 분광 반사도를 산출하는 기능을 수행한다.
여기서 분광 반사도는 대상체에 분광이 조사되어 반사되는 세기의 비율을 나타내는데, 대상체의 특정 파장의 빛에 대해 흡수율에 따라 달라지는 특성으로 인해, 대상체의 구성물질 및 조성 등의 정보를 획득하기 위한 데이터로 사용된다.
본 발명의 실시예에 사용되는 교정(Calibration)된 분광 반사도는 다음의 [수학식 1]에 나타낸다.
Figure pat00019
여기서,
Figure pat00020
는 특정 파장
Figure pat00021
파장 밴드의 반사계수이고,
Figure pat00022
는 스펙트럼 원시 데이터(Raw data)이고,
Figure pat00023
는 카메라 렌즈캡을 닫은 상태의 반사도이이며,
Figure pat00024
는 표준 반사판에 대한 반사도이다.
본 발명의 실시예에 사용되는 초분광 스펙트럼의 파장은 바이오 분야에서 주로 사용되는 VIS(400~600nm)에서 NIR(700~1100nm) 대역의 파장을 선택하여 사용하는 것이 바람직하다.
여기서, 분광 반사도는 디옥시헤모글로빈(deoxyhemoglobin) 분광 흡수율이 가장 높은 2개의 파장대의 분광 반사도인 것이 바람직하다. 특히, 2개의 파장대는 556nm 및 760nm 인 것이 바람직하다. 이는 디옥시헤모글로빈(deoxyhemoglobin)이 피부 내부의 혈관에 함유된 성분으로 피부 화상 심도에 따라 디옥시헤모글로빈(deoxyhemoglobin) 수치가 다르게 나타나는 특징이 있기 때문이다.
또한, 분광 반사도 산출식 [수학식 1]
Figure pat00025
는 암전류를 나타내는 것으로서, 흑백 카메라의 내재적 영향과 빛 강도의 공간적 불균일성을 최소화하는 교정(Calibration)을 위해 사용되는데, 카메라 랜즈 캡을 닫은 상태의 반사도 값을 나타낸다. 그리고,
Figure pat00026
도 2의 할로겐 광원의 세기로서, 표준 반사판에 대한 반사도를 나타낸다.
그리고, 도 3 및 도 4에 나타낸 바와 같이, 초분광 분석부(200)는 각 픽셀의 스펙트럼 데이터가 일종의 연속적인 디지털 신호로서 다양한 잡음이 포함될 수 있기 때문에, 일반적인 잡음제거 기능을 수행할 수 있다. 즉, 초분광 분석부는 분광 반사도 산출한 후, 노이즈를 제거하고 스케일링 하여 가공한다.
여기서 필터링 방법으로 가우시안 필터링(Gaussian filtering), 중간값 필터링(Median filtering) 또는 알파 절삭 평균값 필터링(Alpha-trimmed mean filtering)중 적어도 어느 하나를 사용할 수 있다.
초분광 화상 심도 분석 단계(S400)는 필터링과 스케일링 데이터를 바탕으로, 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하고, 화상 심도를 분석하게 된다.
도 3 및 도 4에 나타낸 바와 같이, 본 발명의 실시예에서는 화상 심도를 분석하기 위해 수정된 피부 화상 스펙트럴 인덱스(mSBSI: modified Skin Burned Spectral Index) 값을 사용는데, 다음의 [수학식 2]로 나타낸다.
Figure pat00027
여기서,
Figure pat00028
,
Figure pat00029
이고, NSI는 정상 피부 반사도 인덱스이고, BSI는 화상부위 피부 반사도 인덱스이며, RNS는 정상 부위의 분광 반사도이고, RBS는 화상 부위의 분광 반사도이다. 또한, i 및 j는 400nm 내지 800nm 범위안의 2개 파장의 인덱스를 나타낸다.
본 발명의 실시예에서 사용되는 [수학식 2]의 수정된 피부 화상 스펙트럴 인덱스(mSBSI)는 정상(normal) 부위의 값들도 화상 심도의 범위에 들어가는 문제를 해결하기 위해 미리 정상 피부 부위의 영역을 지정하고 분석 영상에서 흰색으로 표시하도록 설정한 후, 이 정상 부위의 값을 기준값으로 하여 피부 화상 심도를 나타내는 상대값이 수정된 피부 화상 스펙트럴 인덱스(mSBSI: modified Skin Burned Spectral Index) 값을 사용하는 것이 바람직하다.
도 5는 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 방법에 적용되는 딥러닝 기법의 모식도이다. 도 1 및 도 5에 나타낸 바와 같이, 딥러닝 분석부는 정상 부위와 화상 부위를 모두 포함하는 영역의 각 픽셀에 대한 N개의 밴드 대역의 파장에 대한 스케일링 된 초분광 반사도를 입력값으로 하고 화상의 심도(0은 normal, 1/2/3은 화상 심도)를 목표값으로 설정하여 딥러닝 기법으로 화상 심도 분석 데이터를 산출하고 초분광 분석부로 전달하여 디스플레이 장치를 통해 화상 심도 영상으로 나타낼 수 있다.(S500)
여기서 딥러닝 기법은 입력층과 히든층 및 출력층으로 구성된 NN(neural network) 모델을 적용할 수 있고, 상술한 초분광 화상 심도 분석 영상과 여러개의 밴드 대역의 파장값에 대한 분석 데이터를 비교하여 최적의 모델과 파라미터를 찾는 것도 가능하다.
이처럼 본 발명의 실시예에서는 실제 화상의 깊이와 초분광 스펙트럼 간 정량적 관계 분석결과를 기반으로 하고, 정량적 관계를 활용한 단순 분류, 머신러닝 또는 딥러닝 기반 분류 등을 활용할 수 있다.
이를 바탕으로, 도 4에 나타낸 바와 같이, 본 발명의 실시예에 따른 초분광 화상 심도 분석 장치 및 방법을 사용하여, 컬러 이미지, 특정 파장의 이미지, 특정 픽셀에서의 초분광 반사도 스펙트럼, mSBSI 이미지 및 딥러닝 기반 분석 이미지 등 다양하게 분석 이미지를 표시하고 분석하는 것도 가능하다.
도 6은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어의 메인 윈도우 이미지이고, 도 7은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어의 UI 이미지이다.
도 3, 도 6 및 도 7에 나타낸 바와 같이, 스펙트럴 이미지 데이터 획득 단계(S100)에서 초분광 카메라로부터 전달 받은 원시 데이터를 로드(Image loading) UI, 교정 분광 반사도 산출 단계(S200)에서 교정(Calibration)을 위한 다크(dark) 및 흰색(white) 데이터 로딩의 UI, 노이즈 제거 및 스케일링 단계(S300)를 위한 스펙트럼 정보(Spectrum imformation) 및 시그널 필터링(Signal Filtering) 뿐만 아니라, 화상 심도 분석 단계(S400)를 위한 스펙트럼의 대역 범위를 설정, 분석 파장 밴드 입력, 정상 부위의 SBSI 값을 흰색 값으로 설정하는 등 초분광 피부 화상 심도 분석을 위하 여러가지 파라미터를 설정할 수 있다.
또한, 3차원 입체 모양의 하이퍼큐브(hypercube)를 디스플레이, 픽셀 별 스펙트럼을 개별적으로 디스플레이 및 관심 영역의 픽셀의 복수 개 스펙트럼을 비교하여 디스플레이 하도록 설정하는 것도 가능하다.
도 8은 본 발명의 실시예에 따른 초분광 피부 화상 심도 분석 장치 및 방법을 적용한 소프트웨어를 통한 다수개의 파장 밴드에 대한 분석 영상 및 UI를 나타낸 이미지이다. 도 8에 나타낸 바와 같이, 본 발명의 실시예에 따라 파장이 430nm, 500nm, 543nm, 560nm, 600nm 및 650nm 의 피부 화상 심도 영상을 나타내고 있고, 이를 통해 피부 화상 심도 분석을 위한 최적의 초분광 파장 밴드와 관련된 다양한 파라미터를 찾을 수 있게 된다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 초분광 촬영장치, 200: 초분광 분석부, 300: 디스플레이 장치, 400: 딥러닝 분석부

Claims (15)

  1. 화상(burned) 피부 부위를 포함하는 영역을 촬영하는 초분광 촬영장치,
    상기 촬영하여 획득한 스펙트럴 이미지 데이터와 분광 반사도를 이용하여 분석 데이터를 산출하는 초분광 분석부 및
    산출된 분석 데이터를 이용하여 분석 영상을 표시하는 디스플레이 장치를 포함하되,
    상기 분석 데이터는 정상 부위의 분석 영상이 미리 흰색으로 표시 되도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값인 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  2. 청구항 1에 있어서,
    상기 초분광 분석부는,
    상기 촬영된 영상을 처리하여 스펙트럼 데이터로 변환하는 인터페이스 모듈과,
    상기 스펙트럼 데이터를 교정(Calibration)하여 분광 반사도를 산출하는 분광 반사도 산출모듈을 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  3. 청구항 2에 있어서,
    상기 분광 반사도 산출모듈은,
    가시광 영역대와 근적외선 영역대에서 선택된 2개의 파장에 대한 분광 반사도 를 산출하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  4. 청구항 2에 있어서,
    상기 분광 반사도는,
    Figure pat00030

    (여기서,
    Figure pat00031
    는
    Figure pat00032
    파장 밴드의 반사계수이고,
    Figure pat00033
    는 상기 스펙트럼 원시 데이터(Raw data)이고,
    Figure pat00034
    는 카메라 렌즈캡을 닫은 상태의 반사도이고,
    Figure pat00035
    는 표준 반사판에 대한 반사도이다.)와 같은 식으로 산출되는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  5. 청구항 1에 있어서,
    수정된 피부 화상 스펙트럴 인덱스(mSBSI)값은,
    Figure pat00036

    (여기서,
    Figure pat00037
    ,
    Figure pat00038
    이고, NSI는 정상 피부 반사도 인덱스이고, BSI는 화상부위 피부 반사도 인덱스이고, i 및 j는 400nm 내지 800nm 범위안의 2개의 파장 인덱스이다.)와 같은 식으로 산출되는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  6. 청구항 1에 있어서,
    상기 초분광 촬영 장치는,
    초분광 카메라, 할로겐 광원 및 반사판을 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  7. 청구항 1에 있어서,
    상기 산출된 분광 반사도값을 스케일링한(scaled) 입력값과 미리 설정된 화상 심도를 나타내는 목표값에 대하여 딥러닝(Deep learning) 기법으로 피부 화상 심도를 예측하는 분석 데이터를 상기 초분광 분석부로 전달하는 딥러닝 분석부를 더 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 장치.
  8. (a) 초분광 분석부가 초분광 촬영장치로부터 화상 피부 부위를 포함하는 영역이 촬영된 영상 데이터를 받아 스펙트럴 이미지 데이터를 획득하는 단계;
    (b) 초분광 분석부가 획득된 스펙트럴 이미지 데이터로부터 교정(Calibration)하여 분광 반사도를 산출하는 단계;
    (c) 초분광 분석부가 산출된 분광 반사도 데이터로부터 노이즈를 제거하고, 스케일링 하여 가공하는 단계; 및
    (d) 초분광 분석부가 가공된 데이터로부터 정상 부위의 분석 영상이 미리 흰색으로 표시 되도록 처리된 값을 기준으로 정상 피부 부위의 분광 반사도에 대한 상기 화상 피부 부위의 분광 반사도의 상대값을 나타내는 수정된 피부 화상 스펙트럴 인덱스(mSBSI) 값을 산출하여 피부 화상 심도를 분석하는 단계를 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  9. 청구항 8에 있어서,
    상기 분광 반사도는,
    Figure pat00039

    (여기서,
    Figure pat00040
    는
    Figure pat00041
    파장 밴드의 반사계수이고,
    Figure pat00042
    는 상기 스펙트럼 원시 데이터(Raw data)이고,
    Figure pat00043
    는 카메라 렌즈캡을 닫은 상태의 반사도이고,
    Figure pat00044
    는 표준 반사판에 대한 반사도이다.)와 같은 식으로 산출되는 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  10. 청구항 8에 있어서,
    수정된 피부 화상 스펙트럴 인덱스(mSBSI)값은,
    Figure pat00045

    (여기서,
    Figure pat00046
    ,
    Figure pat00047
    이고, NSI는 정상 피부 분광 반사도 인덱스이고, BSI는 화상부위 피부 분광 반사도 인덱스이고, i 및 j는 400nm 내지 800nm 범위안의 2개의 파장 인덱스이다.)와 같은 식으로 산출되는 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  11. 청구항 8에 있어서,
    상기 (d) 단계는,
    정상 부위를 지정하여 정상 부위의 분석 영상의 색상(color)을 흰색(white)로 미리 설정하는 단계를 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  12. 청구항 8에 있어서,
    상기 (d) 단계에서,
    상기 분광 반사도는 디옥시헤모글로빈(deoxyhemoglobin) 흡수율이 가장 높은 2개의 파장대의 분광 반사도인 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  13. 청구항 8에 있어서,
    딥러닝 분석부가 상기 산출된 분광 반사도값을 스케일링한(scaled) 입력값과 미리 설정된 화상 심도를 나타내는 목표값에 대하여 픽셀단위로 딥러닝(Deep learning) 기법을 이용하여 상기 촬영된 부위의 분광 반사도 값을 계산하는 단계를 포함하는 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  14. 청구항 12에 있어서,
    상기 2개의 파장대는 556nm 및 760nm 인 것을 특징으로 하는 초분광 피부 화상 심도 분석 방법.
  15. 하드웨어와 결합되어 청구항 8의 초분광 피부 화상 심도 분석 방법을 실행시키기 위한 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램.
KR1020210149886A 2021-11-03 2021-11-03 초분광 피부 화상 심도 분석 장치 및 방법 KR20230064693A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210149886A KR20230064693A (ko) 2021-11-03 2021-11-03 초분광 피부 화상 심도 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210149886A KR20230064693A (ko) 2021-11-03 2021-11-03 초분광 피부 화상 심도 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230064693A true KR20230064693A (ko) 2023-05-11

Family

ID=86379141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210149886A KR20230064693A (ko) 2021-11-03 2021-11-03 초분광 피부 화상 심도 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230064693A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562502A (zh) * 2023-11-17 2024-02-20 中美之光国际医疗投资管理（北京）有限公司 一种战创伤、皮瓣术后的双光学影像诊断机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562502A (zh) * 2023-11-17 2024-02-20 中美之光国际医疗投资管理（北京）有限公司 一种战创伤、皮瓣术后的双光学影像诊断机器人

Similar Documents

Publication Publication Date Title
US10201281B2 (en) System, method and article for normalization and enhancement of tissue images
US9706929B2 (en) Method and apparatus for imaging tissue topography
US8078265B2 (en) Systems and methods for generating fluorescent light images
He et al. Hyperspectral imaging enabled by an unmodified smartphone for analyzing skin morphological features and monitoring hemodynamics
US8155413B2 (en) Method and system for analyzing skin conditions using digital images
US9117133B2 (en) Systems and methods for hyperspectral imaging
CN110742579A (zh) 用于皮肤疾病的光学检测的***和方法
KR20130095636A (ko) 튜너블 레이저-기반 적외선 이미징 시스템 및 그것의 이용 방법
WO2017111606A1 (en) Image based bilirubin determination
WO2005033678A1 (ja) 画像処理装置及び画像処理方法
JP2013068457A (ja) Ｒｇｂ動植物肌色解析装置
KR20230064693A (ko) 초분광 피부 화상 심도 분석 장치 및 방법
CN116831528A (zh) 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法
JP2013509630A (ja) ハイパースペクトル画像の***パターンを調整する装置と方法。
EP3351162A1 (en) A computer implemented method, a system and computer program products to characterize a skin lesion
Sorgato et al. Validation of optical properties quantification with a dual-step technique for biological tissue analysis
JP6650919B2 (ja) 診断システム及び情報処理装置
US20230000357A1 (en) Virtual hyperspectral imaging of biological tissue for blood hemoglobin analysis
Sprigle et al. Multispectral image analysis of bruise age
RU2642918C2 (ru) Аппаратно-программный комплекс для цифровой биомикроскопии
Kim Hyperspectral image reconstruction from RGB data and its biomedical applications
KR20220057217A (ko) 다중 분광 기반 피부 색소 분석 방법 및 그 장치
WO2024088858A1 (en) Improved white balance
Dani et al. Non-invasive glucose level measurement in blood by GLCM technique
Dolotov et al. Digital imaging of human skin

Legal Events

Date Code Title Description
E902 Notification of reason for refusal