KR20160086687A - 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 - Google Patents
얼굴의 온도분포 특이성을 이용한 상태 분석 방법 Download PDFInfo
- Publication number
- KR20160086687A KR20160086687A KR1020150004383A KR20150004383A KR20160086687A KR 20160086687 A KR20160086687 A KR 20160086687A KR 1020150004383 A KR1020150004383 A KR 1020150004383A KR 20150004383 A KR20150004383 A KR 20150004383A KR 20160086687 A KR20160086687 A KR 20160086687A
- Authority
- KR
- South Korea
- Prior art keywords
- temperature distribution
- face
- subject
- database
- classification
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 15
- 241001465754 Metazoa Species 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 8
- 230000036541 health Effects 0.000 abstract description 17
- 238000001931 thermography Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 12
- 210000001061 forehead Anatomy 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 9
- 241000282693 Cercopithecidae Species 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 241000282461 Canis lupus Species 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 235000012054 meals Nutrition 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 241000282346 Meles meles Species 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 2
- 241000282330 Procyon lotor Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 206010047249 Venous thrombosis Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 얼굴의 온도분포 특이성을 이용한 상태 분석 방법으로, 열상카메라로 촬영한 얼굴의 온도분포 특이성을 이용한 개인의 성격과 건강상태를 분석하는 방법에 관한 것이다. 열상카메라에 의한 얼굴의 온도분포는 얼굴의 형태와 어우러져 개인별로 특정한 형태를 나타내고 있어 이를 누적하여 데이터베이스화하고, 데이터베이스와 비교를 통해 정상 건강상태와 이상 건강상태 변화를 분석하여 건강상태를 감지하는 것이다.
Description
본 발명은 열상 카메라를 이용하여 촬영한 개개인의 얼굴 영상에서, 특별히 이마와 입술 사이의 온도분포가 얼굴 생김새, 즉 형태 및 윤곽과 합쳐져 그려내는 특징형상과 그 형상의 다양한 표정을 이용하여 컨디션 및 건강상태 진단, 그리고 이 특이성의 왜곡과 변동 그리고 결점(Defect)을 이용하여 컨디션과 건강상태를 진단하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법에 관한 것이다.
절대온도가 0°가 아닌 모든 물체는 자신의 온도와 관련된 대폭(Bandwidth)을 가진 파장의 전자파를 발생하며, 우리 주변의 대다수 물체는 그 중심 파장이 적외선 영역에 있다.
열상카메라는 이들 물체에서 발산하는 적외선을 이용하여 영상을 촬영하는 카메라로, 특히 동물의 경우 체온이 열상카메라로 촬영 가능한 파장의 영역에 있어 열상카메라에 의해 몸체의 온도분포를 0.1° 이하의 해상도로 촬영하는 것이 가능하다.
이와 같은 열상카메라로 촬영된 인체표면의 온도분포는 고열을 수반하는 모든 질병의 일차적인 진단을 가능케 하므로 공항에서 이상 징후를 가진 승객의 분류를 비롯하여 유방암(Breast Cancer), 염증부위와 원인을 알 수 없는 통증의 원인 규명, 갑상선과 같은 국부적인 건강상태 진단, 치과에서 신경손상 탐지, 정맥 혈전증(Vein Thrombosis), 하지(Lower limb)의 순환기능 이상, 충치와 두통의 구분 등 많은 분야에 이용되고 있으며, 최근의 원격 진료 개시와 함께 그 응용 범위가 더욱더 넓어질 전망이다.
이들 분야의 응용은 인체에서 염증이나 통증을 수반하는 부위의 온도가 정상부위의 온도보다 더 높아짐으로 인해 다른 부분과 색상의 차이가 나타나게 함으로 그 부분이 인식되도록 하는 것으로, 일반적인 열상 카메라에서는 이 부위의 높은 온도가 포화 상태 흰색에 가깝게 나타나도록 유사 컬러화가 되어 있다.
이 온도분포는 형태를 갖지 않는 랜덤(Random) 한 것으로 증상부위의 대략적인 위치를 표시한다. 그러나 특이하게도, 많은 사람의 경우 이마를 포함한 입술 위쪽의 얼굴 온도분포가 각 개인의 얼굴 생김새, 즉 형태(Shape) 및 윤곽(Profile)과 융합되어 특정 형상을 나타내고 있으며, 여러 가지 동물의 얼굴 형상으로 보이기도 한다. 지금까지 관측된 바로는 얼굴 형태 및 윤곽과 융합된 온도분포가 나타내는 형상이 대표적으로 호랑이, 너구리, 여우, 개, 원숭이, 염소, 늑대, 오소리 등의 동물 얼굴 형상과 같이 나타나기도 하고, 또한 분류는 어려운 다른 특정 형상으로 나타나고 있음이 확인되었다.
또한, 동일 종류의 동물형상이라 하더라도 각기 다른 얼굴을 나타내며, 각 얼굴의 표정이 컨디션에 따라 달라짐도 발견되었다. 따라서 시간이 지나 채취되는 샘플이 많아질수록 여러 다른 동물의 얼굴 형태나 다양한 형상의 다양한 표정을 가진 동물 형태의 얼굴 형상이 더 발견될 수도 있을 가능성도 충분하다.
따라서 만약 어떤 부위의 온도분포가 정상상태에서 특정 형상을 이루고 있음에 따라, 이 형상이 개개인의 컨디션(Condition) 또는 건강상태에 따른 변화를 관측함에 의해 개개인의 컨디션과 건강상태를 분석하는 것이 가능하다.
본 발명은 상기와 같은 현상에 착안하여 창출된 것으로, 본 발명의 목적은 개개인의 얼굴 형태 및 윤곽과 얼굴의 온도분포가 융합되어 나타나는 특징형상을 이용하여 개인의 건강상태 진단을 가능케 하여 원격 진료를 포함하는 새로운 의료용 진단 기법에 적용 가능한 얼굴의 온도분포 특이성을 이용한 상태 분석 방법을 제공하는 것이다.
상기와 같은 목적을 위해 본 발명은 얼굴의 온도분포 특이성을 이용한 상태 분석 방법에 있어서, 열상카메라로 대상자의 얼굴 부분을 촬영하여 온도분포 영상을 획득하는 단계; 상기 온도분포 영상에서 대상자의 지정된 얼굴 부분에 해당하는 식별영역을 인식하고, 상기 식별영역에 대한 온도분포를 추출하는 단계; 대상자의 얼굴 전체에 대한 온도분포 영상으로부터 나타나는 특징형상정보를 추출하는 단계; 대상자의 상태정보를 입력받는 단계; 상기 온도분포 영상과, 식별영역의 온도분포와, 특징형상정보와, 상태정보를 누적하여 데이터베이스를 구축하는 단계; 열상카메라로 대상자의 얼굴 부분을 촬영하여 얻어진 신규영상을 분석하되, 상기 데이터베이스의 검색을 통해 유사도가 높은 상태정보를 반영한 분석결과를 출력하는 단계; 로 이루어지는 것을 특징으로 한다.
이때, 특징형상정보에 대해 동물형상을 기반으로 한 제1분류기준을 입력받는 단계; 상기 추출된 특징형상정보를 상기 제1분류기준과 비교하여 제1분류기준에 대한 유사도를 산출하고, 가장 높은 유사도를 갖는 제1분류기준을 적용하는 단계; 를 더 포함하고, 상기 데이터베이스에 저장되는 각 특징형상정보는 제1분류기준이 적용되어 분류될 수 있다.
또한, 상기 제1분류기준에 대해 표정변화를 기반으로 한 제2분류기준을 입력받는 단계; 상기 제1분류기준이 적용된 특징형상정보를 상기 제2분류기분과 비교하여 제2분류기준에 대한 유사도를 산출하고 가장 높은 유사도를 갖는 제2분류기준을 적용하는 단계; 를 더 포함하고, 상기 데이터베이스에 저장되며 제1분류기준이 적용된 특징형상정보는 제2분류기준이 적용되어 분류될 수 있다.
또한, 상기 상태정보는 대상자의 신원정보를 포함하고, 상기 분석결과를 통해 대상자의 신원을 식별하는 단계; 를 더 포함할 수 있다.
또한, 상기 데이터베이스에 저장된 동일 대상자에 대한 식별영역의 온도분포에서 온도 및 분포영역의 변화를 추적하여 변화정보를 생성하고, 상기 데이터베이스에 저장하는 단계; 동일 대상자에 대한 식별영역의 온도분포가 상기 데이터베이스에 누적됨에 따라 상기 변화정보를 갱신하는 단계; 더 포함할 수 있다.
사람 얼굴의 형태가 온도분포와 융합되어 그려내는 특징형상은 새로 발견된 특성 중의 하나로, 이러한 특징형상을 이용한 대상자의 컨디션, 건강상태의 분석은 원격진료가 시행되고 있는 현실에서 환자의 육체 및 정신적인 건강상태를 간단하면서도 더욱 정확하게 진단할 수 있는 새로운 수단을 제공하며, 건강상태와의 관계를 규명할 수 있는 새로운 의료 진단 기술을 제공할 수 있다.
도 1은 오른쪽 무릎에 통증이 있는 상태의 열상 카메라 사진,
도 2는 얼굴형태 및 윤곽과 온도분포가 융합되어 나타나는 특징형상의 예를 나타낸 열상 카메라 사진,
도 3은 시간차를 두고 찍은 동일인의 열상 카메라에 의한 얼굴을 나타낸 사진,
도 4는 특정 동물형상과 연관시키기 어려운 특징형상을 나타낸 열상 카메라 사진,
도 5는 다른 시간에 촬영한 두 사림의 특징형상을 비교한 열상 카메라 사진,
도 6은 본 발명의 바람직한 실시예에 따른 순서도이다.
도 2는 얼굴형태 및 윤곽과 온도분포가 융합되어 나타나는 특징형상의 예를 나타낸 열상 카메라 사진,
도 3은 시간차를 두고 찍은 동일인의 열상 카메라에 의한 얼굴을 나타낸 사진,
도 4는 특정 동물형상과 연관시키기 어려운 특징형상을 나타낸 열상 카메라 사진,
도 5는 다른 시간에 촬영한 두 사림의 특징형상을 비교한 열상 카메라 사진,
도 6은 본 발명의 바람직한 실시예에 따른 순서도이다.
본 발명은 열상 카메라를 이용하여 촬영한 개개인의 얼굴 영상에서, 특별히 이마와 입술 사이의 온도분포가 얼굴 생김새, 즉 형태 및 윤곽과 합쳐져 그려내는 특징형상과 그 형상의 다양한 표정을 이용하여 컨디션 및 건강상태 진단, 그리고 이 특이성의 왜곡과 변동 그리고 결점(Defect)을 이용하여 컨디션과 건강상태를 진단하는 새로운 방법에 관한 것이다.
이 특징형상은 기본적으로 개인의 얼굴 형태 및 윤곽과 온도분포가 개개인 마다 다르기 때문에 개인마다 다른 독특한 형상을 나타내고 있고, 또한 개인에 따라서는 여러 가지 표정을 가진 다양한 동물형상으로 나타나기도 한다.
이들 형상은 큰 틀은 시간이 지나더라도 기본적으로 변하지 않지만 신체 상태, 건강에 따라 다양한 표정변화 양상을 연출하므로, 이 형상 및 변화를 개인의 식별, 개인의 성격, 컨디션 및 건강상태와 연계시킴에 의해 성격, 컨디션 및 건강상태의 진단과 함께 이 형상의 왜곡 정도나 손상부위 등의 탐지를 통해 건강 및 상태를 판단하는 것이다. 여기서 상태라 함은 개개인 정신 상태의 이완 정도나 현재의 육체의 피로도 정도가 개별 또는 동시에 융합되어 나타나는 육체적인 현상을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명 얼굴의 온도분포 특이성을 이용한 상태 분석 방법을 자세히 설명한다.
도 1은 오른쪽 무릎에 통증이 있는 상태의 열상 카메라 사진으로써, 일반적으로 열상카메라(Thermal Camera)로 촬영되는 영상은 도 1에서 보여주는 것과 같이 환부의 대략적인 부위만 알려줄 뿐 정확한 위치를 알려주지 못한다.
도 1은 오른쪽 무릎에 통증이 있는 것을 나타내고 있으며, 오른쪽 무릎(1)과 왼쪽 무릎(2)에 있어 영상의 차이는 통증에 의해 발생한 열(Heat)의 세기에 있는 것으로 오른쪽 무릎(1)의 대부분을 덮고 있는 하얗게 나타난 부분이 통증부위(3)이다.
도 1의 영상에 흰색의 포화 정도가 오른쪽의 색인(Index)으로 주어진 색상 다이어그램(Diagram)(4)에 나타난 것과 같이 가장 높은 온도를 나타낸다. 이 다이어그램(4)은 진한 청색이 상대적으로 가장 낮은 온도를 나타내고 그 다음 연청색, 녹색, 노란색, 빨간색 그리고 흰색의 순으로 온도가 높아지는 것을 나타내고 있다.
도 1에서 통증부위(3)가 오른쪽 무릎(1)의 대부분을 차지하고 있으므로, 실질적으로 통증(Pain)의 정확한 위치를 찾아내는 것이 어렵다. 실제 통증의 진원지에서 발생한 열은 진원지를 중심으로 사방으로 퍼져나가나, 우리 인체 조직은 대단히 불균일하여 열이 퍼져가는 주변 조직의 구조적인 특성과 함께 진원지 자체도 다양한 형태를 가지므로 통증의 진원지를 중심으로 대칭적인 패턴을 가지는 통증부위는 생성되기 어렵다.
도 2는 얼굴형태 및 윤곽과 온도분포가 융합되어 나타나는 특징형상의 예를 나타낸 열상 카메라 사진으로써, 9명의 개인에게서 각각 얻은 9장의 각기 다른 형상을 보여주는 얼굴의 열상사진들이다.
도 2 (a) 내지 (i)에서 나타난 사진에서 원형의 점선으로 표시된 부분은 본 발명에서의 식별영역으로 윗입술의 위쪽 부위와 머리털로 경계 지어진 이마를 포함한 이마 사이 부위를 포함하고 있다. 이 부위는 얼굴에서 이마, 눈썹, 눈, 눈 둘레, 미간, 광대뼈 부분, 그리고 코, 콧구멍과 인중 부위를 포함한다. 이들 9장의 사진은 도 2(a)의 늑대 형상(5), 도 2(b)의 여우 형상(6), 도 2(c)의 너구리 형상(7), 도 2(d)의 염소 형상(8), 도 2(e)의 원숭이 형상(9), 도 2(f)의 호랑이 형상(10), 도 2(g)의 오소리 형상(11), 도 2(h)의 곰 형상(12), 도 2(h)의 또 다른 늑대 형상(13)으로 임의 분류된 모습을 각각 보여주고 있다.
각각의 사진의 촬영일시로 도 2(a)는 2008년05월21일 오후 07:30:07 저녁식후(pe=0.99), 도 2(b)는 2012년10월02일 오후 07:39:58 저녁 식전(pe=0.95), 도 2(c)는 2008년05월21일 오전 11:09:34 점심 식전 (e=0.99), 도 2(d)는 2008년05월08일 오후 7:34:07 저녁 식후(pe=0.99), 도 2(e)는 2008년05월21일 오후 7:48:15 저녁 식후(pe=0.99), 도 2(f)는 2008년05월23일 오후 2:23:49 점심 식후(pe=0.98), 도 2(g)는 2008년05월23일 오후 2:24:11 점심 직후(pe=0.98), 도 2(h)는 2008년05월21일 오후 7:13:32 저녁 식후(pe=0.99)이다.
참고로, 도 2(g)의 대상자는 여성이며, 도 2(a), 도 2(c), 도 2(h)의 사진은 한국인이 아닌 외국인에게서 얻은 형상이다. 도 2(a)의 늑대 형상(5)과 도 2(i)의 다른 늑대 형상(13)은 비슷한 분위기를 내고 있지만 세부적인 모습이 다르게 나타난다. 이들 형상은 인종에 상관없이 나타나는 개인만의 특성으로, 한 사람이 두 가지 형상을 나타내는 예는 없지만, 유사한 분류가 가능하지만 대상자에 따라 다른 모습을 나타내는 것은 분명히 나타나고 있다.
이들 형상들 중 특기할 것은 도 2(b)의 특징형상으로 이마에서 인중까지 눈과 콧구멍을 제외한 부분의 대부분이 흰색의 온도분포가 있다는 것이다.
도 3은 시간차를 두고 찍은 동일인의 열상 카메라에 의한 얼굴을 나타낸 사진이다. 각각의 사진의 촬영일시로 도 3(a)은 2008년05월21일 오전 11:55:05 점심 식전(pe=0.99), 도 3(b)은 2008년05월21일 오후 1:09:10 점심 식후(pe=0.99), 도 3(c)은 2008년05월21일 오후 4:54:33 저녁 식전 (e=0.99), 도 4(d)는 2008년05월21일 오후 7:48:15 저녁 식후(pe=0.99)이다.
점심식사 전인 오전 12시에 촬영한 열상사진인 도 3(a)은 낭패한 표정의 원숭이와 같은 모습(14)을 보이고 있으나, 점심식사 후 1시경에는 촬영한 사진인 도 3(b)에서는 두 눈(15, 16)이 뚜렷한, 포만감에 의한 행복한 표정의 원숭이와 같은 모습(17)을 보이고 있고, 오후 5시경에 촬영한 열상사진인 도 3(c)은 두 눈(15, 16)의 사이즈가 주위를 둘러싼 흰색의 면적이 커짐에 의해 도 3(b)에서와 같은 행복한 표정의 원숭이 모습(17)에서 두 눈 사이즈보다 훨씬 작아진 눈을 가진 피곤한 표정의 원숭이 모습(18)을 하고 있다. 또한, 피곤한 표정의 원숭이 모습(18)의 머리 부위(19)는 전반적으로 노란색을 띄고 있고, 군데군데 적색과 흰색의 온도분포를 보이는 비교적 높은 온도를 나타내고 있으나, 행복한 표정의 원숭이 모습(17)에 있어 머리부위(20)의 온도는 기본적으로 연청색으로 낮은 온도분포를 나타낸다.
도 3(c)의 피곤한 표정의 원숭이와 같은 모습(18)의 머리 부위(19) 온도분포는 표정과 잘 정합되고 있다. 그리고 도 3(b)에서와 같은 행복한 표정의 원숭이 모습(17)에서 코 주위로 나타나는 온도분포(21)는 피곤한 표정의 원숭이 모습(18)의 코 주위로 나타나는 온도분포(22)에 비해 훨씬 높게 나타나지만 전체적인 온도분포가 주는 큰 틀의 특징형상 즉 특정한 동물과 같은 형상은 변하지 않는다. 이것의 의미는 특징형상이 나타나는 것은 온도분포만이 아닌 개개인의 부분적인 얼굴 생김새에도 의존하고 있다는 것을 나타내고 있다.
도 3의 또 다른 의미는 얼굴의 온도분포는 컨디션이나, 건강상태 등에 의해 다소 달라지기는 하지만, 그 분포가 생김새와 융합되어 표현하는 기본적인 틀, 즉 상술한 바와 같이 임의로 분류된 특정 동물과 같은 형상은 달라지지 않고, 단지 컨디션이나, 건강상태 등에 의해 그 특정 얼굴이 표현하는 분위기, 즉 표정이 달라진다는 것이다. 이는 개개인의 얼굴 생김새나 얼굴에서 표현하는 분위기가 자신의 컨디션이나 건강상태에 따라 달라 보이는 것과 차별이 없다.
도 4는 특정 동물형상과 연관시키기 어려운 특징형상을 나타낸 열상 카메라 사진으로, 본 발명의 특정 동물의 얼굴 형상으로 순간적으로는 특정 동물형상과 연관시키기는 어려운 특징형상을 보여준다.
그러나 형상(23)은 멀리서 보는 경우 곰 형상을 보여주며, 형상 (24)는 날개를 편 독수리 형상(25)을 하고 있는 일부 온도분포가 아주 강하게 나타나, 전체 형상의 판별이 어려우나, 다소 시야를 좁혀서 보면 복슬 강아지(Fluffy Dog) 형상(26)을 보이고 있다.
도 5는 다른 시간에 촬영한 두 사림의 특징형상을 비교한 열상 카메라 사진이다. 도 5(a)는 2014년12월12일에 촬영한 사진, 도 5(b)는 동일한 대상자에 대해 6.5년 전인 2008년05월21일에 촬영한 사진으로 실질적으로 동일한 형상(27)을 보이고 있다. 도 5(a) 및 도 5(b)의 두 형상(13, 27)에 있어 차이는 도 5(b)의 형상(13)에 있어서는 코 부분(28)이 높은 온도분포를 보이고 있으나, 도 5(a)의 형상(27)에서는 이에 대응하는 코 부분(29)가 주변과 동일한 온도가 있는 것이다. 이 온도 차이는 12월이 겨울임에 따라 코 부분(29)의 온도가 낮아진 것에 기인한 것으로 분석된다.
도 5(c)는 2014년12월12일에 촬영한 사진, 도 5(d)는 동일한 대상자에 대해 6.5년 전인 2008년05월08일에 촬영한 것으로 사진에 나타난 형상(30)과 동일하다. 두 형상(23, 30)의 차이는 도 5(d)의 형상(23)의 미간 부분(31)의 온도가 도 5(c)의 형상(30)의 미간 부분(32)보다 낮게 나타난 것이다. 이 차이도 계절의 차이에 의해 주어지는 것으로 분석된다.
그러므로 도 5는 특징형상이 세월에 의해 거의 변화하지 않는 동일한 형상을 보여준다는 것을 증명하고 있으며, 특징형상은 각 개인의 고유한 특징을 나타내고 있음을 알 수 있다. 이 특징형상은 각 개인의 고유한 얼굴형태와 어우러진 특징을 나타내므로, 이 형상을 이용한 각 개인의 식별도 가능할 것이다.
도 2 및 도 5에서 특징형상을 결정짓는 높은 온도 부위는 눈과 코 사이(33), 이마(34), 눈 둘레(35), 눈 밑(36), 콧등(37), 인중을 포함한 콧구멍 주변(38), 코의 옆 부분(39) 등으로 주어지며, 눈썹의 형태를 나타내는 눈썹의 온도분포(40)도 특징형상 표현에 큰 역할을 한다. 그러므로 이들 부위는 특징형상을 만드는 특징 부위이다. 도 3은 컨디션에 따라 이들 특징부위의 온도분포가 달라진다는 것을 보여준다.
도 6은 본 발명의 바람직한 실시예에 따른 순서도로서, 본 발명은 기본적으로 열상카메라와 함께, 촬영된 영상을 알고리즘에 의해 분석 및 저장하고, 비교 및 유사도산출 등이 가능한 데이터처리 수단을 구비한 시스템을 통해 구현된다.
먼저, 첫 번째 단계(S 110)는 열상카메라로 대상자의 얼굴 부분을 촬영하여 온도분포 영상을 획득하는 단계로서, 본 발명에서는 이와 같은 열상카메라 영상을 사용자별로 특정 기간이나 특정 상황에 따라 지속적으로 수집하게 된다. 수집기간 및 수집되는 영상의 숫자가 많을수록 유리하며, 가능한 주변온도 및 장소를 비슷한 조건으로 맞추는 것이 바람직하다.
다음 단계(S 120)로는 상기 온도분포 영상에서 대상자의 지정된 얼굴 부분에 해당하는 식별영역을 인식하고, 상기 식별영역에 대한 온도분포를 추출하게 된다. 이때 식별영역은 필요에 따라 적절한 변경 설정이 가능하나 본 발명의 바람직한 실시예에서는 앞서 언급한 바와 같이 특별히 이마와 윗입술 사이의 영역이 된다.
앞서 언급한 바와 같이 특징형상을 결정짓는 높은 온도 부위는 눈과 코 사이(33), 이마(34), 눈 둘레(35), 눈 밑(36), 콧등(37), 인중을 포함한 콧구멍 주변(38), 코의 옆 부분(39) 등으로 주어지며, 눈썹의 형태를 나타내는 눈썹의 온도분포(40)도 특징형상 표현에 큰 역할을 하므로 온도분포 영상에서 이 부분을 중점적으로 인식할 필요가 있다.
다음 단계(S 130)는 대상자의 얼굴 전체에 대한 온도분포 영상으로부터 나타나는 특징형상정보를 추출하는 단계로서, 상기 특징형상정보는 온도분포가 얼굴 생김새, 즉 형태 및 윤곽과 합쳐져 그려내는 특징형상에 대한 정보를 포함한다. 이는 기본적으로 열상화면에서 나타나는 색상의 경계선의 위치 및 경계선 사이의 거리 등의 이미지분석을 통해 이루어진다.
다음 단계(S 140)에서는 상기 온도분포 영상을 획득한 대상자의 상태정보를 입력받는 단계로서, 상기 상태정보는 대상자의 신상정보를 비롯하여 대상자의 질병이나 건강상태와 정신상태의 이완 정도나 현재의 육체의 피로도와 같은 컨디션 상태를 포함하며, 입력되는 상태정보가 구체적일수록 본 발명의 적용분야를 보다 넓힐 수 있다.
다음 단계(S 150)에서는 상기 온도분포 영상과, 식별영역의 온도분포와, 특징형상정보와, 상태정보를 누적하여 데이터베이스를 구축하게 된다. 이와 같은 데이터베이스는 추후 제공되는 열상 사진의 분석을 위한 기초자료로 정보의 누적이 많을수록 더욱 정밀한 진단이 이루어질 수 있다.
다음 단계(S 160)에서는 열상카메라로 대상자의 얼굴 부분을 촬영하여 얻어진 신규영상을 분석하되, 상기 데이터베이스의 검색을 통해 유사도가 높은 상태정보를 반영한 분석결과를 출력하게 된다. 즉 실질적으로 동일하거나 유사도가 높은 데이터베이스의 누적 데이터에 나타난 상태를 통해 현재 대상자의 상태를 동일하거나 근접하게 판단할 수 있게 된다.
이때, 유사한 얼굴형태 즉 골격이나 근육을 비롯하여, 비슷한 온도분포를 갖는 대상자의 그룹의 경우 동일한 체질 및 특성을 갖는 것으로 분류될 수 있음으로 이를 통한 분류가 이루어짐으로 더욱 의미 있는 분석결과를 얻을 수 있으며, 바람직하게는 앞서 언급한 바와 같이 임의로 분류되는 동물형상을 기반으로 할 수 있다.
이를 위해 특징형상정보에 대해 동물형상을 기반으로 한 제1분류기준을 입력받는 단계(S 141)가 진행된다. 굳이 특정 동물을 붙이지 않더라도 유사한 특성을 갖는 대상자의 분류를 위한 기준으로써 얼굴형상 및 온도분포가 유사한 특성을 그룹화할 수 있도록 하게 된다.
이후 단계(S 142)에서는 이전 단계(S 130)에서 추출된 특징형상정보를 상기 제1분류기준과 비교하여 제1분류기준에 대한 유사도를 산출하고, 가장 높은 유사도를 갖는 제1분류기준을 적용하게 되며, 상기 데이터베이스에 저장되는 각 특징형상정보는 제1분류기준이 적용되어 분류가 이루어지게 된다.
또한, 앞서 살펴본 바와 같이 제1분류기준에 따른 큰 형상이 변하지 않더라도 대상자의 상태에 따라 표정변화가 생기게 되므로, 상기 제1분류기준에 대해 표정변화를 기반으로 한 제2분류기준을 입력받는 단계(S 143)가 이루어지는 것이 바람직하다. 즉 희로애락에 근거한 표정변화를 바탕으로 보다 쉽게 접근할 수 있는 기준으로 이후 단계(S 144)에서는 마찬가지로 상기 제1분류기준이 적용된 특징형상정보를 상기 제2분류기분과 비교하여 제2분류기준에 대한 유사도를 산출하고 가장 높은 유사도를 갖는 제2분류기준을 적용하게 되고, 상기 데이터베이스에 저장되며 제1분류기준이 적용된 특징형상정보는 제2분류기준이 적용되어 분류된다.
또한, 본 발명에서의 특징형상은 대상자 고유의 특이형상을 나타내며, 메이크업이나 변장과 같은 요소에 비교적 영향을 덜 받아 정확한 개인 식별이 이루어질 수 있다. 이에 따라 상기 상태정보는 대상자의 신원정보를 포함하고, 상기 분석결과를 통해 대상자의 신원을 식별하는 단계(S 161)를 포함함으로 개인의 식별도 가능하다.
더불어 신체의 노화 등의 이유에 근거하거나, 앞서 언급한 특징부분에 대한 온도변화 추이를 통해 더욱 정확한 상태 분석이 이루어질 수 있도록 온도변화를 지속적으로 누적 관리할 필요가 있다.
이를 위해 상기 데이터베이스에 저장된 동일 대상자에 대한 식별영역의 온도분포에서 온도 및 분포영역의 변화를 추적하여 변화정보를 생성하고, 상기 데이터베이스에 저장하는 단계(S 170)와, 동일 대상자에 대한 식별영역의 온도분포가 상기 데이터베이스에 누적됨에 따라 상기 변화정보를 갱신하는 단계를 더 포함하는 것이 바람직하며, 온도분포의 왜곡과 변동 그리고 결점(Defect)을 이용한 세부적인 상태 판단이 이루어질 수 있다.
본 발명의 권리는 위에서 설명된 실시 예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
Claims (5)
- 얼굴의 온도분포 특이성을 이용한 상태 분석 방법에 있어서,
열상카메라로 대상자의 얼굴 부분을 촬영하여 온도분포 영상을 획득하는 단계(S 110);
상기 온도분포 영상에서 대상자의 지정된 얼굴 부분에 해당하는 식별영역을 인식하고, 상기 식별영역에 대한 온도분포를 추출하는 단계(S 120);
대상자의 얼굴 전체에 대한 온도분포 영상으로부터 나타나는 특징형상정보를 추출하는 단계(S 130);
대상자의 상태정보를 입력받는 단계(S 140);
상기 온도분포 영상과, 식별영역의 온도분포와, 특징형상정보와, 상태정보를 누적하여 데이터베이스를 구축하는 단계(S 150);
열상카메라로 대상자의 얼굴 부분을 촬영하여 얻어진 신규영상을 분석하되, 상기 데이터베이스의 검색을 통해 유사도가 높은 상태정보를 반영한 분석결과를 출력하는 단계(S 160); 로 이루어지는 것을 특징으로 하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법.
- 제1항에 있어서,
특징형상정보에 대해 동물형상을 기반으로 한 제1분류기준을 입력받는 단계(S 141);
상기 추출된 특징형상정보를 상기 제1분류기준과 비교하여 제1분류기준에 대한 유사도를 산출하고, 가장 높은 유사도를 갖는 제1분류기준을 적용하는 단계(S 142); 를 더 포함하고,
상기 데이터베이스에 저장되는 각 특징형상정보는 제1분류기준이 적용되어 분류되는 것을 특징으로 하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법.
- 제2항에 있어서,
상기 제1분류기준에 대해 표정변화를 기반으로 한 제2분류기준을 입력받는 단계(S 143);
상기 제1분류기준이 적용된 특징형상정보를 상기 제2분류기분과 비교하여 제2분류기준에 대한 유사도를 산출하고 가장 높은 유사도를 갖는 제2분류기준을 적용하는 단계(S 144); 를 더 포함하고,
상기 데이터베이스에 저장되며 제1분류기준이 적용된 특징형상정보는 제2분류기준이 적용되어 분류되는 것을 특징으로 하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법.
- 제1항에 있어서,
상기 상태정보는 대상자의 신원정보를 포함하고,
상기 분석결과를 통해 대상자의 신원을 식별하는 단계(S 161); 를 더 포함하는 것을 특징으로 하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법.
- 제1항에 있어서,
상기 데이터베이스에 저장된 동일 대상자에 대한 식별영역의 온도분포에서 온도 및 분포영역의 변화를 추적하여 변화정보를 생성하고, 상기 데이터베이스에 저장하는 단계(S 170);
동일 대상자에 대한 식별영역의 온도분포가 상기 데이터베이스에 누적됨에 따라 상기 변화정보를 갱신하는 단계(S 180); 더 포함하는 것을 특징으로 하는 얼굴의 온도분포 특이성을 이용한 상태 분석 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150004383A KR101644843B1 (ko) | 2015-01-12 | 2015-01-12 | 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150004383A KR101644843B1 (ko) | 2015-01-12 | 2015-01-12 | 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160086687A true KR20160086687A (ko) | 2016-07-20 |
KR101644843B1 KR101644843B1 (ko) | 2016-08-02 |
Family
ID=56680040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150004383A KR101644843B1 (ko) | 2015-01-12 | 2015-01-12 | 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101644843B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190000074A (ko) * | 2017-06-22 | 2019-01-02 | 주식회사 아이알웨이브 | 안면의 온도 분포를 이용하여 대상자의 질병 감염 여부를 판단하는 방법과 장치 |
KR20210133410A (ko) * | 2020-04-29 | 2021-11-08 | 강병진 | 디지털 질병 제어 시스템 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2958003C (en) | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
EP3681394A1 (en) | 2017-11-13 | 2020-07-22 | Covidien LP | Systems and methods for video-based monitoring of a patient |
US11712176B2 (en) | 2018-01-08 | 2023-08-01 | Covidien, LP | Systems and methods for video-based non-contact tidal volume monitoring |
US11510584B2 (en) | 2018-06-15 | 2022-11-29 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
CN112584753A (zh) | 2018-08-09 | 2021-03-30 | 柯惠有限合伙公司 | 基于视频的患者监测***以及用于检测和监测呼吸的相关方法 |
US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007252803A (ja) * | 2006-03-24 | 2007-10-04 | Konica Minolta Holdings Inc | データ解析装置及びデータ解析方法 |
JP2009119896A (ja) | 2007-11-12 | 2009-06-04 | Nissan Motor Co Ltd | 顔温度算出装置および顔温度算出方法 |
-
2015
- 2015-01-12 KR KR1020150004383A patent/KR101644843B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007252803A (ja) * | 2006-03-24 | 2007-10-04 | Konica Minolta Holdings Inc | データ解析装置及びデータ解析方法 |
JP2009119896A (ja) | 2007-11-12 | 2009-06-04 | Nissan Motor Co Ltd | 顔温度算出装置および顔温度算出方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190000074A (ko) * | 2017-06-22 | 2019-01-02 | 주식회사 아이알웨이브 | 안면의 온도 분포를 이용하여 대상자의 질병 감염 여부를 판단하는 방법과 장치 |
KR20210133410A (ko) * | 2020-04-29 | 2021-11-08 | 강병진 | 디지털 질병 제어 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR101644843B1 (ko) | 2016-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101644843B1 (ko) | 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 | |
Ramirez et al. | Color analysis of facial skin: Detection of emotional state | |
Hamm et al. | Automated facial action coding system for dynamic analysis of facial expressions in neuropsychiatric disorders | |
Savran et al. | Emotion detection in the loop from brain signals and facial images | |
US20160317041A1 (en) | System and methods for measuring physiological parameters | |
CN109259749A (zh) | 一种基于视觉摄像头的非接触式心率测量方法 | |
JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
JP5405994B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、肌評価方法 | |
JP5977408B2 (ja) | 体表評価方法および体表評価装置 | |
de Oliveira et al. | Segmentation of infrared images: A new technology for early detection of breast diseases | |
Andreu-Cabedo et al. | Mirror mirror on the wall… An intelligent multisensory mirror for well-being self-assessment | |
WO2020070745A1 (en) | Remote prediction of human neuropsychological state | |
Mohd et al. | Mental stress recognition based on non-invasive and non-contact measurement from stereo thermal and visible sensors | |
Wesley et al. | A comparative analysis of thermal and visual modalities for automated facial expression recognition | |
Gupta et al. | Accurate heart-rate estimation from face videos using quality-based fusion | |
Kossack et al. | Local blood flow analysis and visualization from RGB-video sequences | |
KR102123121B1 (ko) | 사용자의 신원 파악이 가능한 혈압 모니터링 방법 및 시스템 | |
Arasu et al. | Human Stress Recognition from Facial Thermal-Based Signature: A Literature Survey. | |
Chiarugi et al. | Facial Signs and Psycho-physical Status Estimation for Well-being Assessment. | |
Dinculescu et al. | Novel approach to face expression analysis in determining emotional valence and intensity with benefit for human space flight studies | |
Mitsuhashi et al. | Noncontact pulse wave detection by two-band infrared video-based measurement on face without visible lighting | |
KR102132959B1 (ko) | 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템 | |
Wang et al. | Non-contact measurement of heart rate based on facial video | |
US20230111692A1 (en) | System and method for determining human emotions | |
KR102035172B1 (ko) | 사용자의 신원 파악이 가능한 혈중 산소포화도 모니터링 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |