KR102431575B1 - Method and apparatus for measuring body temperature using thermal image sensor - Google Patents
Method and apparatus for measuring body temperature using thermal image sensor Download PDFInfo
- Publication number
- KR102431575B1 KR102431575B1 KR1020200147028A KR20200147028A KR102431575B1 KR 102431575 B1 KR102431575 B1 KR 102431575B1 KR 1020200147028 A KR1020200147028 A KR 1020200147028A KR 20200147028 A KR20200147028 A KR 20200147028A KR 102431575 B1 KR102431575 B1 KR 102431575B1
- Authority
- KR
- South Korea
- Prior art keywords
- temperature
- face
- value
- region
- edge
- Prior art date
Links
- 230000036760 body temperature Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000009529 body temperature measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
- A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
- A61B2560/0252—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0271—Thermal or temperature sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radiation Pyrometers (AREA)
Abstract
열화상 센서를 이용한 체온 측정 방법 및 장치가 제공된다. 상기 방법에서, 측정 장치가, 출입자의 얼굴 이미지를 획득하고, 획득된 얼굴 이미지로부터 얼굴을 검출하며, 출입자의 열화상을 획득하고, 획득된 열화상으로부터 상기 검출된 얼굴의 좌표를 기반으로 얼굴 영역을 추출한다. 그리고, 추출된 얼굴 영역의 온도 정보와 얼굴 영역의 주변인 얼굴 주변 영역의 온도 정보를 획득하고 이들을 기반으로 얼굴 영역의 가장 자리의 온도를 보정한다. 이후, 측정 장치는, 보정된 가장 자리의 온도를 포함하는 얼굴 영역의 온도 정보를 기반으로 얼굴 영역의 온도를 체온으로 측정한다. A method and apparatus for measuring body temperature using a thermal image sensor are provided. In the above method, the measuring device acquires a face image of the occupant, detects a face from the acquired face image, obtains a thermal image of the occupant, and a facial region based on the coordinates of the detected face from the acquired thermal image to extract Then, the extracted temperature information of the face region and the temperature information of the face region surrounding the face region are obtained, and the temperature of the edge of the face region is corrected based on them. Thereafter, the measuring device measures the temperature of the face region as body temperature based on temperature information of the face region including the corrected edge temperature.
Description
본 발명은 체온 측정에 관한 것으로, 더욱 상세하게 말하자면, 열화상 센서를 이용한 체온 측정 방법 및 장치에 관한 것이다. The present invention relates to body temperature measurement, and more particularly, to a method and apparatus for measuring body temperature using a thermal image sensor.
출입자의 건강 상태 확인과 다른 사람들에게의 전염 예방을 위해 밀집 지역 출입자의 체온을 측정하는 기술의 수요가 발생하고 있다. 체온 측정 초기에는 출입문, 로비 등에 근무하는 보안 요원이 직접 체온계를 들고 측정하는 방식으로 수행되었다. 그러나, 수작업으로 측정하는 비효율성과 수작업으로 인한 기록의 어려움이 있고, 많은 출입자와의 접촉으로 인해 보안 요원이 전염 위험에 노출되고, 전염 위험에 노출된 보안 요원이 다시 많은 출입자와 접촉하는 상황이 발생함에 따라, 이를 해결하기 위해 자동으로 출입자의 체온을 측정하는 기술이 제안되었다. There is a demand for a technology that measures the body temperature of people entering a densely populated area to check the health status of visitors and prevent transmission to other people. In the early days of body temperature measurement, security personnel working at entrances and lobbies took the thermometer and measured it. However, there is the inefficiency of manual measurement and the difficulty of manual recording, and the security personnel are exposed to the risk of infection due to contact with many people, and the security personnel exposed to the risk of infection come into contact with many people again. Accordingly, in order to solve this problem, a technology for automatically measuring the body temperature of an entrant has been proposed.
출입자 자동 체온 측정 기술은 열화상 카메라를 활용하여 출입자의 신체를 식별하고, 신체 부위의 온도를 측정하는 방식을 사용한다. 그러나, 열화상 카메라의 경우, 해상도가 320×240 정도로 보안 카메라에 비해 상대적으로 낮아 정확히 신체를 구분하여 체온을 측정하기 어려운 문제점이 있다.
선행 기술 문헌: 대한민국 등록 특허 번호 제10-2162943호 "워크스루 열화상 체온 측정 시스템"The entrant's automatic body temperature measurement technology uses a thermal imaging camera to identify the entrant's body and measure the temperature of the body part. However, in the case of a thermal imaging camera, the resolution is 320×240, which is relatively low compared to a security camera, so it is difficult to accurately distinguish the body and measure the body temperature.
Prior art literature: Republic of Korea Patent No. 10-2162943 "Walk-Through Thermal Imaging Body Temperature Measurement System"
본 발명이 해결하고자 하는 과제는, 열화상 센서 이외에도 보안 카메라를 추가적으로 활용하여 출입자의 체온을 정확하게 측정하는 방법 및 장치를 제공하는 것이다. An object of the present invention is to provide a method and apparatus for accurately measuring the body temperature of an entrant by additionally utilizing a security camera in addition to a thermal image sensor.
본 발명의 일 실시 예에 따르면, 출입자의 체온을 측정하는 방법이 제공되며, 상기 방법은, 측정 장치가, 출입자의 얼굴 이미지를 획득하고, 획득된 얼굴 이미지로부터 얼굴을 검출하는 단계; 상기 측정 장치가, 상기 출입자의 열화상을 획득하고, 획득된 열화상으로부터 상기 검출된 얼굴의 좌표를 기반으로 얼굴 영역을 추출하는 단계; 상기 측정 장치가, 상기 추출된 얼굴 영역의 온도 정보와 상기 얼굴 영역의 주변인 얼굴 주변 영역의 온도 정보를 획득하는 단계; 상기 측정 장치가, 상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보를 기반으로 상기 얼굴 영역의 가장 자리의 온도를 보정하는 단계; 및 상기 측정 장치가, 상기 보정된 가장 자리의 온도를 포함하는 상기 얼굴 영역의 온도 정보를 기반으로 상기 얼굴 영역의 온도를 체온으로 측정하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a method for measuring the body temperature of an occupant, the method comprising: acquiring, by a measuring device, a face image of the entrant, and detecting a face from the acquired face image; obtaining, by the measuring device, a thermal image of the person entering and exiting, and extracting a face region from the obtained thermal image based on the detected coordinates of the face; obtaining, by the measuring device, temperature information of the extracted face region and temperature information of a face region surrounding the face region; correcting, by the measuring device, a temperature of an edge of the face region based on temperature information of the face region and temperature information of a region surrounding the face; and measuring, by the measuring device, the temperature of the face region as body temperature based on temperature information of the face region including the corrected edge temperature.
일 구현 예에서, 상기 온도를 보정하는 단계는 상기 얼굴 영역의 가장 자리의 픽셀이 상기 획득된 얼굴 이미지에서 검출된 얼굴 영역에 포함되는 비율을 추가적으로 고려하여, 상기 가장 자리의 온도를 보정할 수 있다. In an embodiment, in the step of correcting the temperature, the temperature of the edge may be corrected by additionally considering a ratio in which pixels of the edge of the face region are included in the face region detected in the obtained face image. .
일 구현 예에서, 상기 온도를 보정하는 단계는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값과 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값의 차이에 상기 비율을 곱한 값을 고려하여, 상기 가장 자리의 온도를 보정할 수 있다. In one embodiment, the step of correcting the temperature is the ratio to the difference between the average value of the temperature values of pixels constituting the remaining regions except the edge of the face region and the average value of the temperature values of the pixels constituting the face region. In consideration of a value multiplied by , the temperature of the edge may be corrected.
일 구현 예에서, 상기 온도를 보정하는 단계는 하기의 수식:In one embodiment, the step of correcting the temperature is the following formula:
을 기반으로, 상기 가장 자리의 픽셀의 온도값을 보정하며, 여기서, TempEdge는 상기 가장 자리 픽셀의 온도값을 나타내고, TempFase는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내며, Tempboundary는 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내고, Involve_portion는 상기 비율을 나타낼 수 있다. Based on , the temperature value of the pixel at the edge is corrected, where Temp Edge represents the temperature value of the edge pixel, and Temp Fase is the temperature of pixels constituting the remaining area except for the edge in the face area. may indicate an average value of the values, Temp boundary may indicate an average value of temperature values of pixels constituting the area around the face, and Involve_portion may indicate the ratio.
일 구현 예에서, 상기 온도 정보를 획득하는 단계 이후에, 상기 방법은, 상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보에서 각각 특이값을 제거하는 단계를 더 포함할 수 있다. 이 경우, 상기 온도를 보정하는 단계와 상기 온도를 체온으로 측정하는 단계는 상기 특이값이 제거된 온도 정보를 기반으로 수행될 수 있다. In an embodiment, after obtaining the temperature information, the method may further include removing singular values from the temperature information of the face region and the temperature information of the region around the face, respectively. In this case, the steps of correcting the temperature and measuring the temperature as body temperature may be performed based on the temperature information from which the singular value is removed.
일 구현 예에서, 상기 특이값을 제거하는 단계는, 상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값을 이용하여 상기 특이값을 제거할 수 있다. In an embodiment, the removing of the singular value may include removing the singular value by using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels. can do.
일 구현 예에서, 상기 특이값을 제거하는 단계는, 상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값 이용하여 설정 범위의 제1 설정값 및 제2 설정값을 설정하는 단계; 및In an embodiment, the removing of the singular value may include: first setting of a setting range using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels setting a value and a second set value; and
상기 얼굴 영역과 상기 얼굴 주변 영역을 구성하는 각 픽셀의 온도 값 중에서 상기 설정 범위를 만족하는 온도 값은 정상값으로 분류하고, 상기 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 분류하여 제거하는 단계를 포함할 수 있다. Among the temperature values of each pixel constituting the face region and the face peripheral region, a temperature value that satisfies the set range is classified as a normal value, and a pixel temperature value that does not satisfy the set range is classified as a singular value and removed. may include steps.
일 구현 예에서, 상기 설정 범위는 하기의 수식:In one embodiment, the setting range is the following formula:
을 만족하며, Avg는 상기 열화상을 구성하는 픽셀들의 온도 평균값을 나타내고, Max는 상기 픽셀들의 온도값 중 최대값을 나타내고, Min은 상기 픽셀들의 온도값 중 최소값을 나타내며, 상기 0.5는 설계에 따라 가변 가능할 수 있다. is satisfied, Avg represents the average temperature value of pixels constituting the thermal image, Max represents the maximum value among the temperature values of the pixels, Min represents the minimum value among the temperature values of the pixels, and 0.5 represents the temperature value of the pixels according to the design. may be variable.
본 발명의 다른 실시 예에 따르면, 출입자의 체온을 측정하는 장치가 제공되며, 상기 장치는, 얼굴 이미지와 열화상에 관련된 데이터를 입력받도록 구성된 인터페이스 장치; 및 상기 인터페이스 장치에 연결된 프로세서를 포함하고, 상기 프로세서는 상기 인터페이스 장치를 통해 제공되는 상기 얼굴 이미지로부터 얼굴을 검출하도록 구성된 얼굴 검출부; 상기 인터페이스 장치를 통해 제공되는 상기 열화상으로부터 상기 검출된 얼굴의 좌표를 기반으로 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역의 온도 정보와 상기 얼굴 영역의 주변인 얼굴 주변 영역의 온도 정보를 획득하도록 구성된 열화상 처리부; 상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보를 기반으로 상기 얼굴 영역의 가장 자리의 온도를 보정하고, 상기 보정된 가장 자리의 온도를 포함하는 상기 얼굴 영역의 온도 정보를 기반으로 상기 얼굴 영역의 온도를 체온으로 측정하도록 구성된 체온 측정부를 포함한다. According to another embodiment of the present invention, there is provided an apparatus for measuring the body temperature of an occupant, the apparatus comprising: an interface device configured to receive data related to a face image and a thermal image; and a processor connected to the interface device, wherein the processor includes: a face detection unit configured to detect a face from the face image provided through the interface device; extracting a face region based on the detected coordinates of the face from the thermal image provided through the interface device, and acquiring temperature information of the extracted face region and temperature information of a region surrounding the face surrounding the face region thermal image processing unit; The temperature of the edge of the face region is corrected based on the temperature information of the face region and the temperature information of the region around the face, and the face region based on the temperature information of the face region including the corrected edge temperature and a body temperature measuring unit configured to measure the temperature of the region as body temperature.
일 구현 예에서, 상기 체온 측정부는 상기 얼굴 영역의 가장 자리의 픽셀이 상기 획득된 얼굴 이미지에서 검출된 얼굴 영역에 포함되는 비율을 추가적으로 고려하여, 상기 가장 자리의 온도를 보정하도록 구성될 수 있다. In an embodiment, the body temperature measuring unit may be configured to correct the temperature of the edge by additionally considering a ratio in which pixels of the edge of the face region are included in the face region detected in the obtained face image.
일 구현 예에서, 상기 체온 측정부는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값과 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값의 차이에 상기 비율을 곱한 값을 고려하여, 상기 가장 자리의 온도를 보정하도록 구성될 수 있다. In one embodiment, the body temperature measuring unit is a value obtained by multiplying the ratio by the difference between the average value of the temperature values of pixels constituting the remaining regions except for the edge of the face region and the average value of the temperature values of the pixels constituting the peripheral region of the face In consideration of this, it may be configured to correct the temperature of the edge.
일 구현 예에서, 상기 체온 측정부는 하기의 수식:In one embodiment, the body temperature measuring unit has the following formula:
을 기반으로, 상기 가장 자리의 픽셀의 온도값을 보정하며, 여기서, TempEdge는 상기 가장 자리 픽셀의 온도값을 나타내고, TempFase는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내며, Tempboundary는 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내고, Involve_portion는 상기 비율을 나타낼 수 있다. Based on , the temperature value of the pixel at the edge is corrected, where Temp Edge represents the temperature value of the edge pixel, and Temp Fase is the temperature of pixels constituting the remaining area except for the edge in the face area. may indicate an average value of the values, Temp boundary may indicate an average value of temperature values of pixels constituting the area around the face, and Involve_portion may indicate the ratio.
일 구현 예에서, 상기 체온 측정부는 상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보에서 각각 특이값을 제거하도록 구성된 특이값 제거부를 포함할 수 있다. In an embodiment, the body temperature measuring unit may include a singular value removing unit configured to remove a singular value from the temperature information of the face region and the temperature information of the peripheral region of the face, respectively.
일 구현 예에서, 상기 체온 측정부는, 상기 얼굴 주변 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로 상기 얼굴 주변 영역의 온도의 평균값을 계산하도록 구성된 얼굴 주변 온도 계산부; 상기 얼굴 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로, 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 계산하도록 구성된 얼굴 주변 온도 계산부; 및 상기 얼굴 주변 영역의 온도의 평균값과 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 기반으로 체온을 측정하도록 구성된 체온 계산부를 더 포함할 수 있다. In an embodiment, the body temperature measuring unit may include: a face surrounding temperature calculator configured to calculate an average value of the temperature of the face surrounding area based on temperature values of pixels from which a singular value has been removed among pixels constituting the face surrounding area; a face ambient temperature calculator configured to calculate an average value of the temperatures of regions other than an edge of the face region based on temperature values of pixels from which a singular value has been removed among pixels constituting the face region; and a body temperature calculator configured to measure the body temperature based on the average value of the temperature of the region around the face and the average value of the temperatures of regions other than the edge of the face region.
일 구현 예에서, 상기 특이값 제거부는, 상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값을 이용하여 상기 특이값을 제거하도록 구성될 수 있다. In an embodiment, the singular value removal unit may be configured to remove the singular value by using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels. can
일 구현 예에서, 상기 특이값 제거부는, 상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값 이용하여 설정 범위의 제1 설정값 및 제2 설정값을 설정하고, 상기 얼굴 영역과 상기 얼굴 주변 영역을 구성하는 각 픽셀의 온도 값 중에서 상기 설정 범위를 만족하는 온도 값은 정상값으로 분류하고, 상기 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 분류하여 제거하도록 구성될 수 있다. In an embodiment, the singular value removing unit may include a first set value and a second set value of a set range using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels. 2 Set a set value, and among the temperature values of each pixel constituting the face region and the face peripheral region, a temperature value that satisfies the set range is classified as a normal value, and a pixel temperature value that does not satisfy the set range is It can be configured to classify as outliers and remove them.
실시 예들에 따르면, 열화상 센서 이외에도 보안 카메라를 추가적으로 활용하여 출입자의 신체 중 얼굴을 정확히 식별하여 출입자의 얼굴의 온도를 체온으로서 측정할 수 있다. According to embodiments, by additionally using a security camera in addition to the thermal image sensor, the face of the entrant may be accurately identified and the temperature of the occupant's face may be measured as body temperature.
또한, 열화상으로부터 획득되는 픽셀들의 온도값 중에서 특이값을 제거함으로써, 정확한 온도 측정이 이루어질 수 있다. Also, by removing the singular value from the temperature values of pixels obtained from the thermal image, accurate temperature measurement can be made.
또한, 보안 카메라와 열화상 센서의 해상도 차이를 고려하여 얼굴 영역의 가장 자리의 온도를 보정하고 이를 토대로 온도 측정을 수행함으로써, 보다 정확한 체온 측정이 이루어질 수 있다. In addition, more accurate body temperature measurement can be achieved by correcting the temperature of the edge of the face region in consideration of the difference in resolution between the security camera and the thermal image sensor and measuring the temperature based on this.
도 1은 본 발명의 실시 예에 따른 체온 측정 장치의 구조도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 영역과 얼굴 주변 영역을 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 체온 측정부의 구조를 나타낸 도이다.
도 4는 보안 카메라에 의해 촬영된 영상과 열화상 센서에 의해 촬영된 열화상의 해상도를 나타낸 예시도이다.
도 5는 보안 카메라에 의해 촬영된 영상과 열화상 센서에 의해 촬영된 열화상의 매칭 예를 나타낸 예시도이다.
도 6은 본 발명의 실시 예에 따른 체온 측정 방법의 흐름도이다.
도 7은 본 발명의 실시 예에 따른 체온 측정 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다. 1 is a structural diagram of a body temperature measuring apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a face region and a face peripheral region according to an embodiment of the present invention.
3 is a diagram showing the structure of a body temperature measuring unit according to an embodiment of the present invention.
4 is an exemplary view illustrating the resolution of an image photographed by a security camera and a thermal image photographed by a thermal image sensor.
5 is an exemplary diagram illustrating an example of matching between an image captured by a security camera and a thermal image captured by a thermal image sensor.
6 is a flowchart of a method for measuring body temperature according to an embodiment of the present invention.
7 is a structural diagram illustrating a computing device for implementing a method for measuring body temperature according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.In this specification, expressions described in the singular may be construed as singular or plural unless an explicit expression such as “a” or “single” is used.
또한, 본 발명의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Also, terms including ordinal numbers such as first, second, etc. used in an embodiment of the present invention may be used to describe the components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 열화상 센서를 이용한 체온 측정 방법 및 장치에 대하여 설명한다. Hereinafter, a method and apparatus for measuring body temperature using a thermal image sensor according to an embodiment of the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시 예에 따른 체온 측정 장치의 구조도이다. 1 is a structural diagram of a body temperature measuring apparatus according to an embodiment of the present invention.
본 발명의 실시 예에 따른 체온 측정 장치(1)는, 영상 입력부(10), 얼굴 검출부(20), 열화상 센서(30), 열화상 처리부(40), 및 체온 측정부(50)를 포함한다. The body temperature measuring apparatus 1 according to an embodiment of the present invention includes an
영상 입력부(10)는 보안 카메라로부터 출입자의 영상을 입력받도록 구성된다. 보안 카메라에 의해 촬영된 출입자의 영상에 관련된 데이터가 영상 입력부(10)로 제공되며, 영상 입력부(10)는 영상 데이터를 얼굴 검출부(20)로 전달한다. 여기서 보안 카메라는 보안을 목적으로 설치된 카메라를 나타내지만 본 발명은 이에 한정되지 않으며 영상이 촬영 가능한 모든 형태의 카메라를 포함한다. The
얼굴 검출부(20)는 보안 카메라로부터 전달받은 출입자의 영상에서 얼굴을 검출하도록 구성된다. 얼굴 검출부(20)는 검출된 얼굴 영역의 좌표를 열화상 처리부(40)와 체온 측정부(50)로 전달한다. The
열화상 센서(30)는 측정 대상인 출입자의 열화상을 획득하도록 구성된다. 열화상은 열화상 처리부(40)로 전달된다. The
열화상 처리부(40)는 획득된 열화상으로부터 온도를 측정하도록 구성된다. 구체적으로, 열화상 처리부(40)는 얼굴 검출부(20)로부터 전달받은 얼굴 영역의 좌표를 참조하여 열화상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 얼굴 주변 영역과 검출된 얼굴 영역에 해당하는 온도를 측정하여 해당하는 온도 정보를 체온 측정부(50)로 전달하도록 구성된다. 온도 정보는 영역을 구성하는 각 픽셀의 온도 값을 포함한다. The thermal
한편, 체온 측정부(50)는 출입자의 얼굴 영역의 온도 정보와 얼굴 주변 영역의 온도 정보를 기반으로 체온을 측정하도록 구성된다. On the other hand, the body
도 2는 본 발명의 실시 예에 따른 얼굴 영역과 얼굴 주변 영역을 나타낸 도이다. 2 is a diagram illustrating a face region and a face peripheral region according to an embodiment of the present invention.
첨부한 도 2에서와 같이, 얼굴 영역은 얼굴 윤곽 내부에 포함되는 영역을 나타내고, 얼굴 주변 영역은 얼굴 윤곽 외부에 바로 인접한 영역을 나타낸다. As shown in FIG. 2 , the face region represents a region included within the face outline, and the face peripheral region represents a region immediately adjacent to the outside of the face contour.
도 3은 본 발명의 실시 예에 따른 체온 측정부의 구조를 나타낸 도이다. 3 is a diagram illustrating a structure of a body temperature measuring unit according to an embodiment of the present invention.
본 발명의 실시 예에 따른 체온 측정부(50)는 도 2에서와 같이, 특이값 제거부(51), 얼굴 주변 온도 계산부(52), 얼굴 온도 계산부(53), 및 체온 계산부(54)를 포함한다. As shown in FIG. 2 , the body
특이값 제거부(51)는 열화상 처리부(40)로부터 전달받은 얼굴 영역의 온도와 얼굴 주변 영역의 온도 중 특이값을 제거하도록 구성된다. The singular
특이값 제거부(51)는 구체적으로, 열화상 처리부(40)에 의해 측정된 열화상을 구성하는 픽셀들의 온도 평균값, 최대값 그리고 최소값을 이용하여 얼굴 영역의 온도 정보와 얼굴 주변 영역의 온도 정보에서 각각 특이값을 제거한다. 이를 위해 다음 수학식을 기반으로 특이값을 제거한다. Specifically, the singular
여기서, Avg는 열화상 처리부(40)로부터 전달받은 열화상에서의 픽셀들의 온도의 평균값을 나타내고, Max는 열화상에서의 픽셀들의 온도의 최대값을 나타내며, Min은 열화상에서의 픽셀들의 온도의 최소값을 나타낸다. 여기서, 0.5는 설계에 따라 가변 가능하다. 를 제1 설정 값이라고 명명하고, 는 제2 설정 값이라고 명명한다. Here, Avg denotes the average value of the temperatures of pixels in the thermal image received from the thermal
이러한 수학식 1을 기반으로 하는 설정 범위를 만족하는 픽셀 온도 값을 정상값으로 분류하고, 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 판단하여 제거한다. 즉, 특이값 제거부(51)는 얼굴 영역과 얼굴 주변 영역을 구성하는 각 픽셀의 온도 값 중에서 설정 범위를 만족하는 온도 값은 정상값으로 분류하고, 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 분류하여 제거한다. 그리고 특이값이 제거된 얼굴 영역의 온도 정보를 얼굴 온도 계산부(53)로 전달하고, 특이값이 제거된 얼굴 주변 영역의 온도 정보를 얼굴 주변 온도 계산부(52)로 전달한다. A pixel temperature value satisfying a setting range based on Equation 1 is classified as a normal value, and a pixel temperature value that does not satisfy the setting range is determined as a singular value and removed. That is, the singular
얼굴 주변 온도 계산부(52)는 특이값이 제거된 얼굴 주변 영역의 온도 정보를 기반으로 얼굴 주변 영역의 온도를 계산하도록 구성된다. 예를 들어, 얼굴 주변 온도 계산부(52)는 얼굴 주변 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로 얼굴 주변 영역의 온도를 계산한다. 여기서 계산된 얼굴 주변 영역의 온도는 특이값이 제거된 픽셀들의 온도값의 평균값 즉, 얼굴 주변 영역의 온도의 평균값일 수 있다. The face surrounding
얼굴 온도 계산부(53)는 특이값이 제거된 얼굴 영역의 온도 정보를 기반으로 얼굴 영역의 온도를 계산하도록 구성된다. 예를 들어, 얼굴 온도 계산부(53)는 얼굴 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로 얼굴 영역의 온도를 계산한다. 여기서, 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균 값 즉, 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 계산할 수 있다. The
체온 계산부(54)는 얼굴 주변 온도 계산부(52)와 얼굴 온도 계산부(53)로부터 전달받은 온도 정보와 얼굴 검출부(20)로부터 전달받은 얼굴 영역의 좌표를 기반으로 체온을 계산하도록 구성된다. The
본 발명의 실시 예에서는 영상 입력부(10)에 입력된 출입자의 영상의 해상도와 열화상 처리부(40)에 의해 측정된 열화상의 해상도 차이를 고려하여, 체온을 측정한다. In the embodiment of the present invention, the body temperature is measured in consideration of the difference between the resolution of the image of the person input to the
도 4는 보안 카메라에 의해 촬영된 영상과 열화상 센서에 의해 촬영된 열화상의 해상도를 나타낸 예시도이다. 4 is an exemplary view showing the resolution of an image photographed by a security camera and a thermal image photographed by a thermal image sensor.
영상 입력부(10)에 입력된 출입자의 영상은 보안 카메라에 의해 촬영된 영상으로 도 4에서와 같이, 예를 들어, 1080×1920의 해상도를 가지며, 열화상 처리부(40)에 의해 촬영된 열화상은 240×320의 해상도를 가진다. 이와 같이 보안 카메라에 의해 촬영된 영상의 해상도와 열화상 센서에 의해 촬영된 열화상의 해상도가 상이하기 때문에, 보안 카메라에 의해 촬영된 영상으로부터 검출된 얼굴 영역의 좌표와 열화상의 얼굴 영역의 위치가 정확히 매칭되지 않는다. The image of the person entering the
도 5는 보안 카메라에 의해 촬영된 영상과 열화상 센서에 의해 촬영된 열화상의 매칭 예를 나타낸 예시도이다. 5 is an exemplary diagram illustrating an example of matching between an image photographed by a security camera and a thermal image photographed by a thermal image sensor.
예를 들어, 보안 카메라에 의해 촬영된 영상에서 얼굴 영역 외부에 포함되는 픽셀들이 열화상 센서에 의해 촬영된 열화상에서는 얼굴 영역 내부에 포함되는 경우가 발생한다. 또한, 도 5에서와 같이, 보안 카메라에 의해 촬영된 영상의 얼굴 영역 외부의 픽셀과 얼굴 영역 내부의 픽셀이 열화상의 하나의 픽셀에 함께 매칭되는 경우도 발생한다. For example, pixels included outside the face region in an image captured by a security camera may be included in the face region in a thermal image captured by a thermal image sensor. Also, as shown in FIG. 5 , a case may occur in which a pixel outside the face region and a pixel inside the face region of the image captured by the security camera are matched together with one pixel of the thermal image.
이에 따라 본 발명의 실시 예에서는, 열화상의 얼굴 영역의 가장 자리에 있는 픽셀들의 온도를 보정하는 작업을 수행한다. 구체적으로 얼굴 영역 가장 자리의 픽셀의 온도와 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도를 기반으로 다음의 수학식 2를 이용하여 보정 작업을 수행한다. Accordingly, in the embodiment of the present invention, the temperature of pixels at the edge of the face region of the thermal image is corrected. Specifically, the correction operation is performed using the following Equation 2 based on the temperature of the pixel at the edge of the face region and the temperature of the remaining region except the edge of the face region.
여기서, TempEdge는 열화상에서 얼굴 영역의 가장 자리 픽셀의 온도값을 나타내고, TempFase는 열화상에서 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 나타내며, Tempboundary는 열화상에서 얼굴 주변 영역의 온도의 평균값을 나타내고, Involve_portion은 열화상에서의 얼굴 영역의 가장 자리 픽셀이 보안 카메라 영상에서 검출된 얼굴 영역에 포함되는 비율을 나타낸다. Here, Temp Edge represents the temperature value of the edge pixel of the face area in the thermal image, Temp Fase represents the average value of the temperature of the remaining area except the edge of the face area in the thermal image, and Temp boundary represents the temperature value of the area around the face in the thermal image. It represents the average value of the temperature, and Involve_portion represents the ratio in which the edge pixel of the face area in the thermal image is included in the face area detected in the security camera image.
체온 계산부(54)는 열화상의 얼굴 영역의 가장 자리 픽셀의 온도값을 위의 수학식 2를 기반으로 보정하고, 보정된 얼굴 영역의 가장 자리 픽셀의 온도 값을 포함하는 얼굴 영역의 픽셀들의 온도 값들을 기반으로 체온을 계산한다. 예를 들어, 보정된 얼굴 영역 가장 자리 픽셀의 온도 값을 포함하는 얼굴 영역의 픽셀들의 온도 값들의 평균값을 계산하여 체온으로 결정한다. The
다음에는 이러한 구조를 기반으로 본 발명의 실시 예에 따른 체온 측정 방법에 대하여 설명한다. Next, a method for measuring body temperature according to an embodiment of the present invention will be described based on this structure.
도 6은 본 발명의 실시 예에 따른 체온 측정 방법의 흐름도이다. 6 is a flowchart of a method for measuring body temperature according to an embodiment of the present invention.
첨부한 도 6에서와 같이, 체온 측정 장치(1)는 출입자에 대해 보안 카메라에 의해 촬영된 영상을 획득한다(S100). As shown in the attached FIG. 6 , the body temperature measuring device 1 acquires an image photographed by a security camera for the entrant ( S100 ).
획득된 출입자의 영상에서 얼굴이 검출되면(S110), 다음 단계를 진행하고, 획득된 출입자의 영상에서 얼굴이 검출되지 않으면 다음 영상을 입력받는다. When a face is detected in the acquired image of the entrant (S110), the next step is performed. If the face is not detected in the acquired entrant's image, the next image is received.
체온 측정 장치(1)는 열화상 처리부(40)로부터 출입자의 열화상을 획득하며(S120), 검출된 얼굴의 좌표를 기반으로 열화상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역의 온도 정보와 얼굴 주변 영역의 온도 정보를 획득한다(S130).The body temperature measuring apparatus 1 acquires a thermal image of the person entering from the thermal image processing unit 40 (S120), detects a face region from the thermal image based on the detected coordinates of the face, and includes temperature information of the detected face region and the face Temperature information of the surrounding area is acquired (S130).
다음, 얼굴 영역의 온도 정보와 얼굴 주변 영역의 온도 정보에서 정상값이 아닌 특이값을 제거한다(S140). 특이값을 제거하는 방법은 위에 기술된 수학식 1을 기반으로 한 설명을 참조한다. Next, a singular value other than the normal value is removed from the temperature information of the face region and the temperature information of the region around the face ( S140 ). For a method of removing the singular value, refer to the description based on Equation 1 described above.
체온 측정 장치(1)는 특이값이 제거된 얼굴 주변 영역의 온도 정보를 기반으로 얼굴 주변 영역의 온도를 계산하고(S150), 특이값이 제거된 얼굴 영역의 온도 정보를 기반으로 얼굴 영역의 온도를 계산한다(S160). 예를 들어, 얼굴 주변 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값의 평균값(얼굴 주변 영역의 온도의 평균값)을 계산하고, 얼굴 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로, 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균 값(얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값)을 계산할 수 있다. The body temperature measuring device 1 calculates the temperature of the face region based on the temperature information of the face region from which the singular value has been removed (S150), and the temperature of the face region based on the temperature information of the face region from which the singular value has been removed is calculated (S160). For example, the average value of the temperature values (average temperature of the face region) of pixels constituting the face region from which the singular value has been removed is calculated, and the Based on the temperature values of the pixels, it is possible to calculate an average value of the temperature values of the pixels constituting the remaining regions except the edges of the face region (the average values of the temperatures of the remaining regions excluding the edges of the face region).
다음에, 열화상에서의 얼굴 영역 가장 자리 픽셀이 보안 카메라 영상에서 검출된 얼굴 영역에 포함되는 비율을 이용하여, 열화상의 얼굴 영역 가장 자리 픽셀의 온도 값을 보정한다(S170). 특히, 단계(S150)에서 계산된 얼굴 주변 영역의 온도의 평균값과 단계(S160)에서 계산된 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값 그리고 상기 비율을 이용하여 얼굴 영역 가장 자리 픽셀의 온도 값을 보정하며, 구체적인 방법은 위에 기술된 수학식 2를 기반으로 한 설명을 참조한다. Next, the temperature value of the edge pixel of the face region of the thermal image is corrected using the ratio that the edge pixel of the face region in the thermal image is included in the face region detected in the security camera image (S170). In particular, the average value of the temperature of the area around the face calculated in step S150, the average value of the temperature of the remaining areas except the edge of the face area calculated in step S160, and the ratio of the edge pixels of the face area are used. For correcting the temperature value, refer to the description based on Equation 2 described above for a specific method.
체온 측정 장치(1)는 보정된 얼굴 영역 가장 자리 픽셀의 온도 값을 포함하는 얼굴 영역의 픽셀들의 온도 값들을 기반으로 체온을 계산한다(S180). 예를 들어, 보정된 얼굴 영역 가장 자리 픽셀의 온도 값을 포함하는 얼굴 영역의 픽셀들의 온도 값들의 평균값을 계산하여 체온으로 결정한다. The body temperature measuring apparatus 1 calculates the body temperature based on the temperature values of the pixels of the face region including the corrected temperature values of the edge pixels of the face region ( S180 ). For example, the body temperature is determined by calculating an average value of temperature values of pixels of the face region including the corrected temperature values of the edge pixels of the face region.
이러한 실시 예에 따르면, 열화상 센서 이외에도 보안 카메라를 추가적으로 활용하여 출입자의 신체 중 얼굴을 정확히 식별하고, 식별된 얼굴의 온도를 기반으로 체온을 정확하게 측정할 수 있다. According to this embodiment, by additionally utilizing a security camera in addition to the thermal image sensor, it is possible to accurately identify a face among the body of the entrant and accurately measure the body temperature based on the temperature of the identified face.
도 7은 본 발명의 실시 예에 따른 체온 측정 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다. 7 is a structural diagram illustrating a computing device for implementing a method for measuring body temperature according to an embodiment of the present invention.
첨부한 도 7에 도시되어 있듯이, 본 발명의 일 실시 예에 따른 체온 측정 방법은 컴퓨팅 장치(100)를 이용하여 구현될 수 있다. 7 , the method for measuring body temperature according to an embodiment of the present invention may be implemented using the
컴퓨팅 장치(100)는 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(160) 및 네트워크 인터페이스 장치(150) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(170)가 아니라, 프로세서(110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.The
프로세서(110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic Processing Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(120) 또는 저장 장치(160)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(110)는 메모리(120) 및 저장 장치(160) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(110)는 위의 도 1 내지 도 6을 토대로 설명한 기능 및 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 얼굴 검출부, 열화상 처리부, 체온 측정부의 기능을 수행하도록 구성될 수 있다. The
메모리(120) 및 저장 장치(160)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(121) 및 RAM(random access memory)(122)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다. The
입력 인터페이스 장치(130)는 데이터를 프로세서(110)로 제공하도록 구성되며, 출력 인터페이스 장치(140)는 프로세서(110)로부터의 데이터를 출력하도록 구성된다. 입력 인터페이스 장치(130)는 예를 들어 보안 카메라로부터 획득된 얼굴 이미지와 열화상 센서로부터 획득된 열화상을 프로세서(110)로 제공하도록 구성될 수 있다. The
네트워크 인터페이스 장치(150)는 유선 네트워크 또는 무선 네트워크를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다. The
이러한 구조로 이루어지는 컴퓨팅 장치(100)는 체온을 측정하는 장치로 명명되어, 본 발명의 일 실시 예에 따른 체온 측정 방법을 구현할 수 있다. The
또한, 본 발명의 일 실시 예에 따른 체온 측정 방법 중 적어도 일부는 컴퓨팅 장치(100)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.In addition, at least a part of the method for measuring body temperature according to an embodiment of the present invention may be implemented as a program or software executed in the
또한, 본 발명의 일 실시 예에 따른 체온 측정 방법 중 적어도 일부는 컴퓨팅 장치(100)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.Also, at least a part of the method for measuring body temperature according to an embodiment of the present invention may be implemented as hardware capable of being electrically connected to the
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiment of the present invention is not implemented only through the apparatus and/or method described above, but is implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. Also, such an implementation can be easily implemented by those skilled in the art to which the present invention pertains from the description of the above-described embodiments.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.
Claims (16)
측정 장치가, 출입자의 얼굴 이미지를 획득하고, 획득된 얼굴 이미지로부터 얼굴을 검출하는 단계;
상기 측정 장치가, 상기 출입자의 열화상을 획득하고, 획득된 열화상으로부터 상기 검출된 얼굴의 좌표를 기반으로 얼굴 영역을 추출하는 단계;
상기 측정 장치가, 상기 추출된 얼굴 영역의 온도 정보와 상기 얼굴 영역의 주변인 얼굴 주변 영역의 온도 정보를 획득하는 단계;
상기 측정 장치가, 상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보를 기반으로 상기 얼굴 영역의 가장 자리의 온도를 보정하는 단계; 및
상기 측정 장치가, 상기 보정된 가장 자리의 온도를 포함하는 상기 얼굴 영역의 온도 정보를 기반으로 상기 얼굴 영역의 온도를 체온으로 측정하는 단계
를 포함하는 방법.As a method of measuring the body temperature of an entrant,
obtaining, by the measurement device, a face image of the person entering and detecting the face from the obtained face image;
obtaining, by the measuring device, a thermal image of the person entering and exiting, and extracting a face region from the obtained thermal image based on the detected coordinates of the face;
obtaining, by the measuring device, temperature information of the extracted face region and temperature information of a face region surrounding the face region;
correcting, by the measuring device, a temperature of an edge of the face region based on temperature information of the face region and temperature information of a region surrounding the face; and
measuring, by the measuring device, the temperature of the face region as body temperature based on temperature information of the face region including the corrected edge temperature
How to include.
상기 온도를 보정하는 단계는
상기 얼굴 영역의 가장 자리의 픽셀이 상기 획득된 얼굴 이미지에서 검출된 얼굴 영역에 포함되는 비율을 추가적으로 고려하여, 상기 가장 자리의 온도를 보정하는, 방법.According to claim 1,
The step of correcting the temperature is
and correcting the temperature of the edge by additionally considering a ratio in which pixels of the edge of the face region are included in the face region detected in the acquired face image.
상기 온도를 보정하는 단계는
상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값과 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값의 차이에 상기 비율을 곱한 값을 고려하여, 상기 가장 자리의 온도를 보정하는, 방법.3. The method of claim 2,
The step of correcting the temperature is
In consideration of a value obtained by multiplying the ratio by the difference between the average value of the temperature values of the pixels constituting the area other than the edge of the face area and the average temperature values of the pixels constituting the area around the face, the temperature of the edge How to calibrate.
상기 온도를 보정하는 단계는 하기의 수식:
을 기반으로, 상기 가장 자리의 픽셀의 온도값을 보정하며, 여기서, TempEdge는 상기 가장 자리 픽셀의 온도값을 나타내고, TempFase는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내며, Tempboundary는 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내고, Involve_portion는 상기 비율을 나타내는, 방법.4. The method of claim 3,
The step of correcting the temperature is performed by the following formula:
Based on , the temperature value of the pixel at the edge is corrected, where Temp Edge represents the temperature value of the edge pixel, and Temp Fase is the temperature of pixels constituting the remaining area except for the edge in the face area. represents an average value of values, Temp boundary represents an average value of temperature values of pixels constituting the area around the face, and Involve_portion represents the ratio.
상기 온도 정보를 획득하는 단계 이후에,
상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보에서 각각 특이값을 제거하는 단계
를 더 포함하고,
상기 온도를 보정하는 단계와 상기 온도를 체온으로 측정하는 단계는 상기 특이값이 제거된 온도 정보를 기반으로 수행되는, 방법.According to claim 1,
After obtaining the temperature information,
removing each singular value from the temperature information of the face region and the temperature information of the region around the face
further comprising,
The step of correcting the temperature and measuring the temperature as a body temperature are performed based on the temperature information from which the singular value is removed.
상기 특이값을 제거하는 단계는,
상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값을 이용하여 상기 특이값을 제거하는, 방법.6. The method of claim 5,
The step of removing the singular value is
removing the singular value by using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels.
상기 특이값을 제거하는 단계는,
상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값 이용하여 설정 범위의 제1 설정값 및 제2 설정값을 설정하는 단계; 및
상기 얼굴 영역과 상기 얼굴 주변 영역을 구성하는 각 픽셀의 온도 값 중에서 상기 설정 범위를 만족하는 온도 값은 정상값으로 분류하고, 상기 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 분류하여 제거하는 단계
를 포함하는, 방법.6. The method of claim 5,
The step of removing the singular value is
setting a first set value and a second set value in a set range using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels; and
Among the temperature values of each pixel constituting the face region and the face peripheral region, a temperature value that satisfies the set range is classified as a normal value, and a pixel temperature value that does not satisfy the set range is classified as a singular value and removed. step
A method comprising
상기 설정 범위는 하기의 수식:
을 만족하며,
Avg는 상기 열화상을 구성하는 픽셀들의 온도 평균값을 나타내고, Max는 상기 픽셀들의 온도값 중 최대값을 나타내고, Min은 상기 픽셀들의 온도값 중 최소값을 나타내며, 상기 0.5는 설계에 따라 설정된 값인, 방법.8. The method of claim 7,
The setting range is given by the following formula:
is satisfied with
Avg represents an average temperature value of pixels constituting the thermal image, Max represents a maximum value among temperature values of the pixels, Min represents a minimum value among temperature values of the pixels, and 0.5 is a value set according to a design .
얼굴 이미지와 열화상에 관련된 데이터를 입력받도록 구성된 인터페이스 장치; 및
상기 인터페이스 장치에 연결된 프로세서
를 포함하고,
상기 프로세서는
상기 인터페이스 장치를 통해 제공되는 상기 얼굴 이미지로부터 얼굴을 검출하도록 구성된 얼굴 검출부;
상기 인터페이스 장치를 통해 제공되는 상기 열화상으로부터 상기 검출된 얼굴의 좌표를 기반으로 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역의 온도 정보와 상기 얼굴 영역의 주변인 얼굴 주변 영역의 온도 정보를 획득하도록 구성된 열화상 처리부;
상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보를 기반으로 상기 얼굴 영역의 가장 자리의 온도를 보정하고, 상기 보정된 가장 자리의 온도를 포함하는 상기 얼굴 영역의 온도 정보를 기반으로 상기 얼굴 영역의 온도를 체온으로 측정하도록 구성된 체온 측정부
를 포함하는, 장치.As a device for measuring the body temperature of an occupant,
an interface device configured to receive data related to a face image and a thermal image; and
a processor coupled to the interface device
including,
the processor
a face detection unit configured to detect a face from the face image provided through the interface device;
extracting a face region based on the detected coordinates of the face from the thermal image provided through the interface device, and obtaining temperature information of the extracted face region and temperature information of a peripheral region surrounding the face region thermal image processing unit;
The temperature of the edge of the face region is corrected based on the temperature information of the face region and the temperature information of the region around the face, and the face region based on the temperature information of the face region including the corrected edge temperature Body temperature measuring unit configured to measure the temperature of the area as body temperature
A device comprising a.
상기 체온 측정부는 상기 얼굴 영역의 가장 자리의 픽셀이 상기 획득된 얼굴 이미지에서 검출된 얼굴 영역에 포함되는 비율을 추가적으로 고려하여, 상기 가장 자리의 온도를 보정하도록 구성되는, 장치.10. The method of claim 9,
The body temperature measuring unit is configured to correct the temperature of the edge by additionally considering a ratio in which pixels of the edge of the face region are included in the face region detected in the acquired face image.
상기 체온 측정부는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값과 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값의 차이에 상기 비율을 곱한 값을 고려하여, 상기 가장 자리의 온도를 보정하도록 구성되는, 장치.11. The method of claim 10,
The body temperature measuring unit considers a value obtained by multiplying the ratio by the difference between the average value of the temperature values of pixels constituting the remaining region except the edge of the face region and the average value of the temperature values of the pixels constituting the region around the face. A device configured to calibrate the temperature of the edge.
상기 체온 측정부는 하기의 수식:
을 기반으로, 상기 가장 자리의 픽셀의 온도값을 보정하며, 여기서, TempEdge는 상기 가장 자리 픽셀의 온도값을 나타내고, TempFase는 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내며, Tempboundary는 상기 얼굴 주변 영역을 구성하는 픽셀들의 온도값의 평균값을 나타내고, Involve_portion는 상기 비율을 나타내는, 장치.12. The method of claim 11,
The body temperature measuring unit has the following formula:
Based on , the temperature value of the pixel at the edge is corrected, where Temp Edge represents the temperature value of the edge pixel, and Temp Fase is the temperature of pixels constituting the remaining area except for the edge in the face area. an average value of values, Temp boundary indicates an average value of temperature values of pixels constituting the area around the face, and Involve_portion indicates the ratio.
상기 체온 측정부는
상기 얼굴 영역의 온도 정보와 상기 얼굴 주변 영역의 온도 정보에서 각각 특이값을 제거하도록 구성된 특이값 제거부
를 포함하는, 장치.10. The method of claim 9,
The body temperature measuring unit
A singular value removing unit configured to remove singular values from the temperature information of the face region and the temperature information of the peripheral region of the face, respectively
A device comprising a.
상기 체온 측정부는,
상기 얼굴 주변 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로 상기 얼굴 주변 영역의 온도의 평균값을 계산하도록 구성된 얼굴 주변 온도 계산부;
상기 얼굴 영역을 구성하는 픽셀들 중에서 특이값이 제거된 픽셀들의 온도값을 기반으로, 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 계산하도록 구성된 얼굴 온도 계산부; 및
상기 얼굴 주변 영역의 온도의 평균값과 상기 얼굴 영역에서 가장 자리를 제외한 나머지 영역의 온도의 평균 값을 기반으로 체온을 측정하도록 구성된 체온 계산부
를 더 포함하는, 장치.14. The method of claim 13,
The body temperature measuring unit,
a face peripheral temperature calculator configured to calculate an average value of the temperature of the face peripheral region based on temperature values of pixels from which a singular value has been removed among pixels constituting the face peripheral region;
a face temperature calculator configured to calculate an average value of temperatures of regions other than an edge of the face region based on temperature values of pixels from which singular values have been removed among pixels constituting the face region; and
a body temperature calculator configured to measure body temperature based on an average value of the temperature of the region around the face and an average value of the temperatures of regions other than the edge of the face region
Further comprising, the device.
상기 특이값 제거부는, 상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값을 이용하여 상기 특이값을 제거하도록 구성되는, 장치.14. The method of claim 13,
The singular value removing unit is configured to remove the singular value by using an average temperature value of pixels constituting the thermal image, a maximum value among the temperature values of the pixels, and a minimum value among the temperature values of the pixels.
상기 특이값 제거부는,
상기 열화상을 구성하는 픽셀들의 온도 평균값, 상기 픽셀들의 온도값 중 최대값, 그리고 상기 픽셀들의 온도값 중 최소값 이용하여 설정 범위의 제1 설정값 및 제2 설정값을 설정하고, 상기 얼굴 영역과 상기 얼굴 주변 영역을 구성하는 각 픽셀의 온도 값 중에서 상기 설정 범위를 만족하는 온도 값은 정상값으로 분류하고, 상기 설정 범위를 만족하지 않는 픽셀 온도 값은 특이값으로 분류하여 제거하도록 구성되는, 장치.14. The method of claim 13,
The singular value removal unit,
The first set value and the second set value of the set range are set using the average temperature value of the pixels constituting the thermal image, the maximum value among the temperature values of the pixels, and the minimum value among the temperature values of the pixels, and the face region and The device is configured to classify a temperature value satisfying the set range as a normal value among the temperature values of each pixel constituting the area around the face, and classify and remove a pixel temperature value that does not satisfy the set range as a singular value, .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200147028A KR102431575B1 (en) | 2020-11-05 | 2020-11-05 | Method and apparatus for measuring body temperature using thermal image sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200147028A KR102431575B1 (en) | 2020-11-05 | 2020-11-05 | Method and apparatus for measuring body temperature using thermal image sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220060892A KR20220060892A (en) | 2022-05-12 |
KR102431575B1 true KR102431575B1 (en) | 2022-08-10 |
Family
ID=81590703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200147028A KR102431575B1 (en) | 2020-11-05 | 2020-11-05 | Method and apparatus for measuring body temperature using thermal image sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102431575B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101420200B1 (en) | 2013-11-21 | 2014-07-21 | (주)토핀스 | Body temperature detecting system using thermal image camera |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180109217A (en) * | 2017-03-27 | 2018-10-08 | 삼성전자주식회사 | Method for enhancing face image and electronic device for the same |
-
2020
- 2020-11-05 KR KR1020200147028A patent/KR102431575B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101420200B1 (en) | 2013-11-21 | 2014-07-21 | (주)토핀스 | Body temperature detecting system using thermal image camera |
Also Published As
Publication number | Publication date |
---|---|
KR20220060892A (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101806400B1 (en) | A surveillance system for body heat by the dual camera using the black body | |
US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
EP2785046B1 (en) | Image correction apparatus, image correction method, and biometric authentication apparatus | |
TWI640929B (en) | Fingerprint identification method and fingerprint identification device | |
EP3067856B1 (en) | Image processing apparatus and image processing method | |
JP2020062198A (en) | State determination system | |
US20150243027A1 (en) | Image processing device, image processing method, and program | |
JP2008286638A (en) | Height estimation device and method | |
CN111784894B (en) | Access control data processing method and device and medium | |
KR102431575B1 (en) | Method and apparatus for measuring body temperature using thermal image sensor | |
CN116412915A (en) | Temperature measurement method, electronic device and computer readable storage medium | |
US20210401327A1 (en) | Imaging apparatus, information processing apparatus, image processing system, and control method | |
KR101911860B1 (en) | Method and Apparatus for Detecting Road Using Camera Model and Filter in Depth Image | |
JP2013218393A (en) | Imaging device | |
KR102458065B1 (en) | Apparatus and method for measuring body temperature by recognizing the face | |
US20210201007A1 (en) | Object detection device, object detection system, object detection method, and recording medium having program recorded thereon | |
JP7208379B2 (en) | Calibration method | |
KR102518061B1 (en) | Method and apparatus for checking whether mask is worn through facial contour estimation | |
KR101566618B1 (en) | Method and apparatus for estimating hyperemia grade of eye | |
EP3662824B1 (en) | Autonomous full spectrum biometric monitoring | |
JP2017205426A (en) | Psychological state evaluation program and psychological state evaluation device | |
KR101726505B1 (en) | Apparatus and method for acquiring and processing tongue image | |
EP4303831A1 (en) | Verification program, verification method, and information processing apparatus | |
JP2019180748A (en) | Image processing program, image processing apparatus, and image processing method | |
US11690561B2 (en) | Cognitive function evaluation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |