KR20180123900A - Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner - Google Patents
Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner Download PDFInfo
- Publication number
- KR20180123900A KR20180123900A KR1020170058260A KR20170058260A KR20180123900A KR 20180123900 A KR20180123900 A KR 20180123900A KR 1020170058260 A KR1020170058260 A KR 1020170058260A KR 20170058260 A KR20170058260 A KR 20170058260A KR 20180123900 A KR20180123900 A KR 20180123900A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- camera
- thermal
- visible light
- passenger
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Radiation Pyrometers (AREA)
Abstract
Description
본 발명은 열화상 카메라를 이용한 인체 감시 발열 경보 방법 및 장치에 관한 것으로, 보다 상세하게는 CCTV 결합형 열상 카메라 및 일반 카메라를 이용하여 통행자의 체온을 측정 감시하여 정상 체온이 아닌 경우 발열 경보를 효율적으로 수행하는 인체 감시 발열 경보 방법 및 장치에 관한 것이다.More particularly, the present invention relates to a method and apparatus for monitoring and heating a human body by using a thermal imaging camera, and more particularly, to a method and apparatus for monitoring and monitoring a body temperature of a passenger using a CCTV combined thermal imaging camera and a general camera, To a human body monitoring heat generation alarm method and apparatus.
본 발명은 국가연구개발사업의 일환으로, "과제고유번호: 경기도 지역협력센터 GRRC 수원 2016-B3, 연구사업명: 경기도 지역협력연구센터 지원사업, 연구과제명: 클라우드 기반 지능형 영상 보안 감시 시스템 개발"에 의해 지원되었다.As a part of the national research and development project, "Gyeonggi Province Regional Cooperation Center GRRC Suwon 2016-B3, Research Project: Gyeonggi Provincial Cooperative Research Center Support Project, Project Title: Development of cloud-based intelligent video surveillance system" .
요즘 사회는 교통수단의 발달로 인하여, 사람이나 가축의 이동이 활발하게 일어나서, 사람이나 가축이 유행하는 전염병에 감염되었는지를 1차적으로 판단하고 또한 병원을 추적하기 위하여 열상 카메라 또는 체온을 측정하여 전염병 감염 여부를 판단하고 있다.Recently, society has been actively promoting the movement of people and livestock due to the development of transportation, and firstly judging whether human or livestock is infected with a contagious disease, and also to measure a thermal camera or body temperature It is judged whether it is infected.
특히, 사스(중증 급성 호흡기 증후군), 신종플루, 에볼라, 메르스 등의 호흡기성 전염병은 광범위하게 전염될 수 있는 위험성이 자주 발생되며, 이러한 전염성 질병들은 통상의 질병과 유사하여 전염성 질병인지 확진되기 전까지는 감염자 자신도 감염 자체를 알기가 어렵다. 다만, 이러한 전염성 질병은 열을 동반하게 되므로, 체온을 측정하여 심한 열이 나는 사람들은 1차적으로 감염 의심자로 판단하여 격리 조치 후 정밀 검사를 통해 감염 여부를 판단할 수 있다.In particular, the respiratory infectious diseases such as SARS (severe acute respiratory syndrome), H1N1, Ebola, and MERs are frequently exposed to a wide range of risk, and these infectious diseases are similar to common diseases and are confirmed as infectious diseases Until then, it is difficult for the infected person to know the infection itself. However, since these infectious diseases are accompanied by fever, people who have severe heat by measuring their body temperature can be judged as suspect of infection first, and after the isolation measure, they can judge the infection by close inspection.
그러므로, 종래에는 일일이 통행자의 체온을 측정하여 고열이 나는 사람을 격리하는 방법도 있었으나, 이는 많은 인력이 필요함은 물론 통행자에게도 통행 및 측정의 불편함 및 불쾌감을 초래할 뿐만 아니라, 측정자 및 통행자가 이러한 과정을 통하여 오히려 감염될 수 있는 환경을 초래할 수 있는 단점이 있었다.Therefore, in the past, there has been a method of isolating a person who feels high fever by measuring the body temperature of a passer by one person. However, this not only requires a lot of manpower but also inconvenience and discomfort to the passer, Which may lead to an environment that may be rather infected through the process.
이를 해결하기 위하여 특허문헌 1 (한국특허공개 10-2010-0129937(2015.11.23))은 "객체 건강 상태 판단 방법 및 시스템"을 개시하며, 보다 상세하게는 객체와 흑체를 함께 촬영한 열상 카메라의 열화상에서 흑체의 검출 온도를 토대로 객체의 체온이나 얼굴 온도를 보정함으로써 정확도가 높은 체온이나 얼굴 온도를 기반으로 객체의 건강 상태를 효과적으로 판단하는 객체 건강 상태 판단 방법 및 시스템을 제공하고 있으며, 특허문헌 2 (한국특허등록공보 10-1729327(2017.4.17))는 "듀얼 카메라를 이용한 체온 추적 모니터링 시스템"을 개시하며, 보다 상세하게는 듀얼 카메라를 이용한 체온 추적 모니터링 시스템에 의하면, 듀얼 카메라의 가시광 카메라로 얼굴 이미지도 동시에 촬영하여 얼굴 이미지로 사람을 식별함으로써, 신분 카드 등 직접적으로 신분이 확인되지 않은 사람들도 체온을 추적하고 그 이력을 관리할 수 있도록 하였다.In order to solve this problem, Patent Document 1 (Korean Patent Laid-Open No. 10-2010-0129937 (Feb. 25, 2013)) discloses a "method and system for determining an object health condition", and more particularly, There is provided a method and system for determining an object health state based on a body temperature or a face temperature with high accuracy by correcting a body temperature or a face temperature of an object based on a detection temperature of a black body in a deterioration state, (Korean Patent Registration No. 10-1729327 (Apr. 17, 2017)) discloses a " body temperature tracking monitoring system using a dual camera. &Quot; More specifically, according to a body temperature tracking monitoring system using a dual camera, Face images are also shot at the same time to identify the person with the face image. People who are also tracking the temperature were to manage his career.
그러나, 상기 특허문헌 1은 열상 카메라만을 이용하여 객체나 흑체를 촬영한 열화상으로부터 흑체의 검출온도를 기반으로 객체의 체온이나 얼굴 온도를 측정함으로써 필요한 계산량이 많아지는 문제점이 있을 것이며, 상기 특허문헌 2는 일반 카메라 및 열상 카메라를 사용하고 있지만 가상 카메라를 이용하여 촬영한 얼굴 이미지는 사람을 식별하기 위한 것이지, 열화상의 처리 계산량을 줄이지는 못하였다.However, in Patent Document 1, there is a problem that the required amount of calculation is increased by measuring the body temperature or the face temperature of the object based on the detection temperature of the black body from the thermal image obtained by photographing the object or the black body using only the thermal camera, 2 uses a general camera and a thermal camera, but the face image taken by the virtual camera is for identifying a person, and can not reduce the calculation amount of the degradation processing.
이외에 특허문헌 3은 열상 카메라를 이용하여 체온을 측정하기 위한 것은 아니지만, 일반 카메라를 이용하여 화재발생여부 및 침입자의 침입여부를 판단하기 위한 것으로, 상기 특허문헌 3(한국특허등록공보 10-1128022(2012.3.12))은 "다목적 감시용 카메라"를 개시하며, 적외선 카메라에서 촬영된 적외선 영상과, 가시광 카메라에서 촬영된 가시광 영상의 화각이 기본적으로 일치되므로, 두 영상을 용이하고 정확하게 맵핑하여 얻어지는 영상을 기초로 화재발생여부 및 침입자의 침입여부를 정확하게 판단할 수 있다.In addition, Patent Document 3 is not for measuring the body temperature by using a thermal camera, but is for judging whether or not a fire has occurred and intruder intrusion by using a general camera, and Patent Document 3 (Korean Patent Registration No. 10-1128022 March 12, 2012) discloses a "multi-purpose surveillance camera." Since an angle of view of an infrared image captured by an infrared camera and a visible image captured by a visible light camera are basically matched, It is possible to accurately determine whether a fire has occurred and whether or not an intruder has entered the fire.
본 발명이 해결하고자 하는 과제는 일반 카메라 및 열상 카메라를 모두 구비한 듀얼 컴퓨터를 사용하여, 체온 측정에 필요한 계산량을 감소시킨 인체 감시 발열 경보 방법 및 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a human body monitoring and heating alarm method and apparatus in which the amount of calculation required for body temperature measurement is reduced by using a dual computer equipped with both a general camera and a thermal camera.
본 발명이 해결하고자 하는 과제는 일반 카메라 및 열상 카메라를 모두 구비한 듀얼 컴퓨터를 사용하여, 일반 카메라의 얼굴 영역에 열상 카메라의 얼굴 영역을 오버레이하여 출력함으로써 보다 자연스런 영상을 출력하는 인체 감시 발열 경보 방법 및 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The object of the present invention is to provide a human body monitoring and heating alarm method for outputting a more natural image by outputting overlaying a face area of a thermal camera to a face area of a general camera using a dual computer equipped with both a general camera and a thermal camera And an object thereof.
따라서, 본 발명은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 방법에 있어서, Accordingly, the present invention provides a human body monitoring and heating alarm method for generating an alarm when a body temperature of a passenger measured using a dual camera equipped with a general camera and a thermal camera is not a normal body temperature,
상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 단계;Extracting only a face region of a passenger from a visible light image of a passenger in a virtual region of interest set in the general camera with a face recognition program to detect an outermost boxed coordinate value of the face region;
상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 온도 분포도를 해석하여 질병 여부를 판단하는 단계;Analyzing a face temperature distribution map located at the delivered face area coordinate value from a thermal image captured by the thermal imaging camera to determine an out-of-disease box coordinate value of the detected face area;
상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 단계; 및The face image of the face image of the visible light image captured by the general camera, so that only the face portion of the visible light image is superimposed on the face image of the face detected as disease or not in the thermal image camera, Displaying data on the screen as visible light image data; And
질병 의심을 경고하는 단계를 포함하는 인체 감시 발열 경보 방법을 제공한다.And a step of warning the patient of the suspicion of the disease.
또한, 본 발명은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 장치에 있어서, According to another aspect of the present invention, there is provided a human body monitoring and heating alarm apparatus for generating an alarm when a body temperature of a passenger measured using a dual camera equipped with a general camera and a thermal camera is not a normal body temperature,
제어부;A control unit;
상기 제어부의 제어하에, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부;A face detector for extracting only a face region of a passenger from a visible light image of a passenger in a region of interest virtually set in the general camera under the control of the control unit and detecting an outermost box coordinate value of the face region;
상기 제어부의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부;A face extracting unit for extracting only the face region located at the delivered face region coordinate value from the thermal image captured by the thermal imaging camera under the control of the control unit, the outermost box coordinate value of the detected face region;
상기 제어부의 제어하에, 상기 얼굴 추출부에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부;A disease state determination unit for analyzing a face temperature distribution diagram of the face region extracted by the face extraction unit and measuring a body temperature to determine whether the disease is a disease;
상기 질병 여부 판단부의 제어신호에 의해 상기 얼굴 추출부로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부; 및A face image of the visible light image is superimposed on the face region of the visible light image picked up by the general camera by the control signal of the disease- A face superimposition unit for superimposing and outputting only a part of the image data in the form of lattice data, and displaying the data of other areas except the face on the screen as visible light image data; And
질병 의심을 경고하는 경고부를 포함하는 인체 감시 발열 경보 장치를 제공한다.And a warning part for warning of a suspected disease.
본 발명의 다른 형태에 의하면, 상기 인체 감시 발열 경보 방법을 수행하기 위한 소프트웨어 프로그램을 저장한 기록매체를 제공한다.According to another aspect of the present invention, there is provided a recording medium storing a software program for performing the human body surveillance and heat emission warning method.
본 발명의 인체 감시 발열 경보 방법 및 장치는 열상 카메라에서 구할 수 없는 얼굴 좌표 값을 대신하여, 일반 카메라의 얼굴인식 프로그램을 이용하여 검출한 좌표 값을 활용하여, 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 열에 민감한 부분인 얼굴영역의 열 분포도만을 가지고 고열 여부를 판단하면 판단에 필요한 계산량을 현저히 감소시킬 수 있다.The human body monitoring and heat alarm method and apparatus of the present invention can detect the presence or absence of disease by using the coordinate values detected using a face recognition program of a general camera instead of the face coordinate values that can not be obtained from a thermal camera, It is possible to considerably reduce the amount of calculation required for the judgment if it is judged whether the heat is high with only the heat distribution of the face region which is more sensitive to the heat than the judgment.
본 발명은 일반 카메라의 영상정보에 얼굴영역만 열상 카메라에서 받은 열 분포도 화상으로 표시하여 전체적으로 자연스러운 영상을 표시한다.In the present invention, only the face region is displayed on the image information of the general camera as a thermal distribution image received from the thermal image camera, thereby displaying a totally natural image.
도 1은 본 발명에 의한 인체 감시 발열 경보 장치에 적용되는 인체 감시 발열 경보 방법을 설명하기 위한 플로우챠트도이다.
도 2는 본 발명에 의한 인체 감시 발열 경보 장치를 설명하기 위한 블럭도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a flow chart for explaining a human body monitoring and heating alarm method applied to a human body monitoring and generating alarm apparatus according to the present invention; FIG.
FIG. 2 is a block diagram for explaining a human body-monitoring and heat-generating alarm apparatus according to the present invention.
이하, 본 발명의 바람직한 실시예에 의한 인체 감시 발열 경보 방법 및 장치의 구성 및 동작에 대하여 첨부 도면을 참조하여 보다 상세하게 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a configuration and operation of a human body monitoring and heating alarm method and apparatus according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 공항 또는 항만의 입출국장과 같은 곳에서 일반 카메라와 열상 카메라의 상호 연동을 통하여 입출국자의 메르스(MERS), 조류 인플루엔자(AI) 등과 같은 전염병 유무를 판단 및 대처하기 위한 지능형 감시 시스템에 적용되는 것으로, 본 발명에서는 열상 카메라의 전신 촬영부분에서 얼굴 영역만 발췌하여 체온 측정을 하여 전염병 감염 여부를 확인하기 위한 격리 조치를 취할 수 있도록 하는 인체 감시 발열 경보 방법 및 장치를 제공한다.The present invention relates to an intelligent surveillance system for judging the presence or absence of an infectious disease such as MERS (MERS), avian influenza (AI), etc., of an incoming and outgoing visitor through interlocking of a general camera and a thermal camera at an airport or a port The present invention provides a human body monitoring and heating alarm method and apparatus for extracting only a face region from a whole body imaging portion of a thermal imaging camera and measuring body temperature to take isolation measures for identifying infectious disease infection.
도 1은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 방법을 설명하기 위한 플로우챠트도이다. 도 1에 의하면, 본 발명의 인체 감시 발열 경보 방법은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라 중, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 단계(100)를 포함한다.FIG. 1 is a flowchart for explaining a human body monitoring heat generation alarm method in which an alarm is generated when a body temperature of a passenger measured using a dual camera equipped with a general camera and a thermal camera is not a normal body temperature. 1, the human body monitoring and heat alarming method of the present invention is a method of warning only a face region of a passer from a visible light image of a passenger in a region of interest virtually set in the general camera among the dual cameras having a general camera and a thermal camera, And a step (100) of extracting an outermost boxed coordinate value of the face area by extracting it with a recognition program.
듀얼 카메라가 설치되는 장소는 일반적으로 출입국 통행자가 많은 장소에 설치되고, CCTV 카메라와 같이 또는 분리되어 설치될 수 있다. 듀얼 카메라의 일반 카메라와 열상 카메라는 이 경우 각각 가상의 관심 영역을 통행하는 통행자들을 촬영하게 된다. 본 발명에 적용되는 얼굴 인식 기술로서는 PCA(Principal Component Analysis)나 LDA(Non-parametric Discriminant Analysis) 등 원본 신호의 선형 분석 방법에 기반하여 특징 벡터를 추출하여, 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 것으로, 이러한 얼굴 인식 방법은 종래 얼굴 인식 기술을 이용할 수가 있으므로, 구체적 설명은 생략한다.The place where the dual camera is installed is generally installed in a lot of places for entry and exit passengers, and can be installed like a CCTV camera or separately. In this case, each of the ordinary camera and the thermal camera of the dual camera photographs the passers passing through the virtual interest area. As the face recognition technology applied to the present invention, a feature vector is extracted based on a linear analysis method of original signals such as PCA (Principal Component Analysis) and LDA (Non-parametric Discriminant Analysis), and the outermost box- Since this face recognition method can use conventional face recognition technology, a detailed description thereof will be omitted.
또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 상기 일반 카메라로부터의 가시광 영상으로부터 검출된 상기 얼굴 영역의 최외각 박스형 좌표 값을 이용하여, 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 온도 분포도를 해석하여 질병 여부를 판단하는 단계(200)를 포함한다.1, the human body monitoring and heating alarm method according to the present invention is characterized by using an outermost box coordinate value of the face region detected from a visible light image from the general camera, And analyzing the face temperature distribution map located at the delivered face area coordinate value to determine whether the disease is a disease (200).
본 발명에서는 열상 카메라에서 구할 수 없는 얼굴 좌표 값을 일반 카메라의 얼굴 인식 프로그램을 이용한 좌표 값으로부터 활용할 수 있다. 이로써, 인체 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 열에 민감한 부분인 얼굴 영역의 열 분포도를 가지고 고열 여부를 판단하면 판단에 필요한 계산량을 현저히 감소시킬 수 있다. 종래에는 흑체의 온도와 열화상 영상의 평균 화상값인 기준화상값과의 수학식에 의하여 대표 화상값을 구하여 실제 온도를 측정하였지만, 본 발명에서는 얼굴 영역의 열 분포도를 가지고 미리 저장된 얼굴 영역의 기준 열 분포도와 비교하여 체온을 판단하여, 정상 체온 이상이면 질병 감염 여부를 의심하는 신호를 출력한다. In the present invention, the face coordinate values which can not be obtained from the thermal camera can be utilized from the coordinate values using the face recognition program of the general camera. Accordingly, it is possible to significantly reduce the amount of calculation required for judgment by judging whether or not the subject has high heat by using the heat distribution of the face region, which is a heat sensitive portion, rather than judging whether the disease is caused by the heat distribution of the entire body of the human body. Conventionally, a representative image value is obtained by a formula of a temperature of a blackbody and a reference image value which is an average image value of a thermal image, and an actual temperature is measured. In the present invention, The body temperature is compared with the heat distribution, and if it is above the normal body temperature, a signal indicating suspicion of disease infection is output.
또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 단계 200에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 토대로, 상기 열상 카메라의 전체 열화상 영상에서 추출된 얼굴 영역의 열화상 영상을 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜, 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 단계(300)를 포함한다. 이로써, 본 발명은 일반 카메라의 영상정보에 얼굴영역만 열상 카메라에서 받은 열 분포도 화상으로 표시하여 전체적으로 자연스러운 영상을 표시한다.Referring to FIG. 1, the human body monitoring and heat alarming method of the present invention includes a step of detecting a thermal image of a face region extracted from a whole thermal image of the thermal camera, Superimposing the face portion of the visible light image on the face region of the visible light image captured by the general camera so that only the face portion of the visible light image is superimposed and output as the longevity data and displaying the data of the other region except the face on the screen as visible light image data 300). Thus, in the present invention, only the face region is displayed in the image information of the general camera as a thermal distribution image received from the thermal image camera, thereby displaying a totally natural image.
또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 단계 300에서 얼굴 영역만을 열상 데이터를 중첩 출력함과 동시에 질병 의심을 경고하는 단계(400)를 포함한다. 질병 의심을 경고하는 방식으로는 소리 또는 영상 깜박거림 등의 얼람(alarm) 방식이 있을 수도 있으며, 이러한 기술은 종래 기술로부터 용이하게 적용될 수 있으므로 상세한 설명은 생략하기로 한다.In addition, referring to FIG. 1, the human surveillance and heat alarm method of the present invention includes a
다음 본 발명의 인체 감시 발열 경보 방법을 구현한 장치를 도 2를 참조하여 설명한다. 도 2에 의하면, 본 발명의 인체 감시 발열 경보 장치는 일반 카메라(20) 및 열상 카메라(40)를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 장치로서, 제어부(10); 상기 제어부(10)의 제어하에, 상기 일반 카메라(20)에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부(30); 상기 제어부(10)의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부(50); 상기 제어부(10)의 제어하에, 상기 얼굴 추출부(50)에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부(60); 상기 질병 여부 판단부(60)의 제어신호(70)에 의해 상기 얼굴 추출부(50)로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라(20)가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부(80); 및 질병 의심을 경고하는 경고부(90)를 포함한다.An apparatus for implementing the human body monitoring and heating alarm method of the present invention will now be described with reference to FIG. Referring to FIG. 2, the human body monitoring and heat alarm apparatus of the present invention includes a
본 발명에서 듀얼 카메라가 설치되는 장소는 일반적으로 출입국 통행자가 많은 장소에 설치되고, CCTV 카메라와 같이 또는 분리되어 설치될 수 있다. 본 발명의 일반 카메라(Pi cam)와 열상 카메라(Flir Lepton)를 구비한 듀얼 카메라는 하나의 보드(Raspberry pi board)에 설치되고 바람직하기로는 CCTV 카메라 대용으로 설치될 수 있다. 또한, 상기 보드에 원격으로 연결된 디스플레이 장치(Raspberry pi touchscreen Display)를 사용하여 통행자의 얼굴 영역의 체온 분포를 쉽게 디스플레이할 수 있다.In the present invention, the place where the dual cameras are installed is generally installed in a lot of places for entering / leaving passengers, and can be installed like a CCTV camera or separately. A dual camera having a general camera (Pi cam) and a thermal camera (Flir Lepton) according to the present invention may be installed on a raspberry pi board, and preferably a CCTV camera. In addition, the body temperature distribution of the passenger's face area can be easily displayed using a display device (Raspberry pi touchscreen display) remotely connected to the board.
본 발명의 인체 감시 발열 경보 방법 및 장치는 열상 카메라(40)에서 구할 수 없는 얼굴 좌표 값을 대신하여, 얼굴 검출부(30)에서 일반 카메라(20)의 얼굴인식 프로그램을 이용하여 검출한 좌표 값을 활용하여, 질병 여부 판단부(60)에서는 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 얼굴 추출부(50)에서 추출한 열에 민감한 부분인 얼굴영역의 열 분포도만 미리 저장한 정상 체온값과 비교하여, 고열 여부를 판단하므로 판단에 필요한 계산량을 현저히 감소시킬 수 있다.The human body monitoring and heating alarm method and apparatus of the present invention can detect the coordinate values detected by the
또한, 본 발명은 일반 카메라(20)의 영상정보에 열상 카메라(40)의 열화상 영상으로부터 얼굴 추출부(50)에서 추출한 얼굴영역만의 열 분포도 화상을 얼굴 중첩부(80)에서 오버레이 표시하여 전체적으로 자연스러운 영상을 표시한다.In the present invention, the thermal distribution image of only the face region extracted by the
본 발명은 인체 감시 발열 경보 방법의 각 단계를 구현하는 소프트웨어 프로그램을 저장한 기록 매체를 제공한다.The present invention provides a recording medium storing a software program for implementing each step of the human body surveillance and heat emission warning method.
10: 제어부
20: 일반 카메라
30: 얼굴 검출부
40: 열상 카메라
50: 얼굴 추출부
60: 질병 여부 판단부
80: 얼굴 중첩부
90: 경고부10: control unit 20: general camera
30: face detecting unit 40:
50: face extracting unit 60: disease judgment unit
80: Face overlap section 90: Warning section
Claims (5)
상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 단계;
상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 온도 분포도를 해석하여 질병 여부를 판단하는 단계;
상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 단계; 및
질병 의심 경고하는 단계를 포함하는 인체 감시 발열 경보 방법.A human body monitoring and heating alarm method in which an alarm is generated when a body temperature of a passenger measured using a dual camera equipped with a general camera and a thermal camera is not a normal body temperature,
Extracting only a face region of a passenger from a visible light image of a passenger in a virtual region of interest set in the general camera with a face recognition program to detect an outermost boxed coordinate value of the face region;
Analyzing a face temperature distribution map located at the delivered face area coordinate value from a thermal image captured by the thermal imaging camera to determine an out-of-disease box coordinate value of the detected face area;
The face image of the face image of the visible light image captured by the general camera, so that only the face portion of the visible light image is superimposed on the face image of the face detected as disease or not in the thermal image camera, Displaying data on the screen as visible light image data; And
A human body monitoring fever alarm method comprising a suspicion warning step.
제어부;
상기 제어부의 제어하에, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부;
상기 제어부의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부;
상기 제어부의 제어하에, 상기 얼굴 추출부에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부;
상기 질병 여부 판단부의 제어신호에 의해 상기 얼굴 추출부로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부; 및
질병 의심을 경고하는 경고부를 포함하는 인체 감시 발열 경보 장치.A human body monitoring and heating alarm device for generating an alarm when a body temperature of a passenger measured using a dual camera equipped with a general camera and a thermal camera is not a normal body temperature,
A control unit;
A face detector for extracting only a face region of a passenger from a visible light image of a passenger in a region of interest virtually set in the general camera under the control of the control unit and detecting an outermost box coordinate value of the face region;
A face extracting unit for extracting only the face region located at the delivered face region coordinate value from the thermal image captured by the thermal imaging camera under the control of the control unit, the outermost box coordinate value of the detected face region;
A disease state determination unit for analyzing a face temperature distribution diagram of the face region extracted by the face extraction unit and measuring a body temperature to determine whether the disease is a disease;
A face image of the visible light image is superimposed on the face region of the visible light image picked up by the general camera by the control signal of the disease- A face superimposition unit for superimposing and outputting only a part of the image data in the form of lattice data, and displaying the data of other areas except the face on the screen as visible light image data; And
A human body surveillance alarm device including a warning part to warn of a suspected disease.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170058260A KR102021999B1 (en) | 2017-05-10 | 2017-05-10 | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170058260A KR102021999B1 (en) | 2017-05-10 | 2017-05-10 | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180123900A true KR20180123900A (en) | 2018-11-20 |
| KR102021999B1 KR102021999B1 (en) | 2019-09-17 |
Family
ID=64568480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170058260A KR102021999B1 (en) | 2017-05-10 | 2017-05-10 | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102021999B1 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102092552B1 (en) * | 2019-11-11 | 2020-03-24 | 주식회사 삼주전자 | Intelligent Camera System |
| KR102123086B1 (en) * | 2020-03-19 | 2020-06-29 | 대한민국(보건복지부장관) | Smart quarantine system and smart quarantine method |
| KR102148638B1 (en) * | 2020-04-24 | 2020-08-27 | 주식회사 웹게이트 | Apparatus for fever detection according to the change of external environment |
| CN111953935A (en) * | 2020-07-07 | 2020-11-17 | 北京迈格威科技有限公司 | Body temperature monitoring method and device, intelligent screen and computer readable storage medium |
| KR102205605B1 (en) | 2020-05-20 | 2021-01-22 | 주식회사 콕스 | Method for display temperature in thermal image |
| KR102207650B1 (en) | 2020-05-21 | 2021-01-27 | 주식회사 콕스 | Method for temperature calibration in thermal camera system |
| KR102212773B1 (en) * | 2020-04-29 | 2021-02-05 | (주)진명아이앤씨 | Apparatus for video surveillance integrated with body temperature measurement and method thereof |
| CN112383758A (en) * | 2020-11-23 | 2021-02-19 | 大连大学 | Sensing equipment for dynamically monitoring epidemic situation in real time |
| KR20210050426A (en) * | 2019-10-28 | 2021-05-07 | 주식회사 칸트 | Artificial intelligence digital signage system |
| KR20210114838A (en) * | 2020-03-10 | 2021-09-24 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method and device for detecting body temperature, electronic apparatus and storage medium |
| KR20210133793A (en) * | 2020-04-29 | 2021-11-08 | 에스큐아이소프트(주) | Kiosk for thermal sensing and operation method thereof |
| KR102333947B1 (en) * | 2020-07-24 | 2021-12-01 | 울산대학교 산학협력단 | Method and apparatus for preventing infectious diseases using thermal tracking and thermal discrimination using multi-modal imaging |
| GR20200100227A (en) * | 2020-05-06 | 2021-12-09 | Παναγιωτης Δημητριου Γκουμας | Disinfection control gate |
| US20210401294A1 (en) * | 2020-06-25 | 2021-12-30 | The United States Of America, As Represented By The Secretary Of The Navy | Sensor agnostic temperature detection system |
| KR102353387B1 (en) * | 2020-08-07 | 2022-01-19 | 주식회사 에프티에치코리아 | Deep Learning Artificial Intelligence Virus Heat Detection System |
| KR20220080812A (en) | 2020-12-07 | 2022-06-15 | 주식회사 콕스 | Method for auto-recognition of temperature calibrator in thermal camera system |
| KR20220087595A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for calibrating temperature of thermal camera by image processing apparatus |
| KR20220087593A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for thermal camera calibration |
| KR20220087596A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for body temperature by using temperature measuring apparatus with thermal camera |
| KR102472815B1 (en) * | 2021-06-28 | 2022-12-01 | 주식회사 후니즈 | Apparatus for managing input/output and method thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102282480B1 (en) * | 2020-03-06 | 2021-07-26 | 이영훈 | Non-contact non-face-to-face health check access control signage and it's information providing method thereof |
| KR102368181B1 (en) * | 2020-03-31 | 2022-02-28 | 주식회사 웹게이트 | Observation network system using face recognition and heat detection |
| KR102285619B1 (en) * | 2020-09-01 | 2021-08-03 | 이상훈 | A system that is using Kiosks to check pyrexia of people for prevention of epidemic |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100129937A (en) | 2009-06-02 | 2010-12-10 | 전태자 | Medical curing device by bathing foots using electromagnetic wave |
| KR101128022B1 (en) | 2010-01-08 | 2012-03-29 | 합동전자통신 주식회사 | A multipurpose watching camera |
| JP2014135993A (en) * | 2013-01-16 | 2014-07-28 | Nippon Avionics Co Ltd | Body temperature measuring device, body temperature measuring method and body temperature management system |
| KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
-
2017
- 2017-05-10 KR KR1020170058260A patent/KR102021999B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100129937A (en) | 2009-06-02 | 2010-12-10 | 전태자 | Medical curing device by bathing foots using electromagnetic wave |
| KR101128022B1 (en) | 2010-01-08 | 2012-03-29 | 합동전자통신 주식회사 | A multipurpose watching camera |
| JP2014135993A (en) * | 2013-01-16 | 2014-07-28 | Nippon Avionics Co Ltd | Body temperature measuring device, body temperature measuring method and body temperature management system |
| KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210050426A (en) * | 2019-10-28 | 2021-05-07 | 주식회사 칸트 | Artificial intelligence digital signage system |
| KR102092552B1 (en) * | 2019-11-11 | 2020-03-24 | 주식회사 삼주전자 | Intelligent Camera System |
| US11521422B2 (en) | 2020-03-10 | 2022-12-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for detecting body temperature, electronic apparatus and storage medium |
| KR20210114838A (en) * | 2020-03-10 | 2021-09-24 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | Method and device for detecting body temperature, electronic apparatus and storage medium |
| KR102123086B1 (en) * | 2020-03-19 | 2020-06-29 | 대한민국(보건복지부장관) | Smart quarantine system and smart quarantine method |
| WO2021187643A1 (en) * | 2020-03-19 | 2021-09-23 | 대한민국(보건복지부장관) | Smart quarantine system and smart quarantine method |
| KR102148638B1 (en) * | 2020-04-24 | 2020-08-27 | 주식회사 웹게이트 | Apparatus for fever detection according to the change of external environment |
| KR20210133793A (en) * | 2020-04-29 | 2021-11-08 | 에스큐아이소프트(주) | Kiosk for thermal sensing and operation method thereof |
| KR102212773B1 (en) * | 2020-04-29 | 2021-02-05 | (주)진명아이앤씨 | Apparatus for video surveillance integrated with body temperature measurement and method thereof |
| GR20200100227A (en) * | 2020-05-06 | 2021-12-09 | Παναγιωτης Δημητριου Γκουμας | Disinfection control gate |
| KR102205605B1 (en) | 2020-05-20 | 2021-01-22 | 주식회사 콕스 | Method for display temperature in thermal image |
| KR102207650B1 (en) | 2020-05-21 | 2021-01-27 | 주식회사 콕스 | Method for temperature calibration in thermal camera system |
| US20210401294A1 (en) * | 2020-06-25 | 2021-12-30 | The United States Of America, As Represented By The Secretary Of The Navy | Sensor agnostic temperature detection system |
| CN111953935A (en) * | 2020-07-07 | 2020-11-17 | 北京迈格威科技有限公司 | Body temperature monitoring method and device, intelligent screen and computer readable storage medium |
| KR102333947B1 (en) * | 2020-07-24 | 2021-12-01 | 울산대학교 산학협력단 | Method and apparatus for preventing infectious diseases using thermal tracking and thermal discrimination using multi-modal imaging |
| KR102353387B1 (en) * | 2020-08-07 | 2022-01-19 | 주식회사 에프티에치코리아 | Deep Learning Artificial Intelligence Virus Heat Detection System |
| CN112383758A (en) * | 2020-11-23 | 2021-02-19 | 大连大学 | Sensing equipment for dynamically monitoring epidemic situation in real time |
| KR20220080812A (en) | 2020-12-07 | 2022-06-15 | 주식회사 콕스 | Method for auto-recognition of temperature calibrator in thermal camera system |
| KR20220087595A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for calibrating temperature of thermal camera by image processing apparatus |
| KR20220087593A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for thermal camera calibration |
| KR20220087596A (en) | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for body temperature by using temperature measuring apparatus with thermal camera |
| KR102472815B1 (en) * | 2021-06-28 | 2022-12-01 | 주식회사 후니즈 | Apparatus for managing input/output and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102021999B1 (en) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102021999B1 (en) | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner | |
| KR101729327B1 (en) | A monitoring system for body heat using the dual camera | |
| US20200146557A1 (en) | Smart Body Temperature Screening System at Controlled Area | |
| KR101806400B1 (en) | A surveillance system for body heat by the dual camera using the black body | |
| US9224278B2 (en) | Automated method and system for detecting the presence of a lit cigarette | |
| JP5339476B2 (en) | Image processing system, fever tracking method, image processing apparatus, control method thereof, and control program | |
| US20090128632A1 (en) | Camera and image processor | |
| KR20210120785A (en) | Health abnormality detection method using face monitoring and thermal image monitoring, health abnormality detection device and computer program for the same | |
| JP2018037075A (en) | Suspicious person report system and suspicious person report method | |
| TW200642445A (en) | Imaging device and method, computer program product on computer-readable medium, and imaging system | |
| CN109691989A (en) | A kind of human body temperature measurement method based on infrared face detection technique | |
| JP2006231065A (en) | System and method for detecting thermal anomaly | |
| US9727791B2 (en) | Person detection system, method, and non-transitory computer readable medium | |
| CN111738132B (en) | Method and device for measuring human body temperature, electronic equipment and readable storage medium | |
| WO2020173258A1 (en) | Image recognition system and method | |
| KR20210074259A (en) | Apparatus for detecting a body temperature and the method for the same | |
| JP2023126352A (en) | Program, video monitoring method, and video monitoring system | |
| WO2019176222A1 (en) | Anomaly sensing system, anomaly sensing method, and anomaly sensing program | |
| KR101664276B1 (en) | Apparatus and method for detecting human temperature in monitoring system | |
| JP2017054229A (en) | Person discrimination system | |
| CN111414967A (en) | Method for improving robustness of temperature measurement system and monitoring system | |
| CN111664946A (en) | Wide-area temperature screening equipment | |
| Mushahar et al. | Human body temperature detection based on thermal imaging and screening using YOLO Person Detection | |
| JPH0410099A (en) | Detector for person acting suspiciously | |
| JP7039084B1 (en) | Self-registration monitoring system and self-registration monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |