KR20220080812A - Method for auto-recognition of temperature calibrator in thermal camera system - Google Patents
Method for auto-recognition of temperature calibrator in thermal camera system Download PDFInfo
- Publication number
- KR20220080812A KR20220080812A KR1020200169865A KR20200169865A KR20220080812A KR 20220080812 A KR20220080812 A KR 20220080812A KR 1020200169865 A KR1020200169865 A KR 1020200169865A KR 20200169865 A KR20200169865 A KR 20200169865A KR 20220080812 A KR20220080812 A KR 20220080812A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- temperature
- thermal
- face
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims description 4
- 238000001816 cooling Methods 0.000 claims description 2
- 238000010438 heat treatment Methods 0.000 claims description 2
- 230000036760 body temperature Effects 0.000 description 76
- 238000001514 detection method Methods 0.000 description 26
- 210000000887 face Anatomy 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 238000001931 thermography Methods 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000009529 body temperature measurement Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002631 hypothermal effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010020843 Hyperthermia Diseases 0.000 description 1
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 1
- 241000127282 Middle East respiratory syndrome-related coronavirus Species 0.000 description 1
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 230000036031 hyperthermia Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 201000010740 swine influenza Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0003—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
- G01J5/068—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling parameters other than temperature
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
- G01J5/802—Calibration by correcting for emissivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiation Pyrometers (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명의 일 실시예에 따르면,상기 영상 처리장치가, 촬영대상인 피사체가 포함된 피사체 실상 이미지를 수신하는 단계; 및 상기 영상 처리장치가, 등록된 온도 교정기의 식별정보에 기초하여 상기 피사체 실상 이미지에서 온도 교정기를 인식하는 단계; 를 포함하는 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법이 개시된다. According to an embodiment of the present invention, the image processing apparatus comprising the steps of: receiving a real image of a subject including a subject to be photographed; and recognizing, by the image processing device, a temperature calibrator in the real image of the subject based on the registered identification information of the temperature calibrator. Disclosed is a method for automatically recognizing a temperature calibrator, comprising:
Description
본 발명은 열상 카메라 및 온도 교정기를 자동으로 인식하는 방법에 관한 것으로, 보다 상세하게는, 실상 카메라와 열상 카메라를 이용하여 인체의 체온을 측정하고 발열을 감시하는 장치 및 방법에 관한 것이다. The present invention relates to a method for automatically recognizing a thermal camera and a temperature calibrator, and more particularly, to an apparatus and method for measuring body temperature and monitoring fever using the real image camera and the thermal camera.
최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다. Recently, respiratory infectious diseases such as SARS (severe acute respiratory syndrome), swine flu, MERS, and corona virus are occurring frequently, and equipment that measures body temperature using a thermal camera is used to detect and track symptoms of these infectious diseases. It is widely used.
열상 카메라를 이용한 종래의 체온 측정 방법에는 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 방법이 있다. 또한 실상 카메라와 열상 카메라를 동시에 이용하여 통행자를 촬영하고 실상 이미지 및/또는 열상 이미지를 화면에 표시하여 각 통행자들과 그들의 체온을 용이하게 표시하고 식별하기도 한다. In a conventional method for measuring body temperature using a thermal camera, there is a method of installing a thermal camera on a passage and measuring the body temperature of a passer-by to identify a person with a high fever. In addition, by using a real camera and a thermal camera at the same time to photograph passers-by, the real image and/or thermal image are displayed on the screen to easily display and identify each passer-by and their body temperature.
이러한 체온 측정용 열상 카메라의 경우 체온을 정확히 측정하는 것이 중요하므로 열상 카메라의 온도 측정 결과를 자주 교정할 필요가 있다. 그러나 온도 교정을 위해 흑체와 같은 온도 교정수단을 별도로 구비해야 하고 온도 교정을 하는 동안 통행자의 온도 측정을 하지 못하는 불편함이 있다. 또한 종래 열상 카메라의 경우 다수의 사람을 한번에 촬영하여 각자의 체온 정보를 한 화면에 표시할 경우 화면이 너무 복잡해지고 체온 정보를 식별하기가 곤란하므로 이상 체온을 가진 사람을 식별하기 어려운 경우가 많다. In the case of such a thermal camera for body temperature measurement, it is important to accurately measure body temperature, so it is necessary to frequently calibrate the temperature measurement result of the thermal camera. However, for temperature calibration, a temperature calibration means such as a blackbody must be separately provided, and there is an inconvenience in that it is not possible to measure the temperature of a passer-by during temperature calibration. In addition, in the case of a conventional thermal imaging camera, when multiple people are photographed at once and their body temperature information is displayed on one screen, the screen becomes too complicated and it is difficult to identify the body temperature information, so it is often difficult to identify a person with an abnormal body temperature.
본 발명은 상기 문제점을 해결하기 위한 것으로, 열상 카메라가 온도 교정 수단을 자동으로 인식하여 온도 교정을 수행할 수 있는 기술을 제공하는 것을 목적으로 한다. An object of the present invention is to solve the above problems, and an object of the present invention is to provide a technique capable of performing temperature calibration by automatically recognizing a temperature calibration means by a thermal camera.
또한 본 발명은 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 보다 적절한 방식으로 화면에 디스플레이 함으로써 많은 수의 사람을 한번에 촬영하더라도 체온 정보를 적절히 화면에 표시하여 이상 체온을 가진 사람을 쉽게 식별할 수 있는 기술을 제공하는 것을 목적으로 한다. In addition, the present invention displays the body temperature information of each person obtained by shooting with a thermal camera on the screen in a more appropriate way, so that even if a large number of people are photographed at once, the body temperature information is appropriately displayed on the screen to easily identify a person with an abnormal body temperature. The purpose is to provide technology that can
일 실시예에 따르면, 동일 촬영대상을 촬영하는 실상 카메라와 열상 카메라로 각각 촬영한 실상 이미지와 열상 이미지를 처리하는 영상처리부, 열상 이미지에서 적외선 방사체를 인식하는 흑체인식부를 구비한 영상 처리장치에서, 온도 교정기를 자동으로 인식하는 방법에 있어서,상기 영상 처리장치가, 촬영대상인 피사체가 포함된 피사체 실상 이미지를 수신하는 단계; 및 상기 영상 처리장치가, 등록된 온도 교정기의 식별정보에 기초하여 상기 피사체 실상 이미지에서 온도 교정기를 인식하는 단계; 를 포함하는 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법이 제공된다. According to an embodiment, in an image processing device having a black recognition unit for recognizing an infrared emitter in a thermal image, and an image processing unit for processing a real image and a thermal image photographed by a real image camera and a thermal image camera respectively photographing the same object, A method for automatically recognizing a temperature calibrator, the method comprising: receiving, by the image processing device, a real image of a subject including a subject to be photographed; and recognizing, by the image processing device, a temperature calibrator in the real image of the subject based on the registered identification information of the temperature calibrator. A method for automatically recognizing a temperature calibrator is provided, comprising:
일 실시예에 따르면, 영상 처리장치에 의해 열상 카메라의 온도를 교정하는 온도교정 방법으로서, 상기 영상 처리장치가, 온도 교정기를 촬영한 이미지에서 상기 온도 교정기를 인식하는 단계; 상기 영상 처리장치가, 상기 인식된 온도 교정기의 이미지에서 적외선 방사체를 인식하는 단계; 및 상기 영상 처리장치가, 상기 적외선 방사체의 온도를 기준온도로 하여, 상기 열상 카메라가 출력하는 열상 이미지의 온도정보를 교정하는 단계;를 포함하는 것을 특징으로 하는 열상 카메라의 온도 교정방법을 개시한다. According to an embodiment, there is provided a temperature calibration method for calibrating a temperature of a thermal camera by an image processing device, the method comprising: recognizing, by the image processing device, the temperature calibrator in an image captured by the temperature calibrator; recognizing, by the image processing device, an infrared emitter from the recognized image of the temperature calibrator; and calibrating, by the image processing device, the temperature information of the thermal image output by the thermal imager by using the temperature of the infrared emitter as a reference temperature; .
본 발명의 일 실시예에 따르면, 소정 주기마다 또는 소정 이벤트 발생시 열상 카메라가 온도 교정 수단을 자동으로 인식하고 온도 교정 절차를 수행할 수 있으며, 또한 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 소정 기준에 따라 전체표시 모드와 선별표시 모드로 구분하여 디스플레이 함으로써 많은 수의 사람을 촬영할 경우에도 체온 정보를 적절히 표시할 수 있고 이상 체온을 가진 사람을 쉽게 식별하고 추적할 수 있다. According to an embodiment of the present invention, the thermal imaging camera can automatically recognize the temperature correction means and perform the temperature correction procedure every predetermined period or when a predetermined event occurs, and also record the body temperature information of each person obtained by photographing with the thermal imaging camera. By dividing the display into a full display mode and a selective display mode according to a predetermined standard, body temperature information can be properly displayed even when a large number of people are photographed, and a person with an abnormal body temperature can be easily identified and tracked.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도,
도4는 일 실시예에 따라 이미지에서 얼굴을 검출하는 방법의 흐름도,
도5는 일 실시예에 따라 실상 이미지와 열상 이미지를 합성하는 예시적 방법의 흐름도,
도6 및 도7은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 설명하는 도면,
도8은 일 실시예에 따라 온도 교정 방법을 설명하기 위한 예시적인 흐름도이다. 1 is a view for explaining a thermal camera system according to an embodiment of the present invention;
2 is a block diagram of a thermal imaging camera system according to an embodiment;
3 is a flowchart of a method for displaying a real or thermal image according to an embodiment;
4 is a flowchart of a method for detecting a face in an image according to an embodiment;
5 is a flow diagram of an exemplary method for synthesizing a real image and a thermal image in accordance with one embodiment;
6 and 7 are views for explaining a method of displaying body temperature on a thermal image or a real image according to an embodiment;
8 is an exemplary flowchart for explaining a temperature calibration method according to an embodiment.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed subject matter may be thorough and complete, and that the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 이와 유사하게, 본 명세서에서 어떤 구성요소가 다른 구성요소에 연결(또는 결합, 체결, 부착 등)된다고 언급하는 경우 그것은 다른 구성요소에 직접적으로 연결(또는 결합, 체결, 부착 등)되거나 또는 그들 사이에 제 3의 구성요소를 개재하여 간접적으로 연결(또는 결합, 체결, 부착 등)될 수 있다는 것을 의미한다. 또한 본 명세서의 도면들에 있어서 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 또한 본 명세서의 도면들에 있어서 구성요소들의 길이, 넓이, 부피, 크기, 또는 두께 등은 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In this specification, when a component is referred to as being on another component, it means that it may be directly formed on the other component or a third component may be interposed therebetween. Similarly, when the specification refers to a component to be connected (or coupled, fastened, attached, etc.) to another component, it is directly connected (or coupled, fastened, attached, etc.) to the other component or between them. It means that it can be indirectly connected (or coupled, fastened, attached, etc.) through a third component. In addition, in the drawings of the present specification, the thickness of the components is exaggerated for an effective description of the technical content. In addition, in the drawings of the present specification, the length, width, volume, size, or thickness of the components are exaggerated for effective description of technical content.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.In this specification, when terms such as first, second, etc. are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. Embodiments described and illustrated herein also include complementary embodiments thereof.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다'', '~로 구성된다', 및 '~으로 이루어진다'라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. The expressions 'comprising', 'consisting of', and 'consisting of' as used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated elements.
본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열으로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램'은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다. As used herein, the term 'software' refers to a technology that moves hardware in a computer, and the term 'hardware' refers to a tangible device or device (CPU, memory, input device, output device, peripheral device, etc.) constituting the computer, and , the term 'step' means a series of processing or manipulations linked in time series to achieve a predetermined goal, the term 'computer program' or 'program' means a set of instructions that are combined for processing by a computer, and the term ' 'Program recording medium' means a computer-readable recording medium in which a program used for installing, executing, or distributing a program is recorded.
본원 명세서에서, 용어 데이터나 정보의 '관리'는 데이터나 정보의 수신, 송신, 저장, 수정, 및 삭제 중 적어도 하나의 동작을 포함하는 의미로 사용될 수 있다. 본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다. In this specification, the term 'management' of data or information may be used to include at least one of receiving, transmitting, storing, modifying, and deleting data or information. Terms such as '~ unit', '~ module', '~ unit', '~ block', and '~ board' used in this specification to refer to the elements of the present invention are used to refer to at least one function or operation. It may mean a physical, functional, or logical unit, which may be implemented as one or more hardware, software, or firmware, or may be implemented as a combination of one or more hardware, software, and/or firmware.
본원 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다. As used herein, 'processing device', 'computer' or 'computing device' refers to an operating system such as Windows, Mac, or Linux, a computer processor, memory, applications, storage devices (eg HDD, SDD), and The device may be equipped with a monitor. The computer may be, for example, a desktop computer or a notebook computer, but these are exemplary and the present invention is not limited to the desktop computer or notebook computer. The mobile terminal may be one of a smart phone, a tablet PC, or a mobile wireless communication device such as a PDA.
본원 명세서에서, '식별정보'는 온도 교정기의 형상, 색상, 및 패턴 중 적어도 하나를 의미하고 예를 들면, 온도 교정기의 케이스의 형상(케이스의 에지 라인(윤곽선) 또는 적외선 방사체와 케이스 사이의 경계선), 케이스의 색상, 및 케이스에 나타난 패턴 중 적어도 하나를 의미한다. In the present specification, 'identification information' means at least one of the shape, color, and pattern of the temperature calibrator, and for example, the shape of the case of the temperature calibrator (edge line (outline) of the case or the boundary line between the infrared emitter and the case) ), the color of the case, and at least one of the patterns displayed on the case.
본원 명세서에서, '피사체 실상 이미지'는 온도 교정기와 촬영 대상인 피사체가 포함된 실상 이미지를 의미하고, '피사체 열상 이미지'라고 함은 온도 교정기와 찰영 대상인 피사체가 포함된 열상 이미지를 의미한다. '피사체 실상 이미지'와 '피사체 열상 이미지'는 동일한 피사체와 동일한 교정기에 대하여 각각 얻어진 것이다. In the present specification, 'subject real image' means a real image including a temperature calibrator and a subject to be photographed, and 'subject thermal image' means a thermal image including a temperature calibrator and a subject to be photographed. The 'subject real image' and 'subject thermal image' were obtained for the same subject and the same corrector, respectively.
본원 명세서에서, '등록용 실상 이미지'는 온도 교정기의 식별정보의 등록을 위해서 사용되는 실상 이미지로서 온도 교정기가 포함되어 있고, '등록용 열상 이미지'라고 함은 온도 교정기에 포함된 흑체의 온도를 등록하기 위하여 사용되는 열상 이미지로서 온도 교정기가 포함된 열상 이미지를 의미한다. 즉, '등록용 실상 이미지'는 온도 교정기의 식별정보를 등록하기 위해서 사용되는 이미지이고, '등록용 열상 이미지'는 기준 온도를 등록하기 위해서 사용되는 이미지로서, 동일한 교정기에 대하여 각각 얻어진 것이다. In this specification, 'real image for registration' is a real image used for registration of identification information of a temperature calibrator, and includes a temperature calibrator, and 'thermal image for registration' refers to the temperature of a blackbody included in the temperature calibrator. As a thermal image used for registration, it means a thermal image with a temperature calibrator. That is, the 'real image for registration' is an image used to register the identification information of the temperature calibrator, and the 'thermal image for registration' is an image used to register the reference temperature, each obtained for the same calibrator.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that it can be used without these various specific details. In some cases, it is mentioned in advance that parts which are commonly known and not largely related to the invention in describing the invention are not described in order to avoid confusion in describing the invention.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면, 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다. 1 schematically shows a thermal imaging camera system according to an embodiment of the present invention. Referring to the drawings, a thermal camera system according to an embodiment includes a
일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성하는 카메라이다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다. In one embodiment, the
영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 각 촬영대상(S)에 대한 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다. The
디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.The
일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다. In an embodiment, the thermal camera system of the present invention may further include a
적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다. The
일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도2를 참조하여 후술하기로 한다. In one embodiment, the
한편, 위에서 열상 카메라로 촬영한 이미지를 '열상 이미지'라고 칭하였으나 본 명세서에서는 이와 동일한 의미로 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 한다. 또한 본 명세서에서 '영상 데이터'는 단순히 '영상' 또는 '이미지'라고 부르기도 한다. On the other hand, the image taken by the thermal imaging camera is referred to as a 'thermal image', but in the present specification, it is also referred to as a 'thermal image', 'thermal image', or 'infrared image' in the same sense. Also, in this specification, 'image data' may be simply referred to as 'image' or 'image'.
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다. 2 is a block diagram of a thermal imaging camera system according to an embodiment. In FIG. 2 , the
카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다. The
열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다. The thermal camera 12 may detect infrared rays naturally radiated from the photographing target S, and convert the amount of infrared rays into heat to generate temperature data of the photographing object. In an embodiment, the thermal camera 12 includes an infrared lens that passes infrared rays, a detection element array that detects infrared rays incident on the infrared lens and converts them into electrical signals, and analog-digital that converts the electrical signals into temperature data that is a digital signal. (A/D) converter included.
적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지되었으로 구체적 설명을 생략한다.The infrared lens is a lens that transmits infrared rays, and the detection element array detects infrared rays incident to the infrared lens and converts the infrared rays into electrical signals. The detection element array may have, for example, a focal plane array (FPA) structure in which a plurality of pixels are configured in a two-dimensional array, but is not limited thereto. The A/D converter converts an electrical signal that is an analog signal generated by the detection element array into temperature data that is a digital signal. The thermal camera 12 may additionally perform non-uniformity correction (NUC) and dead pixel processing on the temperature data converted by the A/D converter. Techniques for non-uniformity correction and dead pixel processing are well known in the field of thermal imaging cameras, and thus detailed descriptions thereof will be omitted.
카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)를 포함할 수 있다. The real image and thermal image generated by the
영상 처리부(21)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 노이즈 제거, 필터링, 동기화, 영상 정합과 합성 등의 이미지 처리 동작을 수행하며 예를 들어 다음과 같은 기능들 중 하나 이상을 포함한다. The image processing unit 21 performs image processing operations such as noise removal, filtering, synchronization, image registration and synthesis, etc. for the real image and/or thermal image received from the
(1) 노이즈 제거 및 영상 개선: 영상 처리부(21)는 실상 이미지 및/또는 열상 이미지의 화질향상, 콘트라스트 개선 등 영상 개선을 위한 처리를 수행할 수 있다. 예를 들어 영상 처리부(21)는 저역통과 필터링, 이미지 블러링(blurring), 이미지 스무딩(smoothing) 등의 처리를 하여 노이즈나 불균일을 제거할 수 있다. (1) Noise Removal and Image Improvement: The image processing unit 21 may perform an image improvement process such as image quality improvement and contrast improvement of a real image and/or a thermal image. For example, the image processing unit 21 may perform low-pass filtering, image blurring, image smoothing, and the like to remove noise or non-uniformity.
또한 영상 처리부(21)는 이미지에 대한 고역통과 필터링도 수행할 수 있다. 예컨대 실상 이미지에 대해 공간 필터를 이용하여 고역통과 필터링을 하여 실상 이미지의 고공간 주파수 성분(즉 촬영대상의 윤곽이나 경계선 부분)을 추출할 수 있다. 이미지에서 고공간 주파수 성분을 추출하는 다른 방법으로서, 영상 처리부(21)는 시간적으로 연속적인 두 이미지 간의 차이를 추출하는 방법을 사용할 수 있다. 즉 연속 이미지 시퀀스에서 제1 시간의 이미지와 제2 시간의 이미지 사이의 차이를 구하여 촬영대상의 가장자리나 윤곽을 나타내는 고공간 주파수 성분을 추출할 수 있다. Also, the image processing unit 21 may perform high-pass filtering on the image. For example, the real image may be subjected to high-pass filtering using a spatial filter to extract a high spatial frequency component (ie, a contour or boundary line portion of an object to be photographed) of the real image. As another method of extracting the high spatial frequency component from the image, the image processing unit 21 may use a method of extracting a difference between two temporally continuous images. That is, a high spatial frequency component representing an edge or outline of an object to be photographed may be extracted by obtaining a difference between the image at the first time and the image at the second time in the continuous image sequence.
(2) 이미지 동기화: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)에서 동일 시각에 각각 촬영한 실상 및 열상 이미지를 시간적으로 동기화시킴으로써 동일 시각에 대응하는 실상 이미지와 열상 이미지를 얻을 수 있다. 일반적으로 실상 카메라(11)와 열상 카메라(12)는 CCD, 검출소자 어레이, A/D 컨버터 등 하드웨어/소프트웨어의 차이로 인해 영상 촬영 속도가 다르기 때문에 동일 시점의 실상 이미지와 열상 이미지를 획득할 수 있도록 실상 카메라(11)와 열상 카메라(12)의 출력을 동기화한다. (2) Image synchronization: The image processing unit 21 synchronizes the real image and the thermal image photographed at the same time by the
(3) 이미지 정합: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)가 동일 촬영대상을 동일 시야각으로 촬영하여 동일한 크기로 출력되도록 실상 이미지와 열상 이미지를 정합할 수 있다. 또한 영상 처리부(21)는 실상 및 열상 이미지의 정합을 위해 두 이미지 중 하나의 해상도를 변경하여 동일 해상도를 갖도록 처리할 수 있다. (3) Image registration: The image processing unit 21 may match the real image and the thermal image so that the
(4) 컬러 열영상 변환: 영상 처리부(21)는 열상 이미지에 대해 각 픽셀을 해당 픽셀의 온도 데이터에 따른 컬러 색으로 변환하여 출력할 수 있다. 즉 각 픽셀의 온도 데이터를 온도 대역에 따라 매칭된 색으로 변환하여 컬러의 열화상 데이터를 생성한다. 예를 들어 영상 처리부(21)는 각 픽셀의 온도 데이터의 각 온도값에 매칭된 RGB 값을 적용하여 컬러의 열 영상(thermal image)을 생성한다. 이에 따라, 예컨대 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 생성할 수 있다. (4) Color thermal image conversion: The image processing unit 21 may convert each pixel into a color color according to the temperature data of the corresponding pixel for the thermal image and output the converted image. That is, the color thermal image data is generated by converting the temperature data of each pixel into a color matched according to the temperature band. For example, the image processing unit 21 generates a color thermal image by applying RGB values matched to respective temperature values of the temperature data of each pixel. Accordingly, for example, a color thermal image in which a high temperature is displayed in a red series and a low temperature is displayed in a blue color may be generated.
또한 영상 처리부(21)는 특정 픽셀에 대한 온도 검출 및 그에 따른 응용처리를 수행할 수 있다. 예를 들어 전체 픽셀들 중 최고 온도를 갖는 픽셀을 검출하거나 기설정된 소정 온도 범위 내의 온도를 갖는 픽셀들을 검출할 수 있다. Also, the image processing unit 21 may detect a temperature for a specific pixel and perform application processing according thereto. For example, a pixel having the highest temperature among all pixels may be detected or pixels having a temperature within a predetermined temperature range may be detected.
(5) 이미지 합성: 영상 처리부(21)는 동일 촬영대상에 대해 실상 카메라(11)와 열상 카메라(12)가 촬영한 실상 및 열상 이미지를 합성하여 하나의 합성 이미지를 생성할 수 있다. 이미지 합성을 위해 상술한 이미지 동기화 및 정합 처리를 먼저 수행하고 그 후 예컨대 실상 이미지에 대해 열상 이미지의 일부나 전부를 오버랩하여 합성 이미지를 생성할 수 있다. 또는 실상 이미지나 열상 이미지 위에 특정 픽셀이나 특정 픽셀 영역의 온도를 나타내는 정보를 오버랩하여 합성 이미지를 생성할 수도 있다. (5) Image synthesis: The image processing unit 21 may generate a single composite image by synthesizing the real image and thermal image photographed by the
이상 설명한 영상 처리부(21)의 일부 기능에 대해서는 다른 도면을 참조하여 더 후술하기로 한다. Some functions of the image processing unit 21 described above will be further described later with reference to other drawings.
영상 처리장치(20)에서 얼굴 검출부(22)는 실상 이미지 및/또는 열상 이미지에서 촬영대상의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다. 일 실시예에서 얼굴 검출부(22)는 기정의된 얼굴의 특징점(feature)을 이용하여 얼굴을 검출할 수 있다. 예를 들어 얼굴의 특징 성분(예컨대 눈, 코, 입, 외곽선, 명암도 등)의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감 정보 등을 이용하여 얼굴을 검출할 수 있다. 대안적으로, 얼굴 검출부(22)는 얼굴의 특징점 뿐만 아니라 얼굴외 특징점도 이용할 수도 있다. 예를 들어 촬영대상이 모자나 썬글라스 또는 마스크를 쓴 경우에 대응하여, 다양한 종류와 크기의 모자, 썬글라스, 마스크에 대한 특정점을 미리 정의해두고 이를 이용할 수 있다. 또한 이미지 상에서 사람을 먼저 검출하고 그 후 얼굴 영역을 검출하기 위해 인체의 전체 또는 상반신에 관한 특징점(예컨대 인체의 각 관절과 골격 등)을 이용할 수 있다. In the
일 실시예에서 얼굴 검출부(22)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출할 수 있다. 즉 다양한 얼굴 포즈의 학습 영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출하는 방법이다. 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), 서포트 벡터 머신(SVM)을 이용하는 방법 등이 있다.In an embodiment, the
일 실시예에서 얼굴 검출부(22)는 사람의 손이나 팔 등의 피부와 얼굴을 구별하기 위해 피부의 질감이나 색조를 검출하고 이 정보를 바탕으로 얼굴을 판별할 수 있다. 예를 들어 얼굴 검출부(22)는 국부이진패턴(Local binary patterns: LBP) 방식을 이용하여 이미지의 질감(texture)을 검출하고 얼굴 검출에 활용할 수 있다. 또한 대안적으로 얼굴 검출부(22)는 HSV(색조, 채도, 명도) 방식의 색표현을 이용하여 HSV 컬러 공간에서 소정의 임계값을 기준으로 이미지 전체의 색상 및 밝기에 따라 임계값을 적용하여 이미지에서 얼굴 영역을 검출할 수도 있다. In an embodiment, the
얼굴 검출부(22)는 이상 설명한 얼굴 검출 방법 외에도 공지된 다양한 방식과 알고리즘을 이용하여 실상 및/또는 열상 이미지에서 얼굴을 검출할 수 있다. The
흑체 인식부(23)와 온도 교정부(24)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식하고 이에 기초하여 촬영대상의 온도를 교정하는 기능부이다. 온도 교정기(40)를 인식하고 온도 교정 동작을 수행하는 예시적 실시예에 대해서는 도8을 참조하여 후술하기로 한다. The black
상술한 영상 처리장치(20)의 각 기능부인 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 또한 이들 기능부(21,22,23,24)는 각기 독립적인 소프트웨어로 구현될 수도 있고 하나의 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다. The image processing unit 21, the
도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도이다. 3 is a flowchart of a method of displaying a real or thermal image according to an embodiment.
도면을 참조하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 단계(S20)에서, 영상 처리장치(20)는 전달받은 실상 및 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 및 정합 처리를 수행할 수 있다. Referring to the drawings, first, in step S10 , a real image and a thermal image are generated by photographing an object S to be photographed with a
그 후 단계(S30)에서, 영상 처리장치(20)의 얼굴 검출부(22)가 이미지에서 하나 이상의 얼굴을 검출한다. 이와 관련하여 도4는 얼굴 검출부(22)가 이미지에서 얼굴을 검출하는 예시적 방법을 나타낸다. Thereafter, in step S30 , the
도4를 참조하면, 단계(S31,S32)에서 얼굴 검출부(22)는 실상 이미지에서 얼굴 형상을 추출한다. 이 단계(S31)에서 얼굴 검출부(22)는 예컨대 도2를 참조하여 설명한 얼굴 특징점을 이용한 방법 또는 인공신경망 등의 패턴 인식 방법에 의해 얼굴 형상을 추출할 수 있다. 이 때 본 명세서에서 '얼굴 형상'은 실제의 '얼굴'과 구별되는 의미로서, 실제 얼굴이 아닐 수도 있지만 얼굴 형태를 갖는 형상을 의미한다. 즉 단계(S31)에서 추출된 '얼굴 형상'은 실제 얼굴일 수도 있고 얼굴과 유사한 형상의 물체일 수도 있다. Referring to FIG. 4 , in steps S31 and S32 , the
또한 이 단계(S31)에서, 실상 이미지에서 얼굴 전체의 형상을 추출할 수도 있지만 얼굴의 일부분과 유사한 형상도 얼굴 형상으로서 추출할 수도 있다. 예컨대 도2에서 설명한 것처럼 얼굴 특징점 뿐만 아니라 모자나 썬글라스, 마스크, 인체의 상반신 등 얼굴외 특징점도 이용할 경우 얼굴의 일부분도 얼굴 형상으로 인식하여 추출할 수 있다. In addition, in this step ( S31 ), the shape of the entire face may be extracted from the real image, but a shape similar to a part of the face may also be extracted as the face shape. For example, as described in FIG. 2 , when not only facial feature points but also non-facial feature points such as hats, sunglasses, masks, and the upper body of the human body are used, a part of the face can be recognized and extracted as a face shape.
단계(S31)와 동시에 또는 순차적으로, 단계(S32)에서 얼굴 검출부(22)는 열상 이미지에서 체온 영역을 추출한다. 예를 들어 체온 영역을 섭씨 35.5도 내지 39도 등과 같이 소정 온도범위로 설정하고 이 설정된 온도범위의 온도 값을 나타내는 픽셀 영역을 체온 영역으로서 추출할 수 있다. Simultaneously or sequentially with step S31 , in step S32 , the
다음으로 단계(S33)에서, 앞 단계(S31,S32)에서 추출한 얼굴 형상 및 체온 영역에 기초하여 얼굴을 추정한다. 얼굴을 추정하는 예시적 방법으로, 실상 이미지에서 추출한 얼굴 형상과 열상 이미지에서 추출한 체온 영역을 OR 조건으로 하여 얼굴을 추정할 수 있다. 이 경우 얼굴 전체 뿐만 이나라 얼굴의 일부분만 보이는 경우에도 얼굴로 추정되고 저체온의 얼굴이나 체온과 비슷한 온도의 물체도 얼굴로서 추정되므로 가능한 한 모든 상황에서 최대한 많은 얼굴을 검출할 수 있다. Next, in step S33, a face is estimated based on the face shape and body temperature region extracted in the previous steps S31 and S32. As an exemplary method of estimating the face, the face may be estimated by using the face shape extracted from the real image and the body temperature region extracted from the thermal image as an OR condition. In this case, if only a part of the face is visible as well as the entire face, it is estimated as a face, and a hypothermic face or an object with a temperature similar to body temperature is also estimated as a face, so that as many faces as possible can be detected in all possible situations.
그 후 단계(S34)에서, 추정된 얼굴에 대해 피부 질감이나 색조 등 추가 정보를 획득한다. 예를 들어 실상 이미지에서 질감 정보나 색조 정보 등의 정보를 추가로 획득할 수 있다. 대안적 실시예에서, 열상 이미지에서 얼굴의 열점을 검출할 수도 있다. 즉 열상 이미지 상에서 얼굴의 혈류(血流)에 생기는 열점을 검출하여 이를 추가 정보로 이용할 수 있다. After that, in step S34, additional information such as skin texture or color tone is acquired for the estimated face. For example, information such as texture information or color tone information may be additionally acquired from the actual image. In an alternative embodiment, it is also possible to detect hot spots on the face in the thermal image. That is, hot spots generated in the blood flow of the face can be detected on the thermal image and used as additional information.
일 실시예에서, 추가 정보 획득에 소요되는 데이터 처리량을 줄이기 위해, 열상 이미지에서 체온 영역으로 추출된 픽셀 영역에 대해서만 이러한 추가 정보를 추출할 수 있다. 또한 이 단계(S34)는 얼굴 추정 단계(S33) 이후에 실행될 수도 있지만, 대안적으로, 얼굴 추정 단계(S33) 이전에 실행될 수도 있다. In an embodiment, in order to reduce the amount of data processing required to acquire the additional information, the additional information may be extracted only from a pixel region extracted as a body temperature region from the thermal image. Also, this step S34 may be executed after the face estimation step S33, but alternatively, it may be executed before the face estimation step S33.
그 후 단계(S35)에서, 질감 또는 색조 등 추가 정보에 기초하여, 상기 추정된 얼굴이 실제 얼굴인지 여부를 판단하여 얼굴을 검출한다. 얼굴의 질감이나 색조 등 피부와 얼굴을 구별하는 이러한 추가 정보를 이용함으로써 얼굴이 아닌 팔이나 손 등의 피부를 추정 얼굴에서 제외시킬 수 있으므로 얼굴 검출의 정확도를 높일 수 있다. After that, in step S35, based on additional information such as texture or color tone, it is determined whether the estimated face is a real face, and a face is detected. By using such additional information that distinguishes skin from a face, such as a texture or color tone of a face, skin such as an arm or a hand other than a face can be excluded from the estimated face, so that the accuracy of face detection can be improved.
또한 상술한 얼굴 검출 방법에 의하면 저체온의 얼굴도 검출할 수 있다. 열상 카메라에 의한 온도 측정을 피하기 위해 일부 사람들이 온도 측정 직전에 찬물에 세수를 하거나 얼굴에 물을 뿌리거나 차가운 곳에 오랫동안 있다가 카메라 앞에 도착하는 경우가 있는데, 이러한 경우 얼굴의 온도가 일반적인 체온 범위보다 낮게 나온다. 지금까지의 발열자 감시는 온도가 높은 사람을 감지하는 것을 목표로 했기 때문에 이러한 저체온 경우는 무시했지만, 본 발명에 따르면 저체온자도 검출할 수 있으므로 온도 측정을 피하려는 다양한 시도를 방지할 수 있다. In addition, according to the face detection method described above, a face with a low body temperature can also be detected. To avoid temperature measurement by a thermal camera, some people wash their face in cold water immediately before taking a temperature measurement, spray water on their face, or stay in a cold place for a long time before arriving in front of the camera. come out low Until now, such hypothermia cases have been ignored because fever monitoring has aimed to detect a person with a high temperature, but according to the present invention, hypothermia can also be detected, thereby preventing various attempts to avoid temperature measurement.
다시 도3을 참조하면, 상술한 것과 같이 이미지에서 얼굴을 검출하면(S30), 그 후 선택적으로 단계(S40)에서 실상 이미지와 열상 이미지를 합성할 수 있다. 일 실시예에서 실상 이미지나 열상 이미지 중 하나에만 체온 정보를 부가하여 합성 이미지를 만들 수도 있고, 이 경우 실상 이미지와 열상 이미지를 합성할 필요가 없으면 단계(S40)를 생략해도 무방하다. 그러나 실상 이미지의 적어도 일부와 열상 이미지의 적어도 일부를 합성하여 출력해야 할 경우 단계(S40)를 실행할 수 있다. 또한 열상 이미지만 디스플레이로 출력하는 경우에도 열상 이미지를 영상 개선을 위해 실상 이미지의 일부를 열상 이미지에 합성하는 것이 필요할 수도 있다. 이와 관련하여 도5는 열상 이미지에 실상 이미지의 일부를 합성하는 예시적 방법을 나타낸 것으로, 열상 이미지를 디스플레이(30)로 출력하는 경우 열상 이미지에 나타나는 얼굴이나 신체의 윤곽을 보다 선명하게 표시하는 전처리 동작을 예시적으로 나타내었다. Referring back to FIG. 3 , if a face is detected in the image as described above ( S30 ), thereafter, the real image and the thermal image may be selectively combined in step S40 . In an embodiment, a composite image may be created by adding body temperature information to only one of the real image and the thermal image. In this case, if there is no need to synthesize the real image and the thermal image, step S40 may be omitted. However, when it is necessary to synthesize and output at least a portion of the real image and at least a portion of the thermal image, step S40 may be performed. Also, even when only the thermal image is output to the display, it may be necessary to synthesize a part of the real image into the thermal image in order to improve the image of the thermal image. In this regard, FIG. 5 shows an exemplary method of synthesizing a portion of a real image with a thermal image, and when the thermal image is output to the
도5를 참조하면, 단계(S110)에서, 실상 이미지에 대한 고대역 필터링을 수행한다. 이미지에 고대역 필터링을 하면 피사체의 윤곽(에지)이나 경계선을 추출할 수 있다. 따라서 이 단계(S110)에 의해 촬영대상의 얼굴 전체나 일부 또는 신체의 전체나 일부의 에지(윤곽)를 추출할 수 있다. 5, in step S110, high-band filtering is performed on the real image. By performing high-band filtering on the image, the outline (edge) or boundary of the subject can be extracted. Therefore, by this step (S110), the whole or part of the face of the object to be photographed, or the edge (contour) of the whole or part of the body can be extracted.
그리고 단계(S110)와 동시에 또는 순차적으로 단계(S120)를 실행할 수 있다. 즉 단계(S120)에서 열상 이미지를 저대역 필터링할 수 있고, 이에 의해 열상 이미지에서 노이즈를 제거할 수 있다. 그 후 단계(S130)에서 상기 추출된 실상 이미지의 에지를 열상 이미지에 오버랩한다. 촬영대상의 에지를 열상 이미지에 오버랩하여 합성하면 열상 이미지 내에서 촬영대상의 윤곽이 보다 선명하게 나타나므로 촬영대상의 형태를 보다 쉽게 인식할 수 있다. 따라서 열상 이미지 내에 다수의 얼굴이 촬영되는 경우에도 얼굴간 식별을 신속하게 수행할 수 있다. In addition, step S120 may be performed simultaneously or sequentially with step S110. That is, the thermal image may be low-pass filtered in step S120 , thereby removing noise from the thermal image. After that, the edge of the extracted real image is overlapped with the thermal image in step S130 . When the edge of the subject is overlapped with the thermal image and synthesized, the outline of the subject appears more clearly in the thermal image, so that the shape of the subject can be recognized more easily. Therefore, even when multiple faces are photographed in the thermal image, face-to-face identification can be quickly performed.
다시 도3을 참조하면, 단계(S30) 또는 단계(S40)를 실행한 후 단계(S50)에서 실상 이미지 및.또는 열상 이미지에 체온 정보를 부가하여 이를 디스플레이(30)로 전송하여 출력한다. 실상 및/또는 열상 이미지에 체온 정보를 부가함으로써 도6 또는 도7과 같이 체온 정보를 화면상에서 표시할 수 있다. Referring back to FIG. 3 , after executing step S30 or step S40 , body temperature information is added to the real image and/or thermal image in step S50 and transmitted to the
도6 및 도7은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 나타낸 것으로, 도6은 실상 이미지 또는 열상 이미지의 화면(31)에 체온 정보를 태그 형태로 표시하는 방식을 개략적으로 도시하였다. 6 and 7 show a method of displaying body temperature on a thermal image or a thermal image according to an embodiment. shown as
도6을 참조하면, 디스플레이(30)의 출력 화면(31)에 한 명 이상의 사람이 촬영될 때, 각 촬영대상(S1,S2)에 대해 이들의 체온 정보를 각 촬영대상(S1,S2)의 얼굴에서 소정 거리, 즉 소정 픽셀 거리 이내의 위치에 태그(T1,T2) 형태로 표시할 수 있다. 이 때 체온 정보는 예컨대 도시한 것처럼 체온을 아라비아 숫자로 나타낸 정보일 수 있으나 이에 제한되지 않는다. Referring to FIG. 6 , when one or more people are photographed on the
일 실시예에서 각 촬영대상의 체온은 얼굴의 특징점 중 미리 결정된 특징점에서의 체온을 나타낸다. 상기 미리 결정된 특정점은 예를 들어 미간 또는 이마 중앙 중 하나일 수 있다. 종래에는 열상 이미지에서 얼굴을 검출한 후 얼굴 전체의 온도를 평균내거나 가장 온도가 가장 높은 픽셀의 온도를 해당 얼굴의 체온으로 결정하여 표시하였다. 그러나 촬영대상자가 모자나 안경, 마스크 등을 쓰거나 화장이 진한 경우 얼굴 전체를 평균내면 체온 값이 실제 체온을 반영하지 못할 가능성이 있고, 얼굴 내에서 온도 최고점을 체온으로 표시하게 되면 체온 정보를 표시하는 태그의 꼬리표의 위치가 계속 바뀌게 되어 사용자가 체온 정보를 읽기 불편한 문제가 있다. In an embodiment, the body temperature of each subject to be photographed represents a body temperature at a predetermined feature point among facial feature points. The predetermined specific point may be, for example, one of the forehead or the middle of the forehead. Conventionally, after detecting a face in a thermal image, the temperature of the entire face is averaged or the temperature of the pixel having the highest temperature is determined and displayed as the body temperature of the face. However, if the subject is wearing a hat, glasses, mask, or heavy makeup, the body temperature value may not reflect the actual body temperature if the entire face is averaged. Since the position of the tag of the tag is continuously changed, there is a problem in that it is inconvenient for the user to read the body temperature information.
그러나 본 발명에서와 같이 얼굴 내에서 미간이나 이마 중앙점 등과 같이 특정 특징점을 설정하고 이 지점의 픽셀의 온도값을 체온으로 결정하면 해당 촬영대상자의 정확한 체온을 일정 위치에서 안정적으로 보여줄 수 있다. 한편 이 때 사용되는 특징점은 예컨대 도3의 얼굴 검출 단계(S30)에서 사용된 얼굴 특징점을 이용할 수 있다. 즉 단계(S30)에서 얼굴 특징점을 사용하여 얼굴을 검출한 경우 이 때 사용된 얼굴 특징점 중 미간을 나타내는 특징점에 대응하는 픽셀의 온도 값을 해당 촬영대상자의 체온 값으로 추출해 둘 수 있다. However, as in the present invention, if a specific feature point is set within the face, such as the forehead or the middle point of the forehead, and the temperature value of the pixel at this point is determined as the body temperature, the exact body temperature of the subject to be photographed can be stably displayed at a certain position. Meanwhile, as the feature point used at this time, for example, the facial feature point used in the face detection step S30 of FIG. 3 may be used. That is, when the face is detected using the facial feature points in step S30, the temperature value of the pixel corresponding to the feature point representing the forehead among the facial feature points used at this time may be extracted as the body temperature value of the subject to be photographed.
도7은 실상 이미지 또는 열상 이미지의 화면(31)에서 일부 촬영대상의 체온 정보만 선별하여 태그로 표시하는 방식을 개략적으로 도시하였다. FIG. 7 schematically shows a method of selecting only body temperature information of some subjects to be photographed on the
도7을 참조하면, 일 실시예에서 디스플레이(30)의 출력 화면(31)에 복수의 사람이 촬영될 때 체온을 선별표시 모드로 나타낸다. 여기서 체온의 “선별표시 모드”는 복수의 촬영대상 중 일부의 사람에 대해서만 체온 정보를 태그(T)로 나타내고 나머지 사람의 체온 정보는 영상에 나타내지 않거나 태그가 아닌 다른 방식으로 나타내는 이미지 표시 모드이다. Referring to FIG. 7 , in an exemplary embodiment, when a plurality of people are photographed on the
도7의 실시예에 따른 선별표시 모드에서, 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치(예컨대 각 촬영대상(S)의 얼굴에서 소정 픽셀 거리 이내의 위치)에 태그(T)로 선별하여 표시하고 상기 기준에 따른 나머지 얼굴의 체온 정보를 열상 이미지로 표시할 수 있다. In the selection display mode according to the embodiment of FIG. 7 , the body temperature information of one or more faces according to a preset criterion among a plurality of faces is displayed at a location adjacent to each face (for example, a location within a predetermined pixel distance from the face of each photographing target S) ) can be selected and displayed with a tag (T), and body temperature information of the rest of the face according to the above criteria can be displayed as a thermal image.
이 실시예에 따르면, 우선 카메라(11,12)로 촬영하여 검출된 복수의 얼굴의 각각의 체온이 기설정된 온도 대역에 속하는지 여부를 판단한다. 이 때 기설정된 온도 대역은 예컨대 정상 체온 대역 또는 섭씨 35.8도 내지 37.2도의 온도 범위일 수 있다. According to this embodiment, first, it is determined whether each body temperature of a plurality of faces detected by photographing with the
검출된 얼굴의 각각의 체온이 이 기설정된 온도 대역에 속하지 않는 경우, 즉 기설정된 온도보다 높거나 낮은 경우 해당 얼굴의 체온을 도7에 표시한 것처럼 태그(T) 형태로 표시한다. 이 때 태그(T)는 해당 얼굴에서 소정 픽셀 이내의 위치에 숫자로 표시할 수 있다. When the detected body temperature of each face does not belong to this preset temperature band, that is, if it is higher or lower than the preset temperature, the body temperature of the corresponding face is displayed in the form of a tag (T) as shown in FIG. 7 . In this case, the tag T may be displayed as a number at a position within a predetermined pixel on the corresponding face.
얼굴의 체온이 이 온도 대역에 속하는 경우에는 해당 얼굴의 체온 정보를 나타내지 않거나 태그가 아닌 방식으로 나타낸다. 예를 들어, 이 얼굴의 온도를 컬러 열상 이미지로 해당 얼굴에 오버랩하여 표시할 수 있다. 즉, 해당 얼굴에 대해 상기 기설정된 온도 대역 내에서 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 얼굴에 오버랩시킬 수 있다. When the body temperature of the face belongs to this temperature range, the body temperature information of the corresponding face is not displayed or displayed in a non-tag manner. For example, the temperature of this face can be displayed by overlapping the face as a color thermal image. That is, a color thermal image in which a high temperature is displayed in a red series and a low temperature is displayed in a blue series within the preset temperature band for the corresponding face may be overlapped on the face.
이 때 디스플레이 되는 이미지 중에서 얼굴을 제외한 신체 및 배경(B)을 흑백의 실상 이미지나 열상 이미지로 표시하고 얼굴에 대해서만 컬러 열영상으로 표시할 수 있으며, 이 경우 기설정된 온도 대역의 컬러 분해능을 높일 수 있다. 따라서 이 실시예에 따르면, 많은 사람들이 하나의 촬영 영상 내에서 촬영되는 경우에도 온도가 기설정된 온도 대역보다 높거나 낮은 사람은 이상 체온자로 분류하여 태그(T)로 표시되므로 쉽게 식별할 수 있고 또한 기설정된 온도 대역에 속하는 사람들에 대해서도 얼굴마다 높은 컬러 해상도의 열영상으로 표시되므로 체온이 높은 사람과 낮은 사람을 쉽게 식별하여 추적할 수 있다. At this time, the body and background (B) excluding the face can be displayed as a black and white real image or thermal image, and only the face can be displayed as a color thermal image. have. Therefore, according to this embodiment, even when many people are photographed within a single captured image, people whose temperature is higher or lower than the preset temperature band are classified as abnormal and marked with a tag (T), so that they can be easily identified and also Even people belonging to a preset temperature band are displayed as thermal images with high color resolution for each face, so that people with high and low body temperatures can be easily identified and tracked.
또한 본 발명에 따르면 태그(T)로 선별 표시되는 조건을 다양하게 설정할 수 있다. 예를 들어 온도가 가장 높은 사람의 체온 정보만 태그(T)로 표시하고 나머지 사람들에 대해서는 각 사람의 얼굴을 컬러 열영상으로 표시할 수 있고, 다른 예로서, 최대 온도와 최소 온도의 사람만 태그(T)로 표시할 수도 있다. 또한 구체적 실시 형태에 따라 온도 범위를 다르게 설정할 수 있으므로 본 발명이 실시되는 구체적 상황에 맞게 적정 체온의 사람과 그렇지 못한 사람을 정확히 분류하여 추적할 수 있다. In addition, according to the present invention, it is possible to set various conditions for selectively displaying the tag (T). For example, only the body temperature information of the person with the highest temperature can be displayed with a tag (T), and each person's face can be displayed as a color thermal image for the rest of the people. It can also be denoted by (T). In addition, since the temperature range can be set differently according to specific embodiments, it is possible to accurately classify and track people with an appropriate body temperature and those without an appropriate body temperature according to a specific situation in which the present invention is implemented.
본 발명의 또 다른 실시예에서, 카메라로 촬영되는 사람의 인원수에 따라 전체표시 모드와 선별표시 모드 사이를 전환하면서 체온 정보를 표시할 수 있다. 이 실시예에 따르면, 예컨대 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영한 이미지에서 복수의 얼굴을 검출한 후 검출된 얼굴의 개수가 기설정된 수 이하인 경우 복수의 얼굴의 각각의 체온 정보를 전체표시 모드에 따라 디스플레이로 출력하고, 검출된 얼굴의 개수가 상기 기설정된 수를 초과할 경우 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력한다. In another embodiment of the present invention, body temperature information may be displayed while switching between the full display mode and the selective display mode according to the number of people photographed with the camera. According to this embodiment, for example, when the number of detected faces is less than or equal to a preset number after detecting a plurality of faces in an image captured by the
이 때 '전체표시 모드'는 예컨대 도6과 같이 이미지 내의 모든 얼굴에 대해 체온 정보를 각 얼굴에서 소정 픽셀 거리 이내의 위치에서 태그(T1,T2)로 표시하는 방식이고, '선별표시 모드'는 이미지 내의 복수의 얼굴 중 소정 기준에 따른 일부의 사람에 대해서만 체온 정보를 태그(T)로 표시하고 나머지 사람들의 체온 정보는 표시하지 않거나 태그가 아닌 다른 방식으로 표시하는 것이다. In this case, the 'all display mode' is a method of displaying body temperature information for all faces in the image with tags (T1, T2) within a predetermined pixel distance from each face, for example, as shown in FIG. 6, and the 'selection display mode' is Among a plurality of faces in the image, body temperature information is displayed as a tag (T) only for some people according to a predetermined criterion, and body temperature information of other people is not displayed or displayed in a method other than a tag.
카메라로 촬영되는 사람이 예컨대 두 세 명인 경우 도6과 같이 모든 사람에 대해 체온 정보를 태그(T1,T2)로 표시하여도 화면(31) 내에서 체온 정보를 쉽게 식별할 수 있으므로 이 경우에는 모든 사람의 체온 정보를 태그로 표시하는 전체표시 모드로 사용하는 것이 바람직하다. 그러나 예컨대 기설정된 인원수(예컨대 5명 또는 6명 등) 이상의 사람을 동시에 촬영하여 각각의 체온을 나타낼 경우 모든 사람의 체온 정보를 전부 태그로 나타내면 오히려 화면(31)이 복잡하고 각 사람의 체온을 식별하기 어렵기 때문에, 이 경우에는 도7과 같이 선별표시 모드로 전환하여 기설정된 조건에 따른 일부 사람에 대해서만 태그(T)로 체온 정보를 표시하고 나머지 사람에 대해서는 체온 정보를 표시하지 않거나 컬러 열영상 등 다른 방식으로 표시하는 것이 바람직하다. If there are, for example, two or three people photographed by the camera, even if the body temperature information is displayed with tags ( T1 and T2 ) for all people as shown in FIG. 6 , the body temperature information can be easily identified within the
이제 도8을 참조하여 일 실시예에 따른 온도 교정 방법에 대하여 예시적으로 설명하기로 한다. 한편, 본 방법에서 언급되는 장치나 구성요소들(예를 들면, 영상처리부, 흑체인식부, 온도 교정기, 온도 교정부 등등)의 예시적인 구성은 도 1 내지 도 7에서 언급된 설명을 참조하기 바란다. Now, a temperature calibration method according to an embodiment will be exemplarily described with reference to FIG. 8 . Meanwhile, for exemplary configurations of the device or components (eg, image processing unit, black recognition unit, temperature calibrator, temperature calibrator, etc.) mentioned in this method, please refer to the descriptions mentioned in FIGS. 1 to 7 . .
도 8을 참조하면, 본 발명의 일 실시예에 따른 온도 교정 방법은, 온도 교정기를 카메라 촬영 영역 내에 설치하는 단계(S210), 온도 교정기를 자동으로 인식하는 단계(본 단계는 '온도 교정기를 자동으로 인식하는 방법'이라고도 함), 피사체 실상 이미지에서 인식된 온도 교정기(40)의 위치에 기초하여 피사체 열상 이미지에서 흑체 영역을 인식하는 단계(S240), 및 흑체 영역의 온도에 기초하여 온도를 교정하는 단계(S250)를 포함할 수 있다. 여기서, 온도 교정기를 자동으로 인식하는 방법은 온도 교정기(40)의 식별정보 - 형상 정보, 색상 정보, 및 패턴 정보 중 적어도 하나의 정보 - 를 등록하는 단계(S220), 온도 교정기(40)와 촬영 대상이 같이 촬영된 피사체 실상 이미지를 수신하는 단계, 및 등록하는 단계(S220)에서 등록된 정보('식별정보')를 이용하여 피사체 실상 이미지에서 온도 교정기(40)를 인식하는 단계(S230)를 포함할 수 있다. 한편, 등록하는 단계(S220)는 상술한 온도 교정기(40)를 촬영한 피사체 실상 이미지를 수신하는 단계 이전에 수행된다. Referring to FIG. 8 , the temperature calibration method according to an embodiment of the present invention includes the steps of installing the temperature calibrator in the camera shooting area (S210), automatically recognizing the temperature calibrator (this step is 'automatically setting the temperature calibrator') (also referred to as 'method of recognizing a It may include a step (S250) of doing. Here, the method of automatically recognizing the temperature calibrator is the step of registering the identification information of the temperature calibrator 40 - at least one of shape information, color information, and pattern information - (S220), and shooting with the
본 실시예에서, 온도 교정기(40)의 식별정보는 예를 들면 온도 교정기(40)의 시각적인 특성을 나타내는 정보(예를 들면 형상, 색상, 패턴)를 포함한다.In the present embodiment, the identification information of the
온도 교정기를 인식하는 단계(S230)는 단계(S220)에서 등록된 식별정보를 이용하여 상술한 피사체 실상 이미지에서 온도 교정기(40)를 식별하는 단계일 수 있다. 예를 들면, 온도 교정기를 인식하는 단계(S230)는 단계(S220)에서 등록된 식별정보와 동일하거나 극히 유사한 것이 피사체 실상 이미지에 있는지를 판단하는 단계이다. The step of recognizing the temperature calibrator ( S230 ) may be a step of identifying the
이하에서는 온도 교정 방법을 보다 상세히 설명하기로 한다. Hereinafter, the temperature calibration method will be described in more detail.
우선 단계(S210)에서 온도 교정기(40)가 카메라 촬영 영역 내에 설치된다. 열상 카메라(12)의 시야각 내에 온도 교정기(40)가 설치되며 설치 위치는 특별히 제한되지 않는다. 예를 들어 측정대상인 사람들이 많이 다니는 통행로에 온도 교정기(40)를 설치할 수 있다.First, in step S210, the
단계(S220)는 예를 들면 2가지 형태로 구현될 수 있다. 첫번째 형태는, 촬영대상을 촬영하는 장소(즉, 단계(S210)에서 온도 교정기(40)가 설치된 장소)에서 수행되는 것이고, 두번째 형태는 촬영대상을 촬영하는 장소가 아닌 다른 임의의 장소에서 수행되는 것이다. Step S220 may be implemented in two forms, for example. The first form is to be performed at a place where the photographing object is photographed (that is, the place where the
단계(S220)의 첫번째 형태를 먼저 설명하면, 단계(S220)는 단계(S210)에서 설치된 온도 교정기(40)를 실상 카메라(11)가 촬영하여 등록용 실상 이미지를 획득하는 단계와, 등록용 실상 이미지에서 흑체 인식부(23)가 온도 교정기(40)의 식별정보, 즉, 형상 정보, 색상 정보, 및 패턴 정보 중 적어도 하나의 정보를 영상 처리장치(20)에 등록하는 단계를 포함할 수 있다. First, the first form of the step (S220) is described, the step (S220) is a step of obtaining a real image for registration by the
예를 들면, 단계(S220)는 등록용 실상 이미지 상에 나타난 온도 교정기(40)를 포함하는 픽셀 영역을 선택하는 단계, 선택된 픽셀 영역 내에서 온도 교정기(40)의 식별정보를 인식하는 단계, 및 인식된 식별정보를 영상 처리장치(20)가 저장하는 단계를 포함한다. 보다 구체적으로, 등록용 실상 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 영상 처리부(21)가 선택하면 흑체 인식부(23)는 선택된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 형상(케이스(42)의 에지 라인(윤곽선) 또는 적외선 방사체(41)와 케이스(42) 사이의 경계선), 케이스(42)의 전면의 색상, 및 케이스(42)에 나타난 패턴 중 적어도 하나를 인식하여 영상 처리장치(20)에 등록한다. For example, step S220 may include selecting a pixel area including the
한편, 단계(S220)에서 영상 처리장치(20)는 온도 교정기(40)의 식별정보를 등록할때 등록용 열상 이미지에 나타난 적외선 방사체(41)의 온도를 측정하여 기준 온도로 등록할 수도 있다. 여기서, 등록용 열상 이미지는 온도 교정기(40)에 대하여 실상 카메라가 등록용 실상 이미지를 획득할때, 열상 카메라에 의해 추가적으로 획득된 것이다. Meanwhile, in step S220 , the
이제 단계(S220)의 두번째 형태를 설명하되, 상술한 첫번째 형태와의 차이점만을 설명한다. 양 형태의 유일한 차이점은, 단계(S220)의 두번째 형태는, 온도 교정기(40)에 대한 등록용 실상 이미지를 획득하는 장소가 단계(S210)에서 언급된 카메라 촬영 영역이 아닌 다른 임의의 장소라는 것이다. 즉, 두번째 형태는, 단계(S210)에서 언급된 카메라 촬영 영역으로 가기 전의 임의의 장소에서, 온도 교정기(40)에 대한 식별정보를 영상 처리장치(20)에 등록하는 것이다.Now, the second form of step S220 will be described, but only differences from the first form described above will be described. The only difference between the two forms is that, in the second form of step S220, a place for acquiring a real image for registration to the
단계(S230)는 실상 카메라(11) 및/또는 열상 카메라(12)를 이용하여 촬영대상과 함께 온도 교정기(40)를 촬영한 피사체 실상 이미지와 피사체 열상 이미지를 획득하는 단계와, 단계(S220)에서 등록된 식별정보를 이용하여 피사체 실상 이미지에 온도 교정기(40)가 있는지 여부를 판단하는 단계를 포함할 수 있다. 예를 들면, 판단하는 단계는, 단계(S220)에서 등록된 식별정보와 동일하거나 또는 극히 유사한 물체가 피사체 실상 이미지에 포함되어 있으면 그러한 물체를 온도 교정기(40)로서 판단한다. Step (S230) is a step of using the
이후 영상 처리장치(20)는 피사체 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별할 수 있다(단계 S240). 이 때 적외선 방사체(41)가 기설정된 소정 온도로 유지되고 있는 경우, 영상 처리장치(20)는 열상 카메라(12)에 의해 적외선 방사체(41)로부터 측정하는 온도 값을 상기 기설정된 소정 온도라고 판단할 수 있다. Thereafter, the
그 후 단계(S250)에서 영상 처리장치(20)는 이 소정 온도를 기준온도로 하여 피사체 열상 이미지의 온도 정보를 교정한다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 피사체 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다. Thereafter, in step S250 , the
이상과 같은 온도 교정기(40)의 자동 인식 및 온도 교정 동작은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예를 들어, 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다. The automatic recognition and temperature correction operation of the
또한 일 실시예에서, 이러한 온도 교정기 인식 및 온도 교정 동작은 촬영대상(S)의 촬영, 얼굴 검출, 및 체온 측정 동작과 동시에 수행될 수 있다. 즉 열상 카메라(12)의 시야각에 촬영대상(S)과 온도 교정기(40)가 동시에 노출되어 열상 카메라(12)가 이들을 촬영하는 경우 영상 처리장치(20)는 촬영대상(S)에 대한 체온 측정과 온도 교정기(40)를 이용한 온도 교정을 동시에 수행할 수 있다. Also, in one embodiment, the temperature calibrator recognition and temperature correction operation may be performed simultaneously with photographing of the object S, face detection, and body temperature measurement operation. That is, when the imaging target (S) and the
이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, those of ordinary skill in the art to which the present invention pertains can understand that various modifications and variations are possible from the description of this specification. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by the claims described below as well as the claims and equivalents.
10: 카메라 모듈
11: 실상 카메라
12: 열상 카메라
20: 영상 처리장치
21: 영상 처리부
22: 얼굴 검출부
23: 흑체 인식부
24: 온도 교정부
30: 디스플레이
40: 온도 교정기
41: 적외선 방사체
42: 케이스 10: camera module 11: real camera
12: thermal camera 20: image processing device
21: image processing unit 22: face detection unit
23: black body recognition unit 24: temperature calibration unit
30: display 40: temperature calibrator
41: infrared emitter 42: case
Claims (5)
상기 영상 처리장치가, 촬영대상인 피사체가 포함된 피사체 실상 이미지를 수신하는 단계; 및
상기 영상 처리장치가, 등록된 온도 교정기의 식별정보에 기초하여 상기 피사체 실상 이미지에서 온도 교정기를 인식하는 단계; 를 포함하는 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법.In an image processing device having a real image camera and a thermal imager that photograph the same object, an image processing unit that processes a real image and a thermal image, respectively, and a black recognition unit that recognizes an infrared emitter in the thermal image, the temperature calibrator is automatically recognized in a way to
receiving, by the image processing device, an actual image of a subject including a subject to be photographed; and
recognizing, by the image processing device, a temperature calibrator in the real image of the subject based on the registered identification information of the temperature calibrator; A method for automatically recognizing a temperature calibrator comprising a.
상기 온도 교정기가 상기 적외선 방사체의 주위를 둘러싸는 소정 형상의 케이스를 포함하고, 상기 케이스의 전면이 기설정된 색상 또는 패턴을 갖는 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법. The method of claim 1,
The method for automatically recognizing a temperature calibrator, characterized in that the temperature calibrator includes a case having a predetermined shape surrounding the periphery of the infrared emitter, and the front surface of the case has a preset color or pattern.
상기 적외선 방사체가 가열장치 또는 냉각장치에 연결된 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법.The method of claim 1,
A method for automatically recognizing a temperature calibrator, characterized in that the infrared emitter is connected to a heating device or a cooling device.
상기 영상 처리장치가, 온도 교정기의 케이스의 형상, 색상, 및 패턴 중 적어도 하나를 식별정보로서 등록하는 단계를 더 포함하며,
상기 등록하는 단계는 상기 피사체 실상 이미지를 수신하는 단계 이전에 수행되는 것을 특징으로 하는 온도 교정기를 자동으로 인식하는 방법.The method of claim 1,
The method further includes, by the image processing apparatus, registering at least one of a shape, a color, and a pattern of a case of the temperature calibrator as identification information,
The step of registering is a method for automatically recognizing a temperature calibrator, characterized in that performed before the step of receiving the actual image of the subject.
상기 등록하는 단계는
등록용 실상 이미지 상에서 온도 교정기를 포함하는 픽셀 영역을 선택하는 단계;
상기 선택된 픽셀 영역 내에서 상기 온도 교정기의 케이스의 형상, 색상, 및 패턴 중 적어도 하나를 인식하는 단계; 및
상기 인식한 형상에 관한 정보, 상기 색상에 관한 정보, 및 패턴에 관한 정보 중 적어도 하나를 상기 영상 처리장치에 저장하는 단계;를 포함하는 것을 특징으로 하는, 온도 교정기를 자동으로 인식하는 방법.5. The method of claim 4,
The registration step is
selecting a pixel region containing a temperature corrector on the real image for registration;
recognizing at least one of a shape, a color, and a pattern of a case of the temperature corrector within the selected pixel area; and
Storing at least one of the recognized shape information, the color information, and the pattern information in the image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169865A KR102581989B1 (en) | 2020-12-07 | 2020-12-07 | Method for auto-recognition of temperature calibrator in thermal camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169865A KR102581989B1 (en) | 2020-12-07 | 2020-12-07 | Method for auto-recognition of temperature calibrator in thermal camera system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220080812A true KR20220080812A (en) | 2022-06-15 |
| KR102581989B1 KR102581989B1 (en) | 2023-09-26 |
Family
ID=81987273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200169865A KR102581989B1 (en) | 2020-12-07 | 2020-12-07 | Method for auto-recognition of temperature calibrator in thermal camera system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102581989B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150129937A (en) * | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
| KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
| KR20180105875A (en) * | 2017-03-16 | 2018-10-01 | 한국전자통신연구원 | Camera calibration method using single image and apparatus therefor |
| KR20180123900A (en) | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
| KR101988206B1 (en) * | 2017-10-24 | 2019-06-13 | 재단법인 한국전자기계융합기술원 | Temperature Measurement System using an Infrared Camera |
| KR102207650B1 (en) * | 2020-05-21 | 2021-01-27 | 주식회사 콕스 | Method for temperature calibration in thermal camera system |
-
2020
- 2020-12-07 KR KR1020200169865A patent/KR102581989B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150129937A (en) * | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
| KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
| KR20180105875A (en) * | 2017-03-16 | 2018-10-01 | 한국전자통신연구원 | Camera calibration method using single image and apparatus therefor |
| KR20180123900A (en) | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
| KR101988206B1 (en) * | 2017-10-24 | 2019-06-13 | 재단법인 한국전자기계융합기술원 | Temperature Measurement System using an Infrared Camera |
| KR102207650B1 (en) * | 2020-05-21 | 2021-01-27 | 주식회사 콕스 | Method for temperature calibration in thermal camera system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102581989B1 (en) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102207650B1 (en) | Method for temperature calibration in thermal camera system | |
| US11068700B2 (en) | Polarization imaging for facial recognition enhancement system and method | |
| JP5567853B2 (en) | Image recognition apparatus and method | |
| JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
| JP6157165B2 (en) | Gaze detection device and imaging device | |
| KR102205605B1 (en) | Method for display temperature in thermal image | |
| KR101754152B1 (en) | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof | |
| KR101854991B1 (en) | System and method for correcting color of digital image based on the human sclera and pupil | |
| WO2018078857A1 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| JP2010186274A (en) | Sunglasses wearing detection apparatus | |
| JP2004219277A (en) | Method and system, program, and recording medium for detection of human body | |
| KR102251307B1 (en) | Thermal camera system with distance measuring function | |
| KR102581989B1 (en) | Method for auto-recognition of temperature calibrator in thermal camera system | |
| KR102487590B1 (en) | Method for measuring of object based on face-recognition | |
| JP2017157043A (en) | Image processing device, imaging device, and image processing method | |
| US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
| JP2013156671A (en) | Image monitoring device | |
| KR102580362B1 (en) | Method for body temperature by using temperature measuring apparatus with thermal camera | |
| KR102593382B1 (en) | Method for measuring temperature of infrared radiator for thermal camera calibration | |
| KR20220087595A (en) | Method for calibrating temperature of thermal camera by image processing apparatus | |
| Sumriddetchkajorn et al. | A noninvasive human temperature screening system with multiple detection points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |