KR102251307B1 - Thermal camera system with distance measuring function - Google Patents

Thermal camera system with distance measuring function Download PDF

Info

Publication number
KR102251307B1
KR102251307B1 KR1020200116301A KR20200116301A KR102251307B1 KR 102251307 B1 KR102251307 B1 KR 102251307B1 KR 1020200116301 A KR1020200116301 A KR 1020200116301A KR 20200116301 A KR20200116301 A KR 20200116301A KR 102251307 B1 KR102251307 B1 KR 102251307B1
Authority
KR
South Korea
Prior art keywords
image
temperature
thermal
real
camera
Prior art date
Application number
KR1020200116301A
Other languages
Korean (ko)
Inventor
조덕상
Original Assignee
주식회사 콕스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 콕스 filed Critical 주식회사 콕스
Priority to KR1020200116301A priority Critical patent/KR102251307B1/en
Application granted granted Critical
Publication of KR102251307B1 publication Critical patent/KR102251307B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • G06K9/00221
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G01J2005/0048
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Abstract

According to one embodiment of the present invention, an image processing device processes images photographed by a real image camera and a thermal image camera, respectively. The image processing device comprises: a face recognition unit configured to receive a real image photographed by a real image camera and a thermal image photographed by a thermal image camera to detect a face in each image; and a distance measuring unit for measuring distances to photographing targets based on positions of the faces detected in the real image and the thermal image, respectively.

Description

거리측정 기능을 갖는 열상 카메라 시스템 {Thermal camera system with distance measuring function} Thermal camera system with distance measuring function

본 발명은 열상 카메라 시스템에 관한 것으로, 보다 상세하게는, 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 측정하고 이에 기초하여 촬영대상의 온도를 보정할 수 있는 열상 카메라 시스템에 관한 것이다.The present invention relates to a thermal camera system, and more particularly, to a thermal camera system capable of measuring a distance to an object to be photographed using a real camera and a thermal camera, and correcting a temperature of the object to be photographed based thereon.

최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다. Recently, respiratory infectious diseases such as SARS (severe acute respiratory syndrome), swine flu, MERS, and coronavirus are frequently occurring, and equipment that measures body temperature using thermal imaging cameras to detect and track the symptoms of these infectious diseases. It is widely used.

열상 카메라를 이용한 현재 체온 측정 방법은 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 것이다. 또한 실상 카메라와 열상 카메라로 통행자를 동시에 촬영하여 실상 이미지 및/또는 열상 이미지를 화면에 동시에 표시하기도 한다. The current method of measuring body temperature using a thermal camera is to identify a person with high fever by installing a thermal camera on a passageway and measuring the body temperature of a person passing through the passageway. In addition, a real image and/or a thermal image may be simultaneously displayed on the screen by photographing a passenger at the same time with a real camera and a thermal camera.

이러한 체온 측정용 열상 카메라 시스템의 경우 체온을 정확히 측정하는 것이 중요하다. 그러나 기존 열상 카메라는 동일 온도의 측정대상이라도 주변의 온도, 바람, 습도 등 다양한 원인에 의해 촬영대상까지의 거리에 따라 온도를 다르게 출력하는 문제가 있다. 예를 들어 섭씨 50도의 물체를 촬영하는 경우 거리가 1미터, 2미터, 3미터로 각각 달라질 경우 해당 물체의 온도가 50도, 49도, 48도 등으로 다르게 인식하게 되며, 따라서 통행로를 지나가는 사람들의 경우 촬영대상의 거리가 시시각각 변하기 때문에 측정대상의 체온을 정확히 측정하기 어려운 문제가 발생한다. In the case of such a thermal imaging camera system for measuring body temperature, it is important to accurately measure body temperature. However, conventional thermal imaging cameras have a problem of outputting temperatures differently depending on the distance to the photographing object due to various causes such as ambient temperature, wind, humidity, etc. even if the object is to be measured at the same temperature. For example, when shooting an object at 50 degrees Celsius, if the distance is changed to 1 meter, 2 meters, and 3 meters, the temperature of the object is perceived differently as 50 degrees, 49 degrees, 48 degrees, etc. Therefore, people passing by the passageway In this case, it is difficult to accurately measure the body temperature of the object to be measured because the distance of the object to be photographed changes every moment.

이를 해결하기 위해 레이저, 라이다, 레이더, 또는 초음파 등 각종 측정 방식의 거리측정 기기를 추가로 장착하여 촬영대상까지의 거리를 측정하고 거리를 반영하여 온도를 보정할 수도 있지만, 이러한 방식의 거리측정기로는 한번에 여러 사람을 탐지하여 각각의 거리를 측정할 수 없고 열상 카메라 시스템에 별도의 거리측정 장비를 장착해야 하는 번거로움이 있다. To solve this problem, distance measuring devices such as laser, lidar, radar, or ultrasonic can be additionally mounted to measure the distance to the subject and correct the temperature by reflecting the distance. The furnace cannot detect several people at once and measure each distance, and there is a hassle of having to install a separate distance measuring device in the thermal camera system.

특허문헌1: 한국 공개특허 제10-2019-0063671호 (2019년 06월 10일 공개)Patent Document 1: Korean Patent Application Publication No. 10-2019-0063671 (published on June 10, 2019)

본 발명은 상기 문제점을 해결하기 위한 것으로, 기존의 열상 카메라 시스템에 구비된 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따라 온도를 보상하여 촬영대상의 온도를 정확히 측정할 수 있는 열상 카메라 시스템을 제공하는 것을 목적으로 한다. The present invention is to solve the above problem, by calculating the distance to the object to be photographed using a real camera and a thermal camera provided in the existing thermal camera system, and compensating the temperature according to the calculated distance to adjust the temperature of the object to be photographed. It aims to provide a thermal imaging camera system that can accurately measure.

본 발명의 일 실시예에 따르면, 실상 카메라와 열상 카메라로 각각 촬영한 이미지를 처리하는 영상 처리장치로서, 촬영대상을 실상 카메라로 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 얼굴인식부; 및 상기 실상 이미지와 열상 이미지에서 각각 검출된 얼굴의 위치에 기초하여 상기 촬영대상까지의 거리를 측정하는 거리측정부;를 포함하는 것을 특징으로 하는 영상 처리장치를 개시한다. According to an embodiment of the present invention, as an image processing apparatus for processing images respectively photographed with a real camera and a thermal camera, a real image photographed with a real camera and a thermal image photographed with a thermal camera are received and each A face recognition unit that detects a face in an image; And a distance measuring unit that measures a distance to the photographing target based on positions of faces respectively detected in the real image and the thermal image.

본 발명의 일 실시예에 따르면, 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따른 온도 보상을 적용하여 촬영대상의 온도를 정확히 측정할 수 있다. 또한 본 발명에 따르면 기존의 열상 카메라 시스템에 이미 구비되어 있는 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 측정하기 때문에 별도의 거리측정 장비를 추가로 장착할 필요가 없으며 시스템 설치 및 운용이 용이하고 비용을 줄이는 이점이 있다. According to an embodiment of the present invention, the temperature of the object to be photographed may be accurately measured by calculating the distance to the object to be photographed and applying temperature compensation according to the calculated distance. In addition, according to the present invention, since the distance to the subject to be photographed is measured using a real camera and a thermal camera already provided in the existing thermal camera system, there is no need to additionally install a separate distance measurement device, and the system installation and operation are not required. It is easy and has the advantage of reducing cost.

또한 본 발명의 일 실시예에 따르면 촬영 영역 내에 설치된 온도 교정기를 자동으로 인식하여 온도를 보정할 수 있으므로 촬영대상에 대해 더욱 더 정확한 온도 측정을 할 수 있다.In addition, according to an embodiment of the present invention, since the temperature calibrator installed in the photographing area can be automatically recognized and the temperature can be corrected, it is possible to more accurately measure the temperature of the object to be photographed.

도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 방법을 설명하는 도면,
도4는 일 실시예에 따른 영상 처리장치의 블록도,
도5는 일 실시예에 따라 촬영대상의 온도를 측정하는 방법의 흐름도
도6은 일 실시예에 따라 온도 교정기를 자동으로 인식하여 온도를 교정하는 방법의 흐름도이다.
1 is a view for explaining a thermal camera system according to an embodiment of the present invention;
2 is a block diagram of a thermal camera system according to an embodiment;
3 is a diagram illustrating a method of calculating a distance to a photographing target by matching a real image and a thermal image according to an exemplary embodiment;
4 is a block diagram of an image processing apparatus according to an exemplary embodiment;
5 is a flowchart of a method of measuring a temperature of an object to be photographed according to an exemplary embodiment
6 is a flowchart of a method of automatically recognizing a temperature calibrator and calibrating a temperature according to an exemplary embodiment.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.In the present specification, when terms such as first and second are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one element from another element. The embodiments described and illustrated herein also include complementary embodiments thereof.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다', ‘~로 구성된다', 및 ‘~으로 이루어진다’라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In this specification, the singular form also includes the plural form unless specifically stated in the phrase. The expressions “including,” “consisting of,” and “consisting of” used in the specification do not exclude the presence or addition of one or more other constituent elements other than the mentioned constituent elements.

본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램‘은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다. In this specification, the term'software' refers to a technology that moves hardware in a computer, and the term'hardware' refers to a type of device or device (CPU, memory, input device, output device, peripheral device, etc.) constituting a computer, and , The term'step' refers to a series of processing or manipulations connected in a time series to achieve a predetermined neck, the term'computer program' or'program' refers to a set of instructions combined to be processed by a computer, and the term ' 'Program recording medium' means a computer-readable recording medium recording programs used to install, execute, or distribute programs.

본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다. Terms such as'~ unit','~ module','~ unit','~ block', and'~ board' used to refer to the constituent elements of the present specification are used to process at least one function or operation. It may mean a physical, functional, or logical unit, which may be implemented as one or more hardware, software, or firmware, or a combination of one or more hardware, software, and/or firmware.

본 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다. In the present specification,'processing device','computer', or'computing device' refers to an operating system such as Windows, Mac, or Linux, computer processor, memory, application programs, storage devices (eg, HDD, SDD), and It may be a device with a monitor. The computer may be, for example, a desktop computer or a notebook computer, but these are exemplary, and the present invention is not limited to a desktop computer or a notebook computer. The mobile terminal may be one of a mobile wireless communication device such as a smart phone, a tablet PC, or a PDA.

이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, a number of specific contents have been prepared to explain the invention in more detail and to aid understanding. However, a reader who has knowledge in this field enough to understand the present invention can recognize that it can be used without these various specific contents. In some cases, it is to be noted in advance that parts that are commonly known in describing the invention and are not significantly related to the invention are not described in order to avoid confusion in describing the invention.

도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다. 1 schematically shows a thermal camera system according to an embodiment of the present invention. Referring to the drawings, a thermal camera system according to an embodiment includes a camera module 10, an image processing apparatus 20, and a display 30. The thermal imaging camera system of the present invention can be used to measure and display the temperature of an arbitrary object (subject) S. In the present specification, as an example, it is assumed that a person's body temperature is measured, and the present invention will be described. .

일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 열상 이미지(당업계에서 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 함)를 생성한다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다. In one embodiment, the camera module 10 includes a real camera and a thermal camera. In fact, a camera is a camera that generates image data by capturing an image of a visible light region of an object to be photographed. Thermal cameras detect infrared rays naturally radiated from the subject and convert the amount of infrared rays into heat to produce thermal images (called'thermal images','thermal images', or'infrared images' in the industry). Generate. In the drawing, it is shown that both a real camera and a thermal camera are provided in the camera module 10, but it is a matter of course that the real camera and the thermal camera may be installed independently.

영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 촬영대상(S)의 온도를 산출하고 이 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 또한 일 실시예에서 영상 처리장치(20)는 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출하고 이 산출된 거리에 기초하여 촬영대상(S)의 온도를 보정할 수 있다. 이러한 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다. The image processing apparatus 20 processes image data captured by the camera module 10. For example, the image processing device 20 pre-processes the real image and/or thermal image received from the camera module 10 (eg, noise removal, filtering, synchronization, matching, etc.), and one or more photographing targets in the real image or thermal image. It is possible to perform image processing such as detecting the face of (S), calculating the temperature of the photographing target (S), and overlapping the temperature information with the real image or thermal image, and thus processed real image data, thermal image data, and / Or the composite data of the real image and the thermal image may be output to the display 30. In addition, in an embodiment, the image processing apparatus 20 may calculate a distance from the camera module 10 to the photographing object S and correct the temperature of the photographing object S based on the calculated distance. A detailed operation of the image processing apparatus 20 will be described later with reference to FIG. 2.

디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.The display 30 is a device that displays image data processed by the image processing device 20 to a user, and may be implemented as an arbitrary image output device such as an LCD display or an LED display. In an embodiment, the image processing apparatus 20 may output a real image and a thermal image to the display 30 in various ways. For example, only one of the real image or the thermal image may be output to the display 30, or a composite image in which the real image and the thermal image overlap each other may be output. By dividing, the actual image and the thermal image can be output in parallel.

일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다. In one embodiment, the thermal camera system of the present invention may further include a temperature calibrator 40. The temperature calibrator 40 is an equipment used to calibrate the temperature of a thermal camera, and in an embodiment may be composed of an infrared radiator 41 and a case 42 accommodating the same. The infrared radiator 41 is an object that emits infrared rays, and a black body is preferably used. An ideal blackbody is an object that absorbs and does not reflect all light coming from outside, but emits only light with a wavelength corresponding to its own energy. Therefore, a blackbody may be used for temperature correction of an infrared camera (thermal camera) that measures an accurate temperature of the object by photographing an infrared object, and in one embodiment, a blackbody may be made of a carbon material such as carbon black. The infrared emitter 41 is connected to an arbitrary heating/cooling device and is configured to be maintained at a predetermined temperature thereby.

적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다. The infrared radiator 41 is accommodated in the case 42 and is configured so that the infrared radiator 41 can be seen from the outside through a through hole on one side of the case 42. In one embodiment of the present invention, the case 42 has a predetermined shape, such as a hexahedron, and is configured so that the infrared radiator 41 can be seen through the front surface of the case. At this time, the remaining area of the front surface of the case 42 surrounding the radiator 41 is painted in a predetermined color (eg, red) or a predetermined pattern is formed.

일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도6을 참조하여 후술하기로 한다.In one embodiment, the temperature corrector 40 is disposed to be located within the camera viewing angle for photographing the photographing object S, and thus, the thermal camera of the camera module 10 photographs the photographing object S, and at the same time, the temperature corrector 40 ) Can also be filmed. The temperature calibration of the thermal camera using the temperature calibrator 40 will be described later with reference to FIG. 6.

도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다. 2 is a block diagram of a thermal camera system according to an exemplary embodiment. In FIG. 2, the camera module 10, the image processing apparatus 20, and the display 30 correspond to the camera module 10, the image processing apparatus 20, and the display 30 of FIG. 1, respectively.

카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다. The camera module 10 may include a real camera 11 and a thermal camera 12. In fact, the camera 11 may generate image data by capturing an image of the visible light region of the subject S. In one embodiment, the camera 11 is implemented in hardware and/or software such as a lens, a CCD, and an analog-to-digital (A/D) converter. The light entering through the lens is converted into an electric signal by the CCD, and the signal is converted into image data, which is a digital signal in the A/D converter. In fact, since the configuration and operation of the camera 11 is a known technology, a detailed description will be omitted below.

열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다. The thermal camera 12 may detect infrared rays naturally radiated from the photographing object S and convert the amount of infrared rays into heat to generate temperature data of the photographing object. In one embodiment, the thermal camera 12 includes an infrared lens that passes infrared rays, an array of detection elements that detects infrared rays incident on the infrared lens and converts them into electrical signals, and an analog-digital converter that converts the electrical signal into temperature data, which is a digital signal. Includes (A/D) converter.

적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드 픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드 픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지기술이므로 구체적 설명을 생략한다.The infrared lens is a lens that transmits infrared rays, and the detection element array detects infrared rays incident on the infrared lens and converts them into electrical signals. The detection element array may have, for example, a focal plane array (FPA) structure in which a plurality of pixels are configured as a two-dimensional array, but is not limited thereto. The A/D converter converts an electrical signal, which is an analog signal generated by the detection element array, into temperature data, which is a digital signal. The thermal imaging camera 12 may additionally perform non-uniformity correction (NUC) and dead pixel processing on the temperature data converted by the A/D converter. Techniques related to non-uniformity correction and dead pixel processing are known in the field of thermal imaging cameras, and thus detailed descriptions thereof will be omitted.

카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)를 포함할 수 있다. The real image and the thermal image generated by the real camera 11 and the thermal camera 12 of the camera module 10 are transferred to and processed by the image processing device 20. In one embodiment, the image processing apparatus 20 includes a face recognition unit 21, a matching point detection unit 22, a resolution adjustment unit 23, a distance measurement unit 24, a temperature measurement unit 25, and a black recognition unit. (26) may be included.

얼굴인식부(21)는 촬영대상(S)을 실상 카메라(11)로 촬영한 실상 이미지와 열상 카메라(12)로 촬영한 열상 이미지를 각각 수신하여 각각의 이미지에서 하나 이상의 얼굴을 검출한다. 일 실시예에서 얼굴인식부(21)는 실상 이미지와 열상 이미지의 각각에서 촬영대상(S)의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다. The face recognition unit 21 detects one or more faces in each image by receiving a real image photographed by the real camera 11 and a thermal image photographed by the thermal camera 12 of the photographing object S. In an embodiment, the face recognition unit 21 may detect a face region of the subject S from each of a real image and a thermal image, and calculate detection region information including coordinates of the detected face region.

이미지에서 얼굴을 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어 얼굴인식부(21)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출한다. 다양한 얼굴 포즈의 학습영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출할 수 있으며, 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), Haar 특징 필터, 서포트 벡터 머신(SVM) 등의 방법이 사용될 수 있다. 그러나 얼굴인식부(21)는 이러한 얼굴 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 실상 이미지와 열상 이미지에서 얼굴을 인식하고 검출할 수 있다. A known technique can be used to detect a face in an image. For example, the face recognition unit 21 detects a face using pattern recognition based on the appearance of the face. A face pattern can be learned by pattern recognition for a set of training images of various face poses, and faces can be detected using the learned model. For example, eigenfaces generated by principal component analysis (PCA) and linear discrimination Methods such as equation analysis (LDA), artificial neural networks (ANN), Adaboost, Haar feature filters, and support vector machines (SVM) may be used. However, the face recognition unit 21 is not limited to such a face detection method, and may recognize and detect a face from a real image and a thermal image using various known methods and algorithms.

매칭 포인트 검출부(22)는 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 실상 이미지와 열상 이미지에 기초하여 촬영대상(S)까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 실상 이미지와 열상 이미지의 각각에서 동일한 특징점을 각각 검출한다. The matching point detection unit 22 detects a matching point in each of the real image and the thermal image. In an embodiment of the present invention, the matching point is a feature point or feature area that becomes a reference when calculating the distance to the photographing object S based on the real image and the thermal image, and the same feature point is used in each of the real image and the thermal image. Each detect.

일 실시예에서, 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 검출한 얼굴 영역에서 눈동자, 코, 미간 등 임의의 특징점을 선정하여 이를 매칭 포인트로서 검출할 수 있다. 바람직하게는, 일 실시예에서 얼굴의 두 눈 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 눈동자의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다. 또한 바람직한 일 실시예에서, 예컨대 촬영대상(S)이 안경이나 선글라스를 쓰고 있는 경우 안경이나 선글라스(이하 간단히 '안경'이라 함)의 형상 전체에 대한 무게중심을 구하고 이 무게중심점을 매칭 포인트로서 이용할 수 있다. In an exemplary embodiment, the face recognition unit 21 may select an arbitrary feature point, such as a pupil, a nose, and an eyebrow, from a face region detected in each of a real image and a thermal image, and detect it as a matching point. Preferably, in an embodiment, a center point between two eyes of a face is set as a matching point, and in this case, the matching point may be detected by calculating the centers of gravity of the two pupils in each image. The center of gravity calculation can be calculated using a known algorithm that calculates the center of gravity in a general two-dimensional shape area or a pixel area. In addition, in a preferred embodiment, for example, when the subject S is wearing glasses or sunglasses, the center of gravity of the entire shape of the glasses or sunglasses (hereinafter simply referred to as'glasses') is obtained and the center of gravity is used as a matching point. I can.

특히 촬영대상(S)이 안경을 쓴 경우, 실상 이미지에서는 눈동자를 식별할 수 있지만 열상 이미지에서는 적외선이 유리를 통과하지 못하므로 안경이 전체적으로 검은색으로 표시되어 눈동자를 식별할 수 없는 문제가 있다. 따라서 본 발명의 일 실시예에 따른 매칭 포인트 검출부(22)는, 실상 이미지와 열상 이미지의 각각에서 눈동자를 식별한 경우 두 눈동자의 무게중심점을 계산하여 이를 매칭 포인트로서 설정하고 눈동자를 식별하지 못하는 경우 안경 형상 전체의 무게중심을 계산하여 이를 매칭 포인트로서 각각 설정한다. In particular, when the subject S wears glasses, the pupil can be identified in the actual image, but since infrared rays cannot pass through the glass in the thermal image, the glasses are displayed in black as a whole, so that the pupil cannot be identified. Therefore, the matching point detection unit 22 according to an embodiment of the present invention, when identifying the pupils in each of the real image and the thermal image, calculates the center of gravity of the two pupils, sets it as a matching point, and does not identify the pupil. Calculate the center of gravity of the entire shape of the glasses and set it as a matching point.

해상도 조절부(23)는 실상 이미지와 열상 이미지 중 적어도 하나의 해상도 조정하여 두 이미지가 동일한 해상도를 갖도록 하는 기능부이다. 일반적으로 사용되는 카메라 모듈(10)의 경우 열상 카메라의 가격이 상대적으로 매우 고가이기 때문에 실상 이미지에 비해 열상 이미지의 해상도가 떨어지는 카메라를 사용하는 것이 보통이다. 예를 들어 카메라 모듈(10)의 실상 카메라가 HD급(예컨대 1280*720) 또는 FHD급(예컨대 1920*1080) 화질을 가질 경우 열상 카메라(12)는 VGA급(예컨대 640*480) 또는 384*288의 화질의 카메라를 사용한다. 그러나 실상 이미지에서 산출한 매칭 포인트와 열상 이미지에서 산출한 매칭 포인트가 동일한 지점(픽셀)을 가리키기 위해 두 이미지의 해상도를 일치시키는 것이 바람직하며 본 발명의 일 실시예에서 해상도 조절부(23)에서 두 이미지의 해상도를 동일하게 일치시킬 수 있다. The resolution adjustment unit 23 is a functional unit that adjusts the resolution of at least one of a real image and a thermal image so that the two images have the same resolution. In the case of the commonly used camera module 10, since the price of the thermal camera is relatively very expensive, it is common to use a camera having a lower resolution of the thermal image compared to the actual image. For example, when the actual camera of the camera module 10 has an HD-class (for example, 1280*720) or FHD-class (for example, 1920*1080) image quality, the thermal camera 12 is a VGA-class (for example, 640*480) or 384* It uses a camera of 288 quality. However, it is preferable to match the resolutions of the two images so that the matching point calculated from the real image and the matching point calculated from the thermal image point to the same point (pixel). The resolution of two images can be matched equally.

일 실시예에서 해상도 조절부(23)는 이미지의 해상도를 변경하는 공지의 알고리즘을 이용하여 실상 이미지의 해상도를 낮춰서 열상 이미지의 해상도에 맞추거나 열상 이미지의 해상도를 높여서 실상 이미지에 맞출 수 있다. 또는 대안적으로, 실상 이미지와 열상 이미지의 해상도를 각각 조절하여 제3의 해상도로 일치시킬 수 있다. In an embodiment, the resolution adjustment unit 23 may adjust the resolution of the real image to match the resolution of the thermal image by lowering the resolution of the real image or increase the resolution of the thermal image to match the real image by using a known algorithm for changing the resolution of the image. Alternatively, the resolution of the real image and the thermal image may be adjusted to match the third resolution.

거리측정부(24)는 실상 이미지와 열상 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출한다. 일 실시예에서 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 측정할 수 있다. The distance measuring unit 24 calculates the distance from the camera module 10 to the photographing target S based on the matching points detected in the real image and the thermal image, respectively. In an embodiment, the distance measuring unit 24 may measure a distance to a photographing object by matching the real image and the thermal image.

이와 관련하여 도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 예시적 방법을 나타낸다. In this regard, FIG. 3 shows an exemplary method of calculating a distance to a photographing object by matching a real image and a thermal image according to an exemplary embodiment.

도3을 참조하면, 카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 촬영대상(S)을 촬영한다. 이 때 두 카메라(11,12)는 소정 거리(D)만큼 이격되어 설치된다. 따라서 예컨대 촬영대상(S)이 도3에 도시한 위치에 있을 경우, 실상 카메라(11)가 촬영한 실상 이미지에서 촬영대상(S)의 매칭 포인트와 실상 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되는 반면 열상 카메라(12)가 촬영한 열상 이미지에서는 촬영대상(S)의 매칭 포인트와 열상 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다. 따라서 거리측정부(24)는 각 이미지에서 제1 각도(θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 계산할 수 있다. Referring to FIG. 3, a real camera 11 and a thermal camera 12 of the camera module 10 are installed so as to face the front of each camera at the same viewing angle, respectively, to photograph a photographing object S. At this time, the two cameras 11 and 12 are installed to be spaced apart by a predetermined distance D. Therefore, for example, when the subject S is at the position shown in Fig. 3, the angle between the matching point of the subject S and the center of the real image in the real image captured by the real camera 11 is the first angle ( On the other hand, in the thermal image captured by the thermal camera 12, the angle between the matching point of the subject S and the center of the thermal image is measured as a second angle (θ2). Therefore, the distance measuring unit 24 calculates the first angle θ1 and the second angle θ2 from each image, and based on the angle and the distance D between the cameras, the photographing object ( You can calculate the distance to S).

다시 도2를 참조하면, 온도측정부(25)는 열상 이미지로부터 촬영대상(S)의 온도를 계산하고, 바람직하게는, 거리측정부(24)에서 산출한 측정대상(S)까지의 거리에 기초하여 온도를 보정한 후 최종적으로 촬영대상(S)의 온도를 산출할 수 있다. 예를 들어 카메라 모듈(10)에서부터 소정 거리에 따른 온도 보정값을 룩업 테이블 등의 형태로 미리 저장해두고 거리측정부(24)에서 산출한 거리에 상기 룩업 테이블을 적용하여 온도 보정값을 계산할 수 있다. 또는 대안적으로, 카메라 모듈(10)로부터의 거리에 따라 온도 보정 수식을 미리 정의해두고 거리측정부(24)가 측정한 거리를 이 수식에 입력하여 온도 보정값을 계산할 수도 있으며, 이렇게 계산된 온도 보정값을 열상 이미지로부터 산출한 온도에 더함으로써 촬영대상(S)의 보정된 온도를 산출할 수 있다. Referring back to FIG. 2, the temperature measurement unit 25 calculates the temperature of the photographing object S from the thermal image, and preferably, the distance to the measurement object S calculated by the distance measurement unit 24 After correcting the temperature based on the temperature, the temperature of the subject S may be finally calculated. For example, a temperature correction value according to a predetermined distance from the camera module 10 may be previously stored in the form of a lookup table, and the temperature correction value may be calculated by applying the lookup table to the distance calculated by the distance measuring unit 24. . Alternatively, a temperature correction formula may be previously defined according to the distance from the camera module 10 and the distance measured by the distance measuring unit 24 may be input into this formula to calculate the temperature correction value. By adding the temperature correction value to the temperature calculated from the thermal image, the corrected temperature of the photographing object S can be calculated.

흑체 인식부(26)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식할 수 있다. 일 실시예에서 온도 교정기(40)의 형상과 색채에 대한 정보를 미리 저장해둔 경우 흑체 인식부(26)가 실상 이미지에서 온도 교정기(40)를 인식할 수 있고 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)의 온도를 산출한 후 이 온도 정보를 온도측정부(25)로 전달하며, 온도측정부(25)는 적외선 방사체(41)의 온도 정보에 기초하여 온도를 추가로 보정할 수 있다. 온도 교정기(40)를 인식하고 온도 교정 동작을 수행하는 예시적 실시예에 대해서는 도8을 참조하여 후술하기로 한다.The blackbody recognition unit 26 may recognize the temperature corrector 40 within an image to be photographed. In one embodiment, when information on the shape and color of the temperature corrector 40 is stored in advance, the blackbody recognition unit 26 can recognize the temperature corrector 40 in the real image, and the temperature corrector 40 in the thermal image After calculating the temperature of the infrared emitter 41, this temperature information is transmitted to the temperature measuring unit 25, and the temperature measuring unit 25 can further correct the temperature based on the temperature information of the infrared emitter 41. have. An exemplary embodiment of recognizing the temperature calibrator 40 and performing a temperature calibration operation will be described later with reference to FIG. 8.

상술한 영상 처리장치(20)의 각 기능부인 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및/또는 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 예를 들어 도4는 일 실시예에 따른 영상 처리장치의 블록도이다. 도4를 참조하면, 일 실시예에 따른 영상 처리장치(20)는 임의의 컴퓨터 장치일 수 있고, 도시한 것처럼 프로세서(110), 메모리(120), 및 저장장치(130)를 포함할 수 있다. A face recognition unit 21, a matching point detection unit 22, a resolution adjustment unit 23, a distance measurement unit 24, a temperature measurement unit 25, and a black recognition unit, which are functional units of the image processing apparatus 20 described above. The unit 26 may be composed of software programmed to perform a corresponding function and/or hardware supporting this as necessary. For example, FIG. 4 is a block diagram of an image processing apparatus according to an exemplary embodiment. Referring to FIG. 4, the image processing apparatus 20 according to an exemplary embodiment may be an arbitrary computer device, and may include a processor 110, a memory 120, and a storage device 130 as shown. .

저장장치(130)는 하드 디스크 드라이브 또는 플래시 메모리 등과 같이 데이터를 반영구적으로 저장할 수 있는 저장매체이며 예컨대 얼굴인식 알고리즘(210), 매칭 포인트 검출 알고리즘(220), 해상도 조절 알고리즘(230), 거리측정 알고리즘(240), 온도측정 알고리즘(250), 흑체인식 알고리즘(260)등의 소프트웨어를 저장할 수 있다. 이 때 얼굴인식 알고리즘(210)은 예컨대 얼굴인식부(21)의 적어도 일부 기능을 수행하는 소프트웨어이고, 매칭 포인트 검출 알고리즘(220)은 예컨대 매칭 포인트 검출부(22)의 적어도 일부 기능을 수행하는 소프트웨어이고, 해상도 조절 알고리즘(230)은 예컨대 해상도 조절부(23)의 적어도 일부 기능을 수행하는 소프트웨어이고, 거리측정 알고리즘(240)은 예컨대 거리측정부(24)의 적어도 일부 기능을 수행하는 소프트웨어이고, 온도측정 알고리즘(250)은 예컨대 온도측정부(25)의 적어도 일부 기능을 수행하는 소프트웨어이고, 그리고 흑체인식 알고리즘(260)은 예컨대 온도측정부(26)의 적어도 일부 기능을 수행하는 소프트웨어일 수 있다. The storage device 130 is a storage medium capable of semi-permanently storing data, such as a hard disk drive or a flash memory, for example, a face recognition algorithm 210, a matching point detection algorithm 220, a resolution adjustment algorithm 230, a distance measurement algorithm. Software such as 240, a temperature measurement algorithm 250, and a black recognition algorithm 260 may be stored. In this case, the face recognition algorithm 210 is, for example, software that performs at least some functions of the face recognition unit 21, and the matching point detection algorithm 220 is, for example, software that performs at least some functions of the matching point detection unit 22. , The resolution adjustment algorithm 230 is, for example, software that performs at least some functions of the resolution adjustment unit 23, and the distance measurement algorithm 240 is, for example, software that performs at least some functions of the distance measurement unit 24, and The measurement algorithm 250 may be software that performs at least some functions of the temperature measurement unit 25, and the black recognition algorithm 260 may be software that performs at least some functions of the temperature measurement unit 26, for example.

이 구성에서 이러한 각종 소프트웨어나 알고리즘이 저장장치(130)에 저장되어 있다가 프로세서(110)의 제어 하에 메모리(120)에 로딩되어 실행될 수 있다. 대안적으로, 이러한 기능부(210,220,230,240,250,260)는 각기 독립적인 소프트웨어로 구현될 수도 있고 둘 이상의 기능부가 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다. In this configuration, such various software or algorithms may be stored in the storage device 130 and then loaded into the memory 120 and executed under the control of the processor 110. Alternatively, these functional units 210, 220, 230, 240, 250, 260 may be implemented as independent software, or may be implemented as software in which two or more functional units are integrated, and at least some of these functional units may be processed outside the image processing apparatus 20. It can also be installed and run on the device.

도5는 일 실시예에 따라 촬영대상의 온도를 측정하는 방법의 흐름도이다. 도면을 참조하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 영상 처리장치(20)는 전달받은 실상 이미지와 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 처리를 수행할 수 있다. 5 is a flowchart of a method of measuring a temperature of an object to be photographed according to an exemplary embodiment. Referring to the drawings, first, in step S10, a real image and a thermal image are generated by photographing a photographing object S with the real camera 11 and the thermal camera 12, and the images are transmitted to the image processing apparatus 20. . The image processing apparatus 20 may perform pre-processing on the received real image and thermal image. For example, image enhancement may be performed by removing noise of an image, high-band/low-band filtering, and the like, and synchronization processing of real and thermal images may be performed.

그 후 단계(S20)에서 영상 처리장치(20)의 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 얼굴을 검출하고, 단계(S30)에서 매칭 포인트 검출부(22)가 실상 이미지와 열상 이미지의 각 검출된 얼굴에서 매칭 포인트를 각각 검출한다. 예를 들어 매칭 포인트 검출부(22)는 검출된 얼굴 영역에서 두 눈동자의 무게중심점 또는 안경의 무게중심점을 계산하여 이 무게중심점을 매칭 포인트로서 설정한다. Thereafter, in step S20, the face recognition unit 21 of the image processing apparatus 20 detects a face in each of the real image and the thermal image, and in step S30, the matching point detection unit 22 detects the real image and the thermal image. Matching points are respectively detected in each detected face of the image. For example, the matching point detection unit 22 calculates the center of gravity of the two pupils or the center of gravity of the glasses in the detected face area, and sets the center of gravity as the matching point.

그 후 단계(S40)에서 영상 처리장치(20)의 해상도 조절부(23)가 실상 이미지와 열상 이미지 중 적어도 하나의 이미지의 해상도를 변경하여 두 이미지의 해상도를 일치시킨다. 해상도 조절부(23)는 두 이미지의 해상도를 완전히 동일하게 일치시킬 수도 있지만, 두 이미지의 해상도 차이가 기설정된 소정 범위 내에 속할 정도로 두 이미지 중 적어도 하나의 해상도를 조절할 수도 있다. 해상도를 조절하는 단계(S40)는 실상 이미지와 열상 이미지의 각각을 촬영한 직후(예컨대 단계(S10) 직후) 수행될 수도 있지만 바람직하게는 두 이미지를 정합하기 직전에 수행한다. 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출하는 동작을 원 해상도의 이미지를 대상으로 수행함으로써 각 이미지에서 매칭 포인트를 보다 정확히 검출할 수 있다. Thereafter, in step S40, the resolution adjusting unit 23 of the image processing apparatus 20 changes the resolution of at least one of the real image and the thermal image to match the resolution of the two images. The resolution adjusting unit 23 may completely match the resolutions of the two images, but may adjust the resolution of at least one of the two images so that the difference in resolution between the two images falls within a predetermined range. The step of adjusting the resolution (S40) may be performed immediately after photographing each of the real image and the thermal image (for example, immediately after step S10), but is preferably performed immediately before matching the two images. By performing an operation of detecting a matching point in each of the real image and the thermal image for an image of original resolution, it is possible to more accurately detect the matching point in each image.

다음으로 단계(S50)에서 영상 처리장치(20)의 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상(S)까지의 거리를 산출한다. 예를 들어 거리측정부(24)는 도3을 참조하여 설명한 것처럼 실상 이미지에서의 매칭 포인트의 위치, 열상 이미지에서의 매칭 포인트의 위치, 및 실상 카메라와 열상 카메라 사이의 거리(D)에 기초하여 촬영대상까지의 거리를 측정할 수 있다. Next, in step S50, the distance measuring unit 24 of the image processing apparatus 20 matches the real image and the thermal image to calculate the distance to the photographing object S. For example, as described with reference to FIG. 3, the distance measuring unit 24 is based on the position of the matching point in the real image, the position of the matching point in the thermal image, and the distance D between the real camera and the thermal camera. You can measure the distance to the subject.

다음으로, 단계(S60)에서 온도측정부(25)는 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 보정된 온도를 산출할 수 있으며, 따라서 본 발명의 실시예에 따르면 촬영대상(S)의 거리에 따른 온도 보상이 가능하여 촬영대상의 온도를 보다 정확히 측정할 수 있는 기술적 효과를 가진다. Next, in step S60, the temperature measuring unit 25 may calculate the corrected temperature of the photographing object by adding the temperature of the photographing object calculated from the thermal image and a preset temperature correction value according to the distance to the photographing object. Accordingly, according to an embodiment of the present invention, temperature compensation according to the distance of the photographing object S is possible, thereby having a technical effect of more accurately measuring the temperature of the photographing object.

이제 도6을 참조하여 일 실시예에 따라 온도 교정기를 자동으로 인식하고 온도 교정을 수행하는 예시적 실시예를 설명하기로 한다. An exemplary embodiment of automatically recognizing a temperature calibrator and performing temperature calibration according to an embodiment will now be described with reference to FIG. 6.

온도를 교정하는 예시적 방법으로, 우선 흑체인식부(26)가 이미지 내에서 온도 교정기(40)를 인식할 수 있도록 온도 교정기(40)의 형상 및/또는 색상 등의 정보를 영상 처리장치(20)에 등록할 수 있다. 예컨대 온도 교정기(40)를 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영하고 이 촬영 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 지정하면 흑체인식부(26)가 이 지정된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 에지 라인(윤곽선) 및 케이스(42) 전면의 색상이나 패턴을 인식하고 이 인식된 에지 라인, 색상, 및/또는 패턴 정보를 영상 처리장치(20)에 등록한다. As an exemplary method of calibrating the temperature, first, information such as the shape and/or color of the temperature corrector 40 so that the black recognition unit 26 can recognize the temperature corrector 40 in the image is stored in the image processing apparatus 20. ) Can be registered. For example, if the temperature corrector 40 is photographed with the real camera 11 and/or the thermal camera 12 and a pixel area including the temperature corrector 40 is specified in the photographed image, the black recognition unit 26 is In the region, the edge line (contour line) of the case 42 of the temperature corrector 40 and the color or pattern of the front surface of the case 42 are recognized, and the recognized edge line, color, and/or pattern information is transferred to the image processing device ( 20).

그 후 실상 및/또는 열상 카메라(11,12)를 이용하여 실제 촬영시 촬영대상과 함께 온도 교정기를 촬영하고, 상기 등록된 온도 교정기 정보에 기초하여 촬영 이미지에서 온도 교정기(40)를 인식한다. 예를 들어 실상 이미지에서 온도 교정기(40)의 케이스(42)의 윤곽이나 색상 또는 패턴을 인식하여 온도 교정기(40)를 식별할 수 있다. 그 후 흑체인식부(26)는 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별하고 적외선 방사체(41)의 온도를 측정할 수 있다. 예컨대 흑체인식부(26)는 실상 이미지에서 식별된 온도 교정기(40)의 외관(케이스)(42)의 중심 영역이 적외선 방사체(41) 영역이라고 판단하고 이 중심 영역의 온도를 적외선 방사체(41)의 온도라고 판단할 수 있다. Thereafter, a temperature calibrator is photographed together with a subject during actual shooting using real and/or thermal cameras 11 and 12, and the temperature calibrator 40 is recognized in the captured image based on the registered temperature calibrator information. For example, the temperature corrector 40 may be identified by recognizing the outline, color, or pattern of the case 42 of the temperature corrector 40 in the actual image. Thereafter, the black recognition unit 26 may identify the infrared radiator 41 of the temperature calibrator 40 in the thermal image and measure the temperature of the infrared radiator 41. For example, the black recognition unit 26 determines that the center area of the outer appearance (case) 42 of the temperature calibrator 40 identified in the actual image is the area of the infrared radiator 41 and determines the temperature of the center area to the infrared radiator 41 It can be judged as the temperature of.

그 후 흑체인식부(46)는 적외선 방사체(41)의 측정 온도에 관한 정보를 온도측정부(25)로 전달하고, 온도측정부(25)는 적외선 방사체(41)의 온도를 기준온도로 하여 열상 이미지의 온도 정보를 교정할 수 있다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다. Thereafter, the black recognition unit 46 transmits information on the measured temperature of the infrared radiator 41 to the temperature measurement unit 25, and the temperature measurement unit 25 uses the temperature of the infrared radiator 41 as a reference temperature. The temperature information of the thermal image can be corrected. For example, if the temperature value of the pixel corresponding to the infrared radiator 41 is different from the actual temperature of the infrared radiator 41, the temperature of the thermal image may be corrected by applying the temperature difference value to all pixels, In addition, other known temperature calibration methods can be used.

이러한 온도 교정기(40)를 이용한 온도 교정 동작은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예컨대 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다. The temperature calibration operation using the temperature calibrator 40 may be executed every predetermined time period. Alternatively, the image processing apparatus 20 may automatically determine whether to perform temperature calibration and execute it. For example, the thermal imaging camera 12 calculates an average value of the body temperature of the subject to be photographed and measured for a predetermined period of time, and when the average value is outside a preset temperature range, the image processing apparatus 20 may be configured to execute the above-described temperature calibration method. I can.

또한 일 실시예에서, 이러한 온도 교정기 인식 및 온도 교정 동작은 도5를 참조하여 설명한 촬영대상(S)까지의 거리를 측정하고 온도를 측정하는 동작과 동시에 또는 순차적으로 수행될 수 있다. 즉, 카메라모듈(10)로 촬영대상(S)을 촬영하고 거리를 측정하고 이에 기초하여 촬영대상의 온도를 산출하고 이 산출된 온도를 온도 교정기(40)를 이용하여 교정할 수 있다. In addition, in an embodiment, the temperature corrector recognition and temperature correction operation may be performed simultaneously or sequentially with the operation of measuring the distance to the photographing object S described with reference to FIG. 5 and measuring the temperature. That is, the camera module 10 may photograph the subject S, measure the distance, calculate the temperature of the subject based on this, and correct the calculated temperature using the temperature calibrator 40.

이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. As described above, those of ordinary skill in the field to which the present invention pertains can understand that various modifications and variations are possible from the description of this specification. Therefore, the scope of the present invention is limited to the described embodiments and should not be defined, and should be defined by the claims to be described later, as well as those equivalent to the claims.

10: 카메라 모듈 11: 실상 카메라
12: 열상 카메라 20: 영상 처리장치
21: 얼굴인식부 22: 매칭 포인트 검출부
23: 해상도 조절부 24: 거리측정부
25: 온도측정부 26: 흑체인식부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스
10: camera module 11: real camera
12: thermal camera 20: image processing device
21: face recognition unit 22: matching point detection unit
23: resolution adjustment unit 24: distance measurement unit
25: temperature measuring unit 26: black recognition unit
30: display 40: temperature calibrator
41: infrared emitter 42: case

Claims (6)

동일 촬영대상을 촬영하는 실상 카메라와 열상 카메라로 각각 촬영한 실상 이미지와 열상 이미지를 처리하는 영상 처리장치를 구비한 열상 카메라 시스템으로서, 상기 영상 처리장치가,
촬영대상을 실상 카메라로 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 얼굴인식부(21);
열상 이미지에서 적외선 방사체를 인식하는 흑체인식부(26); 및
상기 실상 이미지에서 검출한 얼굴에서 제1 매칭 포인트를 검출하고 상기 열상 이미지에서 검출한 얼굴에서 제2 매칭 포인트를 검출하고, 상기 실상 이미지에서의 제1 매칭 포인트의 위치, 상기 열상 이미지에서의 제2 매칭 포인트의 위치, 및 상기 실상 카메라와 열상 카메라 사이의 거리에 기초하여 상기 촬영대상까지의 거리를 측정하는 거리측정부(24);를 포함하고,
상기 영상 처리장치는, 기설정된 소정 온도를 방사하는 적외선 방사체를 구비한 온도 교정기의 케이스의 형상, 색상 및 패턴 중 적어도 하나를 등록하여 저장하고, 상기 실상 이미지와 열상 이미지를 수신한 경우, 상기 등록된 형상, 색상 및 패턴 중 하나에 기초하여 실상 이미지에서 온도 교정기를 식별한 후 열상 이미지에서 적외선 방사체를 식별하고, 그리고 상기 열상 이미지에서의 적외선 방사체의 온도를 온도교정을 위한 기준온도로 설정하도록 구성된 것을 특징으로 하는 열상 카메라 시스템.
A thermal imaging camera system having an image processing device for processing a real image and a thermal image respectively photographed by a real image and a thermal image respectively photographed by the same photographing object, wherein the image processing device comprises:
A face recognition unit 21 configured to receive a real image photographed with a real camera and a thermal image photographed with a thermal camera to detect a face in each image;
A black recognition unit 26 for recognizing an infrared radiator in a thermal image; And
A first matching point is detected from the face detected in the real image, a second matching point is detected from the face detected in the thermal image, the position of the first matching point in the real image, and a second matching point in the thermal image Including; a distance measuring unit 24 for measuring the distance to the object to be photographed based on the location of the matching point and the distance between the real camera and the thermal camera,
The image processing apparatus registers and stores at least one of a shape, color, and pattern of a case of a temperature calibrator equipped with an infrared radiator emitting a preset predetermined temperature, and when receiving the real image and the thermal image, the registration It is configured to identify the temperature calibrator in the real image based on one of the shape, color and pattern, and then identify the infrared emitter in the thermal image, and set the temperature of the infrared emitter in the thermal image as a reference temperature for temperature calibration. Thermal camera system, characterized in that.
삭제delete 제 1 항에 있어서,
상기 거리측정부는 상기 실상 이미지와 상기 열상 이미지를 정합하여 촬영대상까지의 거리를 측정하는 것을 특징으로 하는 열상 카메라 시스템.
The method of claim 1,
The distance measuring unit is a thermal camera system, characterized in that for measuring the distance to the photographing target by matching the real image and the thermal image.
삭제delete 제 3 항에 있어서,
열상 이미지로부터 상기 촬영대상의 온도를 산출하고 상기 측정된 촬영대상까지의 거리에 기초하여 상기 촬영대상의 온도를 보정하는 온도측정부(25)를 더 포함하는 것을 특징으로 하는 열상 카메라 시스템.
The method of claim 3,
A thermal imaging camera system, characterized in that it further comprises a temperature measuring unit (25) for calculating the temperature of the photographing object from the thermal image and correcting the temperature of the photographing object based on the measured distance to the photographing object.
제 5 항에 있어서,
상기 온도측정부는, 상기 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 온도를 산출하는 것을 특징으로 하는 열상 카메라 시스템.
The method of claim 5,
The temperature measuring unit calculates the temperature of the photographing object by adding a temperature of the photographing object calculated from the thermal image and a preset temperature correction value according to a distance to the photographing object.
KR1020200116301A 2020-09-10 2020-09-10 Thermal camera system with distance measuring function KR102251307B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200116301A KR102251307B1 (en) 2020-09-10 2020-09-10 Thermal camera system with distance measuring function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200116301A KR102251307B1 (en) 2020-09-10 2020-09-10 Thermal camera system with distance measuring function

Publications (1)

Publication Number Publication Date
KR102251307B1 true KR102251307B1 (en) 2021-05-13

Family

ID=75913350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200116301A KR102251307B1 (en) 2020-09-10 2020-09-10 Thermal camera system with distance measuring function

Country Status (1)

Country Link
KR (1) KR102251307B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007684A (en) 2021-07-06 2023-01-13 주식회사 트루윈 Un-cooled thermal imaging camera including black body temperature reference source and calibration method thereof
KR20230040118A (en) 2021-09-15 2023-03-22 주식회사 트루윈 Black body temperature reference source and un-cooled thermal imaging camera including the same

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188914A (en) * 2000-12-20 2002-07-05 Mitsubishi Electric Corp Infrared imaging device
KR20110128574A (en) * 2010-05-24 2011-11-30 주식회사 다음커뮤니케이션 Method for recognizing human face and recognizing apparatus
KR20120070320A (en) * 2010-12-21 2012-06-29 엘지디스플레이 주식회사 Display system including stereo camera and position detecting method using the same
KR20130054767A (en) * 2011-11-17 2013-05-27 주식회사 에스원 Multiple biometrics apparatus and method thereof
KR20190063671A (en) 2017-11-30 2019-06-10 (주)코어센스 3d thermal distribution display device using stereo camera and thermal camera
KR20190125682A (en) * 2018-04-30 2019-11-07 주식회사 허브테크 Thermal image camera having multi-point temperature compensating function and temperature compensating method using the same
JP6732902B2 (en) * 2016-06-03 2020-07-29 マクセル株式会社 Imaging device and imaging system
KR20200095918A (en) * 2019-02-01 2020-08-11 엘지전자 주식회사 Spatial information recognition device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188914A (en) * 2000-12-20 2002-07-05 Mitsubishi Electric Corp Infrared imaging device
KR20110128574A (en) * 2010-05-24 2011-11-30 주식회사 다음커뮤니케이션 Method for recognizing human face and recognizing apparatus
KR20120070320A (en) * 2010-12-21 2012-06-29 엘지디스플레이 주식회사 Display system including stereo camera and position detecting method using the same
KR20130054767A (en) * 2011-11-17 2013-05-27 주식회사 에스원 Multiple biometrics apparatus and method thereof
JP6732902B2 (en) * 2016-06-03 2020-07-29 マクセル株式会社 Imaging device and imaging system
KR20190063671A (en) 2017-11-30 2019-06-10 (주)코어센스 3d thermal distribution display device using stereo camera and thermal camera
KR20190125682A (en) * 2018-04-30 2019-11-07 주식회사 허브테크 Thermal image camera having multi-point temperature compensating function and temperature compensating method using the same
KR20200095918A (en) * 2019-02-01 2020-08-11 엘지전자 주식회사 Spatial information recognition device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007684A (en) 2021-07-06 2023-01-13 주식회사 트루윈 Un-cooled thermal imaging camera including black body temperature reference source and calibration method thereof
KR20230040118A (en) 2021-09-15 2023-03-22 주식회사 트루윈 Black body temperature reference source and un-cooled thermal imaging camera including the same

Similar Documents

Publication Publication Date Title
KR102333101B1 (en) Electronic device for providing property information of external light source for interest object
US10133349B2 (en) Display apparatus and method of controlling the same
US11068700B2 (en) Polarization imaging for facial recognition enhancement system and method
KR102251307B1 (en) Thermal camera system with distance measuring function
US20090021526A1 (en) Determination method for white-point and correction method of the white balance
KR102207650B1 (en) Method for temperature calibration in thermal camera system
US20150347844A1 (en) Iris recognition apparatus and operating method thereof
CN111323125B (en) Temperature measurement method and device, computer storage medium and electronic equipment
US20230079693A1 (en) Elevated temperature screening systems and methods
US20230054197A1 (en) Dual-band temperature detection systems and methods
JP2007510152A (en) Infrared camera methods, uses and systems for determining the risk of condensation
WO2019174436A1 (en) Control method, control device, depth camera and electronic device
KR102205605B1 (en) Method for display temperature in thermal image
KR102487590B1 (en) Method for measuring of object based on face-recognition
US20190028659A1 (en) Image processing device
WO2020194529A1 (en) Interest determination device, interest determination system, interest determination method, and non-transitory computer-readable medium having program stored therein
US20210192205A1 (en) Binding of selfie face image to iris images for biometric identity enrollment
CN111200709B (en) Method for setting light source of camera system, camera system and vehicle
TW201404120A (en) Method and system for testing digital imaging devices
KR20100125983A (en) Method and camera device for camera gain control and shutter speed control by measuring skin brightness
KR102580362B1 (en) Method for body temperature by using temperature measuring apparatus with thermal camera
KR102593382B1 (en) Method for measuring temperature of infrared radiator for thermal camera calibration
KR20220036418A (en) Apparatus, method and computer program for correcting temperature of object
KR102581989B1 (en) Method for auto-recognition of temperature calibrator in thermal camera system
KR20220087595A (en) Method for calibrating temperature of thermal camera by image processing apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant