KR102251307B1 - Thermal camera system with distance measuring function - Google Patents
Thermal camera system with distance measuring function Download PDFInfo
- Publication number
- KR102251307B1 KR102251307B1 KR1020200116301A KR20200116301A KR102251307B1 KR 102251307 B1 KR102251307 B1 KR 102251307B1 KR 1020200116301 A KR1020200116301 A KR 1020200116301A KR 20200116301 A KR20200116301 A KR 20200116301A KR 102251307 B1 KR102251307 B1 KR 102251307B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- temperature
- thermal
- real
- camera
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims description 11
- 238000001931 thermography Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 230000005484 gravity Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000036760 body temperature Effects 0.000 description 8
- 238000009529 body temperature measurement Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 1
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 201000010740 swine influenza Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G01J2005/0048—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Abstract
Description
본 발명은 열상 카메라 시스템에 관한 것으로, 보다 상세하게는, 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 측정하고 이에 기초하여 촬영대상의 온도를 보정할 수 있는 열상 카메라 시스템에 관한 것이다.The present invention relates to a thermal camera system, and more particularly, to a thermal camera system capable of measuring a distance to an object to be photographed using a real camera and a thermal camera, and correcting a temperature of the object to be photographed based thereon.
최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다. Recently, respiratory infectious diseases such as SARS (severe acute respiratory syndrome), swine flu, MERS, and coronavirus are frequently occurring, and equipment that measures body temperature using thermal imaging cameras to detect and track the symptoms of these infectious diseases. It is widely used.
열상 카메라를 이용한 현재 체온 측정 방법은 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 것이다. 또한 실상 카메라와 열상 카메라로 통행자를 동시에 촬영하여 실상 이미지 및/또는 열상 이미지를 화면에 동시에 표시하기도 한다. The current method of measuring body temperature using a thermal camera is to identify a person with high fever by installing a thermal camera on a passageway and measuring the body temperature of a person passing through the passageway. In addition, a real image and/or a thermal image may be simultaneously displayed on the screen by photographing a passenger at the same time with a real camera and a thermal camera.
이러한 체온 측정용 열상 카메라 시스템의 경우 체온을 정확히 측정하는 것이 중요하다. 그러나 기존 열상 카메라는 동일 온도의 측정대상이라도 주변의 온도, 바람, 습도 등 다양한 원인에 의해 촬영대상까지의 거리에 따라 온도를 다르게 출력하는 문제가 있다. 예를 들어 섭씨 50도의 물체를 촬영하는 경우 거리가 1미터, 2미터, 3미터로 각각 달라질 경우 해당 물체의 온도가 50도, 49도, 48도 등으로 다르게 인식하게 되며, 따라서 통행로를 지나가는 사람들의 경우 촬영대상의 거리가 시시각각 변하기 때문에 측정대상의 체온을 정확히 측정하기 어려운 문제가 발생한다. In the case of such a thermal imaging camera system for measuring body temperature, it is important to accurately measure body temperature. However, conventional thermal imaging cameras have a problem of outputting temperatures differently depending on the distance to the photographing object due to various causes such as ambient temperature, wind, humidity, etc. even if the object is to be measured at the same temperature. For example, when shooting an object at 50 degrees Celsius, if the distance is changed to 1 meter, 2 meters, and 3 meters, the temperature of the object is perceived differently as 50 degrees, 49 degrees, 48 degrees, etc. Therefore, people passing by the passageway In this case, it is difficult to accurately measure the body temperature of the object to be measured because the distance of the object to be photographed changes every moment.
이를 해결하기 위해 레이저, 라이다, 레이더, 또는 초음파 등 각종 측정 방식의 거리측정 기기를 추가로 장착하여 촬영대상까지의 거리를 측정하고 거리를 반영하여 온도를 보정할 수도 있지만, 이러한 방식의 거리측정기로는 한번에 여러 사람을 탐지하여 각각의 거리를 측정할 수 없고 열상 카메라 시스템에 별도의 거리측정 장비를 장착해야 하는 번거로움이 있다. To solve this problem, distance measuring devices such as laser, lidar, radar, or ultrasonic can be additionally mounted to measure the distance to the subject and correct the temperature by reflecting the distance. The furnace cannot detect several people at once and measure each distance, and there is a hassle of having to install a separate distance measuring device in the thermal camera system.
본 발명은 상기 문제점을 해결하기 위한 것으로, 기존의 열상 카메라 시스템에 구비된 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따라 온도를 보상하여 촬영대상의 온도를 정확히 측정할 수 있는 열상 카메라 시스템을 제공하는 것을 목적으로 한다. The present invention is to solve the above problem, by calculating the distance to the object to be photographed using a real camera and a thermal camera provided in the existing thermal camera system, and compensating the temperature according to the calculated distance to adjust the temperature of the object to be photographed. It aims to provide a thermal imaging camera system that can accurately measure.
본 발명의 일 실시예에 따르면, 실상 카메라와 열상 카메라로 각각 촬영한 이미지를 처리하는 영상 처리장치로서, 촬영대상을 실상 카메라로 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 얼굴인식부; 및 상기 실상 이미지와 열상 이미지에서 각각 검출된 얼굴의 위치에 기초하여 상기 촬영대상까지의 거리를 측정하는 거리측정부;를 포함하는 것을 특징으로 하는 영상 처리장치를 개시한다. According to an embodiment of the present invention, as an image processing apparatus for processing images respectively photographed with a real camera and a thermal camera, a real image photographed with a real camera and a thermal image photographed with a thermal camera are received and each A face recognition unit that detects a face in an image; And a distance measuring unit that measures a distance to the photographing target based on positions of faces respectively detected in the real image and the thermal image.
본 발명의 일 실시예에 따르면, 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따른 온도 보상을 적용하여 촬영대상의 온도를 정확히 측정할 수 있다. 또한 본 발명에 따르면 기존의 열상 카메라 시스템에 이미 구비되어 있는 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 측정하기 때문에 별도의 거리측정 장비를 추가로 장착할 필요가 없으며 시스템 설치 및 운용이 용이하고 비용을 줄이는 이점이 있다. According to an embodiment of the present invention, the temperature of the object to be photographed may be accurately measured by calculating the distance to the object to be photographed and applying temperature compensation according to the calculated distance. In addition, according to the present invention, since the distance to the subject to be photographed is measured using a real camera and a thermal camera already provided in the existing thermal camera system, there is no need to additionally install a separate distance measurement device, and the system installation and operation are not required. It is easy and has the advantage of reducing cost.
또한 본 발명의 일 실시예에 따르면 촬영 영역 내에 설치된 온도 교정기를 자동으로 인식하여 온도를 보정할 수 있으므로 촬영대상에 대해 더욱 더 정확한 온도 측정을 할 수 있다.In addition, according to an embodiment of the present invention, since the temperature calibrator installed in the photographing area can be automatically recognized and the temperature can be corrected, it is possible to more accurately measure the temperature of the object to be photographed.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 방법을 설명하는 도면,
도4는 일 실시예에 따른 영상 처리장치의 블록도,
도5는 일 실시예에 따라 촬영대상의 온도를 측정하는 방법의 흐름도
도6은 일 실시예에 따라 온도 교정기를 자동으로 인식하여 온도를 교정하는 방법의 흐름도이다. 1 is a view for explaining a thermal camera system according to an embodiment of the present invention;
2 is a block diagram of a thermal camera system according to an embodiment;
3 is a diagram illustrating a method of calculating a distance to a photographing target by matching a real image and a thermal image according to an exemplary embodiment;
4 is a block diagram of an image processing apparatus according to an exemplary embodiment;
5 is a flowchart of a method of measuring a temperature of an object to be photographed according to an exemplary embodiment
6 is a flowchart of a method of automatically recognizing a temperature calibrator and calibrating a temperature according to an exemplary embodiment.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.In the present specification, when terms such as first and second are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one element from another element. The embodiments described and illustrated herein also include complementary embodiments thereof.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다', ‘~로 구성된다', 및 ‘~으로 이루어진다’라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In this specification, the singular form also includes the plural form unless specifically stated in the phrase. The expressions “including,” “consisting of,” and “consisting of” used in the specification do not exclude the presence or addition of one or more other constituent elements other than the mentioned constituent elements.
본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램‘은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다. In this specification, the term'software' refers to a technology that moves hardware in a computer, and the term'hardware' refers to a type of device or device (CPU, memory, input device, output device, peripheral device, etc.) constituting a computer, and , The term'step' refers to a series of processing or manipulations connected in a time series to achieve a predetermined neck, the term'computer program' or'program' refers to a set of instructions combined to be processed by a computer, and the term ' 'Program recording medium' means a computer-readable recording medium recording programs used to install, execute, or distribute programs.
본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다. Terms such as'~ unit','~ module','~ unit','~ block', and'~ board' used to refer to the constituent elements of the present specification are used to process at least one function or operation. It may mean a physical, functional, or logical unit, which may be implemented as one or more hardware, software, or firmware, or a combination of one or more hardware, software, and/or firmware.
본 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다. In the present specification,'processing device','computer', or'computing device' refers to an operating system such as Windows, Mac, or Linux, computer processor, memory, application programs, storage devices (eg, HDD, SDD), and It may be a device with a monitor. The computer may be, for example, a desktop computer or a notebook computer, but these are exemplary, and the present invention is not limited to a desktop computer or a notebook computer. The mobile terminal may be one of a mobile wireless communication device such as a smart phone, a tablet PC, or a PDA.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, a number of specific contents have been prepared to explain the invention in more detail and to aid understanding. However, a reader who has knowledge in this field enough to understand the present invention can recognize that it can be used without these various specific contents. In some cases, it is to be noted in advance that parts that are commonly known in describing the invention and are not significantly related to the invention are not described in order to avoid confusion in describing the invention.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다. 1 schematically shows a thermal camera system according to an embodiment of the present invention. Referring to the drawings, a thermal camera system according to an embodiment includes a
일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 열상 이미지(당업계에서 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 함)를 생성한다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다. In one embodiment, the
영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 촬영대상(S)의 온도를 산출하고 이 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 또한 일 실시예에서 영상 처리장치(20)는 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출하고 이 산출된 거리에 기초하여 촬영대상(S)의 온도를 보정할 수 있다. 이러한 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다. The
디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.The
일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다. In one embodiment, the thermal camera system of the present invention may further include a
적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다. The
일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도6을 참조하여 후술하기로 한다.In one embodiment, the
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다. 2 is a block diagram of a thermal camera system according to an exemplary embodiment. In FIG. 2, the
카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다. The
열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다. The
적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드 픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드 픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지기술이므로 구체적 설명을 생략한다.The infrared lens is a lens that transmits infrared rays, and the detection element array detects infrared rays incident on the infrared lens and converts them into electrical signals. The detection element array may have, for example, a focal plane array (FPA) structure in which a plurality of pixels are configured as a two-dimensional array, but is not limited thereto. The A/D converter converts an electrical signal, which is an analog signal generated by the detection element array, into temperature data, which is a digital signal. The
카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)를 포함할 수 있다. The real image and the thermal image generated by the
얼굴인식부(21)는 촬영대상(S)을 실상 카메라(11)로 촬영한 실상 이미지와 열상 카메라(12)로 촬영한 열상 이미지를 각각 수신하여 각각의 이미지에서 하나 이상의 얼굴을 검출한다. 일 실시예에서 얼굴인식부(21)는 실상 이미지와 열상 이미지의 각각에서 촬영대상(S)의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다. The
이미지에서 얼굴을 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어 얼굴인식부(21)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출한다. 다양한 얼굴 포즈의 학습영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출할 수 있으며, 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), Haar 특징 필터, 서포트 벡터 머신(SVM) 등의 방법이 사용될 수 있다. 그러나 얼굴인식부(21)는 이러한 얼굴 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 실상 이미지와 열상 이미지에서 얼굴을 인식하고 검출할 수 있다. A known technique can be used to detect a face in an image. For example, the
매칭 포인트 검출부(22)는 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 실상 이미지와 열상 이미지에 기초하여 촬영대상(S)까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 실상 이미지와 열상 이미지의 각각에서 동일한 특징점을 각각 검출한다. The matching
일 실시예에서, 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 검출한 얼굴 영역에서 눈동자, 코, 미간 등 임의의 특징점을 선정하여 이를 매칭 포인트로서 검출할 수 있다. 바람직하게는, 일 실시예에서 얼굴의 두 눈 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 눈동자의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다. 또한 바람직한 일 실시예에서, 예컨대 촬영대상(S)이 안경이나 선글라스를 쓰고 있는 경우 안경이나 선글라스(이하 간단히 '안경'이라 함)의 형상 전체에 대한 무게중심을 구하고 이 무게중심점을 매칭 포인트로서 이용할 수 있다. In an exemplary embodiment, the
특히 촬영대상(S)이 안경을 쓴 경우, 실상 이미지에서는 눈동자를 식별할 수 있지만 열상 이미지에서는 적외선이 유리를 통과하지 못하므로 안경이 전체적으로 검은색으로 표시되어 눈동자를 식별할 수 없는 문제가 있다. 따라서 본 발명의 일 실시예에 따른 매칭 포인트 검출부(22)는, 실상 이미지와 열상 이미지의 각각에서 눈동자를 식별한 경우 두 눈동자의 무게중심점을 계산하여 이를 매칭 포인트로서 설정하고 눈동자를 식별하지 못하는 경우 안경 형상 전체의 무게중심을 계산하여 이를 매칭 포인트로서 각각 설정한다. In particular, when the subject S wears glasses, the pupil can be identified in the actual image, but since infrared rays cannot pass through the glass in the thermal image, the glasses are displayed in black as a whole, so that the pupil cannot be identified. Therefore, the matching
해상도 조절부(23)는 실상 이미지와 열상 이미지 중 적어도 하나의 해상도 조정하여 두 이미지가 동일한 해상도를 갖도록 하는 기능부이다. 일반적으로 사용되는 카메라 모듈(10)의 경우 열상 카메라의 가격이 상대적으로 매우 고가이기 때문에 실상 이미지에 비해 열상 이미지의 해상도가 떨어지는 카메라를 사용하는 것이 보통이다. 예를 들어 카메라 모듈(10)의 실상 카메라가 HD급(예컨대 1280*720) 또는 FHD급(예컨대 1920*1080) 화질을 가질 경우 열상 카메라(12)는 VGA급(예컨대 640*480) 또는 384*288의 화질의 카메라를 사용한다. 그러나 실상 이미지에서 산출한 매칭 포인트와 열상 이미지에서 산출한 매칭 포인트가 동일한 지점(픽셀)을 가리키기 위해 두 이미지의 해상도를 일치시키는 것이 바람직하며 본 발명의 일 실시예에서 해상도 조절부(23)에서 두 이미지의 해상도를 동일하게 일치시킬 수 있다. The
일 실시예에서 해상도 조절부(23)는 이미지의 해상도를 변경하는 공지의 알고리즘을 이용하여 실상 이미지의 해상도를 낮춰서 열상 이미지의 해상도에 맞추거나 열상 이미지의 해상도를 높여서 실상 이미지에 맞출 수 있다. 또는 대안적으로, 실상 이미지와 열상 이미지의 해상도를 각각 조절하여 제3의 해상도로 일치시킬 수 있다. In an embodiment, the
거리측정부(24)는 실상 이미지와 열상 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출한다. 일 실시예에서 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 측정할 수 있다. The
이와 관련하여 도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 예시적 방법을 나타낸다. In this regard, FIG. 3 shows an exemplary method of calculating a distance to a photographing object by matching a real image and a thermal image according to an exemplary embodiment.
도3을 참조하면, 카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 촬영대상(S)을 촬영한다. 이 때 두 카메라(11,12)는 소정 거리(D)만큼 이격되어 설치된다. 따라서 예컨대 촬영대상(S)이 도3에 도시한 위치에 있을 경우, 실상 카메라(11)가 촬영한 실상 이미지에서 촬영대상(S)의 매칭 포인트와 실상 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되는 반면 열상 카메라(12)가 촬영한 열상 이미지에서는 촬영대상(S)의 매칭 포인트와 열상 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다. 따라서 거리측정부(24)는 각 이미지에서 제1 각도(θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 계산할 수 있다. Referring to FIG. 3, a
다시 도2를 참조하면, 온도측정부(25)는 열상 이미지로부터 촬영대상(S)의 온도를 계산하고, 바람직하게는, 거리측정부(24)에서 산출한 측정대상(S)까지의 거리에 기초하여 온도를 보정한 후 최종적으로 촬영대상(S)의 온도를 산출할 수 있다. 예를 들어 카메라 모듈(10)에서부터 소정 거리에 따른 온도 보정값을 룩업 테이블 등의 형태로 미리 저장해두고 거리측정부(24)에서 산출한 거리에 상기 룩업 테이블을 적용하여 온도 보정값을 계산할 수 있다. 또는 대안적으로, 카메라 모듈(10)로부터의 거리에 따라 온도 보정 수식을 미리 정의해두고 거리측정부(24)가 측정한 거리를 이 수식에 입력하여 온도 보정값을 계산할 수도 있으며, 이렇게 계산된 온도 보정값을 열상 이미지로부터 산출한 온도에 더함으로써 촬영대상(S)의 보정된 온도를 산출할 수 있다. Referring back to FIG. 2, the
흑체 인식부(26)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식할 수 있다. 일 실시예에서 온도 교정기(40)의 형상과 색채에 대한 정보를 미리 저장해둔 경우 흑체 인식부(26)가 실상 이미지에서 온도 교정기(40)를 인식할 수 있고 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)의 온도를 산출한 후 이 온도 정보를 온도측정부(25)로 전달하며, 온도측정부(25)는 적외선 방사체(41)의 온도 정보에 기초하여 온도를 추가로 보정할 수 있다. 온도 교정기(40)를 인식하고 온도 교정 동작을 수행하는 예시적 실시예에 대해서는 도8을 참조하여 후술하기로 한다.The
상술한 영상 처리장치(20)의 각 기능부인 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및/또는 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 예를 들어 도4는 일 실시예에 따른 영상 처리장치의 블록도이다. 도4를 참조하면, 일 실시예에 따른 영상 처리장치(20)는 임의의 컴퓨터 장치일 수 있고, 도시한 것처럼 프로세서(110), 메모리(120), 및 저장장치(130)를 포함할 수 있다. A
저장장치(130)는 하드 디스크 드라이브 또는 플래시 메모리 등과 같이 데이터를 반영구적으로 저장할 수 있는 저장매체이며 예컨대 얼굴인식 알고리즘(210), 매칭 포인트 검출 알고리즘(220), 해상도 조절 알고리즘(230), 거리측정 알고리즘(240), 온도측정 알고리즘(250), 흑체인식 알고리즘(260)등의 소프트웨어를 저장할 수 있다. 이 때 얼굴인식 알고리즘(210)은 예컨대 얼굴인식부(21)의 적어도 일부 기능을 수행하는 소프트웨어이고, 매칭 포인트 검출 알고리즘(220)은 예컨대 매칭 포인트 검출부(22)의 적어도 일부 기능을 수행하는 소프트웨어이고, 해상도 조절 알고리즘(230)은 예컨대 해상도 조절부(23)의 적어도 일부 기능을 수행하는 소프트웨어이고, 거리측정 알고리즘(240)은 예컨대 거리측정부(24)의 적어도 일부 기능을 수행하는 소프트웨어이고, 온도측정 알고리즘(250)은 예컨대 온도측정부(25)의 적어도 일부 기능을 수행하는 소프트웨어이고, 그리고 흑체인식 알고리즘(260)은 예컨대 온도측정부(26)의 적어도 일부 기능을 수행하는 소프트웨어일 수 있다. The
이 구성에서 이러한 각종 소프트웨어나 알고리즘이 저장장치(130)에 저장되어 있다가 프로세서(110)의 제어 하에 메모리(120)에 로딩되어 실행될 수 있다. 대안적으로, 이러한 기능부(210,220,230,240,250,260)는 각기 독립적인 소프트웨어로 구현될 수도 있고 둘 이상의 기능부가 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다. In this configuration, such various software or algorithms may be stored in the
도5는 일 실시예에 따라 촬영대상의 온도를 측정하는 방법의 흐름도이다. 도면을 참조하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 영상 처리장치(20)는 전달받은 실상 이미지와 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 처리를 수행할 수 있다. 5 is a flowchart of a method of measuring a temperature of an object to be photographed according to an exemplary embodiment. Referring to the drawings, first, in step S10, a real image and a thermal image are generated by photographing a photographing object S with the
그 후 단계(S20)에서 영상 처리장치(20)의 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 얼굴을 검출하고, 단계(S30)에서 매칭 포인트 검출부(22)가 실상 이미지와 열상 이미지의 각 검출된 얼굴에서 매칭 포인트를 각각 검출한다. 예를 들어 매칭 포인트 검출부(22)는 검출된 얼굴 영역에서 두 눈동자의 무게중심점 또는 안경의 무게중심점을 계산하여 이 무게중심점을 매칭 포인트로서 설정한다. Thereafter, in step S20, the
그 후 단계(S40)에서 영상 처리장치(20)의 해상도 조절부(23)가 실상 이미지와 열상 이미지 중 적어도 하나의 이미지의 해상도를 변경하여 두 이미지의 해상도를 일치시킨다. 해상도 조절부(23)는 두 이미지의 해상도를 완전히 동일하게 일치시킬 수도 있지만, 두 이미지의 해상도 차이가 기설정된 소정 범위 내에 속할 정도로 두 이미지 중 적어도 하나의 해상도를 조절할 수도 있다. 해상도를 조절하는 단계(S40)는 실상 이미지와 열상 이미지의 각각을 촬영한 직후(예컨대 단계(S10) 직후) 수행될 수도 있지만 바람직하게는 두 이미지를 정합하기 직전에 수행한다. 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출하는 동작을 원 해상도의 이미지를 대상으로 수행함으로써 각 이미지에서 매칭 포인트를 보다 정확히 검출할 수 있다. Thereafter, in step S40, the
다음으로 단계(S50)에서 영상 처리장치(20)의 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상(S)까지의 거리를 산출한다. 예를 들어 거리측정부(24)는 도3을 참조하여 설명한 것처럼 실상 이미지에서의 매칭 포인트의 위치, 열상 이미지에서의 매칭 포인트의 위치, 및 실상 카메라와 열상 카메라 사이의 거리(D)에 기초하여 촬영대상까지의 거리를 측정할 수 있다. Next, in step S50, the
다음으로, 단계(S60)에서 온도측정부(25)는 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 보정된 온도를 산출할 수 있으며, 따라서 본 발명의 실시예에 따르면 촬영대상(S)의 거리에 따른 온도 보상이 가능하여 촬영대상의 온도를 보다 정확히 측정할 수 있는 기술적 효과를 가진다. Next, in step S60, the
이제 도6을 참조하여 일 실시예에 따라 온도 교정기를 자동으로 인식하고 온도 교정을 수행하는 예시적 실시예를 설명하기로 한다. An exemplary embodiment of automatically recognizing a temperature calibrator and performing temperature calibration according to an embodiment will now be described with reference to FIG. 6.
온도를 교정하는 예시적 방법으로, 우선 흑체인식부(26)가 이미지 내에서 온도 교정기(40)를 인식할 수 있도록 온도 교정기(40)의 형상 및/또는 색상 등의 정보를 영상 처리장치(20)에 등록할 수 있다. 예컨대 온도 교정기(40)를 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영하고 이 촬영 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 지정하면 흑체인식부(26)가 이 지정된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 에지 라인(윤곽선) 및 케이스(42) 전면의 색상이나 패턴을 인식하고 이 인식된 에지 라인, 색상, 및/또는 패턴 정보를 영상 처리장치(20)에 등록한다. As an exemplary method of calibrating the temperature, first, information such as the shape and/or color of the
그 후 실상 및/또는 열상 카메라(11,12)를 이용하여 실제 촬영시 촬영대상과 함께 온도 교정기를 촬영하고, 상기 등록된 온도 교정기 정보에 기초하여 촬영 이미지에서 온도 교정기(40)를 인식한다. 예를 들어 실상 이미지에서 온도 교정기(40)의 케이스(42)의 윤곽이나 색상 또는 패턴을 인식하여 온도 교정기(40)를 식별할 수 있다. 그 후 흑체인식부(26)는 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별하고 적외선 방사체(41)의 온도를 측정할 수 있다. 예컨대 흑체인식부(26)는 실상 이미지에서 식별된 온도 교정기(40)의 외관(케이스)(42)의 중심 영역이 적외선 방사체(41) 영역이라고 판단하고 이 중심 영역의 온도를 적외선 방사체(41)의 온도라고 판단할 수 있다. Thereafter, a temperature calibrator is photographed together with a subject during actual shooting using real and/or
그 후 흑체인식부(46)는 적외선 방사체(41)의 측정 온도에 관한 정보를 온도측정부(25)로 전달하고, 온도측정부(25)는 적외선 방사체(41)의 온도를 기준온도로 하여 열상 이미지의 온도 정보를 교정할 수 있다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다. Thereafter, the black recognition unit 46 transmits information on the measured temperature of the
이러한 온도 교정기(40)를 이용한 온도 교정 동작은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예컨대 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다. The temperature calibration operation using the
또한 일 실시예에서, 이러한 온도 교정기 인식 및 온도 교정 동작은 도5를 참조하여 설명한 촬영대상(S)까지의 거리를 측정하고 온도를 측정하는 동작과 동시에 또는 순차적으로 수행될 수 있다. 즉, 카메라모듈(10)로 촬영대상(S)을 촬영하고 거리를 측정하고 이에 기초하여 촬영대상의 온도를 산출하고 이 산출된 온도를 온도 교정기(40)를 이용하여 교정할 수 있다. In addition, in an embodiment, the temperature corrector recognition and temperature correction operation may be performed simultaneously or sequentially with the operation of measuring the distance to the photographing object S described with reference to FIG. 5 and measuring the temperature. That is, the
이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. As described above, those of ordinary skill in the field to which the present invention pertains can understand that various modifications and variations are possible from the description of this specification. Therefore, the scope of the present invention is limited to the described embodiments and should not be defined, and should be defined by the claims to be described later, as well as those equivalent to the claims.
10: 카메라 모듈 11: 실상 카메라
12: 열상 카메라 20: 영상 처리장치
21: 얼굴인식부 22: 매칭 포인트 검출부
23: 해상도 조절부 24: 거리측정부
25: 온도측정부 26: 흑체인식부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스10: camera module 11: real camera
12: thermal camera 20: image processing device
21: face recognition unit 22: matching point detection unit
23: resolution adjustment unit 24: distance measurement unit
25: temperature measuring unit 26: black recognition unit
30: display 40: temperature calibrator
41: infrared emitter 42: case
Claims (6)
촬영대상을 실상 카메라로 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 얼굴인식부(21);
열상 이미지에서 적외선 방사체를 인식하는 흑체인식부(26); 및
상기 실상 이미지에서 검출한 얼굴에서 제1 매칭 포인트를 검출하고 상기 열상 이미지에서 검출한 얼굴에서 제2 매칭 포인트를 검출하고, 상기 실상 이미지에서의 제1 매칭 포인트의 위치, 상기 열상 이미지에서의 제2 매칭 포인트의 위치, 및 상기 실상 카메라와 열상 카메라 사이의 거리에 기초하여 상기 촬영대상까지의 거리를 측정하는 거리측정부(24);를 포함하고,
상기 영상 처리장치는, 기설정된 소정 온도를 방사하는 적외선 방사체를 구비한 온도 교정기의 케이스의 형상, 색상 및 패턴 중 적어도 하나를 등록하여 저장하고, 상기 실상 이미지와 열상 이미지를 수신한 경우, 상기 등록된 형상, 색상 및 패턴 중 하나에 기초하여 실상 이미지에서 온도 교정기를 식별한 후 열상 이미지에서 적외선 방사체를 식별하고, 그리고 상기 열상 이미지에서의 적외선 방사체의 온도를 온도교정을 위한 기준온도로 설정하도록 구성된 것을 특징으로 하는 열상 카메라 시스템. A thermal imaging camera system having an image processing device for processing a real image and a thermal image respectively photographed by a real image and a thermal image respectively photographed by the same photographing object, wherein the image processing device comprises:
A face recognition unit 21 configured to receive a real image photographed with a real camera and a thermal image photographed with a thermal camera to detect a face in each image;
A black recognition unit 26 for recognizing an infrared radiator in a thermal image; And
A first matching point is detected from the face detected in the real image, a second matching point is detected from the face detected in the thermal image, the position of the first matching point in the real image, and a second matching point in the thermal image Including; a distance measuring unit 24 for measuring the distance to the object to be photographed based on the location of the matching point and the distance between the real camera and the thermal camera,
The image processing apparatus registers and stores at least one of a shape, color, and pattern of a case of a temperature calibrator equipped with an infrared radiator emitting a preset predetermined temperature, and when receiving the real image and the thermal image, the registration It is configured to identify the temperature calibrator in the real image based on one of the shape, color and pattern, and then identify the infrared emitter in the thermal image, and set the temperature of the infrared emitter in the thermal image as a reference temperature for temperature calibration. Thermal camera system, characterized in that.
상기 거리측정부는 상기 실상 이미지와 상기 열상 이미지를 정합하여 촬영대상까지의 거리를 측정하는 것을 특징으로 하는 열상 카메라 시스템. The method of claim 1,
The distance measuring unit is a thermal camera system, characterized in that for measuring the distance to the photographing target by matching the real image and the thermal image.
열상 이미지로부터 상기 촬영대상의 온도를 산출하고 상기 측정된 촬영대상까지의 거리에 기초하여 상기 촬영대상의 온도를 보정하는 온도측정부(25)를 더 포함하는 것을 특징으로 하는 열상 카메라 시스템. The method of claim 3,
A thermal imaging camera system, characterized in that it further comprises a temperature measuring unit (25) for calculating the temperature of the photographing object from the thermal image and correcting the temperature of the photographing object based on the measured distance to the photographing object.
상기 온도측정부는, 상기 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 온도를 산출하는 것을 특징으로 하는 열상 카메라 시스템. The method of claim 5,
The temperature measuring unit calculates the temperature of the photographing object by adding a temperature of the photographing object calculated from the thermal image and a preset temperature correction value according to a distance to the photographing object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200116301A KR102251307B1 (en) | 2020-09-10 | 2020-09-10 | Thermal camera system with distance measuring function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200116301A KR102251307B1 (en) | 2020-09-10 | 2020-09-10 | Thermal camera system with distance measuring function |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102251307B1 true KR102251307B1 (en) | 2021-05-13 |
Family
ID=75913350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200116301A KR102251307B1 (en) | 2020-09-10 | 2020-09-10 | Thermal camera system with distance measuring function |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102251307B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230007684A (en) | 2021-07-06 | 2023-01-13 | 주식회사 트루윈 | Un-cooled thermal imaging camera including black body temperature reference source and calibration method thereof |
KR20230040118A (en) | 2021-09-15 | 2023-03-22 | 주식회사 트루윈 | Black body temperature reference source and un-cooled thermal imaging camera including the same |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002188914A (en) * | 2000-12-20 | 2002-07-05 | Mitsubishi Electric Corp | Infrared imaging device |
KR20110128574A (en) * | 2010-05-24 | 2011-11-30 | 주식회사 다음커뮤니케이션 | Method for recognizing human face and recognizing apparatus |
KR20120070320A (en) * | 2010-12-21 | 2012-06-29 | 엘지디스플레이 주식회사 | Display system including stereo camera and position detecting method using the same |
KR20130054767A (en) * | 2011-11-17 | 2013-05-27 | 주식회사 에스원 | Multiple biometrics apparatus and method thereof |
KR20190063671A (en) | 2017-11-30 | 2019-06-10 | (주)코어센스 | 3d thermal distribution display device using stereo camera and thermal camera |
KR20190125682A (en) * | 2018-04-30 | 2019-11-07 | 주식회사 허브테크 | Thermal image camera having multi-point temperature compensating function and temperature compensating method using the same |
JP6732902B2 (en) * | 2016-06-03 | 2020-07-29 | マクセル株式会社 | Imaging device and imaging system |
KR20200095918A (en) * | 2019-02-01 | 2020-08-11 | 엘지전자 주식회사 | Spatial information recognition device |
-
2020
- 2020-09-10 KR KR1020200116301A patent/KR102251307B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002188914A (en) * | 2000-12-20 | 2002-07-05 | Mitsubishi Electric Corp | Infrared imaging device |
KR20110128574A (en) * | 2010-05-24 | 2011-11-30 | 주식회사 다음커뮤니케이션 | Method for recognizing human face and recognizing apparatus |
KR20120070320A (en) * | 2010-12-21 | 2012-06-29 | 엘지디스플레이 주식회사 | Display system including stereo camera and position detecting method using the same |
KR20130054767A (en) * | 2011-11-17 | 2013-05-27 | 주식회사 에스원 | Multiple biometrics apparatus and method thereof |
JP6732902B2 (en) * | 2016-06-03 | 2020-07-29 | マクセル株式会社 | Imaging device and imaging system |
KR20190063671A (en) | 2017-11-30 | 2019-06-10 | (주)코어센스 | 3d thermal distribution display device using stereo camera and thermal camera |
KR20190125682A (en) * | 2018-04-30 | 2019-11-07 | 주식회사 허브테크 | Thermal image camera having multi-point temperature compensating function and temperature compensating method using the same |
KR20200095918A (en) * | 2019-02-01 | 2020-08-11 | 엘지전자 주식회사 | Spatial information recognition device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230007684A (en) | 2021-07-06 | 2023-01-13 | 주식회사 트루윈 | Un-cooled thermal imaging camera including black body temperature reference source and calibration method thereof |
KR20230040118A (en) | 2021-09-15 | 2023-03-22 | 주식회사 트루윈 | Black body temperature reference source and un-cooled thermal imaging camera including the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102333101B1 (en) | Electronic device for providing property information of external light source for interest object | |
US10133349B2 (en) | Display apparatus and method of controlling the same | |
US11068700B2 (en) | Polarization imaging for facial recognition enhancement system and method | |
KR102251307B1 (en) | Thermal camera system with distance measuring function | |
US20090021526A1 (en) | Determination method for white-point and correction method of the white balance | |
KR102207650B1 (en) | Method for temperature calibration in thermal camera system | |
US20150347844A1 (en) | Iris recognition apparatus and operating method thereof | |
CN111323125B (en) | Temperature measurement method and device, computer storage medium and electronic equipment | |
US20230079693A1 (en) | Elevated temperature screening systems and methods | |
US20230054197A1 (en) | Dual-band temperature detection systems and methods | |
JP2007510152A (en) | Infrared camera methods, uses and systems for determining the risk of condensation | |
WO2019174436A1 (en) | Control method, control device, depth camera and electronic device | |
KR102205605B1 (en) | Method for display temperature in thermal image | |
KR102487590B1 (en) | Method for measuring of object based on face-recognition | |
US20190028659A1 (en) | Image processing device | |
WO2020194529A1 (en) | Interest determination device, interest determination system, interest determination method, and non-transitory computer-readable medium having program stored therein | |
US20210192205A1 (en) | Binding of selfie face image to iris images for biometric identity enrollment | |
CN111200709B (en) | Method for setting light source of camera system, camera system and vehicle | |
TW201404120A (en) | Method and system for testing digital imaging devices | |
KR20100125983A (en) | Method and camera device for camera gain control and shutter speed control by measuring skin brightness | |
KR102580362B1 (en) | Method for body temperature by using temperature measuring apparatus with thermal camera | |
KR102593382B1 (en) | Method for measuring temperature of infrared radiator for thermal camera calibration | |
KR20220036418A (en) | Apparatus, method and computer program for correcting temperature of object | |
KR102581989B1 (en) | Method for auto-recognition of temperature calibrator in thermal camera system | |
KR20220087595A (en) | Method for calibrating temperature of thermal camera by image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |