KR101564760B1

KR101564760B1 - Image processing apparatus and method for predicting criminal incident

Info

Publication number: KR101564760B1
Application number: KR1020140012475A
Authority: KR
Inventors: 박강령; 신광용; 최종석
Original assignee: 동국대학교 산학협력단
Priority date: 2014-02-04
Filing date: 2014-02-04
Publication date: 2015-10-30
Also published as: KR20150091808A

Abstract

개시되는 실시예에 따르면, 적어도 하나의 가시광선 카메라 및 적어도 하나의 열 카메라를 포함하는 영상 생성부; 상기 영상 생성부와 연결된 프로세서; 및 상기 프로세서와 연결되고 컴퓨터 실행가능 명령어가 저장된 메모리를 포함하되, 상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 상기 적어도 하나의 가시광선 카메라로부터 원거리 장면의 제1 가시광선 영상 및 상기 원거리 장면보다 상기 영상 생성부로부터 가까운 근거리 장면의 제2 가시광선 영상을 획득하는 동작; 상기 적어도 하나의 열 카메라로부터 상기 원거리 장면의 제1 열 영상 및 상기 근거리 장면의 제2 열 영상을 획득하는 동작; 상기 제1 가시광선 영상 및 상기 제1 열 영상에 기반하여 상기 원거리 장면에 포함된 대상체의 행위를 추정하는 동작; 및 상기 제2 가시광선 영상 및 상기 제2 열 영상에 기반하여 상기 근거리 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 동작을 수행하게 하는, 영상 처리 장치가 제공된다.According to the disclosed embodiment, there is provided an image processing apparatus comprising: an image generating unit including at least one visible light camera and at least one thermal camera; A processor coupled to the image generator; And a memory coupled to the processor and having stored thereon computer executable instructions that, when executed by the processor, cause the processor to perform the steps of: receiving a first visible light ray of a far-view scene from the at least one visible light ray camera; Obtaining an image and a second visible light image of a near-field scene closer to the image generating unit than the far-field scene; Obtaining a first column image of the far-range scene and a second column image of the near-field scene from the at least one column camera; Estimating an action of an object included in the remote scene based on the first visible light image and the first column image; And detecting a temperature change of a face region included in the near scene based on the second visible ray image and the second column image.

Description

범죄 사건의 예측을 위한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR PREDICTING CRIMINAL INCIDENT}[0001] IMAGE PROCESSING APPARATUS AND METHOD FOR PREDICTING CRIMINAL INCIDENT [0002]

개시되는 실시예들은 영상 처리 기법에 관한 것으로서, 더욱 상세하게는 다양한 환경에서 획득될 수 있는 가시광선 영상 및 열 영상을 처리하는 장치 및 방법과 이를 이용하여 범죄 사건 내지 범죄 상황을 예측하는 것과 관련된다.The disclosed embodiments relate to image processing techniques, and more particularly to an apparatus and method for processing visible light and thermal images that can be obtained in various environments and using the method to predict a criminal case or a criminal situation .

최근 범죄 사건 내지 범죄 상황을 감시, 예측 또는 예방하기 위한 대상체 검출 및 추적 기술들이 공항, 기차역, 쇼핑몰 및 주차장과 같은 공공 시설이나 차량, 군사용 시설 및 기타 감시가 필요한 여러 시설들에 설치되는 장비에 적용되고 있다. 이러한 기술들은 영상에서 대상체를 검출하고 검출된 대상체의 특징을 기반으로 대상체를 추적하는 것을 가능하게 한다.Recent detection and tracking techniques for monitoring, predicting or preventing crime or crime are applied to equipment installed in public facilities such as airports, railway stations, shopping malls and parking lots, vehicles, military facilities and other facilities requiring surveillance . These techniques make it possible to detect an object in an image and track the object based on the detected feature of the object.

기존의 몇몇 대상체 검출 및 추적 기술들은 가시광선 카메라(visible camera)로부터 획득된 영상에 기반한다. 그러나, 가시광선 조명이 없거나 불균일한 환경(예컨대, 야간)에서 가시광선 카메라가 제공하는 영상만으로 대상체를 정확하게 검출하는 것은 실제적으로 곤란할 수 있다.Some existing object detection and tracking techniques are based on images obtained from a visible camera. However, it can be practically difficult to accurately detect a target object with only a video provided by a visible light camera in a non-visible or non-uniform environment (for example, at night).

이러한 문제점을 해결하기 위해 개발된 다른 몇몇 대상체 검출 및 추적 기술들은 다양한 환경(예컨대, 주간뿐만 아니라 야간과 같은 다양한 조명 조건 및/또는 맑은 날씨뿐만 아니라 안개, 비 또는 눈과 같은 다양한 날씨 조건)에서 균일하게 대상체의 영상을 제공하는 열 카메라(thermal camera)를 이용한다. 그러나, 열 카메라로부터 획득된 영상만으로 대상체를 정확하게 검출하는 것 역시 쉬운 일이 아니다. 예컨대, 바람이 강한 날씨에 열 카메라를 통해 대상체를 포함하는 장면(scene)이 촬영(imaging)되는 경우, 열 카메라는 대상체의 열을 제대로 감지할 수 없다. 다른 예로서, 기온이 상당히 높은 날에는 대상체 주위의 온도가 대상체의 열과 비슷한 수준까지 이를 수 있는바, 열 카메라에 의해 포착(capturing)된 영상에서 대상체를 검출하는 것이 어렵다. 더욱이, 열 카메라는 근거리 장면의 대상체의 특징 영역(예컨대, 얼굴, 눈, 코 및 입)을 정확하게 시각화하기 힘들다.Several other object detection and tracking techniques developed to address these problems have been developed to provide uniformity in various environments (e.g., various weather conditions such as nighttime as well as daytime, and / or clear weather as well as various weather conditions such as fog, rain or snow) A thermal camera is used to provide images of the object. However, it is also not easy to accurately detect an object with only the image obtained from a thermal camera. For example, when a scene including an object is imaged through a thermal camera in a windy weather, the thermal camera can not properly detect the heat of the object. As another example, it is difficult to detect an object in an image captured by a thermal camera, because the temperature around the object can reach a level similar to the temperature of the object on a very high temperature. Moreover, it is difficult for the thermal camera to accurately visualize the feature region (e.g., face, eye, nose and mouth) of the object of the near scene.

개시되는 실시예들은 상이한 조명 조건 및/또는 상이한 날씨 조건과 같은 다양한 환경에서 획득될 수 있는 가시광선 영상 및 열 영상을 기반으로 대상체의 행위를 추정하고 얼굴 영역의 온도 변화를 검출하기 위한 영상 처리 장치 및 방법을 제공한다.The disclosed embodiments provide an image processing device for estimating an action of an object based on a visible light image and a thermal image that can be obtained in various environments such as different illumination conditions and / or different weather conditions, And methods.

예시적인 실시예에 따르면, 적어도 하나의 가시광선 카메라 및 적어도 하나의 열 카메라를 포함하는 영상 생성부; 상기 영상 생성부와 연결된 프로세서; 및 상기 프로세서와 연결되고 컴퓨터 실행가능 명령어가 저장된 메모리를 포함하되, 상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 상기 적어도 하나의 가시광선 카메라로부터 원거리 장면의 제1 가시광선 영상 및 상기 원거리 장면보다 상기 영상 생성부로부터 가까운 근거리 장면의 제2 가시광선 영상을 획득하는 동작; 상기 적어도 하나의 열 카메라로부터 상기 원거리 장면의 제1 열 영상 및 상기 근거리 장면의 제2 열 영상을 획득하는 동작; 상기 제1 가시광선 영상 및 상기 제1 열 영상에 기반하여 상기 원거리 장면에 포함된 대상체의 행위를 추정하는 동작; 및 상기 제2 가시광선 영상 및 상기 제2 열 영상에 기반하여 상기 근거리 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 동작을 수행하게 하는, 영상 처리 장치가 제공된다.According to an exemplary embodiment, an image generating unit includes at least one visible light camera and at least one thermal camera; A processor coupled to the image generator; And a memory coupled to the processor and having stored thereon computer executable instructions that, when executed by the processor, cause the processor to perform the steps of: receiving a first visible light ray of a far-view scene from the at least one visible light ray camera; Obtaining an image and a second visible light image of a near-field scene closer to the image generating unit than the far-field scene; Obtaining a first column image of the far-range scene and a second column image of the near-field scene from the at least one column camera; Estimating an action of an object included in the remote scene based on the first visible light image and the first column image; And detecting a temperature change of a face region included in the near scene based on the second visible ray image and the second column image.

상기 제1 가시광선 영상을 포착하는 가시광선 카메라와 상기 제1 열 영상을 포착하는 열 카메라는 평행한 광축을 가지도록 배치될 수 있고, 상기 제2 가시광선 영상을 포착하는 가시광선 카메라와 상기 제2 열 영상을 포착하는 열 카메라는 평행한 광축을 가지도록 배치될 수 있다.Wherein the visible light camera capturing the first visible light image and the thermal camera capturing the first thermal image may be arranged to have parallel optical axes and the visible light camera capturing the second visible light image, The thermal camera capturing the two column images can be arranged to have parallel optical axes.

상기 추정하는 동작은, 상기 제1 가시광선 영상으로부터 획득되는 정보 및 상기 제1 열 영상으로부터 획득되는 정보를 결합함으로써 결합된 영상 정보를 생성하는 동작; 상기 결합된 영상 정보를 이용하여 상기 대상체 및 상기 대상체의 특징 부분을 인식하고 상기 대상체 및 상기 특징 부분을 추적하는 동작; 및 상기 추적의 결과에 기반하여 상기 대상체의 행위를 기 설정된 행위로 추정하는 동작을 포함할 수 있다.Wherein the estimating operation comprises: generating combined image information by combining information obtained from the first visible light image and information obtained from the first column image; Recognizing a feature portion of the object and the object using the combined image information, and tracking the object and the feature portion; And estimating an action of the object based on a result of the tracking as a predetermined action.

상기 검출하는 동작은, 상기 제2 가시광선 영상으로부터 상기 얼굴 영역의 특징 부분을 인식하는 동작; 상기 인식된 특징 부분을 상기 제2 열 영상에 매핑하는 동작; 상기 제2 열 영상에 매핑된 상기 얼굴 영역의 특징 부분을 재정의하는 동작; 및 상기 재정의된 특징 부분의 온도 변화를 검출하는 동작을 포함할 수 있다.Wherein the detecting comprises: recognizing a feature portion of the face region from the second visible light image; Mapping the recognized feature portion to the second column image; Redefining a feature portion of the face region mapped to the second column image; And detecting a temperature change in the redefined feature portion.

상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 추정의 결과 및 상기 검출의 결과를 범죄 상황 예측 장치에 전송하여 상기 범죄 상황 예측 장치가 상기 추정의 결과 및 상기 검출의 결과에 기반하여 범죄 상황이 발생할 것인지 예측하도록 하는 동작을 또한 수행하게 할 수 있다.The computer-executable instructions, when executed by the processor, cause the processor to send a result of the estimation and a result of the detection to a crime situation predicting device, such that the crime situation predicting device Based on the results of the analysis, to predict whether a crime situation will occur.

다른 예시적인 실시예에 따르면, 적어도 하나의 가시광선 카메라 및 적어도 하나의 열 카메라를 포함하는 영상 생성부와 연결된 프로세서에 의해 수행되는 영상 처리 방법으로서, 상기 적어도 하나의 가시광선 카메라로부터 원거리 장면의 제1 가시광선 영상 및 상기 원거리 장면보다 상기 영상 생성부로부터 가까운 근거리 장면의 제2 가시광선 영상을 획득하는 단계; 상기 적어도 하나의 열 카메라로부터 상기 원거리 장면의 제1 열 영상 및 상기 근거리 장면의 제2 열 영상을 획득하는 단계; 상기 제1 가시광선 영상 및 상기 제1 열 영상에 기반하여 상기 장면에 포함된 대상체의 행위를 추정하는 단계; 상기 제2 가시광선 영상 및 상기 제2 열 영상에 기반하여 상기 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 단계를 포함하는, 영상 처리 방법이 제공된다.According to another exemplary embodiment, there is provided an image processing method performed by a processor coupled to an image generator comprising at least one visible light camera and at least one thermal camera, wherein the at least one visible light camera Obtaining a first visible light image and a second visible light image of a near-point scene closer to the image generating unit than the remote scene; Obtaining a first column image of the far-range scene and a second column image of the near-field scene from the at least one column camera; Estimating an action of an object included in the scene based on the first visible light image and the first column image; Detecting a temperature change of a face region included in the scene based on the second visible light ray image and the second column image.

상기 제1 가시광선 영상이 획득된 가시광선 카메라와 상기 제1 열 영상이 획득된 열 카메라는 평행한 광축을 가지도록 배치되고, 상기 제2 가시광선 영상이 획득된 가시광선 카메라와 상기 제2 열 영상이 획득된 열 카메라는 평행한 광축을 가지도록 배치될 수 있다.Wherein the visible light camera in which the first visible light image is acquired and the thermal camera in which the first column image is acquired are arranged to have parallel optical axes, and the second visible light image is obtained by the obtained visible light camera and the second column The thermal camera from which the image is acquired can be arranged to have a parallel optical axis.

상기 추정하는 단계는, 상기 제1 가시광선 영상으로부터 획득되는 정보 및 상기 제1 열 영상으로부터 획득되는 정보를 결합함으로써 결합된 영상 정보를 생성하는 단계; 상기 결합된 영상 정보를 이용하여 상기 대상체 및 상기 대상체의 특징 부분을 인식하고 상기 대상체 및 상기 특징 부분을 추적하는 단계; 및 상기 추적의 결과에 기반하여 상기 대상체의 행위를 기 설정된 행위로 추정하는 단계를 포함할 수 있다.Wherein the estimating step comprises: generating combined image information by combining information obtained from the first visible light image and information obtained from the first column image; Recognizing a feature portion of the object and the object using the combined image information, and tracking the object and the feature portion; And estimating an action of the object based on a result of the tracking as a predetermined action.

상기 검출하는 단계는, 상기 제2 가시광선 영상으로부터 상기 얼굴 영역의 특징 부분을 인식하는 단계; 상기 인식된 특징 부분을 상기 제2 열 영상에 매핑하는 단계; 상기 제2 열 영상에 매핑된 상기 얼굴 영역의 특징 부분을 재정의하는 단계; 및 상기 재정의된 특징 부분의 온도 변화를 검출하는 단계를 포함할 수 있다.Wherein the detecting comprises: recognizing a feature portion of the face region from the second visible light image; Mapping the recognized feature portion to the second column image; Redefining a feature portion of the face region mapped to the second column image; And detecting a temperature change in the redefined feature portion.

상기 영상 처리 방법은, 상기 추정의 결과 및 상기 검출의 결과를 범죄 상황 예측 장치에 전송하여 상기 범죄 상황 예측 장치가 상기 추정의 결과 및 상기 검출의 결과에 기반하여 범죄 상황이 발생할 것인지 예측하도록 하는 단계를 더 포함할 수 있다.Wherein the image processing method includes transmitting the result of the estimation and the detection result to the crime situation predicting device so that the crime situation predicting device predicts whether a crime situation will occur based on a result of the estimation and a result of the detection As shown in FIG.

또 다른 예시적인 실시예에 따르면, 앞서 언급된 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체가 제공된다.According to yet another exemplary embodiment, there is provided a computer-readable storage medium having stored thereon a computer program for executing the above-mentioned method.

소정의 실시예들에 따르면, 다양한 환경에서 대상체 및 그 특징 부분이 강인하게 검출될 수 있다.According to certain embodiments, the object and its feature portions can be robustly detected in various environments.

소정의 실시예들에 따르면, 가시광선 영상 및 열 영상을 이용하여 대상체의 행위의 추정 및 얼굴 영역의 온도 변화의 검출이 더욱 정확하게 수행될 수 있다.According to certain embodiments, the estimation of the behavior of the object and the detection of the temperature change of the face region can be performed more accurately using the visible light image and the thermal image.

소정의 실시예들에 따르면, 범죄 사건 내지 범죄 상황의 효율적인 예측이 가능하다.According to certain embodiments, efficient prediction of a crime or crime situation is possible.

도 1은 예시적인 실시예에 따른 범죄 상황 예측 시스템을 도시한 도면,
도 2는 예시적인 실시예에 따른 가시광선 카메라 및 열 카메라의 배치를 도시한 도면,
도 3은 예시적인 실시예에 따라 동일한 시점에 포착된 열 영상 및 가시광선 영상을 도식적으로 나타낸 도면,
도 4는 예시적인 실시예에 따라 범죄 상황 예측 시스템을 이용하여 범죄 상황의 발생을 예측하는 과정을 도시한 순서도,
도 5는 예시적인 실시예에 따라 대상체 및 특징 부분을 검출하는 것을 예시한 도면,
도 6은 예시적은 실시예에 따라 얼굴 영역의 특징 부분을 검출하는 것을 예시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is a diagram illustrating a criminal situation predicting system according to an exemplary embodiment;
Figure 2 illustrates the arrangement of a visible light camera and a thermal camera in accordance with an exemplary embodiment;
3 is a diagrammatic illustration of a thermal image and a visible light image captured at the same point in time according to an exemplary embodiment,
FIG. 4 is a flowchart illustrating a process of predicting occurrence of a crime scene using a crime situation predicting system according to an exemplary embodiment;
5 is a diagram illustrating the detection of a subject and a feature portion in accordance with an exemplary embodiment;
FIG. 6 illustrates detecting a feature portion of a face region according to an exemplary embodiment; FIG.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. 또한, 본 설명에서, "전송"이라는 표현은 어떤 구성요소로부터 직접 다른 구성요소로 소정의 신호가 전송되는 것뿐만 아니라 특별히 다른 취지의 기재가 없는 이상 또 다른 구성요소를 거쳐 신호가 전송되는 것도 포함된다고 이해되어야 할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular forms of the expressions include plural forms of meanings. In this description, the expressions "comprising" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof. Further, in this description, the expression "transmission" includes not only that a predetermined signal is transmitted from one component directly to another, but also that a signal is transmitted through another component unless otherwise stated .

도 1은 예시적인 실시예에 따른 범죄 상황 예측 시스템을 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is a diagram illustrating a criminal situation prediction system in accordance with an exemplary embodiment.

도 1에 도시된 바와 같이, 범죄 상황 예측 시스템(100)은 영상 처리 장치(110) 및 범죄 상황 예측 장치(160)를 포함한다.As shown in FIG. 1, the crime state predicting system 100 includes an image processing apparatus 110 and a crime predicting apparatus 160.

예시적인 영상 처리 장치(110)는 영상 생성부(140), 프로세서(150) 및 메모리(160)를 포함한다. 영상 생성부(140)는 영상 처리 장치(110)에게 보여지는 장면을 촬영하여 가시광선 영상 및 열 영상을 포착하기 위해 적어도 하나의 가시광선 카메라(120) 및 적어도 하나의 열 카메라(130)를 포함한다. 프로세서(140)는 영상 생성부(140)와 연결된다. 프로세서(150)는 하나 이상의 중앙처리장치(Central Processing Unit: CPU)를 포함할 수 있다. 메모리(160)는 프로세서(150)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(150)와 연결될 수 있다. 메모리(160)에는 컴퓨터 실행가능 명령어가 저장될 수 있다. 프로세서(150)는 메모리(160)에 저장된 컴퓨터 실행가능 명령어를 실행하도록 구성될 수 있다. 이러한 컴퓨터 실행가능 명령어는 프로세서(150)에 의해 실행되는 경우 프로세서(150)로 하여금 본 명세서에 기술되는 소정의 실시예에 따른 동작들을 수행하게 할 수 있다.The exemplary image processing apparatus 110 includes an image generating unit 140, a processor 150, and a memory 160. The image generation unit 140 includes at least one visible light camera 120 and at least one thermal camera 130 for capturing a scene viewed by the image processing apparatus 110 and capturing a visible light image and a thermal image do. The processor 140 is connected to the image generating unit 140. The processor 150 may include one or more central processing units (CPUs). The memory 160 may be internal or external to the processor 150 and may be coupled to the processor 150 by various well known means. The memory 160 may store computer executable instructions. The processor 150 may be configured to execute computer executable instructions stored in the memory 160. Such computer-executable instructions, when executed by the processor 150, may cause the processor 150 to perform operations in accordance with certain embodiments described herein.

적어도 하나의 가시광선 카메라(120)는 피사체로부터의 가시광선을 감지함으로써 가시광선 영상을 포착하도록 구성된 카메라 모듈을 포함할 수 있고, 적어도 하나의 열 카메라(130)는 피사체로부터의 적외선을 감지하여 열 영상을 포착하도록 구성된 적외선 카메라 모듈을 포함할 수 있다. 이에 따라, 몇몇 실시예들에 따르면, 영상 생성부(140)는 하나의 장면을 촬영하여 제1 가시광선 영상 및 제1 열 영상을 포착할 수 있고 다른 장면을 촬영하여 제2 가시광선 영상 및 제2 열 영상을 포착할 수 있다. 제1 가시광선 영상 및 제2 가시광선 영상은 가시광선 카메라(120)로부터 프로세서(150)로 전송될 수 있다. 제1 열 영상 및 제2 열 영상은 열 카메라(130)로부터 프로세서(150)로 전송될 수 있다.The at least one visible light camera 120 may include a camera module configured to capture a visible light image by sensing visible light from the subject, and at least one thermal camera 130 may sense infrared light from the subject to generate heat And an infrared camera module configured to capture an image. Accordingly, according to some embodiments, the image generating unit 140 can capture one scene and capture the first visible image and the first image, capture another scene, Two column images can be captured. The first visible light image and the second visible light image may be transmitted from the visible light camera 120 to the processor 150. The first column image and the second column image may be transmitted from the thermal camera 130 to the processor 150.

가시광선 카메라(120)에 의해 포착된 가시광선 영상들에 묘사된 장면들은 상이할 수 있다. 예컨대, 제2 가시광선 영상이 나타내는 장면은 제1 가시광선 영상이 나타내는 장면보다 영상 생성부(140)로부터 가까울 수 있다. 몇몇 실시예들에서, 영상 처리 장치(110)는 주기적으로 또는 특정 이벤트의 발생 시점에 (예컨대, 줌 배율의 조정을 통해) 하나의 가시광선 카메라(120)의 초점 거리를 변경함으로써 그 가시광선 카메라(120)가 어떤 시구간 동안에는 원거리 장면을 촬영하여 제1 가시광선 영상을 포착하도록 하고 다른 시구간 동안에는 원거리 장면보다 영상 생성부(140)로부터 가까운 근거리 장면을 촬영하여 제2 가시광선 영상을 포착하도록 할 수 있다. 다른 실시예들에서, 영상 처리 장치(110)는 원거리 장면의 제1 가시광선 영상 및 원거리 장면보다 영상 생성부(140)로부터 가까운 근거리 장면의 제2 가시광선 영상을 각각 포착하도록 각자의 초점 거리가 조절된 두 개의 가시광선 카메라(120)를 포함할 수 있다. 다만, 영상 생성부(140)에 포함되는 가시광선 카메라(120)의 개수가 앞서 언급된 바에 제한되는 것은 아니다. 예컨대, 몇몇 가시광선 카메라들의 촬영을 통해 하나로 종합된 가시광선 영상(예컨대, 하나의 파노라마 영상)이 포착될 수 있다.The scenes depicted in the visible light images captured by the visible light camera 120 may be different. For example, the scene represented by the second visible light image may be closer to the image generating unit 140 than the scene represented by the first visible light image. In some embodiments, the image processing apparatus 110 may change the focal length of one visible light camera 120 periodically or at the time of the occurrence of a particular event (e.g., through adjustment of the zoom magnification) (120) captures a first visible ray image by capturing a long distance scene during a certain time period, and captures a second near-sight ray image from the image generating unit (140) rather than a remote scene during another time period to capture the second visible ray image can do. In other embodiments, the image processing apparatus 110 may be configured to capture the first visible light image of the far-away scene and the second visible light image of the nearby near scene from the image generating unit 140 rather than the far- And may include two visible light ray cameras 120. However, the number of visible light cameras 120 included in the image generating unit 140 is not limited to that described above. For example, a visible light image (e.g., one panorama image) integrated into one can be captured through the photographing of several visible light cameras.

열 카메라(130)에 의해 포착된 열 영상이 가시광선 카메라(120)에 의해 포착된 가시광선 영상에 대응하도록 가시광선 카메라(120) 및 열 카메라(130)가 구성될 수 있다. 예를 들어, 포착된 가시광선 영상의 전체 화소 수 중에서 대상체를 나타내는 화소 수의 비율이 포착된 열 영상과 동일하거나 상당히 근접하도록 가시광선 카메라(120) 및 열 카메라(130)의 상대적 위치가 조절되고/되거나 가시광선 카메라(120)의 초점 거리 및 열 카메라(130)의 초점 거리가 조절될 수 있다. 이에 따라, 제1 가시광선 영상 및 제1 열 영상에 동일한 장면이 묘사되는 방식으로 제1 가시광선 영상 및 제1 열 영상이 서로 대응할 수 있다. 마찬가지로, 제2 가시광선 영상 및 제2 열 영상에 동일한 장면이 묘사되는 방식으로 제2 가시광선 영상 및 제2 열 영상이 서로 대응할 수 있다. 환언하면, 열 카메라(130)에 의해 포착된 열 영상들에 묘사된 장면들 역시 상이할 수 있다. 예컨대, 제2 열 영상이 나타내는 장면은 제1 열 영상이 나타내는 장면보다 영상 생성부(140)로부터 가까울 수 있다. 몇몇 실시예들에서, 영상 처리 장치(110)는 원거리 장면의 제1 열 영상 및 원거리 장면보다 영상 생성부(140)로부터 가까운 근거리 장면의 제2 열 영상을 각각 포착하도록 각자의 초점 거리가 조절된 두 개의 열 카메라(130)를 포함할 수 있다. 다른 실시예들에 따르면, 영상 처리 장치(110)는 주기적으로 또는 특정 이벤트의 발생 시점에 하나의 열 카메라(130)의 초점 거리를 변경함으로써 서로 다른 시구간에서 원거리 장면의 제1 열 영상 및 근거리 장면의 제2 열 영상이 포착되도록 할 수 있다. 다만, 영상 처리 장치(110)에 포함되는 열 카메라(130)의 개수가 앞서 언급된 바에 제한되는 것은 아니다.The visible light camera 120 and the thermal camera 130 may be configured such that the thermal image captured by the thermal camera 130 corresponds to the visible light image captured by the visible light camera 120. [ For example, the relative positions of the visible ray camera 120 and the thermal camera 130 are adjusted so that the ratio of the number of pixels representing the object in the total number of pixels of the captured visible ray image is equal to or substantially similar to the captured thermal image / Or the focal distance of the visible light camera 120 and the focal distance of the thermal camera 130 may be adjusted. Accordingly, the first visible ray image and the first column image can correspond to each other in such a manner that the same scene is depicted in the first visible ray image and the first column image. Likewise, the second visible light image and the second column image may correspond to each other in such a manner that the same scene is depicted in the second visible light image and the second column image. In other words, the scenes depicted in the thermal images captured by the thermal camera 130 may also be different. For example, the scene represented by the second column image may be closer to the image generation unit 140 than the scene represented by the first column image. In some embodiments, the image processing apparatus 110 may be configured to capture the first column image of the far-distance scene and the second column image of the near-field scene closer to the image generation unit 140 than the far-field scene, respectively, And may include two thermal cameras 130. According to other embodiments, the image processing apparatus 110 may change the focal length of one thermal camera 130 periodically or at the time of occurrence of a specific event, thereby changing the first column image of the far- So that the second row image of the scene can be captured. However, the number of the thermal cameras 130 included in the image processing apparatus 110 is not limited to that described above.

도 2는 예시적인 실시예에 따른 가시광선 카메라 및 열 카메라의 배치를 도시한다.Figure 2 illustrates the arrangement of a visible light camera and a thermal camera in accordance with an exemplary embodiment.

도 1의 가시광선 카메라(120) 및 열 카메라(130)는 각각 도 2의 가시광선 카메라(210) 및 열 카메라(220)를 포함할 수 있다. 도 2에 도시된 바와 같이, 열 영상(예컨대, 제1 열 영상 및/또는 제2 열 영상)을 포착하는 열 카메라(220)의 광축(또는 종축)이 가시광선 영상(예컨대, 제1 가시광선 영상 및/또는 제2 가시광선 영상)을 포착하는 가시광선 카메라(210)의 광축과 평행하도록 가시광선 카메라(210) 및 열 카메라(220)가 배치될 수 있다. 다만, 도 2에 도시된 바와 같이 가시광선 카메라(210)와 열 카메라(220)가 평행한 광축을 가지도록 배치하는 것은 예시적인 것이고, 가시광선 카메라(210)와 열 카메라(220)가 다른 방식으로 배치되는 것이 본 명세서의 개시 사항에서 배제되는 것은 아니다. 예를 들어, 가시광선 카메라(210)의 광축과 열 카메라(220)의 광축이 일치되도록 가시광선 카메라(210)와 열 카메라(220)가 구성될 수 있다.The visible light camera 120 and the thermal camera 130 of FIG. 1 may include the visible light camera 210 and the thermal camera 220 of FIG. 2, respectively. 2, the optical axis (or the vertical axis) of the thermal camera 220 capturing the thermal image (e.g., the first thermal image and / or the second thermal image) is a visible light image (e.g., A visible light camera 210 and a thermal camera 220 may be disposed so as to be parallel to the optical axis of the visible light camera 210 that captures an image and / or a second visible light image. 2, the visible ray camera 210 and the thermal camera 220 are arranged so as to have parallel optical axes, and the visible ray camera 210 and the thermal camera 220 are arranged in different ways Is not excluded from the disclosure of the present specification. For example, the visible light camera 210 and the thermal camera 220 may be configured such that the optical axis of the visible light camera 210 and the optical axis of the thermal camera 220 are aligned.

도 2를 참조하면, 가시광선 카메라(210)에 의해 촬영된 장면에 포함된 배경 및 대상체가 그 가시광선 영상 내에서 갖는 위치는 열 카메라(220)에 의해 포착된 열 영상 내에서 그 배경 및 대상체가 갖는 위치와 일정한 거리만큼 서로 이격됨을 이해할 수 있다. 예컨대, 도 3은 동일한 시점에서 열 카메라(220) 및 가시광선 카메라(210)에 의해 각각 포착된 동일한 크기의 열 영상(310) 및 가시광선 영상(320)을 도식적으로 나타낸다. 이러한 열 영상(310) 및 가시광선 영상(320) 각각에 대하여, 각 영상의 중심에서 교차하는 가상의 가로 축 및 세로 축이 편의상 점선으로 도시되었다. 도 3에 도시된 바와 같이, 동일한 대상체가 열 영상(310)에서는 열 영상(310)의 중심으로부터 가로축을 따라 일정한 거리(예컨대, n개의 픽셀)만큼 떨어져서 배경에 비해 밝은 부분으로 나타나고 가시광선 영상(320)에서는 가시광선 영상(320)의 중심에 밝게 나타난다. 이와 같이 가시광선 카메라(210)의 광축과 열 카메라(220)의 광축이 평행한 경우, 그 거리만큼 열 영상(310)과 가시광선 영상(320) 중 어느 하나의 가로축을 이동시키는 계산을 통해 간단하게 열 영상(310)에서의 대상체의 위치와 가시광선 영상(320)에서의 대상체의 위치를 동일하게 만들 수 있고, 가시광선 카메라(210)의 광축과 열 카메라(220)의 광축을 일치시키기 위한 여러 작업들이 불필요하다.Referring to FIG. 2, the background included in the scene photographed by the visible light camera 210 and the location the object has within the visible light image is determined in the thermal image captured by the thermal camera 220, It can be understood that they are spaced apart from each other by a certain distance. For example, FIG. 3 schematically illustrates the same size thermal image 310 and visible light image 320 captured by thermal camera 220 and visible light camera 210, respectively, at the same time. For each of the thermal image 310 and the visible light image 320, imaginary horizontal and vertical axes intersecting at the center of each image are shown as dotted lines for convenience. As shown in FIG. 3, in the thermal image 310, the same object is separated from the center of the thermal image 310 by a predetermined distance (for example, n pixels) along the horizontal axis, 320 appear bright at the center of the visible light image 320. When the optical axis of the visible light camera 210 and the optical axis of the thermal camera 220 are parallel to each other, calculation is performed by moving the horizontal axis of one of the thermal image 310 and the visible light image 320 by the distance, The position of the object in the thermal image 310 and the position of the object in the visible ray image 320 can be made identical to each other so that the optical axis of the visible ray camera 210 and the optical axis of the thermal camera 220 coincide with each other. Several tasks are unnecessary.

다시 도 1을 참조하여, 예시적인 실시예들에 따라 영상 처리 장치(110)가 가시광선 영상(예컨대, 제1 가시광선 영상 및/또는 제2 가시광선 영상) 및 열 영상(예컨대, 제1 열 영상 및/또는 제2 열 영상)을 처리하는 것을 이하에서 설명한다. 영상 처리 장치(110)는 가시광선 영상 및 열 영상을 포착하기 위하여 영상 처리 장치(110) 내에 적절히 배치된 적어도 하나의 가시광선 카메라(120)와 적어도 하나의 열 카메라(130)을 이용할 수 있다. 예를 들어, 영상 처리 장치(110)는 가시광선 카메라(120)로부터 원거리 장면의 가시광선 영상(예컨대, 제1 가시광선 영상) 및 근거리 장면의 가시광선 영상(예컨대, 제2 가시광선 영상)을 획득하는 동작 및 열 카메라(120)로부터 원거리 장면의 열 영상(예컨대, 제1 열 영상) 및 근거리 장면의 열 영상(예컨대, 제2 열 영상)을 획득하는 동작을 수행할 수 있다. 또한, 영상 처리 장치(110)는 원거리 장면의 가시광선 영상(예컨대, 제1 가시광선 영상) 및 열 영상(예컨대, 제1 열 영상)에 기반하여 원거리 장면에 포함된 대상체의 행위를 추정하는 동작 및 근거리 장면의 가시광선 영상(예컨대, 제2 가시광선 영상) 및 열 영상(예컨대, 제2 열 영상)에 기반하여 근거리 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 동작을 수행할 수 있다. 몇몇 실시예들에 따르면, 프로세서(150)가 메모리(160)에 저장된 컴퓨터 실행가능 명령어를 실행하는 경우 그 컴퓨터 실행가능 명령어는 프로세서(150)로 하여금 전술한 동작들을 수행하게 할 수 있다. 이러한 동작들은 가시광선 카메라(120) 및 열 카메라(130)에 의해 포착된 영상들의 특성을 감안한 것임에 주목할 수 있다. 구체적으로, 원거리 장면의 가시광선 영상 및 열 영상에서는 대상체의 전체 또는 대부분이 작게 촬상되고, 근거리 장면의 가시광선 영상 및 열 영상에서는 대상체의 일부분만이 크게 촬상되는 것이 통상적이다. 따라서, 근거리 장면의 영상들로부터는 그 장면에 포함된 대상체의 얼굴 영역의 특징 부분(예컨대, 눈, 코 및/또는 입)을 인식하는 것이 상대적으로 용이할 수 있고, 원거리 장면의 영상들로부터는 그 장면에 포함된 대상체의 얼굴, 몸통, 손 및/또는 발과 같은 특징 부분을 인식하는 것이 상대적으로 용이할 수 있다.Referring again to FIG. 1, in accordance with exemplary embodiments, the image processing apparatus 110 may include a processor (not shown) for generating a visible light image (e.g., a first visible light image and / or a second visible light image) Image and / or second column image) is described below. The image processing apparatus 110 may utilize at least one visible light camera 120 and at least one thermal camera 130 suitably disposed within the image processing apparatus 110 to capture visible light and thermal images. For example, the image processing apparatus 110 may output a visible light image (e.g., a first visible light image) of a far-away scene and a visible light image (e.g., a second visible light image) of a near-field scene from a visible light camera 120 And acquire a thermal image (e.g., a first thermal image) of a far-distance scene and a thermal image (e.g., a second thermal image) of a near-infrared scene from the thermal camera 120. [ The image processing apparatus 110 also includes an operation of estimating an action of an object included in a remote scene based on a visible light image (e.g., a first visible light image) and a thermal image (e.g., a first column image) And a temperature change of the face region included in the near scene based on the visible light image (e.g., the second visible light image) and the thermal image (e.g., the second column image) of the near scene. According to some embodiments, when the processor 150 executes computer-executable instructions stored in the memory 160, the computer-executable instructions may cause the processor 150 to perform the operations described above. It can be noted that these operations are taking into account the characteristics of the images captured by the visible light camera 120 and the thermal camera 130. Specifically, in the visible light image and the thermal image of the far-distance scene, all or most of the object is picked up small, and in the visible light image and the thermal image of the close-range scene, only a part of the object is usually picked up largely. Therefore, from the images of the near scene, it may be relatively easy to recognize the feature parts (e.g., eyes, nose, and / or mouth) of the face area of the object included in the scene, It may be relatively easy to recognize feature portions such as the face, torso, hand, and / or feet of the object included in the scene.

앞서 언급된 바와 같이, 대상체의 행위를 추정하기 위해 원거리 장면의 가시광선 영상 및 원거리 장면의 열 영상이 이용될 수 있다. 가시광선 영상은 물론 열 영상을 함께 이용함으로써 상이한 조명 조건 및/또는 상이한 날씨 조건과 같은 다양한 환경에서 대상체의 행위가 더욱 정확하게 추정될 수 있다. 예를 들어, 이러한 추정을 위해 원거리 장면의 가시광선 영상 및 열 영상에 포함된 정보를 결합하는 것이 수반될 수 있다. 구체적으로, 원거리 장면의 가시광선 영상으로부터 획득되는 정보 및 원거리 장면의 열 영상으로부터 획득되는 정보가 결합될 수 있고, 이로써 결합된 영상 정보가 생성된다. 결합된 영상 정보에 기반하여 대상체가 인식되고 대상체의 특징 부분(예컨대, 얼굴, 목, 몸통, 몸, 손 및/또는 발)이 인식될 수 있다. 나아가, 인식된 대상체 및 특징 부분의 위치가 추적될 수 있다. 이러한 추적의 결과에 따라 (예컨대, 미리 설정된 후보 행위들 중에서 하나를 선택함으로써) 대상체의 행위가 추정될 수 있다.As mentioned above, the visible light image of the remote scene and the thermal image of the remote scene can be used to estimate the behavior of the object. By using thermal images as well as visible light images, the behavior of an object can be more accurately estimated in various environments, such as different lighting conditions and / or different weather conditions. For example, it may be accompanied by combining the visible light image of the far-view scene and the information contained in the thermal image for this estimation. Specifically, the information obtained from the visible light image of the far-distance scene and the information obtained from the thermal image of the far-field scene can be combined, and thus the combined image information is generated. Based on the combined image information, the object may be recognized and the feature portion (e.g., face, neck, torso, body, hands and / or feet) of the object may be recognized. Furthermore, the position of the recognized object and feature portion can be tracked. The behavior of the object can be estimated according to the result of this tracking (e.g., by selecting one of the preset candidate actions).

또한, 얼굴 영역의 온도 변화를 검출하기 위해 근거리 장면의 가시광선 영상 및 근거리 장면의 열 영상이 이용될 수 있다. 이에 따라, 단순히 열 영상에서 온도 변화를 검출하는 것보다 향상된 수준의 정확도로 얼굴 영역의 온도 변화가 검출될 수 있다. 예를 들어, 이러한 검출을 위해 근거리 장면의 가시광선 영상에서 얼굴 영역을 인식하고 이에 따라 근거리 장면의 열 영상에서 얼굴 영역을 인식하는 것이 수반될 수 있다. 구체적으로, 근거리 장면의 가시광선 영상으로부터 얼굴 영역의 특징 부분(예컨대, 눈, 코, 눈썹, 이마, 귀 목 및/또는 입)이 인식될 수 있다. 인식된 특징 부분은 근거리 장면의 열 영상에 매핑될 수 있다. 더욱 높은 정확도를 위해, 근거리 장면의 열 영상에 매핑된 특징 부분이 재정의될 수 있고, 이어서 그 특징 부분의 온도 변화가 검출될 수 있다.In addition, a visible ray image of a near scene and a thermal image of a near scene can be used to detect the temperature change of the face region. Thus, a temperature change in the face region can be detected with an improved level of accuracy than simply detecting the temperature change in the thermal image. For example, in order to detect such a situation, it may be recognized that the face region is recognized in the visible ray image of the near scene and accordingly, the face region is recognized in the thermal image of the near scene. Specifically, feature portions (e.g., eyes, nose, eyebrows, forehead, earlobe, and / or mouth) of the face region can be recognized from the visible ray image of the near scene. The recognized feature portion may be mapped to the thermal image of the near scene. For higher accuracy, the feature portion mapped to the thermal image of the near scene may be redefined, and then the temperature change of the feature portion may be detected.

메모리(160)에는 앞서 언급된 컴퓨터 실행가능 명령어 외에도, 가시광선 카메라(120) 및 열 카메라(130)에 의해 포착된 영상들뿐만 아니라 위와 같이 추정된 행위 및 검출된 온도 변화를 나타내는 데이터가 저장될 수 있다.In addition to the above-mentioned computer-executable instructions, the memory 160 stores not only the images captured by the visible light camera 120 and the thermal camera 130, but also the data indicating the above-mentioned estimated behavior and the detected temperature change .

대상체의 행위 추정의 결과 및 얼굴 영역의 온도 변화 검출의 결과는 영상 처리 장치(110)로부터 범죄 상황 예측 장치(170)로 전송된다. 범죄 상황 예측 장치(170)는 행위 추정의 결과 및/또는 온도 변화 검출의 결과에 기반하여 범죄 상황이 발생할 것인지 예측하도록 구성된다. 예를 들어, 범죄 상황 예측 장치(170)는 추정된 행위가 잠재적 범죄 행위를 나타내는지 판정할 수 있다. 다른 예로서, 범죄 상황 예측 장치(170)는 검출된 온도 변화가 범죄 행위와 연관되거나 그 징조로 볼 수 있는 심리 상태(불안, 초조, 공포심 등)를 나타내는지 판정할 수 있다. 범죄 상황 예측 장치(170)는 범죄 상황의 발생이 예측된다고 판정하는 경우 경찰서나 감시/관제 센터의 관련 시스템에 이를 통지할 수 있다.The result of the behavior estimation of the object and the result of the temperature change detection of the face region are transmitted from the image processing apparatus 110 to the crime state predicting apparatus 170. The crime situation predicting device 170 is configured to predict whether a crime situation will occur based on a result of the behavior estimation and / or a result of the temperature change detection. For example, the criminal situation prediction device 170 may determine whether the estimated behavior represents a potential criminal activity. As another example, the criminal situation prediction device 170 may determine whether the detected temperature change represents a psychological state (anxiety, agitation, fear, etc.) that is associated with or indicative of a criminal act. The criminal situation predicting device 170 may notify the related system of the police station or the surveillance / control center when it judges that the occurrence of the crime situation is predicted.

몇몇 실시예들에서, 도 1에 도시된 바와 같이, 범죄 상황 예측 장치(170)는 영상 처리 장치(110)의 외부에 (예컨대, 도 1에 도시되지 않은 서버 장치에 포함되어) 배치되고 영상 처리 장치(110)와 통신 가능하게 연결될 수 있다. 다른 실시예들에 따르면, 범죄 상황 예측 장치(170)는 영상 처리 장치(110) 내에 포함될 수 있거나, 범죄 상황 예측 장치(170)의 동작들이 영상 처리 장치(110)의 프로세서(150)에 의해 수행되는 방식으로 영상 처리 장치(110) 내에 구현될 수 있다.In some embodiments, as shown in FIG. 1, the criminal situation predicting device 170 is disposed outside the image processing device 110 (e.g., included in a server device not shown in FIG. 1) May be communicatively coupled to the device 110. According to other embodiments, the criminal situation predicting device 170 may be included in the image processing device 110, or the actions of the criminal situation predicting device 170 may be performed by the processor 150 of the image processing device 110 Or may be implemented in the image processing apparatus 110 in such a manner as to be described later.

도 4는 예시적인 실시예에 따라 범죄 상황 예측 시스템을 이용하여 범죄 상황의 발생을 예측하는 과정을 도시한 순서도이다. 몇몇 실시예들에서, 예시적인 과정(400)의 각 단계는 범죄 상황 예측 시스템(100)의 영상 처리 장치(110)(특히, 영상 처리 장치(110)에 포함된 프로세서(150)) 또는 범죄 상황 예측 장치(170)에 의해 수행될 수 있다. 도 4에 도시된 순서도에서는 과정(400)을 복수 개의 단계로 나누어 기재하였는데, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 병렬적으로 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행될 수 있고, 도 4에 도시되지 않은 하나 이상의 단계가 과정(400)에 부가될 수 있다.4 is a flowchart illustrating a process of predicting the occurrence of a crime using a crime situation predicting system according to an exemplary embodiment. In some embodiments, each step of the exemplary process 400 is performed by the image processing apparatus 110 (particularly the processor 150 included in the image processing apparatus 110) of the criminal situation predicting system 100, Can be performed by the prediction device 170. Fig. In the flowchart shown in FIG. 4, the process 400 is described by dividing into a plurality of steps, at least some of the steps being performed in sequence, performed in parallel, combined with other steps, performed together, Steps, and one or more steps not shown in Fig. 4 may be added to the process 400. Fig.

단계 405에서, 영상 처리 장치(110)는 적어도 하나의 가시광선 카메라(120)로부터 제1 가시광선 영상 및 제2 가시광선 영상을 획득하고 적어도 하나의 열 카메라(130)로부터 제1 가시광선 영상에 대응하는 제1 열 영상 및 제2 가시광선 영상에 대응하는 제2 열 영상을 획득한다. 제1 가시광선 영상 및 제1 열 영상은 원거리 장면을 나타낼 수 있고, 제2 가시광선 영상 및 제2 열 영상은 근거리 장면을 나타낼 수 있다.In step 405, the image processing apparatus 110 acquires the first visible light image and the second visible light image from the at least one visible light camera 120 and converts the first visible light image and the second visible light image from the at least one column camera 130 to the first visible light image And obtains the second column image corresponding to the corresponding first column image and the second visible ray image. The first visible light image and the first column image may represent a long distance scene, the second visible light image and the second column image may represent a near scene.

단계 410에서, 영상 처리 장치(110)는 획득된 영상들 중 원거리 장면을 나타내는 영상(이하, 원거리 영상이라고도 지칭됨)과 근거리 장면을 나타내는 영상(이하, 근거리 영상이라고도 지칭됨)을 식별한다.In step 410, the image processing apparatus 110 identifies an image representing a remote scene (hereinafter also referred to as a remote image) and an image representing a near scene (hereinafter also referred to as a near image) among the obtained images.

몇몇 실시예들에서, 이러한 식별은 가시광선 카메라(120)의 열 카메라(130)의 설정 및 배치에 기반할 수 있다. 예를 들어, 영상 처리 장치(110)가 원거리 장면의 가시광선 영상(예컨대, 제1 가시광선 영상)과 근거리 장면의 가시광선 영상(예컨대, 제2 가시광선 영상)을 각각 포착하는 두 개의 가시광선 카메라(120) 및 원거리 장면의 열 영상(예컨대, 제1 열 영상)과 근거리 장면의 열 영상(예컨대, 제2 열 영상)을 각각 포착하는 두 개의 열 카메라(130)를 포함하도록 구성된 경우, 영상 처리 장치(110)는 획득된 영상이 두 개의 가시광선 카메라(120) 및 두 개의 열 카메라(130) 중 어느 카메라에서 포착되었는지에 따라 그 영상이 원거리 장면을 나타내는지 근거리 장면을 나타내는지 식별할 수 있다. 다른 예로서, 영상 처리 장치(110)가 주기적으로 원거리 장면의 가시광선 영상(예컨대, 제1 가시광선 영상)과 근거리 장면의 가시광선 영상(예컨대, 제2 가시광선 영상)을 포착하는 하나의 가시광선 카메라(120) 및 원거리 장면의 열 영상(예컨대, 제1 열 영상)과 근거리 장면의 열 영상(예컨대, 제2 열 영상)을 각각 포착하는 두 개의 열 카메라(130)를 포함하도록 구성된 경우, 영상 처리 장치(110)는 획득된 영상이 하나의 가시광선 카메라(120) 및 두 개의 열 카메라(130) 중 어느 카메라에서 포착되었는지, 또한 만일 그 영상이 하나의 가시광선 카메라(120)에서 포착되었다면 어느 시구간 내에서 포착되었는지에 따라 그 영상이 원거리 장면을 나타내는지 근거리 장면을 나타내는지 식별할 수 있다. In some embodiments, this identification may be based on the configuration and placement of the thermal camera 130 of the visible light camera 120. For example, when the image processing apparatus 110 receives two visible rays (for example, a first visible ray image) and a visible ray image (for example, a second visible ray image) When the camera 120 is configured to include two thermal cameras 130 that respectively capture a thermal image (e.g., a first thermal image) of a remote scene and a thermal image (e.g., a second thermal image) of a near- The processing unit 110 can identify whether the image represents a far or near scene according to which of the two visible ray cameras 120 and the two thermal cameras 130 was captured have. As another example, when the image processing apparatus 110 periodically detects a visible light image (e.g., a first visible light image) of a far-away scene and a visible light image (e.g., a second visible light image) In the case where the camera 120 is configured to include two thermal cameras 130 that respectively capture a thermal image (e.g., a first thermal image) of a remote scene and a thermal image (e.g., a second thermal image) of a near- The image processing apparatus 110 determines whether the acquired image is captured in one of the visible light camera 120 and the two thermal cameras 130 and if the image is captured in one visible light camera 120 It is possible to identify whether the image represents a remote scene or a near scene according to whether the image is captured within a certain time frame.

몇몇 다른 실시예들에서, 획득된 영상들 중 원거리 영상과 근거리 영상을 식별하는 것은 그 영상들이 나타내는 특징에 기반하여 수행될 수 있다. 예컨대, 통상적으로 열 카메라에 의해 촬영된 대상체는 배경에 비해 밝으므로, 소정의 열 영상의 전체 화소 중 밝은 화소(예컨대, 미리 설정된 값 이상의 밝기를 갖는 화소)의 개수를 구함으로써 그 열 영상이 원거리 장면을 나타내는지 또는 근거리 장면을 나타내는지 식별할 수 있다. 이러한 식별을 위해, 고정된 임계치를 기반으로 영상의 이진화가 수행되거나, 영상의 평균과 표준편차를 기반으로 영상에 대하여 적응적 전역 이진화 및 적응적 지역 이진화가 적용될 수 있다.In some other embodiments, identifying the far and near images of the acquired images may be performed based on the features represented by the images. For example, since a subject photographed by a thermal camera is generally brighter than a background, the number of bright pixels (for example, pixels having a brightness higher than a preset value) among all the pixels of a predetermined thermal image is obtained, Whether it represents a scene or a near scene. For this identification, image binarization may be performed based on a fixed threshold, or adaptive global binarization and adaptive local binarization may be applied to the image based on the mean and standard deviation of the image.

단계 415에서, 영상 처리 장치(110)는 처리될 가시광선 영상 및 그에 대응하는 열 영상이 원거리 영상인지 또는 근거리 영상인지에 따라 단계 420 또는 단계 445로 분기한다. 아래에서 기술되는 바와 같이, 이러한 분기에 따라, 원거리 장면의 가시광선 영상 및 열 영상으로부터는 대상체 및 그 대상체의 얼굴, 몸통, 손 및 발과 같은 특징 부분이 인식될 수 있고 그 대상체의 행위가 추정될 수 있으며, 근거리 장면의 가시광선 영상 및 열 영상으로부터는 대상체의 얼굴 영역에서 눈, 코 및 입과 같은 특징 부분이 인식될 수 있고 그 얼굴 영역의 온도 변화가 검출될 수 있다. 예컨대, 도 5를 참조하면, 정지 영상(510)은 원거리 장면의 가시광선 영상에서 대상체 및 특징 부분을 검출하는 것을 예시하고 정지 영상(520)은 원거리 장면의 열 영상에서 대상체 및 특징 부분을 검출하는 것을 예시함을 알 수 있다. 또한, 도 6을 참조하면, 정지 영상(610)은 얼굴 영역이 대부분을 차지하는 근거리 장면의 가시광선 영상을 예시하고, 정지 영상(620)은 그 가시광선 영상(610)에서 검출된 얼굴 특징 부분을 나타내며, 정지 영상(630)은 가시광선 영상에서 검출된 얼굴 특징 부분을 근거리 장면의 열 영상에 매핑하고 재정의하는 것을 예시함을 알 수 있다.In step 415, the image processing apparatus 110 branches to step 420 or step 445 depending on whether the visible light image to be processed and the corresponding thermal image are a long-distance image or a short-distance image. As described below, according to this branching, from the visible ray image and the thermal image of the far-away scene, characteristic parts such as the face and the body, the torso, the hands and the feet of the object can be recognized, Characteristic parts such as eyes, nose and mouth can be recognized from the face region of the object from the visible ray image and the thermal image of the close-range scene, and the temperature change of the face region can be detected. For example, referring to FIG. 5, a still image 510 illustrates detecting a target object and a feature portion in a visible light image of a far-distance scene, and a still image 520 detects a target object and a feature portion in a thermal image of a far- As shown in FIG. 6, the still image 610 illustrates a visible ray image of a close-range scene occupying most of the face region, and the still image 620 illustrates a face feature portion detected from the visible ray image 610 And the still image 630 illustrates that the facial feature detected in the visible ray image is mapped and redefined to the thermal image of the near scene.

과정(400)이 단계 415에서 단계 420으로 진행되는 경우, 원거리 장면의 가시광선 영상 및 열 영상이 처리된다. 단계 420에서, 더욱 정확한 대상체 검출을 위해, 영상 처리 장치(110)는 원거리 장면의 가시광선 영상으로 획득되는 정보 및 원거리 장면의 열 영상으로부터 획득되는 정보를 결합하여 결합된 영상 정보를 생성한다. 예컨대, 이러한 결합된 영상 정보의 생성은 원거리 장면의 가시광선 영상 및 열 영상에 대하여 영상 융합 기법을 적용하는 것을 수반할 수 있다. 예를 들어, 픽셀 수준 융합(pixel-level fusion), 특징 수준 융합(feature-level fusion), 판정 수준 융합(decision-level fusion), 스코어 수준 융합(score-level fusion) 또는 다른 적절한 영상 융합이 적용될 수 있다.When the process 400 proceeds from step 415 to step 420, the visible ray image and the thermal image of the far-distance scene are processed. In step 420, for more accurate object detection, the image processing apparatus 110 combines the information obtained from the visible image of the far-distance scene and the information obtained from the thermal image of the far-field scene to generate combined image information. For example, the generation of such combined image information may involve applying an image fusion technique to a visible light image and a column image of a far-field scene. For example, pixel-level fusion, feature-level fusion, decision-level fusion, score-level fusion, or other appropriate image fusion .

단계 425에서, 영상 처리 장치(110)는 결합된 영상 정보를 이용하여 대상체를 검출한다. 예를 들어, 이러한 대상체 검출을 위해 GEI(Gait Energy Image), log-polar histogram 및/또는 contour saliency map이 사용되거나 Adaboost(adaptive boost) 알고리즘과 같은 학습 기반 알고리즘이 사용될 수 있다.In step 425, the image processing apparatus 110 detects the object using the combined image information. For example, GAI (Gait Energy Image), log-polar histogram and / or contour saliency map may be used for such object detection, or a learning-based algorithm such as an Adaboost (adaptive boost) algorithm may be used.

단계 430에서, 영상 처리 장치(110)는 검출된 대상체의 특징 부분(예컨대, 얼굴, 목, 몸, 손 및/또는 발)을 검출한다. 예컨대, 이러한 특징 추출을 위해 영상 이진화, 경계 추적, 라벨링 및/또는 모폴로지가 이용될 수 있다.In step 430, the image processing apparatus 110 detects a feature portion (e.g., a face, a neck, a body, a hand, and / or a foot) of the detected object. For example, image binarization, boundary tracking, labeling and / or morphology may be used for such feature extraction.

단계 435에서, 영상 처리 장치(110)는 추출된 대상체 및 특징 부분을 추적한다. 예를 들어, 이러한 추적은 대상체의 등속도 운동 또는 등가속도 운동과 같은 모델을 기반으로 연속적인 영상에서 대상체의 위치를 산출하는 것 및/또는 대상체의 행위를 나타내는 특징 부분(예컨대, 얼굴, 목, 몸, 손, 팔 및/또는 발)의 위치를 산출하는 것을 포함할 수 있다.In step 435, the image processing apparatus 110 tracks the extracted object and the feature portion. For example, such tracking may be performed by calculating the position of a target object on a continuous image based on a model such as a constant velocity motion or an equivalent velocity motion of the target object and / or calculating a feature portion (e.g., face, Body, hand, arm, and / or foot).

단계 440에서, 영상 처리 장치(110)는 위와 같은 추적의 결과에 기반하여 대상체의 행위가 어떤 행위인지 추정한다. 이러한 행위의 추정은 기 설정된 후보 행위들(예컨대, 멱살을 잡는 행위와 발로 차는 행위와 같이 범죄 현장에서 자주 나타나는 패턴의 행위들) 중에서 어떤 행위를 선택하는 것을 포함할 수 있다. 이러한 행위 추정을 위해 LDA(Linear Discriminant Analysis), SVM(Support　Vector　Machine) 및 MLP(Multi-Layer Perceptron)과 같은 분류 기법이 이용될 수 있다.In step 440, the image processing apparatus 110 estimates an action of the object based on the result of the tracking as described above. Estimation of this behavior may include choosing an action from among predetermined candidate actions (e.g., patterns of behavior often seen in crime scenes, such as the act of grabbing the neck and kicking). Classification techniques such as Linear Discriminant Analysis (LDA), Support Vector Machine (SVM), and Multi-Layer Perceptron (MLP) can be used to estimate this behavior.

과정(400)이 단계 415에서 단계 445로 진행되는 경우, 근거리 장면의 가시광선 영상 및 열 영상이 처리된다. 단계 445에서, 영상 처리 장치(110)는 근거리 장면의 가시광선 영상으로부터 대상체의 얼굴 영역 및 그 얼굴 영역의 특징 부분(예컨대, 눈, 코, 눈썹, 이마, 귀, 목 및/또는 입)을 검출한다. 예를 들어, 정확한 검출을 위해, Adaboost 알고리즘, SURF(Speeded Up Robust Features) 알고리즘, Camshift(continuously adaptive mean shift) 알고리즘, SIFT(Scale-Invariant Feature Transform) 알고리즘, 적응적 템플릿 정합(adaptive template matching) 알고리즘 또는 RED(Rapid Eye Detection) 알고리즘이 근거리 장면의 가시광선 영상에 적용될 수 있다.When the process 400 proceeds from step 415 to step 445, the visible ray image and the thermal image of the near scene are processed. In step 445, the image processing apparatus 110 detects a face region of the object and a feature portion (e.g., eye, nose, eyebrow, forehead, ear, neck and / or mouth) of the face region from the visible light image of the near- do. For example, for accurate detection, the Adaboost algorithm, the Speeded Up Robust Features algorithm, the Camshift (continuously adaptive mean shift) algorithm, the Scale-Invariant Feature Transform (SIFT) algorithm, the adaptive template matching algorithm Or RED (Rapid Eye Detection) algorithm can be applied to the visible light image of the near scene.

단계 450에서, 영상 처리 장치(110)는 근거리 장면의 가시광선 영상으로부터 인식된 얼굴 영역 및 특징 부분을 근거리 장면의 열 영상에 매핑한다. 원래의 근거리 장면의 열 영상 자체로부터 대상체의 얼굴 영역과 그 특징 부분을 정확하게 검출하는 것은 어려운 반면, 이와 같은 매핑을 통해 얼굴 영역과 그 특징 부분이 근거리 장면의 열 영상 내에도 더 높은 정확도로 설정될 수 있다. 예를 들어, 가시광선 영상 내 얼굴 영역 및 특징 부분은 기하학적 변환(geometric transform)을 통해 열 영상에 매핑될 수 있고, 이러한 기하학적 변환은 캘리브레이션(calibration) 작업을 수반할 수 있다.In operation 450, the image processing apparatus 110 maps the face region and feature portion recognized from the visible ray image of the near scene to the thermal image of the near scene. It is difficult to accurately detect the face region and the feature portion of the object from the thermal image of the original close-range scene. On the other hand, through such mapping, the face region and the feature portion thereof are set to a higher accuracy even in the thermal image of the near- . For example, face regions and feature portions in a visible light image can be mapped to a thermal image through a geometric transform, which geometry transformation can involve a calibration operation.

단계 455에서, 영상 처리 장치(110)는 얼굴 영역 및 그 특징 부분이 매핑된 근거리 장면의 열 영상에서 그 특징 부분을 재정의한다. 예를 들어, 근거리 장면의 열 영상의 화소들의 밝기 분포를 이용하여 얼굴 영역의 특징 부분이 더욱 정확하게 지정될 수 있다. 이와 같이 가시광선 영상과 더불어 열 영상에서 얼굴 영역과 그 특징 영역이 검출할 수 있는바, 가시광선 영상을 이용한 얼굴 인식 및 열 영상을 이용한 얼굴 인식뿐만 아니라 가시광선 영상 및 열 영상을 이용한 얼굴 인식이 수행될 수 있다. 따라서, 소정의 실시예들에 따르면, 범죄가 발생된 경우 더욱 정확한 얼굴 인식을 통해 그 범죄의 피의자 및 피해자의 신원 정보를 확보하고 범죄에 신속하게 대처하는 것이 가능하다.In step 455, the image processing apparatus 110 redefines the feature region in the face region and the thermal image of the near-field scene to which the feature region is mapped. For example, the feature portion of the face region can be more accurately specified using the brightness distribution of the pixels of the thermal image of the near scene. In addition to the visible light image, the facial region and its feature region can be detected in the thermal image, and the face recognition using the visible light image and the thermal image, as well as the face recognition using the visible light image and the thermal image, . Therefore, according to certain embodiments, it is possible to acquire the identity information of the suspects and victims of the crime through the more accurate face recognition in the case of the occurrence of the crime, and to cope with the crime promptly.

단계 460에서, 영상 처리 장치(110)는 근거리 장면의 열 영상에서 재정의된 특징 부분에서의 온도 변화를 검출한다.In step 460, the image processing apparatus 110 detects a temperature change in the feature portion redefined in the thermal image of the near scene.

얼굴 영역의 특징 부분의 온도 변화 검출에 더하여, 검출된 온도 변화를 기반으로 대상체의 심리 상태(예컨대, 초조, 불안, 공포심)가 추정될 수 있다(단계 465). 이러한 심리 상태 추정은 범죄 상황 예측 장치(160)에서 수행될 수 있다. 다만, 앞서 언급된 바와 같이, 범죄 상황 예측 장치(160)는 영상 처리 장치(110)의 외부에 배치되거나, 영상 처리 장치(110) 내에 포함되거나, 영상 처리 장치(110) 내에 구현될 수 있다.In addition to the temperature change detection of the feature portion of the face region, the psychological state (e.g., anxiety, anxiety, frightness) of the subject can be estimated based on the detected temperature change (Step 465). Such a psychological state estimation can be performed in the criminal situation predicting device 160. [ However, as mentioned above, the criminal situation predicting device 160 may be disposed outside the image processing device 110, included in the image processing device 110, or implemented in the image processing device 110.

예를 들어, 대상체의 심리가 초조하거나 불안한 경우 대상체의 맥박이 급격히 빨라지거나 얼굴의 온도가 높아지고, 이로 인해 대상체의 귀, 목 및/또는 볼과 같은 부분의 온도가 높아지거나 급격히 변한다는 점을 이용하여, 대상체의 심리 상태가 추정될 수 있다. 대상체의 심리 상태 추정은 특징 부분들 전부 또는 일부에서의 온도의 평균, 표준편차 및/또는 온도 분포를 분류하는 것을 수반할 수 있고, 이러한 분류는 LDA(Linear Discriminant Analysis), SVM(Support　Vector　Machine) 및 MLP(Multi-Layer Perceptron)과 같은 기법을 통해 수행될 수 있다. 또한, 대상체의 심리 상태 추정은 가시광선 영상의 정보 및 열 영상의 정보를 결합하는 것을 수반할 수 있고, 이러한 결합은 전술한 스코어 수준 융합 기법 내지 다른 영상 융합 기법을 이용하여 수행될 수 있다.For example, if the subject's feelings are irritated or unstable, the pulse rate of the subject is rapidly increased or the temperature of the face is raised, which causes the temperature of the ear, neck, and / or ball of the subject to increase or suddenly change The psychological state of the object can be estimated. The psychological state estimation of an object may involve classifying the mean, standard deviation, and / or temperature distribution of temperature in all or a portion of the features, such as Linear Discriminant Analysis (LDA), SVM (Support Vector Machine) And Multi-Layer Perceptron (MLP). In addition, the psychological state estimation of the object may involve combining the information of the visible light image and the information of the thermal image, and this combination may be performed using the above-described score-level fusion technique or other image fusion technique.

단계 470에서, 범죄 상황 예측 장치(160)는 전술한 행위 추정의 결과에 기반하여 범죄 상황을 예측한다. 대안적으로 또는 추가적으로, 범죄 상황 예측 장치(160)는 전술한 온도 변화 검출의 결과 및/또는 심리 상태 추정의 결과에 기반하여 범죄 상황을 예측한다. 이와 같이, 범죄 상황 예측 시스템(100)은 가시광선 영상 및 열 영상을 모두 이용하는바, 다양한 환경(낮, 밤, 눈, 안개, 비 등)에서 범죄 상황 예측의 정확도를 높일 수 있다.At step 470, the criminal situation predicting device 160 predicts the crime situation based on the result of the above-described behavior estimation. Alternatively or additionally, the criminal situation predicting device 160 predicts the crime situation based on the result of the above-described temperature change detection and / or the result of the psychological state estimation. As described above, the crime prediction system 100 can utilize both the visible ray image and the thermal image, thereby improving the accuracy of predicting the crime situation in various environments (day, night, snow, fog, rain, etc.).

한편, 소정의 실시예는 본 명세서에서 기술한 과정을 컴퓨터 상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 이러한 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이 컴퓨터 판독 가능 저장 매체는 개시되는 실시예를 위하여 특별히 설계되고 구성된 것들일 수 있다. 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.On the other hand, certain embodiments may include a computer readable storage medium comprising a program for performing the procedures described herein on a computer. Such computer-readable storage media may include program instructions, local data files, local data structures, etc., alone or in combination. The computer-readable storage medium may be those specially designed and / or configured for the disclosed embodiments. Examples of computer-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, And hardware devices specifically configured to store and execute the same program instructions. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, . Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

110: 영상 처리 장치
120: 가시광선 카메라
130: 열 카메라
140: 영상 생성부
150: 프로세서
160: 메모리
170: 범죄 상황 예측 장치110: Image processing device
120: Visible light camera
130: Thermal camera
140:
150: Processor
160: Memory
170: Crime situation prediction device

Claims

적어도 하나의 가시광선 카메라 및 적어도 하나의 열 카메라를 포함하는 영상 생성부;
상기 영상 생성부와 연결된 프로세서; 및
상기 프로세서와 연결되고 컴퓨터 실행가능 명령어가 저장된 메모리를 포함하되,
상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
상기 적어도 하나의 가시광선 카메라로부터 원거리 장면의 제1 가시광선 영상 및 상기 원거리 장면보다 상기 영상 생성부로부터 가까운 근거리 장면의 제2 가시광선 영상을 획득하는 동작;
상기 적어도 하나의 열 카메라로부터 상기 원거리 장면의 제1 열 영상 및 상기 근거리 장면의 제2 열 영상을 획득하는 동작;
상기 제1 가시광선 영상 및 상기 제1 열 영상에 기반하여 상기 원거리 장면에 포함된 대상체의 행위를 추정하는 동작; 및
상기 제2 가시광선 영상 및 상기 제2 열 영상에 기반하여 상기 근거리 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 동작을 수행하게 하는,
영상 처리 장치.
An image generating unit including at least one visible light camera and at least one thermal camera;
A processor coupled to the image generator; And
A memory coupled to the processor and storing computer executable instructions,
The computer-executable instructions, when executed by the processor, cause the processor to:
Obtaining a first visible light image of a remote scene from the at least one visible light camera and a second visible light image of a near scene from the image generating unit than the remote scene;
Obtaining a first column image of the far-range scene and a second column image of the near-field scene from the at least one column camera;
Estimating an action of an object included in the remote scene based on the first visible light image and the first column image; And
A second visible light ray image, and a second thermal ray image, the method comprising: detecting a temperature change of a face region included in the near-
Image processing apparatus.

청구항 1에 있어서,
상기 제1 가시광선 영상을 포착하는 가시광선 카메라와 상기 제1 열 영상을 포착하는 열 카메라는 평행한 광축을 가지도록 배치되고, 상기 제2 가시광선 영상을 포착하는 가시광선 카메라와 상기 제2 열 영상을 포착하는 열 카메라는 평행한 광축을 가지도록 배치되는,
영상 처리 장치.
The method according to claim 1,
Wherein the visible light camera capturing the first visible light image and the thermal camera capturing the first thermal image are arranged to have parallel optical axes, the visible light camera capturing the second visible light image, A thermal camera capturing an image is arranged to have a parallel optical axis,
Image processing apparatus.

청구항 1에 있어서,
상기 추정하는 동작은,
상기 제1 가시광선 영상으로부터 획득되는 정보 및 상기 제1 열 영상으로부터 획득되는 정보를 결합함으로써 결합된 영상 정보를 생성하는 동작;
상기 결합된 영상 정보를 이용하여 상기 대상체 및 상기 대상체의 특징 부분을 인식하고 상기 대상체 및 상기 특징 부분을 추적하는 동작; 및
상기 추적의 결과에 기반하여 상기 대상체의 행위를 기 설정된 행위로 추정하는 동작을 포함하는,
영상 처리 장치.
The method according to claim 1,
The estimating operation may include:
Generating combined image information by combining information obtained from the first visible light image and information obtained from the first column image;
Recognizing a feature portion of the object and the object using the combined image information, and tracking the object and the feature portion; And
And estimating an action of the object based on a result of the tracking as a predetermined action.
Image processing apparatus.

청구항 1에 있어서,
상기 검출하는 동작은,
상기 제2 가시광선 영상으로부터 상기 얼굴 영역의 특징 부분을 인식하는 동작;
상기 인식된 특징 부분을 상기 제2 열 영상에 매핑하는 동작;
상기 제2 열 영상에 매핑된 상기 얼굴 영역의 특징 부분을 재정의하는 동작; 및
상기 재정의된 특징 부분의 온도 변화를 검출하는 동작을 포함하는,
영상 처리 장치.
The method according to claim 1,
In the detecting operation,
Recognizing a feature portion of the face region from the second visible light image;
Mapping the recognized feature portion to the second column image;
Redefining a feature portion of the face region mapped to the second column image; And
And detecting a temperature change in the redefined feature portion.
Image processing apparatus.

청구항 1에 있어서,
상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 추정의 결과 및 상기 검출의 결과를 범죄 상황 예측 장치에 전송하여 상기 범죄 상황 예측 장치가 상기 추정의 결과 및 상기 검출의 결과에 기반하여 범죄 상황이 발생할 것인지 예측하도록 하는 동작을 또한 수행하게 하는,
영상 처리 장치.
The method according to claim 1,
The computer-executable instructions, when executed by the processor, cause the processor to send a result of the estimation and a result of the detection to a crime situation predicting device, such that the crime situation predicting device Based on the results of the analysis,
Image processing apparatus.

적어도 하나의 가시광선 카메라 및 적어도 하나의 열 카메라를 포함하는 영상 생성부와 연결된 프로세서에 의해 수행되는 영상 처리 방법으로서,
상기 적어도 하나의 가시광선 카메라로부터 원거리 장면의 제1 가시광선 영상 및 상기 원거리 장면보다 상기 영상 생성부로부터 가까운 근거리 장면의 제2 가시광선 영상을 획득하는 단계;
상기 적어도 하나의 열 카메라로부터 상기 원거리 장면의 제1 열 영상 및 상기 근거리 장면의 제2 열 영상을 획득하는 단계;
상기 제1 가시광선 영상 및 상기 제1 열 영상에 기반하여 상기 원거리 장면에 포함된 대상체의 행위를 추정하는 단계;
상기 제2 가시광선 영상 및 상기 제2 열 영상에 기반하여 상기 근거리 장면에 포함된 얼굴 영역의 온도 변화를 검출하는 단계를 포함하는,
영상 처리 방법.
1. An image processing method performed by a processor coupled to an image generator comprising at least one visible light camera and at least one thermal camera,
Obtaining a first visible light image of a remote scene from the at least one visible light camera and a second visible light image of a near scene from the image generating unit than the remote scene;
Obtaining a first column image of the far-range scene and a second column image of the near-field scene from the at least one column camera;
Estimating an action of an object included in the remote scene based on the first visible light image and the first column image;
Detecting a temperature change of a face region included in the near scene based on the second visible light image and the second column image,
Image processing method.

청구항 6에 있어서,
상기 제1 가시광선 영상이 획득된 가시광선 카메라와 상기 제1 열 영상이 획득된 열 카메라는 평행한 광축을 가지도록 배치되고, 상기 제2 가시광선 영상이 획득된 가시광선 카메라와 상기 제2 열 영상이 획득된 열 카메라는 평행한 광축을 가지도록 배치되는,
영상 처리 방법.
The method of claim 6,
Wherein the visible light camera in which the first visible light image is acquired and the thermal camera in which the first column image is acquired are arranged to have parallel optical axes, and the second visible light image is obtained by the obtained visible light camera and the second column The thermal camera from which the image is acquired is arranged so as to have a parallel optical axis,
Image processing method.

청구항 6에 있어서,
상기 추정하는 단계는,
상기 제1 가시광선 영상으로부터 획득되는 정보 및 상기 제1 열 영상으로부터 획득되는 정보를 결합함으로써 결합된 영상 정보를 생성하는 단계;
상기 결합된 영상 정보를 이용하여 상기 대상체 및 상기 대상체의 특징 부분을 인식하고 상기 대상체 및 상기 특징 부분을 추적하는 단계; 및
상기 추적의 결과에 기반하여 상기 대상체의 행위를 기 설정된 행위로 추정하는 단계를 포함하는,
영상 처리 방법.
The method of claim 6,
Wherein the estimating step comprises:
Generating combined image information by combining information obtained from the first visible light image and information obtained from the first column image;
Recognizing a feature portion of the object and the object using the combined image information, and tracking the object and the feature portion; And
And estimating an action of the object based on a result of the tracking as a predetermined action.
Image processing method.

청구항 6에 있어서,
상기 검출하는 단계는,
상기 제2 가시광선 영상으로부터 상기 얼굴 영역의 특징 부분을 인식하는 단계;
상기 인식된 특징 부분을 상기 제2 열 영상에 매핑하는 단계;
상기 제2 열 영상에 매핑된 상기 얼굴 영역의 특징 부분을 재정의하는 단계; 및
상기 재정의된 특징 부분의 온도 변화를 검출하는 단계를 포함하는,
영상 처리 방법.
The method of claim 6,
Wherein the detecting comprises:
Recognizing a feature portion of the face region from the second visible light image;
Mapping the recognized feature portion to the second column image;
Redefining a feature portion of the face region mapped to the second column image; And
And detecting a temperature change in the redefined feature portion.
Image processing method.

청구항 6에 있어서,
상기 추정의 결과 및 상기 검출의 결과를 범죄 상황 예측 장치에 전송하여 상기 범죄 상황 예측 장치가 상기 추정의 결과 및 상기 검출의 결과에 기반하여 범죄 상황이 발생할 것인지 예측하도록 하는 단계를 더 포함하는,
영상 처리 방법.
The method of claim 6,
And transmitting the result of the estimation and the detection result to a crime situation predicting device so that the crime situation predicting device predicts whether a crime situation will occur based on a result of the estimation and a result of the detection.
Image processing method.

청구항 6 내지 10 중 어느 하나에 기재된 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.A computer-readable storage medium storing a computer program for executing the method according to any one of claims 6 to 10.