KR20170119631A - Monitoring device, monitoring method, and program - Google Patents
Monitoring device, monitoring method, and program Download PDFInfo
- Publication number
- KR20170119631A KR20170119631A KR1020170047150A KR20170047150A KR20170119631A KR 20170119631 A KR20170119631 A KR 20170119631A KR 1020170047150 A KR1020170047150 A KR 1020170047150A KR 20170047150 A KR20170047150 A KR 20170047150A KR 20170119631 A KR20170119631 A KR 20170119631A
- Authority
- KR
- South Korea
- Prior art keywords
- temperature
- thermal image
- unit
- pixel
- image data
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012806 monitoring device Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000009434 installation Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 17
- 230000006866 deterioration Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0853—Optical arrangements having infrared absorbers other than the usual absorber layers deposited on infrared detectors like bolometers, wherein the heat propagation between the absorber and the detecting element occurs within a solid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
- G01J5/485—Temperature profile
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
- G01J2005/123—Thermoelectric array
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radiation Pyrometers (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 감시 대상의 공간에 있어서의 사람에 관한 정보를, 보다 간단하게 생성하기 위한 기술을 제공하는 것을 목적으로 한다.
본 발명에 따른 감시 장치(1)는, 열화상 센서(4_1∼4_x)로부터 단위 열화상(40_1∼40_x)을 취득하는 화상 취득부(10)와, 상기 화상 취득부에 의해 취득한 단위 열화상에 기초하여, 감시 대상의 공간의 2차원적인 온도 분포를 나타내는 열화상 데이터(150)를 생성하는 화상 처리부(11)와, 열화상 데이터에 기초하여, 열화상 센서의 화소마다 온도의 최대값을 산출하는 최대 온도 산출부(12)와, 열화상 데이터에 기초하여, 화소마다 온도의 최소값을 산출하는 최소 온도 산출부(13)와, 화소마다, 온도의 최대값과 온도의 최소값의 차분을, 화소마다 산출하는 차분 온도 산출부(14)를 갖는 것을 특징으로 한다.An object of the present invention is to provide a technique for more easily generating information on a person in a space to be monitored.
The monitoring apparatus 1 according to the present invention includes an image acquisition unit 10 for acquiring unit thermal images 40_1 to 40_x from thermal image sensors 4_1 to 4_x, (11) for generating thermal image data (150) indicating a two-dimensional temperature distribution of a space to be monitored, based on the thermal image data, and calculating a temperature maximum value for each pixel of the thermal image sensor A minimum temperature calculating unit 13 for calculating a minimum value of the temperature for each pixel based on the thermal image data and a minimum temperature calculating unit 13 for calculating a difference between the maximum value of the temperature and the minimum value of the temperature for each pixel, And a difference temperature calculation unit 14 for calculating the difference temperature.
Description
본 발명은 사람을 감시하기 위한 감시 장치, 감시 방법, 및 프로그램에 관한 것으로, 예컨대 열화상 센서에 의해 취득한 열화상에 기초하여 사람을 감시하는 감시 장치에 관한 것이다.The present invention relates to a monitoring apparatus, a monitoring method, and a program for monitoring a person, and more particularly, to a monitoring apparatus for monitoring a person based on a thermal image acquired by a thermal image sensor, for example.
사람을 감시하기 위한 감시 장치로서, 감시 카메라의 화상에 기초하여 사람을 검지하는 감시 장치가 종래부터 알려져 있다(특허문헌 1 참조).BACKGROUND ART [0002] As a monitoring device for monitoring a person, a monitoring device for detecting a person based on an image of a surveillance camera has been conventionally known (see Patent Document 1).
그러나, 종래의 감시 카메라의 화상으로부터 사람을 검지하는 감시 장치에서는, 이하에 나타내는 과제가 있다.However, the surveillance apparatus for detecting a person from an image of a conventional surveillance camera has the following problems.
감시 카메라와 같은 통상의 카메라로 사람을 촬영한 경우, 일조 조건, 조명 조건, 및 사람의 복장 등의 외적 요인에 의해 화상이 변화하기 때문에, 그러한 변화하는 화상 중에서 사람을 정확히 검지하기 위해서는 복잡한 처리가 필요해진다. 예컨대, 촬영 환경이나 복장 등의 변화에 상관없이 불변인 사람의 특징량을 미리 정의해 두고, 그 정의한 특징량을 취득한 화상으로부터 검출하기 위한 검출 처리를 행할 필요가 있다. 이와 같이, 감시 카메라를 이용한 감시 장치에서는, 일조 조건이나 조명 조건 등의 외적 요인에 상관없이 사람을 정확히 검지하기 위한 시스템 구성이 복잡해진다고 하는 과제가 있다.When a person is photographed with a normal camera such as a surveillance camera, the image changes due to external factors such as sunshine conditions, lighting conditions, and clothing of a person. Therefore, in order to accurately detect a person in such a changing image, It becomes necessary. For example, it is necessary to define a characteristic quantity of a person who is invariable irrespective of a change in the photographing environment, a dress, etc., and to perform detection processing for detecting the defined characteristic quantity from the acquired image. Thus, the surveillance apparatus using the surveillance camera has a problem in that the system configuration for accurately detecting a person is complicated irrespective of external factors such as sunshine conditions and lighting conditions.
또한, 금후, 종래의 감시 장치와 같이 감시 대상의 공간에 있어서의 사람의 유무를 검지하는 기술뿐만이 아니라, 감시 대상의 공간에 있어서의 사람의 이동 범위의 정보 등의 사람에 관한 여러 가지 정보를 자동적으로 수집하는 기술이 필요해진다고 본원 발명자는 생각하였다.In addition to the technology for detecting the presence or absence of a person in a space to be monitored as in a conventional monitoring apparatus, various kinds of information about a person such as information on the movement range of a person in a monitored space can be automatically The inventors of the present invention have thought that a technique for collecting the above-mentioned materials is required.
본 발명은 상기한 문제를 감안하여 이루어진 것으로, 본 발명의 목적은, 감시 대상의 공간에 있어서의 사람에 관한 정보를, 보다 간단하게 생성하기 위한 기술을 제공하는 것에 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for more easily generating information on a person in a monitoring target space.
본 발명에 따른 감시 장치(1, 1A)는, 열화상 센서(4_1∼4_x)로부터 단위 열화상(40_1∼40_x)을 취득하는 화상 취득부(10)와, 상기 화상 취득부에 의해 취득한 단위 열화상에 기초하여, 감시 대상의 공간의 2차원적인 온도 분포를 나타내는 열화상 데이터(150)를 생성하는 화상 처리부(11)와, 화상 취득부에 의해 반복해서 취득한 상기 단위 열화상에 기초하여 생성된 시계열의 열화상 데이터에 기초하여, 열화상 센서의 화소마다 온도의 최대값을 산출하는 최대 온도 산출부(12)와, 화상 취득부에 의해 반복해서 취득한 상기 단위 열화상에 기초하여 생성된 시계열의 열화상 데이터에 기초하여, 화소마다 온도의 최소값을 산출하는 최소 온도 산출부(13)와, 화소마다, 온도의 최대값과 온도의 최소값의 차분을, 화소마다 산출하는 차분 온도 산출부(14)를 갖는 것을 특징으로 한다.The
상기 감시 장치(1A)에 있어서, 차분 온도 산출부에 의해 반복해서 산출한 차분의 평균값을, 화소마다 산출하는 평균 온도 산출부(17)를 더 가져도 좋다.The
상기 감시 장치에 있어서, 최대 온도 산출부는, 화소마다, 정해진 기간(T1)에 있어서의 시계열의 열화상 데이터에 포함되는 상위 La(La는 2 이상의 정수)개의 온도의 평균값에 기초하여 온도의 최대값을 산출해도 좋다.In the above monitoring apparatus, the maximum temperature calculating unit may calculate a maximum temperature of the pixel based on the average value of the upper La (La is an integer equal to or greater than 2) included in the time-series thermal image data in the predetermined period (T1) .
상기 감시 장치에 있어서, 최대 온도 산출부는, 가중 평균에 의해 상위 La개의 온도의 평균값을 산출해도 좋다.In the above monitoring apparatus, the maximum temperature calculating unit may calculate the average value of the upper La temperatures by the weighted average.
상기 감시 장치에 있어서, 최대 온도 산출부는, 화소마다, 정해진 기간에 있어서의 시계열의 열화상 데이터에 포함되는 상위 Lc(Lc는 2 이상의 정수)개의 온도를 제외한 나머지 온도에 기초하여, 온도의 최대값을 산출해도 좋다.In the above monitoring apparatus, the maximum temperature calculating unit may calculate a maximum temperature of the pixel based on the remaining temperatures excluding the upper Lc (Lc is an integer equal to or larger than 2) included in the time-series thermal image data in a predetermined period, .
상기 감시 장치에 있어서, 최대 온도 산출부는, 화소마다, 정해진 기간에 있어서의 시계열의 열화상 데이터에 포함되는 제1 임계값보다 큰 온도에 기초하여, 온도의 최대값을 산출해도 좋다.In the monitoring apparatus, the maximum temperature calculating unit may calculate the maximum value of the temperature on the basis of the temperature that is larger than the first threshold value included in the time-series thermal image data in the predetermined period for each pixel.
상기 감시 장치에 있어서, 최소 온도 산출부는, 화소마다, 정해진 기간에 있어서의 시계열의 열화상 데이터에 포함되는 하위 Lb(Lb는 2 이상의 정수)개의 온도의 평균값을 산출하여, 온도의 최소값으로 해도 좋다.In the above monitoring apparatus, the minimum temperature calculating unit may calculate the average value of the temperatures of the lower Lb (Lb is an integer equal to or greater than 2) included in the time-series thermal image data for a predetermined period for each pixel, .
상기 감시 장치에 있어서, 최소 온도 산출부는, 가중 평균에 의해 하위 Lb개의 온도의 평균값을 산출해도 좋다.In the monitoring apparatus, the minimum temperature calculating unit may calculate an average value of the lower Lb temperatures by the weighted average.
상기 감시 장치에 있어서, 최소 온도 산출부는, 화소마다, 정해진 기간에 있어서의 시계열의 열화상 데이터에 포함되는 하위 Ld(Ld는 2 이상의 정수)개의 온도를 제외한 온도에 기초하여, 온도의 최소값을 산출해도 좋다.In the above monitoring apparatus, the minimum temperature calculating unit may calculate a minimum temperature value based on temperatures excluding the lower Ld (Ld is an integer equal to or greater than 2) included in the time-series thermal image data for each pixel in a predetermined period Maybe.
상기 감시 장치에 있어서, 최소 온도 산출부는, 화소마다, 정해진 기간에 있어서의 시계열의 열화상 데이터에 포함되는 제2 임계값보다 작은 온도에 기초하여, 온도의 최소값을 산출해도 좋다.In the monitoring apparatus, the minimum temperature calculating section may calculate a minimum temperature value based on a temperature smaller than a second threshold value included in the time-series thermal image data for each pixel in a predetermined period.
한편, 상기 설명에서는, 일례로서, 발명의 구성 요소에 대응하는 도면상의 참조 부호를 괄호를 붙여 기재하고 있다.In the above description, the reference numerals in the drawings corresponding to the constituent elements of the invention are shown with parentheses as an example.
이상 설명한 것에 의해, 본 발명에 의하면, 감시 대상의 공간에 있어서의 사람에 관한 정보를, 보다 간단하게 생성하는 것이 가능해진다.As described above, according to the present invention, information on a person in a space to be monitored can be generated more simply.
도 1은 실시형태 1에 따른 감시 장치를 포함하는 감시 시스템의 구성을 도시한 도면이다.
도 2는 공간에 있어서의 복수의 열화상 센서의 배치예를 도시한 도면이다.
도 3은 열화상 센서의 설치예를 도시한 도면이다.
도 4는 어느 시각에 있어서의 열화상의 일례를 도시한 도면이다.
도 5는 하나의 열화상 센서로부터 출력된 열화상 데이터와 그 열화상 데이터에 포함되는 화소마다의 단위 화소 데이터를 설명하기 위한 도면이다.
도 6a는 열화상 센서의 다른 설치예를 도시한 도면이다.
도 6b는 열화상 센서의 다른 설치예를 도시한 도면이다.
도 6c는 열화상 센서의 다른 설치예를 도시한 도면이다.
도 7은 공간(30) 전체의 최대 온도 데이터에 기초한 열화상의 일례를 도시한 도면이다.
도 8은 공간(30) 전체의 최소 온도 데이터에 기초한 열화상의 일례를 도시한 도면이다.
도 9는 실시형태 1에 따른 감시 장치에 의한 처리 순서를 도시한 흐름도이다.
도 10은 공간(30) 전체의 차분 온도 데이터에 기초한 열화상의 일례를 도시한 도면이다.
도 11은 실시형태 2에 따른 감시 장치를 포함하는 감시 시스템의 구성을 도시한 도면이다.
도 12는 실시형태 2에 따른 감시 장치에 의한 처리 순서를 도시한 흐름도이다.
도 13은 공간(30) 전체의 평균 온도 데이터에 기초한 열화상의 일례를 도시한 도면이다.1 is a diagram showing the configuration of a monitoring system including a monitoring apparatus according to the first embodiment.
2 is a diagram showing an example of arrangement of a plurality of thermal image sensors in a space.
3 is a diagram showing an example of installation of a thermal image sensor.
4 is a diagram showing an example of deterioration at any time.
5 is a diagram for explaining thermal image data output from one thermal image sensor and unit pixel data for each pixel included in the thermal image data.
6A is a diagram showing another example of the installation of the thermal image sensor.
6B is a view showing another example of the installation of the thermal image sensor.
6C is a view showing another example of the installation of the thermal image sensor.
Fig. 7 is a diagram showing an example of deterioration image based on the maximum temperature data of the
8 is a diagram showing an example of a deterioration image based on the minimum temperature data of the
9 is a flowchart showing a processing procedure by the monitoring apparatus according to the first embodiment.
10 is a diagram showing an example of a deterioration image based on differential temperature data of the
11 is a diagram showing a configuration of a monitoring system including a monitoring apparatus according to the second embodiment.
12 is a flowchart showing a processing procedure by the monitoring apparatus according to the second embodiment.
13 is a diagram showing an example of a deterioration image based on the average temperature data of the
이하, 본 발명의 실시형태에 대해 도면을 참조하여 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
≪실시형태 1≫≪
(1) 감시 시스템(1) Surveillance systems
도 1은 본 발명의 일 실시형태에 따른 감시 장치를 포함하는 감시 시스템의 구성을 도시한 도면이다.1 is a diagram showing a configuration of a monitoring system including a monitoring apparatus according to an embodiment of the present invention.
도 1에 도시된 감시 시스템(100)은, 건물 내에 설치된 열화상 센서에 의해 취득된 열화상에 기초하여, 건물 내에 존재하는 사람을 감시하는 시스템이다.The
구체적으로, 감시 시스템(100)은, 빌딩이나 공장 등의 건물(3)에 설치된 복수의 열화상 센서(4_1∼4_x)(x는 2 이상의 정수)와, 감시 장치(1)와, 표시 장치(2)로 구성되어 있다.Specifically, the
(2) 열화상 센서(2) Thermal imaging sensors
열화상 센서(4_1∼4_x)는, 이차원적으로 배열되어, 건물(3) 내의 감시 대상의 공간(30)의 2차원적인 온도 분포를 나타내는 열화상을 취득하는 기기이다. 구체적으로, 열화상 센서(4_1∼4_x)는, 각각, 정해진 에어리어의 2차원적인 온도 분포를 비접촉으로 검출하는 적외선 검출 센서이다. 본 실시형태에서는, 개개의 열화상 센서(4_1∼4_x)가 서모파일 어레이 센서인 것으로서 설명한다.The thermal image sensors 4_1 to 4_x are devices arranged two-dimensionally to obtain a thermal image showing a two-dimensional temperature distribution of the
여기서, 서모파일 어레이 센서는, 열전대로 구성되며, 적외선을 검출하는 열전 변환 소자(적외선 센서)인 서모파일이 복수 2차원으로 배열된 센서이다. 열화상 센서(4_1∼4_x)로서, x개의 서모파일 어레이 센서를 천장 등에 이차원적으로 배열함으로써 감시 대상의 공간(30)의 2차원적인 온도 분포를 파악하는 것이 가능해진다.Here, the thermopile array sensor is a thermocouple sensor, which is composed of thermocouples and is a thermoelectric conversion element (infrared sensor) for detecting infrared rays, in which a plurality of thermopiles are arranged in two dimensions. As the thermal image sensors 4_1 to 4_x, it is possible to grasp the two-dimensional temperature distribution of the
본 실시형태에서는, 일례로서, 하나의 열화상 센서(4_1)가, 32×31개의 서모파일로 구성되고, 각 서모파일이 하나의 화소를 각각 구성하고 있는 것으로 한다.In this embodiment, as an example, it is assumed that one thermal image sensor 4_1 is constituted by 32.times.31 thermo files, and each thermo file constitutes one pixel.
도 2는 감시 대상의 공간(30)에 있어서의 열화상 센서(4_1∼4_x)의 배치예를 도시한 도면이다.Fig. 2 is a view showing an example of the arrangement of the thermal image sensors 4_1 to 4_x in the
여기서, 공간(30)은, 예컨대, 건물(3) 내의 1플로어 전체여도 좋고, 하나의 플로어에 있어서의 특정한 영역(예컨대, 하나의 거실 또는 복수의 거실)이어도 좋다.Here, the
도 2에 도시된 바와 같이, 건물(3) 내의 감시 대상의 공간(30)을 열화상 센서(4_1∼4_x)의 수와 동일한 복수의 에어리어(300_1∼300_x)로 분할한 경우, 복수의 열화상 센서(4_1∼4_x)는, 에어리어(300_1∼300_x)마다 대응하여 설치된다. 열화상 센서(4_1∼4_x)는, 각각 대응하는 감시 대상의 에어리어(300_1∼300_x)의 열화상(40_1∼40_x)을 각각 생성한다. 이하, 각 열화상 센서(4_1∼4_x)로부터 출력되는 열화상(40_1∼40_x)을, 단위 열화상(40_1∼40_x)이라고 하는 경우가 있다.2, when the
도 2에는, 일례로서, 공간(30)을 22행 6열로 분할하고, 분할된 각 에어리어(300_1∼300_x)에 하나씩 열화상 센서(4_1∼4_x)를 배치한 경우가 도시되어 있다.2 shows a case in which the
도 3은 열화상 센서(4_1∼4_x)의 설치예를 도시한 도면이다.Fig. 3 is a view showing an example of installation of the thermal image sensors 4_1 to 4_x.
어느 열화상 센서(4_1∼4_x)는, 공간(30)의 에어리어(300)에 있어서의 천장이나 벽면 등에 설치된다. 예컨대, 도 3에 도시된 바와 같이, 열화상 센서(4_1∼4_x)는, 그 촬상면(4A)이 지면(바닥면)(300B)과 대향하는 방향으로, 건물(3)의 천장(300A)의 표면에 설치되는 것이 바람직하다. 또한, 각 열화상 센서(4_1∼4_x)의 촬상면(4A)과 지면(바닥면)(300B)과의 거리가 각각 동일해지도록, 각 열화상 센서(4_1∼4_x)를 설치하는 것이 바람직하다.Some of the thermal image sensors 4_1 to 4_x are installed on a ceiling, a wall surface, or the like in the
상기한 바와 같이 열화상 센서(4_1∼4_x)를 설치함으로써, 감시 대상의 공간(30) 내의 각 에어리어(300_1∼300_x)의 하방 공간에 있어서의 2차원적인 온도 분포를 빠짐없이 검출할 수 있다.By providing the thermal image sensors 4_1 to 4_x as described above, the two-dimensional temperature distribution in the space below each of the areas 300_1 to 300_x in the
도 4는 열화상 센서에 의해 촬영된 열화상의 일례를 도시한 도면이다.4 is a diagram showing an example of a deterioration image photographed by a thermal image sensor.
도 4에는, 어느 시각에 있어서, 열화상 센서(4_1∼4_x)로서의 "6×22"개의 서모파일 어레이 센서에 의해 촬영된 거실의 열화상이 도시되어 있다.Fig. 4 shows a thermal image of a living room photographed by "6 x 22 " thermopile array sensors as thermal image sensors 4_1 to 4_x at any time.
도 4의 열화상에서는, 색이 백색에 가까워질수록, 온도가 높은 것을 나타내고 있다. 즉, 열화상을 구성하는 화소의 휘도가 높을수록, 대응하는 영역의 온도가 높은 것을 나타내고 있다. 일반적으로, 사무실 등의 거실의 경우, 그 거실 내에 존재하는 사람이 가장 높은 온도를 나타내는 경향이 있다. 예컨대, 도 4에서의 참조 부호 41 등의 백색 부분은, 사람이 존재하는 것을 나타내고 있다.In the deterioration phase of FIG. 4, the closer the color is to white, the higher the temperature. That is, the higher the luminance of the pixels constituting the thermal image, the higher the temperature of the corresponding region. Generally, in a living room such as an office, a person present in the living room tends to show the highest temperature. For example, a white portion such as 41 in Fig. 4 indicates that a person exists.
도 4에서의 점선으로 둘러싸인 영역(40)의 화상은, 하나의 열화상 센서(4_1∼4_x)로부터 출력된 열화상이다.The image of the
도 5는 하나의 열화상 센서로부터 출력된 열화상과 그 열화상에 포함되는 화소마다의 단위 화소 데이터를 설명하기 위한 도면이다.5 is a diagram for explaining a thermal image output from one thermal image sensor and unit pixel data for each pixel included in the thermal image.
도 5에 도시된 바와 같이, 하나의 열화상 센서(4_1∼4_x)로부터 출력된 단위 열화상(40_1∼40_x)에는, 그 열화상 센서(4_1∼4_x)를 구성하는 각각의 서모파일에 입력한 적외선량의 강도에 따른 값을 나타내는 단위 화소 데이터(400)가 포함되어 있다.As shown in Fig. 5, unit thermal images 40_1 to 40_x output from one thermal image sensor 4_1 to 4_x are inputted to respective thermo files constituting the thermal image sensors 4_1 to 4_x
즉, 하나의 열화상 센서(4_1∼4_x)가 32×31개의 화소(서모파일)를 갖는 서모파일 어레이 센서인 경우, 하나의 열화상 센서(4_1∼4_x)로부터 출력되는 하나의 단위 열화상(40)은, 순서가 매겨진 32×31개의 단위 화소 데이터(400)로 구성되고, 열화상 센서(4_1∼4_x)로부터 출력되는 각각의 열화상(40_1∼40_x)을 합성함으로써, 도 4에 도시된 바와 같은 공간(30) 전체의 2차원적인 온도 분포를 나타내는 열화상 데이터(150)가 생성된다.That is, when one of the thermal image sensors 4_1 to 4_x is a thermopile array sensor having 32 × 31 pixels (thermopile), one unit image output from one thermal image sensor 4_1 to 4_x 40 are composed of 32 × 31
한편, 이하의 설명에서는, 감시 대상의 공간(30)의 2차원적인 온도 분포를 나타내는 열화상 데이터(150)를 「공간(30)의 열화상 데이터(150)」라고 하는 경우가 있다.In the following description, the
열화상 센서(4_1∼4_x)는, 예컨대, 단위 시간마다, 대응하는 에어리어(300_1∼300_x)를 포함하는 영역의 열화상(40_1∼40_x)을 각각 생성한다. 열화상 센서(4_1∼4_x)는, 예컨대, 건물(3) 내에 설치된 서버(도시하지 않음)에 접속되고, 상기 서버를 통해 무선 또는 유선에 의해, 열화상(40_1∼40_x)을 감시 장치(1)에 송신한다. 예컨대, 각 열화상 센서(4_1∼4_x)는, 1분간 300장의 단위 열화상(40_1∼40_x)을 생성하고, 이들을 상기 서버를 통해 감시 장치(1)에 송신한다.The thermal image sensors 4_1 to 4_x respectively generate thermal images 40_1 to 40_x of the area including the corresponding areas 300_1 to 300_x for each unit time. The thermal image sensors 4_1 to 4_x are connected to a server (not shown) provided in the
(3) 감시 장치(1)(3) Monitoring systems (1)
감시 장치(1)는, 열화상 센서(4_1∼4_x)에 의해 생성된 단위 열화상(40_1∼40_x)에 기초하여, 감시 대상의 공간(30)에 존재하는 사람에 관한 정보를 생성하는 장치이다. 감시 장치(1)는, 예컨대, 건물(3) 내의 중앙 관리실이나, 건물(3)을 포함하는 복수의 빌딩이나 공장 등의 시설을 감시하는 빌딩 관리 시스템에 있어서의 중앙 관리실 등에 설치된다.The
본 실시형태에 있어서, 감시 장치(1)는, 공간(30) 내에 존재하는 사람에 관한 정보로서, 공간(30)에 있어서의 정해진 기간의 사람의 이동 범위를 나타내는 정보, 즉 공간(30)에 있어서의 정해진 기간의 사람의 궤적을 나타내는 정보를 생성한다. 이하, 감시 장치(1)에 대해 상세히 설명한다.In the present embodiment, the
도 1에 도시된 바와 같이, 감시 장치(1)는, 화상 취득부(10), 화상 처리부(11), 최대 온도 산출부(12), 최소 온도 산출부(13), 차분 온도 산출부(14), 기억부(15), 및 표시 제어부(16)를 갖고 있다.1, the
감시 장치(1)는, 예컨대, 하드웨어 자원인 컴퓨터와, 이 컴퓨터에 인스톨된 프로그램으로부터 실현된다. 보다 구체적으로는, 상기 컴퓨터는, CPU 등의 프로그램 처리 장치와, RAM(Random Access Memory), ROM, 및 HDD(Hard Disc Drive) 등의 기억 장치와, 키보드, 마우스, 포인팅 디바이스, 조작 버튼, 및 터치 패널 등의 외부로부터 정보를 입력하기 위한 입력 장치와, 인터넷, LAN(Local Area Network), WAN(Wide Area Network) 등의 통신 회선을 통해 각종 정보의 송수신을 유선 또는 무선으로 행하기 위한 통신 장치를 구비한 PC 등이다.The
즉, 상기한 하드웨어 자원이 프로그램에 의해 제어됨으로써, 전술한, 화상 취득부(10), 화상 처리부(11), 최대 온도 산출부(12), 최소 온도 산출부(13), 차분 온도 산출부(14), 기억부(15), 및 표시 제어부(16)가 실현된다. 한편, 상기 프로그램은, CD-ROM, DVD-ROM, 메모리 카드 등의 기록 매체에 기록된 상태로 제공되도록 해도 좋고, 네트워크를 통해 감시 장치(1) 내의 기억 장치에 기억되어도 좋다.That is, by controlling the above-described hardware resources by the program, the
화상 취득부(10)는, 각 열화상 센서(4_1∼4_x)에 의해 촬영된 공간(30)의 열화상(40_1∼40_x)을 취득하는 기능부이다. 화상 취득부(10)는, 각 열화상 센서(4_1∼4_x)에 의해 단위 시간마다 취득된 열화상(40_1∼40_x)을 순차 취득한다.The
화상 처리부(11)는, 화상 취득부(10)에 의해 취득한 각 열화상 센서(4_1∼4_x)의 단위 열화상(40_1∼40_x)에 기초하여, 감시 대상의 공간(30)의 2차원적인 온도 분포를 나타내는 열화상 데이터(150)를 생성한다. 예컨대, 화상 처리부(11)는, 취득한 단위 열화상(40_1∼40_x)을 합성하는 등의 화상 처리를 행함으로써, 공간(30) 전체를 나타내는 하나의 열화상을 생성하여, 열화상 데이터(150)로 한다.The
상기 화상 처리로서는, 단위 열화상(40_1∼40_x)을 합성하는 처리에 더하여, 열화상 센서의 설치 장소의 정보에 기초하여 각 단위 열화상(40_1∼40_x)에 포함되는 감시 대상물의 사이즈를 정규화하는 처리를 포함해도 좋다.In the image processing, in addition to the process of synthesizing the unit thermal images 40_1 to 40_x, the sizes of the monitored objects included in the unit thermal images 40_1 to 40_x are normalized based on the information of the installation location of the thermal image sensors Processing may be included.
예컨대, 도 6a에 도시된 바와 같이, 열화상 센서(4)가 설치되는 천장(300A)의 높이가 균일하지 않은 경우에는, 상기 높이가 높아질수록 감시 대상물(예컨대 사람)이 작게 보이게 된다. 이 경우에는, 화상 처리부(11)는, 각 열화상 센서(4_1∼4_x)의 지면으로부터의 높이의 정보에 기초하여, 대상의 단위 열화상(40_1∼40_x)에 대해 배율을 조정함으로써 각 단위 열화상(40_1∼40_x)에 포함되는 감시 대상물의 사이즈를 정규화하고, 정규화한 단위 열화상(40_1∼40_x)에 기초하여 열화상 데이터(150)를 생성하면 된다.6A, when the height of the
또한, 도 6b에 도시된 바와 같이, 감시 대상의 공간(30)에 있어서의 지면(300B)의 높이가 균일하지 않은 경우(예컨대, 영화관이나 스타디움 등)에는, 지면(300B)의 높이가 높아질수록, 감시 대상물이 크게 보이게 된다. 이 경우에는, 도 6a의 경우와 마찬가지로, 화상 처리부(11)는, 각 열화상 센서(4_1∼4_x)의 지면으로부터의 높이의 정보[감시 대상의 공간(30)에 있어서의 건물의 구조에 관한 정보]에 기초하여, 대상의 단위 열화상(40_1∼40_x)에 대해 배율을 조정함으로써 각 단위 열화상(40_1∼40_x)에 포함되는 감시 대상물의 사이즈를 정규화하고, 정규화한 단위 열화상(40_1∼40_x)에 기초하여 열화상 데이터(150)를 생성하면 된다.6B, when the height of the
또한, 도 6c에 도시된 바와 같이, 열화상 센서(4)의 촬상면(4A)이 균일하지 않은 경우에는, 촬상면(4A)의 지면(300B)에 대한 각도에 따라, 감시 대상물의 보이는 방식이 변화하게 된다. 이 경우에는, 화상 처리부(11)는, 각 열화상 센서(4_1∼4_x)의 촬상면(4A)의 방향[촬상면(4A)의 지면(300B)에 대한 각도]의 정보에 기초하여, 대상의 단위 열화상(40_1∼40_x)에 대해 사영(射影) 변환을 행함으로써 각 단위 열화상(40_1∼40_x)에 포함되는 감시 대상물의 사이즈를 정규화하고, 정규화한 단위 열화상(40_1∼40_x)에 기초하여 열화상 데이터(150)를 생성하면 된다.6C, when the
이상과 같이, 화상 처리부(11)는, 필요에 따라, 각 열화상 센서(4_1∼4_x)의 지면으로부터의 높이의 정보, 각 열화상 센서(4_1∼4_x)의 촬상면(4A)의 방향의 정보, 및 감시 대상의 공간(30)에 있어서의 건물의 구조의 정보 등의 "열화상 센서의 설치 장소의 정보"에 기초하여, 단위 열화상(40_1∼40_x)에 포함되는 감시 대상물의 사이즈를 정규화하고, 정규화한 단위 열화상(40_1∼40_x)에 기초하여 열화상 데이터(150)를 생성해도 좋다.As described above, if necessary, the
기억부(15)는, 감시 장치(1)가 사람에 관한 정보를 생성하기 위한 각종 데이터를 기억하는 기능부이다. 예컨대, 기억부(15)에는, 전술한 단위 열화상(40_1∼40_x)나 시계열의 열화상 데이터(150)에 더하여, 후술하는 최대 온도 데이터(151), 최소 온도 데이터(152), 및 차분 온도 데이터(153) 등이 기억된다.The
최대 온도 산출부(12)는, 화상 취득부(10)에 의해 정해진 기간 내에 취득한 단위 열화상(40_1∼40_x)에 기초하여 생성된 시계열의 열화상 데이터(150)에 기초하여, 열화상 센서(4_1∼4_x)의 화소마다, 온도의 최대값을 산출하는 기능부이다.The maximum
구체적으로, 최대 온도 산출부(12)는, 열화상 센서(4_1∼4_x)의 화소마다, 기간(T1) 내에 촬영된 단위 열화상(40_1∼40_x)으로부터 생성한 시계열의 N장의 공간(30)의 열화상 데이터(150)에 포함되는 최대의 온도(휘도)를 검출하고, 검출한 온도를 최대 온도로 한다. 보다 구체적으로는, 최대 온도 산출부(12)는, 기간(T1) 내에 촬영된 단위 열화상(40_1∼40_x)으로부터 생성한 시계열의 N장의 열화상 데이터(150) 중에서, 열화상 센서(4_1∼4_x)의 화소마다, 온도(휘도)가 가장 높은 단위 화소 데이터(400)를 선택한다.Specifically, the maximum
예컨대, T1=1〔분〕, N=300으로 하고, 하나의 열화상 센서(4_1∼4_x)가 32×31개의 화소를 갖는 서모파일 어레이 센서로 구성되어 있는 경우, 최대 온도 산출부(12)는, 32×31(=992)개의 화소 중 p(1≤p≤992의 정수)번째의 화소에 대해, 1분간 생성된 300장의 열화상 데이터(150) 중에서 20장째의 열화상 데이터(150)가 가장 높은 온도를 나타내고 있는 경우에는, 20장째의 열화상 데이터(150)에 포함되는 p번째의 화소의 단위 화소 데이터(400_p)를 선택한다. 또한, 최대 온도 산출부(12)는, s(1≤s≤992의 정수, s≠p)번째의 화소에 대해, 1분간 생성된 300장의 열화상 데이터(150) 중, 150장째의 열화상 데이터(150)가 가장 높은 온도를 나타내고 있는 경우에는, 150장째의 열화상 데이터(150)에 포함되는 s번째의 화소의 단위 화소 데이터(400_s)를 선택한다.For example, in the case where T1 = 1 [min] and N = 300 and one thermal image sensor 4_1 to 4_x is constituted by a thermo file array sensor having 32 × 31 pixels, Th
이와 같이, 최대 온도 산출부(12)는, 화소마다 최대 온도를 나타내는 단위 화소 데이터(400)를 선택하고, 이들을 순서를 매겨 합성함으로써, 도 7에 도시된 바와 같은, 공간(30)의 최대 온도의 열화상 데이터(이하, 「최대 온도 데이터」라고 칭함)(151)를 생성하고, 기억부(15)에 기억한다.As described above, the maximum
최소 온도 산출부(13)는, 최대 온도 산출부(12)와는 반대로, 화상 취득부(10)에 의해 정해진 기간 내에 취득한 단위 열화상(40_1∼40_x)에 기초하여 생성된 시계열의 열화상 데이터(150)에 기초하여, 열화상 센서(4_1∼4_x)의 화소마다, 온도의 최소값을 산출하는 기능부이다.The minimum
구체적으로, 최소 온도 산출부(13)는, 열화상 센서(4_1∼4_x)의 화소마다, 기간(T1) 내에 촬영된 단위 열화상(40_1∼40_x)으로부터 생성한 시계열의 N장의 공간(30)의 열화상 데이터(150)에 포함되는 최소의 온도(휘도)를 검출하고, 검출한 온도를 최소 온도로 한다. 보다 구체적으로는, 최소 온도 산출부(13)는, 기간(T1) 내에 촬영된 단위 열화상(40_1∼40_x)으로부터 생성한 시계열의 N장의 열화상 데이터(150) 중에서, 열화상 센서(4_1∼4_x)의 화소마다, 온도(휘도)가 가장 낮은 단위 화소 데이터(400)를 선택한다.Specifically, the minimum
전술한 최대 온도 산출부(12)와 동일한 예의 경우, 최소 온도 산출부(13)는, p번째의 화소에 대해, 1분간 생성된 300장의 열화상 데이터(150) 중에서 100장째의 열화상 데이터(150)가 가장 낮은 온도를 나타내고 있는 경우에는, 100장째의 열화상 데이터(150)에 포함되는 p번째의 화소의 단위 화소 데이터(400_p)를 선택한다. 또한, 최소 온도 산출부(13)는, s번째의 화소에 대해, 1분간 생성된 300장의 열화상 데이터(150) 중에서 40장째의 열화상 데이터(150)가 가장 낮은 온도를 나타내고 있는 경우에는, 40장째의 열화상 데이터(150)에 포함되는 s번째의 화소의 단위 화소 데이터(400_s)를 선택한다.In the case of the same example as the maximum
이와 같이, 최소 온도 산출부(13)는, 화소마다 최소 온도를 나타내는 단위 화소 데이터(400)를 선택하고, 이들을 순서를 매겨 합성함으로써, 도 8에 도시된 바와 같은, 공간(30)의 최소 온도의 열화상 데이터(이하, 「최소 온도 데이터」라고 칭함)(152)를 생성하고, 기억부(15)에 기억한다.As described above, the minimum
차분 온도 산출부(14)는, 화소마다, 최대 온도 산출부(12)에 의해 산출된 온도의 최대값과, 최소 온도 산출부(13)에 의해 산출된 온도의 최소값의 차분을 산출하고, 그 차분을 나타내는 온도 데이터(이하, 「차분 온도 데이터」라고 칭함)(153)를 생성한다.The difference
예컨대, 전술과 동일한 예의 경우, 차분 온도 산출부(14)는, 최대 온도 데이터(151)에 있어서의 p번째의 화소의 단위 화소 데이터(400)와 최소 온도 데이터(152)에 있어서의 p번째의 화소의 단위 화소 데이터(400)의 차분을 산출함으로써, p번째의 화소의 단위 차분 온도 데이터를 생성하고, 최대 온도 데이터(151)에 있어서의 s번째의 화소의 단위 화소 데이터(400)와 최소 온도 데이터(152)에 있어서의 s번째의 화소의 단위 화소 데이터(400)의 차분을 산출함으로써, s번째의 화소의 단위 차분 온도 데이터를 생성한다. 그 후, 차분 온도 산출부(14)는, 상기한 바와 같이 생성한 화소마다의 단위 차분 온도 데이터로부터 공간(30)의 차분 온도 데이터(153)를 생성하고, 기억부(15)에 기억한다.For example, in the case of the same example as described above, the differential
표시 제어부(16)는, 예컨대 LCD(Liquid Crystal Display) 등으로 이루어지는 표시 장치(2)를 제어함으로써, 각종의 정보를 표시 장치(2)의 화면에 표시하는 기능부이다. 표시 제어부(16)는, 예컨대, 감시 장치(1)에 대한 사용자에 의한 조작 입력 등에 따라, 기억부(15)에 기억된 열화상 데이터(150), 최대 온도 데이터(151), 최소 온도 데이터(152), 및 차분 온도 데이터(153) 등에 기초한 사람에 관한 정보 등을 표시 장치(2)에 표시시킨다.The
다음으로, 감시 장치(1)에 의한 처리의 흐름에 대해 설명한다.Next, the flow of processing by the
도 9는 실시형태 1에 따른 감시 장치(1)에 의한 처리 순서를 도시한 흐름도이다.FIG. 9 is a flowchart showing a processing procedure by the
감시 장치(1)에 의한 처리에서는, 먼저, 화상 취득부(10)가, 정해진 시간마다 각 열화상 센서(4_1∼4_x)로부터 출력되는 단위 열화상(40_1∼40_x)을 취득하고, 기억부(15)에 순차 기억한다(S1).In the processing by the
다음으로, 화상 처리부(11)가, 화상 취득부(10)에 의해 취득한 단위 열화상(40_1∼40_x)에 기초하여 공간(30)의 열화상 데이터(150)를 생성한다(S2). 이때, 열화상 센서(4_1∼4_x)를 설치하고 있는 천장의 높이나 바닥의 높이, 열화상 센서(4_1∼4_x)의 촬상면(4A)의 방향 등이 균일하지 않은 경우에는, 화상 처리부(11)는, 대상이 되는 단위 열화상(40_1∼40_x)에 대해 전술한 정규화 처리를 행하고 나서, 열화상 데이터(150)를 생성한다.Next, the
한편, 열화상 센서(4_1∼4_x)의 설치 조건이 균일한 경우에는, 전술한 정규화 처리를 행하지 않고, 단위 열화상(40_1∼40_x)을 합성함으로써 열화상 데이터(150)를 생성해도 좋다.On the other hand, when the installation conditions of the thermal image sensors 4_1 to 4_x are uniform, the
단계 S2의 처리는, 정해진 기간(예컨대, 1분간)의 시계열의 열화상 데이터(150)가 기억부(15)에 축적될 때까지 반복해서 행해진다.The process of step S2 is repeatedly performed until the time-series
정해진 기간의 열화상 데이터(150)가 기억부(15)에 축적되었다면, 최대 온도 산출부(12)가, 그 정해진 기간분의 열화상 데이터(150)에 기초하여, 화소마다 온도의 최대값을 산출함으로써, 공간(30)의 최대 온도 데이터(151)를 생성한다(S3). 예컨대, 정해진 기간을 1분간으로 한 경우, 최대 온도 산출부(12)는, 전술한 수법에 의해, 1분간의 시계열의 열화상 데이터(150)를 이용하여 1분간의 최대 온도 데이터(151)를 생성하고, 기억부(15)에 기억한다.If the
또한, 최소 온도 산출부(13)도 마찬가지로, 정해진 기간의 열화상 데이터(150)가 기억부(15)에 축적되었다면, 그 정해진 기간분의 열화상 데이터(150)에 기초하여, 화소마다 온도의 최소값을 산출함으로써, 공간(30)의 최소 온도 데이터(152)를 생성한다(S4). 예컨대, 상기한 바와 같이 정해진 기간을 1분간으로 한 경우, 최소 온도 산출부(13)는, 전술한 수법에 의해, 1분간의 시계열의 열화상 데이터(150)를 이용하여 1분간의 최소 온도 데이터(152)를 생성하고, 기억부(15)에 기억한다.Likewise, if the
다음으로, 차분 온도 산출부(14)가, 화소마다, 온도의 최대값과 온도의 최소값의 차분을 산출함으로써, 공간(30)의 차분 온도 데이터를 생성한다(S5). 예컨대, 차분 온도 산출부(14)는, 전술한 수법에 의해, 단계 S3에서 산출된 1분간의 최대 온도 데이터(151)와, 단계 S4에서 산출된 1분간의 최소 온도 데이터(152)에 기초하여, 1분간의 차분 온도 데이터(153)를 생성한다.Next, the differential
도 10은 차분 온도 데이터(153)에 기초한 화상의 일례를 도시한 도면이다.10 is a diagram showing an example of an image based on the
도 10에 도시된 바와 같이, 차분 온도 데이터(153)에 기초한 공간(30)의 화상(153A)에서는, 정해진 기간에 있어서의 공간(30) 내의 사람의 이동 범위, 즉 정해진 기간에 있어서의 공간(30) 내의 사람의 궤적이 주위보다 밝게 표시된다. 그 이유는 다음과 같다.10, in the image 153A of the
예컨대, 어느 화소에 대응하는 에어리어에 존재하는 열원이 정해진 기간 내에 이동하지 않은 경우에는, 그 화소에 있어서의 정해진 기간의 최대 온도와 최소 온도의 차분은, 거의 "0"이 되고, 이것을 그 화소의 휘도에 반영시키면, 그 화소의 화상은 "흑색"에 가까워진다. 즉, PC 등의 발열하는 정보 단말이 공간(30) 내에 존재한다고 해도, 그 정보 단말이 이동하지 않으면, 그 정보 단말이 존재하는 에어리어에 대응하는 화소의 화상은 "흑색"에 가까워진다. 마찬가지로, 그 에어리어에 사람이 존재하는 경우라도, 그 사람이 정해진 기간 내에 이동하지 않은 경우에는, 그 에어리어에 대응하는 화소의 단위 차분 온도 데이터는 "흑색"에 가까워진다.For example, when a heat source in an area corresponding to a certain pixel does not move within a predetermined period, the difference between the maximum temperature and the minimum temperature in the predetermined period of the pixel becomes substantially "0 & When the luminance is reflected, the image of the pixel becomes "black". That is, even if an information terminal that generates heat such as a PC exists in the
한편, 어느 에어리어에 존재하는 사람이 정해진 기간 내에 이동한 경우, 그 에어리어에 대응하는 화소의 온도는 시간에 따라 변화한다. 즉, 정해진 기간에 있어서의 그 화소의 온도의 최대값과 최소값의 차분은, "0"보다 커지고, 이것을 휘도에 반영시키면, 그 화소의 화상은 "백색"에 가까워진다.On the other hand, when a person in an area moves within a predetermined period, the temperature of the pixel corresponding to the area changes with time. That is, the difference between the maximum value and the minimum value of the temperature of the pixel in a predetermined period is larger than "0 ", and when the luminance is reflected on the luminance, the image of the pixel becomes close to" white ".
이러한 각 화소의 단위 차분 온도 데이터로부터 공간(30)의 차분 온도 데이터(153)를 생성하고, 예컨대 도 10에 도시된 바와 같이, 표시 제어부(16)에 의해 표시 장치(2)의 화면에 화상으로서 표시하면, 참조 부호 42로 나타낸 바와 같이, 정해진 기간에 열원이 이동한 범위, 즉 정해진 기간에 있어서의 사람의 궤적을 사용자에게 제시할 수 있다.The
이상, 본 발명의 실시형태 1에 따른 감시 장치(1)에 의하면, 정해진 기간의 시계열의 열화상 데이터로부터, 화소마다 최대 온도와 최소 온도의 차분을 산출하고, 차분 온도 데이터(153)를 생성함으로써, 감시 대상의 공간(30)에 있어서의 사람에 관한 정보로서, 정해진 기간에 있어서의 사람의 궤적을 나타내는 정보를 제공할 수 있다.As described above, in the
또한, 감시 장치(1)에서는, 일반적인 감시 카메라의 화상이 아니라, 열화상 센서의 화상을 이용하여 사람을 검지하기 때문에, 일조 조건, 조명 조건, 및 사람의 복장 등의 외적 요인의 영향을 받기 어렵다. 그 때문에, 감시 카메라의 화상을 이용하여 사람을 검지하는 경우에 비해, 데이터 처리가 단순해져, 감시 장치(1)를 포함하는 전체의 시스템 구성의 복잡화를 회피하는 것이 가능해진다.Further, in the
즉, 실시형태 1에 따른 감시 장치(1)에 의하면, 감시 대상의 공간에 있어서의 사람에 관한 정보를, 보다 간단하게 생성하는 것이 가능해진다.That is, according to the
또한, 사람의 궤적을 나타내는 정보를 제공함으로써, 사용자는, 공간(30)의 어느 에어리어에 사람이 모이기 쉬운지를 파악할 수 있기 때문에, 예컨대 공간(30)의 효율적인 레이아웃의 갱신을 행하는 것이 가능해진다. 또한, 사람이 모이기 쉬운 에어리어는 커뮤니케이션을 활성화하는 인자가 있다고 생각할 수 있기 때문에, 예컨대, 상기 에어리어에 존재하는 인물을 사람이 모이기 어려운 에어리어에 배치 전환하는 등에 의해, 공간(30) 전체의 커뮤니케이션의 활성화를 촉구하는 것이 가능해진다.In addition, by providing information indicating the locus of a person, the user can grasp in which area of the
또한, 사람의 궤적을 나타내는 정보를 제공함으로써, 공간(30)이 진입 금지 구역인 경우에, 공간(30)에 사람이 침입한 것, 및 그 사람이 공간(30)의 어느 에어리어로 이동했는지 등의 정보를 얻을 수 있기 때문에, 예컨대 진입 금지 에어리어에 사람이 들어간 경우에 경고하는 감시 시스템을 구축하는 것이 용이해진다. 또한, 열화상 센서(4_1∼4_x)로서 서모파일 어레이 센서를 이용하고 있기 때문에, 조명 등의 영향을 받지 않고, 24시간 감시를 행하는 것이 가능해진다.In addition, by providing the information indicating the locus of a person, it can be seen that, when the
이상과 같이, 실시형태 1에 따른 감시 장치(1)에 의하면, 감시 대상의 공간에 있어서의 사람에 관한 정보로서 사람의 궤적을 나타내는 정보를 생성하기 때문에, 단순히 사람의 유무를 감시할 뿐만이 아니라, 감시 시스템(100)의 기능을 확충하는 것이 가능해진다.As described above, according to the
또한, 전술한 바와 같이, 공간(30)의 열화상 데이터(150)를 생성할 때에, 화상 처리부(11)가, 각 열화상 센서(4_1∼4_x)의 설치 조건에 따라 단위 열화상(40_1∼40_x)에 대해 적절한 화상 처리를 행함으로써, 감시 대상물(예컨대 사람)의 사이즈 등을 정규화할 수 있기 때문에, 그 후에 행하는 데이터의 분석 등이 용이해진다.As described above, when the
≪실시형태 2≫≪
도 11은 실시형태 2에 따른 감시 장치를 포함하는 감시 시스템의 구성을 도시한 도면이다.11 is a diagram showing a configuration of a monitoring system including a monitoring apparatus according to the second embodiment.
도 10에 도시된 감시 장치(1A)는, 감시 대상의 공간에 있어서의 사람에 관한 정보로서, 사람의 궤적의 정보에 더하여, 정해진 기간에 있어서의 감시 대상의 공간의 사람의 분포 상황의 정보를 생성하는 점에서, 실시형태 1에 따른 감시 장치(1)와 상이하다. 한편, 실시형태 2에 따른 감시 장치(1A)에 있어서, 실시형태 1에 따른 감시 장치(1)와 동일한 구성 요소에는 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.The
구체적으로, 감시 장치(1A)는, 정해진 기간에 있어서의 감시 대상의 공간(30)의 사람의 분포 상황의 정보를 생성하기 위한 기능부로서, 평균 온도 산출부(17)를 더 갖는다.Specifically, the
여기서, 정해진 기간에 있어서의 감시 대상의 공간(30)의 사람의 분포 상황의 정보란, 정해진 기간에 있어서의 감시 대상의 공간(30)의 에어리어(300_1∼300_x)별의 사람의 이용률의 정보라고 말할 수도 있다.Here, the information on the distribution situation of the person in the monitored
평균 온도 산출부(17)는, 정해진 기간마다 산출한 화소마다의 최대 온도와 최소 온도의 차분의 평균값을 산출한다. 구체적으로는, 기간(T1)<기간(T2)으로 했을 때, 평균 온도 산출부(17)는, 기간(T2)에 있어서, 기간(T1)마다 차분 온도 산출부(14)에 의해 생성된 시계열의 차분 온도 데이터(153)를 평균하여, 기간(T2)의 평균 온도 데이터(154)를 생성한다.The average
예컨대, 1분마다 생성된 차분 온도 데이터(153)가, 기억부(15)에 1시간분 축적되었다면, 평균 온도 산출부(17)는, 1시간분의 차분 온도 데이터(153)에 포함되는 p번째의 화소의 단위 차분 온도 데이터의 평균값을 산출함으로써, p번째의 화소의 단위 평균 온도 데이터를 생성하고, 1시간분의 차분 온도 데이터(153)에 포함되는 s번째의 화소의 단위 차분 온도 데이터의 평균값을 산출함으로써, s번째의 화소의 단위 평균 온도 데이터를 생성한다.For example, if the
평균 온도 산출부(17)는, 상기한 바와 같이 생성한 화소마다의 단위 평균 온도 데이터로부터, 1시간에 있어서의 공간(30)의 평균 온도 데이터(154)를 생성하고, 기억부(15)에 기억한다.The average
여기서, 평균 온도 산출부(17)에 의한 상기 평균값의 산출은, 상가 평균이나 상승 평균에 의해 산출해도 좋고, 가중 평균에 의해 산출해도 좋으며, 평균 온도 산출부(17)에 의한 평균값의 산출 방법은 특별히 제한되지 않는다.Here, the calculation of the average value by the average
다음으로, 실시형태 2에 따른 감시 장치(1A)에 의한 처리의 흐름에 대해 설명한다.Next, the flow of processing by the
도 12는 감시 장치(1A)에 의한 처리 순서를 도시한 흐름도이다.12 is a flowchart showing a processing procedure by the
감시 장치(1A)에 의한 처리에 있어서, 단계 S1로부터 단계 S5까지의 처리 내용은, 실시형태 1에 따른 감시 장치(1)와 동일하다.The processing contents from step S1 to step S5 in the processing by the
도 12에 있어서, 단계 S5 후, 예컨대 사용자로부터의 조작 입력에 의해 기간(T2)에 있어서의 평균 온도 데이터(154)의 산출이 지시되면, 평균 온도 산출부(17)가, 기간(T2)에 있어서의 최대 온도와 최소 온도의 차분의 평균값을 산출한다(S6). 예컨대, T1=1〔분〕, T2=14〔분〕로 했을 때, 평균 온도 산출부(17)는, 전술한 수법에 의해, 14분간 단계 S5에서 산출된 1분마다의 차분 온도 데이터(153)에 기초하여, 14분간의 평균 온도 데이터(154)를 생성한다.12, when the calculation of the
도 13은 평균 온도 데이터(154)에 기초한 화상의 일례를 도시한 도면이다. 도 13에는, 14분간의 평균 온도 데이터(154)에 기초한 화상(154)이 도시되어 있다.13 is a diagram showing an example of an image based on the
도 13에 도시된 바와 같이, 14분간의 평균 온도 데이터(154)를 화상(154)으로서 표시함으로써, 14분간에 있어서의 공간(30)의 사람의 분포 상황을 시각 정보로서 사용자에게 제공할 수 있다. 구체적으로는, 공간(30)에 있어서, 14분간 사람이 1번밖에 지나가지 않은 영역 등의 "사람이 장시간에 걸쳐 존재하지 않는 영역"과, "사람이 잘 모이는 영역"을 화상으로부터 아는 것이 가능해진다. 예컨대, 도 13에 있어서, 참조 부호 301로 나타나는 범위는, 14분간에 있어서 사람이 그다지 존재하지 않은 영역이고, 참조 부호 302로 나타나는 범위는, 14분간에 있어서 사람이 많이 존재한 영역이라고 알 수 있다.As shown in Fig. 13, by displaying the
이상, 실시형태 2에 따른 감시 장치(1A)에 의하면, 정해진 기간에 있어서의 화소마다의 최대 온도와 최소 온도의 차분의 평균값을 산출하여 평균 온도 데이터(154)를 생성함으로써, 감시 대상의 공간(30)에 있어서의 사람에 관한 정보로서, 사람의 궤적의 정보에 더하여, 정해진 기간에 있어서의 공간(30) 내의 사람의 분포 상황을 나타내는 정보를 제공할 수 있다. 이에 의하면, 사람의 궤적의 정보만을 제공하는 경우에 비해, 공간(30) 내의 사람이 모이기 쉬운 에어리어나 사람이 모이기 어려운 에어리어를, 보다 정확히 파악하는 것이 가능해진다. 예컨대, 에어리어(300_1∼300_x)마다의 사람의 이용률의 정보에 의하면, 사람의 열 부하의 분포를 알 수 있기 때문에, 효율적인 공조 제어를 행하는 것이 가능해진다.As described above, the
이상, 본 발명자들에 의해 이루어진 발명을 실시형태에 기초하여 구체적으로 설명하였으나, 본 발명은 그것에 한정되는 것은 아니며, 그 요지를 일탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.Although the invention made by the present inventors has been specifically described based on the embodiments, the present invention is not limited thereto, and it goes without saying that various changes can be made without departing from the gist of the invention.
예컨대, 상기 실시형태에 있어서, 최대 온도 산출부(12) 및 최소 온도 산출부(13)에 의한 온도의 최대값 및 최소값의 산출 방법으로서, 정해진 기간(T1)(예컨대 1분간)에 취득한 복수의 열화상 데이터(150)를 이용하여, 화소마다 온도가 가장 높은/낮은 단위 화소 데이터(400)를 선택하는 수법을 예시하였으나, 이것에 한정되지 않고, 이하에 나타내는 여러 가지 수법에 의해 온도의 최대값 및 최소값을 산출해도 좋다.For example, in the above embodiment, a method of calculating the maximum value and the minimum value of the temperature by the maximum
예컨대, 최대 온도 산출부(12)는, 화소마다, 기간(T1)에 생성한 시계열의 열화상 데이터(150) 중에서 상위 La(La는 2 이상의 정수)개의 온도를 선택하고, 선택한 La개의 온도의 평균값에 기초하여 공간(30)의 최대 온도 데이터(151)를 생성해도 좋다.For example, the maximum
마찬가지로, 최소 온도 산출부(13)는, 화소마다, 기간(T1) 내에 생성한 시계열의 열화상 데이터(150) 중에서 하위 Lb(Lb는 2 이상의 정수)개의 온도를 선택하고, 선택한 Lb개의 온도의 평균값에 기초하여 공간(30)의 최소 온도 데이터(152)를 산출해도 좋다. 여기서, 온도의 평균값은, 상가 평균이나 상승 평균에 의해 산출해도 좋고, 사람의 체온에 대한 온도차 등을 고려한 가중 평균에 의해 산출해도 좋으며, 평균값의 산출 방법은 특별히 제한되지 않는다.Likewise, the minimum
또한, 최대 온도 산출부(12)는, 화소마다, 기간(T1)에 생성한 시계열의 열화상 데이터(150)에 포함되는 상위 Lc(Lc는 2 이상의 정수)개의 온도를 제외한 나머지 온도 중에서 최대의 온도를 선택하고, 그 선택한 온도에 기초하여 최대 온도 데이터(151)를 생성해도 좋다.The maximum
마찬가지로, 최소 온도 산출부(13)는, 화소마다, 기간(T1) 내에 생성한 시계열의 열화상 데이터(150)에 포함되는 하위 Ld(Ld는 2 이상의 정수)개의 온도를 제외한 나머지 온도 중에서 최소의 온도를 선택하고, 그 선택한 온도에 기초하여 최소 온도 데이터(152)를 산출해도 좋다.Likewise, the minimum
이상과 같이, 실시형태 1, 2에 있어서 설명한, 복수의 열화상 데이터(150) 중에서 화소마다 온도가 가장 높은 또는 낮은 단위 화소 데이터(400)를 단순히 선택하는 수법이 아니라, 전술한 바와 같이, 상위 또는 하위의 몇 개의 온도의 평균값을 산출하는 수법이나 상위 또는 하위의 몇 개의 온도를 제외한 후에 최대 또는 최소의 온도를 선택하는 수법을 채용함으로써, 예컨대, 열화상 센서에 대한 노이즈의 영향에 의해 이상한 온도를 나타내는 데이터를 포함하는 열화상 데이터(150)가 생성된 경우라도, 사람에 관한 정보를 고정밀도로 생성하는 것이 가능해진다.As described above, not the method of simply selecting the
또한, 최대 온도 산출부(12)는, 화소마다, 기간(T1)에 생성한 시계열의 열화상 데이터(150)에 포함되는 정해진 임계값보다 큰 온도에 기초하여, 최대 온도 데이터(151)를 생성해도 좋다. 예컨대, 임계값을 30℃로 설정한 경우에, 30℃ 이상의 온도를 나타내는 단위 화소 데이터(400)를, 고정 온도(예컨대 40℃)를 나타내는 단위 화소 데이터(400)로 변환하고, 그 고정 온도를 최대 온도로 하여 최대 온도 데이터(151)를 생성해도 좋다.The maximum
마찬가지로, 최소 온도 산출부(13)는, 화소마다, 기간(T1)에 생성한 시계열의 열화상 데이터(150)에 포함되는 정해진 임계값보다 작은 온도에 기초하여, 최소 온도 데이터(152)를 생성해도 좋다. 예컨대, 임계값을 25℃로 설정한 경우에, 25℃ 이하의 온도를 나타내는 단위 화소 데이터(400)를, 고정 온도(예컨대 20℃)를 나타내는 단위 화소 데이터(400)로 변환하고, 그 고정 온도를 최소 온도로 해도 좋다.Likewise, the minimum
이에 의하면, 전술한 수법과 마찬가지로, 열화상 센서(4_1∼4_x)가 노이즈의 영향을 받은 경우라도, 사람에 관한 정보를 고정밀도로 생성하는 것이 가능해진다.According to this, even when the thermal image sensors 4_1 to 4_x are affected by noise as in the above-described technique, it is possible to generate information about a person with high accuracy.
한편, 전술한 최대 온도의 산출 수법과 최소 온도의 산출 수법으로서는, 감시 장치(1, 1A)에 있어서 동종의 산출 수법을 채용할 필요는 없고, 전술한 복수의 산출 수법을 적절히 조합해도 좋다. 예컨대, 온도의 최대값의 산출 수법으로서, 상위 La개의 온도의 평균값에 기초하여 온도의 최대값을 산출하는 수법을 채용하고, 온도의 최소값의 산출 수법으로서, 온도가 가장 낮은 단위 화소 데이터를 단순히 선택하는 수법을 채용해도 좋다.On the other hand, as a method of calculating the maximum temperature and a method of calculating the minimum temperature described above, it is not necessary to adopt the same kind of calculation method in the
또한, 실시형태 2에 있어서, 평균 온도 산출부(17)에 의해 14분간의 차분 온도의 평균값을 산출하는 경우를 예시하였으나, 이것에 한정되는 것은 아니다. 예컨대, 1시간의 차분 온도의 평균값을 산출해도 좋고, 사용자로부터 지시된 임의의 기간의 차분 온도의 평균값을 산출하도록 해도 좋다.In the second embodiment, the average
100, 100A: 감시 시스템
1, 1A: 감시 장치
2: 표시 장치
3: 건물
4_1∼4_x: 열화상 센서
10: 화상 취득부
11: 화상 처리부
12: 최대 온도 산출부
13: 최소 온도 산출부
14: 차분 온도 산출부
15: 기억부
16: 표시 제어부
17: 평균 온도 산출부
150: 열화상 데이터
151: 최대 온도 데이터
152: 최소 온도 데이터
153: 차분 온도 데이터
154: 평균 온도 데이터
30: 공간
300_1∼300_x: 에어리어
40, 40_1∼40_x: 단위 열화상
400_1∼400_m: 단위 화소 데이터100, 100A:
2: display device 3: building
4_1 to 4_x: thermal image sensor 10:
11: Image processing unit 12: Maximum temperature calculation unit
13: minimum temperature calculating section 14: differential temperature calculating section
15: storage unit 16: display control unit
17: average temperature calculation unit 150: thermal image data
151: maximum temperature data 152: minimum temperature data
153: differential temperature data 154: average temperature data
30: Space 300_1 to 300_x: Area
40, 40_1 to 40_x: unit thermal image
400_1 to 400_m: unit pixel data
Claims (15)
열화상 센서로부터 단위 열화상을 취득하는 화상 취득부;
상기 화상 취득부에 의해 취득한 단위 열화상에 기초하여, 감시 대상의 공간의 2차원적인 온도 분포를 나타내는 열화상 데이터를 생성하는 화상 처리부;
상기 화상 취득부에 의해 반복해서 취득한 상기 단위 열화상에 기초하여 생성된 시계열의 상기 열화상 데이터에 기초하여, 상기 열화상 센서의 화소마다 온도의 최대값을 산출하는 최대 온도 산출부;
상기 화상 취득부에 의해 반복해서 취득한 상기 단위 열화상에 기초하여 생성된 시계열의 상기 열화상 데이터에 기초하여, 상기 화소마다 온도의 최소값을 산출하는 최소 온도 산출부; 및
상기 화소마다, 상기 온도의 최대값과 상기 온도의 최소값의 차분을, 상기 화소마다 산출하는 차분 온도 산출부
를 포함하는 감시 장치.A monitoring device comprising:
An image acquiring unit that acquires a unit thermal image from the thermal image sensor;
An image processing unit that generates thermal image data representing a two-dimensional temperature distribution of a space to be monitored based on the unit thermal images acquired by the image acquisition unit;
A maximum temperature calculation unit for calculating a maximum temperature value for each pixel of the thermal image sensor based on the thermal image data of a time series generated based on the unit thermal image repeatedly acquired by the image acquisition unit;
A minimum temperature calculation unit for calculating a minimum temperature value for each pixel based on the thermal image data of the time series generated based on the unit thermal image repeatedly acquired by the image acquisition unit; And
For each pixel, a difference between a maximum value of the temperature and a minimum value of the temperature for each pixel,
.
상기 차분 온도 산출부에 의해 반복해서 산출한 상기 차분의 평균값을, 상기 화소마다 산출하는 평균 온도 산출부를 더 포함하는 것을 특징으로 하는 감시 장치.The method according to claim 1,
Further comprising: an average temperature calculation unit for calculating an average value of the differences calculated repeatedly by the difference temperature calculation unit for each of the pixels.
상기 최대 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 상위 La(La는 2 이상의 정수)개의 온도의 평균값을 산출하여, 상기 온도의 최대값으로 하는 것을 특징으로 하는 감시 장치.3. The method according to claim 1 or 2,
The maximum temperature calculation unit calculates an average value of the upper La (La is an integer equal to or greater than two) included in the thermal image data of the time series for each of the pixels for a predetermined period to obtain the maximum value of the temperature .
상기 최대 온도 산출부는, 가중 평균에 의해 상기 상위 La개의 온도의 평균값을 산출하는 것을 특징으로 하는 감시 장치.The method of claim 3,
Wherein the maximum temperature calculating unit calculates an average value of the upper La temperatures by a weighted average.
상기 최대 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 상위 Lc(Lc는 2 이상의 정수)개의 온도를 제외한 나머지 온도 중에서 선택한 최대의 온도에 기초하여, 상기 온도의 최대값을 산출하는 것을 특징으로 하는 감시 장치.3. The method according to claim 1 or 2,
Wherein the maximum temperature calculation unit calculates the maximum temperature based on the maximum temperature selected from among the remaining temperatures excluding the upper Lc (Lc is an integer equal to or larger than 2) included in the thermal image data of the time series in the predetermined period for each pixel, And the maximum value of the maximum value is calculated.
상기 최대 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 제1 임계값보다 큰 온도에 기초하여, 상기 온도의 최대값을 산출하는 것을 특징으로 하는 감시 장치.3. The method according to claim 1 or 2,
Wherein the maximum temperature calculation unit calculates a maximum value of the temperature based on a temperature that is larger than a first threshold value included in the thermal image data of the time series for each of the pixels in a predetermined period.
상기 최소 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 하위 Lb(Lb는 2 이상의 정수)개의 온도의 평균값을 산출하여, 상기 온도의 최소값으로 하는 것을 특징으로 하는 감시 장치.3. The method of claim 2,
The minimum temperature calculation unit calculates an average value of the temperatures of the lower Lb (Lb is an integer equal to or greater than 2) included in the thermal image data of the time series in the predetermined period for each pixel, Monitoring device.
상기 최소 온도 산출부는, 가중 평균에 의해 상기 하위 Lb개의 온도의 평균값을 산출하는 것을 특징으로 하는 감시 장치.8. The method of claim 7,
Wherein the minimum temperature calculation unit calculates an average value of the temperatures of the lower Lb by a weighted average.
상기 최소 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 하위 Ld(Ld는 2 이상의 정수)개의 온도를 제외한 온도 중에서 선택한 최소의 온도에 기초하여, 상기 온도의 최소값을 산출하는 것을 특징으로 하는 감시 장치.3. The method of claim 2,
The minimum temperature calculation unit may calculate the minimum temperature based on the minimum temperature selected from the temperatures excluding the lower Ld (Ld is an integer equal to or greater than 2) included in the thermal image data of the time series in the predetermined period for each pixel, And the minimum value is calculated.
상기 최소 온도 산출부는, 상기 화소마다, 정해진 기간에 있어서의 시계열의 상기 열화상 데이터에 포함되는 제2 임계값보다 작은 온도에 기초하여, 상기 온도의 최소값을 산출하는 것을 특징으로 하는 감시 장치.3. The method of claim 2,
Wherein the minimum temperature calculation unit calculates the minimum value of the temperature based on a temperature smaller than a second threshold value included in the thermal image data of the time series for each of the pixels in the predetermined period.
상기 화상 처리부는, 상기 화상 취득부에 의해 취득한 상기 단위 열화상을, 상기 열화상 센서의 설치 장소의 정보에 기초하여 정규화함으로써, 상기 열화상 데이터를 생성하는 것을 특징으로 하는 감시 장치.3. The method according to claim 1 or 2,
Wherein the image processing section generates the thermal image data by normalizing the unit thermal image acquired by the image acquisition section based on information of an installation place of the thermal image sensor.
정보 처리 장치가, 열화상 센서로부터 단위 열화상을 취득하는 제1 단계;
상기 정보 처리 장치가, 상기 제1 단계에 있어서 취득한 상기 단위 열화상에 기초하여, 감시 대상의 공간의 2차원적인 온도 분포를 나타내는 열화상 데이터를 생성하는 제2 단계;
상기 정보 처리 장치가, 상기 제1 단계에 있어서 반복해서 취득한 상기 단위 열화상에 기초하여 생성한 시계열의 상기 열화상 데이터에 기초하여, 상기 열화상 센서의 화소마다 온도의 최대값을 산출하는 제3 단계;
상기 정보 처리 장치가, 상기 제1 단계에 있어서 반복해서 취득한 상기 단위 열화상에 기초하여 생성한 시계열의 상기 열화상 데이터에 기초하여, 상기 화소마다 온도의 최소값을 산출하는 제4 단계; 및
상기 정보 처리 장치가, 상기 화소마다, 상기 제3 단계에서 산출한 상기 온도의 최대값과 상기 제4 단계에서 산출한 상기 온도의 최소값의 차분을 산출하는 제5 단계
를 포함하는 감시 방법.In the monitoring method,
An information processing apparatus comprising: a first step of acquiring a unit thermal image from a thermal image sensor;
A second step of generating the thermal image data representing the two-dimensional temperature distribution of the monitoring target space based on the unit thermal images acquired in the first step;
Wherein the information processing apparatus is configured to calculate the maximum value of the temperature for each pixel of the thermal image sensor based on the thermal image data of the time series generated based on the repeatedly acquired unit thermal images in the first step step;
A fourth step of calculating the minimum value of the temperature for each pixel based on the time-series thermal image data generated based on the unit thermal images obtained repeatedly in the first step; And
The information processing apparatus calculates a difference between the maximum value of the temperature calculated in the third step and the minimum value of the temperature calculated in the fourth step for each pixel,
/ RTI >
상기 정보 처리 장치가, 상기 제5 단계에 있어서 반복해서 산출한 시계열의 상기 차분의 평균값을, 상기 화소마다 산출하는 제6 단계를 더 포함하는 것을 특징으로 하는 감시 방법.13. The method of claim 12,
Further comprising a sixth step of the information processing apparatus calculating an average value of the differences of the time series calculated repeatedly in the fifth step for each pixel.
상기 제2 단계는, 상기 제1 단계에서 취득한 상기 단위 열화상을, 각 상기 열화상 센서의 설치 장소의 정보에 기초하여 정규화함으로써, 상기 열화상 데이터를 생성하는 것을 특징으로 하는 감시 방법.The method according to claim 12 or 13,
Wherein the second step generates the thermal image data by normalizing the unit thermal images acquired in the first step on the basis of the information of installation locations of the respective thermal image sensors.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016083460A JP6654091B2 (en) | 2016-04-19 | 2016-04-19 | Monitoring device, monitoring method, and program |
| JPJP-P-2016-083460 | 2016-04-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170119631A true KR20170119631A (en) | 2017-10-27 |
Family
ID=60155083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170047150A KR20170119631A (en) | 2016-04-19 | 2017-04-12 | Monitoring device, monitoring method, and program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6654091B2 (en) |
| KR (1) | KR20170119631A (en) |
| CN (1) | CN107402073B (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108419045B (en) * | 2018-02-11 | 2020-08-04 | 浙江大华技术股份有限公司 | Monitoring method and device based on infrared thermal imaging technology |
| JP7189844B2 (en) * | 2019-06-14 | 2022-12-14 | 株式会社神戸製鋼所 | Temperature measuring device and temperature measuring method |
| JP7299400B2 (en) * | 2019-06-14 | 2023-06-27 | 株式会社神戸製鋼所 | Temperature measuring device and temperature measuring method |
| IT201900019001A1 (en) * | 2019-10-16 | 2021-04-16 | Cms Spa | CONTROL METHOD AND THERMOFORMING MACHINE |
| JP6979103B2 (en) * | 2020-04-08 | 2021-12-08 | 三菱電機インフォメーションシステムズ株式会社 | Image generator, image generation method and image generation program |
| WO2022130474A1 (en) * | 2020-12-14 | 2022-06-23 | 三菱電機株式会社 | Thermal image processing apparatus, thermal image processing system, and thermal image processing method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010185704A (en) * | 2009-02-10 | 2010-08-26 | Yamagata-Chino Corp | Thermal image sensor |
| JP5799219B2 (en) * | 2011-03-17 | 2015-10-21 | パナソニックＩｐマネジメント株式会社 | Object detection device |
| JP5897950B2 (en) * | 2012-03-27 | 2016-04-06 | セコム株式会社 | Image monitoring device |
| JP6001938B2 (en) * | 2012-07-09 | 2016-10-05 | アズビル株式会社 | Temperature distribution detection apparatus and method |
| JP6000762B2 (en) * | 2012-08-31 | 2016-10-05 | セコム株式会社 | Image monitoring device |
| JP5756839B2 (en) * | 2013-11-01 | 2015-07-29 | 株式会社浅野研究所 | Thermoforming equipment |
| EP3372996B1 (en) * | 2015-12-15 | 2024-02-14 | Konica Minolta, Inc. | Gas concentration-thickness product measurement device, gas concentration-thickness product measurement method, gas concentration-thickness product measurement program, and computer-readable recording medium having gas concentration-thickness product measurement program recorded thereon |
-
2016
- 2016-04-19 JP JP2016083460A patent/JP6654091B2/en not_active Expired - Fee Related
-
2017
- 2017-04-12 KR KR1020170047150A patent/KR20170119631A/en not_active Application Discontinuation
- 2017-04-19 CN CN201710256780.XA patent/CN107402073B/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017195454A (en) | 2017-10-26 |
| CN107402073A (en) | 2017-11-28 |
| JP6654091B2 (en) | 2020-02-26 |
| CN107402073B (en) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170119631A (en) | Monitoring device, monitoring method, and program | |
| JP6705028B2 (en) | Image sensor | |
| US9369612B2 (en) | Image fusion system and method | |
| US20200202116A1 (en) | Moving information analyzing system and moving information analyzing method | |
| US9948901B2 (en) | Moving information analyzing system, camera, and moving information analyzing method | |
| US10304306B2 (en) | Smoke detection system and method using a camera | |
| CN104766295B (en) | Heatmap providing apparatus and method | |
| US20160309096A1 (en) | Flow line analysis system and flow line analysis method | |
| US20180181815A1 (en) | Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program | |
| JP5178797B2 (en) | Display control apparatus and display control method | |
| JP6639091B2 (en) | Display control device and display control method | |
| US10018510B2 (en) | Motion and presence detector | |
| US10497130B2 (en) | Moving information analyzing system and moving information analyzing method | |
| KR20170133259A (en) | Monitoring apparatus, monitoring apparatus and program stored in media | |
| US20170193309A1 (en) | Moving information analyzing system and moving information analyzing method | |
| CN111538030A (en) | Method, system, and non-transitory computer readable medium for detecting human activity | |
| KR20140126249A (en) | Thermal sensor module with lens array | |
| KR101637989B1 (en) | Method and apparatus for performing high resolution thermal image based fire surveillance through integration of sensors and thermovision camera | |
| US20220036420A1 (en) | Surveillance planning device and method for providing security device installation solution using same | |
| Gonzalez et al. | Using a thermopile matrix sensor to recognize energy-related activities in offices | |
| TWI776798B (en) | Motion and presence detector | |
| KR20230117312A (en) | Apparatus and method for displaying image | |
| KR102138553B1 (en) | Behavior visualization device and behavior visualization method | |
| US11246205B1 (en) | System and method of monitoring activity in an enclosed environment | |
| JP2020052826A (en) | Information provision device, information provision system, information provision method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |