KR102668750B1 - 공간정보 인식장치 - Google Patents
공간정보 인식장치 Download PDFInfo
- Publication number
- KR102668750B1 KR102668750B1 KR1020190013901A KR20190013901A KR102668750B1 KR 102668750 B1 KR102668750 B1 KR 102668750B1 KR 1020190013901 A KR1020190013901 A KR 1020190013901A KR 20190013901 A KR20190013901 A KR 20190013901A KR 102668750 B1 KR102668750 B1 KR 102668750B1
- Authority
- KR
- South Korea
- Prior art keywords
- infrared
- subject
- infrared image
- information
- camera
- Prior art date
Links
- 239000000284 extract Substances 0.000 claims abstract description 9
- 239000007789 gas Substances 0.000 claims description 70
- 238000002485 combustion reaction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 230000003595 spectral effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008033 biological extinction Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000669298 Pseudaulacaspis pentagona Species 0.000 description 1
- 241000316887 Saissetia oleae Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
- G01N15/075—Investigating concentration of particle suspensions by optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Radiation Pyrometers (AREA)
Abstract
본 발명은 거리 측정 및 가스 농도 측정이 가능한 적외선 스테레오 카메라에 관한 것으로, 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라, 상기 제1 적외선 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라, 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.
Description
본 발명은 공간 정보 인식 장치에 관한 것이다. 구체적으로, 적외선 스테레오 카메라를 이용해 특정 공간상에 존재하는 피사체의 위치 정보 및 특정 가스 농도 중 적어도 하나를 획득하는 기술 분야에 적용이 가능하다.
적외선 카메라는 외부로부터 빛의 공급이 없이도 물체가 방사하는 복사에너지를 모아 적절한 변환을 통해 가시화하여 쉽게 인식할 수 있도록 만들어 주는 장비이다. 적외선 카메라는 가시광선의 유무나 반사되는 빛의 세기 차이로 관측하는 기존의 영상장비와는 다르다.
모든 물체는 절대온도 0도 이상에서 물질을 이루고 있는 기본 단위인 원자들이 미소한 진동을 하고 있다. 이러한 원자들의 진동 에너지가 적외선 영역의 에너지와 동일하기 때문에 모둔 물체는 적외선을 방출하고 있다. 물체의 온도가 높으면 높을수록 더 많은 양의 적외선이 발산하게 되는데 이러한 이유에서 적외선을 열선이라 부른다.
적외선 카메라의 구성은 사용하는 파장, 요구되는 성능, 검출기, 적외선 검출 방법 등에 따라서 달라진다. 기본적으로 적외선 카메라는 광학렌즈부분, 적외선감지센서부분, 이미지 구현 구분으로 구성되어 있다.
적외선 카메라는 적외선 중에서 8~14μm 파장 대역의 LWIR(Longwave Infrared)을 감지하는 센서인 μ-Bolometer가 주로 사용된다. LWIR은 사람의 몸에서 가장 강하게 방사하는 파장 대역으로, 온도 측정 및 보행자/동물 식별에 유용하게 이용될 수 있다.
적외선 카메라의 특징은 미세 입자에 대한 투과율이 높아 원거리 감시용, 인명구조, 추적 장치에 유리하다. 또한, 별도의 광원을 필요로 하지 않아 야간 시야 확보가 가능하며, 직사광 등의 환경에서도 우수한 감지 성능이 보여, 보안 및 군사 분야 활용에 적합하다. 또한, 적외선 카메라는 미세한 온도를 식별이 가능하여 의료용 체열진단이 가능하고 제조 생산 산업현장의 모니터링에 적합하다.
또한, 최근에는 스테레오 방식의 적외선 카메라를 이용하여 상기 적외선 카메라를 통해 획득할 수 있는 정보에 3차원 정보를 추가로 획득하는 기술 분야에 대한 관심이 높다.
스테레오 방식은 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍히는 양안시차 특성을 이용하여 카메라에서 피사체까지의 거리 값을 획득하는 방식을 말한다. 구체적으로, 한 쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안 시차(disparity)를 추출함으로써 카메라에서 피사체까지의 거리 값을 획득할 수 있다.
기존에는 상기 연산을 수행함에 있어 정확한 거리 정보 추출을 위해 양 카메라의 해상도가 고해상도로 동일할 필요가 있었으며, 이는 사이즈 무게, 가격이 증가한다는 단점이 있다.
또한, 기존에는 스테레오 적외선 카메라를 이용하여 3D 영상 정보를 추출하는데 활용되었으며 그 외 다른 목적으로 사용되는 실시예가 많지 않았다.
또한, 기존에는 적외선 카메라를 이용하여 화재를 감지함에 있어, 온도만을 대상으로 관측하여 초기 연소 시작 시점에 화재를 감지하는데 어려움이 있었다.
본 발명은 적외선 스테레오 카메라를 이용하여, 대상체의 거리 및 온도를 측정함에 있어 해상도 동일의 제약을 해결하고, 추가적으로 가스의 종류 및 농도를 획득하여 정보를 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 일 실시예에 따라 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라, 상기 제1 적외선 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라, 상기 제1 적외선 카메라 및 상기 제2 적외선 카메라에 연결된 제어부를 포함하고, 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제2 적외선 이미지에서 상기 피사체의 특정 픽셀을 상기 제1 적외선 이미지에 정합하고, 스테레오 비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 피사체의 특정 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀인 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 중심 픽셀은 복수의 상기 윤곽을 구성하는 픽셀로부터 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간정보 인식장치를 제공한다..
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 기 설정 시차를 두고 연속적으로 촬영된 상기 제1 적외선 이미지를 통해 상기 제1 적외선 카메라의 흔들림 정보를 추출하고, 상기 제1 적외선 카메라의 흔들림 정보에 기초하여 상기 제2 적외선 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 적외선 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제1 적외선 카메라는 상기 제2 적외선 카메라 보다 해상도가 높은 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제2 적외선 카메라는 상기 피사체에서 방사하는 파장 중 특정 가스가 흡수하는 파장만 통과하는 필터를 더 포함하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여, 상기 특정 가스의 농도를 측정하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라 상기 제2 적외선 카메라는 흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터를 구비하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 제2 적외선 카메라는 격자 패턴을 형성하도록, 상기 복수의 필터를 구비하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 복수의 필터는 상기 제2 적외선 이미지의 각 픽셀에 대응되도록 구비되는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 적외선 스테레오 카메라는 외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고, 상기 제어부는 특정 온도 이상이 감지되고, 화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 화제 정보를 상기 외부 기기로 제공하도록 상기 커뮤니케이션 유닛을 제어하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
또한, 본 발명의 다른 실시예에 따라, 상기 화제 정보는 연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 공간정보 인식장치를 제공한다.
본 발명은 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공한다.
본 발명은 해상도가 상이한 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공할 수 있는 솔루션을 제공한다.
본 발명은 적외선 스테레오 카메라 중 고해상도 적외선 카메라의 흔들림 정보를 통해 저해상도 적외선 카메라의 흔들림을 추정하고 피사체의 위치 정보를 보정하는 솔루션을 제공한다.
본 발명은 적외선 스테레오 카메라를 통해 특정 가스의 유무 및 농도 정보를 제공할 수 있는 솔루션을 제공한다.
본 발명은 열원의 온도 및 가스의 농도를 통해 화재 초기에 정확히 화재 여부를 판단할 수 있는 정보를 제공할 수 있는 솔루션을 제공한다.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 피사체를 촬영하는 개념도이다.
도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라의 구성도 이다.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 적외선 이미지간 시차(disparity)를 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 적외선 카메라)를 기준으로 저해상도 카메라(제2 적외선 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라의 구성도 이다.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 적외선 이미지간 시차(disparity)를 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 적외선 카메라)를 기준으로 저해상도 카메라(제2 적외선 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100)를 이용하여 피사체를 촬영하는 개념도이고, 도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라(100)의 구성도 이다.
본 발명의 일 실시에에 따른 적외선 스테레오 카메라(100)는 피사체(300)를 촬영하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라(110) 및 제1 적외선 카메라(110)에 이격되어 구비되고, 피사체(300)를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라(120)를 포함한다.
본 발명에서 제 1카메라(110)와 제2 카메라(120)는 기 설정 거리를 가지고 리그(rig)와 같은 고정장치 또는 별개의 이러한 기능을 하는 기구물에 의해 고정 지지된다.
일반적으로 스테레오 카메라는 3D 입체영상이 사람에게 자연스럽게 보이기 위해 두 개의 카메라가 사람의 두 눈의 거리(대략 6~7cm) 정도 이격되어 설치되지만, 본 발명은 3D 입체영상을 구현하는 것을 목적으로 하지 않는바, 제1 카메라(110)와 제2 카메라(120)의 이격 거리가 사람의 두 눈 거리에 한정되지 않는다.
제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 이격되어 적외선 스테레오 카메라(100)에 구비되어 전체 촬영 영역(400)은 겹치는 부분(410)과 겹치지 않는 부분(420)을 포함할 수 있다.
전체 촬영 영역(400)은 제1 적외선 카메라(110)의 촬영 영역과 제2 적외선 카메라(120)가 촬영하는 영역을 합친 영역이며, 겹치는 부분(410)는 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)로 촬영되는 영역을 말한다. 겹치지 않는 부분(420)은 제1 적외선 카메라(110)로만 촬영되는 영역 또는 제2 적외선 카메라(120)로만 촬영되는 영역에 대응될 수 있다.
도 1에서는 제1 적외선 카메라(110)와 제2 적외선 카메라(120)가 동일한 화각(Field of View, FOV)을 갖는 실시예를 도시하고 있으나, 화각(FOV)이 동일할 필요는 없다.
본 발명에 따른 스테레오 적외선 카메라(100)는 전체 촬영 영역(400)에서 겹치는 부분(410)에 위치하는 피사체(300)까지의 거리를 측정할 수 있다.
제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 피사체에서 발사하는 적외선이 통과하는 렌즈(111, 121), 렌즈(111, 121)를 통과한 적외선을 감지하는 온도 센서 어레이를 포함하는 같은 열상 검출기(112, 122), 열상 검출기(112, 122)의 출력이 아날로그 신호일 경우 이를 디지털 신호로 변환하는 아날로그-디지털 변환회로(Analog-to-Digital Converter, ADC, 113, 123), 및 이미지 처리기(114, 124)를 포함할 수 있다.
열상 검출기(112, 122)는 제1 적외선 카메라(110)와 제2 적외선 카메라(120)의 해상도와 관련이 있는 구성으로, 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)는 온도 센서 어레이에 대응되는 해상도를 가질 수 있다.
제1 적외선 카메라(110)의 열상 검출기(112) 및 제2 적외선 카메라(122)의 열상 검출기(122)는 제1 적외선 이미지 및 제2 적외선 이미지가 동일한 해상도를 가지도록 동일 온도 센서 어레이를 가질 수 있다. 다만, 본 발명에서는 동일 해상도 제약 없이 고해상도 기준으로 피사체의 거리를 정확하게 측정하는데 특징이 있다. 이와 관련하여서는 도 5를 통해 구체적으로 살펴본다.
이미지 처리기(114, 124)는 ADC(113, 123)에서 전환된 디지털 신호를 통해 적외선 이미지를 획득한다. 구체적으로, 이미지 처리기(114, 124)는 히스토그램(histogram), 피킹(peaking), 휘도(brightness)와 명암대비(contrast), 열상 필터링을 행하고 조정하는 역할을 한다.
제1 적외선 카메라(110)와 제2 적외선 카메라(120)은 제어부(130)에 연결될 수 있으며, 제어부(130)는 제1 적외선 카메라(110) 제2 적외선 카메라(120)에서 획득한 제1 적외선 이미지와 상기 제2 적외선 이미지를 정합하여 피사체(300)에 이르는 거리를 측정할 수 있다.
제어부(130)는 구체적으로, 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 피사체(300)들의 윤곽을 검출하는 에지 검출기(131), 에지 검출기(131)에서 검출된 피사체(300)들의 윤곽 픽셀 정보를 제1 적외선 이미지와 제2 적외선 이미지를 매칭하는 이미지 매칭부(132) 및 매칭된 이미지간 시차(disparity)를 계산하여 상기 피사체의 거리를 측정하는 시차 계산기(133)를 포함할 수 있다.
적외선 이미지에서 피사체(300)의 윤곽 픽셀은 상기 피사체의 외형을 나타내는 픽셀이거나, 상기 피사체의 외형 중 특징점(keypoint)에 대응되는 픽셀 일 수 있다.
이미지 매칭부(132)는 피사체(300)의 윤곽 픽셀 정보 또는 상기 특징점(keypoint) 픽셀 정보로부터 피사체(300)의 중심 픽셀 정보를 획득하고, 상기 윤곽 픽셀 및 상기 중심 픽셀이 각각 대응되도록 매칭할 수 있다.
피사체(300)의 중심 픽셀은 상기 피사체의 외형을 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀이거나, 상기 특징점(keypoint)를 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀일 수 있다. 또는, 상기 중심 픽셀은 상기 피사체의 외형을 나타내는 픽셀과의 거리에 상이한 웨이트를 부여하여 선택된 픽셀일 수 있다.
시차 계산기(133)는 매칭된 상기 윤곽 픽셀 및 상기 중심 픽셀을 시차를 계산하고 이를 통해 피사체(300)의 거리를 획득할 수 있다. 시차(disparity)는 하나의 물체를 서로 다른 두 지점(양쪽 카메라)에서 보았을 때 느껴지는 물체의 시야 내에서의 위치 및 모양 차이를 의미하고, 시차(disparity)를 통해 적외선 스테레오 카메라(100)와 피사체(300)의 거리(D)는 다음과 같이 구할 수 있다.
수학식 1
여기서 D는 적외선 스테레오 카메라(100)와 피사체(300)간 거리이고, l는 제1 카메라(110)와 제2 카메라(120)간 거리이고, fl는 초점 거리이며, d1+d2가 시차(disparity)이다.
본 발명은 제1 적외선 이미지 및 제2 적외선 이미지간 피사체(300)의 윤곽 픽셀뿐만 아니라 피사체(300)의 중심 픽셀을 정합하여 피사체(300)의 거리를 산출하는데 특징이 있다. 피사체(300)의 중심 픽셀은 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)간 해상도 차이에 따른 부정확성을 개선할 수 있다.
예를 들어, 제1 적외선 카메라(110)의 해상도가 제2 적외선 카메라(120)보다 좋은 경우, 본 발명에 따른 적외선 스테레오 카메라(100)는 제2 적외선 이미지(120)에서 획득한 제2 적외선 이미지에서 피사체(300)의 윤곽 픽셀 정보 및 중심 픽셀 정보를 추출하고, 이를 제1 적외선 이미지에 정합하여 고해상도 카메라 기준 피사체의 거리를 획득할 수 있다.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 적외선 이미지간 시차(disparity)를 설명하기 위한 도면이다.
도 3(a) 는 왼쪽에 있는 적외선 카메라에서 촬영된 적외선 이미지며, 도 3(b)는 오른쪽에 있는 적외선 카메라에서 촬영된 적외선 이미지다.
도 1을 참고 하여, 이하에서 도 3(a) 는 제1 적외선 카메라(110)에서 촬영된 제1 적외선 이미지에 대응하고, 도 3(b)는 제2 적외선 카메라(120)에서 촬영된 제2 적외선 이미지에 대응하여 설명한다.
시차(disparity) 이미지는 대응되는 픽셀간 시차(disparity)를 영상화 한 것으로 예컨대 거리가 다른 두 물체를 표시할 때, 흑백 스케일을 사용하여 가까운도 거리의 물체를 흰색으로, 먼 거리에 물체를 검은색으로 표시할 수 있다.
도 3은 윤곽 픽셀을 매칭하여 시차(disparity)를 계산하는 실시예를 도시하고 있는데, 제1 적외선 이미지와 제2 적외선 이미지의 해상도가 상이한 경우, 양 픽셀의 매칭이 부정확할 수 있다.
이에, 본 발명에 따른 스테레오 적외선 카메라는 윤곽 픽셀 정보를 이용하여 피사체의 중심 픽셀 정보를 획득하고, 중심 픽셀 정보를 이용하여 양 카메라간 해상도 차이로 인해 매칭이 부정확한 것을 상쇄하고자 한다.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 적외선 이미지 및 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 추출할 수 있다. (S401)
또한, 경우에 따라서, 본 발명에 따른 적외선 스테레오 카메라는 머신러닝을 활용하여 객체를 인식하고 상기 객체를 포함하는 동일 프레임의 윤곽 정보를 획득할 수 있다.
여기서, 제1 적외선 이미지가 제2 적외선 이미지보다 해상도가 높은 경우, 제1 적외선 이미지에서 피사체의 윤곽 픽셀은 제2 적외선 이미지에서 피사체의 윤곽 픽셀과 매칭이 부정확할 수 있다. 이를 보정하기 위해서, 상기 제어부는 제1 적외선 이미지 및 제2 적외선 이미지 각각에서 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 추출할 수 있다. (S402)
피사체의 중심 픽셀은 피사체의 윤곽 픽셀로부터의 거리의 합이 최소가 되는 픽셀일 수 있다. 피사체의 윤곽 픽셀은 폐곡선을 형성하는 복수의 픽셀일 수 있지만, 피사체의 윤곽 픽셀 중 복수의 특장점(keypiont)일 수 있다.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 적외선 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀간 위치 관계를 통해, 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S403)
구체적으로, 상기 제어부는 제1 적외선 이미지에서 피사체의 중심 픽셀과 제2 적외선 이미지에서 피사체의 중심 픽셀을 대응시키고, 제1 적외선 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀의 상대 위치 관계를 확인하고, 상기 상대 위치 관계를 통해 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.
여기서 피사체의 윤곽 픽셀 정보는 피사체의 윤곽을 구성하는 픽셀의 평면 좌표 상의 위치 정보를 포함할 수 있다.
제어부는 제2 적외선 이미지에서 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 통해 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합할 수 있다. (S404)
여기서 제2 적외선 이미지를 상기 제2 적외선 이미지를 정합하는 것은 기존의 스테레오 비전 연산을 위해 사용되는 에피폴라 기하학(epipolar geometry)를 이용할 수 있으며, 정합 매트릭스를 구현하는 매칭 포인트로 상기 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 이용할 수 있다.
제1 적외선 이미지와 상기 제2 적외선 이미지를 정합한 후, 제어부는 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다. (S405)
본 발명에 따른 적외선 스테레오 카메라는 제1 적외선 카메라와 제2 적외선 카메라가 기 설정 거리를 가지고 고정되어 흔들림 정도가 동일할 수 있다.
이에, 본 발명은 해상도가 높은 제1 적외선 카메라를 이용하여 제2 적외선 카메라의 흔들림 정보를 보정하여 피사체의 거리 정보를 보다 정확하게 획득하는 방법을 살펴본다.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 적외선 카메라)를 기준으로 저해상도 카메라(제2 적외선 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.
본 발명에 따른 적외선 스테레오 카메라가 지속적으로 움직이는 차량에 탑재 되어 있는 경우, 고해상도를 가지는 제1 적외선 카메라를 기준으로 흔들림 정보를 추출하고, 이를 통해 제2 적외선 카메라의 흔들림 정보를 보정함이 보다 정확하게 피사체의 거리를 획득할 수 있다.
이를 위해, 본 발명에 따른 적외선 스테레오 카메라의 제어부는 기 설정 시차를 두고 연속적으로 촬영된 제1 적외선 이미지를 통해 제1 적외선 카메라의 흔들리 정보를 획득할 수 있다.(S501)
기 설정 시차를 두고 연속적으로 촬영된 제1 적외선 이미지는 기 설정 시차를 두고 N번째 획득된 제1 적외선 이미지 및 N+1번째 획득된 제1 적외선 이미지 일 수 있다.
제1 적외선 카메라의 흔들림 정보는 N번째 획득된 제1 적외선 이미지와 N+1번째 획득한 제1 적외선 이미지간 특장점(keypiont)의 움직임 정보를 통해 획득할 수 있다.
상기 제어부는 제1 적외선 카메라의 흔들림 정보를 이용하여 제2 적외선 이미지에서 피사체의 중심 픽셀 정보를 보정할 수 있다. (S502)
예를 들어, 제1 적외선 카메라가 N번째 제1 적외선 이미지를 획득하고 N+1번째 제1 적외선 이미지 획득하는 동안 평면 좌표상에서 dx_N, dy_N만큼 이동 하는 경우, N번째 제2 적외선 이미지와 N+1 번째 제2 적외선 이미지간 흔들림 정보를 dx_N, dy_N에 대응되도록 N+1번째 제2 적외선 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.
제1 적외선 카메라의 흔들림 정도에 대응되도록 보정된 N+1 번째 제2 적외선 이미지에서 획득한 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 획득할 수 있다. 즉, N+1 번째 제2 적외선 이미지에서 획득한 피사체의 중심 픽셀은 제1 적외선 카메라의 흔들림 정보를 통해 보정될 수 있다.
여기서 N번째 제2 적외선 이미지는 N 번째 제1 적외선 이미지와 동일 시각에 획득되며, N+1 번째 제2 적외선 이미지는 N+1 번째 제1 적외선 이미지와 동일 시각게 획득된다.
즉, 본 발명의 적외선 스테레오 카메라는 제1 적외선 카메라와 제2 적외선 카메라가 해상도가 상이하여 제1 적외선 카메라에서 획득한 흔들림 정보과 제2 적외선 카메라에서 획득한 흔들림 정보가 상이함에 따라 피사체 거리를 측정하는데 계산 값이 상이한 것을 방지하기 위함이다.
상기 제어부는 제2 적외선 이미지에서 보정된 중심 픽셀 정보를 통해 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S503) 구체적으로, 제1 적외선 이미지에서 획득한 피사체의 중심 픽셀과 제2 적외선 이미지의 보정된 중심 픽셀을 대응시키고, 제1 적외선 이미지에서 획득한 중심 픽셀과 윤곽 픽셀간 상대 위치 정보를 통해 제2 적외선 이미지에서 획득한 윤곽 필셀 정보를 보정할 수 있다.
상기 제어부는 제2 적외선 이미지에서 제1 적외선 카메라의 흔들림 정보를 반영하여 보정된 피사체의 중심 픽셀과, 제1 적외선 이미지에서 중심 픽셀과 윤곽 픽셀간 상대 위치를 통해 보정된 피사체의 윤곽 픽셀을 이용하여 제2 적외선 이미지를 제1 적외선 이미지에 정합할 수 있다.(S504)
이때, 정합하는 과정은 도 4에서 설명한 S404와 동일할 수 있다.
상기 제어부는 제2 적외선 이미지를 제1 적외선 이미지에 정합하고 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다.
이상에서는 해상도가 상이한 적외선 카메라를 이용하되, 고해상도 기준으로 피사체의 거리 정보를 추출하는 본 발명의 특징을 살펴보았다.
이하에서는 두 대의 적외선 카메라를 이용하여 특정 가스의 농도를 측정하는 본 발명의 특징을 살펴본다.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다.
광원이 가스에 조사되는 경우, 가스의 종류에 따라 흡수되는 파장이 다를 수 있다. 종류에 따라 상이하지만 가스에서 흡수하는 파장은 대부분 적외선 범위에 있어 적외선을 광원으로 이용함이 가스의 종류를 분류하는데 용이할 수 있다.
특정 가스를 통과한 적외선이 적외선 카메라에서 흡수되는 경우, 특정 가스에 대응되는 파장을 제외하여 흡수하여 흡수한 광량이 달라질 수 있다.
따라서, 단일의 적외선 카메라를 통해서 가스의 분포가 상이한 영역을 살펴보면, 가스가 분포한 형태를 확인할 수 있다.
다만, 단일의 적외선 카메라는 가스의 종류를 확인할 수 없다는 단점이 있다. 또한, 가스가 적외선 카메라를 통해 본 영역에 고르게 분포하는 경우, 가스의 유무를 확인할 수 없다는 단점이 있다. 또한, 가스가 특정 지역에 존재하는 것을 확인하였다 하더라도 해당 지역에 가스의 농도가 어떻게 되는지 확인할 수 없다는 단점이 있다.
따라서, 본 발명은 두 대의 적외선 카메라를 이용하여 가스의 종류 및 농도를 확인할 수 있는 방법을 제안하고자 한다.
도 1을 참고하면, 제2 적외선 카메라(120)는 적외선을 흡수하는 경로 상에 특정 파장 범위만을 통과시키는 필터(200)를 더 포함할 수 있다.
필터(200)는 특정 가스가 흡수하는 특정 자장 범위만을 통과시키는 역할을 수행할 수 있으며, 이를 통해 본 발명은 특정 가스의 농도를 측정할 수 있다.
제어부(130)는 제1 적외선 이미지 및 제2 적외선 이미지에서 필터(200)에 대응되는 영역에 입사되는 광량을 비교하여 필터(200)에 대응되는 특정 가스의 농도를 측정할 수 있다.
특정 가스의 농도를 측정하는 방법은 이하 도 7을 통해 살펴본다.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.
도 7(a)는 일반적으로 특정 온도의 흑체에서 방사하는 파장(λ)과 세기(I) 관계를 살펴본 분광 그래프이며, E_t는 적외선 카메라를 통해 흡수되는 파장 대역에서 적외선 카메라에서 흡수된 광량을 의미하며, e_i는 특정 가스에서 흡수되는 파장 대역에서 적외선 카메라가 흡수한 광량을 의미한다.
적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우, 그 농도에 따라 도 7(b)와 같이 분광 그래프가 형성될 수 있다. 적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우 특정 가스에서 흡수하는 파장은 세기가 적게 측정될 수 있다.
따라서, 특정 가스가 흡수하는 파장에서 세기가 감소하는 것을 분광 그래프에서 확인할 수 있다. 구체적으로, 도 7(b)에서 첫 번째 그래프는 특정 가스의 농도가 작은 것을 의미하며, 두 번째 그래프는 특정 가스의 농도가 큰 것을 의미한다.
단일의 적외선 카메라는 픽셀간 흡수하는 광량의 차이를 통해서 가스의 분포를 알 수 있지만, 가스의 유무에 따라서 동일 픽셀에 들어오는 광량의 차이를 알 수 없다.
따라서, 단일의 적외선 카메라는 도 7(a) 대비 도 7(b)의 E_t를 측정하여 특정 가스의 종류 및 농도를 측정할 수 없다.
따라서, 본 발명은 두 대의 적외선 카메라에서 하나에만 특정 가스에 대응되는 필터(200)를 구비하고, 양 적외선 카메라에서 대응 픽셀간 광량 차이를 통해 특정 가스의 종류 및 농도를 측정하고자 한다.
도 7(c)는 필터를 구비한 적외선 카메라에 대응되는 분광 그래프이다.
구체적으로, 도 7(c)의 첫 번째 그래프는 도 7(b)의 첫 번째 그래프에 대응되는 그래프로, 도 7(b)의 첫 번째 그래프는 제1 적외선 카메라에 대응되는 분광 그래프이면, 도 7(c)의 첫 번째 그래프는 제2 적외선 카메라에 대응되는 분광 그래프이다.
또한, 도 7(c)의 두 번째 그래프는 도 7(b)의 두 번째 그래프에 대응되는 그래프로, 도 7(b)의 두 번째 그래프는 제1 적외선 카메라에 대응되는 분광 그래프이면, 도 7(c)의 두 번째 그래프는 제2 적외선 카메라에 대응되는 분광 그래프이다.
즉, 제1 적외선 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 흡수하는 빛의 세기가 감소한 상태로 피사체에서 방사하는 파장을 흡수할 수 있다.
이때, 제2 적외선 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 피사체에서 방사하는 빛의 세기를 흡수할 수 있다.
제어부는 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 차이를 통해 특정 가스의 종류 및 농도를 확인 할 수 있다.
예를들어, 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 차이가 제1 적외선 카메라와 제2 적외선 카메라의 성능 및 설정 값의 차이에 따른 것이 아니라면, 제어부는 특정 가스의 유무를 확인 할 수 있다.
또한, 제1 적외선 카메라와 제2 적외선 카메라간 대응되는 픽셀간 흡수한 광량의 비를 통해 해당 특정 가스의 농도를 환산하여 산출할 수 있다.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.
도 1을 참조하고 본 발명에 따른 적외선 스테레오 카메라는 제1 적외선 카메라(110) 및 제2 적외선 카메라(120)를 포함할 수 있으며, 제2 적외선 카메라(120)는 피사체가 방사하는 파장의 흡수하는 경로 상에 특정 가스에서 흡수하는 파장만을 통과시키는 필터(200)를 포함할 수 있다.
필터(200)는 도 8(a)와 같이 하나의 특정 가스만을 대상으로 하는 필터일 수 있다.
필터(200)는 제2 적외선 카메라에서 획득하는 적외선 이미지의 전 영역에서 특정 가스가 흡수하는 파장 외 파장을 필터링 하거나, 일부 영역에서 필터링 할 수 있다.
경우에 따라서, 필터(200)는 도 8(b)와 같이 복수의 특정 가스를 대상으로 하는 복수의 필터(201 내지 204)를 포함할 수 있다. 복수의 필터(201 내지 204)는 각각 상이한 특정 가스에 각각 대응되는 필터로 복수의 특정 가스는 각각 흡수하는 파장이 상이할 수 있다.
이때, 필터(200)는 복수의 필터(201 내지 204)가 동일 평면상에 구비되어 적외선 이미지에서 대응되는 영역이 상이하게 구비될 수 있다. 즉, 제어부는 제2 적외선 이미지에서 제1 필터(201)을 통과한 파장을 흡수한 픽셀 정보와 이에 대응되는 제1 적외선 이미지의 픽셀 정보를 비교하여 제1 필터(201)를 통과하는 파장을 흡수하는 특정 가스의 유무 및 농도를 확일 할 수 있다.
필터(200)가 복수의 필터(201 및 202)를 포함하는 경우, 격자 패턴을 형성하며 동일 평면상에 구비될 수 있다. 이는 특정 가스가 적외선 이미지에서 특정 영역에 집중하여 분포하는 경우 측정된 특정 가스의 유무 및 농도의 부정확성을 개선하기 위함이다.
또한, 필터(200)가 복수의 필터(201 및 202)를 포함하는 경우, 도 8(c)와 같이 적외선 이미지의 각 픽셀에 대응되도록 각각의 필터가 구비될 수 있다.
본 발명에 따른 적외선 스테레오 카메라는 화재 시 특히 유용하게 사용될 수 있다. 이를 위해 도 9 내지 도 12를 통해 본 발명의 유용성을 살펴본다.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100a 내지 100e)를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.
본 발명에 따른 적외선 스테레오 카메라(100a 내지 100e)는 동일 공간에 하나 구비될 수 있지만 도 9와 같이 복수 개 구비되어 서로 네트워크 연결되는 경우 보다 용이할 수 있다.
본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100a 내지 100e)는 연소 초기에 용이하게 대응하여 사용자가 빠르게 대응할 수 있도록 할 수 있다.
화재 발생 순서를 도 10을 통해 살펴보면, 화재는 연소가 개시되면 초기에는 연소 지점이 화염 없이 특정 온도 이상으로 올라갈 수 있다. (1 구간) 기종의 화재 경보 시스템은 상기 1 구간이 지나 화염이 발생한 후에 경보하는 것이 일반적이었다. 다만, 이러한 경우 화재 초기 대응이 늦어지는 단점이 있다.
따라서, 화재 초기에 용이하게 대응하기 위해서는 제1 구간에서 화재 여부를 조속하게 발견하는 것이 중요하다.
이에 본 발명은 상기 1구간에서 화염이 없더라도 화재 시 발생하는 가스의 농도가 증가함을 이용하여 화재 여부를 조속히 검지하고 경보할 수 있다.
구체적으로, 본 발명의 적외선 스테레오 카메라(100a 내지 100e)는 특정 온도 이상의 열원을 감지한 경우(S602), 화재 시 발생하는 가스 농도를 측정하고(S601), 화재를 감지한 경우 연소 개시, 화염 발생, 연소 최대, 화염 소멸 및 연소 소멸 시점에 대응하여 후속 조치를 취할 수 있다(S603).
상기 제1 구간에서 적외선 스테레오 카메라는 통신할 수 있는 외부 기기로 연소 개시 정보를 제공하고 대응되는 후속 조치를 취할 수 있도록 할 수 있다. 대응되는 후속 조치로는 화재 의심 지역 정보 제공, 가스 농도 변화 정보, 화재 초기 경보 등의 조치일 수 있다.
도 12는 외부 기기를 통해 제공되는 화염 발생 위치 정보 및 온도, 해당 공간 내에 사람이 존재하는지 여부 및 그 위치, 가스 종류 및 농도 정보를 제공하는 일 실시예를 도시하고 있다. 경우에 따라서, 상기 정보는 3차원 공간 상에 제공될 수 있다. 또한, 기 저장된 사람 정보를 통해 해당 공간 내제 존재하는 사람을 분간하고, 해당 사람 및 관련 사람에게 정보를 제공할 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 적외선 스테레오 카메라 110: 제1 적외선 카메라
120: 제2 적외선 카메라 130: 제어부
200: 필터 300: 피사체
400: 전체 촬영 영역
120: 제2 적외선 카메라 130: 제어부
200: 필터 300: 피사체
400: 전체 촬영 영역
Claims (17)
- 피사체를 캡쳐하여 제1 적외선 이미지를 획득하는 제1 적외선 카메라;
상기 제1 적외선 카메라에 이격되어 구비되고, 특정 가스가 흡수하는 파장만 통과하는 필터모듈을 포함하며, 상기 피사체를 캡쳐하여 제2 적외선 이미지를 획득하는 제2 적외선 카메라;
상기 제1 적외선 카메라 및 상기 제2 적외선 카메라로부터 수신한 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 거리 정보 또는 특정 가스의 농도 정보 중 적어도 하나를 추출하는 제어부;를 포함하고,
상기 필터모듈은 흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터가 격자로 배치되고,
상기 제어부는
상기 제1 적외선 이미지 및 상기 제2 적외선 이미지를 정합하여 상기 피사체의 거리 정보, 또는 상기 제1 적외선 이미지 및 상기 제2 적외선 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여 특정 가스의 농도 정보 중 적어도 하나를 추출하는 것을 특징으로 하는 공간 정보 인식 장치. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 복수의 필터는 상기 제2 적외선 이미지의 각 픽셀에 대응되도록 구비되는 것을 특징으로 하는 공간 정보 인식 장치.
- 제1 항에 있어서,
상기 제어부는
상기 제2 적외선 이미지에서 상기 피사체의 특정 픽셀을 상기 제1 적외선 이미지에 정합하고, 스테레오 비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제6항에 있어서
상기 피사체의 특정 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀인 것을 특징으로 하는 공간 정보 인식 장치.
- 제7항에 있어서,
상기 중심 픽셀은 복수의 상기 윤곽을 구성하는 픽셀로부터 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 공간 정보 인식 장치.
- 제7항에 있어서,
상기 제어부는
상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제9항에 있어서,
상기 제어부는
상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제6 항에 있어서,
상기 제어부는
기 설정 시차를 두고 연속적으로 촬영된 상기 제1 적외선 이미지를 통해 상기 제1 적외선 카메라의 흔들림 정보를 추출하고,
상기 제1 적외선 카메라의 흔들림 정보에 기초하여 상기 제2 적외선 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제 11항에 있어서,
상기 제어부는
상기 제1 적외선 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 적외선 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제12항에 있어서
상기 제어부는
상기 제1 적외선 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 적외선 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제13항에 있어서,
상기 제어부는
상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 적외선 이미지를 상기 제1 적외선 이미지에 정합하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제6항에 있어서,
상기 제1 적외선 카메라는 상기 제2 적외선 카메라 보다 해상도가 높은 것을 특징으로 하는 공간 정보 인식 장치.
- 제1항에 있어서,
상기 제1 적외선 카메라 및 상기 제2 적외선 카메라는
외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고,
상기 제어부는
특정 온도 이상이 감지되고, 화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 화재 정보를 상기 외부 기기로 제공하도록 상기 커뮤니케이션 유닛을 제어하는 것을 특징으로 하는 공간 정보 인식 장치.
- 제16항에 있어서,
상기 화재 정보는
연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 공간 정보 인식 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190013901A KR102668750B1 (ko) | 2019-02-01 | 2019-02-01 | 공간정보 인식장치 |
PCT/KR2020/001192 WO2020159165A1 (ko) | 2019-02-01 | 2020-01-23 | 적외선 스테레오 카메라 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190013901A KR102668750B1 (ko) | 2019-02-01 | 2019-02-01 | 공간정보 인식장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200095918A KR20200095918A (ko) | 2020-08-11 |
KR102668750B1 true KR102668750B1 (ko) | 2024-05-23 |
Family
ID=71841518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190013901A KR102668750B1 (ko) | 2019-02-01 | 2019-02-01 | 공간정보 인식장치 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102668750B1 (ko) |
WO (1) | WO2020159165A1 (ko) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102251307B1 (ko) * | 2020-09-10 | 2021-05-13 | 주식회사 콕스 | 거리측정 기능을 갖는 열상 카메라 시스템 |
JP7434138B2 (ja) * | 2020-11-17 | 2024-02-20 | 株式会社日立製作所 | 物体認識装置および物体認識方法 |
KR102487590B1 (ko) * | 2020-12-04 | 2023-01-13 | 주식회사 콕스 | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 |
KR102355884B1 (ko) * | 2021-01-26 | 2022-02-08 | (주) 플레이오니 | 인공지능을 이용한 화재 판정 방법, 장치 및 프로그램 |
WO2023210940A1 (ko) * | 2022-04-26 | 2023-11-02 | 삼성전자 주식회사 | 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법 |
CN116758079B (zh) * | 2023-08-18 | 2023-12-05 | 杭州浩联智能科技有限公司 | 一种基于火花像素的危害预警方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100301214A1 (en) * | 2009-06-02 | 2010-12-02 | Flir Systems Ab | Infrared camera for gas detection |
KR101012691B1 (ko) * | 2010-07-05 | 2011-02-09 | 주훈 | 3차원 입체 열상 카메라 시스템 |
KR101148799B1 (ko) * | 2011-09-21 | 2012-05-24 | 주식회사 창성에이스산업 | 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101314259B1 (ko) * | 2011-03-24 | 2013-10-02 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
KR101507416B1 (ko) * | 2012-12-07 | 2015-04-07 | (주)희스테크 | 가스 측정 장치 및 방법 |
KR101656711B1 (ko) * | 2015-08-31 | 2016-09-12 | 한밭대학교 산학협력단 | 열발산 피사체 검출 장치 및 그 제어 방법 |
KR101918887B1 (ko) * | 2017-09-19 | 2018-11-14 | 한국과학기술원 | 모노 적외선 카메라를 이용한 거리 측정 장치 및 그 방법 |
-
2019
- 2019-02-01 KR KR1020190013901A patent/KR102668750B1/ko active IP Right Grant
-
2020
- 2020-01-23 WO PCT/KR2020/001192 patent/WO2020159165A1/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100301214A1 (en) * | 2009-06-02 | 2010-12-02 | Flir Systems Ab | Infrared camera for gas detection |
KR101012691B1 (ko) * | 2010-07-05 | 2011-02-09 | 주훈 | 3차원 입체 열상 카메라 시스템 |
KR101148799B1 (ko) * | 2011-09-21 | 2012-05-24 | 주식회사 창성에이스산업 | 적외선 열영상 화재감지기 및 이를 이용한 화재 감지방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2020159165A1 (ko) | 2020-08-06 |
KR20200095918A (ko) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102668750B1 (ko) | 공간정보 인식장치 | |
US11796454B2 (en) | Gas leak emission quantification with a gas cloud imager | |
US9906718B2 (en) | Biomimetic integrated optical sensor (BIOS) system | |
CA2890559C (en) | Dual-band divided aperture infra-red spectral imaging system | |
CN202471261U (zh) | Ccd测温装置 | |
EP2375216B1 (en) | 3-D imaging system and method using partial-coherence speckle interference tomography | |
US8896701B2 (en) | Infrared concealed object detection enhanced with closed-loop control of illumination by.mmw energy | |
US20030067537A1 (en) | System and method for three-dimensional data acquisition | |
US20160086018A1 (en) | Facial recognition method and apparatus | |
EP2942615A1 (en) | Mobile gas and chemical imaging camera | |
CN107864375B (zh) | 带对准分析的成像设备 | |
EP2040094B1 (en) | Correlated ghost imager in the THz range | |
CN109937359A (zh) | 场景上的气体的检测 | |
US20230266172A1 (en) | Imaging Method and Device | |
CN112434598A (zh) | 一种非接触式体温测量方法和*** | |
US20030067538A1 (en) | System and method for three-dimensional data acquisition | |
CN108163223B (zh) | 一种便携式飞行器红外隐身性能评估装置和方法 | |
Tipper et al. | Novel low-cost camera-based continuous wave laser detection | |
Sadler et al. | Mobile optical detection system for counter-surveillance | |
CN207097004U (zh) | 一种人体特征红外消防探测仪 | |
Grönwall et al. | Measurements and analysis of active/passive multispectral imaging | |
Chun et al. | Polarization-sensitive infrared sensor for target discrimination | |
US20200204744A1 (en) | Broad band camera core | |
Kastek et al. | Passive signatures concealed objects recorded by multispectral and hyperspectral systems in visible, infrared and terahertz range | |
Kecskes et al. | Low-cost panoramic infrared surveillance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |