KR20140057225A - 열상과 다중센서를 이용한 cctv영상개선과 감시시스템활용 방법 - Google Patents

Abstract

본 발명은 열상센서와 과 다중 환경센서를 이용하여 동시에 취득되는 CCTV영상을 개선하여 안개, 운무, 먼지, 분진 등에 의해 흐려진 시야를 확보하여 맑고 깨끗한 화질로 개선함으로 화재 및 재해 사고시 현장 분석과 사고 분석을 원할히 할 수 있는 영상처리와 전송방식이 적용된 감시시스템 운용 방법에 관한 기술이다.

Description

열상과 다중센서를 이용한 CCTV영상개선과 감시시스템활용 방법 {Methods of CCTV video take advantage and Surveillance system improved using multi-sensor and thermal imaging}

본 발명은 합성영상을 이용한 영상감지시스템 및 방법에 관한 것으로서, 더욱 상세하게는 CCD 및 CMOS 카메라로 촬영된 실제영상과 열영상을 비롯한 다양한 센서를 통해 입력되는 영상 촬영 범위 내의 온도변화와 환경변화에 따른 자료를 합성하여 불꽃이 없는 상황에서와 분진 및 먼지, 안개 등 CCTV로 극복할 수 없었던 영역의 분석 내용을 감지하고 현장 상황을 보다 더 개선된 화질로 제공하는 방법에 관한 것이다

일반적으로 운용되는 화재감지기는 화재를 감지하여 화재신호를 직간접적으로 관리자 또는 소방관제센터로 화재경보를 한다. 이때, 화재신호에 따라 자동으로 옥내외의 소화설비인 스프링클러를 제어하여 화재를 진압한다.

일반적인 화재감지기는 소방시설이 설치된 건물의 내외에 다수의 수신기가 설치되어 있더라도, 이들 화재감지기간에 상호통신이 불가능하여 건물이용자에게 신속한 화재정보를 전달할 수 없고, 특히 화재의 최초 발생시간 및 발생장소가 전달되지 않는 문제점이 있다.

일반적인 CCTV 감시장치 또한 사고 발생에 대하여 정확한 인지가 쉽지 않고 특별히 안개, 분진, 먼지, 화재로 인한 재 등 환경적으로 영상검지를 방해하는 요소가 있을시 검지의 어려움을 겪고 있다.

화재 감지기를 비롯한 대부분의 감시,검지 장치들은 화재감지 및 상황을 알리는 것에 국한되어 있고, 다른 시스템과 유기적으로 결합하여 상호적으로 작용하기 어려운 문제가 있다.

화재 감시 시스템의 경우 각 지역의 소방관서에서는 119 지령실 및 관제센터를 운영하면서 화재신고 또는 화재 인식시 GPS, GIS 등을 이용하여 화재발생 위치 및 주변정보는 인지할 수 있으나, 현재 화재 상황에 대해서는 실시간 감지할 수 있는 시스템이 없다.

따라서 종래에는 특허등록 제1175202호(2012.08.13 등록)를 통하여 실시간으로 화재를 감지 및 모니터링 할 수 있는 시스템이 제안되었다. 하지만 상기 종래기술은 불꽃과 연기가 발생됨을 감지하여 화재를 감지하는 것으로서 불꽃과 연기가 발생되지 않더라도 온도가 높은 상태인 잠열 상태에 따른 화재가능성 여부를 감지할 수 없었다. 즉, 종래의 화재감지기술은 온도의 상승과 연기 및 불꽃을 감지해야만 화재를 경보하는 것으로서 화재 가능성이 높은 잠열의 감지장치나 방법이 전무하여 화재를 사전에 방지할 수 없는 문제점이 있었다. 또한 화재 시 상황을 진압 하기 위해 복구 및 구조 작업을 진행 중일 때 정확한 내부 상황을 전달해 주는 장치가 필요함에도 불구하고 화재 및 재해 발생시 시야가 흐려지는 CCTV를 그대로 활용하고 있어 인적 물적 손실을 가져온다는 문제점이 있다.

또한 종래에는 센서나 영상을 통하여 화재를 감지 및 경보하는 기술이 주를 이루었었다. 하지만 이와 같은 종래의 화재감지 및 경보장치에서 영상을 통한 화재감지장치는 빨간색의 의상이나 벽지를 화재로 인식하거나, 또는 음식의 조리과정에서 발생되는 연기를 화재발생에 따른 연기로 인식하기 때문에 정확도가 떨어진다

본 발명은 상기 서술한 종래 시스템의 문제점을 해결하기 위하여 고안된 것으로, 본 발명의 목적은 CCD나 CMOS로 촬영된 실영상과, 열상카메라를 통하여 촬영된 열영상을 혼합하고, 기타의 적외선 센서, 레이저 센서, 초음파 센서 및 2차원화 할 수 있는 다양한 센서들로부터 2차원 데이타를 수신하여 궁극적으로 실영상에 포함하여 합성하며, 센서와 열영상 데이타를 분석하여 실영상에서 구현할 수 없는 시야를 가리는 환경요소를 제거한 영상을 제공하여 화재 및 재해 상황 또는 위급상황에 대한 온전한 현장 영상을 실시간 제공하고 예방하는 목적으로 그 분석 방법을 제공하는 것이다

본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다.

본 발명에 따른 합성 영상을 이용한 화재 및 상황감지시스템에 있어서의 실시예는 다 수개가 설정된 구역 내에 각각 설치되어 해당 구역을 촬영하여 실영상 신호를 송신하는 실영상 카메라와, 온도에 따라서 서로 다른 색상으로 표시되는 열영상을 송신하는 열영상카메라를 구비하는 촬영부; 불꽃을 감지하는 불꽃센서와, 연기를 감지하는 연기센서, 적외선 센서 초음파 센서를 구비하는 센서부; 및 상기 촬영부의 실영상과 열영상, 센서 데이타를 합성한 합성영상과 상기 센서부의 감지신호를 통하여 화재 및 재해 발생여부를 판단하는 영상감지부를 포함하고, 상기 영상감지부는 상기 촬영부에서 인가되는 열영상과 실영상을 혼합하는 영상혼합수단; 상기 영상혼합수단의 합성 영상에 포함된 다 수개의 객체 중에서 불꽃 및 연기와 환경 인자를 분리 및 인식하는 객체인식수단; 및 상기 객체인식수단에서 분리된 상기 합성 영상의 불꽃 및 연기를 확인하여 상기 센서부에 연동하여 불꽃 및 연기를 확인하여 경보를 발령하는 제어수단을 포함한다. 또한 합성영상에서 환경인자와 열영상의 요소를 제거하여 선명한 실시간 영상을 재생해내는 재생수단이 포함되며, 이를 휴대 단말 및 운영 서버에 전송 저장하는 통신부가 포함된다.

본 발명의 다른 실시예에 있어서, 상기 영상믹싱수단은 실영상과 열영상에서 동일 프레임을 캡춰한 이미지를 합성하여 실영상에 열영상으로 촬영된 객체를 합성하는 것을 포함하며 역으로 열영상에 의해 왜곡된 실영상의 영상을 복구하는 특징을 포함한다.

본 발명의 또 다른 실시예에 있어서, 상기 화재 및 재해 감지시스템은 상기

영상혼합수단에서 혼합된 이미지와 분리된 이미지를 각각 디지탈 방식의 영상으로 변환하여 상기 제어수단에 인가하는 영상변환수단을 더 포함한다.

본 발명의 또 다른 실시예에 있어서, 상기 감지시스템은 상기 영상감지부에서 송신되는 혼합영상 및 개선영상 영상을 저장하는 영상저장부; 상기 영상저장부에 저장된 개선영상과 혼합 영상을 온라인에 게시 및 송신하는 영상서버; 및 상기 영상서버에 등록되어 상기 영상을 수신받는 휴대용 단말기를 더 포함한다.

본 발명의 또 다른 실시예에 있어서, 상기 휴대용 단말기는 상기 영상서버로부터 상기 제어수단에서 송신된 경보신호를 수신하여 출력하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 있어서, 상기 감지시스템은 상기 영상감지부로부터 상황발생지역을 구분하는 위치신호가 포함된 경보신호를 수신하여 경보를 발령하고, 디스플레이에 위치와 함께 경보를 표시하는 관리자단말기를 더 포함한다.

본 발명에 따른 합성영상을 이용한 감지방법의 바람직한 실시예는 실영상 카메라와 열영상카메라에서 촬영된 영상을 합성 및 변환하여 영상서버에 전송하는 영상처리단계; 상기 영상처리단계에서 합성 영상에 포함된 각각의 객체를 분류하여 불꽃 및 연기와 환경인자를 환경센서 데이타를 도움으로 인식하는 객체인식단계; 상기 객체인식단계에서 불꽃 및 연기와 위급상황이 감지되면 센서의 감지신호와 연동하여 화재와 사고발생 및 화재와 사고 발생가능성을 판단하는 센서연동단계; 및 상기 센서연동단계에서 경보를 발령 및 송신하는 통신단계를 포함하는 것이 바람직하다.

본 발명의 다른 실시예에 있어서, 상기 영상처리단계는 상기 실영상 카메라에서 촬영된 실영상과 열영상카메라에서 촬영된 열영상에서 동일 프레임의 영상을 캡춰하여 이미지로 변환시키는 영상캡춰단계; 상기 영상캡춰단계에서 캡춰된 이미지를 합성하여 두 개의 이미지를 하나의 이미지로 혼합하는 영상합성단계;

상기 영상합성 단계에서 영상을 디지탈 변환하고, 또한 기타 환경센서와 열영상 데이타를 통해 왜곡된 영상인자를 제거하여 영상을 재분리하는 단계; 분리 영상과 혼합영상을 각각 케이블 및 네트워크를 통하여 전송하는 전송단계를 포함한다.

본 발명의 또 다른 실시예에 있어서, 상기 객체 인식단계는 상기 영상처리단계에서 합성된 합성 영상에서 이미지 필터를 이용하여 이전 이미지와 현재 이미지를 비교하여 현재 이미지에서 추가 또는 변경된 객체를 판단하는 전처리 단계; 상기 전처리 단계 이후에서 현재이미지에서 화재 및 사고 상황에 의해 왜곡된 영상에서 불꽃와 연기 및 환경인자(먼지, 분진, 재)의 객체를 분리 및 인식하는 객체분리단계; 상기 객체 분리단계에서 분리된 객체가 위험요소인지 판단하는 판단단계; 및 상기 객체분리단계에서 분리된 객체가 연기 또는 환경인자(먼지, 재 등)인지를 판단하는 판단단계를 포함한다

본 발명은 상기 기술한 바와 같이 실영상 카메라에서 촬영된 실영상과 열

영상 카메라를 통하여 촬영된 열영상과 각종 센서를 통해 입력되는 환경데이타를 통하여 실시간 영상과 환경인자(먼지, 분진, 안개, 재)등을 제거한 선명한 화질의 영상을 동시 제공하고 정확한 현장상황 분석을 가능하게함으로써 화재 및 기타 사고 발생의 발생가능성을 감지하고 사고 발생 전후 조치에 대하여 적합한 장치로서 인적 물적 피해를 최소화할 수 있는 장점을 가진다

도 1은 본 발명에 따른 합성영상을 이용한 화재 및 사고감지시스템의 구성개념을 설명하기 위한 개략도,
도 2는 본 발명에 따른 합성영상을 형성하는 개념과 분리전송 저장하는 개념을 설명하기위한 개략도.
도 3은 본 발명에 따른 합성영상을 이용한 화재 및 사고 감시시스템의 운영 구성도
도 4는 본 발명에 따른 신호와 영상을 처리하는 프로그램운용 순서도

다음으로 본 발명에 따른 열상과 다중센서를 이용한 CCTV영상개선과 감시시스템활용 방법을 설명하기 위하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 합성영상을 이용한 화재 및 사고감지시스템의 구성개념을 설명하기 위한 개략도로서 센서부(11)에 포함된 CCD 또는 CMOS 실영상 취득부(12)와 볼로메타 등 열상센서로 구성된 열영상취득부(13), CdS물질계열로 이뤄진 열센서(14) 및 각종센서 취득부(14)를 통하여 열원이 감지되는 상황(화재상황) 및 운무, 안개, 먼지, 연기 등이 감지되는 이상상황에 대한 정보를 지역단말장치(15)로 전송되고 단말장치는 각종의 신호를 여과없이 저장하고 열영상센서부(13)와 실영상센서부(12)의 영상을 합성하고, 데이타를 압축하여 전송한다.

단말장치에서 발생되는 신호는 실영상, 합성영상, 열영상, 센서데이타가 포함되며 각각 Sync를 맞추어 데이타를 압축하여 중앙에 있는 시스템서버(16)으로 전송하게 된다.

시스템서버(16)는 단말장치로부터 수신한 데이타를 근거로 영상(열영상과 실영상)에서 객체를 구분하고, 실제 환경센서류(14)에서 전송되어진 정보를 토대로 실영상에 영상처리 데이타를 제공하여 준다. 실제 영상에서는 열영상을 포함한 환경센서류의 데이타를 바탕으로 환경인자(먼지, 수증기, 안개, 분진, 연기)에 대하여 분포도와 밀도를 포착하여 환경인자가 제거된 상태로 실영상을 재처리하여 생성한다.

시스템 서버에서 재작성된 실영상, 합성영상과 이벤트(화재 및 이상 상황발생 정보)등이 전송부(17)를 통해 외부로 전송된다. 분석부(18)에서는 합성영상과 실영상에서 구분한 객체의 거동을 분석하며 환경인자의 확장되어가는 실시간 변화량을 분석한다. 저장부(18)는 분석부의 계산에서 획득되는 데이타를 저장하는데 저장되는 데이타는 개선된 실영상, 합성영상, 환경인자의 변화값, 그리고 환경인자가 포함된 실영상데이타를 저장한다.

도 2는 본 발명에 따른 합성영상을 형성하는 개념과 분리전송 저장하는 개념을 설명하기위한 개략도로서 지역장치의 전반적인 기능구성을 설명하기 위한 도식이다. 도 2에서 센서 및 데이타 취득부(21)에서는 상기 도 1에서 표시된 센서부의 역할을 하며 시스템 내부적으로 분석부(22)에 해당되는 DSP 및 로직시스템으로 구성된 장치로 데이타가 전송된다. 분석부(22)에서는 센서부(11)에서 전달된 모든 데이타에 대하여 신호를 분석(23)하고 각종 신호에 대하여 전송 시간대에 따라 구분하고 재결합하는 신호sync 분석(24)과정을 지나게 된다. 신호의 Sync와 내용이 분석된 데이타는 각각의 전송 채널에 할당되어 신호채널이 분배(25)되며, 동시에 열영상과 실영상은 신호가 합성(26)되기도 한다.분석부(22)에서 작성된 데이타는 전송부(27)에서 영상을 생성하고(28) 각종류의 영상을 전송이 가능한 상태로 압축하고 전송대기(29)한다. 또한 중앙의 서버로 부터 하달받은 명령을 수행하기 위한 센서제어 송수신장치(30)에서 송수신 시작과 종료를 결정한다.

도 3은 본 발명에 따른 합성영상을 이용한 화재 및 사고 감시시스템의 운영 구성도로서 본 발명이 운영되는 실제 시스템의 구성도이다. 지역장치(40)에 해당되는 센서부(41)와 전처리부(42)는 상기 도 1과 도 2에서 상세한 설명을 마쳤으며, 지역장치로 부터 전송되어온 데이타는 관리단말기(43)로 전송되어오고 그 데이타는 곧바로 중앙 처리부(44)로 전송된다. 중앙처리부에는 영상서버(45)가 수신하여 데이타 저장서버(46)와 데이타 분석부(47)로 분리되어 진다. 데이타 분석부에서는 합성영상, 실영상, 열영상을 후처리하고 더불어 센서 데이타를 이용하여 실영상에서 환경인자를 제거 처리하는 영상처리를 담당한다. 새로 재생되는 신규 실영상은 영상테이타 부에 기록 저장된다. 중앙처리부에서 처리된 영상과 이벤트 데이타는 데이타 전송부(48)를 통하여 유무선 통신을 활용하여 휴대 단말기(50)에 전송되어 위급상황에 대처할 수 있도록 조치한다.

도 4는 본 발명의 핵심요소로서 본 발명에 따른 신호와 영상을 처리하는 프로그램운용 순서도이다. 지역장치로 부터 Sync가 맞춰진 각종의 데이타가 프로토콜을 통해 시간과 내용이 요약되어 시스템에 도달(f02)하게 되면 합성된 데이타를 분리(f03)하기 시작한다. 신호분리는 1차적으로 영상신호(f04)와 환경센서 신호(f05)를 분리하게 되고, 열영상 신호(f06)와 실영상신호가 분리된다. 이때 열영상 신호는 온도에 따른 객체분류와 패턴을 분석한다(f07).

상기 열영상 패턴과 객체가 결정되면 합성영상에서 영상처리를 거처 실영상과 차이나는 부분에서의 영상차를 구한다(f09). 실영상과 합성영상에서의 영상차값에 열영상 객체특성과 패턴변화량이 가중치로 작용하게 되면 색상의 농도와 휘도등 색변화 방향을 제시하게 된다.

상기 제시되는 가중치 값은 실영상값에 가중계산되어 화재 또는 재해 및 기타 이벤트에 의해 시야가 흐려져 취득된 실영상 값에 선명도를 높여 주게 된다. 이렇게 획득된 영상을 별도의 영상처리(f10)를 통해 데이타를 분석하여 이벤트 상황에 대한 실시간 모니터링이 가능한 내용과 정보를 표시하여 준다. 이때에 이벤트상황에 대한 간주는 이벤트 조건식을 통하여 상황분석1(f11)을 통해 이벤트 발생 유무를 파악하게 된다.

또한 실영상으로 구분 할 수 없는 위험요소로는 화재 및 가스 누출 등에 의해 비정상적으로 관심구역이 온도가 상승되거나 냉각되는 경우를 열영상센서가 확인 할 수 있는데 이러한 별도의 상황은 상황분석2(f12)를 통해 이벤트 발생 유무를 파악하게 된다. 실시간으로 실영상과 열영상을 통해 얻어진 이벤트 정보는 경보에 준하는 이벤트 발생시 본 발명에 설명된 방식으로 외부로 네트워크를 통해 전달하게되는 경보발생(f13) 단계가 있다. 이때에는 경보의 내용을 포함하고 실시간 실영상과 개선된 실영상을 동시에 전송한다(f14).

Claims (4)

1. 본 발명에서 상기 기술된 열영상과 실영상을 합성하는 기술내용과 환경센서류의 정보를 통해 환경가중치 값을 정의하는 기술의 범위를 포함하고 환경가중치 값을 통해 실영상의 영상 개선을 이루려는 기술적 방법
2. 1항의 기술적 방법에 기인하는 이벤트 발생조건을 조합하는 영상분석 방법으로 개선된 실영상속에서 객체를 인지하고 인지된 객체의 특성이 실영상에서 어떠한 변화로 추정되는지를 추적하는 기술적 방법
3. 1항과 2항의 기술적 방법을 이루기 위해 영상취득부에서 실영상과 열영상 그리고 합성영상을 동시에 압축하고 전송하는 기술적 방법
4. 1항과 2항 3항을 통해 지역장치와 중앙장치간에 신호분리를 위하여 합성된 신호를 분류하는 프로토콜 지정방식

Images