KR102050821B1 - Ptz 카메라를 이용한 화재 검색 방법 - Google Patents

Ptz 카메라를 이용한 화재 검색 방법 Download PDF

Info

Publication number
KR102050821B1
KR102050821B1 KR1020180024788A KR20180024788A KR102050821B1 KR 102050821 B1 KR102050821 B1 KR 102050821B1 KR 1020180024788 A KR1020180024788 A KR 1020180024788A KR 20180024788 A KR20180024788 A KR 20180024788A KR 102050821 B1 KR102050821 B1 KR 102050821B1
Authority
KR
South Korea
Prior art keywords
fire
image
photographing unit
detection step
ptz camera
Prior art date
Application number
KR1020180024788A
Other languages
English (en)
Other versions
KR20190103855A (ko
Inventor
손경식
정해준
김강진
장혁
최환수
Original Assignee
주식회사 비젼하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비젼하이텍 filed Critical 주식회사 비젼하이텍
Priority to KR1020180024788A priority Critical patent/KR102050821B1/ko
Publication of KR20190103855A publication Critical patent/KR20190103855A/ko
Application granted granted Critical
Publication of KR102050821B1 publication Critical patent/KR102050821B1/ko

Links

Images

Classifications

    • G06K9/00765—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

PTZ 카메라를 이용한 화재 검색 방법이 개시된다. 본 발명은 촬영부 및 영상 분석 장치를 미리 딥러닝 훈련하는 훈련 단계; 상기 촬영부에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계; 상기 영상 분석 장치에 의해 1차 검출 단계에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계 및 상기 2차 검출 단계에서 판별된 화재 발생 지역을 촬영하도록 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계 및 화재 여부를 판단하는 화재 여부 판단 단계를 포함하여, 지능형 PTZ 카메라를 포함하는 촬영부와 영상 분석 장치간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높일 수 있는 PTZ 카메라를 이용한 화재 검색 방법을 제공한다.

Description

PTZ 카메라를 이용한 화재 검색 방법{METHOD OF SEARCHING FIRE IMAGE BASED ON IMAGING AREA OF THE PTZ CAMERA}
본 발명은 화재 검출 방법에 관한 것으로, 보다 상세하게는 PTZ 카메라의 촬영 영역을 기반으로 화재 발생 지역을 검출할 수 있는 PTZ 카메라를 이용한 화재 검색 방법에 관한 것이다.
일반적으로 석유화학이나, 가스, 정유관련 공장과 같은 현장 등에서는 수 많은 위험물질을 여러 공정에서 고온, 고압으로 취급하여, 항상 폭발에 의한 화재의 위험성을 가지고 있다.
또한 상기와 같이 폭발의 위험성을 가지고 있는 공장들은 현장의 폭발로 인해 발생되어 지는 주변의 공장이나 주택가에도 큰 영향을 미치며, 폭발로 인한 인명피해 및 재산피해는 실로 막대한 것이라 할 수 있다.
현재 이러한 산업현장에서 폭발로 인한 재해를 예방하기 위한 시스템은 단순히 CCTV의 설치를 통해 육안으로 보여지는 영상을 확인하고, 또한 다양한 센서를 통해 열감지를 하는 정도로만 되어 있을 뿐 실제 화재의 발생이 이루어질 수 있는 지역을 감시할 수 있을 만한 시설은 구비되어 있지 않아 항상 화재로 부터 노출되어지는 문제점이 제기 되었다.
한편, PTZ 카메라는 다양한 촬영 영역을 이동하면서 영상을 촬영할 수 있기 때문에, PTZ 카메라로 촬영된 영상은 다양한 촬영 영역에 대한 영상을 포함하고 있다. 따라서, 특정 영역에 대한 영상을 보기 위해서는 PTZ 카메라로 촬영된 영상 중 특정 영역에 대한 영상을 검색할 필요성이 있다.
따라서 PTZ 카메라를 활용한 다양한 화재 예방을 위한 다양한 시도가 진행 중에 있다.
따라서 이러한 문제점을 해결하기 위한 본 발명의 목적은 촬영부 및 영상 분석 장치를 미리 딥러닝 훈련하는 훈련 단계; 상기 촬영부에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계; 상기 영상 분석 장치에 의해 1차 검출 단계에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계 및 상기 2차 검출 단계에서 판별된 화재 발생 지역을 촬영하도록 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계 및 화재 여부를 판단하는 화재 여부 판단 단계를 포함하여, 지능형 PTZ 카메라를 포함하는 촬영부와 영상 분석 장치간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높일 수 있는 PTZ 카메라를 이용한 화재 검색 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여 본 발명은 촬영부 및 영상 분석 장치를 미리 딥러닝 훈련하는 훈련 단계; 상기 촬영부에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계; 상기 영상 분석 장치에 의해 1차 검출 단계에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계 및 상기 2차 검출 단계에서 판별된 화재 발생 지역을 촬영하도록 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계 및 화재 여부를 판단하는 화재 여부 판단 단계를 포함하되, 상기 2차 검출 단계(S300)는, 상기 촬영부(100)에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치(300)를 포함하고, 상기 영상 분석 장치(300)는, 불꽃 또는 연기를 배경과 분리하기 위해 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용하고, 상기 SRGB의 이미지는, (t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어지는 것이고, 상기 정밀 조절 단계(S400)는, 상기 촬영부(100)를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하되, 1차 검출 단계(S200) 및 2차 검출 단계(S300)에 의하여 분석하는 것으로서, 상기 2차 검출 단계(S300)에서 검출된 화재일 확률이 임계치 이상이면 해당 영역의 테두리(BoundBox) 중심점으로 촬영부(100)의 PTZ 카메라의 팬, 틸트를 조정하고 테두리(BoundBox) 크기에 비례하여 줌인(zoom in) 후 촬영하게 되며, 촬영부(100)에서는 확대된 영상을 토대로 다시 1차 검출 단계(S200)를 재수행한 후 촬영된 영상을 영상 분석 장치(300)로 전송하며, 상기 영상 분석 장치(300)에서는 전송받은 영상을 2차 검출 단계(S300)의 딥러닝으로 재수행하는 PTZ 카메라를 이용한 화재 검색 방법을 제공한다.
또한, 상기 촬영부는 한 대의 PTZ 카메라를 포함할 수 있다.
또한, 촬영된 영상을 NxN 영역으로 세부 분할하여 분석하되, N은 6으로 하여 화면을 가로 세로로 6 분할할 수 있다.
삭제
삭제
삭제
삭제
삭제
상기에서 설명한 본 발명의 PTZ 카메라를 이용한 화재 검색 방법에 의하면, 지능형 PTZ 카메라를 포함하는 촬영부와 영상 분석 장치간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높이고 아울러 한 대의 PTZ 카메라에서 온 영상만 분석하므로 고가의 장비를 구비하지 않아도 되고, 영상 분석 장치의 부하를 최소화 시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 PTZ 카메라를 활용한 화재 검색 시스템의 개략도이다.
도 2는 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법을 나타내는 흐름도이다.
도 3 및 도 4는 본 발명에 의한 훈련 단계를 설명하기 위한 다수개의 사진이다.
도 5 내지 도 7은 본 발명에 의한 촬영부를 설명하기 위한 다수개의 사진이다.
도 8은 본 발명에 의한 영상 분석 장치를 설명하기 위한 다수개의 사진이다.
도 9는 본 발명에 의한 정밀 조절 단계를 설명하기 위한 다수개의 사진이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
특히 본 발명은 화재를 높은 정확도로 검출하고 알람을 발생시키는 시스템 개발하는 것이다. 단 한 대의 PTZ(pan-tilt-zoom) 보안 카메라만을 사용하여 카메라의 설치장소의 360도 전방향에서 발생하는 화재를 검출이 가능하므로, 종래에 다수의 카메라를 설치해야 했던 화재 검출 시스템에 비하여 화재 방지를 위한 카메라 설치비용을 획기적으로 절감할 수 있는 것을 특징으로 한다.
이 경우 PTZ 카메라는 회전(rotation), 팬(pan), 틸트(tilt) 및 줌(zoom)의 제어가 가능한 카메라이다. 이 경우 회전, 팬, 틸트, 줌은 카메라 조작의 한 방법으로, 팬은 카메라를 좌우로 움직이는 제어 방법이고, 틸트는 카메라를 상하로 움직이는 제어 방법이며, 줌은 렌즈의 초점 거리를 변화시켜 촬영 대상의 크기를 조절하는 제어 방법이다. 일 예로 팬과 틸트 동작은 카메라를 지지하는 지지부를 제어함으로써 수행할 수 있다. 예를 들어, 카메라를 지지부에 고정하고 지지부를 좌우로 회전하여 팬 동작을 수행할 수 있으며, 지지부를 상하로 회전하여 틸트 동작을 수행할 수 있다. 줌 동작은 카메라의 렌즈의 초점 거리를 제어함으로써 수행할 수 있다. 이러한 제어 방법에 대하여는 잘 알려진 기술이므로, 본 발명에서의 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 PTZ 카메라를 활용한 화재 검색 시스템의 개략도이다.
즉 도 1과 같이, 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 시스템은 촬영부(100), 네트워크망(200), 영상 분석 장치(300), 영상 저장 서버(400) 및 사용자 입력장치(500)를 포함할 수 있다.
이 경우 본 발명에 의한 촬영부(100)는 화재 감시 대상이 되는 영역을 촬영할 수 있는 한 대의 카메라를 포함한다. 이러한 촬영부(100)의 카메라는 상술한 PTZ 카메라를 포함할 수 있어, 촬영부(100)에 의한 촬영장소의 360도를 감시 영역으로 한다.
영상 분석 장치(300)는 네트워크망(200)을 통하여 무선으로 촬영부(100)로부터 영상 정보를 획득할 수 있다. 예를 들어, 영상 분석 장치(300)는, 촬영부(100)로부터 감시 대상이 되는 전체 영역을 나타내는 영상을 획득하여, 영상을 토대로 특정 지역의 화재 여부를 분석하고 판별한다. 또한 영상 분석 장치(300)는 영상 저장 서버(400)에 화재 분석 정보를 저장한다.
영상 검색 장치(400)는 촬영부(100)로부터 촬영된 영상과, 영상 분석 장치(300)로부터 영상의 분석 정보를 저장하고, 저장된 영상 중 사용자가 원하는 영역에 대한 영상을 검색할 수 있는 장치이다. 또한 사용자는 사용자 입력장치(500)를 통해 영상 저장 서버(400)에 접속하여 검색하고자 하는 영역인 검색영역을 선택하고, 정보를 입력할 수 있다. 예를 들어, 사용자는 사용자 입력장치(400)를 이용하여 검색영역에 대한 확대 영상을 살펴볼 수 있고, 또한 영상 분석 장치(300)에 의한 분석된 정보가 저장된 영상 저장 서버(400)를 검색할 수 있다.
사용자 입력장치(500)는 사용자로부터 데이터를 획득하여 영상 검색 장치(200)에 전송할 수 있다. 사용자 입력장치(400)는 키보드, 또는 표시부(300)와 결합된 터치 패널 등을 포함할 수 있다. 사용자 입력 장치(400)는 사용자로부터 검색영역에 대한 정보를 입력받고, 이를 영상 검색 장치(200)에 전송할 수 있다.
이러한 사용자 입력장치(500)과 영상 저장 서버(400)는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
한편, PTZ 카메라는 다양한 촬영 영역을 이동, 회전하면서 영상을 촬영할 수 있기 때문에, PTZ 카메라로 촬영된 영상은 다양한 촬영 영역에 대한 영상을 포함하고 있다. 따라서 필요로 하는 화재가 발생된 특정 영역에 대한 영상을 보기 위해서는 PTZ 카메라로 촬영된 영상 중 화재 발생 영역에 대한 영상을 검색하고 분석할 필요성이 있다.
도 2는 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법을 나타내는 흐름도이다.
따라서 도 2와 같이, 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법은 촬영부(100) 및 영상 분석 장치(300)를 미리 딥러닝으로 학습하고 촬영 영상을 주기적으로 세부학습하는 훈련 단계(S100), 촬영부(100)에 의해 촬영된 영상을 다수개로 구분하여 1차로 화재 발생 지역을 검출하는 1차 검출 단계(S200), 상기 영상 분석 장치(300)에 의해 1차 검출 단계(S200)에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계(S300), 상기 화재 발생 지역을 촬영하도록 촬영부(100)를 정밀하게 조절하여 분석하는 정밀 조절 단계(S400) 및 화재 여부를 판단하는 화재 여부 판단 단계(S500)를 포함한다.
도 3 및 도 4는 본 발명에 의한 훈련 단계(S100)를 설명하기 위한 다수개의 사진이다.
우선 상기 훈련 단계(S100)에서는 딥러닝 모델을 활용하여 영상 분석 장치(300)를 훈련시키는 단계이다.
이 경우 딥러닝 모델은 도 3과 같은 ImageNet, MSCOCO, PASCAL VOC의 공개용 일반영상과 자체 수집한 화재 영상 등 100만장 이상의 영상학습 DB를 사용하여 다층의 CNN을 통한 영상 특징 추출용 신경망과 객체의 외곽을 둘러싸는 사각형 정보를 나타내는 신경망을 회귀 학습으로 함께 영상 분석 장치(300)를 훈련시킨다.
이 때 도 4와 같이, 기계학습의 Under-fitting 문제와 Over-fitting 문제를 해결하고 다양한 사물을 동시 분류 및 인식할 수 있도록 Data augmentation, Batch Normalization, Multi-Crop Adaptation, Fast Connection 등의 딥러닝 훈련 기술을 적용할 수 있다.
또한 본 발명은 훈련된 영상 분석 장치(300)을 활용하는 동시에 아래의 두가지 방법으로 구분하여 효율적으로 화재 발생 지역을 집중적으로 검출하고 있다.
즉 1차 검출 단계(S200)에서는 상기 촬영부(100)의 PTZ 카메라를 활용하는 것으로 촬영부(100)에 의해 촬영된 움직임의 발생, 색상히스토그램을 통해 auto preset 감시 중에 현재 preset 뷰에서의 1차 검지 위치를 영상 분석 장치(300)에 네트워크망(200)을 통해 전달한다.
이 때, 상기 촬영부(100)는 도 5와 같이, 촬영된 영상을 NxN 영역으로 세부 분할하여 분석하게 된다. 이 경우 분할 값인 N은 도 5와 같이, 6을 기본값으로 하여 화면을 가로 세로로 6분할하는 것이 바람직하다.
또한 이러한 세부 분할 영역에서 도 6과 같이, 각각 HSI 컬러 히스토그램의 특징을 추출한 후 SVM 선형 분류를 통해 임계치 확률 이상의 화재영역 검출하게 된다. 즉 촬영부(100)의 PTZ 카메라는 모션 발생에 따른 색상 히스토그램을 통해 NxN 분할 화면 역역 중 임계치 확률 이상의 화면 영역을 선별하게 된다.
이 후 도 7과 같이, 촬영부(100)는 임계치 확률 이상의 화재영역이 의심되는 세부영역에서 해리스(harris) 코너 검출기를 사용해 특징점들을 구하고 해당 특징점의 시간상 움직임을 검출하게 된다. 이 경우 화염은 상하좌우의 요동치는 움직임을 보이며, 연기는 좌상단, 우상단, 상단의 일정 방향으로 특징점이 이동하므로, 일정시간동안 이동량이 임계치 이상이되는 특징점이 정해진 개수 이상이면, 이 때 1차로 화재가 발생됨을 판단하게 되어 이러한 1차 화재 검출 정보와 촬영된 영상을 영상 분석 장치(300)로 송출하게 되고, 이러한 영상을 토대로 영상 분석 장치(300)에서 2차 검출 단계(S300)를 수행하게 된다.
상기 2차 검출 단계(S300)에서 영상 분석 장치(300)는 촬영부(100)에서 1차 검출 정보와 영상을 전송받으면, 딥러닝 모델을 사용하여 2차 정밀 검출을 시도하게 된다.
이 경우 영상 분석 장치(300)는 화재 시 요동치는 하얀 연기와 배경(background)를 분리하기 위한 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용한다. 이 때 본 발명의 특징으로 SRGB image는 촬영부(100)에서 전송받은 영상을 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어낸다. 예를 들면, 상기 SRGB의 이미지는 (t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어진다. 즉 상술한 SRGB image는 요동치는 화재 연기의 시간적 변화에 대한 특징을 얻기 위해 사용되는 것이다.
자세하게는, 도 8과 같이, 촬영부(100)에서 전송받은 영상에서 배경(background)은 움직임이 거의 없기 때문에 t, t-1, t-2 프레임에서 RGB(Red, Green, Blue) 성분의 변화가 거의 없으나, 요동치는 화염이나 연기의 경우에는 프레임마다 RGB 성분이 변한다. 이 경우 SRGB image의 해상도(dimension)는 정확한 검출을 확보하기 위해 최소 608x608x3 이상을 갖는 것이 바람직하다.
SRGB를 입력으로 하는 CNN의 각 layer의 output은 아래 식 (1)과 같이 표현할 수 있다. 즉 layer l의 node를 {1, 2, ..., j}라고 하고 layer l-1의 node를 {1, 2, ..., i}라고 할 때, 각 노드의 weight W와 bias b에 대해서 node의 output O는 아래와 같은 식 (1)의 형태를 갖는다.
Figure 112018021038838-pat00001
또한 layer l+1의 node를 {1, 2, ..., k}라고 할 때 estimation value O k 와 실제 label t k를 비교하여 아래식과 같이 loss function을 정의한다. loss function을 이용하여
Figure 112018021038838-pat00002
를 계산하고 최적의 parameter를 찾기 위해 back-propagation을 수행하여 parameter를 update한다. 마찬가지로 Box Regression을 위해 영상에서 검출하려는 객체의 폭 OW k 와 높이 OH b 를 참값과 비교하는 항을 loss function에 추가하여 아래와 같은 식 (2)를 도출한다.
Figure 112018021038838-pat00003
이러한 SRGB를 입력으로 하는 CNN의 구조를 보면 우선 SRGB를 생성한 후, 30개의 convolution layer 특징 추출 구조와 최종단의 detection 구조를 갖는다. 일 예로, kernel은 convolution 3x3의 size의 kernel을 사용하고 max-pooling은 2x2 size의 kernel을 사용한다. 그리고 각 CNN의 구조는 Batch Normalization을 적용하여 훈련과정을 최적화한다. 또한 layer의 activation function으로 RELU(rectified linear unit)를 사용한다.
이 때 화재 발생 영역을 자동으로 검출하기 위해 SRGB CNN 및 BoundBox Regression을 통해 0.01 FPR에서 약 84%의 재현율 구현하도록 조정하는 것이 바람직하다.
정밀 조절 단계(S400)에서는 도 9와 같이, 상기 1차 검출 단계(S200) 및 2차 검출 단계(S300)에서 검출된 화재 발생 영역을 팬, 틸트, 줌 제어로 PTZ 카메라를 화재 의심 영역으로 움직여 집중적으로 확대하여 촬영되도록 정밀 조정하는 단계이다.
즉, 정밀 조절 단계(S400)에서는 2차 검출 단계(S300)에서 검출된 화재일 확률이 임계치 이상이면 해당 영역의 테두리(BoundBox) 중심점으로 촬영부(100)의 PTZ 카메라의 팬, 틸트를 조정하고 테두리(BoundBox) 크기에 비례하여 줌인(zoom in) 후 촬영하게 되며, 촬영부(100)에서는 확대된 영상을 토대로 다시 1차 검출 단계(S200)를 재수행한 후 촬영된 영상을 영상 분석 장치(300)로 전송하게 된다. 또한 상기 영상 분석 장치(300)에서는 전송받은 영상을 2차 검출 단계(S300)의 딥러닝으로 재수행하게 된다. 즉 PTZ 카메라의 확대된 영상으로 1차 검출 단계(S200) 및 2차 검출 단계(S300)를 수행하므로 더욱 검출 정확도가 높아질 수 있는 것이다.
화재 여부 판단 단계(S500)에서는 상기 영상 분석 장치(300)에서 촬영부(100)의 PTZ 카메라에 대한 팬, 틸트, 줌을 제어하여 확대된 영상을 전송받아 이를 분석하여 화재 알람여부를 판단하는 단계이다.
이 경우 영상 분석 장치(300)에서 확대된 영역에 대한 2차 검출 단계(S300)를 재수행하여 이러한 딥러닝 결과도 화재일 가능성이 임계치 이상이면 알람을 발생하게 된다. 즉 상기 영상 분석 장치(300)는 화재일 가능성이 임계치 이상이면, 네트워크망(200)를 통하여 사용자 입력장치(500)로 무선으로 알람을 송부하며, 촬영부(100)의 근방으로 알람 신호(예컨대, 패턴화된 발광 또는 경보음 등)를 송출할 수 있다. 또한 영상 분석 장치(300)는 영상 저장 서버(400)에 화재 가능성의 장소, 시간 및 화재 가능성이 높은 장소의 영상을 저장하게 된다. 최초에 사용된 훈련 단계(S100)의 신경망은 2차 검출 단계(S300) 및 정밀 조절 단계(S400)에서 분석한 촬영영상과 이벤트 정보, 사용자 입력장치(500)에서 확인된 화재정보를 기반으로 주기적으로 자동세부학습되어 화재검출 정확도는 높이고 오검지는 줄이며 촬영부(100)가 정밀 조절 단계(S400)로 진입하는 횟수를 지능적으로 관리하게 된다.
이와 같은 지능형 PTZ 카메라를 포함하는 촬영부(100)와 영상 분석 장치(300)간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높이고 아울러 한 대의 PTZ 카메라에서 온 영상만 분석하므로 고가의 장비를 구비하지 않아도 되고, 영상 분석 장치(300)의 부하를 최소화 시킬 수 있는 효과가 있는 것이다.
이상에서 설명된 본 발명의 PTZ 카메라를 활용한 화재 검색 방법의 실시예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
100 : 촬영부
200 : 네트워크망
300 : 영상 분석 장치
400 : 영상 저장 서버
500 : 사용자 입력장치
S100 : 훈련 단계
S200 : 1차 검출 단계
S300 : 2차 검출 단계
S400 : 정밀 조절 단계
S500 : 화재 여부 판단 단계

Claims (8)

  1. 촬영부(100) 및 영상 분석 장치(300)를 미리 딥러닝 훈련하는 훈련 단계(S100)와;
    상기 촬영부(100)에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계(S200)와;
    상기 영상 분석 장치(300)에 의해 1차 검출 단계(S200)에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계(S300)와;
    상기 2차 검출 단계(S300)에서 판별된 화재 발생 지역을 촬영하도록 촬영부(100)를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계(S400)와;
    화재 여부를 판단하는 화재 여부 판단 단계(S500)를 포함하되,
    상기 2차 검출 단계(S300)는,
    상기 촬영부(100)에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치(300)를 포함하고,
    상기 영상 분석 장치(300)는,
    불꽃 또는 연기를 배경과 분리하기 위해 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용하고,
    상기 SRGB의 이미지는,
    (t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어지는 것이고,
    상기 정밀 조절 단계(S400)는,
    상기 촬영부(100)를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하되, 1차 검출 단계(S200) 및 2차 검출 단계(S300)에 의하여 분석하는 것으로서,
    상기 2차 검출 단계(S300)에서 검출된 화재일 확률이 임계치 이상이면 해당 영역의 테두리(BoundBox) 중심점으로 촬영부(100)의 PTZ 카메라의 팬, 틸트를 조정하고 테두리(BoundBox) 크기에 비례하여 줌인(zoom in) 후 촬영하게 되며, 촬영부(100)에서는 확대된 영상을 토대로 다시 1차 검출 단계(S200)를 재수행한 후 촬영된 영상을 영상 분석 장치(300)로 전송하며, 상기 영상 분석 장치(300)에서는 전송받은 영상을 2차 검출 단계(S300)의 딥러닝으로 재수행하는 PTZ 카메라를 이용한 화재 검색 방법.
  2. 청구항 1에 있어서,
    상기 촬영부(100)는 한 대의 PTZ 카메라를 포함하는 PTZ 카메라를 이용한 화재 검색 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 촬영부(100)는,
    촬영된 영상을 NxN 영역으로 세부 분할하여 분석하되, N은 6으로 하여 화면을 가로 세로로 6 분할하는 것을 특징으로 하는 PTZ 카메라를 이용한 화재 검색 방법.
  7. 삭제
  8. 삭제
KR1020180024788A 2018-02-28 2018-02-28 Ptz 카메라를 이용한 화재 검색 방법 KR102050821B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180024788A KR102050821B1 (ko) 2018-02-28 2018-02-28 Ptz 카메라를 이용한 화재 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180024788A KR102050821B1 (ko) 2018-02-28 2018-02-28 Ptz 카메라를 이용한 화재 검색 방법

Publications (2)

Publication Number Publication Date
KR20190103855A KR20190103855A (ko) 2019-09-05
KR102050821B1 true KR102050821B1 (ko) 2019-12-03

Family

ID=67949814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180024788A KR102050821B1 (ko) 2018-02-28 2018-02-28 Ptz 카메라를 이용한 화재 검색 방법

Country Status (1)

Country Link
KR (1) KR102050821B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037075A (ko) 2021-09-08 2023-03-16 현대오일뱅크 주식회사 자율 주행 순찰 차량의 비상정보 감지 및 경보장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517441A (zh) * 2019-09-26 2019-11-29 华南师范大学 基于深度学习框架嵌入式烟雾及火焰视频报警***及方法
CN111639620B (zh) * 2020-06-08 2023-11-10 深圳航天智慧城市***技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及***
CN111698483A (zh) * 2020-06-24 2020-09-22 广东电网有限责任公司 一种便携式电力设备视频检测装置及***
CN111523528B (zh) * 2020-07-03 2020-10-20 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
KR102470131B1 (ko) * 2020-11-05 2022-11-28 덕산메카시스 주식회사 레일로봇장치가 구비된 딥러닝 기반의 건물 관리 시스템
KR102352477B1 (ko) * 2021-09-24 2022-01-18 주식회사 넥스트케이 화재 오검지 조건을 고도화한 화재 검출 시스템
KR102651184B1 (ko) * 2021-11-24 2024-03-25 강원대학교산학협력단 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480729A (zh) * 2017-09-05 2017-12-15 江苏电力信息技术有限公司 一种基于深度时空域特征的输电线路山火检测方法
CN107609470A (zh) * 2017-07-31 2018-01-19 成都信息工程大学 野外火灾早期烟雾视频检测的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101070340B1 (ko) * 2009-12-29 2011-10-06 주식회사하이트론씨스템즈 도시철도의 화재 감지 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609470A (zh) * 2017-07-31 2018-01-19 成都信息工程大学 野外火灾早期烟雾视频检测的方法
CN107480729A (zh) * 2017-09-05 2017-12-15 江苏电力信息技术有限公司 一种基于深度时空域特征的输电线路山火检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037075A (ko) 2021-09-08 2023-03-16 현대오일뱅크 주식회사 자율 주행 순찰 차량의 비상정보 감지 및 경보장치

Also Published As

Publication number Publication date
KR20190103855A (ko) 2019-09-05

Similar Documents

Publication Publication Date Title
KR102050821B1 (ko) Ptz 카메라를 이용한 화재 검색 방법
US10204275B2 (en) Image monitoring system and surveillance camera
US8026945B2 (en) Directed attention digital video recordation
US8451329B2 (en) PTZ presets control analytics configuration
WO2016157327A1 (ja) 映像監視システム及び映像監視方法
KR101910542B1 (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
JP2006523043A (ja) 監視を行なう方法及びシステム
KR100834465B1 (ko) 움직임감지를 이용한 방범시스템 및 방법
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
KR20110048417A (ko) 퍼지 규칙을 이용한 화재 불꽃 감지 방법
KR101212082B1 (ko) 영상인식장치 및 그 영상 감시방법
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
JP3486229B2 (ja) 画像変化検出装置
KR101944374B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
US20200125879A1 (en) Apparatus and method for capturing flying objects
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
KR20080015994A (ko) 감시용 카메라의 근접 촬영 방법
KR20190026625A (ko) 영상 표시 방법 및 컴퓨터 프로그램, 그 기록매체
KR100982342B1 (ko) 지능형 방범 시스템 및 그 구동방법
KR101480636B1 (ko) 영상 감시 장치의 감시 방법
KR20160043484A (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
JP2008219452A (ja) カメラ監視装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant