KR20190103855A - Apparatus and method of searching fire image based on imaging area of the ptz camera - Google Patents
Apparatus and method of searching fire image based on imaging area of the ptz camera Download PDFInfo
- Publication number
- KR20190103855A KR20190103855A KR1020180024788A KR20180024788A KR20190103855A KR 20190103855 A KR20190103855 A KR 20190103855A KR 1020180024788 A KR1020180024788 A KR 1020180024788A KR 20180024788 A KR20180024788 A KR 20180024788A KR 20190103855 A KR20190103855 A KR 20190103855A
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- image
- ptz camera
- photographing unit
- detection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003384 imaging method Methods 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000010191 image analysis Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 239000000779 smoke Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000004880 explosion Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06K9/00765—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G06K9/00744—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H04N5/2259—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Emergency Management (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Fire-Detection Mechanisms (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 화재 검출 시스템에 관한 것으로, 보다 상세하게는 PTZ 카메라의 촬영 영역을 기반으로 화재 발생 지역을 검출할 수 있는 PTZ 카메라를 이용한 화재 검색 시스템 및 이를 이용한 화재 검색 방법에 관한 것이다.The present invention relates to a fire detection system, and more particularly, to a fire detection system using a PTZ camera and a fire detection method using the same that can detect a fire occurrence area based on the shooting area of the PTZ camera.
일반적으로 석유화학이나, 가스, 정유관련 공장과 같은 현장 등에서는 수 많은 위험물질을 여러 공정에서 고온, 고압으로 취급하여, 항상 폭발에 의한 화재의 위험성을 가지고 있다.In general, in the field such as petrochemical, gas, refinery related factories, many dangerous substances are treated at high temperature and high pressure in various processes, and there is always a risk of fire due to explosion.
또한 상기와 같이 폭발의 위험성을 가지고 있는 공장들은 현장의 폭발로 인해 발생되어 지는 주변의 공장이나 주택가에도 큰 영향을 미치며, 폭발로 인한 인명피해 및 재산피해는 실로 막대한 것이라 할 수 있다.In addition, the factories that have a risk of explosion as described above have a great impact on the surrounding factories or residential areas that are caused by the explosion of the site, and the casualties and property damage caused by the explosion can be enormous.
현재 이러한 산업현장에서 폭발로 인한 재해를 예방하기 위한 시스템은 단순히 CCTV의 설치를 통해 육안으로 보여지는 영상을 확인하고, 또한 다양한 센서를 통해 열감지를 하는 정도로만 되어 있을 뿐 실제 화재의 발생이 이루어질 수 있는 지역을 감시할 수 있을 만한 시설은 구비되어 있지 않아 항상 화재로 부터 노출되어지는 문제점이 제기 되었다.At present, the system to prevent the disaster caused by the explosion in the industrial site is simply to check the visual image through the installation of CCTV, and also to detect the heat through various sensors. There is no facility to monitor the area, which raises the problem of always being exposed to fire.
한편, PTZ 카메라는 다양한 촬영 영역을 이동하면서 영상을 촬영할 수 있기 때문에, PTZ 카메라로 촬영된 영상은 다양한 촬영 영역에 대한 영상을 포함하고 있다. 따라서, 특정 영역에 대한 영상을 보기 위해서는 PTZ 카메라로 촬영된 영상 중 특정 영역에 대한 영상을 검색할 필요성이 있다.On the other hand, since a PTZ camera can capture an image while moving various photographing regions, the image captured by the PTZ camera includes images of various photographing regions. Therefore, in order to view an image of a specific region, it is necessary to search for an image of a specific region among images captured by a PTZ camera.
따라서 PTZ 카메라를 활용한 다양한 화재 예방을 위한 다양한 시도가 진행 중에 있다.Therefore, various attempts to prevent fires using PTZ cameras are underway.
따라서 이러한 문제점을 해결하기 위한 본 발명의 목적은 촬영부 및 영상 분석 장치를 미리 딥러닝 훈련하는 훈련 단계; 상기 촬영부에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계; 상기 영상 분석 장치에 의해 1차 검출 단계에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계 및 상기 2차 검출 단계에서 판별된 화재 발생 지역을 촬영하도록 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계 및 화재 여부를 판단하는 화재 여부 판단 단계를 포함하여, 지능형 PTZ 카메라를 포함하는 촬영부와 영상 분석 장치간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높일 수 있는 PTZ 카메라를 이용한 화재 검색 시스템 및 이를 이용한 화재 검색 방법을 제공하는 것이다.Therefore, an object of the present invention for solving this problem is a training step of deep learning training in advance the imaging unit and the image analysis device; A primary detection step of dividing the image photographed by the photographing unit into NxN, and determining whether a specific region is fired among the images divided into trained CNNs based on the divided images; Shooting the second detection step to determine whether the fire by the CNN trained on the basis of the fire occurrence area for the area detected in the first detection step by the image analysis device and the fire occurrence area identified in the second detection step Cooperation between the image capture device and the image analysis device including an intelligent PTZ camera, including a precise control step of analyzing the image of the enlarged fire area by pan, tilt, and zoom control, and a fire determination step of judging the fire. It provides a fire search system using a PTZ camera and a fire search method using the same to increase the fire detection accuracy even using a single PTZ camera.
상기 첫 번째 목적을 달성하기 위하여 본 발명은 촬영부 및 영상 분석 장치를 미리 딥러닝 훈련하는 훈련 단계; 상기 촬영부에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계; 상기 영상 분석 장치에 의해 1차 검출 단계에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계 및 상기 2차 검출 단계에서 판별된 화재 발생 지역을 촬영하도록 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계 및 화재 여부를 판단하는 화재 여부 판단 단계를 포함하는 PTZ 카메라를 이용한 화재 검색 방법을 제공한다.In order to achieve the first object of the present invention, a training step of deep learning training the imaging unit and the image analysis device in advance; A primary detection step of dividing the image photographed by the photographing unit into NxN, and determining whether a specific region is fired among the images divided into trained CNNs based on the divided images; Shooting the second detection step to determine whether the fire by the CNN trained on the basis of the fire occurrence area for the area detected in the first detection step by the image analysis device and the fire occurrence area identified in the second detection step The present invention provides a fire detection method using a PTZ camera including a precise control step of analyzing an image of an enlarged fire area by controlling a pan, tilt, and zoom, and a fire determination step of determining a fire.
또한 상기 촬영부는 한 대의 PTZ 카메라를 포함할 수 있다.In addition, the photographing unit may include a single PTZ camera.
또한 상기 2차 검출 단계는, 상기 촬영부에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치를 포함할 수 있다.In the second detection step, the information captured by the photographing unit is transmitted to determine whether a fire is obtained by obtaining a characteristic about temporal change through different color channels matched at different times to separate a flame or smoke from a background. It may include an image analysis device.
또한 상기 영상 분석 장치는, 불꽃 또는 연기를 배경과 분리하기 위해 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용할 수 있다.In addition, the image analysis device may use a CNN that inputs SRGB (Sequential RGB) as a detection algorithm to separate the flame or smoke from the background.
또한 상기 SRGB의 이미지는, (t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어질 수 있다.In addition, the SRGB image is a combination of (t) the red channel of the frame (red), (t-1) of the green channel (Green channel) and (t-2) of the blue channel (Blue channel) Can be made.
촬영된 영상을 NxN 영역으로 세부 분할하여 분석하되, N은 6으로 하여 화면을 가로 세로로 6 분할할 수 있다.The captured image is analyzed by dividing the image into NxN areas in detail, but N may be divided into 6 to split the screen horizontally and vertically.
또한 상기 정밀 조절 단계는, 상기 촬영부를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하되, 1차 검출 단계 및 2차 검출 단계에 의하여 분석할 수 있다.In addition, the fine adjustment step, the pan, tilt, zoom control of the photographing unit to analyze the image of the enlarged fire occurrence area, it can be analyzed by the first detection step and the second detection step.
상기 두 번째 목적을 달성하기 위하여 본 발명은 한 대의 PTZ 카메라를 포함하고, 촬영된 영상을 NxN 영역으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 특정 지역의 화재 여부를 판별하여 영상 분석 장치로 전송하는 촬영부; 상기 촬영부에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치를 포함하는 PTZ 카메라를 이용한 화재 검색 시스템을 제공한다.In order to achieve the second object of the present invention, the present invention includes a PTZ camera, divides the photographed image into NxN regions, and determines whether or not a fire is fired in a specific region by a trained CNN based on the divided images. Shooting unit for transmitting; PTZ including an image analysis device for receiving the information photographed by the photographing unit, to determine whether the fire by obtaining the characteristics of the temporal change through different color channels matched at different times to separate the flame or smoke from the background Provides a fire detection system using a camera.
상기에서 설명한 본 발명의 PTZ 카메라를 이용한 화재 검색 시스템 및 이를 이용한 화재 검색 방법에 의하면, 지능형 PTZ 카메라를 포함하는 촬영부와 영상 분석 장치간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높이고 아울러 한 대의 PTZ 카메라에서 온 영상만 분석하므로 고가의 장비를 구비하지 않아도 되고, 영상 분석 장치의 부하를 최소화 시킬 수 있는 효과가 있다.According to the fire detection system using the PTZ camera of the present invention described above and the fire search method using the same, the fire detection accuracy even when using a single PTZ camera through the collaboration between the imaging unit and the image analysis device including the intelligent PTZ camera In addition, since only the image from one PTZ camera is analyzed, expensive equipment is not required, and the load of the image analyzing apparatus can be minimized.
도 1은 본 발명의 일 실시예에 따른 PTZ 카메라를 활용한 화재 검색 시스템의 개략도이다.
도 2는 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법을 나타내는 흐름도이다.
도 3 및 도 4는 본 발명에 의한 훈련 단계를 설명하기 위한 다수개의 사진이다.
도 5 내지 도 7은 본 발명에 의한 촬영부를 설명하기 위한 다수개의 사진이다.
도 8은 본 발명에 의한 영상 분석 장치를 설명하기 위한 다수개의 사진이다.
도 9는 본 발명에 의한 정밀 조절 단계를 설명하기 위한 다수개의 사진이다.1 is a schematic diagram of a fire detection system utilizing a PTZ camera according to an embodiment of the present invention.
2 is a flowchart illustrating a fire detection method using a PTZ camera according to the present invention.
3 and 4 are a plurality of pictures for explaining the training step according to the present invention.
5 to 7 are a plurality of photographs for explaining the photographing unit according to the present invention.
8 is a plurality of pictures for explaining the image analysis device according to the present invention.
9 is a plurality of photographs for explaining the precise adjustment step according to the present invention.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.In order to fully understand the present invention, preferred embodiments of the present invention will be described with reference to the accompanying drawings. Embodiment of the present invention may be modified in various forms, the scope of the invention should not be construed as limited to the embodiments described in detail below. This embodiment is provided to more completely explain the present invention to those skilled in the art. Therefore, the shape of the elements in the drawings and the like may be exaggerated to emphasize a more clear description. It should be noted that the same members in each drawing are sometimes shown with the same reference numerals. In addition, detailed descriptions of well-known functions and configurations that are determined to unnecessarily obscure the subject matter of the present invention are omitted.
특히 본 발명은 화재를 높은 정확도로 검출하고 알람을 발생시키는 시스템 개발하는 것이다. 단 한 대의 PTZ(pan-tilt-zoom) 보안 카메라만을 사용하여 카메라의 설치장소의 360도 전방향에서 발생하는 화재를 검출이 가능하므로, 종래에 다수의 카메라를 설치해야 했던 화재 검출 시스템에 비하여 화재 방지를 위한 카메라 설치비용을 획기적으로 절감할 수 있는 것을 특징으로 한다.In particular, the present invention is to develop a system for detecting fire with high accuracy and generating an alarm. Since only one pan-tilt-zoom (PTZ) security camera can be used to detect a fire that occurs in 360-degree directions of the camera's installation location, the fire is compared to the fire detection system, which required the installation of multiple cameras. It is characterized by dramatically reducing the installation cost of the camera for prevention.
이 경우 PTZ 카메라는 회전(rotation), 팬(pan), 틸트(tilt) 및 줌(zoom)의 제어가 가능한 카메라이다. 이 경우 회전, 팬, 틸트, 줌은 카메라 조작의 한 방법으로, 팬은 카메라를 좌우로 움직이는 제어 방법이고, 틸트는 카메라를 상하로 움직이는 제어 방법이며, 줌은 렌즈의 초점 거리를 변화시켜 촬영 대상의 크기를 조절하는 제어 방법이다. 일 예로 팬과 틸트 동작은 카메라를 지지하는 지지부를 제어함으로써 수행할 수 있다. 예를 들어, 카메라를 지지부에 고정하고 지지부를 좌우로 회전하여 팬 동작을 수행할 수 있으며, 지지부를 상하로 회전하여 틸트 동작을 수행할 수 있다. 줌 동작은 카메라의 렌즈의 초점 거리를 제어함으로써 수행할 수 있다. 이러한 제어 방법에 대하여는 잘 알려진 기술이므로, 본 발명에서의 설명은 생략하기로 한다.In this case, the PTZ camera is a camera capable of controlling rotation, pan, tilt, and zoom. In this case, rotation, pan, tilt, and zoom are one method of camera operation, pan is a control method to move the camera left and right, tilt is a control method to move the camera up and down, and zoom changes the focal length of the lens to be photographed. The control method to adjust the size. For example, the pan and tilt operations may be performed by controlling a support for supporting the camera. For example, the camera may be fixed to the support and the support may be rotated left and right to perform a pan operation, and the support may be rotated up and down to perform a tilt operation. The zooming operation may be performed by controlling the focal length of the lens of the camera. Since such a control method is a well-known technique, the description thereof will be omitted.
도 1은 본 발명의 일 실시예에 따른 PTZ 카메라를 활용한 화재 검색 시스템의 개략도이다.1 is a schematic diagram of a fire detection system utilizing a PTZ camera according to an embodiment of the present invention.
즉 도 1과 같이, 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 시스템은 촬영부(100), 네트워크망(200), 영상 분석 장치(300), 영상 저장 서버(400) 및 사용자 입력장치(500)를 포함할 수 있다.That is, as shown in Figure 1, the fire detection system using a PTZ camera according to the present invention is the photographing
이 경우 본 발명에 의한 촬영부(100)는 화재 감시 대상이 되는 영역을 촬영할 수 있는 한 대의 카메라를 포함한다. 이러한 촬영부(100)의 카메라는 상술한 PTZ 카메라를 포함할 수 있어, 촬영부(100)에 의한 촬영장소의 360도를 감시 영역으로 한다.In this case, the photographing
영상 분석 장치(300)는 네트워크망(200)을 통하여 무선으로 촬영부(100)로부터 영상 정보를 획득할 수 있다. 예를 들어, 영상 분석 장치(300)는, 촬영부(100)로부터 감시 대상이 되는 전체 영역을 나타내는 영상을 획득하여, 영상을 토대로 특정 지역의 화재 여부를 분석하고 판별한다. 또한 영상 분석 장치(300)는 영상 저장 서버(400)에 화재 분석 정보를 저장한다.The
영상 검색 장치(400)는 촬영부(100)로부터 촬영된 영상과, 영상 분석 장치(300)로부터 영상의 분석 정보를 저장하고, 저장된 영상 중 사용자가 원하는 영역에 대한 영상을 검색할 수 있는 장치이다. 또한 사용자는 사용자 입력장치(500)를 통해 영상 저장 서버(400)에 접속하여 검색하고자 하는 영역인 검색영역을 선택하고, 정보를 입력할 수 있다. 예를 들어, 사용자는 사용자 입력장치(400)를 이용하여 검색영역에 대한 확대 영상을 살펴볼 수 있고, 또한 영상 분석 장치(300)에 의한 분석된 정보가 저장된 영상 저장 서버(400)를 검색할 수 있다.The
사용자 입력장치(500)는 사용자로부터 데이터를 획득하여 영상 검색 장치(200)에 전송할 수 있다. 사용자 입력장치(400)는 키보드, 또는 표시부(300)와 결합된 터치 패널 등을 포함할 수 있다. 사용자 입력 장치(400)는 사용자로부터 검색영역에 대한 정보를 입력받고, 이를 영상 검색 장치(200)에 전송할 수 있다.The
이러한 사용자 입력장치(500)과 영상 저장 서버(400)는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The
한편, PTZ 카메라는 다양한 촬영 영역을 이동, 회전하면서 영상을 촬영할 수 있기 때문에, PTZ 카메라로 촬영된 영상은 다양한 촬영 영역에 대한 영상을 포함하고 있다. 따라서 필요로 하는 화재가 발생된 특정 영역에 대한 영상을 보기 위해서는 PTZ 카메라로 촬영된 영상 중 화재 발생 영역에 대한 영상을 검색하고 분석할 필요성이 있다.On the other hand, since a PTZ camera can capture an image while moving and rotating various capturing regions, the image captured by the PTZ camera includes images of various capturing regions. Therefore, in order to view an image of a specific fire occurrence area, it is necessary to search and analyze an image of a fire occurrence area among images captured by a PTZ camera.
도 2는 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법을 나타내는 흐름도이다.2 is a flowchart illustrating a fire detection method using a PTZ camera according to the present invention.
따라서 도 2와 같이, 본 발명에 의한 PTZ 카메라를 활용한 화재 검색 방법은 촬영부(100) 및 영상 분석 장치(300)를 미리 딥러닝 훈련하는 훈련 단계(S100), 촬영부(100)에 의해 촬영된 영상을 다수개로 구분하여 1차로 화재 발생 지역을 검출하는 1차 검출 단계(S200), 상기 영상 분석 장치(300)에 의해 1차 검출 단계(S200)에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계(S300), 상기 화재 발생 지역을 촬영하도록 촬영부(100)를 정밀하게 조절하여 분석하는 정밀 조절 단계(S400) 및 화재 여부를 판단하는 화재 여부 판단 단계(S500)를 포함한다.Therefore, as shown in Figure 2, the fire detection method using a PTZ camera according to the present invention by the training step (S100), the photographing
도 3 및 도 4는 본 발명에 의한 훈련 단계(S100)를 설명하기 위한 다수개의 사진이다.3 and 4 are a plurality of pictures for explaining the training step (S100) according to the present invention.
우선 상기 훈련 단계(S100)에서는 딥러닝 모델을 활용하여 영상 분석 장치(300)를 훈련시키는 단계이다.First, the training step (S100) is a step of training the
이 경우 딥러닝 모델은 도 3과 같은 ImageNet, MSCOCO, PASCAL VOC의 공개용 일반영상과 자체 수집한 화재 영상 등 100만장 이상의 영상학습 DB를 사용하여 다층의 CNN을 통한 영상 특징 추출용 신경망과 객체의 외곽을 둘러싸는 사각형 정보를 나타내는 신경망을 회귀 학습으로 함께 영상 분석 장치(300)를 훈련시킨다.In this case, the deep learning model is the outer edge of the neural network and object for image feature extraction through multi-layer CNN using more than 1 million image learning DBs such as public images of public images of ImageNet, MSCOCO, PASCAL VOC and self-collected fire images as shown in FIG. 3. The
이 때 도 4와 같이, 기계학습의 Under-fitting 문제와 Over-fitting 문제를 해결하고 다양한 사물을 동시 분류 및 인식할 수 있도록 Data augmentation, Batch Normalization, Multi-Crop Adaptation, Fast Connection 등의 딥러닝 훈련 기술을 적용할 수 있다.At this time, as shown in Figure 4, deep learning training such as data augmentation, batch normalization, multi-crop adaptation, fast connection to solve the under-fitting and over-fitting problems of machine learning and to classify and recognize various objects simultaneously Technology can be applied.
또한 본 발명은 훈련된 영상 분석 장치(300)을 활용하는 동시에 아래의 두가지 방법으로 구분하여 효율적으로 화재 발생 지역을 집중적으로 검출하고 있다.In addition, the present invention utilizes the trained
즉 1차 검출 단계(S200)에서는 상기 촬영부(100)의 PTZ 카메라를 활용하는 것으로 촬영부(100)에 의해 촬영된 움직임의 발생, 색상히스토그램을 통해 auto preset 감시 중에 현재 preset 뷰에서의 1차 검지 위치를 영상 분석 장치(300)에 네트워크망(200)을 통해 전달한다.That is, in the first detection step (S200), the PTZ camera of the photographing
이 때, 상기 촬영부(100)는 도 5와 같이, 촬영된 영상을 NxN 영역으로 세부 분할하여 분석하게 된다. 이 경우 분할 값인 N은 도 5와 같이, 6을 기본값으로 하여 화면을 가로 세로로 6분할하는 것이 바람직하다.In this case, as shown in FIG. 5, the photographing
또한 이러한 세부 분할 영역에서 도 6과 같이, 각각 HSI 컬러 히스토그램의 특징을 추출한 후 SVM 선형 분류를 통해 임계치 확률 이상의 화재영역 검출하게 된다. 즉 촬영부(100)의 PTZ 카메라는 모션 발생에 따른 색상 히스토그램을 통해 NxN 분할 화면 역역 중 임계치 확률 이상의 화면 영역을 선별하게 된다.In addition, as shown in FIG. 6, the HSI color histogram is extracted from each of the subdivided regions, and the fire region having a threshold probability or higher is detected through SVM linear classification. That is, the PTZ camera of the photographing
이 후 도 7과 같이, 촬영부(100)는 임계치 확률 이상의 화재영역이 의심되는 세부영역에서 해리스(harris) 코너 검출기를 사용해 특징점들을 구하고 해당 특징점의 시간상 움직임을 검출하게 된다. 이 경우 화염은 상하좌우의 요동치는 움직임을 보이며, 연기는 좌상단, 우상단, 상단의 일정 방향으로 특징점이 이동하므로, 일정시간동안 이동량이 임계치 이상이되는 특징점이 정해진 개수 이상이면, 이 때 1차로 화재가 발생됨을 판단하게 되어 이러한 1차 화재 검출 정보와 촬영된 영상을 영상 분석 장치(300)로 송출하게 되고, 이러한 영상을 토대로 영상 분석 장치(300)에서 2차 검출 단계(S300)를 수행하게 된다.Subsequently, as shown in FIG. 7, the photographing
상기 2차 검출 단계(S300)에서 영상 분석 장치(300)는 촬영부(100)에서 1차 검출 정보와 영상을 전송받으면, 딥러닝 모델을 사용하여 2차 정밀 검출을 시도하게 된다.In the second detection step S300, when the
이 경우 영상 분석 장치(300)는 화재 시 요동치는 하얀 연기와 배경(background)를 분리하기 위한 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용한다. 이 때 본 발명의 특징으로 SRGB image는 촬영부(100)에서 전송받은 영상을 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어낸다. 예를 들면, 상기 SRGB의 이미지는 (t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어진다. 즉 상술한 SRGB image는 요동치는 화재 연기의 시간적 변화에 대한 특징을 얻기 위해 사용되는 것이다.In this case, the
자세하게는, 도 8과 같이, 촬영부(100)에서 전송받은 영상에서 배경(background)은 움직임이 거의 없기 때문에 t, t-1, t-2 프레임에서 RGB(Red, Green, Blue) 성분의 변화가 거의 없으나, 요동치는 화염이나 연기의 경우에는 프레임마다 RGB 성분이 변한다. 이 경우 SRGB image의 해상도(dimension)는 정확한 검출을 확보하기 위해 최소 608x608x3 이상을 갖는 것이 바람직하다.In detail, as shown in FIG. 8, since the background has little movement in the image received from the photographing
SRGB를 입력으로 하는 CNN의 각 layer의 output은 아래 식 (1)과 같이 표현할 수 있다. 즉 layer l의 node를 {1, 2, ..., j}라고 하고 layer l-1의 node를 {1, 2, ..., i}라고 할 때, 각 노드의 weight W와 bias b에 대해서 node의 output O는 아래와 같은 식 (1)의 형태를 갖는다.The output of each layer of the CNN that takes an SRGB can be expressed as in the following Equation (1). That is, when the node of layer l is called {1, 2, ..., j } and the node of layer l -1 is called {1, 2, ..., i }, the weight W and bias b of each node The output O of node has the form of Equation (1) as below.
또한 layer l+1의 node를 {1, 2, ..., k}라고 할 때 estimation value O k 와 실제 label t k를 비교하여 아래식과 같이 loss function을 정의한다. loss function을 이용하여 를 계산하고 최적의 parameter를 찾기 위해 back-propagation을 수행하여 parameter를 update한다. 마찬가지로 Box Regression을 위해 영상에서 검출하려는 객체의 폭 OW k 와 높이 OH b 를 참값과 비교하는 항을 loss function에 추가하여 아래와 같은 식 (2)를 도출한다.In addition, when the node of layer l +1 is {1, 2, ..., k }, the loss function is defined as follows by comparing the estimation value O k with the actual label t k . using the loss function The parameter is updated by performing back-propagation to find the optimal parameter. Likewise, the equation (2) is derived by adding the term comparing the width OW k and the height OH b with the true value to the loss function for Box Regression.
이러한 SRGB를 입력으로 하는 CNN의 구조를 보면 우선 SRGB를 생성한 후, 30개의 convolution layer 특징 추출 구조와 최종단의 detection 구조를 갖는다. 일 예로, kernel은 convolution 3x3의 size의 kernel을 사용하고 max-pooling은 2x2 size의 kernel을 사용한다. 그리고 각 CNN의 구조는 Batch Normalization을 적용하여 훈련과정을 최적화한다. 또한 layer의 activation function으로 RELU(rectified linear unit)를 사용한다.Looking at the structure of the CNN that takes the SRGB as an input, it first generates the SRGB, and then has 30 convolution layer feature extraction structures and a final stage detection structure. For example, kernel uses a kernel of convolution 3x3 size and max-pooling uses a kernel of 2x2 size. And the structure of each CNN is applied Batch Normalization to optimize the training process. It also uses RELU (rectified linear unit) as the layer's activation function.
이 때 화재 발생 영역을 자동으로 검출하기 위해 SRGB CNN 및 BoundBox Regression을 통해 0.01 FPR에서 약 84%의 재현율 구현하도록 조정하는 것이 바람직하다.In this case, it is preferable to adjust the reproducibility of about 84% at 0.01 FPR through SRGB CNN and BoundBox Regression to automatically detect the fire occurrence area.
정밀 조절 단계(S400)에서는 도 9와 같이, 상기 1차 검출 단계(S200) 및 2차 검출 단계(S300)에서 검출된 화재 발생 영역을 팬, 틸트, 줌 제어로 PTZ 카메라를 화재 의심 영역으로 움직여 집중적으로 확대하여 촬영되도록 정밀 조정하는 단계이다.In the fine adjustment step (S400), as shown in FIG. 9, the PTZ camera is moved to the fire suspect area by pan, tilt, and zoom control of the fire occurrence area detected in the first detection step S200 and the second detection step S300. This is the step of precisely adjusting the image so that it can be zoomed in intensively.
즉, 정밀 조절 단계(S400)에서는 2차 검출 단계(S300)에서 검출된 화재일 확률이 임계치 이상이면 해당 영역의 테두리(BoundBox) 중심점으로 촬영부(100)의 PTZ 카메라의 팬, 틸트를 조정하고 테두리(BoundBox) 크기에 비례하여 줌인(zoom in) 후 촬영하게 되며, 촬영부(100)에서는 확대된 영상을 토대로 다시 1차 검출 단계(S200)를 재수행한 후 촬영된 영상을 영상 분석 장치(300)로 전송하게 된다. 또한 상기 영상 분석 장치(300)에서는 전송받은 영상을 2차 검출 단계(S300)의 딥러닝으로 재수행하게 된다. 즉 PTZ 카메라의 확대된 영상으로 1차 검출 단계(S200) 및 2차 검출 단계(S300)를 수행하므로 더욱 검출 정확도가 높아질 수 있는 것이다.That is, in the fine adjustment step (S400), if the probability of the fire detected in the second detection step (S300) is greater than or equal to the threshold, the pan and tilt of the PTZ camera of the photographing
화재 여부 판단 단계(S500)에서는 상기 영상 분석 장치(300)에서 촬영부(100)의 PTZ 카메라에 대한 팬, 틸트, 줌을 제어하여 확대된 영상을 전송받아 이를 분석하여 화재 알람여부를 판단하는 단계이다.In the step of determining whether or not the fire (S500) in the
이 경우 영상 분석 장치(300)에서 확대된 영역에 대한 2차 검출 단계(S300)를 재수행하여 이러한 딥러닝 결과도 화재일 가능성이 임계치 이상이면 알람을 발생하게 된다. 즉 상기 영상 분석 장치(300)는 화재일 가능성이 임계치 이상이면, 네트워크망(200)를 통하여 사용자 입력장치(500)로 무선으로 알람을 송부하며, 촬영부(100)의 근방으로 알람 신호(예컨대, 패턴화된 발광 또는 경보음 등)를 송출할 수 있다. 또한 영상 분석 장치(300)는 영상 저장 서버(400)에 화재 가능성의 장소, 시간 및 화재 가능성이 높은 장소의 영상을 저장하게 된다.In this case, the second analysis step S300 of the enlarged area is performed by the
이와 같은 지능형 PTZ 카메라를 포함하는 촬영부(100)와 영상 분석 장치(300)간의 협업을 통하여 한 대의 PTZ 카메라를 사용하여도 화재검출 정확도를 높이고 아울러 한 대의 PTZ 카메라에서 온 영상만 분석하므로 고가의 장비를 구비하지 않아도 되고, 영상 분석 장치(300)의 부하를 최소화 시킬 수 있는 효과가 있는 것이다.Through the collaboration between the photographing
이상에서 설명된 본 발명의 PTZ 카메라를 활용한 화재 검색 시스템 및 검색 방법의 실시예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.The embodiment of the fire detection system and search method using the PTZ camera of the present invention described above is merely exemplary, and those skilled in the art to which the present invention pertains various modifications and other equivalents therefrom. It will be appreciated that examples are possible. Therefore, it will be understood that the present invention is not limited to the forms mentioned in the above detailed description. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims. It is also to be understood that the present invention includes all modifications, equivalents, and substitutes within the spirit and scope of the invention as defined by the appended claims.
100 : 촬영부
200 : 네트워크망
300 : 영상 분석 장치
400 : 영상 저장 서버
500 : 사용자 입력장치
S100 : 훈련 단계
S200 : 1차 검출 단계
S300 : 2차 검출 단계
S400 : 정밀 조절 단계
S500 : 화재 여부 판단 단계100: shooting unit
200: network
300: image analysis device
400: video storage server
500: user input device
S100: training stage
S200: first detection step
S300: second detection step
S400: Precision Adjustment Step
S500: fire determination stage
Claims (8)
상기 촬영부(100)에 의해 촬영된 영상을 NxN으로 분할하고, 분할된 영상을 토대로 훈련된 CNN으로 분할된 영상 중 특정 영역의 화재 여부를 판별하는 1차 검출 단계(S200);
상기 영상 분석 장치(300)에 의해 1차 검출 단계(S200)에서 검출된 영역에 대한 화재 발생 지역을 토대로 훈련된 CNN으로 화재 여부를 판별하는 2차 검출 단계(S300) 및
상기 2차 검출 단계(S300)에서 판별된 화재 발생 지역을 촬영하도록 촬영부(100)를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하는 정밀 조절 단계(S400) 및
화재 여부를 판단하는 화재 여부 판단 단계(S500)를 포함하는 PTZ 카메라를 이용한 화재 검색 방법.Training step (S100) for deep learning training the photographing unit 100 and the image analysis device 300 in advance;
A primary detection step (S200) of dividing the image photographed by the photographing unit (100) into N × N, and determining whether a specific region is fired from the image divided into the trained CNN based on the divided image;
Second detection step (S300) for determining whether the fire by the CNN trained on the basis of the fire occurrence area for the area detected in the first detection step (S200) by the image analysis device 300 and
Precise adjustment step (S400) of analyzing the image of the enlarged fire occurrence area by pan, tilt, zoom control the photographing unit 100 to capture the fire occurrence area determined in the second detection step (S300) and
Fire detection method using a PTZ camera comprising a fire determination step (S500) for determining whether a fire.
상기 촬영부(100)는 한 대의 PTZ 카메라를 포함하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 1,
The photographing unit 100 is a fire detection method using a PTZ camera including a single PTZ camera.
상기 2차 검출 단계(S300)는,
상기 촬영부(100)에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치(300)를 포함하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 2,
The secondary detection step (S300),
Image analysis device for receiving the information captured by the photographing unit 100 to determine whether the fire by obtaining the characteristics of the temporal change through different color channels matched at different times to separate the flame or smoke from the background ( Fire detection method using a PTZ camera comprising a 300).
상기 영상 분석 장치(300)는,
불꽃 또는 연기를 배경과 분리하기 위해 검출 알고리즘으로 SRGB(Sequential RGB)를 입력으로 하는 CNN을 사용하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 3,
The image analysis device 300,
A fire detection method using a PTZ camera using a CNN with SRGB (Sequential RGB) as a detection algorithm to separate a flame or smoke from a background.
상기 SRGB의 이미지는,
(t) 프레임(frame)의 레드 채널(Red channel), (t-1) 프레임의 그린 채널(Green channel) 및 (t-2)의 블루 채널(Blue channel)을 합쳐서 만들어지는 것을 특징으로 하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 4,
The image of the SRGB,
PTZ made by combining the red channel of the frame (t), the green channel of the frame (t-1) and the blue channel of the (t-2) Fire detection method using a camera.
상기 촬영부(100)는,
촬영된 영상을 NxN 영역으로 세부 분할하여 분석하되, N은 6으로 하여 화면을 가로 세로로 6 분할하는 것을 특징으로 하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 1,
The photographing unit 100,
Analyzing the captured image by dividing the image into the NxN area in detail, but N is divided to 6 to split the screen horizontally and vertically.
상기 정밀 조절 단계(S400)는,
상기 촬영부(100)를 팬, 틸트, 줌 제어하여 확대된 화재 발생 지역의 영상을 분석하되, 1차 검출 단계(S200) 및 2차 검출 단계(S300)에 의하여 분석하는 것을 특징으로 하는 PTZ 카메라를 이용한 화재 검색 방법.The method according to claim 1,
The fine adjustment step (S400),
Pan, tilt, and zoom control of the photographing unit 100 to analyze the image of the enlarged fire occurrence area, the PTZ camera, characterized in that the analysis by the first detection step (S200) and the second detection step (S300) Fire search method using.
상기 촬영부(100)에서 촬영된 정보를 전송받아, 불꽃 또는 연기를 배경과 분리하기 위해 서로 다른 시간에 매칭되는 다른 색상 채널을 통하여 시간적 변화에 대한 특징을 얻어 화재 여부를 판별하는 영상 분석 장치(300)를 포함하는 PTZ 카메라를 이용한 화재 검색 시스템.A photographing unit 100 including a PTZ camera and dividing the photographed image into an NxN region, and determining whether a specific region is fired by a trained CNN based on the divided image and transmitting the image to the image analyzing apparatus 300;
Image analysis device for receiving the information captured by the photographing unit 100 to determine whether the fire by obtaining the characteristics of the temporal change through different color channels matched at different times to separate the flame or smoke from the background ( Fire detection system using a PTZ camera comprising a 300).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180024788A KR102050821B1 (en) | 2018-02-28 | 2018-02-28 | Method of searching fire image based on imaging area of the ptz camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180024788A KR102050821B1 (en) | 2018-02-28 | 2018-02-28 | Method of searching fire image based on imaging area of the ptz camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190103855A true KR20190103855A (en) | 2019-09-05 |
KR102050821B1 KR102050821B1 (en) | 2019-12-03 |
Family
ID=67949814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180024788A KR102050821B1 (en) | 2018-02-28 | 2018-02-28 | Method of searching fire image based on imaging area of the ptz camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102050821B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517441A (en) * | 2019-09-26 | 2019-11-29 | 华南师范大学 | Based on the frame-embedded smog of deep learning and flame video alarming system and method |
CN111523528A (en) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | Strategy sending method and device based on scale recognition model and computer equipment |
CN111639620A (en) * | 2020-06-08 | 2020-09-08 | 深圳航天智慧城市***技术研究院有限公司 | Fire disaster analysis method and system based on visible light image recognition |
CN111698483A (en) * | 2020-06-24 | 2020-09-22 | 广东电网有限责任公司 | Portable power equipment video detection device and system |
KR20210094931A (en) * | 2020-01-22 | 2021-07-30 | 한국전자통신연구원 | Image-based disaster detection method and apparatus |
KR102352477B1 (en) * | 2021-09-24 | 2022-01-18 | 주식회사 넥스트케이 | Video analysis system capable of determining false detection of fire sensor |
KR20220061312A (en) * | 2020-11-05 | 2022-05-13 | 덕산메카시스 주식회사 | Deep learning based building management system with rail robot device |
KR20230076212A (en) * | 2021-11-24 | 2023-05-31 | 강원대학교산학협력단 | Artificial intelligence-based flame detection device and method using corner point detection image preprocessing algorithm |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102636506B1 (en) | 2021-09-08 | 2024-02-16 | 에이치디현대오일뱅크 주식회사 | Emergency information detection and alarm system for self-driving patrol vehicles |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110075798A (en) * | 2009-12-29 | 2011-07-06 | 한국철도기술연구원 | System for fire detecting of railway |
CN107480729A (en) * | 2017-09-05 | 2017-12-15 | 江苏电力信息技术有限公司 | A kind of transmission line forest fire detection method based on depth space-time characteristic of field |
CN107609470A (en) * | 2017-07-31 | 2018-01-19 | 成都信息工程大学 | The method of outdoor fire disaster early-stage smog video detection |
-
2018
- 2018-02-28 KR KR1020180024788A patent/KR102050821B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110075798A (en) * | 2009-12-29 | 2011-07-06 | 한국철도기술연구원 | System for fire detecting of railway |
CN107609470A (en) * | 2017-07-31 | 2018-01-19 | 成都信息工程大学 | The method of outdoor fire disaster early-stage smog video detection |
CN107480729A (en) * | 2017-09-05 | 2017-12-15 | 江苏电力信息技术有限公司 | A kind of transmission line forest fire detection method based on depth space-time characteristic of field |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517441A (en) * | 2019-09-26 | 2019-11-29 | 华南师范大学 | Based on the frame-embedded smog of deep learning and flame video alarming system and method |
KR20210094931A (en) * | 2020-01-22 | 2021-07-30 | 한국전자통신연구원 | Image-based disaster detection method and apparatus |
CN111639620A (en) * | 2020-06-08 | 2020-09-08 | 深圳航天智慧城市***技术研究院有限公司 | Fire disaster analysis method and system based on visible light image recognition |
CN111639620B (en) * | 2020-06-08 | 2023-11-10 | 深圳航天智慧城市***技术研究院有限公司 | Fire analysis method and system based on visible light image recognition |
CN111698483A (en) * | 2020-06-24 | 2020-09-22 | 广东电网有限责任公司 | Portable power equipment video detection device and system |
CN111523528A (en) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | Strategy sending method and device based on scale recognition model and computer equipment |
CN111523528B (en) * | 2020-07-03 | 2020-10-20 | 平安国际智慧城市科技股份有限公司 | Strategy sending method and device based on scale recognition model and computer equipment |
KR20220061312A (en) * | 2020-11-05 | 2022-05-13 | 덕산메카시스 주식회사 | Deep learning based building management system with rail robot device |
KR102352477B1 (en) * | 2021-09-24 | 2022-01-18 | 주식회사 넥스트케이 | Video analysis system capable of determining false detection of fire sensor |
KR20230076212A (en) * | 2021-11-24 | 2023-05-31 | 강원대학교산학협력단 | Artificial intelligence-based flame detection device and method using corner point detection image preprocessing algorithm |
Also Published As
Publication number | Publication date |
---|---|
KR102050821B1 (en) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102050821B1 (en) | Method of searching fire image based on imaging area of the ptz camera | |
US7385626B2 (en) | Method and system for performing surveillance | |
US8451329B2 (en) | PTZ presets control analytics configuration | |
KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
JP2007158860A (en) | Photographing system, photographing device, image switching device, and data storage device | |
KR20050011698A (en) | Object tracking method and object tracking apparatus | |
WO2012005387A1 (en) | Method and system for monitoring a moving object in a wide area using multiple cameras and an object-tracking algorithm | |
KR101851539B1 (en) | Monitoring system using a drone | |
KR20110048417A (en) | Fire-Flame Detection Using Fuzzy Logic | |
KR102282470B1 (en) | Camera apparatus and method of object tracking using the same | |
KR20230036024A (en) | Electric vehicle charger fire detection and charger condition prediction system | |
KR101521236B1 (en) | Monitoring System using thermal imagery | |
KR101212082B1 (en) | Image Recognition Apparatus and Vison Monitoring Method thereof | |
KR101944374B1 (en) | Apparatus and method for detecting abnormal object and imaging device comprising the same | |
KR20110075250A (en) | Method and apparatus for tracking an object using a tracking mode | |
JPH0844874A (en) | Image change detector | |
KR20080015994A (en) | Method for macro photographing of monitoring camera | |
KR20160048428A (en) | Method and Apparatus for Playing Video by Using Pan-Tilt-Zoom Camera | |
JP2019153986A (en) | Monitoring system, management apparatus, monitoring method, computer program, and storage medium | |
KR20190026625A (en) | Image displaying method, Computer program and Recording medium storing computer program for the same | |
WO2023158205A1 (en) | Noise removal from surveillance camera image by means of ai-based object recognition | |
KR20220019377A (en) | Drone detection apparatus using deep learning and method thereof | |
KR100982342B1 (en) | Intelligent security system and operating method thereof | |
KR20230152410A (en) | Video analysis device using a multi camera consisting of a plurality of fixed cameras | |
JP2008219452A (en) | Camera surveillance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |