KR102277968B1

KR102277968B1 - Early fire detection system, server and method using image processing and artificial intelligence based on deep learning

Info

Publication number: KR102277968B1
Application number: KR1020180169765A
Authority: KR
Inventors: 신승렬; 김준언
Original assignee: 주식회사동우유니온
Priority date: 2018-07-12
Filing date: 2018-12-26
Publication date: 2021-07-15
Also published as: KR20200013218A

Abstract

영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법이 개시된다. 상기 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템은, 건물의 각 공간에 설치된 적어도 하나의 CCTV 및 조기 화재감지 서버를 포함하고, 상기 적어도 하나의 CCTV는 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단하고, 상기 촬영된 영상에서 불 또는 연기가 감지된 경우 상기 촬영된 영상을 상기 조기 화재감지 서버로 전송하며, 상기 조기 화재감지 서버는, 상기 적어도 하나의 CCTV로부터 상기 촬영된 영상을 전송받는 서버 통신부, 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단하는 화재 판단부, 상기 화재 판단부가 화재가 발생된 것으로 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 화재 알림부를 포함하는 것을 특징으로 한다.An early fire detection system, server and method using AI based on image processing and deep learning are disclosed. The early fire detection system using AI based on image processing and deep learning includes at least one CCTV installed in each space of a building and an early fire detection server, and the at least one CCTV image processes the captured image to fire Alternatively, it is determined whether smoke is detected, and when fire or smoke is detected in the photographed image, the photographed image is transmitted to the early fire detection server, wherein the early fire detection server is configured to receive the information from the at least one CCTV. A server communication unit that receives the captured image, a fire determination unit that judges whether the photographed image is a fire using deep learning-based artificial intelligence, and a manager through the server communication unit when the fire determination unit determines that a fire has occurred and a fire notification unit for transmitting a fire notification to the terminal.

Description

영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법{EARLY FIRE DETECTION SYSTEM, SERVER AND METHOD USING IMAGE PROCESSING AND ARTIFICIAL INTELLIGENCE BASED ON DEEP LEARNING}Early fire detection system, server and method using AI based on image processing and deep learning

본 발명은 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법에 관한 것으로서, 특히 CCTV 영상을 처리하여 1차로 화재를 감지하고 딥러닝 기반 인공지능을 이용하여 2차로 화재를 감지함으로써 화재를 조기에 정확하게 탐지할 수 있는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법에 관한 것이다. The present invention relates to an early fire detection system, server and method using AI based on image processing and deep learning. In particular, it detects fire primarily by processing CCTV images and detects fire secondarily using deep learning-based artificial intelligence. It relates to an early fire detection system, server and method using image processing and deep learning-based AI that can accurately detect fires at an early stage.

건물 관리에서 조기 화재감지 및 대피경로 안내 시스템은 매우 중요한 부분이다. 화재 발생 시 인명피해를 최소화하기 위하여 불꽃이나 연기를 조기에 감지하는 시스템이 필요하다. Early fire detection and evacuation route guidance system are very important parts in building management. In order to minimize human casualties in case of fire, a system that detects flame or smoke early is necessary.

종래의 화재 감지 시스템은 열에 의한 공기 팽창으로 열을 감지하는 차동식 감지기를 사용하는 경우가 많은데, 감지기 주변의 온도가 높아진 경우에는 이미 화재가 어느 정도 확산된 이후이기 때문에 초기 화재 감지에 취약한 단점이 있다.Conventional fire detection systems often use a differential detector that detects heat through air expansion due to heat, but when the temperature around the detector increases, the fire has already spread to some extent, so it is vulnerable to initial fire detection. .

또한, 광전식 감지기 또는 이온화식 감지기와 같은 연기 감지기가 사용되고 있으나, 경제적인 문제점으로 인해 보편화가 어려운 상황이며, 통풍이 잘 되는 경우나 외부 공기의 확산으로 인해 연기가 감지되지 않을 수 있고 습도에 매우 민감하여 이슬 등으로 인해 오작동하는 문제점이 있다.In addition, although smoke detectors such as photoelectric detectors or ionization detectors are used, it is difficult to generalize due to economic problems. In case of good ventilation or diffusion of outside air, smoke may not be detected, and it is very sensitive to humidity. Since it is sensitive, there is a problem of malfunction due to dew or the like.

불꽃감지 센서의 경우, 자외선 감지 방법을 사용하기 때문에 기타 부유물에 의해서 자외선이 흡수되어 감도가 떨어질 수 있으며 용접 불빛에도 반응하는 등 오감지의 가능성이 높다는 단점이 있다.In the case of a flame detection sensor, since the UV detection method is used, the sensitivity may be lowered due to absorption of UV light by other floating objects, and there is a disadvantage in that the possibility of false detection is high, such as reacting to welding light.

따라서, 이러한 종래기술들의 문제점을 해결하여 오작동을 줄이면서도 조기에 화재를 탐지할 수 있는 화재감지 시스템이 요구되고 있다.Accordingly, there is a need for a fire detection system capable of detecting a fire early while reducing malfunctions by solving the problems of the prior art.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, CCTV 영상을 처리하여 1차로 화재를 감지하고 딥러닝 기반 인공지능을 이용하여 2차로 화재를 감지함으로써 화재를 조기에 정확하게 탐지할 수 있는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법을 제공하는 것을 목적으로 한다. The present invention is to solve the above problems, by processing CCTV images to detect fire first and secondly using deep learning-based artificial intelligence to detect fire early and accurately. It aims to provide an early fire detection system, server and method using AI based on deep learning.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템은, 건물의 각 공간에 설치된 적어도 하나의 CCTV 및 조기 화재감지 서버를 포함하고, 상기 적어도 하나의 CCTV는 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단하고, 상기 촬영된 영상에서 불 또는 연기가 감지된 경우 상기 촬영된 영상을 상기 조기 화재감지 서버로 전송하며, 상기 조기 화재감지 서버는, 상기 적어도 하나의 CCTV로부터 상기 촬영된 영상을 전송받는 서버 통신부, 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단하는 화재 판단부, 및 상기 화재 판단부가 화재가 발생된 것으로 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 화재 알림부를 포함하는 것을 특징으로 한다.In order to achieve the above object, an early fire detection system using AI based on image processing and deep learning according to an embodiment of the present invention includes at least one CCTV installed in each space of a building and an early fire detection server. And, the at least one CCTV image-processes the captured image to determine whether fire or smoke is detected, and when fire or smoke is detected in the captured image, the captured image is transmitted to the early fire detection server and the early fire detection server includes a server communication unit that receives the captured image from the at least one CCTV, a fire determination unit that judges whether the captured image is a fire using deep learning-based artificial intelligence, and the When the fire determination unit determines that a fire has occurred, it characterized in that it comprises a fire notification unit for transmitting a fire notification to the manager terminal through the server communication unit.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버는, 건물의 각 공간에 설치된 적어도 하나의 CCTV로부터 촬영된 영상을 전송받는 서버 통신부, 상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하고, 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단하는 화재 판단부, 및 상기 화재 판단부가 화재가 발생한 것으로 최종 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 화재 알림부를 포함하는 것을 특징으로 한다.In order to achieve the above object, an early fire detection server using AI based on image processing and deep learning according to an embodiment of the present invention receives images captured from at least one CCTV installed in each space of a building. The server communication unit performs image processing on the photographed image to determine whether fire or smoke is detected, and when it is determined that fire or smoke is detected as a result of the first determination, the captured image is processed using deep learning-based artificial intelligence It is characterized in that it comprises a fire determining unit for secondarily determining whether a fire has occurred, and a fire notification unit for transmitting a fire notification to the manager terminal through the server communication unit when the fire determination unit finally determines that a fire has occurred.

바람직하게는, 상기 조기 화재감지 서버는, 화재 발생 위치 및 상기 적어도 하나의 CCTV에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 대피경로 안내부를 더 포함할 수 있다.Preferably, the early fire detection server may further include an evacuation route guide for guiding the evacuation route according to the location of the fire and the congestion rate analyzed from the image captured by the at least one CCTV.

또한 바람직하게는, 상기 대피경로 안내부는, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 상황 확인 정보를 수신하는 경우 상기 대피경로를 안내하고, 상기 화재 판단부는, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 오감지 정보를 수신하는 경우, 상기 화재 판단부에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백할 수 있다.Also preferably, the evacuation route guide unit guides the evacuation route when receiving fire status confirmation information from the manager terminal that has received the fire notification, and the fire determination unit includes the manager terminal receiving the fire notification When receiving false fire detection information from the fire detection unit, it is possible to recognize that the fire determination by the fire determination unit is incorrect and feed back to the deep learning-based artificial intelligence.

또한 바람직하게는, 상기 대피경로 안내부는, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 소정 시간 이내에 상기 화재 상황 확인 정보나 상기 화재 오감지 정보를 수신하지 못하는 경우, 자동으로 상기 대피경로를 안내할 수 있다.Also preferably, the evacuation route guide unit may automatically guide the evacuation route when the fire situation confirmation information or the fire false detection information is not received within a predetermined time from the manager terminal that has received the fire notification. have.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법은, 서버 통신부가 건물의 각 공간에 설치된 적어도 하나의 CCTV로부터 촬영된 영상을 전송받는 단계, 화재 판단부가 상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하는 단계, 상기 화재 판단부가 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단하는 단계, 상기 화재 판단부가 화재가 발생한 것으로 최종 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 단계, 및 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 상황 확인 정보를 수신하거나, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 소정 시간 이내에 회신을 못 받은 경우, 대피경로 안내부가 화재 발생 위치 및 상기 적어도 하나의 CCTV에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, an early fire detection method using AI based on image processing and deep learning according to an embodiment of the present invention is an image captured from at least one CCTV where the server communication unit is installed in each space of a building. A step of receiving a transmission, the fire determination unit image processing the photographed image to determine whether fire or smoke is detected first, if the fire determination unit determines that fire or smoke is detected as a result of the first determination, the photographing Secondary judging whether or not a fire has occurred using the deep learning-based artificial intelligence image, when the fire determination unit finally determines that a fire has occurred, transmitting a fire notification to the manager terminal through the server communication unit, and the fire When fire status confirmation information is received from the manager terminal that has received the notification, or a reply is not received within a predetermined time from the manager terminal that has received the fire notification, the evacuation route guide unit determines the location of the fire and the at least one CCTV. and guiding an evacuation route according to the congestion rate analyzed from the captured image.

바람직하게는, 상기 화재 판단부는, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 오감지 정보를 수신하는 경우, 상기 화재 판단부에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백할 수 있다.Preferably, the fire determination unit, when receiving false fire detection information from the manager terminal that has received the fire notification, recognizes that the fire determination by the fire determination unit is incorrect, and feeds back to the deep learning-based artificial intelligence. can

상기와 같은 본 발명에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법은, CCTV 영상을 처리하여 1차로 화재를 감지하고 딥러닝 기반 인공지능을 이용하여 2차로 화재를 감지함으로써 이중으로 화재 여부를 판단하므로 오작동을 최소화하고 화재를 조기에 정확하게 탐지할 수 있는 효과가 있다.The early fire detection system, server, and method using AI based on image processing and deep learning according to the present invention as described above, detects fire primarily by processing CCTV images, and uses deep learning-based AI to control fire secondarily. It is effective to minimize malfunction and accurately detect fire at an early stage because it doubles judgment on whether or not there is a fire by detecting it.

상기와 같은 본 발명에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법은, 영상처리 기술을 이용하므로, 기존의 연기감지기나 불꽃감지기의 오작동 문제를 해결할 수 있으며, 조기에 화재를 감지하여 진화하는데 큰 도움을 줄 수 있는 효과가 있다.The early fire detection system, server and method using image processing and deep learning-based AI according to the present invention as described above uses image processing technology, so it is possible to solve the malfunction problem of existing smoke detectors or flame detectors, There is an effect that can greatly help in extinguishing fire by detecting the fire.

상기와 같은 본 발명에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법은, 딥러닝 기반의 인공지능을 사용하므로, 많은 학습을 할수록 화재 상황에 대한 인식의 정확도 및 신뢰도를 높일 수 있는 효과가 있다.The early fire detection system, server and method using AI based on image processing and deep learning according to the present invention as described above uses deep learning-based artificial intelligence, so the more it learns, the more the accuracy and reliability of the recognition of the fire situation. has the effect of increasing

상기와 같은 본 발명에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법은, 기존에 건물에 설치된 CCTV를 그대로 사용할 수 있으므로 경제적인 면에서도 추가비용이 필요하지 않는 장점이 있으며, 기존의 화재감지기보다 사각지대를 최소화시킬 수 있는 효과가 있다.The early fire detection system, server and method using AI based on image processing and deep learning according to the present invention as described above can use CCTV installed in an existing building as it is, so it does not require additional cost in terms of economy. It has the effect of minimizing blind spots compared to conventional fire detectors.

상기와 같은 본 발명에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템, 서버 및 방법은, 화재 발생시 화재 발생 위치 및 대피경로의 혼잡률을 반영하여 대피경로를 실시간으로 안내할 수 있는 효과가 있다.The early fire detection system, server and method using AI based on image processing and deep learning as described above according to the present invention can guide the evacuation route in real time by reflecting the location of the fire and the congestion rate of the evacuation route when a fire occurs. It works.

도 1은 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법을 나타내는 순서도(Flowchart)이다.
도 4a 및 도 4b는 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법에 따라 CCTV에서 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단하는 화면을 나타내는 도면이다.
도 5a 및 도 5b는 본 발명의 일실시예에 따른 대피경로 안내부의 동작방법을 설명하는 도면이다.1 is a diagram illustrating an early fire detection system using AI based on image processing and deep learning according to an embodiment of the present invention.
2 is a diagram illustrating an early fire detection server using AI based on image processing and deep learning according to an embodiment of the present invention.
3 is a flowchart illustrating an early fire detection method using AI based on image processing and deep learning according to an embodiment of the present invention.
4A and 4B are screens for determining whether fire or smoke is detected by image processing an image captured by CCTV according to an early fire detection method using AI based on image processing and deep learning according to an embodiment of the present invention; It is a drawing showing
5A and 5B are diagrams for explaining an operation method of an evacuation route guide unit according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.Hereinafter, embodiments according to the present invention will be described with reference to the accompanying drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment of the present invention, the detailed description thereof will be omitted. In addition, embodiments of the present invention will be described below, but the technical spirit of the present invention is not limited thereto and may be variously implemented by those skilled in the art.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "indirectly connected" with another element interposed therebetween. . Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

도 1은 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템(1000)은 건물(P)의 각 공간에 설치된 적어도 하나의 CCTV(100_1 내지 100_6) 및 조기 화재감지 서버(300)를 포함할 수 있다.1 is a diagram illustrating an early fire detection system using AI based on image processing and deep learning according to an embodiment of the present invention. 1, the early fire detection system 1000 using AI based on image processing and deep learning according to an embodiment of the present invention is at least one CCTV (100_1 to 100_6) installed in each space of a building (P). and an early fire detection server 300 .

적어도 하나의 CCTV(100_1 내지 100_6)는 건물(P)의 각 공간(P1, P2, P3)에 설치될 수 있다. 도 1은 편의상 3층 건물(P) 및 적어도 하나의 CCTV(100_1 내지 100_6)를 간단히 도시한 것으로서, 적어도 하나의 CCTV(100_1 내지 100_6)는 건물(P) 내부의 다양한 공간에 설치될 수 있으며 설치 개수도 다양하게 변경될 수 있다. 적어도 하나의 CCTV(100_1 내지 100_6)는 유무선 통신망(500)과 같은 네트워크를 통하여 조기 화재감지 서버(300)와 통신할 수 있다. At least one CCTV (100_1 to 100_6) may be installed in each space (P1, P2, P3) of the building (P). 1 is a simple diagram of a three-story building (P) and at least one CCTV (100_1 to 100_6) for convenience, and at least one CCTV (100_1 to 100_6) can be installed in various spaces inside the building (P) and can be installed The number may also be variously changed. At least one CCTV ( 100_1 to 100_6 ) may communicate with the early fire detection server 300 through a network such as the wired/wireless communication network 500 .

적어도 하나의 CCTV(100_1 내지 100_6)는 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단할 수 있다. 이와 같은 과정은 적어도 하나의 CCTV(100_1 내지 100_6)의 내부에 구비되는 영상처리부(미도시)를 통해 수행될 수 있다. 일례로서, 적어도 하나의 CCTV(100_1 내지 100_6)는 실시간 이미지 프로세싱을 위한 라이브러리인 OpenCV(Open Source Computer Vision)를 활용하여 촬영된 영상을 실시간으로 분석할 수 있다. At least one of the CCTVs 100_1 to 100_6 may determine whether fire or smoke is detected by image processing the captured image. Such a process may be performed through an image processing unit (not shown) provided in the at least one CCTV 100_1 to 100_6. As an example, at least one of the CCTVs 100_1 to 100_6 may analyze the captured image in real time by using OpenCV (Open Source Computer Vision), which is a library for real-time image processing.

적어도 하나의 CCTV(100_1 내지 100_6)는 촬영된 영상에서 실시간 영상처리를 통해 불꽃 및 연기 중 적어도 하나가 감지된 경우, 촬영된 영상을 유무선 통신망(500)을 이용하여 조기 화재감지 서버(300)로 전송할 수 있다. 일례로서, 적어도 하나의 CCTV(100_1 내지 100_6)는 촬영된 영상에서 불꽃 및 연기 중 적어도 하나가 감지되면, 일정 프레임마다 조기 화재감지 서버(300)로 실시간 이미지를 전송할 수 있다.At least one CCTV (100_1 to 100_6) transmits the captured image to the early fire detection server 300 using the wired/wireless communication network 500 when at least one of flame and smoke is detected through real-time image processing in the captured image. can be transmitted As an example, the at least one CCTV 100_1 to 100_6 may transmit a real-time image to the early fire detection server 300 every predetermined frame when at least one of flame and smoke is detected in the captured image.

조기 화재감지 서버(300)는, 적어도 하나의 CCTV(100_1 내지 100_6)로부터 촬영된 영상을 전송받을 수 있다. 적어도 하나의 CCTV(100_1 내지 100_6)가 조기 화재감지 서버(300)로 실시간 이미지를 전송했다는 것은, 상기 실시간 이미지에서 불꽃 또는 연기가 1차로 감지되었다는 것을 의미한다. 조기 화재감지 서버(300)는, 적어도 하나의 CCTV(100_1 내지 100_6)로부터 전송된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단할 수 있다.The early fire detection server 300 may receive a captured image from at least one CCTV (100_1 to 100_6). The fact that at least one CCTV 100_1 to 100_6 has transmitted a real-time image to the early fire detection server 300 means that flame or smoke is primarily detected in the real-time image. Early fire detection server 300, at least one CCTV (100_1 to 100_6) can be re-determining whether or not a fire using the image transmitted from the deep learning-based artificial intelligence.

조기 화재감지 서버(300)는, 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단한 결과 화재가 발생된 것으로 판단하면, 관리자 단말기(700)로 화재 알림을 전송할 수 있다. 조기 화재감지 서버(300)는, 화재 알림을 전송받은 상기 관리자 단말기(700)로부터 화재 상황 확인 정보를 수신하는 경우 대피경로를 안내할 수 있다. 여기에서, 화재 상황 확인 정보는 관리자가 관리자 단말기(700)를 통해 화재 알림을 수신한 후 직접 확인한 결과 화재 발생이 맞는 경우 이를 확인하여 조기 화재감지 서버(300)로 전송하는 정보일 수 있다. 조기 화재감지 서버(300)는, 화재 발생 위치 및 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내할 수 있다.The early fire detection server 300 may transmit a fire notification to the manager terminal 700 when it is determined that a fire has occurred as a result of determining whether a fire has occurred using deep learning-based artificial intelligence. The early fire detection server 300 may guide an evacuation route when receiving fire situation confirmation information from the manager terminal 700 that has received a fire notification. Here, the fire situation confirmation information may be information transmitted to the early fire detection server 300 after the manager receives the fire notification through the manager terminal 700 and checks it directly if the fire is correct. The early fire detection server 300 may guide the evacuation route according to the location of the fire and the congestion rate analyzed from the images captured by the at least one CCTV 100_1 to 100_6.

조기 화재감지 서버(300)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 화재 오감지 정보를 수신하는 경우, 화재 판단이 잘못된 것임을 인식하여 딥러닝 기반 인공지능에 피드백할 수 있다. 여기에서, 화재 오감지 정보는 관리자가 관리자 단말기(700)를 통해 화재 알림을 수신한 후 직접 확인한 결과 화재 발생이 아닌 경우 이를 확인하여 조기 화재감지 서버(300)로 전송하는 정보일 수 있다.The early fire detection server 300 may, when receiving false fire detection information from the manager terminal 700 that has received the fire notification, recognize that the fire determination is incorrect and feed back to the deep learning-based AI. Here, the false fire detection information may be information transmitted to the early fire detection server 300 after the manager receives the fire notification through the manager terminal 700 and checks it if there is no fire as a result of directly checking it.

조기 화재감지 서버(300)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 소정 시간 이내에 화재 상황 확인 정보나 화재 오감지 정보를 수신하지 못하는 경우, 자동으로 대피경로를 안내할 수 있다. 즉, 관리자가 부재중이거나 화재 알림을 확인하지 못하는 등의 사유가 발생한 경우에는, 대피경로 안내를 계속 미뤄둘 수 없으므로 딥러닝 기반의 인공지능의 재판단 결과를 신뢰하여 화재가 발생한 것으로 판단하고 대피경로를 안내할 수 있다. The early fire detection server 300 may automatically guide an evacuation route when fire situation confirmation information or fire false detection information is not received within a predetermined time from the manager terminal 700 that has received the fire notification. In other words, if the manager is absent or fails to check the fire notification, the evacuation route guidance cannot be delayed, so it is determined that a fire has occurred by trusting the judgment result of the deep learning-based artificial intelligence and the evacuation route can guide you.

도 1에는 조기 화재감지 서버(300)가 건물(P)의 외부에 위치하는 것으로 도시되어 있으나 이는 예시적인 것으로서, 조기 화재감지 서버(300)는 건물(P)의 내부에 위치할 수도 있다. 조기 화재감지 서버(300)의 구체적인 구성 및 동작방법에 대한 설명은 도 2 내지 도 5b를 참조하여 추가로 상술하기로 하고 자세한 설명은 생략한다.Although the early fire detection server 300 is illustrated as being located outside the building P in FIG. 1 , this is exemplary and the early fire detection server 300 may be located inside the building P. A detailed description of the configuration and operation method of the early fire detection server 300 will be further described in detail with reference to FIGS. 2 to 5B , and a detailed description thereof will be omitted.

유무선 통신망(500)은, 적어도 하나의 CCTV(100_1 내지 100_6), 조기 화재감지 서버(300) 및 관리자 단말기(700)가 서로 통신이 가능한 통신망(Communication Network)으로서 통신 양태를 특별하게 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 유무선 통신망(500)은 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(IrDA; Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 상기 유무선 통신망(500)은 통상의 기술자에게 널리 알려져 있으므로 자세한 설명은 생략한다.The wired/wireless communication network 500 is a communication network in which at least one CCTV (100_1 to 100_6), the early fire detection server 300, and the manager terminal 700 can communicate with each other. It can be composed of various communication networks, such as a personal area network (PAN), a local area network (LAN), a metropolitan area network (MAN), and a wide area network (WAN). . In addition, the wired/wireless communication network 500 may be a known World Wide Web (WWW), and may use a wireless transmission technology used for short-range communication such as infrared (IrDA) or Bluetooth (Bluetooth). may be Since the wired/wireless communication network 500 is widely known to those skilled in the art, a detailed description thereof will be omitted.

관리자 단말기(700)는, 조기 화재감지 서버(300)로부터 화재 알림을 전송받을 수 있는 단말기로서 사용자 컴퓨터(700_1) 또는 모바일 단말기(700_2) 등 유선 또는 무선으로 데이터 통신이 가능한 다양한 형태의 단말기 또는 전자 장비일 수 있고, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다. 관리자 단말기(700)는 중앙 상황실 등에 설치된 사용자 컴퓨터(700_1)일 수 있으며, 관리자가 직접 소지하는 모바일 단말기(700_2)일 수도 있다. 관리자는 관리자 단말기(700)를 통해 화재 알림을 전송받을 수 있으며, 실제 화재 상황으로 판단되는 경우에는 화재 상황 확인 정보를 조기 화재감지 서버(300)로 전송할 수 있다. 관리자는 관리자 단말기(700)를 통해 화재 알림을 전송받았으나 화재가 아닌 것으로 판단되는 경우에는 화재 오감지 정보를 조기 화재감지 서버(300)로 전송할 수 있다.The manager terminal 700 is a terminal capable of receiving a fire notification from the early fire detection server 300, and is a terminal or electronic device of various types capable of data communication such as a user computer 700_1 or a mobile terminal 700_2 by wire or wirelessly. It may be equipment, and may be variously changed within a range known to those skilled in the art. The manager terminal 700 may be a user computer 700_1 installed in a central control room, or the like, or a mobile terminal 700_2 directly owned by the manager. The manager may receive a fire notification through the manager terminal 700 , and when it is determined that the actual fire situation is real, fire situation confirmation information may be transmitted to the early fire detection server 300 . When the manager receives a fire notification through the manager terminal 700 but it is determined that it is not a fire, the manager may transmit false fire detection information to the early fire detection server 300 .

도 2는 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버를 나타내는 도면이다. 도 2를 참조하면, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버(300)는, 서버 통신부(310), 화재 판단부(330) 및 화재 알림부(350)를 포함할 수 있으며, 실시예에 따라, 대피경로 안내부(370) 및 데이터베이스부(390)를 더 포함할 수 있다.2 is a diagram illustrating an early fire detection server using AI based on image processing and deep learning according to an embodiment of the present invention. 2, the early fire detection server 300 using AI based on image processing and deep learning according to an embodiment of the present invention includes a server communication unit 310, a fire determination unit 330, and a fire notification unit ( 350), and may further include an evacuation route guide unit 370 and a database unit 390 according to an embodiment.

서버 통신부(310)는, 건물(P)의 각 공간에 설치된 적어도 하나의 CCTV(100_1 내지 100_6)로부터 촬영된 영상을 전송받을 수 있다. 또한, 서버 통신부(310)는 화재 알림부(350)로부터 수신된 화재 알림을 관리자 단말기(700)로 전송할 수 있으며, 관리자 단말기(700)로부터 전송된 화재 상황 확인 정보 및 화재 오감지 정보를 화재 판단부(330) 및 대피경로 안내부(370)로 전송할 수 있다. 서버 통신부(310)는 유무선 통신망(500)을 통하여 적어도 하나의 CCTV(100_1 내지 100_6) 및 관리자 단말기(700) 등과 통신할 수 있으며, 다양한 유무선 통신방법을 지원하는 통신모듈로 구현될 수 있고 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.The server communication unit 310 may receive a captured image from at least one CCTV 100_1 to 100_6 installed in each space of the building P. In addition, the server communication unit 310 may transmit the fire notification received from the fire notification unit 350 to the manager terminal 700 , and determine the fire situation confirmation information and fire false detection information transmitted from the manager terminal 700 . It can be transmitted to the unit 330 and the evacuation route guide unit 370 . The server communication unit 310 may communicate with at least one CCTV ( 100_1 to 100_6 ) and the manager terminal 700 , etc. through the wired/wireless communication network 500 , and may be implemented as a communication module supporting various wired and wireless communication methods, and may be implemented as a common It may be variously changed within a range known to those skilled in the art.

화재 판단부(330)는, 적어도 하나의 CCTV(100_1 내지 100_6)로부터 불꽃 또는 연기가 1차로 감지된 실시간 영상을 전송받을 수 있고, 적어도 하나의 CCTV(100_1 내지 100_6)로부터 전송된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단할 수 있다.The fire determination unit 330 may receive a real-time image in which flame or smoke is primarily detected from at least one CCTV (100_1 to 100_6), and deep learning the image transmitted from at least one CCTV (100_1 to 100_6) It can judge whether there is a fire using the underlying artificial intelligence.

한편, 실시예에 따라, 화재 판단부(330)는 상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하고, 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단할 수 있다. 이 경우 적어도 하나의 CCTV(100_1 내지 100_6)는 촬영된 영상에서 불꽃 또는 연기를 감지하기 위한 실시간 영상처리를 수행하지 않고, 조기 화재감지 서버(300)로 일정한 프레임 간격으로 촬영된 영상을 전송할 수 있다. 즉, 실시예에 따라, 촬영된 영상에서 불꽃 또는 연기를 감지하는 1차 판단을 적어도 하나의 CCTV(100_1 내지 100_6)에서 수행할 수도 있고, 조기 화재감지 서버(300)의 화재 판단부(330)에서 수행할 수도 있다.On the other hand, according to an embodiment, the fire determination unit 330 first determines whether fire or smoke is detected by image processing the photographed image, and when it is determined that fire or smoke is detected as a result of the first determination, the It is possible to secondarily determine whether a fire exists using the captured video using deep learning-based artificial intelligence. In this case, at least one of the CCTVs 100_1 to 100_6 may transmit images captured at regular frame intervals to the early fire detection server 300 without performing real-time image processing for detecting flames or smoke in the captured images. . That is, according to an embodiment, the first determination of detecting flame or smoke in the captured image may be performed in at least one CCTV 100_1 to 100_6, and the fire determination unit 330 of the early fire detection server 300 . can also be done in

화재 판단부(330)에 의해 수행되는 딥러닝 기반 인공지능은 아래와 같은 방법으로 동작할 수 있다.The deep learning-based artificial intelligence performed by the fire determination unit 330 may operate in the following way.

건물(P) 내에 설치된 적어도 하나의 CCTV(100_1 내지 100_6)가 촬영하는 영상 정보는 조기 화재감지 서버(300)로 전송될 수 있고, 조기 화재감지 서버(300)는 전송받은 CCTV 영상을 데이터베이스부(390)에 저장할 수 있다. 이와 같이, 데이터베이스부(390)에 축적된 평상시 CCTV 영상이 표준 데이터 값이 될 수 있다. 상기 평상시 CCTV 영상은 적어도 하나의 CCTV(100_1 내지 100_6) 각각에 따라 분류되어 저장될 수 있다.Image information captured by at least one CCTV 100_1 to 100_6 installed in the building P may be transmitted to the early fire detection server 300, and the early fire detection server 300 stores the received CCTV images in the database unit ( 390) can be stored. In this way, the normal CCTV image accumulated in the database unit 390 may be a standard data value. The normal CCTV images may be classified and stored according to each of the at least one CCTV (100_1 to 100_6).

1차 실시간 영상처리 결과에 따라 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상에서 불이나 연기가 감지되는 경우, 화재 판단부(330)는 사전에 학습된 데이터를 통해 딥러닝 기반 인공지능이 상기 촬영된 영상의 객체가 확실히 불이나 연기인지 한 번 더 판단할 수 있다. 일례로서, 상기 딥러닝 기반 인공지능 엔진으로는 TensorFlow가 사용될 수 있고, Inception v3 모델이 사용될 수 있다. 조기 화재감지의 목적 달성을 위해, 정답을 알고 있는 훈련데이터를 이용한 머신러닝 모델을 학습시키는 방식인 지도학습을 사용할 수 있으며, 인공지능 모델의 구조, 가중치, 파라미터, 데이터 셋 등은 다양하게 설정될 수 있다. 적어도 하나의 CCTV(100_1 내지 100_6)로부터 전송된 영상은 일정 프레임마다 데이터베이스부(390)에 저장될 수 있고, 다양한 소스코드에 의해 학습이 이루어질 수 있다.When fire or smoke is detected in the images captured by at least one CCTV (100_1 to 100_6) according to the first real-time image processing result, the fire determination unit 330 performs deep learning-based artificial intelligence through pre-learned data. It can be determined once more whether the object of the photographed image is definitely fire or smoke. As an example, TensorFlow may be used as the deep learning-based artificial intelligence engine, and an Inception v3 model may be used. To achieve the goal of early fire detection, supervised learning, which is a method of learning a machine learning model using training data that knows the correct answer, can be used, and the structure, weight, parameter, and data set of the artificial intelligence model can be set in various ways. can The images transmitted from at least one CCTV (100_1 to 100_6) may be stored in the database unit 390 for each predetermined frame, and learning may be performed by various source codes.

화재 판단부(330)는, 1차적으로 불이나 연기가 감지된 것으로 판단된 CCTV 영상과 데이터베이스부(390)에 축적된 평상시 CCTV 영상을 비교하여, 평상시 CCTV 영상과의 유사도가 크게 차이가 날 경우에는 화재인 것으로 판단할 수 있다. 일례로서, 1차적으로 불이나 연기가 감지된 것으로 판단된 CCTV 영상과 평상시 CCTV 영상의 유사도가 90% 이상인 경우에는, 1차 판단 결과가 오작동한 것으로 판단하고 피드백을 주고 화재 알림을 발생하지 않을 수 있다. 또한, 1차적으로 불이나 연기가 감지된 것으로 판단된 CCTV 영상과 평상시 CCTV 영상의 유사도가 90% 미만으로 낮은 일치율을 보일 경우에는 화재라고 판단하여 화재대피 시스템을 가동할 수 있다. 즉, 화재 판단부(330)는 소정의 유사도 기준 값을 설정할 수 있고, 1차적으로 불이나 연기가 감지된 것으로 판단된 CCTV 영상과 평상시 CCTV 영상의 유사도를 유사도 기준 값과 비교하여 1차 화재 판단 결과가 맞는지 여부를 재판단할 수 있다. 상기 소정의 유사도 기준 값은 각 건물(P)이나 각 구역(P1, P2, P3), 각각의 CCTV(100_1 내지 100_6)에 따라 다양하게 변경될 수 있다.The fire determination unit 330 compares the CCTV image, which is primarily determined to have detected fire or smoke, with the ordinary CCTV image accumulated in the database unit 390, and if there is a significant difference in similarity with the ordinary CCTV image may be considered a fire. As an example, if the similarity between the CCTV image, which is primarily determined to have detected fire or smoke, and the ordinary CCTV image, is greater than 90%, the primary determination result is judged to be malfunctioning and feedback may be given and a fire notification may not be generated. have. In addition, when the similarity between the CCTV image, which is primarily determined to have detected fire or smoke, and the ordinary CCTV image, is less than 90%, it is determined that it is a fire and the fire evacuation system can be operated. That is, the fire determination unit 330 may set a predetermined similarity reference value, and compare the similarity between the CCTV image in which fire or smoke is primarily detected and the usual CCTV image with the similarity reference value to determine the primary fire. You can judge whether the results are correct or not. The predetermined similarity reference value may be variously changed according to each building P, each zone P1, P2, P3, and each CCTV 100_1 to 100_6.

화재 판단부(330)는, 딥러닝 기반 인공지능을 사용하므로 적어도 하나의 CCTV(100_1 내지 100_6)의 평상시 CCTV 영상이 데이터베이스부(390)에 계속 축적되어 많은 훈련 데이터가 제공되고 화재 판단이 계속 이루어질수록 화재 판단의 정확도가 상승되는 효과가 있다. 따라서, 화재 판단부(330)의 딥러닝 기반 인공지능이 많은 학습을 할수록 해당 건물(P)의 화재 상황에 대한 인식의 정확도 및 신뢰도가 높아지므로, 최종적으로는 별도의 관리자가 관리하지 않고 무인으로 조기 화재감지 및 대피경로 안내가 가능해질 수 있다.Since the fire determination unit 330 uses deep learning-based artificial intelligence, the usual CCTV images of at least one CCTV 100_1 to 100_6 are continuously accumulated in the database unit 390 so that a lot of training data is provided and fire determination is made continuously. It has the effect of increasing the accuracy of fire determination. Therefore, the more the deep learning-based artificial intelligence of the fire determination unit 330 learns, the higher the accuracy and reliability of the recognition of the fire situation of the building (P), so ultimately, it is an unmanned operation without management by a separate manager. Early fire detection and evacuation route guidance may become possible.

한편, 실시예에 따라, 화재 판단부(330)에 의해 수행되는 딥러닝 기반 인공지능은 불꽃이나 연기 이미지를 학습하는 방법으로 동작할 수도 있다. 즉, 데이터베이스부(390)는 다량의 불꽃 이미지 및 연기 이미지를 저장할 수 있고, 화재 판단부(330)의 딥러닝 기반 인공지능은 상기 데이터베이스부(390)에 저장된 불꽃 이미지 및 연기 이미지를 통하여 불꽃 및 연기를 인식하는 능력을 향상시킬 수 있다. 화재 판단부(330)는, 1차적으로 불이나 연기가 감지된 것으로 판단된 CCTV 영상을 딥러닝 기반 인공지능에 따라 분석하여 해당 CCTV 영상에 불꽃이나 연기가 존재하는지 여부를 2차적으로 판단할 수 있다.Meanwhile, according to an embodiment, the deep learning-based artificial intelligence performed by the fire determination unit 330 may operate as a method of learning a flame or smoke image. That is, the database unit 390 can store a large amount of flame images and smoke images, and the deep learning-based artificial intelligence of the fire determination unit 330 uses the flame images and smoke images stored in the database unit 390 to generate flame and smoke images. It can improve the ability to recognize smoke. The fire determination unit 330 may secondarily determine whether a flame or smoke exists in the CCTV image by analyzing the CCTV image, which is primarily determined to have detected fire or smoke, according to deep learning-based artificial intelligence. have.

화재 알림부(350)는, 화재 판단부(330)가 화재가 발생한 것으로 최종 판단하면, 서버 통신부(310)를 통해 관리자 단말기(700)로 화재 알림을 전송할 수 있다. 화재 알림은 문자메시지 형태나 푸쉬 메시지 등의 형태로 관리자 단말기(700)로 전송될 수 있으며, 화재 의심 구역의 위치, 화재가 감지된 CCTV의 영상 등이 함께 관리자 단말기(700)로 전송될 수 있다. When the fire determination unit 330 finally determines that a fire has occurred, the fire notification unit 350 may transmit a fire notification to the manager terminal 700 through the server communication unit 310 . The fire notification may be transmitted to the manager terminal 700 in the form of a text message or a push message, and the location of the fire suspicious area, the video of the CCTV in which the fire is detected, etc. may be transmitted to the manager terminal 700 together. .

관리자 단말기(700)는 알림음 등을 통해 화재 알림 수신을 관리자에게 알릴 수 있다. 관리자가 화재 알림을 수신한 경우 관리자는 화재 상황이 맞는지 다시 한 번 눈으로 직접 화재 상황을 확인할 수 있고, 화재 상황이 맞는 경우 화재 대피경로 안내 시스템을 구동시켜 건물 내의 인원들이 최단경로를 통해 안전하게 대피할 수 있도록 할 수 있다.The manager terminal 700 may notify the manager of the fire notification reception through a notification sound or the like. When the manager receives a fire notification, the manager can check the fire situation directly once again to see if the fire situation is correct. If the fire situation is correct, the fire evacuation route guide system is activated to safely evacuate the personnel in the building through the shortest route. can make it happen

대피경로 안내부(370)는, 화재 발생 위치 및 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내할 수 있다. 상기 혼잡률은 CCTV 영상을 분석하여 사람들이 어느 정도 밀집되어 있는지 여부에 따라 산출될 수 있다.The evacuation route guide unit 370 may guide the evacuation route according to the location of the fire and the congestion rate analyzed from the images captured by the at least one CCTV (100_1 to 100_6). The congestion rate can be calculated according to how densely people are by analyzing CCTV images.

대피경로 안내부(370)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 화재 상황 확인 정보를 수신하는 경우 상기 대피경로를 안내할 수 있다.The evacuation route guide unit 370 may guide the evacuation route when receiving fire status confirmation information from the manager terminal 700 that has received the fire notification.

대피경로 안내부(700)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 소정 시간 이내에 화재 상황 확인 정보나 화재 오감지 정보를 수신하지 못하는 경우, 자동으로 상기 대피경로를 안내할 수 있다. 즉, 관리자의 부재 등으로 알림을 확인하지 못할 경우, 특정 시간 후에 대피경로 안내부(370)가 자동으로 대피경로를 안내할 수 있다.The evacuation route guide unit 700 may automatically guide the evacuation route when the fire situation confirmation information or fire false detection information is not received within a predetermined time from the manager terminal 700 that has received the fire notification. That is, when it is not possible to check the notification due to the absence of the manager, the evacuation route guide unit 370 may automatically guide the evacuation route after a specific time.

화재 판단부(330)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 화재 오감지 정보를 수신하는 경우, 화재 판단부(330)에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백할 수 있다. 화재 판단부(330)의 딥러닝 기반 인공지능은 화재 오감지 정보가 수신된 CCTV 영상은 화재가 아니었던 것으로 인식하고 새롭게 학습하여 다음 화재 판단에 반영할 수 있다.The fire determination unit 330, when receiving the fire false detection information from the manager terminal 700 that has received the fire notification, recognizes that the fire determination by the fire determination unit 330 is incorrect, and is applied to the deep learning-based artificial intelligence. can give feedback The deep learning-based artificial intelligence of the fire determination unit 330 may recognize that the CCTV image from which the false fire detection information was received was not a fire, learn anew, and reflect it in the next fire determination.

실시예에 따라, 화재 알림을 전송받은 관리자 단말기(700)로부터 응답이 없는 상태에서, 화재 의심 구역의 혼잡도가 증가하거나 화재 의심 구역에서 사람들의 이동 속도가 정상 속도보다 빠른 경우에는 화재 판단부(330)는 화재가 발생한 것으로 판단하고 대피경로 안내부(370)를 통해 대피경로를 안내할 수 있다. 즉, 화재 판단부(330)는 화재 의심 구역의 CCTV에서 촬영된 영상을 분석하여 해당 구역에 사람이 많아져서 혼잡도가 증가하거나 사람들의 이동 속도가 빨라지는 현상이 감지되면, 화재가 발생하여 급박해진 상황이라고 판단하여 대피경로를 안내할 수 있다. 즉, 본 발명의 일실시예에 따른 화재 판단부(330)는 CCTV를 통해 분석된 화재 의심 구역의 혼잡도 및 사람들의 이동 속도를 분석하여 대피경로를 안내할 수 있다.According to an embodiment, in a state in which there is no response from the manager terminal 700 to which the fire notification has been received, when the congestion degree of the fire suspicious area increases or the moving speed of people in the fire suspicious area is faster than the normal speed, the fire determination unit 330 ) may determine that a fire has occurred and guide the evacuation route through the evacuation route guide unit 370 . That is, the fire determination unit 330 analyzes the video taken from the CCTV in the fire-suspecting area, and when it detects that there are more people in the area, so that the congestion level increases or the people's movement speed increases, a fire has occurred and is urgent. It can judge the situation and guide the evacuation route. That is, the fire determination unit 330 according to an embodiment of the present invention may guide the evacuation route by analyzing the congestion level and the movement speed of people in the suspected fire area analyzed through CCTV.

데이터베이스부(390)는 적어도 하나의 CCTV(150_1 내지 150_6)로부터 전송받은 촬영 영상 등을 저장할 수 있으며, 대피경로 안내를 위해 건물(P) 내의 사람들이 보유 중인 사용자 단말기에 대한 정보도 저장할 수 있다.The database unit 390 may store the captured images received from at least one CCTV 150_1 to 150_6, and may also store information on user terminals owned by people in the building P for evacuation route guidance.

도 3은 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법을 나타내는 순서도(Flowchart)이다. 도 3에 도시된 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은 도 1 내지 도 2를 참조하여 상술한 도시된 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버(300)에 의해 수행될 수 있다.3 is a flowchart illustrating an early fire detection method using AI based on image processing and deep learning according to an embodiment of the present invention. An early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention shown in FIG. 3 is an embodiment of the present invention shown above with reference to FIGS. 1 to 2 . It can be performed by the early fire detection server 300 using AI based on image processing and deep learning.

도 3을 참조하면, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은, 서버 통신부(310)가 건물(P)의 각 공간에 설치된 적어도 하나의 CCTV(100_1 내지 100_6)로부터 촬영된 영상을 전송받는 단계(S21)를 포함할 수 있다. 실시예에 따라, 적어도 하나의 CCTV(100_1 내지 100_6)는 촬영된 영상을 1차로 판단하여 불이나 연기가 감지된 경우에만 상기 촬영된 영상을 조기 화재감지 서버(300)로 전송할 수도 있다. 이 경우에는 조기 화재감지 서버(300)에서 수행되는 S22 단계는 생략될 수 있다.Referring to FIG. 3 , in an early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention, at least one server communication unit 310 is installed in each space of the building P. It may include a step (S21) of receiving the captured image from the CCTV (100_1 to 100_6). According to an embodiment, at least one of the CCTVs 100_1 to 100_6 may first determine the captured image and transmit the captured image to the early fire detection server 300 only when fire or smoke is detected. In this case, step S22 performed by the early fire detection server 300 may be omitted.

다음으로, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은, 화재 판단부(330)가 상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하는 단계(S22)를 포함할 수 있다. 상술한 바와 같이, 화재 판단부(330)는 OpenCV 기반의 실시간 영상처리 방법에 따라 불 또는 연기를 1차로 감지할 수 있다.Next, in the early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention, the fire determination unit 330 image-processes the captured image to detect fire or smoke. It may include a step (S22) of primarily determining whether or not. As described above, the fire determination unit 330 may primarily detect fire or smoke according to an OpenCV-based real-time image processing method.

다음으로, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은, 화재 판단부(330)가 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단하는 단계(S23)를 포함할 수 있다.Next, in the early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention, the fire determination unit 330 determines that fire or smoke is detected as a result of the first determination If it is, it may include a step (S23) of secondarily determining whether or not a fire exists using the deep learning-based artificial intelligence on the captured image.

상기 1차 판단 결과 불 또는 연기가 감지되지 않은 경우에는, 다시 S21 단계로 돌아가서 적어도 하나의 CCTV(100_1 내지 100_6)의 영상을 새롭게 전송받고 다시 S22 단계를 수행할 수 있다.If fire or smoke is not detected as a result of the first determination, the process may return to step S21 again, receive images of at least one CCTV 100_1 to 100_6, and perform step S22 again.

다음으로, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은, 화재 판단부(330)가 화재가 발생한 것으로 최종 판단하면, 서버 통신부(310)를 통해 관리자 단말기(700)로 화재 알림을 전송하는 단계(S24)를 포함할 수 있다.Next, in the early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention, when the fire determination unit 330 finally determines that a fire has occurred, the server communication unit 310 It may include a step (S24) of transmitting a fire notification to the manager terminal 700 through the.

화재 판단부(330)는 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되었지만 2차 판단 결과 화재가 아닌 것으로 최종 판단된 경우에는, 다시 S21 단계로 돌아갈 수 있으며 해당 결과는 1차 판단 모듈에 피드백할 수 있다.The fire determination unit 330 may return to step S21 again if it is determined that fire or smoke is detected as a result of the first determination, but is not a fire as a result of the second determination, and the result is fed back to the first determination module can do.

다음으로, 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법(2000)은, 화재 알림을 전송받은 관리자 단말기(700)로부터 화재 상황 확인 정보를 수신하거나, 화재 알림을 전송받은 관리자 단말기(700)로부터 소정 시간 이내에 회신을 못 받은 경우, 대피경로 안내부(370)가 화재 발생 위치 및 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 단계(S25)를 포함할 수 있다.Next, the early fire detection method 2000 using AI based on image processing and deep learning according to an embodiment of the present invention receives fire situation confirmation information from the manager terminal 700 that has received a fire notification, or When a reply is not received from the manager terminal 700 that has received the notification within a predetermined time, the evacuation route guide 370 analyzes the location of the fire and the congestion rate analyzed from the images captured by the at least one CCTV 100_1 to 100_6. It may include a step (S25) of guiding an evacuation route according to the

화재 판단부(330)는, 화재 알림을 전송받은 관리자 단말기(700)로부터 화재 오감지 정보를 수신하는 경우, 화재 판단부(330)에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백할 수 있다.The fire determination unit 330, when receiving the fire false detection information from the manager terminal 700 that has received the fire notification, recognizes that the fire determination by the fire determination unit 330 is incorrect, and is applied to the deep learning-based artificial intelligence. can give feedback

도 4a 및 도 4b는 본 발명의 일실시예에 따른 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법에 따라 CCTV에서 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단하는 화면을 나타내는 도면이다.4A and 4B are screens for judging whether fire or smoke is detected by image processing an image captured by CCTV according to an early fire detection method using image processing and deep learning-based AI according to an embodiment of the present invention; It is a drawing showing

도 4a를 참조하면, 붉은색 박스로 처리된 부분이 화재 판단부(330)에 의해 불꽃이 감지된 것으로 판단된 부분이다. 도 4b를 참조하면, 붉은색 박스로 처리된 부분이 화재 판단부(330)에 의해 연기가 감지된 것으로 판단된 부분이다. 도 4a 및 도 4에 도시된 바와 같이, 화재 판단부(330)는 OpenCV 등을 이용한 영상처리를 통해 실시간으로 불꽃(화염) 및 연기를 감지할 수 있다. 일례로서, 상기 OpenCV는 Caffe라는 AI 학습 모델을 사용할 수 있다.Referring to FIG. 4A , a portion treated with a red box is a portion determined by the fire determination unit 330 to detect a flame. Referring to FIG. 4B , a portion treated with a red box is a portion determined by the fire determination unit 330 to detect smoke. 4A and 4 , the fire determination unit 330 may detect a flame (flame) and smoke in real time through image processing using OpenCV or the like. As an example, the OpenCV may use an AI learning model called Caffe.

도 5a 및 도 5b는 본 발명의 일실시예에 따른 대피경로 안내부의 동작방법을 설명하는 도면이다. 도 5a 및 도 5b는 건물의 평면도를 간단히 도식화한 것으로서, R1 내지 R10은 사무실과 같은 공간을 나타내며 S1 내지 S4는 화재 발생 시 대피할 수 있는 계단을 나타낸다.5A and 5B are diagrams for explaining an operation method of an evacuation route guide unit according to an embodiment of the present invention. 5A and 5B are schematic diagrams of a floor plan of a building, where R1 to R10 represent a space such as an office, and S1 to S4 represent evacuation stairs in case of fire.

대피경로 안내부(370)는, 화재 발생 위치 및 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내할 수 있다. 대피경로 안내부(370)는 OpenCV를 활용하여 각 대피경로의 구역마다 인구 밀집 정도를 측정하여 혼잡률을 분석할 수 있다. 또한, 대피경로 안내부(370)는, 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상을 화재가 발생하지 않고 인구의 이동이 없을 때 촬영된 영상과 비교하여, 상기 혼잡률을 산정할 수도 있다. 예를 들어, 화재가 발생하여 해당 구역의 비상구에 인원이 많이 모일 경우에는 기존에 저장되어 있는 영상정보와의 유사도가 현저히 떨어지게 되므로 인원이 많이 몰려 있음을 추정할 수 있다. 반면에, 해당 구역의 비상구에 인원이 많지 않을 때에는 기존에 저장되어 있는 영상정보와의 유사도가 크게 차이 나지 않으므로, 인구가 몰려있지 않은 것으로 추정할 수 있다. 이를 통해 혼잡률이 높지 않은 곳으로 원활한 대피를 유도할 수 있다.The evacuation route guide unit 370 may guide the evacuation route according to the location of the fire and the congestion rate analyzed from the images captured by the at least one CCTV (100_1 to 100_6). The evacuation route guide unit 370 may analyze the congestion rate by measuring the degree of population density in each area of each evacuation route by using OpenCV. In addition, the evacuation route guide unit 370 compares the image captured by at least one CCTV (100_1 to 100_6) with the image captured when there is no fire and no movement of the population to calculate the congestion rate. may be For example, when a large number of people gather at the emergency exit of the corresponding area due to a fire, the similarity with the previously stored image information is significantly reduced, so it can be estimated that a large number of people are gathered. On the other hand, when there are not many people at the emergency exit of the relevant area, the similarity with the previously stored image information is not significantly different, so it can be estimated that the population is not crowded. This can lead to smooth evacuation to a place where the congestion rate is not high.

도 5a를 참조하면, S1 계단 앞에서 화재가 발생한 경우 대피경로 안내부(370)는 R1, R2, R7, R8, R9, R10의 인원들에게는 최단 거리에 위치하는 S2 계단 및 S3 계단으로 대피경로를 안내할 수 있고, R3, R4, R5, R6의 인원들에게는 S4 계단으로 대피경로를 안내할 수 있다.Referring to FIG. 5A, when a fire occurs in front of stairs S1, the evacuation route guide unit 370 provides an evacuation route for the personnel of R1, R2, R7, R8, R9, and R10 to the S2 stairs and S3 stairs located at the shortest distance. You can guide the personnel in R3, R4, R5, and R6 to the evacuation route using the S4 stairs.

다음으로 도 5b를 참조하면, 대피가 이루어져 S2 계단 및 S3 계단에 인원이 몰리는 경우, S2 계단 및 S3 계단 부근에 설치된 CCTV에 의해 촬영된 영상을 통해 해당 구역의 혼잡률이 높아진 것으로 판단할 수 있다. 이에 따라, 대피경로 안내부(370)는 S2 계단 및 S3 계단의 혼잡률이 높아진 것을 감안하여 R1, R2, R7, R8, R9, R10의 인원들에게도 S2 계단 및 S3 계단이 아니라 S4 계단으로 대피하도록 안내할 수 있다. 이러한 혼잡률은 화재 발생 시 최적의 대피경로를 계산하기 위하여 적어도 하나의 CCTV(100_1 내지 100_6)가 설치된 각 구역마다 실시간으로 계산될 수 있다.Next, referring to FIG. 5B , when an evacuation occurs and people flock to the S2 and S3 stairs, it can be determined that the congestion rate in the corresponding area has increased through the video captured by the CCTV installed near the S2 and S3 stairs. . Accordingly, the evacuation route guide unit 370 evacuates the personnel of R1, R2, R7, R8, R9, and R10 by the S4 stairs instead of the S2 and S3 stairs in consideration of the increased congestion rate of the S2 stairs and the S3 stairs. can guide you to do it. This congestion rate may be calculated in real time for each zone in which at least one CCTV (100_1 to 100_6) is installed in order to calculate an optimal evacuation route in case of a fire.

대피경로 안내부(370)는, 화재 발생 위치 및 적어도 하나의 CCTV(100_1 내지 100_6)에 의해 촬영된 영상으로부터 분석된 혼잡률에 기반하여 최단경로 기반의 대피경로를 안내할 수 있다. 일례로서, 상기 최단경로 기반의 대피경로 안내방법은 다익스트라(Dijkstra) 알고리즘 또는 에이스타(A*) 알고리즘 등을 사용할 수 있다. 각 알고리즘의 가중치는 각 구역에 설치된 CCTV에서부터 대피로까지의 거리일 수 있다.The evacuation route guide unit 370 may guide the evacuation route based on the shortest route based on the location of the fire and the congestion rate analyzed from the images captured by the at least one CCTV 100_1 to 100_6. As an example, the shortest route-based evacuation route guidance method may use a Dijkstra algorithm or an A* algorithm. The weight of each algorithm may be the distance from the CCTV installed in each zone to the evacuation route.

실시예에 따라, 상기 대피경로 안내부(370)는, 고층이나 비상구까지의 거리가 먼 곳 등 대피가 힘든 지역부터 대피경로를 계산할 수 있다. 대피경로 안내부(370)는, 현재 위치에서 가장 가까운 비상구까지의 경로를 대피경로로 설정하되, 현재 위치에서 비상구 사이에 화재가 진행되었다면 그 비상구는 제외하고, 해당 비상구나 해당 비상구까지의 경로가 혼잡률이 높은 경우 해당 비상구는 제외할 수 있다. 대피경로 안내부(370)는 화재 발생 위치로부터의 거리 등을 고려하여 대피경로 안내 순서를 설정할 수 있다.According to an embodiment, the evacuation route guide unit 370 may calculate an evacuation route from an area where it is difficult to evacuate, such as a high floor or a long distance to an emergency exit. The evacuation route guide unit 370 sets the route from the current location to the nearest emergency exit as the evacuation route, but if a fire has occurred between the current location and the emergency exit, the route to the emergency exit or the emergency exit is excluded. If the congestion rate is high, the emergency exit may be excluded. The evacuation route guide unit 370 may set the evacuation route guide sequence in consideration of the distance from the location of the fire.

실시예에 따라, 상기 대피경로 안내부(370)는, 최종적으로 검색된 비상구로 대피경로를 안내할 수 있으며, 대피경로로 안내된 비상구와 연결된 다른 층들의 비상구에 대한 혼잡률을 증가시켜 대피경로의 몰림 현상을 방지할 수 있다.According to an embodiment, the evacuation route guide unit 370 may guide the evacuation route to the finally searched emergency exit, and increase the congestion rate for the emergency exits of other floors connected to the emergency exits guided to the evacuation route. It is possible to prevent the crowding phenomenon.

실시예에 따라, 상기 대피경로 안내부(370)는 건물(P)에 설치된 방송용 스피커나 비상구 유도등 등으로 상기 대피경로를 안내할 수 있다. 또한, 상기 대피경로 안내부(370)는 형광등을 통해 비상구를 유도할 수 있는 회로 등을 이용하여 일반적인 비상구 유도등과 같이 대피경로를 안내할 수도 있다. 또한, 실시예에 따라, 상기 대피경로 안내부(370)는 건물(P) 내에 있는 사람들의 사용자 단말기로 대피경로에 관한 메시지 등을 전송할 수도 있다.According to an embodiment, the evacuation route guide unit 370 may guide the evacuation route using a broadcasting speaker installed in the building P, an emergency exit guide, or the like. In addition, the evacuation route guide unit 370 may guide the evacuation route like a general emergency exit guide lamp using a circuit capable of guiding an emergency exit through a fluorescent lamp. In addition, according to an embodiment, the evacuation route guide unit 370 may transmit a message about the evacuation route to the user terminals of people in the building P, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 상술한 바와 같은 실시예들을 다양하게 조합 가능하다. 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is merely exemplary, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Various combinations of the above-described embodiments are possible. The true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

100_1 ~ 100_6 : CCTV 300: 조기 화재감지 서버
310: 서버 통신부 330: 화재 판단부
350: 화재 알림부 370: 대피경로 안내부
390: 데이터베이스부 500: 유무선 통신망
700: 관리자 단말기100_1 ~ 100_6 : CCTV 300: Early fire detection server
310: server communication unit 330: fire determination unit
350: fire notification unit 370: evacuation route information unit
390: database unit 500: wired and wireless communication network
700: manager terminal

Claims

건물의 각 공간에 설치된 적어도 하나의 CCTV 및 조기 화재감지 서버를 포함하는 조기 화재감지 시스템에 있어서,
상기 적어도 하나의 CCTV는 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 판단하고, 상기 촬영된 영상에서 불 또는 연기가 감지된 경우 상기 촬영된 영상을 상기 조기 화재감지 서버로 전송하며,
상기 조기 화재감지 서버는,
상기 적어도 하나의 CCTV로부터 상기 촬영된 영상을 전송받는 서버 통신부;
상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 재판단하는 화재 판단부;
상기 화재 판단부가 화재가 발생된 것으로 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 화재 알림부; 및
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 상황 확인 정보를 수신하는 경우 대피경로를 안내하는 대피경로 안내부를 포함하고,
상기 화재 판단부는,
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 오감지 정보를 수신하는 경우, 상기 화재 판단부에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백하며,
상기 대피경로 안내부는,
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 소정 시간 이내에 상기 화재 상황 확인 정보나 상기 화재 오감지 정보를 수신하지 못하는 경우, 자동으로 상기 대피경로를 안내하는 것을 특징으로 하는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템.An early fire detection system comprising at least one CCTV and an early fire detection server installed in each space of a building,
The at least one CCTV image-processes the photographed image to determine whether fire or smoke is detected, and when fire or smoke is detected in the photographed image, transmits the photographed image to the early fire detection server,
The early fire detection server,
a server communication unit receiving the captured image from the at least one CCTV;
a fire determination unit that judges whether the photographed image is a fire using deep learning-based artificial intelligence;
a fire notification unit configured to transmit a fire notification to a manager terminal through the server communication unit when the fire determination unit determines that a fire has occurred; and
and an evacuation route guide for guiding an evacuation route when receiving fire situation confirmation information from the manager terminal that has received the fire notification,
The fire determination unit,
When receiving false fire detection information from the manager terminal that has received the fire notification, it recognizes that the fire determination by the fire determination unit is incorrect and feeds back to the deep learning-based artificial intelligence,
The evacuation route guide unit,
AI based on image processing and deep learning, characterized in that the evacuation route is automatically guided when the fire situation confirmation information or the fire false detection information is not received within a predetermined time from the manager terminal that has received the fire notification Early fire detection system using

제1항에 있어서, 상기 대피경로 안내부는,
화재 발생 위치 및 상기 적어도 하나의 CCTV에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 것을 특징으로 하는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 시스템.According to claim 1, wherein the evacuation route guide unit,
An early fire detection system using AI based on image processing and deep learning, characterized in that it guides the evacuation route according to the location of the fire and the congestion rate analyzed from the video captured by the at least one CCTV.

건물의 각 공간에 설치된 적어도 하나의 CCTV로부터 촬영된 영상을 전송받는 서버 통신부;
상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하고, 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단하는 화재 판단부;
상기 화재 판단부가 화재가 발생한 것으로 최종 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 화재 알림부; 및
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 상황 확인 정보를 수신하는 경우 대피경로를 안내하는 대피경로 안내부를 포함하고,
상기 화재 판단부는,
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 오감지 정보를 수신하는 경우, 상기 화재 판단부에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백하며,
상기 대피경로 안내부는,
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 소정 시간 이내에 상기 화재 상황 확인 정보나 상기 화재 오감지 정보를 수신하지 못하는 경우, 자동으로 상기 대피경로를 안내하는 것을 특징으로 하는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버.a server communication unit receiving an image captured from at least one CCTV installed in each space of the building;
First, it is determined whether fire or smoke is detected by image processing the photographed image, and when it is determined that fire or smoke is detected as a result of the first determination, the photographed image is subjected to a fire using deep learning-based artificial intelligence a fire determination unit that determines secondary;
a fire notification unit for transmitting a fire notification to the manager terminal through the server communication unit when the fire determination unit finally determines that a fire has occurred; and
and an evacuation route guide for guiding an evacuation route when receiving fire situation confirmation information from the manager terminal that has received the fire notification,
The fire determination unit,
When receiving false fire detection information from the manager terminal that has received the fire notification, it recognizes that the fire determination by the fire determination unit is incorrect and feeds back to the deep learning-based artificial intelligence,
The evacuation route guide unit,
AI based on image processing and deep learning, characterized in that the evacuation route is automatically guided when the fire situation confirmation information or the fire false detection information is not received within a predetermined time from the manager terminal that has received the fire notification Early fire detection server using

제3항에 있어서, 상기 대피경로 안내부는,
화재 발생 위치 및 상기 적어도 하나의 CCTV에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 것을 특징으로 하는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 서버.According to claim 3, The evacuation route guide unit,
An early fire detection server using AI based on image processing and deep learning, characterized in that it guides the evacuation route according to the location of the fire and the congestion rate analyzed from the video captured by the at least one CCTV.

서버 통신부가 건물의 각 공간에 설치된 적어도 하나의 CCTV로부터 촬영된 영상을 전송받는 단계;
화재 판단부가 상기 촬영된 영상을 영상처리하여 불 또는 연기가 감지되었는지 여부를 1차로 판단하는 단계;
상기 화재 판단부가 상기 1차 판단 결과 불 또는 연기가 감지된 것으로 판단되면 상기 촬영된 영상을 딥러닝 기반 인공지능을 이용하여 화재 여부를 2차로 판단하는 단계;
상기 화재 판단부가 화재가 발생한 것으로 최종 판단하면, 상기 서버 통신부를 통해 관리자 단말기로 화재 알림을 전송하는 단계; 및
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 상황 확인 정보를 수신하거나, 상기 화재 알림을 전송받은 상기 관리자 단말기로부터 소정 시간 이내에 회신을 못 받은 경우, 대피경로 안내부가 화재 발생 위치 및 상기 적어도 하나의 CCTV에 의해 촬영된 영상으로부터 분석된 혼잡률에 따라 대피경로를 안내하는 단계를 포함하고,
상기 화재 판단부는,
상기 화재 알림을 전송받은 상기 관리자 단말기로부터 화재 오감지 정보를 수신하는 경우, 상기 화재 판단부에 의한 화재 판단이 잘못된 것임을 인식하여 상기 딥러닝 기반 인공지능에 피드백하는 것을 특징으로 하는 영상처리와 딥러닝 기반의 AI를 이용한 조기 화재감지 방법.receiving, by a server communication unit, an image captured from at least one CCTV installed in each space of a building;
a step of first determining whether fire or smoke is detected by image processing by a fire determination unit;
If the fire determination unit determines that fire or smoke is detected as a result of the first determination, secondarily determining whether or not a fire exists on the captured image using deep learning-based artificial intelligence;
When the fire determination unit finally determines that a fire has occurred, transmitting a fire notification to the manager terminal through the server communication unit; and
If fire status confirmation information is received from the manager terminal that has received the fire notification, or a reply is not received within a predetermined time from the manager terminal that has received the fire notification, the evacuation route guide unit determines the location of the fire and the at least one CCTV Including the step of guiding an evacuation route according to the congestion rate analyzed from the image taken by
The fire determination unit,
Image processing and deep learning, characterized in that when receiving false fire detection information from the manager terminal that has received the fire notification, it is recognized that the fire determination by the fire determination unit is wrong and fed back to the deep learning-based artificial intelligence An early fire detection method using AI-based AI.