KR102493652B1 - 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템 - Google Patents

불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템 Download PDF

Info

Publication number
KR102493652B1
KR102493652B1 KR1020210016375A KR20210016375A KR102493652B1 KR 102493652 B1 KR102493652 B1 KR 102493652B1 KR 1020210016375 A KR1020210016375 A KR 1020210016375A KR 20210016375 A KR20210016375 A KR 20210016375A KR 102493652 B1 KR102493652 B1 KR 102493652B1
Authority
KR
South Korea
Prior art keywords
fire detection
present
detection model
smoke
kernel
Prior art date
Application number
KR1020210016375A
Other languages
English (en)
Other versions
KR20220112913A (ko
Inventor
조영임
약요쿠자
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020210016375A priority Critical patent/KR102493652B1/ko
Publication of KR20220112913A publication Critical patent/KR20220112913A/ko
Application granted granted Critical
Publication of KR102493652B1 publication Critical patent/KR102493652B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 CNN 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하는 감시 시스템을 개시한다. 본 발명에 따르면, 레이어 수 및 커널 크기를 최적으로 결정함으로써 효율적 비용을 들여 불꽃 및 연기를 감지하는 학습 모델이 완성될 수 있다.

Description

불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 CNN 기반의 감시 시스템{AUTOMATIC FIRE AND SMOKE DETECTION METHOD AND SURVEILLANCE SYSTEMS BASED ON DILATED CNNS USING THE SAME}
본 발명은 화염 및 연기 자동 감지 방법 및 이를 이용하는 확장 CNN 기반의 감시 시스템에 관한 것으로, 더욱 상세하게는 확장 합성곱 신경망(Dilated Convolutional Neural Network)에 기반하여, 불꽃 및 연기의 자동 감지를 통해 화재를 예방할 수 있는 방법 및 이를 이용하는 감시 시스템에 관한 것이다.
기술과 스마트 시스템의 급속한 성장에도 불구하고 특정 문제는 해결되지 않거나, 또는 성능이 떨어지는 방법으로 해결된 채로 남아 있다. 이러한 문제 중 하나는 예상치 못한 화재 발생 및 인명과 재산에 큰 피해를 입힐 수 있는 비정상적인 상황이다. 통계 정보원에 따르면 소방청은 2016년부터 2018년까지 3 년 동안 한국에서 129,929 건의 화재가 발생하여 1020명이 사망했다. 5795 건의 부상 및 재산 피해는 미화 24*?*억 달러로 추정된다.
센서 및 감지 기술에서의 최근의 기술 발전으로 인해 산업계에서는, 이러한 기술 발전이 화재로 인한 손해 및 피해를 줄이는 데 도움이 될 수 있는지에 관한 판단이 일어나고 있다. 화재는, 개인의 삶뿐만 아니라 공공 및 사회 개발에 가장 빈번하고 널리 퍼진 위협에 해당할 수 있다.
화재 발생 자체를 미리 근절하는 것이 화재 예방에 있어서 최우선 순위이지만, 그럼에도 불구하고 화재가 심각해지기 전에 발생한 화재를 감지하고 소화하는 것이 필수적이다.
이와 관련하여 화재 사고의 수와 손상 정도를 줄이기 위해, 조기 화재 감지를 위한 많은 방법이 소개되었고 테스트 되었다. 그리고 많은 다양한 종류의 자동 화재 경보 시스템의 감지 기술 유형이 공식화되어 널리 사용되고 있다.
두 가지 유형의 화재 경보 시스템이 알려져 있다. 예를 들어 전통적인 화재 경보 시스템과 컴퓨터 비전 기반 화재 감지 시스템이다. 전통적인 화재 경보 시스템은 열 감지기, 화염 감지기 및 연기 감지기 같은 물리적 센서를 사용한다. 이러한 종류의 감지 장치에는 경보 발생시 화재 발생을 확인하기 위한 인간의 개입을 요구한다. 또한, 이러한 시스템은, 화재 또는 연기를 감지하고 위치를 제공하여 사람에게 경고하기 위해 다양한 종류의 도구가 필요하다.
또한, 연기 감지기는, 연기와 불꽃을 구별할 수 없는 경우, 종종 잘못 트리거 되기도 한다. 화재 감지 센서는 명확한 탐지를 위한 충분한 강도의 화재로 탐지에 걸리는 시간이 연장될 수 있다.
종래의 화재 감지기는, 명확한 감지를 위해 충분할 정도의 화재 강도를 요구했기 때문에, 감지에 시간이 소요됐고, 이로 인해 화재 진행으로 인한 많은 손해와 피해를 가져왔다. 화재 감시 시스템의 견고성과 안정성을 향상시킬 수 있는 대안적인 솔루션은, 시각적 화재 감지 기술의 구현이다. 이와 관련하여, 많은 연구자들이 컴퓨터 비전 기반의 방법과 센서의 조합을 통한 연구를 통해 위에서 업급된 한계를 극복하기 위해 노려해 왔다.
화재 감지 관련 기술로서 국내 공개 특허 제10-2013-0101873호는 열화상 카메라를 이용한 산불 감시 장치 및 그 방법을 개시하고 있다. 관련 기술은, 전경과 배경 분리부, 패턴 저장부, 객체 추출부 및 트랙킹부를 포함하는 산불 감시 장치를 개시하고 있으나, 열화상 이미지에 기반하는 점에서 본 발명의 구성과 구별된다.
또한, 화재 감지 관련 기술로서 국내 공개 특허 제10-2020-0078849호는 disposable IoT 단말을 활용한 산불 확산 예측 및 재발화 감시 서비스 방법 및 시스템을 개시하고 있다. 관련 기술은, 드론을 이용 온도 센서 및 이산화탄소 센서가 장착된 disposable IoT의 살포를 통해 대기의 온도와 이산화탄소 농도를 측정함으로써 산불을 감시하는 방법에 관한 것이라는 점에서, 인공지능 모델을 이용하여 불꽃 및 연기를 감지하는 본 발명의 구성과 구별된다.
한국 공개 특허 제10-2013-0101873호(2013.09.16 공개) 한국 공개 특허 제10-2020-0078849호(2020.07.02 공개)
본 발명이 해결하고자 하는 일 과제는, 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션에 기반하는 인공 신경망 모델을 이용하여 불꽃 및 연기를 자동으로 감지하는 방법 및 이를 이용하는 감시 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 확장 컨볼루션 기법을 이용하여 적은 량의 학습용 데이터 및 적은 량의 학습 시간을 투자하고도, 불꽃 및 연지 감지율이 높은 인공 신경망 모델 및 이를 이용하는 감시 시스템을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 ~ 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 CNN(Convolutional Neural Network) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성될 수 있다.
또한, 감시 시스템은, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 포함하도록 구성될 수 있다.
또한, 제어부는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.
또한, 화재 감지 모델은, 1차 내지 4차 합성곱 레이어(Convolutional Layer)를 포함하되,
각 차수의 합성곱 레이어 다음에 Max-pooling Layer를 포함하도록 구성될 수 있다.
또한, 합성곱 레이어는, 확장 CNN(Dilated Convolutional Neural Network)의 Layer에 해당할 수 있다.
또한, 합성곱 레이어는, 3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성될 수 있다.
또한, 화재 감지 모델은, 1차 및 2차 Fully Connected Layer를 포함하되,
각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성될 수 있다.
또한, 화재 감지 모델은, 불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른 불꽃 감시 방법은, 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 단계; 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및 화재 감지 모델의 성능을 테스트하는 단계를 포함하도록 구성될 수 있다.
본 발명의 일 실시 예에 따른, 감시 시스템은, 이미지 분석을 위해 데이터셋에 포함된 이미지의 픽셀 정보를 읽어 들이는 가로 및 세로 크기를 갖는 복수의 필터들; 각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성될 수 있다.
또한, 필터는, 커널 사이즈가 3인 경우 최적의 성능을 나타내는 것을 특징으로 한다.
또한, 합성곱 레이어는, 합성곱 레이어의 수가 4인 경우 최적의 성능을 나타내는 것을 특징으로 한다.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의하면, 레이어 수 및 커널 크기를 최적으로 결정함으로써 효율적 비용을 들여 불꽃 및 연기를 감지하는 학습 모델을 완성할 수 있다.
또한, 확장 컨볼루션에 기반하는 인공 신경망을 이용하여 오버피팅을 방지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 불꼬 및 연기 자동 감지 방법의 흐름도이다.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 감시 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)은, 제어부(110), 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150) 및 메모리(160)를 포함하도록 구성될 수 있다.
제어부(110)는, 입력 장치(120), 출력 장치(130), 저장 장치(140), 통신 장치(150)를 직접 또는 간접적으로 제어하는 기능 외에, 메모리(160)에 로드된 각종 프로그램 모듈을 제어하는 역할을 한다.
제어부(110)는, 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정할 수 있다.
또한, 제어부(110)는, 모델 검증부의 테스트 결과의 피드백에 기반하여 상기 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 변경할 수 있다.
입력 장치(120)는, 사용자 입력을 위한 키보드, 마우스, 터치패드 외에 실시간으로 감시 대상을 촬영하는 카메라를 포함하도록 구성될 수 있다.
출력 장치(120)는, 화재 감지를 위해 수집된 영상을 표시하는 모니터링 디스플레이 외에, 화재 현장이 감지된 경우, 이를 알릴 수 있는 알람 수단, 예를 들어 스피커를 포함하도록 구성될 수 있다.
감시 시스템은(100)은, 감시 기능과 관련하여 불꽃 또는 연기를 자동으로 감지하는 기능을 수행하는 모듈들, 예를 들어 데이터 처리부(161), 학습부(162), 검증부(163) 및 화재 감지 모델(164)을 포함하도록 구성될 수 있다. 이들 모듈들은, 하드웨어 및 소프트웨어 중에서 적어도 하나를 이용하여 구현될 수 있다.
데이터 처리부(161)는, 수집된 불꽃 이미지와 연기 이미지를 처리함으로써 학습용과 테스트용의 데이터셋을 생성하는 역할을 한다.
학습부(162)는, 불꽃 이미지와 연기 이미지로 구성된 데이터셋을 이용하여 화재 감지 모델을 학습시키는 기능을 한다.
검증부(163)는, 데스트 용도의 데이터셋을 이용하여 학습을 마치 화재 감지 모델의 성능을 데스트하는 역할을 한다.
화재 감지 모델(164)은, 학습용 데이터셋을 이용하는 학습의 주체로서, 본 발명에서는 불꽃 이미지 및 연기 이미지로 구성된 데이터셋을 이용하여 불꽃 또는 연기를 인식함으로써 자동으로 화재를 감지하는 방법을 학습한다.
도 2는 본 발명의 일 실시 예에 따른 감시 시스템의 네트워크 구성도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 감시 시스템(100)과, 이와 네트워크(300)를 통해서 연결된 적어도 하나 이상의 서버(200)가 묘사되어 있다. 감시 시스템(100)은, 화재 감지 모델을 포함하는 것을 특징으로 한다. 또한, 감시 시스템(100)은, 화재 감지 모델의 학습 및 평가를 위한 시스템으로 이용될 수 있다. 감지 모델의 학습 및 평가에는 감시 시스템(100) 외에 각종 서버(200)가 이용될 수 있다. 서버(200)는 기능 별로, 데이터 서버, 인공지능 API 서버, 클라우드 서버, 및 웹서버 등을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 불꽃 및 연기 자동 감지 방법의 흐름도이다.
도 3을 참조하면, 감지 방법(S100)은 수집된 영상을 이용하여 데이터셋을 생성하는 단계(S110), 데이터셋을 이용하여 화재 감지 모델을 훈련시키는 단계(S120) 및 화재 감지 모델의 성능을 테스트하는 단계(S130)를 포함하도록 구성될 수 있다.
비전 관련 작업의 주요 한계 요인들 중의 하나는 제안된 방법을 평가하고 분석하는데 사용될 강건한 데이터가 부족하다는 것이다. 적합한 데이터셋을 찾기 위해, 본 발명에서는 이전 연구에서 사용되었던 데이터셋이 면밀히 검토되었다. 많은 데이터셋 중에서, Foggia 등에 의해 제공된 데이터셋은, 14 개의 불꽃 및 17 개의 불꽃 외의 비디오를 포함한다. 그러나, 이 비디오의 다양성이 훈련에 적합하지 않았기 때문에,
트레이닝 셋은 Foggia의 데이터셋에서 추출된 불꽃 이미지와 인터넷 상에서 구해진 이미지로 구성된다. 또 다른 인터넷 소스로부터 구해진 연기 영상은 데이터셋의 다양성을 높였다.
비디오로부터 프레임이 추출되고, 본 발명에서 사용하기 위한, 최종 불꽃-연기 데이터셋을 구축하기 위해, 각 비디오로부터 이미지가 무작위적으로 추출되었다. 본 발명의 일 실시 예에 따른 데이터셋은 8430개의 불꽃 이미지 및 8430개의 연기 이미지, 전체 16,860개의 이미지를 포함한다.
도 4은 본 발명의 일 실시 예에서 사용된 데이터셋의 불꽃 이미지이다.
도 5는 본 발명의 일 실시 예에서 사용된 데이터셋의 연기 이미지이다.
도 4 및 도 5를 참조하면, 수집된 불꽃 이미지와 연기 이미지들의 예가 묘사되어 있다. RGB 이미지들은 JPG 포맷으로 저장되고, 이미지들은 100*100 픽셀의 크기를 갖는다.
본 발명의 일 실시 예에 따른 화재 감지 모델은, 인공 신경망(Neural Network)에 기반한다. 화재 감지 모델은, 인공 신경망 중에서, 합성곱 신경망(Convolutional Neural Network)이라고 하는 CNN에 기반할 수 있다. 합성곱은 컨볼루션이라 하는데, 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자이다.
컨볼루션(convolution)을 이용하는 목적은, 입력 이미지로부터 학습 가능한 특징을 수집하는 것이다. 컴퓨터 비전에서, 특징을 추출하는 몇 가지 다른 종류의 컨볼루션 용도의 필터가 존재한다. 각 유형의 필터는, 입력 데이터로부터 예를 들어 수평방향, 수직방향 및 대각선방향 에지와 같은 서로 다른 측면 또는 특징을 추출하는 역할을 한다.
Figure 112021014820260-pat00001
Figure 112021014820260-pat00002
수학식 1은 일반적인 컨볼루션(standard convolution)을 나타내고, 수학식 2는 확장 컨볼루션(dilated convolution)을 나타낸다.
수학식 2를 참조하면, s+lt=p는 컨볼루션 중에 어떤 포인트는 스킵될 수 있음을 알려준다. 더욱이, 확장 컨볼루션(dilated convolution)은 신경망으로 하여금 컨텍스트로부터 더 많은 정보를 얻게 하고, 적은 파라미터로 인하여 적은 연산 시간을 요하도록 한다. 그리고 확장 컨볼루션은, 모델이 일반 컨볼루션이 이용하는 모델보다 더 빠른 연산을 하도록 허락한다. 확장 컨볼루션은, 각 픽셀이 해당 카테고리에 의해 라벨링 되는 픽셀 이미지 분할(image segmentation)에서 주로 사용된다. 따라서, 신경망의 출력은 입력 이미지와 동일한 크기일 필요가 있다.
확장 컨볼루션은 간단히 말하면, 기존 컨볼루션 필터가 수용하는 픽셀 사이에 간격을 둔 형태이다. 확장 컨볼루션에서 입력 픽셀 수는 일반 컨볼루션과 동일하지만, 확장 컨볼루션은 더 넓은 범위에 대한 입력을 수용할 수 있게 된다.
확장 컨볼루션은 합성곱 레이어(Convolutional layer)에 또 다른 파라미터인 dilation rate이 도입된 것이다. Dilation rate은 커널 사이즈 간격을 정의한다.
도 6은 본 발명의 일 실시 예에 따른 확장 CNN 필터의 예시도이다.
도 6을 참조하면, dilation rate이 2인 3*3 커널은 9개의 파라미터를 사용하면서 5*5 커널과 동일한 시야(view)를 갖는다.
도 7은 본 발명의 일 실시 예에 따른 확장 CNN을 이용하는 필터링의 예시도이다.
도 7을 참조하면, 5*5 커널을 사용하고 두번째와 네번째 열과 행이 모두 삭제되면 (3*3 커널을 사용한 경우 대비) 동일한 계산 비용으로 더 넓은 시야가 제공될 수 있다.
확장 컨볼루션은 특히 real-time segmentation 분야에서 주로 사용된다. 특히 확장 컨볼루션은, 넓은 시야가 필요하고 여러 convolution이나 큰 커널을 사용할 여유가 없는 경우 사용된다.
즉 확장 컨볼루션은, 적은 계산 비용으로 Receptive Field를 늘리는 방법이다. 이 확장 컨볼루션은 필터 내부에 zero padding을 추가해서 강제로 receptive field를 늘리게 되는데, weight가 존재하는 파라미터가 있고, 나머지 부분은 0으로 채워지게 된다. 이 receptive field는 필터가 한번 보는 영역으로 사진의 feature를 파악하고, 추출하기 위해서는 넓은 receptive field를 사용하는 것이 좋다. 확장 컨볼루션은, Dimension 손실이 적고, 대부분의 weight가 0이기 때문에 연산의 효율이 좋다. 공간적 특징을 유지하는 segmentation에서 주로 사용되는 이유이다.
또한, segmentation 뿐만 아니라, object detection 분야에서도 이득을 볼 수 있다. 이와 같이 확장 컨볼루션은, contextual information이 중용한 분야에 적용하기 유리하다. 또한, 간격을 조절하여 다양한 scale에 대한 대응이 가능하다.
도 8은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 예시도이다.
본 발명에서 필요한 신경망은, 1000여 개에 달하는 그룹의 분류 작업이 아니다. 따라서, 본 발명에서는 도 8과 같은 적은 레이어의 모델이 구성될 수 있다.
도 8의 구조에서 모든 컨볼루션 레이어는, 사이즈 3*3의 Receptive Field를 이용하고, rate 2의 확장 컨볼루션(Dilated Convolution)이 채용되었다. 4번째 Convolution 레이어 다음에 2024개의 노드를 갖는 2개의 Fully Connected 레이어 및 2개의 노드를 갖는 최종 출력 레이어가 이어진다.
도 9는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 세부 정보를 나타내는 테이블이다.
제안된 방법의 아키텍처는 도 9에 제공된다. 입력 레이어는 100*100*3(폭*높이*컬러 채널)의 고정 형태의 입력 데이터를 받고, 모든 데이터 포인트들은 주어진 형태에 맞도록 리사이즈 된다.
1차 Convolution 레이어의 출력 모양은, 96*96*128이다. 특징의 연산은 수학식 3으로 주어진다.
Figure 112021014820260-pat00003
Figure 112021014820260-pat00004
수학식 3에서, (폭*높이)는 입력 모양, (Fwidth*Fheight)은 필터 사이즈, Swidth 및 Sheight는 스트라이드이고, P는 패딩(“valid” padding에 해당)한다.
본 발명에 따른 일 실시 예에서, 전체 4개의 합성곱 레이어(convolutional layer) 다음에 활성화 함수로 Rectified Linear unit(ReLU)를 채택되었다. ReLU의 수학적 폼은 수학식 4와 같이 묘사된다.
Figure 112021014820260-pat00005
ReLU의 장점은, 다른 비선형 활성화 함수 대비 프로세싱 속도도 높은 것이다. 추가로, ReLU는 Gradient Vanishing 문제를 격지 않는데, ReLU 함수의 Gradient는 0 또는 1이기 때문인데, 이는 이것이 포화하지 않는 것을 의미하고, 그래서 Gradient Vanishing 문제가 발생하지 않는다.
각 합성곱 레이어 다음에, 다운 샘플링 특징을 위해 max-pooling 레이어가 채택되었다. Max-pooling은, 컴퓨터 비전 작업, 예를 들어 분류(classification), 분할(segmentation), 객체 감지(object detection)를 위해서 average pooling 대비 더욱 효과적인 것이 증명되었다. 본 발명의 일 실시 예에 따른 방법은, 4차 합성곱 레이어까지 factor 2만큼 필터 수의 증가에 의해 작용한다. 초기 레이어에서, dilation rate 2를 갖는 128 커널이 채용되었다. 이어지는 레이어는, 1차 합성곱 레이어 대비 2배의 256 커널로 구성된다. 3차 및 4차 레이어는 동일한 깊이, 즉 512 필터를 갖는다. 컴퓨터 비전에서 흔한 문제점은 오버 피팅(over fitting)이다. 오버 피팅 문제를 방지하기 위해 최종 합성곱 레이어(Final Convolutional Layer) 및 각 fully Connected 레이어 다음에 드롭 아웃 정규화(dropout regularization)가 사용된다.
AlexNet은 로컬 입력 영역(local input regions)에 걸쳐 정규화하는 로컬 응답 정규화(local response normalization)를 사용한다. 본 발명의 일 실시 예에 따른 네트워크 아키텍처는 AlexNet 보다 얕으며, 모델을 훈련하는 데 사용되는 데이터의 양은 상당히 많다. 따라서, 어떤 정규화 기술(normalizing technique)의 적용은 데이터 포인트들 간의 본질적인 관계를 잃게 할 수도 있다. 결국, 본 발명은 수학식 5에 묘사된 바와 같이 평가 결과의 확률을 나타내기 위해, 활성화 함수로서 시그모이드 활성화(sigmoid activation)가 채택되었다.
Figure 112021014820260-pat00006
본 발명의 일 실시 예에 따른 화재 감지 모델은, Keras, 텐서플로우 프레임워크의 상위 레벨의 API를 이용하여 훈련되었다. Keras는 파이썬으로 쓰여진 오픈-소스 신경망 라이브러리이다.
또한, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 3.4GHz AMD Ryzen Thread ripper 1950X 16-Core 프로세서 및 11GB 메모리의 NVIDIA GeForce GTX 1080Ti GPU를 갖는 워크스테이션 상에서 훈련될 수 있다. 훈련 중에, 데이터 확장(data augmentation) 기술이 사용되고, 그리고 본 발명에서, epochs 및 배치 사이즈는 250 및 64로 셋될 수 있다. 훈련 프로세스를 최적화하기 위해 SGD(Stochastic Gradient Descent) 알고리즘이 채택되고, 파마미터는 다음과 같이 셋될 수 있다: 초기, 모멘텀은 0.99로 셋되고, 훈련 rate는 10-5, l2 이었고, 정규화는 5*10-4 이었다. 본 발명에서 데이터의 80%가 훈련에 사용하고, 나머지는 모델 성능의 측정에 사용될 수 있다.
본 발명의 일 실시 예에 따른 화재 감지 모델의 효율성을 분석하기 위해, 최적의 커널 사이즈, 확장 비율, 및 컨볼루션 레이어 수의 선택 관련 광범위한 시도가 있었다. 본 발명에서 텐서플로우 상에 구축된 Keras, 머신러닝 라이브러리가 이용되었다. 초기에 확장(dilation)이 포함되지 않은 모델과, 확장된 컨볼루션 레이어가 포함된 모델의 성능이 서로 비교되었다.
성능 실험에 관련된 용어로서, 에포크(epoch)는 전체 데이터셋이 신경망을 1회 학습하는 사이클을 말한다. 배치 사이즈는, 하나의 배치에 포함된 훈련 샘플의 수를 말한다. Iteration은 1 에포크에 소요되는 패스의 수에 해당한다. 배치 사이즈와 iteration 의 곱은 데이터 수를 나타낸다. 가중치(weight) 및 bias를 1회 업데이터하는 것을 1 step이라 한다.
도 10은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 10을 참조하면, 커널 사이즈가 3인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.
도 11은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 종류에 따른 훈련 정확도 비교의 그래프이다.
도 11을 참조하면, 커널 사이즈가 5인 경우, 일반 CNN과 확장 CNN의 성능 비교가 묘사되어 있다.
도 10 및 도 11에서 X축 에포크(epoch)의 수를 나타내고, Y축은 모델의 감지 정확도를 나타낸다.
도 10 및 도 11은 최종 epoch 이후 모델에 대한 훈련 정확도를 보여준다. 일반 CNN의 경우, 커널 크기가 3과 5 인 경우 각각 98.86% 및 98.63%의 훈련 정확도를 보이는 반면, 확장 CNN의 경우, 두 모델에서 확장된 컨볼루션 레이어가 있는 모델이 99.3%라는 더 높은 훈련 정확도를 제공했고, 테스트 점수는 99.60%를 기록하였다.
확장 합성곱 레이어를 포함하는 CNN은 일반 CNN 대비, 더 높은 훈련 점수 및 테스트 점수를 갖는다. 본 발명의 특징 중 하나는 앞서 언급했듯이 확장 합성곱 신경망을 사용하는 것이다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 일반 CNN을 사용한 감지 모델과 비교하여 더 높은 성능을 보임을 증명하기 위해 많은 실험이 수행되었다. 도 10 및 도 11은 많은 실험의 결과를 나타낸다.
앞에서 언급했듯이 확장 연산자(dilation operator)는 적용 범위(coverage)를 잃지 않고, 수용 필드(receptive field)를 확장하는 기능이 있기 때문에 이미지의 각 픽셀에 대한 각 레이블을 예측하는 데에 적합하다.
도 12는 본 발명의 일 실시 예에 따른 인공 신경망 모델의 레이어 수에 따른 훈련 정확도 비교의 그래프이다.
도 12를 참조하면, 레이어의 수가 각각 2, 3, 4 및 5인 경우의 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.
레이어 수가 2인 경우, 훈련 점수는 98.52%, 테스트 점수는 98.03%, 레이어 수가 3인 경우 훈련 점수는 99.38%, 테스트 점수는 99.06%, 레이어 수가 4인 경우, 훈련 점수는 99.60%, 테스트 점수는 99.53%, 레이어 수가 5인 경우, 훈련 점수는 99.36%, 테스트 점수는 98.07%를 각각 기록하였다. 도 12를 참조하면, 레이어 수에 따른 신경망의 성능은 2~4 구간까지 증가하다가, 레이어 수가 4개인 경우 신경망의 성능은 감소하는 것으로 봐서, 본 발명의 일 실시 예에서 4개의 레이어의 확장 CNN이 최적의 성능을 보였다.
도 13은 본 발명의 일 실시 예에 따른 인공 신경망 모델의 커널 사이즈에 따른 훈련 정확도 비교의 그래프이다.
위에서 언급되었듯이 적절히 작은 커널 사이즈 채택될 경우 화재 감지 모델의 성능이 높아질 수 있다. 최적의 커널 사이즈를 알아보기 위해, 본 발명의 일 실시 예에 따른 화재 감지 모델에 대해 서로 다른 커널 사이즈를 적용하여 많은 실험이 수행되었다.
도 13을 참조하면, 커널 사이즈가 3, 5, 7, 9, 11 및 13인 경우에 화재 감지 모델의 성능 비교 결과가 묘사되어 있다.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3인 경우, 훈련 점수는 99.6%, 테스트 점수는 99.53%, 커널 사이즈가 5인 경우, 훈련 점수는 99.69%, 테스트 점수는 98.07%, 커널 사이즈가 7인 경우, 훈련 점수는 98.23%, 테스트 점수는 98.83%, 커널 사이즈가 9인 경우, 훈련 점수는 98.13%, 테스트 점수는 98.31%, 커널 사이즈가 11인 경우, 훈련 점수는 98.06%, 테스트 점수는 98.19%, 커널 사이즈가 13인 경우, 훈련 점수는 98.12%, 테스트 점수는 97.95%를 각각 기록하였다. 도 13에서 커널 사이즈 3~11까지 성능이 점점 감소하다가, 커널 사이즈 13에서 11 대비 에포크에 따라 역전 구간이 발생한다. 결론적으로, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 커널 사이즈가 3일 경우 최적의 성능을 보였다.
도 14는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 15는 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 정확도 비교의 그래프이다.
도 14 및 도 15를 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델의 훈련 정확도가 타 모델과 비교하여 나타나 있다. 많은 실험을 통해 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 모델 중에서 훈련 점수가 가장 높게 나타났다.
도 16은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 테스트 스코어 비교의 그래프이다.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델과 타 모델, 예를 들어 Inception V3, AlexNet, ResNet, VGG16, Vgg19 과의 훈련 점수, 테스트 점수, F1-점수, Recall, Precision의 결과가 나타나 있다. 본 발명의 일 실시 예에 따른 화재 감지 모델이, 전체 카테고리에서 가장 우수한 성능을 보였다. F1-점수는 Precision 및 Recall의 평균에 해당한다.
Figure 112021014820260-pat00007
Figure 112021014820260-pat00008
Figure 112021014820260-pat00009
수학식 6은 성능 평가 지표인 Precision, Recall 및 F1의 정의를 나타낸다.
도 17은 본 발명의 일 실시 예에 따른 인공 신경망 모델과 타 모델의 훈련 및 예측에 소요된 시간 비교의 그래프이다.
도 17을 참조하면, 본 발명의 일 실시 예에 따른 화재 감지 모델은, 2시간 15분의 훈련 시간을 기록한 반면, 타 모델, 예를 들어 Inception V3는 10시간 20분, AlexNet은 9시간 26분 40초를, ResNet은 10시간을, VGG16은 3시간 20분을, VGG19는 4시간 43분 20초를 각각 기록하였다. 테스트에 소요된 시간도 본 발명의 일 실시 예에 따른 화재 감지 모델이 1.9시간으로 최소 시간을 기록하였다.
불꽃 및 연기 감지 시스템의 기반이 되는 기술은 최적의 성능을 보장하고 제공에 있어서 현대 감시 환경에서 중요한 역할을 한다. 사실 화재는 생명과 재산에 심각한 피해를 줄 수 있다. 대부분의 도시에 이미 카메라 모니터링 시스템이 설치되어 있는 것을 감안하면, 고무적이게도 이 시스템의 유용성을 이용하여 비용 효율적인 비전 감지 방법이 개발될 수 있다. 그러나 비전 감시 방법은, 복잡한 변형, 비정상적인 카메라 각도 및 시점의 관점 및 계절적 변화로부터 복잡한 비전 감지 작업이 될 수 있다.
이러한 한계를 극복하기 위해, 본 발명은, 확장 컨볼루션을 채택한 CNN을 이용하는, 딥러닝에 기반하는 새로운 방법을 제안한다.
본 발명에서 맞춤형 데이터 세트에서 CNN 모델이 훈련 및 테스트 됨으로써 딥러닝에 기반하는 방법이 평가되었다. 맞춤형 데이터 세트는 인터넷에서 수집되고 수동으로 라벨이 붙여진 불꽃과 연기의 이미지로 구성된다. 본 발명에 따른 방법의 성능은 잘 알려진 최첨단 아키텍처에 기반한 방법과 비교될 수 있다.
이와 같이 본 발명의 일 실시 예에 따르면, 본 발명에 따른 방법의 분류 성능과 복잡성이 우수함이 증명될 수 있다. 또한 본 발명에 따른 방법은, 효과적인 일반화를 제공하고 잘못된 경보의 수를 줄일 수 있는, 보이지 않는 데이터에 대해 잘 일반화되도록 설계되었다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
100: 감시 시스템
110: 제어부
161: 데이터 처리부
162: 학습부
163: 검증부
164: 화재 감지 모델
200: 서버
300: 네트워크

Claims (12)

  1. 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 데이터 처리부;
    상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 훈련되는 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 화재 감지 모델과 이를 훈련시키는 학습부; 및
    상기 화재 감지 모델의 성능을 테스트하는 모델 검증부를 포함하도록 구성되되,
    상기 합성곱 신경망은 확장 합성곱 신경망(dilated CNN)이고,
    상기 화재 감지 모델에서 합성곱 레이어의 수는 4이고,
    상기 합성곱 레이어에서 커널의 사이즈는 3이고,
    상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
    감시 시스템.
  2. 제 1 항에 있어서,
    상기 데이터셋에 포함된 불꽃 영상 및 연기 영상의 크기 및 데이터 용량에 따라 상기 CNN 기반의 화재 감지 모델에 포함된 레이어의 수 및 커널의 크기 중에서 적어도 하나를 결정하는 제어부를 더 포함하도록 구성되는,
    감시 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 화재 감지 모델은,
    각 합성곱 레이어 사이에 Max-pooling Layer를 포함하도록 구성되는,
    감시 시스템.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 합성곱 레이어는,
    3*3*3(가로*세로*컬러 채널)의 커널 사이즈의 필터를 포함하도록 구성되는,
    감시 시스템.
  7. 제 1 항에 있어서,
    상기 화재 감지 모델은,
    1차 및 2차 Fully Connected Layer를 포함하되,
    각 차수의 Fully Connected Layer 앞에 Dropout Layer를 더 포함하도록 구성되는,
    감시 시스템.
  8. 제 1 항에 있어서,
    상기 화재 감지 모델은,
    불꽃 또는 연기를 감지하는 분류 레이어(Classification Layer)를 포함하도록 구성되는,
    감시 시스템.
  9. 수집된 불꽃 및 연기에 관한 영상을 이용하여 데이터셋을 생성하는 단계;
    상기 데이터셋을 이용하여 불꽃 및 연기를 감지하도록 CNN(Convolutional Neural Network) 기반의 화재 감지 모델을 훈련시키는 단계; 및
    상기 화재 감지 모델의 성능을 테스트하는 단계를 포함하되,
    상기 CNN은 확장 합성곱 신경망(dilated CNN)이고,
    상기 화재 감지 모델에서 합성곱 레이어의 수는 4이고,
    상기 합성곱 레이어에서 커널의 사이즈는 3이고,
    상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
    감시 방법.
  10. 이미지 분석을 위해 데이터셋에 포함된 이미지의 픽셀 정보를 읽어 들이는 가로 및 세로 크기를 갖는 복수의 필터들;
    각 필터를 통해 입력된 픽셀 정보를 분석하는 복수의 합성곱 레이어(Convolutional Layer); 및
    상기 합성곱 레이어에 의한 픽셀 분석을 기반으로 테스트 이미지 내에서 불꽃 및 연기 중에서 적어도 하나를 감지함으로써 화재를 자동으로 감지하는 Classification Layer를, 확장 합성곱 신경망의 구성요소로서 포함하도록 구성되되,
    상기 합성곱 레이어의 수는 4이고,
    상기 합성곱 레이어에서 커널의 사이즈는 3이고,
    상기 커널의 확장률(dilation rate)은 2인 것을 특징으로 하는,
    감시 시스템.
  11. 삭제
  12. 삭제
KR1020210016375A 2021-02-04 2021-02-04 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템 KR102493652B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016375A KR102493652B1 (ko) 2021-02-04 2021-02-04 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016375A KR102493652B1 (ko) 2021-02-04 2021-02-04 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템

Publications (2)

Publication Number Publication Date
KR20220112913A KR20220112913A (ko) 2022-08-12
KR102493652B1 true KR102493652B1 (ko) 2023-02-07

Family

ID=82803691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016375A KR102493652B1 (ko) 2021-02-04 2021-02-04 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템

Country Status (1)

Country Link
KR (1) KR102493652B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240095568A (ko) 2022-12-16 2024-06-26 한국전력정보(주) 연기 센서와 온도 센서를 이용한 엣지 인공지능 기반의 소규모 에너지 저장 시스템을 위한 실시간 화재 감시 시스템 및 이를 이용한 화재 감시 방법
CN116824462B (zh) * 2023-08-30 2023-11-07 贵州省林业科学研究院 一种基于视频卫星的森林智能防火方法
CN117036361B (zh) * 2023-10-10 2024-02-20 云南大学 一种电网输电线烟雾检测方法、***、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101963404B1 (ko) * 2018-06-14 2019-03-28 가천대학교 산학협력단 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
KR102097294B1 (ko) * 2019-07-19 2020-04-06 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130101873A (ko) 2012-03-06 2013-09-16 (주)유디피 열화상 카메라를 이용한 산불 감시 장치 및 그 방법
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
KR102109372B1 (ko) * 2018-04-12 2020-05-12 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법
KR20200010993A (ko) * 2018-07-11 2020-01-31 삼성전자주식회사 보완된 cnn을 통해 이미지 속 얼굴의 속성 및 신원을 인식하는 전자 장치.
KR102309166B1 (ko) 2018-12-24 2021-10-06 한국전자기술연구원 Disposable IoT 단말을 활용한 산불 확산 예측 및 재발화 감시 서비스 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101963404B1 (ko) * 2018-06-14 2019-03-28 가천대학교 산학협력단 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
KR102097294B1 (ko) * 2019-07-19 2020-04-06 (주)지와이네트웍스 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR20220112913A (ko) 2022-08-12

Similar Documents

Publication Publication Date Title
KR102493652B1 (ko) 불꽃 및 연기 자동 감지 방법 및 이를 이용하는 확장 cnn 기반의 감시 시스템
Sousa et al. Wildfire detection using transfer learning on augmented datasets
Kim et al. Real-time probabilistic classification of fire and smoke using thermal imagery for intelligent firefighting robot
US8983180B2 (en) Method of detecting smoke of forest fire using spatiotemporal BoF of smoke and random forest
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
Hosseini et al. UFS-Net: A unified flame and smoke detection method for early detection of fire in video surveillance applications using CNNs
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN106650600A (zh) 一种基于视频图像分析的森林烟火检测方法
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN109377713A (zh) 一种火灾预警方法及***
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
Hossain et al. Wildfire flame and smoke detection using static image features and artificial neural network
Chowdhury et al. Computer vision and smoke sensor based fire detection system
CN113011322B (zh) 监控视频特定异常行为的检测模型训练方法及检测方法
CN101316371A (zh) 火焰侦测方法及装置
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
Saponara et al. Exploiting R-CNN for video smoke/fire sensing in antifire surveillance indoor and outdoor systems for smart cities
Cao et al. YOLO-SF: YOLO for fire segmentation detection
KR20230004124A (ko) 영상 감시 시스템에서의 실시간 이상 상황 탐지 방법 및 장치
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及***
KR102544492B1 (ko) 수영장 안전관리 장치 및 방법
Sridhar et al. Wildfire Detection and Avoidance of false Alarm Using Densenet

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right