KR102651184B1 - 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법 - Google Patents

코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법 Download PDF

Info

Publication number
KR102651184B1
KR102651184B1 KR1020210162932A KR20210162932A KR102651184B1 KR 102651184 B1 KR102651184 B1 KR 102651184B1 KR 1020210162932 A KR1020210162932 A KR 1020210162932A KR 20210162932 A KR20210162932 A KR 20210162932A KR 102651184 B1 KR102651184 B1 KR 102651184B1
Authority
KR
South Korea
Prior art keywords
flame
image
color
equation
corner
Prior art date
Application number
KR1020210162932A
Other languages
English (en)
Other versions
KR20230076212A (ko
Inventor
곽동걸
류진규
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020210162932A priority Critical patent/KR102651184B1/ko
Publication of KR20230076212A publication Critical patent/KR20230076212A/ko
Application granted granted Critical
Publication of KR102651184B1 publication Critical patent/KR102651184B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 기반 불꽃 감지 장치에서의 불꽃 감지 방법에 관한 것으로서, 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리 단계 및 상기 영상 전처리 단계에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하는 단계를 포함한다.
본 발명에서 제안한 인공지능 기반 불꽃 감지 장치 및 방법에 의하면, 속응성이 우수하고, 합성곱신경망을 통한 추론 단계에서 정확도를 높일 수 있는 장점이 있다.

Description

코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법 {Artificial intelligence-based flame detection device and method using corner point detection image preprocessing algorithm}
본 발명은 화재 감지의 일종인 불꽃 감지 기술에 관한 것으로서, 더욱 상세하게는 인공지능 기반 불꽃 감지 장치 및 방법에 관한 것이다.
건물 관리에서 조기 화재감지 및 대피경로 안내 시스템은 매우 중요한 부분이다. 화재 발생 시 인명피해를 최소화하기 위하여 불꽃이나 연기를 조기에 감지하는 시스템이 필요하다.
소방청 국가화재정보센터에서 공개한 발화요인별 전국 화재 발생건수 통계에 따르면 2020년 기준 부주의에 의한 화재가 19,177건으로 가장 많았고, 전기적 요인이 9,310건, 기계적 요인이 4,054건 발생한 것으로 나타났다. 특히 이 중 전기화재에서 발생하는 인명피해의 경우 사고사례의 절반 이상이 일반 주거시설에서 발생함에 따라 옥내용 감지기 시설 등의 고도화 및 정밀화가 필요하다. 하지만 기존 재래식 감지기의 경우 비화재보와 같은 오동작 등의 신뢰성 문제가 꾸준히 제기되고 있어 딥러닝 기반의 인공지능과 같은 최첨단 기법들을 이용한 화재감지 연구가 필요한 실정이다.
이는 관리자의 안전에 대한 의식 부족과 잦은 화재감지기의 오작동으로 소방력의 낭비와 더불어 화재감지기를 꺼놓는 사례가 많은 것으로 지적되고 있다. 그러므로 화재감지기의 오작동을 줄이고 화재 시 화재감지기의 기능을 정상적으로 발휘하도록 유지관리와 점검이 정확하게 이루어져야 하지만 실제 화재발생 시 열감지기, 연기감지기 및 화재감지기의 작동지연 및 부작동 등 신뢰성 저하로 인하여 인명 및 재산 피해가 줄어들지 않는 상황이다.
현재 대표적으로 사용하는 화재감지기 중 불꽃감지기는 자외선감지기(UV, ultra violet)와 적외선감지기(IR, infrared)로 나누어지며, 자외선감지기의 경우 자외선 즉, 0.09~0.38 ㎛의 방사에너지를 검출하는 감지기로서 물체에 빛이 조사될 때 여기 전자(excitation electron)를 진공 중으로 방출시키는 광전자 방사 원리를 이용하는 방식이다.
하지만 자외선 방식의 불꽃감지기는 파장이 짧은 자외선을 감지하기 때문에 연기나 공기 중 부유물에 의해서도 자외선이 흡수되므로 감도에 대한 신뢰성이 떨어지는 문제점이 있다. 또한 아크, 스파크 등 단파장에 대해 비화재보가 발생할 수 있고, 연기 농도가 높을수록 동작에 어려움이 있다.
적외선감지기의 경우는 0.78~5.0 ㎛의 복사에너지를 감지하여 동작하는 방식으로 초전체를 감지센서로 많이 사용한다. 광학 필터를 사용하는 경우 연소생성물의 이산화탄소에서 발생하는 4.4 ㎛ 부근의 이산화탄소 공명 방사를 이용한다. 따라서 긴 파장대를 이용하는 특성으로 인하여 공기 중 부유물에 대해 거의 영향을 받지 않는 장점이 있다. 하지만 반대로 이산화탄소가 발생하지 않는 화재 시에는 비 적응성을 갖는 문제점이 있다.
이외에도 오보를 줄이기 위한 UV/IR 혼합형 불꽃감지기가 존재하나 자외선감지기의 단점인 오염으로부터 약하다는 문제가 있다.
또한 최근 컴퓨터 비전분야의 발전으로 인하여 인공지능을 이용한 기계학습적 안전시스템들이 다양하게 연구되고 있다. 기계학습(machine learning)은 컴퓨터가 스스로 학습하여 예측모형을 개발하는 인공지능의 한 분야이며, 딥러닝(deep learning)은 심층신경망(deep neural network) 이론을 이용한 기계학습 방법이다.
인공지능분야에서 딥러닝을 활용한 객체 인식이나 물체의 위치 검출은 활발하게 연구가 진행되는 분야로, ILSVRC(Image Large Scale Visual Recognition Challenge)와 같은 대회에서도 딥러닝을 통한 이미지 인식 알고리즘들이 상위권을 차지하고 있다.
특히 합성곱신경망(CNN)은 딥러닝 기술을 기초로 만들어진 인공신경망으로 이미지의 공간적인 구조(spatial structure)를 유지한채 학습을 할 수 있는 장점이 있다. 이것은 기존의 완전연결 계층(fully connected layer)을 이용하여 이미지를 학습할 때 1차원의 평평한 데이터로 처리하여 학습을 하는 과정에서 원본 데이터에 대한 특징이 손실되는 문제를 보완한 것이다. 이러한 이유로 CNN은 패턴인식이나 영상처리, 음성인식, 기계 번역 등의 다양한 분야에서 좋은 성능을 보여주고 있다.
또한 딥러닝 기반 모델의 경우, 최근 SSD(Single Shot multibox Detector)나 Faster R-CNN(Region based Convolutional Neural Network) 알고리즘 등과 같이 이미지의 분류 뿐만 아닌 이미지 내에서 객체가 존재하는 영역을 기반으로 한 검출 알고리즘들이 등장하고 있다.
최근 이러한 알고리즘을 이용한 불꽃감지기들이 개발되고 있지만, 이들 불꽃감지기가 최신의 딥러닝 기반 이미지 인식 또는 객체검출(object detection) 알고리즘을 사용하더라도, 별도의 견고한 영상 전처리 과정이 없이 객체 검출을 수행하게 되면, 화재감지와 같이 높은 신뢰성을 요구하는 영역에서 기대 이하의 정확도를 얻는다는 문제점이 있다.
대한민국 공개특허 10-2021-0055935
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 기존의 인공지능형 불꽃감지기의 오검출율과 저신뢰성을 개선하기 위하여, 코너점 검출 영상 전처리 알고리즘을 이용한 정밀도가 높은 인공지능 기반 불꽃 감지 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 인공지능 기반 불꽃 감지 장치에서의 불꽃 감지 방법에 관한 것으로서, 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리 단계 및 상기 영상 전처리 단계에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하는 단계를 포함한다.
상기 영상 전처리 단계에서, 입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하는 단계와, 상기 HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행하는 단계를 포함하여 이루어질 수 있다.
상기 불꽃 여부를 결정하는 단계에서, 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정할 수 있다.
본 발명의 불꽃 감지 장치에서 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리부 및 상기 영상 전처리부에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하는 불꽃 추론부를 포함한다.
상기 영상 전처리부에서, 입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하고, 상기 HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행할 수 있다.
상기 불꽃 추론부에서 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정할 수 있다.
본 발명에서 제안한 인공지능 기반 불꽃 감지 장치 및 방법에 의하면, 속응성이 우수하고, 합성곱신경망을 통한 추론 단계에서 정확도를 높일 수 있는 장점이 있다. 이는 기존의 인공지능형 불꽃감지기가 가지는 불꽃의 추론단계에서 발생하는 불꽃이 아닌 객체로 인한 빈번한 연산을 줄여 속응성과 정밀성을 높일 수 있는 것으로서, 신속한 화재의 대응과 불꽃 감지 시스템 구축에 필요한 하드웨어를 줄일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 불꽃 감지 장치의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 불꽃 감지 방법을 보여주는 흐름도이다.
도 3은 원본 불꽃 이미지이고, 도 4는 HSV 컬러 변환이 적용된 결과물에 대한 이미지이다.
도 5는 소벨 x 필터와 소벨 y 필터를 도시한 것이다.
도 6은 코너점에 해당하는 조건을 만족하는 픽셀을 시각화한 결과물이다.
도 7은 Inception A 모듈의 구조이고, 도 8은 Inception B 모듈의 구조이고, 도 9는 Inception C 모듈의 구조를 보여주고 있다.
도 10은 Inception 모듈들을 이용하여 구성한 합성곱신경망 계층의 구성을 나타내는 도표이다.
도 11은 본 발명의 일 실시예에 따른 축소 모듈의 구조를 도시한 것이다.
도 12는 본 발명의 일 실시예에서 최종적으로 추론된 불꽃 감지 영역을 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 불꽃 감지 장치의 내부 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 불꽃 감지 장치(100)는 영상 전처리부(110) 및 불꽃 추론부(120)를 포함한다.
영상 전처리부(110)는 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출한다.
불꽃 추론부(120)는 영상 전처리부(110)에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정한다.
본 발명의 일 실시예에서 영상 전처리부(110)에서, 입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하고, 상기 HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행할 수 있다.
불꽃 추론부(120)에서 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 불꽃 감지 방법을 보여주는 흐름도이다.
도 2를 참조하면, 인공지능 기반 불꽃 감지 장치에서의 불꽃 감지 방법에서, 카메라에서 촬영된 영상 이미지가 입력되면(S210), 입력된 이미지에 대해 코너점(corner point) 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리 단계(S220)를 수행한다.
그리고, 영상 전처리 단계에(S220)서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정한다(S230, S240).
영상 전처리 단계(S220)에서, 입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하는 단계(S222)와, HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행하는 단계(S224)를 포함하여 이루어질 수 있다.
불꽃 여부를 결정하는 단계(S230, S240)에서, 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정할 수 있다(S230, S240).
본 발명에서 영상 전처리 단계(S220)에 대해 상세히 설명하면 다음과 같다.
본 발명에서는 입력 이미지에 대해 HSV 컬러 변환을 실시한다(S220). HSV 컬러 모델의 색상(Hue)과 채도(Saturation) 성분은 인간이 색상을 인식하는 방법과 유사한 방법으로 색상의 특징들을 다룰 수 있고, 이미지 전처리 이외에도 여러 응용분야에서 객체들의 색상을 식별하는데 사용할 수 있으므로, 색상 특성에 기반한 이미지 처리 알고리즘의 개발을 위한 이상적인 추출 도구로 사용할 수 있다.
HSV 컬러 모델에서 색상에 해당하는 Hue는 파장이 가장 긴 빨간색을 기준으로 하는 색상의 분포를 나타내며, 채도 성분인 Saturation은 순수한 색상에 하얀 빛이 포함된 정도를 나타낸다. 또한 명도에 해당하는 Value는 빛의 강도를 측정하는 정도로 사용된다. 여기서 Value가 하나의 성분으로 독립되어 범위를 조절할 수 있으므로 조명 변화에 강인한 알고리즘을 생성할 수 있다.
(1)
수학식 (1)에서 RoIHSV(x,y)는 지정된 컬러 모델의 범위에 해당하는 픽셀의 좌표이며, H(x,y), S(x,y) 및 V(x,y)는 각각 이미지의 픽셀 위치에서 불꽃이 존재할 수 있는 색 공간에 해당되는 영역을 의미한다.
수학식 (1)에서 지정된 범위에 해당되는 이미지는 이미지 전처리의 결과물로 추출되게 되고, 픽셀값이 0인 것은 불꽃이 아닌 색상영역으로 분류된 픽셀을 의미한다. 이러한 HSV 컬러 변환의 결과를 보여주는 것이 도 3과 도 4이다.
도 3은 원본 불꽃 이미지이고, 도 4는 HSV 컬러 변환이 적용된 결과물에 대한 이미지이다.
예를 들어, HSV 컬러 변환을 한 이후에도 불꽃 이외의 나뭇잎이나 연한 노랑색을 포함한 객체 등의 결과물이 남을 수 있다. 이러한 불필요한 객체들을 추가적으로 필터링하기 위하여, 본 발명에서는 두 번째 이미지 전처리로서 해리스(Harris) 코너 검출 기술을 사용한다. HSV 컬러 변환을 하고 남은 결과 객체들 중 불꽃의 경우, 텍스쳐의 질감이 거친 특성이 있어 코너점이 다수 발생되는 특징이 있다. 이를 통해 HSV 컬러 변환된 결과 이미지에 대해 Harris 코너 검출을 수행하면 불꽃 영역에만 집중적으로 코너점이 발생하여 좀 더 정밀하게 필터링 검출을 수행할 수 있다.
Harris 코너 검출을 수행하기 위해 먼저 이미지에서 기준점 (x,y)가 있을 때 기준점으로부터 (u,v) 만큼 이동한 변화량을 가진다고 가정하면, 변화량 E(x,y)는 다음 수학식 (2)와 같이 표현할 수 있다.
(2)
여기서, I는 밝기를 나타내며, (xi,yi)는 가우시안 윈도우 W 내부의 점들을 나타낸다. 테일러 급수를 이용하면 (u,v)만큼 움직인 영역을 다음 수학식 (3)과 같이 정리할 수 있다.
(3)
여기서, Ix 및 Iy 는 각각 x와 y 방향의 1차 미분으로서, 다음 도 5와 같은 소벨 x 커널인 Sx와 소벨 y 커널인 Sy를 이용한 합성곱을 통해 각각 구할 수 있다. 도 5는 소벨 x 필터와 소벨 y 필터를 도시한 것이다.
그리고 식 (3)을 식 (2)에 대입하면, 전체 변화량 E(u,v)는 다음 식 (4)와 같이 나타낼 수 있다.
(4)
여기서 M은 전체 변화량의 행렬로서, 이라 한다면 행렬 M에서 두 값은 다음 식 (5)와 (6)과 같은 성질을 만족한다.
(5)
(6)
(7)
그리고 최종적으로 식 (7)을 통해 에지, 코너, 평면을 결정할 수 있다. 여기서, k는 경험적 상수로서 본 발명의 실시예에서는 0.04의 값을 사용한다.
픽셀의 위치마다 M의 값이 달라지며, 최종적으로 계산하여 나온 고유값 R(x,y)은 다음 조건과 비교하여 에지, 코너, 평면을 구분하게 된다.
|R|이 설정된 임계값(threshold value) 보다　작을 때 해당 영역은 평면이다.
R<0　인 조건이고,　λ1　>>λ2　이거나　또는 반대인 경우,　해당 영역은 에지이다.
R이 설정된 임계값 보다 큰 값을 가질 경우,　해당 영역은 코너이다.
상기의 조건에서 불꽃의 코너점들을 감지하기 위해 필요한 조건은 R이 큰 값을 가진 경우 즉, 코너점에 해당하는 경우로서, 도 6은 해당 조건을 만족하는 픽셀을 시각화한 결과물이다.
도 6은 코너점에 해당하는 조건을 만족하는 픽셀을 시각화한 결과물이다.
도 6에서 좌측은 원본 입력 이미지이고, 우측은 코너점 검출 결과를 시각화한 이미지로서, 각 이미지의 코너점 검출 결과로 녹색 픽셀을 띄는 영역이 검출된 코너점에 해당한다.
이제 본 발명의 일 실시예에 따른 합성곱신경망(CNN)을 이용한 불꽃 추론 과정(S230, S240)에 대해 상세히 설명하면 다음과 같다.
딥러닝 기반의 합성곱신경망(CNN)을 이용하여 이미지 학습을 할 때, 깊은 계층과 넓은 노드로 구성하여 사용한다면 더 높은 정밀도를 얻을 수 있다. 하지만 이렇게 구성할 경우, 파라미터의 양이 증가해 연산량이 상당히 늘어나고, 과적합(over fitting) 문제나 기울기 소실(gradient vanishing problem)이 발생하게 된다. 따라서 노드간의 연결은 간결(sparse)하게 하고, 행렬연산은 밀집(dense)되도록 하여야 한다. 이를 반영하여 전체적인 신경망은 깊으면서도 연산에 어려움이 없도록 만든 것이 Inception 구조이다.
도 7은 Inception A 모듈의 구조이고, 도 8은 Inception B 모듈의 구조이고, 도 9는 Inception C 모듈의 구조를 보여주고 있다. 도 7 내지 도 9의 모듈 구조에서 1×1 컨볼루션(convolution) 필터가 포함되어 있다.
1×1 컨볼루션(convolution) 필터는 평면상에서 컨볼루션을 수행하더라도 높이나 넓이의 변화가 없으므로 공간적인 특징 손실이 없다. 따라서 1×1 컨볼루션(convolution) 필터는 여러 계층의 합성곱 수행으로 인해 채널 수가 증가하는 것에 대비하여 채널의 수를 조절하는 기능을 한다. 이로 인하여 필터 다음에 나오는 3×3 필터나 5×5 필터에서의 파라미터 개수를 감소시킬 수 있다. 따라서 Inception V3 모델은 다른 합성곱신경망 모델들보다 더욱 계층이 깊지만 파라미터는 비교적 크지 않은 장점을 갖는다.
도 10은 Inception 모듈들을 이용하여 구성한 합성곱신경망 계층의 구성을 나타내는 도표이다. 입력 이미지 크기의 경우 299×299로 설정되었다. 그리고, 일반적인 합성곱신경망에서는 파라미터의 크기를 줄이고자 모듈 또는 계층 사이에 pooling을 사용하였으나, 이미지의 특징 손실이 커지는 표현 병목(representational bottleneck) 문제가 발생하므로, 이를 해결하기 위해 본 발명에서는 도 11과 같은 파라미터 규모를 축소시키는 차원 축소모듈(dimension reduction module)을 이용하여 차원을 축소하는 방법을 사용하였다. 도 11은 본 발명의 일 실시예에 따른 축소 모듈의 구조를 도시한 것이다.
마지막으로 활성함수(activation function)로 sigmoid를 사용하여 최종 계층에서의 불꽃 또는 불꽃이 아닌 객체 두 가지에 대한 분류를 한다.
도 12는 본 발명의 일 실시예에서 최종적으로 추론된 불꽃 감지 영역을 도시한 것이다.
도 12에서 본 발명에서 제안한 최종 결과물이 도시되어 있으며, 입력 이미지로부터 코너점을 갖는 영역을 추출하고, 해당 관심영역에 대해 불꽃으로 추론되면, 불꽃으로 추론된 영역을 붉은색 경계 상자로 표시한다.
이상에서 설명한 바와 같이, 본 발명은 이미지 코너 검출 알고리즘(corner detection algorithm)과 딥러닝(deep learning)을 이용한 카메라 영상 기반의 화재감지에 관한 기술로서, 입력 이미지를 불꽃이 존재하는 범위의 HSV 컬러 모델로 변환하면 불꽃이 존재하는 영역 주변의 코너점이 다수 발생하는 원리를 이용한다.
본 발명에서 제안하는 알고리즘은 먼저 입력 영상으로부터 HSV 컬러 모델을 통해 불꽃이 존재할 가능성이 높은 색상영역으로 필터링하고, 필터링된 결과물에 대해 Harris 코너 검출 방법을 적용하여 불꽃 주변의 거친 불꽃 이미지의 질감 특성에 따른 집중적으로 코너점이 검출되는 특징을 가진다. 이러한 특징을 통해 코너가 다수 발생한 영역을 관심영역으로 검출하여 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 통해 최종적으로 불꽃 여부를 분류한다.
그 결과 본 발명에서 제안한 인공지능형 불꽃감지기는 속응성이 우수하고, 합성곱신경망을 통한 추론 단계에서 정확도를 높일 수 있다. 이는 기존의 인공지능형 불꽃감지기가 가지는 불꽃의 추론단계에서 발생하는 불꽃이 아닌 객체로 인한 빈번한 연산을 줄여 속응성과 정밀성을 높일 수 있는 것으로, 신속한 화재의 대응과 불꽃감지 시스템 구축에 필요한 하드웨어를 줄일 수 있다.
본 발명에서 제안한 코너 검출 영상전처리 알고리즘은 먼저, 입력 이미지를 HSV 컬러 변환한 후, 불꽃이 존재할 가능성이 높은 색상 범위에서 필터링을 수행하고 Harris 코너 검출 알고리즘을 수행한다. 이렇게 필터링 검출된 결과물의 경우 불꽃영역은 거친 질감이 나오고 코너점이 다수 존재하게 되고, 불꽃 색상영역과 흡사하지만 불꽃이 아닌 사물들은 코너점이 적게 검출되는 특징을 보인다. 이렇게 코너점이 모여있는 영역을 추출하여 관심영역으로 지정하고, 이 관심영역은 딥러닝 기법의 하나인 합성곱신경망 알고리즘을 통하여 불꽃 여부를 감지하게 된다. 본 발명의 불꽃 감지 알고리즘은 기존의 불꽃감지기보다 그 속응성은 물론 정밀성이 우수하다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 인공지능 기반 불꽃 감지 장치
110 영상 전처리부
120 불꽃 추론부

Claims (6)

  1. 인공지능 기반 불꽃 감지 장치에서의 불꽃 감지 방법에서,
    카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리 단계; 및
    상기 영상 전처리 단계에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하는 단계를 포함하고,
    상기 영상 전처리 단계에서,
    입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하는 단계와,
    상기 HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행하는 단계를 포함하여 이루어지고,
    상기 불꽃 여부를 결정하는 단계에서, 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하며,
    상기 HSV 컬러 변환을 수행함에 있어서, HSV 컬러 모델에서 색상에 해당하는 Hue는 파장이 가장 긴 빨간색을 기준으로 하는 색상의 분포 H(x,y)를 나타내고, 채도 성분인 Saturation은 순수한 색상에 하얀 빛이 포함된 정도 S(x,y)를 나타내고, 명도에 해당하는 Value는 빛의 강도를 측정하는 정도 V(x,y)를 나타내고, RoIHSV(x,y)는 지정된 컬러 모델의 범위에 해당하는 픽셀의 좌표이고, H(x,y), S(x,y) 및 V(x,y)는 각각 이미지의 픽셀 위치에서 불꽃이 존재할 수 있는 색 공간에 해당되는 영역을 의미할 때,
    (1)
    의 수학식으로 나타낼 수 있고,
    상기 수학식 (1)에서 픽셀값이 0인 것은 불꽃이 아닌 색상영역으로 분류된 픽셀을 의미하고,
    상기 해리스(Harris) 코너 검출 방법을 수행함에 있어서, 이미지에서 기준점 (x,y)가 있을 때 기준점으로부터 (u,v) 만큼 이동한 변화량을 가진다고 가정하면, 변화량 E(x,y)는 다음 수학식 (2)와 같이 표현할 수 있고,
    (2)
    여기서, I는 밝기를 나타내고, (xi,yi)는 가우시안 윈도우 W 내부의 점들을 나타내며, 테일러 급수를 이용하면 (u,v)만큼 움직인 영역을 다음 수학식 (3)과 같이 정리할 수 있고,
    (3)
    여기서, Ix 및 Iy 는 각각 x와 y 방향의 1차 미분으로서, 소벨 x 커널인 Sx와 소벨 y 커널인 Sy를 이용한 합성곱을 통해 각각 구할 수 있고,
    상기 수학식 (3)을 상기 수학식 (2)에 대입하면, 전체 변화량 E(u,v)는 다음 수학식 (4)와 같이 나타낼 수 있고,
    (4)
    여기서, M은 전체 변화량의 행렬로서, 이라 하면,
    (5)
    (6)
    의 수학식을 만족하고,
    k는 경험적 상수라고 할 때,
    (7)
    의 수학식으로 나타낼 수 있고,
    상기 수학식 (7)에서 R이 설정된 임계값 보다 큰 값을 가질 경우,　해당 영역을 코너로 결정할 수 있는 것을 특징으로 하는 불꽃 감지 방법.
  2. 삭제
  3. 삭제
  4. 카메라에서 촬영된 영상 이미지가 입력되면, 입력된 이미지에 대해 코너점 검출 영상 전처리 알고리즘을 이용하여 코너점이 발생한 영역인 관심 영역을 검출하는 영상 전처리부; 및
    상기 영상 전처리부에서 검출된 관심 영역에 대해 딥러닝 기술을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하는 불꽃 추론부를 포함하고,
    상기 영상 전처리부에서, 입력된 이미지에 대해 화염이 존재할 가능성이 높은 색상 영역으로 필터링하기 위해 HSV(hue saturation value) 컬러 변환을 수행하고, 상기 HSV 컬러 변환된 결과물에 대해 불꽃 이미지의 질감 특성에 따른 코너점을 검출하기 위해 해리스(Harris) 코너 검출 방법을 수행하고,
    상기 불꽃 추론부에서 딥러닝 기반의 합성곱신경망(convolutional neural network, CNN) 모델을 이용하여 불꽃 여부를 추론하는 방식으로 불꽃 여부를 결정하며,
    상기 HSV 컬러 변환을 수행함에 있어서, HSV 컬러 모델에서 색상에 해당하는 Hue는 파장이 가장 긴 빨간색을 기준으로 하는 색상의 분포 H(x,y)를 나타내고, 채도 성분인 Saturation은 순수한 색상에 하얀 빛이 포함된 정도 S(x,y)를 나타내고, 명도에 해당하는 Value는 빛의 강도를 측정하는 정도 V(x,y)를 나타내고, RoIHSV(x,y)는 지정된 컬러 모델의 범위에 해당하는 픽셀의 좌표이고, H(x,y), S(x,y) 및 V(x,y)는 각각 이미지의 픽셀 위치에서 불꽃이 존재할 수 있는 색 공간에 해당되는 영역을 의미할 때,
    (1)
    의 수학식으로 나타낼 수 있고,
    상기 수학식 (1)에서 픽셀값이 0인 것은 불꽃이 아닌 색상영역으로 분류된 픽셀을 의미하고,
    상기 해리스(Harris) 코너 검출 방법을 수행함에 있어서, 이미지에서 기준점 (x,y)가 있을 때 기준점으로부터 (u,v) 만큼 이동한 변화량을 가진다고 가정하면, 변화량 E(x,y)는 다음 수학식 (2)와 같이 표현할 수 있고,
    (2)
    여기서, I는 밝기를 나타내고, (xi,yi)는 가우시안 윈도우 W 내부의 점들을 나타내며, 테일러 급수를 이용하면 (u,v)만큼 움직인 영역을 다음 수학식 (3)과 같이 정리할 수 있고,
    (3)
    여기서, Ix 및 Iy 는 각각 x와 y 방향의 1차 미분으로서, 소벨 x 커널인 Sx와 소벨 y 커널인 Sy를 이용한 합성곱을 통해 각각 구할 수 있고,
    상기 수학식 (3)을 상기 수학식 (2)에 대입하면, 전체 변화량 E(u,v)는 다음 수학식 (4)와 같이 나타낼 수 있고,
    (4)
    여기서, M은 전체 변화량의 행렬로서, 이라 하면,
    (5)
    (6)
    의 수학식을 만족하고,
    k는 경험적 상수라고 할 때,
    (7)
    의 수학식으로 나타낼 수 있고,
    상기 수학식 (7)에서 R이 설정된 임계값 보다 큰 값을 가질 경우,　해당 영역을 코너로 결정할 수 있는 것을 특징으로 하는 불꽃 감지 장치.
  5. 삭제
  6. 삭제
KR1020210162932A 2021-11-24 2021-11-24 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법 KR102651184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162932A KR102651184B1 (ko) 2021-11-24 2021-11-24 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210162932A KR102651184B1 (ko) 2021-11-24 2021-11-24 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230076212A KR20230076212A (ko) 2023-05-31
KR102651184B1 true KR102651184B1 (ko) 2024-03-25

Family

ID=86543981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210162932A KR102651184B1 (ko) 2021-11-24 2021-11-24 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102651184B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050821B1 (ko) * 2018-02-28 2019-12-03 주식회사 비젼하이텍 Ptz 카메라를 이용한 화재 검색 방법
KR102678988B1 (ko) 2019-11-08 2024-06-28 한국전자통신연구원 딥러닝 기반의 화재 감지를 위한 시퀀스 영상 이미지 전처리 시스템 및 방법
KR102411207B1 (ko) * 2020-01-23 2022-06-21 강원대학교산학협력단 인공지능을 이용한 불꽃 감지 장치 및 방법

Also Published As

Publication number Publication date
KR20230076212A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
Peng et al. Real-time forest smoke detection using hand-designed features and deep learning
Kim et al. Real-time probabilistic classification of fire and smoke using thermal imagery for intelligent firefighting robot
JP2018101416A (ja) 火災監視システム
Khalil et al. Fire detection using multi color space and background modeling
CN112133052A (zh) 核电厂图像火灾探测方法
CN104599427A (zh) 一种用于公路隧道的智能图像型火灾报警***
Chowdhury et al. Computer vision and smoke sensor based fire detection system
US8655010B2 (en) Video-based system and method for fire detection
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
CN116153016B (zh) 一种多传感器融合森林火灾实时监测与预警装置及其方法
Sridhar et al. Fire sensor and surveillance camera-based GTCNN for fire detection system
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
Wang et al. Spatial-temporal structural and dynamics features for Video Fire Detection
KR102651184B1 (ko) 코너점 검출 영상 전처리 알고리즘을 이용한 인공지능 기반 불꽃 감지 장치 및 방법
CN113379628A (zh) 一种基于红外热成像仪探测锂电池热失控的方法
KR102411207B1 (ko) 인공지능을 이용한 불꽃 감지 장치 및 방법
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
Zheng et al. A forest fire recognition method based on modified deep CNN model
Rajan et al. Forest fire detection using machine learning
Sharifi et al. DeepHAZMAT: Hazardous materials sign detection and segmentation with restricted computational resources
Sankarasubramanian et al. Real Tıme AI, Computer Vısıon Based Framework To Detect And Prevent Lıquıd Metal Fıre Hazards
CN115171006A (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN112347942A (zh) 一种火焰识别的方法及装置
Mohammad et al. Hardware implementation of forest fire detection system using deep learning architectures

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant