KR102160591B1 - 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법 - Google Patents

화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법 Download PDF

Info

Publication number
KR102160591B1
KR102160591B1 KR1020190089286A KR20190089286A KR102160591B1 KR 102160591 B1 KR102160591 B1 KR 102160591B1 KR 1020190089286 A KR1020190089286 A KR 1020190089286A KR 20190089286 A KR20190089286 A KR 20190089286A KR 102160591 B1 KR102160591 B1 KR 102160591B1
Authority
KR
South Korea
Prior art keywords
fire
data
deep learning
learning model
factor
Prior art date
Application number
KR1020190089286A
Other languages
English (en)
Inventor
강대성
이준목
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020190089286A priority Critical patent/KR102160591B1/ko
Application granted granted Critical
Publication of KR102160591B1 publication Critical patent/KR102160591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 화재요인 객체를 찾고 그 발화 발생 가능성을 수치화 한 벡터를 분류하여 화재 요인별 화재 생성 데이터와 화재 요인과 요인 사이의 공간에 대한 화재 생성 데이터를 생성하고, 원본 영상 데이터와 병합하여 화재 상황 데이터를 생성하며, 이 데이터를 화재 검출 딥러닝 모델에 학습시켜 정확도 높은 화재 상황을 검출하는 화재 상황 생성 시스템 및 그 최적화 방법이 개시된다.
개시된 화재 상황 생성 시스템은, 화재 지역을 촬영하여 원본 영상을 획득하는 영상 장치; 화재 요인 데이터를 저장하고 있는 화재요인 데이터베이스; 화재 데이터를 저장하고 있는 화재 데이터베이스; 및 상기 화재 요인 데이터를 학습하여 화재 요인 객체를 검출하고, 상기 화재 데이터를 학습하여 강 화재와 약 화재로 분류된 화재 데이터를 생성하며, 상기 화재 요인 객체와 상기 화재 데이터를 상기 원본 영상과 합성하고, 합성한 이미지를 기반으로 화재 상황 감지 여부를 판단하는 화재상황 생성 딥러닝 장치를 포함한다.

Description

화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법{Fire situation generation system and its optimization method for fire situation detection model}
본 발명은 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법에 관한 것으로서, 더욱 자세하게는 화재 감지 딥러닝 모델 개발을 위한 학습 데이터를 수집하기 위해, 비화재 영상에서 화재 상황을 생성하고, 그 데이터를 기반으로 화재 감지 딥러닝 모델을 학습시켜 실시간 영상 시스템에 적용하여 실제 화재 상황을 감지하는, 화재 상황 생성 시스템 및 그 최적화 방법에 관한 것이다.
종래의 화재 상황 검출을 위한 딥러닝 모델 개발을 위해서는 해당 모델을 학습시킬 다량의 데이터가 필요하다. 이 데이터는 화재라는 특수한 상황의 데이터이기 때문에 수집하기 힘든 문제점이 있다.
또한, 수집할 수 있는 데이터는 산불, 대형 화재에 관한 데이터가 주를 이루고 있고, 밀집 상가 혹은 소규모의 화재, 화재 초기상황의 검출에 대한 영상이나 이미지 데이터의 수집은 더 힘들다는 것이 화재 검출 딥러닝 모델 개발의 난점이다. 데이터가 방대함에 따라 화재 상황 검출의 정확도 또한 향상되어야 하기 때문에 이 문제를 해결하기 위한 방안이 필요하다.
한국 등록특허공보 제1833794호(등록일: 2018.02.23)
전술한 문제점을 해결하기 위한 본 발명의 해결하고자 하는 과제는 다음과 같다.
1) 화재 검출 딥러닝 모델 개발을 위해서 선행 수집되어야 할 학습 화재 데이터가 필요하다. 화재 생성 딥러닝 모델을 통해 학습에 필요한 화재 데이터를 스스로 생성하고 화재 상황을 검출해야 할 지역의 정보를 융합해서 더욱 더 정확한 화재 검출 딥러닝 모델을 만드는 것이 목적이다.
2) 또한, 생성할 학습 화재 데이터는 실제 화재와 거의 유사한 데이터로 생성하기 위해 화재요인 객체를 찾고 그 발화 발생 가능성을 수치화 한 벡터를 분류하여 화재 요인별 화재 생성 데이터와 화재 요인과 요인 사이의 공간에 대한 화재 생성 데이터로 생성한다. 이를 원본 데이터와 병합하여 더 신뢰도 높은 화재 상황 데이터를 생성할 수 있다. 이 데이터를 기반으로 화재 검출 딥러닝 모델을 학습시켜 정확도 높은 화재 상황을 검출하기 위한 딥러닝 시스템을 만드는 것이 최종 목적이다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 화재 지역을 촬영하여 원본 영상을 획득하는 영상 장치; 화재 요인 데이터를 저장하고 있는 화재요인 데이터베이스; 화재 데이터를 저장하고 있는 화재 데이터베이스; 및 상기 화재 요인 데이터를 학습하여 화재 요인 객체를 검출하고, 상기 화재 데이터를 학습하여 강 화재와 약 화재로 분류된 화재 데이터를 생성하며, 상기 화재 요인 객체와 상기 화재 데이터를 상기 원본 영상과 합성하고, 합성한 이미지를 기반으로 화재 상황 감지 여부를 판단하는 화재상황 생성 딥러닝 장치를 포함하는 화재 상황 생성 시스템을 제공한다.
상기 화재상황 생성 딥러닝 장치는, 상기 화재 요인 데이터를 학습하고, 학습된 데이터를 기반으로 화재 요인 객체를 검출하고, 검출된 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하여 출력하는 화재요인 검출 딥러닝 모델; 상기 화재 데이터를 학습하고, 학습된 데이터를 기반으로 강 화재 상황과 약 화재 상황을 합성시켜 가상의 화재 상황 데이터를 생성하는 화재 생성 딥러닝 모델; 및 상기 생성된 가상의 화재 상황 데이터를 학습하고, 실시간으로 영상을 수집하거나 저장하고 있는 상기 영상 장치에 적용하여 최종적으로 화재 상황을 감지할 실제 화재 상황 데이터를 생성하는 화재상황 감지 딥러닝 모델을 포함할 수 있다..
상기 화재요인 검출 딥러닝 모델은, 상기 화재 요인 데이터로부터 화재 발생 가능성이 있는 객체 데이터를 수집하여 각 클래스로 분류하여 딥러닝 모델을 학습시키고, 상기 각 클래스는 화재 발생 가능성을 수치화하여 각각 분류할 수 있다.
상기 화재 생성 딥러닝 모델은, 화재 데이터를 초기 화재와 대형 화재로 나누어 수집하여 딥러닝 모델을 학습시키고, 이를 강 화재 생성 딥러닝 모델과 약 화재 생성 딥러닝 모델로 이분화 하여, 입력되는 영상 데이터에 대해서 상기 강 화재 생성 딥러닝 모델과 상기 약 화재 생성 딥러닝 모델을 통해 강 화재 생성 데이터와 약 화재 생성 데이터를 합성하여 화재 데이터를 생성할 수 있다.
상기 화재요인 검출 딥러닝 모델은, 상기 화재 요인 데이터로부터 수집된 객체 데이터에 따른 화재 발생 가능성을 빅데이터 분석을 통해 화재의 발화점에 따른 빈도로 정규화하여 수치화 할 수 있다.
상기 화재요인 검출 딥러닝 모델은, 상기 영상 장치로부터 영상 데이터를 입력받으면, 상기 분류된 화재요인 객체의 위치와 종류, 화재 발생 가능성 수치를 출력할 수 있다.
상기 화재요인 검출 딥러닝 모델은, 상기 화재요인 객체의 위치와 종류, 화재 발생 가능성을 IPC를 통하여 내부 장치에 존재하는 딥러닝 모델로 전달하거나 소켓(TCP, UDP)통신 을 통해 원격지에 존재하는 딥러닝 모델에 데이터를 전달할 수 있다.
상기 화재 생성 딥러닝 모델은, 입력된 영상 데이터에 대해, 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성할 수 있다.
상기 화재 생성 딥러닝 모델은, 입력된 영상 데이터에 대해, 전달된 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성할 수 있다.
상기 화재 생성 딥러닝 모델은, 화재 요인 객체의 위치에 해당하는 객체 이미지와, 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지 및 상기 입력된 영상 데이터를 합성할 수 있다.
상기 화재상황 생성 딥러닝 장치는, 상기 합성된 최종 영상 데이터를 기반으로 화재 상황 감지를 위해 딥러닝 모델을 학습시킬 수 있다.
상기 화재상황 생성 딥러닝 장치는, 상기 학습된 딥러닝 모델을 기반으로 새로 입력된 영상 데이터에서 화재 상황을 검출하고 화재 유무를 감지할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, (a) 화재 요인 객체를 검출하기 위해 화재요인 검출 딥러닝 모델을 학습시키는 단계; (b) 가상 화재 데이터를 생성 및 합성하기 위해 화재생성 딥러닝 모델을 학습시키는 단계; (c) 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하는 단계; (d) 원본 영상을 입력받고, 입력된 원본 영상에서 화재 요인 객체를 검출하는 단계; (e) 상기 검출된 화재 요인 객체의 위치와 그 화재 발생 가능성을 상기 화재생성 딥러닝 모델에 전달하는 단계; (f) 상기 전달된 화재 요인 객체와 화재 발생 가능성을 기반으로 가상 화재 데이터를 생성 및 합성시키는 단계; (g) 상기 전달된 화재 요인 객체 사이의 공간에 가상 화재 데이터를 생성, 합성시키는 단계; (h) 상기 가상 화재 데이터와 상기 원본 영상 데이터를 병합시키는 단계; (i) 상기 병합된 영상 데이터를 기반으로 화재 상황 감지를 위해 화재상황 감지 딥러닝 모델을 학습시키는 단계; 및 (j) 상기 입력된 원본 영상에서 화재 상황을 판단하는 단계를 포함하는 화재 상황 감지 모델을 위한 화재 상황 생성 최적화 방법을 제공한다.
본 발명에 의하면, 실시간 영상을 통한 화재 감지의 정확도를 향상시킬 수 있다.
또한, 학습 데이터를 수집하기 힘든 다른 경우에도 본 발명을 응용할 수 있다.
본 발명은 상황을 예측하는 학습 데이터의 생성을 통해 모델을 학습하고 설치환경의 정보를 융합한 오버피팅된 데이터를 생성하여 미래 발생 가능한 상황에 대한 데이터를 스스로 합성함으로써 적은 양의 학습데이터로도 검출 정확도를 향상시키는데 있다.
그리고, 기존의 Generative Adversarial Networks의 객체별 분할 및 병합을 통해 생성 속도 및 정확도를 향상시킬 수 있다.
또한 본 발명은 화재 상황뿐만 아니라, 범죄 영상, 재난 영상, 리벤지 포르노, 음성 등 학습데이터의 수집이 거의 불가능한 상황에 대해서도 응용하여 적용이 가능하다.
도 1은 본 발명의 실시 예에 따른 화재 상황 생성 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 화재상황 생성 딥러닝 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시 예에 따른 화재요인 검출 딥러닝 모델의 구성을 나타낸 구성도이다.
도 4는 본 발명의 실시 예에 따른 화재요인 검출 딥러닝 모델에 이용되는 Faster R-CNN을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 화재생성 딥러닝 모델의 구성을 나타낸 구성도이다.
도 6은 본 발명의 실시 예에 따른 화재생성 딥러닝 모델에 이용되는 생성적 적대 신경망(GAN)의 학습 과정 원리를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 영상 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 8은 본 발명의 실시 예에 따른 가상 화재상황 데이터 생성부의 동작을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 화재상황 감지 딥러닝 모델의 구성을 나타낸 구성도이다.
도 10은 본 발명의 실시 예에 따른 화재 데이터를 생성하는 예를 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따른 화재 상황 감지에 대한 전체 과정을 나타낸 도면이다.
도 12는 본 발명의 실시 예에 따른 화재 상황 감지 모델을 위한 화재 상황 생성 최적화 방법을 설명하기 위한 동작 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 실시 예에 따른 화재 상황 생성 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
본 발명의 실시 예에 따른 화재 상황 생성 시스템은, 정확도 높은 화재 상황 검출 딥러닝 모델 개발을 위한 가상 화재상황 생성 딥러닝 시스템을 포함한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 화재 상황 생성 시스템은, 영상 장치(100), 화재상황 생성 딥러닝 장치(200), 화재요인 데이터베이스(DB1)(300) 및 화재 데이터베이스(DB2)(400)를 포함한다.
영상 장치(100)는 화재 지역을 촬영하여 원본 영상을 획득한다.
화재요인 데이터베이스(300)는 발화점 등 화재 요인 데이터를 저장하고 있다.
화재 데이터베이스(400)는 화재 데이터를 저장하고 있다.
화재상황 생성 딥러닝 장치(200)는 화재 요인 데이터를 학습하여 화재 요인 객체를 검출하고, 화재 데이터를 학습하여 강 화재와 약 화재로 분류된 화재 데이터를 생성하며, 검출된 화재 요인 객체와 생성된 화재 데이터를 원본 영상과 합성하고, 합성한 이미지를 기반으로 화재 상황 감지 여부를 판단한다.
여기서, 화재상황 생성 딥러닝 장치(200)는 예를 들면, 컴퓨터 단말기나 딥러닝 전용 장치일 수 있다.
화재상황 생성 딥러닝 장치(200)는 도 2에 도시된 바와 같이 가상 화재상황 데이터 생성부(210) 및 화재 감지부(220)를 포함한다. 도 2는 본 발명의 실시 예에 따른 화재상황 생성 딥러닝 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
가상 화재상황 데이터 생성부(210)는 화재요인 검출 딥러닝 모델(211)과, 화재 생성 딥러닝 모델(212)을 포함한다.
화재요인 검출 딥러닝 모델(211)은 화재의 발화점이 되는 화재요인을 분류하고 그 발화 가능성 벡터를 도출한다. 즉, 화재요인 검출 딥러닝 모델(211)은 화재 요인 데이터를 학습하고, 학습된 데이터를 기반으로 화재 요인 객체를 검출하고, 검출된 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하여 출력한다.
또한, 화재요인 검출 딥러닝 모델(211)은, 화재 요인 데이터로부터 화재 발생 가능성이 있는 객체 데이터를 수집하여 각 클래스로 분류하여 딥러닝 모델을 학습시키고, 각 클래스는 화재 발생 가능성을 수치화하여 각각 분류한다.
또한, 화재요인 검출 딥러닝 모델(211)은, 화재 요인 데이터로부터 수집된 객체 데이터에 따른 화재 발생 가능성을 빅데이터 분석을 통해 화재의 발화점에 따른 빈도로 정규화하여 수치화한다.
또한, 화재요인 검출 딥러닝 모델(211)은, 영상 장치(100)로부터 영상 데이터를 입력받으면, 상기 분류된 화재요인 객체의 위치와 종류, 화재 발생 가능성 수치를 출력한다.
그리고, 화재요인 검출 딥러닝 모델(211)은, 화재요인 객체의 위치와 종류, 화재 발생 가능성을 IPC를 통하여 내부 장치에 존재하는 딥러닝 모델로 전달하거나 소켓(TCP, UDP)통신 을 통해 원격지에 존재하는 딥러닝 모델에 데이터를 전달할 수 있다.
화재 생성 딥러닝 모델(212)은, 화재 데이터를 학습하고, 학습된 데이터를 기반으로 강 화재 상황과 약 화재 상황을 합성시켜 가상의 화재 상황 데이터를 생성한다. 화재 생성 딥러닝 모델(212)은, 대규모 화재를 생성하는 강 화재생성 딥러닝 모델(213) 및 소규모 화재를 생성하는 약 화재생성 딥러닝 모델(214)을 포함한다.
따라서, 화재 생성 딥러닝 모델(212)은, 화재 데이터를 초기 화재와 대형 화재로 나누어 수집하여 딥러닝 모델을 학습시키고, 이를 강 화재 생성 딥러닝 모델과 약 화재 생성 딥러닝 모델로 이분화 하여, 입력되는 이미지 데이터에 대해서 강 화재 생성 딥러닝 모델과 약 화재 생성 딥러닝 모델을 통해 강 화재 생성 데이터와 약 화재 생성 데이터를 합성하여 화재 데이터를 생성한다.
또한, 화재 생성 딥러닝 모델(212)은, 입력된 영상 데이터에 대해, 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성할 수 있다.
또한, 화재 생성 딥러닝 모델(212)은, 입력된 영상 데이터에 대해, 전달된 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 데이터를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성할 수 있다.
그리고, 화재 생성 딥러닝 모델(212)은, 화재 요인 객체의 위치에 해당하는 객체 이미지와, 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지 및 상기 입력된 영상 데이터를 합성할 수 있다.
가상 화재상황 데이터 생성부(210)에서는 화면 상에서 화재요인의 위치와 그 분류에 따른 발화 발생 가능성을 기반으로 화재 요인에 따라 강/약 화재를 차등으로 생성하여 화재 요인별 생성 데이터를 만들고, 화재요인 사이의 공간에 대해서 약 화재를 생성하는 화재 요인 사이 공간에 대한 화재 생성데이터를 생성한다. 이를 원본 영상 데이터와 병합하여 최종 가상 화재 상황 데이터를 생성한다.
화재 감지부(220)는 실제 화재 상황을 감지하는 화재상황 감지 딥러닝 모델(221)을 포함한다.
화재 감지부(220)에 포함되는 화재상황 감지 딥러닝 모델(221)은 생성된 가상의 화재 상황 데이터를 학습하고, 실시간으로 영상을 수집하거나 저장하고 있는 영상 장치(100)에 적용하여 최종적으로 화재 상황을 감지할 실제 화재 상황 데이터를 생성한다.
영상 장치(100)는 저장 이미지, 저장 동영상, CCTV외 실시간 카메라 등 학습 혹은 검출을 해야 할 영상을 연동할 부분으로 학습을 위해서는 저장 이미지나 저장 동영상을, 검출을 위해서는 CCTV나 실시간 카메라 영상을 이용한다.
화재상황 생성 딥러닝 장치(200)는, 합성된 최종 영상 데이터를 기반으로 화재 상황 감지를 위해 딥러닝 모델을 학습시키며, 학습된 딥러닝 모델을 기반으로 새로 입력된 영상 데이터에서 화재 상황을 검출하고 화재 유무를 감지할 수 있다.
도 3은 본 발명의 실시 예에 따른 화재요인 검출 딥러닝 모델의 구성을 나타낸 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 화재요인 검출 딥러닝 모델(211)은, 전처리부(211a), 학습부(211b), 검출부(211c) 및 분류부(211d)를 포함한다.
전처리부(211a)는 화재요인 데이터베이스(300)로부터 화재 요인 데이터를 입력받는다.
학습부(211b)는 입력된 화재 요인 데이터를 학습한다.
검출부(211c)는 학습된 데이터를 기반으로 화재 요인 객체를 검출한다.
분류부(211d)는 검출된 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하여 각 클래스로 분류한다.
본 발명에 따른 화재요인 검출 딥러닝 모델(211)은 R-CNN(Regions with Convolutional Neural Network), YOLO(You Only Look Once)와 같은 딥러닝 기술을 이용하여 화재요인이 되는 객체를 검출하고, 발화 가능성 벡터를 분류하는 딥러닝 모델과 화재 생성 모델을 통하여 개별 객체에 대해서 화재 데이터를 생성한다.
R-CNN은 이미지 하나에서 수많은 Proposal들을 뽑아내고, 모든 Proposal들을 CNN 모델에 통과시킨 뒤 SVM(Support Vector Merchine)을 거쳐 분류(Classification)를 하며, 이후 리그레서(Regressor)를 통해 바운딩 박스 예측(Bounding Box Prediction)을 수행하는 단계로 진행된다.
Region Proposals은 object로 detect될 수 있는 후보 region을 생성한다(Selective Search). Region Proposal은 아무것도 없는 상태에서 이미지만을 보고 Object가 존재할 가능성이 있는 모든 RoI(Region of Interest)를 뽑아낸다. 이들은 Selective Search 알고리즘을 사용해 이미지 하나에 대해 예컨대, 약 2000장의 RoI를 뽑아낸다.
Feature Extraction은 이후 각각의 Proposal을 227x227의 Fixed-size로 Resize시킨 뒤(논문에서는 Warp라고 표현) 일일이 CNN을 통과시켜 Feature Extraction을 수행한다. 모델은 ILSVRC2012 Dataset을 Pre-training시킨 AlexNet을 사용할 수 있으며 최종 Feature 수는 4096개이다. 이 단계는 개선의 여지가 많다. 먼저 Warping은 본래 Proposal 고유의 Ratio를 무시하게 되며 데이터의 왜곡이 일어날 가능성이 존재한다. 다음으로 이미지 하나당 몇 천 번의 Feed-forwarding이 이루어지므로 엄청나게 많은 시간이 소요된다.
이제 분류를 위해 SVM을 학습시킨다. 이미지 하나에서 나온 Proposal들의 총 Feature Map Dimension은 약 2000x4096이며, 이를 4096 x (N+1) (Number of Classes + Background)의 Weight를 가진 SVM에 넣어 Classification을 수행한다. 행렬곱 연산에 의해 최종 Dimension은 약 2000 x (N+1)이 되며 이는 2000개 가량의 Proposal들이 각각 어떤 클래스에 속하는지를 알려준다. 여기서 만일 Proposal이 Grountruth Box와 절반 이상 겹치면 Object가 존재한다고 간주해 해당 클래스로 분류하고, 그렇지 않으면 Background로 분류한다.
Regressor는 이제 정밀한 Localization을 위해 Bounding Box를 학습시킨다. Bounding Box는 (x, y, w, h)로 구성되며 Box의 중심좌표, 높이 및 너비를 의미한다. Bounding Box를 따로 학습시키는 이유는, 위의 Classification 단계에서 절반 이상만 겹치면 Object로 판단하는 관대한 기준을 적용했기에 분류는 비교적 정확할지 몰라도 위치는 많이 벗어날 수 있기 때문이다. 따라서 Rough한 기존의 Bounding Box를 Groundtruth의 그것에 일치시키는 방향으로 Regressor를 학습시켜 보정을 해준다.
R-CNN은 모든 Region Proposal마다 하나의 CNN을 동작시키므로 속도가 느리다는 것이다. 이러한 단점을 해결한 것이 Faster R-CNN이다.
도 4는 본 발명의 실시 예에 따른 화재요인 검출 딥러닝 모델에 이용되는 Faster R-CNN을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 화재요인 검출 딥러닝 모델에 이용되는 Faster R-CNN은, Feature를 입력 이미지로부터 추출하는 것이 아니라, CNN을 거친 Feature Map 상에서 Spatial Pyramid Pooling의 특수한 형태인 RoI Pooling을 사용하여 Feature를 추출한다는 것이다.
하나의 Region Proposal 당 하나의 CNN이 동작하므로 R-CNN보다 구조가 획기적으로 개선되었고, 속도가 빨라지게 되었다.
Faster R-CNN은 Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 넣어놓은 RPN(Region Proposal Network)을 통해서 RoI Pooling을 수행하는 레이어와, Bounding Box를 추출하는 레이어가 같은 특징 맵을 공유한다.
Faster R-CNN은 입력 이미지에 대해 Convolution Layer를 여러 번 거쳐서 특징을 추출해 내고, 추출된 특징 맵을 RPN과 RoI Pooling Layer가 공유한다. RPN은 특징 맵에서 Region Proposal들을 추출하고, RoI Pooling Layer는 RPN에서 추출된 Region Proposal들에 대해 RoI 풀링을 수행한다.
RPN은 특징 맵 위에 위치한 지정 크기의 Window를 Sliding하면서 Window가 지나가는 각 지점마다 지정된 크기의 anchor를 지정한 개수만큼 생성한다. 그리고 모든 anchor들에 대해서 가능한 Bounding Box의 좌표와 그 안에 물체가 들어 있을 확률을 계산한다. Anchor들 자체가 Bounding Box의 후보가 되는 것이다.
각각의 Window 위치에서, k 개의 anchor box들을 생성한 후 각각의 위치, 크기, Bounding Box로써의 점수들을 계산한다. cls Layer로 나가는 2k 개의 점수들은 해당 anchor 내에 물체가 있는지 없는지 그 확률을 계산한다. reg Layer로 나가는 4k 개의 좌표 값들은 해당 anchor의 x, y 좌표와 Width, Height 값을 가지고 있다. cls Layer는 해당 박스 안에 물체가 존재하는지의 여부를 분류하고, reg Layer는 물체를 감싸는 Bounding Box의 정확한 위치를 예측한다. 두 layer들의 학습을 통해 물체가 들어 있는 정확한 Bounding Box, 즉 RoI들을 추출하는 것이다.
이러한 방법을 통해 RPN이 생성한 RoI들에 대해서 RoI Pooling을 시행하면, 각 Region에 대한 특징 맵이 모두 다 동일하게 고정된 사이즈로 생성된다. 이를 통해서 각 RoI 내 물체들의 분류를 시행하는 것이다.
도 5는 본 발명의 실시 예에 따른 화재생성 딥러닝 모델의 구성을 나타낸 구성도이다.
도 5를 참조하면, 본 발명에 따른 화재생성 딥러닝 모델(212)은, 매핑부(212a), 생성부(212b), 합성부(212c) 및 식별부(212d)를 포함한다.
식별부(212d)는 화재 데이터를 초기 화재와 대형 화재로 나누어 수집한다.
합성부(212c)는 입력되는 이미지 데이터에 대해서 강 화재 생성 딥러닝 모델과 약 화재 생성 딥러닝 모델을 통해 강 화재 생성 데이터와 약 화재 생성 데이터를 합성한다.
생성부(212b)는 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성한다.
매핑부(212a)는 가상 화재 데이터와 입력된 원본 영상 데이터를 매핑한다.
생성부(212b)는 가상 화재 데이터와 원본 영상 데이터의 매핑에 따른 화재 데이터를 생성한다.
본 발명에 따른 화재생성 딥러닝 모델(212)은, 생성적 적대 신경망 (GAN:Generative Adversarial Networks)과 같은 딥러닝 기술을 이용하여 보통의 영상에 화재를 합성할 수 있는 딥러닝 모델로서 대형화재와 같은 것을 합성하는 강 화재 생성 딥러닝 모델과 소규모 화재와 같은 상황을 합성하는 약 화재 생성 딥러닝 모델로 구성되어 화재 요인과 결합하여 가상 화재 상황 데이터를 생성한다.
도 6은 본 발명의 실시 예에 따른 화재생성 딥러닝 모델에 이용되는 생성적 적대 신경망(GAN)의 학습 과정 원리를 나타낸 도면이다.
도 6을 참조하면, 본 발명에 따른 화재생성 딥러닝 모델에 이용되는 생성적 적대 신경망(GAN)은, 두 모델 간의 대립을 통해 데이터를 생성하는 최적의 모델을 만들어내는 것으로서, 트레이닝 데이터의 분포를 생성 모델이 똑같이 따라가도록 학습하는 것이다.
확률변수 X에 대한 확률 밀도함수가 있을 때, 어떤 X에 대해서 함수값이 크다면 전체 분포 내에서 그 X가 차지하는 비율이 크다는 것을 의미한다. GAN에서는 이미지를 고차원 벡터로 보고, 입력 이미지 데이터들의 특징이 담긴 벡터들의 확률분포를 이용해서 이미지의 특징별로 해당하는 확률변수의 크기를 구한다.
GAN은 분류기 모델(Discriminator Model)과 생성기 모델(Generator Model)로 구성된다. 분류기 모델은 D(x)의 함수로 나타내고, 생성기 모델은 G(z)의 함수로 나타낸다. D(x)는 이미지 x가 학습용 원본 이미지 데이터에서 나왔을 확률을 계산한다. 따라서 x에 학습용 데이터가 들어오면, D(x)는 1에 매우 가깝다. G(z)는 임의의 코드 값 z를 받아서 그에 대응하는 가짜 이미지를 만들어 낸다. 학습 초반에는 당연히 가짜 이미지가 강하게 나타나고, D(G(z))는 0에 가깝다.
분류기 모델은 진짜 이미지가 들어왔을 때 D(x)가 1을 출력하도록 학습하고, 가짜 이미지가 들어왔을 때 D(x)가 0을 출력하도록 학습한다. 생성기 모델은 진짜 같은 가짜 이미지를 생성하는 것이다. 따라서 생성기 모델은 코드 z를 받아서 생성한 가짜 이미지 G(z)에 대해서 D(G(z))가 1에 가까운 출력을 보이게 만들도록 학습한다.
GAN은 실제 이미지를 학습해 거짓 이미지를 만드는 것이다. 따라서, 화가의 그림처럼 만들어 주는 것도 가능하고, 저해상도 사진을 고해상도로 만드는 등 손상된 이미지를 복원할 수도 있다.
도 7은 본 발명의 실시 예에 따른 영상 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 7을 참조하면, 본 발명에 따른 영상 장치(100)는, 이미지 저장부(110), 동영상 저장부(120), 실시간 카메라(130) 및 CCTV(140)를 포함한다.
이미지 저장부(110)는 어느 한 순간에 촬영된 이미지를 하나 이상으로 다양한 분야와 다양한 종류 별로 저장하고 있다.
동영상 저장부(120)는 다양한 분야와 다양한 종류의 동영상을 하나 이상으로 저장하고 있다.
실시간 카메라(130)는 화재 지역 등 특정 지역을 실시간으로 촬영하여 이미지 또는 동영상을 획득한다.
CCTV(140)는 특정 지역을 실시간으로 촬영하여 이미지 또는 동영상을 획득하거나 녹화하여 저장할 수 있다.
도 8은 본 발명의 실시 예에 따른 가상 화재상황 데이터 생성부의 동작을 나타낸 도면이다.
도 8을 참조하면, 본 발명에 따른 가상 화재상황 데이터 생성부(210)는 전체 영상 이미지에서 화재 요인의 위치와 그 분류에 따른 발화 발생 가능성을 기반으로 화재 요인에 따라 강 화재 또는 약 화재를 차등으로 생성하여 화재 요인별 생성 데이터를 만들고, 화재 요인 사이의 공간에 대해서 강 화재 또는 약 화재를 생성하는 화재 요인 사이 공간에 대한 요인 사이 객체 데이터를 생성하며, 이를 원본 영상 데이터와 병합하여 최종 가상 화재 상황 데이터를 생성한다.
도 9는 본 발명의 실시 예에 따른 화재상황 감지 딥러닝 모델의 구성을 나타낸 구성도이다.
도 9을 참조하면, 본 발명의 실시 예에 따른 화재상황 감지 딥러닝 모델(211)은, 전처리부(211a), 학습부(211b), 추론부(211c) 및 검출부(211d)를 포함한다.
전처리부(211a)는 가상 화재상황 데이터 생성부(210)로부터 생성된 가상의 화재 상황 데이터를 입력받는다.
학습부(211b)는 가상의 화재 상황 데이터를 딥러닝 방식으로 학습한다.
추론부(211c)는 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재를 적용해 가상 화재 데이터를 추론한다.
검출부(211d)는 가상 화재 데이터와 입력된 영상 데이터를 합성하여 화재 상황을 검출한다.
화재상황 감지 딥러닝 모델(221)은 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 입력된 영상 데이터와 합성하여 화재 상황을 감지한다.
도 10은 본 발명의 실시 예에 따른 화재 데이터를 생성하는 예를 나타낸 도면이다.
도 10을 참조하면, 본 발명에 따른 화재요인 검출 딥러닝 모델(211)은 객체 위치 정보(x, y, width, height)를 기반으로 원본 영상 데이터에서 객체를 추출한다.
이어, 화재요인 검출 딥러닝 모델(211)은 추출한 객체의 클래스에 기반한 화재 발생 빈도 및 화재 진행 속도에 관한 데이터를 화재 생성 딥러닝 모델(212)로 전달한다.
화재 생성 딥러닝 모델(212)은 화재 발생빈도 매칭 테이블에 근거해 객체의 클래스에 기반한 화재 발생 빈도 및 화재 진행 속도에 따라 강 화재 또는 약 화재 등 화재 강도를 결정한다.
화재 생성 딥러닝 모델(212)은 전체 이미지가 아닌 추출한 객체 이미지에 대해서만 전술한 화재 강도의 결정 단계에서 결정한 화재 이미지를 생성한다.
화재 생성 딥러닝 모델(212)은 각 객체와 객체의 위치 사이 공간에 해당하는 부분을 추출하고, 전술한 화재 강도의 결정 단계와 같이 화재 데이터의 생성을 수행한다. 단, 직접적인 화재가 아니라 화재와 화재 사이 공간에 해당하므로 일정 가중치를 두어 원 객체에 적용한 화재 강도보다는 약한 화재 데이터를 생성한다.
따라서 객체와 객체 사이의 공간에 화재가 생성된 데이터와 원본 영상 데이터가 존재하게 되므로, 원본 영상 데이터를 기반으로 생성된 데이터를 병합하여 화재 데이터를 생성한다.
도 11은 본 발명의 실시 예에 따른 화재 상황 감지에 대한 전체 과정을 나타낸 도면이다.
도 11을 참조하면, 본 발명에 따른 화재상황 생성 딥러닝 장치(200)는, 화재 요인 데이터를 기반으로 학습시킨 화재 요인 객체를 검출하고, 그 발화 발생 가능성을 분류하는 화재요인 검출 딥러닝 모델(211)을 만든다.
이어, 화재상황 생성 딥러닝 장치(200)는 화재 데이터를 기반으로 학습시킨 두 가지의 화재 생성 딥러닝 모델(212), 즉 강 화재 생성 딥러닝 모델(213)과 약 화재 생성 딥러닝 모델(214)을 만든다.
화재요인 검출 딥러닝 모델(211)은 영상(이미지 혹은 동영상 등)에서 화재요인 객체를 검출하고, 이 객체의 발화 발생 가능성 벡터를 화재 생성 딥러닝 모델(212)에 전달한다.
이를 기반으로 화재 생성 딥러닝 모델(212)은 검출된 객체들을 구분하여 강/약 화재를 적용 및 생성하고 마찬가지로 객체와 객체 사이의 공간에도 일정 벡터 보정치를 통하여 화재를 생성한다.
화재 생성 딥러닝 모델(212)은 객체화재 생성 데이터, 객체 사이 공간 화재 생성 데이터, 원본 데이터를 병합하여 가상 화재 상황 데이터를 생성한다.
화재상황 생성 딥러닝 장치(200)는 가상 화재 상황 데이터를 기반으로 학습한 화재 상황 감지 딥러닝 모델(221)을 만든다.
따라서 화재상황 생성 딥러닝 장치(200)는 화재 상황 감지 딥러닝 모델(221)을 기반으로 실시간 영상(CCTV 등)에서 최종적으로 화재 상황을 감지하는 것이다.
도 12는 본 발명의 실시 예에 따른 화재 상황 감지 모델을 위한 화재 상황 생성 최적화 방법을 설명하기 위한 동작 흐름도이다.
도 12를 참조하면, 본 발명에 따른 화재상황 생성 딥러닝 장치(200)는, 먼저 화재 요인 객체를 검출하기 위해 화재요인 검출 딥러닝 모델(211)을 학습시킨다(S1201).
이어, 화재상황 생성 딥러닝 장치(200)는 가상 화재 데이터를 생성 및 합성하기 위해 화재생성 딥러닝 모델(212)을 학습시킨다(S1202).
이어, 화재상황 생성 딥러닝 장치(200)는 화재 요인 객체에 따른 화재 발생 가능성을 수치화한다(S1203).
이어, 화재상황 생성 딥러닝 장치(200)는 원본 영상을 입력받고, 입력된 원본 영상에서 화재 요인 객체를 검출한다(S1204).
이어, 화재상황 생성 딥러닝 장치(200)는 검출된 화재 요인 객체의 위치와 그 화재 발생 가능성을 화재생성 딥러닝 모델(212)에 전달한다(S1205).
이어, 화재상황 생성 딥러닝 장치(200)는 전달된 화재 요인 객체와 화재 발생 가능성을 기반으로 가상 화재 데이터를 생성 및 합성시킨다(S1206).
이어, 화재상황 생성 딥러닝 장치(200)는 전달된 화재 요인 객체 사이의 공간에 가상 화재 데이터를 생성 및 합성시킨다(S1207).
이어, 화재상황 생성 딥러닝 장치(200)는 가상 화재 데이터와 원본 영상 데이터를 병합시킨다(S1208).
이어, 화재상황 생성 딥러닝 장치(200)는 병합된 영상 데이터를 기반으로 화재 상황 감지를 위해 화재상황 감지 딥러닝 모델(221)을 학습시킨다(S1209).
이어, 화재상황 생성 딥러닝 장치(200)는 입력된 원본 영상에서 화재 상황을 판단한다(S1210).
따라서, 실시간 카메라(130)나 CCTV(140) 등을 통해 획득한 실시간 영상에서 최종적으로 화재 상황을 감지할 수 있다.
전술한 바와 같이 본 발명에 의하면, 화재요인 객체를 찾고 그 발화 발생 가능성을 수치화 한 벡터를 분류하여 화재 요인별 화재 생성 데이터와 화재 요인과 요인 사이의 공간에 대한 화재 생성 데이터를 생성하고 원본 영상 데이터와 병합하여 화재 상황 데이터를 생성하며, 이 데이터를 화재 검출 딥러닝 모델에 학습시켜 정확도 높은 화재 상황을 검출하는 화재 상황 생성 시스템 및 그 최적화 방법을 실현할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 장치 110: 이미지 저장부
120: 동영상 저장부 130: 실시간 카메라
140: CCTV 200: 화재상황 생성 립러닝 장치
210: 가상 화재상황 데이터생성부 211: 화재요인검출 딥러닝 모델
211a: 전처리부 211b: 학습부
211c: 검출부 211d: 분류부
212: 화재생성 딥러닝 모델 212a: 매핑부
212b: 생성부 212c: 합성부
212d: 식별부 213: 강 화재생성 딥러닝 모델
214: 약 화재생성 딥러닝 모델 220: 화재 감지부
221: 화재상황 감지 딥러닝 모델 300: 화재요인 DB
400: 화재 DB

Claims (13)

  1. 화재 지역을 촬영하여 원본 영상을 획득하는 영상 장치;
    화재 요인 데이터를 저장하고 있는 화재요인 데이터베이스;
    화재 데이터를 저장하고 있는 화재 데이터베이스; 및
    상기 화재 요인 데이터를 학습하여 화재 요인 객체를 검출하고, 상기 화재 데이터를 학습하여 강 화재와 약 화재로 분류된 화재 데이터를 생성하며, 상기 화재 요인 객체와 상기 화재 데이터를 상기 원본 영상과 합성하고, 합성한 이미지를 기반으로 화재 상황 감지 여부를 판단하는 화재상황 생성 딥러닝 장치;
    를 포함하는 화재 상황 생성 시스템.
  2. 제 1 항에 있어서,
    상기 화재상황 생성 딥러닝 장치는,
    상기 화재 요인 데이터를 학습하고, 학습된 데이터를 기반으로 화재 요인 객체를 검출하고, 검출된 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하여 출력하는 화재요인 검출 딥러닝 모델;
    상기 화재 데이터를 학습하고, 학습된 데이터를 기반으로 강 화재 상황과 약 화재 상황을 합성시켜 가상의 화재 상황 데이터를 생성하는 화재 생성 딥러닝 모델; 및
    상기 생성된 가상의 화재 상황 데이터를 학습하고, 실시간으로 영상을 수집하거나 저장하고 있는 상기 영상 장치에 적용하여 최종적으로 화재 상황을 감지할 실제 화재 상황 데이터를 생성하는 화재상황 감지 딥러닝 모델;
    을 포함하는 화재 상황 생성 시스템.
  3. 제 2 항에 있어서,
    상기 화재요인 검출 딥러닝 모델은, 상기 화재 요인 데이터로부터 화재 발생 가능성이 있는 객체 데이터를 수집하여 각 클래스로 분류하여 딥러닝 모델을 학습시키고, 상기 각 클래스는 화재 발생 가능성을 수치화하여 각각 분류하는, 화재 상황 생성 시스템.
  4. 제 2 항에 있어서,
    상기 화재 생성 딥러닝 모델은, 화재 데이터를 초기 화재와 대형 화재로 나누어 수집하여 딥러닝 모델을 학습시키고, 이를 강 화재 생성 딥러닝 모델과 약 화재 생성 딥러닝 모델로 이분화 하여, 입력되는 영상 데이터에 대해서 상기 강 화재 생성 딥러닝 모델과 상기 약 화재 생성 딥러닝 모델을 통해 강 화재 생성 데이터와 약 화재 생성 데이터를 합성하여 화재 데이터를 생성하는, 화재 상황 생성 시스템.
  5. 제 3 항에 있어서,
    상기 화재요인 검출 딥러닝 모델은, 상기 화재 요인 데이터로부터 수집된 객체 데이터에 따른 화재 발생 가능성을 빅데이터 분석을 통해 화재의 발화점에 따른 빈도로 정규화하여 수치화하는, 화재 상황 생성 시스템.
  6. 제 3 항에 있어서,
    상기 화재요인 검출 딥러닝 모델은, 상기 영상 장치로부터 영상 데이터를 입력받으면, 상기 분류된 화재요인 객체의 위치와 종류, 화재 발생 가능성 수치를 출력하는, 화재 상황 생성 시스템.
  7. 제 6 항에 있어서,
    상기 화재요인 검출 딥러닝 모델은, 상기 화재요인 객체의 위치와 종류, 화재 발생 가능성을 IPC를 통하여 외부 장치로 전달하거나, 원격지에 존재하는 동일한 딥러닝 모델에 소켓을 통하여 데이터를 전달하는, 화재 상황 생성 시스템.
  8. 제 4 항에 있어서,
    상기 화재 생성 딥러닝 모델은, 입력된 영상 데이터에 대해, 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성하는, 화재 상황 생성 시스템.
  9. 제 4 항에 있어서,
    상기 화재 생성 딥러닝 모델은, 입력된 영상 데이터에 대해, 전달된 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 강 화재 또는 약 화재 적용 유무를 판단하여 가상 화재 데이터를 생성하고, 상기 입력된 영상 데이터와 합성하는, 화재 상황 생성 시스템.
  10. 제 4 항에 있어서,
    상기 화재 생성 딥러닝 모델은, 화재 요인 객체의 위치에 해당하는 객체 이미지와, 화재 요인 객체와 객체 사이의 공간의 위치에 해당하는 객체 이미지 및 상기 입력된 영상 데이터를 합성하는, 화재 상황 생성 시스템.
  11. 제 10 항에 있어서,
    상기 화재상황 생성 딥러닝 장치는, 상기 합성된 최종 영상 데이터를 기반으로 화재 상황 감지를 위해 딥러닝 모델을 학습시키는, 화재 상황 생성 시스템.
  12. 제 11 항에 있어서,
    상기 화재상황 생성 딥러닝 장치는, 상기 학습된 딥러닝 모델을 기반으로 새로 입력된 영상 데이터에서 화재 상황을 검출하고 화재 유무를 감지하는, 화재 상황 생성 시스템.
  13. (a) 화재 요인 객체를 검출하기 위해 화재요인 검출 딥러닝 모델을 학습시키는 단계;
    (b) 가상 화재 데이터를 생성 및 합성하기 위해 화재생성 딥러닝 모델을 학습시키는 단계;
    (c) 화재 요인 객체에 따른 화재 발생 가능성을 수치화 하는 단계;
    (d) 원본 영상을 입력받고, 입력된 원본 영상에서 화재 요인 객체를 검출하는 단계;
    (e) 상기 검출된 화재 요인 객체의 위치와 그 화재 발생 가능성을 상기 화재생성 딥러닝 모델에 전달하는 단계;
    (f) 상기 전달된 화재 요인 객체와 화재 발생 가능성을 기반으로 가상 화재 데이터를 생성 및 합성시키는 단계;
    (g) 상기 전달된 화재 요인 객체 사이의 공간에 가상 화재 데이터를 생성, 합성시키는 단계;
    (h) 상기 가상 화재 데이터와 상기 원본 영상 데이터를 병합시키는 단계;
    (i) 상기 병합된 영상 데이터를 기반으로 화재 상황 감지를 위해 화재상황 감지 딥러닝 모델을 학습시키는 단계; 및
    (j) 상기 입력된 원본 영상에서 화재 상황을 판단하는 단계;
    를 포함하는 화재 상황 감지 모델을 위한 화재 상황 생성 최적화 방법.

KR1020190089286A 2019-07-24 2019-07-24 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법 KR102160591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190089286A KR102160591B1 (ko) 2019-07-24 2019-07-24 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190089286A KR102160591B1 (ko) 2019-07-24 2019-07-24 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법

Publications (1)

Publication Number Publication Date
KR102160591B1 true KR102160591B1 (ko) 2020-09-28

Family

ID=72801002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190089286A KR102160591B1 (ko) 2019-07-24 2019-07-24 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법

Country Status (1)

Country Link
KR (1) KR102160591B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102364020B1 (ko) * 2021-06-04 2022-02-17 대한민국 화재 현장 영상을 활용한 화재 분석 방법
KR102364028B1 (ko) * 2021-06-04 2022-02-17 대한민국 기계학습을 이용한 화재 분석 방법
KR102364022B1 (ko) * 2021-06-04 2022-02-18 대한민국 Vr을 이용한 화재 분석 시스템
KR20220168490A (ko) * 2021-06-16 2022-12-23 동아대학교 산학협력단 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법
KR20230090870A (ko) * 2021-12-15 2023-06-22 가천대학교 산학협력단 딥 러닝 기반 화재 감시 시스템
KR20230101585A (ko) 2021-12-29 2023-07-06 주식회사 위로우 화재 및 재난상황 예측 대응 플랫폼 구축을 위한 시스템 및 방법
KR20230161694A (ko) 2022-05-19 2023-11-28 한화오션 주식회사 딥러닝 기반 화재 데이터 생성 시스템, 동 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262533A (ja) * 2006-12-12 2008-10-30 Ind Technol Res Inst 火炎検出方法及びその装置
KR20110075798A (ko) * 2009-12-29 2011-07-06 한국철도기술연구원 도시철도의 화재 감지 시스템
KR20150134095A (ko) * 2014-05-21 2015-12-01 주식회사 제이디글로벌 다차원 화재감지시스템
KR101833794B1 (ko) 2016-01-25 2018-03-05 한국기술교육대학교 산학협력단 상황인지센서를 활용한 화재 감지 및 관제 방법
KR20180044169A (ko) * 2016-10-21 2018-05-02 한국과학기술원 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법
JP2018151751A (ja) * 2017-03-10 2018-09-27 大日本印刷株式会社 火災検出装置、及び、火災検出システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262533A (ja) * 2006-12-12 2008-10-30 Ind Technol Res Inst 火炎検出方法及びその装置
KR20110075798A (ko) * 2009-12-29 2011-07-06 한국철도기술연구원 도시철도의 화재 감지 시스템
KR20150134095A (ko) * 2014-05-21 2015-12-01 주식회사 제이디글로벌 다차원 화재감지시스템
KR101833794B1 (ko) 2016-01-25 2018-03-05 한국기술교육대학교 산학협력단 상황인지센서를 활용한 화재 감지 및 관제 방법
KR20180044169A (ko) * 2016-10-21 2018-05-02 한국과학기술원 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법
JP2018151751A (ja) * 2017-03-10 2018-09-27 大日本印刷株式会社 火災検出装置、及び、火災検出システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102364020B1 (ko) * 2021-06-04 2022-02-17 대한민국 화재 현장 영상을 활용한 화재 분석 방법
KR102364028B1 (ko) * 2021-06-04 2022-02-17 대한민국 기계학습을 이용한 화재 분석 방법
KR102364022B1 (ko) * 2021-06-04 2022-02-18 대한민국 Vr을 이용한 화재 분석 시스템
KR20220168490A (ko) * 2021-06-16 2022-12-23 동아대학교 산학협력단 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법
KR102553889B1 (ko) * 2021-06-16 2023-07-07 동아대학교 산학협력단 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법
KR20230090870A (ko) * 2021-12-15 2023-06-22 가천대학교 산학협력단 딥 러닝 기반 화재 감시 시스템
KR102624333B1 (ko) * 2021-12-15 2024-01-11 가천대학교 산학협력단 딥 러닝 기반 화재 감시 시스템
KR20230101585A (ko) 2021-12-29 2023-07-06 주식회사 위로우 화재 및 재난상황 예측 대응 플랫폼 구축을 위한 시스템 및 방법
KR20230161694A (ko) 2022-05-19 2023-11-28 한화오션 주식회사 딥러닝 기반 화재 데이터 생성 시스템, 동 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Similar Documents

Publication Publication Date Title
KR102160591B1 (ko) 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법
CN108710868B (zh) 一种基于复杂场景下的人体关键点检测***及方法
Wu et al. Using popular object detection methods for real time forest fire detection
Li et al. A method of cross-layer fusion multi-object detection and recognition based on improved faster R-CNN model in complex traffic environment
CN107862705A (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN110533695A (zh) 一种基于ds证据理论的轨迹预测装置及方法
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
JP7313828B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Liu et al. Trajectory and image-based detection and identification of UAV
CN109993061A (zh) 一种人脸检测与识别方法、***以及终端设备
US20210295155A1 (en) Method and system for transfer learning based object detection
Park et al. Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Siniosoglou et al. Synthetic Traffic Signs Dataset for Traffic Sign Detection & Recognition in Distributed Smart Systems
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
CN113095199B (zh) 一种高速行人识别方法及装置
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Seyfi et al. A literature review on deep learning algorithms for analysis of X-ray images
CN114663835A (zh) 一种行人跟踪方法、***、设备及存储介质
Ding et al. An Intelligent System for Detecting Abnormal Behavior in Students Based on the Human Skeleton and Deep Learning
Indhuja et al. Suspicious activity detection using lrcn
Cao et al. Improved YOLOv5s Network for Traffic Object Detection with Complex Road Scenes
US11875526B1 (en) Method for training object detector capable of predicting center of mass of object projected onto ground, method for recognizing identical object in specific space captured from a plurality of cameras having different viewing frustums using trained object detector, and learning device and object recognizing device using the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant