KR20220168490A - 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 - Google Patents
현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20220168490A KR20220168490A KR1020210078285A KR20210078285A KR20220168490A KR 20220168490 A KR20220168490 A KR 20220168490A KR 1020210078285 A KR1020210078285 A KR 1020210078285A KR 20210078285 A KR20210078285 A KR 20210078285A KR 20220168490 A KR20220168490 A KR 20220168490A
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- data
- field
- learning
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000003190 augmentative effect Effects 0.000 claims abstract description 31
- 238000013135 deep learning Methods 0.000 claims abstract description 29
- 238000013480 data collection Methods 0.000 claims abstract description 26
- 230000003416 augmentation Effects 0.000 claims description 79
- 239000013598 vector Substances 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 10
- 239000000779 smoke Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003703 image analysis method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법이 개시된다.
개시된 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력 받아 화재 데이터를 수집하는 화재 데이터 수집부; 상기 화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 GAN을 이용하여 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 1차 화재 데이터 생성 증강 학습부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 OpenCV를 통하여 증강하고 학습하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강 학습부; 및 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 화재 추론부를 포함할 수 있다.
개시된 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력 받아 화재 데이터를 수집하는 화재 데이터 수집부; 상기 화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 GAN을 이용하여 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 1차 화재 데이터 생성 증강 학습부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 OpenCV를 통하여 증강하고 학습하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강 학습부; 및 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 화재 추론부를 포함할 수 있다.
Description
본 발명은 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법에 관한 것이다.
영상 처리 기술은 다양한 방면에 활용되고 있다. 특히 CCTV를 범죄와 사건사고의 예방과 확인 및 재난 분야(화재, 산사태, 홍수 등) 그리고 자율 주행차 분야 등 다양한 분야에서 각광받고 있는 기술이다.
하지만 화재와 같이 영상 데이터 신호가 적은 분야에서는 학습을 위한 데이터가 많이 부족하고, 설령 데이터가 있어도 대형 화재에 관한 뉴스 동영상이나 사진이 전부인 경우가 많다.
이러한 종래 기술은, 소규모 화재 데이터를 이용한 다량 화재 데이터 생성 및 학습에 불과하다. 따라서, 화재 현장과 다른 환경에서 화재 영상처리를 통한 다량 화재 데이터 생성 및 학습하는 현장 데이터를 이용한 데이터의 생성 기술이 필요하다.
현장 데이터를 확보하여도 실제 카메라가 바라보는 방향과 일치하지 않고, 일치하여도 시간이 지나면서 주위 환경이 변경되어 인식율 저하의 원인이 되고 있다.
이로 인하여 실제 화재의 초기단계에서는 여전히 IoT 센서에 의존하고 있다. 즉, 대부분 IoT를 활용한 화재 센서를 통한 화재 인식을 메인으로 활용하고 있으며, CCTV를 통한 화재인식은 오탐율 최소화를 위해 병행하여 사용하는 수준에 불과하다. 따라서 CCTV를 활용한 화재 인식율이 낮아 개선이 요구되고 있다.
또한, IoT 센서도 화재가 발생하고 5~7초 후 화재를 인식하므로, 초기 대응이 부족하여 초기 확산을 방지하기 위한 방법에는 적합하지 않을 수 있다. 따라서, 일정 시간이 경과 된 후에는 자동으로 주위 환경에 맞는 데이터를 생성하는 기술이 필요하다.
그리고, 화재 현장에 맞는 화재 데이터의 생성, 증강 및 학습이 요구되고 있다.
이를 해결하기 위해, 최근에 화재 데이터 증강 기술을 활용하여 부족한 화재 데이터를 생성하는 기술이 논문이나, 특허로 출원되고 있다.
데이터 증강 방식은 화재 데이터의 다량의 학습 데이터 생성에는 많은 기여를 하였고 기존에 비해 상당히 개선된 결과를 얻었다. 하지만 CCTV 설치 현장과 학습 데이터의 차이로 인하여 화재 인식율이 낮아지는 경우가 있어 이를 개선하기 위한 새로운 방법이 요구되고 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법을 제공함에 있다.
즉, 기존의 화재 데이터 증강 방식은 일반적 환경에서 데이터를 증가하고 이를 이용하여 학습을 진행한 방식이라면 본 발명에 따른 실시예들은 현장에 설치된 CCTV를 활용하여 생성된 영상을 기준으로 화재 데이터의 생성, 증강 및 학습이 가능하게 되는 방법 및 시스템을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부; 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부; 상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부; 상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부; 상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및 상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부를 포함할 수 있다.
또한, 상기 범용화재 데이터 수집부를 통하여 수집된 일반 화재 데이터를 저장하거나, 상기 CCTV 현장영상 수집부로부터 획득된 실제 환경에 따른 현장 데이터를 저장하는 화재 데이터베이스; 및 화재 요인 데이터를 저장하는 화재요인 데이터베이스를 더 포함할 수 있다.
상기 1차 화재 데이터 생성 증강 학습부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.
상기 2차 화재 데이터 생성 증강부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.
상기 2차 화재 데이터 생성 증강부는, 상기 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다.
상기 2차 화재 추론부가 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 상기 2차 화재 데이터 생성 증강부는 상기 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다.
상기 CCTV 현장영상 수집부는, 적어도 하나 이상의 카메라 및 CCTV가 인터넷(ONVIF/RTSP)을 통하여 상기 2차 화재 추론부와 연결되거나 연동할 수 있다.
상기 2차 화재 추론부는, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV와 연동하기 위한 영상 수집 및 학습을 위한 기능을 구비할 수 있다.
상기 2차 화재 추론부는, 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 일정 시간이 경과되면 자동으로 상기 CCTV 현장영상 수집부로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.
상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 통제 서버를 더 포함할 수 있다.
상기 2차 화재 데이터 생성 증강부는 3차 화재 데이터를 생성하기 전에 상기 중앙 통제 서버로 화재 감시 사실을 통보하며, 상기 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 상기 중앙 통제 서버로 송신할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부; 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부; 상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부; 상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부; 상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및 상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부; 상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 통제 서버; 및 화재 대피용 비상 앱이 설치되고, 화재 발생 시 상기 중앙 통제 서버로부터 화재 발생 데이터를 수신하면, 상기 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 안내하는 사용자 단말기를 포함할 수 있다.
상기 중앙 통제 서버는, 상기 2차 화재 데이터 생성 증강부로부터 상기 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 상기 영상 프레임으로부터 동(動) 벡터를 추출하되 상기 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 상기 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 상기 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 상기 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 상기 비동 벡터의 벡터 값이 상기 기준 동 벡터 값 이상인 경우, 상기 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 상기 영상 프레임에 대한 분석을 실행하지 않을 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 방법은, (a) 범용화재 데이터 수집부가 사진 및 동영상을 입력받아 화재 데이터를 수집하는 단계; (b) 1차 화재 데이터 생성 증강 학습부가 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 단계; (c) CCTV 현장 영상 수집부가 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 단계; (d) 2차 화재 데이터 생성 증강 학습부가 상기 CCTV 현장 영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 학습하여 2차 화재 데이터를 생성하는 단계; (e) 화재 추론부가 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 단계를 포함할 수 있다.
상기 (b) 단계에서 상기 1차 화재 데이터 생성 증강 학습부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 통하여 증강하고 CNN을 이용하여 딥러닝 학습 후 2차 화재 데이터를 생성할 수 있다.
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 상기 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다.
상기 (e) 에서 상기 화재 추론부가 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 상기 2차 화재 데이터 생성 증강 학습부는 상기 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다.
상기 (e) 단계에서 상기 화재 추론부는, 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 일정 시간이 경과되면 자동으로 상기 CCTV 현장영상 수집부로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.
상기 (e) 단계에서 상기 화재 추론부는, 상기 2차 화재 데이터 생성 증강 학습부가 상기 3차 화재 데이터를 생성하기 전에 상기 중앙 통제 서버로 화재 감시 사실을 통보하며, 상기 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 상기 중앙 통제 서버로 송신할 수 있다.
본 발명에 의하면, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 이를 딥러닝 학습을 통하여 2차 화재 데이터를 생성함으로써 화재 인식률 향상과 초기 화재 인지 능력을 개선할 수 있다.
또한, 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 시스템은 기존 선행 학습 방식에 비해 화재 인식률을 향상시킬 수 있으며, 초기 화재(불꽃, 연기, 스파크) 감지에도 탁월한 효과가 있다.
또한, 본 발명에 의하면, 추론 PC 환경에서 일정 기간이 지나면 자동으로 화재 데이터 생성 및 학습이 가능하여 지속적으로 화재 인식률을 개선할 수 있다.
그리고, 본 발명에 의하면, 기존의 IoT 센서와 병행 또는 단독으로 화재 대응을 할 수 있다.
도 1은 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 이용하는 GAN 방식을 나타내는 도면이다.
도 3은 본 발명의 실시예에 이용하는 GAN 방식에 대하여 일반 사진을 화재 영상으로 바꾼 사진을 다시 일반 사진으로 바꾸는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 GAN 방식을 이용하여 화재 데이터를 생성한 예들을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부에서 OpenCV 방식을 이용하여 2차 화재 데이터로 증강 생성하는 과정을 예로 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강 학습부에서 영상분석 방식을 이용하여 2차 화재 데이터들을 생성한 예를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 방법을 나타낸 흐름도이다.
도 2는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 이용하는 GAN 방식을 나타내는 도면이다.
도 3은 본 발명의 실시예에 이용하는 GAN 방식에 대하여 일반 사진을 화재 영상으로 바꾼 사진을 다시 일반 사진으로 바꾸는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 GAN 방식을 이용하여 화재 데이터를 생성한 예들을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부에서 OpenCV 방식을 이용하여 2차 화재 데이터로 증강 생성하는 과정을 예로 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강 학습부에서 영상분석 방식을 이용하여 2차 화재 데이터들을 생성한 예를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 방법을 나타낸 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 범용화재 데이터 수집부(110), 1차 화재 데이터 생성 및 증강부(120), 1차 화재 학습부(130), 1차 화재 추론부(140), CCTV 현장영상 수집부(150), 2차 화재 데이터 생성 및 증강부(160), 2차 화재 학습부(170), 2차 화재 추론부(180), 중앙 관제 서버(190) 등을 포함한다.
또한, 화재 데이터베이스(DB)(200) 및 화재요인 데이터베이스(DB)(210)를 더 포함할 수 있다.
범용화재 데이터 수집부(110)는 사진 및 동영상을 입력 받아 화재 데이터를 수집한다.
1차 화재 데이터 생성 및 증강부(120)는 범용화재 데이터 수집부(110)를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성한다.
1차 화재 학습부(130)는 1차 화재 데이터 생성 및 증강부(120)를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝한 결과를 도출한다.
1차 화재 추론부(140)는 1차 화재 학습부(130)에서 학습된 결과를 활용하여 추론을 진행한다. 그리고 이 추론은 2차 추론과 합쳐진다.
CCTV 현장영상 수집부(150)는 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득한다.
2차 화재 데이터 생성 및 증강부(160)는 CCTV 현장영상 수집부(150)로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성한다.
2차 화재 학습부(170)는 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출한다.
2차 화재 추론부(180)는 2차 화재 학습부(170)에서 학습된 결과와 1차 화재 추론부(140)에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하여 판단할 수 있다.
여기서, 1차 및 2차 화재 추론부(140, 180)는 예를 들면, 컴퓨터, 노트북 등의 형태로 구현될 수 있으며, 2 개가 아닌 하나의 PC로 구현될 수 있으며, PC 상에서 학습 결과를 합쳐서 각 CCTV에서 수집된 영상으로 화재 유무를 판단한다.
중앙 관제 서버(190)는 2차 화재 추론부(180)와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신할 수 있다.
화재 DB(200)는 범용화재 데이터 수집부(110)를 통하여 수집된 일반 화재 데이터를 저장하거나, CCTV 현장영상 수집부(150)로부터 획득된 실제 환경에 따른 현장 데이터를 저장한다.
화재요인 DB(210)는 발화점 등 화재 요인 데이터를 저장한다.
1차 화재 데이터 생성 및 증강부(120)는, 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.
2차 화재 데이터 생성 및 증강부(160)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.
2차 화재 데이터 생성 및 증강부(160)는, 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다. 시간이 지나면서 가구 위치, 책상 등의 위치 변동에 따른 추가 학습의 필요성 때문이다.
2차 화재 데이터 생성 및 증강부(160)는 화재 영상 생성 알고리즘 모델을 이용하여 2차 화재 데이터를 생성 및 증강할 수 있다. 화재생성 딥러닝 모델은 도시하지는 않았지만 매핑부, 생성부, 합성부 및 식별부를 포함할 수 있다. 식별부는 화재 데이터를 초기 화재와 대형 화재로 나누어 수집하고, 합성부는 입력되는 이미지 데이터에 대해서 제1 화재 생성 딥러닝 모델과 제2 화재 생성 딥러닝 모델을 통해 제1 화재 생성 데이터와 제2 화재 생성 데이터를 합성할 수 있다. 생성부는 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 제1 화재 또는 제2 화재 적용 유무를 판단하여 가상 화재 데이터를 생성할 수 있다. 매핑부는 가상 화재 데이터와 입력된 원본 영상 데이터를 매핑하고, 생성부는 가상 화재 데이터와 원본 영상 데이터의 매핑에 따른 2차 화재 데이터를 생성할 수 있다.
2차 화재 학습부(170)는 2차 화재 데이터 생성 및 증강부(160)로부터 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 영상 프레임으로부터 동(動) 벡터를 추출하되 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 비동 벡터의 벡터 값이 기준 동 벡터 값 이상인 경우, 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 영상 프레임에 대한 분석을 실행하지 않을 수 있다.
2차 화재 추론부(180)가 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 2차 화재 데이터 생성 및 증강부(160)는 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다. 즉 일정 시간이 경과되면 자동으로 CCTV 현장영상 수집부(150)로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, CCTV 현장영상 수집부(150)의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.
CCTV 현장영상 수집부(150)는, 2차 화재 추론부(180)와 연결되거나 연동할 수 있다. 예를 들면, 사무실, 집, 복도 등에 설치되어, 인터넷 네트워크를 통하여 2차 화재 추론부(180)에 연결될 수 있다.
CCTV 현장영상 수집부(150)는, 적어도 하나 이상의 카메라 및 CCTV가 인터넷(ONVIF/RTSP)을 통하여 2차 화재 추론부(180)와 연결되거나 연동할 수 있다.
2차 화재 추론부(180)는, 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 2차 화재 데이터 생성 및 증강부(160)는 3차 화재 데이터를 생성하기 전에 중앙 관제 서버(190)로 화재 감시 사실을 통보하며, 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 중앙 관제 서버(190)로 송신할 수 있다.
중앙 관제 서버(190)는 2차 화재 데이터 생성 및 증강부(160) 또는 2차 화재 추론부(180)와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신할 수 있다.
본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 도면에 도시하지는 않았지만 중앙 관제 서버(190)와 무선 통신으로 데이터를 송수신하는 사용자 단말기를 더 포함할 수 있다.
사용자 단말기는 화재 대피용 비상 앱이 설치되고, 화재 발생 시 중앙 관제 서버(190)로부터 화재 발생 데이터를 수신하면, 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 제공할 수 있다.
또한, 사용자 단말기는, 내부에 탑재된 GPS 센서를 통해 현재의 위치 정보를 취득하고, 취득한 현재 위치 정보를 이용하여 화면에 표시된 지도를 통해 현재 위치에서 비상구까지의 최단 경로를 화재 대피용 비상 앱과 연동하여 자동 설정할 수 있으며, 이를 통하여 시각적 또는 청각적으로 비상탈출 경로안내를 제공할 수 있다. 예를 들어, 사용자 단말기는 지도 상의 경로 안내 화면을 통해 시각적으로 비상탈출 경로 안내를 제공할 수 있으며, 이와 달리 경로 안내 음성을 내부 스피커로 출력하는 방식을 통해 청각적으로 비상탈출 경로안내를 제공할 수도 있다.
도 2는 본 발명의 실시예에 따른 1차 화재 데이터 화재 데이터 생성 증강부에서 이용하는 GAN 방식을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강(120) 에서 이용하는 GAN 방식은, 범용화재 데이터 수집부(110)에 수집된 하나의 사진(Image)을 화재 스타일로 바꾸되, 다시 원본 이미지로 복구 가능한 정도로만 바꾸는 방식이다.
예를 들면, 도 3에 도시된 바와 같이, 일반 사진을 화재 사진으로 바꾸려고 한다고 할 때, 바꾼 사진을 다시 일반 사진으로 바꿀 수 있어야 한다는 의미이다. 도 3은 본 발명의 실시예에 이용하는 GAN 방식에 대하여 일반 사진(Image)을 화재 영상으로 바꾸고 바꾼 사진을 다시 일반 사진으로 바꾸는 예를 나타낸 도면이다. 이를 위해, G net을 훈련시키는 동시에, 사진을 그림으로 바꿔주는 F net을 훈련시켜야 한다. x도메인에 G를 적용하고 (G(x)), F를 적용하면(F(G(x))) input이 사진으로 갔다가 다시 그림으로 돌아온다. 돌아온 결과 값이 원래 그림과 같아야 한다는 것이 제약조건이 된다.
여기서, loss function을 살펴보면, 기존 GAN loss는 유지하고, 생성한 fake 이미지와 원본 이미지 X의 loss가 최소화 되어야 한다. 이것은 pixel level difference를 추가한 것과 비슷한 개념이다. 본 발명의 실시예에 이용하는 GAN 방식을 설명하기 위한 일반 GAN의 G->F loss function을 나타낸 도면이고, GAN 방식을 설명하기 위한 일반 GAN의 F->G loss function을 나타낸다.
이를 위한 전체 목표(Full objective)는 다음 수학식 1과 같이 나타낼 수 있다.
수학식 1에서, λLcyc는 하이퍼 파라미터(hyper-parameter)이다. λ는 다음 수학식 2와 같이 두 오브젝티브(objective)의 상대적 중요성(relative importance)을 컨트롤한다.
Cycle GAN 방식은 2개의 'autoencoder'를 훈련시키는 것으로 볼 수 있다. 하나의 오토 인코더 F·G : X → X와 G·F : Y → Y 가 함께 학습한다. 인코더 내부에서는 input 이미지를 다른 도메인으로 변환하는 중간 representation을 통해 이미지를 자체적으로 매핑한다. 이런 설정은 'adversarial auto-encoders'의 특별한 경우이다. 이는 임의의 target분포와 일치하도록 오토인코더의 bottleneck layer를 훈련시키기 위해 adversarial loss를 사용한다.
여기서 X → X 자동 인코더의 대상 분포는 도메인 Y의 분포이다.
이러한 방법은 전체 목표와 비교하였을 때 adversarial loss LGAN과 cycle consistency loss Lcyc 단독을 포함하여, 두 개의 objective가 고품질의 결과를 얻는데 중요한 역할을 했음을 결과를 통해 얻어낼 수 있다.
또한 only cycle loss(한 방향으로만의 사이클 로스)는 모델의 성능을 테스트했을 때, 훈련에 충분하지 않았음을 나타낸다.
도 4는 본 발명의 실시예에 따른 1차 화재 화재 데이터 생성 증강부에서 GAN 방식을 이용하여 화재 데이터를 생성한 예들을 나타낸 도면이다.
도 4을 참조하면, 본 발명의 실시예에 따른 화재 데이터 생성 증강부(120)는 범용화재 데이터 수집부(110)에 수집된 원래의 사진이나 영상(Original)으로부터 전술한 바와 같은 GAN 방식을 이용하여 1차 화재 데이터(Translated)를 생성할 수 있다.
적대적 생성 신경망(GAN:Generative Adversarial Networks)은 두 모델 간의 대립을 통해 데이터를 생성하는 최적의 모델을 만들어내는 것으로서, 트레이닝 데이터의 분포를 생성 모델이 똑같이 따라가도록 학습하는 것이다.
확률변수 X에 대한 확률 밀도함수가 있을 때, 어떤 X에 대해서 함수값이 크다면 전체 분포 내에서 그 X가 차지하는 비율이 크다는 것을 의미한다. GAN에서는 이미지를 고차원 벡터로 보고, 입력 이미지 데이터들의 특징이 담긴 벡터들의 확률분포를 이용해서 이미지의 특징별로 해당하는 확률변수의 크기를 구한다.
GAN은 분류기 모델(Discriminator Model)과 생성기 모델(Generator Model)로 구성된다. 분류기 모델은 D(x)의 함수로 나타내고, 생성기 모델은 G(z)의 함수로 나타낸다. D(x)는 이미지 x가 학습용 원본 이미지 데이터에서 나왔을 확률을 계산한다. 따라서 x에 학습용 데이터가 들어오면, D(x)는 1에 매우 가깝다. G(z)는 임의의 코드 값 z를 받아서 그에 대응하는 가짜 이미지를 만들어 낸다. 학습 초반에는 당연히 가짜 이미지가 강하게 나타나고, D(G(z))는 0에 가깝다.
분류기 모델은 진짜 이미지가 들어왔을 때 D(x)가 1을 출력하도록 학습하고, 가짜 이미지가 들어왔을 때 D(x)가 0을 출력하도록 학습한다. 생성기 모델은 진짜 같은 가짜 이미지를 생성하는 것이다. 따라서 생성기 모델은 코드 z를 받아서 생성한 가짜 이미지 G(z)에 대해서 D(G(z))가 1에 가까운 출력을 보이게 만들도록 학습한다.
GAN은 실제 이미지를 학습해 거짓 이미지를 만드는 것이다. 따라서, 화재의 그림처럼 만들어 주는 것도 가능하고, 저해상도 사진을 고해상도로 만드는 등 손상된 이미지를 복원할 수도 있다.
따라서, 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강(120)부는 적대적 생성 신경망(GAN)을 이용하여 도 4에 도시된 바와 같이 보통의 영상(건물, 물건, 시설 등)에 화재를 합성하여 1차 화재 데이터를 생성하는 것이다.
도 5는 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부에서 OpenCV 방식을 이용하여 2차 화재 데이터로 증강 생성하는 과정을 예로 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부(160)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 이용하여 증강하고 CNN을 이용하여 딥러닝 학습하여 2차 화재 데이터를 생성한다.
OpenCV 방식을 1차 화재 데이터 생성 증강부(120)에 적용하지 않고 2차 화재 데이터 생성 증강부(160)에만 적용한 이유는 GAN 방식의 경우는 큰 화재 및 다양한 주위 환경에 따른 넓은 화재 이미지 생성에 적합하고, OpenCV 방식은 CCTV나 카메라처럼 고정된 이미지를 활용하여 다양한 불의 형태를 생성 및 증강하는데 적합하여 1,2차 화재 데이터 생성 증강부의 방식을 달리하였다.
OpenCV 방식은 영상 처리에서 흔히 fade in/out 효과처럼 자연스럽게 2개의 이미지를 합성하는 방식이다.
이미지들은 픽셀 기반의 숫자 배열 형태로 이루어져 있는데, 보통 0~255 사이의 숫자값으로 이루어져 있다. 따라서 2개의 이미지 합성을 위해 단순히 두 어레이를 더하는 형태로 표현할 수 있다. 이미지 데이터 셋이므로 unit 8, 즉 0~255 사이의 값만 갖도록 데이터 타입을 선정할 수 있다.
a+b 방식은 단순히 이미지 2개를 더하는 것이다. 255보다 큰 값이 나오면, unit 8에 의해 255를 뺀 값이 저장된다.
cv2.add(a, b) 방식은 openCV에서 제공하는 add 메소드로, 255보다 크면 최대값인 255로 지정하는 것이다.
이와 마찬가지로 더하기, 곱하기, 나누기도 동일한 방식으로 연산이 된다. 즉, 단순하게 cv2.add나 cv2.substract 등을 사용해서 이미지를 합성하게 되면, 최대값인 255로 값이 몰려서 하얗게 합성 이미지가 변색되는 것을 쉽게 확인할 수 있다.
이를 해결하기 위해 알파 블렌딩(Alpha Blending) 방식을 사용한다. 일종의 투명도 같은 역할을 하게 되는데, 합성하려는 이미지들의 총합이 255 아래로 되도록, 더하거나 빼는 연산을 할 때 특정 비율(alpha) 만큼 곱해주는 것이 그 원리이다.
제1 이미지(img1)에 대한 비율을 alpha로 놓으면, 제2 이미지(img2)에 대한 비율은 (1-alpha)가 된다. 이런 식으로 영상의 fade in/out 효과를 알파 블렌딩을 통해 부여할 수 있는 것이다.
따라서, 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부(160)는, 현장 맞춤형 화재 데이터를 OpenCV Alpha Blending 방식을 이용하여 도 6에 도시된 바와 같은 2차 화재 데이터를 생성할 수 있다. 도 6은 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강 학습부에서 영상분석 방식을 이용하여 2차 화재 데이터들을 생성한 예를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 방법을 나타낸 흐름도이다.
여기서 설명하는 현장 환경 영상 학습형 화재 위험 인지 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다. 이는 이하의 다른 실시예에서도 마찬가지로 적용될 수 있다.
도 7 및 도 8을 참조하면, 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 범용화재 데이터 수집부(110)가 사진 및 동영상을 입력 받아 화재 데이터를 수집한다(S810).
이어, 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는 화재 데이터 수집부(110)를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성한다(S820).
이때, 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는, 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.
이어, CCTV 현장 영상 수집부(150)는 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득한다(S830).
이어, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는 CCTV 현장 영상 수집부(150)로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 학습하여 2차 화재 데이터를 생성한다(S840).
이때, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 통하여 증강하고 CNN을 이용하여 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.
또한, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 현장 맞춤형 화재 데이터를 학습하고, 학습된 데이터를 기반으로 제1 화재 상황과 제2 화재 상황을 합성시켜 가상의 화재 데이터인 3차 화재 데이터를 생성할 수 있다.
이어, 화재 추론부(140, 180)는 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 서로 공유하며 1차, 2차 화재 데이터에 근거하여 화재 유무를 판단한다(S850).
이때, 1차 화재 데이터는 범용적 이미지를 활용한 학습 결과이며, 2차 화재 데이터는 화재 현장의 이미지를 활용한 학습 결과이다. 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는 1차 화재 데이터를 생성하여 학습하는 것을 계속 활용하고, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는 2차 화재 데이터를 생성하여 학습하는 것을 일정 시간이 경과하면 계속하여 증강 및 학습을 진행할 수 있다.
이것을 3차 학습이라고 한다. 3차 학습 때는 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크 등을 추가로 데이터 생성, 증강, 학습하는 것을 포함하는 것이다.
화재 추론부(140, 180)는 범용적 이미지를 활용한 학습 결과 및 현장 맞춤형 화재 데이터의 학습 결과에 따른 추론을 포함한 것이다.
또한, 2차 화재 추론부(180)는 현장 맞춤형 화재 데이터의 학습 결과에 따른 3차 화재 데이터 생성, 증강, 학습에 근거하여, 일정 시간이 경과되면 자동으로 CCTV 현장영상 수집부(150)로부터 현장 데이터를 수신하고, 현장 영상을 활용한 2차 화재 데이터 생성 및 학습을 실행하되, 현장 설치 CCTV부(110)의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.
또한, 2차 화재 추론부(180)는 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)가 3차 화재 데이터를 생성하기 전에 중앙 관제 서버(190)로 화재 감시 사실을 통보하며, 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 중앙 관제 서버(190)로 송신할 수 있다.
그리고, 2차 화재 추론부(180)는 가상의 화재 데이터로 생성된 3차 화재 데이터를 기반으로 화재 상황 감지를 위해 딥러닝 모델을 학습시키며, 학습된 딥러닝 모델을 기반으로 3차 화재 데이터 생성, 증강, 학습부(160 ~ 170)로부터 새로 입력된 3차 화재 데이터에서 화재 상황을 검출하고 화재 유무를 판단할 수 있다.
그리고, 화재 추론 데이터는 화재DB(200)에 자동으로 학습결과가 저장되며 CCTV 영상 입력 시 화재 유무를 추론할 때 사용한다. 최종 버전이 생성되기 전까지는 항상 마지막 버전으로 화재 유무 판단에 활용한다.
한편, 중앙 관제 서버(190)는 화재 추론부(140, 180)에서 화재로 판단한 부분에 대해서는 화재발생요인 DB부(210)에 데이터를 기록하며 화재 신호에 대해 즉시 관리자 및 소방서로 신고하는 기능을 포함한다. 화재발생 DB부 화재 유무 판단 결과에 따른 오동작 보완, 수정 및 화재 빅데이터 근거자료로 활용된다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명된 단말기나 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
전술한 바와 같이 본 발명에 의하면, 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법을 실현할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 현장 환경 영상 학습형 화재 위험 인지 시스템
110 : 화재 데이터 수집부
120 : 1차 화재 데이터 생성/증강부
130 : 1차 화재 학습부
140 : 1차 화재 추론부
150 : CCTV 현장영상 수집부
160 : 2차 화재 데이터 생성/증강부
170 : 2차 화재 학습부
180 : 2차 화재 추론부
190 : 중앙 관제 서버
200 : 화재 데이터베이스
210 : 화재 발생 요인 데이터베이스
110 : 화재 데이터 수집부
120 : 1차 화재 데이터 생성/증강부
130 : 1차 화재 학습부
140 : 1차 화재 추론부
150 : CCTV 현장영상 수집부
160 : 2차 화재 데이터 생성/증강부
170 : 2차 화재 학습부
180 : 2차 화재 추론부
190 : 중앙 관제 서버
200 : 화재 데이터베이스
210 : 화재 발생 요인 데이터베이스
Claims (10)
- 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부;
상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부;
상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부;
상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부;
현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부;
상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부;
상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및
상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부;
를 포함하는 현장 환경 영상 학습형 위험 인지 시스템. - 제 1 항에 있어서,
상기 범용화재 데이터 수집부를 통하여 수집된 일반 화재 데이터를 저장하거나, 상기 CCTV 현장영상 수집부로부터 획득된 실제 환경에 따른 현장 데이터를 저장하는 화재 데이터베이스; 및
화재 요인 데이터를 저장하는 화재요인 데이터베이스;
를 더 포함하는 현장 환경 영상 학습형 위험 인지 시스템. - 제 1 항에 있어서,
상기 1차 화재 데이터 생성 증강부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성하고,
상기 2차 화재 데이터 생성 증강부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성하는, 현장 환경 영상 학습형 위험 인지 시스템. - 제 1 항에 있어서,
상기 2차 화재 데이터 생성 증강부는, 상기 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성하고,
상기 2차 화재 추론부가 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 상기 2차 화재 데이터 생성 증강부는 상기 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행하는, 현장 환경 영상 학습형 위험 인지 시스템. - 제 1 항에 있어서,
상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 통제 서버를 더 포함하고,
상기 2차 화재 데이터 생성 증강부는 3차 화재 데이터를 생성하기 전에 상기 중앙 통제 서버로 화재 감시 사실을 통보하며, 상기 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 상기 중앙 통제 서버로 송신하는, 현장 환경 영상 학습형 위험 인지 시스템. - 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부;
상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부;
상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부;
상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부;
현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부;
상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부;
상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및
상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부;
상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 통제 서버; 및
화재 대피용 비상 앱이 설치되고, 화재 발생 시 상기 중앙 통제 서버로부터 화재 발생 데이터를 수신하면, 상기 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 안내하는 사용자 단말기;
를 포함하는 현장 환경 영상 학습형 위험 인지 시스템. - 제 6 항에 있어서,
상기 중앙 통제 서버는, 상기 2차 화재 데이터 생성 증강부로부터 상기 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 상기 영상 프레임으로부터 동(動) 벡터를 추출하되 상기 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 상기 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 상기 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 상기 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 상기 비동 벡터의 벡터 값이 상기 기준 동 벡터 값 이상인 경우, 상기 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 상기 영상 프레임에 대한 분석을 실행하지 않는, 현장 환경 영상 학습형 위험 인지 시스템. - (a) 범용화재 데이터 수집부가 사진 및 동영상을 입력받아 화재 데이터를 수집하는 단계;
(b) 1차 화재 데이터 생성 증강 학습부가 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 단계;
(c) CCTV 현장 영상 수집부가 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 단계;
(d) 2차 화재 데이터 생성 증강 학습부가 상기 CCTV 현장 영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 학습하여 2차 화재 데이터를 생성하는 단계; 및
(e) 화재 추론부가 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 단계;
를 포함하는 현장 환경 영상 학습형 위험 인지 방법. - 제 8 항에 있어서,
상기 (b) 단계에서 상기 1차 화재 데이터 생성 증강 학습부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성하고,
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 통하여 증강하고 CNN을 이용하여 딥러닝 학습하여 2차 화재 데이터를 생성하는, 현장 환경 영상 학습형 위험 인지 방법. - 제 8 항에 있어서,
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 현장 맞춤형 화재 데이터를 학습하고, 학습된 데이터를 기반으로 제1 화재 상황과 제2 화재 상황을 합성시켜 가상의 화재 데이터인 상기 3차 화재 데이터를 생성하는, 현장 환경 영상 학습형 위험 인지 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (ko) | 2021-06-16 | 2021-06-16 | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (ko) | 2021-06-16 | 2021-06-16 | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220168490A true KR20220168490A (ko) | 2022-12-23 |
| KR102553889B1 KR102553889B1 (ko) | 2023-07-07 |
Family
ID=84536471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (ko) | 2021-06-16 | 2021-06-16 | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102553889B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935021A (zh) * | 2024-01-30 | 2024-04-26 | 北京中卓时代消防装备科技有限公司 | 基于深度学习的现场火灾图像分析模型训练方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101822924B1 (ko) | 2016-11-28 | 2018-01-31 | 주식회사 비젼인 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
| KR101963308B1 (ko) * | 2018-11-08 | 2019-03-28 | 한국건설기술연구원 | 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법 |
| KR20200100348A (ko) * | 2019-02-18 | 2020-08-26 | 배재대학교 산학협력단 | 실시간 화재 감지 시스템 및 그 감지 방법 |
| KR102160591B1 (ko) * | 2019-07-24 | 2020-09-28 | 동아대학교 산학협력단 | 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법 |
-
2021
- 2021-06-16 KR KR1020210078285A patent/KR102553889B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101822924B1 (ko) | 2016-11-28 | 2018-01-31 | 주식회사 비젼인 | 영상기반 화재 감지 시스템, 방법 및 프로그램 |
| KR101963308B1 (ko) * | 2018-11-08 | 2019-03-28 | 한국건설기술연구원 | 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법 |
| KR20200100348A (ko) * | 2019-02-18 | 2020-08-26 | 배재대학교 산학협력단 | 실시간 화재 감지 시스템 및 그 감지 방법 |
| KR102160591B1 (ko) * | 2019-07-24 | 2020-09-28 | 동아대학교 산학협력단 | 화재 상황 감지 모델을 위한 화재 상황 생성 시스템 및 그 최적화 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935021A (zh) * | 2024-01-30 | 2024-04-26 | 北京中卓时代消防装备科技有限公司 | 基于深度学习的现场火灾图像分析模型训练方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102553889B1 (ko) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7101315B2 (ja) | 画像データを自然言語の説明に変換するためのシステム及び方法 | |
| KR102414902B1 (ko) | 카메라 설치 환경 및 목적에 따른 영상 데이터 분석을 위한 추천 인공지능 모델 제공방법 | |
| JP7448338B2 (ja) | 火炎判断のための神経網モデルの学習および検出方法、並びにこれを行うシステム、記録媒体 | |
| US11106903B1 (en) | Object detection in image data | |
| CN112633231B (zh) | 一种火灾识别的方法和装置 | |
| JP2020038667A (ja) | 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 | |
| US10701303B2 (en) | Generating spatial audio using a predictive model | |
| WO2023082882A1 (zh) | 一种基于姿态估计的行人摔倒动作识别方法及设备 | |
| CN105554440A (zh) | 监控方法和设备 | |
| US11216704B2 (en) | Recognition system using multimodality dataset | |
| KR20180049786A (ko) | 데이터 인식 모델 구축 장치 및 이의 데이터 인식 모델 구축 방법과, 데이터 인식 장치 및 이의 데이터 인식 방법 | |
| CN116129330B (zh) | 基于视频的图像处理、行为识别、分割、检测方法及设备 | |
| US20220114380A1 (en) | Real-time cross-spectral object association and depth estimation | |
| JP2019117556A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114913663A (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
| AU2022215283A1 (en) | A method of training a machine learning algorithm to identify objects or activities in video surveillance data | |
| CN112270246A (zh) | 视频行为识别方法及装置、存储介质、电子设备 | |
| KR102553889B1 (ko) | 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법 | |
| KR102630183B1 (ko) | 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법 | |
| CN116797814A (zh) | 智慧工地安全管理*** | |
| EP3401843A1 (en) | A method, an apparatus and a computer program product for modifying media content | |
| US20230105423A1 (en) | System and method of intruder detection | |
| Patino et al. | A comprehensive maritime benchmark dataset for detection, tracking and threat recognition | |
| CN114625456B (zh) | 目标图像显示方法、装置及设备 | |
| CN116708725B (zh) | 基于语义编解码的低带宽人群场景安防监控方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |