KR102152123B1 - Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire - Google Patents
Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire Download PDFInfo
- Publication number
- KR102152123B1 KR102152123B1 KR1020180166284A KR20180166284A KR102152123B1 KR 102152123 B1 KR102152123 B1 KR 102152123B1 KR 1020180166284 A KR1020180166284 A KR 1020180166284A KR 20180166284 A KR20180166284 A KR 20180166284A KR 102152123 B1 KR102152123 B1 KR 102152123B1
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- unit
- portable terminal
- application
- image
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 230000005856 abnormality Effects 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 39
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 206010000369 Accident Diseases 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006378 damage Effects 0.000 description 5
- 230000002265 prevention Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 208000001836 Firesetting Behavior Diseases 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229920002302 Nylon 6,6 Polymers 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- LTYMSROWYAPPGB-UHFFFAOYSA-N diphenyl sulfide Chemical compound C=1C=CC=CC=1SC1=CC=CC=C1 LTYMSROWYAPPGB-UHFFFAOYSA-N 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B26/00—Alarm systems in which substations are interrogated in succession by a central station
- G08B26/001—Alarm systems in which substations are interrogated in succession by a central station with individual interrogation of substations connected in parallel
- G08B26/003—Alarm systems in which substations are interrogated in succession by a central station with individual interrogation of substations connected in parallel replying the identity and the state of the sensor
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
- G08B3/1008—Personal calling arrangements or devices, i.e. paging systems
- G08B3/1016—Personal calling arrangements or devices, i.e. paging systems using wireless transmission
- G08B3/1025—Paging receivers with audible signalling details
- G08B3/1033—Paging receivers with audible signalling details with voice message alert
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
- G08B7/066—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources guiding along a path, e.g. evacuation path lighting strip
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
- Fire Alarms (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템에 관한 것으로써, 본 발명의 제안 기술은 파이어 모니터링 제어 애플리케이션이 설치된 사용자 단말을 통해 원격으로 화재, 가스 등의 이상 신호 및 촬영 영상을 원격에서 쉽게 현장 파악이 가능하고, 사용자, 상가 위치 및 센서의 상태 정보를 함께 파이어 어플리케이션의 사용자 단말에서 화재 현장 맞춤형 영상 및 오디오를 원격 제어함으로써, 화재 시 안전하게 화재 피해자를 가이드하거나 가스 사고 시 대피경로 및 행동 요령을 어플리케이션으로 안내할 수 있어, 보다 효과적으로 화재 사고 처리 및 화재 구조에 적용할 수 있는 특징적 기술을 가진다.The present invention relates to an image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a fire in a shopping mall, and the proposed technology of the present invention provides an abnormality such as fire and gas remotely through a user terminal installed with a fire monitoring control application. It is possible to easily identify the site of the signal and photographed video from a remote location, and remotely control the video and audio customized for the fire site from the user terminal of the fire application together with the user, the location of the shopping mall, and the status information of the sensor. In the event of a gas accident, it has a characteristic technology that can be applied to fire accident handling and fire rescue more effectively, as it can guide the evacuation route and action instructions to the application.
Description
본 발명은 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템에 관한 것으로써, 본 발명은 모니터링 제어 애플리케이션이 설치된 사용자 단말을 통해 원격으로 화재, 가스 등의 이상 신호 및 촬영 영상을 원격에서 쉽게 현장 파악이 가능하고, 사용자, 상가 위치 및 센서의 상태 정보를 함께 파이어 어플리케이션의 사용자 단말에서 화재 현장 맞춤형 영상 및 오디오를 원격 제어함으로써, 화재 시 안전하게 화재 피해자를 가이드하거나 가스 사고 시 대피경로 및 행동 요령을 어플리케이션으로 안내할 수 있는 휴대 단말의 영상 처리 시스템에 관한 것이다.The present invention relates to an image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a fire in a shopping mall. The present invention relates to an abnormal signal such as fire, gas, etc. and photographed images remotely through a user terminal installed with a monitoring control application. It is possible to easily identify the site from a remote location, and remotely control the video and audio tailored to the fire site from the user terminal of the fire application together with the user, the location of the shopping mall, and the status information of the sensor. It relates to an image processing system of a portable terminal capable of guiding a route and an action method to an application.
최근, 한국의 NFSC(National Fire Protection Code) 및 미국의 NFPA (National Fire Protection Association)에서는 건물용도 및 면적별로 소화설비 설치를 의무화하고 있다. 특히, 전통시장의 화재 위험은 밀집형 구조, 전기·가스시설 노후화 등으로 화재 요인이 매우 높게 상존해 있는 실정이며, 최근 보도에 의하면, 서울시내 전통시장에서도 최근 5년간 51건의 화재로 인해 1억 6000만여원의 재산 피해가 발생을 보도하면서 화재 발생 원인은 전기적 원인(50.9%), 부주의(23.5%), 미상(9.9%), 기계적 요인(7.9%), 방화(5.9%) 순으로 화재에 대한 부담과 불안감을 항상 가지고 있어, 경제적이고 안전성을 담보하는 지능형 화재 감지 시스템이 절실히 필요한 실정이다. 또한 최근 사물인터넷(IoT), 제4차 산업의 이슈로 인해 지능형 감지 시스템의 변화가 급속도로 발전하여 화재 감지 시스템에도 응용분야를 넓히고 있는 실정이다. 그러나, 지금까지의 지능형 화재 감지 시스템은 단순히 화재 정보를 센싱하여 유관기관으로 통지하여 화재 속 피해자(사람)의 현장 상황을 알지 못하고 화재 진압을 하게 되고, 구조를 위해 화재 진입하는 소방관들은 상가 정보, 위치, 현재 화재 속 피해자의 유무를 파악할 수 없어 안전한 구출 작업에도 어려운 문제에 직면해 왔다. Recently, the National Fire Protection Code (NFSC) of Korea and the National Fire Protection Association (NFPA) of the United States have mandated the installation of fire extinguishing equipment by building use and area. In particular, the risk of fire in the traditional market is a situation where fire factors are very high due to the dense structure and aging of electricity and gas facilities, and according to a recent report, 100 million won due to 51 fires in the last 5 years in the traditional market in Seoul. While reporting the occurrence of property damage of 60 million won, the causes of fire were electrical (50.9%), carelessness (23.5%), unknown (9.9%), mechanical factors (7.9%), and arson (5.9%). There is always a feeling of burden and anxiety, and there is a desperate need for an intelligent fire detection system that ensures economical and safety. In addition, due to the recent Internet of Things (IoT) and issues in the 4th industry, the change of intelligent detection systems has rapidly developed, and the application field is also being expanded to fire detection systems. However, until now, the intelligent fire detection system simply senses the fire information and notifies the relevant organizations to extinguish the fire without knowing the scene situation of the victim (person) in the fire, and firefighters entering the fire for rescue The location and the presence or absence of the victims in the current fire have been difficult to determine, making it difficult for safe rescue operations.
종래 지능형 화재 감지 시스템은 특허문헌 1(대한민국 등록특허 10-1111493) 및 특허문헌 2(대한민국 등록특허 10-1510766)는 다기능 센서를 이용한 지능형 모니터링 감지 시스템으로써, 단지 센서들을 이용한 비상사태의 감지만을 목적으로 할 뿐 본 발명의 화재 사고 현장 내에 피해자들에 대한 구조 요청 오디오 및 영상에 관한 처리와 이를 신속하게 개인별 맞춤형 비디오 및 오디오를 신호처리하여 화재 현장 속의 대피요령 및 대피로를 긴급하게 지시할 수 있는 모니터링 제어 어플리케이션에 대한 세부 구성들에 대한 설명은 없다. 또한 본 발명은 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템을 통하여 화재 감지 모니터링뿐만 아니라 화재 발생 시 원격에서 어플리케이션을 이용하여 화재 진압 및 구출 시에도 유용한 정보를 제공하거나 대피 안내 가이드의 기능을 더 부가한 현장 휴대 단말의 맞춤형 영상 및 오디오 줌밍 신호 처리 및 제어 안내 기능이 장착된 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템을 제공하고자 한다.Conventional intelligent fire detection system is an intelligent monitoring detection system using a multi-functional sensor, Patent Document 1 (Korea Patent Registration 10-1111493) and Patent Document 2 (Korea Patent Registration 10-1510766), only the purpose of detecting an emergency using sensors. It is possible to urgently instruct evacuation instructions and evacuation routes in the fire site by processing audio and video requests for rescue of victims within the fire accident site of the present invention and promptly signal processing personalized video and audio for each individual. There is no description of detailed configurations for the monitoring control application. In addition, the present invention provides useful information for fire suppression and rescue by using an application remotely in case of fire, as well as fire detection and monitoring through an image processing system of an intelligent portable terminal equipped with a monitoring application that detects and controls a commercial fire. It is intended to provide an image processing system of an intelligent portable terminal equipped with a monitoring application that detects and controls fire in a shopping mall equipped with a customized video and audio zooming signal processing and control guide function of a field portable terminal with a further function of a guide guide.
본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리를 위해 화재 위치, 상가 주소 및 센서 종류, 모니터링 상태 및 날짜 정보등 모니터링하여 화재 관리와 동시에 화재 발생 시 화재 속 피해자를 안전하게 대피할 수 있는 대피로, 현장 상황의 영상 확대 및 해당 영역의 화재 영상 프레임으로부터 오디오를 취음하여 피해자를 안전하게 대피할 수 있게 오디오 출력을 관리자나 화재 현장 피해자에게 상호 제공함을 목적으로 한다.The present invention is to solve the problems of the prior art, and an object of the present invention is a fire location, a mall address and a sensor type, a monitoring state, and an image processing of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a fire in a mall. It is an evacuation route that allows you to safely evacuate the victim in the event of a fire by monitoring the date information, etc., and at the same time as an audio output so that the victim can be safely evacuated by expanding the image of the site situation and taking audio from the fire video frame in the area. It aims to mutually provide to managers and victims of fire sites.
본 발명을 달성하기 위한 기술적 사상으로 본 발명의 상가 화재를 감지 제어하는 모니터링 제어 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템에 있어서, 상가 화재를 원격으로 감지 제어하기 위하여 천정 또는 벽 및 바닥에 탈착식으로 부착되는 화재 경보기와; 가스를 감지하는 가스 센서부와; 온도별 스펙트럼의 열화상을 감지하는 적외선 온도 센서부와; 화재 발화의 영상 촬영과 촬영된 영상을 전송하는 네트워크 카메라부와; 상기 센서부 및 네트워크 카메라의 이상 감지 신호와 촬영 영상에 대한 정보를 수집 저장하고 수집된 정보를 사용자 입력에 의한 설정시간에 맞추어 실시간으로 지능형 휴대단말 및 상가 중앙 관제부로 전송하는 무선 송, 수신부와; 모니터링 어플리케이션이 설치된 지능형 휴대단말과; 상기 이상 감지 신호와 촬영영상 정보를 전송받아 카테고리별로 분류하여 룩업 테이블로 저장 관리하는 상가 중앙 관제부와; 상기 지능형 휴대단말의 어플리케이션 영상 표시부는 센서부에 측정된 현재 가스농도 및 온도가 표시되고 신고하기전화, 신고하기문자, 상태확인, 대피 및 행동요령 버튼이 구성된 것을 특징으로 한다.As a technical idea for achieving the present invention, in the image processing system of an intelligent portable terminal equipped with a monitoring control application for detecting and controlling an shopping mall fire of the present invention, the ceiling or wall and floor are detachable to remotely detect and control the mall fire. A fire alarm attached to the device; A gas sensor unit for sensing gas; An infrared temperature sensor unit for sensing a thermal image of a spectrum for each temperature; A network camera unit for taking images of fire ignition and transmitting the captured images; A wireless transmission and reception unit for collecting and storing information on an abnormality detection signal and a photographed image of the sensor unit and the network camera, and transmitting the collected information to an intelligent mobile terminal and a shopping center central control unit in real time according to a set time according to a user input; An intelligent mobile terminal installed with a monitoring application; A shopping center central control unit for receiving the abnormality detection signal and the photographed image information, classifying them by category, and storing and managing them in a lookup table; The application image display unit of the intelligent mobile terminal is characterized in that the current gas concentration and temperature measured by the sensor unit are displayed, and a call to report, a text to report to, status check, evacuation and action instructions buttons are configured.
상기 네트워크 카메라부는 DC 전원 공급부를 포함하되 구성하되, 초기 3분 동안만 타이머에 의해 DC 전원으로 구동하고 슬립모드로 자동 전환되도록 하며, 상기 타이머의 사용자 셋팅 설정시간이 설정되면, 시장 안의 사진을 30초 간격으로 주기별 촬영 데이터를 메모리부에 저장하고, 상기 메모리부는 미리 획득된 상가별 위치 정보와 매칭하여 매칭된 오버레이 정보를 기반으로 합성된 영상을 상기 지능형 휴대단말의 어플리케이션 영상 표시부에 표시되도록 하는 것을 특징으로 한다.The network camera unit includes but consists of a DC power supply unit, which is driven by DC power by a timer for only the initial 3 minutes and automatically switches to sleep mode. When the user setting setting time of the timer is set, the photos in the market are taken at 30 The photographing data for each period is stored in a memory unit at intervals of seconds, and the memory unit matches the previously obtained location information for each shopping mall to display the synthesized image based on the matched overlay information on the application image display unit of the intelligent mobile terminal. It features.
상기 어플리케이션 영상 표시부의 신고하기문자 버튼을 클릭할 경우, 화재장소의 시장 및 상가의 주소와 위치, 화재가 발생한 상가번호, 각 상가의 번호와 전화번호 및 휴대폰번호, 시장 및 상가의 배치도, 가스농도 및 온도, 화재 현장사진이 동시에 유관기관에 전송되어 신속한 화재 진압이 이루어지도록 안내하는 것을 특징으로 한다.When clicking the report text button of the application video display, the address and location of the market and the mall where the fire occurred, the mall number where the fire occurred, the number and phone number and mobile phone number of each mall, the layout of the market and mall, and gas concentration. And temperature and fire site photos are simultaneously transmitted to related organizations to guide the rapid fire suppression.
상기 어플리케이션 영상 표시부는 기 저장된 화재발생시 행동요령 포스터와 상가 전체 지도를 표시하고, 상기 포스터에는 각 대피로가 어디 있는지 골목의 특정 가게를 안내 표시하며, 화재 발생 상가의 번호 및 위치를 표시하여 신속하게 대피할 수 있는 대피로를 지시하는 인디케이터를 표시하는 것을 특징으로 한다.The application video display unit displays a pre-stored action poster and a map of the mall in case of a fire, and the poster guides and displays a specific store in the alley where each evacuation route is located, and displays the number and location of the mall where the fire occurred to quickly Characterized in that it displays an indicator indicating an evacuation route that can be evacuated.
상기 지능형 휴대단말에 구성된 분석 판단 2차 제어부는 화재 발생 내부에 피해자의 존재 여부를 검출하여 화재 발생 내부에 피해자가 있다고 판단하는 경우, 해당 영상의 프레임 내에 오디오 부분만을 필터링하여 확대한 후 현장의 개인 오디오를 통해 대피할 수 있도록 안내하는 것을 특징으로 한다.When the secondary control unit for analysis and determination configured in the intelligent mobile terminal detects the presence of the victim inside the fire and determines that there is a victim inside the fire, it filters only the audio part within the frame of the video and enlarges it, It is characterized by guiding evacuation through audio.
상기 지능형 휴대 단말에 구성된 노이즈 제거 유닛은 지능형 휴대 단말로 부터 화재 현장의 객체를 블록으로 클릭하여 클릭한 객체의 해당 피해자의 음성만을 추출하되, 화재 촬영 영상의 프레임들 내에 식별할 수 있는 위치 마커가 프레임들 안에 각각 표시되어 있어 지능형 휴대단말의 사용자 입력이 생성되면 선택 비디오 줌 제어 신호가 발생된 상기 위치 마커를 기초하여 해당 보이스의 피크값을 분석하여 디지털 노이즈 필터링을 하는 것을 특징으로 한다.The noise removal unit configured in the intelligent portable terminal extracts only the voice of the corresponding victim of the clicked object by clicking on the object at the fire scene from the intelligent portable terminal as a block, and a location marker that can be identified in the frames of the fire shooting image When a user input of an intelligent portable terminal is generated because each is displayed in frames, a peak value of a corresponding voice is analyzed based on the position marker from which a selected video zoom control signal is generated, and digital noise filtering is performed.
상기 지능형 휴대 단말에 구성된 영상 및 오디오 줌밍 제어부는 사용자가 선택하거나 클로즈업한(또는 초점을 맞춘) 객체의 위치와 크기에 자동으로 연동하여 그 객체의 위치에 지향성을 향하게 하거나 취음 범위를 최적화하여 관심 피사체의 오디오를 최적으로 취음하면서 촬영 또는 재생하도록 제어하는 것을 특징으로 한다.The image and audio zooming control unit configured in the intelligent portable terminal automatically interlocks with the position and size of an object selected or close-up (or focused) by the user to direct directivity to the position of the object or optimize the listening range to the subject of interest. It is characterized in that it controls to shoot or play while optimally taking the audio of the video.
본 발명은 모니터링 애플리케이션이 설치된 사용자 단말을 통해 원격으로 화재, 가스 등의 이상 신호 및 촬영 영상을 원격에서 쉽게 현장 파악이 가능하고, 사용자, 상가 위치 및 센서의 상태 정보를 함께 어플리케이션의 사용자 단말에서 화재 현장 맞춤형 영상 및 오디오를 원격 제어함으로써, 화재 시 안전하게 화재 피해자를 가이드하거나 가스 사고 시 대피경로 및 행동 요령을 어플리케이션으로 안내할 수 있어, 보다 효과적으로 화재 사고 처리 및 화재 구조에 적용할 수 있는 장점을 가진다.In the present invention, it is possible to easily identify abnormal signals and photographed images such as fire and gas remotely through a user terminal on which a monitoring application is installed, and the user terminal of the application together with information on the user, the location of the shopping mall, and the state of the sensor. By remotely controlling on-site video and audio, it is possible to safely guide fire victims in the event of a fire or to guide evacuation routes and actions to the application in case of a gas accident, so that it can be applied to fire accident handling and fire rescue more effectively. .
본 발명은 화재 현장의 가스 센서부 및 온도 센서부, 네트워크 카메라부의 데이터 정보와 영상을 통해 화재 사실과 화재 현장 상황을 정확하게 유관기관(소방서, 경찰서, 관공서) 등에 통지하여 신속한 화재진압 처리가 이루어지도록 함으로써, 화재의 확대를 방지하고 화재가 초기에 진압될수 있고, 화재의 초기 진압으로 인명피해 및 경제적 피해를 사전에 예방 하거나 최소한으로 방지하는 효과를 가진다.The present invention accurately informs related organizations (fire departments, police stations, government offices) of the fact of the fire and the situation of the fire through data information and images of a gas sensor unit, a temperature sensor unit, and a network camera unit at a fire site so that rapid fire suppression processing can be performed. By doing so, it has the effect of preventing the spread of fire and extinguishing the fire at an early stage, and preventing or minimizing personal injury and economic damage through the initial suppression of the fire.
본 발명은 영상 및 오디오 줌밍 제어부를 통해 입력 신호에 해당하는 영상의 프레임 위치에서 해당 프레임 내 비디오 영상과 음성을 추출 취음하고, 해당 비디오 줌밍 된 특정 개체의 영상 사운드를 취음하여 외부 지능형 휴대단말로 전송함으로써 화재 현장의 긴박한 상황의 영상이나 오디오를 실시간으로 제공받아 화재 대피유도 및 화재 지시를 효율적으로 제공할 수 있는 효과를 가진다.The present invention extracts and takes a video image and audio within a frame from a frame position of an image corresponding to an input signal through an image and audio zooming control unit, receives the image sound of a specific object zoomed in the corresponding video, and transmits it to an external intelligent mobile terminal. By doing so, it has the effect of efficiently providing fire evacuation guidance and fire instructions by receiving video or audio of the urgent situation at the fire site in real time.
도 1은 본 발명에 따른 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템의 전체 구성도
도 2는 본 발명에 따른 영상 처리 시스템의 화재 경보기에 대한 상세 구성도
도 3은 본 발명에 따른 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 구성도
도 4은 본 발명에 따른 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 및 오디오 줌밍의 어플리케이션 영상 표시부의 상세도1 is an overall configuration diagram of an image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a commercial fire according to the present invention
2 is a detailed configuration diagram of a fire alarm of an image processing system according to the present invention
3 is a block diagram of an intelligent portable terminal equipped with a monitoring application according to the present invention
4 is a detailed view of an application image display unit for video and audio zooming of an intelligent portable terminal equipped with a monitoring application according to the present invention;
이하에서는 본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면(도 1 내지 7)을 참조하면서 상세히 설명하기로 한다.Hereinafter, the configuration and operation of an embodiment of the present invention will be described in detail with reference to the accompanying drawings (FIGS. 1 to 7 ).
도 1은 본 발명에 따른 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템의 전체 구성도이다. 1 is an overall configuration diagram of an image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a commercial fire according to the present invention.
도 1의 영상 처리 시스템 구성은 화재 경보기(10), 지능형 휴대 단말(20), 상가 중앙 관제부(30), 유관기관(40)로 구성된다. The image processing system configuration of FIG. 1 includes a
도 1의 영상 처리 시스템의 화재 경보기(10)는 가스 센서부(10-1) 및 온도 센서부(10-2) 등 다수의 구성을 포함하고 있으며, 화재가 발생될 경우 화재 경보기(10)의 가스 센서부(10-1) 및 온도 센서부(10-2), 네트워크 카메라부(10-3) 등에서 화재가 감지되면 감지된 신호를 모니터링 어플리케이션이 탑재된 지능형 휴대 단말(20)에 전송하고, 동시에 상가 중앙관제부(30)에도 전송하여 지능형 휴대 단말(20)에 이상이 생겨 데이터 정보 및 영상 정보가 손실되더라도 상가 중앙관제부(30)에 저장된 정보를 활용할 수 있도록 듀얼모드로 구성된다. The
상기 지능형 휴대 단말(20)은 현장의 가스 센서부(10-1) 및 온도 센서부(10-2), 네트워크 카메라부(10-3)를 통해 화재에 대한 현장 상황을 확인하고 신속하게 유관기관(소방서, 경찰서, 관공서) 등에 화재 사실과 화재 현장 상황을 통지하여 신속한 처리가 이루어지도록 함으로써, 화재의 확대를 방지하고 화재가 초기에 진압될 수 있고, 화재의 초기 진압으로 인명피해 및 경제적 피해를 사전에 예방 하거나 최소한으로 방지하는 효과를 가진다.The intelligent
상기 지능형 휴대 단말(20)은 관리자가 사용하는 메인용 지능형 휴대단말과 다수의 서브용 지능형 휴대단말로 구성될 수 있고, 또는 메인용 지능형 휴대단말과 상가를 섹터별로 구분하여 다수의 서브용 섹터 지능형 휴대단말로 구성될 수 있으며, 다수의 서브용 지능형 휴대단말인 경우에는 각 상가마다 한 개씩 배치하여 상가 개별로 화재 예방을 위한 이상 감지 신호를 감시하게 되고, 섹터별로 구분하는 경우에는 상가 섹터별로 화재 예방을 위한 이상 감지 신호를 감시하게 된다. The intelligent
상기 상가 중앙 관제부(30)는 이상 감지 신호의 데이터나 실시간 촬영영상을 네트워크를 경유하여 전송받아 카테고리별로 분류하여 룩업 테이블로 저장 관리하며, 상기 상가 중앙 관제부(30)에서도 회원 가입 시 등록된 상가 번호와 패스워드를 통해 상가 주소 정보, 상가 번호, 상가주인 연락처의 사용자 프로파일을 메모리부에 기 저장되어 관리되고 화재시 이들의 정보를 활용하여 유관기관에 자동적 다이얼 접속을 수행하여 신고 전화를 할 수 있다. The shopping center
또한 상기 상가 중앙 관제부(30)는 외부 단말인 어플리케이션이 설치된 휴대 단말을 통해 등록자 인증 후 상호 IP 동기화를 수행하여 동기화 정보에 의한 휴대 단말의 공유(페어링)을 통해 원격 제어를 수행할 수 있다.In addition, the shopping center
도 2는 본 발명에 따른 영상 처리 시스템의 화재 경보기에 대한 상세 구성도이다.2 is a detailed configuration diagram of a fire alarm of the image processing system according to the present invention.
도 2의 화재경보기(10)의 전체 구성은 가스 센서부(10-1), 적외선 온도 센서부(10-2), 네트워크 카메라(10-3), 오디오 입력부(10-4), 카메라 틸팅 모션 제어부(10-5), 영상 및 오디오 줌밍부(10-6), 오디오 출력부(10-7), 이상 감지 신호 수집부(10-8), 1차 제어부(10-9), 무선 송수신부(10-10), DC 전원 공급부(10-11) 및 설정시간 타이머(10-12)로 구성된다.The overall configuration of the
상기 화재 경보기(10)는 천정에 고정 가스캣 위로 탈착할 수 있도록 탁찰식으로 고정하거나, 또는 이동식으로 하여 벽이나 바닥에 탈착식으로 부착하거나, 또는 스탠드 형으로 이동 가능하도록 하는 것을 특징으로 한다. The fire alarm (10) is characterized in that it is fixed to the ceiling in a tack-type so as to be detachable over a fixed gasket, or to be detachably attached to a wall or floor, or to be movable in a stand type.
상기 가스 센서부(10-1)는 화재 발생시 발생되는 가스(CO)의 농도를 감지하는 것으로, 감지 조건 범위는 70 ppm이상일 경우 PUSH 알림이 울리도록 구성된다.The gas sensor unit 10-1 detects the concentration of gas CO generated when a fire occurs, and is configured to sound a PUSH notification when the detection condition range is 70 ppm or more.
상기 적외선 온도 센서부(10-2)는 온도별 스펙트럼의 열화상을 감지하는 비접촉식 센서부로, 적외선 온도 센서부(10-2)의 온도의 범위는 40~175℃까지 주변온도 측정이 가능하고, 온도별 스펙트럼의 열화상 이미지를 분리하여 이들의 열화상 데이터를 무선 네트워크를 이용하여 지능형 휴대 단말(20) 및 중앙 관제부(30)로 전송하여 저장할 수 있으며, 상기 저장된 열화상 데이터는 데이터 목록 및 리스트로 분류하고 사용자의 편의를 위해 룩업 테이블로 저장하여 향후 휴대 단말(20)의 어플리케이션 영상 표시부(20-11)로 표시가 가능하고, 또한 100℃ 도가 넘어도 쉽게 불에 타지 않는 나일론 66, 폴리페닐 설파이드의 불연성 재료를 사용하며, 특정온도(70℃) 이상일 경우 상기 가스 센서부(10-1)와 동일하게 PUSH 알림이 울리도록 하는 특징이 있다.The infrared temperature sensor unit 10-2 is a non-contact type sensor unit that detects a thermal image of a spectrum for each temperature, and the temperature range of the infrared temperature sensor unit 10-2 is capable of measuring the ambient temperature from 40 to 175°C, By separating the thermal image of the spectrum for each temperature, the thermal image data of the thermal image data can be transmitted to and stored in the intelligent
상기 네트워크 카메라(10-3)는 실시간 감지 영상을 촬영하기 때문에 상시 전원부를 유선 접속하여 이용할 수 있는 AC 전원 공급부를 구성하되, 사용자가 화재 경보기(10)를 이동하여 특정한 장소에 탈착할 경우에는 DC 전원 공급부(10-11)를 이용하여 전원을 공급하여야하므로, AC전원 및 DC전원을 모두 사용 가능하도록 구성된다. Since the network camera 10-3 captures real-time detection images, the AC power supply unit can be used by wired connection to the power supply at all times. However, when the user moves the
상기 네트워크 카메라(10-3)는 평상시 AV 영상을 촬영하여 별도의 메모리부 기능이 있는 이상 감지 신호 수집부(10-8)를 통해 저장한 후, 촬영된 AV 영상을 모니터링 할 수 있으며, 화재 발생시 화재 발생 현장의 AV 영상을 촬영하고 이를 무선 네트워크를 경유하여 지능형 휴대 단말(20)이나 상가 중앙 관제부(30)에 전송하게 되며, 촬영된 AV 영상은 실시간으로 영상 및 캡쳐 이미지로 전송할 수 있으며, 특정 온도(예: 70℃)를 지정하여 그 온도를 넘어 이상을 감지하였을 경우 해당 순간의 온도와 주변 상황을 동시에 캡쳐하여 해당 사진을 어플리케이션이 장착된 지능형 휴대 단말(20) 및 상가 중앙 관제부(30)으로 전송하게 된다. The network camera 10-3 may take an AV image and store it through an abnormality detection signal collection unit 10-8 with a separate memory function, and then monitor the captured AV image. The AV video of the fire scene is captured and transmitted to the intelligent portable terminal 20 or the
상기 네트워크 카메라부(10-3)는 AC전원(컨버터 포함) 이외에 DC 전원을 사용하도록 전원을 공급하는 DC 전원 공급부(10-11)를 구성하는 것이 가능하고, 초기 3분 동안만 타이머에 의해 DC 전원으로 구동하고 슬립모드로 자동 전환되도록 하며, 상기 타이머의 사용자 셋팅 설정시간이 설정되면, 해당 반경에 있는 시장 안의 주변상황을 30초 간격으로 주기별 촬영 데이터를 이상 감지 신호 수집부(10-8)의 메모리부에 저장하는 것을 포함한다. The network camera unit 10-3 is capable of configuring a DC power supply unit 10-11 that supplies power to use DC power in addition to AC power (including a converter), and DC It is driven by power and automatically switches to sleep mode, and when the user setting setting time of the timer is set, the abnormality detection signal collection unit (10-8) detects the ambient conditions in the market within the radius at intervals of 30 seconds. ) And storing it in the memory unit.
상기 네트워크 카메라(10-3)은 셀 기지국과 같이 무선 안테나를 이용하여 IP 동기화 신호를 전송하여 원격의 휴대 단말(20)의 외부기기 동기화부(20-2)와 동기화되고, 동기화 후 휴대 단말(20)의 방향 키패드를 이용하거나 터치 모듈을 이용하여 카메라 틸팅 모션 제어부(10-5)를 제어하여 상기 네트워크 카메라(10-3)의 회전각도 및 회전방향을 조절하여 촬영하고자 하는 방향으로 조절하는 것이 가능하고, 또한 네트워크 카메라(10-3)의 촬영 방향을 조절할 때, 영상 및 오디오 줌밍부(10-6)를 이용하여 사용자가 원하는 촬영 영상을 확대하거나 감소하는 것이 가능하다. The network camera 10-3 is synchronized with the external device synchronization unit 20-2 of the remote
상기 네트워크 카메라부(10-3)는 상기 가스 센서부(10-1) 및 적외선 온도 센서부(10-2)에서 이상 감지 신호가 감지되면 촬영 영상을 촬영한 후 지능형 휴대 단말(20) 및 상가 중앙 관제부(30)로 전송하게 되며, 이상 감지 신호 수집부(10-8)의 메모리부는 미리 획득된 상가별 위치 정보를 저장하고 있으므로 화재 감지 신호를 상가별 위치 정보와 매칭하여 상기 매칭된 오버레이 정보를 기반으로 합성된 영상(상가 위치 및 이상 감지 신호)을 상기 지능형 휴대 단말(20)의 어플리케이션 영상 표시부(20-11)에 표시되도록 하여 화재진압이 신속하게 처리되도록 하여 인명피해 및 경제적인 피해가 최소화 되도록 하는 효과가 있다.When an abnormality detection signal is detected by the gas sensor unit 10-1 and the infrared temperature sensor unit 10-2, the network camera unit 10-3 captures a photographed image, and the intelligent portable terminal 20 and the shopping mall It is transmitted to the
상기 이상 감지 신호의 기준은 가스(CO)농도가 70 ppm이상 이거나, 온도가 70℃이상인 경우를 의미한다. The criterion of the abnormality detection signal means that the gas (CO) concentration is 70 ppm or more or the temperature is 70°C or more.
상기 오디오 입력부(10-4)는 고성능 마이크, 지향성 마이크, 거리 센서를 포함하는 다수의 마이크로 구성할 수 있고, 다수의 지향성 마이크에 의해 취음된 사운드(소리 및 목소리)를 별도로 구성된 저장부에 저장하는 것도 가능하며, 화재 발생 시 상가 내의 피해자가 있는 상황인 경우에는 피해자의 음성을 인식하여 정밀하게 검출하기 위해 피해자의 음성 소스원의 거리와 방향 위치를 사용하여 영상 및 오디오 줌밍부(10-6)를 통해 오디오 줌밍을 수행할 수 있다. The audio input unit 10-4 may be composed of a plurality of microphones including a high-performance microphone, a directional microphone, and a distance sensor, and stores sounds (sounds and voices) taken by the plurality of directional microphones in a separately configured storage unit. It is also possible, and in the event of a fire, in the case of a victim in the mall, the video and audio zooming unit (10-6) uses the distance and direction of the victim's voice source to accurately detect the victim's voice. Audio zooming can be performed through.
상기 카메라 틸팅 모션 제어부(10-5)는 상기 오디오 입력부(10-4)에서 오디오 줌밍 신호가 발생한 경우에 오디오 줌밍 신호를 1차 제어부(10-9)에 전송하고 1차 제어부(10-9)는 동시에 카메라 틸팅 각도를 변경하여 네트워크 카메라의 모션을 피해자의 음성이 발생한 방향으로 회전하는 것이 가능하며, 상기 틸팅 각도는 줌밍 신호의 확대 배율과 대응하여 60도 간격으로 6단계로 분류된다. The camera tilting motion control unit 10-5 transmits the audio zooming signal to the primary control unit 10-9 when the audio zooming signal is generated from the audio input unit 10-4, and the primary control unit 10-9 At the same time, it is possible to rotate the motion of the network camera in the direction in which the victim's voice is generated by changing the camera tilting angle, and the tilting angle is classified into six steps at intervals of 60 degrees corresponding to the magnification of the zooming signal.
상기 카메라 틸팅 모션 제어부(10-5)는 상기 피해자의 안전을 위해 화재 현장에 대해 실시간 또는 주기적인 영상 및 소리, 또는 실시간 또는 주기적으로 영상 및 오디오 줌밍부에 저장된 영상 및 소리를 상가 중앙 관제부(30) 및 지능형 휴대 단말(20)의 관리자(사용자)에게 실시간으로 전송하여 화재진압 및 피해자 구출을 신속하게 처리하도록 한다. For the safety of the victim, the camera tilting motion control unit 10-5 transmits real-time or periodic video and sound, or video and sound stored in the video and audio zooming unit in real-time or periodically for the safety of the victim. 30) and the manager (user) of the intelligent portable terminal 20 to promptly process fire suppression and victim rescue by transmitting in real time.
상기 영상 및 오디오 줌밍부(10-6)는 화재 발생 현장에서 촬영된 AV 영상보다 세밀한 AV 영상을 얻기 위해 구성된 것으로, 파이어 모니터링 제어 어플리케이션이 탑재된 지능형 휴대 단말(20)에 의해 사용자 식별자 ID나 패스워드의 인증절차를 통해 접속된 사용자의 방향 키패드 조정에 따른 원격 제어를 통해 AV 영상을 확대하거나 축소하는 것이 가능하다The video and audio zooming unit 10-6 is configured to obtain an AV video that is more detailed than the AV video captured at the fire site, and is configured to obtain a user identifier ID or password by the intelligent portable terminal 20 equipped with a fire monitoring control application. It is possible to enlarge or reduce the AV video through remote control according to the user's directional keypad adjustment through the authentication procedure of
상기 영상 및 오디오 줌밍부(10-6)는 지향성 마이크, 거리 센서가 조합된 객체 지향성 오디오 검출을 수행하여 지능형 휴대단말(20)이나 상가 중앙 관제부(30)에서 화재 현장 내부에 피해자의 비디오 영상 내의 프레임으로부터 해당 위치의 개인적 오디오를 줌밍하여 피해자의 객체 지향성 오디오를 검출 출력하여 인터렉티브 오디오를 출력 교환할 수 있다. The video and audio zooming unit 10-6 performs object-oriented audio detection in which a directional microphone and a distance sensor are combined, and the video image of the victim inside the fire site in the intelligent portable terminal 20 or the shopping center
상기 오디오 출력부(10-7)는 오디오 입력부(10-4)에서 입력되는 소리를 재생하거나, 상기 중앙 관제부(30) 및 지능형 휴대 단말(20)에서 전송하는 지시 또는 통지 사항에 대한 음성 출력(방송)과, 화재대피 및 비상대피에 대한 안내 방송을 수행하는 것이 가능하다. The audio output unit 10-7 reproduces the sound input from the audio input unit 10-4, or outputs a voice for an instruction or notification transmitted from the
상기 이상 감지 신호 수집부(10-8)는 가스 센서부(10-1) 및 적외선 온도 센서부(10-2)의 센싱과 별도로 영상 사진, 동영상을 별도로 저장할 수 있고, 전송 편의를 위해 가스 센서부(10-1) 및 적외선 온도 센서부(10-2)에서 감지되는 가스 및 온도에 대한 이상감지 신호 데이터와 실시간 촬영, 슬립모드 촬영의 데이터를 분류 소팅하여 카테고리별 신호 데이터를 휴대 단말(20)에 전송할 수 있고, 센싱값과 영상 사진 및 동영상의 데이터를 저장 관리하기 위하여 Tera급 메모리 카드, sd, 외부서버 등을 대용량 저장장치를 구성하여 저장할 수 있다.The abnormality detection signal collection unit 10-8 may separately store image photos and videos separately from the sensing of the gas sensor unit 10-1 and the infrared temperature sensor unit 10-2, and a gas sensor for convenience of transmission. Anomaly detection signal data for gas and temperature detected by the unit 10-1 and the infrared temperature sensor unit 10-2, real-time shooting, and sleep mode shooting data are classified and sorted to sort the signal data for each category into the mobile terminal 20 ), and in order to store and manage sensing values and data of images and videos, a Tera class memory card, sd, external server, etc. can be configured and stored in a mass storage device.
상기 1차 제어부(10-9)는 가스 센서부(10-1) 및 적외선 온도 센서부(10-2)의감지된 신호 데이터를 별도 구성된 저장부에 데이터베이스로 저장하고, 화재 방생시 화재 발화를 분석하여 화재진압을 위한 유관기관에 화재정보를 네트워크를 통해 휴대 단말(20) 및 상가 중앙 관제부(30)로 전송하되, 유관기관으로 SMS 통지를 수행하여 화재 사고 처리를 신속하게 수행하도록 하는 것이 가능하다. The primary control unit 10-9 stores the signal data detected by the gas sensor unit 10-1 and the infrared temperature sensor unit 10-2 as a database in a separate storage unit, and prevents fire ignition when a fire is generated. Analyzes and transmits fire information to the relevant organizations for fire suppression through the network to the
상기 무선 송, 수신부(10-10)는 근거리 통신 모듈, wifi, 인터넷 프로토콜의 통신 네트워크를 이용하여 휴대 단말(20)이나 상가 중앙 관제부(30)에서 원격 제어를 할 수 있다.The wireless transmission/reception unit 10-10 may perform remote control from the
상기 무선 송,수신부(10-10)는 상기 가스 센서부(10-1), 적외선 센서부(10-2) 및 네트워크 카메라(10-3)의 이상 감지 신호와 촬영 영상을 저장 수집하고, 사용자 입력에 의해 설정된 설정시간 타이머(10-12)에 맞추어 이상 감지 신호와 촬영 영상에 대한 정보 데이터를 지능형 휴대 단말(20) 및 상가 중앙 관제부(30)에 근거리 통신(NFC), 와이파이, 인터넷의 무선 네트워크를 통해 전송하게 되고, 또한 무선 송,수신부(10-10)는 무선 인터페이스로써, 근거리 통신(NFC), 와이파이, 인터넷의 무선 네트워크를 통해 원격 제어하는 것이 가능하다.The wireless transmission/reception unit 10-10 stores and collects abnormality detection signals and photographed images from the gas sensor unit 10-1, the infrared sensor unit 10-2, and the network camera 10-3, and In accordance with the set time timer (10-12) set by the input, the abnormality detection signal and information data on the captured image are transmitted to the intelligent portable terminal 20 and the shopping center
상기 DC 전원 공급부(10-11)는 화재경보기(10)에 전원을 공급해주 장치로 화재경보기(10) 내부에 설치되어 있으며, DC 전원은 리튬 이온 대용량 뱃터리를 화재 경보기(10)의 후면부에 가이드를 형성하여 슬립형으로 장착할 수 있도록 구성되고, 화재경보기(10)에 사용되는 전원은 AC전원 및 DC전원 모두 사용할 수 있도록 별도 장치로 구성되어 있다. The DC power supply (10-11) is a device that supplies power to the fire alarm (10) and is installed inside the fire alarm (10), and the DC power supplies a lithium ion large-capacity battery to the rear of the fire alarm (10). The guide is formed to be mounted in a slip type, and the power used for the
상기 설정시간 타이머(10-12)는 상기 네트워크 카메라부(10-3)가 촬영하는 시간을 실시간 또는 일정시간(30분)마다 찍어 어플리케이션의 상태를 확인할 수 있도록 카메라의 촬영 시간을 조절하는 것이 가능하다. The set time timer (10-12) is capable of adjusting the shooting time of the camera so as to check the status of the application by taking the time taken by the network camera unit 10-3 in real time or at a predetermined time (30 minutes). Do.
도 3은 본 발명에 따른 파이어 모니터링 제어 어플리케이션이 탑재된 지능형 휴대 단말의 구성도이다. 3 is a block diagram of an intelligent portable terminal equipped with a fire monitoring control application according to the present invention.
도 3의 지능형 휴대 단말(20)의 세부 구성도는 무선 송수신부(20-1), 외부기기 동기화부(20-2), 권한자 식별부(20-3), 어플리케이션 자동 실행부(20-4), 데이터 분류 저장부(20-5), 분석 판단 2차 제어부(20-6), 영상 및 오디오 줌밍 제어부(20-7), 현장 맞춤형 영상 및 오디오 신호 처리 부(20-8), 현장 맞춤형 영상 및 오디오 출력부(20-9), 원격 제어부(20-10), 어플리케이션 영상 표시부(20-11), 상가별 위치 정보(20-12), 상가 업데이트부(20-13)으로 각각 구성된다. The detailed configuration diagram of the intelligent
상기 무선 송수신부(20-1)는 화재 경보기(10)로부터 전송된 촬영 영상, 가스 이상 감지 신호, 화재 촬영 영상, 열화상 스펙트럼 데이터들을 송수신 하는 역할을 수행하며, 또한 무선 송수신부(20-1)는 원격에서 화재 경보기(10)와 동기화 되어 카메라 틸팅에 관한 제어 신호와, 상가 중앙 관제부(30) 및 지능형 휴대 단말(20)의 관리자에게 화재 발생에 대한 대피 안내 음성(방송) 신호를 전송하는 역할을 수행한다.The wireless transmission/reception unit 20-1 serves to transmit and receive the photographed image, gas abnormality detection signal, fire photographing image, and thermal image spectrum data transmitted from the
상기 외부기기 동기화부(20-2)는 화재 발생에 따른 대피 안내를 할 수 있도록 외부 단말기기와 상호 공유할 수 있는 구성으로 상가 중앙 관제부(30)와 지능형 휴대 단말(20)간의 공유하는 것도 가능하고, 타 관리자의 외부기기와의 공유하는 것도 가능하며, 화재 발생 사고에서 인접한 상가 사람이라면 누구든지 인증절차 후 파이어 모니터링 제어 어플리케이션이 설치된 휴대 단말(20)을 이용하여 피해자의 신속한 대피 안내가 가능하도록 관련 정보를 공유하고 제공받는 것이 가능하다. The external device synchronization unit 20-2 is a configuration that can be shared with an external terminal device so as to guide evacuation in case of a fire, and it is also possible to share between the shopping center
상기 권한자 식별부(20-3)는 외부 기기와 동기화를 구성할 때 외부기기 동기화부(20-2)에 의해 접속된 단말인 경우, 인증 절차를 받기 위한 권한자 식별부의 구성을 가지며. 이때, 상기 권한자 식별부는 식별자 아이디, 패스워드를 통해 접속이 가능하고, 권한자 식별부는 부가적으로 메모리부를 더 추가하여 등록 관리할 수 있다.When the authorized person identification unit 20-3 is a terminal connected by the external device synchronization unit 20-2 when configuring synchronization with an external device, the authorized person identification unit has a configuration for receiving an authentication procedure. In this case, the authority identification unit may be accessed through an identifier ID and password, and the authority identification unit may additionally add a memory unit to be registered and managed.
상기 어플리케이션 자동 실행부(20-4)는 파이어 모니터링 제어 어플리케이션이 설치된 지능형 휴대 단말(20)의 어플리케이션을 자동 실행함으로써, 로그인 화면, 회원가입, 주소정보, 상가번호, 비밀번호를 표시하고, 사용자 입력으로 식별자 정보를 입력받아 지능형 휴대 단말(20)에 구성된 메모리부에 저장 관리하고, 인증에 관한 시장 상인의 개인 정보화 등록 및 저장에 의해 상가이름, 상가번호, 패스워드, 상가주소, 상가 전화번호 및 휴대폰번호, 소화기 위치의 정보들이 상기 어플리케이션 자동 실행 시 요구되어진다.The application automatic execution unit 20-4 automatically executes the application of the intelligent portable terminal 20 on which the fire monitoring control application is installed, thereby displaying a login screen, membership registration, address information, shopping street number, and password, and as a user input. The identifier information is received and stored and managed in the memory unit configured in the intelligent portable terminal 20, and the market name, the mall number, the password, the mall address, the mall phone number and the mobile phone number are stored by registering and storing the personal information of the market merchant for authentication. , Information on the location of the fire extinguisher is required when the application is automatically executed.
상기 데이터 분류 저장부(20-5)는 화재 경보기(10)에 의해 감지된 가스, 촬영 영상(AV 포함), 열화상 스펙트럼의 신호 데이터를 전송받아 상기 데이터 분류 저장부(20-5)에 저장 등록하고, 이들의 신호 종류에 따라 리스트로 구성할 수 있고, 룩업 테이블로 테이블화하여 분류되어 소팅 저장할 수 있으며, 이는 평상시 모니터링 수행 시 데이터의 종류별로 관리자가 쉽게 인지하여 관리 할 수 있어 편리한 장점을 가진다. The data classification storage unit 20-5 receives signal data of gas, photographed images (including AV), and thermal image spectrum detected by the
상기 분석 판단 2차 제어부(20-6)은 화재 경보기(10)의 이상감지 신호를 1차적으로 제어하는 1차 제어부(10-9)와 별도로 파이어 모니터링 제어 어플리케이션이 설치된 지능형 휴대 단말(20)내에 구성하되, 상기 분석 판단 2차 제어부(20-6)는 현재 날짜 시각으로 가스(일산화탄소)의 양과 상가의 온도 및 열화상 스펙트럼의 화상분석을 판단하여 사용자가 파이어 모니터링 제어 어플리케이션이 설치된 휴대 단말(20)을 이용하여 원격제어를 수행하거나 이상감지 신호로부터 대응되는 상태 확인 결과에 의해 대피경로, 소화설비 및 소화기 위치를 표시하여 제공하거나 신고 전화, SMS 메시지 전송을 수행하도록 지시 제어하는 역할을 수행한다. The analysis determination secondary control unit 20-6 is in the intelligent portable terminal 20 in which the fire monitoring control application is installed separately from the primary control unit 10-9 that primarily controls the abnormality detection signal of the
상기 영상 및 오디오 줌밍 제어부(20-7)는 도 4의 파이어 모니터링 제어 어플리케이션이 탑재된 지능형 휴대 단말의 영상 및 오디오 줌밍의 어플리케이션 영상 표시부(20-11)와 함께 설명하면, 지능형 휴대 단말(20)이 화재 진압을 위한 관리자의 단말이거나 상가 중앙 관제부일 경우, 사용자가 선택하거나 클로즈업한(또는 초점을 맞춘) 객체의 위치와 크기에 자동으로 연동하여 그 객체의 위치에 지향성을 향하게 하거나 취음 범위를 최적화하여 관심 피사체의 오디오를 최적으로 취음하면서 촬영 또는 재생하도록 제어할 수 있으며, 화재 현장의 영상 및 오디오 줌밍 영상을 확대 또는 축소할 수 있다. The video and audio zooming control unit 20-7 will be described together with the video and audio zooming application image display unit 20-11 of the intelligent mobile terminal equipped with the fire monitoring control application of FIG. 4, the intelligent mobile terminal 20 In the case of the administrator's terminal for extinguishing this fire or the central control department of a shopping mall, the location and size of the object selected or close-up (or focused) are automatically linked to the location of the object, or the listening range is optimized. Accordingly, it is possible to control the recording or playback while taking the audio of the subject of interest optimally, and enlarge or reduce the image of the fire site and the audio zooming image.
또한 상기 지능형 휴대 단말(20)에는 특정 객체를 촬영할 수 있도록 객체인식이 가능한 얼굴 검출부와 타겟 대상이 되는 피해자의 얼굴인식 정보를 메모리부를 더 추가하여 등록 관리하거나 기존에 구성된 데이터 분류 저장부(20-5)를 이용하여 저장할 수도 있다. In addition, the intelligent portable terminal 20 further registers and manages a face detection unit capable of recognizing an object so that a specific object can be photographed and a memory unit for face recognition information of a target target, or a previously configured data classification storage unit 20- It can also be saved using 5).
또한, 네트워크 카메라(10-3)의 촬영 모드에서 다수의 마이크들에 의해 취음된 오디오 정보는 영상정보와 합성된 후 압축되어 메모리에 저장되고, 재생모드에서 저장영상은 다시 오디오 정보와 영상정보로 분리되어 어플리케이션 영상표시부(20-11) 및 현장 맞춤형 영상 및 오디오 출력부(20-9)를 통해 출력되도록 구성한다. In addition, in the shooting mode of the network camera 10-3, audio information taken by a plurality of microphones is synthesized with image information and then compressed and stored in the memory. In the playback mode, the stored image is converted back to audio information and image information. It is configured to be separated and output through the application video display unit 20-11 and the field-customized video and audio output unit 20-9.
따라서, 네트워크 카메라(10-3)의 촬영 또는 재생 모드에서는 다수의 마이크들에 의해 취음된 오디오 정보는 직접 오디오 줌잉 기술을 적용한 후 동영상 포멧으로 압축하여 저장하고, 네트워크 카메라 재생모드에서는 상기 분리된 오디오 정보에 오디오 줌잉 기술을 적용할 수 있다. Therefore, in the shooting or playback mode of the network camera 10-3, audio information taken by a plurality of microphones is compressed and stored in a video format after direct audio zooming technology is applied, and the separated audio is stored in the network camera playback mode. Audio zooming technology can be applied to information.
상기 현장 맞춤형 영상 및 오디오 신호 처리부(20-8)은 영상 촬영 시 다수의 마이크로 구성된 오디오 입력부(10-4)들에 의해 취음된 오디오 정보는 빔포밍 및 노이즈 제거의 오디오 줌잉 기술이 적용된 후 네트워크 카메라(10-3)에 의해 촬영된 영상정보와 합성하게 되고, 상기 합성되어 생성된 촬영 영상은 소정의 포멧으로 압축된 후 메모리에 저장되도록 하며, 이 때 상기 메모리는 데이터 분류 저장부(20-5)에 저장하거나 별도의 메모리부를 더 구성할 수 있다. The field-customized video and audio signal processing unit 20-8 is a network camera after the audio information received by the audio input units 10-4 composed of a plurality of microphones is applied after the audio zooming technology of beamforming and noise removal is applied. The image information captured by (10-3) is synthesized, and the synthesized image is compressed in a predetermined format and then stored in a memory. ) Or a separate memory unit can be further configured.
상기 현장 맞춤형 영상 및 오디오 신호 처리부(20-8)는 도 4와 같이 빔포밍을 처리하며, 오디오 입력부의 취음 범위 및 위치에 따라 적응적으로 사운드 빔을 형성하여 지향성을 생성하는 부분으로 노이즈 제거를 수행하는 노이즈 제거 유닛과 함께 구성할 수 있다. The field-customized video and audio signal processing unit 20-8 processes beamforming as shown in FIG. 4, and forms a sound beam adaptively according to the listening range and position of the audio input unit to generate directivity. It can be configured with a noise removal unit to perform.
상기 노이즈 제거 유닛은 화재 현장의 피해자의 음성과 함께 다른 오디오 소스를 제거하기 위한 목적으로 사용되며, 지능형 휴대 단말(20)로부터 화재 현장의 객체를 블록으로 클릭하여 클릭한 객체의 해당 피해자의 음성만을 추출하고 나머지의 음성은 노이즈로 판단하여 필터링하는 음성 필터의 역할을 수행하도록 구성한다. The noise removal unit is used for the purpose of removing the voice of the victim at the fire site and other audio sources, and by clicking the object at the fire site as a block from the intelligent portable terminal 20, only the voice of the victim of the clicked object is It is configured to perform the role of a voice filter that extracts and filters the remaining voices as noise.
또한 상기 피해자의 음성 보이스는 전송된 화재 촬영 영상의 프레임들 내에 식별할 수 있는 위치 마커가 프레임들 안에 각각 표시되어 있고, 지능형 휴대 단말(20)의 사용자 입력이 생성되면, 선택 비디오 줌 제어 신호가 발생된 상기 위치 마커를 기초하여 해당 보이스의 피크값을 분석하여 디지털 노이즈 필터링을 수행하도록 한다. In addition, the voice voice of the victim is marked with an identifiable location marker in the frames of the transmitted fire photographing image, and when a user input of the intelligent portable terminal 20 is generated, a selected video zoom control signal is Digital noise filtering is performed by analyzing a peak value of a corresponding voice based on the generated position marker.
상기 현장 맞춤형 영상 및 오디오 신호 처리부(20-8)는 화재 촬영 영상의 실시간 영상 및 오디오를 처리하는 역할을 수행하는 구성으로, 선택 오디오 줌밍과 선택 비디오 줌밍 버튼의 사용자 입력을 수신 받아 영상 및 오디오의 신호처리를 사용자가 원하는 대상과 연관된 신호처리를 수행하며, 화재 현장의 피해자들이 다수인 경우, 전송받은 실시간 영상으로부터 우선순위 객체 블록을 사용자가 선택할 수 있다. 이때, 선택받은 객체 블록은 현장 맞춤형 영상 및 오디오 신호 처리부(20-8)에 의해 오디오 또는 영상만을 선택하여 신호처리 할 수 있다. The on-site customized video and audio signal processing unit 20-8 is a component that performs a role of processing real-time video and audio of a fire shot image, and receives a user input of a selection audio zooming and a selection video zooming button to convert the video and audio. Signal processing performs signal processing associated with a target desired by the user, and when there are multiple victims at the fire site, the user can select a priority object block from the received real-time image. In this case, the selected object block may be processed by selecting only audio or video by the field-customized video and audio signal processing unit 20-8.
상기 원격 제어부(20-10)는 지능형 휴대 단말(20)내에 네트워크 카메라의 모션 이동(움직임)에 관한 카메라 틸팅 모션 제어를 가능하게 하고, 영상 및 오디오 줌밍, 오디오 출력의 레벨 증가 및 다른 외부기기와의 페어링(공유)을 원격 수행하여 제어 할 수 있다. 상기 다른 외부기기의 휴대 단말 간의 페어링을 수행 시 긴급한 상황을 고려하여 긴급 퀵 페어링 정보를 지능형 단말(20)에서 다른 외부기기로 전송하면, 자동적으로 바로 승인할 수 있도록 식별자 퀵 정보를 상가 사용자(상가주인)게 미리 수신 받아 메모리부에 기저장하도록 구성한다. The remote control unit 20-10 enables camera tilting motion control regarding motion movement (movement) of the network camera in the intelligent portable terminal 20, zooming video and audio, increasing the level of audio output, and connecting with other external devices. It can be controlled by performing remote pairing (sharing). When performing the pairing between the portable terminals of the other external devices, if emergency quick pairing information is transmitted from the
상기 원격 제어부(20-10)는 평상시 파이어 모니터링 제어 어플리케이션이 설치된 상가 중앙 관제부(30)에서도 모니터링을 수행할 수 있도록 인증식별 정보, 촬영 영상 수신, 가스 감지 정보, 화재 발생 시 열화상 스펙트럼 정보를 수신 저장할 수 있고, 화재가 발생한 경우에는 상기 중앙 관제부(30)에 의해 원격 제어부(20-10)의 구성을 통해 원격에서 네트워크 카메라의 모션이동과 이상 감지 정보들을 실시간으로 분석 판단할 수도 있게 구성할 수 있다.The remote control unit 20-10 provides authentication identification information, photographed image reception, gas detection information, and thermal image spectrum information in case of fire so that monitoring can also be performed in the shopping center
상기 어플리케이션 영상 표시부(20-11)는 파이어 모니터링 제어 어플리케이션이 탑재된 지능형 휴대 단말(20)의 디스플레이부에 관한 것으로, 어플리케이션 설치 후 상기 어플리케이션 영상 표시부에는 스마트 화재 알리미의 표시판, 신고하기 전화, 신고하기 문자, 상태 확인, 대피 경로, 소화설비 및 소화기 위치, 시장 전체의 블록단위 구역으로 코드번호 표시, 어플리케이션의 상태 동작 표시 처리로 구성하되, 더욱 상세하게는 표 1의 지능형 휴대 단말(20)의 어플리케이션 영상 표시부(20-11) 상에 스마트 화재 알리미 표시판으로 표시될 수 있다. The application image display unit 20-11 relates to a display unit of an intelligent portable terminal 20 equipped with a fire monitoring control application, and after installation of the application, the application image display unit includes a display board of a smart fire alert, a call to report, and a report. Text, status check, evacuation route, fire extinguishing equipment and fire extinguisher location, code number display in block unit area across the market, and application status operation display processing, but more specifically, the application of the intelligent portable terminal 20 shown in Table 1 It may be displayed as a smart fire alert display panel on the image display unit 20-11.
[표 1. 스마트 화재 알리미 표시판 실시예][Table 1. Examples of Smart Fire Alert Display Board]
[표 2. 어플리케이션 영상표시부의 상태확인 영상 표시 실시예][Table 2. Example of displaying the status check image of the application video display]
표 2와 같이, 상기 상태 확인 버튼은 한번 누르면 시장 전체 공동 대피 경로를 화살표 및 점멸표시로 알려줌 기능을 수행하고, 두번 누르면 자기 상가 위치에서 가장 가까운 대피경로의 알려줌 기능을 수행하며, 세번 누르면 자기 현재 위치한 장소에서 가장 가까운 대피로의 알려줌 기능들이 포함되게 구성되고, 상가번호를 입력하는 경우에는 해당 상가의 현재 상태가 표시되도록 하는 것이 가능하며, 현재 상태 표시에는 기스농도 및 온도값과 주변 상황이 촬영된 영상이 동시에 보이도록 하여 실시간으로 현장 상태 변화를 모니터링 할 수 있다. As shown in Table 2, when the status check button is pressed once, it performs a function to notify the entire market common evacuation route with arrows and flashing indicators, when pressed twice, it performs a function to notify the nearest evacuation route from the self-market location, and when pressed three times, It is configured to include functions to notify the nearest evacuation route from the location where it is located, and when entering the mall number, it is possible to display the current status of the mall, and the gas concentration and temperature values and surrounding conditions are photographed in the current status display. It is possible to monitor changes in site conditions in real time by allowing the displayed images to be viewed at the same time.
상기 어플리케이션 영상 표시부(20-11)에는 화재경보기(10)의 각 센서부에서 가스농도 및 온도값에 대하여 실시간 또는 5초에 한 번씩 측정되어 지능형 휴대 단말(20)의 메모리부에 전송되면 메모리부에서는 최근에 자동 업데이트된 값을 어플리케이션 메인화면에 표시되고, 아이콘으로 정상, 이상 및 화재의 단계와 함께 상기 가스 농도 및 온도값을 표시하게 되며, 상기 가스 농도 및 온도값은 일정시간마다 날짜와 시간별로 업데이트된 데이터 값을 저장목록에 저장하게 되고, 저장 목록에 나와 있는 이상감지 정보의 데이터를 사용자가 클릭 선택하면 그 시간의 사진과 함께 가수 농도 및 온도값을 생성하여 영상 표시부(20-11)에 표시하도록 구성된다. In the application image display unit 20-11, the gas concentration and temperature values are measured in real time by each sensor unit of the
상기 어플리케이션 영상 표시부(20-11)의 신고하기 버튼 클릭시 화재 경보기(10)로 부터 전송되는 화재 영상, 이상 감지 신호를 분석하여 유관기관(40)으로 자동 신고 전화를 연결하게 되고, 상기 신고하기 문자 버튼 클릭시 유관기관에 화재 현장 주소 및 위치, 상가번호, 상가별 위치, 상가주인 연락처, 화재현장 사진, 가스농도 및 온도를 자동 전송하여 사고처리 시 유용한 정보를 제공하여 신속한 화재 진압이 이루어지도록 구성된다.When the report button of the application video display unit 20-11 is clicked, the fire video transmitted from the
상기 어플리케이션 영상 표시부(20-11)의 대피경로 및 행동요령 버튼을 누르면, 화재발생시 행동요령 포스터와 상가 전체 지도가 표시되고, 상기 포스터에는 각 대피로가 어디 있는지 골목의 특정 가게를 안내 표시되며, 상가 전체에 대한 소화설비 및 소화기 위치가 안내 표시되어 필요시 경미한 화재는 즉석에서 소화기를 이용하여 진화할 수 있도록 구성되고, 화재 규모 크게 발생하여 소화기 사용이 어려울 경우에는 신속히 대피할 수 있는 대피로를 안내하는 인디케이터를 표시하도록 구성된다.When the evacuation route and action button of the application video display unit 20-11 is pressed, an action poster and an entire shopping street map are displayed in the event of a fire, and the poster guides a specific store in the alley where each evacuation route is located, Fire extinguishing facilities and locations of fire extinguishers for the entire shopping mall are guided, so that minor fires can be extinguished immediately using fire extinguishers, if necessary, and if it is difficult to use a fire extinguisher due to a large fire, an evacuation route that can be quickly evacuated. It is configured to display a guiding indicator.
상기 지능형 휴대 단말(20)이 각 상가마다 1대씩 분배되어 배치된 서브 지능형 휴대단말에 해당되고 각 상가마다 휴대폰에 어플리테이션을 등록 설치 한 경우에, 휴대폰의 어플리케이션을 실행하면 어플리케이션을 실행한 해당 상가의 가스농도, 온도, 상가를 촬영한 영상이 어플리케이션 영상 표시부(20-11)에 표시되고, 다른 상가번호를 입력하며 해당 상가의 가스농도, 온도는 표시되지만 상가를 촬영한 영상은 개인보호 차원에서 보이지 않토록 구성되고, 관리자가 주관하는 메인지능형 휴대단말인 경우에는 모든 상가의 가스농도, 온도, 상가를 촬영한 영상을 모두 볼 수 있도록 구성한다.In the case where the intelligent mobile terminal 20 corresponds to a sub-intelligent mobile terminal distributed and arranged by one for each shopping street, and an application is registered and installed in the mobile phone for each shopping street, the corresponding shopping center that executed the application when the mobile phone application is executed The image of the gas concentration, temperature, and shopping center of the city is displayed on the application video display unit 20-11, and another store number is entered, and the gas concentration and temperature of the store are displayed. In the case of a main intelligent portable terminal that is configured to be invisible and supervised by a manager, the gas concentration, temperature, and images of all shopping centers can be viewed.
상기 지능형 휴대 단말(20) 중, 어느 한 대에 이상 감지 신호가 발생한 경우에는, 비상방재 신호와 함께 모든 지능형 휴대단말(20)에 이상 감지 신호가 발생한 상가의 상가번호와 위치, 가스농도, 온도, 상가를 촬영한 영상, 소방시설 및 소화기 배치장소, 대피로가 동시에 표시되어, 경미한 화재인 경우 이웃 상가에서 협동하여 조기에 진화하고, 커다란 화재인 경우에는 신속하게 대피할수 있도록 구성된다. When an abnormality detection signal occurs in any one of the intelligent
상기 상가별 위치정보(20-12)는 화재 발생시 지능형 휴대 단말(20)의 어플리케이션에 신고하기 문자의 기능을 통해 유관기관에 관련정보를 통보할 경우, 화재장소의 상가 주소 및 위치, 각 상가의 전화번호 및 휴대폰번호를 SMS로 자동 전송이 가능하도록 관련 정보를 상가 중앙 관제부(30)나 지능형 휴대 단말(20)의 메모리부에 사전 저장하여 상가별 위치정보를 관리하도록 구성한다.The location information for each mall (20-12) is the address and location of the fire place, and the address and location of each mall when notifying related information to the relevant organizations through the function of a report text message to the application of the intelligent portable terminal 20 in case of fire. The relevant information is pre-stored in the memory of the shopping center
상기 상가 업데이트부(20-13)는 기 저장된 상기 상가별 위치정보, 대피 경로 안내 정보의 변동사항이 있거나 사용자 또는 신생 점포들의 사용자 프로파일의 변경이 있을 경우, 기 저장된 사용자 프로파일, 상가별 위치정보를 분석 판단 제어부(20-6)를 통해 비교 판단한 후 상가 업데이트를 수행하여 신규 상가의 등록을 저장 관리한다.When there is a change in the previously stored location information for each shopping area, evacuation route guidance information, or a change in the user profile of the user or new stores, the shopping street update unit 20-13 stores the previously stored user profile and location information for each shopping area. After comparing and determining through the analysis determination control unit 20-6, the store is updated to store and manage the registration of the new store.
상기 얼굴인식부(20-14)는 얼굴인식을 수행하는 것으로, 해당 피해자의 얼굴인식의 객체에 대한 영상 프레임의 오디오를 검출할 수 있도록 현장 맞춤형 영상 및 오디오 신호처리부(20-8)에 의해 얼굴인식 검출 및 프레임 생성하도록 구성하고, 이를 기초하여 원격 제어로 화재 속 피해자의 특정 객체를 선택할 때, 얼굴인식을 통해 각 객체의 얼굴 주변에 취음 범위를 표시할 수 있고, 지향성 마이크와 거리 센서의 조합으로 특정 객체의 취음 범위 선택에 따라 적어도 하나 이상의 객체에 대한 취음 정보를 취득할 수 있다. The face recognition unit 20-14 performs face recognition, and the face by the field-customized image and audio signal processing unit 20-8 to detect the audio of the image frame for the object of the victim's face recognition. It is configured to detect recognition and generate frames, and based on this, when selecting a specific object of the victim in the fire by remote control, the range of smell can be displayed around the face of each object through face recognition, and a combination of a directional microphone and a distance sensor As a result, it is possible to acquire information on the smell of at least one object according to the selection of the smell range of a specific object.
상기 선택된 객체의 취음 범위는 다른 취음 범위와 구분되도록 마크로 표시할 수 있고, 실시간 촬영된 영상의 프레임 내에 프레임 번호에 해당하는 위치를 검출하여 프레임 내의 오디오 신호를 검출 생성하여 해당 특정 객체의 오디오를 출력한 후, 피해자의 오디오와 비교 분석하여 결과를 바탕으로 화재 현장의 오디오 출력부(10-7)를 통해 화재 현장 통제본부의 지시나 안내에 따라 오디오를 전송 출력함으로써, 피해자가 화재 현장에서 현장 상황에 맞는 화재 대피와 비상 대피할 수 있도록 안내할 수 있는 오디오 안내를 수행할 수 있다.The smell range of the selected object can be marked with a mark to be distinguished from other smell ranges, and an audio signal in the frame is detected and generated by detecting a position corresponding to a frame number in a frame of a real-time captured image, and the audio of the specific object is output. Then, by comparing and analyzing the victim's audio, based on the results, the audio is transmitted and output according to the instructions or guidance of the fire site control headquarters through the audio output unit (10-7) at the fire site. You can perform audio guidance that can guide you through fire evacuation and emergency evacuation.
도 4는 본 발명에 따른 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 및 오디오 줌밍의 어플리케이션 영상 표시부의 상세도이다.4 is a detailed view of an application image display unit for video and audio zooming of an intelligent portable terminal equipped with a monitoring application according to the present invention.
도 4는 어플리케이션 영상 표시부(20-11)에 대한 상세도이며, 상기 어플리케이션 영상 표시부(20-11)에 표시된 촬영 영상에서 비디오 줌밍 신호를 사용자가 터치 입력하면, 영상 및 오디오 줌밍 제어부(20-7)를 통해 상기 입력 신호에 해당하는 영상의 프레임 위치에서 해당 프레임 내 비디오 영상과 음성을 추출 취음하고, 해당 비디오 줌밍 된 특정 개체의 영상 사운드를 취음하여 외부 지능형 휴대단말로 전송함으로써 화재 현장의 긴박한 상황의 영상이나 오디오를 실시간으로 제공받아 화재 대피유도 및 화재 지시를 효율적으로 제공할 수 있는 효과를 가진다.4 is a detailed view of the application image display unit 20-11, and when a user touch inputs a video zooming signal from a captured image displayed on the application image display unit 20-11, the image and audio zooming control unit 20-7 ), extracts the video image and voice within the frame from the frame position of the image corresponding to the input signal, takes the video sound of the specific object zoomed in the video and transmits it to an external intelligent mobile terminal It has the effect of efficiently providing fire evacuation guidance and fire instructions by receiving video or audio of the video in real time.
또한, 어플리케이션 영상 표시부(20-11)에 표시된 촬영 영상에서 오디오 줌밍 신호를 사용자가 터치 입력하면, 객체를 갖는 영상에서 특정 객체에 대한 오디오 줌밍 명령이 입력되면, 해당 객체에 대응되는 취음 정보를 취득하여 외부 휴대 단말로 페어링 전송하여 재생/공유함으로써 실시간으로 다른 사용자와 오디오 줌밍 된 오디오를 공유하여 화재 현장의 긴박한 상황에 대해 실시간으로 생생한 음성을 제공받아 화재 대피유도 및 화재 지시를 효율적으로 제공할 수 있는 효과를 가진다.In addition, when a user touches an audio zooming signal in a captured image displayed on the application image display unit 20-11, when an audio zooming command for a specific object is input in an image having an object, the sound sound information corresponding to the object is acquired. By sharing the audio zoomed audio with other users in real time by pairing and transmitting to an external mobile terminal and playing/sharing, it is possible to efficiently provide fire evacuation guidance and fire instructions by receiving live voices in real time about the urgent situation at the fire site. Has an effect.
상기와 같이 설명된 이동 단말기의 오디오 줌밍 공유방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다. The audio zooming sharing method of the mobile terminal described above is not limited to the configuration and method of the above-described embodiments, but all or part of each of the embodiments is selective so that various modifications can be made. It can be configured in combination.
10 화재 경보기
10-1 가스센서부 10-2 적외선 온도 센서부
10-3 네트워크 카메라 10-4 오디오 입력부
10-5 카메라 틸팅 모션 제어부 10-6 영상 및 오디오 줌밍부
10-7 오디오 출력부 10-8 이상감지신호 수집부
10-9 1차 제어부 10-10 무선 송,수신부
10-11 DC전원공급부 10-12 설정시간 타이머
20 지능형 휴대 단말
20-1 무선 송수신부 20-2 외부기기 동기화부
20-3 권한자 식별부 20-4 어플리케이션 자동 실행부
20-5 데이터 분류 저장부 20-6 분석판단 2차 제어부
20-7 영상 및 오디오 줌밍부,
20-8 현장 맞춤형 영상 및 오디오 신호처리부
20-9 현장 맞춤형 영상 및 오디오 출력부
20-10 원격 제어부
20-11 어플리케이션 영상표시부 20-12 상가별 위치정보
20-13 상가 업데이트부 20-14 얼굴 인식부
30 상가 중앙 관제부
40 유관기관 10 smoke alarm
10-1 Gas sensor part 10-2 Infrared temperature sensor part
10-3 Network camera 10-4 Audio input
10-5 Camera tilting motion control unit 10-6 Video and audio zooming unit
10-7 Audio output section 10-8 Error detection signal collection section
10-9 Primary control unit 10-10 Wireless transmitter and receiver
10-11 DC power supply 10-12 Setting time timer
20 intelligent mobile terminals
20-1 Wireless transmission/reception unit 20-2 External device synchronization unit
20-3 Authority identification unit 20-4 Automatic application execution unit
20-5 Data classification and storage unit 20-6 Secondary control for analysis and judgment
20-7 video and audio zooming unit,
20-8 Field customized video and audio signal processing unit
20-9 Field customized video and audio output
20-10 remote control
20-11 Application video display 20-12 Location information for each store
20-13 Shopping mall update unit 20-14 Face recognition unit
30 Shopping Center Central Control Department
40 Related organizations
Claims (7)
가스를 감지하는 가스 센서부(10-1)와; 온도별 스펙트럼의 열화상을 감지하는 적외선 온도 센서부(10-2)와; 화재 발화의 영상 촬영과 촬영된 영상을 전송하는 네트워크 카메라부(10-3)와;
상기 센서부(10-1, 10-2) 및 네트워크 카메라부(10-3)의 이상 감지 신호와 촬영 영상에 대한 정보를 수집 저장하고 수집된 정보를 사용자 입력에 의한 설정시간에 맞추어 실시간으로 지능형 휴대단말(20) 및 상가 중앙 관제부(30)로 전송하는 무선 송, 수신부(10-10)와;
파이어 모니터링 제어 어플리케이션이 설치된 지능형 휴대단말(20)과; 상기 이상 감지 신호와 촬영영상 정보를 전송받아 카테고리별로 분류하여 룩업 테이블로 저장 관리하는 상가 중앙 관제부(30)와;
상기 지능형 휴대단말(20)의 어플리케이션 영상 표시부(20-11)는 센서부(10-1, 10-2)에 측정된 현재 가스농도 및 온도가 표시되고 신고하기전화, 신고하기문자, 상태확인, 대피경로 및 행동요령 버튼이 구성되고,
상기 네트워크 카메라부(10-3)는 DC 전원 공급부(10-11)를 포함하되, 초기 3분 동안만 타이머에 의해 DC 전원으로 구동하고 슬립모드로 자동 전환되도록 하며, 상기 타이머의 사용자 셋팅 설정시간이 설정되면, 시장 안의 사진을 30초 간격으로 주기별 촬영 데이터를 메모리부에 저장하고, 상기 메모리부는 미리 획득된 상가별 위치 정보와 매칭하여 매칭된 오버레이 정보를 기반으로 합성된 영상을 상기 지능형 휴대단말(20)의 어플리케이션 영상 표시부(20-11)에 표시되도록 하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.A fire alarm 10 detachably attached to the ceiling or the wall and the floor in order to detect and control a commercial fire;
A gas sensor unit 10-1 for sensing gas; An infrared temperature sensor unit 10-2 for sensing a thermal image of a spectrum for each temperature; A network camera unit 10-3 for photographing a fire ignition and transmitting the captured image;
Collects and stores information on abnormality detection signals and captured images from the sensor units 10-1 and 10-2 and network camera units 10-3, and stores the collected information in real time according to the set time by user input. A wireless transmission and reception unit 10-10 for transmitting to the mobile terminal 20 and the shopping center central control unit 30;
An intelligent portable terminal 20 installed with a fire monitoring control application; A shopping center central control unit 30 for receiving the abnormality detection signal and photographed image information, classifying them by category, and storing and managing them in a lookup table;
The application image display unit 20-11 of the intelligent mobile terminal 20 displays the current gas concentration and temperature measured on the sensor units 10-1 and 10-2, and displays a call to report, text to report, check status, The evacuation route and action button are configured,
The network camera unit 10-3 includes a DC power supply unit 10-11, which is driven by DC power by a timer only for the initial 3 minutes and automatically switches to sleep mode, and the user set setting time of the timer When this is set, the photo in the market is stored in a memory unit for each periodic photographing data at 30 second intervals, and the memory unit matches the previously acquired location information for each store, and displays the synthesized image based on the matched overlay information. An image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a commercial fire, characterized in that the display is displayed on the application image display unit 20-11 of the terminal 20.
상기 어플리케이션 영상 표시부(20-11)의 신고하기문자 버튼을 클릭할 경우, 화재장소의 시장 및 상가의 주소와 위치, 화재가 발생한 상가번호, 각 상가의 번호와 전화번호 및 휴대폰번호, 시장 및 상가의 배치도, 가스농도 및 온도, 화재 현장사진이 동시에 유관기관(40)에 전송되어 신속한 화재 진압이 이루어지도록 안내하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.The method of claim 1,
When clicking the report text button of the application video display unit 20-11, the address and location of the market and the mall of the fire place, the mall number where the fire occurred, the number and phone number and mobile phone number of each mall, and the market and mall The image processing of an intelligent portable terminal equipped with a monitoring application that detects and controls a commercial fire, characterized in that the layout diagram, gas concentration and temperature, and photos of the fire site are simultaneously transmitted to the relevant organizations 40 to guide rapid fire suppression. system.
상기 어플리케이션 영상 표시부(20-11)는 기 저장된 화재발생시 행동요령 포스터와 상가 전체 지도를 표시하고, 상기 포스터에는 각 대피로가 어디 있는지 골목의 특정 가게를 안내 표시하며, 화재 발생 상가의 번호 및 위치를 표시하여 신속하게 대피할 수 있는 대피로를 지시하는 인디케이터를 표시하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.The method of claim 1,
The application video display unit 20-11 displays a pre-stored action poster and a map of the shopping street in case of a fire, and the poster guides and displays a specific store in the alley where each evacuation route is located, and the number and location of the shopping street where the fire occurs. An image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a commercial fire, characterized in that to display an indicator indicating an evacuation route that can be quickly evacuated.
상기 지능형 휴대단말(20)에 구성된 분석 판단 2차 제어부(20-6)는 화재 발생 내부에 피해자의 존재 여부를 검출하여 화재 발생 내부에 피해자가 있다고 판단하는 경우, 해당 영상의 프레임 내에 오디오 부분만을 필터링하여 확대한 후 현장의 개인 오디오를 통해 대피할 수 있도록 안내하는 것을 더 포함하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.The method of claim 1,
The second analysis and determination control unit 20-6 configured in the intelligent portable terminal 20 detects the presence of the victim inside the fire occurrence and determines that the victim is inside the fire occurrence, only the audio portion within the frame of the corresponding video. An image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a commercial fire, characterized in that it further comprises guiding the evacuation through personal audio of the site after filtering and expanding.
상기 지능형 휴대 단말(20)에 구성된 노이즈 제거 유닛은 지능형 휴대 단말(20)로 부터 화재 현장의 객체를 블록으로 클릭하여 클릭한 객체의 해당 피해자의 음성만을 추출하되, 화재 촬영 영상의 프레임들 내에 식별할 수 있는 위치 마커가 프레임들 안에 각각 표시되어 있어 지능형 휴대단말(20)의 사용자 입력이 생성되면 선택 비디오 줌 제어 신호가 발생된 상기 위치 마커를 기초하여 해당 보이스의 피크값을 분석하여 디지털 노이즈 필터링을 하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.The method of claim 1,
The noise removal unit configured in the intelligent portable terminal 20 extracts only the voice of the victim of the clicked object by clicking the object at the fire scene from the intelligent portable terminal 20 as a block, and identifies within the frames of the fire shot image When a user input of the intelligent portable terminal 20 is generated, a user input of the intelligent portable terminal 20 is generated by analyzing the peak value of the corresponding voice based on the location marker where the selective video zoom control signal is generated as each of the possible position markers is displayed in the frames to filter digital noise. An image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a fire in a shopping mall.
상기 지능형 휴대 단말(20)에 구성된 영상 및 오디오 줌밍 제어부(20-7)는 사용자가 선택하거나 클로즈업한(또는 초점을 맞춘) 객체의 위치와 크기에 자동으로 연동하여 그 객체의 위치에 지향성을 향하게 하거나 취음 범위를 최적화하여 관심 피사체의 오디오를 최적으로 취음하면서 촬영 또는 재생하도록 제어하는 것을 특징으로 하는 상가 화재를 감지 제어하는 모니터링 어플리케이션이 탑재된 지능형 휴대 단말의 영상 처리 시스템.
The method of claim 1,
The image and audio zooming control unit 20-7 configured in the intelligent portable terminal 20 automatically interlocks with the position and size of an object selected or close-up (or focused) by the user to direct the directivity to the position of the object. An image processing system of an intelligent portable terminal equipped with a monitoring application for detecting and controlling a fire in an shopping mall, characterized in that controlling the recording or playback while taking the audio of the subject of interest optimally by optimizing the listening range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180166284A KR102152123B1 (en) | 2018-12-20 | 2018-12-20 | Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180166284A KR102152123B1 (en) | 2018-12-20 | 2018-12-20 | Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200077099A KR20200077099A (en) | 2020-06-30 |
| KR102152123B1 true KR102152123B1 (en) | 2020-09-04 |
Family
ID=71121359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180166284A KR102152123B1 (en) | 2018-12-20 | 2018-12-20 | Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102152123B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112073792A (en) * | 2020-08-03 | 2020-12-11 | 视联动力信息技术股份有限公司 | Data sending method and device |
| KR102234870B1 (en) * | 2020-09-03 | 2021-04-01 | (주) 에스알포스트 | Easy mobile reporting system and method that based on voice and video |
| KR102446595B1 (en) * | 2020-11-26 | 2022-09-26 | 주식회사 지에스아이엘 | Smart system and method for detecting displacement of retaining wall |
| KR102335155B1 (en) * | 2020-12-29 | 2021-12-06 | (주)전원테크 | Fire detection system providing movement monitoring function |
| CN112947317B (en) * | 2021-03-25 | 2022-07-01 | 北一(山东)工业科技股份有限公司 | Internet of things sensing device for high-end intelligent numerical control equipment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101634207B1 (en) * | 2015-11-20 | 2016-07-01 | 손제욱 | Emergency escape system using bluetooth beacons |
| KR101844472B1 (en) * | 2017-05-10 | 2018-04-02 | 김경수 | Remote disaster prevention system |
| KR101910480B1 (en) * | 2018-02-07 | 2018-10-22 | (주)티엔젠 | Closed-space monitoring system based on IoT network |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101111493B1 (en) | 2010-03-29 | 2012-02-22 | 한국철도기술연구원 | Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof |
| KR101510766B1 (en) | 2013-09-27 | 2015-05-04 | 주식회사 포딕스시스템 | Monitoring dvr system using emergency sign and multi function sensor |
-
2018
- 2018-12-20 KR KR1020180166284A patent/KR102152123B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101634207B1 (en) * | 2015-11-20 | 2016-07-01 | 손제욱 | Emergency escape system using bluetooth beacons |
| KR101844472B1 (en) * | 2017-05-10 | 2018-04-02 | 김경수 | Remote disaster prevention system |
| KR101910480B1 (en) * | 2018-02-07 | 2018-10-22 | (주)티엔젠 | Closed-space monitoring system based on IoT network |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200077099A (en) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102152123B1 (en) | Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire | |
| KR101223680B1 (en) | Smart type fire monitoring and detecting system | |
| KR101544019B1 (en) | Fire detection system using composited video and method thereof | |
| KR101775463B1 (en) | Fire supervisory apparatus to be installed on building and unite management system having the same | |
| KR101827733B1 (en) | An intelligence type emergency shunting incitement method and system of the same | |
| KR101321444B1 (en) | A cctv monitoring system | |
| WO2017073101A1 (en) | Digital smart safety system, method, and program | |
| KR101398819B1 (en) | System unite management system for environment monitoring of unattended building | |
| JP2016015133A (en) | Fire escape device linked with mobile communication terminal | |
| KR101772806B1 (en) | Emergency shunting incitement method of automatically transforming escape direction according to fire located, and system of the same | |
| KR101200268B1 (en) | Composite fire sensor device based on image for active evacuation and rescue and system using the same | |
| KR102158840B1 (en) | Sensing system and method for firre in realtime | |
| KR100985804B1 (en) | Total disaster management system | |
| JP2020518939A (en) | Remote disaster prevention system | |
| KR20110040699A (en) | Forest fire monitiring system and control method thereof | |
| US20050105743A1 (en) | Automatic audio systems for fire detection and diagnosis, and crew and person locating during fires | |
| KR101150993B1 (en) | Tunnel emergency remote control system | |
| KR20210097500A (en) | Apparatus for Monitoring Fire And System having the same | |
| JP2019079369A (en) | Evacuation guide system | |
| WO2022242253A1 (en) | Fire prevention monitoring method and apparatus for air conditioner, electronic device, and storage medium | |
| KR102106754B1 (en) | Intelligent multi-intercom broadcasting system for emergency broadcasting | |
| JP6310243B2 (en) | Automatic fire alarm equipment | |
| KR102088194B1 (en) | SYSTEM AND METHOD FOR BROADCASTING REMOTE SITE DISASTER NOTIFICATION THROUGH AUDIO STREAMING BASED ON IoT | |
| JP2015111327A5 (en) | ||
| CN108460963A (en) | Long-range fire fighting monitoring platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |