KR20190049100A - System and Method for Managing Unexpected Situation in Tunnel - Google Patents

System and Method for Managing Unexpected Situation in Tunnel Download PDF

Info

Publication number
KR20190049100A
KR20190049100A KR1020170144581A KR20170144581A KR20190049100A KR 20190049100 A KR20190049100 A KR 20190049100A KR 1020170144581 A KR1020170144581 A KR 1020170144581A KR 20170144581 A KR20170144581 A KR 20170144581A KR 20190049100 A KR20190049100 A KR 20190049100A
Authority
KR
South Korea
Prior art keywords
tunnel
image
moving object
size
unexpected situation
Prior art date
Application number
KR1020170144581A
Other languages
Korean (ko)
Inventor
신휴성
김동규
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020170144581A priority Critical patent/KR20190049100A/en
Publication of KR20190049100A publication Critical patent/KR20190049100A/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system and a method for managing an unexpected situation in a tunnel. The system for managing an unexpected situation in a tunnel includes: a data processing module forming tunnel image big data structuralized; a data processing module calculating position/size/type learning data of a moving body by performing a faster regional convolution neutral network algorithm based on the tunnel image big data completely formed; and a data processing module capable of transmitting a generated corrected image in the tunnel to a tunnel control server and transmitting a warning message corresponding to an unexpected situation to the tunnel control server in a case that it is determined that the unexpected situation occurs in the moving body in the tunnel. Therefore, the system for managing an unexpected situation in a tunnel can guide a series of a moving body unexpected situation handling procedure to effectively perform the moving body unexpected situation handling procedure based on the corrected image in the tunnel, with high reliability (in other words, an error sensing rate is extremely low).

Description

영상 딥 러닝을 이용한 터널 내 돌발상황 관리시스템 및 관리방법{System and Method for Managing Unexpected Situation in Tunnel}Technical Field [0001] The present invention relates to a system and method for managing an unexpected situation in a tunnel using video deep running,

본 발명은 터널 내에서 차량 등의 이동하는 물체 즉, 이동체로 인하여 돌발상황 발생하는 것을 모니터링하고 관리하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 터널 관제 주체 측에서, 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 소스 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 기반으로 생성된 고 신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황 대처절차를 좀더 효과적으로 진행할 수 있도록 가이드 할 수 있는 "영상 딥 러닝(deep learning) 이용 터널 내 돌발상황 관리시스템 및 돌발상황 관리방법"에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and method for monitoring and managing occurrence of an unexpected situation caused by a moving object such as a vehicle in a tunnel, High confidence (ie, a five-dimensional image) generated based on the Faster regional convergence neutral network algorithm, without any extra effort to improve the quality of the source image in the tunnel, Based on the corrected images in the tunnels of the tunnel, which can guide the process of coping with the unexpected situation of the moving object in a series of tunnels, Situation management method ".

최근 터널 내에서의 이동체 사고에 대한 사회적 경각심이 고조되면서, 터널 내 사고에 좀더 효과적으로 대처할 수 있는 다양한 기술들이 개발/보급되고 있다. 예를 들어, 대한민국 공개특허 제10-2009-76485호(명칭: 터널에서의 사고감시 시스템 및 방법)(2009.7.13.자 공개), 대한민국등록특허 제10-1229945호(명칭: 터널 사고 검출 및 경보시스템)(2013.2.6.자 공고), 대한민국등록특허 제10-1313547호(명칭: 음향신호 처리 기반의 터널 내 사고상황 인식 또는 판별을 위한 기기)(2013.9.30.자 공고) 등에는 종래의 터널 내 사고 대처기술들의 일례가 좀더 상세하게 개시되어 있다.Recently, as social awareness of mobile objects in tunnels has increased, various technologies have been developed / distributed to cope more effectively with accidents in tunnels. For example, Korean Patent Laid-Open No. 10-2009-76485 (name: accident monitoring system and method in a tunnel) (published on July 13, 2009), Korean Patent No. 10-1229945 (Hereinafter referred to as the "warning system") (issued on February 6, 2013), Korean Patent No. 10-1313547 (titled "apparatus for recognizing or identifying an accident situation in a tunnel based on acoustic signal processing" Lt; RTI ID = 0.0 > in-tunnel < / RTI >

터널 내 설치되어 있는 종래 기술에 따른 사고 자동감지 시스템의 검지 현황을 연도 별로 분류해서 살펴보면, 2012년에는 오 검지율이 약 88% 정도였지만, 2015년에는 약 96%까지 증가한 것으로 나타났다. 현재 운영 중인 장비들과 소프트웨어들은 터널 내 환경변화 및 감지된 영상의 품질에 매우 민감하며, 대부분의 터널에서 각 영상유고항목에 대한 자동 인식률이 매우 낮음을 파악한 연구도 진행된 바 있다.According to the classification of the detection system of the automatic accident detection system according to the prior art installed in the tunnel, the detection rate was about 88% in 2012, but it increased to about 96% in 2015. Currently, the equipment and software in operation are very sensitive to changes in the environment of the tunnel and the quality of the detected image, and studies have been carried out to find that the automatic recognition rate of each image is very low in most tunnels.

근래에는 각 터널의 특성을 감안해 확보한 터널 내부 영상의 조도 특성을 소프트웨어에 반영해주고, 각 터널 형상을 고려해 그림자 등의 발생 특성을 파악하여 조정해 주면 CCTV 장비에서 약 100m 이내에서 감지 성능을 크게 향상시킬 수 있다는 연구가 진행되었다. 그러나 현실적으로 수많은 터널 내 모든 CCTV 장비들을 일일이 최적화 하는 작업은 쉽지 않은 일이며, 최적화 조건도 시간이력별, 그리고, 터널 상황에 따라 달라지는 것은 자명하다 할 것이다.In recent years, if the characteristics of the tunnels are taken into account and the characteristics of each tunnel are taken into consideration, it is possible to greatly improve the detection performance within about 100m of the CCTV equipment Research has been carried out. However, in reality, it is not easy to optimize all the CCTV equipment in numerous tunnels. It is obvious that the optimization conditions also depend on the time history and the tunnel situation.

이와 같이 현재 터널에 설치되어 있는 종래의 사고 자동감지시스템의 오검지율이 매우 높기 때문에, 이에 대한 새로운 방향의 문제해결을 위한 기술이 절실한 상황이다.In this way, since the detection rate of the conventional automatic accident detection system installed in the present tunnel is very high, a technology for solving the problem in a new direction is urgently needed.

대한민국공개특허 제10-2009-76485호(명칭: 터널에서의 사고감시 시스템 및 방법) (2009.7.13.자 공개)Korean Patent Laid-Open No. 10-2009-76485 (Name: Accident Monitoring System and Method in Tunnel) (Published on July 13, 2009) 대한민국등록특허 제10-1229945호(명칭: 터널 사고 검출 및 경보시스템)(2013.2.6.자 공고)Korean Registered Patent No. 10-1229945 (Name: Tunnel Accident Detection and Alarm System) (June 6, 2013) 대한민국등록특허 제10-1313547호(명칭: 음향신호 처리 기반의 터널 내 사고상황 인식 또는 판별을 위한 기기)(2013.9.30.자 공고)Korean Registered Patent No. 10-1313547 (Name: Apparatus for recognizing an accident situation in a tunnel based on acoustic signal processing or for discrimination) (2013.9.30)

본 발명의 목적은 <터널 관제 서버, 터널 내 영상 획득장치 등과 통신하여, 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성할 수 있는 전산모듈>, <구성 완료된 터널 영상 빅 데이터를 토대로 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출할 수 있는 전산모듈>, <터널 관제 서버, 터널 내 영상 획득장치와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 상기 터널 관제 서버 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 상기 터널 관제 서버 측으로 전송할 수 있는 전산모듈> 등을 체계적으로 배치하고, 이를 통해, 터널 관제 주체 측에서, 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 소스 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 기반으로 생성된 고 신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황 대처절차를 좀더 효과적으로 진행할 수 있도록 가이드 하는데 있다. An object of the present invention is to provide a method and apparatus for acquiring a source image in a tunnel by communicating with a tunnel control server and an image acquisition device in a tunnel, extracting a still image corresponding to an image region of the ROI from the obtained source image, A computer module capable of constructing a tunnel image big data structured by pairing the position information of the moving objects included in the still image, the size information of the moving objects, and the type information of the moving objects, The position information of each moving object in the still image, the size information of each moving object, and type information of each moving object are learned by proceeding with the Faster regional convergence neutral network algorithm, and the optimal moving object position weight, the optimal moving object size weight, Calculate the moving object position / size / type learning data reflecting the combination of the optimal moving object type weights The source image in the tunnel in which the current situation of the tunnel is reflected in real time is obtained by communicating with the tunneling server and the image acquisition device in the tunnel, Extracts the region of interest, compares the extracted region of interest image with the moving object location / size / type learning data, recognizes the location and size of the moving objects in the region of interest image, and infer the type and type of the moving objects, The corrected image in the tunnel is transmitted to the tunnel control server side and the corrected image in the tunnel is checked to determine whether an unexpected situation has occurred in the moving object in the tunnel, If it is determined that an unexpected situation has occurred in the moving object, an alarm message corresponding to the unexpected situation is transmitted to the tunnel control server (Eg, dust, low illuminance, low resolution, etc.) are reflected in the tunnels, thereby improving the quality of the source images in the tunnels. Based on the reconstructed images in the tunnel with high reliability (that is, extremely low threshold probability) generated based on the Faster regional convolution neutral network algorithm, And to guide the situation coping process more effectively.

본 발명의 다른 목적들은 다음의 상세한 설명과 첨부된 도면으로부터 보다 명확해질 것이다.Other objects of the present invention will become more apparent from the following detailed description and the accompanying drawings.

상기와 같은 목적을 달성하기 위하여 본 발명에서는 유/무선 온라인망을 매개로 터널 관제 서버 및 터널 내 영상 획득장치와 통신하면서, 상기 터널 관제 서버 또는 터널 내 영상 획득장치로부터 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성하는 터널 영상 빅 데이터 구성모듈과; 상기 터널 영상 빅 데이터 구성모듈과 통신을 취하면서, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 상기 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출하는 이동체 위치/크기/유형 학습모듈과; 상기 터널 관제 서버 및 터널 내 영상 획득장치와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 상기 터널 관제 서버 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 상기 터널 관제 서버 측으로 전송하는 이동체 돌발상황 처리모듈을 포함하는 것을 특징으로 하는 터널 내 이동체 돌발상황 관리시스템을 개시한다.In order to achieve the above object, in the present invention, a source image in a tunnel is acquired from the tunnel control server or the intra-tunnel image acquisition device while communicating with a tunnel control server and an intra-tunnel image acquisition device via a wired / Then, the still image corresponding to the image region of the ROI is extracted from the source image in the obtained tunnel, and the position information of the moving objects included in the extracted still image, the size information of the moving objects, and the type information of the moving objects are paired A tunnel image big data constituting module which constitutes tunnel image big data which is formed; The method of claim 1, further comprising the steps of: (a) performing a Faster Regional Convolution Neutral Network Algorithm while communicating with the tunnel image big data structure module to calculate location information of each mobile object in the still image, size information of each mobile object, Size / type learning module for learning moving object position / size / type learning data in which a combination of an optimal moving object position weight, an optimal moving object size weight, and an optimal moving object type weight is reflected; A source image in the tunnel in which the current situation of the tunnel is reflected in real time is obtained by communicating with the tunnel control server and the image acquisition device in the tunnel and then the predetermined interest area image is extracted from the source image in the obtained tunnel, Size / type learning data, recognizes the position and size of the moving objects in the ROI, estimates the type and the type of the moving objects, compares the inferred corrected image with the corrected moving image, The corrected image in the tunnel is transmitted to the tunnel control server side and the corrected image in the tunnel is checked to determine whether an unexpected situation has occurred in the moving object in the tunnel, If it is determined that the emergency has occurred, an alarm message corresponding to the inconvenient situation is transmitted to the tunnel control server A moving object unexpected situation processing module is included in the moving object unexpected situation management module.

본 발명에서는 <터널 관제 서버, 터널 내 영상 획득장치 등과 통신하여, 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성할 수 있는 전산모듈>, <구성 완료된 터널 영상 빅 데이터를 토대로 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출할 수 있는 전산모듈>, <터널 관제 서버, 터널 내 영상 획득장치와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 상기 터널 관제 서버 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 상기 터널 관제 서버 측으로 전송할 수 있는 전산모듈> 등을 체계적으로 배치/제공하기 때문에, 본 발명의 구현환경 하에서, 터널 관제 주체 측에서는, 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 소스 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 단지, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 기반으로 생성된 고 신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황 대처절차를 좀더 효과적으로 진행할 수 있게 된다.In the present invention, a source image in a tunnel is acquired by communicating with a tunnel control server and an image acquisition device in a tunnel, and then a still image corresponding to an image region of the ROI is extracted from the source image in the obtained tunnel, A computer module capable of configuring a tunnel image big data structured by pairing the location information of the moving objects included in the image, the size information of the moving objects, and the type information of the moving objects, The position information of each moving object in the still image, the size information of each moving object, and the type information of each moving object are learned, and the optimal moving object position weight, the optimal moving object size weight, It is possible to calculate moving object position / size / type learning data reflecting the combination of type weights The source image in the tunnel in which the current situation of the tunnel is reflected in real time is obtained by communicating with the tunnel module, the computational module, the tunnel control server, and the image acquisition device in the tunnel to extract a predetermined region of interest image from the acquired source image in the tunnel. And compares the extracted region of interest image with the moving object position / size / type learning data to recognize the position and size of the moving objects in the region of interest image, infer the type and type of the moving objects, The corrected image in the tunnel is generated, the corrected image in the tunnel is transmitted to the tunnel control server side, and the corrected image in the tunnel is checked to determine whether an unexpected situation occurs in the moving object in the tunnel, When it is determined that an unexpected situation has occurred in the moving object, an alarm message corresponding to the unexpected situation is transmitted to the tunnel control server (Tunneling) inside the tunnel in which a poor environment (for example, dust, low illumination, low resolution, etc.) is reflected on the tunnel control subject side in the implementation environment of the present invention. Without any extra effort to improve the quality of the source image, it is only possible to use a highly reliable (ie, low threshold sensitivity) tunnel image based on the Faster regional convergence neutral network algorithm So that it is possible to more effectively carry out a procedure for coping with an unexpected situation of a moving object in a series of tunnels.

도 1은 본 발명에 따른 터널 내 이동체 돌발상황 관리시스템의 세부적인 구성을 개념적으로 도시한 예시도.
도 2는 본 발명에 따른 터널 내 이동체 돌발상황 관리시스템의 세부적인 기능수행절차를 개념적으로 도시한 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a conceptual diagram illustrating a detailed configuration of a system for managing an unexpected situation of a moving object in a tunnel according to the present invention; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and method for managing an unexpected situation of a moving object in a tunnel.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 터널 내 이동체 돌발상황 관리시스템을 좀더 상세히 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a system for managing an unexpected situation of a moving object in a tunnel according to the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시된 바와 같이, 본 발명에 따른 터널 내 이동체 돌발상황 관리시스템(100)은 인터페이스 모듈(101), 유/무선 온라인망(10) 등을 매개로 하여, 터널 내 영상 획득장치(30)(예컨대, CCTV 등), 터널 관제 서버(20) 등과 통신 관계를 형성하는 운영정보 저장모듈(102), 터널 영상 빅 데이터 구성모듈(103), 이동체 위치/크기/유형 학습모듈(104), 이동체 돌발상황 처리모듈(105), 이동체 위치/크기/유형 학습확장 지원모듈(106) 등이 긴밀하게 조합된 구성을 취하게 된다.1, a moving object unexpected situation management system 100 in a tunnel according to the present invention includes an in-tunnel image acquisition device 30 (FIG. 1) via an interface module 101, a wire / wireless online network 10, An operation information storage module 102, a tunnel image big data configuration module 103, a moving object location / size / type learning module 104, A moving object unexpected situation processing module 105, a moving object position / size / type learning extension support module 106, and the like.

이 경우, 운영정보 저장모듈(102) 측에서는 터널 내 이동체 돌발상황 관리절차에 필요한 각종 운영정보, 예를 들어, 터널 내 영상 획득장치(30)의 등록정보, 터널 관제 서버(20)의 등록정보, 각 전산모듈들의 프로세스 진행에 필요한 프로그램 소스정보, 각 전산모듈들의 통신연결에 필요한 세션정보, 각 전산모듈 측 정보저장공간의 어드레스 정보 등을 자신의 정보저장공간 내에 안정적으로 저장/관리함으로써, 본 발명에 따른 일련의 터널 내 이동체 돌발상황 관리절차가 별다른 문제점 없이 정상적으로 진행될 수 있도록 보조하는 역할을 수행하게 된다.In this case, the operation information storage module 102 may store various operation information necessary for the unexpected situation management procedure in the tunnel, for example, registration information of the in-tunnel image acquisition device 30, registration information of the tunnel control server 20, The program source information necessary for the process progress of each computation module, the session information required for the communication connection of each computation module, and the address information of the information storage space of each computation module are stored / managed in the information storage space in a stable manner, The present invention is not limited to the above-described embodiments, and various changes and modifications may be made without departing from the scope of the present invention.

이러한 기반 인프라가 갖추어진 상황 하에서, 도 2에 도시된 바와 같이, 터널 영상 빅 데이터 구성모듈(103) 측에서는 인터페이스 모듈(101), 유/무선 온라인망(10) 등을 매개로 터널 내 영상 획득장치(30)(예컨대, CCTV 등), 터널 관제 서버(20) 등과 통신을 취하여, 터널 내 소스 영상(201)을 취득하는 절차를 진행하게 된다.As shown in FIG. 2, the tunnel image big data configuration module 103 is provided with an in-tunnel image acquisition device 102 via an interface module 101, a wire / wireless online network 10, (E.g., CCTV), the tunnel control server 20, and the like, and proceeds to acquire the source image 201 in the tunnel.

이렇게 하여, 터널 내 소스 영상(201)이 취득/완료되면, 터널 영상 빅 데이터 구성모듈(103) 측에서는 일련의 정보추출루틴을 진행시켜, 취득/완료된 터널 내 소스 영상(201)으로부터 관심영역(Region of interest)의 영상영역(202)을 정지영상(203)(예컨대, 초당 30 프레임)의 형태로 추출하는 절차를 진행하게 된다(도 2 참조).When the source image 201 in the tunnel is acquired / completed, the tunnel image big data configuration module 103 advances a series of information extraction routines to extract a region of interest (Region) from the source image 201 in the acquired / of interest in the form of a still image 203 (e.g., 30 frames per second) (see FIG. 2).

상술한 절차를 통해, 터널 내 소스 영상(201)으로부터 관심영역(Region of interest)의 영상영역(202)이 정지영상(203)(예컨대, 초당 30 프레임)의 형태로 추출/완료되면, 터널 영상 빅 데이터 구성모듈(103) 측에서는 정지영상(203)을 대상으로 일련의 정보 추출/생성 루틴을 진행시켜, 정지영상(203) 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보 등을 좌표형태로 추출하는 절차를 진행함과 아울러, 정지영상(203) 내에 포함되어 있는 이동체들의 유형정보(예컨대, 일반이동차량, 사람, 화재발생, 작업차량, 낙하물 등)를 코드화 하는 절차를 진행하게 된다(도 2 참조).When the image region 202 of the region of interest is extracted / completed in the form of the still image 203 (for example, 30 frames per second) from the source image 201 in the tunnel, On the side of the big data configuration module 103, a series of information extraction / creation routines are executed on the still image 203 to obtain position information of the moving objects included in the still image 203, size information of the moving objects, (Eg, a general moving vehicle, a person, a fire, a working vehicle, a fallen object, etc.) included in the still image 203 is performed 2).

이렇게 하여, 정지영상(203) 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보(예컨대, 일반이동차량, 사람, 화재발생, 작업차량, 낙하물 등) 등이 추출/코드화 완료되면, 터널 영상 빅 데이터 구성모듈(103) 측에서는 이들을 대상으로 일련의 정보생성루틴을 진행하고, 이를 통해, 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 군이 각기 쌍을 이루어 구조화된 방대한 양의 터널 영상 빅 데이터(BDT)를 구성하는 절차를 진행하게 된다(도 2 참조).Thus, the location information of the moving objects included in the still image 203, the size information of the moving objects, the type information of the moving objects (for example, a general moving vehicle, a person, a fire generation, a work vehicle, The tunnel image big data configuration module 103 proceeds to a series of information generation routines for these to generate location information of each moving object in the still image 203 corresponding to the region of interest 202, Size information, and type information groups of the moving objects form a pair of structured large amounts of tunnel image big data (BDT) (refer to FIG. 2).

한편, 상술한 절차를 통해, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 군이 각기 쌍을 이루어 구조화된 방대한 양의 터널 영상 빅 데이터(BDT)가 구성 완료되면, 이동체 위치/크기/유형 학습모듈(104) 측에서는 도 2에 도시된 바와 같이, 터널 영상 빅 데이터 구성모듈(103)과 통신을 취하면서, 일련의 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 등을 학습하는 절차를 진행하게 된다.The location information of each moving object in the still image 203 corresponding to the region of interest 202 on the source image 201 side in the tunnel, the size information of each moving object, and the type information group of each moving object, 2, the tunnel image big data configuration module 103 and the tunnel image big data structure module 103 are constructed on the side of the moving object location / size / type learning module 104, (Faster Regional Convolution Neutral Network Algorithm), the position information of each moving object in the still image 203 corresponding to the region of interest 202 on the source image 201 in the tunnel The size information of each moving object, the type information of each moving object, and the like.

이러한 학습절차 하에서, 이동체 위치/크기/유형 학습모듈(104) 측에서는 입력정보(예컨대, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 등)를 인공신경 망 내에 배정되어 있는 가중치(예컨대, 이동체 위치 가중치, 이동체 크기 가중치, 이동체 유형 가중치 등)와 반복적으로 연산하고, 이를 통해, <계산되는 이동체 위치/크기/유형 정보>와 <실제 영상 내에 존재하는 이동체 위치/크기/유형 정보>와의 오차가 최소화된 <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>을 도출해낸 후, 도출 완료된 <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>이 반영된 <이동체 위치/크기/유형 학습데이터>를 산출하는 과정을 진행하게 된다(도 2 참조).On the side of the moving object position / size / type learning module 104 under this learning procedure, position information of each moving object in the still image 203 corresponding to the input information (for example, the interest area 202 on the source image 201 in the tunnel) The size information of each moving object, the type information of each moving object, and the like) are repeatedly calculated with a weight (e.g., a moving object location weight, a moving object size weight, a moving object type weight, etc.) allocated in the artificial neural network, (For example, an optimal moving object position weight, an optimal moving object size weight, an optimal moving object type weight, etc.) with a minimized error between the moving object position / size / type information and the moving object position / (For example, the optimal moving object location weight, the optimal moving object size weight, the optimal moving object type weight Is a process of, and so on) calculating the combined> reflecting <moving object position / size / type of training data> of the process (see Fig. 2).

이때, 터널 내 소스 영상(201)에는 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 고스란히 반영되어 있는데, 이 경우에도, 이동체 위치/크기/유형 학습모듈(104) 측에서는 별도의 필터링 절차 없이, 터널 내 소스 영상(201)을 자신의 학습절차에 그대로 반영하게 된다.In this case, the source image 201 in the tunnel is uniformly reflected in a poor environment (for example, dust, low illuminance, low resolution, etc.) inside the tunnel. In this case, The source image 201 in the tunnel is directly reflected in the learning procedure of the tunnel without the filtering procedure of the tunnel.

한편, 상술한 절차를 통해, <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>이 반영된 <이동체 위치/크기/유형 학습데이터>가 산출되는 국면에서, 이동체 돌발상황 처리모듈(105) 측에서는 도 2에 도시된 바와 같이, 인터페이스 모듈(101), 유/무선 온라인망(10) 등을 매개로 하여, 터널 관제 서버(20), 터널 내 영상 획득장치(30) 등과 통신을 취하면서, 이 터널 관제 서버(20), 터널 내 영상 획득장치(30) 등으로부터 <현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상>을 획득하는 절차를 진행하게 된다.On the other hand, through the above-described procedure, when the <moving body position / size / type learning data> reflecting the combination of the optimum weight (for example, the combination of the optimum moving object position weight, the optimal moving object size weight, and the optimal moving object type weight) 2, the moving object unexpected situation processing module 105 receives the tunnel management server 20, the in-tunnel image acquiring device 10, and the in-tunnel image acquisition device 10 via the interface module 101, The source image in the tunnel in which the current situation of the current tunnel is reflected in the tunnel is obtained from the tunnel control server 20, the in-tunnel image acquiring device 30 and the like while communicating with the tunnel 30 and the like.

이렇게 하여, 터널 관제 서버(20), 터널 내 영상 획득장치(30) 등으로부터 <현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상>이 획득 완료되면, 이동체 돌발상황 처리모듈(105) 측에서는 획득 완료된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출한 후, 이 관심영역영상을 이동체 위치/크기/유형 학습모듈(104)에 의해 산출된 <이동체 위치/크기/유형 학습데이터>와 입력/비교하고, 이를 통해, 관심영역영상 내 이동체들을 인식(예컨대, 사각박스형태로 이동체들의 위치와 규모를 인식)한 다음, 인식된 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)을 추론하는 절차를 진행하게 된다(도 2 참조).In this way, when the source image in the tunnel in which the current situation of the current tunnel is reflected is acquired from the tunnel control server 20, the in-tunnel image acquisition device 30, etc., the moving object unexpected situation processing module 105, Size / type learning data calculated by the moving object position / size / type learning module 104, and outputs the selected interest region image to the moving object position / size / (For example, recognizing the position and size of moving objects in a rectangular box shape), and then recognizing the type of the recognized moving objects (e.g., vehicle, person, drop, , Forward running, stopping state, reverse run, fire, etc.) (see FIG. 2).

상술한 절차를 통해, 관심영역영상 내 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 추론 완료되면, 이동체 돌발상황 처리모듈(105) 측에서는 추론 완료된 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)을 토대로 일련의 영상변환루틴을 진행시켜, 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 반영된 터널 내 보정 영상을 생성하는 절차를 진행하게 된다(도 2 참조).If the type of the moving objects in the ROI image (e.g., vehicle, person, drop, obstacle, etc.) and type (for example, fixed running, stopped state, reverse run, fire, etc.) are inferred through the above procedure, The processing module 105 proceeds a series of image conversion routines based on the types (e.g., vehicles, people, falling objects, obstacles, etc.) of the inferred moving objects and types (for example, fixed running, stopped state, reverse running, , A process of generating a corrected image in a tunnel that reflects types of moving objects (e.g., a vehicle, a person, a falling object, a obstacle, etc.) and a type (for example, a fixed running, a stopped state, a reverse run, a fire, etc.) Reference).

이렇게 하여, 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 반영된 터널 내 보정 영상이 생성 완료되면, 이동체 돌발상황 처리모듈(105) 측에서는 인터페이스 모듈(101), 유/무선 온라인망(10) 등을 매개로 하여, 터널 관제 서버(20)와 통신을 취하여, 터널 내 보정 영상을 터널 관제 서버(20)로 전송함으로써, 터널 관제 주체 측에서, 저 품질의 터널 내 소스 영상이 아인, 고 품질의 터널 내 보정 영상을 살펴보면서, 좀더 효과적인 터널 관제 절차를 진행할 수 있도록 지원하게 된다(도 2 참조).In this way, when a corrected image in a tunnel reflecting the type of moving objects (e.g., a vehicle, a person, a falling object, a obstacle, etc.) and type (for example, a fixed running, a stopped state, The module 105 communicates with the tunnel control server 20 via the interface module 101 and the wire / wireless online network 10 to transmit the tunnel corrected image to the tunnel control server 20 , The tunnel control entity can support a more effective tunnel control procedure while checking the high-quality tuned image in the source image in the low quality tunnel (refer to FIG. 2).

이와 아울러, 이동체 돌발상황 처리모듈(105) 측에서는 터널 내 보정 영상을 판독하여, 터널 내 이동체에 일련의 돌발상황이 발생하였는지를 체크하고, 만약, 터널 내 이동체에 일련의 돌발상황이 발생한 것으로 판단되는 경우, 그 즉시, 정보생성루틴을 진행시켜, 돌발상황에 상응하는 경보메시지를 생성한 후, 생성 완료된 경보메시지를 터널 관제 서버(20)로 전송함으로써, 터널 관제 주체 측에서, 터널 내 돌발상황을 빠르게 인지하고, 이에 신속하게 대처할 수 있도록 지원하게 된다(도 2 참조).In addition, the moving object unexpected situation processing module 105 reads the corrected image in the tunnel, checks whether a series of unexpected situations have occurred in the moving object in the tunnel, and if it is determined that a series of unexpected situations has occurred in the moving object in the tunnel , Immediately proceeds to the information generation routine to generate an alarm message corresponding to the unexpected situation and transmits the generated alarm message to the tunnel control server 20 so that the tunnel control entity can quickly (See FIG. 2).

이와 같이, 본 발명에서는 <터널 관제 서버(20), 터널 내 영상 획득장치(30) 등과 통신하여, 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성할 수 있는 전산모듈>, <구성 완료된 터널 영상 빅 데이터를 토대로 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출할 수 있는 전산모듈>, <터널 관제 서버(20), 터널 내 영상 획득장치(30)와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 상기 터널 관제 서버(20) 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 상기 터널 관제 서버(20) 측으로 전송할 수 있는 전산모듈> 등을 체계적으로 배치/제공하기 때문에, 본 발명의 구현환경 하에서, 터널 관제 주체 측에서는, 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 소스 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 단지, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 기반으로 생성된 고 신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황 대처절차를 좀더 효과적으로 진행할 수 있게 된다. As described above, in the present invention, after the source image in the tunnel is acquired by communicating with the tunnel control server 20, the in-tunnel image acquisition device 30, and the like, A computer module capable of extracting a still image, configuring a tunnel image big data structured by pairing the position information of the moving objects included in the extracted still image, the size information of the moving objects, and the type information of the moving objects, Based on the completed tunnel image big data, the Faster regional convergence neutral network algorithm is advanced to learn location information of each moving object in the still image, size information of each moving object, type information of each moving object, Size / type of moving object that reflects the combination of weights, optimal mobile weight weights, and optimal mobile object type weights Communication with the tunnel control server 20 and the in-tunnel image acquisition device 30 to obtain a source image in the tunnel in which the current situation of the current tunnel is reflected in real time, The position and size of the moving objects in the ROI image are recognized by comparing the extracted ROI image with the moving object position / size / type learning data, extracting a predetermined region of interest image from the source image, Type, and type of the tunnel, generates a corrected image in the tunnel in which the deduced details are reflected, transmits the generated corrected image in the tunnel to the tunnel control server 20, checks the corrected image in the tunnel, It is determined whether or not an unexpected situation has occurred in the moving object in the tunnel. If it is determined that an unexpected situation has occurred in the moving object in the tunnel, an alarm message corresponding to the unexpected situation (Such as dust, low illuminance, low level of illumination, and the like) in the tunnel control main body side in the implementation environment of the present invention because systematic arrangement / (Ie, the threshold is extremely low), which is generated based on the Faster regional convergence neutral network algorithm, without any extra effort to improve the quality of the source image in the tunnel, It is possible to more effectively proceed to cope with an unexpected situation of a moving object in a series of tunnels on the basis of the corrected image in the tunnel of FIG.

한편, 앞의 각 전산모듈들과 연계 동작하는 이동체 위치/크기/유형 학습확장 지원모듈(106) 측에서는 도 2에 도시된 바와 같이, 이동체 돌발상황 처리모듈(105)의 기능수행에 의해 터널 내 보정 영상이 생성되는 국면에서, 이동체 돌발상황 처리모듈(105)과 통신을 취하여, 이에 의해 생성된 터널 내 보정 영상을 획득하는 절차를 진행하게 된다.On the other hand, as shown in FIG. 2, on the side of the moving object location / size / type learning extension support module 106 that operates in conjunction with the preceding computation modules, In the phase in which the image is generated, communication with the moving object unexpected situation processing module 105 is performed, and a procedure for acquiring the corrected intra-tunnel image is performed.

이렇게 하여, 터널 내 보정 영상이 획득 완료되면, 이동체 위치/크기/유형 학습확장 지원모듈(106) 측에서는 일련의 정보생성루틴을 진행시켜, 터널 내 보정 영상을 가공하는 절차(예컨대, 정지영상을 추출하는 절차, 이동체들의 위치정보/이동체들의 크기정보/이동체들의 유형정보 등을 구조화하는 절차 등)를 진행시켜, 터널 내 보정 영상을 상기 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형시키는 절차를 진행하게 된다(도 2 참조).In this way, when the corrected image in the tunnel is acquired, the moving object location / size / type learning extension support module 106 advances a series of information generation routines to process the intra-tunnel corrected image (for example, A process of structuring the location information of the moving objects / the size information of the moving objects / the type information of the moving objects, and the like) is performed to transform the corrected image in the tunnel into the same format as the tunnel image big data (BDT) (See Fig. 2).

상술한 절차를 통해, 터널 내 보정 영상이 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료되면, 이동체 위치/크기/유형 학습확장 지원모듈(106) 측에서는 이동체 위치/크기/유형 학습모듈(104)과 통신을 취하면서, 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료된 터널 내 보정 영상을 이동체 위치/크기/유형 학습모듈(104) 측으로 전송/입력하는 절차를 진행하게 된다(도 2 참조).If the corrected image in the tunnel is transformed into the same format as the tunnel image big data BDT through the above procedure, the moving object location / size / type learning extension support module 106 provides the moving object location / size / type learning module 104 ), And proceeds to a process of transmitting / inputting a corrected intra-tunnel corrected image in the same format as the tunnel image big data (BDT) to the moving object location / size / type learning module 104 side (see FIG. 2 ).

물론, 상술한 절차를 통해, 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료된 터널 내 보정 영상이 입력/제공되는 상황 하에서, 이동체 위치/크기/유형 학습모듈(104) 측에서는 상기 터널 내 보정 영상을 새로운 학습자료로 활용하면서, 확장된 형태의 심화학습절차를 반복적으로 진행할 수 있게 되며, 결국, 터널 관제 주체 측에서는 예컨대, 시스템(100)의 터널 내 이동체 인식품질이 향상되는 이점, 시스템의 이동체 돌발상황 인지품질이 향상되는 이점 등을 폭 넓게 향유할 수 있게 된다. Of course, under the situation that the corrected intra-tunnel image is input / provided in the same format as the tunnel image big data (BDT), the moving object position / size / type learning module 104 side, It is possible to repeatedly perform the extended learning procedure of the extended type while using the learning information as new learning materials. As a result, the tunnel control entity side, for example, has an advantage of improving the moving object recognition quality in the tunnel of the system 100, And an advantage of improving the situation recognition quality can be widely enjoyed.

이러한 본 발명은 특정 분야에 국한되지 아니하며, 이동체의 돌발상황에 효과적인 대처가 필요한 여러 분야에서, 전반적으로 유용한 효과를 발휘한다. The present invention is not limited to a specific field, and exhibits a generally useful effect in various fields that require effective coping with an unexpected situation of a moving object.

그리고, 앞에서, 본 발명의 특정한 실시 예가 설명되고 도시되었지만 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. Although specific embodiments of the present invention have been described and illustrated above, it is to be understood that the present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.

이와 같은 변형된 실시 예들은 본 발명의 기술적 사상이나 관점으로부터 개별적으로 이해되어서는 안되며 이와 같은 변형된 실시 예들은 본 발명의 첨부된 특허청구의 범위 안에 속한다 해야 할 것이다.Such modified embodiments should not be understood individually from the technical idea and viewpoint of the present invention, and such modified embodiments should be included in the appended claims of the present invention.

10: 유/무선 온라인망
20: 터널 관제 서버
30: 터널 내 영상 획득장치
100: 터널 내 이동체 돌발상황 관리시스템
101: 인터페이스 모듈
102: 운영정보 저장모듈
103: 터널 영상 빅 데이터 구성모듈
104: 이동체 위치/크기/유형 학습모듈
105: 이동체 돌발상황 처리모듈
106: 이동체 위치/크기/유형 학습확장 지원모듈
201: 터널 내 소스 영상
202: 관심영역의 영상영역
203: 정지영상10: wired / wireless online network
20: Tunnel control server
30: Tunnel image acquisition device
100: Moving object management system in tunnel
101: Interface module
102: Operational information storage module
103: Tunnel image big data configuration module
104: Moving object position / size / type learning module
105: Moving object unexpected situation processing module
106: Mobile location / size / type learning extension support module
201: source video in tunnel
202: image area of interest area
203: still image

Claims (3)

유/무선 온라인망을 매개로 터널 관제 서버 및 터널 내 영상 획득장치와 통신하면서, 상기 터널 관제 서버 또는 터널 내 영상 획득장치로부터 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성하는 터널 영상 빅 데이터 구성모듈과;
상기 터널 영상 빅 데이터 구성모듈과 통신을 취하면서, 영상 딥 러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 상기 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출하는 이동체 위치/크기/유형 학습모듈과;
상기 터널 관제 서버 및 터널 내 영상 획득장치와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 상기 터널 관제 서버 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 상기 터널 관제 서버 측으로 전송하는 이동체 돌발상황 처리모듈을 포함하는 것을 특징으로 하는 터널 내 이동체 돌발상황 관리시스템.The source image is acquired from the tunnel control server or the image acquisition device in the tunnel while communicating with the tunnel control server and the intra-tunnel image acquisition device via the wired / wireless online network, And extracts a still image corresponding to the image region of the still image, and generates a tunnel image in which the location information of the moving objects included in the extracted still image, the size information of the moving objects, and the type information of the moving objects are structured in pairs, A Big Data Configuration Module;
The method of claim 1, further comprising the steps of: (a) performing a Faster Regional Convolution Neutral Network Algorithm while communicating with the tunnel image big data structure module to calculate location information of each mobile object in the still image, size information of each mobile object, Size / type learning module for learning moving object position / size / type learning data in which a combination of an optimal moving object position weight, an optimal moving object size weight, and an optimal moving object type weight is reflected;
A source image in the tunnel in which the current situation of the tunnel is reflected in real time is obtained by communicating with the tunnel control server and the image acquisition device in the tunnel and then the predetermined interest area image is extracted from the source image in the obtained tunnel, Size / type learning data, recognizes the position and size of the moving objects in the ROI, estimates the type and the type of the moving objects, compares the inferred corrected image with the corrected moving image, The corrected image in the tunnel is transmitted to the tunnel control server side and the corrected image in the tunnel is checked to determine whether an unexpected situation has occurred in the moving object in the tunnel, If it is determined that the emergency has occurred, an alarm message corresponding to the inconvenient situation is transmitted to the tunnel control server Wherein the moving object unexpected situation management module includes a moving object unexpected situation processing module. 제 1 항에 있어서, 상기 이동체 돌발상황 처리모듈과 통신하여, 상기 터널 내 보정 영상을 획득한 후, 획득된 터널 내 보정 영상을 상기 터널 영상 빅 데이터와 동일한 포맷으로 변형하고, 상기 터널 영상 빅 데이터와 동일한 포맷으로 변형된 터널 내 보정 영상을 상기 이동체 위치/크기/유형 학습모듈 측으로 입력하여, 상기 이동체 위치/크기/유형 학습모듈의 심화학습을 유도하는 이동체 위치/크기/유형 학습확장 지원모듈을 더 포함하는 것을 특징으로 하는 터널 내 이동체 돌발상황 관리시스템.The method of claim 1, further comprising: communicating with the moving object unexpected situation processing module to acquire the in-tunnel corrected image, transforming the obtained in-tunnel corrected image into the same format as the tunnel image big data, Size / type learning extension module for inputting the intra-tunnel corrected image in the same format as the moving object location / size / type learning module to the moving object location / size / type learning module to induce further learning of the moving object location / size / Wherein the moving object management system further comprises: 터널 내에서 이동체로 인하여 발생하는 돌발상황을 모니터링하여 관리하는 방법으로서,
청구항 제1항 또는 제2항의 터널 내 이동체 돌발상황 관리시스템을 이용하는 것을 특징으로 하는 터널 내 이동체 돌발상황 관리방법.A method for monitoring and managing an unexpected situation caused by a moving object in a tunnel,
A method for managing an unexpected situation of a moving object in a tunnel according to any one of claims 1 to 3.
KR1020170144581A 2017-11-01 2017-11-01 System and Method for Managing Unexpected Situation in Tunnel KR20190049100A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170144581A KR20190049100A (en) 2017-11-01 2017-11-01 System and Method for Managing Unexpected Situation in Tunnel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144581A KR20190049100A (en) 2017-11-01 2017-11-01 System and Method for Managing Unexpected Situation in Tunnel

Publications (1)

Publication Number Publication Date
KR20190049100A true KR20190049100A (en) 2019-05-09

Family

ID=66546104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144581A KR20190049100A (en) 2017-11-01 2017-11-01 System and Method for Managing Unexpected Situation in Tunnel

Country Status (1)

Country Link
KR (1) KR20190049100A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256714A (en) * 2021-07-13 2021-08-13 湖南大学 Tunnel surface image processing method and system
KR102360568B1 (en) * 2020-09-11 2022-02-09 주식회사 디비엔텍 Method and system for detecting incident in tunnel environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090076485A (en) 2008-01-09 2009-07-13 주식회사 토페스 System and method for monitoring accident in a tunnel
KR101229945B1 (en) 2012-04-06 2013-02-06 김명호 System for alarm and detection accident of tunnel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090076485A (en) 2008-01-09 2009-07-13 주식회사 토페스 System and method for monitoring accident in a tunnel
KR101229945B1 (en) 2012-04-06 2013-02-06 김명호 System for alarm and detection accident of tunnel

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360568B1 (en) * 2020-09-11 2022-02-09 주식회사 디비엔텍 Method and system for detecting incident in tunnel environment
CN113256714A (en) * 2021-07-13 2021-08-13 湖南大学 Tunnel surface image processing method and system
CN113256714B (en) * 2021-07-13 2021-09-24 湖南大学 Tunnel surface image processing method and system

Similar Documents

Publication Publication Date Title
US10007850B2 (en) System and method for event monitoring and detection
CN108875548B (en) Character track generation method and device, storage medium and electronic equipment
CN109657592B (en) Face recognition method of intelligent excavator
CN106341661B (en) Patrol robot
CN113424079A (en) Obstacle detection method, obstacle detection device, computer device, and storage medium
CN110264495B (en) Target tracking method and device
CN110765894A (en) Target detection method, device, equipment and computer readable storage medium
CN104318578A (en) Video image analyzing method and system
WO2021095351A1 (en) Monitoring device, monitoring method, and program
CN114218992B (en) Abnormal object detection method and related device
KR20220078893A (en) Apparatus and method for recognizing behavior of human in video
KR20190049100A (en) System and Method for Managing Unexpected Situation in Tunnel
CN112489087A (en) Method for detecting shaking of suspension type operation platform for high-rise building construction
Pramerdorfer et al. Fall detection based on depth-data in practice
CN113505704B (en) Personnel safety detection method, system, equipment and storage medium for image recognition
CN106803937B (en) Double-camera video monitoring method, system and monitoring device with text log
US11774983B1 (en) Autonomous platform guidance systems with unknown environment mapping
CN115865988B (en) Passenger ship passenger tread event monitoring system and method by utilizing mobile phone sensor network
KR102011119B1 (en) A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same
JP7360520B1 (en) Object tracking integration method and integration device
CN116597501A (en) Video analysis algorithm and edge device
JP2020013480A (en) Vehicle recognition system and vehicle recognition method
KR20210114169A (en) Method for analyzing monitoring image using object verification, and apparatus for the same
KR20210125371A (en) Method and apparatus for analyzing traffic situation
CN111339898A (en) Behavior detection method and apparatus, computer readable storage medium, computer device