KR20210115246A - Integral maintenance control method and system for managing dam safety based on 3d modelling - Google Patents
Integral maintenance control method and system for managing dam safety based on 3d modelling Download PDFInfo
- Publication number
- KR20210115246A KR20210115246A KR1020200030740A KR20200030740A KR20210115246A KR 20210115246 A KR20210115246 A KR 20210115246A KR 1020200030740 A KR1020200030740 A KR 1020200030740A KR 20200030740 A KR20200030740 A KR 20200030740A KR 20210115246 A KR20210115246 A KR 20210115246A
- Authority
- KR
- South Korea
- Prior art keywords
- dam
- modeling
- information
- maintenance
- safety
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 50
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000000463 material Substances 0.000 claims description 29
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 12
- 230000005856 abnormality Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012790 confirmation Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract 3
- 238000006253 efflorescence Methods 0.000 abstract 2
- 206010037844 rash Diseases 0.000 abstract 2
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 239000011148 porous material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000004885 white matter Anatomy 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Architecture (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 댐 유지보수 관제 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 댐 인프라 안전점검 및 시설관리의 기술 고도화를 통해 댐의 이상 유무 모니터링, 유지보수 위탁 처리 등의 업무를 빠르고 효율적으로 개선할 수 있는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템에 관한 것이다.The present invention relates to a dam maintenance control method and system, and more specifically, through technological advancement of dam infrastructure safety inspection and facility management, it is possible to quickly and efficiently improve tasks such as monitoring for abnormalities in dams and consignment processing for maintenance. It relates to an integrated maintenance control method and system for 3D modeling-based dam safety management.
국내의 물 인프라는 세계적 수준으로 1967년 소양강댐을 시작으로 다목적댐·보 등 수자원 물인프라 시설(56개소)을 건설·관리하고 있으며 국가 산업발전의 핵심 인프라를 맏고 있다.Korea's water infrastructure is world-class, starting with the Soyanggang Dam in 1967, building and managing water resource water infrastructure facilities (56 places) such as multi-purpose dams and weirs, and it is the core infrastructure for national industrial development.
특히, 한국수자원공사는 용수공급 125억㎥(전체의 60%), 홍수조절 53억㎥(국가 전체의 95%) 담당하고 있으나, 전체 SOC 인프라 중 댐 및 저수지의 노후화율이 월등히 높은 상황이다.In particular, Korea Water Resources Corporation is responsible for water supply of 12.5 billion m3 (60% of the total) and flood control of 5.3 billion m3 (95% of the country), but the aging rate of dams and reservoirs among the entire SOC infrastructure is very high.
최근 일련의 사고로 물 인프라 안전관리에 대한 국민적인 관심이 부상하고 있으며, 전 세계적으로도 물 인프라 노후화 및 기후변화로 인한 대형 댐 안전 사고가 빈발하고 있다.Due to a series of accidents, public interest in water infrastructure safety management is rising recently, and large-scale dam safety accidents due to deterioration of water infrastructure and climate change are frequent around the world.
그러나 위와 같이 재난으로까지 이어질 수 있는 댐의 안전관리가 매우 중차대한 이슈임에도 불구하고 현행 댐 관리의 문제점들로는 다음과 같은 것들이 있다.However, despite the fact that the safety management of dams, which can lead to disasters, is a very important issue as described above, the problems of current dam management include the following.
- 기후변화, 지진발생 증가 등에 대한 기존 시설물 대응력 증대를 위한 구조·비구조적 대책 마련 필요- It is necessary to prepare structural and non-structural measures to increase the ability of existing facilities to respond to climate change and increased earthquake occurrence.
- 시설물 노후화, SOC 투자 감소, 4차 산업혁명 기술 등 첨단기술의 개발 및 적용요구 증가 등 시설물 안전·분야에 새로운 요구 대두- New demands are emerging in the field of facility safety, such as aging of facilities, reduction of SOC investment, and increasing demand for development and application of advanced technologies such as 4th industrial revolution technology
- 국내 SOC 관리 기업·기관에 비해 수자원 시설 유지관리 분야에서 4차 산업혁명 기술 등 최신기술 도입 미흡- Insufficient introduction of the latest technologies such as the 4th industrial revolution technology in the field of water resource facility maintenance compared to domestic SOC management companies and institutions
- 2000년 이전 준공 댐의 도면, 축조, 물성, 계측정보 등 필수 정보의 전산화 미흡- Insufficient computerization of essential information such as drawings, construction, physical properties, and measurement information of dams completed before 2000
- 점검 및 진단 자료는 종이 보고서 형태로 개별 보존 → 사용자 접근성 제한, 정보 검색에 상당한 시간과 경험을 수반함에 따라 경험자의 노하우에 의존- Inspection and diagnostic data are individually preserved in the form of paper reports → Reliance on the know-how of experienced users as it entails a significant amount of time and experience in user access restrictions and information retrieval.
- 기존 유지관리 이력 분산 및 접근성 제한에 따라 체계적인 시설 및 보수보강 이력 관리필요- Systematic facility and maintenance and reinforcement history management is required due to the distribution of existing maintenance history and restrictions on accessibility
- 현재 댐 안전점검 자료들이 점검주체의 보고서 및 스캐닝된 전자문서 형태로 보존되어 사용자의 접근성이 제한되고 정확한 위치 파악에 상당한 시간과 경험을 수반하며 지식의 제공과 공유에 있어 경험자의 노하우에 의존- Currently, dam safety inspection materials are preserved in the form of the inspection subject's report and scanned electronic document, which limits the user's accessibility and entails considerable time and experience in determining the exact location.
- 댐 시설물의 법정 안전 점검 및 진단업무는 대부분 접근 제약 지역 육안조사 위주로 진행됨에 따라 크고 작은 위험작업으로 분류되고 데이터의 정확성이 낮으며 노동력과 시간에 크게 의존- As most of the legal safety inspection and diagnosis work of dam facilities is conducted mainly on visual inspections in areas with restricted access, they are classified as large and small dangerous tasks, the accuracy of data is low, and it is highly dependent on labor and time.
- 기존 엔지니어의 노하우 중심 안전관리로 신입·전입 직원의 업무 숙련화에 상당시간 소요- It takes a considerable amount of time to master the work of new/transferred employees through safety management based on the know-how of existing engineers
- 계측 데이터 분석은 단순 경시변화 제공으로 정보의 직관적 이해가 어렵고 계측 정보의 공학적 의미가 결여되어 분석에 상당 시간 소요- Measurement data analysis takes a considerable amount of time because it is difficult to understand information intuitively and lacks the engineering meaning of measurement information as it provides simple temporal changes.
- 외부 변위계 등 주요 계측기 설치 위치 이외의 변형, 열화 현상 파악에 제한적임에 따라 입체적 변형 모니터링 필요- Three-dimensional deformation monitoring is necessary as it is limited to identify deformation and deterioration phenomena other than the installation location of major instruments such as external displacement gauges
- 유지보수 업무에 대한 위탁 처리 절차가 복잡하여 신속한 대응이 어려움- It is difficult to respond promptly because the consignment process for maintenance work is complicated
따라서 4차 산업혁명 기술을 적용하여 댐 인프라 안전점검 및 시설관리에 있어서 댐의 이상 여부를 인력에 크게 의존치 않고도 간편하게 모니터링 가능하게 하면서 문제점 발생 시 신속하게 대응할 수 있는 방안 마련이 필요한 실정이다.Therefore, it is necessary to prepare a plan to quickly respond to problems while enabling simple monitoring of dam abnormalities without relying heavily on manpower in dam infrastructure safety inspection and facility management by applying the 4th industrial revolution technology.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 댐 인프라 안전점검 및 시설관리의 기술 고도화를 통해 전체적인 댐의 이상 여부에 대해 온라인상에서 모니터링하면서 이상 확인 시 유지보수 업무를 즉각적으로 위탁 처리 가능하여 관련된 업무 처리가 신속하고 효율적으로 진행 가능하도록 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템을 제공하는데 그 목적이 있다.The present invention has been devised to solve the problems of the prior art, and through online monitoring of the overall dam abnormality through technical advancement of dam infrastructure safety inspection and facility management, and immediately entrusting maintenance work upon confirmation of abnormality An object of the present invention is to provide an integrated maintenance control method and system for 3D modeling-based dam safety management that can be processed so that related business processes can be processed quickly and efficiently.
상기 목적을 달성하기 위하여, 본 발명은, 드론 및 촬영수단 중 적어도 어느 하나 이상이 시설물에 계측수단이 설치된 댐을 촬영하는 댐 이미지 촬영단계와; 상기 댐 이미지 촬영단계를 통해 마련된 댐 이미지에 기초하여 3D 댐 모델링을 생성하는 3D 모델링 구축단계와; 상기 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시키는 3D 모델링 가공단계와; 상기 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 갱신단계와; 상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하는 콘크리트 균열 판별단계와; 상기 시설물 정보, 계측수단의 측정정보, 댐의 누수 정보, 댐의 백태 변화 정보 및 콘크리트 균열 정보 중 적어도 어느 하나 이상의 댐 안전 정보를 수신하여 저장하고 필요에 따라 댐 안전 정보를 유지보수사 단말기로 전송하면서 유지보수 작업을 지시하기 위한 댐 안전 관제단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention, a dam image photographing step of photographing a dam in which at least one of a drone and a photographing means is installed in a facility with a measuring means; a 3D modeling construction step of generating 3D dam modeling based on the dam image prepared through the dam image taking step; a 3D modeling processing step of subdividing the 3D dam modeling for each management area unit and linking the facility information for each unit and the measurement information of the measurement means; a 3D modeling update step of continuously mapping the image taken by the drone to the 3D dam modeling and comparing and expressing the 3D dam modeling before and after mapping to check the leakage or change of the dam of the dam; a concrete crack discrimination step of determining concrete cracks by analyzing the dam concrete structure image taken by the drone in a deep learning method; Receives and stores dam safety information of at least any one of the facility information, measurement information of measuring means, dam leakage information, dam change information, and concrete crack information, and transmits dam safety information to the maintenance person terminal as necessary and a dam safety control step for instructing maintenance work while doing so.
여기서, 상기 3D 모델링 갱신단계는 3D 댐 모델링을 가상 현실 또는 증강 현실 상태에서 확인 가능하도록 변환하여 제3자 단말기에 제공하기 위한 3D 모델링 변환단계를 더 포함하는 것을 특징으로 한다.Here, the 3D modeling update step is characterized in that it further comprises a 3D modeling conversion step for converting the 3D dam modeling to be confirmed in a virtual reality or augmented reality state to provide it to a third-party terminal.
또한, 상기 댐 안전 관제단계는 유지보수사 단말기로부터 유지보수 작업에 필요한 자재정보를 수신하고, 자재 공급사 단말기에 해당 자재정보를 전송하면서 구매 요청하는 자재 구매요청 단계와, 재난 발생 사전 크로스 점검을 위해 댐 안전 정보, 유지보수 작업 이력, 자재정보 및 구매 요청 이력 중 적어도 어느 하나 이상을 재난 관리 서버에 전송하는 댐 관리정보 공유단계를 더 포함하는 것을 특징으로 한다.In addition, the dam safety control step receives the material information required for maintenance work from the maintenance company terminal, and transmits the material information to the material supplier terminal for a material purchase request step for requesting a purchase; The method further comprises a dam management information sharing step of transmitting at least one of dam safety information, maintenance work history, material information, and purchase request history to the disaster management server.
한편으로, 본 발명은, 댐의 유지보수를 위한 서버로서, 시설물에 계측수단이 설치된 댐에 대해 드론 및 촬영수단 중 적어도 어느 하나 이상이 촬영한 댐 이미지에 기초하여 3D 댐 모델링을 생성하기 위한 3D 모델링 구축모듈과, 상기 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시키기 위한 3D 모델링 가공모듈과, 상기 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 갱신모듈과, 상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈과, 상기 시설물 정보, 계측수단의 측정정보, 댐의 누수 정보, 댐의 백태 변화 정보 및 콘크리트 균열 정보 중 적어도 어느 하나 이상의 댐 안전 정보를 수신하여 저장하는 댐 안전 관제모듈을 구비하는, 댐 통합 관리서버와; 상기 댐 통합 관리서버로부터 댐 안전 정보 및 유지보수 작업 지시를 수신하기 위한 유지보수사 단말기;를 포함하는 것을 특징으로 한다.On the other hand, the present invention, as a server for maintenance of a dam, 3D for generating a 3D dam modeling based on a dam image taken by at least one of a drone and a photographing means for a dam in which a measuring means is installed in the facility A modeling construction module, a 3D modeling processing module for subdividing the 3D dam modeling by management area unit, and a 3D modeling processing module for linking the facility information for each unit and the measurement information of the measurement means, and 3D dam modeling continuously with the image taken by the drone A 3D modeling update module that compares and expresses 3D dam modeling before and after mapping while mapping to a 3D modeling update module that makes it possible to check leaks or changes in white matter of a dam, and a deep learning method of analyzing the dam concrete structure image taken by the drone to determine concrete cracks and a dam safety control module for receiving and storing at least one or more dam safety information among the facility information, measurement information of the measurement means, leakage information of the dam, change information of the dam, and concrete crack information and a dam integrated management server; and a maintenance manager terminal for receiving dam safety information and maintenance work instructions from the dam integrated management server.
또한, 상기 댐 통합 관리서버와 연동하여 3D 댐 모델링, 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표출 가능한 AR(Augmented Reality) 글래스를 더 포함하는 것을 특징으로 한다.In addition, it is characterized in that it further comprises AR (Augmented Reality) glasses capable of displaying at least any one of 3D dam modeling, facility information, and measurement information of the measurement means in conjunction with the dam integrated management server.
추가적으로, 상기 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하고 예측된 누수량 정보를 유지보수사 단말기 및 재난 관리 서버 중 적어도 어느 하나에 전송하기 위한 누수량 예측모듈을 더 포함하는 것을 특징으로 한다.Additionally, a water leak prediction module for extracting data related to the amount of water leakage from the measurement information of the measurement means, predicting the amount of water leakage by machine learning, and transmitting the predicted water leakage information to at least one of a maintenance company terminal and a disaster management server. characterized by including.
이상과 같은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템은 다음과 같은 효과를 나타낼 수 있다.The integrated maintenance control method and system for 3D modeling-based dam safety management according to the present invention as described above can exhibit the following effects.
1. 3D 모델링에 기초한 댐 구조와 댐의 이상이 있는 영역에 대해 온라인상에서 직관적으로 확인 가능함1. It is possible to intuitively check the dam structure based on 3D modeling and the area where the dam has anomalies online.
2. 댐의 이상 확인 시 유지 보수 업무를 즉각적으로 위탁하여 관련 대응 업무를 조속히 진행시킬 수 있음2. When an abnormality of the dam is confirmed, the maintenance work can be immediately entrusted, and the related response work can be carried out promptly.
3. 주기적으로 유지보수 업체에 댐 관리를 위한 정보를 전송 가능함에 따라 상호간에 이상 발생 전후 상황을 크로스 체크할 수 있음3. As information for dam management can be periodically transmitted to maintenance companies, it is possible to cross-check the situation before and after the occurrence of an abnormality.
4. 댐 시설관리 지능 정보화 플랫폼 구현을 통해 안전업무 분야의 기술혁신을 도모하면서 드론 디지털 매핑 및 영상분석에 의한 입체적·직관적 댐 안전점검, 접근 제약지역 극복, 점검 효율성, 정확성 등의 현저한 개선 가능4. Remarkable improvement in three-dimensional and intuitive dam safety inspection by drone digital mapping and image analysis, overcoming access restrictions, inspection efficiency, accuracy, etc. is possible while promoting technological innovation in the safety work field through the implementation of an intelligent informatization platform for dam facility management
5. 콘크리트 구조물 현실 모델링(Reality Modeling) 및 AI 딥러닝 자동 균열 검출로 점검·진단 시간·노동력을 절감시키고, 주요 계측 정보 시각화 및 데이터 분석 직관화로 빠른 의사결정 지원 가능5. Concrete structure reality modeling and AI deep learning automatic crack detection reduces inspection/diagnosis time and labor, and enables quick decision support by visualizing key measurement information and intuitive data analysis
도 1은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법을 도시한 순서도
도 2a 및 도 2b는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템에서 사용되는 드론의 비행 방향을 나타낸 도면
도 3은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 학습 강화를 위해 콘크리트 균열 이미지를 변형시킨 사례를 나타낸 사진
도 4는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 콘크리트 균열 판별단계에서 적용되는 VGG Net 구조를 도시한 도면
도 5는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템을 개략적으로 도시한 도면
도 6은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 댐 통합 관리서버의 주요 구성요소를 도시한 도면
도 7은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템에서 열화상 정사영상을 통해 댐의 백태 또는 누수를 확인하는 방식의 일례를 나타낸 사진
도 8은 AR 기능을 연계한 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 구조의 일례를 도시한 도면1 is a flowchart illustrating an integrated maintenance control method for 3D modeling-based dam safety management according to the present invention;
2A and 2B are diagrams showing the flight direction of a drone used in the integrated maintenance control system for dam safety management based on 3D modeling according to the present invention;
3 is a photo showing a case in which the concrete crack image is transformed for learning reinforcement among the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention
4 is a view showing the VGG Net structure applied in the concrete crack identification step of the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention
5 is a diagram schematically showing an integrated maintenance control system for 3D modeling-based dam safety management according to the present invention
6 is a view showing the main components of the integrated dam management server of the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention
7 is a photograph showing an example of a method of checking the white matter or water leakage of a dam through a thermal image orthographic image in the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention
Figure 8 is a view showing an example of the structure of the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention in connection with the AR function
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that there is.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in the present specification is only the most preferred embodiment of the present invention, and does not represent all the technical spirit of the present invention, so they can be substituted at the time of the present application It should be understood that various equivalents and modifications may be made.
이하, 도면을 참조로 하여 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템을 설명하기로 한다.Hereinafter, an integrated maintenance control method and system for 3D modeling-based dam safety management according to the present invention will be described with reference to the drawings.
도 1은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법을 도시한 순서도이다.1 is a flowchart illustrating an integrated maintenance control method for 3D modeling-based dam safety management according to the present invention.
본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법은 기본적으로 댐 이미지 촬영단계, 3D 모델링 구축단계, 3D 모델링 가공단계, 3D 모델링 갱신단계, 콘크리트 균열 판별단계 및 댐 안전 관제단계를 포함하여 구성된다.The integrated maintenance control method for 3D modeling-based dam safety management according to the present invention basically includes the dam image shooting step, 3D modeling construction step, 3D modeling processing step, 3D modeling update step, concrete crack identification step, and dam safety control step. consists of including
보다 구체적으로, 본 발명은 시설물에 계측수단이 설치된 댐을 드론, 촬영수단 등이 촬영하는 댐 이미지 촬영단계와, 댐 이미지 촬영단계를 통해 마련된 댐 이미지에 기초하여 3D 댐 모델링을 생성하는 3D 모델링 구축단계와, 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시키는 3D 모델링 가공단계와, 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 갱신단계와, 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하는 콘크리트 균열 판별단계와, 시설물 정보/계측수단의 측정정보/댐의 누수 정보/댐의 백태 변화 정보/콘크리트 균열 정보 등의 댐 안전 정보를 수신하여 저장하고 필요에 따라 댐 안전 정보를 유지보수사 단말기로 전송하면서 유지보수 작업을 지시하기 위한 댐 안전 관제단계를 포함하여 이루어진다.More specifically, the present invention is a 3D modeling construction that generates 3D dam modeling based on the dam image taken step in which a drone, a photographing means, etc. take a dam with a measuring means installed in the facility, and a dam image prepared through the dam image taking step After subdividing the 3D dam modeling for each management area unit, the 3D modeling processing step of linking the facility information for each unit and the measurement information of the measurement means, and the image taken by the drone are continuously mapped to the 3D dam modeling before and after mapping The 3D modeling update step, which compares and expresses the 3D dam modeling, to confirm the leakage or change of the dam, and the concrete crack discrimination step to determine the concrete crack by analyzing the dam concrete structure image taken by the drone in a deep learning method; Receives and stores dam safety information such as facility information/measurement information/dam leakage information/dam change information/concrete crack information, etc. It is made including the dam safety control step to instruct.
상기 댐 이미지 촬영단계는 일례로 4천만 화소 이상의 DSLR 미러리스 카메라를 장착한 드론을 통해 인위적으로 촬영하기 어려운 콘크리트 댐체, 여수로, 필댐체, 양안부(좌안, 우안)와 같은 넓은 면적의 댐 구조를 촬영하고 드론이 촬영하기 어려운 부분을 직접 촬영수단(예: DSLR 카메라)으로 촬영하여 전체적인 3D 댐 모델링의 완성도를 높이는 것이 바람직할 것이다.The dam image taking step is, for example, a dam structure with a large area such as a concrete dam body, a waterway, a fill dam body, and both eyes (left and right eyes), which is difficult to shoot artificially through a drone equipped with a DSLR mirrorless camera of 40 million pixels or more. It would be desirable to film the part that is difficult for a drone to shoot and directly use a shooting means (eg, a DSLR camera) to enhance the completeness of the overall 3D dam modeling.
도 2a 및 도 2b는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템에서 사용되는 드론의 비행 방향을 나타낸 도면이다.2A and 2B are diagrams illustrating the flight direction of a drone used in the integrated maintenance control system for dam safety management based on 3D modeling according to the present invention.
여기서, 도 2a 및 도 2b를 참조로 하면 상기 드론이 종중복도 80% 이상 및 횡중복도 70% 이상으로 하여 촬영한 이미지가 격자 형태로 겹쳐질 수 있도록 비행하도록 경로를 설정함으로써 3D 댐 모델링 생성에 충분한 이미지가 확보되도록 하고, 고해상도 영상을 획득하기 위해 비행고도를 낮출 경우 중복도 부족 문제로 영상 접합이 어려울 수 있는 상황에서는 동서방향 및 남북방향으로 비행하면서 촬영한 이미지가 격자 형태보다 더욱 조밀하게 중복되도록 하는 비행경로를 설정하는 것이 바람직하다.Here, with reference to FIGS. 2A and 2B, by setting a route to fly so that images taken by the drone with a longitudinal overlap of 80% or more and a lateral overlap of 70% or more can be overlapped in a grid form, 3D dam modeling is created. If sufficient images are secured and the flight altitude is lowered to obtain high-resolution images, images taken while flying in the east-west and north-south directions are more densely overlapped than in the lattice form in situations where image splicing may be difficult due to lack of redundancy. It is desirable to set up a flight path that makes it possible.
상기 3D 모델링 구축단계는 촬영한 이미지를 취합 후 그 촬영 이미지들의 디스패리티(disparity) 부분만을 머징(merging)하는 과정을 거친 이후로 기존에 다양하게 공지된 바에 따른 이미지 프로세싱 기술을 적용하여 정밀한 3D 댐 모델링을 생성하게 된다.The 3D modeling construction step is a precise 3D dam by applying the image processing technology according to various known existing after the process of merging only the disparity part of the photographed images after collecting the photographed images. to create a model.
참고로, 상기 3D 댐 모델링을 생성하는 다른 예로는 드론에 레이저 스캐너를 설치하여 비행 경로를 따라 댐에 레이저 빔을 주사하여 반사되는 빔의 방향 및 거리를 통해 댐 외형을 3차원 좌표상에 일정 간격으로 분포된 점들의 집합으로 나타낼 수 있는데, 댐 전체를 한 번에 스캐닝할 수는 없기 때문에 부분적으로 나누어 스캐닝한 정보를 하나의 좌표계로 합쳐 전체 또는 단위별 관리영역에 대한 3D 스캔 정보를 확보할 수 있고, 이러한 3D 스캔 정보의 Point Cloud 데이터를 3D 레퍼런스 데이터로 변환하여 전체적인 3D 댐 모델링을 생성할 수 있게 된다.For reference, as another example of generating the 3D dam modeling, a laser scanner is installed in a drone and a laser beam is scanned to the dam along a flight path, and the dam appearance is displayed at regular intervals on three-dimensional coordinates through the direction and distance of the reflected beam. It can be expressed as a set of points distributed as It is possible to create an overall 3D dam modeling by converting the point cloud data of this 3D scan information into 3D reference data.
여기서, 상기 Point Cloud는 레이저 스캐너로부터 조밀하게 방출되어 대상체에서 반사되어 수신기로 돌아온 수많은 측점군들이 각각 x, y, z의 위치좌표를 갖게 됨에 따라 중심 좌표계를 기준으로 각 지점에 대한 공간의 거리를 표적표면에 대한 조밀한 샘플링을 통해 그에 해당하는 3차원 위치를 포함하는 수많은 측점, 즉 점군 형태로 제공되는 정보를 의미하며, 점군 데이터를 3차원 형태로 시각화하면 자유로운 시점 이동이 가능해지고 공간에 대한 측정 정보를 제공할 수 있게 된다.Here, as the point cloud is densely emitted from the laser scanner and reflected from the object and returned to the receiver, a number of point groups each have x, y, and z position coordinates. It means information provided in the form of a number of points, that is, a point cloud, including the corresponding three-dimensional position through dense sampling of the target surface. measurement information can be provided.
상기 3D 모델링 가공단계에서는 3D 댐 모델링상에 단위별로 관리영역을 구분하여 표시하게 되고, 그러한 관리영역에 존재하는 각종 댐 시설물(예: 콘크리트 댐체, 여수로, 필댐체, 양안부(좌안, 우안) 등)에 대한 기본 제원, 유지관리/보수보강 이력, 위치 등과 같은 시설물 정보나 온도 측정기, 강우량계, 수위 측정기, 누수량계, 간극수압계, 양압력계 등과 같은 계측수단으로부터 전송되는 측정정보를 3D 댐 모델링에서 확인 가능하도록 표시하며, 이때 계측수단이 IoT(Internet of Thing) 기능을 갖도록 하여 계측수단으로부터 수신한 측정정보를 3D 댐 모델링에 링크시켜 그 모델링에서 실시간으로 조회 가능하게 할 수도 있다.In the 3D modeling processing step, the management area is divided and displayed for each unit on the 3D dam modeling, and various dam facilities existing in the management area (eg, concrete dam body, Yeosu waterway, fill dam body, both eyes (left eye, right eye)) etc.), facility information, such as maintenance/reinforcement history, location, etc. It is displayed so that it can be checked in modeling, and at this time, the measurement information received from the measurement means is linked to the 3D dam modeling by making the measurement means have the Internet of Thing (IoT) function, so that the modeling can be viewed in real time.
추가적으로, 상기 3D 모델링 가공단계는 댐에 대해 스캔한 2D 도면을 3D로 변환하여 3D 댐 모델링에 연계시키거나 2D 도면 자체를 3D 댐 모델링에 링크시킬 수 있는데, 이는 촬영 이미지가 존재하지 않아 공백인 3D 댐 모델링 부분을 메꾸는데 사용하거나 3D 댐 모델링이 특정 부분에 대한 2D 도면을 확인 가능하게 하기 위함이며, 더욱이 시설물 정보, 계측수단의 측정정보, 2D 도면 등의 정보를 핫 스팟 방식에 따라 3D 댐 모델링에 연계시켜 그 스팟을 클릭하는 것만으로 간편하고 혼란스럽지 않게 관련 정보만이 노출되도록 할 수 있다.Additionally, in the 3D modeling processing step, the 2D drawing scanned for the dam can be converted into 3D and linked to 3D dam modeling or the 2D drawing itself can be linked to 3D dam modeling, which is a blank 3D image because there is no photographed image. It is used to fill the dam modeling part or to enable 3D dam modeling to check 2D drawings for a specific part, and 3D dam modeling according to the hot spot method It is possible to expose only relevant information simply and without confusion by linking to the spot and clicking the spot.
상기 3D 모델링 갱신단계는 3D 모델링 가공단계를 거쳐 생성된 3D 댐 모델링에 드론이 촬영한 이미지나 인위적으로 촬영한 이미지를 주기적으로 매핑시킨 다음 매핑 전후 3D 댐 모델링을 동기화시켜 경시 변화를 비교하여 표출하게 함으로써 시설물 변형/변화를 분석할 수 있도록 하고, 열화상 카메라가 설치된 드론이 촬영한 이미지가 반영되도록 하여 3D 댐 모델링상에서 열화상 정사영상의 확인을 통해 결과적으로 댐의 누수 또는 백태 또한 점검할 수 있도록 한다.In the 3D modeling update step, the 3D dam modeling created through the 3D modeling processing step is periodically mapped to the image taken by the drone or the image taken artificially, and then the 3D dam modeling before and after the mapping is synchronized to compare and express changes over time. By doing this, it is possible to analyze the deformation/change of the facility, and to reflect the image taken by the drone installed with the thermal imaging camera, so that the thermal image orthographic image can be checked on the 3D dam modeling, and consequently, the leakage or the white matter of the dam can also be checked. do.
이러한 상기 3D 모델링 갱신단계는 3D 댐 모델링을 가상 현실 또는 증강 현실 상태에서 확인 가능하도록 변환하여 제3자 단말기에 제공하기 위한 3D 모델링 변환단계를 더 포함할 수 있으며, 이에 따라 제3자, 예로써 댐 시설 관리업 종사자, 일반인 등이 본인의 단말기를 통해 3D 댐 모델링을 가상/증강 현실로 확인 가능할 수 있기 때문에 업무 관리의 효율성을 도모하거나 댐 인프라를 홍보하는 방식으로 활용하는데 도움을 줄 수 있다.The 3D modeling update step may further include a 3D modeling conversion step for converting 3D dam modeling to be confirmed in a virtual reality or augmented reality state and providing it to a third-party terminal, and thus a third party, for example, Since 3D dam modeling can be viewed in virtual/augmented reality through their terminals, such as those in the dam facility management industry and the general public, it can help improve the efficiency of business management or use it in a way to promote the dam infrastructure.
도 3은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 학습 강화를 위해 콘크리트 균열 이미지를 변형시킨 사례를 나타낸 사진이다.3 is a photograph showing a case in which a concrete crack image is transformed to reinforce learning among the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention.
상기 콘크리트 균열 판별단계는 딥러닝 방식에 따라 콘크리트 균열을 판별하기 위한 것으로, 도 3에서와 같이 콘크리트 균열 이미지에 대해 스케일은 동일하게 유지하면서 회전(예: 45/90/135/180/225/270/315도 등 회전), 밝기 조절, 선명도 조절, 좌우반전, 상하반전 등의 방식에 따라 변형시키면서 그 변형된 복수개의 콘크리트 균열 이미지를 학습하여 콘크리트 균열을 판별하기 위한 학습 데이터를 강화시키게 되고, 이에 의해 적은 수의 학습 데이터, 즉 콘크리트 균열 이미지를 가지고도 많은 양의 학습 데이터를 취득할 수 있기 때문에 학습 모델의 정확도를 향상시킬 수 있다.The concrete crack discrimination step is for discriminating concrete cracks according to the deep learning method. /315 degree rotation), brightness control, sharpness control, left/right reversal, vertical reversal, etc., while learning the deformed plurality of concrete crack images, the learning data for identifying concrete cracks is strengthened. The accuracy of the learning model can be improved because a large amount of training data can be acquired even with a small number of training data, that is, concrete crack images.
도 4는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 콘크리트 균열 판별단계에서 적용되는 VGG Net 구조를 도시한 도면이다.4 is a view showing the VGG Net structure applied in the concrete crack identification step of the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention.
일례로, 도 4와 같은 인공지능 신경망의 일종인 VGG(Visual Geometry Group) Net로 댐 이미지에서 콘크리트 균열 여부를 확인할 수 있는데, 이러한 VGG Net는 기존 CNN(Convolutional Neutral Net)이 갖는 1개의 합성곱 필터와 1개의 풀링 구조 대비 n개의 합성곱 필터와 1개의 풀링 구조를 가짐에 따라 CNN보다 더욱 높은 정확성을 가지게 된다.As an example, it is possible to check whether concrete cracks in the dam image with VGG (Visual Geometry Group) Net, which is a kind of artificial intelligence neural network as shown in FIG. As it has n convolution filters and one pooling structure compared to the one pooling structure, it has higher accuracy than CNN.
또한, 상기 콘크리트 균열 판별단계는 콘크리트 균열 이미지상의 노이즈를 제거한 다음으로 균열 길이, 폭을 추출하는 단계를 더 포함할 수 있으며, 균열 이미지상의 노이즈를 제거하기 위한 과정의 일례로는 우선적으로 블러링을 통해 부드럽게 이미지를 처리한 후 그레이스케일링 및 이진화 과정을 거쳐 흑백 상태에서 균열 부분만 뚜렷하게 식별되도록 이미지를 가공하는 것을 들 수 있다.In addition, the concrete crack discrimination step may further include the step of extracting the crack length and width after removing the noise on the concrete crack image, and as an example of the process for removing the noise on the crack image, first blurring One example is processing the image so that only the cracks are clearly identified in the black-and-white state through the process of gray-scaling and binarization after smoothing the image.
상기 콘크리트 균열 판별단계에서는 촬영 이미지를 기준으로 균열 이미지를 추출하여 증강(이미지 회전, 변환 등)시키고, 균열 판별 모델 학습을 수행하면서 모델 파라미터 조정 후 재학습과 학습 모델 검증을 거쳐 최종적인 균열 판별 모델을 생성할 수 있게 되며, 좀 더 상세하게는 학습 과정으로 댐 촬영 이미지 라벨링, 댐 촬영 이미지 증강, 균열 판별 인공지능 학습 및 균열 판별 모델 생성이 진행되고, 분석 과정으로 댐 촬영 이미지 로딩, 균열 판별, 균열 세부 진단 및 균열 진단 결과 저장이 진행될 수 있다.In the concrete crack identification step, the crack image is extracted and augmented (image rotation, transformation, etc.) based on the captured image, and the final crack identification model is subjected to re-learning and learning model verification after adjusting the model parameters while learning the crack identification model. In more detail, as the learning process, dam image labeling, dam image enhancement, crack identification artificial intelligence learning and crack identification model creation are in progress, and as the analysis process, dam image loading, crack identification, The detailed crack diagnosis and the storage of crack diagnosis results may proceed.
상기 댐 안전 관제단계는 상술된 바와 같은 시설물 정보/계측수단의 측정정보/댐의 누수 정보/댐의 백태 변화 정보/콘크리트 균열 정보 등의 댐 안전 정보를 이하 기술되는 댐 통합 관리서버에서 수신하도록 하고, 댐 안전 정보를 통해 문제점이 확인되어 유지보수가 필요한 경우 댐 안전 정보 및 유지보수 작업 지시를 유지보수사 단말기로 전송함으로써 신속한 대응이 진행되도록 하게 된다.The dam safety control step receives the dam safety information such as facility information/measurement information/dam leakage information/dam change information/concrete crack information as described above from the integrated dam management server to be described below. , when a problem is identified through the dam safety information and maintenance is required, the dam safety information and maintenance work instruction are transmitted to the maintenance person terminal so that a prompt response is progressed.
여기서, 상기 댐 안전 관제단계는 유지보수사 단말기로부터 유지보수 작업에 필요한 자재정보(예: 자재 명칭, 수량, 종류 등)를 수신하고, 자재 공급사 단말기에 해당 자재정보를 전송하면서 구매 요청하는 자재 구매요청 단계를 더 포함할 수 있는데, 이는 유지보수사에서 직접 자재를 구매하여 유지보수 작업을 진행할 수도 있으나 자재 구매량이 많거나 특수하여 댐을 직접적으로 관리하는 부서에서 총괄해야 하는 상황, 외부에 위탁하는 유지보수 업무 및 자재 공급 업무를 분리하여 거래의 투명성을 제고해야 하는 상황 등에 활용하기 위한 것이다.Here, the dam safety control step receives material information (eg, material name, quantity, type, etc.) required for maintenance work from the maintenance company terminal, and purchases the material requested for purchase while transmitting the material information to the material supplier terminal A request step may be further included, which may include purchasing materials directly from the maintenance company to carry out maintenance work, but the amount of material purchased is large or special, so the department that directly manages the dam must oversee it. It is intended to be used in situations where transaction transparency needs to be improved by separating maintenance work and material supply work.
또한, 상기 댐 안전 관제단계는 재난 발생 사전 크로스 점검을 위해 댐 안전 정보, 유지보수 작업 이력, 자재정보, 자재 구매 요청 이력 등을 실시간으로 재난 관리 서버에 전송하는 댐 관리정보 공유단계를 포함함으로써, 대형 재난으로 이어질 수 있는 물 인프라의 철저한 사전 관리가 댐 관리업 종사자 및 재난관리본부와 같은 기관 상호간에 원활하게 수행되도록 할 수도 있을 것이다.In addition, the dam safety control step includes a dam management information sharing step of transmitting dam safety information, maintenance work history, material information, material purchase request history, etc. to the disaster management server in real time for cross-checking in advance of a disaster. It may be possible to ensure that thorough pre-management of water infrastructure that can lead to large-scale disasters is performed smoothly between dam management workers and organizations such as the Disaster Management Headquarters.
참고로, 상술된 바와 같은 3D 모델링 구축단계, 3D 모델링 가공단계, 3D 모델링 갱신단계, 콘크리트 균열 판별단계 및 댐 안전 관제단계는 각각 별개의 단말기나 서버를 통해 수행될 수도 있고, 아래에서와 같이 댐 통합 관리서버를 통해 일괄적으로 수행될 수도 있을 것이다.For reference, the 3D modeling construction step, 3D modeling processing step, 3D modeling update step, concrete crack identification step, and dam safety control step as described above may be performed through separate terminals or servers, respectively, and the dam as shown below It may be performed collectively through the integrated management server.
도 5는 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템을 개략적으로 도시한 도면이다.5 is a diagram schematically illustrating an integrated maintenance control system for 3D modeling-based dam safety management according to the present invention.
본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템은 기본적으로 댐 통합 관리서버 및 유지보수사 단말기를 포함하여 구성된다.The integrated maintenance control system for 3D modeling-based dam safety management according to the present invention is basically configured to include an integrated dam management server and a maintenance person terminal.
상기 댐 통합 관리서버는 일종의 웹서버, 데이터베이스 서버, 모바일 서버로서 역할을 하도록 구축될 수 있는데, 예를 들어 처리된 결과를 온라인 네트워크를 통해 웹페이지 상에서 보여주거나 필요한 입력 데이터를 웹페이지를 통해 전송받을 수 있고, 여기서 웹페이지는 단순한 텍스트, 이미지, 사운드, 동영상 등 이외에도 웹 어플리케이션과 같은 특정 작업을 수행하기 위한 소프트웨어를 포함하는 것으로 해석되어야 하며, 또한 데스크탑, 노트북, 스마트폰, 태블릿 PC 등에 설치되는 어플리케이션과 인터페이스를 제공하도록 구축될 수도 있다.The dam integrated management server can be built to serve as a kind of web server, database server, and mobile server, for example, to display the processed results on a web page through an online network or receive necessary input data to be transmitted through the web page. In addition to simple text, image, sound, video, etc., the web page should be interpreted as including software for performing a specific task, such as a web application, and an application installed on a desktop, laptop, smartphone, tablet PC, etc. It can also be built to provide an interface with
상기 유지보수사 단말기, 자재 공급사 단말기는 온라인 네트워크를 통해 댐 통합 관리서버에 접속하여 댐 유지보수 또는 유지보수에 필요한 자재 공급에 필요한 업무를 처리하도록 통신하게 되고, 이러한 유지보수사 단말기, 자재 공급사 단말기는 데스크탑, 태블릿, 넷북, PDA(personal digital assistant), PMP(portable multimedia player), 스마트폰, 웨어러블 스마트 기기 등의 다양한 통신 수단을 포함하는 것으로 해석되어야 하며, 웹 기반 또는 별도의 소프트웨어/어플리케이션 등을 통해 댐 통합 관리서버에서 제공하는 각종 기능을 실행할 수 있다.The maintenance person terminal and the material supplier terminal connect to the dam integrated management server through the online network and communicate to handle the work required for dam maintenance or supply of materials required for maintenance, such a maintenance person terminal and material supplier terminal should be interpreted as including various communication means such as desktop, tablet, netbook, PDA (personal digital assistant), PMP (portable multimedia player), smart phone, wearable smart device, etc., web-based or separate software/application, etc. Through this, various functions provided by the integrated dam management server can be executed.
또한, 본 발명에서 언급하는 온라인 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것이다.In addition, the online network referred to in the present invention may be a core network integrated with a wired public network, a wireless mobile communication network, or the portable Internet, and various services existing in the TCP/IP protocol and its upper layers, that is, Hyper Text Transfer (HTTP). Protocol), HTTPS (Hyper Text Transfer Protocol Secure), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), SMTP (Simple Mail Transfer Protocol), etc. , which is not limited to these examples and refers to a comprehensive data communication network capable of transmitting and receiving data in various forms.
이하에서는 상기 댐 통합 관리서버에 관련된 구체적인 사항에 대해 살펴보기로 한다.Hereinafter, details related to the integrated dam management server will be described.
도 6은 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 중 댐 통합 관리서버의 주요 구성요소를 도시한 도면이다.6 is a view showing the main components of the integrated dam management server in the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention.
<댐 통합 관리서버의 주요 구성요소, 기능 및 효과><Main components, functions and effects of integrated dam management server>
* 3D 모델링 구축모듈* 3D modeling building module
- 시설물에 계측수단이 설치된 댐에 대해 드론, 촬영수단 등이 촬영한 댐 이미지에 기초하여 3D 댐 모델링을 생성함- 3D dam modeling is created based on dam images taken by drones and photographing means for dams with measuring means installed in facilities
- 일례로 드론이 촬영한 이미지나 DSLR 카메라와 같은 촬영수단으로 촬영한 이미지를 연결하는 과정에서 중복되는 부분을 제외하면서 결합한 후 3D 댐 모델링으로 변환하도록 기능함- For example, it functions to convert images taken by drones or images taken with a shooting means such as a DSLR camera to 3D dam modeling after combining them while excluding overlapping parts in the process of linking them.
- 다른 예로 드론에 레이저 스캐너를 설치하여 비행 경로를 따라 댐에 레이저 빔을 주사하여 반사되는 빔의 방향 및 거리를 통해 댐 외형을 3차원 좌표상에 일정 간격으로 분포된 점들의 집합으로 나타내며, 댐 전체를 한 번에 스캐닝할 수는 없기 때문에 부분적으로 나누어 스캐닝한 정보를 하나의 좌표계로 합쳐 전체 또는 단위별 관리영역에 대한 3D 스캔 정보를 확보할 수 있고, 이러한 3D 스캔 정보의 Point Cloud 데이터를 3D 레퍼런스 데이터로 변환하여 전체적인 3D 댐 모델링을 생성할 수도 있음- As another example, a laser scanner is installed in a drone to scan a laser beam to the dam along the flight path, and the dam appearance is expressed as a set of points distributed at regular intervals on the three-dimensional coordinates through the direction and distance of the reflected beam. Since it is impossible to scan the entire area at once, the partially scanned information can be combined into one coordinate system to obtain 3D scan information for the entire or unit-by-unit management area, and the point cloud data of these 3D scan information can be 3D It can also be converted to reference data to create a full 3D dam model.
* 3D 모델링 가공모듈* 3D modeling processing module
- 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시킴- After subdividing the 3D dam modeling for each management area unit, the facility information for each unit and the measurement information of the measurement means are linked.
- 3D 댐 모델링상에 단위별로 관리영역을 구분하여 표시하게 되고, 그러한 관리영역에 존재하는 각종 댐 시설물에 대한 기본 제원, 유지관리/보수보강 이력, 위치 등과 같은 시설물 정보나 온도 측정기, 강우량계, 수위 측정기, 누수량계, 간극수압계, 양압력계 등과 같은 계측수단으로부터 전송되는 측정정보를 3D 댐 모델링에서 확인 가능하도록 표시하며, 계측수단이 IoT(Internet of Thing) 기능을 갖도록 하여 계측수단으로부터 수신한 측정정보를 3D 댐 모델링에 링크시켜 그 모델링에서 실시간으로 조회 가능하게 할 수 있음- In 3D dam modeling, the management area is divided and displayed for each unit, and facility information such as basic specifications, maintenance/reinforcement history, location, etc. for various dam facilities existing in the management area, temperature measuring instrument, rainfall meter, The measurement information transmitted from measurement means such as water level gauge, water leak gauge, pore water pressure gauge, and positive pressure gauge is displayed so that it can be checked in 3D dam modeling, and the measurement means received from the measurement means has the Internet of Thing (IoT) function. By linking measurement information to 3D dam modeling, the modeling can be viewed in real time
- 댐에 대해 스캔한 2D 도면을 3D로 변환하여 3D 댐 모델링에 연계시키거나 2D 도면 자체를 3D 댐 모델링에 링크시키고, 시설물 정보, 계측수단의 측정정보, 2D 도면 등의 정보를 핫 스팟 방식에 따라 3D 댐 모델링에 연계시켜 그 스팟을 클릭하는 것만으로 대응되는 정보만이 노출되도록 할 수 있음- Convert the 2D drawing scanned for the dam into 3D and link it to 3D dam modeling or link the 2D drawing itself to 3D dam modeling, and information such as facility information, measurement information of measurement means, and 2D drawings to the hot spot method Accordingly, by linking to 3D dam modeling, only the corresponding information can be exposed by clicking the spot.
* 3D 모델링 갱신모듈* 3D modeling update module
- 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 함(도 7 참조)- While continuously mapping the images taken by the drone to the 3D dam modeling, the 3D dam modeling before and after the mapping is compared and expressed so that the leakage or change of the dam can be checked (see Fig. 7)
- 3D 모델링 가공모듈을 거친 3D 댐 모델링에 드론이 촬영한 이미지나 인위적으로 촬영한 이미지를 수신하여 매핑시킨 다음 매핑 전후 3D 댐 모델링을 동기화시켜 경시 변화를 비교하여 표출하게 됨- The 3D dam modeling that has gone through the 3D modeling processing module receives and maps images taken by drones or artificially captured, and then synchronizes the 3D dam modeling before and after mapping to compare and express changes over time.
- 시설물 변형/변화를 분석할 수 있고, 열화상 카메라를 드론에 장착시켜 촬영한 이미지가 3D 모델링에 반영되도록 하여 그 모델링상에서 열화상 정사영상을 통해 댐의 누수 또는 백태를 확인할 수 있음- It is possible to analyze the deformation/change of the facility, and the image taken by attaching a thermal imaging camera to the drone is reflected in the 3D modeling.
* 콘크리트 균열 판별모듈* Concrete crack identification module
- 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별함- Determining concrete cracks by analyzing dam concrete structure images taken by drones using deep learning methods
- 콘크리트 균열 이미지에 대해 스케일은 동일하게 유지하면서 회전, 밝기 조절, 선명도 조절, 좌우반전, 상하반전 등의 방식에 따라 변형시키면서 그 변형된 복수개의 콘크리트 균열 이미지를 학습하여 콘크리트 균열을 판별하기 위한 학습 데이터를 강화시키게 되고, 이에 의해 적은 수의 학습 데이터, 즉 콘크리트 균열 이미지를 가지고도 많은 양의 학습 데이터를 취득할 수 있기 때문에 학습 모델의 정확도를 향상시킴- Learning to discriminate concrete cracks by learning a plurality of deformed concrete crack images while maintaining the same scale for concrete crack images and transforming them according to methods such as rotation, brightness control, sharpness control, left/right reversal, and vertical reversal Data is strengthened, thereby improving the accuracy of the training model because a large amount of training data can be acquired even with a small number of training data, that is, concrete crack images.
- 콘크리트 균열 이미지상의 노이즈를 제거한 다음으로 균열 길이, 폭을 추출할 수 있고, 노이즈를 제거하는 방식의 일례로는 블러링을 통해 부드럽게 이미지를 처리한 후 그레이스케일링 및 이진화 과정을 거쳐 흑백 상태에서 균열 부분만 뚜렷하게 식별되도록 이미지를 가공하는 것을 들 수 있음- After removing the noise on the concrete crack image, the crack length and width can be extracted. As an example of a method of removing noise, the image is smoothed through blurring, then grayscaled and binarized, and then cracked in a black and white state. For example, processing the image so that only parts are clearly identified.
* 댐 안전 관제모듈* Dam safety control module
- 시설물 정보/계측수단의 측정정보/댐의 누수 정보/댐의 백태 변화 정보/ 콘크리트 균열 정보 등의 댐 안전 정보를 수신하여 저장함- Receives and stores dam safety information such as facility information/measurement information/dam leakage information/dam change information/concrete crack information
- 댐 안전 정보를 통해 문제점이 확인되어 유지보수가 필요한 경우 댐 안전 정보 및 유지보수 작업 지시를 유지보수사 단말기로 전송함으로써 신속한 대응이 진행되도록 함- When a problem is identified through the dam safety information and maintenance is required, the dam safety information and maintenance work instruction are transmitted to the maintenance person terminal so that a prompt response is carried out.
- 유지보수사 단말기로부터 유지보수 작업에 필요한 자재정보를 수신하고, 자재 공급사 단말기에 해당 자재정보를 전송하면서 구매 요청을 할 수도 있음- A purchase request can be made while receiving the material information required for maintenance work from the maintenance person's terminal and transmitting the material information to the material supplier's terminal
- 재난 발생 사전 크로스 점검을 위해 댐 안전 정보, 유지보수 작업 이력, 자재정보, 자재 구매 요청 이력 등을 실시간으로 재난 관리 서버에 전송하여 대형 재난으로 이어질 수 있는 물 인프라의 철저한 사전 관리를 함께 수행하도록 기능함- For cross-checking in advance of a disaster, dam safety information, maintenance work history, material information, and material purchase request history are transmitted to the disaster management server in real time to perform thorough pre-management of water infrastructure that can lead to large-scale disasters. functioned
* 누수량 예측모듈* Leakage prediction module
- 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하고 예측된 누수량 정보를 유지보수사 단말기, 재난 관리 서버에 전송함- From the measurement information of the measuring means, data related to the amount of water leakage is extracted, the amount of water leakage is predicted by machine learning, and the information about the amount of water leakage is transmitted to the maintenance manager terminal and disaster management server.
- 계측수단에 의해 수신 가능한 강우량, 수위, 누수량, 간극수압, 양압력 등과 같은 누수량과 연관된 데이터를 지속적으로 학습하여 누수량을 예측하게 되며, 이에 따라 댐 안전 데이터 추출 과정을 지능화시켜 해당 예측 정보의 시각화/직관화까지 용이하게 수행할 수 있음- The amount of water leakage is predicted by continuously learning the data related to the amount of water leakage, such as rainfall, water level, water leakage, pore water pressure, and positive pressure, which can be received by the measuring means. /Intuition can be easily performed
- 계측수단으로부터 수집한 측정정보로부터 누수와 관련된 데이터를 데이터 마이닝에 의해 선별 후 학습에 적합하도록 전처리 과정을 수행하고, 누수량 예측 모델의 정확도 향상을 위한 성능 비교를 통해 학습 모델을 선정한 다음 매개변수 조정을 통해 그 학습 모델을 최적화하며, 성능 검증을 위해 실측값과 예측값의 정확도를 비교하여 최종적인 누수량 예측 모델을 설정함으로써 인공 지능에 의한 누수량 예측이 가능함- From the measurement information collected from the measurement means, the data related to leakage is selected by data mining, then preprocessed to be suitable for learning, and the learning model is selected through performance comparison to improve the accuracy of the leak prediction model, and then the parameters are adjusted It optimizes the learning model through
참고로, 상기 누수량 예측모듈에 적용 가능한 기계학습 알고리즘으로는 다음과 같은 것들이 있다.For reference, machine learning algorithms applicable to the leak prediction module include the following.
1. 서포트 백터 머신1. Support Vector Machine
- 기본적으로 이진 분류 문제를 해결하기 위해 설계됨- Basically designed to solve binary classification problems
- 선형 분류와 더불어 비선형 분류에서도 사용 가능- Can be used for non-linear classification as well as linear classification
- 학습된 각 모드마다 이진 분류를 통해 유효 고유진동수의 추출이 가능함- It is possible to extract the effective natural frequency through binary classification for each learned mode
2. 나이브 베이즈 분류2. Naive Bayes Classification
- 특성들 사이의 독립을 가정하는 베이즈 정리를 적용항 확률 분류기의 일종- A type of probability classifier that applies Bayes theorem that assumes independence between features
- 서포트 벡터 머신과 마찬가지로 각 모드마다 학습된 고유 진동수를 이용함Like the support vector machine, it uses the natural frequencies learned for each mode.
- 이진 분류를 통해 고유 진동수를 추출함- Extract natural frequencies through binary classification
3. 의사결정트리3. Decision tree
- 입력 변수에 대해 목표 변수의 값을 에측하는 모델 생성을 목표로 함- Aims to create a model that predicts the value of the target variable for the input variable
- 출력 변수가 연속형인 회귀모형에서는 예측력이 저하되는 단점이 있음- Regression models with continuous output variables have a disadvantage in that predictive power is lowered.
4. 인공신경망4. Artificial Neural Network
- 함수 추론, 회귀 분석, 시계열 예측, 근사 모델링- Function inference, regression analysis, time series prediction, approximate modeling
- 패턴 인식, 순서 인식, 순차 결정 같은 분류 알고리즘- Classification algorithms such as pattern recognition, sequence recognition, and sequential decision
도 8은 AR 기능을 연계한 본 발명에 따른 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템 구조의 일례를 도시한 도면이다.8 is a view showing an example of the structure of the integrated maintenance control system for 3D modeling-based dam safety management according to the present invention in connection with the AR function.
또한, 본 발명은 댐 통합 관리서버와 연동하여 3D 댐 모델링, 시설물 정보, 계측수단의 측정정보 중 적어도 어느 하나 이상을 표출 가능한 AR(Augmented Reality) 글래스를 더 포함할 수 있으며, 이를 통해 시각적/직관적 현장 관리 업무 지원 등 다양한 용도로 AR 글래스를 활용할 수 있으며, 예를 들어 도 8에서와 같이 현장 점검/진단 시 본 발명을 통해 구축된 플랫폼에 의해 콘크리트 댐체, 여수로, 필댐체, 양안부 등 주요 시설물의 기본 제원, 유지관리, 보수보강 정보나 누수량계, 간극수압계, 양압력계 등 주요 계측수단에 대한 물리적 의미/안전 범위/위치정보 등이 AR 글래스에 표출되도록 할 수 있을 것이다.In addition, the present invention may further include AR (Augmented Reality) glasses capable of displaying at least any one or more of 3D dam modeling, facility information, and measurement information of a measurement means in conjunction with the dam integrated management server, through which the visual / intuitive AR glasses can be used for various purposes such as support for on-site management work, and for example, during on-site inspection/diagnosis as shown in FIG. It will be possible to display basic specifications, maintenance, repair and reinforcement information of facilities, and physical meaning/safety range/location information about major measurement means such as leak meter, pore water pressure gauge, and positive pressure gauge on AR glasses.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.In the above description of the present invention with reference to the accompanying drawings, a specific shape and direction have been mainly described, but the present invention can be variously modified and changed by those skilled in the art, and such modifications and changes are included in the scope of the present invention. should be interpreted as
Claims (7)
상기 댐 이미지 촬영단계를 통해 마련된 댐 이미지에 기초하여 3D 댐 모델링을 생성하는 3D 모델링 구축단계와;
상기 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시키는 3D 모델링 가공단계와;
상기 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 갱신단계와;
상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하는 콘크리트 균열 판별단계와;
상기 시설물 정보, 계측수단의 측정정보, 댐의 누수 정보, 댐의 백태 변화 정보 및 콘크리트 균열 정보 중 적어도 어느 하나 이상의 댐 안전 정보를 수신하여 저장하고 필요에 따라 댐 안전 정보를 유지보수사 단말기로 전송하면서 유지보수 작업을 지시하기 위한 댐 안전 관제단계;를 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법.
a dam image capturing step of photographing a dam in which at least one of a drone and a photographing means is installed with a measuring means in a facility;
a 3D modeling construction step of generating 3D dam modeling based on the dam image prepared through the dam image taking step;
a 3D modeling processing step of subdividing the 3D dam modeling for each management area unit and linking the facility information for each unit and the measurement information of the measurement means;
a 3D modeling update step of continuously mapping the image taken by the drone to the 3D dam modeling and comparing and expressing the 3D dam modeling before and after mapping to check the leakage or change of the dam of the dam;
a concrete crack discrimination step of determining concrete cracks by analyzing the dam concrete structure image taken by the drone in a deep learning method;
Receives and stores dam safety information of at least any one of the facility information, measurement information of measuring means, dam leakage information, dam change information, and concrete crack information, and transmits dam safety information to the maintenance person terminal as necessary Integrated maintenance control method for dam safety management based on 3D modeling, comprising a; dam safety control step for instructing maintenance work while doing.
상기 3D 모델링 갱신단계는 3D 댐 모델링을 가상 현실 또는 증강 현실 상태에서 확인 가능하도록 변환하여 제3자 단말기에 제공하기 위한 3D 모델링 변환단계를 더 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법.
The method according to claim 1,
3D modeling-based dam safety management, characterized in that the 3D modeling update step further comprises a 3D modeling conversion step for converting 3D dam modeling to be confirmed in virtual reality or augmented reality state and providing it to a third-party terminal Integrated maintenance control method.
상기 댐 안전 관제단계는 유지보수사 단말기로부터 유지보수 작업에 필요한 자재정보를 수신하고, 자재 공급사 단말기에 해당 자재정보를 전송하면서 구매 요청하는 자재 구매요청 단계를 더 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법.
The method according to claim 1,
The dam safety control step further comprises a material purchase request step of receiving material information required for maintenance work from a maintenance company terminal, and requesting a purchase while transmitting the material information to the material supplier terminal 3D modeling based An integrated maintenance control method for dam safety management.
상기 댐 안전관제 단계는 재난 발생 사전 크로스 점검을 위해 댐 안전 정보, 유지보수 작업 이력, 자재정보 및 구매 요청 이력 중 적어도 어느 하나 이상을 재난 관리 서버에 전송하는 댐 관리정보 공유단계를 더 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법.
3. The method according to claim 2,
The dam safety control step further includes a dam management information sharing step of transmitting at least any one or more of dam safety information, maintenance work history, material information, and purchase request history to the disaster management server for cross-checking in advance of a disaster. An integrated maintenance control method for dam safety management based on 3D modeling characterized.
시설물에 계측수단이 설치된 댐에 대해 드론 및 촬영수단 중 적어도 어느 하나 이상이 촬영한 댐 이미지에 기초하여 3D 댐 모델링을 생성하기 위한 3D 모델링 구축모듈과,
상기 3D 댐 모델링을 관리영역 단위별로 세분화한 후 해당 단위별 시설물 정보 및 계측수단의 측정정보를 링크시키기 위한 3D 모델링 가공모듈과,
상기 드론이 촬영한 이미지를 지속적으로 3D 댐 모델링에 매핑하면서 매핑 전후 3D 댐 모델링을 비교 표출하여 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 갱신모듈과,
상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈과,
상기 시설물 정보, 계측수단의 측정정보, 댐의 누수 정보, 댐의 백태 변화 정보 및 콘크리트 균열 정보 중 적어도 어느 하나 이상의 댐 안전 정보를 수신하여 저장하는 댐 안전 관제모듈을 구비하는,
댐 통합 관리서버와;
상기 댐 통합 관리서버로부터 댐 안전 정보 및 유지보수 작업 지시를 수신하기 위한 유지보수사 단말기;를 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템.
As a server for dam maintenance,
A 3D modeling building module for generating 3D dam modeling based on the dam image taken by at least one of a drone and a photographing means for a dam in which a measuring means is installed in the facility;
A 3D modeling processing module for subdividing the 3D dam modeling for each management area unit and linking the facility information for each unit and the measurement information of the measurement means;
A 3D modeling update module that continuously maps the image taken by the drone to 3D dam modeling, and compares and expresses the 3D dam modeling before and after mapping to check the leakage or change of the dam of the dam;
A concrete crack identification module for determining concrete cracks by analyzing the dam concrete structure image taken by the drone in a deep learning method;
A dam safety control module for receiving and storing at least one dam safety information of the facility information, measurement information of the measuring means, leakage information of the dam, change information of the dam and concrete crack information,
a dam integrated management server;
3D modeling-based integrated maintenance control system for dam safety management comprising a; a maintenance operator terminal for receiving dam safety information and maintenance work instructions from the dam integrated management server.
상기 댐 통합 관리서버와 연동하여 3D 댐 모델링, 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표출 가능한 AR(Augmented Reality) 글래스를 더 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템.
6. The method of claim 5,
3D modeling-based dam safety management, characterized in that it further comprises AR (Augmented Reality) glass capable of displaying at least one of 3D dam modeling, facility information, and measurement information of measurement means in conjunction with the dam integrated management server Integrated maintenance control system.
상기 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하고 예측된 누수량 정보를 유지보수사 단말기 및 재난 관리 서버 중 적어도 어느 하나에 전송하기 위한 누수량 예측모듈을 더 포함하는 것을 특징으로 하는 3D 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 시스템.
6. The method of claim 5,
Extracting data related to the amount of water leakage from the measurement information of the measuring means, predicting the amount of water leakage by machine learning, and transmitting the predicted amount of water leakage information to at least one of a maintenance person terminal and a disaster management server, further comprising a water leakage prediction module 3D modeling-based integrated maintenance control system for dam safety management, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030740A KR102423579B1 (en) | 2020-03-12 | 2020-03-12 | Integral maintenance control method and system for managing dam safety based on 3d modelling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030740A KR102423579B1 (en) | 2020-03-12 | 2020-03-12 | Integral maintenance control method and system for managing dam safety based on 3d modelling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210115246A true KR20210115246A (en) | 2021-09-27 |
| KR102423579B1 KR102423579B1 (en) | 2022-07-20 |
Family
ID=77926069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200030740A KR102423579B1 (en) | 2020-03-12 | 2020-03-12 | Integral maintenance control method and system for managing dam safety based on 3d modelling |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102423579B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677601A (en) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | Dam crack detection method based on unmanned aerial vehicle inspection and combined with deep learning |
| KR20220107540A (en) * | 2021-01-25 | 2022-08-02 | 주식회사 코매퍼 | Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof |
| KR20230056192A (en) * | 2021-10-20 | 2023-04-27 | 주식회사 큐에스 | Method and apparatus for updating 3D model of object in virtual space |
| CN116205634A (en) * | 2023-03-17 | 2023-06-02 | 水利部交通运输部国家能源局南京水利科学研究院 | Reservoir dam maintenance information extraction method |
| KR102571981B1 (en) * | 2023-05-24 | 2023-08-30 | 주식회사 엘에스엠케이 | Facilities Inspection and Maintenance System based on Augmented Reality |
| CN117095363A (en) * | 2023-10-20 | 2023-11-21 | 安能三局(成都)工程质量检测有限公司 | Dam safety monitoring method |
| CN117172511A (en) * | 2023-11-02 | 2023-12-05 | 山东建勘集团有限公司 | Intelligent engineering measurement facility management method and system based on Internet of things |
| CN117249801A (en) * | 2023-09-21 | 2023-12-19 | 深圳市水务工程检测有限公司 | Dam deformation monitoring management system and method based on big data |
| CN117433480A (en) * | 2023-10-17 | 2024-01-23 | 广州蓝图地理信息技术有限公司 | High-precision position real-time dynamic monitoring and early warning system and method based on remote sensing monitoring |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0589211A (en) * | 1991-09-27 | 1993-04-09 | Haseko Corp | Integrated production managing system for building |
| KR100773393B1 (en) | 2005-08-20 | 2007-11-06 | 한국건설기술연구원 | Real-time Monitoring System and Method for DAM |
| KR20130101202A (en) * | 2012-03-05 | 2013-09-13 | 성균관대학교산학협력단 | Method for visualization safety diagnosis information based augmented reality of bridge structure and system thereof |
| KR20160078605A (en) * | 2014-12-24 | 2016-07-05 | 충남대학교산학협력단 | Method for forecasting household water demand and detecting water leakage based on complex event processing and machine learning |
| KR20170067373A (en) * | 2015-12-08 | 2017-06-16 | 가톨릭대학교 산학협력단 | System and Method for Extracting Automatically 3D Object Based on Drone Photograph Image |
| KR20170074411A (en) | 2015-12-22 | 2017-06-30 | 전자부품연구원 | Debris Barrier Safety Monitoring Method and System based on Single Camera with Multi-Sensor |
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
| KR20190066789A (en) * | 2017-12-06 | 2019-06-14 | 서울시립대학교 산학협력단 | image-based concrete crack assessment system using deep learning |
| KR102008175B1 (en) * | 2019-01-31 | 2019-08-07 | (주)다음기술단 | Dam damage inspection method using drone for inspection and diagnosis |
-
2020
- 2020-03-12 KR KR1020200030740A patent/KR102423579B1/en active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0589211A (en) * | 1991-09-27 | 1993-04-09 | Haseko Corp | Integrated production managing system for building |
| KR100773393B1 (en) | 2005-08-20 | 2007-11-06 | 한국건설기술연구원 | Real-time Monitoring System and Method for DAM |
| KR20130101202A (en) * | 2012-03-05 | 2013-09-13 | 성균관대학교산학협력단 | Method for visualization safety diagnosis information based augmented reality of bridge structure and system thereof |
| KR20160078605A (en) * | 2014-12-24 | 2016-07-05 | 충남대학교산학협력단 | Method for forecasting household water demand and detecting water leakage based on complex event processing and machine learning |
| KR20170067373A (en) * | 2015-12-08 | 2017-06-16 | 가톨릭대학교 산학협력단 | System and Method for Extracting Automatically 3D Object Based on Drone Photograph Image |
| KR20170074411A (en) | 2015-12-22 | 2017-06-30 | 전자부품연구원 | Debris Barrier Safety Monitoring Method and System based on Single Camera with Multi-Sensor |
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
| KR20190066789A (en) * | 2017-12-06 | 2019-06-14 | 서울시립대학교 산학협력단 | image-based concrete crack assessment system using deep learning |
| KR102008175B1 (en) * | 2019-01-31 | 2019-08-07 | (주)다음기술단 | Dam damage inspection method using drone for inspection and diagnosis |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220107540A (en) * | 2021-01-25 | 2022-08-02 | 주식회사 코매퍼 | Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof |
| KR20230056192A (en) * | 2021-10-20 | 2023-04-27 | 주식회사 큐에스 | Method and apparatus for updating 3D model of object in virtual space |
| CN114677601A (en) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | Dam crack detection method based on unmanned aerial vehicle inspection and combined with deep learning |
| CN116205634A (en) * | 2023-03-17 | 2023-06-02 | 水利部交通运输部国家能源局南京水利科学研究院 | Reservoir dam maintenance information extraction method |
| KR102571981B1 (en) * | 2023-05-24 | 2023-08-30 | 주식회사 엘에스엠케이 | Facilities Inspection and Maintenance System based on Augmented Reality |
| CN117249801A (en) * | 2023-09-21 | 2023-12-19 | 深圳市水务工程检测有限公司 | Dam deformation monitoring management system and method based on big data |
| CN117433480A (en) * | 2023-10-17 | 2024-01-23 | 广州蓝图地理信息技术有限公司 | High-precision position real-time dynamic monitoring and early warning system and method based on remote sensing monitoring |
| CN117095363A (en) * | 2023-10-20 | 2023-11-21 | 安能三局(成都)工程质量检测有限公司 | Dam safety monitoring method |
| CN117095363B (en) * | 2023-10-20 | 2024-01-26 | 安能三局(成都)工程质量检测有限公司 | Dam safety monitoring method |
| CN117172511A (en) * | 2023-11-02 | 2023-12-05 | 山东建勘集团有限公司 | Intelligent engineering measurement facility management method and system based on Internet of things |
| CN117172511B (en) * | 2023-11-02 | 2024-01-16 | 山东建勘集团有限公司 | Intelligent engineering measurement facility management method and system based on Internet of things |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102423579B1 (en) | 2022-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102423579B1 (en) | Integral maintenance control method and system for managing dam safety based on 3d modelling | |
| KR102423561B1 (en) | Intelligent dam management system based on digital twin | |
| Elghaish et al. | Toward digitalization in the construction industry with immersive and drones technologies: a critical literature review | |
| Reja et al. | Computer vision-based construction progress monitoring | |
| Lin et al. | Bridge inspection with aerial robots: Automating the entire pipeline of visual data capture, 3D mapping, defect detection, analysis, and reporting | |
| Khallaf et al. | Classification and analysis of deep learning applications in construction: A systematic literature review | |
| Han et al. | Geometry-and appearance-based reasoning of construction progress monitoring | |
| Omer et al. | Use of gaming technology to bring bridge inspection to the office | |
| Xu et al. | BrIM and UAS for bridge inspections and management | |
| WO2021092397A1 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| US11893538B1 (en) | Intelligent system and method for assessing structural damage using aerial imagery | |
| Lattanzi et al. | 3D scene reconstruction for robotic bridge inspection | |
| KR102536822B1 (en) | 3D digital twin dam safety management system and method using 3D modeling | |
| Catbas et al. | A review of latest trends in bridge health monitoring | |
| Kong et al. | Vision‐aided three‐dimensional damage quantification and finite element model geometric updating for reinforced concrete structures | |
| Talebi et al. | The development of a digitally enhanced visual inspection framework for masonry bridges in the UK | |
| EP3966728A1 (en) | Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques | |
| Chen et al. | GIS-based information system for automated building façade assessment based on unmanned aerial vehicles and artificial intelligence | |
| Ottoni et al. | Deep Learning for vision systems in Construction 4.0: A systematic review | |
| Park et al. | A framework for improving object recognition of structural components in construction site photos using deep learning approaches | |
| KR20230056006A (en) | Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof | |
| Nepomuceno et al. | A survey of emerging technologies for the future of routine visual inspection of bridge structures | |
| Boxall | Using Digital Twin technology to improve inspection methods of high risk assets | |
| Neeli | Use of photogrammetry aided damage detection for residual strength estimation of corrosion damaged prestressed concrete bridge girders | |
| Yan et al. | Digital twin in transportation infrastructure management: a systematic review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |