KR20230127511A - Real-time evaluation system and method of rock state based on tunnel face image by using deep learning - Google Patents

Real-time evaluation system and method of rock state based on tunnel face image by using deep learning Download PDF

Info

Publication number
KR20230127511A
KR20230127511A KR1020220024901A KR20220024901A KR20230127511A KR 20230127511 A KR20230127511 A KR 20230127511A KR 1020220024901 A KR1020220024901 A KR 1020220024901A KR 20220024901 A KR20220024901 A KR 20220024901A KR 20230127511 A KR20230127511 A KR 20230127511A
Authority
KR
South Korea
Prior art keywords
image
deep learning
unit
tunnel
bedrock
Prior art date
Application number
KR1020220024901A
Other languages
Korean (ko)
Inventor
윤태섭
김예진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020220024901A priority Critical patent/KR20230127511A/en
Publication of KR20230127511A publication Critical patent/KR20230127511A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 연산기능을 가진 제어서버(10) 및 데이터베이스(20)에 의해 수행되는 이미지 기반 실시간 암반상태 평가시스템으로서, 제어서버(10)는 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 데이터 수집부(100); 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 데이터 전처리부(200); 및 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 딥러닝 모델 학습부(300);를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템이다.The present invention is an image-based real-time bedrock state evaluation system performed by a control server 10 having an arithmetic function and a database 20. collection unit 100; a data pre-processing unit 200 for pre-processing the on-site tunnel membrane scene image and extracting information including RMR measurement values from the bedrock condition observation site; And a deep learning model learning unit 300 that sets a backbone network, learns a deep learning model in which a regression model unit is coupled to the backbone network, and calculates an RMR predicted value; It is an image-based real-time bedrock state evaluation system.

Description

딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템 및 평가방법{Real-time evaluation system and method of rock state based on tunnel face image by using deep learning}Real-time evaluation system and method of rock state based on tunnel face image by using deep learning}

본 발명은 암반상태 평가시스템 및 평가방법에 관한 것이다. 구체적으로는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템 및 평가방법에 관한 것이다.The present invention relates to a rock mass state evaluation system and evaluation method. Specifically, it relates to a real-time bedrock state evaluation system and evaluation method based on tunnel membrane scene images using deep learning.

NATM(New Austrian Tunneling Method) 터널 공법은 암반 터널 시공에 있어서 굴착과 지보 패턴 결정의 기본적인 개념을 체계화한 것으로, 암반 자체 원지반의 지지력을 주요한 지보재로 이용하여 락볼트(Rock bolt), 숏크리트(Shotcrete), 지보재 등에 의해 지반을 안정시키거나 굴착면 인근 강도를 보강하여 암질이 연약한 부위에서도 효과적으로 공사를 수행할 수 있다. The NATM (New Austrian Tunneling Method) tunnel construction method systematizes the basic concept of excavation and support pattern determination in rock tunnel construction. By stabilizing the ground or reinforcing the strength near the excavation surface with support materials, etc., construction can be carried out effectively even in areas with weak rock quality.

NATM 공법을 이용한 터널 공정은 지질조사 데이터를 기반으로 지보 형태를 결정하고 굴착을 수행하며, 암질의 유형에 따라 락볼트의 길이 및 숏크리트의 두께가 결정된다. 또한, 발파에 의한 굴착이 진행됨에 따라 계속적으로 지반 거동을 측정하여 안전성을 판단할 수 있으며 굴착에 따른 주변 지반의 변형을 억제할 수 있다는 장점이 있다. In the tunnel process using the NATM method, the support type is determined based on geological survey data and excavation is performed, and the length of the rock bolt and the thickness of the shotcrete are determined according to the type of rock. In addition, as the excavation by blasting proceeds, the ground behavior can be continuously measured to determine safety, and there is an advantage in that deformation of the surrounding ground due to excavation can be suppressed.

그러나 국내 터널 시공 중에 발생한 유형별 사고를 조사한 결과 암판정에 의한 의사결정과 밀접한 연관이 있으며, 전체 사고 중 약 77.8%가 해당하는 것으로 조사되었다. 해외에서도 NATM 터널의 붕괴사고 대부분이 굴진면 부근의 지반조건과 밀접한 관련이 있었으며, 이는 정확하고 신속한 굴진면 지질조사가 중요함을 의미한다.However, as a result of investigating accidents by type that occurred during tunnel construction in Korea, it was found that they were closely related to decision-making by cancer determination, and about 77.8% of all accidents occurred. Most of the collapse accidents of NATM tunnels abroad were closely related to the ground conditions near the excavation surface, which means that accurate and rapid geological investigation of the excavation surface is important.

불균질성 및 이방성 지반을 대상으로 수행하는 터널 시공 시에는 충분한 사전 지반 조사가 필수적이나 설계 시의 지반 조사만으로 암반의 모든 특성을 파악하기 어렵다. 따라서 시공 중 RMR법 혹은 Q-system과 같은 암반 분류법으로 암반 특성을 파악하고 보강하며 굴진을 수행해야 한다. Sufficient preliminary ground investigation is essential when constructing tunnels for heterogeneous and anisotropic ground, but it is difficult to grasp all characteristics of the rock mass only by ground investigation at the time of design. Therefore, during construction, rock mass characteristics must be identified, reinforced, and excavated using a rock mass classification method such as the RMR method or Q-system.

터널 굴착 시공 시에는 주로 RMR(Rock Mass Rating)법, Q-system, GSI 등 기존 기준을 준용하여 막장면의 암반등급을 예측하거나 암반의 암질을 정량적으로 평가하여 지보 설계, 암반의 강도 및 변형계수 등을 추정하고 있다.In tunnel excavation construction, the existing standards such as the RMR (Rock Mass Rating) method, Q-system, and GSI are mainly applied to predict the rock grade of the face, or to quantitatively evaluate the rock quality of the rock mass to design the support, the strength and deformation coefficient of the rock mass etc. are estimated.

발파에 의한 터널(즉, NATM 터널) 시공 시에 주로 사용되는 RMR 분류법은 Q-system과 함께 록볼트와 숏크리트 같은 터널 보강재의 보강량을 정량적으로 결정할 수 있는 근거를 제공한다. The RMR classification method, which is mainly used in the construction of tunnels by blasting (ie, NATM tunnels), together with the Q-system, provides a basis for quantitatively determining the amount of reinforcement for tunnel reinforcing materials such as rock bolts and shotcrete.

RMR 분류법은 현장조사 및 실내시험을 통해 구할 수 있는 5가지 항목(암석의 일축압축강도, RQD, 불연속면의 간격, 불연속면의 상태, 그리고 지하수 상태)에 대한 각 점수를 합산하고 1가지 항목(불연속면의 방향성)에 따른 보정을 적용한 최종 RMR값에 따라 암반을 5개의 암반등급으로 분류하고 평가한다. The RMR classification method adds up each score for 5 items (uniaxial compressive strength of rock, RQD, spacing of discontinuous surfaces, condition of discontinuous surfaces, and groundwater condition) that can be obtained through field surveys and indoor tests, and adds one item (of discontinuous surfaces). According to the final RMR value applied with correction according to directionality), the rock mass is classified into 5 rock mass classes and evaluated.

도 2는 RMR 분류법 평가항목 및 평점의 일 예시이다.2 is an example of RMR classification evaluation items and ratings.

그러나, 기존의 RMR 분류법은 한정된 정보로 암반을 평가해야 할 뿐만 아니라 기존의 막장면 관찰(Face mapping)은 전문기술자의 주관적이고 경험적인 판단에 전적으로 의존한다는 단점이 있다.However, the existing RMR classification method has disadvantages in that it is necessary to evaluate the rock mass with limited information, and the existing face mapping method is completely dependent on the subjective and empirical judgment of an expert technician.

즉, 터널막장면 내 드러난 불연속면을 모두 파악하고 그 길이와 방향성에 대해 정성적 스케치 및 정량적 평가를 수행하는 일은 조사자의 숙련도와 경험으로 크게 좌우될 수밖에 없다. In other words, grasping all discontinuities revealed in the tunnel face and performing qualitative sketches and quantitative evaluations on their lengths and directions is highly dependent on the skill and experience of the investigator.

조사선법과 조사창법 등 암반에서의 불연속면 특징을 더욱 정확하게 얻어내는 방법들이 제안되었으나 조사 시간이 오래 걸리는 단점으로 인해 터널 굴착 현장에서 사용하기에는 여전히 어려움이 있다. Methods such as the survey line method and the survey window method have been proposed to more accurately obtain the characteristics of discontinuities in rock mass, but they are still difficult to use at tunnel excavation sites due to the disadvantage of taking a long survey time.

특히 실제 현장에서는 발파 직후 페이스맵핑에 많은 시간을 할애할 수 없으므로 신속하면서도 정확한 터널막장면 암반 평가법이 요구되고 있는 실정이다.In particular, since it is not possible to spend a lot of time on face mapping immediately after blasting in an actual site, a rapid and accurate tunnel face bedrock evaluation method is required.

(문헌 1) 한국등록특허공보 제10-1772916호 (2017.08.24)(Document 1) Korea Patent Registration No. 10-1772916 (2017.08.24)

본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템 및 평가방법은 다음과 같은 해결과제를 가진다.The real-time bedrock state evaluation system and evaluation method based on tunnel membrane scene images using deep learning according to the present invention have the following problems.

첫째, 합성곱신경망(CNN) 기반 딥러닝 모델을 구축하여 실시간 터널막장면 관찰을 통해 암반상태를 평가하는 기술을 제안하고자 한다.First, a convolutional neural network (CNN)-based deep learning model is built to propose a technique for evaluating bedrock conditions through real-time tunnel membrane scene observation.

둘째, 딥러닝 모델 학습 및 테스트에 사용되는 터널막장면의 디지털 이미지 변형에 따른 RMR값 예측 기여 구간 시각화 및 최적 결과를 제안하고자 한다.Second, we would like to propose visualization and optimal results of the RMR value prediction contribution interval according to the digital image transformation of the tunnel membrane scene used for deep learning model learning and testing.

셋째, 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델을 제시하여, 정량화된 RMR 예측값을 산출하고자 한다.Third, we propose a deep learning model in which the backbone network and the regression model are combined to calculate a quantified RMR prediction value.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The problems of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

본 발명은 연산기능을 가진 제어서버 및 데이터베이스에 의해 수행되는 이미지 기반 실시간 암반상태 평가시스템으로서, 제어서버는 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 데이터 수집부; 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 데이터 전처리부; 및 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 딥러닝 모델 학습부;를 포함할 수 있다.The present invention is an image-based real-time bedrock state evaluation system performed by a control server having an arithmetic function and a database. a data pre-processing unit that pre-processes the on-site tunnel membrane scene image and extracts information including RMR measurement values from the bedrock state observation site; and a deep learning model learning unit configured to set a backbone network, learn a deep learning model in which a regression model unit is coupled to the backbone network, and calculate an RMR predicted value.

본 발명에 있어서, 상기 데이터 수집부에서 수집된 암반상태 관찰지는 상기 현장 터널막장면 이미지에 대응되도록 기 작성된 것이며, RMR 분류에 의한 RMR 측정값 및 암반등급 정보가 포함될 수 있다.In the present invention, the rock mass state observation points collected by the data collection unit are prepared in advance to correspond to the on-site tunnel membrane scene image, and may include RMR measurement values and rock mass grade information by RMR classification.

본 발명에 있어서, 상기 데이터 전처리부는 상기 터널막장면 이미지를 정제하고, 정제된 이미지를 추출하는 이미지 전처리부 및 상기 암반상태 관찰지에 기록된 정보를 추출하는 관찰지 추출부를 포함할 수 있다.In the present invention, the data pre-processing unit may include an image pre-processing unit for refining the tunnel membrane scene image and extracting the refined image, and an observation area extraction unit for extracting information recorded on the bedrock condition observation sheet.

본 발명에 있어서, 상기 이미지 전처리부는 원본 이미지에서, 기 설정된 기준 이하로 불선명한 부분이 제거된 제1차 전처리 이미지를 추출할 수 있다.In the present invention, the image pre-processing unit may extract a first pre-processed image from which an unclear portion below a predetermined standard is removed from the original image.

본 발명에 있어서, 상기 이미지 전처리부는 상기 제1차 전처리 이미지에서, 막장면 암반상태 평가와 무관하다고 기 설정된 요소가 추가제거된 제2차 전처리 이미지를 추출할 수 있다.In the present invention, the image pre-processing unit may extract a second pre-processed image from which elements previously set to be irrelevant to the bedrock state evaluation are additionally removed from the first pre-processed image.

본 발명에 있어서, 상기 이미지 전처리부는 상기 제2차 전처리 이미지에서, 추가제거된 부분이 막장면 정보를 이용하여 복원 또는 재생성된 제3차 전처리 이미지를 추출할 수 있다.In the present invention, the image pre-processing unit may extract a tertiary pre-processing image in which the additionally removed portion from the second pre-processing image is restored or regenerated using scene information.

본 발명에 있어서, 상기 딥러닝 모델 학습부는 전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 백본 네트워크부; 상기 백본 네트워크에 회귀모델이 추가결합되는 회귀모델부; 및 상기 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델학습을 하는 최적화부를 포함할 수 있다.In the present invention, the deep learning model learning unit includes a backbone network unit that sets up a pre-trained CNN-based backbone network using transfer learning; a regression model unit in which a regression model is additionally coupled to the backbone network; and an optimization unit that inputs a face dataset to a deep learning model in which the backbone network and the regression model are combined, and performs deep learning model learning by adjusting hyperparameters.

본 발명에 있어서, 상기 백본 네트워크부는 1차 입력된 터널 막장면 이미지에 잠재된 고유 특징정보를 1차 출력값으로 추출할 수 있다.In the present invention, the backbone network unit may extract latent unique feature information of a firstly input tunnel scene image as a first output value.

본 발명에 있어서, 상기 백본 네트워크는 EfficientNet-b4 이며, 이미지넷(ImageNet) 데이터셋에서 사전훈련된 가중치로 상기 백본 네트워크 가중치를 초기화한 후, 미세조정(fine-tuning)방식으로 터널 막장면 데이터셋에 대해 재학습을 할 수 있다.In the present invention, the backbone network is EfficientNet-b4, and after initializing the backbone network weights with weights pretrained in the ImageNet dataset, fine-tuning method is used to set the tunnel face dataset. can be re-learned.

본 발명에 있어서, 상기 회귀모델부는 상기 백본 네트워크부에서 추출된 고유 특징정보를 2차 입력값으로 하여, 정량적인 RMR 예측값을 2차 출력값으로 산출할 수 있다.In the present invention, the regression model unit may calculate a quantitative RMR prediction value as a secondary output value by using the unique feature information extracted from the backbone network unit as a secondary input value.

본 발명에 있어서, 상기 회귀모델부에서 산출된 RMR 예측값은 암석의 일축압축강도값(R1), RQD값(R2), 불연속면의 간격값(R3), 불연속면의 상태값(R4) 및 지하수 상태값(R5)의 합산점수인 것이 가능하다.In the present invention, the RMR predicted value calculated by the regression model unit is the uniaxial compressive strength value (R1) of the rock, the RQD value (R2), the gap value of the discontinuous surface (R3), the condition value of the discontinuous surface (R4), and the groundwater condition value. It is possible that it is the sum of the scores of (R5).

본 발명에 있어서, 상기 최적화부에서 상기 막장면 데이터셋은 각 막장면 이미지 및 대응되는 각 관찰지 추출값을 포함하며, 각 막장면 이미지와 함께 입력된 RMR 측정값(Yg)과, 상기 딥러닝 모델에 의해 산출된 RMR 예측값(Yp) 사이의 오차를 최소화하도록 딥러닝 모델의 네트워크 가중치를 반복적으로 미세조정할 수 있다.In the present invention, in the optimization unit, the scene data set includes each scene image and corresponding observation point extraction values, and the RMR measurement value (Yg) input together with each scene image and the deep learning The network weights of the deep learning model can be repeatedly fine-tuned to minimize the error between the RMR predicted values (Yp) calculated by the model.

본 발명에 있어서, 상기 최적화부의 하이퍼파라미터는 다음 조건들로 설정될 수 있다.In the present invention, the hyperparameters of the optimization unit may be set to the following conditions.

[조건1] 입력 이미지 크기 : 200×400 pixels[Condition 1] Input image size: 200×400 pixels

[조건2] 최대 에포크(Epoch) : 100 (학습 조기 종료(Early stopping) 기법 적용)[Condition 2] Maximum epoch: 100 (applies early stopping technique)

[조건3] 배치 사이즈(Batch size) : 128[Condition 3] Batch size: 128

[조건4] 오차함수(Loss function) : Mean Squared Error (MSE)[Condition 4] Loss function: Mean Squared Error (MSE)

[조건5] 최적화기(Optimizer) : Adam optimizer[Condition 5] Optimizer: Adam optimizer

[조건6] 초기 학습 속도(Initial learning rate) : 1×10-4 [Condition 6] Initial learning rate: 1×10 -4

[조건7] 학습 속도 스케줄러(Learning rate scheduler) : StepLR (50 에포크마다 학습 속도×10-1)[Condition 7] Learning rate scheduler: StepLR (learning rate per 50 epochs × 10 -1 )

본 발명에 있어서, 상기 딥러닝 모델 학습부에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장 터널막장면 이미지를 입력하여 RMR 예측값을 산출하는 RMR 예측값 산출부; 및 상기 RMR 예측값에 대응되는 암반등급을 산출하는 암반등급 산정부가 포함된 암반상태 평가부를 더 구비할 수 있다.In the present invention, an RMR prediction value calculation unit for calculating an RMR prediction value by inputting an on-site tunnel end scene image unused in the deep learning model learning to the deep learning model learned in the deep learning model learning unit; and a rock mass state evaluation unit including a rock mass grade calculation unit that calculates a rock mass grade corresponding to the predicted RMR value.

본 발명은 연산기능을 가진 제어서버 및 데이터베이스에 의해 수행되는 이미지 기반 실시간 암반상태 평가방법으로서, 제어서버는 데이터 수집부가 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 S100 단계; 데이터 전처리부가 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 S200 단계; 및 딥러닝 모델 학습부가 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 S300 단계;를 포함할 수 있다.The present invention is an image-based real-time rock mass state evaluation method performed by a control server and a database having an arithmetic function. a step S200 of pre-processing the on-site tunnel membrane scene image by a data pre-processing unit and extracting information including RMR measurement values from the bedrock state observation site; and a step S300 of setting a backbone network by the deep learning model learning unit, learning a deep learning model in which the regression model unit is coupled to the backbone network, and calculating an RMR prediction value.

본 발명에 따른 S200 단계는 이미지 전처리부가 상기 터널막장면 이미지를 정제하고, 유효 이미지를 추출하는 S210 단계; 및 관찰지 추출부가 상기 암반상태 관찰지에 기록된 정보를 추출하는 S220 단계를 포함할 수 있다.Step S200 according to the present invention includes step S210 in which an image pre-processor refines the tunnel membrane scene image and extracts an effective image; and a step S220 of extracting the information recorded on the bedrock state observation paper by the observation site extraction unit.

본 발명에 따른 S300 단계는 백본 네트워크부가 전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 S310 단계; 회귀모델부가 상기 백본 네트워크에 회귀모델이 추가결합되는 S320 단계; 및 최적화부가 상기 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델 학습을 하는 S330 단계를 포함할 수 있다.Step S300 according to the present invention includes a step S310 in which the backbone network unit sets up a pre-trained CNN-based backbone network using transfer learning; Step S320 in which a regression model unit additionally couples a regression model to the backbone network; and a step S330 in which an optimization unit inputs a scene data set to a deep learning model in which the backbone network and the regression model are combined and learns the deep learning model by adjusting hyperparameters.

본 발명에 있어서, 암반상태 평가부가 암반등급을 산정하는 S400 단계가 더 포함되며, S400 단계는 RMR 예측값 산출부가 상기 딥러닝 모델 학습부에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장수집 터널 막장면 이미지를 입력하여 RMR 예측값을 산출하는 S410 단계; 및 암반등급 산정부가 상기 RMR 예측값에 대응되는 암반등급을 산출하는 S420 단계로 구비될 수 있다.In the present invention, the step S400 of calculating the rock mass grade by the rock mass condition evaluation unit is further included, and in step S400, the RMR prediction value calculation unit uses the deep learning model learned in the deep learning model learning unit for the deep learning model that is not used for learning the deep learning model. Step S410 of calculating an RMR predicted value by inputting a field-collected tunnel surface image; and a step S420 of calculating a rock mass grade corresponding to the RMR predicted value by a rock mass grade calculation unit.

본 발명은 컴퓨터 프로그램으로 구현될 수 있다. 구체적으로 본 발명은 하드웨어와 결합되어, 본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The present invention can be implemented as a computer program. Specifically, the present invention is combined with hardware and can be implemented as a computer program stored in a computer-readable recording medium in order to execute the real-time bedrock state evaluation method based on the tunnel membrane scene image using deep learning according to the present invention by a computer. .

본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템 및 평가방법은 다음과 같은 효과를 가진다.The real-time bedrock state evaluation system and evaluation method based on tunnel membrane scene images using deep learning according to the present invention have the following effects.

첫째, 합성곱신경망(CNN) 기반 딥러닝 모델을 구축하여 실시간 터널막장면 관찰을 통해 암반상태를 평가하는 효과가 있다.First, it has the effect of evaluating bedrock conditions through real-time tunnel membrane scene observation by constructing a convolutional neural network (CNN)-based deep learning model.

둘째, 딥러닝 모델 학습 및 테스트에 사용되는 터널막장면의 디지털 이미지 변형에 따른 RMR값 예측 기여 구간 시각화 및 최적 결과를 제시하는 효과가 있다.Second, it has the effect of presenting the optimal result and visualization of the RMR value prediction contribution section according to the digital image transformation of the tunnel membrane scene used for learning and testing the deep learning model.

셋째, 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델을 제시하여, 정량화된 RMR 예측값을 산출하는 효과가 있다.Third, there is an effect of calculating a quantified RMR prediction value by presenting a deep learning model in which the backbone network and the regression model are combined.

넷째, 전이학습과 미세조정에 의한 재학습 방식을 이용하여 합성곱 신경망 기반 딥러닝 모델의 아키텍처 및 학습용 하이퍼파라미터를 최적화하는 효과가 있다.Fourth, there is an effect of optimizing the architecture and learning hyperparameters of the convolutional neural network-based deep learning model by using transfer learning and relearning by fine-tuning.

다섯째, 딥러닝 모델의 학습 및 테스트에 사용되는 터널막장면 디지털 이미지의 변형 형태 및 크기가 미치는 영향을 고려하여 RMR값 예측 정확도를 극대화하는 효과가 있다.Fifth, there is an effect of maximizing the accuracy of predicting the RMR value by considering the influence of the shape and size of the deformation of the digital image of the tunnel membrane scene used for learning and testing of the deep learning model.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템의 구성도이다.
도 2는 RMR 분류법 평가항목 및 평점의 일 예시이다.
도 3은 막장면 관찰지의 일 실시예이다.
도 4는 막장면 페이스 맵핑의 일 실시예이다.
도 5는 본 발명에 따른 암반상태 평가시스템의 일 흐름도이다.
도 6은 NATM 터널 굴착 현장에서 수집한 터널막장면 디지털 원본 이미지의 일 예시이다.
도 7은 NATM 터널 굴착 현장에서 수집한 터널 막장관찰지의 일 예시이다.
도 8은 본 발명에 따른 이미지 전처리부에서 데이터 정제 대상이 되는 이미지의 일 예시이다.
도 9는 본 발명에 따른 이미지 전처리부에서 유효 막장면 이미지(제1차 전처리 이미지)를 추출하는 일 실시예이다.
도 10은 터널막장면 암반상태 평가를 위한 딥러닝 모델 구축 및 학습 순서 흐름도를 나타낸다.
도 11은 RMR 값 예측을 위한 CNN 기반 딥러닝 모델의 개요도이다.
도 12 및 도 13은 테스트용 터널 현장 데이터셋에 대한 현장기술자의 RMR평가값과 딥러닝 모델의 RMR예측값 비교를 나타낸다.
도 14는 Grad-CAM을 이용한 터널막장면 이미지 변형에 따른 딥러닝 모델 학습 결과 시각화 자료이다.
도 15는 본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법의 순서도이다.1 is a configuration diagram of a real-time bedrock state evaluation system based on tunnel membrane scene images using deep learning according to the present invention.
2 is an example of RMR classification evaluation items and ratings.
Figure 3 is an embodiment of the surface observation sheet.
4 is an example of face mapping of a close face.
5 is a flow chart of a bedrock condition evaluation system according to the present invention.
6 is an example of a digital original image of a tunnel membrane scene collected from a NATM tunnel excavation site.
7 is an example of tunnel end observation paper collected from a NATM tunnel excavation site.
8 is an example of an image subject to data purification in the image pre-processing unit according to the present invention.
9 is an embodiment of extracting an effective film scene image (first pre-processing image) in the image pre-processing unit according to the present invention.
10 shows a flow chart of a deep learning model construction and learning sequence for evaluating the bedrock state of a tunnel face.
11 is a schematic diagram of a CNN-based deep learning model for predicting RMR values.
12 and 13 show a comparison of the field technician's RMR evaluation value and the RMR prediction value of the deep learning model for the tunnel site dataset for testing.
14 is visualization data for deep learning model learning results according to tunnel membrane scene image deformation using Grad-CAM.
15 is a flowchart of a real-time bedrock state evaluation method based on tunnel membrane scene images using deep learning according to the present invention.

이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described so that those skilled in the art can easily practice it. As can be easily understood by those skilled in the art to which the present invention pertains, the embodiments described below may be modified in various forms without departing from the concept and scope of the present invention. Where possible, identical or similar parts are indicated using the same reference numerals in the drawings.

본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.The terminology used in this specification is only for referring to specific embodiments and is not intended to limit the present invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite.

본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.As used herein, the meaning of "comprising" specifies particular characteristics, regions, integers, steps, operations, elements, and/or components, and other specific characteristics, regions, integers, steps, operations, elements, components, and/or components. It does not exclude the presence or addition of groups.

본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.All terms including technical terms and scientific terms used in this specification have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. The terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the currently disclosed content, and are not interpreted in an ideal or very formal meaning unless defined.

본 명세서에서 사용되는 방향에 관한 표현, 예를 들어 전/후/좌/우의 표현, 상/하의 표현, 종방향/횡방향의 표현은 도면에 개시된 방향을 참고하여 해석될 수 있다.Expressions related to directions used in this specification, for example, expressions of front/back/left/right, top/bottom, and longitudinal/lateral directions may be interpreted with reference to directions disclosed in the drawings.

본 발명은 인공지능 분야의 딥러닝 기술을 이용한 터널 굴착 시공 중 실시간 터널막장면 관찰을 통한 RMR 평가 방법에 대한 것이다. The present invention relates to an RMR evaluation method through real-time tunnel face observation during tunnel excavation construction using deep learning technology in the field of artificial intelligence.

특히 터널막장면을 촬영한 디지털 이미지를 수집 및 활용함으로써 기존의 현장기술자에 의한 막장관찰 및 평가 방법들보다 객관적이고 표준화된 정보를 바탕으로 터널막장면 암반상태를 평가할 수 있으며 딥러닝 학습을 위한 영상 빅데이터 축적을 통한 아카이브 구축이 가능하다. In particular, by collecting and utilizing digital images of the tunnel face, it is possible to evaluate the condition of the tunnel face bedrock based on objective and standardized information compared to existing field observation and evaluation methods by field technicians, and video for deep learning learning It is possible to build an archive through the accumulation of big data.

수집된 터널막장면 영상 빅데이터를 이용하여 본 발명에서 구축한 합성곱 신경망 기반 딥러닝 모델의 학습을 수행하며, 학습이 끝난 딥러닝 모델은 터널 굴착 시공 현장에서 실시간 활용이 가능하다.The convolutional neural network-based deep learning model built in the present invention is trained using the collected tunnel membrane scene image big data, and the learned deep learning model can be used in real time at the tunnel excavation construction site.

본 발명은 NATM 공법을 이용한 터널 굴착 시공 시 현장기술자에 의존한 기존의 터널막장면 상태평가를 디지털 이미지를 이용한 딥러닝 기반의 평가 프로세스로 전환하여 무결암 구간을 대표하는 강도 특성과 불연속 암반을 대표하는 절리면의 특성을 객관적이고 일관성 있는 기준으로 평가할 수 있도록 하며, 이를 통해 평가의 신뢰도를 향상시킬 뿐만 아니라 안전하고 신속한 터널굴착 의사결정을 보조함으로써 시공성 및 경제성을 확보할 수 있도록 하는 실시간 암반상태 평가 기술을 제공하는 데 있다.The present invention converts the existing tunnel membrane scene condition evaluation, which relied on field technicians, into a deep learning-based evaluation process using digital images during tunnel excavation construction using the NATM method, thereby representing the strength characteristics representing the intact rock section and the discontinuous rock mass. Real-time rock condition evaluation technology that enables the evaluation of the characteristics of joint surfaces to be performed on an objective and consistent basis, thereby improving the reliability of evaluation and securing constructability and economic feasibility by assisting safe and prompt tunnel excavation decision-making. is to provide

기존의 인공지능 기술을 활용한 터널막장면 암반상태 평가 시도들은 터널 굴착 현장에서 어떠한 자료 혹은 데이터를 획득하였는지, 어떠한 인공지능 기술을 적용하였는지와 그 결과에 대한 구체적인 기술이 전혀 없으며, 구축한 인공지능 기반 기술을 터널 굴착 현장에서 실시간으로 적용하기 위한 방법론적 부분이 명확하지 않으며 미흡한 실정이다.Attempts to evaluate the bedrock state of the tunnel face using existing artificial intelligence technology do not have any specific description of what data or data were acquired at the tunnel excavation site, what artificial intelligence technology was applied, and the result, and the artificial intelligence built The methodological part for applying the base technology in real time at the tunnel excavation site is unclear and insufficient.

본 발명은 인공지능 분야의 딥러닝 기술을 활용하여 NATM 공법을 이용한 터널 굴착 현장에서 실시간으로 터널막장면 암반상태를 평가하는 기술에 관한 것이다.The present invention relates to a technology for evaluating the bedrock condition of a tunnel face in real time at a tunnel excavation site using the NATM method using deep learning technology in the field of artificial intelligence.

본 발명은 도 5에 도시된 바와 같이, 딥러닝 모델 학습(training) 단계와 딥러닝 모델 추론(inference) 단계로 구분할 수 있다. As shown in FIG. 5, the present invention can be divided into a deep learning model training step and a deep learning model inference step.

딥러닝 모델 학습 단계에서는 터널막장면 디지털 이미지와 각 이미지에 해당하는 터널 막장관찰 결과가 묶인 데이터셋을 기반으로 터널막장면 RMR값 예측 및 암반등급을 산정하는 딥러닝 모델을 구축 및 학습할 수 있다.In the deep learning model learning step, it is possible to build and learn a deep learning model that predicts the RMR value of the tunnel face and calculates the rock mass grade based on the data set in which the digital image of the tunnel face and the observation results of the tunnel face corresponding to each image are bundled. .

딥러닝 모델 추론 단계에서는 학습이 완료된 딥러닝 모델에 터널 굴착 현장으로부터 실시간 수집한 터널막장면 이미지를 입력하여 RMR 예측값 및 암반등급을 예측할 수 있다.In the deep learning model inference step, the RMR prediction value and rock mass grade can be predicted by inputting the tunnel face image collected from the tunnel excavation site in real time to the deep learning model after learning has been completed.

이하에서는 도면을 참고하여 본 발명을 설명하고자 한다. 참고로, 도면은 본 발명의 특징을 설명하기 위하여, 일부 과장되게 표현될 수도 있다. 이 경우, 본 명세서의 전 취지에 비추어 해석되는 것이 바람직하다.Hereinafter, the present invention will be described with reference to the drawings. For reference, the drawings may be partially exaggerated in order to explain the features of the present invention. In this case, it is preferable to interpret in light of the whole purpose of this specification.

도 1은 본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템의 구성도이다.1 is a configuration diagram of a real-time bedrock state evaluation system based on tunnel membrane scene images using deep learning according to the present invention.

본 발명은 연산기능을 가진 제어서버(10) 및 데이터베이스(20)에 의해 수행되는 이미지 기반 실시간 암반상태 평가시스템으로서, 제어서버(10)는 데이터 수집부(100), 데이터 전처리부(200) 및 딥러닝 모델 학습부(300)를 포함한다.The present invention is an image-based real-time bedrock state evaluation system performed by a control server 10 having an arithmetic function and a database 20, wherein the control server 10 includes a data collection unit 100, a data preprocessing unit 200 and It includes a deep learning model learning unit 300.

보다 구체적으로 설명하면, 본 발명은 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템으로서, 본 발명에 따른 제어서버(10)는 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 데이터 수집부(100); 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 데이터 전처리부(200); 및 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 딥러닝 모델 학습부(300);를 포함한다.More specifically, the present invention is a real-time rock mass state evaluation system based on tunnel membrane scene images using deep learning, and the control server 10 according to the present invention collects data for collecting on-site tunnel membrane scene images and bedrock state observation sheets. part 100; a data pre-processing unit 200 for pre-processing the on-site tunnel membrane scene image and extracting information including RMR measurement values from the bedrock condition observation site; and a deep learning model learning unit 300 that sets up a backbone network, trains a deep learning model in which a regression model unit is coupled to the backbone network, and calculates an RMR predicted value.

먼저, 데이터 수집부(100)를 설명한다.First, the data collection unit 100 will be described.

본 발명에 따른 데이터 수집부(100)는 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집할 수 있다.The data collection unit 100 according to the present invention may collect an on-site tunnel membrane scene image and bedrock condition observation sheet.

데이터 수집부(100)에서 수집된 암반상태 관찰지는 현장 터널막장면 이미지에 대응되도록 기 작성된 것이며, RMR 분류에 의한 RMR 측정값 및 암반등급 정보가 포함될 수 있다.The rock mass state observation points collected by the data collection unit 100 are prepared in advance to correspond to the on-site tunnel membrane scene image, and may include RMR measurement values and rock mass grade information by RMR classification.

수집된 현장 데이터는 현장에서 촬영된 터널막장면 디지털 이미지와 각 막장면에 해당하는 상태평가 결과가 담긴 터널 막장관찰지 등 총 2가지의 데이터이다. NATM 터널 굴착 현장에서 수집한 터널막장면 원본 이미지 예시는 도 6과 같다.The collected field data is a total of two types of data: a digital image of the tunnel end scene filmed at the site and a tunnel end observation sheet containing the condition evaluation results for each end scene. An example of an original image of a tunnel membrane scene collected from a NATM tunnel excavation site is shown in FIG. 6 .

현장기술자가 직접 관찰을 통해 작성한 암반상태 관찰지(터널 막장 관찰지)의 예시는 도 7과 같다.An example of a bedrock condition observation site (tunnel end observation site) prepared by a field engineer through direct observation is shown in FIG. 7 .

하나의 터널 막장 관찰지에는 터널막장면이 노출된 하나의 터널 굴착 스테이션(station) 위치에서의 막장면 암반상태 평가 결과가 정성적 및 정량적으로 기록되어 있다. 또한, 관찰 대상이 되는 막장면에 대한 현장명, 터널명, 발주처, 시공사, 일시, 현재 굴착 스테이션 위치, 그리고 작업자명 등의 기본 정보를 포함하고 있다. 또한, 터널 발파 시공 중 안정성 확보를 위한 지보패턴 결정을 좌우하는 RMR 평가를 위한 6가지 요소 (R1~R6) 각각에 대한 평가 결과 값과 이들을 모두 합산한 최종 RMR값, 그리고 이로 인해 산정된 암반등급이 함께 작성되어 있다.In one tunnel face observation site, the results of evaluation of the face rock condition at the position of one tunnel excavation station where the face of the tunnel face is exposed are recorded qualitatively and quantitatively. In addition, it includes basic information such as site name, tunnel name, ordering place, construction company, date and time, current excavation station location, and worker name for the face to be observed. In addition, the evaluation result value for each of the six factors (R1 to R6) for RMR evaluation that influences the decision of the support pattern for securing stability during tunnel blasting construction, the final RMR value by adding all of them, and the rock grade calculated accordingly are written together.

다음으로, 데이터 전처리부(200)를 설명한다.Next, the data pre-processing unit 200 will be described.

본 발명에 따른 데이터 전처리부(200)는 현장 터널막장면 이미지를 전처리하고, 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출할 수 있다.The data pre-processing unit 200 according to the present invention may pre-process an on-site tunnel membrane scene image and extract information including RMR measurement values from a bedrock state observation site.

데이터 전처리부(200)는 터널막장면 이미지를 정제하고, 정제된 이미지를 추출하는 이미지 전처리부(210) 및 상기 암반상태 관찰지에 기록된 정보를 추출하는 관찰지 추출부(220)를 포함한다.The data pre-processing unit 200 includes an image pre-processing unit 210 that refines the tunnel membrane scene image and extracts the refined image, and an observation point extraction unit 220 that extracts information recorded on the bedrock condition observation sheet.

NATM 공법이 사용되는 터널 굴착현장에서는 암석발파로 인한 먼지, 폭약의 발파가스, 그리고 버럭처리 시 암석 간 충돌 등으로 인해 고농도의 분진이 발생한다. 여러가지 방법들에 의해 현장 내 분진 농도를 감소시키는 작업이 수행됨에도 불구하고, 충분한 시간이 지난 후에 막장면 관찰을 하는 것이 정확한 평가로 이어질 수 있다. At the tunnel excavation site where the NATM method is used, a high concentration of dust is generated due to dust from rock blasting, blasting gas from explosives, and collisions between rocks during demolition. Although various methods are used to reduce the dust concentration in the field, observation of the surface after a sufficient period of time can lead to an accurate assessment.

하지만, 굴착 현장에서 발파 이후 노출된 터널막장면의 암반상태 평가를 위해 할애되는 시간이 여유롭지 않음으로 인해, 현장에서 촬영된 터널막장면 디지털 이미지는 데이터 정제 과정을 통해 실제 딥러닝 모델 학습에 사용할 수 있는 품질을 만족하는 이미지만을 걸러내는 작업이 반드시 필요하다.However, due to the lack of time devoted to the evaluation of the bedrock state of the exposed tunnel face after blasting at the excavation site, the digital image of the tunnel face captured at the site can be used for learning the actual deep learning model through a data refinement process. It is necessary to filter out only the images that satisfy the acceptable quality.

데이터 정제 대상이 되는 이미지는 조명, 작업자 또는 중장비 위치에 따라 대상체 또는 그림자가 포함된 경우, 충분히 제거되지 못한 현장 내 분진으로 인해 막장면이 전반적으로 흐리게 촬영되어 막장 내 불연속면이나 습윤 구간 등을 파악하기 힘든 경우 등이 있으며, 데이터 정제 대상이 되는 이미지 예시는 도 8과 같다.If the image subject to data purification includes objects or shadows depending on the location of lighting, workers or heavy equipment, the overall scene is blurred due to dust in the field that has not been sufficiently removed, so it is difficult to identify discontinuous surfaces or wet sections in the end. There are difficult cases, etc., and an example of an image subject to data purification is shown in FIG. 8 .

이미지 전처리부(210)는 원본 이미지에서, 기 설정된 기준 이하로 불선명한 부분이 제거된 제1차 전처리 이미지를 추출할 수 있다.The image pre-processing unit 210 may extract a first-order pre-processing image from which unclear portions below a predetermined standard are removed from the original image.

이미지 전처리부(210)는 제1차 전처리 이미지에서, 막장면 암반상태 평가와 무관하다고 기 설정된 요소가 추가제거된 제2차 전처리 이미지를 추출할 수 있다.The image preprocessing unit 210 may extract a second preprocessed image from which elements preset to be irrelevant to the bedrock state evaluation are additionally removed from the first preprocessed image.

이미지 전처리부(210)는 제2차 전처리 이미지에서, 추가제거된 부분이 막장면 정보를 이용하여 복원 또는 재생성된 제3차 전처리 이미지를 추출할 수 있다.The image pre-processing unit 210 may extract a tertiary pre-processing image in which the additionally removed part is restored or regenerated from the 2 nd pre-processing image using the last scene information.

참고로, 도 14에는 제1차, 제2차 및 제3차 전처리 이미지의 일 실시예가 나타나 있다.For reference, FIG. 14 shows an example of first, second, and third preprocessed images.

도 6의 예시들을 참고하면 현장에서 수집된 터널막장면 원본 이미지는 실제로 막장면 암반상태 평가에 사용되지 않는 영역까지 포함되어 있음을 확인할 수 있다. Referring to the examples of FIG. 6 , it can be confirmed that the original image of the tunnel surface collected in the field includes even a region that is not actually used for evaluating the rock mass state of the surface.

따라서, 발파 후 반출되지 않고 쌓여있는 버럭 및 바닥면, 터널막장면 상부 아치형 지보재 및 숏크리트 타설면 등이 최대한 포함되지 않도록 영상처리기법 중 크로핑(cropping)을 이용하여 유효 터널막장면 추출 작업(제1차 전처리)을 수행하였다. Therefore, effective tunnel surface extraction work (first 1st pretreatment) was performed.

다만, 터널막장면은 상부가 아치로 감싸진 원호 형태이며, 원호면 내 모든 불연속면 및 습윤구간 등의 특징이 반영되어야 정확한 막장면 암반상태 평가가 가능하므로, 도 9의 우측 예시가 최선의 유효 막장면 이미지 추출 결과라고 할 수 있다.However, the tunnel face is in the form of an arc with the upper part wrapped by an arch, and the characteristics of all discontinuous surfaces and wet sections in the circular arc must be reflected to accurately evaluate the face rock condition, so the right example in FIG. 9 is the best effective face It can be said to be the result of image extraction.

관찰지 추출부(220)의 경우, 도 7의 터널 막장관찰지 예시를 참고하면, 터널 굴착 현장에서 현장기술자에 의해 평가된 암반상태 결과는 모두 수기로 기록되어 있다. 따라서, 모든 현장 수집 막장관찰지 내 데이터를 디지털 전환하는 것이 필요하며, 변환 과정에서 발생할 수 있는 데이터 불일치 현상에 유의하여야 할 것이다.In the case of the observation point extraction unit 220, referring to the tunnel end observation point example of FIG. 7, all rock mass condition results evaluated by field technicians at the tunnel excavation site are manually recorded. Therefore, it is necessary to digitally convert the data in all field-collected membranous observation sites, and attention should be paid to data inconsistencies that may occur during the conversion process.

다만, 터널 막장관찰지가 디지털로 작성된 경우에는 데이터를 바로 추출하는 것이 가능할 것이다.However, if the tunnel barrier observation site is created digitally, it will be possible to extract the data immediately.

터널막장면 디지털 이미지와 디지털 전환된 막장면 RMR 측정값을 연결시킨 딥러닝 모델 학습용 데이터셋을 구축한다. A dataset for learning a deep learning model is built by connecting the digital image of the tunnel face and the digitally converted face RMR measurement value.

관찰지의 RMR값에는 6가지 평가 요인 각각과 그 합산 점수가 모두 포함되지만, 본 발명에 따른 딥러닝 모델 학습에 사용한 RMR값은 불연속면의 방향성에 따른 보정항목(R6)을 제외한 5가지 요소의 합산 점수로 정의하여 사용하였다. The RMR value of the observation site includes each of the six evaluation factors and their sum scores, but the RMR value used for learning the deep learning model according to the present invention is the sum score of the five factors excluding the correction item (R6) according to the direction of the discontinuity. was defined and used.

R6값의 경우, 터널막장면이 촬영된 2차원 이미지 1장만으로는 터널 굴진 방향(깊이 방향)의 불연속면의 방향성에 대한 정확한 정보를 취득하기 힘들다고 판단하였기 때문이다.In the case of the R6 value, it was determined that it was difficult to obtain accurate information on the directionality of the discontinuous surface in the tunnel excavation direction (depth direction) with only one two-dimensional image of the tunnel membrane scene.

다음으로, 딥러닝 모델 학습부(300)를 설명한다.Next, the deep learning model learning unit 300 will be described.

본 발명에 따른 딥러닝 모델 학습부(300)는 전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 백본 네트워크부(310); 백본 네트워크에 회귀모델이 추가결합되는 회귀모델부(320); 및 백본 네트워크와 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델학습을 하는 최적화부(330)를 포함한다.The deep learning model learning unit 300 according to the present invention includes a backbone network unit 310 for setting a pre-trained CNN-based backbone network using transfer learning; A regression model unit 320 in which a regression model is additionally coupled to the backbone network; and an optimization unit 330 that inputs a dead-end dataset to a deep learning model in which a backbone network and a regression model are combined, and performs deep learning model learning by adjusting hyperparameters.

도 10은 터널막장면 암반상태 평가를 위한 딥러닝 모델 구축 및 학습 순서 흐름도를 나타낸다.10 shows a flow chart of a deep learning model construction and learning sequence for evaluating the bedrock state of a tunnel face.

백본 네트워크부(310)는 1차 입력된 터널 막장면 이미지에 잠재된 고유 특징정보를 1차 출력값으로 추출할 수 있다.The backbone network unit 310 may extract latent unique feature information of the firstly input tunnel scene image as a first output value.

백본 네트워크는 EfficientNet-b4 이며, 이미지넷(ImageNet) 데이터셋에서 사전훈련된 가중치로 상기 백본 네트워크 가중치를 초기화한 후, 미세조정(fine-tuning)방식으로 터널 막장면 데이터셋에 대해 재학습을 할 수 있다.The backbone network is EfficientNet-b4, and after initializing the weights of the backbone network with weights pretrained in the ImageNet dataset, re-learning is performed on the tunnel face dataset in a fine-tuning method. can

본 발명에 있어서, 터널막장면 디지털 이미지를 가장 효율적으로 분석하고 그로부터 정량적인 특징정보(feature)를 추출할 수 있는 딥러닝 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 형태라고 판단하였다. In the present invention, it was determined that the deep learning model that can most efficiently analyze digital images of tunnel membrane scenes and extract quantitative feature information from them is a form using a convolutional neural network (CNN). .

일반적인 CNN은 크게 특징 추출(Feature extraction)과 분류(Classification)로 나누어지며, 특징 추출기는 입력 데이터의 고유한 특징을 찾아내고 그 특징들을 이용하여 분류기가 최종 판단을 도출하게 된다. A general CNN is largely divided into feature extraction and classification, and the feature extractor finds unique features of the input data, and the classifier derives a final decision using the features.

특징 추출 단계는 합성곱 계층(Convolutional layer), 풀링 계층(Pooling layer), 그리고 활성화 함수(Activation function)로 구성되며, 합성곱 계층에서는 입력된 이미지와 필터의 합성곱 연산을 통해 이미지 내 특징을 추출하며 풀링 계층에서는 입력된 이미지의 크기를 줄임으로써 연산량을 줄일 뿐만 아니라 강인한 특징만을 남기는 효과를 얻을 수 있다. The feature extraction step consists of a convolutional layer, a pooling layer, and an activation function. In the convolutional layer, the features in the image are extracted through the convolutional operation of the input image and the filter. In the pooling layer, by reducing the size of the input image, not only the amount of computation is reduced, but also the effect of leaving only strong features can be obtained.

활성화 함수는 합성곱 및 풀링 계층이 반복될 때 이를 비선형적으로 연결해줌으로써 신경망이 깊어질수록 더 복잡하고 추상화된 정보를 추출할 수 있게 한다.The activation function non-linearly connects convolution and pooling layers when they are repeated, allowing more complex and abstracted information to be extracted as the neural network deepens.

CNN 기반 네트워크 모델은 전체 모델에서 특징 추출기(feature extractor)에 해당하며, 전이학습을 이용하여 사전훈련된 백본 네트워크(pretrained backbone network)를 설정하여 터널막장면 이미지(1차 input)에 잠재된 막장면 고유 특징정보(1차 output)을 추출할 수 있게 하였다. The CNN-based network model corresponds to a feature extractor in the entire model, and a pretrained backbone network is set up using transfer learning to cover the latent scene in the tunnel scene image (primary input). Unique feature information (primary output) can be extracted.

본 발명에 따른 '네트워크 가중치'는 신경망 모델(neural network model)을 구성하는 가중치 매개변수(weight parameter)를 지칭하는 용어이며, 신경망 모델을 구성하는 여러 은닉 계층(hidden layer)에서 입력 데이터가 특징 맵(feature map)으로 변환될 때 적용되는 가중치를 의미한다. 또한, 특징 맵은 신경망 모델을 구성하는 여러 은닉계층의 입출력 데이터를 지칭하는 용어이다.'Network weight' according to the present invention is a term that refers to weight parameters constituting a neural network model, and input data in several hidden layers constituting the neural network model is a feature map It means the weight applied when converted to a feature map. In addition, a feature map is a term that refers to input/output data of several hidden layers constituting a neural network model.

본 발명에서 설정한 CNN 백본 네트워크는 EfficientNet-b4 이며, 해당 백본 네트워크의 네트워크 가중치는 범용 대규모 데이터셋으로 알려진 이미지넷(ImageNet) 데이터셋에서 사전 훈련된 네트워크 가중치로 초기화 한 것이다.The CNN backbone network set in the present invention is EfficientNet-b4, and the network weights of the backbone network are initialized with pre-trained network weights from the ImageNet dataset known as a general-purpose large-scale dataset.

터널막장면 이미지가 사전 훈련된 대규모 데이터셋의 이미지들과 상이함에도 불구하고 CNN 은 이미지 데이터로부터 공통적인 형상 특징(eg, edge, corner, junction)을 매우 잘 검출해낸다는 장점이 있다. Although tunnel membrane scene images are different from pretrained large-scale dataset images, CNN has the advantage of very well detecting common shape features (eg, edges, corners, junctions) from image data.

따라서 본 발명에서는 파인튜닝(fine-tuning) 방식을 이용하여 사전 훈련된 네트워크 가중치를 새로운 데이터셋과 목표에 맞게 미세하게 조정(ie, 재학습)하는 학습 방식을 사용하였으며, 이는 학습 속도를 높일 뿐 아니라 예측 정확도를 높이는 효과가 있다.Therefore, in the present invention, a learning method of fine-tuning (ie, re-learning) the pre-trained network weights according to the new dataset and target using the fine-tuning method was used, which not only increases the learning speed It has the effect of increasing the prediction accuracy.

ImageNet 데이터셋은 1,500 만 개 이상의 이미지가 2 만 개 이상의 범주(카테고리)로 구성되어 있으며, 그중에서도 필터링된 1 천 개의 범주로 구성된 총 120 만 개 이미지 데이터셋(ie, ImageNet-1k)은 컴퓨터 비전 분야에서 명성 있는 국제영상인식대회(ImageNet Large-Scale Visual Recognition Challenge, ILSVRC)에서 이미지 분류 모델의 성능 평가를 위한 표준 평가 데이터로 활용되고 있다.The ImageNet dataset consists of more than 15 million images in more than 20,000 categories (categories). It is being used as standard evaluation data for performance evaluation of image classification models in the prestigious International Image Recognition Challenge (ImageNet Large-Scale Visual Recognition Challenge, ILSVRC).

회귀모델부(320)는 백본 네트워크부(310)에서 추출된 고유 특징정보를 2차 입력값으로 하여, 정량적인 RMR 예측값을 2차 출력값으로 산출할 수 있다.The regression model unit 320 may calculate a quantitative RMR prediction value as a secondary output value by taking the unique feature information extracted from the backbone network unit 310 as a secondary input value.

CNN 백본 네트워크로 활용된 EfficientNet-b4 에 연이어, 본 발명에서 설계한 회귀모델을 추가 결합하여 CNN 회귀 모델(CNN regression model)을 구축할 수 있다. Following EfficientNet-b4 used as a CNN backbone network, a CNN regression model can be constructed by additionally combining the regression model designed in the present invention.

또한, 회귀 모델은 여러 계층의 1×1 convolution 의 최적 조합으로 구성되었는데, 이는 재학습된 CNN 백본 네트워크에 의해 출력된 터널 막장면 이미지의 특징정보(2차 input)로부터 정량적인 RMR 값(2차 output)을 가장 잘 예측할 수 있도록 맞춤 설계된 것이다.In addition, the regression model was composed of an optimal combination of 1 × 1 convolution of several layers, which is a quantitative RMR value (secondary input) from the feature information (secondary input) of the tunnel end scene image output by the retrained CNN backbone network. It is custom designed to best predict the output.

CNN 기반 백본 네트워크와 회귀 모델이 결합된 딥러닝 모델 아키텍처 전반은 도 11의 ‘Regression CNN model’ 부분에 표현되어 있다.The overall deep learning model architecture, which combines a CNN-based backbone network and a regression model, is represented in the ‘Regression CNN model’ section of FIG.

회귀모델부(320)에서 산출된 RMR 예측값은 암석의 일축압축강도값(R1), RQD값(R2), 불연속면의 간격값(R3), 불연속면의 상태값(R4) 및 지하수 상태값(R5)의 합산점수인 것이 바람직하다.The RMR predicted value calculated by the regression model unit 320 is the uniaxial compressive strength value of the rock (R1), the RQD value (R2), the interval value of the discontinuous surface (R3), the condition value of the discontinuous surface (R4), and the groundwater condition value (R5). It is preferable to be the sum of the scores of .

최적화부(330)에서 막장면 데이터셋은 각 막장면 이미지 및 대응되는 각 관찰지 추출값을 포함하며, 각 막장면 이미지와 함께 입력된 RMR 측정값(Yg)과, 상기 딥러닝 모델에 의해 산출된 RMR 예측값(Yp) 사이의 오차를 최소화하도록 딥러닝 모델의 네트워크 가중치를 반복적으로 미세조정할 수 있다.In the optimizer 330, the scene data set includes each scene image and the corresponding observation point extraction value, and the RMR measurement value (Yg) input with each scene image and the deep learning model calculated The network weights of the deep learning model can be repeatedly fine-tuned to minimize the error between the predicted RMR predicted values (Yp).

딥러닝 모델의 학습에 사용되는 입력 데이터셋은 전술한 도 6에서의 터널막장면 디지털 이미지 각각과 그에 해당하는 RMR값이 묶여있는 형태이며, 이는 도 11의 ‘Dataset’ 구성 부분에 표시되었다. The input dataset used for learning the deep learning model is a form in which each of the digital images of the tunnel end scene in FIG.

도 11은 사전훈련된 백본 네트워크와 회귀 모델을 결합한 딥러닝 모델에 준비된 데이터셋을 입력하고, 막장면 이미지와 함께 입력된 RMR 측정값(Yg)과 모델에 의해 출력된 RMR 예측값(Yp) 사이의 오차를 최소화하는 방향으로 딥러닝 모델의 가중치를 반복적으로 미세조정하는 딥러닝 학습의 전반적인 과정을 나타낸다. 11 is a graph showing the relationship between the RMR measured value (Yg) input with the scene image and the RMR predicted value (Yp) output by the model after inputting the prepared dataset to the deep learning model combining the pretrained backbone network and the regression model. It shows the overall process of deep learning learning that iteratively fine-tunes the weights of the deep learning model in the direction of minimizing the error.

학습용 하이퍼파라미터를 조정하면서 딥러닝 모델에 의한 RMR값 예측 오차(loss)의 변화 추이를 관찰하며 RMR값 예측 정확도(accuracy)를 극대화할 수 있도록 모델 가중치 및 학습 최적화 과정을 수행한다. While adjusting the hyperparameters for learning, observe the change trend of the RMR value prediction error (loss) by the deep learning model, and perform the model weight and learning optimization process to maximize the RMR value prediction accuracy (accuracy).

본 발명에 따른 최적화부(330)의 하이퍼파라미터는 다음 조건들로 설정될 수 있다.Hyperparameters of the optimizer 330 according to the present invention may be set to the following conditions.

[조건1] 입력 이미지 크기 : 200×400 pixels[Condition 1] Input image size: 200×400 pixels

[조건2] 최대 에포크(Epoch) : 100 (학습 조기 종료(Early stopping) 기법 적용)[Condition 2] Maximum epoch: 100 (applies early stopping technique)

[조건3] 배치 사이즈(Batch size) : 128[Condition 3] Batch size: 128

[조건4] 오차함수(Loss function) : Mean Squared Error (MSE)[Condition 4] Loss function: Mean Squared Error (MSE)

[조건5] 최적화기(Optimizer) : Adam optimizer[Condition 5] Optimizer: Adam optimizer

[조건6] 초기 학습 속도(Initial learning rate) : 1×10-4 [Condition 6] Initial learning rate: 1×10 -4

[조건7] 학습 속도 스케줄러(Learning rate scheduler) : StepLR (50 에포크마다 학습 속도×10-1)[Condition 7] Learning rate scheduler: StepLR (learning rate per 50 epochs × 10 -1 )

다음으로, 암반상태 평가부(400)를 설명한다.Next, the bedrock state evaluation unit 400 will be described.

본 발명에 따른 암반상태 평가부(400)는 딥러닝 모델 학습부(300)에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장 터널막장면 이미지를 입력하여 RMR 예측값을 산출하는 RMR 예측값 산출부(410); 및 상기 RMR 예측값에 대응되는 암반등급을 산출하는 암반등급 산정부(420)를 포함한다.The rock mass state evaluation unit 400 according to the present invention inputs an on-site tunnel face image not used for learning the deep learning model to the deep learning model learned in the deep learning model learning unit 300 to calculate an RMR prediction value. a predicted value calculation unit 410; and a rock mass grade calculation unit 420 that calculates a rock mass grade corresponding to the predicted RMR value.

학습이 완료된 딥러닝 모델의 성능 검증 및 실시간 현장적용성 검토를 위해, 모델 학습에 사용되지 않은 현장 수집 터널막장면 이미지를 이용하여 모델 테스트를 수행하였다.To verify the performance of the trained deep learning model and review its real-time applicability, a model test was performed using field-collected tunnel face images that were not used for model learning.

터널 굴착으로 인한 막장 스테이션 순서대로 현장기술자가 평가한 RMR 측정값(Target RMR, 파란색)과 딥러닝 모델이 산출한 RMR 예측값(Predicted RMR, 빨간색)을 도시한 결과는 도 12 및 도 13과 같다.12 and 13 show the RMR measured values (Target RMR, blue) evaluated by field technicians in the order of the end stations due to tunnel excavation and the RMR predicted values (Predicted RMR, red) calculated by the deep learning model.

전술한 도 9에서는 유효 막장면(제1차 전처리 이미지)만을 추출하였지만 여전히 굴진면의 암반상태를 평가하는 것과 무관한 터널막장면 상부 아치형 지보재 및 숏크리트 타설면 등이 포함되어 있다. 따라서, 해당 영역을 제거하거나(제2차 전처리 이미지), 막장 내부 이미지로 임의 대체한 이미지(제3차 전처리 이미지)를 학습에 사용할 때의 모델 성능에 미치는 영향을 확인하기 위하여, 도 14와 같은 변형된 이미지 종류를 준비하였다. In the above-described FIG. 9, only the effective face surface (first preprocessing image) was extracted, but the arched support material and the shotcrete pouring surface of the upper part of the tunnel face surface, which are not related to the evaluation of the bedrock state of the excavation surface, are still included. Therefore, in order to confirm the effect on the model performance when the corresponding region is removed (second preprocessing image) or an image randomly replaced with an inside image (third preprocessing image) is used for learning, as shown in FIG. A type of deformed image was prepared.

도 14에 도시된 바와 같이, 총 3가지 종류의 터널막장면 이미지가 준비되었다. 첫 번째는 원본 수집 후 유효 막장면만을 추출한 이미지(Cropped image)인 제1차 전처리 이미지이다. 두 번째는 제1차 전처리 이미지에서, 막장면 암반상태 평가와 무관한 요소들을 임의로 추가 제거한 이미지(Extra cropped image)인 제2차 전처리 이미지이다. 세 번째는 제2차 전처리 이미지에서 임의로 제거한 부분을 다시 막장면 정보를 이용하여 복원 또는 재생성한 이미지(Inpainted image)인 제3차 전처리 이미지이다.As shown in FIG. 14, a total of three types of tunnel membrane scene images were prepared. The first is the first pre-processed image, which is a cropped image obtained by extracting only effective scenes after collecting originals. The second is the second pre-processed image, which is an extra cropped image, in which elements irrelevant to the evaluation of the bedrock state are randomly added and removed from the first pre-processed image. The third is a tertiary pre-processing image, which is an inpainted image obtained by restoring or regenerating a part randomly removed from the secondary pre-processing image using scene information.

각각의 터널막장면 이미지 종류에 따라 딥러닝 모델을 학습한 결과에 의하면 Cropped image(제1차 전처리 이미지) > Extra cropped image(제2차 전처리 이미지) > Inpainted image(제3차 전처리 이미지)의 순서로 RMR 예측값의 정확도가 높게 측정되었다. According to the results of learning the deep learning model for each type of tunnel scene image, the order of cropped image (first pre-processed image) > Extra cropped image (second pre-processed image) > Inpainted image (third pre-processed image) As a result, the accuracy of the RMR predicted value was measured to be high.

Grad-CAM을 이용하여 CNN 특징을 기반으로 RMR값 예측에 기여하는 터널막장면 이미지 내 구간을 시각화하여 터널막장면 이미지와 히트맵(heatmap)을 겹치게 나타낸 예시가 도 14와 같다. An example of overlapping a tunnel scene image and a heatmap by visualizing a section in a tunnel scene image that contributes to RMR value prediction based on CNN features using Grad-CAM is shown in FIG. 14 .

이를 통해 막장면 암반상태 평가와 무관한 일부 요소들이 딥러닝 모델 입력 이미지에 포함되더라도 실제 딥러닝 모델의 평가에서는 무시되고 있음을 확인하였으며, 이로 인해 본 발명에서 제안하는 터널막장면 이미지 기반 RMR값 추정 딥러닝 모델은 Cropped image(제1차 전처리 이미지)만을 이용하여 학습 및 테스트 되어도 충분히 합리적임을 시사한다.Through this, it was confirmed that even though some elements irrelevant to the evaluation of the face bedrock state were included in the deep learning model input image, they were ignored in the evaluation of the actual deep learning model. As a result, the RMR value estimation based on the image of the face of the tunnel face suggested in the present invention It suggests that the deep learning model is sufficiently reasonable even if it is trained and tested using only the cropped image (first preprocessing image).

한편, 본 발명은 실시간 암반상태 평가방법 발명으로 구현될 수 있다. 구체적으로 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법으로 구현될 수 있다.On the other hand, the present invention can be implemented as a real-time bedrock condition evaluation method invention. Specifically, it can be implemented as a real-time bedrock state evaluation method based on tunnel membrane scene images using deep learning.

이러한 방법발명은 전술한 시스템발명과 발명의 카테고리는 상이하나, 실질적으로 동일한 발명에 해당된다. 따라서, 시스템발명과 공통되는 구성은, 전술한 설명으로 대체하기로 하며, 이하에서는 본 방법발명의 요지 위주로 설명하고자 한다.Although this method invention has a different category from the system invention described above, it corresponds to substantially the same invention. Therefore, the configuration common to the system invention will be replaced with the above description, and the following will focus on the gist of the method invention.

본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법은 연산기능을 가진 제어서버(10) 및 데이터베이스(20)에 의해 수행되는 이미지 기반 실시간 암반상태 평가방법으로서, 제어서버(10)는 데이터 수집부(100)가 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 S100 단계; 데이터 전처리부(200)가 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 S200 단계; 및 딥러닝 모델 학습부(300)가 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 S300 단계;를 포함한다.The real-time bedrock state evaluation method based on the image of a tunnel membrane scene using deep learning according to the present invention is an image-based real-time bedrock state evaluation method performed by a control server 10 having a calculation function and a database 20, wherein the control server 10 ) is a step S100 in which the data collection unit 100 collects an image of a scene of a tunnel membrane and a bedrock state observation sheet at the site; A step S200 in which the data pre-processing unit 200 pre-processes the on-site tunnel membrane scene image and extracts information including RMR measurement values from the bedrock condition observation site; and a step S300 in which the deep learning model learning unit 300 sets a backbone network, trains a deep learning model in which a regression model unit is coupled to the backbone network, and calculates an RMR predicted value.

본 발명에 따른 S200 단계는 이미지 전처리부(210)가 상기 터널막장면 이미지를 정제하고, 유효 이미지를 추출하는 S210 단계; 및 관찰지 추출부(220)가 상기 암반상태 관찰지에 기록된 정보를 추출하는 S220 단계를 포함한다.Step S200 according to the present invention includes step S210 in which the image pre-processing unit 210 refines the tunnel membrane scene image and extracts an effective image; and a step S220 in which the observation site extraction unit 220 extracts information recorded on the bedrock condition observation site.

본 발명에 따른 S300 단계는 백본 네트워크부(310)가 전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 S310 단계; 회귀모델부(320)가 상기 백본 네트워크에 회귀모델이 추가결합되는 S320 단계; 및 최적화부(330)가 상기 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델학습을 하는 S330 단계를 포함한다.Step S300 according to the present invention includes a step S310 in which the backbone network unit 310 sets up a pre-trained CNN-based backbone network using transfer learning; Step S320 in which the regression model unit 320 additionally combines a regression model with the backbone network; and a step S330 in which the optimization unit 330 inputs a scene data set to a deep learning model in which the backbone network and the regression model are combined, and performs deep learning model learning through hyperparameter adjustment.

본 발명은 암반상태 평가부(400)가 암반등급을 산정하는 S400 단계가 더 포함된다.The present invention further includes a step S400 in which the rock mass state evaluation unit 400 calculates the rock mass grade.

본 발명에 따른 S400 단계는 RMR 예측값 산출부(410)가 상기 딥러닝 모델 학습부(300)에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장수집 터널 막장면 이미지를 입력하여 RMR 예측값을 산출하는 S410 단계; 및 암반등급 산정부(420)가 상기 RMR 예측값에 대응되는 암반등급을 산출하는 S420 단계로 구비될 수 있다.In step S400 according to the present invention, the RMR prediction value calculation unit 410 inputs the field-collected tunnel scene image not used for learning the deep learning model to the deep learning model that has been learned in the deep learning model learning unit 300, Step S410 of calculating a predicted value; and a step S420 in which the rock mass grade calculator 420 calculates the rock mass grade corresponding to the predicted RMR value.

또한, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 구체적으로 본 발명은 하드웨어와 결합되어, 본 발명에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.Also, the present invention may be implemented as a computer program. Specifically, the present invention is combined with hardware and can be implemented as a computer program stored in a computer-readable recording medium in order to execute the real-time bedrock state evaluation method based on the tunnel membrane scene image using deep learning according to the present invention by a computer. .

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Methods according to embodiments of the present invention may be implemented in a program form readable by various computer means and recorded on a computer readable recording medium. Here, the recording medium may include program commands, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of the program command may include a high-level language that can be executed by a computer using an interpreter, as well as a machine language generated by a compiler. These hardware devices may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments described in this specification and the accompanying drawings merely illustrate some of the technical ideas included in the present invention by way of example. Therefore, since the embodiments disclosed in this specification are intended to explain rather than limit the technical spirit of the present invention, it is obvious that the scope of the technical spirit of the present invention is not limited by these embodiments. All modified examples and specific examples that can be easily inferred by those skilled in the art within the scope of the technical idea included in the specification and drawings of the present invention should be construed as being included in the scope of the present invention.

10 : 제어서버 20 : 데이터베이스
100 : 데이터 수집부 200 : 데이터 전처리부
210 : 이미지 전처리부 220 : 관찰지 추출부
300 : 딥러닝 모델 학습부 310 : 백본 네트워크부
320 : 회귀모델부 330 : 최적화부
400 : 암반상태 평가부 410 : RMR 예측값 산출부
420 : 암반등급 산정부10: control server 20: database
100: data collection unit 200: data pre-processing unit
210: image pre-processing unit 220: observation paper extraction unit
300: deep learning model learning unit 310: backbone network unit
320: regression model unit 330: optimization unit
400: rock state evaluation unit 410: RMR prediction value calculation unit
420: rock grade calculator

Claims (19)

연산기능을 가진 제어서버 및 데이터베이스에 의해 수행되는 이미지 기반 실시간 암반상태 평가시스템으로서, 제어서버는
현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 데이터 수집부;
상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 데이터 전처리부; 및
백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 딥러닝 모델 학습부;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.As an image-based real-time bedrock condition evaluation system performed by a control server and database having a calculation function, the control server
a data collection unit that collects an on-site tunnel membrane surface image and bedrock condition observation sheet;
a data pre-processing unit that pre-processes the on-site tunnel membrane scene image and extracts information including RMR measurement values from the bedrock state observation site; and
A deep learning model learning unit that sets up a backbone network, learns a deep learning model in which a regression model unit is coupled to the backbone network, and calculates an RMR predicted value; State evaluation system. 청구항 1에 있어서,
상기 데이터 수집부에서 수집된 암반상태 관찰지는 상기 현장 터널막장면 이미지에 대응되도록 기 작성된 것이며, RMR 분류에 의한 RMR 측정값 및 암반등급 정보가 포함되는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 1,
The rock mass state observations collected by the data collection unit are prepared in advance to correspond to the on-site tunnel membrane scene image, and the tunnel membrane scene image using deep learning, characterized in that it includes the RMR measurement value and rock mass grade information by RMR classification. Based real-time rock condition evaluation system. 청구항 1에 있어서,
상기 데이터 전처리부는
상기 터널막장면 이미지를 정제하고, 정제된 이미지를 추출하는 이미지 전처리부 및 상기 암반상태 관찰지에 기록된 정보를 추출하는 관찰지 추출부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 1,
The data pre-processing unit
An image pre-processing unit for refining the tunnel membrane scene image and extracting the refined image, and an observation site extraction unit for extracting information recorded on the bedrock state observation paper, based on real-time tunnel membrane scene image using deep learning. Rock condition evaluation system. 청구항 3에 있어서,
상기 이미지 전처리부는
원본 이미지에서, 기 설정된 기준 이하로 불선명한 부분이 제거된 제1차 전처리 이미지를 추출하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 3,
The image pre-processing unit
A real-time bedrock condition evaluation system based on a tunnel curtain scene image using deep learning, characterized by extracting a first preprocessed image from an original image in which unclear parts below a predetermined standard are removed. 청구항 4에 있어서,
상기 이미지 전처리부는
상기 제1차 전처리 이미지에서, 막장면 암반상태 평가와 무관하다고 기 설정된 요소가 추가제거된 제2차 전처리 이미지를 추출하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 4,
The image pre-processing unit
In the first pre-processed image, a second pre-processed image from which elements previously set as irrelevant to the bedrock state evaluation are additionally removed is extracted. 청구항 5에 있어서,
상기 이미지 전처리부는
상기 제2차 전처리 이미지에서, 추가제거된 부분이 막장면 정보를 이용하여 복원 또는 재생성된 제3차 전처리 이미지를 추출하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 5,
The image pre-processing unit
In the second pre-processed image, a third pre-processed image in which the additionally removed part is restored or regenerated using the scene information is extracted. 청구항 1에 있어서,
상기 딥러닝 모델 학습부는
전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 백본 네트워크부;
상기 백본 네트워크에 회귀모델이 추가결합되는 회귀모델부; 및
상기 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델학습을 하는 최적화부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 1,
The deep learning model learning unit
a backbone network unit that sets up a pre-trained CNN-based backbone network using transfer learning;
a regression model unit in which a regression model is additionally coupled to the backbone network; and
An optimization unit that inputs a face dataset to a deep learning model in which the backbone network and the regression model are combined and performs deep learning model learning through hyperparameter adjustment. Real-time bedrock condition evaluation system. 청구항 7에 있어서,
상기 백본 네트워크부는
1차 입력된 터널 막장면 이미지에 잠재된 고유 특징정보를 1차 출력값으로 추출하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 7,
The backbone network unit
A real-time bedrock state evaluation system based on a tunnel face image using deep learning, characterized in that it extracts the unique feature information latent in the first input tunnel face image as a first output value. 청구항 8에 있어서,
상기 백본 네트워크는 EfficientNet-b4 이며,
이미지넷(ImageNet) 데이터셋에서 사전훈련된 가중치로 상기 백본 네트워크 가중치를 초기화한 후, 미세조정(fine-tuning)방식으로 터널 막장면 데이터셋에 대해 재학습을 하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 8,
The backbone network is EfficientNet-b4,
After initializing the backbone network weights with weights pretrained in the ImageNet dataset, using deep learning, characterized in that for re-learning on the tunnel face dataset in a fine-tuning method. Real-time bedrock state evaluation system based on tunnel face image. 청구항 9에 있어서,
상기 회귀모델부는
상기 백본 네트워크부에서 추출된 고유 특징정보를 2차 입력값으로 하여, 정량적인 RMR 예측값을 2차 출력값으로 산출하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 9,
The regression model part
A real-time bedrock condition evaluation system based on a tunnel face image using deep learning, characterized in that the quantitative RMR prediction value is calculated as a secondary output value by taking the unique feature information extracted from the backbone network unit as a secondary input value. 청구항 10에 있어서,
상기 회귀모델부에서 산출된 RMR 예측값은
암석의 일축압축강도값(R1), RQD값(R2), 불연속면의 간격값(R3), 불연속면의 상태값(R4) 및 지하수 상태값(R5)의 합산점수인 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 10,
The RMR predicted value calculated by the regression model unit is
Using deep learning, characterized in that the sum of the uniaxial compressive strength value (R1) of the rock, the RQD value (R2), the gap value of the discontinuous surface (R3), the state value of the discontinuous surface (R4), and the groundwater state value (R5) Real-time bedrock state evaluation system based on tunnel face image. 청구항 7에 있어서,
상기 최적화부에서
상기 막장면 데이터셋은 각 막장면 이미지 및 대응되는 각 관찰지 추출값을 포함하며,
각 막장면 이미지와 함께 입력된 RMR 측정값(Yg)과, 상기 딥러닝 모델에 의해 산출된 RMR 예측값(Yp) 사이의 오차를 최소화하도록 딥러닝 모델의 네트워크 가중치를 반복적으로 미세조정하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 7,
in the optimization section
The scene face dataset includes each face image and corresponding observation point extraction values,
Characterized in that the network weight of the deep learning model is repeatedly fine-tuned to minimize the error between the RMR measurement value (Yg) input with each scene image and the RMR prediction value (Yp) calculated by the deep learning model Real-time bedrock state evaluation system based on tunnel membrane scene image using deep learning. 청구항 12에 있어서,
상기 최적화부의 하이퍼파라미터는 다음 조건들로 설정되는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.
[조건1] 입력 이미지 크기 : 200×400 pixels
[조건2] 최대 에포크(Epoch) : 100 (학습 조기 종료(Early stopping) 기법 적용)
[조건3] 배치 사이즈(Batch size) : 128
[조건4] 오차함수(Loss function) : Mean Squared Error (MSE)
[조건5] 최적화기(Optimizer) : Adam optimizer
[조건6] 초기 학습 속도(Initial learning rate) : 1×10-4
[조건7] 학습 속도 스케줄러(Learning rate scheduler) : StepLR (50 에포크마다 학습 속도×10-1)The method of claim 12,
The hyperparameters of the optimization unit are set to the following conditions.
[Condition 1] Input image size: 200×400 pixels
[Condition 2] Maximum epoch: 100 (applies early stopping technique)
[Condition 3] Batch size: 128
[Condition 4] Loss function: Mean Squared Error (MSE)
[Condition 5] Optimizer: Adam optimizer
[Condition 6] Initial learning rate: 1×10 -4
[Condition 7] Learning rate scheduler: StepLR (learning rate per 50 epochs × 10 -1 ) 청구항 1에 있어서,
상기 딥러닝 모델 학습부에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장 터널막장면 이미지를 입력하여 RMR 예측값을 산출하는 RMR 예측값 산출부; 및
상기 RMR 예측값에 대응되는 암반등급을 산출하는 암반등급 산정부가 포함된 암반상태 평가부를 더 구비하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가시스템.The method of claim 1,
an RMR prediction value calculation unit for calculating an RMR prediction value by inputting an on-site tunnel end scene image not used for learning the deep learning model to the deep learning model learned in the deep learning model learning unit; and
A real-time bedrock state evaluation system based on a tunnel face scene image using deep learning, characterized in that it further comprises a rock mass state evaluation unit including a rock mass grade calculation unit that calculates a rock mass grade corresponding to the RMR predicted value. 연산기능을 가진 제어서버 및 데이터베이스에 의해 수행되는 이미지 기반 실시간 암반상태 평가방법으로서, 제어서버는
데이터 수집부가 현장의 터널막장면 이미지 및 암반상태 관찰지를 수집하는 S100 단계;
데이터 전처리부가 상기 현장 터널막장면 이미지를 전처리하고, 상기 암반상태 관찰지에서 RMR 측정값이 포함된 정보를 추출하는 S200 단계; 및
딥러닝 모델 학습부가 백본 네트워크를 설정하고, 백본 네트워크에 회귀모델부가 결합된 딥러닝 모델을 학습시켜, RMR 예측값을 산출하는 S300 단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법.As an image-based real-time rock mass state evaluation method performed by a control server and database having an arithmetic function, the control server
Step S100 in which the data collection unit collects the site image of the tunnel surface and the bedrock condition observation sheet;
a step S200 of pre-processing the on-site tunnel membrane scene image by a data pre-processing unit and extracting information including RMR measurement values from the bedrock state observation site; and
S300 step of setting a backbone network by a deep learning model learning unit, learning a deep learning model in which a regression model unit is coupled to the backbone network, and calculating an RMR predicted value; image-based tunnel barrier using deep learning comprising: Real-time rock condition evaluation method. 청구항 15에 있어서, S200 단계는
이미지 전처리부가 상기 터널막장면 이미지를 정제하고, 유효 이미지를 추출하는 S210 단계; 및
관찰지 추출부가 상기 암반상태 관찰지에 기록된 정보를 추출하는 S220 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법.The method according to claim 15, step S200
Step S210 of an image pre-processing unit refining the tunnel membrane scene image and extracting an effective image; and
A real-time bedrock state evaluation method based on a tunnel membrane scene image using deep learning, characterized in that it comprises a step S220 of extracting the information recorded on the bedrock state observation paper by the observation paper extraction unit. 청구항 15에 있어서, S300 단계는
백본 네트워크부가 전이학습을 이용하여 사전훈련된 CNN 기반의 백본 네트워크를 설정하는 S310 단계;
회귀모델부가 상기 백본 네트워크에 회귀모델이 추가결합되는 S320 단계; 및
최적화부가 상기 백본 네트워크와 상기 회귀모델이 결합된 딥러닝 모델에 막장면 데이터셋을 입력하고, 하이퍼파라미터 조정을 통해 딥러닝 모델 학습을 하는 S330 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법.The method according to claim 15, step S300
Step S310 in which the backbone network unit sets up a pre-trained CNN-based backbone network using transfer learning;
Step S320 in which a regression model unit additionally couples a regression model to the backbone network; and
Tunnel dead end using deep learning, characterized in that the optimization unit includes a step S330 of inputting a dead face dataset into a deep learning model in which the backbone network and the regression model are combined, and learning the deep learning model through hyperparameter adjustment. Surface image-based real-time rock mass condition evaluation method. 청구항 15에 있어서,
암반상태 평가부가 암반등급을 산정하는 S400 단계가 더 포함되며,
S400 단계는
RMR 예측값 산출부가 상기 딥러닝 모델 학습부에서 학습완료된 딥러닝 모델에, 상기 딥러닝 모델 학습에 미사용된 현장수집 터널 막장면 이미지를 입력하여 RMR 예측값을 산출하는 S410 단계; 및
암반등급 산정부가 상기 RMR 예측값에 대응되는 암반등급을 산출하는 S420 단계로 구비되는 것을 특징으로 하는 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법.The method of claim 15
A step S400 of calculating the grade of the rock mass by the rock mass condition evaluation unit is further included,
S400 step is
Step S410 of calculating an RMR prediction value by an RMR prediction value calculation unit inputting a field collected tunnel surface image not used for learning the deep learning model to the deep learning model that has been learned in the deep learning model learning unit; and
A real-time bedrock condition evaluation method based on a tunnel face scene image using deep learning, characterized in that the bedrock grade calculation unit is provided in step S420 of calculating the bedrock grade corresponding to the RMR predicted value. 하드웨어와 결합되어, 청구항 15에 따른 딥러닝을 이용한 터널막장면 이미지 기반 실시간 암반상태 평가방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

Combined with hardware, a computer program stored in a computer-readable recording medium to execute the real-time bedrock state evaluation method based on the tunnel membrane scene image using deep learning according to claim 15 by a computer.
KR1020220024901A 2022-02-25 2022-02-25 Real-time evaluation system and method of rock state based on tunnel face image by using deep learning KR20230127511A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220024901A KR20230127511A (en) 2022-02-25 2022-02-25 Real-time evaluation system and method of rock state based on tunnel face image by using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220024901A KR20230127511A (en) 2022-02-25 2022-02-25 Real-time evaluation system and method of rock state based on tunnel face image by using deep learning

Publications (1)

Publication Number Publication Date
KR20230127511A true KR20230127511A (en) 2023-09-01

Family

ID=87975206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220024901A KR20230127511A (en) 2022-02-25 2022-02-25 Real-time evaluation system and method of rock state based on tunnel face image by using deep learning

Country Status (1)

Country Link
KR (1) KR20230127511A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252236A (en) * 2023-10-25 2023-12-19 中国路桥工程有限责任公司 Tunnel blasting vibration peak prediction method, system, equipment and medium based on DBN-LSTM-BWAA
CN117708488A (en) * 2024-02-02 2024-03-15 交通运输部公路科学研究所 Evaluation method for functional level of highway tunnel system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252236A (en) * 2023-10-25 2023-12-19 中国路桥工程有限责任公司 Tunnel blasting vibration peak prediction method, system, equipment and medium based on DBN-LSTM-BWAA
CN117708488A (en) * 2024-02-02 2024-03-15 交通运输部公路科学研究所 Evaluation method for functional level of highway tunnel system
CN117708488B (en) * 2024-02-02 2024-04-19 交通运输部公路科学研究所 Evaluation method for functional level of highway tunnel system

Similar Documents

Publication Publication Date Title
KR101926561B1 (en) Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same
Deng et al. Concrete crack detection with handwriting script interferences using faster region‐based convolutional neural network
Chen et al. Automated extraction and evaluation of fracture trace maps from rock tunnel face images via deep learning
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
KR20230127511A (en) Real-time evaluation system and method of rock state based on tunnel face image by using deep learning
Chen et al. Convolutional neural networks (CNNs)-based multi-category damage detection and recognition of high-speed rail (HSR) reinforced concrete (RC) bridges using test images
JP6764842B2 (en) Information processing equipment, information processing system, information processing method, and information processing program
Brackenbury et al. Automated defect detection for masonry arch bridges
CN108140218A (en) Integrity decision maker, integrity determination method and integrity decision procedure
KR102539835B1 (en) System for digital twin generation and damage analysis using 3d camera
Miao et al. Deep learning‐based evaluation for mechanical property degradation of seismically damaged RC columns
KR102576001B1 (en) Automation device and method for evaluating Rock Mass Rating(RMR) using deep learning models
CN111222462A (en) Target detection-based intelligent labeling method for apparent feature monitoring data
Pan Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment
Park et al. A framework for improving object recognition of structural components in construction site photos using deep learning approaches
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
KR102311558B1 (en) System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method
Mohammed et al. End-to-end semi-supervised deep learning model for surface crack detection of infrastructures
Myrans et al. Using Automatic Anomaly Detection to Identify Faults in Sewers:(027)
CN114841995B (en) Deep learning-based railway roadbed fender equipment service state evaluation method
JP6516384B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM
CN114972906A (en) Soil quality type identification method for excavation surface of soil pressure balance shield
CN114973067A (en) Earth pressure balance shield muck information extraction method based on deep multi-task learning
German et al. Comprehensive property retrieval and measurement of concrete spalling using machine vision for post-earthquake safety assessments
YAMANE et al. Reflection of the position of cracks in a 3-d model of a bridge using semantic segmentation