KR102037893B1 - 디지털 외관조사망도 구축 시스템 및 방법 - Google Patents

디지털 외관조사망도 구축 시스템 및 방법 Download PDF

Info

Publication number
KR102037893B1
KR102037893B1 KR1020190081358A KR20190081358A KR102037893B1 KR 102037893 B1 KR102037893 B1 KR 102037893B1 KR 1020190081358 A KR1020190081358 A KR 1020190081358A KR 20190081358 A KR20190081358 A KR 20190081358A KR 102037893 B1 KR102037893 B1 KR 102037893B1
Authority
KR
South Korea
Prior art keywords
image
damage
feature points
digital
digital appearance
Prior art date
Application number
KR1020190081358A
Other languages
English (en)
Inventor
안윤규
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020190081358A priority Critical patent/KR102037893B1/ko
Application granted granted Critical
Publication of KR102037893B1 publication Critical patent/KR102037893B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 일 측면에 따른 대상 구조물의 손상 상태를 나타내는 디지털 외관조사망도 구축 시스템은 데이터 송수신 모듈, 대상 구조물에 대한 디지털 외관조사망도를 구축하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 프로세서는 프로그램의 실행에 의해, 비전 카메라가 대상 구조물을 제 1 방향으로 스캐닝한 영상을 데이터 송수신 모듈을 통해 수신하고, 제 1 방향으로 스캐닝한 영상으로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 복수의 단위 영상을 순차적으로 연결하는 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 생성하고, 학습된 손상 검출 모델을 통해 통합 영상에서 손상을 검출하고, 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하되, 이미지 스티칭은 서로 인접한 단위 영상들 사이에서 서로 유사한 특징을 갖는 특징점들 간의 유사도에 기초하여 각 특징점을 서로 매칭하되, 유사도가 임계점을 넘는 경우인 특징점을 매칭한다.

Description

디지털 외관조사망도 구축 시스템 및 방법{SYSTEM AND METHOD FOR ESTABLISHING DIGITAL EXTERIOR SURVEY MAP}
본 발명은 대상 구조물의 손상 정보를 취득하는 것으로, 보다 상세하게는 비전카메라를 탑재한 부착형 무인체를 통해 대상 구조물의 영상 데이터를 취득하여 특징 제어 기반 이미지 스티칭을 수행하고 인공지능 기반 손상 검출 및 정량화를 수행하는 디지털 외관조사망도 구축 시스템 및 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 대상 구조물에 접근하여 균열의 치수를 재는 것으로서, 균열 평가에 있어 사람의 주관이 개입되기 때문에 다른 검사 방법에 비해 신뢰도가 떨어지며, 구조물에 따라 접근이 불가한 경우가 발생할 수 있어 균열 평가가 어렵고 번거롭다.
한편, 비전 카메라를 이용한 영상을 이용하여 대상 구조물의 균열을 평가하는 방법은, 카메라의 성능에 따라 미세 균열의 경우 근접 촬영이 필수적으로 수반되어야 하며, 카메라의 FOV(Field of view)의 한계로 인해 대형 구조물의 전반적인 평가가 어려워 대부분 국부 손상 평가에 국한되기도 한다. 또한 균열 정량화를 위해서는 카메라와 구조물 사이의 정확한 거리를 측정하거나 기준이 되는 표식을 구조물 표면에 설치해야 하는 등 현장 적용성이 낮다.
비전 카메라를 통해 취득한 데이터를 인공지능 기반 균열 검출용 딥러닝 네트워크에 적용하여 대상 구조물의 균열을 자동으로 인식하는 기법의 경우, CNN, RCNN, Fast-RCNN, 시맨틱 세그멘테이션(semantic segmentation)기법 등 다양한 네트워크들이 개발되었다. 다만 해당 기법들은 미세 균열의 경우 과대 평가되는 단점이 있어 추가적인 균열 정량화 과정이 필수적이고, 단일 캡쳐된 비전 이미지에 대한 평가는 다양하게 시도되었으나, 이를 바탕으로 대형 구조물의 균열망도를 작성하고자 하는 시설물 안전점검의 최종 목적에 대한 시도는 전무한 상황이다.
대한민국 공개특허공보 제10-2017-0097670호 (발명의 명칭: 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인력 접근이 어려운 대형 구조물의 미세 균열을 비파괴 및 비접촉으로 검사하기 위해 비전 카메라가 탑재된 부착형 무인체를 통해 스캐닝하여 고화질 근접촬영 데이터를 취득하고, 이미지 스티칭을 통해 카메라가 지니고 있는 FOV 한계를 극복하고 넓은 ROI(Region of interest)에 대해 인공지능 기반 균열 검출 알고리즘 적용할 수 있는 디지털 외관조사망도 구축 시스템 및 방법을 제공하는데 목적이 있다.
또한 본 발명은 인공지능 기반의 균열 검출을 통해 전문가의 주관 개입 없이 자동으로 빠른 시간 내에 균열을 검출하고, 인공지능 기반의 자동 검출된 균열 영역에 대해 표면에 표식 등 추가적인 처리 없이 정밀한 균열 정량화를 수행한 후 해당 ROI 에 디지털 외관조사망도를 구축한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 대상 구조물의 손상 상태를 나타내는 디지털 외관조사망도 구축 시스템은 데이터 송수신 모듈, 대상 구조물에 대한 디지털 외관조사망도를 구축하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 프로세서는 프로그램의 실행에 의해, 비전 카메라가 대상 구조물을 제 1 방향으로 스캐닝한 영상을 데이터 송수신 모듈을 통해 수신하고, 제 1 방향으로 스캐닝한 영상으로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 복수의 단위 영상을 순차적으로 연결하는 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 생성하고, 학습된 손상 검출 모델을 통해 통합 영상에서 손상을 검출하고, 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하되, 이미지 스티칭은 서로 인접한 단위 영상들 사이에서 서로 유사한 특징을 갖는 특징점들 간의 유사도에 기초하여 각 특징점을 서로 매칭하되, 유사도가 임계점을 넘는 경우인 특징점을 매칭한다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템은 부착형 무인체에 탑재된 비전 카메라를 통해 비파괴, 비접촉으로 데이터를 취득할 수 있고, 이미지 프로세싱 및 인공지능을 통하여 접근이 어려운 대형 구조물의 외관에 발생한 균열을 추출 및 정량화하고 자동으로 디지털 외관조사망도를 구축할 수 있다.
또한 기존의 육안검사를 기반으로 수기로 작성했던 구조물의 외관 조사망도의 정확성을 획기적으로 향상시킬 수 있으며, 자동화 특성상 외관 조사망도에 투입되었던 전문 인력과 시간을 대폭 절감할 수 있다. 나아가 디지털 외관조사망도를 시간 이력에 따라 저장 및 분석함으로써 구조물의 유지보수 시점을 예측하는데 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 방법을 설명하는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 진행 단계를 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템에서 대조평탄화 및 대조스트레칭 단계를 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 이미지 스티칭 단계를 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 균열 검출을 위한 인공지능 아키텍쳐를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 균열 정량화 절차를 설명하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 동작 환경을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 특징점 추출 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 대조향상 전 특징점 매칭 및 이미지 스티칭을 표시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 대조향상 후 특징점 매칭 단계를 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 검증 결과를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서에서 디지털 외관조사망도 구축 시 구조물 외관의 손상상태는 균열, 박리박락, 누수, 부식을 포함하나, 설명의 편의상 균열 상태를 중심으로 구체화하여 설명한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 구성을 도시한 블록도이다.
도시된 바와 같이 디지털 외관조사망도 구축 시스템(100)은 스캐닝 모듈(110), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
스캐닝 모듈(110)은 대상 구조물의 영상을 스캐닝 하는 모듈이며, 비전 카메라와 같은 다양한 카메라를 포함할 수 있다. 스캐닝 모듈(110)은 대상 구조물을 스캐닝하기 위해 무인체, 클라이밍 로봇, 드론 등의 부착형 무인체에 탑재되어 사용될 수 있다.
데이터 송수신 모듈(120)은 스캐닝 모듈(110)과 설정된 통신 포맷으로 통신하여 스캐닝 모듈(110)에서 스캐닝한 영상 데이터 등을 송수신할 수 있다. 또한 데이터 송수신 모듈(120)은 각종 외부 장치(서버 또는 단말) 로부터 디지털 외관조사망도 구축 프로그램 등의 업데이트 정보 등을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 디지털 외관조사망도 구축 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 비전 카메라가 대상 구조물을 제 1 방향으로 스캐닝한 영상을 데이터 송수신 모듈(120)을 통해 수신하고, 제 1 방향으로 스캐닝한 영상으로부터 비전 카메라(111)의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 대조평탄화(Contrast-limited adaptive histogram equalization) 또는 대조스트레칭(Contrast stretching)을 포함하는 대조(Contrast) 향상을 위한 이미지 프로세싱 알고리즘을 수행하고, 복수의 단위 영상을 순차적으로 연결하는 이미지 스티칭을 수행하여 균열 탐지 대상이 되는 통합 영상을 생성하고, 학습된 균열 검출 모델을 통해 통합 영상에서 균열을 검출하고, 검출된 균열에 대해 정량화 프로세스를 수행하여 정량화된 균열 정보를 반영한 디지털 외관조사망도를 생성한다.
이미지 스티칭은 서로 인접한 단위 영상들 사이에서 서로 유사한 특징을 갖는 특징점들 간의 유사도에 기초하여 각 특징점을 서로 매칭하되, 유사도가 임계점을 넘는 경우인 특징점을 매칭한다. 정량화 프로세스는 검출된 균열의 영상을 이진처리하고, 이진처리된 영상에서 유클리디언 거리 변환(Euclidean distance transform)을 사용하여 균열의 두께를 계산하고, 골격화(Skeletonization) 알고리즘을 이용하여 균열의 형상을 추출하고, 균열의 형상에 실제 균열 크기를 계산하기 위한 제어 계수를 적용하여, 정량화된 균열 정보를 생성할 수 있다.
프로세서(130)는 제 1 방향으로 스캐닝하고, 제 1 방향과 수직한 제 2 방향을 따라 서로 균등하게 배치된 복수의 비전 카메라(111)로부터 제 1 방향으로 스캐닝한 복수의 스캐닝 영상을 수신하고, 복수의 스캐닝 영상 각각에 대하여 비전 카메라(111)의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 복수의 스캐닝 영상에 대하여 각각 이미지 스티칭을 수행하여 균열 탐지 대상이 되는 통합 영상을 각각 생성하고, 학습된 균열 검출 모델을 통해 각 통합 영상에서 균열을 검출하고, 검출된 균열에 대해 정량화 프로세스를 수행하여 정량화된 균열 정보를 반영한 디지털 외관조사망도를 생성하고, 생성된 각각의 디지털 외관조사망도를 제 2 방향에 따라 연결할 수 있다.
여기서 제1방향은 대상 구조물의 수직 방향과 나란한 것으로, 하기 도3에서 표시된 스캐닝(Scanning)방향에 해당할 수 있다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 디지털 외관조사망도 구축 프로그램이 저장된다. 이러한 메모리(140)에는 디지털 외관조사망도 구축 시스템(100)의 구동을 위한 운영 체제나 디지털 외관조사망도 구축 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 디지털 외관조사망도 구축 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 동작 순서를 도시한 순서도이고,
도 3은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 진행 단계를 나타낸 흐름도이다.
비전 카메라 (Vision camera)가 탑재된 부착형 무인체를 이용하여 대상 구조물을 스캐닝하여 데이터를 취득한다. 이때, 각 비전 카메라는 제한된 시야각 (Field of view- FOV)을 가지므로 스캐닝을 통해 취득된 데이터는 시, 공간적으로 변화하는 데이터이다. 특히, 대상 구조물의 검사 영역 (Region of interest- ROI)이 넓을 경우, 방대한 양의 취득된 데이터로부터 기존의 전문가 판단에 의존하여 균열 정보만을 추출하는 것은 어려움이 있다. 이를 자동화하기 위해 시, 공간적으로 변화하는 취득 데이터에 대해 이미지 스티칭을 수행하여 ROI 이미지를 구축한 후, 인공지능 기반의 알고리즘을 통해 균열 정보를 추출한 후, 균열 정보를 정량화 한다. 마지막으로, 정량화된 균열정보를 ROI 이미지에 매칭시킴으로써 대상 구조물의 검사영역에 대한 디지털 외관조사망도를 자동으로 구축할 수 있다.
도 4는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템에서 대조평탄화 및 대조스트레칭 단계를 나타낸 흐름도이다.
부착형 무인체에 탑재된 비전카메라(111)를 통해 데이터를 취득한 후, 비전카메라(111)가 가진 FOV의 한계를 극복하기 위해 특징 추출 기반 이미지 스티칭을 수행한다. 이때, 근접 촬영에 따른 콘크리트 표면에서 특징점 추출이 매우 어려운 기술적 난제를 해결하기 위해, 도4에 도시된 바와 같이 왜곡 보정된 이미지에 대해 대조 향상을 위한 이미지 프로세싱을 수행하고, 부착형 무인체가 미리 정해진 경로를 따라 동작하는 제어 조건을 반영하여 이미지 스티칭을 수행한다. 예를 들면, 부착형 무인체가 구조물의 수직 방향을 따라 이동하는 제어 조건을 반영할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 이미지 스티칭 단계를 설명하는 도면이다.
도 5의 (a)에 도시된 바와 같이 i번째 이미지 Vi p와 i+1번째 이미지 Vi+1 p에서 각각 n, m개의 특징점을 추출하고, 두 이미지에 추출된 특징점 중 가장 유사한 특징점을 찾아 매칭을 수행한다. 이때 도5의 특징 매칭 프로세스에서 도시된 바와 같이 각 특징의 유사도가 기설정된 임계값(Threshold)를 넘지 못하면 매칭에서 제외한다. 또한(b)에서 표시된 바와 같이 제어 조건에 해당하지 않는 특징점들은 매칭에서 제외한다. (c)는 매칭된 특징점만을 표시하였다.
제어 조건 없이 이미지 스티칭을 수행할 경우, 콘크리트 표면의 불균질성으로 인해 특징 간 매칭이 정확하게 이루어지지 않으므로, 제어 조건을 적용하기 위해 특징 매칭을 하기 수학식1을 이용하여 수행한다.
[수학식1]
Figure 112019069185441-pat00001
수학식 1에서,
Figure 112019069185441-pat00002
는 매칭된 특징점 간의 거리,
Figure 112019069185441-pat00003
는 i번째 영상의 매칭된 특징이고,
Figure 112019069185441-pat00004
는 i+1번째 영상의 매칭된 특징이다. n은 i번째 영상의 특징점의 개수, m은 i+1번째 영상의 특징점의 개수, k는 매칭된 특징점의 개수이다.
이때, 부착형 무인체의 경로를 제어 조건으로 활용하면 보다 정밀한 스티칭이 가능한 특징만을 추출할 수 있다. 부착형 무인체는 정해진 경로를 따라 스캐닝을 수행하므로 매칭된 특징점 간의 거리는 일정한 경향을 갖는다. 진동이나 표면 조건으로 인한 떨림 등으로 인해 발생하는 에러를 감안하여 제어 계수(control coefficient)를 하기 수학식2와 같이 나타낼 수 있다.
[수학식2]
Figure 112019069185441-pat00005
Figure 112019069185441-pat00006
는 제어 계수이고,
Figure 112019069185441-pat00007
와
Figure 112019069185441-pat00008
는 각각 x, y 방향의
Figure 112019069185441-pat00009
의 히스토그램이다.
Figure 112019069185441-pat00010
와
Figure 112019069185441-pat00011
는
Figure 112019069185441-pat00012
와
Figure 112019069185441-pat00013
를 최대값으로 만들어주는 히스토그램 빈(bin)이다.
Figure 112019069185441-pat00014
와
Figure 112019069185441-pat00015
는 진동에러이다. k개의 매칭된 특징점 중 제어 조건에 의해 일부 매칭쌍을 제거하고 남은 매칭쌍의 개수가 j이다.
상기 수학식 2를 통해 계산한 제어 계수를 이용해 제어 조건을 적용하면 하기 수학식 3과 같이 이미지 스티칭을 위한 매칭점들만을 남길 수 있다.
[수학식 3]
Figure 112019069185441-pat00016
특징 매칭 제어조건을 적용한 이미지 스티칭을 위한 매칭점은 도5의 (c)와 같이 도시된다.
도 6은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 균열 검출을 위한 인공지능 아키텍쳐를 도시한 도면이다.
본 발명에서 사용하는 인공지능 네트워크는 이미지 세그멘터이션을 위한 딥 컨볼루션 아키텍쳐인 DeepLab V3+으로 이미지 인식 분야에서 널리 쓰이는 네트워크인 합성곱신경망(CNN)을 기반으로 한다. 인코더는 맥스 풀링을 통해 컨볼루션 레이어를 리사이징 한다. 맥스 풀링 레이어는 각 픽셀에서 최대값을 뽑아내서 얻은 레이어이다. 디코더는 맥스 풀링 단계에서 계산된 풀링 인덱스를 사용하여 업샘플링을 수행한다.
본 발명에서는 인공지능 네트워크의 일종인 DeepLab V3+을 기존에 학습된 데이터가 아닌 균열과 무균열 이진 분류에 적합하도록 전이학습을 수행하여 균열검출용 네트워크를 구축하였다. 네트워크 학습은 513 x 513 사이즈로 고정하여 총 900장을 학습하고 100 장으로 검증을 수행하였다. 이때 균열 학습을 위해 폴리곤 툴을 이용하여 영역을 정의해준다. 균열 학습이 완료된 네트워크를 활용하여 ROI 이미지에 나타난 균열을 자동으로 검출한다. 다만, 학습과정에서 마이크로 단위의 균열을 정밀하게 학습시키는 것이 어려우므로, 이로 인해 검출된 균열은 과대평가되는 경향이 있다.
도 7은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 균열 정량화 절차를 설명하는 흐름도이다.
도6에 도시된 바와 같은 균열 검출 절차에서 검출된 균열은 정밀한 평가결과가 아니므로 추가적인 프로세싱을 통해 균열정량화를 수행해야 한다. 즉, 인공지능 기반으로 검출된 균열 영역에 대해서 동일 영역의 RGB 이미지로부터 추출하고, 이진처리(Binarization)를 수행한다.
도 7에 도시된 바와 같이, 이진처리된 이미지인 CB 이미지에 대해 유클리디언 거리변환(EDT)에 기반하여 균열 두께를 계산하고, 골격화를 수행해 균열의 형상을 추출한다. EDT에 기반하여 균열 두께를 계산하기 위해 CB 이미지의 두 픽셀 p와 q 간 거리를 계산하면 하기 수학식 4와 같다.
[수학식 4]
Figure 112019069185441-pat00017
수학식 4에서, A는 CB 이미지의 값이 있는 픽셀 (1인 픽셀)이며 AC 는 A의 여집합이다. 계산된 값 중 최솟값을 찾아 기준점인 픽셀 p에 맵핑하면 CE 이미지를 얻을 수 있다. 이를 수식으로 표현하면 하기 수학식5와 같다.
[수학식5]
Figure 112019069185441-pat00018
다음으로, 골격화를 수행하여 균열의 형상을 추출하며, 하기 수학식6과 같이 Thinning 알고리즘에 기반하여 수행된다.
[수학식6]
Figure 112019069185441-pat00019
상기 수학식6에서 B는 구조 요소이며, ＼는 여집합,
Figure 112019069185441-pat00020
는 적중 및 비적중 변환 (Hit-or-miss transformation)을 나타낸다. 여기서 B는 하기 수학식7에 나타낸 두 가지 행렬을 90˚, 180˚, 270˚ 회전하여 총 8개로 구성된다.
[수학식7]
Figure 112019069185441-pat00021
CB 이미지에 B와 동일한 형상이 존재하면 그 중심 픽셀에 1을 부여하여 CS 이미지를 정의할 수 있으며, 더 이상 변화가 없을 때까지 상기 수학식6에 나타낸 과정을 반복한다. 이때, 오일러 수는 그대로 유지하여 균열의 형상이 사라지지 않도록 한다.
[수학식8]
Figure 112019069185441-pat00022
마지막으로, 하기 수학식9를 통해 실제 균열의 크기를 적용하기 위한 스케일 팩터s를 구한다.
[수학식9]
Figure 112019069185441-pat00023
여기서, d w 는 카메라 렌즈와 대상 구조물 간 작업 거리, l은 카메라 센서의 크기, P는 이미지의 픽셀 레졸루션이고 f는 카메라의 초점 거리이다.
디지털 외관조사망도를 구축하기 위해, 하기 수학식10과 같이 CE 이미지와 CS 이미지의 각 픽셀값을 곱한 후에 비전 카메라(111)의 스케일 팩터를 곱하면 정밀한 균열 정량화 결과를 나타내는 디지털 외관조사망도가 생성된다.
[수학식10]
Figure 112019069185441-pat00024
여기서, Vi,j F 는 디지털 외관조사망도의 픽셀 값, Ci,j E는 CE 이미지의 픽셀 값, Ci,j E는 CS 이미지의 픽셀 값이다.
도 8은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 동작 환경을 설명하는 도면이다.
본 발명의 검증을 위해 부착형 클라이밍 로봇이 사용되었으며, 이는 부착형 드론 및 다양한 무인체로 대체가 가능하다. 클라이밍 로봇 영상 스캐닝 시스템은 클라이밍 로봇 및 클라이밍 로봇에 탑재된 다수의 비전 카메라와 제어 컴퓨터로 구성된다. 제어 컴퓨터를 통해 작동 신호를 보내면 클라이밍 로봇이 미리 정해진 경로를 따라 동작하며 비전 카메라를 통해 데이터를 취득한다. 클라이밍 로봇은 제 1 방향으로 스캐닝하고, 제 1 방향과 수직한 제 2 방향을 따라 서로 균등하게 배치된 복수의 비전 카메라를 포함할 수 있다.
도시된 바와 같이, 원기둥 형상의 교각 구조물을 따라 수직 방향으로 이동할 수 있도록, 원형 프레임에 결합된 복수의 클라이밍 구동 수단이 배치되고, 원형 프레임에 복수의 비전 카메라가 서로 균등하게 배치될 수 있다. 이때, 클라이밍 구동 수단은 모터와 교각에 밀착되는 바퀴를 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 특징점 추출 결과를 도시한 도면이다.
클라이밍 로봇의 스캐닝을 통해 취득한 데이터의 특징점을 추출하면 도9에 나타낸 것과 같이 대조향상 전 도9 (a)와 대조향상 후 도9 (b)에 추출된 특징점의 개수는 22개에서 9941개로 약 450배 가량 증가한 것을 확인할 수 있다.
도 10는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 대조향상 전 특징점 매칭 및 이미지 스티칭을 표시한 도면이으로서, 대조 향상 전의 이미지로 특징점을 추출하고 이미지 스티칭을 수행하게 되면 도10 (b)와 같이 왜곡되어 정상적인 균열 평가를 수행할 수 없다.
도 11은 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 대조향상 후 특징점 매칭 단계를 나타낸 흐름도로서, 로봇의 작동 조건을 활용하여 대조 향상 후의 이미지에 대해 특징점 매칭 제어를 수행하면, 도11(c)와 같이 동일한 특징점만 남게 되고, 이를 통해서 최종적으로 이미지 스티칭을 수행하면 정밀한 스티칭을 수행할 수 있다.
도 12는 본 발명의 일 실시예에 따른 디지털 외관조사망도 구축 시스템의 검증 결과를 도시한 도면이다.
도 12(a)는 이미지 스티칭 수행 결과로, FOV의 한계로 인해 균열 평가를 수행하기 어려운 취득 이미지에 대해 이미지 스티칭을 수행하여 ROI 이미지(통합 영상)가 성공적으로 구축되었음을 확인할 수 있다.
도 12(b)는 균열검출용 네트워크를 활용하여 ROI 이미지에 대해 인공지능 기반의 균열 검출을 수행한 결과이다.
도 12(c)는 디지털 외관조사망도를 구축한 결과이며, 본 결과는 육안조사에 따른 Ground truth와 비교하여 90.92 %의 정밀도 (Precision) 및 97.47 %의 재현율 (Recall)을 나타냄을 확인하였다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 디지털 외관조사망도 구축 시스템
110: 스캐닝 모듈
111: 비전 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스

Claims (16)

  1. 대상 구조물의 손상 상태를 나타내는 디지털 외관조사망도 구축 시스템에 있어서,
    데이터 송수신 모듈;
    대상 구조물에 대한 디지털 외관조사망도를 구축하는 프로그램이 저장된 메모리;
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 실행에 의해, 비전 카메라가 상기 대상 구조물을 제 1 방향으로 스캐닝한 영상을 상기 데이터 송수신 모듈을 통해 수신하고, 상기 제 1 방향으로 스캐닝한 영상으로부터 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 상기 복수의 단위 영상을 순차적으로 연결하는 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 생성하고, 학습된 손상 검출 모델을 통해 상기 통합 영상에서 손상을 검출하고, 상기 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하되,
    상기 이미지 스티칭은 서로 인접한 단위 영상들 사이에서 서로 유사한 특징을 갖는 특징점들 간의 유사도에 기초하여 각 특징점을 서로 매칭하되, 유사도가 임계점을 넘는 경우인 특징점을 매칭하는 것이고,
    상기 정량화 프로세스는 상기 검출된 손상의 영상을 이진처리하고, 이진처리된 영상에서 유클리디언 거리 변환(Euclidean distance transform)을 사용하여 손상의 두께를 계산하고, 골격화(Skeletonization) 알고리즘을 이용하여 손상의 형상을 추출하고, 상기 손상의 형상에 실제 손상 크기를 계산하기 위한 스케일 팩터를 적용하여, 정량화된 손상 정보를 생성하는 것인
    디지털 외관조사망도 구축 시스템.
  2. 제 1항에 있어서,
    상기 이미지 스티칭을 수행하기 전 대조(Contrast) 향상을 위한 이미지 프로세싱 알고리즘을 수행하고,
    상기 이미지 프로세싱 알고리즘은 대조평탄화(Contrast-limited adaptive histogram equalization) 또는 대조스트레칭(Contrast stretching)인 것인
    디지털 외관조사망도 구축 시스템.
  3. 제 1항에 있어서,
    상기 이미지 스티칭은 다음의 수학식 1에 따라 특징점을 매칭하는 것인 디지털 외관조사망도 구축 시스템.
    <수학식1>
    Figure 112019069185441-pat00025

    Figure 112019069185441-pat00026
    : 매칭된 특징점간의 거리
    Figure 112019069185441-pat00027
    : i번째 영상의 매칭된 특징
    Figure 112019069185441-pat00028
    : i+1번째 영상의 매칭된 특징
    n: i번째 영상의 특징점의 개수
    m: i+1번째 영상의 특징점의 개수
    k: 매칭된 특징점의 개수.
  4. 제 1항에 있어서,
    상기 이미지 스티칭은 상기 비전 카메라의 스캐닝 경로를 제어 조건으로 하고, 하기 수학식 2에 따라 비전 카메라의 진동으로 인한 에러를 보정하여 하기 수학식 3에 따른 이미지 스티칭을 위한 매칭점을 계산하는 것인
    디지털 외관조사망도 구축 시스템
    [수학식 2]
    Figure 112019069185441-pat00029

    [수학식3]
    Figure 112019069185441-pat00030

    Figure 112019069185441-pat00031
    는 제어 계수이고,
    Figure 112019069185441-pat00032
    와
    Figure 112019069185441-pat00033
    는 각각 x, y 방향의
    Figure 112019069185441-pat00034
    의 히스토그램이다.
    Figure 112019069185441-pat00035
    와
    Figure 112019069185441-pat00036
    는
    Figure 112019069185441-pat00037
    와
    Figure 112019069185441-pat00038
    를 최대값으로 만들어주는 히스토그램 bin이다.
    Figure 112019069185441-pat00039
    와
    Figure 112019069185441-pat00040
    는 진동에러이다. k개의 매칭된 특징점 중 상기 제어 조건에 의해 일부 매칭쌍을 제거하고 남은 매칭쌍의 개수가 j이다.
  5. 제 1항에 있어서,
    상기 손상 검출 모델은 인공지능 기반의 의미론적 이미지 세그멘테이션 컨볼루션 신경망(DeepLab V3+), CNN 또는 Faster RCNN을 사용하는 것인,
    디지털 외관조사망도 구축 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 제 1 방향으로 스캐닝하고, 상기 제 1 방향과 수직한 제 2 방향을 따라 서로 균등하게 배치된 복수의 비전 카메라로부터 상기 제 1 방향으로 스캐닝한 복수의 스캐닝 영상을 수신하고, 상기 복수의 스캐닝 영상 각각에 대하여 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 상기 복수의 스캐닝 영상에 대하여 각각 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 각각 생성하고, 상기 학습된 손상 검출 모델을 통해 상기 각 통합 영상에서 손상을 검출하고, 상기 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하고, 생성된 각각의 디지털 외관조사망도를 상기 제 2 방향에 따라 연결하는 것인 디지털 외관조사망도 구축 시스템.
  8. 제 1항에 있어서,
    상기 손상은 균열, 박리박락, 부식 또는 누수를 포함하는 것인
    디지털 외관조사망도 구축 시스템.
  9. 대상 구조물의 손상 상태를 나타내는 디지털 외관조사망도 구축 시스템을 이용한 디지털 외관조사망도 구축 방법에 있어서,
    (a) 비전 카메라가 상기 대상 구조물을 제 1 방향으로 스캐닝한 영상을 데이터 송수신 모듈을 통해 수신하고, 상기 제 1 방향으로 스캐닝한 영상으로부터 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하는 단계,
    (b) 상기 복수의 단위 영상을 순차적으로 연결하는 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 생성하는 단계,
    (c) 학습된 손상 검출 모델을 통해 상기 통합 영상에서 손상을 검출하는 단계,
    (d) 상기 검출된 손상에 대해 정량화 프로세스를 수행하는 단계 및
    (e) 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하는 단계를 포함하고
    상기 이미지 스티칭은 서로 인접한 단위 영상들 사이에서 서로 유사한 특징을 갖는 특징점들 간의 유사도에 기초하여 각 특징점을 서로 매칭하되, 유사도가 임계점을 넘는 경우인 특징점을 매칭하는 것이고,
    상기 정량화 프로세스는 상기 검출된 손상의 영상을 이진처리하고, 이진처리된 영상에서 유클리디언 거리 변환(Euclidean distance transform)을 사용하여 손상의 두께를 계산하고, 골격화(Skeletonization) 알고리즘을 이용하여 손상의 형상을 추출하고, 상기 손상의 형상에 실제 손상 크기를 계산하기 위한 스케일 팩터를 적용하여, 정량화된 손상 정보를 생성하는 것인
    디지털 외관조사망도 구축 방법.
  10. 제 9항에 있어서,
    상기 (b)단계의 이미지 스티칭을 수행하기 전 대조(Contrast) 향상을 위한 이미지 프로세싱 알고리즘을 수행하고,
    상기 이미지 프로세싱 알고리즘은 대조평탄화(Contrast-limited adaptive histogram equalization) 또는 대조스트레칭(Contrast stretching)인 것인
    디지털 외관조사망도 구축 방법.
  11. 제 9항에 있어서,
    상기 (b)단계의 이미지 스티칭은 다음의 수학식 1에 따라 특징점을 매칭하는 것인 디지털 외관조사망도 구축 방법.
    <수학식1>
    Figure 112019069185441-pat00041

    Figure 112019069185441-pat00042
    는 매칭된 특징점간의 거리,
    Figure 112019069185441-pat00043
    는 i번째 영상의 매칭된 특징이고,
    Figure 112019069185441-pat00044
    는 i+1번째 영상의 매칭된 특징이다. n은 i번째 영상의 특징점의 개수, m은 i+1번째 영상의 특징점의 개수, k는 매칭된 특징점의 개수이다.
  12. 제 9항에 있어서,
    상기 (b)단계의 이미지 스티칭은 상기 비전 카메라의 스캐닝 경로를 제어 조건으로 하고, 수학식 2에 따라 비전 카메라의 진동으로 인한 에러를 보정하여 수학식 3에 따른 이미지 스티칭을 위한 매칭점을 계산하는
    디지털 외관조사망도 구축 방법.
    <수학식 2>
    Figure 112019069185441-pat00045

    <수학식3>
    Figure 112019069185441-pat00046

    Figure 112019069185441-pat00047
    는 제어 계수이고,
    Figure 112019069185441-pat00048
    와
    Figure 112019069185441-pat00049
    는 각각 x, y 방향의
    Figure 112019069185441-pat00050
    의 히스토그램이다.
    Figure 112019069185441-pat00051
    와
    Figure 112019069185441-pat00052
    는
    Figure 112019069185441-pat00053
    와
    Figure 112019069185441-pat00054
    를 최대값으로 만들어주는 히스토그램 bin이다.
    Figure 112019069185441-pat00055
    와
    Figure 112019069185441-pat00056
    는 진동에러이다. k개의 매칭된 특징점 중 상기 제어 조건에 의해 일부 매칭쌍을 제거하고 남은 매칭쌍의 개수가 j이다.
  13. 제 9항에 있어서,
    상기 (c)단계의 손상 검출 모델은 인공지능 기반의 의미론적 이미지 세그멘테이션 컨볼루션 신경망(DeepLab V3+), CNN 또는 Faster RCNN을 사용하는 것인,
    디지털 외관조사망도 구축 방법.
  14. 삭제
  15. 제 9 항에 있어서,
    상기 디지털 외관조사망도 구축 시스템은 상기 제 1 방향으로 스캐닝하고, 상기 제 1 방향과 수직한 제 2 방향을 따라 서로 균등하게 배치된 복수의 비전 카메라로부터 상기 제 1 방향으로 스캐닝한 복수의 스캐닝 영상을 수신하고, 상기 복수의 스캐닝 영상 각각에 대하여 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 단위 영상을 순차적으로 추출하고, 상기 복수의 스캐닝 영상에 대하여 각각 이미지 스티칭을 수행하여 손상 탐지 대상이 되는 통합 영상을 각각 생성하고, 상기 학습된 손상 검출 모델을 통해 상기 각 통합 영상에서 손상을 검출하고, 상기 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성하고, 생성된 각각의 디지털 외관조사망도를 상기 제 2 방향에 따라 연결하는 것인 디지털 외관조사망도 구축 방법.
  16. 제 9항에 있어서,
    상기 손상은 균열, 박리박락, 부식 또는 누수를 포함하는 것인
    디지털 외관조사망도 구축 방법.
KR1020190081358A 2019-07-05 2019-07-05 디지털 외관조사망도 구축 시스템 및 방법 KR102037893B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190081358A KR102037893B1 (ko) 2019-07-05 2019-07-05 디지털 외관조사망도 구축 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081358A KR102037893B1 (ko) 2019-07-05 2019-07-05 디지털 외관조사망도 구축 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102037893B1 true KR102037893B1 (ko) 2019-11-26

Family

ID=68731228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081358A KR102037893B1 (ko) 2019-07-05 2019-07-05 디지털 외관조사망도 구축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102037893B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162028B1 (ko) * 2020-04-07 2020-10-06 (재)한국건설품질연구원 Ai를 이용한 손상탐지 시스템
CN111754500A (zh) * 2020-06-30 2020-10-09 中国科学院地质与地球物理研究所 一种岩石压裂缝网拓扑结构刻画***
CN112488119A (zh) * 2020-12-18 2021-03-12 山西省信息产业技术研究院有限公司 基于双深度学习模型的隧道掉块或渗水检测及测量方法
KR102229423B1 (ko) 2020-06-15 2021-03-18 주식회사 다산컨설턴트 3차원 bim 모델과 접목된 외관망도의 손상 특징, 3차원 위치와 크기 정보를 파라미터로 가지는 외관 조사망도 구축 시스템 및 코드화 표현방법
KR102237407B1 (ko) * 2020-08-04 2021-04-07 (주) 다음기술단 3d 센서 탑재형 dgnss 기반 드론을 이용한 교량 시설물 유지관리 시스템
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
CN112698392A (zh) * 2020-11-20 2021-04-23 中国石油天然气股份有限公司 一种多层系储集体立体刻画与油气空间分布及定容方法
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR20210116353A (ko) 2020-03-16 2021-09-27 (주) 한국시설안전연구원 외관조사망도에 기반한 상태평가 장치 및 방법
KR20220039450A (ko) * 2020-09-22 2022-03-29 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
KR20220084575A (ko) 2020-12-14 2022-06-21 주식회사 다산컨설턴트 Catia를 이용한 코드화된 디지털외관망도 구축을 위한 bim 모델 구축시스템 및 정보제공 방법
KR20220120343A (ko) * 2021-02-23 2022-08-30 세종대학교산학협력단 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
KR20230085372A (ko) 2021-12-07 2023-06-14 한국건설기술연구원 스캐너를 이용한 건축구조물 외관조사망도의 입력 자동화 시스템 및 그 방법
KR102559586B1 (ko) * 2022-10-17 2023-07-26 (주)유디엔에스 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
KR20230140621A (ko) 2022-03-29 2023-10-10 주식회사 한국건설방재연구원 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템
KR102621971B1 (ko) 2022-09-16 2024-01-10 세종대학교산학협력단 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법
KR102641506B1 (ko) 2022-11-09 2024-02-27 세종대학교산학협력단 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법
KR20240055261A (ko) 2022-10-20 2024-04-29 세종대학교산학협력단 구조물의 3차원 디지털 모델 재건을 통한 자동 손상 매핑 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101885728B1 (ko) * 2017-05-19 2018-08-06 이화여자대학교 산학협력단 영상 스티칭 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101896654B1 (ko) * 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101885728B1 (ko) * 2017-05-19 2018-08-06 이화여자대학교 산학협력단 영상 스티칭 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101896654B1 (ko) * 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321249B1 (ko) * 2019-12-17 2021-11-03 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
KR20210116353A (ko) 2020-03-16 2021-09-27 (주) 한국시설안전연구원 외관조사망도에 기반한 상태평가 장치 및 방법
KR102162028B1 (ko) * 2020-04-07 2020-10-06 (재)한국건설품질연구원 Ai를 이용한 손상탐지 시스템
KR102229423B1 (ko) 2020-06-15 2021-03-18 주식회사 다산컨설턴트 3차원 bim 모델과 접목된 외관망도의 손상 특징, 3차원 위치와 크기 정보를 파라미터로 가지는 외관 조사망도 구축 시스템 및 코드화 표현방법
CN111754500A (zh) * 2020-06-30 2020-10-09 中国科学院地质与地球物理研究所 一种岩石压裂缝网拓扑结构刻画***
CN111754500B (zh) * 2020-06-30 2023-06-27 中国科学院地质与地球物理研究所 一种岩石压裂缝网拓扑结构刻画***
KR102237407B1 (ko) * 2020-08-04 2021-04-07 (주) 다음기술단 3d 센서 탑재형 dgnss 기반 드론을 이용한 교량 시설물 유지관리 시스템
KR20220039450A (ko) * 2020-09-22 2022-03-29 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
KR102476701B1 (ko) * 2020-09-22 2022-12-12 세종대학교산학협력단 구조물 외관 조사망도 구축 시스템 및 방법
CN112698392A (zh) * 2020-11-20 2021-04-23 中国石油天然气股份有限公司 一种多层系储集体立体刻画与油气空间分布及定容方法
KR20220084575A (ko) 2020-12-14 2022-06-21 주식회사 다산컨설턴트 Catia를 이용한 코드화된 디지털외관망도 구축을 위한 bim 모델 구축시스템 및 정보제공 방법
CN112488119A (zh) * 2020-12-18 2021-03-12 山西省信息产业技术研究院有限公司 基于双深度学习模型的隧道掉块或渗水检测及测量方法
KR20220120343A (ko) * 2021-02-23 2022-08-30 세종대학교산학협력단 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
KR102541678B1 (ko) 2021-02-23 2023-06-12 세종대학교산학협력단 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
KR20230085372A (ko) 2021-12-07 2023-06-14 한국건설기술연구원 스캐너를 이용한 건축구조물 외관조사망도의 입력 자동화 시스템 및 그 방법
KR20230140621A (ko) 2022-03-29 2023-10-10 주식회사 한국건설방재연구원 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템
KR102621971B1 (ko) 2022-09-16 2024-01-10 세종대학교산학협력단 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법
KR102559586B1 (ko) * 2022-10-17 2023-07-26 (주)유디엔에스 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
KR20240055261A (ko) 2022-10-20 2024-04-29 세종대학교산학협력단 구조물의 3차원 디지털 모델 재건을 통한 자동 손상 매핑 시스템 및 방법
KR102641506B1 (ko) 2022-11-09 2024-02-27 세종대학교산학협력단 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102037893B1 (ko) 디지털 외관조사망도 구축 시스템 및 방법
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN109615653B (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN111104906A (zh) 一种基于yolo的输电塔鸟巢故障检测方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN111666855B (zh) 基于无人机的动物三维参数提取方法、***及电子设备
JP7150468B2 (ja) 構造物劣化検出システム
KR20220093492A (ko) 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
Ozog et al. Toward long-term, automated ship hull inspection with visual SLAM, explicit surface optimization, and generic graph-sparsification
CN113706496A (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN111476062A (zh) 车道线检测方法、装置、电子设备及驾驶***
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
CN116930192A (zh) 一种高精度铜管缺陷检测方法及***
CN112215304A (zh) 一种用于地理影像拼接的灰度影像匹配方法及装置
JP2021145557A (ja) 罹病木診断システム、罹病木診断方法、及び罹病木診断プログラム
CN116416234A (zh) 一种轨道机车表面缺陷检测方法及***
CN115760908A (zh) 基于胶囊网络感知特征的绝缘子跟踪方法和装置
CN112102394B (zh) 基于深度学习的遥感图像舰船尺寸一体化提取方法
KR102541678B1 (ko) 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
KR102263029B1 (ko) 화재 피해를 입은 구조물의 위험도 추정 방법
Wang Automatic detection of concrete cracks from images using Adam-SqueezeNet deep learning model
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant