KR20230140621A - 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템 - Google Patents

인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템 Download PDF

Info

Publication number
KR20230140621A
KR20230140621A KR1020220038582A KR20220038582A KR20230140621A KR 20230140621 A KR20230140621 A KR 20230140621A KR 1020220038582 A KR1020220038582 A KR 1020220038582A KR 20220038582 A KR20220038582 A KR 20220038582A KR 20230140621 A KR20230140621 A KR 20230140621A
Authority
KR
South Korea
Prior art keywords
crack
image
artificial intelligence
concrete
crack area
Prior art date
Application number
KR1020220038582A
Other languages
English (en)
Inventor
이래철
Original Assignee
주식회사 한국건설방재연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국건설방재연구원 filed Critical 주식회사 한국건설방재연구원
Priority to KR1020220038582A priority Critical patent/KR20230140621A/ko
Publication of KR20230140621A publication Critical patent/KR20230140621A/ko

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • G01N2021/8864Mapping zones of defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/888Marking defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615Inspecting patterns on the surface of objects using a comparative method with stored comparision signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 이미지 스티칭과 인공지능을 기반으로 신속하고 정확하게 구조물의 콘크리트 균열을 탐지할 수 있는 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템을 개시한다.
개시된 시스템은 콘크리트 구조물의 분할 영상을 입력받아 전처리하는 영상 전처리부와, 전처리된 분할 영상들을 스케일 불변 특징 변환(SIFT)을 이용하여 주어진 영상의 크기 및 회전에 불변하는 특징점을 추출하고, 특징점 간의 거리를 최소화하는 아핀 변환을 계산하여 분할된 영상들을 하나의 영상으로 정합하는 이미지 스티칭부와, 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 생성하고, 이를 이용하여 상기 이미지 스티칭부로부터 입력되는 정합된 영상에 대해 균열영역을 검출하는 인공지능(AI) 기반 균열영역 탐지부와, 상기 인공지능(AI) 기반 균열영역 탐지부에 의해 탐지된 균열영역의 특징을 소정의 기준 객체와 비교하여 정량화하는 균열영역 정량화부를 포함한다.

Description

인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템{Concrete crack detection method and system using artificial intelligence}
본 발명은 영상을 활용한 콘크리트 균열 분석 및 진단을 통해 기반 시설의 콘크리트 노후화에 대비하여 선제적으로 관리 체계를 구축할 수 있도록 하는 노후 콘크리트 균열 탐지 기술에 관한 것으로, 더욱 상세하게는 이미지 스티칭과 인공지능을 기반으로 신속하고 정확하게 구조물의 균열을 탐지할 수 있는 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템에 관한 것이다.
일반적으로, 콘크리트 구조물의 균열은 구조물의 미적 특성을 떨어뜨릴 뿐만 아니라 장기적으로 구조물의 안전을 위험하게 하는 요인이 될 수 있다. 특히, 구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다.
소규모 지반 콘크리트 구조물에서 수행되는 콘크리트 균열 조사 및 점검방법은 주로 현장에서 점검자가 균열자나 균열현미경과 같은 측량 도구를 사용하여 육안 조사 후 수기로 외관조사망도를 작성하는 과정으로 이루어진다. 이 방법은 점검자의 주관이 개입될 수 있어 기록의 객관성과 신뢰도가 떨어질 수 있으며, 점검자가 변경될 경우 손상의 진행성 여부를 파악하기 어렵다. 따라서 이러한 문제를 극복하고, 시설물 손상 점검의 객관성과 정확성, 그리고 자료 기록 및 저장의 편의성을 높이기 위해서 촬영기기를 통한 영상(image) 획득을 통해 외관조사결과를 자동으로 추출하는 영상처리기법(imageprocessing method)에 대한 연구가 진행되었다.
대한민국특허청 등록특허공보(B1)에 등록번호 제10-2037893호로 공고된 "디지털 외관조사망도 구축 시스템 및 방법"은 인력 접근이 어려운 대형 구조물의 미세 균열을 비파괴 및 비접촉으로 검사하기 위해 비전 카메라가 탑재된 부착형 무인체를 통해 스캐닝하여 고화질 근접촬영 데이터를 취득하고, 이미지 스티칭을 통해 카메라가 지니고 있는 FOV(Field of View) 한계를 극복하고 넓은 ROI(Region of interest)에 대해 인공지능 기반 균열 검출 알고리즘 적용할 수 있는 것이다.
또한 등록번호 제10-2254773호로 공고된 "영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류시스템 및 그 방법"은 학습용 하자 이미지를 데이터베이스화하고, 학습용 하자 이미지로부터 하자판정모델 학습을 통해 입력된 이미지의 하자 영역 분할 추출 및 하자 특성 분류에 따라 입력 영상정보의 하자를 판정함으로써 건물 부위별 하자 특성과 하자 영역을 자동으로 분류하여 하자를 간편하고 신속하게 판정할 수 있게 한 것이다. 또한, 건물 또는 시설물의 외부 및 내부 등을 촬영한 동영상, 사진, 이미지 등의 영상정보를 이용하여 신경망 모델이나 딥러닝 모델 등 기계학습 모델을 기반으로 건물 또는 시설물 등의 부위별 하자에 대한 부위속성, 하자속성 등의 하자 특성을 학습함으로써 영상정보로부터 하자 특성 도출의 정확도를 높일 수 있도록 한 것이다.
KR 10-2037893 B1 KR 10-2254773 B1
통상, 외관조사망도 구축을 위해서는 구조물에 대한 사진 데이터 취득이 필요한데, 댐의 경우 자일 혹은 다굴절 차량을 이용하여 특정 거리에서 고해상도 접사 촬영이 필요하고, 교량의 경우 시설물 표면에 표식을 부착하거나 특정 거리에서 촬영하는 등 정량화를 위한 기저 데이터가 필요하다. 또한 전문가의 육안조사 및 비파괴 검사 장비 기반의 조사는 전문가의 주관적 판단에 의존한 분석으로 신뢰도가 낮고, 현재 외관조사망도 조사 체계는 조사 시점의 한시적 대응 방안으로 사용될 뿐, 기술 부재로 인해 누적 데이터의 시간 이력 관리 및 활용 기술이 부재한 문제점이 있다.
본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명이 해결하고자 하는 과제는 이미지 스티칭과 인공지능을 기반으로 신속하고 정확하게 균열을 탐지할 수 있는 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템을 제공하는 것이다.
본 발명의 실시예는 인공지능을 이용한 콘크리트 균열 탐지 시스템을 개시한다.
개시된 시스템은 콘크리트 구조물의 분할 영상을 입력받아 전처리하는 영상 전처리부와, 전처리된 분할 영상들을 스케일 불변 특징 변환(SIFT)을 이용하여 주어진 영상의 크기 및 회전에 불변하는 특징점을 추출하고, 특징점 간의 거리를 최소화하는 아핀 변환을 계산하여 분할된 영상들을 하나의 영상으로 정합하는 이미지 스티칭부와, 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 생성하고, 이를 이용하여 상기 이미지 스티칭부로부터 입력되는 정합된 영상에 대해 균열영역을 검출하는 인공지능(AI) 기반 균열영역 탐지부와, 상기 인공지능(AI) 기반 균열영역 탐지부에 의해 탐지된 균열영역의 특징을 소정의 기준치와 비교하여 정량화하는 균열영역 정량화부를 포함한다.
상기 콘크리트 균열 탐지 시스템은 상기 인공지능(AI) 기반 균열영역 탐지부의 균열 후보 영상에 대해 수동으로 균열영역을 탐지할 수 있게 하는 수동 균열영역 탐지부를 더 포함하고, 상기 균열영역 정량화부는 상기 인공지능(AI) 기반 균열영역 탐지부나 상기 수동 균열영역 탐지부에 의해 탐지된 균열영역의 특징을 소정의 기준치와 비교하여 정량화하는 것이다.
본 발명의 다른 실시예는 인공지능을 이용한 콘크리트 균열 탐지 방법을 개시한다.
개시된 방법은 콘크리트 균열 탐지 시스템이 콘크리트 구조물의 분할 영상을 입력받는 단계와, 콘크리트 균열 탐지 시스템이 입력된 콘크리트 영상을 전처리하는 단계와, 콘크리트 균열 탐지 시스템이 전처리된 영상들을 스케일 불변 특징 변환(SIFT)을 이용하여 특징점을 추출하고, 추출된 특징점 간의 거리를 최소화하는 아핀 변환을 계산하여 분할 영상들을 하나의 영상으로 스티칭하는 이미지 스티칭 단계와, 콘크리트 균열 탐지 시스템이 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 이용하여 정합된 영상에 대해 균열영역을 검출하는 균열영역 탐지 단계와, 콘크리트 균열 탐지 시스템이 탐지된 균열영역의 특징을 소정의 기준과 비교하여 정량화하는 균열영역 정량화 단계를 포함한다.
상기 이미지 스티칭 단계는 입력된 분할 영상에 가우시안 필터를 적용하여 영상의 크기 공간을 도출하는 크기 공간 극값 검출 단계와, 차분 가우시안(DoG)를 적용하여 분할 영상에서의 변화가 큰 경계선 및 모퉁이 특징들을 잠재적 키포인트(Potential Keypoint)로 추출하는 잠재적 키포인트 추출 단계와, 각 잠재적 키포인트들을 정제하여 키포인트 위치로 지역화하는 키포인트 지역화 단계와, 각 키포인트 주변의 그레디언트 방향과 크기를 구하여 가장 두드러진 방향을 해당 키포인트의 방향으로 할당하는 방향 할당 단계와, 키포인트 주변의 각 이미지 샘플에서 그레디언트의 크기와 방향을 계산하여 키포인트 디스크립터를 생성하고 이를 특징점으로 추출하는 단계와, 아핀 변환을 통해 추출된 특징점들간의 유사도를 측정하는 단계와, 측정된 특징점들간의 유사도를 최소화하도록 분할 영상들을 매칭하여 스티칭된 영상을 출력하는 단계를 포함한다.
상기 균열영역 탐지 단계는 인공지능 학습용 데이터베이스를 이용하여 학습된 싱글 샷 멀티박스 디텍터(SSD)를 소정의 새로운 학습 데이터로 전이학습시켜 싱글 샷 멀티박스 디텍터(SSD)의 가중치를 보완하여 균열영역 검출에 사용할 인공지능(AI) 모델을 생성하는 단계와, 가중치가 보완된 인공지능(AI) 모델이 이미지 스티칭된 영상을 처리하여 균열영역이나 균열 후보영역을 출력하는 단계를 포함한다.
본 발명의 실시예에 따르면, 이미지 스티칭과 딥러닝을 이용하여 수동적인 균열 평가 방법을 자동화함으로써 콘크리트 균열 평가에 대한 편의성을 증대시키면서 평가 작업에 대한 인적 요소와 검사 시간 단축을 통해 평가 비용을 절감할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 실제 균열 길이에 근접한 정량적인 수치의 추출이 가능하고, 다양한 균열 양상을 보여주는 추가 균열 이미지로 딥러닝 재학습을 통해서 딥러닝 네트워크의 가중치를 수정하여 AI 모델의 성능을 지속적으로 업데이트할 수 있으며, 이에 따라 콘크리트 균열 탐지 성능도 지속적으로 개선할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 시스템을 도시한 개략도,
도 2는 본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 절차를 도시한 순서도,
도 3은 도 2에 도시된 아핀 변환 기반 이미지 스티칭 단계의 세부 절차를 도시한 순서도,
도 4는 도 2에 도시된 인공지능 기반 균열영역 검출 단계의 세부 절차를 도시한 순서도,
도 5는 본 발명의 실시예에 따른 이미지 스티칭의 예를 도시한 도면,
도 6은 본 발명의 실시예에 따라 인공지능으로 콘크리트 균열을 탐지한 예,
도 7은 본 발명의 실시예에 따라 수동적으로 콘크리트 균열을 탐지한 예,
도 8은 본 발명의 실시예에 따라 콘크리트 균열폭을 정량화하는 예,
도 9는 본 발명의 실시예에 따라 SIFT 기법으로 이미지 간 특징점을 추출한 예,
도 10은 본 발명의 실시예에 따라 아핀 변환 기법으로 특징점 간 유사도를 측정한 예,
도 11은 본 발명의 실시예에 따른 아핀 변환 정보를 이용한 영상 정합의 예를 도시한 도면,
도 12는 본 발명의 실시예에 적용되는 SSD 모델을 설명하기 위한 도면의 예이다.
본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 시스템을 도시한 개략도이고, 도 5는 본 발명의 실시예에 따른 이미지 스티칭의 예를 도시한 도면이며, 도 6은 본 발명의 실시예에 따라 인공지능으로 콘크리트 균열을 탐지한 예이고, 도 7은 본 발명의 실시예에 따라 수동적으로 콘크리트 균열을 탐지한 예이며, 도 8은 본 발명의 실시예에 따라 콘크리트 균열폭을 정량화하는 예이다.
본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 시스템(100)은 도 1에 도시된 바와 같이, 영상 전처리부(110), 이미지 스티칭부(120), 딥러닝(Deep Learning) 기반 균열영역 탐지부(130), 수동 균열영역 탐지부(140), 균열영역 정량화부(150)로 구성되어 영상 수집부(20)로부터 콘크리트 구조물(10)을 촬영하여 취득한 구조물의 콘크리트 영상을 입력받아 인공지능(AI) 방식으로 균열영역을 탐지한 후 데이터베이스(30)에 그 결과를 저장한다.
도 1을 참조하면, 영상 수집부(20)는 노후된 콘크리트 구조물(10)을 카메라로 촬영하여 콘크리트 균열 영상을 수집한다. 콘크리트 구조물(10)로서는 교량이나 건축물, 댐 등 제반 기반 시설을 포함하고, 영상 수집부(20)는 카메라가 장착된 드론 등과 같은 알려진 비젼 시스템으로 구현될 수 있다.
인공지능 기반 콘크리트 균열 탐지 시스템(100)은 탑재된 소프트웨어를 실행하는 복수의 프로세서와 메모리 등을 포함하는 영상 데이터 처리 장치로서, 컴퓨터나 클라우드 서버 등으로 구현될 수 있으며, 영상 수집부(20)와 유/무선 네트워크를 통해 연결되어 영상 데이터를 온라인 프로세싱으로 처리하거나 다량의 영상 데이터를 일괄적으로 입력받아 배치 방식으로 처리할 수도 있다.
영상 전처리부(110)는 영상 수집부(20)로부터 콘크리트 구조물의 영상을 입력받아 이미지 스티칭부(120)에서 처리하기 용이하도록 전처리한다.
이미지 스티칭부(120)는 전처리된 영상들을 스케일 불변 특징 변환(SIFT: Scale Invariant Feature Transform)을 이용하여 주어진 영상의 크기 및 회전에 불변하는 특징점을 추출한다. 또한 이미지 스티칭부(120)는 특징점을 기준으로 영상을 정합한 후 특징점 간의 거리를 최소화하는 아핀 변환(affine transformation)을 계산하고 일련의 분할 영상들에 적용하여 도 5에 도시된 바와 같이 하나의 영상으로 정합하여 출력한다. 도 5를 참조하면, 4개의 분할 영상이 스티칭되어 하나의 균열 영상으로 정합된 것을 알 수 있다.
인공지능(AI) 기반 균열영역 탐지부(130)는 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD: Single shot Multibox Detector) 네트워크에 전이학습(transfer learning)을 적용하여 가중치를 보완한 인공지능(AI) 모델을 생성하고, 이를 이용하여 이미지 스티칭부(120)로부터 입력되는 정합된 영상에 대해 도 6과 같은 균열영역과 균열 후보영역을 검출한다.
수동 균열영역 탐지부(140)는 인공지능(AI) 기반 균열영역 탐지부(130)의 균열 후보영역 영상에 대해 수동으로 균열영역을 탐지하기 위한 것이다. 즉, 건물 외벽의 균열 양상(패턴)을 보여주는 이미지는 촬영 당시의 주변 환경이나 촬영 장치의 성능 혹은 건물 외벽의 특성(디자인)에 따라 다양하게 나타난다. 이러한 외부 요인들은 균열 탐지 성능에 있어서 실제로는 균열이 아닌 것을 균열로 판정하는 거짓 양성(false positive) 결과를 초래할 수 있으므로 본 발명의 실시예에서는 AI기반 균열탐지를 보완하기 위한 방법으로 도 7에 도시된 바와 같이 수동적으로 균열영역을 찾을 수 있는 일종의 그림판 기능을 포함한다. 도 7을 참조하면, 딥러닝 기반 균열 탐지 수행 결과로 실제 균열이 아닌 영역을 검출하거나 균열 영역이 클 경우 잘못된 검출 결과를 보여줄 수 있다. 따라서 본 발명의 실시예에서는 사용자가 수동적으로 균열 영역을 검출하고 저장할 수 있는 기능을 추가하여 이미지상에 흩어져 있는 균열영역 또는 잘못된 균열영역이 검출된 경우 수동적으로 그려서 이를 저장 및 불러오기를 수행할 수 있다.
균열영역 정량화부(150)는 인공지능(AI) 기반 균열영역 탐지부(130)나 수동 균열영역 탐지부(140)에 의해 탐지된 균열영역의 특징을 도 8에 도시된 바와 같이 소정의 기준 객체와 비교하여 정량화한다. 도 8을 참조하면, 균열 영상에는 기준 객체로서 기준자가 함께 도시되어 기준자의 실제 길이로 실제 균열의 크기를 측정할 수 있다. 이미지상에 기준자가 없을 경우에는 픽셀 길이로 측정할 수도 있다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 절차를 도시한 순서도이다.
본 발명의 실시예에 따른 인공지능 기반 콘크리트 균열 탐지 절차는 도 2에 도시된 바와 같이, 수집 영상 입력 단계(S1), 영상 전처리 단계(S2), 아핀 변환 기반 이미지 스티칭 단계(S3), AI 기반 균열영역 검출단계(S4), 균열영역의 특징 정량화 단계(S5), DB 저장 단계(S6)를 포함한다.
도 2를 참조하면, 수집 영상 입력 단계(S1)에서는 콘크리트 균열 탐지 시스템(100)이 영상 수집부(20)로부터 분석 대상 콘크리트 구조물(10)의 분할 영상들을 입력받는다. 본 발명의 실시예는 수집된 영상을 딥러닝 기반의 인공지능 모델로 처리하여 콘크리트 균열을 탐지하는 것이다. 따라서 영상 수집 방식에 대해서는 한정하지 않으므로 카메라가 장착된 드론 등과 같은 알려진 다양한 영상 수집 방식을 이용하여 분석 대상 구조물의 영상을 수집할 수 있다. 이때 획득된 영상은 촬영 카메라의 FOV에 따라 균열의 일부를 촬영한 분할 영상들이다.
영상 전처리 단계(S2)에서는 영상 전처리부(110)가 입력된 콘크리트 구조물(10)의 분할 영상들을 이미지 스티칭에 적용할 수 있도록 전처리한다.
이미지 스티칭 단계(S3)에서는 이미지 스티칭부(120)가 전처리된 영상들을 스케일 불변 특징 변환(SIFT: Scale Invariant Feature Transform)을 이용하여 특징점을 추출하고, 특징점을 기준으로 영상을 정합한 후 특징점 간의 거리를 최소화하는 아핀 변환을 계산하고 일련의 영상들에 적용하여 하나의 영상으로 스티칭한다.
균열영역 탐지 단계(S4)에서는 AI기반 균열탐지부(130)가 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 이용하여 정합된 영상에 대해 균열영역을 검출한다. 이때 수동 균열영역 탐지부(140)가 AI기반 균열영역 탐지부(130)로부터 균열 후보영역 영상을 입력받아 수동으로 균열영역을 탐지할 수도 있다.
균열영역 정량화 단계(S5)에서는 탐지된 균열영역의 특징을 균열영역 정량화부(150)가 소정의 기준 객체와 비교하여 정량화한다. 즉, 정량화 단계(S5)는 탐지된 균열 이미지상에서 기준 객체가 주어졌을 때 실제 길이 대비 이미지상의 가상의 길이의 비율을 구하고 이를 토대로 균열영역의 폭과 길이를 산출한다.
도 3은 본 발명의 실시예에 따른 아핀 변환 기반 이미지 스티칭 단계(S3)의 세부 절차를 도시한 순서도이고, 도 9는 본 발명의 실시예에 따라 SIFT 기법으로 이미지 간 특징점을 추출한 예이며, 도 10은 본 발명의 실시예에 따라 아핀 변환 기법으로 특징점 간 유사도를 측정한 예이고, 도 11은 본 발명의 실시예에 따른 아핀 변환 정보를 이용한 영상 정합의 예를 도시한 도면이다.
구조물의 콘크리트 균열 이미지는 촬영 카메라의 화각(Angle of View)의 제한을 갖고 있으므로 전체 균열 영역을 하나의 이미지로 수집하는 것이 어렵다. 따라서 영상 수집부(20)에 의해 수집된 전체 균열영역에 대한 이미지는 일련의 분할된 복수의 이미지들로 수집하게 된다. 이미지 스티칭 단계(S3)에서는 스케일 불변 특징 변환(SIFT: Scale Invariant Feature Transform)를 이용하여 이미지 간의 동일한 특징을 추출하고 추출된 특징에 아핀 변환을 적용하여 이러한 일련의 분할 이미지들을 하나의 이미지로 통합함으로써 전체 균열영역에 대한 정보를 취득할 수 있게 한다.
도 3을 참조하면, 이미지 스티칭 단계(S3)는 크기-공간 극값 검출단계(S31), 잠재적 키포인트 추출 단계(S32), 키포인트 지역화 단계(S33), 방향 할당 단계(S34), 키포인트 디스크립트 생성 단계(S35), 아핀 변환 기반 특징점간 유사도 측정 단계(S36), 영상 매칭 단계(S37), 스티칭된 이미지 출력단계(S8)로 이루어진다. 여기서, S31 내지 S35가 스케일 불변 특징 변환(SIFT: Scale Invariant Feature Transform)를 이용하여 분할된 이미지 간의 동일한 특징을 추출하는 과정이고, S36~S38이 추출된 특징에 아핀 변환을 적용하여 분할 이미지들을 하나의 이미지로 통합하는 과정이다.
크기 공간 극값 검출(Scale-space Extrema Detection) 단계(S31)에서는 입력된 영상에 가우시안(Gaussian) 필터를 적용하여 영상의 크기 공간(scale space)을 도출하고, 잠재적 키포인트 추출 단계(S32)에서는 차분 가우시안(DoG: Difference of Gaussian)를 적용하여 영상에서의 변화가 큰 경계선 및 모퉁이 특징들을 잠재적 키포인트(Potential Keypoint)로 추출한다.
키포인트 지역화(Kypoint Localization) 단계(S33)에서는 각 잠재적 키포인트들을 정제하여 키포인트 위치로 지역화하고, 방향 할당 단계(S34)에서는 각 키포인트 주변의 그레디언트 방향과 크기를 구하여 가장 두드러진 방향을 해당 키포인트의 방향으로 할당한다.
키포인트 디스크립트 생성 단계(S35)에서는 키포인트 주변의 각 이미지 샘플에서 그레디언트의 크기와 방향을 계산하여 키포인트 디스크립터를 생성함으로써 도 9에 도시된 바와 같이 분할 이미지들의 특징점을 추출한다. 도 9를 참조하면, 4개의 분할 영상에서 서로 연관된 특징점들이 추출된 것을 알 수 있다.
아핀 변환 기반 특징점간 유사도 측정 단계(S36)에서는 아핀 변환을 적용하여 도 10에 도시된 바와 같이 분할 이미지들에서 추출된 특징점간의 유사도를 측정하고, 영상 매칭 및 출력 단계(S37,S38)에서는 특징점간의 거리(유사도)를 최소화하는 방향으로 분할된 이미지를 정합하여 도 11에 도시된 바와 같이 스티칭된 이미지를 출력한다.
이와 같이 본 발명의 실시예에 따른 이미지 스티칭 단계(S3)는 일련의 두 이미지가 주어졌을 때, 각 이미지 상의 동일한 객체의 형태, 색 정보 등과 같은 두 이미지 간의 동일한 특징을 찾아내고 이를 수학적 알고리즘을 이용하여 계산하여 붙이는 과정이고, 이때 일련의 이미지의 명암 정보를 조정하면 위화감이 없는 결과를 얻을 수 있다. 즉, 본 발명의 실시예에 따른 이미지 스티칭 단계(S3)에서는 스케일 불변 특징 변환(SIFT) 방법으로 이미지의 크기 및 회전과 관계없이 변하지 않는 특징점을 추출하고, 일련의 영상에서의 특징점 간의 거리 즉, 유사도를 최소화하는 아핀 변환(affine transformation)을 계산한 후 이를 일련의 분할 이미지에 적용하여 이미지를 연결하는 과정인 영상 정합(image registration)을 진행한다. 이러한 이미지 스티칭 알고리즘은 파이썬 프로그래밍 언어를 기반으로 OpenCV 라이브러리를 이용하여 구현될 수 있다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 균열영역 검출 단계의 세부 절차를 도시한 순서도이고, 도 12는 본 발명에 적용되는 SSD를 설명하기 위한 도면이다.
본 발명의 실시예에 따른 인공지능 기반 균열영역 검출 단계(S4)는 크게 딥러닝을 이용하여 균열 탐지를 위한 AI 모델을 생성하는 단계(S41)와, 생성된 AI 모델로 실제 입력 영상에 대해 콘크리트 균열영역을 탐지하는 단계(S42)로 이루어진다.
도 4를 참조하면, 전이학습을 이용하여 균열탐지를 위한 AI 모델을 생성하는 단계(S41)에서는 딥러닝 학습을 위한 기본 데이터를 AI 허브(www.aihub.or.kr)를 통해서 확보하였고, 이 기본 데이터는 2020년도부터 데이터 베이스 구축을 시작으로 2021년 6월 최초 개방된 자료로 대규모 SOC 및 접근이 어려운 건물의 결함을 수집한 AI 데이터 셋이다.
그리고 본 발명의 실시예에서는 기학습된(pre-trained) 딥러닝 네트워크로는 영상 분할(image segmentation) 및 영상 탐지(image detection)에서 처리 속도와 탐지 성능이 뛰어난 것으로 알려진 싱글 샷 멀티박스 디텍터(SSD: Single shot Multibox Detector)를 사용하여 전이 학습(transfer learning)을 진행하였다. 전이 학습은 기학습된 딥러닝 네트워크를 이용하되 기학습을 위해 수집한 데이터가 아닌 다른 콘크리트 균열 이미지를 이용하여 이미 학습이 되어 있는 네트워크를 재학습하는 방식이다. 본 발명의 실시예에서는 10,000개의 균열 이미지를 이용하여 SSD 네트워크를 재학습(fine tuning)시키고 가중치(weight)를 보완하여 AI 모델을 생성한 것이다. 이와 같이 콘크리트 구조물에 대해 새로 수집한 데이터를 이용하여 전이 학습을 수행하면 딥러닝 네트워크의 학습 소요 시간을 단축하면서도 훨씬 높은 정확도를 얻을 수 있다.
본 발명의 실시예에서 딥러닝 네트워크로 사용되는 Single Shot MultiBox Detector(SSD)는 도 12에 도시된 바와 같이 VGG16을 기본 네트워크(Base network) 구조로 사용하고 보조 네트워크(Auxiliary network)를 추가한 구조로 되어 있다. 두 네트워크 구조의 연결 시, 마지막 완전 연결 계층(Fully Connected Layer, FC)을 컨볼루션 계층(Convolution Layer)으로 바꾸어 객체 탐지 속도가 향상되는 결과를 가져온다. 도 12를 참조하면, SSD 모델은 학습 네트워크의 중간에 객체 탐지와 연관된 특징들을 추출하고, 이를 이용하여 다양한 크기의 객체를 탐지할 수 있다. 즉, 도 12와 같이 추출된 특징맵(feature map)으로부터 서로 다른 크기(scale)와 측면(aspect) 비율을 가진 디폴트 박스(Default box)를 생성하고, 다양한 크기의 디폴트 박스(default box)를 통해 작은 객체부터 큰 객체까지 다양한 크기의 객체를 탐지할 수 있다.
S42 단계에서는 가중치가 보완된 인공지능(AI) 모델이 실제 입력된 이미지 스티칭된 영상을 처리하여 균열영역이나 균열 후보영역을 출력한다.
이와 같이 본 발명의 실시예에 따른 인공지능 기반 균열영역 검출 단계(S4)는 딥러닝 학습 기반 자동화 콘크리트 균열 탐지를 위한 AI 모델로서, 영상 수집부(20)에서 수집된 구조물의 콘크리트 균열 영상을 AI 모델에 입력하면 입력 영상으로부터 균열영역에 해당하는 후보를 찾아 출력한다. 이때 균열 후보영역 결과와 더불어 균열 모델의 대한 일련의 결과를 제공함으로써 균열 탐지 작업과 관련한 효율성을 높일 수 있다.
본 발명의 실시예에서는 딥러닝 학습을 위한 프로그래밍 언어로는 파이썬(Python, version:3.6.6)를 기반으로 진행하였으며, 오픈 소스 신경망으로 케라스(keras, version:2.2)와 텐서플로우(tensorlfow-gpu, version:1.9.0)를 이용하여 딥러닝 학습을 수행하였다.
이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
10: 콘크리트 구조물 20: 영상 수집부
30: DB 100: AI기반 콘크리트 균열탐지시스템
110: 영상 전처리부 120: 이미지 스티칭부
130: 딥러닝 기반 균열영역 탐지부 140: 수동 균열영역 탐지부
150: 균열영역 정량화부

Claims (5)

  1. 콘크리트 구조물의 분할 영상을 입력받아 전처리하는 영상 전처리부;
    전처리된 분할 영상들을 스케일 불변 특징 변환(SIFT)을 이용하여 주어진 영상의 크기 및 회전에 불변하는 특징점을 추출하고, 특징점 간의 거리를 최소화하는 아핀 변환을 계산하여 분할된 영상들을 하나의 영상으로 정합하는 이미지 스티칭부;
    딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 생성하고, 이를 이용하여 상기 이미지 스티칭부로부터 입력되는 정합된 영상에 대해 균열영역을 검출하는 인공지능(AI) 기반 균열영역 탐지부; 및
    상기 인공지능(AI) 기반 균열영역 탐지부에 의해 탐지된 균열영역의 특징을 소정의 기준치와 비교하여 정량화하는 균열영역 정량화부를 포함하는 인공지능을 이용한 콘크리트 균열 탐지 시스템.
  2. 제1항에 있어서, 상기 콘크리트 균열 탐지 시스템은
    상기 인공지능(AI) 기반 균열영역 탐지부의 균열 후보 영상에 대해 수동으로 균열영역을 탐지할 수 있게 하는 수동 균열영역 탐지부를 더 포함하고,
    상기 균열영역 정량화부는 상기 인공지능(AI) 기반 균열영역 탐지부나 상기 수동 균열영역 탐지부에 의해 탐지된 균열영역의 특징을 소정의 기준치와 비교하여 정량화하는 것을 특징으로 하는 인공지능을 이용한 콘크리트 균열 탐지 시스템.
  3. 콘크리트 균열 탐지 시스템이 콘크리트 구조물의 분할 영상을 입력받는 단계;
    콘크리트 균열 탐지 시스템이 입력된 콘크리트 영상을 전처리하는 단계;
    콘크리트 균열 탐지 시스템이 전처리된 영상들을 스케일 불변 특징 변환(SIFT)을 이용하여 특징점을 추출하고, 추출된 특징점 간의 거리를 최소화하는 아핀 변환을 계산하여 분할 영상들을 하나의 영상으로 스티칭하는 이미지 스티칭 단계;
    콘크리트 균열 탐지 시스템이 딥러닝으로 학습된 싱글 샷 멀티박스 디텍터(SSD) 네트워크에 전이학습을 적용하여 가중치를 보완한 인공지능(AI) 모델을 이용하여 정합된 영상에 대해 균열영역을 검출하는 균열영역 탐지 단계; 및
    콘크리트 균열 탐지 시스템이 탐지된 균열영역의 특징을 소정의 기준과 비교하여 정량화하는 균열영역 정량화 단계를 포함하는 인공지능을 이용한 콘크리트 균열 탐지 방법.
  4. 제3항에 있어서, 상기 이미지 스티칭 단계는
    입력된 분할 영상에 가우시안 필터를 적용하여 영상의 크기 공간을 도출하는 크기 공간 극값 검출 단계와,
    차분 가우시안(DoG)를 적용하여 분할 영상에서의 변화가 큰 경계선 및 모퉁이 특징들을 잠재적 키포인트(Potential Keypoint)로 추출하는 잠재적 키포인트 추출 단계와,
    각 잠재적 키포인트들을 정제하여 키포인트 위치로 지역화하는 키포인트 지역화 단계와,
    각 키포인트 주변의 그레디언트 방향과 크기를 구하여 가장 두드러진 방향을 해당 키포인트의 방향으로 할당하는 방향 할당 단계와,
    키포인트 주변의 각 이미지 샘플에서 그레디언트의 크기와 방향을 계산하여 키포인트 디스크립터를 생성하고 이를 특징점으로 추출하는 단계와,
    아핀 변환을 통해 추출된 특징점들간의 유사도를 측정하는 단계와,
    측정된 특징점들간의 유사도를 최소화하도록 분할 영상들을 매칭하여 스티칭된 영상을 출력하는 단계를 포함하는 인공지능을 이용한 콘크리트 균열 탐지 방법.
  5. 제3항에 있어서, 상기 균열영역 탐지 단계는
    인공지능 학습용 데이터베이스를 이용하여 학습된 싱글 샷 멀티박스 디텍터(SSD)를 소정의 새로운 학습 데이터로 전이학습시켜 싱글 샷 멀티박스 디텍터(SSD)의 가중치를 보완하여 균열영역 검출에 사용할 인공지능(AI) 모델을 생성하는 단계와,
    가중치가 보완된 인공지능(AI) 모델이 이미지 스티칭된 영상을 처리하여 균열영역이나 균열 후보영역을 출력하는 단계를 포함하는 인공지능을 이용한 콘크리트 균열 탐지 방법.
KR1020220038582A 2022-03-29 2022-03-29 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템 KR20230140621A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220038582A KR20230140621A (ko) 2022-03-29 2022-03-29 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220038582A KR20230140621A (ko) 2022-03-29 2022-03-29 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230140621A true KR20230140621A (ko) 2023-10-10

Family

ID=88292683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220038582A KR20230140621A (ko) 2022-03-29 2022-03-29 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20230140621A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
WO2022147969A1 (zh) 基于深度学习的机场道面地下结构病害自动检测方法
Chambon et al. Automatic road pavement assessment with image processing: Review and comparison
Zhu et al. Detection of large-scale concrete columns for automated bridge inspection
Mansuri et al. Artificial intelligence-based automatic visual inspection system for built heritage
JP7438220B2 (ja) 鉄筋判定装置および鉄筋判定方法
WO2013020143A1 (en) Image-based crack quantification
Fan et al. A novel automatic dam crack detection algorithm based on local-global clustering
Li et al. Automatic industry PCB board DIP process defect detection with deep ensemble method
Pieringer et al. Flaw detection in aluminium die castings using simultaneous combination of multiple views
CN113781415B (zh) 一种x射线图像的缺陷检测方法、装置、设备及介质
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN105787870A (zh) 一种图形图像拼接融合***
CN108052909A (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN107704840A (zh) 一种基于深度学习的遥感图像道路检测方法
Crognale et al. Damage detection with image processing: A comparative study
Zhang et al. Automated fatigue crack detection in steel box girder of bridges based on ensemble deep neural network
CN104966283A (zh) 图像分层配准方法
Ghamisi et al. Anomaly detection in automated fibre placement: Learning with data limitations
WO2007004868A1 (en) Method and apparatus for image characterization
CN116883893A (zh) 基于红外热成像的隧道掌子面地下水智能判识方法及***
CN110992361A (zh) 基于代价平衡的发动机紧固件检测***及检测方法
KR20230140621A (ko) 인공지능을 이용한 콘크리트 균열 탐지 방법 및 시스템
Danajitha et al. Detection of Cracks in High Rise Buildings using Drones
CN108458655A (zh) 支持视觉测量的数据可组态化监控***及方法