KR102157610B1 - 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 - Google Patents

초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR102157610B1
KR102157610B1 KR1020190135112A KR20190135112A KR102157610B1 KR 102157610 B1 KR102157610 B1 KR 102157610B1 KR 1020190135112 A KR1020190135112 A KR 1020190135112A KR 20190135112 A KR20190135112 A KR 20190135112A KR 102157610 B1 KR102157610 B1 KR 102157610B1
Authority
KR
South Korea
Prior art keywords
image
high resolution
ultra
damage detection
damage
Prior art date
Application number
KR1020190135112A
Other languages
English (en)
Inventor
안윤규
장근영
배현진
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020190135112A priority Critical patent/KR102157610B1/ko
Application granted granted Critical
Publication of KR102157610B1 publication Critical patent/KR102157610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 있어서, 구조물의 손상 검출 방법을 제공하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 수행에 따라, 비전 카메라로 촬영된 구조물의 이미지를 수신하고, 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하고, 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하고, 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하고, 초고해상도 이미지로부터 구조물의 손상을 검출하는, 구조물 손상 검출 시스템을 제공하고자 한다.

Description

초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법{SYSTEM AND METHOD FOR AUTOMATICALLY DETECTING STRUCTURAL DAMAGE BY GENERATING SUPER RESOLUTION DIGITAL IMAGES}
본 발명은 딥러닝을 통하여 초고해상도의 디지털 이미지를 생성하여 구조물의 손상을 검출하는 시스템 및 그 방법에 관한 것이다.
일반적으로, 비전 카메라를 활용한 이미지를 통해 구조물의 손상을 검출하는 방법은 카메라의 시야각(Field of View - FOV) 및 해상도의 한계로 인해 전체 구조물에 대한 평가가 어려워 국부 손상 검출에만 적용되는 경우가 대부분이며, 균열과 같은 미세 손상에는 근접촬영이 요구되는 어려움이 있다.
또한, 카메라 렌즈에 의한 초점문제, 회절효과, 노이즈 등의 문제로 이미지의 픽셀 데이터가 소실될 수 있고, 조도, 촬영각도 및 촬영 이격거리 등의 촬영 환경에 따라 취득된 디지털 이미지의 가용성이 저하될 경우 대상 구조물의 손상 검출 결과의 신뢰도가 크게 감소하는 문제점이 있다.
이러한 비전 카메라를 통한 구조물의 손상 검출 기법은 이미지 취득 방법에 따라 크게 3가지로 분류할 수 있다.
먼저, 전문가 기반 데이터 취득(Data acquisition by experts) 방법은 사람이 구조물에 접근하여 비전 카메라를 활용해 이미지를 취득하는 방법이다. 이러한 방법은 사람이 접근 가능한 곳에 손상이 존재하는 경우에 한하여 적용 가능하며, 근접촬영이 어려운 경우에는 줌렌즈 확대 등의 방법을 활용하는데, 이는 시야각이 극단적으로 제한되거나 촬영각도에 따라 이미지의 픽셀 데이터가 소실될 수 있으며 많은 경우 이미지의 해상도 부족으로 인하여 인공지능 기반 구조물 손상 검출에 어려움이 따른다.
다음으로, 무인 비행체 기반 데이터 취득(Data acquisition using unmanned aerial vehicles) 방법은 무인 비행체를 활용하여 사람이 접근하기 어려운 곳의 이미지를 취득하는 방법이다. 이러한 방법은 접근성이 좋지 않은 곳의 이미지를 촬영 환경의 제한 없이 취득할 수 있다는 장점이 있으나, 무인 비행체 자체의 진동이나 이동시 발생하는 모션 블러 등의 문제로 인해 이미지 데이터의 질이 나빠질 가능성이 높다. 특히, 대상 구조물과 무인 비행체 사이에 안전 이격거리를 유지해야 하므로 이로 인한 이미지의 해상도 부족문제는 인공지능 기반 손상 검출능을 저해하는 요인이 될 수 있다.
마지막으로, 로봇 기반 데이터 취득(Data acquisition using robots) 방법은 비전 카메라를 부착한 클라이밍 로봇, 다굴절 로봇, 벽면 부착용 미니카 등을 활용하여 구조물의 이미지를 취득하는 방법이다. 이러한 방법은 초근접 촬영을 통해 마이크로 단위의 균열까지 평가할 수 있지만, 무인 비행체와 마찬가지로 자체의 진동이나 이동 시 나타나는 모션 블러 등의 원인으로 이미지의 질이 인공지능 기반의 자동 손상 검출에 충분하지 않은 경우가 잦다.
대한민국 등록특허공보 제10-1780057호(발명의 명칭: 고해상도 영상 복원 방법 및 장치)
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법은 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하여 손상 검출 성능을 향상시키고자 한다.
본 발명의 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법은 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하고자 한다.
본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 의해 수행되는 구조물 손상 검출 방법에 있어서, 비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계; 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계; 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하는 단계; 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계; 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하는 단계; 및 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는 단계를 포함하는, 구조물 손상 검출 방법을 제공하고자 한다.
본 실시예에 있어서, 딥 피쳐를 추출하는 단계는 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고, RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.
본 실시예에 있어서, 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법을 제공할 수 있다.
본 실시예에 있어서, 업스케일하는 단계는 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법을 제공할 수 있다.
본 실시예에 있어서, 구조물의 손상을 검출하는 단계는, 초고해상도 디지털 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계; 및 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.
본 실시예에 있어서, 손상 검출 피쳐를 추출하는 단계는 에스알씨넷(SRCNet)을 이용하여 수행되고, 에스알씨넷은 엔코더와 디코더를 포함하고, 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.
본 실시예에 있어서, 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 있어서, 구조물의 손상 검출 방법을 제공하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 수행에 따라, 비전 카메라로 촬영된 구조물의 이미지를 수신하고, 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하고, 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하고, 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하고, 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는, 구조물 손상 검출 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법에 따르면 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하므로 손상 검출 성능이 향상될 수 있다.
본 발명의 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법에 따르면 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 손상 검출 방법을 보여주는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 손상 검출 방법을 보여주는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 이미지의 초고해상화 과정 및 손상 검출 과정을 보여주는 개략도이다.
도 5는 본 발명의 비교예에 따른 원본 이미지를 통한 손상 검출 결과 및 실시예에 따른 고해상화 이미지를 통한 손상 검출 결과를 비교해서 보여주는 도면이다.
도 6은 본 발명의 비교예 및 실시예에 따른 손상 검출 결과 이미지 및 그의 부정 오류 결과 이미지를 보여주는 도면이다.
이하에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는, 본 발명의 일 실시예에 따른 딥러닝 기반의초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템(100)에 대하여 상세히 설명하기로 한다.
본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 딥러닝 기반의 이미지 초고해상화를 통한 구조물의 손상 검출을 자동화한 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)의 구성을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 통신 모듈, 메모리, 프로세서를 포함할 수 있다.
통신 모듈(110)은 통신망과 연동하여 구조물 손상 검출 시스템(100)에 비전 카메라로 촬영된 이미지를 송수신할 수 있는 통신 인터페이스를 제공하는데, 특히 비전 카메라 기기 및 관리 서버와의 데이터를 송수신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 구조물 손상 검출 방법을 제공하기 위한 프로그램이 기록된 것일 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
한편 구조물 손상 검출 방법을 제공하는 프로그램은 그의 실행에 따라 비전 카메라로 촬영된 구조물의 이미지를 수신하여, 그로부터 샬로우 피쳐(Shallow Feature) 및 딥 피쳐(Deep Feature)를 추출할 수 있다. 다음으로, 상기 프로그램은 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성할 수 있다 마지막으로, 상기 프로그램은 생성된 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는 기능을 수행할 수 있다. 초고해상도 디지털 이미지로부터 손상 검출 방법을 제공하는 프로그램은 그의 실행에 따라 생성된 초고해상도 디지털 이미지로부터 엔코딩 과정을 통해 손상 검출을 위한 피쳐를 추출할 수 있다. 다음으로 상기 프로그램은 디코딩 과정을 통해 추출된 손상 검출 피쳐를 업샘플링하여 입력된 초고해상도의 이미지로부터 구조물의 손상을 검출하는 기능을 수행할 수 있다. 프로그램의 실행에 따른 구조물 손상 검출 과정의 구체적인 각 단계에 대해서는 뒤에서 도 2 내지 도 4를 참조하여 설명하기로 한다.
프로세서(130)는 구조물 손상 검출 시스템(100)에서 구조물 손상 검출 방법을 제공하기 위한 프로그램이 수행하는 전체 과정을 제어할 수 있다. 여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로서, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 구조물 손상 검출 방법을 수행하기 위해 공동으로 필요한 데이터를 유기적으로 결합하여 저장한 매체일 수 있다. 데이터베이스(140)은 구조물 손상과 관련된 이미지 및 학습 데이터가 저장된 것일 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 이미지 생성을 이용한 구조물의 손상 검출 시스템(100)에 의해 수행되는 구조물 손상 검출 방법에 대하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 손상 검출 방법을 보여주는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 손상 검출 방법을 보여주는 순서도이다. 도 4는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 이미지의 초고해상화 과정 및 손상 검출 과정을 보여주는 개략도이다.
도 2 내지 도 5를 참조하면, 구조물 손상 검출 시스템(100)의 프로세서는 프로그램을 실행하여 딥러닝 네트워크를 구현할 수 있다. 딥러닝 네트워크는 저해상도 원본 입력 이미지로부터 초고해상도 출력 이미지를 생성하기 위한 샬로우 피처 추출 모듈, 딥 피처 추출 모듈, 업스케일 모듈, 복원 모듈의 4개의 모듈을 포함할 수 있다. 또한, 딥러닝 네트워크는 초고해도 출력 이미지를 이용하여 구조물 손상 검출을 위한 손상 검출 피처 추출 모듈, 업샘플링 모듈의 2개의 모듈을 포함하여 총 6개 모듈로 통합 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계(S310)를 수행할 수 있다. 여기서, 비전 카메라는 무인 비행체나 클라이밍 로봇 등 구조물에 근접하여 이미지를 획득하기 위한 수단에 장착된 것일 수 있다.
다음으로, 구조물의 손상 검출 시스템(100)이 획득한 이미지를 고해상화하고 이를 통해 손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet: Computer Vision-based Deep Super Resolution Crack Network)을 이용하여 수행될 수 있다.
먼저, 획득한 이미지를 고해상화하기 위해 구조물의 손상 검출 시스템(100)은 수신한 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계(S320)를 수행할 수 있다. 여기서 샬로우 피쳐란 입력 이미지(Input Image)인 저해상도(Low-Resolution) 이미지에 대한 피처를 의미할 수 있다. 한편, 샬로우 피쳐를 추출하는 모듈은 단일 컨볼루셔널 레이어(Convolutional Layer)로 구성되어 있을 수 있다. 예를 들어, 컨볼루셔널 레이어는 3x3사이즈의 커널 64개로 구성되고, 스트라이드(Stride)는 1로서 저해상도 입력 이미지로부터 샬로우 피쳐 추출을 수행할 수 있다.
다음으로, 구조물의 손상 검출 시스템(100)은 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하는 단계(S330)를 수행할 수 있다. 여기서 딥 피쳐란 저해상도 이미지와 쌍을 이루는 초고해상도(SR: Super-Resolution)이미지에서 저해상도 이미지와 가장 큰 차이점인 선이나 엣지 등으로 구성된 고주파수 정보에 관한 피쳐일 수 있다.
딥 피쳐를 추출하기 위해 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용할 수 있다. 여기서 RIR 구조는 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하는 구조일 수 있다.
RIR 구조는 스킵 연결을 통해 각 레지듀얼 그룹과 레지듀얼 블록의 마지막 레이어인 컨벌루셔널 레이어를 통과해 출력되는 딥 피쳐와 입력된 샬로우 피쳐를 더해주어서, 저해상도 이미지에 초고해상도 이미지의 차이점만 추가적으로 학습하게 할 수 있다. 한편, 스킵 연결을 통해 저해상도 이미지의 대부분을 구성하는 저주파 정보들을 우회하여 메인 네트워크가 좀 더 효과적인 고주파 정보를 학습하는 것을 레지듀얼 학습(Residual Learning)으로 정의할 수 있다. 이 때 각 컨벌루셔널 레이어는 샬로우 피쳐 추출 모듈에서의 단일 컨벌루셔널 레이어와 동일한 형태일 수 있다.
입력 이미지의 고주파 정보를 좀 더 효율적으로 추출하기 위해서 각 레지듀얼 블록 내부에서 채널 집중(Channel Attention) 메커니즘이 수행될 수 있다. 채널 집중 메커니즘은 이미지를 구성하는 각 채널 별의 평균값을 추출하고, 이를 바탕으로 좀 더 유용한 채널에 집중한 차별 학습 능력을 향상시킬 수 있다. 도 4를 참조하면, 각 레지듀얼 블록 내부에서, 글로벌 에버리지 풀링(GAP: Global Average Pooling) 레이어, 컨벌루셔널 레이어, ReLU 레이어, 시그몬드 레이어를 통해 CA 메커니즘이 수행될 수 있다.
구체적으로, 글로벌 에버리지 풀링 레이어를 통해 입력된 이미지에 대하여 각 채널별 피쳐맵의 단일 평균값(1 x 1 x C)을 추출하여 대표성을 부여하고, 컨벌루셔널 레이어, ReLU 레이어를 통해 콤퓨팅 코스트(Computing Cost) 감소를 위해 그 크기 (1 x 1 x C / r)를 줄여준다. 여기서 C는 채널의 수이며 r은 콤퓨팅 코스트 감소를 위한 스케일 팩터(Scale Factor)이다. 다음으로 다시 컨볼루셔널 레이어와 시그모이드 레이어를 통해 피쳐맵의 통계값에 비선형성을 부여할 수 있다. 각각의 레이어를 통해 이미지를 구성하는 전체 채널 별 평균값을 사용하여 채널별 데이터를 분류하고, 이를 통해 네트워크가 보다 유의미한 피쳐를 추출하여 선택적으로 학습을 처리하도록 할 수 있다.
다음으로, 구조물의 손상 검출 시스템(100)은 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계(S340)를 수행할 수 있다.
업스케일하는 단계는 업스케일 모듈의 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행될 수 있다. 업스케일 모듈은 각 레지듀얼 블록 과 레지듀얼 그룹을 거친 이미지의 피쳐 데이터를 최종적으로 확보하고자 하는 초고해상화 사이즈로 확장하는 단계일 수 있다. 업스케일 모듈의 디컨볼루셔널 레이어는 사이즈가 3 x 3이고, 커널이 256개로 이루어져 있고, 스트라이드는 1로서 각 픽셀의 사이즈가 4배 확장될 수 있다.
다음으로, 구조물의 손상 검출 시스템(100)의 복원 모듈은 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하는 단계(S350)를 수행할 수 있다.
복원 모듈은 단일 컨벌루셔널 레이어를 통해 초고해상도 디지털 이미지를 생성하는 단계로서, 사이즈는 3 x 3이고 커널은 3개로 이루어져 있고, 스트라이드는 1로서 손상 검출을 위한 초고해상도 디지털 이미지를 생성할 수 있다.
다음으로, 구조물의 손상 검출 시스템(100)은 초고해상도 이미지로부터 구조물의 손상을 검출하는 단계(S360)를 수행할 수 있다.
구조물의 손상을 검출하는 단계는, 초고해상도 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계를 포함할 수 있다. 또한, 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함할 수 있다.
손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet: Computer Vision-based Deep Super Resolution Crack Network)을 이용하여 수행되고, 에스알씨넷은 엔코더와 디코더를 포함하고, 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함할 수 있다.
예를 들어, 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함할 수 있다. 손상 검출 모듈은 손상 검출을 위한 손상 검출 피쳐를 추출하기 위해, 딥러닝 기반의 에스알씨넷을 손상 검출에 적합하도록 전이학습을 수행하여 손상 검출용 네트워크를 구축하였다. 에스알씨넷은 엔코더(Encoder)에 13개의 컨벌루셔널 레이어와 5개의 맥스 풀링 레이어, 그리고 디코더 (Decoder)에 13개의 컨볼루셔널 레이어와 5개의 업샘플링 레이어, 그리고 다중 분류를 위한 소프트맥스 레이어로 구성되었다. 여기서 분류를 위해 CNN 기반 네트워크인 VGG-16 네트워크를 엔코더의 컨벌루셔널 레이어로 사용할 수 있다. 균열 검출의 이진 분류를 위한 네트워크는 10개의 컨볼루셔널 레이어와 4개의 맥스 풀링 레이어, 10개의 업샘플링 레이어로 구성하였다. 이를 통해 입력 이미지를 구조물의 손상 검출 시스템(100)에 입력하면 엔코더 구조를 통해 압축되고, 엔코더의 말단의 풀리 커넥티드 레이어(Fully Connected Layer)를 1 x 1 크기의 컨볼루셔널 레이어로 간주하여 컨볼루셔널을 포함하는 네트워크를 구축할 수 있다.
이어서 업샘플링 모듈에서 디코딩 과정을 통해 컨볼루셔널 네트워크를 업샘플링 하며, 이때 엔코더에서 맥스 풀링만을 사용하므로 업샘플링 과정이 기존의 풀리 컨볼루셔널 네트워크(Fully Convolutional Network)를 사용하는 경우와 대비해 간소화되어 메모리를 효율적으로 사용하고, 위치 손실을 최소화할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 구조물 손상 검출 방법으로 수행한 구조물 손상 검출 시스템(100)의 성능 테스트 결과에 대하여 상세히 설명하기로 한다.
먼저, 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)은 구조물 외관 손상 검출능에 보다 적합한 이미지 초고해상화 네트워크를 구축하기 위해, 이미지 초고해상화를 위한 학습 데이터셋과 손상 검출을 위한 학습 데이터셋을 각각 구성하여 학습할 수 있다.
초고해상화를 위한 학습 데이터셋은 단일 이미지 초 고해상도(single image super-resolution) 학습에 널리 알려진 학습 데이터셋인 DIV2K 데이터셋의 학습용 이미지 800장을 동일하게 사용하고, 검증용 데이터셋으로서 실제 도시, 건축 구조물에 대한 100장의 초고해상도 사진으로 구성된 Urban100 데이터셋을 사용하였다.
HD 사이즈 1,280 x 720 이상의 다양한 크기로 구성된 총 800장의 DIV2K 학습 데이터셋은 이미지 플립 및 90, 180, 270도 이미지 회전을 통해 8장으로 증강(Augmentation)시켜 전체 800장의 학습 데이터에 8배 증가한 6,400장이 학습에 사용되었다. 학습용 데이터는 총 1,000회를 반복하여 네트워크 학습에 사용되었고, 1회 학습 단계별 사용한 데이터 수로 배치 사이즈(Batch Size)는 16을 선택하였다.
테스트 단계에서는 셀프 앙상블(Self-ensemble[2])을 수행하는데, 다음과 같은 순서로 진행될 수 있다. 입력된 저해상도 원본 이미지에 대하여 이미지 플립(Image-Flip) 및 90, 180, 270도 이미지 회전(Image-Rotation)을 통해 7개의 이미지를 추가로 만들어 원본 이미지를 포함한 총 8개의 이미지셋을 구축한다. 이어서 원본 이미지에 대한 이미지 셋의 기하학적 변환 행렬(Geometric transform matrix)을 추정한다. 이미지 초고해상화를 이미지셋의 8개 이미지에 대해 모두 수행한 뒤, 추정된 변환 행렬을 통해 역변환을 수행한다. 역변환을 통해 모두 같은 지오메트리(Geometry)를 갖는 이미지 8개를 평균화하여 생성된 8장의 평균 이미지를 최종 초고해상도 디지털 이미지로 취득할 수 있다.
그 다음으로, 구조물 손상 검출을 위한 학습 데이터셋은 외관 손상에 관련된 데이터셋을 새롭게 구성하여 네트워크 학습을 수행할 수 있다. 일 예로, 네트워크 학습은 이지미들을 360 x 480 사이즈로 고정하여 균열 이미지 1,031장을 학습하는 것으로 수행될 수 있다. 이 때 손상 학습을 위해 폴리곤 툴을 이용하여 영역을 정의할 수 있다. 손상 학습이 완료된 네트워크를 활용하여 입력 이미지에 존재하는 손상을 자동으로 검출하여 출력 이미지인 결과 이미지를 취득할 수 있다.
도 5의 케이스 1, 2는 본 발명의 비교예에 따른 원본 이미지를 통한 손상 검출 결과 및 실시예에 따른 초고해상화 이미지를 통한 손상 검출 결과를 비교해서 보여주는 도면이다.
도 5를 참조하면 예를 들어, 비전 카메라가 탑재된 드론을 통해 30 fps로 약 2분간 구조물의 이미지를 취득한다. 드론은 탑재한 비전 카메라에 모션 진동을 일으킴으로써, 취득되는 이미지 데이터에 이로 인한 모션 블러가 생성된다. 여기서, 취득된 이미지의 사이즈는 1,920 x 1,080이다. 또한, 케이스 1(도 5의 (a), (b) 참조)과 케이스 2(도 5의 (c), (d) 참조)는 모두 동일한 실험 파라미터에서 취득된 데이터로, 취득 장소만 상이하다. 이후 적용되는 검증과정의 모든 파라미터 역시 동일하게 적용되었다. 이미지의 전체 영역 중 손상을 포함한 관심영역에 대해 1,024 x 1,024의 해상도로 이미지를 자르고, 잘린 이미지를 4배 저해상화한 256 x 256의 이미지를 원본 이미지로 정의할 수 있다.
그 다음으로, 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 본 원본 이미지를 입력 이미지로서 입력하고, 이로부터 산출된 4배 크기의 1,024 x 1,024 초고해상도 디지털 이미지를 생성할 수 있다. 그리고, 구조물 손상 검출 시스템(100)의 손상 검출 네트워크를 통해 원본 이미지와 이를 기반으로 생성된 초고해상도 디지털 이미지에 대한 손상 검출을 수행할 수 있다. 도 5의 (a), (c)는 사이즈가 256 x 256인 원본 이미지에 대한 손상 검출 결과이며, 도 5의 (b), (d)는 구축한 딥러닝 기반 초고해상도 네트워크를 활용하여 원본 이미지를 초고해상화한 뒤 생성된 사이즈가 1,024 x 1,024인 초고해상도 디지털 이미지에 대해 손상 검출을 수행한 결과이다. 이를 비교하면, 초고해상도 디지털 이미지에 대한 손상 검출 결과가 저해상도 이미지에 대한 손상 검출 결과 보다 훨씬 정확한 것을 파악할 수 있다.
도 6은 본 발명의 비교예 및 실시예에 따른 손상 검출 결과 이미지 및 그의 부정 오류 결과 이미지를 보여주는 도면이다.
도 6을 참조하면, 원본 이미지와 초고해상도 디지털 이미지의 손상 검출 성능을 평가하기 위해 비전 카메라를 탑재한 드론으로 취득한 이미지 전체 영역 중 관심영역에 대한 초고해상화 수행을 위해 사이즈 1,024 x 1,024의 이미지로 크롭(Crop)한 이미지(도 6의 (a), (d))에 대한 손상 검출 결과를 실측 자료(Ground truth)로 지정한다. 이를 기준으로 원본 이미지와 초고해상도 디지털 이미지의 손상 검출 결과를 비교해 볼 수 있다. 실제 균열임에도 불구하고 검출하지 못한 부정 오류(False Negative) 결과는 케이스 1의 경우 도 6의 (b) 와 (c)에서 볼 수 있으며, 케이스 2의 경우 도 6의 (e) 와 (f)에서 볼 수 있다. 이를 통해 두 케이스의 원본 이미지와 초고해상도 디지털 이미지의 재현율(Recall)을 계산해 정리해보면 아래의 [표 1]과 같다. 이를 통해, 인공지능 기반의 손상 검출능의 성능 지표인 재현율이 원본 이미지를 통한 검출 결과에 비해 초고해상도 디지털 이미지를 통한 검출 결과가 케이스 1의 경우 33.6 %, 케이스 2의 경우 78.9%로 향상된 것을 확인할 수 있다.
이미지 종류 원본 이미지 초고해상화 이미지
케이스1 재현율(%) 57.56 76.90
케이스2 재현율(%) 50.19 89.79
이상으로 설명한 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 의한 구조물 손상 검출 방법에 따르면 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하므로 손상 검출 성능이 향상될 수 있다.특히 케이스 1과 2의 경우 드론으로 취득한 이미지 데이터임에도 손상 검출능이 향상되었으므로, 본 발명의 일 실시예에 따른 초고해상도 디지털 이미지 생성은 카메라 이미지 취득시 발생하는 진동으로 인한 모션 블러와 같은 문제점에 대해서도 효과가 있다.
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 의한 구조물 손상 검출 방법에 따르면 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하는 효과가 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 구조물 손상 검출 시스템
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스

Claims (8)

  1. 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 의해 수행되는 구조물 손상 검출 방법에 있어서,
    비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계;
    상기 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계;
    상기 추출된 샬로우 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계;
    상기 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 이미지를 생성하는 단계; 및
    상기 초고해상도 이미지로부터 상기 구조물의 손상을 검출하는 단계를 포함하고,
    상기 초고해상도 이미지를 생성하는 단계는 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고,
    상기 RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하고,
    상기 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 상기 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 업스케일하는 단계는 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법.
  5. 제1항에 있어서,
    상기 구조물의 손상을 검출하는 단계는, 상기 초고해상도 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계; 및
    상기 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함하는, 구조물 손상 검출 방법.
  6. 제5항에 있어서,
    상기 손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet)을 이용하여 수행되고,
    상기 에스알씨넷은 엔코더와 디코더를 포함하고,
    상기 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 상기 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함하는, 구조물 손상 검출 방법.
  7. 제6항에 있어서,
    상기 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함하는, 구조물 손상 검출 방법.
  8. 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 있어서,
    구조물의 손상 검출 방법을 제공하는 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 프로그램의 수행에 따라,
    비전 카메라로 촬영된 구조물의 이미지를 수신하고, 상기 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하고, 상기 추출된 샬로우 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 상기 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 이미지를 생성하고, 상기 초고해상도 이미지로부터 상기 구조물의 손상을 검출하고,
    상기 초고해상도 이미지를 생성하기 위해 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고,
    상기 RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하고,
    상기 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 상기 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 시스템.
KR1020190135112A 2019-10-29 2019-10-29 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 KR102157610B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135112A KR102157610B1 (ko) 2019-10-29 2019-10-29 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135112A KR102157610B1 (ko) 2019-10-29 2019-10-29 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102157610B1 true KR102157610B1 (ko) 2020-09-18

Family

ID=72670330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135112A KR102157610B1 (ko) 2019-10-29 2019-10-29 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102157610B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297909A (zh) * 2021-04-25 2021-08-24 东南大学 一种基于无人机视觉的建筑损伤实时识别方法
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN113706496A (zh) * 2021-08-23 2021-11-26 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
CN113758927A (zh) * 2021-01-31 2021-12-07 李刚 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测***与方法
KR102685661B1 (ko) * 2023-04-28 2024-07-17 한전케이디엔주식회사 Ai 기반 이미지 업스케일링을 이용한 금구류 객체 인식 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR101780057B1 (ko) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
KR101792435B1 (ko) * 2016-09-13 2017-11-20 이화여자대학교 산학협력단 화재 피해를 입은 구조물의 손상 정도를 평가하는 방법
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (ko) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
KR101792435B1 (ko) * 2016-09-13 2017-11-20 이화여자대학교 산학협력단 화재 피해를 입은 구조물의 손상 정도를 평가하는 방법
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113758927A (zh) * 2021-01-31 2021-12-07 李刚 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测***与方法
CN113758927B (zh) * 2021-01-31 2024-03-29 李刚 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测***与方法
CN113297909A (zh) * 2021-04-25 2021-08-24 东南大学 一种基于无人机视觉的建筑损伤实时识别方法
CN113297909B (zh) * 2021-04-25 2024-05-07 东南大学 一种基于无人机视觉的建筑损伤实时识别方法
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN113706496A (zh) * 2021-08-23 2021-11-26 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
CN113706496B (zh) * 2021-08-23 2024-04-12 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
KR102685661B1 (ko) * 2023-04-28 2024-07-17 한전케이디엔주식회사 Ai 기반 이미지 업스케일링을 이용한 금구류 객체 인식 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102157610B1 (ko) 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법
CN108647639B (zh) 实时人体骨骼关节点检测方法
CN107730503B (zh) 三维特征嵌入的图像对象部件级语义分割方法与装置
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
US10733697B2 (en) Convolutional neural network for wide-angle camera images
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
CN110298884B (zh) 一种适于动态环境中单目视觉相机的位姿估计方法
CN113592950B (zh) 基于光学动捕的大空间环境下多相机标定方法及相关设备
EP3644270A1 (en) Image processing device, imaging device, image processing method, program, and storage medium
Chen et al. Light field denoising via anisotropic parallax analysis in a CNN framework
CN114842028A (zh) 一种跨视频目标跟踪方法、***、电子设备以及存储介质
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
US20200211159A1 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
JP2024026745A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
KR20210066366A (ko) 영상 복원 방법 및 장치
CN111985475A (zh) 船舶船牌识别方法、计算设备及存储介质
CN117237623B (zh) 一种无人机遥感图像语义分割方法及***
CN111274936B (zh) 多光谱图像地物分类方法、***、介质及终端
US9392146B2 (en) Apparatus and method for extracting object
US20230169755A1 (en) Apparatus and method with image processing
CN113436266B (zh) 图像处理***、图像处理方法、训练神经网络的方法和执行该方法的记录介质
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115731512A (zh) 监控视角下的轻型人群定位方法
US11797854B2 (en) Image processing device, image processing method and object recognition system
CN114998630A (zh) 一种从粗到精的地对空图像配准方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant