KR20210082912A - 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 - Google Patents
촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20210082912A KR20210082912A KR1020190175363A KR20190175363A KR20210082912A KR 20210082912 A KR20210082912 A KR 20210082912A KR 1020190175363 A KR1020190175363 A KR 1020190175363A KR 20190175363 A KR20190175363 A KR 20190175363A KR 20210082912 A KR20210082912 A KR 20210082912A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- safety inspection
- airport
- defects
- crack
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007689 inspection Methods 0.000 title claims abstract description 34
- 230000007547 defect Effects 0.000 claims abstract description 62
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011511 automated evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템은 촬영영상을 수신하는 입력부와, 촬영영상을 이용하여 공항 시설물 비행 포장면의 균열 및 결함을 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 2D 및 3D 컨볼루셔널 뉴럴 네트워크와 설명가능 인공지능의 합성 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 균열 및 결함을 검출하고 측정하는 것을 특징으로 한다.
본 발명에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템은 촬영영상을 수신하는 입력부와, 촬영영상을 이용하여 공항 시설물 비행 포장면의 균열 및 결함을 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 2D 및 3D 컨볼루셔널 뉴럴 네트워크와 설명가능 인공지능의 합성 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 균열 및 결함을 검출하고 측정하는 것을 특징으로 한다.
Description
본 발명은 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법에 관한 것이다.
종래 기술에 따른 공항 시설물에 대한 안전점검은 점검자가 육안 또는 줄자로 관측을 수행함으로써, 공항 시설물의 균열 및 결함 검출의 정확도 및 속도가 현저히 떨어지는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 촬영영상 및 설명가능 인공지능 기반으로 공항 시설물에 대한 안전점검을 수행함으로써, 공항 시설물의 균열 및 결함의 검출을 빠르고 정확하게 수행하는 것이 가능하고, 균열 및 결함을 출력한 원인 및 과정에 대해 설명을 제공함으로써, 신뢰성이 높은 공항 시설물 안전점검 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템은 촬영영상을 수신하는 입력부와, 촬영영상을 이용하여 공항 시설물 비행 포장면의 균열 및 결함을 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 2D 및 3D 컨볼루셔널 뉴럴 네트워크와 설명가능 인공지능의 합성 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 균열 및 결함을 검출하고 측정하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 촬영영상과 설명가능 인공지능 기반의 균열 및 결함 검출 자동화 프로그램을 이용하여, 공항 시설물에 대해 빠르고 정확하게 자동화된 안전점검을 수행하는 것이 가능한 효과가 있다.
본 발명의 실시예에 따르면, 공항 시설물의 균열 및 결함을 출력한 원인 및 과정에 대해 설명을 제공하는 것이 가능한 효과가 있다.
본 발명의 실시예에 따르면, 공항 시설물의 균열 및 결함의 특성을 요약 테이블로 집계하고, 이를 기초로 외관조사망도를 작성하고 상태평가등급을 산출하여 제공하는 것이 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템을 도시한다.
도2는 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템의 개발 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템을 이용한 피해복구 자동산출 의사결정 지원 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 포장면 균열 검출 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 외관조사망도 및 평가분석 자동화 과정을 도시한다.
도 6은 본 발명의 실시예에 따른 설명가능 인공지능의 구성을 도시한다.
도 7은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법을 도시한다.
도 8은 본 발명의 실시예에 따른 균열 검출 프로세스를 도시한다.
도 9는 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 강화학습 알고리즘의 구성을 도시한다.
도 10은 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 Deep-XAI 알고리즘의 구성을 도시한다.
도2는 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템의 개발 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템을 이용한 피해복구 자동산출 의사결정 지원 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 포장면 균열 검출 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 외관조사망도 및 평가분석 자동화 과정을 도시한다.
도 6은 본 발명의 실시예에 따른 설명가능 인공지능의 구성을 도시한다.
도 7은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법을 도시한다.
도 8은 본 발명의 실시예에 따른 균열 검출 프로세스를 도시한다.
도 9는 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 강화학습 알고리즘의 구성을 도시한다.
도 10은 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 Deep-XAI 알고리즘의 구성을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템을 도시한다.
본 발명에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템은 촬영영상을 수신하는 입력부(110)와, 촬영영상을 이용하여 공항 시설물 비행 포장면의 균열 및 결함을 검출하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 2D 및 3D 컨볼루셔널 뉴럴 네트워크와 설명가능 인공지능의 합성 네트워크를 이용하여 촬영영상을 분석하고, 비행 포장면의 균열 및 결함을 검출하고 측정한다.
프로세서(130)는 촬영영상의 분석 결과를 이용하여 균열 및 결함의 종류, 위치, 형상, 크기, 수량에 관한 정보를 요약 테이블로 작성하고, 요약 테이블을 기초로 외관조사망도를 작성한다.
프로세서(130)는 요약 테이블을 이용하여 공항 시설물의 비행 포장면에 대한 안전등급을 산출하고 상태평가 보고서를 작성한다.
프로세서(130)는 균열 및 결함의 위치가 표시된 영상에 대해, 균열 및 결함으로 추정한 이유를 텍스트로 설명하고, 균열 및 결함 추정의 근거가 되는 핵심적인 특징(feature)의 위치를 영상 위에 하이라이트로 표시한다.
프로세서(130)는 촬영영상을 정지영상으로 분할한 이미지를 활용하여 3D 포인트 클라우드(좌표계에 속한 점들의 집합)를 생성한다.
프로세서(130)는 강화학습 네트워크를 이용하여 공항 시설물의 결함 위치, 크기, 종류를 최종적으로 결정한다.
도 2는 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템의 개발 과정을 도시한다.
본 발명의 실시예에 따르면, 드론 맵핑 기술을 활용하여 긴급 비행장 피해분석을 수행한다.
드론 영상 실시간 정보 수집 과정에서는, 조종사 HD 영상을 전송하고, 드론영상/메타데이터를 전송하며, 드론 위치를 모니터링하고, 영상데이터 및 메타데이터에 대한 암호화를 수행한다.
균열/결함 유형 자동 분류 과정에서는, 고해상도 활주로 영상을 획득하여 학습데이터를 수집하고, 고속 3차원 데이터를 구축하며, 균열(파손) 및 결함의 유형을 분석하고, 균열 및 결함의 위치, 크기(부피) 정보를 출력하며, 고해상도 영상 포장 균열도 CAD화를 수행한다.
피해 평가/포장 상태 분석 과정에서는, 자동화된 활주로 피해평가를 수행하고, 자동화된 최소운영 활주로 선정을 수행하고, 포장시설 현황 및 구조정보 DB를 구축하며, 통합 운영 시스템을 제공한다.
본 발명의 실시예에 따르면, 영상데이터 암호 기술을 적용하여 영상 데이터 및 메타데이터에 대한 암호화를 수행하고, 균열 및 결함 유형에 따른 학습 데이터를 수집하고 학습 모델을 생성하며, 3차원 데이터를 활용하여 활주로 피해 평가를 수행하고, 그에 따른 최소 운영 활주로를 선정하며 유지 관리 포장 평가를 수행한다.
도 3은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템을 이용한 피해복구 자동산출 의사결정 지원 과정을 도시한다.
본 발명의 실시예에 따르면, 멀티 스테레오 카메라 기반 3차원 취득 시스템은 도로 3차원 공간 정보를 구축하기 위해, UAV를 활용한 3D 공간 측량을 수행하고, 2D 영상 검지 및 3D 분석 기법을 이용하여 2D/3D 데이터 기반 균열, 결함, 그리고 이물질을 탐지하고, 피해지역 공간 정보의 APMS와 연동하여 포장상태 분석을 자동화한다.
포장유지관리시스템은 웹 GIS 기반의 사용자 인터페이스를 제공하며, AI 학습, 균열 및 결함 유형 분류, 균열 및 결함 분석, 외관조사망도/상태평가보고서 작성을 수행한다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 포장면 균열 검출 과정을 도시한다.
본 발명의 실시예에 따르면, 설명가능 인공지능 기술을 이용하여 딥러닝 문제를 해결하고, 강화학습 기술을 이용하여 학습비용을 절감시킨다.
종래 기술에 따른 딥러닝 기술은 균열 판정 결과 및 그 확률이 대해 사용자에게 알려줄 뿐, 사용자는 의사결정 과정을 알 수 없고, 균열 판정의 근거 및 균열 정보가 미제공되는 한계가 있다.
설명가능 인공지능 기술은 균열 판정 결과, 확률, 형상, 원형도, 명도 정보를 제공함으로써, 사용자로 하여금 균열 정보를 알 수 있도록 하며, 왜 균열이라고 판정하였는지 이해할 수 있도록 지원한다.
설명가능 인공지능 기술에 따르면, AI가 언제 성공/실패할지 사용자로 하여금 인지할 수 있도록 지원함으로써, 사용자는 언제 AI를 신뢰할지 인지할 수 있고, 오류의 원인을 이해할 수 있다.
또한, 본 발명의 실시예에 따르면, GPU 기반의 분산병렬처리를 통해 전 과정을 기설정 시간(예: 48시간)이내에 처리하는 것이 가능하다.
도 5는 본 발명의 실시예에 따른 외관조사망도 및 평가분석 자동화 과정을 도시한다.
본 발명의 실시예에 따르면, 2D 파노라마 영상 생성, 포인트 클라우드 생성, 균열 검출, 외관조사망도 작성, 상태등급 산정, 2D 매핑 SW를 이용하여, 설명가능 인공지능 기반의 균열 검출, 검출된 데이터 기반의 외관조사망도 자동생성, 검출된 데이터 기반의 상태평가 보고서 자동생성을 수행한다.
외관조사망도 및 상태평가 자동화 프로그램을 이용하여, 균열 데이터 기반 외관조사망도, 외관조사망도 DXF 파일, 상태평가 보고서, 상태평가보고서 word 파일을 자동생성한다.
도 6은 본 발명의 실시예에 따른 설명가능 인공지능의 구성을 도시한다.
기존의 딥러닝 기술은 도출과정의 타당성을 제공하지 못하고 처리 과정을 사용자가 볼 수 없는 블랙박스 구조로 되어 있어, 정확도를 90% 이상으로 증가시키고 오류를 미리 감지하는 측면에 있어서 한계가 있다.
본 발명의 실시예에 따르면, 인공지능 시스템의 최종결과를 이해하도록, 사용자에게 설명하는 신뢰기반 기술인 설명가능 인공지능(XAI, Explainable Artificial Intelligence) 기반으로 검출을 수행한다.
이러한 설명가능 인공지능으로는, 기존 CNN을 변형하여 개발 가능하고, 개발시간이 짧은 역합성곱신경망(DCNN)을 적용한다.
또한, 영상데이터의 라벨링 코스트(Labeling Cost, 대상 영상의 데이터에 대한 답을 주어주기 위해 평가하는 비용)를 최소화하고 빠른 검출 속도를 확보하기 위해, 강화학습 알고리즘을 이용한다.
강화학습 알고리즘은 결함 위치를 추정하여 결함의 좌표를 추출하고, 결함 가능성을 추정하여 균열 및 결함 대상 후보군의 수량을 감소시킴으로써, 결함 위치, 크기, 종류를 결정한다.
도 7은 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법을 도시한다.
본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법은 영상 촬영 단계(S710), 영상 분할 단계(S720), 3D 포인트 클라우드 생성 단계(S730), 파노라마 영상 생성 단계(S740), 균열 및 결함 검출/측정 단계(S750), 균열 및 결함 검출 과정 설명 단계(S760), 요약 테이블 작성 단계(S770), 외관조사망도 작성 단계(S780) 및 상태평가 단계(S790)를 포함한다.
S710 단계는 스테레오 광학카메라를 이용하여 공항 시설물 중 비행 포장면의 균열 및 결함을 검출하기 위해 동영상 촬영을 수행한다.
S720 단계는 S710 단계에서 촬영된 동영상을 정지영상(steel cut)으로 분할한다.
S730 단계는 스테레오 이미지를 활용하여 3D 포인트 클라우드를 생성한다.
S740 단계는 정지영상을 일정길이 단위(예: 10m, 30m, 50m)로 정합하여 파노라마 영상을 생성한다.
S750 단계는 파노라마 이미지에서 2D CNN 알고리즘을 이용하여 균열 및 결함을 추출하고, 2D 및 3D CNN 알고리즘을 이용하여 균열 및 결함을 추출하며, 인공지능(FFFN) 알고리즘을 이용하여 균열 및 결함을 측정한다.
이 때, CNN 알고리즘과 강화학습 알고리즘을 합성함으로써, 균열 및 결함 검출의 속도 및 정확도를 향상시킨다.
S760 단계는 설명가능 인공지능 알고리즘을 이용하여, 균열 및 결함의 종류를 출력한 원인 및 과정에 대해, 하이라이트된 정지영상과 텍스트로 설명을 제공한다.
S770 단계는 균열 및 결함의 특성을 이용하여 요약 테이블을 작성하며, 균열 및 결함의 길이, 폭, 면적, 픽셀수와 좌표 정보(결함의 시작점, 끝점, 중심점의 좌표)를 포함하여 요약 테이블을 작성한다.
S780 단계는 결함에 대한 요약 테이블을 도면으로 출력하는 단계로서, 균열 및 결함의 특성 정보를 CAD 도면으로 변환하는 엔진을 활용하여 외관조사망도(도면)을 작성한다.
S790 단계는 결함에 대한 요약 테이블을 상태평가 보고서로 출력하는 단계로서, 균열 및 결함의 특성 정보를 집계하여 공항 시설물 비행 포장면의 상태평가등급(안전등급)을 산출하여 보고서를 작성한다.
한편, 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 안전점검 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 8은 본 발명의 실시예에 균열 검출 프로세스를 도시한다.
도 8을 참조하면, 본 발명의 실시예에 따른 검출 프로세스는 4개의 네트워크로 구성된다.
준실시간 검출 네트워크(semi-real time object detector network)는 균열이 포함된 영상을 수신하고, 그 위치와 크기를 예측하여, 균열 위치가 표시된 영상을 출력한다.
강화학습 네트워크(reinforcement learning network)는 균열 위치 추정의 최적화를 통해, 균열 좌표를 추출하여 검출 정확도를 향상시키고, 균열 가능성 추정에 대한 최적화를 통해, 후보군 수량을 감소시켜 검출 속도를 향상시킨다.
설명가능 인공지능 네트워크(XAI network)는 균열 위치가 표시된 영상에 대해, 균열로 추정한 이유를 텍스트로 설명하고, 균열로 추정한 핵심적인 특징(feature) 위치를 영상 위에 하이라이트로 표시하여 제공한다.
딥러닝 트레이닝 플랫폼(deep learning training platform)은 인공 지능 네트워크를 직관적으로 학습시키기 위한 트레이닝 플랫폼이다.
설명가능 인공지능 기반 딥러닝 트레이닝 플랫폼은 파라미터 및 하이퍼파라미터를 편리하고 직관적으로 제어 가능한 효과가 있다.
도 9는 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 강화학습 알고리즘의 구성을 도시한다.
본 발명의 실시예에 따른 강화학습 기반의 균열 및 결함 검출 프로세스는 2개의 네트워크로 구성된다.
기본 네트워크는 RPN(region proposal network) 기반으로, 준실시간(5fps)으로 균열 및 결함의 위치와 크기를 예측한다.
기본 네트워크는 균열 및 결함 위치 추정 최적화를 통해 균열 및 결함 좌표를 추출하고, 균열 및 결함 가능성 추정 최적화를 통해 후보군 수량을 감소시킨다.
연속처리 네트워크는 강화학습 기반으로 정확도를 향상시키는 네트워크로서, 강화학습 네트워크를 추가함으로써 정확도를 약 5% 향상시킬 수 있다.
도 10은 본 발명의 실시예에 따른 균열 및 결함 검출을 위한 Deep-XAI 알고리즘의 구성을 도시한다.
본 발명의 실시예에 따른 설명가능 인공지능 기반의 균열 및 결함 검출 프로세스는 이미지 분류 네트워크, 이미지를 텍스트로 설명하는 네트워크, 이미지의 특정부분에 하이라이트하는 네트워크를 포함하여 구성된다.
Deep-XAI에 대해 설명하면, 이는 CNN 기반 의사 결정에 대한 시각적 설명을 제공하고, AI의 투명성을 제공하며, 예측에 대한 신뢰도를 향상시키기 위한 목적으로 제안된다.
종래 기술에 따른 설명기능이 없는 CNN 및 Rule-Base System은 사용자가 이해하기 어렵고, 시스템 고장의 경우 설명/해석이 어려우며, ResNet 같은 심층 모델은 200개 이상의 레이어 깊이로 해석이 어려운 문제점이 있고, 규칙 기반 고전 시스템은 정확도 면에서 떨어지는 문제점이 있다.
Deep-XAI는 딥 네트워크가 추론한 중요 이유를 이미지상에 하이라이트하는 기능을 보유하고, 다양한 CNN 모델과의 통합이 가능하고, 모델들의 failure mode에 대한 통찰력을 제공하고, 대립하는(adversarial) 이미지에 대해 강건(robust)하고, 데이터셋의 편향을 식별하여 모델 일반화를 달성하며, 최첨단 심층 딥러닝 모델의 아키텍처를 변경하지 않고 설명기능을 제공하는 것이 가능한 효과가 있다.
Deep-XAI의 확장성으로는, Fully-Connected 레이어(예: VGG)를 갖는 CNN과 연결(통합)이 가능하고, 구조화된 출력에 사용하는 CNN(예: 캡션)과의 연결(통합)이 가능하며, 다중 모달 입력(예: VQA) 태스크 또는 강화 학습에도 사용이 가능하다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (6)
- 촬영영상을 수신하는 입력부;
상기 촬영영상을 이용하여 공항 시설물 비행 포장면의 균열 및 결함을 검출하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 2D 및3D 컨볼루셔널 뉴럴 네트워크와 설명가능 인공지능의 합성 네트워크를 이용하여 상기 촬영영상을 분석하고, 상기 비행 포장면의 균열 및 결함을 검출하고 측정하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
- 제1항에 있어서,
상기 프로세서는 상기 촬영영상의 분석 결과를 이용하여 균열 및 결함의 종류, 위치, 형상, 크기, 수량에 관한 정보를 요약 테이블로 작성하고, 상기 요약 테이블을 기초로 외관조사망도를 작성하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
- 제2항에 있어서,
상기 프로세서는 상기 요약 테이블을 이용하여 상기 공항 시설물의 비행 포장면에 대한 안전등급을 산출하고 상태평가 보고서를 작성하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
- 제1항에 있어서,
상기 프로세서는 상기 균열 및 결함의 위치가 표시된 영상에 대해, 균열 및 결함으로 추정한 이유를 텍스트로 설명하고, 상기 균열 및 결함 추정의 근거가 되는 핵심적인 특징(feature)의 위치를 영상 위에 하이라이트로 표시하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
- 제1항에 있어서,
상기 프로세서는 상기 촬영영상을 정지영상으로 분할한 이미지를 활용하여 3D 포인트 클라우드를 생성하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
- 제1항에 있어서,
상기 프로세서는 강화학습 네트워크를 이용하여 상기 공항 시설물의 결함 위치, 크기, 종류를 최종적으로 결정하는 것
인 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190175363A KR102396329B1 (ko) | 2019-12-26 | 2019-12-26 | 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190175363A KR102396329B1 (ko) | 2019-12-26 | 2019-12-26 | 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210082912A true KR20210082912A (ko) | 2021-07-06 |
| KR102396329B1 KR102396329B1 (ko) | 2022-05-10 |
Family
ID=76861120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190175363A KR102396329B1 (ko) | 2019-12-26 | 2019-12-26 | 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102396329B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230013206A (ko) * | 2021-07-15 | 2023-01-26 | 주식회사 씨피에스 | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101781994B1 (ko) * | 2016-12-30 | 2017-09-26 | 공간정보기술 주식회사 | 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치 |
| KR102038127B1 (ko) * | 2018-12-07 | 2019-10-29 | 주식회사 한국건설관리공사 | 무인비행체를 이용한 시설물 관리 장치 및 방법 |
-
2019
- 2019-12-26 KR KR1020190175363A patent/KR102396329B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101781994B1 (ko) * | 2016-12-30 | 2017-09-26 | 공간정보기술 주식회사 | 다중 스테레오 카메라를 이용한 자유시점 실시간 3d 구현장치 |
| KR102038127B1 (ko) * | 2018-12-07 | 2019-10-29 | 주식회사 한국건설관리공사 | 무인비행체를 이용한 시설물 관리 장치 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| Explainable Image Caption Generator Using Attention and Bayesian Inference", 2018 CSCI, 2018.12.* * |
| Road pothole extraction and safety evaluation by integration of point cloud and images derived from mobile mapping sensors", Advanced Engineering Informatics, Vol. 42, 2019.10.* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230013206A (ko) * | 2021-07-15 | 2023-01-26 | 주식회사 씨피에스 | 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102396329B1 (ko) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| Yan et al. | Computer vision‐based recognition of 3D relationship between construction entities for monitoring struck‐by accidents | |
| KR102239377B1 (ko) | 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법 | |
| CN110032962B (zh) | 一种物体检测方法、装置、网络设备和存储介质 | |
| CN110399816B (zh) | 一种基于Faster R-CNN的高速列车车底异物检测方法 | |
| WO2020253308A1 (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| Sánchez-Rodríguez et al. | Automated detection and decomposition of railway tunnels from Mobile Laser Scanning Datasets | |
| Shaghouri et al. | Real-time pothole detection using deep learning | |
| US20190367059A1 (en) | Vegetation detection and alert system for a railway vehicle | |
| KR102346676B1 (ko) | 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법 | |
| US20200034626A1 (en) | Method for recognizing an object of a mobile unit | |
| KR102185225B1 (ko) | 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템 | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及*** | |
| KR102664916B1 (ko) | 익스플레이너블 셀프-포커스드 어텐션을 이용하여 행동 예측을 수행하는 방법 및 장치 | |
| CN113393442A (zh) | 列车零部件异常检测方法、***、电子设备及存储介质 | |
| CN112639803B (zh) | 用于识别设施处的物体的方法和组件 | |
| KR102396329B1 (ko) | 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법 | |
| Massaro et al. | Image Processing and Post-Data Mining Processing for Security in Industrial Applications: Security in Industry | |
| EP4334186A1 (en) | Automatic digital inspection of railway environment | |
| Ballinas-Hernández et al. | Marked and unmarked speed bump detection for autonomous vehicles using stereo vision | |
| KR20160120955A (ko) | 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발 | |
| CN114898140A (zh) | 一种基于paa算法的行为检测方法、装置及可读介质 | |
| Hu et al. | A self-supervised learning technique for road defects detection based on monocular three-dimensional reconstruction | |
| KR102599330B1 (ko) | 영상 기반 안개영역 검출 및 가시거리 산출 시스템 | |
| Michail et al. | Innovative Visual Analysis Solutions to Support Disaster Management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |