KR102664206B1 - 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 - Google Patents
영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 Download PDFInfo
- Publication number
- KR102664206B1 KR102664206B1 KR1020210191943A KR20210191943A KR102664206B1 KR 102664206 B1 KR102664206 B1 KR 102664206B1 KR 1020210191943 A KR1020210191943 A KR 1020210191943A KR 20210191943 A KR20210191943 A KR 20210191943A KR 102664206 B1 KR102664206 B1 KR 102664206B1
- Authority
- KR
- South Korea
- Prior art keywords
- damage
- aircraft
- artificial intelligence
- image
- images
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 51
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000011002 quantification Methods 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000003973 paint Substances 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 3
- 229920000049 Carbon (fiber) Polymers 0.000 claims description 2
- 229910000831 Steel Inorganic materials 0.000 claims description 2
- 239000004917 carbon fiber Substances 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 230000006866 deterioration Effects 0.000 claims description 2
- 239000002184 metal Substances 0.000 claims description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 2
- 239000010959 steel Substances 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims 2
- 239000000463 material Substances 0.000 claims 1
- 238000012549 training Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Manufacturing & Machinery (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템에 관한 것으로, 보다 구체적으로는 영상 및 설명가능인공지능 기반으로 항공기의 손상 검출, 정량화 및 시각화를 위한 검사 자동화 플랫폼을 이용한 검사 자동화 시스템에 관한 것이다.
본 발명에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템은 영상 데이터를 수신하는 입력부와, 상기 영상 데이터를 분석하여 항공기의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하고, 검출된 손상 정보에 대한 정량화 및 시각화를 수행하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행시키는 프로세서를 포함하고, 상기 프로세서는 상기 항공기의 표면 손상을 실시간으로 취득하는 영상센서 및 열화상 센서가 탑재된 UAV 및 상기 제트 엔진의 블레이드 손상 영상을 취득하는 저조도 촬영 장치로부터 획득된 상기 영상 데이터를 이용하여 상기 손상을 검출하고, 상기 손상 검출의 결과에 대한 설명을 제공한다.
본 발명에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템은 영상 데이터를 수신하는 입력부와, 상기 영상 데이터를 분석하여 항공기의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하고, 검출된 손상 정보에 대한 정량화 및 시각화를 수행하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행시키는 프로세서를 포함하고, 상기 프로세서는 상기 항공기의 표면 손상을 실시간으로 취득하는 영상센서 및 열화상 센서가 탑재된 UAV 및 상기 제트 엔진의 블레이드 손상 영상을 취득하는 저조도 촬영 장치로부터 획득된 상기 영상 데이터를 이용하여 상기 손상을 검출하고, 상기 손상 검출의 결과에 대한 설명을 제공한다.
Description
본 발명은 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템에 관한 것으로, 보다 구체적으로는 영상 및 설명가능인공지능 기반으로 항공기의 손상 검출, 정량화 및 시각화를 위한 검사 자동화 플랫폼을 이용한 검사 자동화 시스템에 관한 것이다.
종래 기술에 따르면, 점검자가 육안 검사에 의존하여 항공기 동체 및 엔진에 대한 안전검사를 수행하여 균열 및 손상을 검출하고, 줄자를 이용하여 정량화하여, 도면과 보고서에 수기로 기록한다.
이러한 경우, 항공기 운영의 특성상 제한된 시간 내에 작업을 완료해야 하고, 주로 주간 보다는 항공기 운영을 하지 않는 야간에 육안 검사를 실시해야 되므로, 항공기 및 엔진의 균열 및 손상 검출의 정확도 및 속도가 현저히 떨어지는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 영상, 인공지능, UAV 기반으로 항공기 동체 및 엔진의 균열 및 손상을 정확하고 빠르게 자동 검출하는 시스템을 제공하는데 그 목적이 있다.
본 발명에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템은 영상 데이터를 수신하는 입력부와, 상기 영상 데이터를 분석하여 항공기의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하고, 검출된 손상 정보에 대한 정량화 및 시각화를 수행하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행시키는 프로세서를 포함하고, 상기 프로세서는 상기 항공기의 표면 손상을 실시간으로 취득하는 영상센서 및 열화상 센서가 탑재된 UAV 및 상기 제트 엔진의 블레이드 손상 영상을 취득하는 저조도 촬영 장치로부터 획득된 상기 영상 데이터를 이용하여 상기 손상을 검출하고, 상기 손상 검출의 결과에 대한 설명을 제공한다.
본 발명에 따르면, 광학 및 열화상 카메라라 탑재된 드론을 이용한 항공기 동체 및 저조도에 특화된 카메라가 탑재된 검사장치를 이용한 제트엔진의 균열 및 손상을 검출함에 있어서, 촬영 장비가 탑재된 드론으로 항공기 동체를 촬영하고, 저조도에 특화된 특수 카메라로 항공기 제트 엔진으로부터 획득한 영상에서 균열 및 손상을 인공지능 기반으로 검출하고, 검출한 균열 및 손상을 정량화, 도면화, 시각화하여 항공기 유지관리 비용을 절감하고 항공기 운영 효율을 증가시키는 효과가 있다.
또한 Pre-Processor모듈이 탑재되고 4단계 피라미드식 특징 추출 네트워크를 동반하는 RPN 기반의 딥러닝 알고리즘으로 이미지의 명도를 AI 모델에 적합하도록 최적화하고 점 형태의 노이즈를 제거할 뿐 아니라 손상이 포함된 이미지를 사전 분류(Support Vectoc Machine, SVM)하여 손상검출 성능을 높이고 다양한 크기의 손상의 특징을 정확하게 추출하는 효과가 있다.
추가로 RPN(Region Proposal Network) 기반의 딥러닝 알고리즘과 복잡한 인터페이스 없이 쉽고 빠르게 통합이 가능한 히트맵 모듈과 결함 캡셔닝 모듈로 구성된 설명가능인공지능 모듈로 AI 모델의 추론이유를 사용자가 이해하도록 설명하고 추론과정을 투명하게 제공하는 동시에 AI 모델의 오류를 Captioning을 활용하여 알고리즘 기반으로 빠르고 정확하게 수정할 수 있는 신뢰기반의 AI 모델을 기대할 수 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 인공지능기반 항공기동체 및 엔진 안전검사 플랫폼을 도시한다.
도 2는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 아키텍처를 도시한다.
도 3은 본 발명의 실시예에 따른 항공기동체 손상검출 알고리즘에 적용된 전이학습을 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 플로우차트를 도시한다.
도 5는 본 발명의 실시예에 따른 이미지 합성, 데이터 증량, PCA 분석 기반 데이터 밸런싱, 프리 트레이닝, 파인 튜닝의 플로우차트를 도시한다.
도 6은 본 발명의 실시예에 따른 항공기동체 손상 데이터셋의 예시이다.
도 7은 본 발명의 실시예에 따른 손상크기별 항공기동체 손상 데이터셋의 예시이다.
도 8은 본 발명의 실시예에 따른 항공기엔진 손상 데이터셋의 예시이다.
도 9는 본 발명의 실시예에 따른 항공기동체 및 엔진 손상데이터의 클래스를 도시한다.
도 10은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 11은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 12는 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 13은 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 14는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 XAI 아키텍처의 구성도이다.
도 15는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 GradCAM 및 LSTM 언어모델 기반의 XAI 알고리즘 플로우차트를 도시한다.
도 16은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 아키텍처의 구성도이다.
도 17은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 개념도이다.
도 18은 본 발명의 실시예에 따른 AI 학습데이터 생성을 위한 플로우차트이다.
도 19는 본 발명의 실시예에 따른 학습데이터 라벨링 및 AI 모델의 트레이닝 프로세스를 도시한다.
도 20은 본 발명의 실시예에 따른 원본이미지, 낙뢰손상검출 이미지, 히트맵 이미지, 손상 캡셔닝을 도시한다.
도 21은 본 발명의 실시예에 따른 손상 감지의 대상이 되는 항공기 엔진의 내부구조를 도시한다.
도 2는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 아키텍처를 도시한다.
도 3은 본 발명의 실시예에 따른 항공기동체 손상검출 알고리즘에 적용된 전이학습을 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 플로우차트를 도시한다.
도 5는 본 발명의 실시예에 따른 이미지 합성, 데이터 증량, PCA 분석 기반 데이터 밸런싱, 프리 트레이닝, 파인 튜닝의 플로우차트를 도시한다.
도 6은 본 발명의 실시예에 따른 항공기동체 손상 데이터셋의 예시이다.
도 7은 본 발명의 실시예에 따른 손상크기별 항공기동체 손상 데이터셋의 예시이다.
도 8은 본 발명의 실시예에 따른 항공기엔진 손상 데이터셋의 예시이다.
도 9는 본 발명의 실시예에 따른 항공기동체 및 엔진 손상데이터의 클래스를 도시한다.
도 10은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 11은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 12는 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 13은 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 14는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 XAI 아키텍처의 구성도이다.
도 15는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 GradCAM 및 LSTM 언어모델 기반의 XAI 알고리즘 플로우차트를 도시한다.
도 16은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 아키텍처의 구성도이다.
도 17은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 개념도이다.
도 18은 본 발명의 실시예에 따른 AI 학습데이터 생성을 위한 플로우차트이다.
도 19는 본 발명의 실시예에 따른 학습데이터 라벨링 및 AI 모델의 트레이닝 프로세스를 도시한다.
도 20은 본 발명의 실시예에 따른 원본이미지, 낙뢰손상검출 이미지, 히트맵 이미지, 손상 캡셔닝을 도시한다.
도 21은 본 발명의 실시예에 따른 손상 감지의 대상이 되는 항공기 엔진의 내부구조를 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 실시예에 따르면, 촬영영상 및 인공지능 기반으로 항공기 동체 및 엔진의 안전검사를 수행함으로써, 항공기 동체 및 엔진의 균열 및 손상의 검출을 빠르고 정확하게 수행하는 것이 가능하고, 균열 및 손상을 출력한 원인 및 과정에 대해 설명을 제공함으로써, 신뢰성이 높은 항공기 동체 및 엔진의 안전검사 시스템 및 방법을 제공하는 것이 가능하다.
본 발명의 실시예에 따르면, 영상 및 딥러닝 알고리즘 기반으로 항공기 표면에 발생하는 항공기의 찌그러짐, 페인트 손상, 부식, 균열, 패스너 손상, 구멍, 낙뢰 손상 등의 주요손상 및 제트엔진에 발행하는 블레이드 균열, 덴트, 변형, 부식, 전소 등을 검출함으로써, 항공기 동체의 표면손상 및 제트엔진 손상 감지의 정확도를 높이고, 피로 및 시간 압력과 같은 인적 요인과 관련된 항공기 동체 및 제트엔진 검사에 대한 사고의 수를 줄이고 검사에 소요되는 시간을 크게 줄이는 것이 가능하다.
본 발명의 실시예에 따르면, 항공기 검사 프로세스를 자동화함에 따라 비행 운영 생산성을 향상시키고, 검사시간 및 AO(지상대기 시간)시간을 단축시키고, 안전사고 및 PPE(조종사 개인 보호 장구) 관련 비용을 감소시키고, 결정 시간을 단축시키며, 객관적인 손상 평가 및 인적 오류 감소가 가능하다.
본 발명의 실시예에 따르면, 영상 취득을 위한 촬영 드론, 저조도 영상 취득을 수행하는 특수 카메라, 드론으로 촬영한 영상을 파노라마로 변환시키는 프로그램, 파노라마 영상에서 균열 및 손상을 검출 및 정량화 하기 위한 프로그램, RPN 알고리즘과 통합이 가능한 설명가능인공지능 모듈, dataset의 극심한 불균형을 해결하기 위한 메타러닝 알고리즘, 희귀한 항공기 손상 이미지와 타 항공기 이미지를 합성하기 위한 프로그램, 전문 엔지니어와 학습데이터 생성 및 라벨링 툴의 협업시스템, 영상에서 객체를 검출을 위한 서버, mesh 생성 프로그램을 구비하고, 시각화를 위한 수단으로서 영상을 디스플레이 할 수 있는 전용 뷰어, 균열 및 손상 정량화 결과를 CAD 등으로 변환시키는 프로그램을 구비한다.
본 발명의 실시예에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템은 영상 데이터를 수신하는 입력부; 상기 영상 데이터를 분석하여 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하고, 검출된 손상 정보에 대한 정량화 및 시각화를 수행하는 프로그램이 저장된 메모리; 및 상기 프로그램을 실행시키는 프로세서를 포함하고, 상기 프로세서는 상기 항공기의 표면 손상을 실시간으로 취득하는 영상센서 및 열화상 센서가 탑재된 UAV 및 상기 제트 엔진의 블레이드 손상 영상을 취득하는 저조도 촬영 장치로부터 획득된 상기 영상 데이터를 이용하여 상기 손상을 검출하고, 상기 손상 검출의 결과에 대한 설명을 제공한다.
상기 프로세서는 상기 영상 데이터로부터 실시간으로 상기 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하는 Segmentation 기능과 Classification기능이 포함되고 피라미드식 4단계 특징 추출 네트워크를 동반하는 RPN 기반의 인공지능 알고리즘 및 RPN 알고리즘과 복잡한 인터페이스 없이 통합이 가능한 히트맵 모듈과 결함 캡셔닝 모듈로 구성된 설명가능인공지능 모듈을 이용하여 상기 손상을 검출한다.
상기 프로세서는 상기 영상 데이터로부터 상기 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하는 RPN기반의 딥러닝 알고리즘과, 검출 이전에 표면손상을 포함한 영상의 명도를 학습된 AI모델에 적합하게 최적화하고 점 형태의 노이즈를 제거한 후 손상이 포함된 이미지만 별도로 분류하여 표면손상 검출성능을 높이는 SVM 기반의 분류기를 이용하여 상기 손상을 검출한다.
상기 프로세서는 항공기 표면손상 같은 소량의 희귀 데이터셋의 일반화 성능저하 한계를 극복하고 딥러닝 알고리즘의 파인튜닝을 위한 학습시간을 줄이는 warm restart 기반의 전이학습 알고리즘 및 전이학습을 위한 강재 표면손상, 카본파이버 표면손상, 금속 표면손상 이미지를 활용하여 상기 손상을 검출한다.
상기 프로세서는 좌우반전, 상하반전, 회전, 흐리게 처리하기, 일부영역 잘라내기, 명조 조절을 포함한 데이터 증량 기법을 포함하고 단순한 수량비교가 아닌 PCA 이미지 분석기를 통해 데이터셋의 클래스간 균형을 맞는 데이터셋을 구비한다.
상기 프로세서는 항공기의 찌그러짐, 페인트 벗겨짐, 마모, 열화, 부식, 균열, 패스너 손상, 구멍, 낙뢰 손상을 포함하는 상기 항공기의 표면 손상을 검출하고, 항공기 손상 이미지와 타 항공기 이미지를 합성하기 위한 학습 데이터를 생성하고 라벨링 툴의 협업 모듈을 제공한다.
상기 프로세서는 항공기 엔진 블레이드의 균열, 단부파손, 패임, 전소, 변형, 눌림, 유실, 구멍, 가장자리 찢어짐, 가장자리 구멍을 포함하는 상기 항공기의 표면 손상을 검출하고, 항공기 엔진 블레이드 손상 이미지와 타 항공기 엔진 블레이드 이미지를 합성하기 위한 학습 데이터를 생성하고 오토라벨링 기능이 있는 라벨링 툴의 협업 모듈을 제공한다.
상기 프로세서는 상기 항공기의 동체 및 엔진의 안전검사 과정에 대해 동시 접속자수 증가 및 태스크 증가에 따른 스케일업이 가능한 웹 브라우저를 통해 실행한다.
항공기 손상 이미지와 타 항공기 이미지를 합성하기가 용이하지 않아 클래스간 데이터 수량의 밸런스를 맞추기 어렵고 대규모 데이터셋을 구축하기 어려운 경우 소량의 언밸런스한 데이터셋으로도 손상 검출 및 손상 분류 성능을 발휘할 수 있는 메타러닝 학습기법이 적용된다.
도 1은 본 발명의 실시예에 따른 인공지능기반 항공기동체 및 엔진 안전검사 플랫폼을 도시한다.
도 2는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 아키텍처를 도시한다.
도 3은 본 발명의 실시예에 따른 항공기동체 손상검출 알고리즘에 적용된 전이학습을 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 및 RPN 기반 항공기동체 손상검출 알고리즘 및 설명가능인공지능 모듈의 플로우차트를 도시한다.
도 5는 본 발명의 실시예에 따른 이미지 합성, 데이터 증량, PCA 분석 기반 데이터 밸런싱, 프리 트레이닝, 파인 튜닝의 플로우차트를 도시한다.
도 6은 본 발명의 실시예에 따른 항공기동체 손상 데이터셋의 예시이다.
도 7은 본 발명의 실시예에 따른 손상크기별 항공기동체 손상 데이터셋의 예시이다.
도 8은 본 발명의 실시예에 따른 항공기엔진 손상 데이터셋의 예시이다.
도 9는 본 발명의 실시예에 따른 항공기동체 및 엔진 손상데이터의 클래스를 도시한다.
도 10은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 11은 본 발명의 실시예에 따른 인공지능기반 항공기동체 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 12는 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 수집서를 도시한다.
도 13은 본 발명의 실시예에 따른 인공지능기반 항공기 제트엔진 안전검사 플랫폼 요구사항 기능리스트를 도시한다.
도 14는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 XAI 아키텍처의 구성도이다.
도 15는 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 GradCAM 및 LSTM 언어모델 기반의 XAI 알고리즘 플로우차트를 도시한다.
도 16은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 아키텍처의 구성도이다.
도 17은 본 발명의 실시예에 따른 항공기동체 및 엔진의 AI 안전검사를 위한 메타러닝 개념도이다.
도 18은 본 발명의 실시예에 따른 AI 학습데이터 생성을 위한 플로우차트이다.
도 19는 본 발명의 실시예에 따른 학습데이터 라벨링 및 AI 모델의 트레이닝 프로세스를 도시한다.
도 20은 본 발명의 실시예에 따른 원본이미지, 낙뢰손상검출 이미지, 히트맵 이미지, 손상 캡셔닝을 도시한다.
도 21은 본 발명의 실시예에 따른 손상 감지의 대상이 되는 항공기 엔진의 내부구조를 도시한다.
항공기 제트엔진 영상 촬영장치
항공기 제트엔진의 내부에 위치한 블레이드 손상영상을 최소한의 조명으로 취득할 수 있는 저조도 촬영에 특화된 영상촬영장치이다.
저조도의 의미는 조명없이 촬영시 이미지의 평균명도가 50(intensity)이하이고 조명추가시 이미지의 평균명도가 대략 100 정도의 환경을 의미한다.
인공지능 알고리즘으로 손상을 정확하게 검출하기 위해서는 기본적으로 초점이 맞는 이미지가 필수적으로 필요하고 추가로 손상과 주의 표면(배경)의 명도차가 일정수준(30~50) 이상 확보되어야 한다. 그러나 저조도 환경에서는 카메라 기기 내에 탑재된 알고리즘이 광학센서에 포착된 대상의 특징 추출을 할 수 없어 초점이 맞는 이미지를 확보하기 어렵고 손상과 주의 표면(배경)의 유효한 명도차를 기대하기 어렵다.
따라서 영상촬영장치의 노출값(셔터스피드, 조리개, ISO)은 저조도 촬영에 적합하도록 3가지 모드로 설정되어 있다.
1) 모드1: 초점이 맞고 블러영상이 없는 안정적인 영상
2) 모드2: 모드1과 모드2의 중간단계의 영상
3) 모드3: 균열 등 결함과 배경의 명조차를 최대로한 선명한 영상
영상 촬영장치가 장착된 UAV
항공기 표면손상을 실시간으로 취득할 수 있는 4K급(UHD) 고해상도 영상센서 및 열화상센서(60,000화소 이상)가 탑재된 UAV이다.
UAV는 촬영된 원본영상을 외부저장장치에 저장하는 동시에 조종자의 컨트롤러에 다운사이즈된 영상을 디스플레이 해준다.
또한 촬영된 영상을 라우터, LTE모뎀, 스트리밍 서버를 통해 관제실로 송출할 수 있는 모듈을 탑재하고 있다.
추가로 촬영된 영상의 위치를 cm급의 정확도로 확인할 수 있도록 GPS, RTK, 위치정보 기록장치, 좌표변환 모듈(위도, 경도, 타원체고를 xyz좌표로 변환)을 탑재하고 있다.
UAV는 원하는 각도의 영상을 안정적으로 획득하기 위해 2축 짐벌을 탑재하고 있고 피사체와의 촬영거리를 유지하기 위한 레이저거리측정기가 포함되어 있다.
RPN 기반 인공지능 알고리즘
RPN은 영역제안네트워크(Region Proposal Network)를 이용하여 이미지에 포함된 객체의 특징을 추출하고 그 특징을 기반으로 후보 Bounding Box를 복수로 추천한 후 확률기반으로 추천 Bounding Box의 수를 단계적으로 줄여 최종적인 검출결과를 추론하는 알고리즘이다.
과정을 보다 상세히 설명하면, 우선 각 관심 영역(RoI; Region of Interest)에 대한 피쳐 추출의 계산을 공유하고 딥러닝 기반의 RPN을 도입해 구현할 수 있다.
많은 CNN 레이어를 사용해 피쳐 맵을 추출하고 나면 RPN을 통해 개체를 포함하고 있을 가능성이 높은 윈도우가 다량으로 생성된다. 그런 다음 알고리즘은 각 윈도우에 있는 피쳐 맵을 검색하고, 고정 크기로 조정한 뒤(RoI 풀링) 클래스 확률과 해당 객체에 대한 더욱 정확한 경계박스를 예측한다.
여기서 고려해야 할 점은 RPN이 윈도우를 생성하는 방법인데, RPN은 앵커 박스를 사용합니다. 하지만 앵커 박스가 데이터로부터 생성되는 것이 아니라 고정된 크기와 형태로 생성된다는 것이고 이 점이 다른 유사 알고리즘과의 차이점이다. 이 앵커 박스는 이미지를 보다 조밀하게 커버할 수 있으며, RPN은 여러 객체 카테고리에 대한 분류 대신 윈도우의 객체 포함 유무에 대한 이진 분류(Binary Classification)만 수행한다.
Feature Pyramid Network
Feature Pyramid Network(FPN)는 임의의 크기의 single-scale 이미지를 convolutional network에 입력하여 다양한 scale의 feature map을 출력하는 네트워크입이다. 일반적으로 검증된 AlexNet, GooglNet, ResNet등을 사용한다. FPN는 기존 convolutional network에서 지정한 다양한 크기의 layer별로 feature map을 각각 추출하여 수정하는 네트워크라고 할 수 있다. FPN이 feature map을 추출하여 피라미드를 구축하는 과정은 bottom-up pathway, top-down pathway, lateral connections 방법 등이 있다. FPN을 사용하면 이미지에 포함된 다양한 크기의 손상을 검출할 수 있고 손상에 포함된 경계선, 내부패턴 등 다양한 특징을 추출할 수 있는 장점이 있으나 FPN의 레이어가 많을수록 연산시간이 오래 소요되므로 본 발명에서는 연산시간과 객체검출정확도 모두를 만족할 수 있는 4층 구조의 FPN을 적용하였다.
설명가능인공지능 모듈
XAI(eXplainable AI)는 설명가능한 인공지능을 의미한다. 모델의 신뢰도와 모델의 결정에 대한 '시각적 설명' 및 'Caption(자막)'을 생성하는 것을 목적으로 한다.
Grad-CAM은 CNN 기반 모델로부터 '시각적 설명'을 제작하여 시스템의 구조를 사람이 이해할 수 있도록 설명하는, 즉 'interpretability'를 갖는 기술이다.
CAM(Class Activation Mapping)은 CNN 기반 네트워크에서 많은 클래스를 결정할 때, 시각적인 설명을 제공한다.
여기서 말하는 Grad-CAM(Gradient-weighted CAM)은 CAM을 구할 때, "예측 이미지 안의 중요한 부분을 강조하는 대략적인 지역 맵을 생산하기 위한 마지막 컨볼루션으로 흘러가는", "타겟 클래스(캡션, 마스크도 가능)에 대한" gradient를 이용한다.
Image Captioning은 인공지능 학계의 거대한 두 흐름인 'Computer Vision(컴퓨터 비전)'과 'Natural Language Processing(자연어 처리)'를 연결하는 연구이다.
Image Captioning은 원본 이미지를 CNN를 Encoder으로 인코딩하고, caption부분을 LSTM을 Decoder로 디코딩하는 Encoder-Decoder 구조를 취하고 있다.
Encoder를 트레이닝 할 때, Pre-trained 분류 모델을 transfer learning 알고리즘을 사용하여 fine-tuning 시키고 받은 모델을 가져오고, 막단의 fully connected layer를 사용하지 않는다.
Decoder를 트레이닝 할 때, Encoder로부터 출력한 embedding vector를 LSTM을 통해 문장의 각 단어를 순서대로 출력하게 된다.
Attention 메카니즘 기반의 딥러닝 알고리즘 및 SVM
Attention(자연어처리 분야)의 기본 아이디어는 decoder에서 출력 단어를 예측하는 매 시점(time step)마다, encoder에서의 전체 입력 문장을 다시 한 번 참고한다는 점이다
단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 된다.
Attention 메카니즘의 프로세스는 다음과 같다.
1) 어텐션 스코어(Attention Score)를 구한다.
2) 소프트맥스(softmax) 함수를 통해 어텐션 분포(Attention Distribution)를 구한다.
3) 각 인코더의 어텐션 가중치와 은닉 상태를 가중합하여 어텐션 값(Attention Value)을 구한다.
4) 어텐션 값과 디코더의 t 시점의 은닉 상태를 연결한다.(Concatenate)
영상처리 분야에서 어텐션(Attention)의 기본 아이디어는 공간적 어텐션(spatial attention)을 적절히 잘 사용하면 해당 모듈의 수용층(receptive field)를 늘릴 수 있다는 것이다. 즉 spatial attention을 적절히 사용하여 Receptive field를 증가키시는 동시에 아주 적은 연산의 추가로 기존의 network보다 더 좋은 성능을 내는 network를 개발하는 것이 가능하다.
Attention은 최근 network들이 성능향상에 매우 중요한 역활을 해왔다. 실제로 Residual attention network(RAN)은 attention 모듈을 여러번 쌓아서 기존 Residual Network보다 더 좋은 성능을 내었다.
어텐션모듈(attention module)을 이용하여 다단계 수용층(receptive field)을 만들면 그로 인해 translation과 scale로부터 불변하는 특성을 얻을수 있다.
SVM은 2개의 범주를 분류하는 이진 분류기이다.
주요 목적은 두 클래스 사이의 Margin을 최대화하는 '최적의 분리 결정경계 (decision boundary)인 Hyper-plane'을 찾는 것이다.
Hyperplane을 지지하는 관측치들을 support vector라고 부르고 마진(margin)은 결정 경계와 support vector사이의 거리를 의미한다.
SVM은 데이터 포인트들을 올바르게 분리하면서 마진의 크기를 최대화해야 하는데, 결국 이상치(outlier)를 잘 다루는 게 중요하다.
개별적인 학습 데이터들을 다 놓치지 않으려고 아웃라이어를 허용하지 않는 기준으로 결정 경계를 정해버리면 오버피팅(overfitting) 문제가 발생할 수 있다.
SVM에서는 결정 경계를 정의하는 게 결국 서포트 벡터이기 때문에 데이터 포인트 중에서 서포트 벡터만 잘 골라내면 나머지 쓸 데 없는 수많은 데이터 포인트들을 무시할 수 있으며, 이러한 특성이 SVM을 매우 빠르게 구동시키는 이유이다.
전이학습 알고리즘
어떠한 태스크(Classification, Detection, Segmentation 등)에 대해 학습된 딥러닝 모델을 다른 태스크로 전이하여 해당 모델을 학습하는 개념이다.
특정 분야에서 학습한 신경망의 일부를 유사하거나 또는 전혀 다른 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미한다. 전이학습은 기존의 모델을 사용하여 새로운 모델을 만들 때, 학습속도를 빠르게 하며 정확도를 더 높이는 방법이다. 특히 학습 데이터셋이 부족한 프로젝트를 진행할 때 굉장히 큰 도움이 된다.
전이학습의 종류에는 다음과 같은 것들이 존재한다.
1) Fine-tune : 미리 학습된 ConvNet (Convolution Network)의 마지막 FCL (Fully Connected Layer)의 가중치만 갱신하며 학습을 실행한다.
2) Pre-trained model : 미리 학습된 모델의 가중치를 새로운 모델에 적용한다.
3) Domain adaptation : 풍부한 데이터를 바탕으로 훈련시 도메인 구분 능력은 약하게 학습하여 target data의 분류가 가능하도록 모델 구축한다.
4) Layer reuse : 기존 모델의 일부 레이어를 재사용하여 데이터가 부족한 모델 구축에 활용한다.
메타러닝 알고리즘
모델에게 학습하는 법을 학습시키는 기법으로 metric 기반, model 기반, optimization 기반 방법 등이 있다. 기존의 딥러닝 알고리즘에서 많이 사용하는 지도학습은 데이터의 수가 일정하지 않을 경우 모델 성능에서 클래스 간 불균형을 초래하여 검출성능이 일정수준 이상 향상되지 않는 문제가 발생하였고 이와 같은 문제를 해결하는 방법으로 model 기반 메타 러닝 방법이 제시되었다.
메타러닝은 데이터가 부족한 클래스에서 모델의 성능을 향상시키고, 학습을 빠르게 수행하는 장점이 있으며 모델은 1단계로 데이터가 풍부한 클래스로 잘 분류하는 방법을 학습 후 데이터가 적은 클래스를 포함하여 전체 클래스의 특징을 2단계로 학습한다.
메타러닝은 구체적으로 Attention 기법을 사용하여 각 클래스에 해당하는 attentive vectors 추출 후, feature map과 channel-wise product 하여 생성한 meta feature를 통해 객체의 위치와 클래스를 판별한다.
오토라벨링툴
딥러닝 모델을 일정수준 이상의 성능을 내도록 트레이닝 시키려면 일반적으로 클래스별 수천에서 수만 개의 이미지를 라벨링 해야 한다.
이 과정에서 인력과 시간이 많이 소요되고 라벨러의 주관적 판단에 의한 오류가 발생할 가능성이 있다. 딥러닝 데이터 세트 및 모델의 개발을 가속화하기 위해 신속하고 정확한 이미지 주석과 주석 검토를 지원하는 소프트웨어 도구가 필요하다.
오토라벨링툴은 다수의 라벨러가 동시 접속하여 대규모 이미지 데이터셋을 작업할 수 있도록 웹 환경으로 개발되었으며 소프트웨어 내에서 직접 딥러닝 모델을 활용하여 완전히 자동화된 주석을 수행할 수 있는 도구를 제공한다.
또한 작업의 신뢰도 향상을 위해 사람이 작업해야하는 환경에서 AI에 기반한 세그멘테이션 도구를 사용하여 빠른 작업이 가능하다.
Intensity Optimizer
인간의 인지능력이 조명의 변화에 영향을 받듯이 AI 모델 또한 이미지의 명도변화에 따라 성능이 좌우된다. 예를들어 조명이 설치된 환경에서 촬영된 명도값이 높은 이미지를 이용해 주로 학습된 AI 모델은 어두운 환경에서 촬영된 명도값이 낮은 이미지가 입력되었을 때 객체검출 성능이 크게 저하된다. 따라서 특정 목표 명도범위(예를들어 150~200)의 이미지로 학습된 AI 모델을 구축한 후 학습되지 않은 새로운 이미지로 테스트할 때 이미지의 명도 스펙트럼을 분석한 후 특정 목표 명도범위로 변환하면 AI 모델의 높은 성능을 기대할 수 있다.
Spot Noise Filter
광학카메라로 촬영된 이미지에는 다양한 이유로 점형태의 노이즈(단계적 전기신호 처리과정에서 발생)가 포함되어 있다. 이러한 노이즈는 딥러닝 모델의 객체검출 성능을 저하시키므로 점형태 전용 노이즈필터로 사전에 제거한다.
Web Browser로 실행할 수 있는 플랫폼
플랫폼은 실행장소의 영향을 받지 않고 별도의 소프트웨어 설치 없이 웹브라우저에서 실행 가능한 형태이며, UAV 제어, 영상 모니터링(관제), 영상처리 등 전 과정에 필요한 기능리스트를 가지고 있다.
한편, 본 발명의 실시예에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 영상 및 설명가능인공지능 기반 항공기 검사 자동화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
Claims (9)
- 영상 데이터를 수신하는 입력부;
상기 영상 데이터를 분석하여 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하고, 검출된 손상 정보에 대한 정량화 및 시각화를 수행하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 상기 항공기의 표면 손상을 실시간으로 취득하는 영상센서 및 열화상 센서가 탑재된 유에이브이(UAV, unmanned aerial vehicle) 및 상기 제트 엔진의 블레이드 손상 영상을 취득하는 저조도 촬영 장치로부터 획득된 상기 영상 데이터를 이용하여 상기 손상을 검출하고, 상기 손상을 검출한 결과에 대한 설명을 제공하고,
상기 프로세서는 상기 영상 데이터로부터 실시간으로 상기 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하는 세그멘테이션(Segmentation) 기능과 클래시피케이션(Classification) 기능이 포함되고 피라미드식 4단계 특징 추출 네트워크를 동반하는 알피엔(RPN, region proposal network) 기반의 인공지능 알고리즘 및 알피엔(RPN, region proposal network) 알고리즘과 복잡한 인터페이스 없이 통합이 가능한 히트맵 모듈과 결함 캡셔닝 모듈로 구성된 설명가능인공지능 모듈을 이용하여 상기 손상을 검출하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 삭제
- 제1항에 있어서,
상기 프로세서는 상기 영상 데이터로부터 상기 항공기 동체의 표면 및 제트 엔진 중 적어도 어느 하나의 손상을 검출하는 알피엔(RPN, region proposal network) 기반의 딥러닝 알고리즘과, 검출 이전에 표면손상을 포함한 영상의 명도를 학습된 에이아이(AI, artificial intelligence) 모델에 적합하게 최적화하고 점 형태의 노이즈를 제거한 후 손상이 포함된 이미지만 별도로 분류하여 표면손상 검출성능을 높이는 에스브이엠(SVM, support vector machine) 기반의 분류기를 이용하여 상기 손상을 검출하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 제1항에 있어서,
상기 프로세서는 항공기 표면손상 같은 소량의 희귀 데이터셋의 일반화 성능저하 한계를 극복하고 딥러닝 알고리즘의 파인튜닝을 위한 학습시간을 줄이는 웜 리스타트(warm restart) 기반의 전이학습 알고리즘 및 전이학습을 위한 강재 표면손상, 카본파이버 표면손상, 금속 표면손상 이미지를 활용하여 상기 손상을 검출하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 제1항에 있어서,
상기 프로세서는 좌우반전, 상하반전, 회전, 흐리게 처리하기, 일부영역 잘라내기, 명조 조절을 포함한 데이터 증량 기법을 포함하고 단순한 수량비교가 아닌 피씨에이(PCA, principal component analysis) 이미지 분석기를 통해 데이터셋의 클래스간 균형을 맞는 데이터셋을 구비하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 제1항에 있어서,
상기 프로세서는 항공기의 찌그러짐, 페인트 벗겨짐, 마모, 열화, 부식, 균열, 패스너 손상, 구멍, 낙뢰 손상을 포함하는 상기 항공기의 표면 손상을 검출하고, 항공기 손상 이미지와 타 항공기 이미지를 합성하기 위한 학습 데이터를 생성하고 라벨링 툴의 협업 모듈을 제공하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 제1항에 있어서,
상기 프로세서는 항공기 엔진 블레이드의 균열, 단부파손, 패임, 전소, 변형, 눌림, 유실, 구멍, 가장자리 찢어짐, 가장자리 구멍을 포함하는 상기 항공기의 표면 손상을 검출하고, 항공기 엔진 블레이드 손상 이미지와 타 항공기 엔진 블레이드 이미지를 합성하기 위한 학습 데이터를 생성하고 오토라벨링 기능이 있는 라벨링 툴의 협업 모듈을 제공하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템. - 제1항에 있어서,
상기 프로세서는 상기 항공기의 동체 및 엔진의 안전검사 과정에 대해 동시 접속자수 증가 및 태스크 증가에 따른 스케일업이 가능한 웹 브라우저를 통해 실행하는 것
인 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
- 제1항에 있어서,
항공기 손상 이미지와 타 항공기 이미지를 합성하기가 용이하지 않아 클래스간 데이터 수량의 밸런스를 맞추기 어렵고 대규모 데이터셋을 구축하기 어려운 경우 소량의 언밸런스한 데이터셋으로도 손상 검출 및 손상 분류 성능을 발휘할 수 있는 메타러닝 학습기법이 적용된 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2021/020251 WO2023128008A1 (ko) | 2021-12-30 | 2021-12-30 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
| KR1020210191943A KR102664206B1 (ko) | 2021-12-30 | 2021-12-30 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210191943A KR102664206B1 (ko) | 2021-12-30 | 2021-12-30 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230102082A KR20230102082A (ko) | 2023-07-07 |
| KR102664206B1 true KR102664206B1 (ko) | 2024-05-10 |
Family
ID=86999306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210191943A KR102664206B1 (ko) | 2021-12-30 | 2021-12-30 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102664206B1 (ko) |
| WO (1) | WO2023128008A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008505004A (ja) * | 2004-06-30 | 2008-02-21 | ザ・ボーイング・カンパニー | センサ技術を用いる構造健全性管理アーキテクチャ |
| KR102254491B1 (ko) * | 2019-11-22 | 2021-05-21 | (주)가시 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102376362B1 (ko) * | 2020-06-18 | 2022-03-18 | 주식회사 디지트로그 | 항공기 구조물의 건전성 판단을 위한 최적화 알고리즘 설계 시스템 및 방법 |
-
2021
- 2021-12-30 WO PCT/KR2021/020251 patent/WO2023128008A1/ko unknown
- 2021-12-30 KR KR1020210191943A patent/KR102664206B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008505004A (ja) * | 2004-06-30 | 2008-02-21 | ザ・ボーイング・カンパニー | センサ技術を用いる構造健全性管理アーキテクチャ |
| KR102254491B1 (ko) * | 2019-11-22 | 2021-05-21 | (주)가시 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023128008A1 (ko) | 2023-07-06 |
| KR20230102082A (ko) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11676365B2 (en) | Explainable artificial intelligence (AI) based image analytic, automatic damage detection and estimation system | |
| KR102166654B1 (ko) | 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법 | |
| US11893724B2 (en) | Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| Fondevik et al. | Image segmentation of corrosion damages in industrial inspections | |
| CN114972316A (zh) | 基于改进YOLOv5的电池壳端面缺陷实时检测方法 | |
| CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN115861229A (zh) | 一种基于YOLOv5s元器件封装缺陷X射线检测方法 | |
| CN114529821A (zh) | 一种基于机器视觉的海上风电安全监测与预警方法 | |
| CN115100497A (zh) | 基于机器人的通道异常物体巡检方法、装置、设备及介质 | |
| Hou et al. | A self-supervised CNN for particle inspection on optical element | |
| KR102664206B1 (ko) | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及*** | |
| CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
| CN116258908A (zh) | 一种基于无人机遥感影像数据的地灾预测评估分类方法 | |
| CN116152741A (zh) | 一种基于深度学习算法的矿下人员检测方法 | |
| Klusek et al. | Supporting the process of sewer pipes inspection using machine learning on embedded devices | |
| US20230084761A1 (en) | Automated identification of training data candidates for perception systems | |
| Maunder et al. | Ai-based general visual inspection of aircrafts based on yolov5 | |
| CN113052799A (zh) | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 | |
| KR20240115999A (ko) | 드론영상 및 설명가능인공지능 기반 교량시설물 외관조사 시스템 및 그 방법 | |
| CN118196309B (zh) | 基于图像处理工控机的高清视觉检测识别*** | |
| CN116503406B (zh) | 基于大数据的水利工程信息管理*** | |
| CN113762248B (zh) | 一种目标落地检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |