KR102303727B1 - 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템 - Google Patents

인공지능 기반의 포인트 클라우드 노이즈 제거 시스템 Download PDF

Info

Publication number
KR102303727B1
KR102303727B1 KR1020200051546A KR20200051546A KR102303727B1 KR 102303727 B1 KR102303727 B1 KR 102303727B1 KR 1020200051546 A KR1020200051546 A KR 1020200051546A KR 20200051546 A KR20200051546 A KR 20200051546A KR 102303727 B1 KR102303727 B1 KR 102303727B1
Authority
KR
South Korea
Prior art keywords
noise
point cloud
processor
artificial intelligence
outlier
Prior art date
Application number
KR1020200051546A
Other languages
English (en)
Inventor
이철희
이희진
이희연
강태욱
Original Assignee
주식회사 딥인스펙션
주식회사 수성엔지니어링
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥인스펙션, 주식회사 수성엔지니어링 filed Critical 주식회사 딥인스펙션
Priority to KR1020200051546A priority Critical patent/KR102303727B1/ko
Application granted granted Critical
Publication of KR102303727B1 publication Critical patent/KR102303727B1/ko

Links

Images

Classifications

    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템에 관한 것이다.
본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템은 촬영영상을 수신하는 입력부와, 촬영영상에 대해 인공지능 기반으로 노이즈를 제거하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 3D 포인트 클라우드를 기준으로 아웃라이어 및 근거리 노이즈를 구분하고, 복수의 노이즈 필터를 이용하여 아웃라이어 및 근거리 노이즈를 제거하는 것을 특징으로 한다.

Description

인공지능 기반의 포인트 클라우드 노이즈 제거 시스템{SYSTEM FOR NOISE REMOVAL OF POINT CLOUDS BASED ON AI}
본 발명은 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템에 관한 것이다.
3D 포인트 클라우드의 노이즈를 제거하기 위한 다양한 기술이 제안되었다.
종래 기술에 따르면, 노이즈 제거를 위한 필터 기능을 사용하더라도 노이즈가 완벽하게 제거되지 않아, 사용자가 수동으로 노이즈를 장시간 제거하여야 하는 불편함이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 자동화된 프로세스로 인력투입시간을 획기적으로 절감시키며 높은 노이즈 제거율을 확보하는 것이 가능한 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템은 촬영영상을 수신하는 입력부와, 촬영영상에 대해 인공지능 기반으로 노이즈를 제거하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 3D 포인트 클라우드를 기준으로 아웃라이어 및 근거리 노이즈를 구분하고, 복수의 노이즈 필터를 이용하여 아웃라이어 및 근거리 노이즈를 제거하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 영상 데이터의 크기에 관계 없이 대형 토목 구조물(도로, 교량, 건물)의 아웃라이어 및 C-noise(close noise, 근거리 노이즈)에 대한 동시 처리가 가능하고, 노이즈 제거의 정확도와 성능을 향상시키는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 아웃라이어와 C-noise를 도시한다.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템의 딥러닝 아키텍처 구조를 도시한다.
도 4는 본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템의 네트워크 및 모듈 구성을 도시한다.
도 5은 본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템의 3D 기반 노이즈 필터 프로그램 구성을 도시한다.
도 6은 본 발명의 실시예에 따른 UAV 촬영 데이터셋 영상을 도시한다.
도 7은 본 발명의 실시예에 따른 테스트 적용 데이터셋 영상을 도시한다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 아웃라이어 디텍터를 이용한 노이즈 제거 전/후 영상을 도시한다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 C-noise 디텍터 및 BL 필터를 이용한 노이즈 제거 영상을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
3D 포인트 클라우드의 노이즈를 제거하기 위한 다양한 기술이 제안되었다.
LiDAR 기술의 발전으로 인해, 3D 촬영비용이 절감되고, 스테레오 이미징 기술이 진보하면서, 노이즈 제거를 위한 연구가 활발히 진행되고 있다.
그런데, 종래 기술에 따르면 특정 3D 영상에 대해 파라미터 튜닝이 필요한 문제점, 정확도가 낮은 문제점, 다듬기 정도가 과해 원본의 surface를 손상시키는 문제점, 아웃라이어(outlier, 평균치에서 크게 벗어나서 다른 대상들과 확연히 구분되는 표본)의 제거 능력이 떨어지는 문제점 등이 있다.
노이즈 필터의 종류에 대해 설명하면, Outlier Removal(1995~2015년)은 고전적이고 통계학적 방법에 기반한 알고리즘으로서, 특정 3D영상에 대해 파라미터 튜닝이 필요하고, 이러한 파라미터 튜닝을 위해 많은 시간과 노력이 소요되며, 다양한 3D 영상에 대해 보편적으로 높은 정확도를 기대하기 어려운 문제점이 있다.
Local Surface Fitting(2003~2011년)은 노이즈로 판단되는 포인트 클라우드를 객체(표면, Surface)로 이동시키는 방법으로서, 이동 최소 제곱법(MLS)이 보편적으로 사용되며, 이와 유사하고 재투영 방식을 활용하는 Robust Jet Fitting도 많이 사용된다.
Non Local Mean(2010~2018)은 유사한 형상이 포함된 부분(part)을 찾은 후 일관성있고 노이즈가 없는 포인트 클라우드로 통합하는 방법이다.
Denoising in Image(2005~2010)은 2D 이미지에 포함되어 있는 3D 노이즈 발생요인을 미리 제거하는 방법으로서, 연산량이 매우 많고 이미지를 선별하는 것이 어려운 문제점이 있다.
드론촬영영상의 3D정합을 위한 범용 프로그램에서 기본적으로 제공하는 노이즈 제거를 위한 필터 기능을 사용하는 경우, 노이즈가 완벽하게 제거되지 않아(제거율 약 50% 미만), 사용자가 노이즈를 수동으로 장시간(수 시간~수 일) 제거해야 하는 불편함이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 영상처리 및 인공지능 기반의 노이즈 제거(필터) 시스템을 제안하는 것으로, 사용이 편리하고, 노이즈 제거율이 90% 이상이며, 자동화된 프로세스로 인력투입시간을 획기적으로 절감시키는 인공지능 기반의 노이즈 제거 시스템을 제공한다.
본 발명의 실시예에 따르면, 딥 뉴럴 네트워크를 사용하여, 3D 정합을 위한 범용프로그램에서 출력된 포인트 클라우드에서 노이즈를 제거하고, 사용자의 설정 입력에 따라 노이즈 제거를 자동화 처리하는 것이 가능하다.
본 발명의 실시예에 따르면, 3D 포인트 클라우드 전용 딥러닝 기반 알고리즘을 적용하여, 도로, 교량, 건물 등 대형 토목 구조물에 적합한 노이즈 제거 시스템을 제안하며, 아웃라이어와 C-noise를 동시 처리하여 LAS 파일을 변환없이 처리할 수 있고, 영상 데이터의 크기에 관계 없이 높은 정확도로 노이즈를 제거하는 것이 가능하며, 지속적으로 성능을 향상시키는 것이 가능하다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템을 도시한다.
본 발명의 실시예에 따른 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템은 촬영영상을 수신하는 입력부(110)와, 촬영영상에 대해 인공지능 기반으로 노이즈를 제거하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하되, 프로세서(130)는 3D 포인트 클라우드를 기준으로 아웃라이어 및 근거리 노이즈를 구분하고, 복수의 노이즈 필터를 이용하여 아웃라이어 및 근거리 노이즈를 제거한다.
프로세서(130)는 3D 모델인 촬영영상을 분할하고, 다운 샘플링한다.
프로세서(130)는 공간 변환 네트워크, 완전연결 뉴럴 네트워크 및 포인트 특징 벡터를 이용하여 아웃라이어 및 근거리 노이즈를 제거한다.
프로세서(130)는 BL필터를 이용하여 근거리 노이즈에 대한 제거를 수행한다.
도 2는 본 발명의 실시예에 따른 아웃라이어와 노이즈를 도시한다.
노이즈는 3D 포인트 클라우드에서 표면(surface)를 구성하는 포인트 이외의 것으로, 제거해야할 노이즈는 아웃라이어(outlier) 및 C-noise로 구분하여 정의한다.
아웃라이어는 육안으로 확실히 구분될 정도로 표면에서 일정거리 이상 떨어져 있는 제거 대상 포인트로 정의되며, 떨어진 거리는 일반적으로 GSD(Ground Spatial Distance, 촬영시 기준 픽셀 간격)의 3~5배 이상이다. 알고리즘은 이 기준치(3~5 GSD)를 초과하는 경우 제거하는 방식을 적용한다.
C-noise는 표면과 근접하여 위치해 있는 제거 대상 포인트로 정의되며, 벡터를 계산하여 표면 근처로 이동시키는 제거 방식을 적용한다.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 시스템의 딥러닝 아키텍처 구조를 도시한다.
STN(spatial transform network)로서, 공간 변환 네트워크이고, FNN(fully connected neural network)는 완전연결 뉴럴 네트워크이고, C1 내지 Cn은 포인트 특징 벡터(point feature vector)이다.
STN은 네트워크 성능이 구형마스크 내부의 포인트 클라우드의 회전각(방향)에 영향을 받지 않도록 포인트 클라우드를 회전시키며 아웃라이어를 탐지한 후 마지만 단계에서 포인트 클라우드의 회전각을 복원시키는 기능을 한다.
FNN은 세 개의 파트로 구성되는데 첫째, 포인트 클라우드의 특징을 추출하는 파트, 둘째, 계산된 각각의 특징을 불변량 특징벡터로 통합하는 파트, 셋째, 특징벡터로부터 거리와 방향을 평가하는 회기 파트로 구성된다.
포인트 클라우드는 제1 네트워크인 아웃라이어 탐지 네트워크로 입력되고, 제1 네트워크는 제1 STN, 제1 FNN, C1 내지 Cn, 제2 FNN, 제3 FNN으로 구성된다.
아웃라이어를 정확히 탐지하기 위해 cross-entropy loss에 비해 실험적으로 성능이 우수한 것으로 확인된 아웃라이어 전용 손실함수(Loss Function)로 GT(ground truth)와 인퍼런싱 결과 사이의 L1 Distance가 적용되었다.
또한 아웃라이어 탐지 네트워크는 거대한 토목구조물의 부재별 특성(도로포장면, 교량표면, 건축물 표면, 비포장면, 숲풀, 강재구조물 등)과 재질별 빛 반사정도를 고려하여 효과적으로 노이즈를 제거하기 위해 특정 크기의 구형마스크(전체 모델 크기의 1/10~1/50)를 생성하고 구형마스크 내부에 있는 포인트들, 포인트들간의 상관관계, 포인트들의 벡터만을 고려하여 아웃라이어를 탐지한다.
이 구형마스크는 일정간격으로 이동하며 모델 전체의 아웃라이어를 고르게 제거한다.
아웃라이어가 제거된 포인트 클라우드는 제2 네트워크인 C-noise 탐지 네트워크로 입력되고, 제2 네트워크는 제2 STN, 제4 FNN, C1 내지 Cn, 제5 FNN, 제6 FNN으로 구성되며, 노이즈가 제거된 포인트 클라우드를 출력한다.
c-noise를 정확히 탐지하기 위해 c-noise 전용 손실함수(Loss Function)로 GT(ground truth)와 인퍼런싱 결과 사이의 L2 Distance가 적용되었다.
도 4는 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 시스템의 네트워크 및 모듈 구성을 도시한다.
본 발명의 실시예에 따르면, 3D 포인트 클라우드의 C-Noise와 아웃라이어를 제거하기 위한 필터 설계 시, 노이즈 제거 정확도와 노이즈 제거 속도를 우선적으로 고려해야 하는 점, 토목구조물의 특성상 규모가 거대하고 도로, 교량, 건물, 섬, 택지 등 종류가 매우 다양한 점을 고려하여, 복수 개의 노이즈 필터를 동시에 활용한다.
제1 노이즈 필터는 아웃라이어 디텍터로서, 원거리 노이즈를 제거하며, 뉴럴 네트워크 기반으로 학습시간과 연산 시간이 오래 소요된다.
제2 노이즈 필터는 C-noise 디텍터로서, 근거리 노이즈를 Surface 방향으로 이동시키며, 뉴럴 네트워크 기반으로 학습시간과 연산 시간이 오래 소요된다.
제3 노이즈 필터는 BL filter로서, 근거리 노이즈를 Surface 방향으로 이동시키며, 룰 베이스(rule base) 기반으로 학습이 필요 없고 연산 시간이 매우 빠르다. 단 BL Filter는 다양한 형식의 토목구조물의 근거리 노이즈를 높은 정확도로 이동시키기 위해 Surface의 표면에 해당하는 포인트로 과도하게 이동시키는 단점이 있어 Surface 보존율은 C-noise 디텍터에 비해 상대적으로 성능이 떨어진다.
본 발명의 실시예에 따르면, 뉴럴네트워크의 트레이닝을 직관적이고 효율적으로 하기 위한 Training Tool(개발자 버전), 3D Viewer, 3D Pre-Processor(3D 모델의 분할), 3D Edit(포인트 클라우드의 삭제)기능이 프로그램 설계 시 포함된다.
도 5은 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 시스템의 3D 기반 노이즈 필터 프로그램 구성을 도시한다.
풀 포인트 클라우드(full point cloud)는 입력 데이터로서, 3D pre-processor로 입력된다.
3D pre-processor는 방대한 3D 모델을 분할(split)하고, 다운 샘플링 처리를 수행한다.
3D 모델을 분할하는 이유는 토목 구조물의 특성상 규모가 거대하고 수천만~수억개의 포인트 클라우드가 한번에 네트워크로 입력되면 최적의 구형 마스크 크기를 연산하는데 시간이 많이 소요되고 거대한 전체 3D 모델에 적합한 특정 구형 마스크 크기를 정할 수 없어 비효율적이며 마스크의 이동(스크롤링) 시간도 많이 소요되어 split한 경우에 비해 전체적인 효율과 성능이 저하된다.
반면 적절한 크기로 split한 후 마스크의 크기를 정하고 노이즈를 제거하면 최적의 Mask크기를 정하는 시간과 Mask 이동시간이 줄고 split된 각 영역별 최적의 Mask 크기로 노이즈 제거 성능도 향상된다.
제1 노이즈 필터는 아웃라이어 디텍터로서 원거리 노이즈를 제거하고, 제2 노이즈 필터 및 제3 노이즈 필터는 근거리 노이즈를 제거하며, 3D viewer는 노이즈 제거 결과를 3D로 확인 가능하도록 지원한다.
본 발명의 실시예에 따르면, 뉴럴 네트워크의 트레이닝 및 탐지 단계에서 고려할 파라미터 및 하이퍼 파라미터를 정의한다.
트레이닝의 주요 파라미터는 epoch, learning rate, save interval, mini batch size, learning rate, momentum, point per mask이고, 추론(인퍼런싱)의 주요 파라미터는 batch(dataset) size, mask size, worker(CPU vs GPU thread) 이다.
본 발명의 실시예에 따르면, [표 1]과 같은 6개의 6개의 포인트 클라우드 데이터셋 중 정답 데이터셋(Ground Truth: GT)을 작성하고 성능을 확인하기 용이한 5개의 데이터셋을 선별하여 테스트 데이터셋을 구성하였다.
[표 1]
Figure 112020043863897-pat00001
포인트 클라우드 데이터셋은 포인트 클라우드 수가 1,000만 내지 5,700만 개로 연산시간이 수 시간 이상 소요되므로, 테스트의 용이함을 위해 데이터 셋을 1/10~1/20 정도로 분할하여 대표성을 보유한 구간을 선정한 후 테스트 데이터셋으로 활용하였다(이 때, 데이터셋을 구성하는 여러 요소 중 수목은 무의미하므로 정확도 산정 시 배제함).
테스트 기준에 대해 설명하면, 테스트는 노이즈 제거 정확도를 확인할 수 있는 방법으로 실시하였으며 일반적인 정확도를 의미하는 Accuracy를 계산하여 정확도를 산출하였다.
또한 인공지능 영상처리 분야에서 객체인식시 표준적으로 사용하는 Precision 점수도 참고로 측정하였다.
Figure 112020043863897-pat00002
(노이즈 제거 정확도(%))
Figure 112020043863897-pat00003
(노이즈 제거 성능 참고치(%))
도 6은 본 발명의 실시예에 따른 UAV 촬영 데이터셋 영상을 도시하고, 도 7은 본 발명의 실시예에 따른 테스트 적용 데이터셋 영상을 도시한다.
이하에서는, [표 2]와 같이 테스트 적용 데이터셋 집계표를 도시하며, 이는 아웃라이어 디텍터에 의한 결과로서 전술한 c-noise 디텍터 및 BL 필터는 거치지 않은 결과이다.
[표 2]
Figure 112020043863897-pat00004
[표 3]은 accuracy와 precision 계산을 위한 팩터를 도시한다.
[표 3]
Figure 112020043863897-pat00005
도 8a 및 도 8b는 본 발명의 실시예에 따른 아웃라이어 디텍터를 이용한 노이즈 제거 전/후 영상을 도시한다. 이는 아웃라이어 디텍터에 의한 결과로서 전술한 c-noise 디텍터 및 BL 필터는 거치지 않은 결과이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 C-noise 디텍터 및 BL 필터를 이용한 노이즈 제거 영상을 도시한다.
한편, 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 인공지능 기반의 노이즈 제거 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인공지능 기반의 노이즈 제거 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 인공지능 기반의 노이즈 제거 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (4)

  1. 촬영영상을 수신하는 입력부;
    상기 촬영영상에 대해 인공지능 기반으로 노이즈를 제거하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 3D 포인트 클라우드를 기준으로 아웃라이어 및 근거리 노이즈를 구분하고, 복수의 노이즈 필터를 이용하여 상기 아웃라이어 및 근거리 노이즈를 제거하되,
    상기 프로세서는 상기 3D 포인트 클라우드를 회전시키며 상기 아웃라이어를 탐지하고 상기 3D 포인트 클라우드의 회전각을 복원하는 공간 변환 네트워크, 상기 3D 포인트 클라우드의 특징을 불변량 특징 벡터로 통합하고 특징 벡터로부터 거리 및 방향을 평가하는 완전연결 뉴럴 네트워크 및 포인트 특징 벡터를 이용하여 상기 아웃라이어 및 근거리 노이즈를 제거하고, 건축 구조물과 교량, 도로, 섬, 택지를 포함하는 토목구조물의 부재별 특성, 재질별 빛 반사 정도를 고려한 기설정 크기의 구형 마스크를 생성하는 아웃라이어 탐지 네트워크를 이용하여 상기 아웃라이어를 탐지하고,
    상기 프로세서는 토목 구조물의 규모와 딥러닝 네트워크의 파라미터를 고려하여 포인트 클라우드에 대한 분할을 수행하고, 상기 포인트 클라우드에 대한 다운 샘플링 처리를 수행하는 것
    인 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 3D 모델인 상기 촬영영상을 분할하고, 다운 샘플링하는 것
    인 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는 BL 필터를 이용하여 상기 근거리 노이즈에 대한 제거를 수행하는 것
    인 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템.
KR1020200051546A 2020-04-28 2020-04-28 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템 KR102303727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051546A KR102303727B1 (ko) 2020-04-28 2020-04-28 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051546A KR102303727B1 (ko) 2020-04-28 2020-04-28 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템

Publications (1)

Publication Number Publication Date
KR102303727B1 true KR102303727B1 (ko) 2021-09-27

Family

ID=77925093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051546A KR102303727B1 (ko) 2020-04-28 2020-04-28 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템

Country Status (1)

Country Link
KR (1) KR102303727B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405818B1 (ko) * 2021-11-15 2022-06-07 국방과학연구소 노이즈 제거 방법, 노이즈 제거 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130021018A (ko) * 2011-08-22 2013-03-05 삼성전자주식회사 3차원 점군의 물체 분리 방법
KR20190109820A (ko) * 2018-03-19 2019-09-27 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130021018A (ko) * 2011-08-22 2013-03-05 삼성전자주식회사 3차원 점군의 물체 분리 방법
KR20190109820A (ko) * 2018-03-19 2019-09-27 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Marie Julie Rakotosaona, Vittorio La Barbera, Paul Guerrero, Niloy J. Mitra, Maks Ovsjanikov, "PointCleanNet: Learning to Denoise and Remove Outliers from Dense Point Clouds", COMUTER GRAPHICS forum, Volume 39, Issue 1(2019.06.25.) 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405818B1 (ko) * 2021-11-15 2022-06-07 국방과학연구소 노이즈 제거 방법, 노이즈 제거 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
Bradski et al. Learning-based computer vision with intel's open source computer vision library.
Xu et al. Voxel-and graph-based point cloud segmentation of 3d scenes using perceptual grouping laws
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111738995B (zh) 一种基于rgbd图像的目标检测方法、装置及计算机设备
EP3690744B1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN111797836A (zh) 一种基于深度学习的地外天体巡视器障碍物分割方法
Ruban et al. The method for selecting the urban infrastructure objects contours
KR102303727B1 (ko) 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템
CN112884802A (zh) 一种基于生成的对抗攻击方法
AU2021291293A1 (en) System and method for aerial to ground registration
CN113096181B (zh) 设备位姿的确定方法、装置、存储介质及电子装置
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
Yamauchi et al. Spatial sensitive grad-cam: Visual explanations for object detection by incorporating spatial sensitivity
Sutha Object based classification of high resolution remote sensing image using HRSVM-CNN classifier
Chen et al. Deep convolutional neural network application on rooftop detection for aerial image
Zhong et al. Shoreline recognition using machine learning techniques
Baghirli et al. Greenhouse segmentation on high-resolution optical satellite imagery using deep learning techniques
Hui et al. A novel denoising algorithm for airborne LiDAR point cloud based on empirical mode decomposition
Grishkin et al. Biofouling detection based on image processing technique
Vatsa et al. Enumeration of Birds using Video Segmentation for a Better Understanding of Bird Behaviors
Othmani et al. Region-based segmentation on depth images from a 3D reference surface for tree species recognition
Sebasco Traversable Region Identification from Post-Disaster Aerial Footage Using Graph Based Image Segmentation
Shafique et al. Dilated Convolution and Residual Network based Convolutional Neural Network for Recognition of Disastrous Events
Roy et al. Visual saliency detection: a Kalman filter based approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant