KR101892741B1 - 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법 - Google Patents

희소 깊이 지도의 노이즈를 제거하는 장치 및 방법 Download PDF

Info

Publication number
KR101892741B1
KR101892741B1 KR1020160148966A KR20160148966A KR101892741B1 KR 101892741 B1 KR101892741 B1 KR 101892741B1 KR 1020160148966 A KR1020160148966 A KR 1020160148966A KR 20160148966 A KR20160148966 A KR 20160148966A KR 101892741 B1 KR101892741 B1 KR 101892741B1
Authority
KR
South Korea
Prior art keywords
nodes
meshed node
depth
depth value
value
Prior art date
Application number
KR1020160148966A
Other languages
English (en)
Other versions
KR20180052164A (ko
Inventor
임한신
김익순
김해동
류성원
박찬호
이준석
장경호
허재필
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160148966A priority Critical patent/KR101892741B1/ko
Priority to US15/805,370 priority patent/US10607317B2/en
Publication of KR20180052164A publication Critical patent/KR20180052164A/ko
Application granted granted Critical
Publication of KR101892741B1 publication Critical patent/KR101892741B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 희소 깊이 지도의 노이즈 제거 방법은 영상 평면 상의 일부 위치에 깊이 정보를 포함하는 희소 깊이 지도 상의 표본점들을 각각 노드로 설정하는 단계; 상기 설정된 노드들을 각각 연결하여 메쉬화하는 단계 및 상기 메쉬화된 노드와 인접하는 이웃 노드와의 연결 정보 및 상기 희소 깊이 지도에 대응되는 컬러 영상의 컬러 정보에 기초하여 상기 메쉬화된 노드의 노이즈를 제거하는 단계를 포함하되, 상기 표본점에는 각각 깊이값이 할당되어 있다.

Description

희소 깊이 지도의 노이즈를 제거하는 장치 및 방법{APPARATUS AND METHOD FOR REDUCING NOSIE OF THE SPARSE DEPTH MAP}
본 발명은 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법에 관한 것이다.
최근 3차원 구조 복원, 가상 현실, 3D 프린터, 3D 디스플레이 기술 등의 개발이 활발히 진행되고 있다. 이러한 기술들은 정확한 깊이 정보를 획득하는 것이 가장 밑바탕이 되며, 이를 위한 다양한 장비들이 개발되어 시장에 출시되었다.
하지만, 깊이 정보를 다양한 깊이 센서나 영상 정보로부터 얻는 경우, 대응되는 컬러 영상에 비하여 해상도가 낮거나 노이즈가 많은 경우가 일반적이다.
이렇게 깊이 정보의 품질이 좋지 않을 경우, 이를 이용하고 있는 다양한 기술들의 결과에도 악영향을 줄 수 있기 때문에 초기에 획득한 저해상도 저품질 깊이 지도에서 노이즈를 제거하는 작업이 필요하다.
또한, 깊이 정보는 깊이 연속 구간과 깊이 불연속 구간이 비교적 선명하게 나뉘어진다는 특성이 있으므로 노이즈 제거 작업시에도 이에 대한 고려가 필요하다.
이와 관련하여, 한국등록특허공보 제10-1526866호(발명의 명칭: 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치)는 깊이 정보에 따라 공간적 필터링을 수행하거나 또는 시간적 필터링을 수행하는 내용을 개시하고 있다.
본 발명의 실시예는 영상 평면 상의 일부 위치에서 깊이 정보를 포함하고 있는 희소 깊이 지도 상에서 깊이 정보를 가지고 있는 포인트들의 위치를 노드로 하는 메쉬를 구성하고, 메쉬 정보와 영상의 컬러 정보를 이용하여 희소 깊이 지도 상의 깊이값들의 노이즈를 제거하는 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 희소 깊이 지도의 노이즈 제거 방법은 영상 평면 상의 일부 위치에 깊이 정보를 포함하는 희소 깊이 지도 상의 표본점들을 각각 노드로 설정하는 단계; 상기 설정된 노드들을 각각 연결하여 메쉬화하는 단계 및 상기 메쉬화된 노드와 인접하는 이웃 노드와의 연결 정보 및 상기 희소 깊이 지도에 대응되는 컬러 영상의 컬러 정보에 기초하여 상기 메쉬화된 노드의 노이즈를 제거하는 단계를 포함하되, 상기 표본점에는 각각 깊이값이 할당되어 있다.
또한, 본 발명의 제 2 측면에 따른 희소 깊이 지도의 노이즈를 제거하는 장치는 희소 깊이 지도를 포함하는 깊이 정보 및 이에 대응하는 컬러 영상을 수신하는 통신 모듈, 상기 희소 깊이 지도에 포함된 노이즈를 제거하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 희소 깊이 지도 상에서 깊이값이 각각 할당된 표본점들을 각각 노드로 설정하여 연결하여 메쉬화하고, 상기 메쉬화된 노드와 인접하는 이웃 노드와의 연결 정보 및 상기 희소 깊이 지도에 대응되는 컬러 영상의 컬러 정보에 기초하여 상기 메쉬화된 노드의 노이즈를 제거한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 깊이 영상의 특징인 깊이 연속 구간과 깊이 불연속 구간의 명확성을 유지하면서 동시에 종래 기술에 비하여 더욱 정확하게 희소 깊이 지도로부터 노이즈를 제거할 수 있다.
또한, 희소 깊이 지도에서의 표본점의 위치에 대한 제한이 없는바, 다양한 방법 및 장치로부터 획득한 희소 깊이 지도들에도 적용이 가능하다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 방법의 순서도이다.
도 3은 희소 깊이 지도의 표본점을 노드로 하는 메쉬화의 예시도이다.
도 4는 노이즈 제거 과정을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 희소 깊이 지도에서 노이즈를 제거할 수 있는 장치(100) 및 방법에 관한 것이다.
본 발명의 일 실시예에 따르면, 희소 깊이 지도에서의 깊이 정보를 가지고 있는 표본점들의 위치를 노드로 하는 메쉬를 구성하고, 메쉬 정보와 영상의 컬러 정보를 이용하여 희소 깊이 지도에서의 깊이값들의 노이즈를 제거할 수 있다.
이하에서는 도 1을 참조하여 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)의 블록도이다.
본 발명의 일 실시예에 따른 노이즈 제거 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 희소 깊이 지도(sparse depth map)를 포함하는 깊이 영상 및 이에 대응하는 컬러 영상을 영상 획득 장치(10)로부터 수신한다. 이와 같은 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리(120)에는 희소 깊이 지도에 포함된 노이즈를 제거하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시키며, 프로그램을 실행시킴에 따라 희소 깊이 지도 상의 노이즈를 제거할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 2 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)에서 수행되는 희소 깊이 지도의 노이즈를 제거하는 방법에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 방법의 순서도이다. 도 3은 희소 깊이 지도의 표본점을 노드로 하는 메쉬화의 예시도이다. 도 4는 노이즈 제거 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 노이즈 제거 방법은 먼저, 영상 평면 상의 일부 위치에 깊이 정보를 포함하고 있는 희소 깊이 지도 상의 표본점들을 각각 노드로 설정하고, 설정된 노드들을 각각 연결하여 메쉬화한다(S110). 이때, 각 표본점들에는 깊이값이 각각 할당되어 있다.
도 3을 참조하면, 각각의 표본점들은 노드 ai로 표시될 수 있으며, 메쉬화를 수행하면 각 노드들은 서로 연결되게 된다. 예를 들어, a1을 기준으로 주변에 위치하는 노드들인 a2~a7이 각각 a1과 연결된다. 메쉬화를 수행한 뒤, 두 노드 ai와 aj를 연결하는 에지는 <ai, aj>로 표현될 수 있다.
다음으로, 메쉬화된 노드(ai)의 연결 정보 및 컬러 영상의 컬러 정보에 기초하여 노이즈를 제거한다(S120). 즉, 메쉬화된 노드(ai)와 인접하는 이웃 노드(aj, ak)와의 연결 정보 및 희소 깊이 지도에 대응되는 컬러 영상의 컬러 정보에 기초하여 메쉬화된 노드(ai)의 노이즈를 제거한다.
구체적으로 메쉬화된 노드(ai)의 노이즈를 제거하는 단계는, 이웃 노드 중 메쉬화된 노드(ai)와의 연결 정보와 매칭되는 노드들의 집합(Gi)을 생성한다.
메쉬화된 노드(ai)와의 연결 정보와 매칭되는 노드들의 집합(Gi)을 생성하기 위해서는 메쉬화된 노드(ai)의 초기 깊이값(di) 및 이와 인접하는 이웃 노드들의 초기 깊이값(dk)의 차를 산출하고, 또한 메쉬화된 노드(ai)의 초기 깊이값(di)과 이와 인접하는 이웃 노드들(ak)의 초기 깊이값(dk)의 차의 절대값의 평균을 산출한다.
그 다음 인접하는 이웃 노드들 중 초기 깊이값의 차가 절대값의 평균값의 차보다 작은 이웃 노드들을 추출하여, 메쉬화된 노드(ai)와 함께 집합(Gi)으로 생성할 수 있다.
즉, 노드 ai를 중심으로 하는 n×n 블록을 BLi라고 하면, 각각의 노드 ai와의 연결 정보와 매칭되는 노드들의 집합(Gi)은 아래 식 1에 의해 결정될 수 있다.
[식 1]
Figure 112016109654095-pat00001
여기서 di는 메쉬화된 노드 ai에서의 초기 깊이값을 의미하며, Mean(|di-dk|)는 노드 ai와 ak의 초기 깊이값 di와 dk의 차의 절대값의 평균을 의미한다.
이와 같이 메쉬화된 노드(ai)와의 연결 정보와 매칭되는 노드들의 집합(Gi)이 생성되면, 다음으로 생성된 집합(Gi)에 포함된 각 노드들의 거리 정보 및 컬러 정보에 기초하여 메쉬화된 노드(ai)의 깊이값을 필터링한다.
이를 위해, 상기 생성된 집합(Gi)에 포함된 노드 중, 메쉬화된 노드(ai)와 이의 이웃 노드들 간의 거리를 산출한다.
그리고 메쉬화된 노드(ai)와 이의 이웃 노드에 대응되는 블록 사이의 컬러값들의 차를 산출한 다음, 컬러값들의 차의 절대값들을 산출하고 이를 합산한다.
그 다음 산출된 거리 및 합산된 결과값에 기초하여 메쉬화된 노드(ai)의 깊이값을 필터링한다.
이와 같이 필터링된 깊이값(di')는 식 2와 같이 나타낼 수 있다.
[식 2]
Figure 112016109654095-pat00002
이때,
Figure 112016109654095-pat00003
이고,
Figure 112016109654095-pat00004
는 두 블록 BLi와 BLj 사이의 컬러값들의 차의 절대값들의 합을 의미한다. 또한, s(x)는 공간 상에서 노드들 간 거리에 대한 함수로서 식 3이 그 일 예시이고, c(y)는 공간 상에서 노드들 간의 컬러값의 범위에 대한 함수로서 식 4가 그 일 예시이다.
[식 3]
Figure 112016109654095-pat00005
[식 4]
Figure 112016109654095-pat00006
한편, 메쉬화된 노드(ai)의 노이즈를 제거하는 단계는 기 설정된 특정 기준을 만족하는 동안 반복되어 수행될 수 있다. 이때, 기 설정된 특정 기준은 예를 들어 메쉬화된 노드(ai)와 대응되는 모든 에지에서의 깊이값의 차의 절대값의 이전과 현재의 평균값이 기 설정된 임계치 이하를 만족하는 것일 수 있으며, 이는 식 5와 같이 나타낼 수 있다.
[식 5]
Figure 112016109654095-pat00007
식 5에서
Figure 112016109654095-pat00008
와
Figure 112016109654095-pat00009
는 각각 메쉬 안의 모든 에지에서의 깊이값의 차의 절대값의 이전과 현재의 평균값을 의미한다.
이와 같이 메쉬화된 노드(ai)에 대하여 노이즈를 제거하여 1차 필터링된 깊이값(di')를 획득하고 나면, 다음으로 필터링된 깊이값(di')에 기초하여 연결 정보를 갱신하고, 갱신된 연결 정보 및 영상 평면의 평면 모델에 기초하여 희소 깊이 지도의 노이즈를 제거할 수 있다(S130).
구체적으로, 필터링된 깊이값(di')에 기초하여 연결 정보를 갱신하는 단계는, 먼저 각 노드(ai)의 필터링된 깊이값(di')과 연결된 노드들(ak)의 필터링된 깊이값(dk')의 차를 산출하고, 이에 대한 깊이값의 차의 절대값의 평균값(
Figure 112016109654095-pat00010
)을 산출한다.
그 다음, 깊이값의 차가 절대값의 평균값의 차보다 작은 노드들을 추출하여, 메쉬화된 노드(ai)와 함께 갱신된 집합(Gi')으로 생성한다.
이와 같이 갱신된 연결 정보가 반영된 집합(Gi')이 생성되면, 갱신된 집합(Gi')에 포함된 노드들의 필터링된 깊이값 및 픽셀 위치값에 기초하여 메쉬화된 노드(ai)의 평면 모델을 생성하고, 이에 기초하여 식 6과 같이 노이즈가 제거된 깊이값(di'')을 산출한다.
[식 6]
Figure 112016109654095-pat00011
이러한 평면 모델은 식 7과 같은 평면 방정식의 파라미터(α,β,γ)를 산출함으로써 생성될 수 있다.
[식 7]
Figure 112016109654095-pat00012
이때, aj,…,ak∈Gi'를 만족하며, (xi, yi)는 메쉬화된 노드 ai의 영상 내의 좌표를 의미한다.
예를 들어, 도 4에 도시된 바와 같이 메쉬화된 노드 a1에 대한 집합 G1={a1, a4, a5, a7}인 경우, 평면 모델에 기반한 노이즈를 제거한 결과는 식 8과 같이 나타낼 수 있다.
[식 8]
Figure 112016109654095-pat00013
한편, 상술한 설명에서, 단계 S110 내지 S130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1에서 이미 기술된 내용은 도 2 내지 도 4의 노이즈 제거 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 깊이 영상의 특징인 깊이 연속 구간과 깊이 불연속 구간의 명확성을 유지하면서 동시에 종래 기술에 비하여 더욱 정확하게 희소 깊이 지도로부터 노이즈를 제거할 수 있다.
또한, 본 발명의 일 실시예는 희소 깊이 지도에서의 표본점의 위치나 패턴 등의 특성이 상이한 경우에 대한 제한이 없는바, 다양한 방법 및 장치(100)로부터 획득한 희소 깊이 지도들에도 적용이 가능하다는 장점이 있다.
한편, 본 발명의 일 실시예에 따른 노이즈 제거 장치(100)에서의 희소 깊이 지도의 노이즈를 제거하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 영상 획득 장치
100: 노이즈 제거 장치
110: 통신모듈
120: 메모리
130: 프로세서

Claims (17)

  1. 희소 깊이 지도의 노이즈 제거 방법에 있어서,
    희소 깊이 지도 상의 표본점들을 각각 노드로 설정하는 단계;
    상기 설정된 노드들을 각각 연결하여 메쉬화하는 단계 및
    상기 메쉬화된 노드와 인접하는 이웃 노드와의 연결 정보 및 상기 메쉬화된 노드와 이의 이웃 노드에 대응되는 블록 사이의 컬러값들의 차이에 기초하여 상기 메쉬화된 노드의 노이즈를 제거하는 단계를 포함하되,
    상기 표본점에는 각각 깊이값이 할당되어 있는 것인 노이즈 제거 방법.
  2. 제 1 항에 있어서,
    상기 메쉬화된 노드의 노이즈를 제거하는 단계는,
    상기 이웃 노드 중 상기 메쉬화된 노드와의 연결 정보와 매칭되는 노드들의 집합을 생성하는 단계 및
    상기 생성된 집합에 포함된 각 노드들의 거리 정보 및 컬러 정보에 기초하여 상기 메쉬화된 노드의 깊이값을 필터링하는 단계를 포함하는 노이즈 제거 방법.
  3. 제 2 항에 있어서,
    상기 메쉬화된 노드와의 연결 정보와 매칭되는 노드들의 집합을 생성하는 단계는,
    상기 메쉬화된 노드의 초기 깊이값 및 이와 인접하는 이웃 노드들의 초기 깊이값의 차를 산출하는 단계;
    상기 메쉬화된 노드의 초기 깊이값과 상기 이와 인접하는 이웃 노드들의 초기 깊이값의 차의 절대값의 평균값을 산출하는 단계 및
    상기 인접하는 이웃 노드들 중 상기 초기 깊이값의 차가 상기 절대값의 평균값의 차보다 작은 이웃 노드들을 추출하여, 상기 메쉬화된 노드와 함께 상기 집합으로 생성하는 단계를 포함하는 노이즈 제거 방법.
  4. 제 2 항에 있어서,
    상기 메쉬화된 노드의 깊이값을 필터링하는 단계는,
    상기 집합에 포함된 노드 중, 상기 메쉬화된 노드와 이의 이웃 노드들 간의 거리를 산출하는 단계;
    상기 컬러값들의 차의 절대값들을 산출하고 이를 합산하는 단계 및
    상기 산출된 거리 및 합산된 결과값에 기초하여 상기 메쉬화된 노드의 깊이값을 필터링하는 단계를 포함하는 노이즈 제거 방법.
  5. 제 2 항에 있어서,
    상기 메쉬화된 노드의 노이즈를 제거하는 단계는, 상기 메쉬화된 노드와 대응되는 모든 에지에서의 깊이값의 차의 절대값의 이전과 현재의 평균값이 기 설정된 임계치 이하인 경우, 상기 필터링된 깊이값을 초기 깊이값으로 하여 반복 수행되는 것인 노이즈 제거 방법.
  6. 제 2 항에 있어서,
    상기 필터링된 깊이값에 기초하여 상기 연결 정보를 갱신하는 단계 및
    상기 갱신된 연결 정보 및 상기 메쉬화된 노드의 평면 모델에 기초하여 상기 희소 깊이 지도의 노이즈를 제거하는 단계를 더 포함하는 노이즈 제거 방법.
  7. 제 6 항에 있어서,
    상기 필터링된 깊이값에 기초하여 상기 연결 정보를 갱신하는 단계는,
    상기 메쉬화된 노드의 필터링된 깊이값 및 상기 집합에 포함된 노드들의 필터링된 깊이값의 차를 산출하는 단계;
    상기 깊이값의 차의 절대값의 평균값을 산출하는 단계 및
    상기 집합에 포함된 노드들 중 상기 깊이값의 차가 상기 절대값의 평균값의 차보다 작은 노드들을 추출하여, 상기 메쉬화된 노드와 함께 상기 갱신된 집합으로 생성하는 단계를 포함하는 노이즈 제거 방법.
  8. 제 7 항에 있어서,
    상기 희소 깊이 지도의 노이즈를 제거하는 단계는,
    상기 갱신된 집합에 포함된 노드들의 필터링된 깊이값 및 픽셀 위치값에 기초하여 상기 메쉬화된 노드의 평면 모델을 생성하는 단계 및
    상기 평면 모델에 기초하여 노이즈가 제거된 깊이값을 산출하는 단계를 포함하는 노이즈 제거 방법.
  9. 제 8 항에 있어서,
    상기 평면 모델을 생성하는 단계는,
    평면 방정식의 파라미터를 산출하고, 이에 기초하여 상기 평면 모델을 생성하는 것인 노이즈 제거 방법.
  10. 희소 깊이 지도의 노이즈를 제거하는 장치에 있어서,
    희소 깊이 지도를 포함하는 깊이 정보 및 이에 대응하는 컬러 영상을 수신하는 통신 모듈,
    상기 희소 깊이 지도에 포함된 노이즈를 제거하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 희소 깊이 지도 상에서 깊이값이 각각 할당된 표본점들을 각각 노드로 설정하여 연결하여 메쉬화하고, 상기 메쉬화된 노드와 인접하는 이웃 노드와의 연결 정보 및 상기 메쉬화된 노드와 이의 이웃 노드에 대응하는 블록 사이의 컬러값들의 차이에 기초하여 상기 메쉬화된 노드의 노이즈를 제거하는 것인 노이즈 제거 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는 상기 이웃 노드 중 상기 메쉬화된 노드와의 연결 정보와 매칭되는 노드들의 집합을 생성하고, 상기 생성된 집합에 포함된 각 노드들의 거리 정보 및 컬러 정보에 기초하여 상기 메쉬화된 노드의 깊이값을 필터링하는 것인 노이즈 제거 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는 상기 메쉬화된 노드의 초기 깊이값 및 이와 인접하는 이웃 노드들의 초기 깊이값의 차를 산출하고, 상기 메쉬화된 노드의 초기 깊이값과 상기 이와 인접하는 이웃 노드들의 초기 깊이값의 차의 절대값의 평균값을 산출하며, 상기 인접하는 이웃 노드들 중 상기 초기 깊이값의 차가 상기 절대값의 평균값의 차보다 작은 이웃 노드들을 추출하여, 상기 메쉬화된 노드와 함께 상기 집합으로 생성하는 것인 노이즈 제거 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는 상기 집합에 포함된 노드 중, 상기 메쉬화된 노드와 이의 이웃 노드들 간의 거리를 산출하고, 상기 컬러값들의 차의 절대값들을 산출하고 이를 합산하며, 상기 산출된 거리 및 합산된 결과값에 기초하여 상기 메쉬화된 노드의 깊이값을 필터링하는 것인 노이즈 제거 장치.
  14. 제 11 항에 있어서,
    상기 프로세서는 상기 메쉬화된 노드와 대응되는 모든 에지에서의 깊이값의 차의 절대값의 이전과 현재의 평균값이 기 설정된 임계치 이하인 경우, 필터링된 깊이값을 초기 깊이값으로 하여 상기 깊이값을 반복하여 필터링하는 것인 노이즈 제거 장치.
  15. 제 11 항에 있어서,
    상기 프로세서는 상기 필터링된 깊이값에 기초하여 상기 연결 정보를 갱신하고, 상기 갱신된 연결 정보 및 상기 메쉬화된 노드의 평면 모델에 기초하여 상기 희소 깊이 지도의 노이즈를 제거하는 것인 노이즈 제거 장치.
  16. 제 15 항에 있어서,
    상기 프로세서는 상기 메쉬화된 노드의 필터링된 깊이값 및 상기 집합에 포함된 노드들의 필터링된 깊이값의 차를 산출하고, 상기 깊이값의 차의 절대값의 평균값을 산출한 뒤, 상기 집합에 포함된 노드들 중 상기 깊이값의 차가 상기 절대값의 평균값의 차보다 작은 노드들을 추출하여, 상기 메쉬화된 노드와 함께 상기 갱신된 집합으로 생성하는 것인 노이즈 제거 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는 상기 갱신된 집합에 포함된 노드들의 필터링된 깊이값 및 픽셀 위치값에 기초하여 상기 메쉬화된 노드의 평면 모델을 생성하고, 상기 생성된 평면 모델에 기초하여 노이즈가 제거된 깊이값을 산출하는 것인 노이즈 제거 장치.
KR1020160148966A 2016-11-09 2016-11-09 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법 KR101892741B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160148966A KR101892741B1 (ko) 2016-11-09 2016-11-09 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법
US15/805,370 US10607317B2 (en) 2016-11-09 2017-11-07 Apparatus and method of removing noise from sparse depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148966A KR101892741B1 (ko) 2016-11-09 2016-11-09 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180052164A KR20180052164A (ko) 2018-05-18
KR101892741B1 true KR101892741B1 (ko) 2018-10-05

Family

ID=62064025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148966A KR101892741B1 (ko) 2016-11-09 2016-11-09 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법

Country Status (2)

Country Link
US (1) US10607317B2 (ko)
KR (1) KR101892741B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143818A (ko) 2019-06-17 2020-12-28 한국전자통신연구원 희소 깊이 지도에서 깊이 노이즈를 제거하는 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
KR20210017185A (ko) 2019-08-07 2021-02-17 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049384A1 (en) 2004-11-08 2006-05-11 Electronics And Telecommunications Research Institute Apparatus and method for producting multi-view contents
US20100328307A1 (en) 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20110043610A1 (en) 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
WO2014105542A1 (en) 2012-12-26 2014-07-03 Intel Corporation Apparatus for enhancement of 3-d images using depth mapping and light source synthesis
US20140218467A1 (en) 2012-06-11 2014-08-07 Center Of Human-Centered Interaction For Coexistence 3D Video-Teleconferencing Apparatus Capable of Eye Contact and Method Using the Same
US20160071324A1 (en) 2014-07-22 2016-03-10 Trupik, Inc. Systems and methods for image generation and modeling of complex three-dimensional objects

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269431B1 (ko) 1998-04-28 2000-10-16 전주범 하이패스 필터링 기법을 이용한 메쉬 단순화 방법
US7586489B2 (en) * 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
KR20090076412A (ko) 2008-01-08 2009-07-13 삼성전자주식회사 모델링 방법 및 장치
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR20110071213A (ko) 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
US8902229B2 (en) 2010-01-13 2014-12-02 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
WO2013125768A1 (ko) * 2012-02-21 2013-08-29 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
KR101933994B1 (ko) 2012-10-16 2018-12-31 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
KR101970562B1 (ko) 2012-11-19 2019-04-19 엘지디스플레이 주식회사 3차원 입체 영상의 깊이지도 보정장치 및 보정방법
KR101896301B1 (ko) 2013-01-03 2018-09-07 삼성전자주식회사 깊이 영상 처리 장치 및 방법
US20170171525A1 (en) * 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049384A1 (en) 2004-11-08 2006-05-11 Electronics And Telecommunications Research Institute Apparatus and method for producting multi-view contents
US20100328307A1 (en) 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20110043610A1 (en) 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US20140218467A1 (en) 2012-06-11 2014-08-07 Center Of Human-Centered Interaction For Coexistence 3D Video-Teleconferencing Apparatus Capable of Eye Contact and Method Using the Same
WO2014105542A1 (en) 2012-12-26 2014-07-03 Intel Corporation Apparatus for enhancement of 3-d images using depth mapping and light source synthesis
US20160071324A1 (en) 2014-07-22 2016-03-10 Trupik, Inc. Systems and methods for image generation and modeling of complex three-dimensional objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GPGPU 기반의 깊이 영상 화질 개선 기법, 한국정보통신학회논문지 제17권 제12호 (2013.12)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143818A (ko) 2019-06-17 2020-12-28 한국전자통신연구원 희소 깊이 지도에서 깊이 노이즈를 제거하는 장치 및 방법

Also Published As

Publication number Publication date
US10607317B2 (en) 2020-03-31
KR20180052164A (ko) 2018-05-18
US20180130185A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
KR101892741B1 (ko) 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법
CN108280866B (zh) 道路点云数据处理方法及***
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
KR101810876B1 (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
CN111091091A (zh) 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111652136B (zh) 基于深度图像的行人检测方法及装置
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
CN103369233B (zh) 用于通过利用自适应核来执行深度估计的***和方法
TWI522967B (zh) 基於小腦模型網路的移動物體偵測方法及其裝置
CN116324880B (zh) 使用平面分割的对象扫描
CN111275633B (zh) 基于图像分割的点云去噪方法、***、装置和存储介质
WO2015143624A1 (en) Methods and systems for denoising images
CN102318334B (zh) 图像处理装置、摄像装置以及图像处理方法
KR20170052634A (ko) 심도 맵 향상
KR102274320B1 (ko) 영상 처리 방법 및 장치
CN106296732B (zh) 一种复杂背景下的运动目标追踪方法
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN110650295A (zh) 图像处理方法及装置
CN109792530A (zh) 无人自主交通工具中的自适应图像处理
US20230081366A1 (en) System using image connectivity to reduce bundle size for bundle adjustment
EP3496042A1 (en) System and method for generating training images
KR101804215B1 (ko) 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
CN108986155B (zh) 多视点图像的深度估计方法和深度估计设备
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant