KR101874482B1 - 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 - Google Patents

깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 Download PDF

Info

Publication number
KR101874482B1
KR101874482B1 KR1020120114818A KR20120114818A KR101874482B1 KR 101874482 B1 KR101874482 B1 KR 101874482B1 KR 1020120114818 A KR1020120114818 A KR 1020120114818A KR 20120114818 A KR20120114818 A KR 20120114818A KR 101874482 B1 KR101874482 B1 KR 101874482B1
Authority
KR
South Korea
Prior art keywords
depth image
point
resolution
points
super
Prior art date
Application number
KR1020120114818A
Other languages
English (en)
Other versions
KR20140048631A (ko
Inventor
이승규
심현정
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120114818A priority Critical patent/KR101874482B1/ko
Priority to US14/055,406 priority patent/US9342867B2/en
Publication of KR20140048631A publication Critical patent/KR20140048631A/ko
Application granted granted Critical
Publication of KR101874482B1 publication Critical patent/KR101874482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법에 관한 것으로서, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 깊이 영상에서 에러 포인트를 재위치 시키는 에러 포인트 재위치 처리부, 및 에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 수퍼레졸루션 처리부를 포함할 수 있다.

Description

깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법{APPARATUS AND METHOD OF RECONSTRUCTING 3-DIMENSION SUPER-RESOLUTION IMAGE FROM DEPTH IMAGE}
깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법에 관한 것으로서, 정합된 칼라 또는 주변 깊이 형상 정보를 이용하여 에러 포인트를 재위치 시켜 경계 영역의 에러를 감소시키고, 깊이 영상의 수퍼레졸루션 수행 영역을 결정하며, 결정된 수퍼레졸루션 수행 영역에서 z 값 차이에 가중치된 형태로 삽입할 픽셀의 밀도를 결정함으로써, 고해상도/고정밀 3차원 영상을 생성하는 기술적 사상에 관한 것이다.
영상처리에서는 깊이 영상 처리 방식을 이용하여 2차원 깊이 영상으로부터 3차원 영상을 복원할 수 있다.
깊이 영상 처리 방식은 카메라와 큰 각도를 이루거나 물체의 경계 부근에서 발생하는 깊이 영상의 노이즈 포인트들을 제거한 후 3차원 영상의 복원에 사용한다.
서로 다른 깊이 정보를 가지는 위치에서 반사된 IR(Infrared Reflectance) 값이 깊이 계산에 사용되면 에러로 작용할 수 있기 때문에, 발생한 노이즈 포인트들을 제거하는 것이 해상도를 저하시키거나 형상을 왜곡시킬 수 있다. 또한, 최종 복원된 3차원 영상에서 홀(hole)로 표시될 수 있다.
또한, 널리 이용되고 있는 수퍼레졸루션 방식은 깊이 영상에서도 2차원 방식의 수퍼레졸루션 처리를 수행함으로써, z 방향으로 경사가 있는 물체 표면에서는 충분하게 수퍼레졸루션이 처리되지 않아 홀이 발생할 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 깊이 영상에서 에러 포인트를 재위치 시키는 에러 포인트 재위치 처리부, 및 에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 수퍼레졸루션 처리부를 포함할 수 있다.
일실시예에 따른 상기 에러 포인트 재위치 처리부는, 상기 깊이 영상 내의 오브젝트 경계로부터 선정된 거리 이내에 위치하는 에러 포인트를 재위치 시킬 수 있다.
일실시예에 따른 상기 에러 포인트 재위치 처리부는, 상기 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단할 수 있다.
일실시예에 따른 상기 에러 포인트 재위치 처리부는, 전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 상기 에러 포인트와 인접한 포인트 세트를 결정하고, 상기 인접한 포인트 세트로 상기 에러 포인트를 재위치 시킬 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 상기 서로 다른 포인트에 대한 수퍼레졸루션을 처리할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 깊이 값에 따라 상기 서로 다른 포인트의 2차원 좌표들 사이에 삽입할 픽셀의 개수를 조절하여 상기 수퍼레졸루션을 처리할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 깊이 영상에서 배열되어 있는 전경 포인트 및 배경 포인트 중에서 적어도 하나의 포인트를 포함하는 제1 단위 포인트 세트를 결정할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분을 수퍼레졸루션 처리할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 복수의 전경 포인트들을 포함하는 경우에 인접한 제2 단위 포인트 세트를 추가로 확인할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리하는 고해상도 3차원 영상의 복원 장치.
일실시예에 따른 상기 수퍼레졸루션 처리부는,
상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트 내에 포함되고, 적어도 하나 이상의 전경 포인트를 통해 식별되는 영역에 대해서 수퍼레졸루션 처리할 수 있다.
일실시예에 따른 상기 수퍼레졸루션 처리부는, 상기 결정된 제1 단위 포인트 세트가 하나의 전경 포인트를 포함하는 경우, 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분에 대한 수퍼레졸루션을 처리하지 않는다.
일실시예에 따른 고해상도 3차원 영상의 복원 방법은, 깊이 영상에서 에러 포인트를 재위치 시키는 단계, 및 에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계를 포함할 수 있다.
일실시예에 따른 상기 깊이 영상에서 에러 포인트를 재위치 시키는 단계는, 상기 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단하는 단계, 전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 상기 에러 포인트와 인접한 포인트 세트를 결정하는 단계, 및 상기 인접한 포인트 세트로 상기 에러 포인트를 재위치 시키는 단계를 포함할 수 있다.
일실시예에 따른 상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는, 상기 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 상기 서로 다른 포인트에 대한 수퍼레졸루션을 처리하는 단계를 포함할 수 있다.
일실시예에 따른 상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는, 상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정하는 단계, 및 상기 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분을 수퍼레졸루션 처리할 수 있다.
일실시예에 따른 상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는, 상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정하는 단계, 상기 결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 복수의 전경 포인트들을 포함하는 경우에 인접한 제2 단위 포인트 세트를 추가로 확인하는 단계, 및 상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 고해상도 3차원 영상의 복원 장치를 설명하는 블록도이다.
도 2는 깊이 영상과 에러 포인트를 재위치한 깊이 영상을 비교 설명하는 도면이다.
도 3은 에러 포인트를 재위치 시키는 실시예를 구체적으로 설명하는 도면이다.
도 4 내지 도 7은 다양한 종류의 단위 포인트와, 각 단위 포인트에서의 수퍼레졸루션 처리를 설명하는 도면이다.
도 8은 일실시예에 따른 고해상도 3차원 영상의 복원 방법을 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 고해상도 3차원 영상의 복원 장치(200)를 설명하는 블록도이다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치(200)는 에러 포인트 재위치 처리부(110)와 수퍼레졸루션 처리부(120)를 포함할 수 있다.
일실시예에 따른 에러 포인트 재위치 처리부(110)는 깊이 영상에서 에러 포인트를 재위치 시킬 수 있다.
예를 들어, 일실시예에 따른 에러 포인트 재위치 처리부(110)는 촬영된 저해상도의 깊이 영상에 발생한 노이즈 포인트들을 제거하지 않고, 해당하는 전경(foreground) 영역 또는 배경(background) 영역으로 위치시킬 수 있다.
즉, 일실시예에 따른 에러 포인트 재위치 처리부(110)는 정합된 칼라 또는 주변 깊이 형상 정보를 이용하여 노이즈 포인트를 재위치 시킴으로써, 경계영역 에러를 감소시킬 수 있다.
일실시예에 따른 에러 포인트 재위치 처리부(110)는 우선 에러 포인트를 식별할 수 있다.
일실시예에 따른 에러 포인트 재위치 처리부(110)는 에러 포인트를 식별하기 위해서, 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단할 수 있다.
예를 들어, 주변 픽셀에 비해서 깊이 값이 크게 차이나는 포인트가 에러 포인트로 판단될 수 있다.
이에, 일실시예에 따른 에러 포인트 재위치 처리부(110)는 상기 깊이 영상 내의 오브젝트 경계로부터 선정된 거리 이내에 위치하는 에러 포인트를 재위치 시킬 수 있다.
일실시예에 따른 에러 포인트 재위치 처리부(110)는 전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 상기 에러 포인트와 인접한 포인트 세트를 결정할 수 있다. 또한, 일실시예에 따른 에러 포인트 재위치 처리부(110)는 인접한 포인트 세트로 에러 포인트를 재위치 시킬 수 있다.
에러 포인트는 가장 가까운 오펀(orphan)이 아닌 값, 즉 에러가 아닌 값의 방향으로 z 값 또는 근처 값으로 대체될 수 있다. 이때 z 값의 변경 비율만큼 x, y 값도 변경될 수 있다. 또한, 컬러(color)나 인텐시티(intensity) 값이 있을 경우 근처 z 값 결정에 가중치를 반영할 수 있다.
본 명세서에서 사용되는 전경 포인트(foreground point)는 깊이 값이 선정된 기준 이하로 구분되는 포인트로 해석하고, 배경 포인트(background point)는 깊이 값이 선정된 기준 이상으로 구분되는 포인트로 해석할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 서로 다른 포인트에 대한 수퍼레졸루션을 처리할 수 있다.
예를 들어, 일실시예에 따른 수퍼레졸루션 처리부(120)는 깊이 값에 따라 상기 서로 다른 포인트의 2차원 좌표들 사이에 삽입할 픽셀의 개수를 조절하여 상기 수퍼레졸루션을 처리할 수 있다.
즉, 2차원 좌표들 사이에 거리가 가깝더라도 깊이 값에 차이가 크다면, 실질적으로 z축 상에서 거리가 멀다고 판단할 수 있기 때문에 2차원 좌표들 사이에 삽입할 픽셀의 개수를 늘릴 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)를 이용하여 깊이 영상의 수퍼레졸루션을 수행하기 전에 수행 영역을 결정하기 위해서 단위 포인트 세트를 결정할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 깊이 영상에 포함되고, 상기 깊이 영상 내에서 격자 형태로 배열되는 제1 단위 포인트 세트를 결정할 수 있다.
본 명세서에서는 설명의 편의를 위해서, 단위 포인트 세트는 격자 내에 포함된 4개의 전경 또는 배경 포인트들로 이루어진 세트로 해석할 수 있다.
즉, 깊이 영상의 수퍼레졸루션을 수행하기 전에 수행 영역을 결정하기 위하여, x, y 좌표상에 표현되는 포인트들로 구분되는 제1 단위 포인트 세트를 4가지의 형태로 구분하고, 이를 이용하여 수퍼레졸루션 수행 영역을 결정할 수 있다.
제1 단위 포인트 세트의 4가지의 형태는 다음과 같이 구분될 수 있다.
제1 단위 포인트 세트 내에 포함되는 포인트가 모두 전경 포인트 이거나 또는 모두 배경 포인트인 '경우 A', 배경 포인트가 하나 포함된 '경우 B', 배경 포인트가 두 개 포함된 '경우 C', 및 배경 포인트가 세 개 포함된 '경우 D'로 구분될 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 '경우 A'에 대해서는 제1 단위 포인트 세트로 구분되는 영역 내의 모든 구역에서 바로 다음 단계인 가중치를 적용한 수퍼레졸루션을 처리할 수 있다.
즉, 일실시예에 따른 수퍼레졸루션 처리부(120)는 깊이 영상에서 격자 형태로 배열되어 있는 전경 포인트 및 배경 포인트 중에서 적어도 하나의 포인트만을 포함하는 제1 단위 포인트 세트를 '경우 A'의 단위 포인트 세트로서 결정할 수 있다.
제1 단위 포인트 세트로 구분되는 영역 내의 모든 구역이 수퍼레졸루션 수행 영역으로 결정된다.
이 경우, 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 제1 단위 포인트 세트로 구분되는 깊이 영상 내의 부분을 수퍼레졸루션 처리할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 '경우 B'와 '경우 C'에 대해서, 수퍼레졸루션을 처리하기 위한 수퍼레졸루션 수행 영역을 결정하지 않고, 제1 단위 포인트 세트에 인접한 제2 포인트 세트를 추가로 확인할 수 있다.
즉, 일실시예에 따른 수퍼레졸루션 처리부(120)는 결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 또한 복수의 전경 포인트들을 포함하는 경우에 인접한 제2 단위 포인트 세트를 추가로 확인할 수 있다.
다시 말해, 전경 포인트가 두 개 또는 세 개 포함된 경우에 일실시예에 따른 수퍼레졸루션 처리부(120)는 인접한 제2 단위 포인트 세트를 추가로 확인할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 추가로 확인되는 제2 포인트 세트에 배경 포인트가 3개인 경우, 인접한 포인트 세트를 확인하는 작업을 중지한다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 제1 단위 포인트 세트와 제2 포인트 세트에 포함된 전경 포인트로 식별되는 구역을 수퍼레졸루션 수행 영역으로 결정할 수 있다.
다시 말해, 일실시예에 따른 수퍼레졸루션 처리부(120)는 추가로 확인하는 인접한 제2 단위 포인트 세트와 제1 단위 포인트 세트로 구분되는 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리할 수 있다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 배경 포인트가 3개인 '경우 D'에 대해서는 제1 단위 포인트 세트를 수퍼레졸루션 수행 영역에 포함시키지 않는다. 즉, 제1 단위 포인트 세트에 수퍼레졸루션 처리를 수행하지 않는다.
즉, '경우 A' 및 '경우 D'에 대해서 일실시예에 따른 수퍼레졸루션 처리부(120)는 수퍼레졸루션 수행 영역을 결정하기 위한 별도의 추가 작업을 수행하지 않고, 수퍼레졸루션을 수행하거나, 수행하지 않거나 두 가지 선택만을 하게 된다.
그러나, '경우 B' 및 '경우 C'에 대해서 일실시예에 따른 수퍼레졸루션 처리부(120)는 제1 단위 포인트 세트로 구분되는 영역 내에서 특정 영역만을 수퍼레졸루션 수행 영역으로 결정해야만 한다.
제1 단위 포인트 세트로 구분되는 영역 내에서 특정 영역만을 수퍼레졸루션 수행 영역으로 결정하기 위해서, 일실시예에 따른 수퍼레졸루션 처리부(120)는 제1 단위 포인트 세트에 인접하는 제2 단위 포인트 세트를 추가로 확인한다.
일실시예에 따른 수퍼레졸루션 처리부(120)는 결정된 수퍼레졸루션 수행 영역에서 z 값 차이에 가중치가 부여된 형태로 삽입할 픽셀의 밀도를 결정할 수 있다.
이로써, z 방향으로 경사가 있는 물체 표면에서 충분한 수퍼레졸루션을 수행함으로써, 복원되는 3차원 영상에서 홀(hole)이 발생하는 것을 예방할 수 있다.
도 2는 깊이 영상과 에러 포인트를 재위치한 깊이 영상을 비교 설명하는 도면이다.
도면부호 210은 깊이 카메라로 촬영한 저해상도의 깊이 영상으로서, 주변 픽셀과는 확연히 차이나는 깊이 값을 갖는 노이즈 포인트(211)를 포함하고 있다.
물체의 경계 부분에서 발생하는 노이즈 포인트(211)에 대해서 기존에는 단순히 제거하는 방법을 사용하였기 때문에 해상도 저하, 형상 왜곡 및 홀(hole) 발생 등의 문제를 야기시켰다.
그러나, 일실시예에 따른 에러 포인트 재위치 처리부는 물체의 경계 부분에서 발생하는 노이즈 포인트(211)를 제거하지 않고, 도면부호 220으로 식별되는 깊이 영상과 같이 해당하는 전경 영역 또는 배경 영역으로 위치시킬 수 있다.
따라서, 일실시예에 따른 에러 포인트 재위치 처리부는 기존 노이즈 포인트가 있던 영역에 주변 픽셀과 깊이 값이 크게 다르지 않도록 영역(221)을 정리하고, 이로써, 해상도 저하, 형상 왜곡 및 홀 발생 등의 문제를 방지 할 수 있다.
도 3은 에러 포인트(330)를 재위치 시키는 실시예를 구체적으로 설명하는 도면이다.
일실시예에 따른 에러 포인트 재위치 처리부는 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트(330)로 판단할 수 있다.
이에, 일실시예에 따른 에러 포인트 재위치 처리부는 에러 포인트(330)를 제거하지 않고, 배경 포인트 세트(310) 또는 전경 포인트 세트(320)로 재위치 시킬 수 있다.
이때, 일실시예에 따른 에러 포인트 재위치 처리부는 전경 포인트 세트(320) 및 배경 포인트 세트(310) 중에서 에러 포인트(330)와 인접한 포인트 세트를 결정할 수 있다.
이를 위해, 일실시예에 따른 에러 포인트 재위치 처리부는 에러 포인트(330)와 배경 포인트 세트(310) 간의 최단 거리(340)를 산출하고, 에러 포인트(330)와 전경 포인트 세트(320) 간의 최단 거리(350)를 산출할 수 있다.
또한, 일실시예에 따른 에러 포인트 재위치 처리부는 최단 거리(340)와 최단 거리(350)를 비교할 수 있다.
최단 거리(340)와 최단 거리(350)의 비교 결과, 최단 거리(350)가 짧기 때문에 일실시예에 따른 에러 포인트 재위치 처리부는 에러 포인트(330)가 전경 포인트 세트(320)로부터 발생하였다고 판단할 수 있다.
따라서, 일실시예에 따른 에러 포인트 재위치 처리부는 에러 포인트(330)를 전경 포인트 세트(320)로 재위치시킬 수 있다.
이 때, 일실시예에 따른 에러 포인트 재위치 처리부는 전경 포인트 세트(320) 중에서 에러 포인트(330)와 가장 가까운 전경 포인트(360)의 인근에 에러 포인트(330)를 재위치시킬 수 있다.
이로써, 3차원 복원된 영상에서 3차원 홀이 발생하지 않으면서, 경계 부근의 에러를 줄일 수 있다.
도 4 내지 도 7은 다양한 종류의 단위 포인트와, 각 단위 포인트에서의 수퍼레졸루션 처리를 설명하는 도면이다.
일실시예에 따른 수퍼레졸루션 처리부는 깊이 영상의 수퍼레졸루션을 수행하기 전에 수퍼레졸루션 수행 영역을 결정하고, 결정된 수퍼레졸루션 수행 영역에서 z 값 차이에 가중치를 부여하여 삽입할 픽셀의 밀도를 결정함으로써, 보다 향상된 품질의 3차원 영상을 생성할 수 있다.
수퍼레졸루션 수행 영역을 결정하기 위하여, 일실시예에 따른 수퍼레졸루션 처리부는 4개의 x, y 좌표상의 포인트 세트를 4가지의 단위 포인트 세트로 구분하고, 구분된 단위 포인트 세트를 이용하여 수퍼레졸루션 수행 영역을 결정할 수 있다.
즉, 깊이 영상의 수퍼레졸루션을 수행하기 전에 수행 영역을 결정하기 위하여, x, y 좌표상에 표현되는 포인트들로 구분되는 제1 단위 포인트 세트를 4가지의 형태로 구분하고, 이를 이용하여 수퍼레졸루션 수행 영역을 결정할 수 있다.
제1 단위 포인트 세트의 4가지의 형태는 다음과 같이 구분될 수 있다.
도 4에서 보는 바와 같이, 제1 단위 포인트 세트(410) 내에 포함되는 포인트가 모두 전경 포인트이거나 또는 제1 단위 포인트 세트(420) 내에 포함되는 포인트가 모두 배경 포인트인 경우를 '경우 A'로 구분할 수 있다.
이러한 '경우 A'에서 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 수퍼레졸루션 수행 영역을 결정하기 위한 별도의 추가 작업을 수행하지 않고, 수퍼레졸루션을 수행하거나, 수행하지 않거나 두 가지 선택만을 하게 된다.
즉, '경우 A' 중에서도 제1 단위 포인트 세트(410) 내에 포함되는 포인트가 모두 전경 포인트인 경우라면, 제1 단위 포인트 세트(410) 내에 포함되는 전경 포인트로 구분되는 영역에 대해서 또 다른 전경 포인트로써 수퍼레졸루션을 수행할 수 있다.
다시 말해, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(410) 내에 포함되는 전경 포인트로 구분되는 영역을 수퍼레졸루션 수행 영역으로 결정할 수 있다.
또한, '경우 A' 중에서도 제1 단위 포인트 세트(420) 내에 포함되는 포인트가 모두 배경 포인트인 경우라면, 제1 단위 포인트 세트(420) 내에 포함되는 배경 포인트로 구분되는 영역에 대해서 또 다른 배경 포인트로써 수퍼레졸루션을 수행할 수 있다.
다시 말해, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(420) 내에 포함되는 배경 포인트로 구분되는 영역을 수퍼레졸루션 수행 영역으로 결정할 수 있다.
도 5에서 보는 바와 같이, 제1 단위 포인트 세트(510) 내에 배경 포인트가 하나 포함된 경우를 '경우 B'로 구분할 수 있다.
또한, 제1 단위 포인트 세트(520) 내에 배경 포인트가 두 개 포함된 경우를 '경우 C'로 구분할 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 '경우 B'와 '경우 C'에 대해서, 수퍼레졸루션을 바로 처리하지 않는다. 즉, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 '경우 B'와 '경우 C'에 대해서, 수퍼레졸루션을 처리하기 위한 수퍼레졸루션 수행 영역을 결정하지 않고, 제1 단위 포인트 세트(510, 520)에 인접한 제2 포인트 세트를 추가로 확인할 수 있다.
도 6에서는 제1 단위 포인트 세트(510, 520)에 인접한 제2 포인트 세트(620, 640)를 추가로 확인하는 실시예를 설명한다.
먼저, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(510)에 인접한 포인트 세트를 확인하고, 확인되는 인접 포인트 세트 중에서 제2 포인트 세트(620)에 대해 표시되는 영역(630)에 대해서 수퍼레졸루션 수행 영역으로 결정할 수 있다.
즉, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 추가로 확인하는 인접한 제2 단위 포인트 세트(620)와 제1 단위 포인트 세트(510) 내에 포함되고, 적어도 하나 이상의 전경 포인트를 통해 식별되는 영역(630)에 대해서 수퍼레졸루션 처리할 수 있다.
구체적으로, 적어도 하나 이상의 전경 포인트를 통해 식별되는 영역(630)은 도 6에서와 같이 직각 삼각형의 형태일 수 있다.
다시 말해, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(510)와 제2 포인트 세트(620)에 포함된 전경 포인트로 식별되는 영역(630)을 수퍼레졸루션 수행 영역으로 결정할 수 있다.
영역(630)을 구분하는 직각 삼각형(630)의 빗변은 직선이 아닌 Z 값의 가중치를 적용한 곡선의 형태로 결정될 수 있다.
마찬가지로, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(520)에 인접한 포인트 세트를 확인하고, 확인되는 인접 포인트 세트 중에서 제2 포인트 세트(640)에 대해 표시되는 직각 삼각형 형태의 영역(650)에 대해서 수퍼레졸루션 수행 영역으로 결정할 수 있다.
즉, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트(520)와 제2 포인트 세트(640)에 포함된 전경 포인트로 식별되는 영역(650)을 수퍼레졸루션 수행 영역으로 결정할 수 있다.
영역(650)을 구분하는 직각 삼각형의 빗변 역시 직선이 아닌 Z 값의 가중치를 적용한 곡선의 형태로 결정될 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 추가로 확인되는 제2 포인트 세트에 배경 포인트가 3개인 경우에 인접한 포인트 세트를 확인하는 작업을 중지할 수 있다.
도 7에서 보는 바와 같이, 제1 단위 포인트 세트(710) 내에 배경 포인트가 세 개 포함된 경우를 '경우 D'로 구분할 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 배경 포인트가 3개인 '경우 D'에 대해서는 제1 단위 포인트 세트를 수퍼레졸루션 수행 영역에 포함시키지 않는다. 즉, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 제1 단위 포인트 세트에 수퍼레졸루션 처리를 수행하지 않는다.
즉, '경우 A' 및 '경우 D'에 대해서 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 수퍼레졸루션 수행 영역을 결정하기 위한 별도의 추가 작업을 수행하지 않고, 수퍼레졸루션을 수행하거나, 수행하지 않거나 두 가지 선택만을 하게 된다.
또한, 일실시예에 따른 고해상도 3차원 영상의 복원 장치는 '경우 B' 및 '경우 C'에 대해서 수퍼레졸루션 수행 영역을 결정한 후에 보다 정밀한 수퍼레졸루션을 수행한다.
수퍼레졸루션 수행 영역을 결정하는 과정에서 제1 단위 포인트 세트에 인접한 제2 단위 포인트 세트를 추가로 확인하여 수퍼레졸루션 수행 영역의 확장 여부를 확인할 수 있다.
만약, 추가로 확인되는 제2 단위 포인트 세트에 의해서 수퍼레졸루션 수행 영역의 확장이 가능하다면, 제2 단위 포인트 세트로 식별되는 구분되는 일부 영역에 대해서도 수퍼레졸루션 수행 영역으로 추가할 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 결정된 수퍼레졸루션 수행 영역에서 z 값 차이에 가중치가 부여된 형태로 삽입할 픽셀의 밀도를 결정할 수 있다.
일실시예에 따른 고해상도 3차원 영상의 복원 장치는 결정된 수퍼레졸루션 수행 영역 내에서 z 값의 최대값의 차이에 비례하는 만큼의 픽셀을 삽입하는 방식으로 가중치가 적용된 수퍼레졸루션을 수행할 수 있다.
이로써, z 방향으로 경사가 있는 물체 표면에서 충분한 수퍼레졸루션을 수행함으로써, 복원되는 3차원 영상에서 홀(hole)이 발생하는 것을 예방할 수 있다.
도 8은 일실시예에 따른 고해상도 3차원 영상의 복원 방법을 설명하는 흐름도이다.
일실시예에 따른 고해상도 3차원 영상의 복원 방법은 깊이 영상에서 에러 포인트를 재위치 시킬 수 있다(단계 801).
예를 들어, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 깊이 영상에서 에러 포인트를 재위치 시키기 위해서 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단할 수 있다.
또한, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 에러 포인트와 인접한 포인트 세트를 결정할 수 있다.
다음으로, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 인접한 포인트 세트로 에러 포인트를 재위치 시킬 수 있다.
또한, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원할 수 있다(단계 802).
깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하기 위해, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 상기 서로 다른 포인트에 대한 수퍼레졸루션을 처리할 수 있다.
또한, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하기 위해, 깊이 영상에 포함되고, 상기 깊이 영상 내에서 격자 형태로 배열되는 제1 단위 포인트 세트를 결정할 수 있다.
또한, 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분을 수퍼레졸루션 처리할 수 있다.
결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 복수의 전경 포인트들을 포함하는 경우에 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 인접한 제2 단위 포인트 세트를 추가로 확인해야 한다.
또한, 일실시예에 따른 고해상도 3차원 영상의 복원 방법은 추가로 확인하는 인접한 제2 단위 포인트 세트와 제1 단위 포인트 세트로 구분되는 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 고해상도 3차원 영상의 복원 장치
110: 에러 포인트 재위치 처리부
120: 수퍼레졸루션 처리부

Claims (19)

  1. 깊이 영상에서 에러 포인트를 재위치 시키는 에러 포인트 재위치 처리부; 및
    에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 수퍼레졸루션 처리부
    를 포함하고,
    상기 에러 포인트 재위치 처리부는,
    전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 상기 에러 포인트와 인접한 포인트 세트를 결정하고, 상기 인접한 포인트 세트로 상기 에러 포인트를 재위치 시키는 고해상도 3차원 영상의 복원 장치.
  2. 제1항에 있어서,
    상기 에러 포인트 재위치 처리부는,
    상기 깊이 영상 내의 오브젝트 경계로부터 선정된 거리 이내에 위치하는 에러 포인트를 재위치 시키는 고해상도 3차원 영상의 복원 장치.
  3. 제2항에 있어서,
    상기 에러 포인트 재위치 처리부는,
    상기 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단하는 고해상도 3차원 영상의 복원 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 상기 서로 다른 포인트에 대한 수퍼레졸루션을 처리하는 고해상도 3차원 영상의 복원 장치.
  6. 제5항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 깊이 값에 따라 상기 서로 다른 포인트의 2차원 좌표들 사이에 삽입할 픽셀의 개수를 조절하여 상기 수퍼레졸루션을 처리하는 고해상도 3차원 영상의 복원 장치.
  7. 제1항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정하는 고해상도 3차원 영상의 복원 장치.
  8. 제7항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 깊이 영상에서 상기 배열되어 있는 전경 포인트 및 배경 포인트 중에서 적어도 하나의 포인트를 포함하는 제1 단위 포인트 세트를 결정하는 고해상도 3차원 영상의 복원 장치.
  9. 제7항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분을 수퍼레졸루션 처리하는 고해상도 3차원 영상의 복원 장치.
  10. 제7항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 복수의 전경 포인트들을 포함하는 경우에 인접한 제2 단위 포인트 세트를 추가로 확인하는 고해상도 3차원 영상의 복원 장치.
  11. 제10항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리하는 고해상도 3차원 영상의 복원 장치.
  12. 제11항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트 내에 포함되고, 적어도 하나 이상의 전경 포인트를 통해 식별되는 영역에 대해서 수퍼레졸루션 처리하는 고해상도 3차원 영상의 복원 장치.
  13. 제7항에 있어서,
    상기 수퍼레졸루션 처리부는,
    상기 결정된 제1 단위 포인트 세트가 하나의 전경 포인트를 포함하는 경우, 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분에 대한 수퍼레졸루션을 처리하지 않는 고해상도 3차원 영상의 복원 장치.
  14. 깊이 영상에서 에러 포인트를 재위치 시키는 단계; 및
    에러 포인트가 재위치된 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계
    를 포함하고,
    상기 깊이 영상에서 에러 포인트를 재위치 시키는 단계는,
    전경 포인트(foreground point) 세트 및 배경 포인트(background point) 세트 중에서 상기 에러 포인트와 인접한 포인트 세트를 결정하는 단계; 및
    상기 인접한 포인트 세트로 상기 에러 포인트를 재위치 시키는 단계
    를 포함하는 고해상도 3차원 영상의 복원 방법.
  15. 제14항에 있어서,
    상기 깊이 영상에서 에러 포인트를 재위치 시키는 단계는,
    상기 깊이 영상의 특정 부분의 픽셀과 깊이 값이 선정된 임계값 이상 차이 나는 포인트를 에러 포인트로 판단하는 단계
    를 포함하는 고해상도 3차원 영상의 복원 방법.
  16. 제14항에 있어서,
    상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는,
    상기 깊이 영상의 서로 다른 포인트에 대한 깊이 값을 고려하여, 상기 서로 다른 포인트에 대한 수퍼레졸루션을 처리하는 단계
    를 포함하는 고해상도 3차원 영상의 복원 방법.
  17. 제14항에 있어서,
    상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는,
    상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정하는 단계; 및
    상기 결정된 제1 단위 포인트 세트가 전경 포인트 만을 포함하거나, 배경 포인트 만을 포함하는 경우에 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분을 수퍼레졸루션 처리하는 단계
    를 포함하는 고해상도 3차원 영상의 복원 방법.
  18. 제14항에 있어서,
    상기 깊이 영상을 수퍼레졸루션(super-resolution) 처리하여 3차원 영상으로 복원하는 단계는,
    상기 깊이 영상에 포함되고, 상기 깊이 영상 내에서 배열되는 제1 단위 포인트 세트를 결정하는 단계;
    상기 결정된 제1 단위 포인트 세트에 전경 포인트 및 배경 포인트가 모두 포함되어 있고, 복수의 전경 포인트들을 포함하는 경우에 인접한 제2 단위 포인트 세트를 추가로 확인하는 단계; 및
    상기 추가로 확인하는 인접한 제2 단위 포인트 세트와 상기 제1 단위 포인트 세트로 구분되는 상기 깊이 영상 내의 부분 중에서의 일부분을 수퍼레졸루션 처리하는 단계
    를 포함하는 고해상도 3차원 영상의 복원 방법.
  19. 제14항 내지 제18항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120114818A 2012-10-16 2012-10-16 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 KR101874482B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120114818A KR101874482B1 (ko) 2012-10-16 2012-10-16 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법
US14/055,406 US9342867B2 (en) 2012-10-16 2013-10-16 Apparatus and method for reconstructing super-resolution three-dimensional image from depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120114818A KR101874482B1 (ko) 2012-10-16 2012-10-16 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140048631A KR20140048631A (ko) 2014-04-24
KR101874482B1 true KR101874482B1 (ko) 2018-07-05

Family

ID=50475369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120114818A KR101874482B1 (ko) 2012-10-16 2012-10-16 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법

Country Status (2)

Country Link
US (1) US9342867B2 (ko)
KR (1) KR101874482B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401009B2 (en) * 2013-03-06 2016-07-26 Samsung Electronics Co., Ltd. Method and apparatus for enhancing quality of 3D image
CN104463958B (zh) * 2014-11-25 2017-11-14 四川大学 基于视差图融合的三维超分辨率方法
KR102240817B1 (ko) * 2015-01-21 2021-04-16 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
CN104867106B (zh) * 2015-05-29 2017-09-15 清华大学深圳研究生院 一种深度图超分辨率方法
CN104992407B (zh) * 2015-06-17 2018-03-16 清华大学深圳研究生院 一种图像超分辨方法
CN105354797B (zh) * 2015-11-25 2018-05-25 宁波工程学院 一种基于l1-l2罚函数的深度图超分辨率重建方法
US11900639B2 (en) 2018-01-19 2024-02-13 Interdigital Vc Holdings, Inc. Processing a point cloud
CN110400331B (zh) * 2019-07-11 2021-04-30 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110428366B (zh) * 2019-07-26 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193944A1 (en) * 2010-02-05 2011-08-11 Creative Technology Ltd Device and method for scanning an object on a working surface

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US7330594B2 (en) * 2003-07-31 2008-02-12 Kabushiki Kaisha Toshiba Image enhancement or correction software, method, apparatus and system for substantially minimizing blur in the scanned image
US7492967B2 (en) * 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
IL160152A (en) * 2004-02-01 2011-06-30 Rafael Advanced Defense Sys Super-resolution image processing
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
WO2008024419A1 (en) * 2006-08-21 2008-02-28 Sti Medical Systems, Llc Computer aided analysis using video from endoscopes
KR101463029B1 (ko) 2008-12-24 2014-11-19 엘지디스플레이 주식회사 3차원 영상 구현을 위한 깊이 데이터 보정 장치
KR101637491B1 (ko) 2009-12-30 2016-07-08 삼성전자주식회사 3차원 영상 데이터 생성 방법 및 장치
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101700621B1 (ko) 2010-12-15 2017-02-01 한국전자통신연구원 임의의 측정거리에 적용가능한 적응형 초고속 및 고해상도 3차원 영상복원 방법
KR101575284B1 (ko) 2010-12-22 2015-12-09 한국전자통신연구원 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193944A1 (en) * 2010-02-05 2011-08-11 Creative Technology Ltd Device and method for scanning an object on a working surface

Also Published As

Publication number Publication date
US9342867B2 (en) 2016-05-17
KR20140048631A (ko) 2014-04-24
US20140105484A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
KR101874482B1 (ko) 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법
KR100714672B1 (ko) 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
US9811883B2 (en) Image processing method and apparatus
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
US20120320039A1 (en) apparatus and method for image processing
JP2010072694A (ja) 動態推定装置、動態推定方法、プログラム
KR101918032B1 (ko) 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법
JP2010244220A (ja) 画像処理装置、方法及びプログラム
KR101107254B1 (ko) 인접 블록의 움직임 벡터를 이용한 움직임 벡터 추정 방법및 그 장치
KR20120137205A (ko) 영상 처리를 위한 방법 및 장치
US9280846B2 (en) Method, apparatus, and computer-readable recording medium for depth warping based occlusion culling
RU2013128867A (ru) Устройство прямого проецирования
JP5249114B2 (ja) 画像生成装置、方法及びプログラム
KR20150046810A (ko) 영상 처리 방법 및 장치
KR102560684B1 (ko) 이미지 기반 객체 카운팅 방법 및 이를 위한 장치
US20130293543A1 (en) Image processing apparatus and method
KR101590114B1 (ko) 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101653203B1 (ko) 영상 처리 장치 및 방법
CN108235775B (zh) 具有伪边缘消除的基于块的边缘像素检测的***和方法
JP5824896B2 (ja) 画像処理装置および方法、並びにプログラム
KR101993962B1 (ko) 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
KR101918035B1 (ko) 영상의 홀 영역을 제거하기 위한 장치 및 방법
JPWO2020184006A1 (ja) 画像処理装置、画像処理方法及びプログラム
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right