KR102180068B1 - 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치 - Google Patents

해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR102180068B1
KR102180068B1 KR1020130167648A KR20130167648A KR102180068B1 KR 102180068 B1 KR102180068 B1 KR 102180068B1 KR 1020130167648 A KR1020130167648 A KR 1020130167648A KR 20130167648 A KR20130167648 A KR 20130167648A KR 102180068 B1 KR102180068 B1 KR 102180068B1
Authority
KR
South Korea
Prior art keywords
viewpoint
image
disparity information
disparity
information
Prior art date
Application number
KR1020130167648A
Other languages
English (en)
Other versions
KR20150078359A (ko
Inventor
김도형
김성균
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020130167648A priority Critical patent/KR102180068B1/ko
Publication of KR20150078359A publication Critical patent/KR20150078359A/ko
Application granted granted Critical
Publication of KR102180068B1 publication Critical patent/KR102180068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 워핑 후 수평 해상도를 스케일링할 때 입출력 해상도 차이에 따른 워핑 아티팩트 증가를 최소화할 수 있는 멀티뷰 이미지 생성 방법 및 장치에 관한 것으로, 본 발명의 멀티뷰 이미지 생성 방법은 입력 이미지와 뎁스 이미지를 수직 스케일링하는 제1 단계와; 상기 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보를 시점별로 산출하고, 상기 시점별 디스패리티 정보를 이용하여 후속의 수평 스케일링시 이용될 포지션 정보를 시점별로 산출하는 제2 단계와; 상기 시점별 포지션 정보와, 상기 수직 스케일링된 이미지를 각각 상기 시점별 디스패리티 정보를 이용하여 시점별로 워핑하는 제3 단계와; 상기 시점별로 워핑된 이미지 및 포지션 정보의 홀을 필링하는 제4 단계와; 상기 필링된 포지션 정보를 이용하여 상기 필링된 이미지를 시점별로 수평 스케일링하여 멀티뷰 이미지를 출력하는 제5 단계를 포함한다.

Description

해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치{METHOD AND DEVICE OF GENERATING MULTI-VIEW IMAGE WITH RESOLUTION SCALING FUNCTION}
본 발명은 워핑 후 수평 해상도를 스케일링할 때 입출력 해상도 차이에 따라 워핑 아티팩트(warping artifact)가 증가하는 것을 최소화할 수 있는 멀티뷰 이미지 생성 방법 및 장치에 관한 것이다.
스테레오 영상 표시 장치는 서로 다른 각도에서 촬영된 좌안 영상과 우안 영상을 공간적으로 또는 시간적으로 분리하여 시청자의 좌안 및 우안에 각각 투영되게 함으로써 입체감 있는 3D 영상을 구현하며, 크게 안경 방식과 무안경 방식으로 구분된다.
안경 방식은 표시 장치에서 좌안 영상과 우안 영상의 편광 방향을 바꾸어 표시하거나 시분할 방식으로 분리하여 표시하고, 편광 안경을 사용하거나 액정 셔터 안경을 사용하여 좌우 영상을 분리함으로써 3D 영상을 구현하므로, 시청자가 반드시 특수 안경을 착용해야 한다는 불편함이 있다.
무안경 방식은 표시 장치의 전방 또는 후방에 설치되는 패럴랙스 배리어(Parallax Barrier), 렌티큘러 렌즈(Lenticular Lense) 등과 같은 3D 광학 필터를 통해 좌우 영상을 공간적으로 분리하여 시청자에게 3D 영상을 제공하므로 특수 안경이 필요하지 않은 장점이 있다. 그러나, 무안경 방식은 시청자의 좌안 및 우안에 좌안 영상 및 우안 영상이 각각 입력되어 시청자가 정상적인 3D 영상을 시청할 수 있는 정입체시 영역과, 좌안에 우안 영상이 입력되고 우안에 좌안 영상이 입력되어 시청자가 비정상적인 3D 영상을 시청하게 되는 역입체시 영역이 존재하므로, 3D 영상을 시청할 수 있는 시청 영역이 제한되는 단점이 있다. 이를 해결하기 위하여, 무안경 3D 표시 장치는 멀티뷰(multi-view) 영상을 표시하여 정입체시 시청 영역을 넓히고 있다.
멀티뷰 방식에서 입체 영상 생성은 입력 영상으로부터 여러 시점의 이미지를 생성한 후 각 시점에서 해당 뷰가 보이도록 영상을 포맷팅하여 출력하는 것으로 이루어진다.
최근에는 2D 영상과, 스테레오 영상으로부터 추출된 깊이 정보 영상, 즉 뎁스 이미지(Depth Image)를 이용하여 멀티뷰 이미지를 생성하는 뎁스 이미지 기반 랜더링(Depth-Image-Based Rendering; 이하 DIBR) 알고리즘이 알려져 있다. 뎁스 이미지는 좌안 영상 및 우안 영상의 대응점 위치 차이(Disparity)를 이용하여 객체들의 거리 정보를 계조로 표현하여 나타낸 것이다. DIBR 알고리즘으로 생성된 멀티뷰 이미지의 아티팩트가 입체 영상의 화질을 좌우한다.
DIBR 알고리즘에서는 멀티뷰 이미지를 생성할 때 입력 해상도를 출력 해상도에 맞게 스케일링하는 기술이 요구되며, 해상도 스케일링은 워핑 이전 또는 워핑 이후에 실시될 수 있다.
그러나, 워핑 이전에 수평 스케일링을 실시하면 수평 해상도 증가에 따라 워핑부의 로직 사이즈가 기하급수적으로 증가하는 문제점이 있다.
반면에, 워핑부의 로직 사이즈 증가를 방지하기 위하여, 워핑 이후에 수평 스케일링을 실시하는 경우 표현 가능한 워핑 디스패리티의 해상도가 감소하여 수평 해상도의 증가에 따라 워핑 아티팩트가 증가하는 문제점이 있다.
본 발명은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명이 해결하고자 하는 과제는 워핑 후 수평 해상도를 스케일링할 때 입출력 해상도 차이에 따른 워핑 아티팩트 증가를 최소화할 수 있는 멀티뷰 이미지 생성 방법 및 장치를 제공하는 것이다.
상기 과제를 해결하기 위하여, 본 발명에 따른 멀티뷰 이미지 생성 방법은 입력 이미지와 뎁스 이미지를 수직 스케일링하는 제1 단계와; 상기 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보를 시점별로 산출하고, 상기 시점별 디스패리티 정보를 이용하여 후속의 수평 스케일링시 이용될 포지션 정보를 시점별로 산출하는 제2 단계와; 상기 시점별 포지션 정보와, 상기 수직 스케일링된 이미지를 각각 상기 시점별 디스패리티 정보를 이용하여 시점별로 워핑하는 제3 단계와; 상기 시점별로 워핑된 이미지 및 포지션 정보의 홀을 필링하는 제4 단계와; 상기 필링된 포지션 정보를 이용하여 상기 필링된 이미지를 시점별로 수평 스케일링하여 멀티뷰 이미지를 출력하는 제5 단계를 포함한다.
본 발명의 실시예에 따른 멀티뷰 이미지 생성 장치는 입력 이미지와 뎁스 이미지를 수직 스케일링하는 수직 스케일러와; 상기 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보를 시점별로 산출하고, 상기 시점별 디스패리티 정보를 이용하여 후속의 수평 스케일링시 이용될 포지션 정보를 시점별로 산출하는 디스패리티/포지션 컨버터와; 상기 시점별포지션 정보와, 상기 수직 스케일링된 이미지를 각각 상기 시점별 디스패리티 정보를 이용하여 시점별로 워핑하는 워핑부와; 상기 시점별로 워핑된 이미지 및 포지션 정보의 홀을 필링하는 홀 필링부와; 상기 필링된 포지션 정보를 이용하여 상기 필링된 이미지를 시점별로 수평 스케일링하여 멀티뷰 이미지를 출력하는 수평 스케일러를 구비한다.
상기 수평 스케일러(제5 단계)는 상기 필링된 이미지의 각 픽셀 데이터를 출력 해상도에 대응하도록 맵핑할 때, 상기 필링된 포지션 정보에 따라 상기 각 픽셀의 데이터를 쉬프트시켜 맵핑한 다음, 상기 맵핑된 픽셀 데이터를 보간 처리함으로써, 상기 시점별로 수평 스케일링한다.
상기 디스패리티/포지션 컨버터(제2 단계)는 상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하고; 상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하고; 상기 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 상기 정수 부분을 상기 각 시점의 디스패리티 정보로 출력하며; 상기 소수 부분을 입출력 해상도 비율과 곱셈 연산한 후 반올림으로 정수화하여 상기 각 시점의 포지션 정보로 출력한다.
상기 디스패리티/포지션 컨버터(제2 단계)는 상기 수직 스케일링된 뎁스 이미지로부터 출력 해상도 기준의 디스패리티 정보를 시점별로 산출하고; 상기 출력 해상도 기준의 디스패리티 정보를 입출력 해상도 비율로 나눈 몫과 나머지를 입력 해상도 기준의 상기 디스패리티 정보와 포지션 정보로 각각 정의하여 출력한다.
상기 디스패리티/포지션 컨버터(제2 단계)는 상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하고; 상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하고; 상기 임시 디스패리티 정보를 상기 입출력 해상도 비율과 곱셈 연산 후 반올림으로 정수화하여 상기 출력 해상도 기준의 디스패리티 정보를 시점별로 산출한다.
상기 홀 필링부(제4 단계)는 상기 시점별로 워핑된 이미지와, 상기 시점별로 워핑된 포지션 정보 각각에서 상기 워핑 수행으로 발생된 정보가 없는 홀을, 그 홀과 인접한 유효 데이터를 이용한 선형 보간 처리를 통해 필링한다.
상기 수평 스케일러(제 5단계)는 아래 수학식과 같이, 상기 필링된 이미지에서의 인접한 원본 픽셀 데이터(RGB'warp before, RGB'warp next)와, 상기 인접한 원본 픽셀의 맵핑 위치를 각각 나타내는 포지션 정보(position'warp before, position'warp next)와 현재 픽셀의 위치(j)까지의 거리를 이용한 보간 처리를 통해 현재 픽셀의 데이터(RGB'scale j) 보간 처리하여 산출하고, 아래에서 rate는 입출력 해상도 비율을 나타낸다.
<수학식>
Figure 112013120786811-pat00001
본 발명에 따른 멀티뷰 이미지 생성 방법 및 장치는 출력 해상도의 디스패리티 정보 중 일부를 워핑 후 수평 스케일링을 위한 보간 처리시 입력 픽셀의 배치 정보로 적용함으로써 수평 스케일링으로 인한 워핑 아티팩트 증가를 최소화할 수 있다.
즉, 본 발명에 따른 멀티뷰 이미지 생성 방법 및 장치는 입력 해상도의 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 정수 부분은 워핑을 위한 디스패리티 정보로 이용하고, 소수 부분은 수평 스케일링을 위한 보간용 배치 정보인 포지션 정보로 이용함으로써 워핑 후 수평 스케일링으로 인한 워핑 아티팩트 증가를 최소화할 수 있다.
도 1은 본 발명과 관련된 선행 기술의 DIBR 처리 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 DIBR 처리 장치의 멀티뷰 이미지 생성 과정을 보여주는 예시 도면이다.
도 3은 도 1에 도시된 DIBR 처리 장치의 스케일링으로 인한 워핑 해상도의 손실을 보여주는 예시 도면이다.
도 4는 본 발명의 실시예에 따른 DIBR 처리 장치를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 DIBR 처리 방법을 단계적으로 설명하는 흐름도이다.
도 6은 도 4에 도시된 DIBR 처리 장치의 디스패리티 정보를 이용한 이미지 스케일링 과정을 보여주는 예시 도면이다.
도 7은 선행 기술과 본 발명에 따른 DIBR 처리 장치의 적용 결과를 비교하여 보여주는 예시 도면이다.
본 발명의 실시예에 대한 설명에 앞서서, 본 발명과 관련된 DIBR 알고리즘의 이해를 돕기 위하여 선행 기술을 먼저 설명하기로 한다.
도 1은 본 발명과 관련된 선행 기술의 DIBR 처리 장치를 나타낸 블록도이고, 도 2는 도 1에 도시된 DIBR 처리 장치의 멀티뷰 이미지 생성 과정을 보여주는 예시 도면이다.
도 1 및 도 2를 참조하면, 수직 스케일러(Vertical Scaler; 10)는 외부로부터 입력된 2D 이미지와, 뎁스 이미지를 수직 방향으로 스케일링하여 도 2(a) 및 도 2(b)에 도시된 같이 수직 방향으로 스케일링된 2D 이미지 및 뎁스 이미지를 출력한다.
디스패리티 컨버터(Disparity Converter; 20)는 수직 스케일러(10)로부터 출력된 뎁스 이미지를 이용하여 멀티뷰의 시점별로 각 픽셀이 쉬프트하는 정도를 나타내는 디스패리티 정보를 산출하여 출력한다.
워핑부(Warping Unit; 30)는 수직 스케일러(10)로부터 출력된 2D 이미지를 디스패리티 컨버터(20)로부터 출력된 시점별 디스패리티 정보를 이용하여 워핑함으로써 시점별 워핑된 이미지를 출력한다. 도 2(c)는 워핑부(30)에서 출력되는 멀티뷰 중 하나의 워핑된 이미지를 보여주고 있다.
홀 필링부(Hole Filling Unit; 40)는 워핑부(30)로부터 출력된 워핑된 이미지에 존재하는, 정보가 없는 홀에 적절한 정보를 삽입하여 출력한다. 도 2(d)는 도 2(c)에 도시된 워핑된 이미지에서 홀 필링된 이미지를 보여주고 있다.
수평 스케일러(Horizontal Scaler; 50)는 홀 필링부(40)로부터 출력된 이미지를 수평 방향으로 스케일링함으로써 출력 해상도에 맞는 멀티뷰 이미지를 생성하여 출력한다. 도 2(e)는 도 2(d)에 도시된 이미지가 수평 방향으로 스케일링된 이미지를 보여주고 있다.
이와 같이, 선행 기술의 DIBR 처리 장치는 수직 스케일링을 먼저하고 워핑된 이미지를 생성한 다음, 수평 스케일링을 수행함으로써, 워핑 이전에 수평 스케일링을 실시하는 구조보다 워핑부(30)의 로직 사이즈를 감소시킬 수 있는 장점이 있다.
그러나, 선행 기술의 DIBR 처리 장치는 워핑 이후에 수평 스케일링을 실시함으로써 표현 가능한 워핑 디스패리티의 해상도가 감소하여 도 2(e)에 도시된 바와 같이 수평 해상도의 증가에 따라 워핑 아티팩트가 도드라지는 문제점이 있다.
도 2(e)를 참조하면, 출력 이미지가 원본 대비 수평 4배로 스케일링된 것으로, 원본에서는 1픽셀, 2픽셀 등의 쉬프트로 표현되던 디스패리티 정보가 수평 스케일링에 의해 출력 해상도를 기준으로 4픽셀, 8픽셀 등과 같이 4배수로 증가함으로써, 세로 디테일이 많은 텍스처에서 상하 디스패리티 편차가 수평 스케일링으로 증가하여 워핑 아티팩트가 증가하였음을 알 수 있다.
도 3은 선행 기술의 DIBR 처리 기술에서 출력 수평 해상도가 입력 수평 해상도의 4배일 때, 수평 스케일링으로 인한 워핑 해상도의 손실 예를 나타낸 도면이다.
도 3(a)를 참조하면, 디스패리티를 수평 스케일링한 이후에 스케일링된 디스패리티에 따라 RGB 데이터를 워핑하는 경우, 워핑 디스패리티가 1픽셀 단위로 표현되므로, 입출력 이미지에서 디스패리티 차이가 없음을 알 수 있다.
반면에, 도 3(b)를 참조하면, 도 1에 도시된 선행 기술의 DIBR 처리 장비는 입력 이미지와 동일한 수평 해상도를 갖는 멀티뷰 이미지를 워핑으로 생성한 후 수평 스케일링을 하기 때문에 출력 해상도를 기준으로 디스패리티가 4픽셀 단위로 표현됨으로써 표현 가능한 워핑 디스패리티의 해상도가 감소하였음을 알 수 있고, 이로 인하여 워핑 아티팩트가 증가할 수 있음을 알 수 있다.
예를 들어, 입력 이미지에서 수직선을 표현하는 제1 및 제2 픽셀에 대한 디스패리티로 입력 해상도 기준 5.4 픽셀의 제1 디스패리티와, 5.7 픽셀의 제2 디스패리티가 각각 산출되었다고 가정하는 경우, 소수 부분의 반올림을 통해 제1 디스패리티는 5 픽셀로 출력되고, 제2 디스패리티는 6픽셀로 출력된다. 출력된 제1 및 제2 디스패리티 각각에 따라 제1 픽셀은 5픽셀 쉬프트시켜 워핑하고, 제2 픽셀은 6픽셀 쉬프트시켜 워핑한 후, 워핑된 제1 및 제2 픽셀을 수평 4배로 스케일링하면, 제1 픽셀은 원본 대비 5*4=20픽셀이 쉬프트하지만, 제2 픽셀은 6*4=24픽셀이 쉬프트되어 출력 이미지에 표현됨으로써 출력 이미지에서 워핑 아티팩트가 증가하는 문제점이 있다.
이러한 선행 기술의 아티팩트 문제를 해결하기 위하여, 본 발명은 디스패리티 정보 중 일부를 워핑 후 수평 스케일링을 위한 보간 처리시 입력 픽셀의 배치 정보로 적용함으로써 수평 스케일링으로 인한 워핑 아티팩트 증가를 최소화하고자 한다.
다시 말하여, 본 발명은 입력 해상도의 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 정수 부분은 워핑을 위한 디스패리티 정보로 이용하고, 소수 부분은 수평 스케일링을 위한 보간용 배치 정보인 포지션 정보로 이용함으로써 워핑 아티팩트 증가를 최소화할 수 있다.
이하, 본 발명의 바람직한 실시예에 따른 DIBR 알고리즘에 대하여 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 DIBR 처리 장치를 나타낸 블록도이다.
도 4에 도시된 DIBR 처리 장치는 입력 2D 이미지와 뎁스 이미지의 수직 스케일링을 위한 수직 스케일러(110), 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보와, 보간 배치 정보에 해당하는 포지션 정보를 시점별로 산출하여 출력하는 디스패리티/포지션 컨버터(120)와, 포지션 정보 및 수직 스케일링된 2D 이미지를 각각 디스패리티 정보를 이용하여 워핑하는 워핑부(130), 워핑 수행으로 발생된 워핑된 이미지 및 워핑된 포지션 정보의 홀을 필링하는 홀 필링부(140), 필링된 이미지의 각 픽셀을 출력 해상도에 맞게 맵핑할 때 상기 필링된 포지션 정보에 따라 기준 위치로부터 쉬프트시켜 맵핑한 다음 보간 처리를 통해 수평 스케일링하는 수평 스케일러(150)를 구비한다.
도 5는 본 발명의 실시예에 따른 DIBR 처리 방법을 단계적으로 나타낸 흐름도이다.
도 4 및 도 5을 참조하면, 수직 스케일러(110)는 외부로부터 입력된 2D 이미지와, 뎁스 이미지를 수직 방향으로 스케일링하여 수직 스케일링된 2D 이미지 및 뎁스 이미지를 출력한다. (S110)
디스패리티/포지션 컨버터(120)는 수직 스케일러(110)로부터 출력된 뎁스 이미지를 이용하여 멀티뷰의 각 시점에서 각 픽셀이 쉬프트하는 정도를 나타내는 디스패리티 정보와, 이후 수평 스케일러(150)에서 수평 스케일링을 위한 보간 처리시 이용될 포지션 정보를 시점별로 산출하여 출력한다. (S120)
디스패리티/포지션 컨버터(120)는 수직 스케일링된 뎁스 이미지로부터 좌안 영상 및 우안 영상의 대응점 위치 차이를 나타내는 초기 디스패리티 정보를 입력 해상도 기준으로 산출한 다음, 초기 디스패리티 정보를 멀티뷰 각각에 대응하도록 분할하여 각 시점의 임시 디스패리티 정보를 산출한다. 이때, 초기 디스패리티 정보의 분할에 의해 각 시점의 임시 디스패리티 정보는 정수 부분과 소수 부분을 포함할 수 있다.
디스패리티/포지션 컨버터(120)는 각 시점의 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리한 다음, 정수 부분은 입력 해상도 기준인 각 시점의 디스패리티 정보(disparity')로 정의하여 출력하고, 소수 부분은 입출력 해상도 비율(ratehorizontal)과 곱셈 연산한 후 반올림으로 정수화하여 각 시점의 포지션 정보(position')로 정의하여 출력할 수 있다.
한편, 디스패리티/포지션 컨버터(120)는 수직 스케일링된 뎁스 이미지로부터 출력 해상도 기준인 디스패리티 정보(diparityout)를 시점별로 산출하고, 아래 수학식 1을 이용하여 입력 해상도 기준의 디스패리티 정보(disparity') 및 포지션 정보(position')를 시점별로 산출할 수 있다.
Figure 112013120786811-pat00002
상기 수학식 1과 같이, 디스패리티/포지션 컨버터(120)는 출력 수평 해상도(xsizeout)에 대한 입력 수평 해상도(xsizein)를 연산하여 입출력 해상도 비율(ratehorizontal)을 산출한다. 이를 위하여, 디스패리티/포지션 컨버터(120)는 입출력 수평 해상도 정보(xsizein, xsizeout)를 외부로부터 공급받는다.
디스패리티/포지션 컨버터(120)는 출력 해상도의 디스패리티 정보(diparityout)를 해상도 비율(ratehorizontal)로 나눈 몫과 나머지를 입력 해상도의 디스패리티 정보(disparity') 및 포지션 정보(position')로 각각 정의하여 출력한다. 디스패리티 정보(disparity') 및 포지션 정보(position')는 각 시점에서 픽셀별로 산출된다.
예를 들어, 도 6(a)과 같이 수평 방향으로 나란한 6개의 픽셀(P1~P6)에 대하여, 출력 해상도의 디스패리티 정보(disparityout) 0, 1, 2, 3, 4, 5가 산출되고, 입출력 해상도 비율(ratehorizontal) 4인 경우를 가정하면, 출력 해상도의 디스패리티 정보(disparityout) 0, 1, 2, 3, 4, 5 각각을 입출력 해상도 비율(ratehorizontal) 4로 나누어 몫에 해당하는 0, 0, 0, 0, 1, 1은 픽셀(P1~P6) 각각의 디스패리티 정보(disparity')로 출력되고, 나머지에 해당하는 0, 1, 2, 3, 0, 1은 픽셀(P1~P6) 각각의 포지션 정보(position')로 출력된다.
디스패리티/포지션 컨버터(120)는 수직 스케일링된 뎁스 이미지로부터 입력 해상도를 기준으로 소수 부분까지 포함하는 각 시점의 임시 디스패리티 정보를 산출한 다음, 그 임시 디스패리티 정보를 상기 해상도 비율(ratehorizontal)과 곱셈한 후 반올림으로 정수화함으로써 상기 출력 해상도의 디스패리티 정보(disparityout)를 산출할 수 있다.
예를 들면, 수직 스케일링된 뎁스 이미지로부터 입력 해상도를 기준으로, 한 시점에 대한 한 픽셀의 초기 디스패리티 정보 1.2가 산출된 경우를 가정하면, 초기 디스패리티 정보 1.2를 입출력 해상도 비율(ratehorizontal) 4와 곱셈 연산하고(1.2*4=4.8), 그 결과(4.8)를 반올림으로 정수화함으로써 제6 픽셀(P6)에 해당하는 출력 해상도의 디스패리티 정보(disparityout) 5를 산출할 수 있다.
한편, 디스패리티/포지션 컨버터(120)는 먼저 설명한 바와 같이 상기 수학식 1을 사용하지 않고도, 초기 디스패리티 정보 1.2를 정수 부분과 소수 부분으로 분리하여, 정수 부분 1은 제6 픽셀(P6)의 디스패리티 정보(disparity')로 정의하여 출력하고, 소수 부분 0.2는 상기 입출력 해상도 비율(ratehorizontal) 4와 곱셈 연산한(0.2*4=0.8) 후 반올림하여 정수화한 1를 제6 픽셀(P6)의 포지션 정보(position')로 정의하여 출력할 수 있다.
워핑부(130)는 수직 스케일러(10)로부터 출력된 2D 이미지(RGB)를 디스패리티/포지션 컨버터(120)로부터 출력된 시점별 디스패리티 정보(disparity')에 따라 워핑하여 각 시점의 워핑된 이미지를 출력한다. 또한, 워핑부(130)는 디스패리티/포지션 컨버터(120)로부터 출력된 시점별 포지션 정보(position')를 시점별 디스패리티 정보(disparity')에 따라 워핑하여 각 시점의 워핑된 포지션 정보를 출력한다. (S130)
예를 들면, 도 6(b)에 도시된 바와 같이 워핑부(130)는 2D 이미지(RGB) 및 포지션 정보(position')를 디스패리티 정보(disparity')에 따라 쉬프트시켜 워핑하고, 워핑된 이미지(RGBwarp) 및 워핑된 포지션 정보(positionwarp)를 출력한다.
홀 필링부(140)는 워핑부(130)의 워핑 수행으로 워핑된 이미지 및 워핑된 포지션 정보에서 발생하는, 정보가 없는 홀에 적절한 정보를 채워서 출력한다. (S140)
홀 필링부(140)는 아래 수학식 2와 같이 홀에 양측으로 인접한 유효 데이터(before, next)를 선형 보간 처리함으로써, 도 6(c)에 도시된 바와 같이 정보가 없는 홀(P5)에 적절한 이미지 데이터(RGB'warp)와 적절한 포지션 정보(position'warp)를 채울 수 있다.
Figure 112013120786811-pat00003
상기 수학식 2에서 L은 홀의 길이, d는 보간 처리에 의해 채워질 홀에서 다음 유효 데이터까지의 거리, before/next는 각각 이전/다음 유효 데이터 값을 의미한다.
수평 스케일러(150)는 워핑된 포지션 정보(position'warp)를 고려하여 홀 필링부(140)로부터의 워핑된 이미지(RGB'warp)를 출력 해상도에 맞게 수평 방향으로 스케일링함으로써 멀티뷰 이미지(view1~view5)를 생성하여 출력한다. (S150)
수평 스케일러(150)는 홀 필링부(140)로부터의 워핑된 이미지를 출력 해상도에 맞게 수평 방향으로 스케일링하여 각 픽셀의 데이터를 배치할 때, 워핑된 포지션 정보(position'warp)에 따라 각 픽셀의 데이터를 기준 위치(R)로부터 쉬프트시켜 배치한 후 인접한 픽셀 데이터를 이용하여 선형 보간 처리함으로써 원하는 출력 해상도의 디스패리티(disparityout)가 반영되고 수평 방향으로 스케일링된 이미지를 시점별로 출력한다.
예를 들면, 도 6(d)에 도시된 바와 같이, 수평 스케일러(150)는 워핑된 이미지(RGB'warp)를 수평 방향으로 스케일링하여 원본 픽셀(P1~P6)을 각각 맵핑할 때, 원본 픽셀(P1~P6) 각각을 기준 위치(R1~R6) 각각으로부터 포지션 정보(0, 1, 2, 3, 2, 0) 각각에 따라 수평 방향으로 쉬프트시켜 맵핑한다.
수평 스케일러(150)는 아래의 수학식 3과 같이 상기 필링된 이미지에서의 인접한 원본 픽셀 데이터(RGB'warp before, RGB'warp next)와, 상기 인접한 원본 픽셀의 맵핑 위치를 각각 나타내는 포지션 정보(position'warp before, position'warp next)와 현재 픽셀의 위치(j)까지의 거리를 이용한 보간 처리를 통해 현재 픽셀의 데이터(RGB'scale j)를 산출할 수 있다.
Figure 112013120786811-pat00004
도 7은 선행 기술과 본 발명에 따른 DIBR 처리 장치의 적용 결과를 비교하여 보여주는 예시 도면이다.
도 7을 참조하면, 선행 기술에 따른 DIBR 처리 장치의 수평 스케일러(50)에서 (a)에 도시된 바와 같이 워핑된 이미지만 이용하여 출력 해상도에 맞게 수평 스케일링한 후 보간 처리를 수행하면, 워핑 디스패리티 해상도 저하로 인하여 (b)에 도시된 바와 같이 상하 디스패리티 편차로 인한 아티팩트가 눈에 띄는 것을 알 수 있다.
반면에, 본 발명에 따른 DIBR 처리 장치는 수평 스케일러(150)가 (c)에 도시된 바와 같이 수평 스케일링 단계에서 디스패리티 정보 중 일부(소수 부분)을 이용한 포지션 정보에 따라 워핑된 이미지의 원본 픽셀을 쉬프트시켜 배치한 다음 보간 처리를 수행함으로써, (d)에 도시된 바와 같이 (c)에 도시된 선행 기술보다 아티팩트를 감소시킬 수 있음을 알 수 있다.
이와 같이, 본 발명에 따른 DIBR 처리 장치 및 방법은 출력 해상도의 디스패리티 정보 중 일부를 워핑 후 수평 스케일링을 위한 보간 처리시 입력 픽셀의 배치 정보로 적용함으로써 수평 스케일링으로 인한 워핑 아티팩트 증가를 최소화할 수 있다.
즉, 본 발명에 따른 DIBR 처리 장치 및 방법은 입력 해상도의 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 정수 부분은 워핑을 위한 디스패리티 정보로 이용하고, 소수 부분은 수평 스케일링을 위한 보간용 배치 정보인 포지션 정보로 이용함으로써 워핑 후 수평 스케일링으로 인한 워핑 아티팩트 증가를 최소화할 수 있다.
이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
10, 110: 수직 스케일러 20: 디스패리티 컨버터
30, 130: 워핑부 40, 140: 홀 필링부
50, 150: 수평 스케일러 120: 디스패리티/포지션 컨버터

Claims (14)

  1. 입력 이미지와 뎁스 이미지를 수직 스케일링하는 제1 단계와;
    상기 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보를 시점별로 산출하고, 상기 시점별 디스패리티 정보를 이용하여 후속의 수평 스케일링시 이용될 포지션 정보를 시점별로 산출하는 제2 단계와;
    상기 시점별 포지션 정보와, 상기 수직 스케일링된 이미지를 각각 상기 시점별 디스패리티 정보를 이용하여 시점별로 워핑하는 제3 단계와;
    상기 시점별로 워핑된 이미지 및 포지션 정보의 홀을 필링하는 제4 단계와;
    상기 필링된 포지션 정보를 이용하여 상기 필링된 이미지를 시점별로 수평 스케일링하여 멀티뷰 이미지를 출력하는 제5 단계를 포함하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  2. 청구항 1에 있어서,
    상기 제5 단계는
    상기 필링된 이미지의 각 픽셀 데이터를 출력 해상도에 대응하도록 맵핑할 때, 상기 필링된 포지션 정보에 따라 상기 각 픽셀의 데이터를 쉬프트시켜 맵핑한 다음, 상기 맵핑된 픽셀 데이터를 보간 처리함으로써, 상기 시점별로 수평 스케일링하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  3. 청구항 1에 있어서,
    상기 제2 단계는
    상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하는 단계와;
    상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하는 단계와;
    상기 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 상기 정수 부분을 상기 각 시점의 디스패리티 정보로 출력하는 단계와;
    상기 소수 부분을 입출력 해상도 비율과 곱셈 연산한 후 반올림으로 정수화하여 상기 각 시점의 포지션 정보로 출력하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  4. 청구항 1에 있어서,
    상기 제2 단계는
    상기 수직 스케일링된 뎁스 이미지로부터 출력 해상도 기준의 디스패리티 정보를 시점별로 산출하는 단계와;
    상기 출력 해상도 기준의 디스패리티 정보를 입출력 해상도 비율로 나눈 몫과 나머지를 입력 해상도 기준의 상기 디스패리티 정보와 포지션 정보로 각각 정의하여 출력하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  5. 청구항 4에 있어서,
    상기 제2 단계는
    상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하는 단계와;
    상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하는 단계와;
    상기 임시 디스패리티 정보를 상기 입출력 해상도 비율과 곱셈 연산 후 반올림으로 정수화하여 상기 출력 해상도 기준의 디스패리티 정보를 시점별로 산출하는 단계를 추가로 포함하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  6. 청구항 1에 있어서,
    상기 제4 단계는
    상기 시점별로 워핑된 이미지와, 상기 시점별로 워핑된 포지션 정보 각각에서 상기 워핑 수행으로 발생된 정보가 없는 홀을, 그 홀과 인접한 유효 데이터를 이용한 선형 보간 처리를 통해 필링하는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
  7. 청구항 1에 있어서,
    상기 제5 단계는
    아래 수학식과 같이, 상기 필링된 이미지에서의 인접한 원본 픽셀 데이터(RGB'warp before, RGB'warp next)와, 상기 인접한 원본 픽셀의 맵핑 위치를 각각 나타내는 포지션 정보(position'warp before, position'warp next)와 현재 픽셀의 위치(j)까지의 거리를 이용한 보간 처리를 통해 현재 픽셀의 데이터(RGB'scale j) 보간 처리하여 산출하고, 아래에서 rate는 입출력 해상도 비율을 나타내는 것을 특징으로 하는 멀티뷰 이미지 생성 방법.
    <수학식>
    Figure 112013120786811-pat00005
  8. 입력 이미지와 뎁스 이미지를 수직 스케일링하는 수직 스케일러와;
    상기 수직 스케일링된 뎁스 이미지로부터 디스패리티 정보를 시점별로 산출하고, 상기 시점별 디스패리티 정보를 이용하여 후속의 수평 스케일링시 이용될 포지션 정보를 시점별로 산출하는 디스패리티/포지션 컨버터와;
    상기 시점별포지션 정보와, 상기 수직 스케일링된 이미지를 각각 상기 시점별 디스패리티 정보를 이용하여 시점별로 워핑하는 워핑부와;
    상기 시점별로 워핑된 이미지 및 포지션 정보의 홀을 필링하는 홀 필링부와;
    상기 필링된 포지션 정보를 이용하여 상기 필링된 이미지를 시점별로 수평 스케일링하여 멀티뷰 이미지를 출력하는 수평 스케일러를 구비하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  9. 청구항 8에 있어서,
    상기 수평 스케일러는
    상기 필링된 이미지의 각 픽셀 데이터를 출력 해상도에 대응하도록 맵핑할 때, 상기 필링된 포지션 정보에 따라 상기 각 픽셀의 데이터를 쉬프트시켜 맵핑한 다음, 상기 맵핑된 픽셀 데이터를 보간 처리함으로써, 상기 시점별로 수평 스케일링하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  10. 청구항 8에 있어서,
    상기 디스패리티/포지션 컨버터는
    상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하고;
    상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하고;
    상기 임시 디스패리티 정보를 정수 부분과 소수 부분으로 분리하여 상기 정수 부분을 상기 각 시점의 디스패리티 정보로 출력하며;
    상기 소수 부분을 입출력 해상도 비율과 곱셈 연산한 후 반올림으로 정수화하여 상기 각 시점의 포지션 정보로 출력하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  11. 청구항 8에 있어서,
    상기 디스패리티/포지션 컨버터는
    상기 수직 스케일링된 뎁스 이미지로부터 출력 해상도 기준의 디스패리티 정보를 시점별로 산출하고;
    상기 출력 해상도 기준의 디스패리티 정보를 입출력 해상도 비율로 나눈 몫과 나머지를 입력 해상도 기준의 상기 디스패리티 정보와 포지션 정보로 각각 정의하여 출력하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  12. 청구항 11에 있어서,
    상기 디스패리티/포지션 컨버터는
    상기 수직 스케일링된 뎁스 이미지로부터 입력 해상도 기준으로 초기 디스패리티 정보를 산출하고;
    상기 초기 디스패리티 정보를 분할하여 임시 디스패리티 정보를 시점별로 산출하고;
    상기 임시 디스패리티 정보를 상기 입출력 해상도 비율과 곱셈 연산 후 반올림으로 정수화하여 상기 출력 해상도 기준의 디스패리티 정보를 시점별로 산출하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  13. 청구항 8에 있어서,
    상기 홀 필링부는
    상기 시점별로 워핑된 이미지와, 상기 시점별로 워핑된 포지션 정보 각각에서 상기 워핑 수행으로 발생된 정보가 없는 홀을, 그 홀과 인접한 유효 데이터를 이용한 선형 보간 처리를 통해 필링하는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
  14. 청구항 8에 있어서,
    상기 수평 스케일러는
    아래 수학식과 같이, 상기 필링된 이미지에서의 인접한 원본 픽셀 데이터(RGB'warp before, RGB'warp next)와, 상기 인접한 원본 픽셀의 맵핑 위치를 각각 나타내는 포지션 정보(position'warp before, position'warp next)와 현재 픽셀의 위치(j)까지의 거리를 이용한 보간 처리를 통해 현재 픽셀의 데이터(RGB'scale j) 보간 처리하여 산출하고, 아래에서 rate는 입출력 해상도 비율을 나타내는 것을 특징으로 하는 멀티뷰 이미지 생성 장치.
    <수학식>
    Figure 112013120786811-pat00006
KR1020130167648A 2013-12-30 2013-12-30 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치 KR102180068B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130167648A KR102180068B1 (ko) 2013-12-30 2013-12-30 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167648A KR102180068B1 (ko) 2013-12-30 2013-12-30 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150078359A KR20150078359A (ko) 2015-07-08
KR102180068B1 true KR102180068B1 (ko) 2020-11-17

Family

ID=53790906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167648A KR102180068B1 (ko) 2013-12-30 2013-12-30 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102180068B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784482B (zh) * 2020-04-16 2022-11-21 鈺立微電子股份有限公司 多深度資訊之處理方法與處理系統
KR102582498B1 (ko) * 2021-10-18 2023-09-26 라이트비전 주식회사 높은 분별력을 가지는 tem sadp 영상 생성 시스템 및 방법
WO2023068632A1 (ko) * 2021-10-18 2023-04-27 라이트비전 주식회사 딥러닝을 이용하여 가상 tem sadp 영상과 실제 tem sadp 영상을 상호 변환시키는 회절 패턴 영상 변환 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387243A4 (en) * 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
KR20130142887A (ko) * 2012-06-20 2013-12-30 삼성전자주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20150078359A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
US8488869B2 (en) Image processing method and apparatus
EP2306729B1 (en) Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
US20110026809A1 (en) Fast multi-view three-dimensional image synthesis apparatus and method
US8817073B2 (en) System and method of processing 3D stereoscopic image
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
US20100103249A1 (en) Stereoscopic image format with depth information
JP5625979B2 (ja) 表示装置および表示方法ならびに表示制御装置
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP2013038602A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20120287252A1 (en) Image display device, image display system, and image display method
EP2490173B1 (en) Method for processing a stereoscopic image comprising a black band and corresponding device
KR102180068B1 (ko) 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
Tam et al. Depth image based rendering for multiview stereoscopic displays: Role of information at object boundaries
KR101202014B1 (ko) 영상 처리장치, 입체영상 디스플레이 장치 및 이를 이용한 영상 처리방법
Jiufei et al. A new virtual view rendering method based on depth image
US10009590B2 (en) Method for reducing the size of a stereoscopic image
JP2013090129A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20120087867A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20120072786A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
JP5492311B2 (ja) 視点画像生成装置、視点画像生成方法及び立体画像印画装置
KR101526868B1 (ko) 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
Jeong et al. 11.3: Depth‐Image‐Based Rendering (DIBR) Using Disocclusion Area Restoration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant