KR102080611B1 - 이미지 생성 장치 및 방법 - Google Patents

Abstract

본 발명의 이미지 생성 장치 및 방법에 관한 것으로, 그 이미지 생성 장치는 원본 이미지의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵의 히스토그램을 계산하는 뎁쓰 히스토그램 생성부; 상기 뎁쓰 맵의 히스토그램의 도수를 미리 설정된 문턱값과 비교하여 그 비교 결과를 바탕으로 상기 뎁쓰 맵의 최대 뎁쓰와 최소 뎁쓰를 계산하는 최소/최대 뎁쓰 계산부; 상기 히스토그램에서 최대 뎁쓰가 미리 정해진 상위 제한값 보다 크면 상기 최대 뎁쓰를 상기 상위 제한값으로 조정하고 소정의 컨버전스 보다 크고 상기 최대 뎁쓰 보다 작은 상위 뎁쓰들을 상기 최대 뎁쓰의 조정 비율 만큼 조정하여 제한된 뎁쓰 맵을 생성하는 정규화 커브 맵핑부; 및 상기 원본 이미지와 상기 제한된 뎁쓰 맵을 입력 받아 상기 제한된 뎁쓰 맵에서 정의된 뎁쓰 만큼 상기 원본 이미지 대비 픽셀 간격을 갖는 새로운 이미지의 데이터를 생성하는 이미지 생성부를 포함한다.

Description

이미지 생성 장치 및 방법{DEVICE AND METHOD OF GENERATING A NEW IMAGE FOR MULTI-VIEW AUTOSTEREOSCOPIC IMAGE DISPLAY}

본 발명은 멀티 뷰 무안경 입체 영상 표시장치에 적용 가능한 이미지 생성 장치 및 방법에 관한 것이다.

텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있는 시대가 도래하였다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다.

무안경 입체 영상 표시장치는 표시패널의 화면과 렌즈(또는 베리어) 사이의 배면 거리, 렌즈의 초점 거리, 픽셀의 피치(pitch), 렌즈 피치(또는 베리어의 피치), 시청자의 좌안과 우안 간의 거리 등을 고려하여 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)가 계산된다.

무안경 입체 영상 표시장치는 멀티 뷰 시스템으로 구현될 수 있다. 멀티 뷰 시스템은 최적 시청 거리(OVD)에서 시청자가 여러 위치에서 입체 영상을 볼 수 있도록 픽셀 어레이(PIX)에 멀티 뷰 영상을 기입한다. 도 1에는 제1 내지 제6 뷰 이미지들이 하나의 화면에 표시된 예이다. 이웃한 뷰 이미지들은 객체의 입체감을 정량적으로 표현한 뎁쓰에 의해 정의된 픽셀들 간의 간격만큼 동일 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. 예를 들어, 시청자는 특정 위치에서 화면을 바라 볼 때 좌안으로 제2 뷰 이미지(2)를 표시하는 픽셀들을 보게 되고, 우안으로 제1 뷰 이미지(1)를 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 시청자가 어느 한 쪽으로 이동하면, 좌안으로 제5 뷰 이미지(5)를 표시하는 픽셀들을 보게 되고, 우안으로 제4 뷰 이미지(4)를 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다.

멀티 뷰 이미지 생성 방법은 주로 원본 2D 이미지의 뎁쓰 맵(Depth map)을 바탕으로 다른 뷰 이미지들을 생성하는 방법이 이용되고 있다. 예를 들어, 멀티 뷰 이미지 생성 방법은 제1 뷰 이미지가 원본 2D 이미지일 때, 제1 뷰 이미지의 뎁쓰 맵을 생성하고 그 뎁쓰 맵에서 정의된 뎁쓰 만큼 원본 2D 이미지 대비 픽셀 간격을 갖는 제2 뷰 이미지를 생성한다.

뎁쓰 맵은 도 1 (A)과 같은 원본 2D 이미지의 뎁쓰를 분석하여 입체감을 계조로 표현한 이미지이다. 도 1의 (B)는 (A) 이미지의 뎁쓰 맵이다. 원본 2D 이미지에서 컨버전스(또는 영점, CONVERGENCE) 앞으로 돌출되는 객체는 컨버전스로부터 멀어질수록 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 컨버전스 뒤의 객체는 컨버전스로부터 멀어질수록 낮은 계조(또는 블랙 계조)로 표현된다. 컨버전스의 계조는 표현 가능한 계조 범위에서 중간 계조에 해당하는 기준 계조값 예를 들면 "128"일 수 있다. 멀티 뷰 이미지 생성 방법 뎁쓰 맵을 바탕으로 계조값에 따라 동일 객체의 픽셀 데이터를 시프트시켜 도 2 (C)와 같은 새로운 뷰 이미지를 생성한다. 컨버전스로부터 먼 객체일수록 원본 2D 이미지와 새로운 뷰 이미지 간에 디스패리티(disparity)가 커져 픽셀 데이터 시프트양이 커진다. 그런데, 도 2 (C)와 같이 컨버전스로부터 먼 뎁쓰 값의 경우에 이미지들 간에 큰 디스패리티로 인하여 이미지의 초점이 맞지 않아 입체감이 저하될 수 있다. 이를 개선하기 위하여, 멀티 이미지 생성 방법은 도 3과 같이 최대 디스패리티값이 미리 설정된 임계값을 넘지 않도록 뎁쓰 맵에서 최대 계조 값을 제한할 수 있다. 이러한 방법은 클립핑(clipping) 기법으로 알려져 있다. 도 3 (A)는 뎁스 클립핑 기법으로 최대 뎁쓰가 수정된 뎁쓰 맵이고, 도 3 (B)는 수정된 뎁쓰 맵을 바탕으로 생성된 새로운 이미지이다. 도 2 (C)와 도 3 (B)의 비교를 통해 알 수 있듯이, 표시패널 특성에 따라 최대 뎁쓰를 적절히 제한하면 새로운 이미지의 입체감이 개선되는 효과가 있다. 여기서, 표시패널 특성은 표시패널에서 표현할 수 있는 뎁쓰 범위를 의미한다.

그런데 종래의 클립핑 기법은 도 2 (B)와 도 3 (A)의 비교에서 알 수 있는 바와 같이 제한된 최대 뎁쓰 이상의 뎁쓰값들이 같은 뎁쓰 값으로 수정된다. 이 때문에 종래의 클립핑 기법은 입체감을 디테일하게 표현하지 못하는 문제가 있다. 도 4 (A) 및 (B)에서 원으로 표시된 부분은 종래의 클립핑 기법에 의해 뎁쓰 맵에서 동일 계조로 변환되어 디스패리티가 사라진 부분이다.

본 발명은 원본 2D 이미지의 뎁쓰 맵을 바탕으로 새로운 뷰 이미지를 생성하고 클립핑 기법으로 최대 뎁쓰를 제한하는 경우에 입체감을 디테일하게 표현할 수 있는 이미지 생성 장치 및 방법을 제공한다.

본 발명의 이미지 생성 장치는 원본 이미지의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵의 히스토그램을 계산하는 뎁쓰 히스토그램 생성부; 상기 뎁쓰 맵의 히스토그램의 도수를 미리 설정된 문턱값과 비교하여 그 비교 결과를 바탕으로 상기 뎁쓰 맵의 최대 뎁쓰와 최소 뎁쓰를 계산하는 최소/최대 뎁쓰 계산부; 상기 히스토그램에서 최대 뎁쓰가 미리 정해진 상위 제한값 보다 크면 상기 최대 뎁쓰를 상기 상위 제한값으로 조정하고 소정의 컨버전스 보다 크고 상기 최대 뎁쓰 보다 작은 상위 뎁쓰들을 상기 최대 뎁쓰의 조정 비율 만큼 조정하여 제한된 뎁쓰 맵을 생성하는 정규화 커브 맵핑부; 및 상기 원본 이미지와 상기 제한된 뎁쓰 맵을 입력 받아 상기 제한된 뎁쓰 맵에서 정의된 뎁쓰 만큼 상기 원본 이미지 대비 픽셀 간격을 갖는 새로운 이미지의 데이터를 생성하는 이미지 생성부를 포함한다.

본 발명의 이미지 생성 방법은 원본 이미지의 뎁쓰 맵을 생성하는 단계; 상기 뎁쓰 맵의 히스토그램을 계산하는 단계; 상기 뎁쓰 맵의 히스토그램의 도수를 미리 설정된 문턱값과 비교하여 그 비교 결과를 바탕으로 상기 뎁쓰 맵의 최대 뎁쓰와 최소 뎁쓰를 계산하는 단계; 상기 히스토그램에서 최대 뎁쓰가 미리 정해진 상위 제한값 보다 크면 상기 최대 뎁쓰를 상기 상위 제한값으로 조정하고 소정의 컨버전스 보다 크고 상기 최대 뎁쓰 보다 작은 상위 뎁쓰들을 상기 최대 뎁쓰의 조정 비율 만큼 조정하여 제한된 뎁쓰 맵을 생성하는 단계; 및 상기 원본 이미지와 상기 제한된 뎁쓰 맵을 입력 받아 상기 제한된 뎁쓰 맵에서 정의된 뎁쓰 만큼 상기 원본 이미지 대비 픽셀 간격을 갖는 새로운 이미지의 데이터를 생성하는 단계를 포함한다.

본 발명은 원본 2D 이미지의 뎁쓰 맵을 바탕으로 새로운 뷰 이미지를 생성하고 클립핑 기법으로 최대 뎁쓰를 제한하는 경우에 원본 뎁쓰 맵의 최대 뎁쓰와 최소 뎁쓰의 조정 비율 만큼 나머지 뎁쓰들을 조정한다. 그 결과, 본 발명은 최대 뎁쓰와 최소 뎁쓰를 클립핑 기법으로 제한할 때 입체감 손실 없이 입체 영상을 디테일하게 표현할 수 있다.

도 1은 무안경 입체 영상 표시장치에서 멀티 뷰 이미지들을 보여 주는 도면이다.
도 2는 종래의 멀티 뷰 이미지 생성 방법에 의해 생성된 뎁쓰 맵과 그 뎁쓰 맵을 바탕으로 생성된 이미지를 보여 주는 도면이다.
도 3은 도 2에 도시된 뎁쓰 맵을 종래의 클립핑 기법으로 수정하고 수정된 뎁쓰 맵을 바탕으로 생성된 이미지를 보여 주는 도면이다.
도 4는 종래의 클립핑 기법에서 디스패리티가 사라진 부분을 보여 주는 도면이다.
도 5는 원본 뎁쓰 맵에 대한 종래 기술의 클립핑 알고리즘과 본 발명의 뎁쓰 데이터 정규화 방법을 적용한 실험 결과를 보여 주는 도면이다.
도 6은 원본 뎁쓰 맵에 대한 히스토그램 계산 방법을 예시한 도면이다.
도 7은 본 발명의 실시예에 따른 뎁쓰 데이터 정규화 방법으로 나타내는 도면이다.
도 8은 원본 뎁쓰 맵에 대한 종래 기술의 클립핑 기법과 본 발명의 뎁쓰 데이터 정규화 방법의 비교 실험 결과를 보여 주는 도면이다.
도 9는 본 발명의 실시예에 따른 뎁쓰 데이터의 정규화 장치를 나타낸다.
도 10은 도 9에 도시된 뎁쓰 정규화 생성부를 상세히 보여 주는 도면이다.
도 11은 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 보여 주는 도면이다.
도 12는 멀티 뷰 무안경 입체 영상 표시장치의 렌즈를 보여 주는 단면도이다.
도 13은 멀티 뷰 무안경 입체 영상 표시장치의 베리어를 보여 주는 단면도이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소자들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

실시예 설명에 앞서 실시예에서 이용되는 일부 용어들에 대하여 정의하면 다음과 같다.

디스패리티(disparity)는 양안 시차로서 시청자의 좌안과 우안에 맺히는 두 개의 이미지에서 나타나는 객체(object)의 위치 차이를 의미한다. 본 발명은 좌안에서 보이는 픽셀 데이터와 우안에서 보이는 픽셀 데이터의 시프트(shift) 양으로 디스패리티를 구현한다.

본 발명은 제로 디스패리티(zero disparity)에 해당하는 뎁쓰 데이터의 계조를 컨버전스(CONVERGENCE)로 정의한다. 그리고 본 발명은 표시패널에서 표현할 수 있는 뎁쓰 범위 내에서 디스패리티 상위 한계 값과 하위 한계값을 각각 Limit_depth_U, Limit_depth_L로 표기한다. 이하의 실시예에서, 컨버전스(CONVERGENCE), 디스패리티 상위 한계 값(Limit_depth_U), 디스패리티 상위 한계 값과 하위 한계값(Limit_depthL) 각각의 계조를 CONVERGENCE = 128, Limit_depth_U = 188, Limit_depth_L = 108로 가정한다. 한편, CONVERGENCE, Limit_depth_U, Limit_depth_L는 표시패널 특성에 따라 달라지므로 특정 값들로 한정되지 않는다는 것에 주의하여야 한다.

본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 원본 2D 이미지의 입력 뎁쓰의 분포 범위가 넓어 클립핑(clipping)으로 인한 뎁쓰 손실이 불가피한 경우에, 뎁쓰를 표시패널에서 표현할 수 있는 최대 디스패리티(disparity) 이하로 컨버전스(CONVERGENCE)를 제외한 뎁쓰 데이터를 정규화(normalize)한다.

도 5 (A)는 원본 2D 이미지에서 추출한 원본 뎁쓰 맵이다. 원본 뎁쓰 맵의 숫자는 계조이다. 원본 뎁쓰 맵에서 컨버전스의 계조 보다 큰 계조는 표시패널의 화면 앞으로 돌출되는 디스패리티를 가지며 그 값이 커질수록 더 앞으로 돌출된다. 원본 뎁쓰 맵에서 컨버전스의 계조 보다 낮은 계조는 화면 뒤로 멀어지는 디스패리티를 갖는다. 컨버전스(convergence), 상위 제한 값(Limit_depth_U), 하위 제한값(Limit_depth_L) 각각의 계조를 CONVERGENCE = 128, Limit_depth_U = 188, Limit_depth_L = 108로 할 때, 원본 뎁쓰 맵에서 적색 숫자로 나타낸 계조 4, 88, 96, 194, 252 등은 Limit_depth_U = 188, Limit_depth_L = 108을 벗어난 뎁쓰의 계조이다.

도 5 (A)와 같이 원본 뎁쓰 맵에서 대부분의 뎁쓰가 표시패널 특성에 따라 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L) 밖에 존재하면, 종래의 클립핑 기법은 도 5 (B)와 같이 Limit_depth_U 이상의 뎁쓰를 Limit_depth_U = 188으로 조정하고, Limit_depth_L 이하의 뎁쓰를 Limit_depth_L = 108로 조정하기 때문에 경계부분과 같이 디테일한 부분에서 입체감이 사라진다.

이에 비하여, 본 발명은 뎁쓰 맵의 히스토그램(histogram) 분석을 통해 객체(object)로 판단할 수 있는 원본 뎁쓰 맵의 최대 뎁쓰(Depth_max)와 최소 뎁쓰(Depth_min)를 계조값으로 산출한 후, 최대 뎁쓰(Depth_max)와 최소 뎁쓰(Depth_min)가 표시패널 특성에 따라 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L) 밖에 존재하면 뎁쓰 데이터를 정규화하여 뎁쓰의 계조 분포를 조정한다. 뎁쓰 데이터의 정규화 방법은 컨버전스(CONVERGENCE)를 기준으로 그 보다 작은 경우와 큰 경우로 나누어 독립적으로 실시된다. 본 발명은 도 5 (A)의 원본 뎁쓰 맵의 Depth_max = 252, Depth_min = 4 이기 때문에 Depth_max = 252를 Limit_depth_U = 188으로 조정하고, Depth_min은 = 4를 Limit_depth_L = 108로 조정하고 그 조정 비율 만큼 CONVERGENCE 를 제외한 나머지 뎁쓰 데이터의 계조들을 조정한다. CONVERGENCE와 Depth_max 사이의 상위 뎁쓰 계조들은 Depth_max가 Limit_depth_U으로 조정된 비율 만큼 조정된다. CONVERGENCE와 Depth_min 사이의 하위 뎁쓰 계조들은 Depth_min이 Limit_depth_L로 조정된 비율 만큼 조정된다. 상위 뎁쓰는 원본 뎁쓰 맵에서 CONVERGENCE 보다 크고 Depth_max보다 작은 뎁쓰이다. 하위 뎁쓰는 원본 뎁쓰 맵에서 CONVERGENCE 보다 작고 Depth_min 보다 큰 뎁쓰이다.

도 5 (C)는 도 5 (A)의 원본 뎁쓰 맵에 대하여 본 발명의 뎁쓰 데이터 정규화 방법을 적용한 결과를 나타낸다. 도 5 (C)에서 원본 뎁쓰 맵의 계조 252는 계조 188로, 계조 4는 108로 조정되고 그 조정 비율 만큼 나머지 계조들이 조정되어 있다.

본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵의 Depth_max와 Depth_min를 계산하기 위하여, 원본 뎁쓰 맵의 히스토그램을 계산한다. 히스토그램은 도 6과 같이 뎁쓰 데이터의 계조별 누적 분포이다. 본 발명의 뎁쓰 데이터 정규화 방법은 미리 설정된 문턱값과 히스토그램의 도수를 비교하여 문턱값 보다 큰 상위 도수 중에서 최대 도수의 뎁쓰 계조를 Depth_max으로 판단하고, 문턱값 보다 큰 하위 도수 중에서 최소 도수의 뎁쓰 계조를 Depth_min으로 판단한다. 여기서, 도수(accumulate number of depth)는 뎁쓰의 계조별 출현 빈도를 더해 나간 합을 의미한다. 예를 들어, 원본 뎁쓰 맵의 히스토그램에서 계조 255가 10개, 계조 254가 8개, 계조 253이 20개이면, 계조 255부터 계조 253 level까지 출현 빈도를 합산한 도수는 38이다. 계조 252, 계조 251로 갈수록 누적 도수는 증가한다. 상위 도수는 히스토그램에서 CONVERGENCE 보다 큰 도수들이다. 하위 도수는 히스토그램에서 CONVERGENCE 보다 작은 도수들이다. 이 방법은 노이즈와 같은 뎁쓰 추정 오차 발생으로 인하여 Depth_max와 Depth_min가 급변할 수 있다.

본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵의 노이즈로 인하여 Depth_max와 Depth_min이 급격히 증가 또는 감소화는 현상을 방지하기 위하여 수학식 1과 같이 히스토그램의 도수와 비교되는 문값을 2 개의 문턱값으로 적용한다. 현재 프레임에 입력된 원본 뎁쓰 맵의 Depth_max(이하, "

"라 함)가 이전 프레임에 입력된 원본 뎁쓰 맵의 Depth_max (이하, "

"라 함) 이하이면, 히스토그램의 도수와 비교되는 문턱값을 제1 문턱값(TH1)으로 적용한다. 반면에,

가

보다 클 경우, 히스토그램의 도수와 비교되는 문턱값을 제2 문턱값(TH2)으로 적용한다. 제2 문턱값(TH2)은 제1 문턱값 보다 큰 값으로 정해진다. 마찬가지로, 현재 프레임에 입력된 원본 뎁쓰 맵의 Depth_min(이하, "

"라 함)가 이전 프레임에 입력된 원본 뎁쓰 맵의 Depth_min (이하, "

"라 함) 이하이면, 히스토그램의 도수와 비교되는 문턱값을 제1 문턱값(TH1)으로 적용한다. 반면에,

가

보다 클 경우, 히스토그램의 도수와 비교되는 문턱값을 제2 문턱값(TH2)으로 적용한다.

수학식 1에서,

와

는 현재 프레임에 입력된 원본 뎁쓰 맵에 대한 히스토그램의 상위 도수와 하위 도수이다.

는 제1 문턱값(TH1) 보다 큰 상위 도수(

) 중에서 최대 도수의 뎁쓰 계조(i)이다.

는 제2 문턱값(TH2) 보다 큰 도수(

) 중에서 최대 도수의 뎁쓰 계조(i)이다. 따라서,

는 히스토그램의 최대 계조 = 255 부터 그 보다 낮은 계조로 도수가 누적할 때 제1 문턱값(TH1) 또는 제2 문턱값(TH2) 보다 큰 히스토그램의 도수 중에서 최대 도수의 뎁쓰 계조로 선택된다.

는 제1 문턱값(TH1) 보다 큰 하위 도수(

) 중에서 최소 도수의 뎁쓰 계조(j)이다.

는 제2 문턱값(TH2) 보다 큰 하위 도수(

) 중에서 최소 도수의 뎁쓰 계조(j)이다. 따라서,

는 히스토그램의 최소 계조 = 0 부터 그 보다 높은 계조로 도수가 누적할 때 제1 문턱값(TH1) 또는 제2 문턱값(TH2) 보다 큰 히스토그램의 도수 중에서 최소 도수의 뎁쓰 계조로 선택된다.

도 6은 원본 뎁쓰 맵에 대한 히스토그램 계산 방법을 예시한 도면이다.

도 6 (A)는 이전 프레임에 입력된 원본 뎁쓰 맵에서 제1 문턱값(TH1)으로 정해진

의 예이다. 이 예에서 제1 문턱값(TH1)은 2,000이다.

는 제1 문턱값 보다 큰 히스토그램의 도수 중에서 최대 도수의 계조 200으로 계산되었다. 도 6 (B)는 현재 프레임에 입력된 원본 뎁쓰 맵에서 제1 문턱값(TH1)으로 정해진

의 예이다. 제1 문턱값(TH1) 보다 큰 히스토그램의 도수 중에서 최대 도수가 도 6 (B)와 같이

보다 작으면 문턱값을 제1 문턱값(TH1)으로 적용한다. 도 6 (B)에서,

의 계조 = 180

제1 문턱값(TH1) 보다 큰 히스토그램의 도수 중에서 최대 도수가 도 6 (C)와 같이

보다 크면면 문턱값을 제2 문턱값(TH1)으로 변경한다. 도 6 (C)에서 TH2 = TH1 + 1,000 = 3,000 이다. 도 6 (C)는 노이즈로 인하여 현재 입력된 원본 뎁쓰 맵에서 상위 계조에 노이즈가 포함된 예이다. 이 경우에, 제1 문턱값을 적용하면

는 230 으로 급증하지만, 본 발명은 문턱값을 제2 문턱값(TH2)으로 변경하여

을 210으로 조정하여

의 급격한 변화를 방지한다.

본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵의 히스토그램을 계산하고 히스토그램의 도수를 문턱값과 비교하여 Depth_max와 Depth_min을 계산한 후에, 원본 뎁쓰 맵의 뎁쓰 범위(Depth_max ~ Depth_min)가 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L)를 넘는지 판단한다. 원본 뎁쓰 맵의 뎁쓰 범위(Depth_max ~ Depth_min)가 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L)를 넘으면, 본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵의 뎁쓰 데이터를 도 7 및 수학식 2와 같은 방법으로 정규화한다.

도 7을 참조하면, 본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵의 뎁쓰 범위(Depth_max ~ Depth_min)가 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L)를 넘으면, Depth_max를 Limit_depth_U로 조정하고, Depth_min을 Limit_depth_L으로 조정하고 그 조정 비율 만큼 CONVERCENCE 이외의 뎁쓰 계조들을 조정한다. 도 7 (A)에서 검정색 실선은 원본 뎁쓰 맵의 히스토그램이고, 청색 점선은 본 발명의 뎁쓰 데이터 정규화 방법에 의해 원본 뎁쓰 맵의 뎁쓰 분포 범위가 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L) 이내로 축소된 예를 나타낸다. 본 발명의 뎁쓰 데이터 정규화 방법은 CONVERGENCE 보다 큰 상위 뎁쓰 계조들을 Depth_max의 조정 비율 만큼 조정하고, CONVERGENCE 보다 작은 하위 뎁쓰 계조들을 Depth_min의 조정 비율 만큼 조정하여 축소된 뎁쓰 범위가 원본 뎁쓰 맵의 뎁쓰 맵과 같은 유사한 단계로 뎁쓰가 세분화되어 있다. 그 결과, 본 발명의 뎁쓰 데이터 정규화 방법은 원본 뎁쓰 맵을 미리 정해진 뎁쓰 범위(Limit_depth_U ~ Limit_depth_L)로 클립핑하더라도 원본의 뎁쓰 맵 만큼 입체감을 세밀하게 표현할 수 있다.

도 7 (B)는 본 발명의 뎁쓰 데이터 정규화 방법을 알기 쉽게 표현하기 위하여 실예를 나타낸 도면이다.

도 7 (B)를 참조하면, 원본 뎁쓰 맵의 Depth_max = 252는 제한된 Limit_depth_U = 188로 조정되고, 원본 뎁쓰 맵의 Depth_min = 4는 제한된 Limit_depth_L = 108로 조정된다. 이러한 조정 비율 만큼 원본 뎁쓰 맵에서 CONVERGENCE = 128을 제외한 상위 뎁쓰들과 하위 뎁쓰들의 계조가 조정된다. 예를 들어, 원본 뎁쓰 맵의 하위 뎁쓰 계조 96은 Depth_min이 Limit_depth_L로 조정되는 비율 만큼 정규화되어 123으로 조정된다.

도 7 (B)에서, Depth_min을 A, 원본 뎁쓰 맵의 계조 96을 B, Limit_depth_L을 C, 원본 뎁쓰 맵의 계조 96이 조정될 뎁쓰의 계조를 D라 하고, CONVERGENCE의 위치를 O로 나타내면 AO : CO = BO : DO의 비례식이 성립한다. AO, BO, CO, DO는 CONVERGENCE와의 거리이므로 D에 대해 비례식을 정리하면 수학식 2와 같이 표현된다. 도 7 (B)에서 좌측 비례식을 정리하면 원본 뎁쓰 맵의 계조 96은 123으로 조정된다. 원본 뎁쓰의 상위 뎁쓰 144는 동일한 비례 관계를 바탕으로 136으로 조정된다. 본 발명의 뎁쓰 데이터 정규화 방법은 CONVERGENCE 이외의 모든 뎁쓰들의 계조에 대해 변환을 수행하기 때문에 원본 [도 5] (c)와 같이 원본 뎁쓰 맵과 유사한 계조차를 표현할 수 있다.

여기서,

은 CONVERGENCE와

사이의 상위 뎁쓰에 대한 정규화 결과이고,

은 CONVERGENCE와

사이의 하위 뎁쓰에 대한 정규화 결과이다.

도 8은 원본 뎁쓰 맵에 대한 종래 기술의 클립핑 기법과 본 발명의 뎁쓰 데이터 정규화 방법의 비교 실험 결과를 보여 주는 도면이다. 도 8에서 (A)는 원본 뎁쓰 맵이다. (B)는 원본 뎁쓰 맵(A)에 대하여 종래 기술의 클립핑 기법을 적용하여 원본 뎁쓰 맵의 뎁쓰를 조정한 실험 결과이다. (C)는 원본 뎁쓰 맵(A)에 대하여 본 발명의 뎁쓰 데이터 정규화 방법을 적용하여 원본 뎁쓰 맵의 뎁쓰를 조정한 실험 결과이다.

최상단의 첫 번째 뎁쓰 맵은 Depthmax와 Depthmin이 Limit_depth_U 과 Limit_depth_L을 벗어난 예이다. 이 경우에 종래 기술의 클립핑 기법을 적용하면 원본 뎁쓰 맵에서 뎁쓰 차이가 있던 객체들이 동일한 뎁쓰 값을 갖는 객체로 변하여 그 객체들 간에 입체감이 사라진다. 이에 비하여, 본 발명을 적용한 결과 원본 뎁쓰 맵과 유사한 뎁쓰 차로 객체들의 뎁쓰 차를 표현할 수 있다.

두 번째 뎁쓰 맵은 Depthmin이 Limit_depth_L을 벗어난 예이다. 세 번째 뎁쓰 맵은 Depthmax가 Limit_depth_U를 벗어난 예이다. 최하단위 네 번째 뎁쓰 맵은 Depthmax와 Depthmin이 Limit_depth_U 과 Limit_depth_L을 벗어나지 않은 예이기 때문에 원본 뎁쓰 맵, 종래 기술의 클립핑 기법 및 본 발명의 적용 결과가 모두 같다

도 9는 본 발명의 실시예에 따른 뎁쓰 데이터의 정규화 장치(100)를 나타낸다. 도 10은 도 9에 도시된 뎁쓰 정규화 생성부(104)를 상세히 보여 주는 도면이다.

도 9 및 도 10을 참조하면, 뎁쓰 데이터의 정규화 장치(100)는 뎁쓰 맵 생성부(102), 뎁쓰 정규화 생성부(104), 및 이미지 생성부(106)를 포함한다.

뎁쓰 맵 생성부(102)는 원본 2D 이미지를 분석하여 원본 뎁쓰 맵을 생성한다.

뎁쓰 정규화 생성부(104)는 뎁쓰 히스토그램 생성부(112), 최소/최대 뎁쓰 계산부(114), 및 정규화 커브 맵핑부(116)를 포함한다.

뎁쓰 히스토그램 생성부(112)는 원본 뎁쓰 맵의 히스토그램을 계산한다.

최소/최대 뎁쓰 계산부(114)는 원본 뎁쓰 맵의 히스토그램을 바탕으로 Depth_max와 Depth_min를 계산한다. 최소/최대 뎁쓰 계산부(114)는 전술한 바와 같이 Depth_max와 Depth_min의 급격한 변화를 방지하기 위하여 문턱값을 적응적으로 가변할 수 있다.

정규화 커브 맵핑부(116)는 원본 뎁쓰 맵의 히스토그램에서 Depth_max와 Depth_min이 미리 정해진 Limit_depth_U ~ Limit_depth_L을 벗어나는지를 판단한다. 정규화 커브 맵핑부(116)는 Depth_max가 Limit_depth_U 보다 크거나, Depth_min이 Limit_depth_L을보다 작으면 CONVERGENCE 이외의 상위 뎁쓰들과 하위 뎁쓰들을 조정하여 최대 뎁쓰와 최소 뎁쓰가 미리 정해진 범위 내로 제한된 뎁쓰 맵을 생성한다. 정규화 커브 맵핑부(116)는 원본 뎁쓰 맵의 Depth_max와 Depth_min이 Limit_depth_U ~ Limit_depth_L을 벗어나면, Depth_max와를 Limit_depth_U으로 조정하고 나머지 상위 뎁쓰들을 Depth_max의 조정 비율 만큼 조정하고 Depth_min을 Limit_depth_L으로 조정하고 나머지 하위 뎁쓰들을 Depth_min의 조정 비율만큼 조정하여 제한된 뎁쓰 맵을 생성한다. 정규화 커브 맵핑부(116)로부터 출력된 뎁쓰 맵은 이미지 생성부(106)에 입력된다.

이미지 생성부(106)는 원본 2D 이미지 데이터와 뎁쓰 정규화 생성부(104)에 의해 조정된 뎁쓰 맵을 입력 받는다. 이미지 생성부(106)는 원본 2D 이미지의 픽셀 데이터를 뎁스 맵에서 정의된 뎁쓰 만큼 시프트시켜 새로운 이미지의 데이터를 생성한다. 시청자는 원본 2D 이미지를 단안으로 보고 이미지 생성부(106)에 의해 생성된 새로운 이미지를 다른 단안으로 볼 때 뎁쓰 맵에서 정의된 뎁쓰 만큼 양안 시차를 갖는 입체 영상을 감상할 수 있다.

도 11은 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 보여 주는 도면이다. 도 12는 멀티 뷰 무안경 입체 영상 표시장치의 렌즈를 보여 주는 단면도이다. 도 13은 멀티 뷰 무안경 입체 영상 표시장치의 베리어를 보여 주는 단면도이다.

도 11 내지 도 13을 참조하면, 본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(10), 표시패널 구동부, 3D 광학소자(20), 3D 광학소자 구동부(21), 뎁쓰 데이터의 정규화 장치(100), 타이밍 콘트롤러(101) 등을 포함한다.

본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계방출 표시소자(Field Emission Display : FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광 다이오드 표시장치(Organic Light Emitting Display, OLED), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. 이 멀티 뷰 무안경의 입체 영상 표시장치는 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 멀티 뷰 포맷의 3D 영상 데이터를 표시한다.

표시패널(10)에는 데이터라인들(105)과 게이트라인들(또는 스캔라인들)(106)이 직교되고, 픽셀들이 매트릭스 형태로 배치된 픽셀 어레이(PIX)를 포함한다. 픽셀들 각각은 컬러 구현을 위하여 서로 다른 색의 서브 픽셀들을 포함할 수 있다. 픽셀 어레이(PIX)는 2D 모드에서 2D 영상 데이터를 표시하고, 3D 모드에서 멀티 뷰 포맷의 3D 영상 데이터를 표시한다.

표시패널 구동부는 표시패널(10)의 데이터라인들(105)에 2D/3D 영상의 데이터전압들을 공급하기 위한 데이터 구동회로(12)와, 표시패널(10)의 게이트라인들(106)에 게이트펄스(도는 스캔펄스)를 순차적으로 공급하기 위한 게이트 구동회로(13)를 포함한다. 이 표시패널 구동부는 3D 모드에서 멀티 뷰 포맷의 데이터로 입력된 3D 영상 데이터를 표시패널(10)의 픽셀들에 공간적으로 분산하여 기입한다.

데이터 구동회로(12)는 타이밍 콘트롤러(101)로부터 입력되는 디지털 비디오 데이터를 아날로그 감마전압으로 변환하여 데이터전압들을 발생하고 그 데이터전압을 표시패널(10)의 데이터라인들(15)에 공급한다. 게이트 구동회로(13)는 타이밍 콘트롤러(101)의 제어 하에 데이터라인들(15)에 공급되는 데이터전압과 동기되는 게이트펄스(또는 스캔펄스)를 게이트라인들(16)에 공급하고, 그 게이트펄스를 순차적으로 시프트시킨다.

3D 광학소자(20)는 도 12 및 도 13과 렌즈(LENTI)나 베리어(BAR)로 구현될 수 있다. 3D 광학소자(20)는 표시패널(10)의 앞이나 뒤에 접합되거나 혹은 표시패널(10)에 내장되어 3D 영상 데이터의 좌안 영상 데이터와 우안 영상 데이터의 광축을 분리한다. 스위쳐블 베리어(BAR)나 스위쳐블 렌즈(LENS)는 액정과 같은 복굴절 매질, 전극 등을 포함하고 3D 광학소자 구동부(21)에 의해 전기적으로 구동되어 좌안 영상과 우안 영상의 빛의 광축을 분리시킨다.

3D 광학소자(20)는 액정패널을 이용하여 전기적으로 제어되는 스위쳐블 베리어(switchable barrier)나 스위쳐블 렌즈(switchable lens)로 구현될 수 있다. 본원 출원인은 미국출원 13/077565, 미국출원 13/325272, 대한민국 출원 10-2010-0030531, 대한민국 출원 10-2010-0130547 등을 통해 스위쳐블 베리어와 스위쳐블 렌즈를 제안한 바 있다.

3D 광학소자 구동부(21)는 타이밍 콘트롤러(101)의 제어 하에 3D 광학소자(20)를 구동한다. 3D 광학소자(20)는 2D 모드에서 입사 광을 그대로 통과시킨다. 반면 3D 광학소자(20)는 3D 모드에서 도 12 및 도 13과 같이 멀티 뷰 영상들의 광축을 분리한다. 도 12 및 도 13은 3D 모드에서 4 뷰 영상이 픽셀 어레이에 표시된 예이다.

뎁쓰 데이터의 정규화 장치(100)는 도 5 내지 도 10과 같은 방법으로 원본 2D 이미지로부터 새로운 이미지를 생성한다.

타이밍 콘트롤러(101)는 호스트 시스템(300)으로부터 입력되는 2D 영상의 디지털 비디오 데이터(RGB)를 데이터 구동회로(12)에 공급한다. 그리고 타이밍 콘트롤러(101)는 3D 모드에서 뎁쓰 데이터의 정규화 장치(100)로부터 입력되는 원본 2D 이미지 데이터와 그와 다른 이미지 데이터를 입력 받아 미리 설정된 멀티 뷰 포맷으로 멀티 뷰 이미지의 디지털 비디오 데이터를 정렬하여 데이터 구동회로(12)에 공급한다. 타이밍 콘트롤러(101)는 2D/3D 입력 영상의 디지털 비디오 데이터(RGB)와 동기되어 호스트 시스템(300)로부터 입력된 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 메인 클럭 등의 타이밍신호를 수신한다. 타이밍 콘트롤러(101)는 수신된 타이밍 신호를 이용하여 표시패널 구동부(102, 103), 3D 광학소자 구동부(21) 각각의 동작 타이밍을 제어하고 그 구동부들의 동작 타이밍을 동기시키기 위한 타이밍 제어신호들을 발생한다. 타이밍 제어신호들은 데이터 구동회로(12)의 동작 타이밍을 제어하기 위한 소스 타이밍 제어신호(DDC), 게이트 구동회로(13)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호(GDC) 및 스위쳐블 3D 광학소자 제어신호(3DC) 등을 포함한다.

타이밍 콘트롤러(101)는 입력 영상의 프레임 레이트×N(N은 2 이상의 양의 정수) Hz의 주파수로 프레임 레이트를 높여 표시패널 구동부(102, 103)와 3D 광학소자 구동부(21)의 동작 주파수를 N 배 체배된 프레임 레이트로 제어할 수 있다. 입력 영상의 프레임 레이트(frame rate)는 NTSC(National Television Standards Committee) 방식에서 60Hz이며, PAL(Phase-Alternating Line) 방식에서 50Hz이다.

호스트 시스템(300)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나로 구현될 수 있다. 호스트 시스템(300)은 스케일러(scaler)를 이용하여 2D/3D 입력 영상의 디지털 비디오 데이터를 표시패널(PNL, 100)의 해상도에 맞는 포맷으로 변환하고 그 데이터와 함께 타이밍 신호를 타이밍 콘트롤러(101)로 전송한다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

10 : 표시패널 12 : 데이터 구동회로
13 : 게이트 구동회로 20 : 3D 광학소자
21 : 3D 광학소자 구동부 100 : 뎁쓰 데이터의 정규화 장치
101 : 타이밍 콘트롤러 102 : 뎁쓰 맵 생성부
104 : 뎁쓰 정규화 생성부 106 : 이미지 생성부
112 : 뎁쓰 히스토그램 생성부 114 : 최소/최대 뎁쓰 계산부
116 : 정규화 커브 맵핑부 300 : 호스트 시스템
LENTI : 렌즈(스위쳐블 렌즈) BAR : 베리어(스위쳐블 베리어

Claims (6)

1. 원본 이미지의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부;
   상기 뎁쓰 맵의 히스토그램을 계산하는 뎁쓰 히스토그램 생성부;
   상기 뎁쓰 맵의 히스토그램의 도수를 미리 설정된 문턱값과 비교하여 상기 문턱값 보다 큰 상위 도수 중에서 최대 도수의 뎁쓰 계조를 최대 뎁쓰로 계산하고, 상기 문턱값 보다 큰 하위 도수 중에서 최소 도수의 뎁쓰 계조를 최소 뎁쓰로 계산하는 최소/최대 뎁쓰 계산부;
   상기 히스토그램에서 최대 뎁쓰가 미리 정해진 상위 제한값 보다 크면 상기 최대 뎁쓰를 상기 상위 제한값으로 조정하고 소정의 컨버전스 보다 크고 상기 최대 뎁쓰 보다 작은 상위 뎁쓰들을 상기 최대 뎁쓰의 조정 비율 만큼 조정하여 제한된 뎁쓰 맵을 생성하는 정규화 커브 맵핑부; 및
   상기 원본 이미지와 상기 제한된 뎁쓰 맵을 입력 받아 상기 제한된 뎁쓰 맵에서 정의된 뎁쓰 만큼 상기 원본 이미지 대비 픽셀 간격을 갖는 새로운 이미지의 데이터를 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 이미지 생성 장치.
2. 제 1 항에 있어서,
   상기 정규화 커브 맵핑부는
   상기 최소 뎁쓰가 미리 정해진 하위 제한값 보다 작으면 상기 최소 뎁쓰를 상기 하위 제한값으로 조정하고 상기 컨버전스 보다 작고 상기 최소 뎁쓰 보다 큰 하위 뎁쓰들을 상기 최소 뎁쓰의 조정 비율 만큼 조정하여 상기 제한된 뎁쓰 맵을 생성하는 것을 특징으로 하는 이미지 생성 장치.
3. 삭제
4. 제 2 항에 있어서,
   상기 최소/최대 뎁쓰 계산부는
   현재 프레임에 입력된 원본 뎁쓰 맵의 히스토그램 분석 결과, 현재 프레임의 최대 뎁쓰가 이전 프레임의 최대 뎁쓰 이하이면 상기 문턱값을 제1 문턱값으로 적용하고,
   상기 현재 프레임의 최대 뎁쓰가 상기 이전 프레임의 최대 뎁쓰 보다 클 경우, 상기 문턱값을 상기 제1 문턱값 보다 큰 제2 문턱값으로 적용하는 것을 특징으로 하는 이미지 생성 장치.
5. 제 4 항에 있어서,
   상기 최소/최대 뎁쓰 계산부는
   상기 현재 프레임에 입력된 원본 뎁쓰 맵의 히스토그램 분석 결과, 상기 현재 프레임의 최소 뎁쓰가 상기 이전 프레임의 최소 뎁쓰 이하이면 상기 문턱값을 상기 제1 문턱값으로 적용하고,
   상기 현재 프레임의 최소 뎁쓰가 상기 이전 프레임의 최대 뎁쓰 보다 클 경우, 상기 문턱값을 상기 제2 문턱값으로 적용하는 것을 특징으로 하는 이미지 생성 장치.
6. 원본 이미지의 뎁쓰 맵을 생성하는 단계;
   상기 뎁쓰 맵의 히스토그램을 계산하는 단계;
   상기 뎁쓰 맵의 히스토그램의 도수를 미리 설정된 문턱값과 비교하여 상기 문턱값 보다 큰 상위 도수 중에서 최대 도수의 뎁쓰 계조를 최대 뎁쓰로 계산하고, 상기 문턱값 보다 큰 하위 도수 중에서 최소 도수의 뎁쓰 계조를 최소 뎁쓰로 계산하는 단계;
   상기 히스토그램에서 최대 뎁쓰가 미리 정해진 상위 제한값 보다 크면 상기 최대 뎁쓰를 상기 상위 제한값으로 조정하고 소정의 컨버전스 보다 크고 상기 최대 뎁쓰 보다 작은 상위 뎁쓰들을 상기 최대 뎁쓰의 조정 비율 만큼 조정하여 제한된 뎁쓰 맵을 생성하는 단계; 및
   상기 원본 이미지와 상기 제한된 뎁쓰 맵을 입력 받아 상기 제한된 뎁쓰 맵에서 정의된 뎁쓰 만큼 상기 원본 이미지 대비 픽셀 간격을 갖는 새로운 이미지의 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 생성 방법.

Images