KR20130061289A - Method of multi-view image formation and stereoscopic image display device using the same - Google Patents

Method of multi-view image formation and stereoscopic image display device using the same Download PDF

Info

Publication number
KR20130061289A
KR20130061289A KR1020110127515A KR20110127515A KR20130061289A KR 20130061289 A KR20130061289 A KR 20130061289A KR 1020110127515 A KR1020110127515 A KR 1020110127515A KR 20110127515 A KR20110127515 A KR 20110127515A KR 20130061289 A KR20130061289 A KR 20130061289A
Authority
KR
South Korea
Prior art keywords
image
reference point
luminance
data
disparity
Prior art date
Application number
KR1020110127515A
Other languages
Korean (ko)
Other versions
KR101869872B1 (en
Inventor
박명수
이재우
안충환
정보균
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110127515A priority Critical patent/KR101869872B1/en
Publication of KR20130061289A publication Critical patent/KR20130061289A/en
Application granted granted Critical
Publication of KR101869872B1 publication Critical patent/KR101869872B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3696—Generation of voltages supplied to electrode drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PURPOSE: A multi-view image generation method and a 3D image display device are provided to analyze a histogram of a luminance image of a depth map in case of a static image and select a reference point by using a histogram corresponding to user reference, thereby calculating a disparity based on the selected reference point. CONSTITUTION: A 3D image display device removes noise of an input image and a luminance image(S202). The 3D image display device analyzes a histogram of the luminance image of a depth map included in the input image(S203). The 3D image display device selects a reference point corresponding to a selected 3D effect and calculates predetermined intervals by using the maximal value of luminance data of the histogram, the reference point, and the number of disparities. The 3D image display device differently calculates the disparities per predetermined interval based on the reference point(S205). [Reference numerals] (S201) Convert an input image into a brightness and chrominance image; (S202) Remove noise; (S203) Select a reference point using a motion vector between a first block in an (n-1)-th period and a second block in an n-th period from the brightness image of a depth map according to depth perception selected by a user; (S204) Calculate a predetermined interval using the maximum value, a reference point, and the number of disparities in the second block; (S205) Calculate the disparity; (S206) Generate a multi-view image

Description

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치{METHOD OF MULTI-VIEW IMAGE FORMATION AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}Multi-view image generation method and three-dimensional image display device using the same {METHOD OF MULTI-VIEW IMAGE FORMATION AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}

본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
The present invention relates to a multiview image generation method for generating a multiview image using a 2D image and a depth map, and a stereoscopic image display apparatus using the same.

입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광을 바꿔서 표시하고 편광안경을 사용하여 입체영상을 구현하거나, 좌우 시차 영상을 시분할방식으로 표시하고 셔터안경을 사용하여 입체영상을 구현한다. 무안경방식은 일반적으로 패럴렉스 배리어, 렌티큘러 시트 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.The stereoscopic image display apparatus is divided into a binocular parallax technique and an autostereoscopic technique. The binocular parallax method uses a parallax image of the left and right eyes with a large stereoscopic effect, and there are glasses and no glasses, both of which are put to practical use. The spectacle method displays polarized light by changing polarization of left and right parallax images on a direct view display device or a projector and implements a stereoscopic image using polarized glasses, or displays a left and right parallax image in a time division method and implements a stereoscopic image using a shutter glasses. In the autostereoscopic method, an optical plate such as a parallax barrier and a lenticular sheet is generally used to realize a stereoscopic image by separating an optical axis of a parallax image.

안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하더라도 품질 높은 입체영상을 구현할 수 있지만, 무안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하여 입체영상을 구현할 경우 역입체시 영역에서 입체영상을 시청할 가능성이 커지므로, 입체영상의 품질이 저하되는 단점이 있다. 역입체시 영역은 시청자가 좌안으로 우안 영상을 보거나 우안으로 좌안 영상을 보게 되는 영역을 의미한다. 따라서, 무안경 방식의 입체영상 표시장치는 입체영상의 품질을 높이기 위해 멀티뷰(multi-view) 영상을 이용하여 입체영상을 구현한다. 멀티뷰 영상은 일반인의 양안 간격만큼 카메라들을 이격하고 객체에 대한 이미지를 촬영하여 생성한 영상이다. 멀티뷰 영상의 뷰(view)의 개수는 객체를 촬영하는 카메라들의 수에 의해 결정된다. 예를 들어, 3 대의 카메라들을 이용하여 객체를 촬영하는 경우, 멀티뷰 영상은 3 개의 뷰를 갖는다.Glasses-type stereoscopic image display device can realize high-quality stereoscopic image using only left eye image and right eye image, but autostereoscopic stereoscopic image display device realizes stereoscopic image using only left eye image and right eye image. Since the possibility of watching a stereoscopic image in a region becomes larger, there is a disadvantage in that the quality of the stereoscopic image is deteriorated. The inverted stereoscopic area refers to an area in which the viewer views the right eye image to the left eye or the left eye image to the right eye. Accordingly, the autostereoscopic 3D display device implements a 3D image using a multi-view image to improve the quality of the 3D image. The multi-view image is an image generated by capturing an image of an object and separating cameras by the binocular spacing of the general public. The number of views of the multiview image is determined by the number of cameras photographing the object. For example, when photographing an object using three cameras, the multiview image has three views.

한편, 3 개 이상의 뷰를 갖는 멀티뷰 영상을 생성하는 경우 좌안 영상과 우안 영상을 포함하는 3D 영상을 생성할 때보다 카메라들이 많이 필요하므로, 작업이 어려워지고 비용이 상승하는 문제가 있다. 이로 인해, 멀티뷰 영상으로 구현된 컨텐츠(contents)가 적다. 그러므로, 최근에는 카메라들을 이용하여 멀티뷰 영상을 생성하는 것이 아니라, 2D 영상 또는 좌안 영상과 우안 영상을 포함하는 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 알려져 있다.On the other hand, when generating a multi-view image having three or more views, more cameras are required than when generating a 3D image including a left eye image and a right eye image, and thus, the operation becomes difficult and the cost increases. As a result, there are few contents implemented as a multi-view image. Therefore, recently, a method of generating a multiview image using a 2D image or a 3D image including a left eye image and a right eye image is known, rather than generating a multiview image using cameras.

3D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 좌안 영상과 우안 영상으로부터 입체영상의 깊이 정보인 뎁스 맵(depth map)을 추출하고, 뎁스 맵의 깊이 정보를 이용하여 멀티 뷰 영상을 생성한다. 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 정확한 뎁스 맵을 추출할 수 있으므로 입체영상의 품질이 높다는 장점이 있으나, 좌안 영상과 우안 영상으로부터 뎁스 맵을 추출하는 알고리즘이 복잡하므로, 계산량이 많아 실시간으로 멀티뷰 영상을 생성하기는 어렵다는 단점이 있다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 2D 영상과 2D 영상으로부터 추출된 뎁스 맵을 입력받고, 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성한다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 멀티뷰 영상 생성 알고리즘이 간단하다는 장점이 있다. 따라서, 최근에는 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 제안되고 있다.When generating a multiview image using a 3D image, a depth map, which is depth information of a stereoscopic image, is extracted from a left eye image and a right eye image, and a multiview image is generated using depth information of the depth map. The method of generating a multi-view image using a 3D image has the advantage of high stereoscopic image quality since the accurate depth map can be extracted. However, since the algorithm for extracting the depth map from the left eye image and the right eye image is complicated, there is a large amount of computation. It is difficult to generate a multi-view image in real time. When the multiview image is generated using the 2D image, the depth map extracted from the 2D image and the 2D image is input, and the multiview image is generated using the 2D image and the depth map. The method of generating a multiview image using a 2D image has an advantage of a simple multiview image generation algorithm. Therefore, recently, a method of generating a multi-view image using a 2D image has been proposed.

2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법의 경우, 뎁스 맵의 뎁스로부터 디스패리티(disparity)를 산출시 기준점(baseline)에 따라 멀티뷰 영상의 입체감은 달라질 수 있다. 기준점보다 뎁스가 큰 경우 디스패리티는 양의 값을 가지며, 사용자는 표시패널 대비 앞쪽에 영상이 표시되는 것처럼 입체감을 느낄 수 있다. 또한, 뎁스 맵에서 기준점보다 뎁스가 작은 경우 디스패리티는 음의 값을 가지며, 사용자는 표시패널 대비 뒤쪽에 영상이 표시되는 것처럼 입체감을 느낄 수 있다. 하지만, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법의 경우, 기준점(baseline)이 고정되어 있으므로, 사용자의 입체감 기호를 전혀 반영할 수 없다는 문제가 있다. 한편, 디스패리티는 입체감을 형성하기 위해 2D 영상 데이터를 왼쪽 또는 오른쪽으로 쉬프트시키는 픽셀의 개수를 의미한다.
In the method of generating a multiview image using a 2D image, the stereoscopic effect of the multiview image may vary according to a baseline when calculating a disparity from a depth of a depth map. When the depth is larger than the reference point, the disparity has a positive value, and the user may feel a three-dimensional feeling as if an image is displayed in front of the display panel. In addition, when the depth is smaller than the reference point in the depth map, the disparity has a negative value, and the user may feel a 3D feeling as if an image is displayed behind the display panel. However, in the method of generating a multi-view image using a 2D image, since a baseline is fixed, there is a problem in that the user's stereoscopic symbol cannot be reflected at all. Meanwhile, the disparity refers to the number of pixels shifting the 2D image data to the left or the right to form a three-dimensional effect.

본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 사용자의 기호에 따라 입체감을 조정할 수 있는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치를 제공한다.
The present invention provides a multi-view image generation method that can adjust the three-dimensional effect according to the user's preference when generating a multi-view image by using the 2D image and the depth map, and a stereoscopic image display apparatus using the same.

본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하는 단계; 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하는 단계; 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출하는 단계를 포함한다.Multi-view image generation method according to an embodiment of the present invention comprises the steps of converting the input image is a side-by-side input of the 2D image and the depth map to the luminance and color difference image; Removing noise of the luminance image of the input image; Analyzing a histogram of the luminance image of the depth map; Selecting a reference point using the histogram according to a stereoscopic effect selected by a user using a user input device; Calculating a predetermined interval using a maximum value of luminance data of the histogram, the reference point, and the number of disparities to be applied when generating a multiview image; And calculating disparity differently at each predetermined interval based on the reference point.

본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계; 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및 상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출하는 단계를 포함한다.Multi-view image generation method according to an embodiment of the present invention comprises the steps of converting the input image is a side-by-side input of the 2D image and the depth map to the luminance and color difference image; Removing noise of the luminance image of the input image; A reference point is determined by using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in the luminance image of the depth map according to a stereoscopic feeling selected by a user input device. Selecting; Calculating a predetermined interval using the maximum value of the motion vector, the reference point, and the number of disparities to be applied when generating a multiview image; And calculating the disparity differently at each predetermined interval based on the reference point.

본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하고, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하며, 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하고, 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.According to an exemplary embodiment of the present invention, a stereoscopic image display device includes: a display panel including data lines, gate lines, and a plurality of pixels; Converts an input image in which a 2D image and a depth map are input side by side to a luminance and color difference image, removes noise of the luminance image of the input image, analyzes a histogram of the luminance image of the depth map, and the user inputs a user input device. A reference point is selected using the histogram according to the selected 3D effect, and a predetermined interval is calculated using the maximum value of the luminance data of the histogram, the reference point, and the number of disparities to be applied when generating the multiview image. A multi-view image generation unit configured to generate a multi-view image after differently calculating disparity at each predetermined interval based on the reference point; A data driver converting the multiview image data received from the multiview image generator into data voltages and outputting the data voltages to the data lines; And a gate driver configured to sequentially output gate pulses synchronized with the data voltages to the gate lines.

본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하고, 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하며, 상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
According to an exemplary embodiment of the present invention, a stereoscopic image display device includes: a display panel including data lines, gate lines, and a plurality of pixels; Converts an input image in which a 2D image and a depth map are input side by side to a luminance and color difference image, removes noise of the luminance image of the input image, and generates a luminance image of the depth map according to a stereoscopic feeling selected by a user input device. Select a reference point using a motion vector between the first block of the n-1 (n is a natural number) period and the second block of the nth frame period, and generate a maximum value of the motion vector, the reference point, and the multiview image. A multiview image generation unit configured to calculate a predetermined interval by using the number of disparities to be applied at the time, calculate the disparity differently at each predetermined interval based on the reference point, and generate a multiview image; A data driver converting the multiview image data received from the multiview image generator into data voltages and outputting the data voltages to the data lines; And a gate driver configured to sequentially output gate pulses synchronized with the data voltages to the gate lines.

본 발명은 정지 영상의 경우 뎁스 맵의 휘도 영상의 히스토그램을 분석하고 사용자의 기호에 따라 히스토그램을 이용하여 기준점을 선택하고, 동영상의 경우 뎁스 맵의 휘도 영상을 모션 벡터를 이용하여 기준점을 선택하며, 선택된 기준점에 기초하여 디스패리티를 산출한다. 그 결과, 본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 사용자의 기호에 따라 입체감을 조정할 수 있다.
The present invention analyzes the histogram of the luminance image of the depth map in the case of a still image, selects a reference point using a histogram according to a user's preference, and selects the reference point in the luminance image of a depth map using a motion vector, The disparity is calculated based on the selected reference point. As a result, the present invention can adjust the three-dimensional effect according to the user's preference when generating the multi-view image using the 2D image and the depth map.

도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 2는 2D 영상과 뎁스 맵을 포함하는 입력 영상의 일 예시도면.
도 3은 뎁스 맵의 히스토그램을 보여주는 일 예시도면.
도 4는 계조에 따른 디스패리티 산출 그래프를 보여주는 일 예시도면.
도 5는 제1 내지 제4 뷰를 포함하는 멀티뷰 영상을 보여주는 일 예시도면.
도 6은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 7은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도.1 is a flowchart illustrating a method of generating a multiview image according to a first embodiment of the present invention.
2 is an exemplary diagram of an input image including a 2D image and a depth map.
3 is an exemplary diagram showing a histogram of a depth map.
4 is an exemplary diagram illustrating a disparity calculation graph according to gray levels.
5 is an exemplary diagram illustrating a multiview image including first to fourth views.
6 is a flowchart illustrating a method of generating a multiview image according to a second embodiment of the present invention.
7 is a block diagram showing a stereoscopic image display device according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Component names used in the following description may be selected in consideration of ease of specification, and may be different from actual product part names.

도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 1을 참조하면, 본 발명의 제1 실시예는 정지 영상의 경우 입체감 형성의 기준이 되는 기준점(baseline)을 사용자의 기호에 따라 변경할 수 있는 멀티뷰 영상 생성방법에 관한 것이다. 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제7 단계(S101 내지 S107)를 포함한다.1 is a flowchart illustrating a method of generating a multiview image according to a first embodiment of the present invention. Referring to FIG. 1, the first embodiment of the present invention relates to a method of generating a multiview image in which a baseline, which is a reference for forming a stereoscopic effect, can be changed according to a user's preference in the case of a still image. The multi-view image generating method according to the first embodiment of the present invention includes first to seventh steps S101 to S107.

첫 번째로, 제1 단계(S101)는 2D 영상(image)과 뎁스 맵(depth map, 도면부호는 'depth')이 도 2와 같이 나란히(side by side) 입력되는 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 본 발명의 제1 실시예에서 입력 영상(input)은 RGB 데이터로 입력된 것을 중심으로 설명하였다. 즉, 제1 단계(S101)는 입력 영상(input)의 RGB 데이터를 휘도 및 색차 데이터(Y, U, V)로 변환함으로써, 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 입력 영상(input)의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환함으로써, 입력 영상(input)의 휘도 및 색차 영상이 산출된다.First, in step S101, a 2D image and a depth map (depth is denoted by 'depth') are input side by side as shown in FIG. 2. And convert the color difference image. In the first exemplary embodiment of the present invention, an input image is described based on input of RGB data. That is, the first step S101 converts the RGB data of the input image into luminance and color difference data Y, U, and V, thereby converting the input image into luminance and color difference image. Red data (R), green data (G), and blue data (B) of the input image are converted into luminance data (Y) using Equation 1, and color difference using Equation 2 and Equation 3. By converting the data U and V, the luminance and color difference image of the input image are calculated.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

수학식 1 내지 수학식 3에서, R은 적색 데이터, G는 녹색 데이터, B는 청색 데이터를 의미한다. 입력 영상(input)이 8비트(bits)의 데이터로 입력되는 경우, 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)는 0 내지 255 값으로 표현되므로, 휘도 및 색차 데이터(Y, U, V)는 0 내지 255 값으로 표현된다. (S101)In Equations 1 to 3, R denotes red data, G denotes green data, and B denotes blue data. When the input image is input as 8 bits of data, the red data R, the green data G, and the blue data B are represented by values of 0 to 255, so that luminance and color difference data ( Y, U, V) are represented by values of 0 to 255. (S101)

두 번째로, 제2 단계(S102)는 이미 알려진 공지의 필터를 이용하여 입력 영상(input)의 휘도 영상의 노이즈(noise)를 제거한다. 예를 들어, 입력 영상(input)의 노이즈는 미디언 필터(median filter)를 이용하여 제거될 수 있다. 미디언 필터를 이용하는 경우 m×n(m, n은 자연수) 마스크 내의 중심 화소의 휘도 데이터(Y)는 m×n 마스크 내의 휘도 데이터(Y)의 중간값으로 변환되므로, 입력 영상(input)의 휘도 영상은 노이즈 없이 스무드(smooth)하게 표현될 수 있다. 또한, 입력 영상(input)의 휘도 데이터(Y)의 노이즈는 민 필터(mean filter)를 이용하여 제거될 수 있다. 민 필터를 이용하는 경우, m×n 마스크 내의 중심 화소의 휘도 데이터(Y)는 m×n 마스크 내의 휘도 데이터(Y)의 평균값으로 변환되므로, 입력 영상(input)의 휘도 영상은 노이즈 없이 스무드하게 표현될 수 있다. (S102)Secondly, the second step S102 removes noise of the luminance image of the input image using a known filter. For example, noise of an input image may be removed using a median filter. In the case of using the median filter, the luminance data Y of the center pixel in the m × n mask (m, n is a natural number) is converted into an intermediate value of the luminance data Y in the m × n mask. The luminance image may be smoothly represented without noise. In addition, noise of the luminance data Y of the input image may be removed by using a mean filter. When the min filter is used, the luminance data Y of the center pixel in the m × n mask is converted into an average value of the luminance data Y in the m × n mask, so that the luminance image of the input image is smoothly expressed without noise. Can be. (S102)

세 번째로, 제3 단계(S103)는 뎁스 맵(depth)의 휘도 영상을 히스토그램(histogram) 분석한다. 도 3은 뎁스 맵(depth)의 휘도 영상을 히스토그램 분석한 일 예시도면이다. 도 3을 참조하면, 뎁스 맵(depth)의 휘도 데이터(Y)는 최소값인 '71'과 최대값인 '201' 사이에 분포된다. (S103)Third, the third step S103 analyzes the histogram of the luminance image of the depth map. 3 is a diagram illustrating a histogram of a luminance image of a depth map. Referring to FIG. 3, the luminance data Y of the depth map is distributed between a minimum value '71' and a maximum value '201'. (S103)

네 번째로, 제4 단계(S104)는 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 히스토그램을 이용하여 기준점(baseline)을 선택한다. 기준점(baseline)의 초기값은 히스토그램에서 상위 50%인 휘도 데이터(Y)로 설정된다. 기준점(baseline)이 히스토그램의 상위 50%보다 작은 휘도 데이터(Y)로 설정된다면, 사용자는 표시패널 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 기준점(baseline)이 히스토그램의 상위 50%보다 큰 휘도 데이터(Y)로 설정된다면, 사용자는 표시패널 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 따라서, 사용자가 입체감을 초기값보다 크게 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%보다 큰 휘도 데이터(Y)로 설정되고, 사용자가 입체감을 초기값으로 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%로 설정되며, 사용자가 입체감을 초기값보다 작게 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%보다 작은 휘도 데이터(Y)로 설정하면 된다.Fourthly, the fourth step S104 selects a baseline using a histogram according to the 3D effect selected by the user using the user input device. The initial value of the baseline is set to the luminance data Y which is the upper 50% in the histogram. If the baseline is set to the luminance data Y smaller than the upper 50% of the histogram, the user may feel that a lot of images are displayed behind the front of the display panel. If the baseline is set to the luminance data Y larger than the top 50% of the histogram, the user may feel that a lot of images are displayed in front of the back of the display panel. Therefore, if the user sets the three-dimensional effect larger than the initial value, the baseline is set to luminance data (Y) larger than the upper 50% of the histogram, and if the user sets the three-dimensional effect as the initial value, the baseline is the histogram. If the user sets the 3D effect to be smaller than the initial value, the baseline may be set to luminance data Y smaller than the upper 50% of the histogram.

예를 들어, 사용자 입력장치에는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들이 있고, 사용자는 상기 선택 버튼들 중에 어느 하나를 선택함으로써, 입체감을 조정할 수 있다. 사용자가 '입체감 상'을 선택한다면 기준점(baseline)은 히스토그램의 상위 60%인 휘도 데이터(Y)로 설정되고, 사용자가 '입체감 중'을 선택한다면 기준점(baseline)은 히스토그램의 상위 50%인 휘도 데이터(Y)로 설정되고, 사용자가 '입체감 하'를 선택한다면 기준점(baseline)은 히스토그램의 상위 40%인 휘도 데이터(Y)로 설정될 수 있다. 한편, 도 3에서는 기준점(baseline)이 히스토그램의 상위 50%인 '148'로 설정되었다. (S104)For example, the user input device includes selection buttons of 'Sensory image', 'in stereoscopic sense', and 'Stereoscopic sense', and the user may adjust the stereoscopic feeling by selecting any one of the selection buttons. If the user selects 'stereoscopic', the baseline is set to luminance data (Y), which is the top 60% of the histogram; if the user selects 'stereoscopic', the baseline is luminance, which is the top 50% of the histogram If the data Y is set and the user selects 'under stereoscopic', the baseline may be set to the luminance data Y which is the upper 40% of the histogram. Meanwhile, in FIG. 3, the baseline is set to '148', which is the top 50% of the histogram. (S104)

다섯 번째로, 디스패리티(disparity)는 휘도 데이터(Y)의 소정의 간격(G)마다 다르게 산출된다. 디스패리티는 입체감을 형성하기 위해 2D 영상(image)을 왼쪽 또는 오른쪽으로 쉬프트시킬 픽셀의 개수를 의미한다. 제5 단계(S105)는 수학식 4와 같이 기준점(baseline), 디스패리티의 개수(Ndis)를 이용하여 휘도 데이터(Y)의 소정의 간격(G)을 계산한다.Fifth, the disparity is calculated differently for each predetermined interval G of the luminance data Y. Disparity refers to the number of pixels to shift the 2D image to the left or right to form a three-dimensional effect. In a fifth step S105, a predetermined interval G of the luminance data Y is calculated using a baseline and the number Ndis of disparities as shown in Equation 4.

Figure pat00004
Figure pat00004

수학식 4에서, G는 휘도 데이터(Y)의 소정의 간격, Max는 휘도 데이터(Y)의 최대값, baseline은 기준점, Ndis는 디스패리티의 개수를 의미한다. 또한, 수학식 4에서,

Figure pat00005
는 휘도 데이터(Y)의 최대값(Max)과 기준점(baseline)의 차를 디스패리티의 개수(Ndis)로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 도 3과 같이 휘도 데이터(Y)의 최대값이 '201'이고, 기준점(baseline)이 '148'이며, 디스패리티의 개수(Ndis)가 '10'인 경우, 휘도 데이터(Y)의 소정의 간격(G)은 '[5.3]=5'로 산출된다. 한편, 디스패리티의 개수(Ndis)는 사전실험을 통해 미리 결정될 수 있다. (S105)In Equation 4, G denotes a predetermined interval of luminance data Y, Max denotes a maximum value of luminance data Y, baseline denotes a reference point, and Ndis denotes the number of disparities. In Equation (4)
Figure pat00005
Is a value obtained by dividing the difference between the maximum value Max of the luminance data Y and the baseline by the number Ndis of the disparities and omitting the decimal point. For example, as shown in FIG. 3, when the maximum value of the luminance data Y is '201', the baseline is '148', and the number Ndis of the disparities is '10', the luminance data Y The predetermined interval G is calculated as '[5.3] = 5'. Meanwhile, the number Ndis of the disparity may be predetermined through a pretest. (S105)

여섯 번째로, 제6 단계(S106)는 기준점(baseline)과 제5 단계(S105)에서 산출된 휘도 데이터(Y)의 소정의 간격(G)을 이용하여 뎁스 맵(depth)의 휘도 데이터(Y)로부터 디스패리티를 산출한다. 기준점(baseline)을 기준으로 휘도 데이터(Y)의 소정의 간격(G)마다 디스패리티를 다르게 산출한다. 휘도 데이터(Y)가 기준점(baseline)보다 큰 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 증가되도록 하고, 휘도 데이터(Y)가 기준점(baseline)보다 작은 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 감소되도록 한다. 도 4를 참조하여 설명하면, 소정의 간격(G)이 '5'인 경우, 기준점(baseline)인 휘도 데이터(Y)는 '148'이므로, '148'부터 '152'까지는 디스패리티가 '0'으로 산출되고, '153'부터 '157'까지는 디스패리티가 '1'로 산출되며, '158'부터 '162'까지는 디스패리티가 '2'로 산출된다. 또한, '143'부터 '147'까지는 디스패리티가 '-1'로 산출되고, '138'부터 '142'까지는 디스패리티가 '-2'로 산출되며, '133'부터 '137'까지는 디스패리티가 '-3'으로 산출된다. 도 4에서는 소정의 간격(G)마다 증가 또는 감소되는 소정의 값이 '1'인 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다. 한편, 디스패리티(disparity)는 물체(object)의 경우 양수로 산출되고, 배경(background)의 경우 음수로 산출될 수 있다. (S106)Sixth, the sixth step S106 is luminance data Y of the depth map using a predetermined interval G between the baseline and the luminance data Y calculated in the fifth step S105. Calculate the disparity. The disparity is calculated differently for each predetermined interval G of the luminance data Y based on the baseline. In the range where the luminance data Y is larger than the baseline, the disparity is increased by a predetermined value at every predetermined interval. In the range where the luminance data Y is smaller than the baseline, the disparity is at every predetermined interval. Allow to decrease by a predetermined value. Referring to FIG. 4, when the predetermined interval G is '5', since the luminance data Y that is the baseline is '148', the disparity is '0' from '148' to '152'. The disparity is calculated as '1' from '153' to '157', and the disparity is calculated as '2' from '158' to '162'. In addition, the disparity is calculated as '-1' from '143' to '147', the disparity is calculated as '-2' from '138' to '142', and the disparity from '133' to '137'. Is calculated as '-3'. In FIG. 4, the description has been made based on the fact that a predetermined value increased or decreased at a predetermined interval G is '1', but the present invention is not limited thereto. On the other hand, the disparity may be calculated as a positive number for an object and a negative number for a background. (S106)

일곱 번째로, 제7 단계(S107)는 멀티뷰 영상의 뷰의 개수(Nviews)에 따라 산출된 디스패리티(disparityi)로부터 수학식 5와 같이 멀티뷰 디스패리티(disparitym)를 산출하고, 멀티뷰 디스패리티(disparitym)를 2D 영상(image)에 적용하여 멀티뷰 영상을 생성한다.Seventh, the seventh step S107 calculates a multiview disparity m from the disparity i calculated according to the number N views of the multiview image as shown in Equation 5, The multiview disparity m is applied to a 2D image to generate a multiview image.

Figure pat00006
Figure pat00006

수학식 5에서, disparitym은 멀티뷰 영상을 생성하기 위해 2D 영상(image)에 적용될 멀티뷰 디스패리티, disparityi는 제6 단계(S106)에서 산출된 디스패리티, Nviews는 뷰의 개수를 의미한다. 수학식 5에서, [Nviews/2]는 뷰의 개수를 2로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 뷰의 개수가 5개인 경우, [Nviews/2]=[2.5]=2가 된다. 한편, 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출될 수 있다.In Equation 5, disparity m denotes a multiview disparity to be applied to a 2D image to generate a multiview image, disparity i denotes a disparity calculated in a sixth step S106, and N views denotes the number of views. do. In Equation 5, [N views / 2] is a value obtained by omitting the decimal point from a value obtained by dividing the number of views by two. For example, if the number of views is 5, [N views / 2] = [2.5] = 2. Meanwhile, the multiview disparity m of the object may be calculated as a positive number, and the multiview disparity m of the background may be calculated as a negative number.

멀티뷰 영상은 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하므로, 제1 내지 제c 뷰 각각은 뷰의 위치에 따라 소정의 가중치(W)의 절대값이 곱해된 멀티뷰 디스패리티(disparitym)가 적용된다. 가중치(W)는 수학식 6과 같이 기준 뷰(Viewref)와 멀티뷰 디스패리티(disparitym)가 적용될 뷰(Viewcur)의 차이로 구해질 수 있다.Since the multiview image includes the first to cth views (c is two or more natural numbers), each of the first to cth views is a multiview disparity obtained by multiplying an absolute value of a predetermined weight W according to the position of the view. (disparity m ) applies. Weights (W) can be obtained as the difference between the reference view (View ref) and multiview disparity (disparity m) is applied to the view (View cur) as shown in equation (6).

Figure pat00007
Figure pat00007

기준 뷰(Viewref)는 도 5와 같이 2D 영상(image)의 뷰로 설정될 수 있다. 또한, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰는 가중치(W)가 양수로 설정되고, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰는 가중치(W)가 음수로 설정된다. 가중치가 양수인 경우, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 생성된다. 또한, 가중치(W)가 음수인 경우, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 왼쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 생성된다.The reference view View ref may be set to a view of a 2D image as shown in FIG. 5. In addition, in the view located to the left of the reference view (View ref ), the weight (W) is set to a positive number, and in the view located to the right of the reference view (View ref ), the weight (W) is set to a negative number. When the weight is positive, the view cur located to the left of the reference view View ref is calculated by shifting the 2D image to the right by the multiview disparity m . Thus, the view cur located to the left of the reference ref (View ref ) shifts the object to the right by the multiview disparity m and shifts the background to the left by the multiview disparity m . Is generated. In addition, when the weight W is negative, the view cur located to the right of the reference view View ref is calculated by shifting the 2D image to the left. Therefore, the view cur located to the left of the view ref shifts the object to the left by the multiview disparity m and shifts the background to the right by the multiview disparity m . Is generated.

이하에서, 도 5를 참조하여 멀티뷰 영상의 제1 내지 제c 뷰 각각에 멀티뷰 디스패리티(disparitym)의 적용에 대하여 구체적으로 설명한다. 도 5에는 제1 내지 제4 뷰(View1~View4)를 포함하는 멀티뷰 영상이 나타나 있다.Hereinafter, the application of the multiview disparity m to each of the first to c views of the multiview image will be described in detail with reference to FIG. 5. 5 illustrates a multi-view image including first to fourth views (View1 to View4).

제2 뷰(View2)가 기준 뷰(Viewref)이므로, 제1 뷰(View1)의 가중치(W)는 '2-1=1'로 산출되고, 제2 뷰(View2)의 가중치(W)는 '2-2=0'으로 산출되며, 제3 뷰(View3)의 가중치(W)는 '2-3=-1'로 산출되고, 제4 뷰(View4)의 가중치(W)는 '2-4=-2'로 산출된다. 제1 뷰(View1)의 가중치(W)가 '1'이므로, 제1 뷰(View1)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 제2 뷰(View2)의 가중치(W)는 '0'이므로, 제2 뷰(View2)는 2D 영상(image)이 된다. 제3 뷰(View3)의 가중치(W)는 '-1'이므로, 제3 뷰(View3)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. 제4 뷰(View4)의 가중치(W)는 '-2'이므로, 제4 뷰(View4)는 2D 영상(image)을 가중치(W)의 절대값인 '2'가 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. (S107)
Since the second view View2 is the reference view View ref , the weight W of the first view View1 is calculated as '2-1 = 1', and the weight W of the second view View2 is It is calculated as' 2-2 = 0 ', the weight W of the third view View3 is calculated as' 2-3 = -1', and the weight W of the fourth view View4 is' 2-. 4 = -2 '. Since the weight W of the first view View1 is '1', the first view View1 multiplies the 2D image by the multiview disparity obtained by multiplying the absolute value of the weight W by '1'. It is calculated by shifting to the right by m ). Since the weight W of the second view View2 is '0', the second view View2 becomes a 2D image. Since the weight W of the third view View3 is '-1', the third view View3 may multiply the 2D image by the multiview disparity, in which the absolute value of the weight W is multiplied by '1'. computed by shifting left by disparity m ). Since the weight W of the fourth view View4 is '-2', the fourth view View4 multiplies the 2D image by the multiview disparity (multiplied by the absolute value '2' of the weight W ( computed by shifting left by disparity m ). (S107)

도 6은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 6을 참조하면, 본 발명의 제2 실시예는 동영상의 경우 입체감 형성의 기준이 되는 기준점(baseline)을 사용자의 기호에 따라 변경할 수 있는 멀티뷰 영상 생성방법에 관한 것이다. 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제6 단계(S201 내지 S206)를 포함한다.6 is a flowchart illustrating a method of generating a multiview image according to a second embodiment of the present invention. Referring to FIG. 6, the second embodiment of the present invention relates to a multi-view image generation method capable of changing a baseline, which is a reference for forming a stereoscopic effect, according to a user's preference. The multi-view image generating method according to the second embodiment of the present invention includes first to sixth steps S201 to S206.

본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계(S201, S202)는 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계(S101, S102)에서 설명한 바와 실질적으로 동일하다. 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제4 내지 제6 단계(S204, S205, S206)는 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법의 제5 내지 제7 단계(S105, S106, S107)에서 설명한 바와 실질적으로 동일하다. 따라서, 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계, 제4 내지 제6 단계(S201, S202, S204, S205, S206)에 대한 설명은 생략하기로 한다.The first and second steps S201 and S202 of the multiview image generating method according to the second embodiment of the present invention are the first and second steps S101 of the multiview image generating method according to the first embodiment of the present invention. Is substantially the same as described in S102). The fourth to sixth steps S204, S205, and S206 of the multiview image generation method according to the second embodiment of the present invention are the fifth to seventh steps of the multiview image generation method according to the first embodiment of the present invention. It is substantially the same as described in (S105, S106, S107). Therefore, descriptions of the first, second, and fourth to sixth steps S201, S202, S204, S205, and S206 of the multi-view image generating method according to the second embodiment of the present invention will be omitted.

본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제3 단계(S203)는 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 뎁스 맵(depth)의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록(B1)과 제n 프레임 기간의 제2 블록(B2) 간의 모션 벡터를 이용하여 기준점(baseline)을 선택한다. 모션 벡터는 동영상의 움직임에 대한 벡터값을 의미하고, 제n-1 프레임 기간의 제1 블록(B1)과 제1 블록(B1) 내의 휘도 데이터(Y)와 동일한 제n 프레임 기간의 제2 블록(B2) 간의 벡터값이다.According to a third step (S203) of the multi-view image generating method according to the second embodiment of the present invention, n-1 (n denotes n in the luminance image of the depth map according to the stereoscopic sense selected by the user input device). A baseline is selected using a motion vector between the first block B1 of the period and the second block B2 of the nth frame period. The motion vector refers to a vector value of the motion of the video and is the second block of the nth frame period that is the same as the luminance data Y in the first block B1 and the first block B1 of the n-1th frame period. Vector value between (B2).

기준점(baseline)을 선택하기 위한 모션 벡터의 초기화 값은 '0'이다. 이 경우, 제3 단계(S203)는 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 '0'인 제n 프레임 기간의 제2 블록(B2)을 검출하고, 모션 벡터 '0'을 기준점(baseline)으로 선택한다. 모션 벡터가 양수(또는 음수)로 설정된다면, 사용자는 표시패널 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 모션 벡터가 음수(또는 양수)로 설정된다면, 사용자는 표시패널 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 따라서, 사용자가 입체감을 초기값보다 작게 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 소정의 양수(또는 음수)인 제n 프레임 기간의 제2 블록(B2)을 검출하고, 모션 벡터인 소정의 양수(또는 음수)를 기준점(baseline)으로 선택한다. 또한, 사용자가 입체감을 초기값으로 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 '0'인 제n 프레임 기간의 제2 블록(B2)을 검출하고 모션 벡터 '0'을 기준점(baseline)으로 선택한다. 또한, 사용자가 입체감을 초기값보다 크게 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 소정의 음수(또는 양수)인 제n 프레임 기간의 제2 블록(B2)을 검출하고 모션 벡터인 소정의 음수(또는 양수)를 기준점(baseline)으로 선택한다. 한편, 2D 영상(image)을 왼쪽으로 쉬프트시켜 생성되는 뷰의 경우 모션 벡터가 양수로 설정되어야 사용자가 입체감을 덜 느끼게 되고, 2D 영상(image)을 오른쪽으로 쉬프트시켜 생성되는 뷰의 경우 모션 벡터가 음수로 설정되어야 사용자가 입체감을 덜 느끼게 된다.The initialization value of the motion vector for selecting a baseline is '0'. In this case, the third step S203 detects the second block B2 of the nth frame period in which the motion vector is' 0 'from the first block B1 of the n−1th frame period, and detects the motion vector' 0. Select 'as the baseline. If the motion vector is set to a positive number (or negative), the user may feel that a lot of images are displayed behind the front of the display panel. If the motion vector is set to be negative (or positive), the user may feel that more images are displayed in front of the rear than the display panel. Therefore, when the user sets the 3D effect to be smaller than the initial value, the second block B2 of the nth frame period in which the motion vector is a predetermined positive (or negative) from the first block B1 of the n-1th frame period. Is detected and a predetermined positive (or negative), which is a motion vector, is selected as a baseline. In addition, when the user sets the 3D effect as an initial value, the second block B2 of the nth frame period in which the motion vector is '0' is detected from the first block B1 of the n-1th frame period and the motion vector is detected. Select '0' as the baseline. In addition, when the user sets the 3D effect to be larger than the initial value, the second block B2 of the nth frame period in which the motion vector is a predetermined negative number (or positive number) from the first block B1 of the n-1th frame period. Is detected and a predetermined negative (or positive), which is a motion vector, is selected as the baseline. On the other hand, in the case of a view generated by shifting a 2D image to the left, the motion vector must be set to a positive number so that the user feels less stereoscopic, and in the case of a view generated by shifting the 2D image to the right, Negative numbers make the user feel less three-dimensional.

예를 들어, 사용자 입력장치에는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들이 있고, 사용자는 상기 선택 버튼들 중에 어느 하나를 선택함으로써, 입체감을 조정할 수 있다. 사용자가 '입체감 상'을 선택한다면 모션 벡터는 음수(또는 양수)로 설정되고, 사용자가 '입체감 중'을 선택한다면 모션 벡터는 '0'으로 설정되며, 사용자가 '입체감 하'를 선택한다면 모션 벡터는 양수(또는 음수)로 설정될 수 있다.For example, the user input device includes selection buttons of 'Sensory image', 'in stereoscopic sense', and 'Stereoscopic sense', and the user may adjust the stereoscopic feeling by selecting any one of the selection buttons. If the user selects 'Thinking', the motion vector is set to negative (or positive); if the user selects 'Thinking', the motion vector is set to '0', and if the user chooses 'Thinking' The vector may be set to positive (or negative).

한편, 모션 벡터를 이용하여 기준점(baseline)을 선택하는 방법은 복잡도가 높으므로 계산량이 많아지기 때문에, 실시간으로 원활하게 처리하기 위해 뎁스 맵(depth)의 휘도 영상을 다운 샘플링(down sampling)한 후, 모션 벡터를 이용하여 기준점(baseline)을 선택한다. 다운 샘플링은 뎁스 맵(depth)의 휘도 영상의 크기를 축소하는 것을 의미한다. (S103)On the other hand, since a method of selecting a baseline using a motion vector has a high complexity, a large amount of calculation is required, and after downsampling a luminance image of a depth map for smooth processing in real time, Using a motion vector, select a baseline. Downsampling means reducing the size of the luminance image of the depth map. (S103)

한편, 본 발명의 제1 실시예의 경우 제5 단계에서 히스토그램의 휘도 데이터(Y)의 최대값, 기준점(baseline), 및 디스패리티 개수(Ndis)를 이용하여 소정의 간격을 계산하였지만, 본 발명의 제2 실시예의 경우 제4 단계에서 모션 벡터의 최대값, 기준점(baseline), 및 디스패리티 개수(Ndis)를 이용하여 소정의 간격을 계산하는 것에 주의하여야 한다. 따라서, 수학식 4를 참조하면, 본 발명의 제1 실시예의 경우 Max가 히스토그램의 휘도 데이터(Y)의 최대값이지만, 본 발명의 제2 실시예의 경우 Max가 모션 벡터의 최대값인 것에 주의하여야 한다.
Meanwhile, in the first exemplary embodiment of the present invention, the predetermined interval is calculated by using the maximum value of the luminance data Y of the histogram, the baseline, and the number of disparities Ndis in the fifth step. In the case of the second embodiment, care should be taken in calculating the predetermined interval using the maximum value of the motion vector, the baseline, and the disparity number Ndis in the fourth step. Therefore, referring to Equation 4, it should be noted that Max is the maximum value of the luminance data Y of the histogram in the first embodiment of the present invention, while Max is the maximum value of the motion vector in the second embodiment of the present invention. do.

도 7은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도이다. 도 7을 참조하면, 본 발명의 실시예에 따른 입체영상 표시장치는 표시패널(10), 게이트 구동부(110), 데이터 구동부(120), 타이밍 콘트롤러(130), 멀티뷰 영상 생성부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 액정표시소자를 중심으로 예시하였지만, 액정표시소자에 한정되지 않는 것에 주의하여야 한다. 또한, 본 발명의 입체영상 표시장치는 배리어(barrier) 방식, 스위쳐블 배리어(switchable barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 및 스위쳐블 렌즈(switchable lens) 방식 등의 무안경방식으로도 구현될 수 있다.7 is a block diagram illustrating a stereoscopic image display device according to an exemplary embodiment of the present invention. Referring to FIG. 7, a stereoscopic image display device according to an exemplary embodiment of the present invention may include a display panel 10, a gate driver 110, a data driver 120, a timing controller 130, and a multi-view image generator 140. , Host system 150, and the like. The stereoscopic image display device of the present invention is a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), an organic light emitting diode (Organic Light Emitting) Diodes, OLEDs), and the like. Although the present invention has been exemplified by the liquid crystal display device in the following embodiment, it should be noted that the present invention is not limited to the liquid crystal display device. In addition, the stereoscopic display device according to the present invention can be implemented in a non-glasses method such as a barrier method, a switchable barrier method, a lenticular lens method, and a switchable lens method. Can be.

표시패널(10)은 타이밍 콘트롤러(130)의 제어 하에 영상을 표시한다. 표시패널(10)은 두 장의 기판 사이에 액정층이 형성된다. 표시패널(10)의 하부 기판상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 셀영역들에 픽셀들이 매트릭스 형태로 배치된 TFT 어레이가 형성된다. 표시패널(10)의 픽셀들 각각은 박막 트랜지스터에 접속되어 화소전극과 공통전극 사이의 전계에 의해 구동된다.The display panel 10 displays an image under the control of the timing controller 130. In the display panel 10, a liquid crystal layer is formed between two substrates. The data lines D and the gate lines G (or scan lines) intersect each other on the lower substrate of the display panel 10, and are formed by the data lines D and the gate lines G. A TFT array in which pixels are arranged in a matrix form in defined cell regions is formed. Each pixel of the display panel 10 is connected to a thin film transistor and is driven by an electric field between the pixel electrode and the common electrode.

표시패널(10)의 상부 기판상에는 블랙매트릭스, 컬러필터, 공통전극 등을 포함하는 컬러필터 어레이가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 기판상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 기판상에 형성된다. 표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다.A color filter array including a black matrix, a color filter, a common electrode, and the like is formed on the upper substrate of the display panel 10. The common electrode is formed on the upper substrate in a vertical electric field driving method such as twisted nematic (TN) mode and vertical alignment (VA) mode, and a horizontal electric field driving such as IPS (In Plane Switching) mode and FFS (Fringe Field Switching) mode. In a manner formed on the lower substrate together with the pixel electrode. The liquid crystal mode of the display panel 10 may be implemented in any of the liquid crystal modes as well as the above-described TN mode, VA mode, IPS mode, and FFS mode.

표시패널(10)의 상부 기판에는 상부 편광판이 부착되고, 하부 기판에는 하부 편광판이 부착된다. 상부 편광판의 광투과축과 하부 편광판의 광투과축은 직교된다. 또한, 상부 기판과 하부 기판에는 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부 기판과 하부 기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서가 형성된다.An upper polarizer is attached to the upper substrate of the display panel 10, and a lower polarizer is attached to the lower substrate. The light transmission axis of the upper polarizer and the light transmission axis of the lower polarizer are perpendicular to each other. In addition, an alignment film for setting a pre-tilt angle of the liquid crystal is formed on the upper substrate and the lower substrate. A spacer is formed between the upper substrate and the lower substrate of the display panel 10 to maintain a cell gap of the liquid crystal layer.

표시패널(10)은 대표적으로 백라이트 유닛으로부터의 빛을 변조하는 투과형 액정표시패널이 선택될 수 있다. 백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.As the display panel 10, a transmissive liquid crystal display panel that modulates light from the backlight unit may be selected. The backlight unit includes a light source, a light guide plate (or diffusion plate), and a plurality of optical sheets that are turned on in accordance with a driving current supplied from the backlight unit driving unit. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit. The light sources of the backlight unit may include one of a hot cathode fluorescent lamp (HCFL), a cold cathode fluorescent lamp (CCFL), an external electrode fluorescent lamp (EEFL), a light emitting diode (LED), or two or more light sources. .

백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동전류를 온/오프(ON/OFF)한다.The backlight unit driver generates a driving current for turning on light sources of the backlight unit. The backlight unit driver turns on / off a driving current supplied to the light sources under the control of the backlight controller.

데이터 구동부(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)로부터 입력되는 영상 데이터(DATA')를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.The data driver 120 includes a plurality of source drive ICs. The source drive ICs convert the image data DATA ′ input from the timing controller 130 into positive / negative gamma compensation voltages to generate positive / negative analog data voltages. The positive / negative analog data voltages output from the source drive ICs are supplied to the data lines D of the display panel 10.

게이트 구동부(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터전압에 동기되는 게이트 펄스를 표시패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.The gate driver 110 sequentially supplies gate pulses synchronized with the data voltage to the gate lines G of the display panel 10 under the control of the timing controller 130. The gate driver 110 may be composed of a plurality of gate drive integrated circuits each including a shift register, a level shifter for converting an output signal of the shift register into a swing width suitable for TFT driving of the liquid crystal cell, have.

타이밍 콘트롤러(130)는 멀티뷰 영상 생성부(140)로부터 출력된 영상 데이터(DATA)와 타이밍 신호들에 기초하여 게이트 구동부 제어신호(GCS)를 게이트 구동부(110)로 출력하고, 데이터 구동부 제어신호(DCS)를 데이터 구동부(120)로 출력한다. 타이밍 신호들은 수직동기신호, 수평동기신호, 데이터 인에이블(data enable) 신호, 및 도트 클럭 등을 포함한다. 게이트 구동부 제어신호는 게이트 스타트 펄스(Gate Start Pulse), 게이트 쉬프트 클럭(Gate Shift Clock), 및 게이트 출력 인에이블신호(Gate Output Enable) 등을 포함한다. 게이트 스타트 펄스는 첫 번째 게이트 펄스의 타이밍을 제어한다. 게이트 쉬프트 클럭은 게이트 스타트 펄스를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호는 게이트 구동부(110)의 출력 타이밍을 제어한다.The timing controller 130 outputs the gate driver control signal GCS to the gate driver 110 based on the image data DATA and timing signals output from the multiview image generator 140, and the data driver control signal. The DCS is output to the data driver 120. The timing signals include a vertical synchronization signal, a horizontal synchronization signal, a data enable signal, a dot clock, and the like. The gate driver control signal includes a gate start pulse, a gate shift clock, a gate output enable signal, and the like. The gate start pulse controls the timing of the first gate pulse. The gate shift clock is a clock signal for shifting the gate start pulse. The gate output enable signal controls the output timing of the gate driver 110.

데이터 구동부 제어신호는 소스 스타트 펄스(Source Start Pulse), 소스 샘플링 클럭(Source Sampling Clock), 소스 출력 인에이블신호(Source Output Enable), 극성제어신호 등을 포함한다. 소스 스타트 펄스는 데이터 구동부(120)의 데이터 샘플링 시작 시점을 제어한다. 소스 샘플링 클럭은 라이징 또는 폴링 에지에 기준하여 데이터 구동부(120)의 샘플링 동작을 제어하는 클럭신호이다. 데이터 구동부(120)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스와 소스 샘플링 클럭은 생략될 수 있다. 극성제어신호는 데이터 구동부(120)로부터 출력되는 데이터전압의 극성을 L(L은 자연수) 수평기간 주기로 반전시킨다. 소스 출력 인에이블신호는 데이터 구동부(120)의 출력 타이밍을 제어한다.The data driver control signal includes a source start pulse, a source sampling clock, a source output enable signal, a polarity control signal, and the like. The source start pulse controls the data sampling start time of the data driver 120. The source sampling clock is a clock signal that controls the sampling operation of the data driver 120 based on the rising or falling edge. If the digital video data to be input to the data driver 120 is transmitted using mini LVDS (Low Voltage Differential Signaling) interface standard, the source start pulse and the source sampling clock may be omitted. The polarity control signal inverts the polarity of the data voltage output from the data driver 120 at an L (L is a natural number) horizontal period period. The source output enable signal controls the output timing of the data driver 120.

호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 영상 데이터(DATA)를 멀티뷰 영상 생성부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 및 3D 모드를 구분할 수 있는 모드신호(MODE)를 멀티뷰 영상 생성부(140)에 공급한다.The host system 150 supplies the image data DATA to the multiview image generating unit 140 through an interface such as a low voltage differential signaling (LVDS) interface and a transition minimized differential signaling (TMDS) interface. In addition, the host system 150 supplies a mode signal MODE for distinguishing between 2D and 3D modes, to the multiview image generator 140.

사용자 입력장치(160)는 사용자가 입체감을 선택할 수 있는 버튼을 포함하고, 표시패널(10) 상에 부착되거나 내장된 터치 스크린, 온 스크린 디스플레이(On screen display, OSD), 키보드, 마우스, 리모트 콘트롤러(Remote controller) 등으로 구현될 수 있다. 구체적으로, 사용자 입력장치(160)는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들로 구현될 수 있다. 이 경우, 사용자가 '입체감 상'을 선택한다면 표시패널(10) 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되므로 사용자는 입체감을 크게 느낄 수 있고, 사용자가 '입체감 하'를 선택한다면 표시패널(10) 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되므로, 사용자는 입체감을 덜 느낄 수 있다. 사용자 입력장치(160)는 사용자 입력장치(160)를 통해 입력된 사용자의 입체감 기호에 대한 정보(Ds)를 멀티뷰 영상 생성부(140)로 출력한다.The user input device 160 includes a button for allowing a user to select a three-dimensional effect, and includes a touch screen, an on screen display (OSD), a keyboard, a mouse, and a remote controller attached or embedded on the display panel 10. (Remote controller) or the like. In detail, the user input device 160 may be embodied as selection buttons of 'in the stereoscopic sense', 'in the stereoscopic sense', and in the three-dimensional sense. In this case, if the user selects 'stereoscopic', the image is displayed more in front of the back than the display panel 10, so that the user can feel a large three-dimensional effect, and if the user selects 'stereoscopic', the display panel 10 Since more images are displayed behind the front than the contrast, the user may feel less three-dimensional. The user input device 160 outputs the information Ds of the stereoscopic symbol of the user input through the user input device 160 to the multiview image generator 140.

멀티뷰 영상 생성부(140)는 3D 모드에서 입력 영상 데이터(DATA)로부터 멀티뷰 영상 데이터(DATA')를 생성하여 타이밍 콘트롤러(130)에 공급한다. 멀티뷰 영상 생성부(140)의 멀티뷰 영상 생성방법은 도 1 내지 도 6을 결부하여 설명한 바와 같다. 입력 영상 데이터(DATA)는 2D 영상 데이터와 2D 영상 데이터의 뎁스 맵 데이터를 포함한다. 한편, 멀티뷰 영상 생성부(140)는 2D 모드에서 입력 영상 데이터(DATA)의 2D 영상 데이터를 샘플링한 후, 2D 영상 데이터를 타이밍 콘트롤러(130)에 공급한다.
The multi-view image generator 140 generates the multi-view image data DATA ′ from the input image data DATA in the 3D mode and supplies the generated multi-view image data DATA ′ to the timing controller 130. The multi-view image generating method of the multi-view image generating unit 140 has been described with reference to FIGS. 1 to 6. The input image data DATA includes 2D image data and depth map data of 2D image data. Meanwhile, the multi-view image generator 140 samples the 2D image data of the input image data DATA in the 2D mode, and then supplies the 2D image data to the timing controller 130.

이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

10: 표시패널 110: 게이트 구동부
120: 데이터 구동부 130: 타이밍 콘트롤러
140: 멀티뷰 영상 생성부 150: 호스트 시스템
160: 사용자 입력장치10: display panel 110: gate driver
120: data driver 130: timing controller
140: the multi-view image generation unit 150: host system
160: user input device

Claims (16)

2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계;
상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계;
상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하는 단계;
사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하는 단계;
상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및
상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출하는 단계를 포함하는 멀티뷰 영상 생성방법.Converting an input image into which a 2D image and a depth map are input in parallel to a luminance and a color difference image;
Removing noise of the luminance image of the input image;
Analyzing a histogram of the luminance image of the depth map;
Selecting a reference point using the histogram according to a stereoscopic effect selected by a user using a user input device;
Calculating a predetermined interval using a maximum value of luminance data of the histogram, the reference point, and the number of disparities to be applied when generating a multiview image; And
And calculating a disparity differently at every predetermined interval based on the reference point. 제 1 항에 있어서,
상기 멀티뷰 영상의 뷰의 개수에 따라 상기 디스패리티로부터 멀티뷰 디스패리티를 산출하고, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.The method of claim 1,
The multiview disparity is calculated from the disparity according to the number of views of the multiview image, and the multiview disparity obtained by multiplying the absolute value of the weight calculated according to the position of the view of the multiview image is added to the 2D image. Multi-view image generation method further comprising the step of generating a multi-view image by applying. 제 1 항에 있어서,
상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하는 단계는,
상기 사용자가 상기 입체감을 초기값으로 설정한 경우, 상기 기준점은 상기 히스토그램의 상위 50%인 휘도 데이터로 설정되고,
상기 사용자가 상기 입체감을 초기값보다 크게 설정한 경우, 상기 기준점은 상기 히스토그램의 상위 50%보다 큰 휘도 데이터로 설정되며,
상기 사용자가 상기 입체감을 초기값보다 작게 설정한 경우, 상기 기준점은 상기 히스토그램의 상위 50%보다 작은 휘도 데이터로 설정되는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method of claim 1,
The step of selecting a reference point using the histogram according to the three-dimensional effect selected by the user using a user input device,
When the user sets the 3D effect as an initial value, the reference point is set to luminance data that is the upper 50% of the histogram.
When the user sets the 3D effect to be larger than an initial value, the reference point is set to luminance data larger than the upper 50% of the histogram.
And when the user sets the 3D effect to be smaller than an initial value, the reference point is set to luminance data smaller than the upper 50% of the histogram. 제 1 항에 있어서,
상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계는,
상기 소정의 간격은 상기 히스토그램의 휘도 데이터의 최대값과 상기 기준점의 차를 상기 디스패리티의 개수로 나눈 값에서 소수점 이하를 생략한 값으로 산출되는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method of claim 1,
Calculating a predetermined interval using the maximum value of the luminance data of the histogram, the reference point, and the number of disparities to be applied when generating the multi-view image,
And the predetermined interval is calculated as a value obtained by subtracting the decimal point from a value obtained by dividing the difference between the maximum value of the luminance data of the histogram and the reference point by the number of disparities. 제 1 항에 있어서,
상기 기준점을 기준으로 상기 소정의 간격마다 상기 휘도 데이터의 디스패리티를 다르게 산출하는 단계는,
상기 휘도 데이터가 상기 기준점보다 큰 경우, 상기 디스패리티는 상기 소정의 간격마다 소정의 값만큼 증가되고,
상기 휘도 데이터가 상기 기준점보다 작은 경우, 상기 디스패리티는 상기 소정의 간격마다 상기 소정의 값만큼 감소되는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method of claim 1,
Computing the disparity of the luminance data for each of the predetermined interval based on the reference point,
When the luminance data is larger than the reference point, the disparity is increased by a predetermined value at each predetermined interval,
And when the luminance data is smaller than the reference point, the disparity is reduced by the predetermined value at each predetermined interval. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계;
상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계;
사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계;
상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및
상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출하는 단계를 포함하는 멀티뷰 영상 생성방법.Converting an input image into which a 2D image and a depth map are input in parallel to a luminance and a color difference image;
Removing noise of the luminance image of the input image;
A reference point is determined by using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in the luminance image of the depth map according to a stereoscopic feeling selected by a user input device. Selecting;
Calculating a predetermined interval using the maximum value of the motion vector, the reference point, and the number of disparities to be applied when generating a multiview image; And
And calculating the disparity differently at each predetermined interval based on the reference point. 제 6 항에 있어서,
상기 멀티뷰 영상의 뷰의 개수에 따라 상기 디스패리티로부터 멀티뷰 디스패리티를 산출하고, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.The method according to claim 6,
The multiview disparity is calculated from the disparity according to the number of views of the multiview image, and the multiview disparity obtained by multiplying the absolute value of the weight calculated according to the position of the view of the multiview image is added to the 2D image. Multi-view image generation method further comprising the step of generating a multi-view image by applying. 제 6 항에 있어서,
상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계는,
상기 사용자가 상기 입체감을 초기값으로 설정한 경우, 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 '0'인 상기 제n 프레임 기간의 제2 블록을 검출하고, 상기 모션 벡터 '0'을 기준점으로 선택하는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method according to claim 6,
A reference point using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in a luminance image of the depth map according to a stereoscopic sense selected by the user using a user input device The step of selecting the
When the user sets the 3D effect as an initial value, a second block of the nth frame period in which the motion vector is '0' is detected from the first block of the n−1th frame period, and the motion vector '0' is detected. Multi-view image generation method, characterized in that for selecting the reference point. 제 8 항에 있어서,
상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계는,
상기 사용자가 상기 입체감을 초기값보다 작게 설정한 경우, 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 양수인 상기 제n 프레임 기간의 제2 블록을 검출하고, 상기 소정의 양수를 기준점으로 선택하는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method of claim 8,
A reference point using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in a luminance image of the depth map according to a stereoscopic sense selected by the user using a user input device The step of selecting the
When the user sets the 3D effect to be smaller than an initial value, the second block of the nth frame period in which the motion vector is a predetermined positive number is detected from the first block of the nth-1st frame period, and the predetermined positive number is set. Multi-view image generation method characterized in that the selection as a reference point. 제 8 항에 있어서,
상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계는,
상기 사용자가 상기 입체감을 초기값보다 크게 설정한 경우, 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 음수인 상기 제n 프레임 기간의 제2 블록을 검출하고, 상기 소정의 음수를 기준점으로 선택하는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method of claim 8,
A reference point using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in a luminance image of the depth map according to a stereoscopic sense selected by the user using a user input device The step of selecting the
When the user sets the 3D effect to be larger than an initial value, a second block of the nth frame period in which the motion vector is a predetermined negative number is detected from the first block of the n−1th frame period, and the predetermined negative number is detected. Multi-view image generation method characterized in that for selecting the reference point. 제 6 항에 있어서,
상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계는,
상기 뎁스 맵의 휘도 영상을 다운 샘플링한 후, 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method according to claim 6,
A reference point using a motion vector between a first block of an n-1 (n is a natural number) period and a second block of an nth frame period in a luminance image of the depth map according to a stereoscopic sense selected by the user using a user input device The step of selecting the
After down-sampling the luminance image of the depth map, the reference point is selected using a motion vector between the first block of the n-1 (n is a natural number) period and the second block of the nth frame period. How to create view image. 제 6 항에 있어서,
상기 제2 블록 내 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계는,
상기 소정의 간격은 상기 모션 벡터의 최대값과 상기 기준점의 차를 상기 디스패리티의 개수로 나눈 값에서 소수점 이하를 생략한 값으로 산출되는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method according to claim 6,
Computing a predetermined interval by using the maximum value of the luminance data in the second block, the reference point, and the number of disparities to be applied when generating the multi-view image,
And the predetermined interval is calculated as a value obtained by omitting a decimal point from a value obtained by dividing the difference between the maximum value of the motion vector and the reference point by the number of disparities. 제 6 항에 있어서,
상기 기준점을 기준으로 상기 소정의 간격마다 상기 휘도 데이터의 디스패리티를 다르게 산출하는 단계는,
상기 휘도 데이터가 상기 기준점보다 큰 경우, 상기 디스패리티는 상기 소정의 간격마다 소정의 값만큼 증가되고,
상기 휘도 데이터가 상기 기준점보다 작은 경우, 상기 디스패리티는 상기 소정의 간격마다 상기 소정의 값만큼 감소되는 것을 특징으로 하는 멀티뷰 영상 생성방법.The method according to claim 6,
Computing the disparity of the luminance data for each of the predetermined interval based on the reference point,
When the luminance data is larger than the reference point, the disparity is increased by a predetermined value at each predetermined interval,
And when the luminance data is smaller than the reference point, the disparity is reduced by the predetermined value at each predetermined interval. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하고, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하며, 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하고, 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하는 입체영상 표시장치.A display panel including data lines, gate lines, and a plurality of pixels;
Converts an input image in which a 2D image and a depth map are input side by side to a luminance and color difference image, removes noise of the luminance image of the input image, analyzes a histogram of the luminance image of the depth map, and the user inputs a user input device. A reference point is selected using the histogram according to the selected 3D effect, and a predetermined interval is calculated using the maximum value of the luminance data of the histogram, the reference point, and the number of disparities to be applied when generating the multiview image. A multi-view image generation unit configured to generate a multi-view image after differently calculating disparity at each predetermined interval based on the reference point;
A data driver converting the multiview image data received from the multiview image generator into data voltages and outputting the data voltages to the data lines; And
And a gate driver configured to sequentially output gate pulses synchronized with the data voltages to the gate lines. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하고, 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하며, 상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하는 입체영상 표시장치.A display panel including data lines, gate lines, and a plurality of pixels;
Converts an input image in which a 2D image and a depth map are input side by side to a luminance and color difference image, removes noise of the luminance image of the input image, and generates a luminance image of the depth map according to a stereoscopic feeling selected by a user input device. Select a reference point using a motion vector between the first block of the n-1 (n is a natural number) period and the second block of the nth frame period, and generate a maximum value of the motion vector, the reference point, and the multiview image. A multiview image generation unit configured to calculate a predetermined interval by using the number of disparities to be applied at the time, calculate the disparity differently at each predetermined interval based on the reference point, and generate a multiview image;
A data driver converting the multiview image data received from the multiview image generator into data voltages and outputting the data voltages to the data lines; And
And a gate driver configured to sequentially output gate pulses synchronized with the data voltages to the gate lines. 제 14 항 또는 제 15 항에 있어서,
상기 사용자가 입체감을 선택할 수 있는 버튼을 포함하고, 입력된 상기 사용자의 입체감 기호에 대한 정보를 상기 멀티뷰 영상 생성부로 출력하는 사용자 입력장치를 더 구비하는 입체영상 표시장치.16. The method according to claim 14 or 15,
And a user input device including a button for allowing the user to select a stereoscopic effect, and outputting the input information on the stereoscopic symbol of the user to the multi-view image generating unit.
KR1020110127515A 2011-12-01 2011-12-01 Method of multi-view image formation and stereoscopic image display device using the same KR101869872B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110127515A KR101869872B1 (en) 2011-12-01 2011-12-01 Method of multi-view image formation and stereoscopic image display device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110127515A KR101869872B1 (en) 2011-12-01 2011-12-01 Method of multi-view image formation and stereoscopic image display device using the same

Publications (2)

Publication Number Publication Date
KR20130061289A true KR20130061289A (en) 2013-06-11
KR101869872B1 KR101869872B1 (en) 2018-06-21

Family

ID=48859435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110127515A KR101869872B1 (en) 2011-12-01 2011-12-01 Method of multi-view image formation and stereoscopic image display device using the same

Country Status (1)

Country Link
KR (1) KR101869872B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8953905B2 (en) 2001-05-04 2015-02-10 Legend3D, Inc. Rapid workflow system and method for image sequence depth enhancement
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
백윤기 외 3명, 2차원 동영상으로부터 다시점 동영상 생성 기법, 한국통신학회, 2008.1, 53-61 (9 pages).* *
장성은 외 3명, 깊이맵 변환을 이용한 3D 입체감 개선 방법, 한국방송미디어공학회, 2011.11, 916-926 (11 pages).* *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8953905B2 (en) 2001-05-04 2015-02-10 Legend3D, Inc. Rapid workflow system and method for image sequence depth enhancement
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning

Also Published As

Publication number Publication date
KR101869872B1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
KR101869872B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
TWI510054B (en) Stereoscopic image display device and method for driving the same
US8878842B2 (en) Stereoscopic image display device and method for driving the same
US8743111B2 (en) Stereoscopic image display and method for driving the same
KR101981530B1 (en) Stereoscopic image display device and method for driving the same
JP5496276B2 (en) Video processing method and stereoscopic video display device
US9420269B2 (en) Stereoscopic image display device and method for driving the same
KR20130027932A (en) Stereoscopic image display device and driving method thereof
KR101793283B1 (en) Jagging improvement method and stereoscopic image display device using the same
KR20120063752A (en) Image processing unit and stereoscopic image display device using the same, and image processing method
KR102126532B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
KR101773616B1 (en) Image processing method and stereoscopic image display device using the same
KR101894090B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
US9626935B2 (en) Stereoscopic image display device and method for driving the same
KR101843197B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
KR101798236B1 (en) Stereoscopic image display and method of adjusting brightness thereof
KR101843198B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
KR20160021650A (en) Lenticular lens type stereoscopic 3d display device
US8723931B2 (en) Stereoscopic image display
KR101829466B1 (en) Stereoscopic image display device
KR101870233B1 (en) Method for improving 3d image quality and stereoscopic image display using the same
KR102126530B1 (en) 3d conversion method and stereoscopic image display device using the same
KR101961943B1 (en) 3d image data formation method and stereoscopic image display device using the same
KR102135914B1 (en) Image data processing method and multi-view autostereoscopic image display using the same
KR101681777B1 (en) Scanning backlight driving method and stereoscopic image display device using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)