KR20110060756A - Apparatus and method for display 3d image - Google Patents

Abstract

PURPOSE: A device and method for displaying a 3D image are provided to support the movement and size conversion of A 3D object and decrease shaking phenomena of an image through coordinate correction. CONSTITUTION: A display device(500) includes an image processing unit(520) and a display unit(530). The image processing unit generates a 3D image. The 3D image is generated according to a predetermined image generating method from the extracted image. The display unit displays 3D object according to a coordinate.

Description

3차원 영상 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR DISPLAY 3D IMAGE}3D image display device and method {APPARATUS AND METHOD FOR DISPLAY 3D IMAGE}

본 발명은 3차원 영상 디스플레이 장치 및 방법에 관한 것으로, 특히 3차원 영상 디스플레이장치에서 3차원 객체를 표시하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for displaying a 3D image, and more particularly, to an apparatus and method for displaying a 3D object in a 3D image display apparatus.

본 발명은 지식경제부의 IT 원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 2008-F-011-01, 과제명 : 차세대DTV핵심기술개발].The present invention is derived from a study conducted as part of the IT original technology development project of the Ministry of Knowledge Economy [task unique number: 2008-F-011-01, title: next-generation DTV core technology development].

3차원 영상은 두 가지 관점에서 정의될 수 있다. 첫 번째는 영상에 깊이 정보를 이용하여 영상의 일부가 화면으로부터 튀어나오는 느낌을 사용자가 느끼도록 구성된 영상이다. 이러한 깊이 정보는 2차원 영상의 한 지점을 기준으로 다른 지점의 대상의 원근 정보를 제공하는 것이다. 따라서 이러한 깊이 정보를 이용하여 2차원 영상을 3차원 영상으로 표현할 수 있다. 두 번째는 기본적으로 사용자에게 다양 한 시점을 제공하여 현실감을 느끼도록 구성된 영상이다.Three-dimensional images can be defined from two perspectives. The first is an image configured to allow the user to feel a part of the image protruding from the screen by using depth information in the image. The depth information provides perspective information of an object of another point based on one point of the 2D image. Therefore, the depth information may be expressed as a 3D image using the depth information. The second is basically a video that is configured to provide a user with various viewpoints to feel realistic.

이러한 3차원 영상을 디스플레이하기 위한 디스플레이장치는 사용자의 왼쪽과 오른쪽 눈에 서로 다른 2차원 영상을 보여줌으로써 사용자가 3차원 입체 영상의 깊이감과 실제감을 느낄 수 있도록 하는 장치이다. 상기 3차원 영상 디스플레이장치는 안경 방식과 무안경 방식으로 분류된다.The display device for displaying the 3D image is a device that allows the user to feel the depth and realism of the 3D stereoscopic image by showing different 2D images on the left and right eyes of the user. The 3D image display apparatus is classified into a glasses method and a glasses-free method.

안경 방식은 입체용 특수 안경을 이용하여 사용자에게 3차원 영상을 제공하는 방식이다. 이러한 안경 방식은 적청(Anaglyph) 방식, 편광(Polarized) 방식, 시분할 방식 및 HMD(Head Mounted Display) 등이 있다. 적청 방식은 눈과 색상의 특성을 이용하여 사용자가 입체감을 느낄 수 있도록 하는 방식이다. 즉, 적/청, 적/녹 등의 보색 안경을 사용하여 2차원 평면을 3차원의 입체로 보이게 하는 방식이다.Glasses method is a method of providing a three-dimensional image to the user by using a special three-dimensional glasses. Such eyeglasses include anaglyph, polarized, time division, and head mounted display (HMD). The red-blue method is a method of allowing a user to feel three-dimensional by using the characteristics of eyes and colors. In other words, using a complementary glasses such as red / blue, red / green, the two-dimensional plane is a three-dimensional three-dimensional look.

시분할 방식은 빠르고 반복적으로 열리고 닫히는 셔터를 안경에 부착하고 열리고 닫히는 주기를 디스플레이 되는 좌안용 및 우안용 영상에 동기시킴으로써 두 영상을 분리하여 입체 영상을 느낄 수 있도록 하는 방식이다.The time-division method attaches shutters to the glasses quickly and repeatedly and synchronizes the opening and closing cycles with the displayed left-eye and right-eye images so that the two images can be separated and a three-dimensional image can be felt.

편광방식은 임의의 방향을 가진 빛이 특정한 방향으로 편광된 빛만을 통과시키는 편광자를 만나면 특정한 방향의 편광을 가진 빛만 편광자를 통과하게 함으로써 영상에 입체감을 갖도록 하는 방법이다. 예를 들어, 수직 편광 방식의 경우에는 빛의 수직 성분만을 통과시키고 수평 성분을 통과하지 못하게 된다. 이를 통해 원하는 빛의 성분만을 제한적으로 선택할 수 있다. 따라서 영사기 또는 프로젝터 등과 같은 장비의 렌즈 부위에 각기 직교하는 편광 필터를 부착하고, 관람자도 같은 종류의 편광 필터가 부착된 편광 안경을 사용하여 입체감을 느낄 수 있다.In the polarization method, when light having an arbitrary direction encounters a polarizer passing only light polarized in a specific direction, only light having a specific direction of polarization passes through the polarizer to have a three-dimensional image. For example, in the case of the vertical polarization method, only the vertical component of the light passes and cannot pass through the horizontal component. This allows a limited selection of the desired light components. Therefore, the polarizer filters are orthogonal to each other in the lens portion of equipment such as a projector or a projector, and viewers can feel a three-dimensional effect by using polarized glasses having the same kind of polarization filter.

HMD방식은 1초에 60개의 영상을 디스플레이하는 방법이다. 즉, 좌우에 해당하는 영상을 HMD 디스플레이상에 각각 디스플레이하여 두 눈이 서로 다른 영상을 봄으로써 사용자가 입체감을 느낄 수 있도록 하는 방법이다.The HMD method displays 60 images per second. In other words, the image corresponding to the left and right are respectively displayed on the HMD display so that the eyes can see different images so that the user can feel a three-dimensional feeling.

무안경 방식은 입체용 특수 안경을 사용하지 않고 디스플레이 화면에 특수한 스크린을 사용하여 사용자에게 3차원 영상을 제공하는 방식이다. 상기 무안경 방식에는 패럴랙스 배리어(Parallax Barrier) 방법 및 렌티큘라(Lenticular) 방법이 있다. 패럴랙스 배리어방식은 일정 간격을 두어 좌우의 영상을 교대로 배치하고, 영상들앞에 배리어 필터를 설치함으로써 좌우에 각각 다른 영상이 보이게 하는 방법이다. 레티큘러 방법은 일정 간격을 두어 좌우의 영상을 교대로 배치하고, 일정간격에 해당하는 반원통형 렌티큘러 시티를 부착하여 좌우 각각의 눈에 해당하는 영상만 보이도록 함으로써 사용자가 입체감을 느낄 수 있도록 하는 방법이다.The glasses-free method provides a 3D image to a user by using a special screen on a display screen instead of using stereoscopic special glasses. The autostereoscopic method includes a parallax barrier method and a lenticular method. The parallax barrier method alternately arranges the left and right images at regular intervals and installs a barrier filter in front of the images so that different images are displayed on the left and right sides. In the reticular method, the left and right images are alternately arranged at regular intervals, and the semi-cylindrical lenticular city corresponding to the predetermined intervals is attached so that only the images corresponding to the left and right eyes can be seen so that the user can feel a three-dimensional effect. to be.

상기 방식들을 이용하여 사용자에게 3차원 영상을 제공하지만 대부분의 3차원 영상은 3차원 디스플레이 장치에서 거의 움직임 없이 고정된 위치에서만 재생하도록 되어 있다. 따라서 3차원 디스플레이 장치에서 3차원 영상이 움직일 경우 좌우 눈의 시점이 바뀌는 문제가 발생한다. 즉, 3차원 디스플레이는 위치가 고정된 상태에서 3차원 객체가 이동시 좌우가 계속해서 바뀌는 문제가 발생하는 것이다. 이와 같은 이유로 3차원 객체 영상의 좌우가 번갈아 가면서 보여 지는 흔들림 현상이 발생한다. 이러한 흔들림 현상은 다양한 3차원 객체의 애니메이션을 지원하기 위해서 반드시 해결되어야 하는 문제점이다.Although the 3D image is provided to the user using the above methods, most 3D images are reproduced only at a fixed position with almost no movement in the 3D display apparatus. Therefore, when the 3D image moves in the 3D display device, a problem arises in that the viewpoints of the left and right eyes are changed. That is, the three-dimensional display is a problem that the left and right continue to change when the three-dimensional object moves in a fixed position. For this reason, the shaking phenomenon that occurs when the left and right sides of the 3D object image are alternately generated. This shake is a problem that must be solved in order to support animation of various 3D objects.

따라서 본 발명에서는 좌표 수정을 통하여 영상의 흔들림 현상을 개선하는 3차원 디스플레이 장치 및 방법을 제공한다. Accordingly, the present invention provides a three-dimensional display device and method for improving the image shaking phenomenon by modifying the coordinates.

또한 본 발명에서는 3차원 객체의 이동 및 크기 변환 등을 지원하는 3차원 디스플레이 장치 및 방법을 제공한다.In addition, the present invention provides a three-dimensional display device and method for supporting the movement and size conversion of the three-dimensional object.

본 발명의 일 실시 예에 따른 3차원 영상 디스플레이 장치는 입력된 좌영상 및 우영상에서 각각 미리 결정된 순서로 영상의 픽셀을 추출하는 영상 추출부와, 상기 순차적으로 추출된 영상을 미리 결정된 영상 생성 방법에 따라 3차원 영상을 생성하고, 상기 생성된 3차원 영상의 객체가 픽셀 단위로 이동할 시 상기 이동 객체의 픽셀 순서를 비교하여 왜곡 여부를 검사하고, 왜곡이 발생한 경우 왜곡을 상기 픽셀의 순서를 재배치하여 보상하는 영상 처리부와, 좌표에 따라 3차원 객체를 디스플레이하는 디스플레이부를 포함한다.According to an embodiment of the present invention, an apparatus for displaying a 3D image includes an image extracting unit extracting pixels of an image in a predetermined order from input images of left and right images, and a method of generating a predetermined image from the sequentially extracted images. According to the three-dimensional image is generated, and when the object of the generated three-dimensional image is moved by pixel unit by comparing the pixel order of the moving object to check whether the distortion, if the distortion occurs by rearranging the order of the distortion And a display unit for displaying the 3D object according to the coordinates.

본 발명의 일 실시 예에 따른 3차원 영상 디스플레이 방법은 입력된 좌영상 및 우영상에서 미리 결정된 순서로 각각 추출된 픽셀을 이용하여 미리 결정된 3차원 영상 생성 방법에 따라 3차원 영상을 생성하는 영상 생성 단계와, 상기 생성된 3차원 영상의 객체가 픽셀 단위로 이동할 시 이동전과 이동후의 픽셀 순서를 비교하여 왜곡 여부를 결정하고, 왜곡이 발생하면 픽셀 순서를 재배치하여 보정하여 왜 곡을 보상하는 왜곡 보상 단계와, 상기 영상의 객체를 디스플레이 하는 디스플레이 단계를 포함한다.In the 3D image display method according to an embodiment of the present invention, an image generation step of generating a 3D image according to a predetermined 3D image generation method using pixels extracted in a predetermined order from the input left image and the right image, respectively. And a distortion compensation step of comparing distortion before and after the movement of the generated three-dimensional image object by pixel to determine whether to distort, and if distortion occurs, by rearranging the pixel order to compensate for distortion. And a display step of displaying the object of the image.

본 발명의 3차원 디스플레이 장치 및 방법을 사용하면 좌표 수정을 통하여 영상의 흔들림 현상을 개선할 수 있고, 3차원 영상내에서 3차원 객체의 이동 및 크기 변환 등을 할 수 있다.Using the three-dimensional display device and method of the present invention it is possible to improve the shaking of the image by modifying the coordinates, the movement and size conversion of the three-dimensional object in the three-dimensional image.

본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 따라서 좌표 수정을 통하여 영상의 흔들림 현상을 개선하여 3차원 객체의 이동 및 크기 변환 등을 지원하는 3차원 디스플레이 장치 및 방법 제안한다. 후술할 본 발명의 실시 예에서는 3차원 객체 이동 시 나타내는 좌우영상의 흔들림 현상을 개선하기 위하여 3차원 객체가 이동할 때에 좌우 시점이 바뀌며 깜빡거리는 현상을 제거함으로써 시청자에게 다양한 애니메이션효과를 지원한다. 또한, 본 발명의 실시 예에서는 BIFS 또는 LASeR와 같은 장면기술자와 연동되어 3차원 객체 표현 및 이동에도 사용할 수 있다. 그러면 이하에서는, 본 발명을 설명하기에 앞서, 패럴랙스 배리어 방식에서 3차원 영상을 처리하는 과정에 대하여 살펴보기로 한다.Accordingly, the present invention proposes a three-dimensional display apparatus and method for supporting the movement and the size conversion of the three-dimensional object by improving the shaking of the image by modifying the coordinates. In an embodiment of the present invention to be described later, in order to improve the blurring of the left and right images when the 3D object is moved, the left and right viewpoints are changed and flickers when the 3D object is moved, thereby supporting various animation effects to the viewer. In addition, in an embodiment of the present invention, it can be used in conjunction with a scene descriptor such as BIFS or LASeR to express and move 3D objects. Next, prior to describing the present invention, a process of processing a 3D image in the parallax barrier method will be described.

도 1은 패럴랙스 배리어 방식 기반의 3차원 영상 디스플레이 장치의 구성을 나타내는 도면이다. 패럴랙스 배리어 방식은 디스플레이 패널(110)과 디스플레이 패널(110)로부터 일정거리 만큼 이격된 위치에 배치되는 배리어(120)로 구성된다. 1 is a diagram illustrating a configuration of a 3D image display apparatus based on a parallax barrier method. The parallax barrier method includes a display panel 110 and a barrier 120 disposed at a position spaced apart from the display panel 110 by a predetermined distance.

디스플레이 패널(110)은 좌안용 영상의 화소 L₁~L₁₀과 우안용 영상의 화소 R₁~R₁₀이 순서대로 반복하여 배열된다. 배리어(120)는 디스플레이 패널(110)의 각 화소로부터 빛이 투과되는 부분(121)과 빛이 차단되는 차단막(122)로 이루어진다. 상기 차단막(122)은 좌안용 화소로부터 빛이 좌안으로만 입사되고, 우안용 화소로부터의 빛이 우안으로만 입사되도록 배치된다. In the display panel 110, pixels L ₁ to L ₁₀ of the left eye image and pixels R ₁ to R ₁₀ of the right eye image are repeatedly arranged in this order. The barrier 120 includes a portion 121 through which light is transmitted from each pixel of the display panel 110 and a blocking layer 122 through which light is blocked. The blocking layer 122 is disposed such that light is incident from the left eye pixel only to the left eye, and light from the right eye pixel is incident only to the right eye.

즉, 패럴랙스 배리어 방식은 디스플레이 패널(110)에 좌안용 영상의 화소 L₁~L₁₀과 우안용 영상의 화소 R₁~R₁₀이 순서대로 반복하여 배열하고, 좌안용과 우안용화소로부터 소정거리상의 좌안용 화소와 우안용 화소 사이에 해당하는 부분마다 차단막(120)을 설치하여 좌안용 영상은 좌안에만, 우안용 영상은 우안에만 보이도록 함으로써 입체영상을 재현하는 방식이다.That is, in the parallax barrier method, the pixels L ₁ to L ₁₀ of the left eye image and the pixels R ₁ to R ₁₀ of the right eye image are repeatedly arranged in order on the display panel 110, and the pixels are arranged at a predetermined distance from the left eye and right eye pixels. The barrier film 120 is installed at each portion between the left eye pixel and the right eye pixel, so that the left eye image is visible only to the left eye and the right eye image is only visible to the right eye.

도 2는 페럴랙스 배리어 방식 기반의 3차원 영상 디스플레이 장치를 통해 보았을 때 좌안과 우안에 각각 다른 영상이 보이게 되는 원리를 나타내는 도면이다. 도 2의 페럴랙스 배리어 방식 기반의 3차원 영상 디스플레이 구성은 도 1과 동일하기 때문에 자세한 설명은 생략한다.2 is a view showing a principle that different images are seen in the left eye and the right eye when viewed through a parallax barrier based 3D image display apparatus. Since the configuration of the 3D image display based on the parallax barrier method of FIG. 2 is the same as that of FIG. 1, a detailed description thereof will be omitted.

도 2를 참조하면, 좌안은 디스플레이 패널(110)의 좌안용 영상의 화소를 보게 되며, 우안은 디스플레이 패널(110)의 우안용 영상의 화소를 보게 된다. 즉, 좌안은 홀수 번째 위치한 좌안용 영상의 화소를 보게 되며, 우안은 짝수 번째 위치한 우안용 영상의 화소를 보게 된다. Referring to FIG. 2, the left eye sees the pixels of the left eye image of the display panel 110, and the right eye sees the pixels of the right eye image of the display panel 110. That is, the left eye sees pixels of an odd-numbered left eye image, and the right eye sees pixels of an even-numbered right eye image.

일반적으로 3차원 영상 디스플레이 방식은 수직 기반으로 좌우영상의 픽셀이 번갈아가면서 정렬되는 수직기반 인터레이스 방식 또는 수평기반으로 좌우영상의 픽셀이 번갈아 가면서 정렬되는 수평기반 인터레이스 방식을 사용한다.In general, a 3D image display method uses a vertical-based interlace method in which pixels of left and right images are alternately arranged on a vertical basis, or a horizontal-based interlace method in which pixels of a left and right image are alternately arranged on a horizontal basis.

이하, 도 3을 참조하여 수직 인터레이스 방식으로 3차원 영상을 생성하는 과정을 설명한다.Hereinafter, a process of generating a 3D image by the vertical interlace method will be described with reference to FIG. 3.

도 3은 좌영상을 기준으로 수직 인터레이스 방식으로 3차원 영상을 생성하는 과정을 설명하는 도면이다. 본 명세서에서 '기준영상'이라 함은 가장 먼저 나오는 픽셀의 영상을 의미한다. 즉, 디스플레이 패널(110)에 좌영상의 화소와 우영상의 화소 순서로 배열되었다면, 좌영상이 기준이 된다. 또한, 디스플레이 패널(110)에 우영상의 화소와 좌영상의 화소 순서로 배열되었다면, 우영상이 기준이 된다.3 is a diagram illustrating a process of generating a 3D image by a vertical interlace method based on a left image. In the present specification, the "reference image" means an image of a pixel that comes out first. That is, if the display panel 110 is arranged in the order of the pixels of the left image and the pixels of the right image, the left image becomes a reference. In addition, if the display panel 110 is arranged in the order of the pixel of the right image and the pixel of the left image, the right image is a reference.

도 3을 참조하면, 좌영상(310)과 우영상(320)을 이용하여 수직 인터페이스 방식으로 3차원 영상을 생성한다. 여기서, 도 1의 디스플레이 패널(110)은 좌영상의 화소와 우영상의 화소 순서로 배열되었기 때문에 좌영상(310)이 기준영상이 된다. 즉, 좌영상(310)을 기준으로 좌영상에서 홀수 번째 수직라인의 픽셀을 추출하여 얻은 영상(330)과 좌영상에서 짝수 번째 수직라인의 픽셀을 추출하여 얻은 영상(340)을 기반으로 3차원 영상(350)을 생성한다.Referring to FIG. 3, a 3D image is generated using the left image 310 and the right image 320 by using a vertical interface method. Here, since the display panel 110 of FIG. 1 is arranged in the order of the pixels of the left image and the pixels of the right image, the left image 310 becomes a reference image. That is, the image 330 obtained by extracting pixels of odd-numbered vertical lines from the left image based on the left image 310 and 3D based on image 340 obtained by extracting pixels of even-numbered vertical lines from the left image. Generate an image 350.

3차원 영상은 도면 3과 같이 3차원 디스플레이 장치에 따라 수직 인터레이스 방식 또는 수평 인터레이스 방식을 이용하여 영상을 3차원 영상 포맷으로 전환하여 재생한다. 또한 대부분의 3차원 영상은 3차원 디스플레이 장치에서 움직임 없이 고정된 위치에서만 재생된다. 이는 3차원 디스플레이 장치에서 3차원 객체가 움직일 경우 좌우 눈의 시점이 바뀌는 문제가 발생하기 때문이다. 즉, 3차원 디스플레이는 위치가 고정된 상태에서 3차원 객체가 이동하면 좌우가 계속해서 바뀌는 문제가 발생한다.As shown in FIG. 3, the 3D image is reproduced by converting the image into a 3D image format using a vertical interlace method or a horizontal interlace method according to the 3D display apparatus. In addition, most three-dimensional images are reproduced only at fixed positions without movement in the three-dimensional display apparatus. This is because when the 3D object moves in the 3D display device, the left and right eye views are changed. That is, in the 3D display, when the 3D object moves while the position is fixed, there is a problem that the left and right continuously change.

이하, 도 4a 내지 도 4c를 참조하여 상기 문제점에 대해서 설명한다. Hereinafter, the problem will be described with reference to FIGS. 4A to 4C.

도 4a 내지 도 4c는 3차원 객체의 이동에 따른 좌우시점의 변화를 설명하기 위한 도면이다.4A to 4C are diagrams for explaining changes in left and right viewpoints according to movement of a 3D object.

도 4a는 좌영상(310)과 우영상(320)을 이용하여 수직 인터페이스 방식으로 생성된 3차원 영상(350)에서 t시점에서의 3차원 객체를 나타낸다. t시점에서의 3차원 객체는 좌영상의 화소와 우영상의 화소순서로 배열되어 있다. 도 4b는 3차원 영상(350)에서 t + 1시점에서의 3차원 객체를 나타낸다. t + 1시점에서의 3차원 객체는 우영상의 화소와 좌영상의 화소순서로 배열되어 있다. 도 4c는 3차원 영상(350)에서 3차원 객체가 t시점에서 t + 1시점으로 이동한 경우를 나타낸다.4A illustrates a 3D object at a time point t in the 3D image 350 generated by the vertical interface method using the left image 310 and the right image 320. The three-dimensional object at time t is arranged in the order of the pixels of the left image and the pixels of the right image. 4B illustrates a 3D object at a time t + 1 in the 3D image 350. The three-dimensional object at time t + 1 is arranged in the order of the pixels of the right image and the pixels of the left image. 4C illustrates a case where the 3D object is moved from time t to time t + 1 in the 3D image 350.

일반적으로 3차원 디스플레이에서 3차원 객체가 이동하면서 경우에는 픽셀 단위의 이동이 발생한다. 이와 같은 이유로 도 4c에서 이동 전 시점인 t시점의 3차원 객체는 좌영상의 화소와 우영상의 화소순서로 배열되어 있지만, 이동 후 시점인 t + 1 시점의 3차원 객체는 우영상의 화소와 좌영상의 화소순서로 배열된다. 그래 서 3차원 객체가 이동하면서 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생한다. 즉, 상기와 같이 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하여 시청자가 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 또한, 3차원 객체의 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 계속적으로 일어나 사용자가 어지러움을 느끼게 된다.In general, when a three-dimensional object is moved in the three-dimensional display, movement in units of pixels occurs. For this reason, in FIG. 4C, the 3D object at time t, which is the point before the movement, is arranged in the order of the pixels of the left image and the pixel order of the right image. It is arranged in the pixel order of the left image. Therefore, the phenomenon that the pixels of the left image and the pixels of the right image are reversed as the 3D object moves. That is, as described above, a phenomenon in which the pixels of the left image and the pixels of the right image are reversed occurs, and the viewer feels that the 3D object flickers. In addition, the phenomenon in which the pixel of the left image and the pixel of the right image of the 3D object are reversed continuously causes the user to feel dizzy.

이하, 도 5를 참조하여 본 발명의 실시예에 따른 3차원 영상 디스플레이 장치에 대해서 설명한다. Hereinafter, a 3D image display apparatus according to an exemplary embodiment of the present invention will be described with reference to FIG. 5.

도 5는 본 발명의 실시예에 따른 3차원 영상 디스플레이 장치의 구조를 개략적으로 도시한 도면이다. 5 is a diagram schematically illustrating a structure of a 3D image display apparatus according to an embodiment of the present invention.

3차원 영상 디스플레이 장치(500)는 영상 추출부(510), 영상 처리부(520), 디스플레이부(530)를 포함한다. 영상 추출부(510)는 좌영상 추출부(511)과 우영상 추출부(512)를 포함한다.The 3D image display apparatus 500 includes an image extractor 510, an image processor 520, and a display 530. The image extractor 510 includes a left image extractor 511 and a right image extractor 512.

3차원 영상 디스플레이 장치(500)가 수평 인터레이스 방식 또는 수직 인터레이스 방식을 사용하는지에 따라서 좌영상 추출부(511)는 좌영상의 픽셀을 추출하고 우영상 추출부(512)는 우영상의 픽셀을 추출한다. 예를 들어, 3차원 영상 디스플레이 장치(500)가 수직 인터레이스 방식을 사용하고 기준 영상이 좌영상 이라면, 좌영상 추출부(511)는 좌영상에서 홀수 번째 수직라인의 픽셀을 추출하고, 우영상 추출부(512)는 짝수 번째 수직라인의 픽셀을 추출한다. 여기서 기준 영상은 가장 먼저 나오는 픽셀의 영상을 의미한다. 즉, 상기 예에서 좌영상이 기준 영상이기 때문에 좌영상의 홀수 번째 수직라인의 픽셀을 추출한다. 만약, 상기 예에서 우영상이 기준 영상이면 우영상의 홀수 번째 수직라인의 픽셀을 추출한다.Depending on whether the 3D image display apparatus 500 uses a horizontal interlace method or a vertical interlace method, the left image extractor 511 extracts a pixel of the left image, and the right image extractor 512 extracts a pixel of the right image. do. For example, if the 3D image display apparatus 500 uses the vertical interlace method and the reference image is the left image, the left image extractor 511 extracts pixels of an odd-numbered vertical line from the left image, and extracts the right image. The unit 512 extracts pixels of even-numbered vertical lines. In this case, the reference image means an image of the first pixel. That is, in the above example, since the left image is the reference image, pixels of odd-numbered vertical lines of the left image are extracted. If the right image is a reference image in the above example, pixels of an odd-numbered vertical line of the right image are extracted.

영상 처리부(520)는 좌영상 추출부(511)에서 추출된 좌영상의 픽셀과 우영상 추출부(512)에서 추출된 우영상의 픽셀을 이용하여 3차원 영상을 생성한다. 여기서 도 3을 참조하여 설명하면, 좌영상 추출부(511)는 좌영상(310)의 홀수 번째 픽셀을 추출하고, 우영상 추출부(512)는 우영상(320)의 짝수 번째 픽셀을 추출한다. 그리고 영상 처리부(520)는 좌영상의 픽셀과 우영상의 픽셀을 순차적으로 결합하여 3차원 영상(350)을 생성한다. 그리고 생성된 3차원 영상(350)에서 3차원 객체가 이동을 하게 되면, 영상 처리부(520)는 위치 좌표를 수정한다. The image processor 520 generates a 3D image using pixels of the left image extracted by the left image extractor 511 and pixels of the right image extracted by the right image extractor 512. Referring to FIG. 3, the left image extractor 511 extracts odd-numbered pixels of the left image 310, and the right image extractor 512 extracts even-numbered pixels of the right image 320. . The image processor 520 sequentially generates the 3D image 350 by combining the pixels of the left image and the pixels of the right image. When the 3D object moves in the generated 3D image 350, the image processor 520 modifies the position coordinates.

다음으로, 영상 처리부(520)는 3차원 영상이 수직 기반 인터레이스 방식인지 수평 기반 인터레이스 방식인지 판단한다. 만약 3차원 영상 디스플레이 방식이 수직 기반으로 좌우영상의 픽셀이 번갈아가면서 정렬되는 수직기반 인터레이스 방식이라면 이동 후 3차원 객체의 화면 출력 시 시작되는 시작점의 위치에서의 x좌표가 할당된다. 만약 3차원 영상 디스플레이 방식이 수평기반으로 좌우영상의 픽셀이 번갈아 가면서 정렬되는 수평기반 인터레이스 방식이라면 이동 후 3차원 객체의 화면 출력 시 시작되는 시작점의 위치에서의 y좌표가 할당된다. 여기서, 영상 처리부(520)는 x좌표 또는 y좌표는 변수 a에 저장한다. 그리고 영상 처리부(520)는 3차원 객체가 이동하거나 그 크기가 변할 때 3차원 객체의 이동거리를 변수 p에 저장한다. Next, the image processor 520 determines whether the 3D image is a vertical based interlace method or a horizontal based interlace method. If the 3D image display method is a vertically interlaced method in which the pixels of the left and right images are alternately arranged on a vertical basis, the x coordinate at the position of the starting point that starts when the screen of the 3D object is output after movement is allocated. If the 3D image display method is a horizontally interlaced method in which pixels of left and right images are alternately arranged on a horizontal basis, a y coordinate at a position of a starting point that starts when the screen of the 3D object is output after movement is allocated. Here, the image processor 520 stores the x coordinate or the y coordinate in the variable a. The image processor 520 stores the moving distance of the 3D object in the variable p when the 3D object moves or its size changes.

영상 처리부(520)는 이동전의 3차원 객체의 화소 배열순서와 이동후의 3차원 객체의 화소 배열순서에 따라서 좌표를 수정하여 수정된 좌표를 디스플레이부(530) 로 전송한다. 디스플레이부(530)는 전송받은 좌표에 3차원 객체를 출력한다.The image processor 520 modifies the coordinates according to the pixel arrangement order of the three-dimensional object before the movement and the pixel arrangement order of the three-dimensional object after the movement, and transmits the modified coordinates to the display unit 530. The display unit 530 outputs a 3D object to the received coordinates.

3차원 객체는 우영상의 화소와 좌영상의 화소가 번갈아 가면서 배열되었기 때문에, 우영상의 화소는 홀수 번째에만 위치하며 좌영상의 화소는 짝수 번째에만 위치한다. 즉, 3차원 객체의 이동 거리가 2의 배수이거나, 이동 후 3차원 객체를 출력할 위치 인 "a + p"가 2의 배수이면, 초기 좌표에서의 3차원 객체의 화소 순서와 이동 후 좌표에서의 3차원 객체의 화소 순서는 동일하다. 따라서 상기와 같은 경우에는 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하지 않는다. 즉, 상기와 같은 이유로 이동 후의 3차원 객체의 위치 값인 "a + p"의 값이 2의 배수이고, a의 값이 2의 배수이면 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하지 않는다.Since the 3D object is arranged alternately between the pixels of the right image and the pixels of the left image, the pixels of the right image are positioned only in odd-numbered pixels, and the pixels of the left image are positioned only in even-numbered pixels. That is, when the moving distance of the 3D object is a multiple of 2 or "a + p", which is a position to output the 3D object after moving, is a multiple of 2, the pixel order of the 3D object in the initial coordinates and the post-movement coordinates The pixel order of the three-dimensional object is the same. Therefore, in the above case, the phenomenon of inverting the pixel of the left image and the pixel of the right image does not occur. That is, if the value of "a + p", which is the position value of the three-dimensional object after moving, is a multiple of 2, and the value of a is a multiple of 2, the pixel of the left image and the pixel of the right image do not occur. Do not.

따라서 영상 처리부(520)는 (a + p)의 값을 2의 배수 인지 확인하기 위해서 나머지를 구하는 연산자 "%"를 사용한다. (a + p) % 2를 계산한 결과는 0 또는 1일 될 것이다. (a + p) % 2를 연산했을 때의 결과 값인 나머지가 0이면, (a + p)의 값은 2의 배수이고, 나머지가 1이면 (a + p)의 값은 2의 배수가 아니다. 따라서 영상 처리부(520)는 (a + p) % 2 와 a % 2가 같은지 확인한다. 즉, (a + p) % 2 와 a % 2가 2의 배수인지 확인한다.Therefore, the image processor 520 uses the operator "%" to find the remainder to check whether the value of (a + p) is a multiple of 2. The result of calculating (a + p)% 2 will be 0 or 1. If the remainder, which is the result of calculating (a + p)% 2, is 0, the value of (a + p) is a multiple of 2. If the remainder is 1, the value of (a + p) is not a multiple of 2. Therefore, the image processor 520 checks whether (a + p)% 2 is equal to a% 2. In other words, check that (a + p)% 2 and a% 2 are multiples of 2.

만약 (a + p) % 2 와 a % 2와 같다면, 영상 처리부(520)는 이동 후의 좌표 값인 "a + p"를 초기 좌표로 설정한다. 그리고 수정된 좌표를 디스플레이부(530)로 전송한다. 디스플레이부(530)는 수정된 좌표를 이용하여 3차원 객체를 디스플레이 한다. 이때, 3차원 영상 디스플레이가 수직기반 인터레이스 방식을 사용하면, 영상 처리부(520)는"a + p"의 값을 3차원 객체의 x좌표로 하고, 수평기반 인터페이스 방식을 사용하면, "a + p"의 값을 3차원 객체의 y좌표로 한다.If (a + p) is equal to% 2 and a% 2, the image processor 520 sets "a + p" which is a coordinate value after the movement as the initial coordinate. The modified coordinate is transmitted to the display unit 530. The display unit 530 displays the 3D object using the modified coordinates. In this case, when the 3D image display uses the vertical interlace method, the image processor 520 sets the value of "a + p" as the x coordinate of the 3D object, and when using the horizontal interface method, "a + p". "Is the y-coordinate of the three-dimensional object.

이동 전 3차원 객체의 화소순서의 배열과 이동 후 3차원 객체의 화소순서의 배열이 같지 않다면 영상 처리부(520)는 이동 전후의 3차원 객체의 화소순서의 배열을 맞추기 위해서, 이동 후 3차원 객체를 출력할 좌표 값인 "a + p"에서 1을 빼준다.If the arrangement of the pixel order of the three-dimensional object before the movement and the arrangement of the pixel order of the three-dimensional object after the movement are not the same, the image processor 520 adjusts the arrangement of the pixel order of the three-dimensional object before and after the movement to the three-dimensional object after the movement. Subtract 1 from "a + p" which is the coordinate value to output.

예를 들어, 이동 전 3차원 객체의 화소순서는 좌영상의 화소와 우영상의 화소순서로 배열되어있고, 이동 후 3차원 객체의 화소순서는 우영상의 화소와 좌영상의 화소순서로 배열되어있다면 시청자가 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 상기의 문제는 이동 후 3차원 객체의 좌표인 "a + p"에서 1을 빼줌으로써, 이동 후 3차원 객체의 화소순서는 우영상의 화소와 좌영의 화소순서에서 이동전과 같은 화소순서인 좌영상의 화소와 우영상의 화소순서로 배열된다.For example, the pixel order of the 3D object before the movement is arranged in the pixel order of the left image and the pixel order of the right image, and the pixel order of the 3D object after the movement is arranged in the pixel order of the right image and the pixel order of the left image. If so, the viewer will feel the 3D object flickering. The problem is that by subtracting 1 from the coordinates of "a + p" of the three-dimensional object after the movement, the pixel order of the three-dimensional object after the movement is the pixel order of the right image and the left image which is the same pixel order as before the movement Pixels are arranged in the order of the pixels of the right image.

그리고 영상 처리부(520)는 수정된 좌표 값인 "(a + p) - 1"을 초기 좌표로 설정한다. 그리고 수정된 좌표를 디스플레이부(530)로 전송한다. 디스플레이부(530)는 수정된 좌표를 이용하여 3차원 객체를 디스플레이 한다.The image processor 520 sets the modified coordinate value "(a + p)-1" as the initial coordinate. The modified coordinate is transmitted to the display unit 530. The display unit 530 displays the 3D object using the modified coordinates.

이하, 도 6을 참조하여 본 발명의 실시예에 따른 3차원 영상 디스플레이 방법에 대해서 설명한다.Hereinafter, a 3D image display method according to an embodiment of the present invention will be described with reference to FIG. 6.

도 6a 및 도 6b는 본 발명에 따른 3차원 영상 디스플레이하는 과정을 개략적으로 도시한 도면이다. 6A and 6B schematically illustrate a process of displaying a 3D image according to the present invention.

도 6a는 3차원 영상 디스플레이 장치(500)가 수직 인터레이스 방식을 사용하 는 경우에 3차원 영상 디스플레이의 방법을 설명하기 위한 흐름도이다.6A is a flowchart illustrating a method of displaying a 3D image when the 3D image display apparatus 500 uses a vertical interlace method.

도 6a를 참조하면, 610단계에서 수직 인터페이스 방식으로 생성된 3차원 영상에서 객체가 이동한다. 그러면 영상 처리부(520)는 620단계에서 변수 a에 3차원 객체의 화면 출력 시 시작되는 시작점의 위치에서의 x좌표를 할당하고, 630단계에서 변수 p에 화면에 출력할 3차원 객체가 이동하거나 그 크기가 변할 때 3차원 객체의 이동거리가 저장한다.Referring to FIG. 6A, the object moves in the 3D image generated by the vertical interface method in step 610. In operation 620, the image processor 520 assigns the variable a to the x-coordinate at the starting point of the start point of the screen output of the three-dimensional object, and in step 630, the three-dimensional object to be output on the screen is moved to or from the variable p. When the size changes, the moving distance of the 3D object is stored.

3차원 객체가 초기 위치에서 다른 위치로 이동하였을 때, 이를 표현하기 위해서는 3차원 객체가 변수 p만큼 이동한 위치에 3차원 객체를 출력해야한다. 즉, 이동후의 3차원 객체의 위치 값은 초기위치의 x좌표 값이 저장된 변수 a와 3차원 객체의 이동 거리가 저장된 p를 합한 값인 "a + p"가 되며, "a + p"위치에 3차원 객체를 출력해야한다. 하지만, 이때 상기 도 4에서 언급한 바와 같이 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생할 수도 있다. 이와 같은 상황이 발생하였을 때는 좌표를 수정하여 상기의 문제점을 해결할 수 있다.When the 3D object is moved from its initial position to another position, the 3D object should be output at the position where the 3D object has moved by the variable p in order to express it. That is, the position value of the three-dimensional object after the movement becomes "a + p", which is the sum of the variable a storing the x-coordinate value of the initial position and the p storing the moving distance of the three-dimensional object. Should output a dimensional object. However, as described above with reference to FIG. 4, a phenomenon in which the pixel of the left image and the pixel of the right image are reversed may occur. When such a situation occurs, the above problem can be solved by modifying the coordinates.

먼저 영상 처리부(520)는 640단계에서 (a + p) % 2 와 a % 2가 같은지 판단한다. 3차원 객체는 우영상의 화소와 좌영상의 화소가 번갈아 가면서 배열되었기 때문에, 우영상의 화소는 홀수 번째에만 위치하며 좌영상의 화소는 짝수 번째에만 위치한다. 즉, 3차원 객체의 이동 거리가 2의 배수이거나, 이동 후 3차원 객체를 출력할 위치 인 "a + p"가 2의 배수이면, 초기 좌표에서의 3차원 객체의 화소 순서와 이동 후 좌표에서의 3차원 객체의 화소 순서는 동일하다. 따라서 상기와 같은 경우에는 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하지 않는다. 즉, 상기와 같은 이유로 이동 후의 3차원 객체의 위치 값인 "a + p"의 값이 2의 배수이고, a의 값이 2의 배수이면 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하지 않는다. First, in step 640, the image processor 520 determines whether (a + p)% 2 is equal to a% 2. Since the 3D object is arranged alternately between the pixels of the right image and the pixels of the left image, the pixels of the right image are positioned only in odd-numbered pixels, and the pixels of the left image are positioned only in even-numbered pixels. That is, when the moving distance of the 3D object is a multiple of 2 or "a + p", which is a position to output the 3D object after moving, is a multiple of 2, the pixel order of the 3D object in the initial coordinates and the post-movement coordinates The pixel order of the three-dimensional object is the same. Therefore, in the above case, the phenomenon of inverting the pixel of the left image and the pixel of the right image does not occur. That is, if the value of "a + p", which is the position value of the three-dimensional object after moving, is a multiple of 2, and the value of a is a multiple of 2, the pixel of the left image and the pixel of the right image do not occur. Do not.

따라서 영상 처리부(520)는 (a + p)의 값을 2의 배수 인지 확인하기 위해서 나머지를 구하는 연산자 "%"를 사용한다. (a + p) % 2를 계산한 결과는 0 또는 1일 될 것이다. (a + p) % 2를 연산했을 때의 결과 값인 나머지가 0이면, (a + p)의 값은 2의 배수이고, 나머지가 1이면 (a + p)의 값은 2의 배수가 아니다. 만약 (a + p) % 2 와 a % 2와 같다면 660단계로 이동하고, 같지 않을 경우에는 650단계로 이동한다. 영상 처리부(520)는 650단계에서 이동 전 3차원 객체의 화소순서의 배열과 이동 후 3차원 객체의 화소순서의 배열을 맞추기 위해서, 이동 후 3차원 객체를 출력할 좌표 값인 "a + p"에서 1을 빼준다.Therefore, the image processor 520 uses the operator "%" to find the remainder to check whether the value of (a + p) is a multiple of 2. The result of calculating (a + p)% 2 will be 0 or 1. If the remainder, which is the result of calculating (a + p)% 2, is 0, the value of (a + p) is a multiple of 2. If the remainder is 1, the value of (a + p) is not a multiple of 2. If (a + p) is equal to% 2 and a% 2, go to step 660; otherwise, go to step 650. In order to align the arrangement of the pixel order of the three-dimensional object before the movement and the arrangement of the pixel order of the three-dimensional object after the movement in operation 650, the image processor 520 may use the coordinate value "a + p" to output the three-dimensional object after the movement. Subtract 1

예를 들어, 이동 전 3차원 객체의 화소순서는 좌영상의 화소와 우영상의 화소순서로 배열되어있고, 이동 후 3차원 객체의 화소순서는 우영상의 화소와 좌영상의 화소순서로 배열되어있다면 시청자가 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 상기의 문제는 이동 후 3차원 객체의 좌표인 "a + p"에서 1을 빼줌으로써, 이동 후 3차원 객체의 화소순서는 우영상의 화소와 좌영의 화소순서에서 이동전과 같은 화소순서인 좌영상의 화소와 우영상의 화소순서로 배열된다. For example, the pixel order of the 3D object before the movement is arranged in the pixel order of the left image and the pixel order of the right image, and the pixel order of the 3D object after the movement is arranged in the pixel order of the right image and the pixel order of the left image. If so, the viewer will feel the 3D object flickering. The problem is that by subtracting 1 from the coordinates of "a + p" of the three-dimensional object after the movement, the pixel order of the three-dimensional object after the movement is the pixel order of the right image and the left image which is the same pixel order as before the movement Pixels are arranged in the order of the pixels of the right image.

그리고 영상 처리부(520)는 660단계에서 수정후의 좌표 값인"a + p"를 객체의 x좌표로 설정하고, 그 후, 3차원 객체가 이동하면 630단계로 이동하여 상기 과정을 반복한다.In operation 660, the image processor 520 sets the corrected coordinate value "a + p" to the x-coordinate of the object. After that, when the 3D object moves, the image processor 520 repeats the process in step 630.

도 6b는 3차원 영상 디스플레이 장치(500)가 수평 인터레이스 방식을 사용하는 경우에 3차원 영상 디스플레이의 방법을 설명하기 위한 흐름도이다.FIG. 6B is a flowchart for describing a method of displaying a 3D image when the 3D image display apparatus 500 uses a horizontal interlace method.

도 6b를 참조하면, 611단계에서 수평 인터레이스 방식으로 생성된 3차원 영상에서 객체가 이동한다. 그러면 영상 처리부(520)는 621단계에서 변수 a에 3차원 객체의 화면 출력 시 시작되는 시작점의 위치에서의 y좌표를 할당하고, 631단계에서 변수 p에 화면에 출력할 3차원 객체가 이동하거나 그 크기가 변할 때 3차원 객체의 이동거리가 저장한다. 영상 처리부(520)는 641단계에서 (a + p) % 2 와 a % 2가 같은지 판단한다. 3차원 객체는 우영상의 화소와 좌영상의 화소가 번갈아 가면서 배열되었기 때문에, 우영상의 화소는 홀수 번째에만 위치하며 좌영상의 화소는 짝수 번째에만 위치한다. 여기서, (a + p) % 2 와 a % 2가 같은지 판단하기 위한 연산은 상기 도 6a에서 설명하였으므로 자세한 설명은 생략한다. 만약 (a + p) % 2 와 a % 2와 같다면 661단계로 이동하고, 같지 않을 경우에는 651단계로 이동한다. 영상 처리부(520)는 651단계에서 이동 전 3차원 객체의 화소순서의 배열과 이동 후 3차원 객체의 화소순서의 배열을 맞추기 위해서, 이동 후 3차원 객체를 출력할 좌표 값인 "a + p"에서 1을 빼준다. 그리고 영상 처리부(520)는 661단계에서 수정후의 좌표 값인"a + p"를 객체의 x좌표로 설정하고, 그 후, 3차원 객체가 이동하면 630단계로 이동하여 상기 과정을 반복한다.Referring to FIG. 6B, the object moves in the 3D image generated by the horizontal interlace method in step 611. In operation 621, the image processor 520 allocates the y-coordinate at the position of the starting point starting when the screen of the 3D object is output to the variable a, and moves the 3D object to be output on the screen to the variable p in step 631. When the size changes, the moving distance of the 3D object is stored. The image processor 520 determines whether (a + p)% 2 is equal to a% 2 in step 641. Since the 3D object is arranged alternately between the pixels of the right image and the pixels of the left image, the pixels of the right image are positioned only in odd-numbered pixels, and the pixels of the left image are positioned only in even-numbered pixels. Here, the operation for determining whether (a + p)% 2 and a% 2 are the same has been described with reference to FIG. 6A, and thus detailed description thereof will be omitted. If (a + p) is equal to% 2 and a% 2, go to step 661; otherwise, go to step 651. In order to match the arrangement of the pixel order of the three-dimensional object before the movement and the arrangement of the pixel order of the three-dimensional object after the movement in step 651, the image processing unit 520 outputs a coordinate value "a + p" to output the three-dimensional object after the movement. Subtract 1 In operation 661, the image processor 520 sets the corrected coordinate value "a + p" to the x-coordinate of the object. Then, when the 3D object moves, the image processing unit 520 repeats the process in step 630.

이하, 도7a 내지 도 7d를 참조하여 본 발명에 따른 3차원 객체 이동시 위치 좌표를 수정하는 일실시예를 설명한다.Hereinafter, an embodiment of modifying position coordinates when moving a 3D object according to the present invention will be described with reference to FIGS. 7A to 7D.

도7a 내지 도 7d는 본 발명에 따른 일실시예를 설명하기 위한 도면이다.7a to 7d are views for explaining an embodiment according to the present invention.

도7a 내지 도 7d를 참조하면, 도 7a는 좌영상과 우영상을 이용하여 수평 인터페이스 방식으로 생성된 3차원 영상에서 t시점에서의 3차원 객체를 나타낸다. t 시점에서의 3차원 객체는 우영상의 화소와 좌영상의 화소순서로 배열되어 있다. 도 7b는 3차원 영상에서 t + 1시점에서의 3차원 객체를 나타낸다. t + 1시점에서의 3차원 객체는 좌영상의 화소와 우영상의 화소순서로 배열되어 있다. 도 7c는 3차원 영상에서 3차원 객체가 t시점에서 t + 1시점으로 이동한 경우를 나타낸다.7A to 7D, FIG. 7A illustrates a 3D object at a time point t in a 3D image generated by a horizontal interface method using a left image and a right image. The three-dimensional object at time t is arranged in the order of the pixels of the right image and the pixels of the left image. 7B illustrates a 3D object at a time t + 1 in the 3D image. The three-dimensional object at the time t + 1 is arranged in the order of the pixels of the left image and the pixels of the right image. FIG. 7C illustrates a case where a 3D object is moved from time t to time t + 1 in the 3D image.

이와 같은 이유로 도 7c에서 이동 전 시점인 t시점의 3차원 객체는 우영상의 화소와 좌영상의 화소순서로 배열되어 있지만, 이동 후 시점인 t + 1 시점의 3차원 객체는 좌영상의 화소와 우영상의 화소순서로 배열된다. 그래서 3차원 객체가 이동하면서 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생한다. 이와 같은 문제점을 해결하기 위해서 도 5에서 설명된 본 발명에 따른 3차원 객체 이동시 위치 좌표를 수정 방법을 적용하면 해결할 수 있다.For this reason, in FIG. 7C, the 3D object at time t, which is the point before the movement, is arranged in the order of the pixels of the right image and the pixel order of the left image. It is arranged in the pixel order of the right image. Therefore, the phenomenon that the pixels of the left image and the pixels of the right image are reversed as the 3D object moves. In order to solve such a problem, it can be solved by applying a method of correcting the position coordinates when moving the 3D object according to the present invention described in FIG.

3차원 영상은 수평 방식 합성의 영상 출력 방식이기 때문에 3차원 객체의 초기 위치의 y좌표 값이 변수 a에 저장된다. 여기서, y좌표를 10이라고 가정하고, 3차원 객체가 수직 방향으로 5만큼 이동한다고 가정한다.Since the 3D image is an image output method of horizontal synthesis, the y coordinate value of the initial position of the 3D object is stored in the variable a. Here, it is assumed that y coordinate is 10, and it is assumed that the 3D object moves by 5 in the vertical direction.

따라서 변수 a에는 3차원 객체의 y좌표인 10이 저장된다. 또한, 3차원 객체가 수직 방향으로 5만큼 이동한다고 가정하였기 때문에 3차원 객체의 이동 거리를 저장하는 변수 p에는 5가 저장된다.Therefore, the variable a stores the y coordinate 10 of the three-dimensional object. Also, since it is assumed that the 3D object moves by 5 in the vertical direction, 5 is stored in the variable p that stores the moving distance of the 3D object.

t + 1 시점에서의 3차원 객체의 위치 값은 t 시점의 y좌표 값이 저장된 변수 a와 3차원 객체의 이동 거리가 저장된 p를 합한 값이 된다. The position value of the 3D object at time t + 1 is the sum of the variable a which stores the y coordinate value at time t and p which stores the moving distance of the 3D object.

즉, t + 1 시점의 3차원 객체의 위치 값인 "a + p"의 값이 변수 a값에 임의의 2의 배수의 값을 더한 값과 같지 않은 경우에는 상기와 같은 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생한다. 이는 3차원 객체는 우영상의 화소와 좌영상의 화소가 번갈아 가면서 배열되었기 때문에, 우영상의 화소는 홀수 번째에만 위치하며 좌영상의 화소는 짝수 번째에만 위치한다. 즉, 3차원 객체의 이동 거리가 2의 배수이라면, 초기 좌표에서의 3차원 객체의 화소 순서와 이동 후 위치에서의 3차원 객체의 화소 순서는 동일하다. 따라서 상기와 같은 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상이 발생하지 않는다.That is, when the value of "a + p", which is the position value of the three-dimensional object at the time of t + 1, is not equal to the value of the variable a plus a value of a multiple of 2, the above-described left and right pixels and the right image The phenomenon in which the pixels are reversed occurs. Since the 3D object is arranged alternately between the pixels of the right image and the pixels of the left image, the pixels of the right image are positioned only in the odd-numbered pixels, and the pixels of the left image are positioned only in the even-numbered images. That is, if the moving distance of the three-dimensional object is a multiple of two, the pixel order of the three-dimensional object in the initial coordinates and the pixel order of the three-dimensional object in the post-movement position are the same. Therefore, the phenomenon of inverting the pixel of the left image and the pixel of the right image as described above does not occur.

도 7c에서는 3차원 객체의 이동 거리가 2의 배수가 아니기 때문에 이동 후의 3차원 객체의 위치 값인 "a + p"의 값이 a값에 임의의 2의 배수의 값을 더한 값과 같지 않다. 이와 같은 이유로 시청자는 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 이를 해결하기 위해서 "a + p"의 값이 a값에 임의의 2의 배수의 값을 더한 값과 같지 않을 경우에는 "a + p"의 값에 1을 더하거나 1을 빼줌으로써 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상을 해결할 수 있다. 도 7d는"a + p"의 값에 1을 빼줌으로써 좌영상의 화소와 우영상의 화소가 뒤바뀌는 현상을 해결한 경우를 나타내난 도면이다. 그러면 여기서, 도 8 및 도 9를 참조하여 본 발명의 실시 예에 따른 3차원 객체 이동시 위치 좌표를 수정하는 방법을 BIFS(Binary Format For Scenes : 이하 'BIFS' 라 칭하기로 함) 또는 LASeR과 같은 장면기술자와 연동하여 3차원 객체 표현 및 이동에 사용되는 경우를 설명한다.In FIG. 7C, since the moving distance of the three-dimensional object is not a multiple of two, the value of "a + p", which is the position value of the three-dimensional object after the movement, is not equal to the value of a plus a random multiple of two. For this reason, the viewer may feel the 3D object flickering. To solve this problem, if the value of "a + p" is not equal to the value of a plus the value of a multiple of 2, add 1 to or subtract 1 from the value of "a + p". It is possible to solve the phenomenon in which the pixels of the right image are reversed. FIG. 7D is a diagram illustrating a case where a phenomenon in which a pixel of a left image and a pixel of a right image are reversed by subtracting 1 from a value of "a + p" is solved. Then, a scene such as BIFS (Binary Format For Scenes: hereinafter referred to as 'BIFS') or LASeR will be described with reference to FIGS. 8 and 9. In the following description, the case of being used for 3D object representation and movement in conjunction with a descriptor will be described.

도 8은 BIFS를 이용하여 정지 영상을 표현하는 화면 구성 정보를 설명하기 위한 도면이다.FIG. 8 is a diagram for describing screen configuration information representing a still image using BIFS.

도 8을 참조하면, BIFS란 3차원 영상을 표현하는 대표적인 텍스트 형식의 언어인 VRML(Virtual Reality Modeling Language)을 토대로 개발된 이진 형식의 언어로써, BIFS 데이터는 장면을 기술하는 이진 데이터로써 다수의 노드들로 구성된다. Referring to FIG. 8, BIFS is a binary format language developed based on VRML (Virtual Reality Modeling Language), which is a representative text format language for expressing 3D images. BIFS data is a binary data describing a scene. It consists of

BIFS를 이용하여 3차원 영상을 표현하기 위해서는 루트 노드인 "OrderedGroup"을 시작으로 이미지정보가 담긴 "ImageTexture"노드까지 트리 구조를 이용하여 표현한다. BIFS에 포함된 노드들 중 "Transform2D"노드는 이미지 객체에 대한 출력 위치, 크기 비율, 회정 비유 등의 객체의 출력에 대한 정보를 포함하고 있다. 따라서 BIFS는 "Transform2D" 노드에 저장된 객체의 출력 정보를 이용하여 원하는 위치에 출력한다. 하기 <표 1>은 "Transform2D"의 구조를 나타낸다. In order to express a 3D image using BIFS, a tree structure is expressed from the root node "OrderedGroup" to the "ImageTexture" node containing the image information. Among the nodes included in BIFS, the "Transform2D" node contains information about the object's output such as output position, size ratio, and gray metaphor for the image object. Therefore, BIFS outputs to the desired location by using the output information of the object stored in the "Transform2D" node. Table 1 below shows the structure of “Transform2D”.

레이블Labels 유형type 이름name 기본값Default eventInFieldeventInField MFNodeMFNode addChildrenaddChildren eventInFieldeventInField MFNodeMFNode removeChildrenremoveChildren exposedFieldexposedField SFVec2fSFVec2f CenterCenter 0, 00, 0 exposedFieldexposedField MFNodeMFNode ChildrenChildren exposedFieldexposedField SFFloatSFFloat rotationAnglerotationAngle 0.00.0 exposedFieldexposedField SFVec2fSFVec2f ScaleScale 1, 11, 1 exposedFieldexposedField SFFloatSFFloat scaleOrientationscaleOrientation 0.00.0 exposedFieldexposedField SFVec2fSFVec2f TranslationTranslation 0, 00, 0

상기 <표 1>을 참조하면, 필드의 레이블은 eventIn와 exposedField로 구성된다. 필드가 이벤트들을 받을 수 있는 필드일 경우 eventIn 레이블을 가진다. 또한, 필드가 이벤트들을 발생하는 필드일 경우 exposedField 레이블을 가진다. 필드의 유형은 단일 필드와 다중 필드로 구성된다. 단일 필드는 SF(Single Filed)로 시작되며, 다중 필드는 MF(Multiple Field)로 시작된다. 예를 들어, <표 1>의 MFNode는 다중 필드 노드를 나타내며, SFNode는 단일 필드 노드를 나타낸다. 또한, SFVec2f는 다중 필드의 2차원 벡터를 나타내고 SFVec3f는 다중 필드의 3차원 벡터를 나타낸다. 그리고 SFFloat는 단일 필드의 부동 소수점 값을 나타낸다.Referring to Table 1, the label of the field is composed of eventIn and exposedField. If the field is a field that can receive events, it has an eventIn label. In addition, it has an exposedField label when the field is a field that generates events. The type of field consists of a single field and multiple fields. Single fields begin with Single Filed (SF), and multiple fields begin with Multiple Field (MF). For example, the MFNodes in Table 1 represent multiple field nodes and SFNodes represent single field nodes. In addition, SFVec2f represents a two-dimensional vector of multiple fields and SFVec3f represents a three-dimensional vector of multiple fields. And SFFloat represents a floating point value of a single field.

BIFS는 Transform2D노드에 저장된 정보를 이용하여 원하는 화면의 위치에 객체를 출력할 때 Transform2D노드의 translation필드에 (x, y)좌표 형태로 저장된 좌표 값을 이용된다.When BIFS outputs an object to the desired screen location by using the information stored in the Transform2D node, BIFS uses the coordinate values stored in the form of (x, y) coordinates in the translation field of the Transform2D node.

반면, BIFS 방법을 기반으로 3차원 영상에서 3차원 객체가 이동하면 앞서 설명한 바와 같이 영상의 화소가 뒤바뀌는 현상이 발생하여 시청자가 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 따라서 BIFS 방법에 본 발명에 따른 3차원 객체 이동시 위치 좌표를 수정 방법을 적용하면 문제점을 해결할 수 있다. 즉, "Transform2D" 노드에 저장되어 있는 출력될 객체의 위치 좌표를 본 발명에 따른 3차원 객체 이동시 위치 좌표를 수정하는 방법을 이용하여 수정하여 화면에 출력하면 영상의 화소가 뒤바뀌는 현상을 해결할 수 있다. 여기서, 3차원 객체 이동시 위치 좌표를 수정하는 방법은 앞서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하기로 한다.On the other hand, when the 3D object is moved in the 3D image based on the BIFS method, a phenomenon in which the pixels of the image are reversed, as described above, causes the viewer to feel the 3D object flickering. Therefore, the problem can be solved by applying the method of modifying the position coordinates when moving the 3D object according to the present invention to the BIFS method. That is, if the position coordinates of the object to be output stored in the "Transform2D" node are modified using the method of modifying the position coordinates when moving the 3D object according to the present invention and output to the screen, the pixel of the image may be reversed. . Here, since the method of modifying the position coordinate when moving the 3D object has been described in detail above, a detailed description thereof will be omitted.

도 9는 LASeR를 이용하여 정지 영상을 표현하는 화면 구성 정보를 설명하기 위한 도면이다.FIG. 9 is a diagram for describing screen configuration information expressing a still image using LASeR.

LASeR(Lightweight Application Scene Representation)은 MPEG 4의 장면 기술인 장면용 이진 포맷(BIFS)을 보완하여 모바일 방송에 다양한 서비스를 적절하게 지원할 수 있도록 개발된 것으로 오디오 및 비디오뿐만 아니라 그래픽이나 텍스트를 포함하여 역동적인 정보를 양방향으로 제공하는 리치 미디어 서비스를 제공한다.Lightweight Application Scene Representation (LASeR) was developed to support various services for mobile broadcasting by supplementing the Binary Format for Scene (BIFS), which is the scene technology of MPEG 4, and includes not only audio and video but also graphics and text. It provides a rich media service that provides information in both directions.

LASeR은 데이터는 장면을 기술자로써 다수의 노드들로 구성된다.LASeR를 이용하여 3차원 영상을 표현하기 위해서는 루트 노드인 "NewScene"을 시작으로 이미지정보가 담긴 "Image"노드까지 트리 구조를 이용하여 표현한다. LASeR에 포함된 노드들 중 "Image"노드는 이미지 객체에 대한 출력 위치, 크기 비율, 회전 비율 등의 객체에 대한 모든 정보를 포함하고 있다. 따라서 LASeR는 "Image" 노드에 저장된 객체의 출력 정보를 이용하여 원하는 위치에 출력한다. 하기 <표 2>는 "Image"의 구조를 나타낸다. LASeR is composed of a number of nodes that describe the scene as a descriptor. To express a 3D image using LASER, a tree structure starts from the root node "NewScene" and starts with a "Image" node containing image information. Express. Among the nodes included in the LASeR, the "Image" node contains all the information about the object such as the output position, the size ratio, and the rotation rate for the image object. Therefore, LASeR outputs to the desired position by using the output information of the object stored in the "Image" node. Table 2 below shows the structure of “Image”.

상기 <표 2>를 참조하면, 객체를 출력할 경우 "x", "y"의 속성에 저장되어 있는 좌표 x, y의 값을 이용하여 화면에 출력한다. Referring to Table 2, when the object is outputted, the object is output to the screen using the values of the coordinates x and y stored in the attributes of "x" and "y".

반면, LASeR 방법을 기반으로 3차원 영상에서 3차원 객체가 이동하면 앞서 설명한 바와 같이 영상의 화소 뒤바뀌는 현상이 발생하여 시청자가 3차원 객체가 깜빡 거리는 것을 느끼게 된다. 따라서 LASeR 방법에 본 발명에 따른 3차원 객체 이동시 위치 좌표를 수정 방법을 적용하면 문제점을 해결할 수 있다. 여기서, 3차원 객체 이동시 위치 좌표를 수정하는 방법은 앞서 구체적으로 설명하였음으로 여기서는 그에 관한 구체적인 설명을 생략하기로 한다.On the other hand, when the 3D object is moved in the 3D image based on the LASeR method, the phenomenon of inverting the pixel of the image occurs as described above, and the viewer feels that the 3D object flickers. Therefore, the problem can be solved by applying the method of modifying the position coordinates when moving the 3D object according to the present invention to the LASeR method. Here, since the method of modifying the position coordinate when moving the 3D object has been described in detail above, a detailed description thereof will be omitted.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.

도 1은 패럴랙스 배리어 방식 기반의 3차원 영상 디스플레이 장치의 구성을 나타내는 도면,1 is a diagram illustrating a configuration of a parallax barrier based 3D image display device;

도 2는 페럴랙스 배리어 방식 기반의 3차원 영상 디스플레이 장치를 통해 보았을 때 좌안과 우안에 각각 다른 영상이 보이게 되는 원리를 나타내는 도면,2 is a view showing a principle that different images are seen in the left and right eyes when viewed through a parallax barrier-based 3D image display device;

도 3은 좌영상을 기준으로 수직 인터레이스 방식으로 3차원 영상을 생성하는 과정을 설명하는 도면,3 is a diagram illustrating a process of generating a 3D image by a vertical interlace method based on a left image;

도 4a 내지 도 4c는 3차원 객체의 이동에 따른 좌우시점의 변화를 설명하기 위한 도면,4A to 4C are diagrams for explaining changes in left and right viewpoints according to movement of a 3D object;

도 5는 본 발명에 따른 3차원 영상 디스플레이 장치의 구성도,5 is a configuration diagram of a three-dimensional image display device according to the present invention,

도 6a 및 도 6b는 본 발명에 따른 3차원 영상 디스플레이의 방법을 설명하기 위한 흐름도.6A and 6B are flowcharts for explaining a method of a three-dimensional image display according to the present invention.

도7a 내지 도 7d는 본 발명에 따른 일실시예를 설명하기 위한 도면이다.7a to 7d are views for explaining an embodiment according to the present invention.

도 8은 BIFS를 이용하여 정지 영상을 표현하는 화면 구성 정보를 설명하기 위한 도면이다.FIG. 8 is a diagram for describing screen configuration information representing a still image using BIFS.

도 9는 LASeR를 이용하여 정지 영상을 표현하는 화면 구성 정보를 설명하기 위한 도면이다.FIG. 9 is a diagram for describing screen configuration information expressing a still image using LASeR.

Claims (8)

3차원 영상 디스플레이 장치에 있어서,In the three-dimensional image display device, 순차적으로 추출된 영상을 미리 결정된 영상 생성 방법에 따라 3차원 영상을 생성하고, 상기 생성된 3차원 영상의 객체가 픽셀 단위로 이동할 시 상기 이동 객체의 픽셀 순서를 비교하여 왜곡 여부를 검사하고, 왜곡이 발생한 경우 왜곡을 상기 픽셀의 순서를 재배치하여 보상하는 영상 처리부와,The 3D image is sequentially generated according to a predetermined image generating method, and when the object of the generated 3D image moves in units of pixels, the pixel order of the moving object is compared to check for distortion, and distortion An image processor to compensate for the distortion by rearranging the order of the pixels; 좌표에 따라 3차원 객체를 디스플레이하는 디스플레이부를 포함함을 특징으로 하는 디스플레이 장치.And a display unit for displaying the 3D object according to the coordinates. 제 1 항에 있어서, 상기 영상 처리부는,The image processing apparatus of claim 1, wherein the image processor comprises: 상기 생성된 영상이 수직 인터레이스 방식으로 생성되는 경우 상기 이동 전/후 영상의 객체 픽셀 순서를 x 축을 기반으로 순서를 비교하고, 상기 생성된 영상이 수평 인터레이스 방식으로 생성되는 경우 상기 이동 전/후 객체의 픽셀 순서를 y 축 기반으로 순서를 비교함을 특징으로 하는 디스플레이 장치.When the generated image is generated by the vertical interlacing method, the object pixel order of the before / after moving image is compared based on the x axis, and when the generated image is generated by the horizontal interlacing method, the before / after moving object And comparing the order of the pixels based on the y axis. 제 1 항에 있어서, 상기 영상 처리부에서 상기 왜곡 발생 여부 검사는,The method of claim 1, wherein the image processor determines whether the distortion occurs. 상기 생성된 이동 전 영상의 특정 지점에 대한 좌표와 이동 후 영상의 특정 지점에 좌표를 상기 픽셀 순서의 기반이 되는 축의 좌표값의 합을 2로 나눈 나머지와 상기 이동 전 영상의 특정 지점에 대한 좌표를 2로 나눈 나머지와의 동일 여부에 따라 왜곡 여부를 판단함을 특징으로 하는 디스플레이 장치.Coordinates for a specific point of the image before the movement, the remainder obtained by dividing the coordinates of a specific point of the generated before-movement image and the specific point of the image after the movement by 2 A display device, characterized in that for determining whether or not distortion according to equal to the remainder divided by 2. 제 3 항에 있어서, 상기 판단 결과는,The method of claim 3, wherein the determination result, 이동 전/후 영상의 특징 지점에 대한 좌표를 2로 나눈 나머지가 동일하지 않은 경우에는 상기 좌표값의 합에서 미리 결정된 숫자를 연산하여 왜곡을 보정함을 특징으로 하는 디스플레이 장치.And correcting the distortion by calculating a predetermined number from the sum of the coordinate values when the coordinates of the feature points of the image before and after the movement are not equal to two. 3차원 영상 디스플레이 방법에 있어서,In the three-dimensional image display method, 순차적으로 추출된 영상을 이용하여 생성된 3차원 영상의 객체가 픽셀 단위로 이동할 시 이동전과 이동후의 픽셀 순서를 비교하여 왜곡 여부를 결정하고, 왜곡이 발생하면 픽셀 순서를 재배치하여 보정하여 왜곡을 보상하는 왜곡 보상 단계와,When the object of the 3D image generated by using the extracted images is moved by pixel unit, before and after moving the pixel order is compared to determine the distortion, and if the distortion occurs, rearrange the pixel order to compensate for the distortion. The distortion compensation step 상기 영상의 객체를 디스플레이 하는 디스플레이 단계를 포함함을 특징으로 하는 디스플레이 방법.And a display step of displaying the object of the image. 제 5 항에 있어서, 상기 왜곡 보상 단계는,The method of claim 5, wherein the distortion compensation step, 상기 생성된 3차원 영상이 수직 인터레이스 방식으로 생성되는 경우 상기 이동 전 영상의 객체 픽셀 순서와 이동 후 영상의 객체 픽셀 순서를 x 축을 기반으로 순서를 비교하는 제 1 비교 단계와,A first comparison step of comparing the order of the object pixels of the before-movement image and the order of the object pixels of the post-movement image based on the x-axis when the generated 3D image is generated by the vertical interlace method; 상기 생성된 3차원 영상이 수평 인터레이스 방식으로 생성된 경우에는 상기 이동 전 영상의 객체 픽셀 순서와 이동 후 영상의 객체 픽셀 순서를 y 축을 기반으로 순서를 비교하는 제 2 비교 단계를 포함함을 특징으로 하는 디스플레이 방법.If the generated 3D image is generated in a horizontal interlace method, a second comparison step of comparing the object pixel order of the before-movement image and the object pixel order of the post-movement image based on a y-axis Display method. 제 5 항에 있어서, 상기 왜곡 보상 단계는,The method of claim 5, wherein the distortion compensation step, 상기 생성된 이동 전 영상의 특정 시점에 대한 좌표와 이동 후 영상의 특정 시점에 대한 좌표를 상기 픽셀 순서의 기반이 되는 축의 좌표 값의 합을 2로 나눈 나머지와 계산하는 제 1 계산 단계와,A first calculation step of calculating a coordinate of a specific viewpoint of the generated before-movement image and a coordinate of a specific viewpoint of the post-movement image with a remainder obtained by dividing the sum of coordinate values of the axis on which the pixel order is based by 2; 상기 이동 전 영상의 특정 지점에 대한 좌표를 2로 나눈 나머지를 계산하는 제 2 계산 단계와,A second calculation step of calculating a remainder obtained by dividing the coordinates of the specific point of the image before the movement by two; 상기 제 1 계산 단계와 제 2 계산 단계에서 계산된 나머지를 비교하여 동일 여부를 판단하는 판단 단계를 포함함을 특징으로 하는 디스플레이 방법.And determining the same by comparing the remaining calculations in the first calculation step and the second calculation step. 제 7 항에 있어서, 상기 판단 단계는,The method of claim 7, wherein the determining step, 이동 전/후 영상의 특징 지점에 대한 좌표를 2로 나눈 나머지가 동일하지 않은 경우에는 상기 좌표 값의 합에서 미리 결정된 숫자를 연산하여 왜곡을 보정하는 왜곡 보정 단계를 포함함을 특징으로 하는 디스플레이 방법.And a distortion correction step of correcting the distortion by calculating a predetermined number from the sum of the coordinate values when the coordinates of the feature points of the image before and after the movement are not equal to two. .

Images