KR20070027318A - Method of processing three-d image and three-d image processing system using the same - Google Patents

Method of processing three-d image and three-d image processing system using the same Download PDF

Info

Publication number
KR20070027318A
KR20070027318A KR1020050082797A KR20050082797A KR20070027318A KR 20070027318 A KR20070027318 A KR 20070027318A KR 1020050082797 A KR1020050082797 A KR 1020050082797A KR 20050082797 A KR20050082797 A KR 20050082797A KR 20070027318 A KR20070027318 A KR 20070027318A
Authority
KR
South Korea
Prior art keywords
image data
eye image
image
dimensional
stereoscopic
Prior art date
Application number
KR1020050082797A
Other languages
Korean (ko)
Other versions
KR100748946B1 (en
Inventor
박재상
Original Assignee
(주)다산알앤디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다산알앤디 filed Critical (주)다산알앤디
Priority to KR1020050082797A priority Critical patent/KR100748946B1/en
Publication of KR20070027318A publication Critical patent/KR20070027318A/en
Application granted granted Critical
Publication of KR100748946B1 publication Critical patent/KR100748946B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

A 3D image processing method and a 3D image processing system using the method are provided to effectively compress a large-capacity 3D image to reduce the size of 3D image data. A method of processing a 3D image includes a step of acquiring left-eye image data and right-eye image data of an object using two cameras(ST10), a step of two-dimensionally combining the left-eye image data and the right-eye image data(ST20), and a step of compressing the two-dimensionally combined image data(ST30). The step of two-dimensionally combining the left-eye image data and the right-eye image data divides an image frame into left and right regions, displays the whole or a part of the left-eye image data in the left region, and displays the whole or a part of the right-eye image data in the right region.

Description

입체영상의 처리방법 및 이를 이용하는 입체영상 처리시스템{Method of processing three-D image and three-D image processing system using the same} Method of processing three-dimensional image and three-dimensional image processing system using the same {Method of processing three-D image and three-D image processing system using the same}

도 1은 입체영상을 구현하는 원리를 나타낸 도면1 is a view showing a principle for implementing a three-dimensional image

도 2a 및 도 2b는 각각 좌안영상과 우안영상의 영상프레임을 나타낸 도면2A and 2B are diagrams illustrating image frames of a left eye image and a right eye image, respectively.

도 3a 및 도 3b는 각각 좌안영상과 우안영상을 합성하여 얻은 3차원 입체영상프레임을 나타낸 도면3A and 3B are diagrams illustrating three-dimensional stereoscopic image frames obtained by synthesizing a left eye image and a right eye image, respectively.

도 4는 본 발명의 실시예에 따른 입체영상처리시스템의 구성을 나타낸 블록도4 is a block diagram showing the configuration of a stereoscopic image processing system according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따라 입체영상을 구현하는 방법을 나타낸 흐름도5 is a flowchart illustrating a method of implementing a stereoscopic image according to an embodiment of the present invention.

도 6은 좌안영상과 우안영상을 연속으로 통합하여 2차원 합성된 영상프레임을 나타낸 도면6 is a view showing a two-dimensional synthesized image frame by integrating the left eye image and the right eye image continuously

도 7은 2차원 합성된 영상프레임의 다른 예를 나타낸 도면7 illustrates another example of a two-dimensional synthesized image frame.

도 8a 및 도 8b는 2차원 합성된 영상프레임의 또 다른 예와 이를 이용하여 구현된 3차원 입체영상프레임을 각각 나타낸 도면8A and 8B illustrate another example of a 2D synthesized image frame and a 3D stereoscopic image frame implemented using the same.

도 9a 및 도 9b는 2차원 합성된 영상프레임의 또 다른 예와 이를 이용하여 구현된 3차원 입체영상프레임을 각각 나타낸 도면9A and 9B illustrate another example of a 2D synthesized image frame and a 3D stereoscopic image frame implemented using the same.

*도면의 주요부분에 대한 부호의 설명** Explanation of symbols for main parts of drawings *

100 : 카메라모듈 110, 120 : 제1,2 카메라100: camera module 110, 120: first and second camera

130, 140 : 제1,2 비디오신호입력부 150 : 2차원 합성부 130, 140: first and second video signal input unit 150: two-dimensional synthesizer

160 : 비디오신호출력부 200 : 버스160: video signal output unit 200: bus

210 : 압축엔진 220 : 프리뷰엔진210: compression engine 220: preview engine

230 : 이미지버퍼 240 : 메모리230: image buffer 240: memory

250 : 제어부 300 : 디스플레이모듈250: control unit 300: display module

310 : 3D엔진 320 : 입체영상패널310: 3D engine 320: three-dimensional image panel

본 발명은 입체영상데이터를 압축 및 복원하는 과정에서 입체감이 상실되지 않도록 하는 입체영상의 처리방법과 이를 이용하는 입체영상처리시스템에 관한 것이다.The present invention relates to a three-dimensional image processing method and a three-dimensional image processing system using the same so that three-dimensional image is not lost in the process of compressing and restoring the three-dimensional image data.

일반적으로 사물의 입체감은 약 65mm 정도 떨어진 두 눈의 양안시차(binocular parallax) 때문에 느껴지는 것으로서, 좌안 및 우안을 통해 인식된 2개의 약간 다른 2차원 영상이 두뇌에서 합성되면서 관찰자가 입체감과 거리감을 느끼게 되는 것이다.In general, the three-dimensional effect of an object is felt due to the binocular parallax of two eyes about 65mm apart, and two slightly different two-dimensional images recognized through the left and right eyes are synthesized in the brain, and the observer feels the three-dimensional feeling and distance. will be.

최근에는 이러한 원리를 이용하여 2대의 카메라에서 촬상한 2차원영상을 합 성하여 입체영상을 구현하는 디스플레이장치가 많이 선보이고 있다.Recently, many display apparatuses for realizing three-dimensional images by synthesizing two-dimensional images captured by two cameras using this principle have been introduced.

입체영상을 구현하는 방식은 일반적으로 관찰자가 안경을 착용하는 방식과 무안경 방식이 있는데, 안경을 착용하는 방식은 관찰자가 좌우가 각각 청색과 적색인 색안경을 쓰는 방식과, 좌우의 편광방향이 다른 편광안경을 이용하는 방식, 좌안영상과 우안영상을 주기적으로 반복시키고 이에 동기되는 액정셔터안경을 이용하는 방식 등이 있다. 그런데 이와 같이 안경을 착용하는 방식은 안경을 써야하는 불편함이 있어 최근에는 안경을 착용하지 않는 무안경 방식에 대한 연구가 활발히 진행되고 있다.The stereoscopic image is generally implemented by the observer wearing glasses and the non-glasses method. The wearing method of the glasses is different from the way in which the observer wears sunglasses with blue and red colors left and right, and the polarization directions of the left and right are different. There is a method using a polarized glasses, a method using a liquid crystal shutter glasses that are repeated and synchronized with the left and right images periodically. However, the way of wearing glasses is inconvenient to wear glasses. Recently, studies on the glasses-free method of not wearing glasses have been actively conducted.

무안경 방식에는 영상패널의 전방에 렌즈어레이를 설치하는 렌티큘러방식과 다수의 투명슬릿을 가지는 패러랙스배리어(parallax barrier)를 이용하는 방식이 있다.The autostereoscopic method includes a lenticular method of installing a lens array in front of an image panel and a method of using a parallax barrier having a plurality of transparent slits.

도 1은 이중에서 패러랙스배리어 방식의 입체영상 디스플레이장치를 이용하여 입체영상을 구현하는 원리를 나타낸 것이다.1 illustrates a principle of realizing a stereoscopic image using a stereoscopic barrier display device of a parallax barrier type.

이에 의하면, 입체영상 디스플레이장치는 입체영상을 표시하는 영상패널(20)과 그 배면에 설치되는 백라이트(40)를 포함하며, 영상패널(20)과 백라이트(40)의 사이에는 규칙적으로 형성된 다수의 투명슬릿(31)을 가지는 패럴랙스배리어(30)가 설치된다.Accordingly, the stereoscopic image display apparatus includes an image panel 20 displaying a stereoscopic image and a backlight 40 disposed on a rear surface thereof, and a plurality of regularly formed between the image panel 20 and the backlight 40. A parallax barrier 30 having transparent slits 31 is provided.

영상패널(20)은 초당 수십 개의 영상프레임을 표시하는데, 이때 하나의 영상프레임을 화면전체에 동시에 표시하는 것이 아니라 영상프레임을 다수의 스캔라인(scan line)으로 구획하여 먼저 홀수라인을 순차적으로 표시한 후 이어서 짝수라인 을 순차적으로 표시하는 등의 방법으로 화면을 구현한다. 이와 같이 간헐적으로 표시하여도 잔상효과 때문에 관찰자는 하나의 영상프레임으로 인식하게 되는 것이다.The image panel 20 displays dozens of image frames per second. Instead of displaying one image frame on the entire screen simultaneously, the image panel 20 divides the image frame into a plurality of scan lines and sequentially displays odd lines. After that, the screen is implemented by displaying even lines sequentially. In this way, even if it is displayed intermittently, the observer recognizes as one image frame because of the afterimage effect.

그리고 입체영상을 표시하는 영상패널(20)에는 2대의 카메라에서 획득한 좌안영상과 우안영상이 입체영상프레임으로 변환되어 표시되는데, 통상 세로방향으로 구획된 스캔라인을 따라 좌안영상과 우안영상을 교대로 표시한다. 예를 들어, 도 1에 도시된 바와 같이 홀수라인에는 좌안영상(21)을 표시하고, 짝수라인에는 우안영상(22)을 표시한다.The left and right eye images obtained by the two cameras are converted into a stereoscopic image frame and displayed on the image panel 20 displaying the stereoscopic image. In general, the left and right eye images are alternately shifted along a scan line partitioned in the vertical direction. To be displayed. For example, as shown in FIG. 1, the left eye image 21 is displayed on the odd line, and the right eye image 22 is displayed on the even line.

백라이트(40)의 빛은 패럴랙스배리어(30)의 투명슬릿(31)을 통해서만 영상패널(20)에 도달하므로, 패럴랙스배리어(30)의 투명슬릿(31) 간격과 영상패널(20)과 패럴랙스배리어(30)의 간격을 적절히 조절하면 관찰자의 좌안(11)은 좌안영상(21)만을 보게 되고 우안(12)은 우안영상(22)만을 보게 된다. Since the light of the backlight 40 reaches the image panel 20 only through the transparent slit 31 of the parallax barrier 30, the gap between the transparent slit 31 of the parallax barrier 30 and the image panel 20 is different. When the spacing of the parallax barrier 30 is properly adjusted, the observer's left eye 11 sees only the left eye image 21 and the right eye 12 sees only the right eye image 22.

따라서 관찰자는 좌안(11)과 우안(21)을 통해 서로 다른 영상을 보게 되며 이를 통해 입체감을 느끼게 된다. Therefore, the observer sees a different image through the left eye 11 and the right eye 21 and feels three-dimensional.

여기서 패럴랙스배리어(30)는 도시된 것처럼 영상패널(20)의 배면에 설치되지 않고 영상패널(20)의 전면에 설치되는 경우도 있다. 또한 자체발광소자를 이용하는 영상패널(20)인 경우에는 백라이트(40)가 생략될 수 있다.Here, the parallax barrier 30 may be installed on the front surface of the image panel 20 instead of being installed on the rear surface of the image panel 20 as shown. In the case of the image panel 20 using the self-light emitting device, the backlight 40 may be omitted.

한편, 영상패널(20)에 표시되는 입체영상프레임은 전술한 바와 같이 좌안영상(21)과 우안영상(22)을 합성한 것인데, 이하에서는 그 합성과정을 설명한다.Meanwhile, the stereoscopic image frame displayed on the image panel 20 is a combination of the left eye image 21 and the right eye image 22 as described above. Hereinafter, the synthesis process will be described.

좌안영상 및 우안영상은 2대의 카메라를 통해 도 2a 및 도 2b에 각 도시된 바와 같은 형태의 영상프레임으로 표시할 수 있는데, 설명의 편의를 위해 각 영상프레임은 세로로 구획된 4개의 스캔라인으로 이루어진다고 가정한다. The left eye image and the right eye image can be displayed as image frames as shown in FIGS. 2A and 2B through two cameras. For convenience of description, each image frame is divided into four scan lines vertically divided. Assume that it is done.

실제로는 영상데이터의 해상도에 따라 세로방향 스캔라인의 개수는 달라질 수 있으며, 예를 들어 320*240의 해상도로 제공되는 영상프레임이라면 320개의 세로방향 스캔라인으로 구분될 수 있다.In practice, the number of vertical scan lines may vary according to the resolution of image data. For example, an image frame provided at a resolution of 320 * 240 may be divided into 320 vertical scan lines.

이하에서는 좌안영상의 각 스캔라인을 좌측에서부터 L1, L2, L3, L4 로 표시하고, 우안영상의 각 스캔라인을 좌측에서부터 R1, R2, R3, R4 로 표시한다.Hereinafter, each scan line of the left eye image is represented by L1, L2, L3, and L4 from the left, and each scan line of the right eye image is represented by R1, R2, R3, and R4 from the left.

도 3a는 상기 좌안영상 및 우안영상을 합성한 입체영상프레임의 일예를 나타낸 것으로서, 입체영상프레임의 제1 스캔라인(Ⅰ)은 L1을 표시하고, 제2 스캔라인(Ⅱ)은 R2를 표시하며, 제3 스캔라인(Ⅲ)은 L3을 표시하며, 제4 스캔라인(Ⅳ)은 R4를 표시한다.3A illustrates an example of a stereoscopic image frame obtained by synthesizing the left eye image and the right eye image, wherein the first scan line I of the stereoscopic image frame displays L1 and the second scan line II represents R2. The third scan line III represents L3 and the fourth scan line IV represents R4.

이 방법에 의하면 입체영상을 합성하는 과정에서 좌안영상에서는 짝수라인에 해당되는 L2,L4의 데이터가 전부 제외되고, 우안영상에서는 홀수라인에 해당되는 R1,R3 데이터가 전부 제외된다. According to this method, in the process of synthesizing a stereoscopic image, the left eye image excludes all L2 and L4 data corresponding to even lines, and the right eye image excludes all R1 and R3 data corresponding to odd lines.

이와 같이 좌안영상 및 우안영상에서 짝수 또는 홀수라인을 완전히 제외하고 입체영상프레임을 구성하여도, 좌안영상과 우안영상이 교대로 표시되고 실제 화면을 구성하는 스캔라인의 개수가 매우 많기 때문에 관찰자가 입체감을 느끼는데 큰 지장은 없다.In this way, even if the left and right eyes are completely composed of a three-dimensional image frame except for even or odd lines, the observer feels stereoscopic because the left and right eyes are alternately displayed and the number of scan lines constituting the actual screen is very large. There is no major obstacle to feeling.

그러나 원래의 영상데이터를 최대한 살려둠으로써 전체적인 화질을 개선할 수 있으므로, 일반적으로는 도 3b에 도시된 바와 같이 특정 스캔라인의 데이터를 모두 제거하지는 않고 일부 데이터를 남겨두는 방법이 이용된다. However, since the overall image quality can be improved by keeping the original image data as much as possible, a method of leaving some data without removing all data of a specific scan line is generally used as shown in FIG. 3B.

이는 영상데이터가 각 화소마다 r(red), g(green), b(blue)의 3가지 색상신호를 포함하고 있는 점에 근거하여, 각 스캔라인에서 일부 색상 데이터를 남겨두는 합성 방법이다.This is a synthesis method in which some color data is left in each scan line based on the fact that the image data includes three color signals of r (red), g (green), and b (blue) for each pixel.

즉, 도 3b에 도시된 바와 같이, 입체영상데이터의 제일 좌측의 제1 스캔라인(Ⅰ)에는 L1의 r,b 데이터와 R1의 g 데이터를 추출하여 표시하고, 다음의 제2 스캔라인(Ⅱ)에는 R2의 r,b 데이터와 L2의 g 데이터를 추출하여 표시하고, 제3 스캔라인(Ⅲ)에는 L3의 r,b 데이터와 R3의 g 데이터를 추출하여 표시하고, 제4 스캔라인(Ⅳ)에는 R4의 r, b 데이터와 L4의 g 데이터를 추출하여 표시한다.That is, as shown in FIG. 3B, the r and b data of L1 and the g data of R1 are extracted and displayed on the first scan line I of the leftmost of the stereoscopic image data, and the next second scan line II is shown. ) Extracts and displays the r and b data of R2 and the g data of L2, and extracts and displays the r and b data of L3 and the g data of R3 on the third scan line (III) and displays the fourth scan line (IV). ) Extracts and displays the r and b data of R4 and the g data of L4.

따라서 제1 스캔라인(Ⅰ)에는 R1의 g 데이터가 포함되고, 제2 스캔라인(Ⅱ)에는 L2의 g 데이터가 포함되고, 제3 스캔라인(Ⅲ)에는 R3의 g 데이터가 포함되고, 제4 스캔라인(Ⅳ)에는 L4의 g 데이터가 포함된다.Therefore, the first scan line I includes g data of R1, the second scan line II contains g data of L2, and the third scan line III contains g data of R3. 4 scan lines IV include g data of L4.

실제 화면에서 각 스캔라인의 폭은 관찰자가 식별하기 어려울 정도로 작기 때문에 이와 같이 좌안영상과 우안영상의 색상신호를 교차시켜도 원래의 좌안영상 또는 우안영상의 색상과는 큰 차이가 발생하지 않는다.Since the width of each scan line on the actual screen is so small that it is difficult for the observer to identify, even if the color signals of the left eye image and the right eye image are crossed in this way, the color difference of the original left eye image or the right eye image does not occur.

이러한 방법으로 합성된 입체영상이 영상패널에 표시되면, 관찰자는 패럴랙스배리어를 통해 좌안은 예를 들어 제1 스캔라인(Ⅰ)과 제3 스캔라인(Ⅲ)을 보게 되고, 우안은 제2 스캔라인(Ⅱ)과 제4 스캔라인(Ⅳ)을 보게 되므로 관찰자가 입체감을 느끼게 된다.When the stereoscopic image synthesized in this manner is displayed on the image panel, the observer sees, for example, the first scan line (I) and the third scan line (III) in the left eye through the parallax barrier, and the right eye in the second scan. Since the line (II) and the fourth scan line (IV) are seen, the observer feels a three-dimensional effect.

그런데 일반적으로 동영상 데이터는 수백 메가바이트 내지 기가바이트 단위의 대용량을 가지므로, 이러한 대용량의 동영상 데이터를 취급하거나 전송하기 위해서는 MPEG2, MPEG4 등의 압축기술을 이용하여야 한다.However, since video data generally has a large capacity of several hundred megabytes to gigabytes, a compression technique such as MPEG2 or MPEG4 should be used to handle or transmit such large volume of video data.

그러나 도 3a 또는 도 3b의 형식으로 합성된 3차원 입체영상을 압축하였다가 다시 복원하는 경우에 데이터의 손상이 발생하여 입체영상패널에 디스플레이시켜도 관찰자가 입체감을 느낄 수 없게 되는 문제점이 발생한다.However, when the 3D stereoscopic image synthesized in the format of FIG. 3A or 3B is compressed and reconstructed, data may be damaged and the viewer may not be able to feel 3D even when displayed on the 3D image panel.

이는 압축과정에서 데이터의 손실이 불가피하게 발생하고 압축된 데이터를 복원할 때는 압축과정에서 손실된 데이터를 보간법 등을 이용하여 복원하기 때문에 도 3a 또는 도 3b에 도시된 바와 같이 하나의 영상프레임에 서로 인접하여 표시되는 좌안영상 데이터와 우안 영상 데이터의 차별성이 약화되기 때문이다.This is because data loss is inevitably occurred during the compression process, and when restoring the compressed data, data lost during the compression process is restored by using interpolation, etc., as shown in FIG. 3A or 3B. This is because the difference between the left eye image data and the right eye image data displayed adjacently is weakened.

따라서 현재까지는 입체동영상을 감상하기 위해서는, 대용량의 입체영상을 압축하는 과정 없이 저장 또는 전송하여야 하므로, 비교적 메모리용량이 적은 휴대폰, PDA, PMP(Portable Multimedia Player) 등의 이동단말기에서는 대용량의 입체동영상을 취급하기가 어려운 문제점이 있다.Therefore, up to now, in order to enjoy stereoscopic video, it must be stored or transmitted without compressing a large volume of stereoscopic video. Therefore, mobile terminals such as mobile phones, PDAs, and portable multimedia players (PMPs), which have relatively low memory capacities, have a large volume of stereoscopic video. There is a problem that is difficult to handle.

또한 유,무선 통신망을 이용하여 입체동영상 파일을 손상 없이 전송하는 것이 불가능하거나 가능하더라도 상당한 시간이 소요될 수밖에 없기 때문에 입체동영상의 활용범위가 크게 제한받고 있는 실정이다.In addition, since the use of wired and wireless communication networks is impossible or impossible to transmit stereoscopic video files without damage, it takes much time, and thus the scope of use of stereoscopic video is greatly limited.

본 발명은 이러한 문제점을 해결하기 위한 것으로서, 대용량의 입체영상을 효과적으로 압축하여 입체영상 데이터의 크기를 줄일 수 있게 하고, 나아가 메모리용량이 비교적 적은 이동단말기에서도 입체영상을 취급할 수 있게 하는데 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve such a problem, and it is an object of the present invention to effectively compress a large volume of stereoscopic images to reduce the size of the stereoscopic image data and to handle stereoscopic images even in a mobile terminal having a relatively small memory capacity. .

또한 유,무선 통신망을 통해 간편하게 전송될 수 있도록 함으로써 입체동영상의 활용범위를 넓히는데 목적이 있다.In addition, it aims to widen the scope of use of stereoscopic video by allowing simple transmission through wired and wireless communication networks.

본 발명은 상기 목적을 달성하기 위하여, 2대의 카메라를 이용하여 대상물에 대한 좌안영상데이터와 우안영상데이터를 획득하는 단계; 상기 좌안영상데이터와 우안영상데이터를 2차원으로 합성하는 단계; 상기 2차원으로 합성된 영상데이터를 압축하는 단계를 포함하는 입체영상의 처리방법을 제공한다.In order to achieve the above object, the present invention comprises the steps of: acquiring left eye image data and right eye image data of an object using two cameras; Synthesizing the left eye image data and the right eye image data in two dimensions; It provides a three-dimensional image processing method comprising the step of compressing the image data synthesized in the two-dimensional.

상기 2차원으로 합성하는 단계는, 영상프레임을 반분하여 좌측영역에는 좌안영상데이터의 전부 또는 일부를 표시하고, 우측영역에는 우안영상데이터의 전부 또는 일부를 표시하는 것을 특징으로 한다.The step of synthesizing in two dimensions may include splitting an image frame in half to display all or part of left eye image data in a left region, and displaying all or part of right eye image data in a right region.

상기 영상프레임에 좌안영상데이터와 우안영상데이터를 일부만 표시하는 경우는, 좌측영역의 스캔라인에는 좌안영상데이터의 홀수 또는 짝수라인을 표시하고, 우측영역의 스캔라인에는 우안영상데이터의 홀수 또는 짝수라인을 표시한다.When only part of the left eye image data and the right eye image data are displayed in the image frame, odd or even lines of the left eye image data are displayed on the scan line of the left region, and odd or even lines of the right eye image data on the scan line of the right region. Is displayed.

상기 영상프레임의 좌측영역의 스캔라인은 좌안영상데이터의 제1 라인의 일부 색상신호와 상기 제1 라인에 인접한 제2 라인의 색상신호 중에서 상기 제1 라인의 일부 색상신호에 포함되지 않은 색상신호를 표시하고, 우측영역의 스캔라인은 우안영상데이터의 제1 라인의 일부 색상신호와 상기 제1 라인에 인접한 제2 라인의 색상신호 중에서 상기 제1 라인의 일부 색상신호에 포함되지 않은 색상신호를 표시한다.The scan line of the left area of the image frame includes color signals not included in the partial color signals of the first line among the partial color signals of the first line of the left eye image data and the color signals of the second line adjacent to the first line. The scan line in the right region displays color signals not included in the partial color signals of the first line among the partial color signals of the first line of the right eye image data and the color signals of the second line adjacent to the first line. do.

상기 2차원 합성된 영상데이터를 압축하는 단계 이후에, 상기 데이터를 복원한 후 3차원의 입체영상데이터로 변환하는 단계를 더 포함한다.After compressing the two-dimensional synthesized image data, the method may further include converting the data into three-dimensional stereoscopic image data after restoring the data.

또한 본 발명은, 소정 거리 이격된 2대의 카메라; 상기 카메라에서 획득한 좌안영상 및 우안영상을 2차원으로 합성하는 2차원 합성부; 상기 2차원 합성된 영상데이터를 압축하는 압축수단; 상기 압축수단에 의해 압축된 2차원 합성 영상데이터를 원래의 크기로 복원하는 한편 이를 3차원 영상데이터로 변환하는 3차원 변환수단; 상기 변환된 3차원 영상데이터를 표시하는 디스플레이수단을 포함하는 입체영상처리시스템을 제공한다.In addition, the present invention, two cameras spaced a predetermined distance; A two-dimensional synthesizer which synthesizes the left eye image and the right eye image acquired by the camera in two dimensions; Compression means for compressing the two-dimensional synthesized image data; 3D conversion means for restoring the 2D composite image data compressed by the compression means to its original size and converting the 2D composite image data into 3D image data; It provides a three-dimensional image processing system comprising a display means for displaying the converted three-dimensional image data.

또한, 소정 거리 이격된 2대의 카메라; 상기 카메라에서 획득한 좌안영상 및 우안영상을 2차원으로 합성하는 2차원 합성부; 상기 2차원 합성된 영상데이터를 출력하는 비디오신호출력부를 포함하는 카메라모듈을 제공한다.In addition, two cameras spaced a predetermined distance; A two-dimensional synthesizer which synthesizes the left eye image and the right eye image acquired by the camera in two dimensions; It provides a camera module including a video signal output unit for outputting the two-dimensional synthesized image data.

또한, 압축된 2차원 합성 영상데이터를 전송받아 원래의 크기로 복원하는 한편 이를 3차원의 입체영상데이터로 변환하는 3차원 변환수단; 상기 3차원 변환수단에서 전송된 입체영상데이터를 표시하는 입체영상패널을 포함하는 디스플레이모듈을 제공한다.In addition, the three-dimensional conversion means for receiving the compressed two-dimensional composite image data to restore the original size and to convert it into three-dimensional stereoscopic image data; It provides a display module including a stereoscopic image panel for displaying stereoscopic image data transmitted from the three-dimensional conversion means.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명의 실시예에 따른 입체영상처리시스템의 구성을 개략적으로 나타낸 블록도로서, 이러한 시스템은 휴대폰, PDA, PMP 등의 이동단말기나 디지털카메라에 적용될 수도 있고, 데스크톱 컴퓨터에 적용될 수도 있다.4 is a block diagram schematically showing the configuration of a stereoscopic image processing system according to an exemplary embodiment of the present invention. The system may be applied to a mobile terminal or a digital camera such as a mobile phone, a PDA, a PMP, or a desktop computer. .

이를 구체적으로 살펴보면, 좌안영상 및 우안영상을 촬상한 후 2개의 영상을 2차원 합성하는 카메라모듈(100)과, 카메라모듈(100)에서 출력된 비디오신호를 압축하는 압축엔진(210)과, 압축엔진(210)에서 압축된 신호를 복원한 후 3차원 입체영상으로 변환하여 영상패널을 통해 표시하는 디스플레이모듈(300)을 포함하며, 카메라모듈(100), 디스플레이모듈(300) 및 압축엔진(210)은 각각 버스(200)를 통해 이동단말기의 제어부(250)에 연결된다.Specifically, the camera module 100 for two-dimensional synthesis of two images after capturing the left eye image and the right eye image, a compression engine 210 for compressing the video signal output from the camera module 100, and compression And a display module 300 for restoring the compressed signal from the engine 210 and converting the signal into a 3D stereoscopic image and displaying the same through the image panel. The camera module 100, the display module 300, and the compression engine 210 ) Are connected to the control unit 250 of the mobile terminal through the bus 200, respectively.

카메라모듈(100)은 소정 거리 이격되어 설치되는 제1,2 카메라(110,120)를 포함하는데, 상기 제1,2 카메라(110,120)는 CCD카메라를 주로 이용하며 그 설치 간격은 사람의 양안 간격과 유사한 것이 바람직하다.The camera module 100 includes first and second cameras 110 and 120 spaced apart from each other by a predetermined distance. The first and second cameras 110 and 120 mainly use CCD cameras, and their installation intervals are similar to those of both eyes of a person. It is preferable.

상기 제1,2 카메라(110,120)에서 촬영된 좌안영상 및 우안영상의 비디오신호는 제1,2 비디오신호 입력부(130,140)로 입력되어 2차원 합성부(150)로 전송된다.The video signals of the left and right eye images captured by the first and second cameras 110 and 120 are input to the first and second video signal input units 130 and 140 and transmitted to the two-dimensional synthesizer 150.

2차원 합성부(150)는 좌안영상데이터와 우안영상데이터를 통합하여 하나의 영상데이터로 합성하는 역할을 하며, 합성을 위해 영상프레임을 좌영역과 우영역으로 구분하고, 좌영역에는 좌안영상의 일부 또는 전부를 표시하고, 우영역는 우안영상의 일부 또는 전부를 표시한다. 보다 자세한 합성방식에 대해서는 후술한다.The 2D synthesizing unit 150 combines the left eye image data and the right eye image data to synthesize one image data, and divides the image frame into a left region and a right region for synthesis. Some or all of them are displayed, and the right region displays some or all of the right eye image. A more detailed synthesis method will be described later.

여기서 2차원 합성이라는 용어는 좌안영상과 우안영상을 수평적으로 통합한 것이라는 의미를 가질 뿐만 아니라, 비록 2차원 합성된 영상프레임이 좌안영상과 우안영상의 데이터를 함께 포함하지만 이 상태의 영상데이터는 입체영상패널을 통해 디스플레이 시켜도 입체감이 나타나지 않는다는 의미도 가지는 것이다.Here, the term 2D synthesis means not only horizontally integrating the left eye image and the right eye image, but although the 2D synthesized image frame includes the data of the left eye image and the right eye image, It also means that the stereoscopic effect does not appear even when displayed through the stereoscopic image panel.

카메라모듈(100)의 2차원 합성부(150)에서 합성된 영상데이터는 비디오신호출력부(160)를 통해 압축엔진(210)으로 전송되며, 압축엔진(210)은 MPEG2 또는 MPEG4 등의 동영상 압축기술이나 정지화상인 경우에는 JPEG 등의 압축기술을 이용하여 2차원 합성된 영상데이터를 압축한다.Image data synthesized by the two-dimensional synthesis unit 150 of the camera module 100 is transmitted to the compression engine 210 through the video signal output unit 160, the compression engine 210 is compressed video such as MPEG2 or MPEG4 In the case of a technique or a still image, two-dimensional synthesized image data is compressed using a compression technique such as JPEG.

이렇게 압축된 영상데이터는 버스(200)를 통해 디스플레이모듈(300)로 전송되는데, 상기 압축된 영상데이터는 카메라모듈(100)의 2차원 합성부(150)에서 합성된 2차원 영상이기 때문에 이 데이터를 그대로 디스플레이 시키면 관찰자가 입체감을 느낄 수가 없다.The compressed image data is transmitted to the display module 300 through the bus 200. The compressed image data is a two-dimensional image synthesized by the two-dimensional synthesizer 150 of the camera module 100. If you display it as it is, the viewer will not be able to feel the 3D effect.

따라서 디스플레이모듈(300)은 3D엔진(310)을 통해 압축된 2차원의 영상데이터를 복원함과 동시에 이를 3차원의 입체영상으로 변환한다. Therefore, the display module 300 restores the two-dimensional image data compressed by the 3D engine 310 and converts it into a three-dimensional stereoscopic image.

2차원 합성된 영상프레임은 좌영역에 좌안영상을 표시하고 우영역에 우안영상을 포함하므로, 3D엔진(310)에서는 예를 들어 입체영상프레임을 표시하는 스캔라인의 홀수라인과 짝수라인에 좌안영상과 우안영상을 번갈아가며 표시하는 방식으로 2차원 영상프레임을 입체영상프레임으로 변환한다. 구체적인 변환방법은 후술한다.Since the 2D synthesized image frame displays the left eye image in the left region and the right eye image in the right region, the 3D engine 310, for example, the left eye image in the odd and even lines of the scan line displaying the stereoscopic image frame, for example. The two-dimensional image frame is converted into a three-dimensional image frame by alternately displaying the right eye image and the right eye image. A specific conversion method will be described later.

3D엔진(310)에서 변환된 입체영상데이터는 입체영상패널(320)로 전송되어 화면에 표시되고, 입체영상패널(320)은 패럴랙스배리어를 포함한다. 따라서 관찰자의 좌안과 우안은 패럴랙스배리어를 통해 각각 입체영상프레임의 홀수라인과 짝수라인에 표시되는 좌안영상과 우안영상만을 보게 되며 이를 통해 입체감을 느끼게 된다.The stereoscopic image data converted by the 3D engine 310 is transmitted to the stereoscopic image panel 320 and displayed on the screen, and the stereoscopic image panel 320 includes a parallax barrier. Therefore, the observer's left and right eyes see only the left and right eye images displayed on the odd and even lines of the three-dimensional image frame, respectively, through the parallax barrier.

한편, 입체영상처리시스템에서 신호전달역할을 하는 버스(200)에는 2차원 합성된 영상을 사용자가 미리 볼 수 있는 프리뷰엔진(220)과, 2차원 합성부(150)에서 전송된 신호를 일시 저장하는 이미지버퍼(230)와, 압축된 2차원 합성 영상데이터를 저장하는 메모리(240)가 연결된다.Meanwhile, the bus 200 serving as a signal transmission system in the stereoscopic image processing system temporarily stores a preview engine 220 for previewing a 2D synthesized image and a signal transmitted from the 2D synthesizer 150. The image buffer 230 is connected to a memory 240 for storing compressed two-dimensional composite image data.

제어부(250)는 이동단말기, 디지털카메라, 컴퓨터 등에 내장되는 CPU 또는 MCU(Micro Control Unit) 등이 이용될 수 있으며, 메모리(240)도 이동단말기, 디지털카메라, 컴퓨터 등에 통상 사용되는 메모리가 이용될 수 있으며 SDRAM 또는 플래시 메모리 등을 이용할 수 있다.The controller 250 may be a CPU or a micro control unit (MCU) embedded in a mobile terminal, a digital camera, a computer, or the like. The memory 240 may also be a memory commonly used in a mobile terminal, a digital camera, a computer, or the like. SDRAM or flash memory can be used.

이상에서는 본 발명의 입체영상처리시스템이 카메라모듈(100) 또는 디스플레이모듈(300)과 같이 모듈화된 구성을 포함하는 경우를 예시하였다. 이것은 기존의 이동단말기 등에서 사용되는 압축엔진이나 MCU 등을 그대로 이용하면서 본 발명에 따른 모듈(100,300)만을 부가함으로써 기존 이동단말기 등의 내부 구성을 크게 변환하지 않고도 간편하게 입체영상을 처리할 수 있도록 하기 위한 것이다. 그러나 이에 한정되는 것은 아니므로 비모듈형으로 제작될 수 있음은 물론이다.In the above, the stereoscopic image processing system of the present invention has been exemplified a case in which a modular configuration such as the camera module 100 or the display module 300 is included. This is to add a module (100,300) according to the present invention while using a compression engine or MCU used in the existing mobile terminal as it is so that it is possible to easily process three-dimensional images without largely changing the internal configuration of the existing mobile terminal, etc. will be. However, the present invention is not limited thereto and may be manufactured in a non-modular form.

도 5는 전술한 입체영상처리시스템을 이용하여 2개의 영상이 3차원의 입체영상으로 합성되는 과정을 순서대로 나타낸 흐름도이다.FIG. 5 is a flowchart sequentially illustrating a process of synthesizing two images into three-dimensional stereoscopic images using the stereoscopic image processing system described above.

먼저 카메라모듈(100)의 2대의 카메라(110,120)를 통해 좌안영상 및 우안영상을 획득하고(ST10), 획득한 좌안영상과 우안영상을 2차원 합성부(150)에서 2차원으로 합성한다.(ST20).First, the left eye image and the right eye image are acquired through the two cameras 110 and 120 of the camera module 100 (ST10), and the obtained left eye image and the right eye image are synthesized by the two-dimensional synthesizer 150 in two dimensions. ST20).

이렇게 합성된 2차원 영상은 이동단말기 등에서 용이하게 취급할 수 있도록 소용량의 데이터로 압축되는데, 압축과정은 주로 이동단말기에 내장된 압축엔진(210)을 통해서 이루어진다.(ST30)The synthesized two-dimensional image is compressed into a small amount of data so that it can be easily handled in a mobile terminal. The compression process is mainly performed through a compression engine 210 embedded in the mobile terminal. (ST30)

압축된 2차원 합성영상은 이미지버퍼(230)를 거쳐 디스플레이모듈(300)로 전송되어 디스플레이되거나 메모리(240)에 저장되는데, 디스플레이모듈(300)의 3D엔진(310)에서는 전송된 압축영상 데이터를 원래의 크기로 복원하는(ST40) 한편, 복원된 2차원 합성영상을 3차원 입체영상으로 변환한다.(ST50)The compressed two-dimensional composite image is transmitted to the display module 300 via the image buffer 230 and displayed or stored in the memory 240. The 3D engine 310 of the display module 300 stores the transmitted compressed image data. The restored 2D composite image is converted into a 3D stereoscopic image while being restored to its original size (ST40).

변환된 3차원 입체영상 데이터는 입체영상패널(320)로 전송되어 디스플레이되며, 관찰자의 좌안과 우안이 패럴랙스배리어를 통해 각기 다른 영상을 보게 됨으로써 입체감을 느끼게 된다.The converted 3D stereoscopic image data is transmitted to the 3D image panel 320 and displayed, and the left and right eyes of the observer see different images through the parallax barrier to feel a 3D effect.

이하에서는 2차원 합성부(150)에서 좌안영상과 우안영상을 하나의 2차원 영상으로 합성하는 과정과 2차원 영상이 3D 엔진(310)에서 3차원 영상으로 변환되는 과정을 보다 자세히 설명한다.Hereinafter, the process of synthesizing the left eye image and the right eye image into one 2D image in the 2D synthesizing unit 150 and converting the 2D image into the 3D image in the 3D engine 310 will be described in more detail.

제1,2 카메라(110,120)를 통해 각각 도 2a 및 도 2b와 같은 좌안영상과 우안영상을 얻어지면, 2차원 합성부(150)에서는 2차원 합성된 영상프레임을 좌영역과 우영역으로 분할한 후, 좌영역에는 제1 카메라(110)에서 획득한 좌안영상을 표시하고, 우영역에는 제2 카메라(120)에서 획득한 우안영상을 표시한다.When the left eye image and the right eye image as shown in FIGS. 2A and 2B are obtained through the first and second cameras 110 and 120, respectively, the 2D synthesis unit 150 divides the 2D synthesized image frame into a left region and a right region. Afterwards, the left eye image acquired by the first camera 110 is displayed in the left region, and the right eye image acquired by the second camera 120 is displayed in the right region.

이때 제1,2 카메라(110,120)에서 획득한 영상데이터를 하나의 영상프레임에 통합하는 방법에는 여러 가지가 있을 수 있다.In this case, there may be various methods of integrating the image data acquired by the first and second cameras 110 and 120 into one image frame.

가장 간편하게는 도 6에 도시된 바와 같이 좌안영상과 우안영상을 좌우 연속으로 통합하는 방식으로서, 예를 들어 320*240 의 해상도를 가지는 좌안영상과 우안영상을 통합하여 640*240의 해상도를 가지는 2차원 영상프레임을 합성한다.Most simply, as shown in FIG. 6, the left eye image and the right eye image are sequentially and continuously integrated. For example, the left eye image and the right eye image having a resolution of 320 * 240 are integrated to have a resolution of 640 * 240. Synthesize a 3D video frame.

그런데 이러한 2차원 합성결과 발생하는 640*240의 영상프레임은 이동단말기 등에서 통상 사용되는 이미지 크기와는 차이가 있기 때문에 이동단말기에 이러한 이미지를 처리할 수 있는 별도의 하드웨어 또는 소프트웨어를 설치할 필요가 생길 수 있다. 또한 2개의 영상데이터를 그대로 통합한 형태이므로 데이터양이 크게 증가한다는 단점이 있다.However, since the 640 * 240 video frame resulting from the two-dimensional synthesis is different from the image size normally used in the mobile terminal, it may be necessary to install a separate hardware or software for processing the image in the mobile terminal. have. In addition, since two image data are integrated as they are, the amount of data increases significantly.

이러한 단점을 해결하기 위해서는 2차원 합성된 영상프레임에 좌안영상과 우안영상의 데이터를 모두 포함시키지 않고, 좌안영상의 일부 데이터와 우안영상의 일부데이터만을 추출하여 2차원 영상을 합성한다.In order to solve this drawback, the two-dimensional synthesized image frame does not include both the left eye image and the right eye image data, and only the partial data of the left eye image and the partial data of the right eye image are extracted to synthesize the two-dimensional image.

좌안영상과 우안영상에서 데이터를 추출하는 방법에도 여러 가지가 있는데, 도 7은 그 중에 한 방법을 예시한 것으로서, 2차원 합성영상의 프레임이 4개의 세로방향 스캔라인으로 구성된다고 가정할 때, 각 영상프레임을 반분하여 좌측의 제1,2 스캔라인(Ⅰ,Ⅱ)에는 좌안영상의 일부를 표시하고, 우측의 제3,4 스캔라인(Ⅲ,Ⅳ)에는 우안영상의 일부를 표시한다.There are various methods of extracting data from the left eye image and the right eye image, and FIG. 7 illustrates one of them, assuming that a frame of a 2D composite image is composed of four longitudinal scan lines. A half of the image frame is divided into a part of the left eye image on the first and second scan lines I and II on the left side, and a part of the right eye image is displayed on the third and fourth scan lines III and IV on the right side.

특히, 좌안영상 및 우안영상 데이터에서 rgb 신호를 분리하여 2차원 합성영상프레임의 제1 스캔라인(Ⅰ)에는 L1의 r,b 신호와 L2의 g신호를 표시하고, 제2 스캔라인(Ⅱ)에는 L3의 r,b 신호와 L4의 g신호를 표시한다. 또한 합성영상의 제3 스캔라인(Ⅲ)에는 R2의 r,b 신호와 R1의 g신호를 표시하고, 제4 스캔라인(Ⅳ)에는 R4 의 r,b 신호와 R3의 g신호를 표시한다In particular, by separating the rgb signal from the left eye image and right eye image data, the r and b signals of L1 and the g signal of L2 are displayed on the first scan line (I) of the 2D composite image frame, and the second scan line (II). Denotes the r and b signals of L3 and the g signals of L4. The r, b signal of R2 and the g signal of R1 are displayed on the third scan line III of the composite image, and the r, b signal of R4 and the g signal of R3 are displayed on the fourth scanline IV.

본 명세서에서는 설명의 편의상 하나의 영상프레임이 Ⅰ,Ⅱ,Ⅲ,Ⅳ 4개의 스캔라인으로 구성되는 것으로 가정하였으나, 실제로 320*240 의 해상도로 이루어지는 2차원 합성영상은 1에서 160 스캔라인까지는 좌안영상의 일부를 표시하고 160에서 320 스캔라인까지는 우안영상의 일부를 표시하게 된다.In the present specification, for convenience of description, it is assumed that one image frame is composed of four scan lines I, II, III, and IV. However, a two-dimensional composite image having a resolution of 320 * 240 has a left eye image from 1 to 160 scan lines. A portion of the image is displayed and a portion of the right eye image is displayed from 160 to 320 scan lines.

이와 같이 2차원 합성된 영상프레임에는 좌안영상 데이터와 우안영상 데이터가 영상프레임의 좌우로 분리되어 있으므로, 압축복원과정에서 종래처럼 연속된 영상 데이터의 차별성이 약화되어 3차원 영상으로 복원하지 못하는 문제는 발생하지 않는다.Since the left eye image data and the right eye image data are separated to the left and right of the image frame in the two-dimensional synthesized image frame as described above, the problem of failing to restore the three-dimensional image due to the weakening of the difference of the continuous image data as in the conventional compression restoration process. Does not occur.

따라서 입체영상 대신에 2차원 합성된 영상을 압축함으로써 이동단말기 등에서 취급할 수 있을 정도로 적은 용량의 동영상파일로 변환할 수 있으며, 이를 유,무선 통신망을 통해 전송하는 것도 간편해진다.Therefore, by compressing a two-dimensional synthesized image instead of a three-dimensional image it can be converted into a video file of a small enough to be handled by a mobile terminal, etc., it is also easy to transmit through a wired, wireless communication network.

다만 이를 입체영상으로 나타내기 위해서는 입체영상패널(310)에서 디스플레이하기 전에 2차원 합성영상 데이터를 도 3a 또는 도 3b에 도시된 바와 같이 하나의 영상프레임의 스캔라인에 좌우영상이 교대로 표시되는 입체영상데이터로 변환하는 과정을 거쳐야 한다.However, in order to represent this as a stereoscopic image, before displaying on the stereoscopic image panel 310, stereoscopic images of left and right images are alternately displayed on the scan line of one image frame as shown in FIG. 3A or 3B. It must go through the process of conversion to image data.

도 8a는 좌안영상과 우안영상의 일부 데이터를 추출하여 2차원 합성된 영상프레임을 구현하는 다른 방법을 나타낸 것으로서, 2차원 합성 영상프레임의 제1,2 스캔라인(Ⅰ,Ⅱ)에는 L1,L3를 나타내고 제3,4 스캔라인(Ⅲ,Ⅳ)에는 R2,R4를 나타낸 다. FIG. 8A illustrates another method of realizing a two-dimensional synthesized image frame by extracting partial data of a left eye image and a right eye image, and includes L1 and L3 in the first and second scan lines (I and II) of the two-dimensional synthesized image frame. And R2 and R4 in the third and fourth scan lines III and IV.

여기서 좌안영상의 짝수라인에 해당하는 L2,L4 데이터와 우안영상의 홀수라인에 해당하는 R1,R3 데이터는 제거되어 버리지만, 하나의 영상프레임이 통상 수백 개의 스캔라인으로 구성되므로 좌안영상 및 우안영상에서 짝수 또는 홀수 스캔라인에 해당하는 데이터를 제거하였다고 하더라도 이후 재합성된 입체영상을 통해 관찰자가 입체감을 느끼는 데는 큰 지장이 없다.Here, the L2 and L4 data corresponding to the even line of the left eye image and the R1 and R3 data corresponding to the odd line of the right eye image are removed, but since one image frame is usually composed of hundreds of scan lines, the left and right eye images Even if the data corresponding to the even or odd scan lines are removed from, there is no big problem for the observer to feel the stereoscopic effect through the resynthesized stereoscopic image.

이와 같이 2차원 합성된 영상프레임은 입체영상패널에서 디스플레이시키기 전에 3차원의 입체영상프레임으로 변환하여야 하는데, 예를 들어 도 8b와 같은 영상프레임으로 변환될 수 있다.The 2D synthesized image frame should be converted to a 3D stereoscopic image frame before being displayed on the 3D image panel. For example, the 2D synthesized image frame may be converted into an image frame as shown in FIG. 8B.

즉, 입체영상프레임의 제1 스캔라인(Ⅰ)에는 L1의 r,b신호와 R2의 g신호를 표시하고, 제2 스캔라인(Ⅱ)에는 R2의 r,b신호와 L1의 g신호를 표시하며, 제3 스캔라인(Ⅲ)에는 L3의 r,b신호와 R4의 g신호를 표시하며, 제4 스캔라인(Ⅳ)에는 R4의 r,b신호와 L3의 g신호를 표시한다.That is, the r and b signals of L1 and the g signal of R2 are displayed on the first scan line (I) of the stereoscopic image frame, and the r and b signals of R2 and the g signal of L1 are displayed on the second scan line (II). The r, b signal of L3 and the g signal of R4 are displayed on the third scan line III, and the r, b signal of R4 and the g signal of L3 are displayed on the fourth scan line IV.

즉, r,b 신호는 좌안영상의 홀수라인과 우안영상의 짝수라인이 교대로 표시되고, g신호는 우안영상의 짝수라인과 좌안영상의 홀수라인이 교대로 표시되도록 한다.That is, the r and b signals alternately display odd lines of the left eye image and the even lines of the right eye image, and the g signal allows the even lines of the right eye image and the odd lines of the left eye image to be alternately displayed.

도 9a는 좌안영상과 우안영상의 일부 데이터를 추출하여 2차원 합성영상을 구현하는 또 다른 방법을 나타낸 것으로서, 2차원 합성영상 프레임의 제1,2 스캔라인(Ⅰ,Ⅱ)에는 L1,L3를 나타내고 제3,4 스캔라인(Ⅲ,Ⅳ)에는 R1,R3를 나타낸다. FIG. 9A illustrates another method of realizing a 2D composite image by extracting partial data of a left eye image and a right eye image, and includes L1 and L3 in the first and second scan lines (I, II) of the 2D composite image frame. And R1 and R3 in the third and fourth scan lines III and IV.

이 경우에는 좌안영상의 짝수라인에 해당하는 L2,L4 데이터와 우안영상의 짝수라인에 해당하는 R2,R4 데이터가 제거되는 문제점이 있지만, 역시 하나의 영상프레임이 수백 개의 스캔라인으로 구성되므로 일부 데이터를 제거하였다고 하더라도 재합성된 입체영상을 통해 관찰자가 입체감을 느끼는 데는 큰 지장이 없다.In this case, there is a problem in that the L2, L4 data corresponding to the even line of the left eye image and the R2, R4 data corresponding to the even line of the right eye image are removed, but one data frame is composed of hundreds of scan lines. Even if is removed, the observer does not have a great effect on the stereoscopic feeling through the resynthesized stereoscopic images.

도 9b는 도 9a의 2차원 합성영상을 입체영상으로 변환한 3차원 입체영상프레임을 나타낸 것으로서, 입체영상프레임의 제1 스캔라인(Ⅰ)에는 L1의 r,b신호와 R1의 g신호를 표시하고, 제2 스캔라인(Ⅱ)에는 R1의 r,b신호와 L1의 g신호를 표시하며, 제3 스캔라인(Ⅲ)에는 L3의 r,b신호와 R3의 g신호를 표시하며, 제4 스캔라인(Ⅳ)에는 R3의 r,b신호와 L3의 g신호를 표시한다.FIG. 9B illustrates a 3D stereoscopic image frame obtained by converting the 2D composite image of FIG. 9A into a stereoscopic image. The r, b signal of L1 and the g signal of R1 are displayed on the first scan line I of the 3D image frame. The r, b signal of R1 and the g signal of L1 are displayed on the second scan line II, and the r, b signal of L3 and the g signal of R3 are displayed on the third scan line III. Scan line IV displays the r and b signals of R3 and the g signal of L3.

즉, r,b 신호는 좌안영상의 홀수라인과 우안영상의 홀수라인이 교대로 표시되고, g신호는 우안영상의 홀수라인과 좌안영상의 홀수라인이 교대로 표시되도록 한다.That is, the r and b signals alternately display odd lines of the left eye image and the odd line of the right eye image, and the g signal allows the odd lines of the right eye image and the odd lines of the left eye image to be alternately displayed.

본 발명은 2대의 카메라를 통해 획득한 좌안영상과 우안영상을 2차원으로 합성한 상태에서 압축처리를 하고, 이를 3차원 입체영상패널을 통해 디스플레이하기 직전에 2차원의 합성영상에서 3차원 입체영상으로 변환하는 과정을 거치도록 함으로써 비교적 메모리 용량이 적은 이동단말기 등에서 대용량의 입체동영상을 효과적으로 처리할 수 있게 한 점에 특징이 있으므로, 좌안영상과 우안영상을 2차원으로 합성하는 방법과 2차원 합성된 영상을 입체영상으로 변환하는 방법은 전술한 실시예에 한정되지 않으며 당업자에 의해 다양하게 수정 내지 변형될 수 있음은 물론이다.The present invention compresses the left eye image and the right eye image acquired by two cameras in the state of two-dimensional synthesis, and then displays the three-dimensional stereoscopic image from the two-dimensional composite image immediately before displaying it through the three-dimensional stereoscopic image panel. It is characterized by the fact that it can effectively process a large volume of stereoscopic video in a mobile terminal having a relatively low memory capacity by converting the data into a two-dimensional method. The method for converting an image into a stereoscopic image is not limited to the above-described embodiments, and may be variously modified or modified by those skilled in the art.

본 발명에 따르면, 대용량의 입체영상 데이터를 효과적으로 압축하여 데이터의 크기를 줄일 수 있으므로, 메모리용량이 비교적 적은 이동단말기나 디지털카메라에서도 입체영상을 보다 편리하게 처리할 수 있으며, 통신망을 통해 입체영상 데이터를 효과적으로 전송하는 것이 가능해지므로 그동안 대용량으로 인해 제한받았던 입체영상의 활용범위를 획기적으로 넓힐 수 있다.According to the present invention, the size of the data can be reduced by effectively compressing the large volume of stereoscopic image data, so that the mobile terminal or the digital camera having a relatively small memory capacity can process the stereoscopic image more conveniently, and the stereoscopic image data through the communication network. Since it is possible to transmit the data effectively, the scope of use of stereoscopic images, which has been limited due to its large capacity, can be significantly expanded.

Claims (8)

2대의 카메라를 이용하여 대상물에 대한 좌안영상데이터와 우안영상데이터를 획득하는 단계;Acquiring left eye image data and right eye image data of an object using two cameras; 상기 좌안영상데이터와 우안영상데이터를 2차원으로 합성하는 단계;Synthesizing the left eye image data and the right eye image data in two dimensions; 상기 2차원으로 합성된 영상데이터를 압축하는 단계Compressing the image data synthesized in two dimensions 를 포함하는 입체영상의 처리방법3D processing method comprising a 제1항에 있어서,The method of claim 1, 상기 2차원으로 합성하는 단계는,Synthesizing in two dimensions, 영상프레임을 반분하여 좌측영역에는 좌안영상데이터의 전부 또는 일부를 표시하고, 우측영역에는 우안영상데이터의 전부 또는 일부를 표시하는 것을 특징으로 하는 입체영상의 처리방법The method of processing a stereoscopic image, comprising dividing an image frame to display all or part of left eye image data in a left region and displaying all or part of right eye image data in a right region. 제2항에 있어서,The method of claim 2, 상기 영상프레임에 좌안영상데이터와 우안영상데이터를 일부만 표시하는 경우는, 좌측영역의 스캔라인에는 좌안영상데이터의 홀수 또는 짝수라인을 표시하고, 우측영역의 스캔라인에는 우안영상데이터의 홀수 또는 짝수라인을 표시하는 입체영 상의 처리방법When only part of the left eye image data and the right eye image data are displayed in the image frame, odd or even lines of the left eye image data are displayed on the scan line of the left region, and odd or even lines of the right eye image data on the scan line of the right region. How to process stereoscopic images 제3항에 있어서,The method of claim 3, 상기 영상프레임의 좌측영역의 스캔라인은 좌안영상데이터의 제1 라인의 일부 색상신호와 상기 제1 라인에 인접한 제2 라인의 색상신호 중에서 상기 제1 라인의 일부 색상신호에 포함되지 않은 색상신호를 표시하고,The scan line of the left area of the image frame includes color signals not included in the partial color signals of the first line among the partial color signals of the first line of the left eye image data and the color signals of the second line adjacent to the first line. Display, 우측영역의 스캔라인은 우안영상데이터의 제1 라인의 일부 색상신호와 상기 제1 라인에 인접한 제2 라인의 색상신호 중에서 상기 제1 라인의 일부 색상신호에 포함되지 않은 색상신호를 표시하는 입체영상의 처리방법The scan line in the right region is a stereoscopic image that displays color signals not included in the partial color signals of the first line among the partial color signals of the first line of the right eye image data and the color signals of the second line adjacent to the first line. How to deal with 제1항에 있어서,The method of claim 1, 상기 2차원 합성된 영상데이터를 압축하는 단계 이후에, 상기 데이터를 복원한 후 3차원의 입체영상데이터로 변환하는 단계를 더 포함하는 입체영상의 처리방법After compressing the two-dimensional synthesized image data, the method of processing a three-dimensional image further comprising the step of restoring the data and converting to three-dimensional stereoscopic image data 소정 거리 이격된 2대의 카메라;Two cameras spaced a predetermined distance apart; 상기 카메라에서 획득한 좌안영상 및 우안영상을 2차원으로 합성하는 2차원 합성부;A two-dimensional synthesizing unit for synthesizing the left eye image and the right eye image acquired by the camera in two dimensions; 상기 2차원 합성된 영상데이터를 압축하는 압축수단;Compression means for compressing the two-dimensional synthesized image data; 상기 압축수단에 의해 압축된 2차원 합성 영상데이터를 원래의 크기로 복원하는 한편 이를 3차원 영상데이터로 변환하는 3차원 변환수단;3D conversion means for restoring the 2D composite image data compressed by the compression means to its original size and converting the 2D composite image data into 3D image data; 상기 변환된 3차원 영상데이터를 표시하는 디스플레이수단Display means for displaying the converted three-dimensional image data 을 포함하는 입체영상 처리시스템Stereoscopic image processing system comprising a 소정 거리 이격된 2대의 카메라;Two cameras spaced a predetermined distance apart; 상기 카메라에서 획득한 좌안영상 및 우안영상을 2차원으로 합성하는 2차원 합성부;A two-dimensional synthesizer which synthesizes the left eye image and the right eye image acquired by the camera in two dimensions; 상기 2차원 합성된 영상데이터를 출력하는 비디오신호출력부Video signal output unit for outputting the two-dimensional synthesized image data 를 포함하는 카메라모듈Camera module comprising a 압축된 2차원 합성 영상데이터를 전송받아 원래의 크기로 복원하는 한편 이를 3차원의 입체영상데이터로 변환하는 3차원 변환수단;Three-dimensional conversion means for receiving the compressed two-dimensional composite image data and restoring it to its original size and converting it into three-dimensional stereoscopic image data; 상기 3차원 변환수단에서 전송된 입체영상데이터를 표시하는 입체영상패널Stereoscopic image panel for displaying stereoscopic image data transmitted from the three-dimensional conversion means 을 포함하는 디스플레이모듈Display module comprising a
KR1020050082797A 2005-09-06 2005-09-06 Method of processing three-D image KR100748946B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050082797A KR100748946B1 (en) 2005-09-06 2005-09-06 Method of processing three-D image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050082797A KR100748946B1 (en) 2005-09-06 2005-09-06 Method of processing three-D image

Publications (2)

Publication Number Publication Date
KR20070027318A true KR20070027318A (en) 2007-03-09
KR100748946B1 KR100748946B1 (en) 2007-08-13

Family

ID=38100613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050082797A KR100748946B1 (en) 2005-09-06 2005-09-06 Method of processing three-D image

Country Status (1)

Country Link
KR (1) KR100748946B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153861A1 (en) * 2007-06-07 2008-12-18 Real D Stereoplexing for film and video applications
WO2008153863A3 (en) * 2007-06-07 2009-02-12 Real D Stereoplexing for video and film applications
KR100886321B1 (en) * 2007-07-18 2009-03-04 에스케이 텔레콤주식회사 3 dimension image-based terminal and stereo scope applied to the same
KR101374517B1 (en) * 2011-04-11 2014-03-14 충북대학교 산학협력단 Apparatus for taking integral image and method for displaying stereoscopy using the same
US8749615B2 (en) 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101223205B1 (en) 2010-10-21 2013-01-17 광주과학기술원 Device and method for transmitting stereoscopic video
KR101885341B1 (en) 2011-10-20 2018-08-07 삼성전자 주식회사 Display driver and method of operating image data processing device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454675B2 (en) 1997-06-20 2003-10-06 三洋電機株式会社 3D image transmission method and apparatus
JPH1141627A (en) 1997-07-18 1999-02-12 Sanyo Electric Co Ltd Image synthesizer
JP2003070022A (en) 2001-08-29 2003-03-07 Sanyo Electric Co Ltd Three-dimensional image compressing method, apparatus and system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153861A1 (en) * 2007-06-07 2008-12-18 Real D Stereoplexing for film and video applications
WO2008153863A3 (en) * 2007-06-07 2009-02-12 Real D Stereoplexing for video and film applications
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US8487982B2 (en) 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8749615B2 (en) 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US9030531B2 (en) 2007-06-07 2015-05-12 Reald Inc. Stereoplexing for film and video applications
US9191647B2 (en) 2007-06-07 2015-11-17 Reald Inc Demultiplexing for stereoplexed film and video applications
KR100886321B1 (en) * 2007-07-18 2009-03-04 에스케이 텔레콤주식회사 3 dimension image-based terminal and stereo scope applied to the same
KR101374517B1 (en) * 2011-04-11 2014-03-14 충북대학교 산학협력단 Apparatus for taking integral image and method for displaying stereoscopy using the same

Also Published As

Publication number Publication date
KR100748946B1 (en) 2007-08-13

Similar Documents

Publication Publication Date Title
KR100991804B1 (en) Stereoscopic Image Generation Chip For Mobile Equipment, and Method For Generating Stereoscopic Image Using The Same
CN1741621B (en) Method of generating stereoscopic image signal and method of scaling the same
CN1864415B (en) 3-dimensional video reproduction device and 3-dimensional video reproduction method
RU2421933C2 (en) System and method to generate and reproduce 3d video image
KR100912418B1 (en) Stereoscopic image processing apparatus and method
KR100748946B1 (en) Method of processing three-D image
EP0306448B1 (en) Method and apparatus for transmitting and receiving 3-dimensional video images
JP2003111101A (en) Method, apparatus and system for processing stereoscopic image
KR100306695B1 (en) Stereoscopic image display apparatus using micro polarizer
JPWO2007116549A1 (en) Image processing device
ITTO20100652A1 (en) METHOD TO COMBINE REFERENCE IMAGES TO A THREE-DIMENSIONAL CONTENT
US20060015919A1 (en) System and method for transferring video information
JP2011082675A (en) Apparatus and method for processing image signal, apparatus and method for displaying image, program therefor, and system for displaying image
JPS60264194A (en) Method for processing stereoscopic television signal and equipment at its transmission and reception side
CN102291587A (en) Full high-definition 3D (Three Dimensional) video processing method
TW201415864A (en) Method for generating, transmitting and receiving stereoscopic images, and related devices
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
US20120163700A1 (en) Image processing device and image processing method
KR100755020B1 (en) Both Eyes 3D Camera of YUV Colour System and 3D Image Display and Processing Method Using The Same
JP2004336104A (en) Solid image compression device and solid image extension device
KR101114572B1 (en) Method and apparatus for converting stereoscopic image signals into monoscopic image signals
JP3358466B2 (en) Parallax image data processing method and apparatus
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views
JP2010283512A (en) Image data output device and image display system
KR100868244B1 (en) Method For Generating Stereoscopic Image Using The Mobile Equipment, And Chipset For Generating Stereoscopic Image Used In The Mobile Equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20100804

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee