KR101830768B1 - Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image - Google Patents
Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image Download PDFInfo
- Publication number
- KR101830768B1 KR101830768B1 KR1020110083413A KR20110083413A KR101830768B1 KR 101830768 B1 KR101830768 B1 KR 101830768B1 KR 1020110083413 A KR1020110083413 A KR 1020110083413A KR 20110083413 A KR20110083413 A KR 20110083413A KR 101830768 B1 KR101830768 B1 KR 101830768B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- output
- frame
- stereo image
- image
- Prior art date
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Abstract
스테레오 영상 촬영 방법, 스테레오 영상 디스플레이 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치가 개시되어 있다. 스테레오 영상 촬영 방법은 제1 카메라로 제1 출력 프레임을 생성하는 단계와 제1 카메라가 제1 출력 프레임을 생성한 후 소정의 주기 후, 제2 카메라로 촬영된 시간이 제1 출력 프레임의 촬영 시간과 소정의 주기만큼 차이나는 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계를 포함할 수 있다. 따라서, 촬영되는 시점과 영상이 출력되는 시점을 동일하게 하여 화질 및 입체감을 향상시킬 수 있다. A stereo image photographing method, a stereo image displaying method, a stereo image photographing device, and a stereo image outputting device. The stereo image photographing method includes the steps of generating a first output frame with a first camera and outputting a first output frame with a time taken by a second camera after a predetermined period after a first camera generates a first output frame, And generating a second output frame that is paired with a first output frame that is different from the first output frame by a predetermined period. Therefore, it is possible to improve the image quality and stereoscopic effect by making the time of shooting and the time of outputting the image the same.
Description
본 발명은 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에 관한 것으로 더욱 상세하게는 영상 촬영 방법 및 장치, 영상 출력 방법 및 장치에 관한 것이다.BACKGROUND OF THE
실시간으로 복수개의 카메라를 사용하여 촬영을 하는 경우, 동기화 신호를 사용하는데, 동기화 신호는 수직 동기와 수평 동기화 신호를 가지고 있어서 복수개의 카메라가 동일한 위상으로 영상 신호를 생성하도록 해 준다. 동기화 신호에 의해 실시간으로 영상을 스위칭 하더라도 수평, 수직 주기가 유지되도록 함으로써 수직, 수평의 재동기에 의한 끊김이 없는 영상을 제공할 수 있다. 일반적으로 스테레오 촬영의 경우도 동기화 신호를 사용하여 좌, 우 영상이 동일한 타이밍으로 생성되도록 하고 있다. When photographing using a plurality of cameras in real time, a synchronization signal is used. Since the synchronization signal has vertical synchronization and a horizontal synchronization signal, a plurality of cameras generate an image signal in the same phase. Even if the image is switched in real time by the synchronization signal, the horizontal and vertical periods are maintained, thereby providing a seamless image due to vertical and horizontal re-synchronization. Generally, in the case of stereo photography, the left and right images are generated at the same timing by using the synchronization signal.
스테레오 촬영에 있어서 좌, 우 두 대의 카메라는 CCD(Charge Coupled Device)에 잡힌 영상을 영상 신호로 변환할 때, 동기화 신호에 의해 동일한 샘플링 클럭과 동일한 수평, 수직 타이밍으로 영상 프레임 신호를 생성하게 된다. 따라서 두 카메라의 영상 출력은 프레임이나 필드의 시작 시점이 동일하며 좌, 우 영상은 동일한 시점(시간, point of time)에 취득된 영상을 가진다.In stereoscopic photography, two cameras, left and right, generate an image frame signal at the same horizontal and vertical timings as the same sampling clock by a synchronization signal when converting an image captured by a CCD (Charge Coupled Device) into a video signal. Therefore, the video output of the two cameras has the same start point of frame or field, and the left and right images have images acquired at the same point in time.
도 1은 동기화 신호에 의한 스테레오 카메라의 동기화를 나타내는 개념도이다. 1 is a conceptual diagram showing synchronization of a stereo camera by a synchronization signal.
도 1을 참조하면, 카메라에 의해 촬영된 영상은 샘플링되어 프레임 주기에 걸쳐서 동기 신호 및 블랭크 구간과 함께 직렬 신호로 외부로 제공된다. 이렇게 만들어진 데이터는 보통 압축코딩 후, 전송이나 저장을 거쳐 압축 디코딩 후에 영상 출력 장치나 3D 모니터에서 디스플레이가 된다. 셔터 글래스를 사용하는 영상 출력 장치는 좌영상과 우영상을 시간차를 두고 번갈아서 디스플레이하고 그것과 동기화시켜 좌, 우 안경을 번갈아 열어줌으로써 좌영상은 좌안에, 우영상은 우안에 전달하여 보는 사람에게 입체시 효과를 주게 된다. 편광 안경을 사용하는 영상 출력 장치는 좌, 우 프레임을 동시에 보여 주고 편광을 이용하여 좌영상은 좌안에, 우영상은 우안에 전달하여 입체시 효과를 주게 된다.Referring to FIG. 1, an image photographed by a camera is sampled and provided externally as a serial signal together with a sync signal and a blank interval over a frame period. The data thus created is usually compressed and then encoded, transmitted, stored, decoded, and displayed on a video output device or a 3D monitor. The image output device using the shutter glass alternately displays the left image and the right image with a time difference and alternately opens the left and right glasses by synchronizing with the left and right glasses to transmit the left image to the left eye and the right image to the right eye, The effect of the city is given. The image output device using polarizing glasses displays left and right frames at the same time, and uses polarized light to transmit the left image to the left eye and the right image to the right eye to give stereoscopic effect.
카메라에서 촬영을 할 때는 하나의 프레임을 구성하는 홀수 라인들로 구성된 필드 1과 짝수 라인들로 구성된 필드 2를 교대로 스캐닝하는 격행(interlaced) 촬영 방식과 하나의 프레임을 구성하는 모든 라인들을 한번에 스캐닝하는 순행(progressive) 스캐닝 방식이 있으나, 최근의 디지털 디스플레이의 경우 촬영 방식과 상관없이 프레임 단위로 보여주는 방식을 취하며, 편광 안경을 사용하는 경우는 두 프레임을 동시에 보여 주고, 셔터 글래스 방식을 사용하는 경우는 좌, 우 영상을 교대로 보여 주게 되어 있다. 편광 안경을 사용하는 경우 좌, 우 두 프레임을 동시에 보여 줄 때 화면 해상도 제약에 따라 각각 하나의 필드만 보여줄 수도 있다.When photographing from a camera, an interlaced photographing method in which a
보통 스테레오 촬영을 할 때는 동일한 시점에서 좌, 우 영상을 취득하지만 셔터 글래스를 사용한 영상 출력 장치에서는 좌, 우를 번갈아 보여 주는 과정에서 필연적으로 한쪽 영상이 프레임 주기의 절반만큼 시간차를 두고 사람의 눈에 전달되게 된다. 이것은 한쪽 눈으로 보는 영상만 프레임 주기의 절반 시간만큼 지연되어 전달되게 함으로써 촬영 시점과 실제 보이는 영상과의 시간 불일치를 유발하여 화질이나 입체감을 떨어뜨리는 요인이 된다.Normally, when the stereo image is taken, the left and right images are obtained at the same time. However, in the image output device using the shutter glass, one image is inevitably reflected in the eye of the user . This causes only the image viewed by one eye to be delayed by a half time of the frame period, thereby causing a time discrepancy between the shooting point and the actual image, thereby deteriorating image quality or stereoscopic effect.
따라서, 본 발명의 제1 목적은 제1 카메라와 제2 카메라의 촬영 시간에 시간 차를 두는 스테레오 영상 촬영 방법을 제공하는 것이다. Therefore, it is a first object of the present invention to provide a stereoscopic image capturing method in which a time difference is set in a capturing time of a first camera and a second camera.
또한, 본 발명의 제2 목적은 셔터 글래스 방식 또는 편광 방식의 스테레오영상 출력 장치에서 촬영 시간 정보를 활용하여 입력된 스테레오 영상을 출력하는 스테레오 영상 디스플레이 방법을 제공하는 것이다.A second object of the present invention is to provide a stereoscopic image display method of outputting a stereoscopic image input by utilizing a photographing time information in a stereo image output apparatus of a shutter glass type or a polarization type.
또한, 본 발명의 제3 목적은 제1 카메라와 제2 카메라의 촬영 시간에 시간 차를 두는 스테레오 영상 촬영 방법을 사용하는 스테레오 영상 촬영 장치를 제공하는 것이다.A third object of the present invention is to provide a stereo image photographing apparatus using a stereo image photographing method in which a time difference is provided between photographing times of a first camera and a second camera.
또한, 본 발명의 제4 목적은 셔터 글래스 방식 또는 편광 방식의 스테레오영상 출력 장치에서 촬영 시간 정보를 활용하여 입력된 스테레오 영상을 출력하는 스테레오 영상 디스플레이 방법을 사용하는 스테레오 영상 디스플레이 장치를 제공하는 것이다.A fourth object of the present invention is to provide a stereoscopic image display apparatus using a stereoscopic image display method for outputting a stereoscopic image input using shooting time information in a stereo image output apparatus of a shutter glass type or a polarized type.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 촬영 방법은 제1 카메라로 제1 출력 프레임을 생성하는 단계와 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후, 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계를 포함할 수 있다. 상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기일 수 있다. 제1항에 있어서, 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 상기 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성하는 것을 특징으로 할 수 있다. 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라와 상기 제2 카메라로 입력되는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 것을 특징으로 할 수 있다. 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라의 촬영 시간 정보와 상기 제2 카메라의 촬영 시간 정보를 생성된 스테레오 영상의 메타데이터 또는 상위 헤더 정보에 기록하는 것을 특징으로 할 수 있다. According to another aspect of the present invention, there is provided a stereoscopic image capturing method including generating a first output frame with a first camera, generating a first output frame with the first camera, Generating a second output frame that is paired with the first output frame whose time taken by the second camera is different from the photographing time of the first output frame by the predetermined period after a predetermined period . The predetermined period may be a half cycle of a period in which a frame is generated. 2. The apparatus of
또한, 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 출력 방법은 입력된 스테레오 영상 데이터를 기초로 스테레오 영상의 촬영 방식을 판단하는 단계와 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계를 포함할 수 있다. 상기 입력된 스테레오 영상 데이터를 기초로 스테레오 영상의 촬영 방식을 판단하는 단계는 영상 촬영 방식이 시간차 촬영 방식인지 동시 촬영 방식인지 여부를 판단할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 편광 방식인지 여부를 판단할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터 중 동일한 촬영 시간에 해당하는 프레임 또는 필드를 매칭시켜 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는, According to another aspect of the present invention, there is provided a stereo image output method including the steps of determining a stereoscopic image capturing method based on input stereo image data, And determining an output method of the input stereo image data according to the output method of the stereo image output device after determining the method. The step of determining the photographing mode of the stereo image based on the inputted stereo image data may determine whether the photographing mode is the time difference photographing mode or the simultaneous photographing mode. Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device determines whether the output method of the image output device is a shutter glass type or a polarization type It can be judged. Wherein the step of determining the output method of the input stereo image data according to the output method of the stereo image output apparatus after determining the output method of the stereo image output apparatus comprises the steps of: When the output method is the shutter glass method, the input stereo image data can be output as it is. Wherein the step of determining the output method of the input stereo image data according to the output method of the stereo image output apparatus after determining the output method of the stereo image output apparatus comprises the steps of: When the output method is the polarizing method, a frame or a field corresponding to the same photographing time among the input stereo image data may be matched and output. Wherein the step of determining the output mode of the input stereo image data according to the output method of the stereo image output device after determining the output mode of the stereo image output device is characterized in that the stereo image shooting method is a simultaneous shooting method, When the output method is a polarizing method, the input stereo image data can be output as it is. Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 하나의 영상에 움직임 보상을 수행하여 소정의 주기로 지연된 영상을 출력할 수 있다. 상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기일 수 있다. When the stereoscopic image capturing system is a simultaneous capturing system and the output method of the video output apparatus is a shutter glass system, motion compensation is performed on one of images captured by the first camera or the second camera, The image can be output. The predetermined period may be a half cycle of a period in which a frame is generated.
또한, 상술한 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 촬영 장치는 제1 출력 프레임을 생성하는 제1 카메라와 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 제2 카메라를 포함할 수 있다. , 상기 제1 카메라와 상기 제2 카메라는 상기 제1 카메라와 상기 제2 카메라로 입력되는 촬영 시간을 조절하는 동기화 신호를 기초로 상기 소정의 주기를 조절할 수 있다. 상기 스테레오 영상 촬영 장치는 동기화 신호를 생성하여 상기 제1 카메라와 상기 제2 카메라에 송신하는 동기화 신호 발생부를 더 포함할 수 있다. 상기 동기화 신호 발생부는 상기 제1 카메라에 제1 동기화 신호를 입력하고, 상기 제2 카메라에 상기 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. According to another aspect of the present invention, there is provided a stereo image photographing apparatus including a first camera for generating a first output frame and a second camera for generating a first output frame And a second camera for generating a second output frame in which a time taken by the second camera after a predetermined period is paired with a first output frame that is different from the photographing time of the first output frame by the predetermined period . The first camera and the second camera may adjust the predetermined period based on a synchronization signal for adjusting a shooting time input to the first camera and the second camera. The stereoscopic image photographing apparatus may further include a synchronization signal generator for generating a synchronization signal and transmitting the synchronization signal to the first camera and the second camera. The synchronization signal generator may input a first synchronization signal to the first camera and input a second synchronization signal, which is a signal delayed by a predetermined period, to the first synchronization signal.
또한, 상술한 본 발명의 제4 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 출력 장치는 수신된 영상 데이터를 기초로 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 좌, 우 영상에서 짝이 되는 프레임이나 필드간의 상대적인 촬영 시간 정보를 판단하는 촬영 정보 판단부와 상기 촬영 정보 판단부에서 산출된 상기 촬영 시간 정보를 기초로 영상을 출력하는 영상 출력부를 포함할 수 있다. 상기 스테레오 영상 출력 장치는 상기 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 적어도 하나의 영상의 지연된 시간에 해당하는 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함할 수 있다. 상기 스테레오 영상 출력 장치는 상기 촬영 정보 판단부에서 산출된 촬영 시간 정보를 기초로 제1 카메라에서 촬영된 프레임과 제2 카메라에서 촬영된 프레임을 매핑시키는 프레임 매핑부를 더 포함할 수 있다. According to another aspect of the present invention, there is provided a stereoscopic image output apparatus including: a stereoscopic image output device for stereoscopically outputting a stereoscopic image, A photographing information determination unit for determining relative photographing time information between a frame or a field paired with the image, and an image output unit for outputting an image based on the photographing time information calculated by the photographing information determining unit. The stereoscopic image output apparatus includes a motion compensation unit for generating a motion compensated frame corresponding to a delayed time of at least one of images captured by the first camera or the second camera in accordance with the imaging time information calculated by the imaging information determination unit, And a frame generation unit. The stereoscopic image output apparatus may further include a frame mapping unit for mapping a frame photographed by the first camera and a frame photographed by the second camera based on the photographing time information calculated by the photographing information determining unit.
상술한 바와 같이 본 발명의 실시예에 따른 스테레오 영상 촬영 방법, 스테레오 영상 디스플레이 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에 따르면, 촬영되는 시점과 영상이 출력되는 시점을 동일하게 하여 화질 및 입체감을 향상시킬 수 있다. As described above, according to the stereoscopic image capturing method, the stereoscopic image capturing method, the stereoscopic image capturing device, and the stereoscopic image output device according to the embodiment of the present invention, Can be improved.
도 1은 동기화 신호에 의한 스테레오 카메라의 동기화를 나타내는 개념도이다.
도 2는 격행(Interlaced) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.
도 3은 순차(Progressive) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.
도 4는 본 발명의 일실시예에 따른 격행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 일실시예에 따른 순행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 나타낸 순서도이다.
도 7은 본 발명의 일실시예에 따른 스테레오 영상을 출력하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 일실시예에 따른 스테레오 영상 촬영 장치 및 동기화 신호 발생 장치를 나타낸 개념도이다.
도 9는 본 발명의 일실시예에 따른 편광 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다.
도 10은 본 발명의 일실시예에 따른 셔터 글라스 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 1 is a conceptual diagram showing synchronization of a stereo camera by a synchronization signal.
2 is a conceptual diagram showing the timings of a frame photographed in an interlaced manner and a frame outputted in a shutter glass method.
3 is a conceptual diagram showing the timings of a frame photographed in a progressive manner and a frame outputted in a shutter glass manner.
FIG. 4 is a conceptual diagram illustrating a method of photographing a stereo image according to an embodiment of the present invention.
FIG. 5 is a conceptual diagram illustrating a method of photographing a stereo image using a forward photographing method according to an embodiment of the present invention.
6 is a flowchart illustrating a stereoscopic image capturing method according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating a method of outputting a stereo image according to an exemplary embodiment of the present invention.
8 is a conceptual diagram illustrating a stereo image photographing apparatus and a synchronization signal generating apparatus according to an embodiment of the present invention.
9 is a conceptual diagram illustrating a stereoscopic image output apparatus of a polarization type according to an embodiment of the present invention.
10 is a conceptual diagram illustrating a shutter-type stereoscopic image output apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals will be used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements will be omitted.
이하, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에서는 두 대의 카메라(제1 카메라, 제2 카메라)를 사용하여 스테레오 영상을 촬영하는 것을 개시하나 본 발명의 본질에서 벋어나지 않는 한 두 대 이상의 카메라를 사용해 스테레오 영상을 촬영하는 것도 가능하다. 또한, 실제 출력 영상은 기술 구현에 따라 제1 카메라에서 촬영한 N번째 프레임과 제2 카메라에서 촬영한 N번째 프레임 사이에 소정의 프레임을 삽입할 수 있고 이러한 프레임 출력 방식 또한 본 발명의 권리 범위에 포함된다.
Hereinafter, a stereoscopic image capturing method, a stereoscopic image capturing method, a stereoscopic image capturing apparatus, and a stereoscopic image output apparatus according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings, in which a stereoscopic image is captured using two cameras (a first camera and a second camera) It is also possible to shoot a stereo image using two or more cameras as long as it does not deviate from the essence of the present invention. In addition, the actual output image may include a predetermined frame between the Nth frame captured by the first camera and the Nth frame captured by the second camera according to the technology implementation, and such a frame output method may also be included in the scope of the present invention .
도 2는 격행(Interlaced) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다. 2 is a conceptual diagram showing the timings of a frame photographed in an interlaced manner and a frame outputted in a shutter glass method.
격행 방식으로 촬영되는 경우, 하나의 프레임은 두 개의 필드로 나누어 진다. 두 대의 카메라는 동기화 신호를 기초로 프레임이나 필드의 시작 시점이 동일하도록 촬영되고, 카메라에서 촬영된 좌, 우 영상은 동일한 시점에 취득된 영상을 가진다. When photographed in a passive manner, one frame is divided into two fields. The two cameras are photographed so that the starting point of the frame or field is the same based on the synchronization signal, and the left and right images photographed by the camera have images acquired at the same time.
이하, 본 발명의 실시 예에서는 제1 카메라로 촬영된 N번째 프레임을 제1 카메라 N번째 프레임이라고 하고, 제2 카메라로 촬영된 N번째 프레임을 제2 카메라 N번째 프레임이라고 한다. Hereinafter, in the embodiment of the present invention, the Nth frame photographed by the first camera is referred to as an Nth frame of the first camera, and the Nth frame photographed by the second camera is referred to as a second camera Nth frame.
도 2의 상단은 제1 카메라와 제2 카메라에서 각 프레임들을 촬영하는 것을 나타낸다. 제1 카메라와 제2 카메라에서 촬영된 프레임과 각 프레임의 필드는 동기화 신호를 기초로 동일한 시간에 촬영된다.The upper part of Fig. 2 shows the photographing of each frame by the first camera and the second camera. The frames photographed by the first camera and the second camera and the fields of the respective frames are photographed at the same time based on the synchronization signal.
도 2의 하단을 참조하면, 셔터 글래스 방식의 영상 출력 장치에서의 촬영된 영상 데이터의 출력 방식을 나타낸다. 예를 들어, 제1 카메라에서 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)되고 소정의 주기(프레임이 변하는 프레임 주기의 절반에 해당하는 주기)이후에 제2 카메라에서 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 두 번째로 출력(제2 출력)된다. 동일한 방식으로 세 번째로 제1 카메라에서 촬영된 N+1번째 프레임이 세 번째로 출력(제3 출력)되고 네 번째로 제2 카메라에서 촬영된 N+1번째 프레임이 출력된다(제4 출력). 이러한 경우, 첫 번째로 출력되는 제1 카메라에서 촬영된 N번째 프레임과 두 번째로 출력되는 제2 카메라에서 촬영된 N번째 프레임은 실제적으로 동일한 시간에 촬영한 프레임들이지만, 출력 시는 소정의 주기만큼의 시간차를 두고 출력된다. 즉, N번째 프레임이 제1 카메라와 제2 카메라에서 촬영된 촬영 시간은 동일한데 반해, N번째 프레임이 영상 출력 장치에서 출력되는 시간은 동일하지 않게 된다.Referring to the lower part of Fig. 2, a method of outputting photographed image data in a shutter-type video output apparatus is shown. For example, when the Nth frame (first camera Nth frame) captured by the first camera is output first (first output) and after a predetermined period (a period corresponding to half of the frame period in which the frame changes) The Nth frame (the second camera Nth frame) photographed by the second camera is output (second output) for the second time. In the same manner, the (N + 1) th frame photographed by the first camera is output (third output) for the third time and the (N + 1) th frame photographed by the second camera is outputted for the fourth time . In this case, the Nth frame photographed by the first camera and the Nth frame photographed by the second camera, which are output first, are actually photographed at the same time, As shown in Fig. That is, the shooting time of the Nth frame is the same as the shooting time of the first camera and the second camera, but the time of outputting the Nth frame from the video output device is not the same.
셔터 글라스 방식의 영상 출력 장치에서는 스테레오 영상을 입력받는 안경을 사용해 소정의 주기로 양쪽 눈 중 한쪽 눈으로 들어오는 영상을 차단하는 방식을 사용한다. 안경을 사용해 왼쪽 눈으로 제1 카메라로 찍은 N번째 프레임(제1 출력)을 볼 경우, 오른쪽 눈으로는 영상이 들어오지 않게 하고 소정의 주기 후 오른쪽 눈으로 제2 카메라로 찍은 N번째 프레임(제2 출력)을 볼 경우, 왼쪽 눈으로는 영상이 들어오지 않게 한다. 즉, 제1 카메라 N번째 프레임이 출력된 후 제2 카메라 N번째 프레임이 출력되고, 그다음 제1 카메라 N+1번째 프레임이 출력되고 제2 카메라의 N+1번째 프레임이 출력된다. 이하, 본 발명의 실시예에서는 주기적으로 제1 카메라와 제2 카메라에서 연달아서 생성되는 제1 카메라 N번째 프레임과 제2 카메라 N번째 프레임을 짝이 되는 프레임이라고 하고, 동일한 방식으로 제1 카메라와 제2 카메라에서 연달아서 생성되는 제1 카메라 N+1번째 프레임과 제2 카메라 N+1번째 프레임도 짝이 되는 프레임이라는 용어로 정의한다. 짝이 되는 프레임들은 인코딩될 시 동일한 시간 정보(예를 들어, PTS(Presentation Time Stamp))를 공유할 수 있다.In the shutter-type video output apparatus, a method of using an eyeglass to receive a stereo image is used to block an image coming into one eye of both eyes at a predetermined cycle. When the Nth frame (first output) captured by the first camera is viewed with the left eye using glasses, the Nth frame (the second output) captured by the second camera with the right eye after the predetermined period Output), the left eye does not allow the image to come in. That is, after the Nth frame of the first camera is output, the Nth frame of the second camera is output, the first frame of the (N + 1) th frame is output, and the (N + 1) th frame of the second camera is output. Hereinafter, in an embodiment of the present invention, the first camera N-th frame and the second camera N-th frame, which are sequentially generated by the first camera and the second camera, are referred to as paired frames, The first camera N + 1th frame and the second camera N + 1th frame generated in succession in the second camera are defined as a pair. Pairing frames may share the same temporal information (e.g., Presentation Time Stamp (PTS)) when encoded.
이러한 출력 방식을 사용하면, 제1 카메라로 찍은 N번째 프레임과 제2 카메라로 찍은 N번째 프레임은 동일한 시간에 촬영한 프레임인데 반해, 출력되어 실제 시청자의 눈에 입력되는 영상은 소정의 주기를 가지는 시간 차이를 가진 영상이 된다. 따라서, 기존의 제1 카메라와 제2 카메라를 시간 차이 없이 동일한 주기로 촬영하는 영상 촬영 방식을 사용할 경우, 촬영 시간과 시청자의 눈에 입력되는 출력 시간의 차이로 인해 촬영된 스테레오 영상을 시청하는 시청자는 눈에 피로감을 느낄 수 있고, 입체감과 화질의 주관적 및 객관적 열화가 존재할 수 있다.With this output method, the Nth frame taken by the first camera and the Nth frame taken by the second camera are frames taken at the same time, whereas the images output to the eyes of the actual viewer have a predetermined period It becomes a video with time difference. Therefore, when a conventional image capturing system that captures the first camera and the second camera at the same time with no time difference is used, a viewer who views the captured stereo image due to the difference between the capturing time and the output time input to the viewer's eyes, Eye fatigue, and subjectivity and objective deterioration of stereoscopic effect and image quality may exist.
제1 카메라 N번째 프레임이 출력된 후 제2 카메라 N번째 프레임이 출력되고, 그다음 제1 카메라 N+1번째 프레임이 출력되고 제2 카메라의 N+1번째 프레임이 출력된다.
After the Nth frame of the first camera is outputted, the Nth frame of the second camera is outputted, then the first camera N + 1th frame is outputted and the N + 1th frame of the second camera is outputted.
도 3은 순차(Progressive) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.3 is a conceptual diagram showing the timings of a frame photographed in a progressive manner and a frame outputted in a shutter glass manner.
도 3의 상단은 제1 카메라와 제2 카메라는 동기화 신호에 기초하여 동일한 시간에 동일한 번호의 프레임을 촬영하는 것을 나타낸다.3 shows that the first camera and the second camera take the same number of frames at the same time based on the synchronization signal.
도 3의 하단은 전술한 도 2의 하단과 마찬가지로 셔터 글래스 방식의 영상 출력 장치에서의 촬영된 영상 데이터의 출력 방식을 나타낸다. 예를 들어, 제1 카메라에서 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)되고 소정의 주기(프레임이 변하는 프레임 주기의 절반에 해당하는 주기)이후에 제2 카메라에서 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 두 번째로 출력(제2 출력)된다. 동일한 방식으로 세 번째로 제1 카메라에서 촬영된 N+1번째 프레임(제1 카메라 N+1 프레임)이 세 번째로 출력(제3 출력)되고 네 번째로 제2 카메라에서 촬영된 N+1번째 프레임(제2 카메라 N+1 프레임)이 출력(제4 출력)된다. 첫 번째로 출력되는 제1 카메라에서 촬영된 N번째 프레임과 두 번째로 출력되는 제2 카메라에서 촬영된 N번째 프레임은 실제적으로 동일한 시간에 촬영한 프레임들이지만, 출력 시는 소정의 주기만큼의 시간차를 두고 출력되게 된다. 즉, 격행 촬영 방식으로 촬영된 영상과 마찬가지로 순행 촬영 방식으로 촬영된 영상도 N번째 프레임의 경우, 제1 카메라와 제2 카메라에서 촬영된 촬영 시간은 동일한데 반해, 영상 출력 장치에서 출력되는 시간은 동일하지 않게 된다. 격행 촬영 방식과 마찬가지로 촬영 시간과 출력 시간의 차이는 스테레오 영상을 시청하는 시청자는 눈에 피로감을 느낄 수 있고, 입체감과 화질의 주관적 및 객관적 열화가 존재할 수 있다.
The lower end of Fig. 3 shows the output method of the photographed image data in the shutter-type video output apparatus as in the case of the lower end of Fig. For example, when the Nth frame (first camera Nth frame) captured by the first camera is output first (first output) and after a predetermined period (a period corresponding to half of the frame period in which the frame changes) The Nth frame (the second camera Nth frame) photographed by the second camera is output (second output) for the second time. (N + 1) -th frame (first camera N + 1 frame) captured by the first camera is output for the third time (third output) Frame (second camera N + 1 frame) is output (fourth output). The Nth frame photographed by the first camera and the Nth frame photographed by the second camera, which are outputted first, are actually photographed at the same time, but at the time of output, . That is, in the case of the N-th frame, the time taken by the first camera and the second camera is the same as the time taken by the moving image capturing system, It is not the same. The difference between the shooting time and the output time, like the shooting mode, can cause fatigue in the eyes of the viewer who watches the stereo image, and subjective and objective deterioration of the stereoscopic effect and the image quality.
도 4는 본 발명의 일실시예에 따른 격행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.FIG. 4 is a conceptual diagram illustrating a method of photographing a stereo image according to an embodiment of the present invention.
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에 따르면, 제1 카메라에서 촬영하는 촬영 시점과 제2 카메라에서 촬영하는 촬영 시점에 소정의 차이를 줌으로써 기존의 스테레오 영상 촬영 방식이 가진 촬영 시점과 출력 시점이 불일치하는 문제를 해결할 수 있다. 즉, 격행 촬영 방법으로 촬영시 제1 카메라와 제2 카메라 사이의 촬영 타이밍을 소정의 주기(예를 들어, 프레임 주기의 절반)만큼 다르게 함으로써 촬영 타이밍과 동일한 출력 타이밍을 얻을 수 있다.According to the stereoscopic image capturing method according to an embodiment of the present invention, by providing a predetermined difference between the capturing time of the first camera and the time of capturing the second camera, The problem of inconsistency of viewpoints can be solved. That is, it is possible to obtain the same output timing as the photographing timing by making the photographing timing between the first camera and the second camera different by a predetermined period (for example, half of the frame period) during photographing by the shooting photographing method.
이하, 본 발명의 실시예에서는 프레임 주기의 절반 주기만큼 시간차를 두어 촬영하는 시간차 방식에 대해 개시하지만, 본 발명의 본질에서 벋어나지 않는 한 촬영 방식에 따라 다른 주기의 시간차로 제1 카메라와 제2 카메라가 시간차를 가진 촬영 방식을 가지는 것도 가능하고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. In the embodiment of the present invention, a time difference method for taking a picture with a time difference of half the frame period is described. However, unless the essence of the present invention is satisfied, the first camera and the second It is also possible that the camera has a photographing method with a time difference, and these embodiments are also included in the scope of the present invention.
도 4의 상단을 참조하면, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에서는 제1 카메라로 촬영되는 프레임 주기의 절반 주기만큼 제2 카메라의 촬영 주기를 지연되게 한다. 즉, 제1 카메라에 의해 N 번째 프레임의 필드 1이 생성될 때 제2 카메라는 촬영을 수행하지 않고 제1 카메라에 의해 N 번째 프레임의 필드 2가 촬영될 때 제2 카메라는 N번째 프레임의 필드 1을 생성한다. 같은 방식으로 제1 카메라에 의해 N+1 번째 프레임의 필드 1이 생성될 때 제2 카메라는 N번째 프레임의 필드 2를 생성한다. 즉, 프레임 주기의 반에 해당하는 주기만큼 제1 카메라와 제2 카메라의 프레임 및 필드의 생성 주기를 다르게 할 수 있다.Referring to the upper part of FIG. 4, in the stereo image photographing method according to the embodiment of the present invention, the photographing period of the second camera is delayed by half the frame period taken by the first camera. That is, when
즉, 순차적으로 스테레오 영상 출력 장치에서 우선적으로 출력되는 프레임을 제1 출력 프레임이라고 하고, 다음으로 출력되는 프레임을 제2 출력 프레임이라고 한다면 제1 카메라로 제1 출력 프레임을 생성하고 제1 카메라가 제1 출력 프레임을 생성한 후 소정의 주기(예를 들어, 반 프레임 주기) 후 제2 카메라로 제2 출력 프레임을 생성할 수 있다. 즉, 제1 카메라가 제2 카메라보다 반 프레임 주기 앞서 촬영하는 방식으로 시간차를 두면, 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성하게 되고, 촬영된 시간과 출력되는 시간에 시간차가 존재하지 않아 보다 자연스러운 영상을 출력할 수 있다. 전술한 예는 제1 카메라가 우선적으로 촬영할 경우를 전제한 것으로 제1 카메라와 제2 카메라 사이에 시간차를 두어 촬영하는 방식인 경우 본 발명의 권리 범위에 포함된다. That is, if a frame sequentially output in a stereo image output apparatus is referred to as a first output frame and a next output frame is referred to as a second output frame, a first output frame is generated by the first camera, A second output frame may be generated by the second camera after a predetermined period (for example, a half frame period) after generating one output frame. In other words, if the first camera makes a time difference in a manner that captures a half frame period ahead of the second camera, when the first camera generates the second field image of the first output frame and the second camera generates the second field image of the second output frame One field image is generated, and there is no time difference between the photographed time and the outputted time, so that a more natural image can be outputted. The above-described example presupposes a case where the first camera takes priority, and is included in the scope of the present invention when a method of photographing is performed with a time difference between the first camera and the second camera.
도 4의 하단은 촬영된 화면의 디스플레이 방법을 나타낸다. 제1 카메라에 의해 촬영된 N번째 프레임(제1 카메라 N 프레임)이 첫 번째로 출력될 수 있고, 프레임 주기의 반주기 이후에 촬영된 두 번째로 제1 카메라에 의해 촬영된 N번째 프레임 과 짝이되는 제2 카메라에 의해 촬영된 N번째 프레임(제2 카메라 N 프레임)이 출력될 수 있다. 동일한 방식으로 세 번째로는 제1 카메라로 촬영된 N+1번째 프레임이 출력될 수 있고 네번째로는 제1 카메라로 촬영된 N+1번째 프레임과 짝이되는 제2 카메라로 촬영된 N+1번재 프레임이 출력될 수 있다. 즉, 제1 카메라와 제2 카메라는 소정의 시간 차이를 두어 촬영하게 되고 이러한 촬영 방식을 사용함으로써 촬영된 화면이 출력 시 촬영된 시간의 순서와 동일한 순서로 출력될 수 있다. 이러한 방법을 사용함으로써 기존의 촬영 방식에 비해 눈의 피로를 줄일 수 있고, 입체감 및 화질의 객관적, 주관적 성능이 증가할 수 있다.
The bottom of Fig. 4 shows a display method of the photographed screen. The Nth frame (the first camera N frame) taken by the first camera can be output first, and the second frame captured by the first camera after the half cycle of the frame period is paired with the Nth frame The Nth frame (second camera N frame) taken by the second camera can be output. In the same manner, the (N + 1) th frame photographed by the first camera can be outputted in the third manner, and the (N + 1) th frame photographed by the second camera paired with the (N + A first frame can be output. That is, the first camera and the second camera shoot with a predetermined time difference, and the captured images can be output in the same order as the time of shooting at the time of output by using the shooting method. By using this method, eye fatigue can be reduced as compared with the conventional photographing method, and objectivity and subjective performance of stereoscopic effect and image quality can be increased.
도 5는 본 발명의 일실시예에 따른 순행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.FIG. 5 is a conceptual diagram illustrating a method of photographing a stereo image using a forward photographing method according to an embodiment of the present invention.
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에 따르면, 순행 촬영 방식에서도 격행 촬영 방식과 동일하게 제1 카메라에서 촬영하는 촬영 시점과 제2 카메라에서 촬영하는 촬영 시점에 소정의 차이를 줌으로써 기존의 동기화 신호에 의한 촬영 방식이 가진 촬영 시점과 디스플레이 시점이 불일치하는 문제를 없앨 수 있다. According to the stereoscopic image capturing method according to an embodiment of the present invention, in the moving image capturing system, a difference between a capturing time point taken by the first camera and a capturing time point taken by the second camera, It is possible to eliminate the problem that the shooting timing by the synchronization signal is inconsistent between the shooting time and the display time.
도 5의 상단을 참조하면, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에서는 제1 카메라와 제2 카메라의 촬영 주기에 소정의 시간차를 두어 촬영 할 수 있다. 예를 들어, 제1 카메라로 촬영되는 프레임 주기의 절반 주기만큼 제2 카메라의 촬영 주기와 제1 카메라의 촬영 주기에 시간차를 두어촬영할 수 있다. 도 5에서와 같이 제1 카메라와 제2 카메라의 촬영 주기에 소정의 시간차를 두어 제1 카메라에 의해 N 번째 프레임이 촬영될 때 제2 카메라는 촬영을 수행하지 않고 프레임 주기의 반주기만큼 지난 후에 제2 카메라는 N번째 프레임을 촬영할 수 있다. 같은 방식으로 제1 카메라에 의해 N+1 번째 프레임이 촬영된 후 프레임 주기의 반주기만큼 지난 후에 제2 카메라는 N+1번째 프레임을 촬영할 수 있다. 즉, 프레임 주기의 반에 해당하는 주기만큼 제1 카메라와 제2 카메라의 촬영 주기를 다르게 하여 촬영을 수행할 수 있다.Referring to the upper part of FIG. 5, in the stereoscopic image shooting method according to an embodiment of the present invention, the first and second cameras may be photographed with a predetermined time difference. For example, it is possible to take a time lag between the photographing period of the second camera and the photographing period of the first camera by a half period of the frame period taken by the first camera. 5, when the Nth frame is photographed by the first camera with a predetermined time difference between the photographing periods of the first camera and the second camera, the second camera does not perform photographing, but after a half period of the frame period 2 The camera can shoot the Nth frame. In the same manner, the first camera captures the (N + 1) th frame, and the second camera captures the (N + 1) th frame after a half period of the frame period. That is, the photographing period may be different between the first camera and the second camera by a period corresponding to half of the frame period.
도 5의 하단은 촬영된 화면의 출력 방법을 나타낸다. 제1 카메라에 의해 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)될 수 있고, 두 번째로 제1 카메라 N번째 프레임과 짝이되는 제2 카메라에 의해 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 출력(제2 출력)될 수 있다. 동일한 방식으로 세 번째로는 제1 카메라에 의해 촬영된 N+1번째 프레임(제1 카메라 N+1번째 프레임)이 출력(제3 출력)될 수 있고 네번째로는 제1 카메라 N+1번째 프레임과 짝이되는 제2 카메라 N+1번째 프레임이 출력(제4 출력)이 될 수 있다. 즉, 격행 촬영 방식과 마찬가지로 순행 촬영 방식의 경우도 촬영된 화면이 출력 시 촬영된 시간의 순서와 동일한 순서로 출력되도록 함으로써 기존의 촬영 방식에 비해 눈의 피로를 줄일 수 있고, 입체감 및 화질의 객관적, 주관적 성능이 증가할 수 있다.
The bottom of Fig. 5 shows the output method of the photographed screen. An Nth frame (first camera Nth frame) taken by the first camera can be output first (first output), and a second camera can be output (first output) by a second camera that is paired with the first camera Nth frame The captured N-th frame (second camera N-th frame) can be output (second output). (Third output) of the (N + 1) th frame (first camera N + 1) frame taken by the first camera and fourth And the (N + 1) th frame of the second camera to be paired with the (N + 1) -th frame can be the output (fourth output). In other words, in the case of the moving photographing mode, the photographing screen is outputted in the same order as the photographing time in the same manner as the photographing mode, so that the fatigue of the eyes can be reduced compared to the conventional photographing mode, , Subjective performance may be increased.
도 4 및 도 5에서 전술한 제1 카메라와 제2 카메라의 영상 촬영 시간에 시간차를 발생시키기 위해 다양한 방식이 사용될 수 있다. 예를 들어, 제1 카메라와 제2 카메라로 입력되는 동기화 신호를 반 프레임 늦게 넣어주는 방식을 사용할 수 있다. 즉, 제1 카메라에 제1 동기화 신호를 입력하고, 제2 카메라에 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. 또 다른 방법으로 제2 카메라 자체에서 입력되는 동기화 신호를 프레임 주기의 절반만큼 지연시키는 방식을 사용할 수도 있다. Various methods may be used to generate the time difference in the imaging time of the first camera and the second camera described in FIGS. 4 and 5. For example, a method of inserting a synchronization signal input to the first camera and the second camera late into a half frame may be used. That is, a first synchronization signal may be input to the first camera, and a second synchronization signal may be input to the second camera, which is a signal delayed by a predetermined period, to the first synchronization signal. Alternatively, a method of delaying the synchronization signal input from the second camera itself by half the frame period may be used.
본 발명의 일실시예에 따른 제1 카메라와 제2 카메라의 촬영 시간에 시간차를 두어 스테레오 영상을 촬영하는 방식을 사용하는 경우, 셔터 글래스 방식 영상 출력 장치에서는 제2 카메라에서 촬영된 영상을 제1 카메라에서 촬영된 영상보다 반 프레임만큼 늦게 출력하므로 실제 촬영할 때의 촬영 시간 차이와 출력 시간 차이가 동일하게 되어 기존의 스테레오 영상 촬영 방법을 사용하여 촬영된 영상 컨텐츠를 출력할 때 보다 영상 출력 장치보다 더 자연스러운 영상이 출력될 수 있다.In the case of using a method of photographing a stereo image with a time difference between photographing times of the first camera and the second camera according to the embodiment of the present invention, in the shutter glass type image output apparatus, The output time difference is the same between the actual shooting time and the actual output time, so that the output time of the image output device using the conventional stereo image shooting method is longer than that of the video output device A natural image can be output.
반면에 편광 방식의 영상 출력 장치에서 본 발명의 일실시예에 따른 제1 카메라와 제2 카메라의 촬영 시간에 소정의 시간차를 두고 촬영하는 스테레오 영상 촬영 방식을 사용할 경우 문제가 되는데, 셔터 글라스 방식과 달리 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 영상이 순차적으로 출력되는 방식이 아닌 제1 카메라와 제2 카메라에서 촬영된 영상을 동시에 보여주는 출력 방식을 사용하기 때문에 기존의 동기화 신호를 이용한 제1 카메라와 제2 카메라가 동시에 촬영하는 방식을 사용하는 것이 오히려 촬영 시간과 출력 시간의 차이를 발생시키지 않는다. 따라서 본 발명의 일실시예에 따른 제1 카메라와 제2 카메라가 시간차를 두고 촬영을 수행하는 방식을 사용한 스테레오 영상을 편광 방식의 영상 출력 장치에서는 출력할 경우, 시간차를 두어 촬영된 스테레오 영상을 기존의 동시 촬영 방법으로 촬영된 스테레오 영상과 같은 방식으로 다시 재정렬을 수행할 필요가 있다. 편광 방식 출력 장치에서 출력하기 위한 재정렬 방법 중 하나로는 스테레오 영상 데이터의 헤더에 저장된 각 프레임의 촬영 시간 정보와 같은 소정의 촬영 시간 관련 정보를 기초로 동일한 촬영 시간 정보를 가진 프레임끼리 짝을 이루어 재정렬을 수행할 수 있다. 프레임 단위로 촬영 시간 정보를 매핑하는 것도 가능하지만, 스테레오 영상 데이터의 상위 헤더 정보 또는 메타데이터 정보에 현재 스테레오 영상 데이터가 시간차 영상 촬영된 스테레오 영상 데이터인지 아니면 동시 촬영된 스테레오 영상 데이터 인지 여부를 메타 데이터 또는 헤더 정보에 넣어주고, 출력장치에서는 이 정보를이용하여 영상 출력 장치의 방식에 맞추어 스테레오 영상 출력 방법을 다르게 할 수 있다.On the other hand, in the case of using a stereoscopic image capturing method in which the first and second cameras take a picture with a predetermined time difference in the capturing time of the first camera and the second camera according to the embodiment of the present invention, Since an output method that simultaneously displays images taken by the first camera and the second camera instead of sequentially outputting images captured by the first camera and images captured by the second camera is used, The use of a method in which the first camera and the second camera simultaneously photograph are used does not cause a difference between the shooting time and the output time. Therefore, in the case of outputting a stereo image using a method in which the first camera and the second camera perform photographing with a time difference according to an embodiment of the present invention, the stereo image photographed with a time difference is output to the existing It is necessary to perform realignment again in the same manner as the stereo image photographed by the simultaneous photographing method. One of the reordering methods for outputting from the polarization type output device is to reorder the frames having the same photographing time information based on predetermined photographing time related information such as photographing time information of each frame stored in the header of the stereo image data, Can be performed. It is also possible to map the photographing time information on a frame-by-frame basis, but it is also possible to map whether the current stereo image data is stereo image data obtained by time-difference imaging or concurrently photographed stereo image data in the upper header information or metadata information of the stereo image data, Or header information, and the output device can use this information to differentiate the stereo image output method according to the system of the video output apparatus.
또한 본 발명의 일실시예에 따른 스테레오 영상 출력 방법에서는 기존의 동기화 신호에 의한 동시 촬영 방법을 사용하여 생성된 영상을 셔터 글래스 디스플레이에 디스플레이하는 경우, 제1 카메라로 촬영된 영상 또는 제2 카메라로 촬영된 영상 중 하나의 영상을 움직임 보간을 통해 소정의 주기만큼 지연된 영상을 생성한 후 출력하는 방식을 통해 시간차 촬영 방식을 사용한 경우와 동일한 효과를 가지도록 할 수 있다.
Further, in the stereo image output method according to an embodiment of the present invention, when an image generated using the conventional synchronization signal simultaneous photographing method is displayed on the shutter glass display, the image captured by the first camera or the second camera It is possible to have the same effect as the case of using the time difference photographing method by generating an image delayed by a predetermined period through motion interpolation and outputting one image of the photographed images.
도 6은 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 나타낸 순서도이다. 6 is a flowchart illustrating a stereoscopic image capturing method according to an exemplary embodiment of the present invention.
도 6을 참조하면, 제1 카메라로 N번째 프레임(제1 카메라 N번째 프레임)을 생성한다(단계 S600). Referring to FIG. 6, an Nth frame (first camera Nth frame) is generated by a first camera (step S600).
격행 촬영 방식의 경우, 제1 카메라는 N번째 프레임의 제1 필드 영상을 생성하고, 소정의 주기(예를 들어, 프레임 주기의 절반 주기) 후에 N번째 프레임의 제2 필드 영상을 생성한다. 격행 촬영 방식이 아닌 순행 촬영 방식을 사용할 경우, 제1 카메라는 N번째 프레임을 생성하고, 소정의 프레임 주기 후 N+1 번째 프레임을 생성한다. In the case of the moving image capturing mode, the first camera generates the first field image of the Nth frame and generates the second field image of the Nth frame after a predetermined period (for example, a half period of the frame period). When using the forward photographing method other than the interchange photographing method, the first camera generates the Nth frame and generates the (N + 1) th frame after a predetermined frame period.
제1 카메라로 N번째 프레임을 생성한 후, 소정의 주기 후에 제2 카메라로 N번째 프레임(제2 카메라 N번째 프레임)을 생성한다(단계 S610).After the Nth frame is generated by the first camera, an Nth frame (second camera Nth frame) is generated by the second camera after a predetermined period (step S610).
격행 촬영 방식의 경우, 제2 카메라에서 촬영되는 N번째 프레임이 제1 카메라에서 촬영되는 N번째 프레임보다 프레임 주기의 절반 주기만큼 지연되어 N번째 프레임의 제1 필드 영상을 생성할 수 있다. 순행 촬영 방식의 경우, 제2 카메라에서는 프레임 주기의 절반 주기만큼 지연되어 N번째 프레임을 촬영할 수 있다. 이러한 촬영 방식을 통해 셔터 글래스 방식의 영상 출력 장치에서는 실제 시청자가 시청하는 화면의 시청 주기와 촬영 장치에서 촬영된 촬영 주기(좌,우 시간 차이)가 동일할 수 있다. In the case of the moving image capturing mode, the Nth frame captured by the second camera may be delayed by a half period of the frame period from the Nth frame captured by the first camera to generate the first field image of the Nth frame. In the case of the forward photographing mode, the second camera can photograph the N-th frame by a delay of a half period of the frame period. With this shutter system, the viewing period of the screen viewed by the actual viewer and the shooting cycle (left and right time difference) photographed by the photographing apparatus can be the same in the shutter-type video output apparatus.
즉, 제1 카메라와 제2 카메라 사이에 소정의 시간 차이를 두어 촬영을 수행하게 되고 이후 촬영된 화면을 셔터 글래스 방식으로 출력 시 촬영된 순서와 동일한 순서로 출력할 수 있어 기존의 제1 카메라와 제2 카메라 사이에 시간 차이를 두지 않고 촬영하였던 영상 촬영 방식에 비해 화질과 입체감을 향상 시킬 수 있다.
That is, since the photographing is performed with a predetermined time difference between the first camera and the second camera, and then the photographed images are output in the same order as the photographing sequence in the case of outputting by the shutter glass method, The image quality and the stereoscopic effect can be improved as compared with the image capturing method in which the second camera is photographed without a time difference.
도 7은 본 발명의 일실시예에 따른 스테레오 영상을 출력하는 방법을 나타낸 순서도이다.7 is a flowchart illustrating a method of outputting a stereo image according to an exemplary embodiment of the present invention.
도 7을 참조하면, 스테레오 영상의 촬영 방식이 시간차 촬영 방식인지 여부를 판단한다(단계 S700).Referring to FIG. 7, it is determined whether the stereoscopic image shooting method is a time difference shooting method (step S700).
본 발명의 일실시예에 따른 셔터 글라스 방식에서 스테레오 영상을 출력하는 방법에서는 입력되는 스테레오 영상의 헤더 정보 또는 메타 데이터 정보를 기초로 해당 스테레오 영상이 좌우 시간차를 두고 촬영된 시간차 촬영 영상인지 동시에 촬영된 동시 촬영 영상인지 여부에 대한 정보인 촬영 시간 정보를 제공받을 수 있다. 헤더 정보 또는 메터 데이터를 사용하여 촬영 시간 정보를 제공받는 것은 예시적인 것으로써 다른 방식(예를 들어, 프레임 단위 동기화 방식)을 통해 입력되는 스테레오 영상의 촬영 방식을 판단하는 것도 가능하다. In a method of outputting a stereo image in a shutter glass method according to an embodiment of the present invention, a method of outputting a stereoscopic image in a shutter glass system according to an exemplary embodiment of the present invention is a method in which a stereoscopic image, Photographing time information, which is information on whether or not the image is a simultaneous photographed image. The receiving of the photographing time information using the header information or the meta data is an example, and it is also possible to judge the photographing mode of the stereo image input through another method (for example, a frame-by-frame synchronizing method).
촬영 시간 정보에는 제1 카메라에 의해 생성된 프레임 또는 필드와 제2 카메라에 의해 생성된 프레임이나 필드가 동시에 촬영된 것인지에 관련된 정보, 촬영 시간 정보가 동일한 프레임 또는 필드에 대해서 제1 카메라로 촬영된 프레임이 반 프레임 주기만큼 앞선 것인지 아니면 제2 카메라로 촬영된 프레임이 반 프레임 주기만큼 앞선 것인지 여부 정보 등 촬영 시간과 관련된 화면의 시간차 정보를 표시할 수 있다. 예를 들어, 프레임의 촬영 시간이 동일하면, 제1 카메라로 촬영된 프레임과 제2 카메라로 촬영된 프레임은 영상 데이터를 인코딩할 때 시간 정보인 DTS(Decoding Time Stamp)나 PTS(Presentation Time Stamp)를 동일한 값으로 할당받을 수 있다. The photographing time information includes information related to whether a frame or a field generated by the first camera and a frame or a field generated by the second camera are simultaneously photographed, a frame captured by the first camera It is possible to display the time difference information of the screen related to the shooting time such as whether it is ahead by half frame period or whether the frame shot by the second camera is ahead by half frame period. For example, if the frames are photographed at the same time, the frame captured by the first camera and the frame captured by the second camera are encoded with time information DTS (Decoding Time Stamp) or PTS (Presentation Time Stamp) Can be assigned the same value.
촬영 시간 정보는 셔터 글래스 방식의 영상 출력 장치 또는 편광 방식 영상 출력 장치에서 스테레오 영상을 출력할 때 출력 방법을 결정하기 위한 정보로 사용될 수 있다.The photographing time information can be used as information for determining an output method when outputting a stereo image in a shutter glass type image output apparatus or a polarization type image output apparatus.
영상 촬영 방식이 촬영을 수행시 제1 카메라와 제2 카메라 사이에 시간차를두는 시간차 촬영 방식인 경우, 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 여부를 판단한다(단계 S710)In the case of the time difference photographing method in which the image photographing method places a time difference between the first camera and the second camera at the time of photographing, it is determined whether the output method of the image output device is shutter type (step S710)
영상 촬영 방식이 제1 카메라와 제2 카메라 사이에 촬영을 수행시 시간차를두는 시간차 촬영 방식인 경우, 전술한 바와 같이 셔터 글라스 방식의 영상 출력 장치와 편광 방식의 영상 출력 장치에서는 영상을 출력하는 방식이 상이하므로 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 아니면 편광 방식인지 여부를 판단하여 영상의 출력 방식을 결정할 수 있다.In the case of the time difference photographing system in which the image photographing system places a time difference between photographing between the first camera and the second camera, as described above, in the shutter glass system image output apparatus and the polarization image output apparatus, It is possible to determine whether the output method of the video output device is a shutter glass method or a polarization method and determine an output method of the image.
셔터 글라스 방식의 영상 출력 장치인 경우, 입력된 영상을 그대로 출력한다(단계 S720).In the case of the shutter-type video output apparatus, the input video is output as it is (step S720).
시간차 촬영 영상인 경우, 전술한 바와 같이 제1 카메라와 제2 카메라에서 소정의 시간차를 두어 촬영된 영상의 순서와 셔터 글라스 방식의 영상 출력 장치에서 영상이 출력되는 순서가 매칭되기 때문에 시간차 촬영되어 입력된 스테레오 영상을 그대로 출력할 수 있다.In the case of the time-difference photographed image, since the order of the photographed images with a predetermined time difference between the first camera and the second camera is matched with the order in which the images are output from the shutter-type video image output device, The stereo image can be outputted as it is.
편광 방식의 영상 출력 장치에서는 시간차 촬영 방식인 경우, 동일한 촬영 시간 정보를 가진 프레임 또는 필드를 동시에 출력한다(단계 S730).In the polarization-mode video output apparatus, in the case of the time difference photographing method, a frame or a field having the same photographing time information is simultaneously output (step S730).
전술한 바와 같이 편광 방식의 영상 출력 장치는 셔터 글라스 방식의 영상 출력 장치와 다르게 영상의 출력 시간과 영상의 촬영 시간이 다르지 않으므로 시간차 촬영 방법으로 촬영된 영상은 동일한 촬영 시간 정보를 가진 프레임 또는 필드를 짝을 지어서 동시에 출력할 수 있다.As described above, since the image output apparatus of the polarization type differs from the image output apparatus of the shutter glass type in that the image output time is different from the image output time, the image taken by the time difference photographing method has a frame or field You can output them at the same time in pairs.
영상의 촬영 방식이 동시 촬영 방식인 경우, 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 여부를 판단한다(단계 S740).If the image capturing mode is the simultaneous capturing mode, it is determined whether the output mode of the video output device is the shutter glass mode (step S740).
촬영 방식이 동시 촬영 방식인 경우, 영상 출력 장치의 방식이 편광 방식인지 아니면 셔터 글라스 방식인지 여부를 판단하여, 영상의 출력 방식을 다르게 할 수 있다.When the photographing mode is the simultaneous photographing mode, it is determined whether the mode of the image output device is the polarization mode or the shutter glass mode, and the output method of the image can be made different.
셔터 글라스 방식의 영상 출력 장치인 경우, 소정의 주기로 입력되는 영상의 움직임 보상 프레임 또는 필드를 생성하여 출력한다(단계 S750). In the case of a shutter-type video output apparatus, a motion compensation frame or a field of an image input at a predetermined period is generated and output (step S750).
동시 촬영 방식의 경우 전술한 바와 같이 셔터 글래스를 사용하면 촬영 시간과 출력 시간의 시간차가 존재하기 때문에 움직임 보상을 수행하여 시간차를 가지는 프레임을 생성함으로써 촬영 시간과 출력 시간의 시간차를 보상할 수 있다. 즉, 동시 촬영 영상인 경우, 영상 출력 장치에서는 입력된 스테레오 영상 중 제1 카메라로 촬영된 영상 또는 제2 카메라로 촬영된 영상 중 하나의 영상을 반 프레임 주기만큼 움직임 보상하여 생성함으로써 시간차 촬영을 수행한 것과 동일한 효과를 낼 수 있다. In the case of the simultaneous photographing method, when the shutter glass is used as described above, there is a time difference between the photographing time and the output time. Therefore, the motion compensation is performed to generate a frame having a time difference, so that the time difference between the photographing time and the output time can be compensated. That is, in the case of the coincidentally captured image, the video output device generates motion compensation for one of the input stereo images captured by the first camera or the image captured by the second camera by half a frame period, The same effect can be achieved.
편광 방식의 영상 출력 장치에서 동시 촬영 영상인 경우, 입력되는 영상을 그대로 출력한다(단계 S760).In the case of the simultaneous photographed image in the polarization-mode image output apparatus, the input image is directly output (step S760).
편광 방식은 셔터 글라스 방식과 다르게 촬영 시간과 출력 시간이 변하지 않으므로 제1 카메라와 제2 카메라가 동일한 주기를 가지고 동시에 촬영된 영상의 경우, 그대로 출력할 수 있다.Unlike the shutter glass system, the polarization system does not change the shooting time and the output time. Therefore, when the first camera and the second camera have the same period and are photographed at the same time, they can output the same.
도 7의 순서도는 본 발명의 따른 스테레오 영상 출력 방법의 실시예로써 본 발명의 다른 실시예에 따른 스테레오 영상 출력 방식은 시간차 촬영 방식인지 아니면 동시 촬영 방식인지 여부 및 해당 영상 출력 장치가 편광 방식인지 아니면 셔터 글라스 방식인지 여부를 판단하지 않고 고정된 방식으로 영상을 출력할 수 있다. 예를 들면, 시간차 촬영이 된 경우도 편광 방식의 영상 처리 장치에서 동일 시간에 해당하는 영상으로 정렬하여 그대로 출력할 수 있고, 동시 촬영이 된 경우도 셔터 글라스 방식의 영상 출력 장치에서 움직임 보상을 통해 프레임을 생성하여 교대로 출력할 수도 있다.
7 is an embodiment of a stereo image output method according to the present invention. The stereo image output method according to another embodiment of the present invention is a time difference photographing method or a simultaneous photographing method, It is possible to output the image in a fixed manner without determining whether or not the shutter type is used. For example, in the case where the time difference photographing is performed, the image processing apparatus of the polarization type can also align the images corresponding to the same time and output them as they are, and in the case of simultaneous photographing, Frames may be generated and output alternately.
도 8은 본 발명의 일실시예에 따른 스테레오 영상 촬영 장치 및 동기화 신호 발생 장치를 나타낸 개념도이다.8 is a conceptual diagram illustrating a stereo image photographing apparatus and a synchronization signal generating apparatus according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 일실시예에 따른 제1 카메라(800) 및 제2 카메라(810)에는 동기화 신호를 생성하는 동기화 신호 발생부(820)가 스테레오 영상 촬영 장치에 유선 또는 무선으로 연결되어 있거나 동기화 신호 발생 장치가 제1 카메라 또는 제2 카메라(800, 810)에 포함될 수 있다. 즉, 본 발명의 본질에서 벋어나지 않는 한 동기화 신호 발생 장치(820)은 다양한 방식으로 구현될 수 있다. 또한, 제1 카메라와 제2 카메라는 하나의 스테레오 영상 촬영 장치로 하나로 구현되는 것도 가능하나 제1 카메라와 제2 카메라가 공간적으로 분리된 위치에 존재할 수도 있다. 서로 짝이되는 프레임을 생성할 때 제1 카메라(800)는 제1 출력 프레임을 생성하고 제2 카메라(810)은 제1 카메라가 제1 출력 프레임을 생성한 후 소정의 주기가 지난 후 제2 출력 프레임을 생성하는 시간차를 둔 촬영 방식을 사용할 수 있다. 예를 들어, 격행 촬영 방식일 경우, 제1 카메라가 제1 출력 프레임의 제2 필드 영상을 생성 시, 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성할 수 있다.Referring to FIG. 8, a
제1 카메라(800) 및 제2 카메라(810)에는 동기화 신호 발생부(820)에서 발생된 동기화 신호를 수신하고 촬영 시간을 결정하는 동기화 신호 수신부(805, 815)가 포함될 수 있다.The
동기화 신호 수신부(805, 815)에서는 동기화 신호 발생 장치(820)에서 입력된 동기화 신호를 제어하여 제1 카메라(800)와 제2 카메라(810)으로 입력되는 동기화 신호에 소정의 주기 차이를 생성할 수 있다.The synchronization
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 수행하기 위해서 동기화 신호 발생부(820)에서 제1 카메라(800) 또는 제2 카메라(810) 중 적어도 하나 카메라(예를 들어, 제1 카메라)에 제1 동기화 신호를 입력하고 나머지 카메라(예를 들어, 제2 카메라(810))에 제1 동기화 신호에 소정의 주기(예를 들어, 프레임 주기의 반)만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. 이러한 방법을 통해 제2 카메라(810)에서는 제1 카메라(800)에서 프레임을 촬영하는 주기보다 반 프레임 주기만큼 뒤에 동일한 시간 정보를 가지는 프레임을 촬영함으로써 셔터 글라스 방식의 영상 출력 장치에서는 영상의 촬영 시간과 영상의 출력 시간이 동일해질 수 있다. In order to perform the stereo image photographing method according to an embodiment of the present invention, at least one of the
본 발명의 다른 실시예에 따르면, 동기화 신호 발생부에서는 동일한 동기화 신호를 발생시키고 동기화 신호 수신부(805, 815)에서 수신된 동기화 신호를 소정의 주기만큼 지연시켜 제2 카메라(810)에서는 제1 카메라(800)에서 프레임을 촬영하는 주기보다 반 프레임 주기만큼 뒤에 동일한 시간 정보를 가지는 프레임을 촬영할 수 있다. According to another embodiment of the present invention, the synchronization signal generating unit generates the same synchronization signal, delays the synchronization signal received by the synchronization
촬영 시간 정보는 프레임 별로 기록될 수 있지만, 스테레오 영상 데이터의 상위 헤더 정보 또는 메타 데이터로써 존재하여 제1 카메라와 제2 카메라에서 촬영된 영상의 시간 정보를 기록하고 영상 출력 장치에서 출력시 이러한 촬영 시간 정보를 활용할 수 있다.
The photographing time information may be recorded frame by frame, but time information of an image captured by the first camera and the second camera exists as upper header information or metadata of the stereo image data, and when the image output device outputs the photographing time information, Information can be utilized.
도 9는 본 발명의 일실시예에 따른 편광 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 9 is a conceptual diagram illustrating a stereoscopic image output apparatus of a polarization type according to an embodiment of the present invention.
도 9를 참조하면, 편광 방식 스테레오 영상 출력 장치는 촬영 정보 판단부(900), 프레임 매핑부(910), 영상 출력부(920)를 포함할 수 있다.Referring to FIG. 9, the polarization-based stereo image output apparatus may include a photographing
촬영 정보 판단부(900)는 수신된 스테레오 영상 데이터에서 촬영 시간 정보를 판단할 수 있다. 예를 들어, 촬영 정보 판단부는 스테레오 영상 데이터에 포함된 헤더 정보를 기초로 현재 입력되는 영상이 동시에 촬영된 영상인지 아니면, 시간차를 두고 촬영된 영상인지 여부를 판단할 수 있다. 또한 수신된 영상 데이터를 기초로 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 좌, 우 영상에서 짝이 되는 프레임이나 필드 간의 상대적인 촬영시간 정보를 판단할 수 있다. The shooting
프레임 매핑부(910)는 촬영 정보 판단부(900)에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 시간차를 두고 촬영하는 시간차 촬영 방식으로 생성된 것으로 판단되는 경우, 입력된 영상 중 촬영 시간이 동일한 프레임을 매핑하여 동시에 출력할 수 있다. 편광 방식의 스테레오 영상 출력 장치의 경우, 만약 촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 동시에 촬영하는 동시 촬영 방식으로 생성된 것으로 판단되는 경우, 스테레오 영상 출력 장치는 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다.If the
영상 출력부(920)는 입력된 스테레오 영상 데이터 및 촬영 정보 판단부(900)의 촬영 시간 정보를 기초로 스테레오 영상을 출력할 수 있다.
The
도 10은 본 발명의 일실시예에 따른 셔터 글라스 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 10 is a conceptual diagram illustrating a shutter-type stereoscopic image output apparatus according to an embodiment of the present invention.
셔터 글라스 방식의 스테레오 영상 출력 장치는 촬영 정보 판단부(1000), 움직임 보상 프레임 생성부(1010), 영상 출력부(1020)를 포함할 수 있다. The shutter glass type stereo image output apparatus may include a photographing
셔터 글라스 방식의 스테레오 영상 출력 장치에 포함된 촬영 정보 판단부(1000)과 영상 출력부(1020)의 기능은 도 9에서 개시한 편광 방식의 스테레오 영상 출력 장치에 포함된 촬영 정보 판단부와 영상 출력부와 동일하다. The functions of the photographing
움직임 보상 프레임 생성부(1010)는 촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 동시에 촬영하는 동시 촬영 방식으로 생성된 것으로 판단되는 경우, 스테레오 영상 출력 장치는 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함할 수 있다. When it is determined that the stereo image data input from the photographing information determination unit is generated by the simultaneous photographing method in which the first camera and the second camera simultaneously photograph the stereo image data, And a motion compensation frame generator for generating a motion compensated frame according to the imaging time information calculated by the motion compensation unit.
촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 시간차를 두고 촬영하는 시간차 촬영 방식으로 생성된 것으로 판단되는 경우, 입력된 영상을 그대로 출력할 수 있다.
When it is determined that the stereo image data input by the photographing information determination unit is generated by the time difference photographing method in which the first camera and the second camera photograph at a time difference, the input image can be output as it is.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (20)
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후, 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계; 및
상기 제1 출력 프레임과 상기 제2 출력 프레임을 스테레오 영상 출력 장치로 출력하는 단계를 포함하되,
상기 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 상기 제2 카메라는 상기 제2 출력 프레임의 제1 필드 영상을 생성하는 스테레오 영상 촬영 방법.Generating a first output frame with a first camera;
The first camera outputting the first output frame and the second output frame outputting the first output frame and the second output frame outputting the second output frame, ≪ / RTI > And
And outputting the first output frame and the second output frame to a stereo image output device,
Wherein when the first camera generates a second field image of the first output frame, the second camera generates a first field image of the second output frame.
상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기인 스테레오 영상 촬영 방법. The method according to claim 1,
Wherein the predetermined period is a half cycle of a period in which a frame is generated.
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계에서,
상기 제1 카메라와 상기 제2 카메라로 입력되는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 스테레오 영상 촬영 방법. The method according to claim 1,
The first camera outputting the first output frame and the first camera outputting the first output frame, the first camera outputting the first output frame, and the first camera outputting the first output frame, In the step of generating the second output frame,
Wherein the predetermined period is adjusted based on a synchronization signal input to the first camera and the second camera.
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계에서,
상기 제1 카메라의 촬영 시간 정보와 상기 제2 카메라의 촬영 시간 정보를 생성된 스테레오 영상의 메타데이터 또는 상위 헤더 정보에 기록하는 스테레오 영상 촬영 방법.The method according to claim 1,
The first camera outputting the first output frame and the first camera outputting the first output frame, the first camera outputting the first output frame, and the first camera outputting the first output frame, In the step of generating the second output frame,
And recording the shooting time information of the first camera and the shooting time information of the second camera in the generated metadata or upper header information of the stereo image.
스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계를 포함하는 스테레오 영상 출력 방법. Determining whether a stereoscopic image capturing method is a time difference capturing method or a simultaneous capturing method based on input stereo image data; And
And determining an output method of the input stereo image data according to an output method of the stereo image output device after determining an output method of the stereo image output device.
상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는,
영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 편광 방식인지 여부를 판단하는 스테레오 영상 출력 방법. The method according to claim 6,
Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
A stereo image output method for determining whether an output method of a video output device is a shutter glass method or a polarization method.
상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는,
상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력하는 스테레오 영상 출력 방법. The method according to claim 6,
Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
And outputting the input stereo image data as it is when the stereo image shooting method is a time difference shooting method and the output method of the video output device is a shutter glass method.
상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는,
상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터 중 동일한 촬영 시간에 해당하는 프레임 또는 필드를 매칭시켜 출력하는 스테레오 영상 출력 방법. The method according to claim 6,
Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
And outputting the stereo image data corresponding to the same photographing time of the input stereo image data when the outputting method of the image outputting device is a polarizing method.
상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는,
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력하는 스테레오 영상 출력 방법. The method according to claim 6,
Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
And outputting the input stereo image data as it is when the stereoscopic image capturing method is a simultaneous capturing method and the output method of the image output apparatus is a polarization method.
상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는,
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 하나의 영상에 움직임 보상을 수행하여 소정의 주기로 지연된 영상을 출력하는 스테레오 영상 출력 방법. The method according to claim 6,
Wherein the step of determining the output mode of the input stereo image data according to the output mode of the stereo image output device after determining the output mode of the stereo image output device comprises:
When the stereoscopic image capturing system is a simultaneous capturing system and the output method of the video output apparatus is a shutter glass system, motion compensation is performed on one of images captured by the first camera or the second camera, A stereo image output method for outputting an image.
상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기인 스테레오 영상 출력 방법. 13. The method of claim 12,
Wherein the predetermined period is a half cycle of a period in which a frame is generated.
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 제2 카메라를 포함하되,
상기 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 상기 제2 카메라는 상기 제2 출력 프레임의 제1 필드 영상을 생성하고, 그리고
상기 제1 출력 프레임과 상기 제2 출력 프레임은 스테레오 영상 출력 장치로 출력되는 시간차 스테레오 영상 촬영 장치.A first camera for generating a first output frame; And
The time taken by the second camera after a predetermined period after the first camera generates the first output frame is matched with the first output frame which is different from the photographing time of the first output frame by the predetermined period And a second camera for generating a second output frame,
When the first camera generates a second field image of the first output frame, the second camera generates a first field image of the second output frame, and
Wherein the first output frame and the second output frame are output to a stereo image output device.
상기 제1 카메라와 상기 제2 카메라는 상기 제1 카메라와 상기 제2 카메라로 입력되는 촬영 시간을 조절하는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 시간차 스테레오 영상 촬영 장치. 15. The method of claim 14,
Wherein the first camera and the second camera adjust the predetermined period based on a synchronization signal for adjusting a shooting time input to the first camera and the second camera.
동기화 신호를 생성하여 상기 제1 카메라와 상기 제2 카메라에 송신하는 동기화 신호 발생부를 더 포함하는 시간차 스테레오 영상 촬영 장치. 15. The method of claim 14,
And generating a synchronization signal to transmit the synchronization signal to the first camera and the second camera.
상기 동기화 신호 발생부는 상기 제1 카메라에 제1 동기화 신호를 입력하고, 상기 제2 카메라에 상기 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력하는 시간차 스테레오 영상 촬영 장치. 17. The method of claim 16,
Wherein the synchronization signal generator inputs a first synchronization signal to the first camera and inputs a second synchronization signal that is delayed by a predetermined period to the first synchronization signal to the second camera.
상기 촬영 정보 판단부에서 산출된 상기 촬영 시간 정보를 기초로 영상을 출력하는 영상 출력부를 포함하는 스테레오 영상 출력 장치.Determining a relative shooting time information between a first image photographed by the first camera and a second image photographed by the second camera on the basis of the received image data and comparing the photographed time information of the first image and the second image A photographing information determination unit for determining whether the photographing is performed by the time difference photographing mode or the simultaneous photographing mode; And
And a video output unit for outputting an image based on the photographing time information calculated by the photographing information determining unit.
상기 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 적어도 하나의 영상의 지연된 시간에 해당하는 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함하는 스테레오 영상 출력 장치.19. The method of claim 18,
And a motion compensation frame generation unit for generating a motion compensated frame corresponding to a delayed time of at least one of the images photographed by the first camera or the second camera in accordance with the imaging time information calculated by the imaging information determination unit Stereo video output device.
상기 촬영 정보 판단부에서 산출된 촬영 시간 정보를 기초로 제1 카메라에서 촬영된 프레임과 제2 카메라에서 촬영된 프레임을 매핑시키는 프레임 매핑부를 더 포함하는 스테레오 영상 출력 장치.19. The method of claim 18,
And a frame mapping unit for mapping a frame photographed by the first camera and a frame photographed by the second camera based on the photographed time information calculated by the photographed information determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130021096A KR20130021096A (en) | 2013-03-05 |
| KR101830768B1 true KR101830768B1 (en) | 2018-02-22 |
Family
ID=48174126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101830768B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102385333B1 (en) * | 2017-09-15 | 2022-04-12 | 삼성전자주식회사 | Electronic device and method for controlling a plurality of image sensors |
-
2011
- 2011-08-22 KR KR1020110083413A patent/KR101830768B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130021096A (en) | 2013-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5683025B2 (en) | Stereoscopic image capturing apparatus and stereoscopic image capturing method | |
| KR100991804B1 (en) | Stereoscopic Image Generation Chip For Mobile Equipment, and Method For Generating Stereoscopic Image Using The Same | |
| US7920176B2 (en) | Image generating apparatus and image regenerating apparatus | |
| WO2010122711A1 (en) | 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system | |
| WO2010078751A1 (en) | Stereoscopic imaging apparatus and method | |
| KR20140051112A (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
| JP3175101B2 (en) | 3D image display device | |
| JP2005020606A (en) | Digital camera | |
| TW201340686A (en) | Method and device for generating three-dimensional image | |
| KR101830768B1 (en) | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image | |
| JPH08223603A (en) | Method and equipment for displaying three-dimensional video picture | |
| JP2012138655A (en) | Image processing device and image processing method | |
| JP2012204859A (en) | Image processing device and camera module | |
| JPH11187425A (en) | Stereoscopic video system and method | |
| JP5863356B2 (en) | Stereo moving image imaging apparatus, imaging method, stereo moving image display apparatus, display method, and program | |
| TWI222318B (en) | 3-dimensional video recording/reproduction device | |
| JP2012088549A (en) | Stereoscopic image pickup device, stereoscopic image display device, and stereoscopic image pickup and display device | |
| KR100215436B1 (en) | Stereoscopic picture display apparatus | |
| JP2002344997A (en) | Edit method for stereoscopic video signal, and optical adaptor for a video camera for stereoscopic video photographing | |
| KR100868244B1 (en) | Method For Generating Stereoscopic Image Using The Mobile Equipment, And Chipset For Generating Stereoscopic Image Used In The Mobile Equipment | |
| KR20150090647A (en) | The synchronization optimization method of non-synchronized stereoscophic camera | |
| JPH07322300A (en) | Method and device for video signal conversion and stereoscopic video image observation device | |
| JPH0772384A (en) | Stereoscopic image pickup device and stereoscopic image recording and reproducing device | |
| KR20060121016A (en) | Apparatus for generating stereoscopic image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |