KR100304662B1 - System and method for generating stereo image using two-dimensional image sequence - Google Patents
System and method for generating stereo image using two-dimensional image sequence Download PDFInfo
- Publication number
- KR100304662B1 KR100304662B1 KR1019980001722A KR19980001722A KR100304662B1 KR 100304662 B1 KR100304662 B1 KR 100304662B1 KR 1019980001722 A KR1019980001722 A KR 1019980001722A KR 19980001722 A KR19980001722 A KR 19980001722A KR 100304662 B1 KR100304662 B1 KR 100304662B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- image
- motion
- current
- current block
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 입체 영상 처리에 관한 것으로서, 특히 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법에 관한 것이다.The present invention relates to stereoscopic image processing, and more particularly, to an apparatus and method for generating a stereoscopic image using a two-dimensional image sequence.
깊이감이 있는 입체 영상은 2차원 영상에 비하여 보다 더 많은 정보와 실감있는 영상을 보여준다. 이러한 입체 영상을 구현하는 다양한 방법들이 이용되고 있다. 대표적인 방법으로는 홀로그래피(holography) 기법과 스테레오 영상(stereo video) 기법을 들 수 있다. 홀로그래피 기법은 완전한 입체 시스템으로서 기대되고 있지만, 제작이 용이하지 않고 많은 데이타가 생기는 단점이 있으므로 현재까지는 입체 영상을 구현하는데 일반화되고 있지는 못하다. 이에 비해, 스테레오 영상 기법은 현재까지 제시된 입체 기술중에서 가장 구현이 용이하며 널리 알려진 기술로서, 두 눈의 양안 시차를 이용한다.Depth stereoscopic images show more information and realistic images than two-dimensional images. Various methods for implementing such stereoscopic images are used. Representative methods include holography and stereo video. Holography technique is expected as a complete stereoscopic system, but it is not easy to manufacture and has a lot of data, so it has not been generalized to realize stereoscopic image until now. In contrast, the stereo imaging technique is the easiest and most widely known stereoscopic technique to date, and uses binocular disparity of two eyes.
이러한 스테레오 영상 기법에 근거하여 스테레오 영상을 생성하는 시스템에는 스테레오 카메라를 사용하여 직접 스테레오 영상을 생성하는 시스템과, 2차원 영상 즉, 단안 영상으로부터 스테레오 영상을 생성하는 시스템이 있다.A system for generating a stereo image based on the stereo image technique includes a system for generating a stereo image directly using a stereo camera and a system for generating a stereo image from a 2D image, that is, a monocular image.
그러나, 스테레오 카메라를 사용하여 직접 스테레오 영상을 생성하는 시스템은 두 개의 카메라의 수평 위치를 정확히 일치시켜야 하는 어려움이 있다. 사람은 시각 구조상 수평 시차에서 깊이감을 얻기 때문에, 시차를 제외하고는 오른쪽 눈에 디스플레이되는 영상과 왼쪽 눈에 디스플레이되는 영상이 수평 위치에서 일치되어야 한다. 이를 위해서는 영상의 촬영시에 두 개의 카메라의 수평 위치를 정확하게 기계적으로 맞춰주어야 한다. 이러한 기술적인 어려움으로 많은 스테레오 영상 소프트웨어를 생성할 수 없다. 따라서 디스플레이 구현상의 편이성에도 불구하고 현재까지 일반화되기 어려운 문제점이 있다.However, a system for directly generating a stereo image using a stereo camera has a difficulty in exactly matching the horizontal positions of the two cameras. Since a person obtains a sense of depth in horizontal parallax due to the visual structure, the image displayed in the right eye and the image displayed in the left eye must coincide in the horizontal position except for parallax. To do this, the horizontal position of the two cameras must be precisely mechanically aligned when the image is taken. Due to this technical difficulty, it is not possible to generate a lot of stereo imaging software. Therefore, despite the convenience of the display implementation, it is difficult to generalize to date.
또한, 단안 비디오 카메라로 촬영된 단안 영상을 이용하여 스테레오 영상을 생성하는 시스템은 이미 디스플레이된 영상을 저장해두고, 일정 시간이 지난후에 다음 영상과 함께 디스플레이함으로써 간단한 방법으로 스테레오 효과를 얻는다. 그러나, 이 시스템 또한 영상내의 물체의 운동이 수직 성분을 가지고 있으면, 두개의 영상이 하나의 입체 영상으로 제대로 합성되지 못하여 눈의 피로를 초래하는 문제점이 있다.In addition, a system for generating a stereo image using a monocular image captured by a monocular video camera stores a previously displayed image and displays a stereo image with a next method after a predetermined time. However, this system also has a problem that if the motion of the object in the image has a vertical component, the two images are not properly synthesized into one stereoscopic image, causing eye fatigue.
본 발명이 이루고자하는 기술적 과제는, 연속되는 2차원 영상의 운동을 추정하여 새로운 영상을 생성하고, 원영상과 새로운 영상으로 이루어진 스테레오 영상을 생성함으로써, 스테레오 카메라를 이용할 경우에 발생되는 문제점을 해결하고, 단안 영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상을 생성하는, 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치를 제공하는데 있다.The technical problem to be solved by the present invention is to solve the problems caused when using a stereo camera by estimating the motion of a continuous two-dimensional image to generate a new image, and to generate a stereo image consisting of the original image and the new image, The present invention provides a stereo image generating apparatus using a two-dimensional image sequence that generates a natural stereo image even if a motion of an object in a monocular image has a vertical component.
본 발명이 이루고자하는 다른 기술적 과제는, 상기 스테레오 영상 생성장치가 수행하는 2차원 영상 시퀀스를 이용한 스테레오 영상 생성방법을 제공하는데 있다.Another object of the present invention is to provide a stereo image generating method using a 2D image sequence performed by the stereo image generating apparatus.
도 1은 본 발명에 의한 스테레오 영상 생성장치의 블럭도이다.1 is a block diagram of a stereo image generating apparatus according to the present invention.
도 2 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면이다.2 (a) and 2 (b) are diagrams conceptually showing the principle of binocular parallax.
도 3은 본 발명에 의한 스테레오 영상 생성방법을 설명하기 위한 플로우챠트이다.3 is a flowchart illustrating a stereo image generation method according to the present invention.
도 4는 블럭별 운동 추정을 위해 사용되는 블럭 정합 방법의 개념도이다.4 is a conceptual diagram of a block matching method used for block-by-block motion estimation.
도 5 (a) 및 (b)는 추정된 운동의 정규화 과정에서 인접한 블럭들에 가중치를 적용한 예들을 나타내는 도면이다.5 (a) and (b) are diagrams showing examples of applying weights to adjacent blocks in the normalization process of the estimated motion.
도 6 (a)~(c)는 본 발명에 따른 시뮬레이션 결과들을 나타내는 도면이다.6 (a) to (c) are diagrams showing simulation results according to the present invention.
상기 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 스테레오 영상을 생성하는 본 발명에 의한 스테레오 영상 생성장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 해당 블럭으로부터의 운동을 추정하는 블럭 운동 추정부, 각 블럭에서 추정된 운동을 주변 블럭들의 운동과 상관성을 가지도록 정규화하는 운동 정규화부, 정규화된 운동의 크기를 이용하여 각 블럭을 현재 영상에 대응한 새로운 영상에 수평 방향으로 매핑하는 블럭 매핑부 및 현재 영상과 새로운 영상으로 이루어진 스테레오 영상을 디스플레이하는 디스플레이부로 구성되는 것이 바람직하다.In order to achieve the above object, the stereo image generating apparatus according to the present invention for generating a stereo image by using a continuous two-dimensional image, for each block of the current image divided into blocks of a predetermined size corresponding block of the previous image frame A block motion estimator for estimating the motion from the block, a motion normalizer for normalizing the motion estimated at each block to correlate with the motion of the neighboring blocks, and a new block corresponding to the current image. It is preferable to include a block mapping unit for mapping the image in the horizontal direction and a display unit for displaying a stereo image consisting of the current image and the new image.
상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 스테레오 영상을 생성하는 본 발명에 의한 스테레오 영상 생성방법은, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임의 해당 블럭으로부터의 운동을 추정하는 단계, (c) 각 블럭에서 추정된 운동을 주변 블럭들의 운동과 상관성을 가지도록 정규화하는 단계, (d) 정규화된 운동의 크기에 따라 각 블럭을 현재 영상에 대응한 새로운 영상에 수평 방향으로 매핑하는 단계 및 (e) 현재 영상과 새로운 영상으로 이루어진 스테레오 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.In order to achieve the above object, a stereo image generation method according to the present invention for generating a stereo image using a continuous two-dimensional image, (a) dividing the input current image by a block unit of a predetermined size, (b Estimating the motion from the corresponding block of the previous image frame for each block of the current image, (c) normalizing the motion estimated at each block to correlate with the motion of the neighboring blocks, and (d) normalized According to the size of the motion, it is preferable that each block is mapped to a new image corresponding to the current image in a horizontal direction, and (e) displaying a stereo image composed of the current image and the new image.
이하, 본 발명에 의한 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.Hereinafter, the configuration and operation of a stereoscopic image generating apparatus using a two-dimensional image sequence according to the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 의한 스테레오 영상 생성장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(102), 영상 블럭부(104), 프레임 저장부(106), 블럭 운동 추정부(108), 운동 정규화부(110), 블럭 매핑부(112), 보간부(114), 후처리부(116), 좌/우측 영상 결정기(118), 제1 및 제2 디지탈-아날로그 변환기(DAC)(120 및 122)로 구성된다.1 is a block diagram of a stereo image generating apparatus according to the present invention, which includes an analog-to-digital converter (ADC) 102, an image block unit 104, a frame storage unit 106, a block motion estimation unit 108, and a motion. Normalization unit 110, block mapping unit 112, interpolation unit 114, post-processing unit 116, left / right image determiner 118, first and second digital-to-analog converters (DACs) 120 and 122 It is composed of
본 발명에 의한 스테레오 영상 생성장치는 단안 비디오 카메라로 촬영된 2차원 영상 시퀀스에서 연속되는 두 영상간의 운동을 추정하고, 원영상으로부터 운동의 크기에 따라 수평 방향으로 매핑된 새로운 영상을 생성함으로써, 원영상과 새로운 영상으로 이루어진 스테레오 영상을 생성한다.The stereo image generating apparatus according to the present invention estimates the motion between two consecutive images in a two-dimensional image sequence photographed by a monocular video camera, and generates a new image mapped in the horizontal direction according to the size of the motion from the original image. Create a stereo image consisting of a video and a new video.
도 1을 참조하면, 아날로그-디지탈 변환기(102)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(104)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 8 또는 16인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 서로 다른 크기와 방향의 운동을 포함할 수 있기 때문이다. 프레임 저장부(106)는 영상 블럭부(104)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.Referring to FIG. 1, the analog-to-digital converter 102 inputs a continuous two-dimensional image captured by a monocular video camera through an input terminal IN, and converts an analog two-dimensional image signal into a digital signal. The image block unit 104 divides the current image converted into a digital signal into block units of a predetermined size. Here, the predetermined size is n × n pixel size, where n is preferably 8 or 16. As such, the reason for blocking the image is that motions of different sizes and directions may be included in the image. The frame storage unit 106 stores a previous image frame of the current image blocked by the image block unit 104.
블럭 운동 추정부(108)는 영상 블럭부(104)로부터 블럭화된 현재 영상을 입력하고, 프레임 저장부(106)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(108)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 해당 탐색 영역으로부터의 운동을 추정한다.The block motion estimation unit 108 inputs the current image blocked from the image block unit 104 and inputs a previous image frame from the frame storage unit 106. The block motion estimation unit 108 estimates the motion from the corresponding search region of the previous image frame for each block of the current image divided into blocks of a predetermined size.
연속되는 두 영상간의 운동을 추정하기 위해서 본 발명에서는 구현의 편이성을 위해 블럭 정합 방법을 사용하였다. 이 방법에 따라, 블럭 운동 추정부(108)는 입력된 현재 블럭과 동일한 중심 위치를 가지며, 현재 블럭보다 큰 제2 블럭과, 이전 프레임에서의 탐색 영역을 추출하고, 탐색 영역에서 제2 블럭과 유사한 블럭을 검출하고, 유사한 블럭과 현재 블럭과의 중심 위치간의 차를 현재 블럭에 대한 운동으로서 추정한다. 여기서, 제2 블럭은 적어도 현재 블럭을 에워싸는 정도의 크기를 가지며, 탐색 영역은 적어도 현재 블럭의 두배보다 커야 한다. 블럭 정합 방법은 탐색 영역의 제한과 블럭내의 화소값의 유사성을 이용하므로 추정된 운동이 영상내의 물체의 실제 운동과 동일하지 않을 수 있지만, 구현이 쉽고 다른 방법에 비해 모든 화소에 대한 운동 벡터를 준다는 장점이 있다.In order to estimate the motion between two consecutive images, the present invention uses a block matching method for ease of implementation. According to this method, the block motion estimation unit 108 has the same center position as the input current block, extracts the second block larger than the current block, the search area in the previous frame, and extracts the second block from the search area. Similar blocks are detected and the difference between the center position of the similar block and the current block is estimated as the motion for the current block. Here, the second block has at least a size that surrounds the current block, and the search area must be at least twice as large as the current block. The block matching method uses the limitation of the search area and the similarity of the pixel values in the block, so the estimated motion may not be the same as the actual motion of the object in the image. There is an advantage.
운동 정규화부(110)는 블럭 운동 추정부(108)에서 각 블럭의 운동이 추정된 현재 영상을 입력하여, 각 블럭에서 추정된 운동을 다른 주변 블럭들의 운동과 상관성을 가지도록 정규화한다.The motion normalization unit 110 inputs a current image in which the motion of each block is estimated by the block motion estimation unit 108, and normalizes the motion estimated in each block to correlate with the motion of other neighboring blocks.
전술한 블럭 정합 방법은 탐색 영역을 한정하여 두 블럭간의 화소의 유사성을 비교하므로 영상내의 물체의 실제 운동과 다른 결과가 나올 수도 있다. 이를 보완하기 위해서는 필터링이 필요하다. 운동 정규화부(110)는 블럭 운동 추정부(108)에서 추정된 현재 블럭의 운동의 크기와, 현재 블럭에 인접한 블럭들의 운동의 크기를 가중 평균하여 계산한 값을 현재 블럭의 운동의 크기로서 대치함으로써 각 블럭의 운동의 크기를 필터링한다. 여기서, 인접한 블럭들 각각에 대해, 현재 블럭과의 운동 크기에 대한 유사성 및 현재 블럭으로부터의 거리에 비례하여 가중치가 설정되는 것이 바람직하다. 또한, 이후에 설명될 블럭 매핑부(112)에서 각 블럭이 수평 방향으로 매핑되는 것을 고려하면, 현재 블럭에 수직 방향으로 인접한 블럭에 대해 수평 방향으로 인접한 블럭보다 더 큰 가중치가 설정되는 더욱 바람직하다.Since the above-described block matching method compares the similarity of pixels between two blocks by defining a search area, a result different from the actual motion of an object in an image may be obtained. To compensate for this, filtering is required. The motion normalization unit 110 replaces the value calculated by weighted average of the motion size of the current block estimated by the block motion estimation unit 108 and the motion size of blocks adjacent to the current block as the magnitude of the motion of the current block. Thereby filtering the magnitude of the motion of each block. Here, for each of the adjacent blocks, a weight is preferably set in proportion to the similarity to the motion size with the current block and the distance from the current block. Further, considering that each block is mapped in the horizontal direction in the block mapping unit 112, which will be described later, it is more preferable that a larger weight is set for a block adjacent to the current block in the vertical direction than the block adjacent in the horizontal direction. .
블럭 매핑부(112)는 운동 정규화부(110)에서 각 블럭에 대해 정규화된 운동의 크기를 갖는 현재 영상을 입력한다. 블럭 매핑부(112)는 정규화된 운동의 크기를 이용하여 각 블럭을 현재 영상에 대응한 새로운 영상에 수평 방향으로 매핑한다.The block mapping unit 112 inputs the current image having the size of the normalized motion for each block in the motion normalization unit 110. The block mapping unit 112 maps each block in a horizontal direction to a new image corresponding to the current image by using the normalized motion magnitude.
전술한 운동 정규화부(110)에서 정규화된 운동의 크기는 영상내 물체의 운동 시차로 간주된다. 사람은 수평 방향으로 시차가 있는 두 점을 통해 입체감을 느끼게 되므로, 본 발명은 운동 시차를 양안 시차로 변환시켜 줌으로써 스테레오 영상을 생성한다. 운동 시차를 양안 시차로 변환시키기 위해서, 블럭 매핑부(112)는 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 운동의 크기만큼 우측 수평 방향으로 매핑하여 새로운 영상을 생성한다. 또는 모든 블럭의 위치를 각 블럭의 운동의 크기만큼 좌측 수평 방향으로 매핑하여 새로운 영상을 생성한다. 이후에 상세히 설명될 것으로서, 새로운 영상은 현재 영상과 한 쌍을 이루어 스테레오 영상을 생성한다.The magnitude of the motion normalized in the above-described motion normalization unit 110 is regarded as the motion parallax of the object in the image. Since a person feels a three-dimensional feeling through two points with parallax in the horizontal direction, the present invention generates a stereo image by converting motion parallax into binocular parallax. In order to convert the motion parallax into binocular parallax, the block mapping unit 112 generates a new image by mapping the positions of all blocks in the current image to the right horizontal direction by the magnitude of the motion of each block. Alternatively, a new image is generated by mapping the positions of all blocks in the horizontal direction to the left by the amount of motion of each block. As will be described in detail later, the new image is paired with the current image to generate a stereo image.
보간부(114)는 블럭 매핑부(112)에서 생성된 새로운 영상을 입력하고, 새로운 영상에서 현재 영상의 각 블럭에 의해 매핑되지 않은 영역을 보간한다. 즉, 현재 영상의 각 블럭에 대한 운동 시차를 이용하여 새로운 영상을 생성할 때, 현재 영상은 블럭 단위로 다른 운동 시차를 가질 수 있으므로, 이웃한 두 블럭간의 운동 시차가 다르면 이를 이용하여 생성되는 새로운 영상에서 채워지지 않는 공간이 생기게 된다. 이를 그대로 두면 스테레오 영상의 화질을 저하시키게 되므로, 보간부(114)는 각 블럭에 의해 채워진 화소들을 이용하여 채워지지 않은 화소들을 보간한다.The interpolator 114 inputs a new image generated by the block mapping unit 112 and interpolates an area not mapped by each block of the current image in the new image. That is, when a new image is generated by using the motion parallax for each block of the current image, the current image may have different motion parallaxes in units of blocks. There is an unfilled space in the image. If it is left as it is, the image quality of the stereo image is degraded, so the interpolator 114 interpolates the unfilled pixels using the pixels filled by each block.
후처리부(116)는 보간부(114)와 더불어 새로운 영상의 질을 좋게 하기 위해서 소정의 후처리를 수행한다. 전술한 블럭 정합 방법에 따른 운동의 추정과 새로운 영상의 생성시에, 생성된 새로운 영상내에 블럭이 보이거나, 에지 영역에서 화질이 저하될 수 있다. 이를 보완하기 위해서 소정의 후처리, 예컨대 메디안 필터를 이용한 필터링등을 수행한다.The post-processing unit 116 performs the predetermined post-processing together with the interpolation unit 114 to improve the quality of the new image. In the estimation of motion and generation of a new image according to the above-described block matching method, blocks may be seen in the generated new image, or image quality may be degraded in the edge region. To compensate for this, predetermined post-processing, for example, filtering using a median filter, is performed.
디스플레이부에 해당하는 좌/우측 영상 결정부(118)는 후처리부(116)로부터 새로운 영상을 입력하고, 아날로그-디지탈 변환기(102)로부터 현재 영상을 입력하여, 현재 영상과 새로운 영상으로 이루어진 스테레오 영상을 디스플레이한다. 이때, 좌/우측 영상 결정부(118)는 현재 영상과 새로운 영상중에서 하나를 좌측 영상신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(120 및 122)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에 디스플레이되고, 우측 영상신호는 사람의 우측 눈에 디스플레이된다.The left / right image determination unit 118 corresponding to the display unit inputs a new image from the post-processing unit 116 and inputs a current image from the analog-to-digital converter 102, thereby forming a stereo image composed of the current image and the new image. Is displayed. At this time, the left / right image determination unit 118 outputs one of the current image and the new image as the left image signal, and outputs the other as the right image signal. These signals are converted into analog video signals through the first and second digital-to-analog converters 120 and 122, respectively, and displayed through the output terminals OUT1 and OUT2. The left video signal is displayed in the left eye of a person, and the right video is displayed. The signal is displayed in the human right eye.
기본적으로, 좌/우측 영상 결정부(118)는 양안 시차중에서도 양의 시차에 근거하여 현재 영상을 좌측 눈에, 새로운 영상을 우측 눈에 디플레이한다. 이러한 디스플레이 방식은 제한되지 않으며, 운동 시차를 양안 시차로 변환시키기 위해 새로운 영상을 생성할 시에 매핑 방법과, 깊이감을 주고자 하는 방향이 음인가 양인가에 따라 달라질 수 있다. 그러나, 입체감을 크게 하기 위해 음의 시차를 많이 주게 되면, 사람이 눈의 피로를 느끼게 되므로 음의 시차의 영상을 장시간동안 디스플레이하기는 힘들다. 따라서, 본 발명에는 양의 시차로 디스플레이하는 것을 기본으로 한다.Basically, the left / right image determination unit 118 deplays the current image to the left eye and the new image to the right eye based on the positive parallax even during binocular disparity. Such a display method is not limited and may vary depending on a mapping method and a direction to give a sense of depth when a new image is generated to convert motion parallax to binocular parallax. However, when a large amount of negative parallax is given to increase the three-dimensional effect, it is difficult to display an image of the negative parallax for a long time because a person feels tired eyes. Therefore, the present invention is based on displaying with a positive parallax.
전술한 바와 같이 본 발명은 양안 시차를 이용한 스테레오 기술에 속한다. 여기서, 본 발명의 이해를 돕기 위해 양안 시차의 원리를 간략하게 설명한다.As described above, the present invention belongs to a stereo technology using binocular parallax. Here, the principle of binocular parallax will be briefly described to help the understanding of the present invention.
도 2 (a) 및 (b)는 양안 시차의 원리를 개념적으로 나타내는 도면으로서, 도 2 (a)는 양의 시차를, 도 2 (b)는 음의 시차를 각각 나타낸다. 도 2 (a) 및 (b)에서, 화면상에 두 영상 즉, 원영상과 새로운 영상을 디스플레이하면 각각의 영상은 사람의 우측 눈과 좌측 눈에 비춰지게 된다. 화면상에 두 영상의 대응점인 a와 a'는 두 눈의 위치인 b와 b'에 대응하지만, 사람은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 된다. 즉, 이때 사람이 화면상에 물체가 있다고 실제로 인식하는 위치는 도 2 (a) 및 (b)에서 P의 위치이다. 점 P의 위치는 삼각형 △Paa'와 △Pbb'가 닮은꼴이므로, 비례식에 의해 쉽게 구할 수 있다.2 (a) and 2 (b) conceptually illustrate the principle of binocular disparity, in which Fig. 2 (a) shows positive parallax and Fig. 2 (b) shows negative parallax, respectively. 2 (a) and 2 (b), when two images, ie, the original image and the new image, are displayed on the screen, each image is displayed on the right and left eyes of the person. The correspondence points a and a 'of the two images on the screen correspond to the positions b and b' of the two eyes, but the person perceives that the correspondence points of the two images are at the point P. That is, the position where a person actually recognizes that there is an object on the screen is the position of P in FIGS. 2 (a) and 2 (b). The position of the point P is similar in shape to the triangles ΔPaa 'and ΔPbb', and can be easily obtained by a proportional expression.
따라서, 시차가 있는 두 영상 즉, 원영상과 새로운 영상으로 이루어진 스테레오 영상을 화면상에 디스플레이하면, 사람은 깊이감을 인식할 수 있다. 도 2 (a)와 같은 양의 시차의 경우에, 사람은 점 P의 위치가 화면 뒤에 있는 것으로 인식하며, 도 2 (b)와 같은 음의 시차의 경우에, 사람은 점 P의 위치가 화면 앞에 있는 것으로 인식하게 된다.Therefore, when a stereo image consisting of two parallax images, that is, an original image and a new image is displayed on the screen, a person can recognize a sense of depth. In the case of positive parallax as shown in FIG. 2 (a), the person perceives that the position of the point P is behind the screen, and in the case of negative parallax as shown in FIG. It is perceived as being ahead.
본 발명에서 생성된 새로운 영상은 원영상의 운동 시차를 양안 시차로 변환시키기 위해 원영상으로부터 운동 시차만큼 수평 방향으로 매핑된 영상이다. 따라서, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상이 생성된다.The new image generated in the present invention is an image mapped in the horizontal direction by the motion parallax from the original image to convert the motion parallax of the original image into binocular parallax. Therefore, even if the motion of the object in the original image has a vertical component, a natural stereo image is generated.
도 3은 본 발명에 의한 스테레오 영상 생성방법을 설명하기 위한 플로우챠트이다. 도 2를 참조하여 도 1에 도시된 장치가 수행하는 본 발명에 의한 스테레오 영상 생성방법을 설명한다.3 is a flowchart illustrating a stereo image generation method according to the present invention. A method for generating a stereo image according to the present invention performed by the apparatus shown in FIG. 1 will be described with reference to FIG. 2.
먼저, 연속되는 2차원 영상에서 입력된 현재 영상은 소정 크기의 블럭 단위로 분할된다(제302단계). 다음에, 현재 영상의 각 블럭에 대해 이전 영상 프레임의 해당 블럭으로부터의 운동을 추정한다(제304단계).First, the current image input from the continuous two-dimensional image is divided into block units of a predetermined size (step 302). Next, for each block of the current video, the motion from the corresponding block of the previous video frame is estimated (step 304).
제304단계에서, 연속되는 두 영상간의 운동을 추정하기 위해 블럭 정합 방법을 사용한다. 이 방법에 따라, 먼저, 블럭 운동을 추정할 현재 블럭과 동일한 중심 위치를 가지며 현재 블럭보다 큰 제2 블럭을 현재 영상에서 추출한다. 다음에, 이전 프레임에서 탐색 영역을 추출한다. 탐색 영역에서 제2 블럭과 유사한 블럭을 검출하고, 유사한 블럭과 현재 블럭과의 중심 위치간의 차를 계산한다. 여기서, 계산된 차는 현재 블럭에 대한 운동으로서 추정되며, 제2 블럭은 적어도 현재 블럭을 에워싸는 정도의 크기를 가지며, 탐색 영역은 적어도 블럭의 두배보다 커야한다.In step 304, a block matching method is used to estimate motion between two consecutive images. According to this method, first, a second block having the same center position as the current block to estimate the block motion and larger than the current block is extracted from the current image. Next, the search area is extracted from the previous frame. A block similar to the second block is detected in the search area, and the difference between the center position of the similar block and the current block is calculated. Here, the calculated difference is estimated as a motion with respect to the current block, the second block has a size that at least encloses the current block, and the search area must be at least twice as large as the block.
도 4는 블럭별 운동 추정을 위해 사용되는 블럭 정합 방법의 개념도이다.4 is a conceptual diagram of a block matching method used for block-by-block motion estimation.
도 4를 참조하여, 본 발명에서 사용된 블럭 정합 방법을 상세히 설명한다.4, the block matching method used in the present invention will be described in detail.
먼저, 연속되는 2차원 영상, 예컨대, N1×N2크기의 영상의 k번째 영상에서 각 블럭의 크기는 n1×n2(여기서,n1> 0, n2> 0인 정수)로 하며, 이 블럭의 크기를 에워싸는 더 큰 블럭은 매크로 블럭이라 하고, 그 크기는 2n1×2n2 로 한다. 본 발명에서는 다음과 같은 방법으로 블럭 정합 방법을 사용하였다.First, in a k-th image of a continuous two-dimensional image, for example, N1 × N2 size, the size of each block is n1 × n2 (where n1> 0 and n2> 0), and the size of this block is The larger block enclosed is called a macro block, and its size is 2n1 × 2n2. In the present invention, the block matching method is used as follows.
1. k번째 영상(402)에서 (a,b) = (n1/2,n2/2)를 중심으로 하는 블럭 B를 얻는다.1. In the k-th image 402, a block B centered on (a, b) = (n 1/2, n 2/2) is obtained.
2. k번째 영상(402)에서 블럭 B와 동일한 중심 위치를 가지며 블럭 B보다 큰 매크로 블럭 M(미도시)을 추출한다.2. In the k-th image 402, a macro block M (not shown) having the same center position as that of the block B and larger than the block B is extracted.
3. k-1번째 영상(404)에서 (a,b)를 중심으로 하는 탐색 영역 W을 추출한다. 여기서, 탐색 영역의 크기는 w1×w2 이며 w1 > 2n1, w2 > 2n2 이다.3. From the k-1th image 404, a search area W centered on (a, b) is extracted. Here, the size of the search area is w1 × w2 and w1> 2n1 and w2> 2n2.
4. 탐색 영역 W에서 (n1/2,n2/2)을 중심으로 하는 매크로 블럭 M'(미도시)를 추출한다.4. The macro block M '(not shown) centering on (n 1/2 and n 2/2) is extracted from the search region W. FIG.
5. 블럭 M와 M'사이의 최소 평균 절대차(MAD:Mean Absolute Difference)를 구한다. 여기서, 최소 평균 절대차는 블럭 M의 평균 화소값과 블럭 M'의 평균 화소값의 차를 나타낸다.5. Obtain the minimum mean absolute difference (MAD) between blocks M and M '. Here, the minimum average absolute difference represents the difference between the average pixel value of the block M and the average pixel value of the block M '.
6. MAD를 이전 MAD와 비교하여 작으면 이때의 MAD를 새로운 MAD로 하고, 탐색 영역에서 이때의 매크로 블럭 M'의 중심 위치를 (r,c)로 저장한다. 만약, 매크로 블럭 M'의 중심 위치가 (n1/2,n2/2)이면, 이 때의 MAD를 초기 MAD로 한다.6. If the MAD is smaller than the previous MAD, the MAD is set as a new MAD, and the center position of the macro block M 'at the search area is stored as (r, c). If the center position of the macroblock M 'is (n1 / 2, n2 / 2), then the MAD at this time is used as the initial MAD.
7. 탐색 영역 W에서 매크로 블럭 M'를 행을 따라 사전에 정해진 오프셋(offset > 0)만큼 수평방향으로 이동시킨다.7. In the search area W, move the macroblock M 'horizontally along a row by a predetermined offset (offset> 0).
8. 이동한 매크로 블럭 M'가 탐색 영역 W를 벗어나면 단계 9로 진행하고, 벗어나지 않으면 단계 5으로 진행한다.8. If the moved macroblock M 'leaves the search area W, go to step 9; otherwise, go to step 5.
9. 매크로 블럭 M'를 탐색 영역 W내에서의 새 위치 (a,b)=(a+offset,n2/2)로 이동시키고, 매크로 블럭 M'가 탐색 영역 W를 벗어나면 단계 10으로 진행하고, 벗어나지 않으면 단계 5로 진행한다.9. Move macro block M 'to a new position (a, b) = (a + offset, n2 / 2) in search area W, proceed to step 10 if macro block M' leaves search area W. If no, go to Step 5.
10. 단계 6에서 최종적으로 저장된 (r,c)로부터 블럭 B의 운동 (u,v) = (a-r,b-c)을 구하고, 단계 11로 진행한다.10. Obtain the motion (u, v) = (a-r, b-c) of the block B from the last stored (r, c) in step 6, and proceed to step 11.
11. 블럭 B를 수평 방향으로 블럭의 크기만큼 이동하여 (a,b)=(a,b+n1)를 중심으로 한다. 만약 블럭 B가 k번째 영상의 영역을 벗어나면 단계 12로 진행하고, 그렇지 않으면 단계 2로 진행한다.11. Move block B in the horizontal direction by the size of the block, centering on (a, b) = (a, b + n1). If block B is out of the area of the k-th image, the process proceeds to step 12; otherwise, the process proceeds to step 2.
12. 블럭 B를 수직 방향으로 블럭의 크기만큼 이동하여 (a,b)=(a+n1, b)를 중심으로 한다. 만약 블럭 B가 k번째 영상의 영역을 벗어나면 모든 블럭에 대한 블럭 정합을 수행하였으므로 종료하고, 그렇지 않으면 단계 2로 진행한다.12. Move Block B in the vertical direction by the size of the block, centering on (a, b) = (a + n1, b). If block B is out of the region of the k-th image, block matching is performed for all blocks, and the process ends otherwise.
전술한 과정중에서 실제 블럭 정합은 원영상의 블럭을 대신하여, 제2 블럭에 해당하는 매크로 블럭을 이용하고, 이로부터 얻어진 운동을 원영상의 블럭의 운동으로 하였다. 그 이유는 원영상의 블럭을 그대로 사용할 경우에, 다음과 같은 단점이 있기 때문이다. 첫째, 블럭이 작을 수록 영상내의 물체의 실제 운동과는 다른 결과를 가져올 수 있다. 두번째, 이웃하는 블럭간에는 운동의 상관성이 있을 확률이 크지만, 블럭 정합의 결과는 그렇지 않을 수 있다.In the above-described process, the actual block matching uses a macro block corresponding to the second block instead of the block of the original image, and the motion obtained therefrom is used as the motion of the block of the original image. This is because the following disadvantages exist when the block of the original image is used as it is. First, the smaller the block, the different the actual motion of the object in the image. Second, there is a high probability of motion correlation between neighboring blocks, but the result of block matching may not.
따라서, 이러한 단점을 해결하기 위해서 본 발명은 블럭 정합 방법으로 운동을 추정하는데 있어 제2 블럭인 매크로 블럭을 이용한다. 이에 따라, 다음과 같은 장점을 가져온다. 첫째, 현재 영상과 이전 영상사이에 비교하는 블럭의 크기가 커지면, 블럭내의 특이점을 가질 확률이 커지므로 영상내의 물체의 실제 운동과 상대적으로 근접해진다. 두번째, 매크로 블럭간에 겹치는 부분이 생기게 되므로, 이웃하는 블럭은 각기 추정된 운동간에 높은 상관성을 보장한다. 이에 따라, 새로운 영상을 생성할 시에, 영상이 깨지는 것을 방지한다.Therefore, in order to solve this disadvantage, the present invention uses a macro block, which is the second block, in estimating motion by the block matching method. This brings the following advantages. First, as the size of the block to be compared between the current image and the previous image increases, the probability of having a singularity in the block increases, which is relatively close to the actual motion of the object in the image. Second, since there is an overlap between macroblocks, neighboring blocks ensure high correlation between their estimated motions. Accordingly, when creating a new image, the image is prevented from being broken.
다시, 도 3을 참조하면 제304단계 후에, 현재 영상의 각 블럭에서 추정된 운동을 주변 블럭들의 운동과 상관성을 가지도록 정규화한다(제306단계).Referring back to FIG. 3, after step 304, the motion estimated in each block of the current image is normalized to correlate with the motion of neighboring blocks (step 306).
제304단계에서 추정된 각 블럭의 운동은 주변 블럭들의 운동과는 다른 운동을 가질 수 있다. 이를 그대로 두면, 새로운 영상을 생성할 시에 영상의 질이 저하될 수 있다. 이를 방지하기 위해서 각 블럭의 운동이 주변 블럭들의 운동과 많이 다른 경우에 추정된 각 블럭의 운동을 정규화한다. 이러한 정규화는 다음의 가정을 전제로 한다. 첫째, 영상에서 임의의 화소 위치 (a,b)에서의 블럭의 운동과 인접한 블럭들과의 상관성은 블럭들간의 거리가 가까울 수록 크다. 두번째, 현재 블럭의 운동과 유사한 운동일 수록 상관성이 크다.The motion of each block estimated in step 304 may have a motion different from that of neighboring blocks. If this is left as it is, the quality of the image may be reduced when generating a new image. To prevent this, the motion of each block is normalized when the motion of each block is very different from that of neighboring blocks. This normalization is based on the following assumptions. First, the correlation between the motion of a block at an arbitrary pixel position (a, b) and adjacent blocks in the image is larger as the distance between the blocks is closer. Second, the more similar the motion of the current block, the greater the correlation.
이러한 가정하에서 각 블럭의 운동을 정규화하는 한 방법으로서, 먼저, 정규화할 현재 블럭에 인접한 블럭들 각각에 대해, 현재 블럭과의 운동 크기에 대한 유사성 및 현재 블럭으로부터의 거리에 비례하여 가중치를 설정한다. 다음에, 현재 블럭과 인접한 블럭들을 가중 평균한다. 가중 평균한 값을 현재 블럭의 운동의 크기로서 대치한다.As a method of normalizing the motion of each block under this assumption, first, for each of the blocks adjacent to the current block to be normalized, weights are set in proportion to the similarity to the motion size with the current block and the distance from the current block. . Next, the weighted average of blocks adjacent to the current block is obtained. The weighted average is replaced by the magnitude of the motion of the current block.
다음 수학식 1은 전술한 방법에 의해 현재 블럭의 운동의 크기를 계산하는 식을 나타낸다.Equation 1 shows an equation for calculating the magnitude of the motion of the current block by the above-described method.
다음 수학식 2는 구현의 편의를 위해 간단하게 현재 블럭의 운동의 크기를 계산하는 식을 나타낸다.Equation 2 shows an equation for simply calculating the magnitude of the motion of the current block for ease of implementation.
수학식 1 및 2에서, 운동 크기순으로 정렬된 n×n(n>0)개의 상기 인접한 블럭들중에서 소정수인 s개의 블럭들을 제외한 블럭들의 운동 크기 집합을 {t1,t2,...,tn×n-s}로 나타낼 경우에, t는 상기 현재 블럭의 운동 크기를, ti는 상기 집합에 속하는 임의의 블럭의 크기를, (ai,bi)는 상기 ti를 갖는 블럭의 영상내에서의 위치를 각각 나타낸다.In equations (1) and (2), a motion size set of blocks except for a predetermined number of s blocks among the n × n (n> 0) blocks adjacent to each other in order of motion magnitude is represented by {t 1 , t 2 , .. , t n × ns }, t is the motion size of the current block, t i is the size of any block belonging to the set, and (a i , b i ) is the block with t i Each position in the image is shown.
그러나, 실제로 각 블럭의 운동을 정규화하는 전술한 방법을 그대로 적용하지 않고, 수직 방향으로 인접한 블럭들에 대해 보다 많은 가중치를 두게 한다. 즉, 각 블럭의 운동을 정규화하는 다른 방법으로서, 먼저, 정규화할 현재 블럭에 인접한 블럭들 각각에 대해, 현재 블럭과의 운동 크기에 대한 유사성 및 현재 블럭으로부터의 거리에 비례하여 가중치를 설정한다. 다음에, 현재 블럭에 수직 방향으로 인접한 블럭이면 수평 방향으로 인접한 블럭보다 더 큰 가중치를 설정한다. 다음에, 현재 블럭과 인접한 블럭들을 가중 평균한다. 가중 평균한 값을 현재 블럭의 운동의 크기로서 대치한다.However, in practice, the above-described method of normalizing the motion of each block is not applied as it is, and more weight is placed on adjacent blocks in the vertical direction. That is, as another method of normalizing the motion of each block, first, for each of the blocks adjacent to the current block to be normalized, weights are set in proportion to the similarity to the motion size with the current block and the distance from the current block. Next, if the block is vertically adjacent to the current block, a weight greater than that in the horizontal direction is set. Next, the weighted average of blocks adjacent to the current block is obtained. The weighted average is replaced by the magnitude of the motion of the current block.
이와 같이, 가중치를 수직 방향으로 더 주는 이유는 이후 단계에서 각 블럭이 새로운 영상에 수평 방향으로 매핑될 것을 고려하기 때문이다. 즉, 각 블럭이 수평 방향으로 매핑될 때, 위와 아래로 인접한 블럭들과 운동의 크기가 다르면, 새로운 영상의 화질이 크게 저하될 수 있다. 특히, 각 블럭의 수직 에지 부근에서 영상이 많이 깨지게 된다. 따라서, 수직 방향으로 인접한 블럭들에 보다 많은 가중치를 줄 필요가 있다.In this way, the weight is further given in the vertical direction because it is considered that each block is mapped to the new image in the horizontal direction in a later step. That is, when each block is mapped in the horizontal direction, if the size of the motion is different from the adjacent blocks up and down, the image quality of the new image may be greatly deteriorated. In particular, many images are broken near the vertical edge of each block. Therefore, there is a need to give more weight to adjacent blocks in the vertical direction.
도 5 (a) 및 (b)는 추정된 운동의 정규화 과정에서 인접한 블럭들에 가중치를 적용한 예들을 나타내는 도면으로서, 도 5 (a)는 현재 블럭으로부터의 거리에 비례하여 인접한 블럭들에 가중치를 적용한 예를, 도 5 (b)는 수직 방향으로 인접한 블럭들에 가중치를 더 적용한 예를 각각 나타낸다.5 (a) and (b) are diagrams showing examples of applying weights to adjacent blocks in the normalization process of the estimated motion, and FIG. 5 (a) shows weights of adjacent blocks in proportion to the distance from the current block. 5 (b) shows an example in which weights are further applied to adjacent blocks in the vertical direction.
다시 도 3을 참조하면 제306단계 후에, 정규화된 운동의 크기에 따라 현재 영상의 각 블럭을 현재 영상에 대응한 새로운 영상에 수평 방향으로 매핑한다(제308단계). 제306단계에서 정규화된 운동의 크기는 영상내 물체의 운동 시차로 간주된다. 이러한 운동 시차를 양안 시차로 변환시키기 위한 매핑 방법으로서, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 운동의 크기만큼 좌측 수평 방향으로 매핑하여 새로운 영상을 생성한다. 또는, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 운동의 크기만큼 우측 수평 방향으로 매핑하여 새로운 영상을 생성한다.Referring to FIG. 3 again, after step 306, each block of the current image is mapped in a horizontal direction to a new image corresponding to the current image according to the normalized motion size (step 308). In operation 306, the normalized magnitude of motion is regarded as motion parallax of an object in the image. As a mapping method for converting such motion parallax into binocular parallax, a new image is generated by mapping positions of all blocks in the current image to the left horizontal direction by the magnitude of the motion of each block. Alternatively, a new image is generated by mapping the positions of all blocks in the current image to the right horizontal direction by the magnitude of the motion of each block.
제308단계 후에, 새로운 영상에서 현재 영상의 각 블럭에 의해 매핑되지 않은 영역을 보간하고, 필터링등의 후처리를 한다(제310단계). 새로운 영상을 생성할 때, 현재 영상은 블럭 단위로 다른 운동 시차를 가질 수 있으므로, 이웃한 두 블럭간의 운동 시차가 다르면 이를 이용하여 생성되는 새로운 영상에서 채워지지 않는 공간이 생기게 된다. 본 발명에서는 새로운 영상에 채워진 주변의 화소값들을 이용하여 채워지지 않은 공간을 보간한다.After operation 308, an area that is not mapped by each block of the current image in the new image is interpolated, and post-processing such as filtering is performed (operation 310). When a new image is generated, the current image may have different motion parallaxes in units of blocks. If the motion parallaxes between two neighboring blocks are different, there is an unfilled space in the new image generated using the same. In the present invention, the unfilled space is interpolated by using pixel values of surrounding pixels filled in a new image.
간단하게 선형 보간법을 이용하면, 먼저 화소 위치(a,b)가 새로운 영상에 먼저 채워진 값이고, 화소 위치(a,b+t),t>0가 (a,b)다음에 처음으로 채워진 값이면, 다음과 같이 중간의 빈 공간을 채우게 된다. (a,b)에서의 화소값을
도 6 (a)~(c)는 본 발명에 따른 시뮬레이션 결과들을 나타내는 도면으로서, 도 6 (a)는 원영상을, 도 6 (b)는 매핑 과정을 거쳐 얻어진 새로운 영상을, 도 6 (c)는 매핑후에 보간 과정을 거쳐 얻어진 새로운 영상을 각각 나타낸다.6 (a) to 6 (c) show simulation results according to the present invention, FIG. 6 (a) shows an original image, and FIG. 6 (b) shows a new image obtained through a mapping process, and FIG. 6 (c). ) Represent new images obtained through interpolation after mapping.
도 6 (b) 및 (c)를 비교하면, 도 6 (b)는 원영상으로부터 매핑되지 않은 영역으로 인해 영상의 질이 떨어졌으며, 도 6 (c)는 전술한 보간 과정을 거쳐 매핑되지 않은 영역을 채움으로써 도 6 (a)에 도시된 원영상의 질을 그대로 유지하였음을 보여준다. 도 6 (a)의 원영상과 비교하여 도 6 (c)의 새로운 영상은 원영상의 각 블럭의 운동 크기만큼 우측 수평방향으로 매핑된 것이다. 이들 영상은 한 쌍을 이루어 스테레오 영상을 생성하게 된다.6 (b) and 6 (c), the quality of the image is degraded due to the unmapped region from the original image, and FIG. 6 (c) is not mapped through the above-described interpolation process. Filling the region shows that the quality of the original image shown in FIG. Compared to the original image of FIG. 6 (a), the new image of FIG. 6 (c) is mapped to the right horizontal direction by the motion size of each block of the original image. These images are paired to generate stereo images.
마지막으로, 현재 영상과 새로운 영상으로 이루어진 스테레오 영상을 디스플레이한다(제312단계). 현재 영상과 새로운 영상중에서 하나를 좌측 눈에 디스플레이하고, 다른 하나를 우측 눈에 디스플레이함으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다.Finally, the stereo image consisting of the current image and the new image is displayed (step 312). By displaying one of the current image and the new image on the left eye, and displaying the other on the right eye, a person feels a three-dimensional effect by the principle of binocular disparity.
이상에서 설명한 바와 같이, 본 발명에 의한 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법은, 스테레오 영상을 촬영하기 위해서 두 개의 카메라를 정확히 기계적으로 일치시켜야 불편함등으로 인해 스테레오 영상을 제공하는 소프트웨어가 충분하지 못하고 기존의 촬영기기등을 사용할 수 없는 문제점을 해결하고, 기존의 촬영기기를 그대로 사용할 수 있을 뿐만 아니라, 현재 제작되어 있는 비디오 영상 소프트웨어를 그대로 사용할 수 있는 이점이 있고, 단안 영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 스테레오 영상을 생성하는 이점이 있다.As described above, the stereo image generating apparatus and method using the two-dimensional image sequence according to the present invention, software for providing a stereo image due to inconvenience, such as inconvenient to accurately match the two cameras in order to take a stereo image Solves the problem of not being enough and cannot use the existing photographing equipment, and can not only use the existing photographing equipment as it is, but also use the video image software that is currently produced. Even if the motion of the vertical component has the advantage of generating a natural stereo image.
Claims (20)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980001722A KR100304662B1 (en) | 1998-01-21 | 1998-01-21 | System and method for generating stereo image using two-dimensional image sequence |
| JP37430398A JP4056154B2 (en) | 1997-12-30 | 1998-12-28 | 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method |
| US09/222,713 US6314211B1 (en) | 1997-12-30 | 1998-12-29 | Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image |
| NL1010920A NL1010920C2 (en) | 1997-12-30 | 1998-12-30 | Apparatus and method for converting a two-dimensional image sequence into a three-dimensional image using conversion of motion disparity into horizontal disparity and a post-processing method during the generation of a three-dimensional image. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980001722A KR100304662B1 (en) | 1998-01-21 | 1998-01-21 | System and method for generating stereo image using two-dimensional image sequence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19990066096A KR19990066096A (en) | 1999-08-16 |
| KR100304662B1 true KR100304662B1 (en) | 2001-09-29 |
Family
ID=37529946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980001722A KR100304662B1 (en) | 1997-12-30 | 1998-01-21 | System and method for generating stereo image using two-dimensional image sequence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100304662B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100355382B1 (en) * | 2001-01-20 | 2002-10-12 | 삼성전자 주식회사 | Apparatus and method for generating object label images in video sequence |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08289328A (en) * | 1995-04-11 | 1996-11-01 | Sanyo Electric Co Ltd | Two-dimensional-to-three-dimensional image conversion method |
| JPH0981746A (en) * | 1995-09-08 | 1997-03-28 | Sanyo Electric Co Ltd | Two-dimensional display image generating method |
-
1998
- 1998-01-21 KR KR1019980001722A patent/KR100304662B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08289328A (en) * | 1995-04-11 | 1996-11-01 | Sanyo Electric Co Ltd | Two-dimensional-to-three-dimensional image conversion method |
| JPH0981746A (en) * | 1995-09-08 | 1997-03-28 | Sanyo Electric Co Ltd | Two-dimensional display image generating method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR19990066096A (en) | 1999-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4056154B2 (en) | 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method | |
| JP4886898B2 (en) | Method and apparatus for communicating depth related information | |
| US9525858B2 (en) | Depth or disparity map upscaling | |
| JP6094863B2 (en) | Image processing apparatus, image processing method, program, integrated circuit | |
| KR101385514B1 (en) | Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information | |
| US7260274B2 (en) | Techniques and systems for developing high-resolution imagery | |
| US20040027346A1 (en) | Method and device for the generation of 3-D images | |
| KR20120074925A (en) | Method for filling common hole and 3d video system thereof | |
| KR20050082764A (en) | Method for reconstructing intermediate video and 3d display using thereof | |
| KR20130137000A (en) | Image processing device, image processing method, and program | |
| JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
| KR20080101998A (en) | Method and device for rectifying image in synthesizing arbitary view image | |
| Yamaguchi et al. | Stereoscopic images disparity for predictive coding | |
| JP2019184308A (en) | Depth estimation device and program, as well as virtual viewpoint video generator and its program | |
| KR100263936B1 (en) | Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video | |
| KR100263935B1 (en) | Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity | |
| CN109345444A (en) | The super-resolution stereo-picture construction method of depth perception enhancing | |
| JP5627498B2 (en) | Stereo image generating apparatus and method | |
| KR100304662B1 (en) | System and method for generating stereo image using two-dimensional image sequence | |
| KR100780840B1 (en) | A temporal prediction apparatus and method for coding multi-view video based on layer-depth image | |
| Kim et al. | Object-based stereoscopic conversion of MPEG-4 encoded data | |
| JP2002095011A (en) | Method and device for generating pseudo-three dimensional image | |
| KR100230447B1 (en) | 3-dimension image conversion apparatus and method of 2-dimension continuous image | |
| CN117061720B (en) | Stereo image pair generation method based on monocular image and depth image rendering | |
| JP2012213016A (en) | Stereoscopic image generation device and stereoscopic image generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130627 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20140627 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20150629 Year of fee payment: 15 |
|
| LAPS | Lapse due to unpaid annual fee |