KR100672925B1 - Method for generating mutiview image using adaptive disparity estimation scheme - Google Patents

Abstract

본 발명은 다시점 영상 생성 방법을 개시한다. 본 발명의 다시점 영상 생성 방법은 (a) 입력된 스테레오 영상으로부터 시차값을 계산하고, 시차값을 기준 영상에 적용하여 폐색 영역이 나타나는 시차지도를 형성하는 단계; (b) 기준 영상에 따른 폐색 영역의 위치로부터 객체의 상대적인 위치를 결정하는 단계; (c) 기준 영상내의 객체의 상대적인 위치에 따라서 시차 보상 필터링을 수행하여 시차 보상된 시차 지도를 생성하는 단계; (d) 시차 보상된 시차 지도에 소정의 임계값을 적용하여 스테레오 영상내의 각 객체를 분할하는 단계; (e) 수평 패러랙스 방식에 따라서 분할된 객체를 차등적으로 수평 이동시켜 스테레오 영상과 다른 다시점 스테레오 영상을 생성하는 단계를 포함한다.The present invention discloses a method for generating a multiview image. The multi-view image generation method of the present invention comprises the steps of: (a) calculating a parallax value from the input stereo image, and applying the parallax value to the reference image to form a parallax map in which the occlusion area appears; (b) determining a relative position of the object from the position of the occlusion area according to the reference image; (c) generating parallax compensated parallax map by performing parallax compensation filtering according to a relative position of the object in the reference image; (d) dividing each object in the stereo image by applying a predetermined threshold to the parallax compensated parallax map; (e) generating a multi-view stereo image different from the stereo image by differentially horizontally moving the divided objects according to the horizontal parallax scheme.

Description

적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법{Method for generating mutiview image using adaptive disparity estimation scheme}Method for generating mutiview image using adaptive disparity estimation scheme

도 1은 시차와 깊이감의 관계를 도시한 도면이다.1 is a diagram illustrating a relationship between parallax and a sense of depth.

도 2 는 스크린 시차와 시야각의 관계를 도시한 도면이다.2 is a diagram illustrating a relationship between screen parallax and a viewing angle.

도 3 은 평행 카메라 구성법을 도시한 도면이다.3 is a diagram illustrating a parallel camera configuration method.

도 4 는 위치에 따른 폐색 영역을 도시한 도면이다.4 is a view showing a closed region according to a position.

도 5 는 수평 패러랙스에 따른 수평이동 관계를 도시한 도면이다.5 is a diagram illustrating a horizontal movement relationship according to a horizontal parallax.

도 6 은 좌영상 생성시의 이동방향을 도시한 도면이다.6 is a diagram illustrating a moving direction when generating a left image.

도 7 은 수평 이동시의 이동값들의 범위를 도시한 도면이다.7 is a diagram illustrating a range of movement values in a horizontal movement.

도 8 은 스테레오 영상쌍의 재구성의 일예를 도시한 도면이다.8 is a diagram illustrating an example of reconstruction of a stereo image pair.

도 9 는 본 발명의 다시점 영상 생성 방법을 설명하는 흐름도이다.9 is a flowchart illustrating a method of generating a multiview image according to the present invention.

도 10 은 객체 분할의 일예를 도시하는 도면이다.10 is a diagram illustrating an example of object division.

도 11 은 수평 이동값과 깊이감과의 관계를 도시한 도면이다.11 is a diagram illustrating a relationship between a horizontal shift value and a sense of depth.

도 12 는 차등적 수평 이동에 의해서 생성된 좌영상 및 우영상의 예들을 도시한 도면이다.12 is a diagram illustrating examples of a left image and a right image generated by differential horizontal movement.

도 13은 다시점에서 영상을 생성하는 예를 도시한 도면이다.13 is a diagram illustrating an example of generating an image from a multiview point.

도 14 는 가 다시점에 따라서 생성된 영상을 도시한 도면이다.14 is a diagram illustrating an image generated according to a multi-view point.

본 발명은 다시점 영상 생성 방법에 관한 것이다. 3차원 입체 영상기술에서 최적의 입체감 생성은 중요한 사항이다. 인간이 실물을 입체적으로 볼 수 있는 것은 양안 시차(Binocular disparity)에 의한 것으로, 두 눈이 각기 다른 시점의 영상을 인식하고 인간의 뇌가 이 두 영상의 차이를 합성하기 때문이다. 하지만 이러한 원리는 두 장의 스테레오 영상이 요구되고, 전송시 대역폭의 증가가 야기된다. 또한, 특정 위치에서만 3차원 입체 영상을 제공할 수 있었다. 이러한 여러 문제들은 오늘날의 스테레오 영상 기술을 발전시키는 원동력이 되었고, 나아가 "look-around" 효과와 다수의 관찰자에게 3차원 입체 영상을 제공할 수 있는 다시점(multi-view) 3차원 영상 기술을 출현시켰다.The present invention relates to a method for generating a multiview image. In 3D stereoscopic imaging, optimal stereoscopic generation is important. Humans can see the real three-dimensionally because of binocular disparity, because the two eyes recognize images from different viewpoints and the human brain synthesizes the differences between these two images. However, this principle requires two stereo images and causes an increase in bandwidth during transmission. In addition, it was possible to provide a 3D stereoscopic image only at a specific location. These problems have been the driving force behind the development of today's stereo imaging technology, and the emergence of multi-view three-dimensional imaging technology that can provide "look-around" effects and three-dimensional stereoscopic imaging to multiple observers. I was.

오늘날의 3차원 영상 기술은 그 응용분야만 해도 헤아릴 수 없이 많다. 하지만 아직까지 최적의 솔루션을 제시하지 못하고 있는 현실이다. 여기에는 최적의 입체감을 갖는 영상을 생성해야 하는 어려운 문제가 있기 때문이다. 입체감을 얻기 위해서는 영상내의 각 객체들의 정확한 깊이 정보와 서로의 위치관계를 알아야 한다. Today's three-dimensional imaging technology is innumerable in its application. However, the reality is that it has not been able to provide the optimal solution. This is because there is a difficult problem of generating an image having an optimal three-dimensional effect. In order to obtain a three-dimensional effect, it is necessary to know the exact depth information and positional relationship of each object in the image.

본 발명이 이루고자 하는 기술적 과제는, 입력된 2차원 스테레오 영상(stereo image pair)으로부터 각 객체들을 분할하고 각기 다른 이동값을 부여 하여 두 영상이 보다 높은 입체감을 갖도록 하는 방법을 제공하는 것이다. An object of the present invention is to provide a method of dividing each object from an input two-dimensional stereo image pair and giving different moving values so that the two images have higher stereoscopic feeling.

또한, 이를 통해 얻어진 새로운 스테레오 영상으로부터 다시점 영상을 생성하는 방법을 제공하는 것이다.In addition, to provide a method for generating a multi-view image from a new stereo image obtained through this.

상술한 기술적 과제를 이루기 위한, 본 발명의 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법에 의해서 생성된 다시점 스테레오 영상은 다음과 같은 과정을 통해 생성된다. 먼저 카메라 구성에 따른 시차와 깊이감의 관계를 분석하였다. 그 후, 영상내의 각 객체들의 상대적인 위치를 기준영상에 따른 폐색 영역의 위치관계로부터 유추하여 시차 지도를 통해 파악하고 임계값을 적용하여 같은 깊이 정도를 갖는 객체끼리 분할하였다. 그 후, 분할된 객체를 최대 깊이 효과를 갖도록 차등적인 값을 부여하여 수평 이동시키고 입력된 스테레오 영상보다 큰 시차를 갖는 새로운 영상을 생성하였다. 아울러, 이동값을 달리함으로써 다시점 영상을 생성할 수 있음을 당업자는 알 수 있을 것이다.In order to achieve the above technical problem, a multiview stereo image generated by the multiview image generation method using the adaptive parallax estimation method of the present invention is generated through the following process. First, we analyzed the relationship between parallax and depth depending on the camera configuration. Then, the relative position of each object in the image was inferred from the positional relationship of the occlusion area according to the reference image and identified through the parallax map, and the objects having the same depth were divided by applying a threshold value. Thereafter, the divided objects were horizontally shifted by giving a differential value to have the maximum depth effect, and a new image having a parallax larger than the input stereo image was generated. In addition, it will be apparent to those skilled in the art that multi-view images may be generated by changing the moving values.

스테레오 영상은 오른쪽과 왼쪽의 영상을 얻기 위하여 나란히 위치한 두 대의 카메라로부터 얻어진다. 이러한 카메라 구조는 인간 시각 시스템(HVS : Human Visual System)에 대응하여 stereo vision이라 한다. Stereo vision은 좌영상과 우영상을 이용하여 깊이 정보를 추론하는 직접적인 방법을 제공한다. stereo vision에서 중요한 인자에는 시차(disparity)와 깊이감(depth)이 있다. Stereo images are obtained from two cameras placed side by side to obtain the right and left images. Such a camera structure is called stereo vision in response to a human visual system (HVS). Stereo vision provides a direct way to infer depth information using left and right images. Important factors in stereo vision are disparity and depth.

도 1은 시차와 깊이감에 대해 나타내고 있다. 1 shows a parallax and a sense of depth.

두 눈이 공간상에서 주시점 P1에 초점을 맞추면 주시각 α를 형성하게 되고 P2에서는 α와 다른 각 β를 만든다. 점 P1과 P2에서는 서로 다른 깊이감을 가지며, 망막 상에서 이 두 점은 서로 다른 거리에 위치한다. 도 1에서 α + δ1 + c + δ2 + d = 180이며 β + c + d = 180 가 되므로 다음의 수학식 1과 같은 관계가 성립한다. When the eyes focus on the gaze point P1 in space, they form a gaze angle α, and in P2, they make an angle β different from α. At points P1 and P2, they have different depths, and they are located at different distances on the retina. In FIG. 1, since α + δ 1 + c + δ 2 + d = 180 and β + c + d = 180, the following relationship is established.

이것은 두 점에 의해서 생긴 폭주각 사이의 차는 δ1+δ2이며 이를 망막 시차라 한다. 일반적으로 고정된 점 P1에 대하여, P1과 P2의 사이의 깊이감이 커지게 되면 폭주각 사이의 차도 커지게 되고 결국 망막 시차의 크기도 커지게 된다.This is the difference between the congestion angle caused by two points is δ 1 + δ 2, which is called retinal parallax. In general, with respect to the fixed point P1, the greater the sense of depth between P1 and P2, the larger the difference between congestion angles and the greater the size of the retinal parallax.

위에서 설명한 stereo vision을 카메라 구성에서 살펴보자. 카메라 구성은 카메라의 축간 거리, 축 방향, 그리고 물체와 카메라까지의 거리등을 고려한다. 도 2에 도시된 바와 같이, 주어진 화면 시차의 양 p와 시청 거리 d가 있다면, 시야각 β는 다음의 수학식 2로 나타낼 수 있다.Let's look at the stereo vision described above in Camera Configuration. The camera configuration takes into account the camera's interaxial distance, the axial direction, and the distance between the object and the camera. As shown in FIG. 2, if there is a given amount of screen parallax p and a viewing distance d, the viewing angle β may be represented by Equation 2 below.

도 3 에 도시된 평행 카메라 구성법의 경우, 시청 거리 d에 따라 시야각 β의 범위와 공통 시역(common field of view)의 범위가 결정된다. 수직시차는 이 경우 고려할 필요가 없으므로 시차 방정식은 다음의 수학식 3 과 같이 나타낼 수 있다. In the case of the parallel camera construction shown in Fig. 3, the range of the viewing angle β and the range of the common field of view are determined according to the viewing distance d. Since the vertical parallax does not need to be considered in this case, the parallax equation may be expressed as Equation 3 below.                     

상기 수학식 3 을 l 에 대하여 풀어 보면, 다음의 수학식 4와 같고,Solving Equation 3 with respect to l , it is equal to Equation 4 below,

상기 수학식 4 를 r 에 대하여 풀어보면, 다음의 수학식 5와 같다.Solving Equation 4 with respect to r , the following Equation 5 is obtained.

시차를 계산해 보면, 다음의 수학식 6 과 같다.When calculating the parallax, the following equation (6).

수학식 6 에서 f는 렌즈와 영상면까지 거리, b는 기준선(baseline) 거리, z는 물체 거리, h는 CCD 센서 이동 거리다. 수학식 6을 통해서 평행 카메라 구성에서 시차는 깊이에 반비례한다는 것을 알 수 있다.In Equation 6, f is the distance between the lens and the image plane, b is the baseline distance, z is the object distance, h is the CCD sensor movement distance. Equation 6 shows that the parallax is inversely proportional to the depth in the parallel camera configuration.

평행식 카메라 구성은 교차식 구성에 비해 수학적 모델링이 쉽고 수직 시차를 고려하지 않는다는 장점을 갖고 있지만 영상에서 깊이감을 표현하는데 다소 떨 어지는 단점이 있다. 따라서, 영상내 각 객체들의 깊이 정보를 통해 상대적 위치관계를 파악한다면 수평 패러랙스(horizontal parallax)를 이용하여 좌우 이동을 통한 깊이감을 향상시킬 수 있다.The parallel camera configuration has the advantage that it is easier to model mathematically and does not consider vertical parallax compared to the crossover configuration. Therefore, if the relative positional relationship is grasped through the depth information of each object in the image, the horizontal parallax may be used to improve the depth feeling through left and right movement.

본 발명은 입력된 두 장의 스테레오 영상에서 BMA/MSE를 통해 시차를 구하고, 그 시차값을 기준 영상에 적용하여 시차 지도를 형성하였다. 이때 객체의 위치에 따라 임의로 정한 가상의 영상면보다 앞에 있는 물체는 기준 영상에 따라서 폐색영역의 위치가 정해진다. 또한, 가상 영상면보다 뒤에 있는 물체는 그 반대의 위치에서 폐색 영역이 발생한다. 도 4 는 위치에 따른 폐색 영역을 도시한다.According to the present invention, parallax is obtained from two input stereo images through BMA / MSE, and the parallax value is applied to the reference image to form a parallax map. At this time, the object in front of the virtual image plane arbitrarily determined according to the position of the object is determined according to the reference image. In addition, an object behind the virtual image plane generates an occlusion area at the opposite position. 4 shows the occlusion area by position.

스테레오 영상에서 폐색 영역은 주로 물체의 경계부분에 나타난다. 기준 영상을 좌영상으로 정했을때와 우영상으로 정했을때 각각의 폐색 영역을 비교하면 영상에서 객체들의 상대적인 위치를 알아낼 수 있다. 이러한 과정을 거친 후에 시차 지도에 임의의 임계값을 적용하여 각 객체를 분할한다. 여기서 중요한 것은 객체를 분할할 때 입체감을 크게 살릴 수 있는 객체에 중점을 두어야 한다는 것이다. 물론, 영상내의 모든 객체는 각기 다른 시차 정보를 갖고 있지만 이들 모두를 다 분할한다면 이 후의 차등 이동방법을 적용할 때 그 계산량이나 고려해야 할 변수 등 많은 문제를 야기한다. 따라서, 가장 중요하게 부각시켜야 하는 객체만을 선정하여 분할하는 것이 중요하다. 분할된 각 객체는 수평 패러랙스의 원리를 적용하여 이동시키게 된다. 도 5는 수평 패러랙스에 의한 수평 이동을 도시한다.In stereo images, occlusion zones usually appear at the boundaries of objects. When the reference image is defined as the left image and the right image, the relative positions of the objects in the image can be determined by comparing the occlusion areas. After this process, each object is segmented by applying a random threshold to the parallax map. The important thing here is to focus on the object that can make a big three-dimensional effect when dividing the object. Of course, all the objects in the image have different parallax information, but if all of them are divided, it causes many problems such as the amount of calculation and the variables to be considered when applying the following differential movement method. Therefore, it is important to select and partition only the objects that should be most importantly highlighted. Each segmented object is moved by applying the principle of horizontal parallax. 5 shows the horizontal movement by the horizontal parallax.

도 5에서 스테레오 평면을 기준으로 1번 영역은 앞에 있고, 2번 영역은 뒤에 있다. 여기서 도 1에서 설명한 주시각 α와 각 영역의 폭주각 β와의 관계를 보 면, 영역 1은 β>α로 망막 시차가 음수이다. 이것을 음시차(negative parallax)라고 한다. 영역 2의 경우는 α>β의 관계로 시차가 양수이고 양시차(positive parallax)라 한다. 양시차일때와 음시차일때 각 영역의 이동은 수평 패러랙스의 원리를 따른다. 또한, 이러한 수평 영역 이동으로 기준 영상의 좌우에 또 다른 영상을 생성하게 된다. 좌영상을 생성하는 경우를 도 6 에 도시하였다. 양시차를 갖는 영역은 왼쪽으로, 음 차의 경우에는 오른쪽으로 이동시킨다. 우영상을 생성하는 경우에는 반대로 양시차의 경우에는 오른쪽으로, 음시차의 경우에는 왼쪽으로 이동시킨다.In FIG. 5, region 1 is at the front and region 2 is at the rear of the stereo plane. Here, in the relationship between the viewing angle α described in FIG. 1 and the congestion angle β of each region, the retinal parallax is negative in region 1 with β> α. This is called negative parallax. In case of region 2, the parallax is positive due to the relationship of α> β and is called positive parallax. The movement of each region in positive and negative parallax follows the principle of horizontal parallax. In addition, the horizontal region movement generates another image to the left and right of the reference image. The case where the left image is generated is illustrated in FIG. 6. The area with a positive parallax moves to the left, and to the right for a fork. On the contrary, when a right image is generated, the right image is shifted to the right in the case of positive parallax, and to the left in the case of negative parallax.

이러한 수평 이동에서 그 이동값에 의해 결과적으로 느끼는 입체감이 좌우될 것이다. 망막 시차를 보면 가까이 있는 물체는 시차값이 크고, 멀리 있는 물체는 시차값이 작다. 따라서 새로운 좌영상과 우영상을 생성할 때도 음시차를 갖는 영역들을 양시차를 갖는 영역들보다 많이 이동시킨다면 더 좋은 입체감을 기대할 수 있는 것이다. 이동값들의 범위는 도 7 에 의해 구할 수 있다.In this horizontal movement, the resulting three-dimensional effect will depend on the movement value. Retina parallax shows that parallax values are larger for objects near and smaller for distant objects. Accordingly, even when generating a new left image and a right image, if a region having negative parallax is moved more than the regions having a positive parallax, a better three-dimensional effect can be expected. The range of shift values can be found by FIG.

도 7 에서 가장 앞에 있는 점 A의 경우를 고려해 보면 왼쪽 눈에 들어올 영상의 경우 이동 가능한 거리(DA)는 다음의 수학식 7과 같이 나타낼 수 있다.  Considering the case of the point A in front of FIG. 7, the movable distance DA in the case of an image to enter the left eye may be expressed as in Equation 7 below.

관찰자와 물체 사이의 거리인 x, y, z는 다음의 수학식 8 및 수학식 9 로부터 구할 수 있다. The distances x, y, z between the observer and the object can be obtained from Equations 8 and 9 below.                     

상기 수학식 8 및 수학식 9 에서 I는 눈 사이의 거리이고, α는 점 A와 중심점 사이의 각, β는 두 눈과 중심점이 이루는 폭주각을 각각 나타낸다. 수학식 8 과 수학식 9에서 β 를 소거하고 z와 x에 대해 풀면 다음의 수학식 10 및 수학식 11 을 얻을 수 있다.In Equations 8 and 9, I is the distance between the eyes, α is the angle between the point A and the center point, β represents the runaway angle between the two eyes and the center point, respectively. The following equations (10) and (11) can be obtained by eliminating β in equations (8) and (9) and solving for z and x.

여기서, γ는 점 B와 중심점 사이의 각을 나타낸다. 수평 이동 가능 거리 a와 이동 정도에 따른 깊이감 b의 관계는 다음의 수학식 12 및 수학식 13과 같이 주어진다.Is the angle between the point B and the center point. The relationship between the horizontal movable distance a and the depth b depending on the degree of movement is given by Equations 12 and 13 below.

수학식 13 에서 알 수 있듯이 점 A의 수평 이동 범위는 x와 y값에 의존하고 a와 b는 비례 관계에 있다. 즉, 영상에서 수평 이동값 a가 클수록 깊이감 b가 크고 수평 이동값 a를 작게 하면 그만큼 깊이감도 줄어들게 된다. 여기서, 영상면은 구면 모니터 스크린임으로 원호 계산 방법에 의해서 다음의 수학식 14 와 같이 주어진다.As can be seen in Equation 13, the horizontal moving range of the point A depends on the values of x and y, and a and b are in proportion. That is, the larger the horizontal shift value a in the image, the larger the depth b and the smaller the horizontal shift value a, the lower the depth is. Here, the image plane is a spherical monitor screen, and is given by Equation 14 by the arc calculation method.

수학식 14 에서 s 는 스크린 크기를 나타낸다. 분할된 영상은 영역별로 이동 시켰기 때문에 영상의 화소가 없이 비어있는 홀(hole)이나 화소들끼리 겹치는 중첩(overlap)등이 발생하게 된다. 따라서, 보간법(bilinear interpolation)을 통한 후처리 과정을 거쳐 홀과 중첩되는 부분을 보간 하게 된다. In Equation 14, s denotes a screen size. Since the divided image is moved by region, an empty hole or overlapping pixels are generated without the pixels of the image. Therefore, the post-processing process through bilinear interpolation interpolates the overlapping part of the hole.

시차에 따른 깊이 정보의 해석 과정을 바탕으로, 입력된 영상쌍보다 높은 깊이감을 갖도록 수평 시차를 조절한 새로운 스테레오 영상쌍을 생성할 수 있다. 도 8은 스테레오 영상쌍의 재구성의 일예를 도시한다. 도 8 에 도시된 바와 같이 기존의 시차보다 차등 영역 이동을 통해 얻어진 영상이 더 큰 시차를 나타낸다.Based on a process of interpreting depth information according to parallax, a new stereo image pair with horizontal parallax may be generated to have a higher sense of depth than an input image pair. 8 shows an example of reconstruction of a stereo image pair. As shown in FIG. 8, an image obtained by moving a differential region shows a larger parallax than a conventional parallax.

동공 사이의 거리(Inter-ocular distance)보다 커지지 않는 범위 내에서 최대한 시차를 크게 한다면 더욱 높은 입체감을 기대할 수 있다. 하지만, 시차가 정 도 이상으로 커진다면 영상 시청 시 발산을 하여 오히려 입체감을 떨어트리고 눈의 피로 등을 야기한다.If the parallax is increased as much as possible within the range not larger than the inter-ocular distance, a higher three-dimensional effect can be expected. However, if the parallax becomes greater than a degree, the divergence is observed when viewing the image, thereby reducing the stereoscopic feeling and causing eye fatigue.

재구성된 영상쌍은 교차식 카메라 방식보다 깊이감을 표현하는데 좋지 못하다는 평행식 카메라 방식의 단점을 보안할 수 방법이 될 것이다. 또한, 이러한 차등적 이동법을 통하여 스테레오 영상의 각각에서 또 다른 좌, 우영상을 생성할 수 있다. 다안 영상의 생성은 영상내의 각 객체들의 이동값에 따라서 만들어 질 수 있다. The reconstructed image pair will be a way to secure the shortcomings of the parallel camera method, which is not as good at expressing depth as the cross camera method. In addition, another left and right image may be generated from each of the stereo images through the differential movement method. The multi-eye image may be generated according to the movement value of each object in the image.

본 발명에서는 입력받은 스테레오 영상에서 영상내의 각 객체들의 상대적인 위치를 파악하였고 객체들의 깊이 정보를 해석하여 분할하였다. 분할된 객체들을 양시차와 음시차일 때 각각 이동값을 달리하여 수평 이동시켰다. 또한, 입력된 좌, 우 두개의 영상에서 각각 또 다른 좌영상 및 우영상을 생성할 수 있다.In the present invention, the relative position of each object in the image is identified from the input stereo image, and the depth information of the object is analyzed and divided. The partitioned objects were moved horizontally with different movement values for positive and negative parallaxes. Also, another left image and a right image may be generated from the two inputted left and right images, respectively.

도 9 는 본 발명의 다시점 영상 생성 방법을 설명하는 흐름도이다. 도 9 를 참조하면, 먼저, 입력된 스테레오 영상으로부터 시차값을 계산하고, 시차값을 기준 영상에 적용하여 폐색 영역이 나타나는 시차지도를 생성한다(S910).9 is a flowchart illustrating a method of generating a multiview image according to the present invention. Referring to FIG. 9, first, a parallax value is calculated from an input stereo image, and the parallax value is applied to a reference image to generate a parallax map in which an occlusion area appears (S910).

그 후, 기준 영상에 따른 폐색 영역의 위치로부터 객체의 상대적인 위치를 결정한다(S920). 이 때, 기준 영상을 좌영상으로 설정한 경우의 시차 지도에 나타난 폐색 영역의 위치와, 상기 기준 영상을 우영상으로 설정한 경우의 시차 지도에 나타난 폐색 영역의 위치를 비교하여, 객체의 상대적인 위치를 결정한다.Thereafter, the relative position of the object is determined from the position of the occlusion area according to the reference image (S920). At this time, the position of the occlusion region shown in the parallax map when the reference image is set to the left image and the position of the occlusion region shown in the parallax map when the reference image is set to the right image Determine.

기준 영상내의 객체의 상대적인 위치에 따라서 시차 보상 필터링을 수행하여 시차 보상된 시차 지도를 생성한다(S930). Parallax compensation filtering is performed according to the parallax compensation filtering according to the relative position of the object in the reference image (S930).                     

시차 보상된 시차 지도에 소정의 임계값을 적용하여 상기 스테레오 영상내의 각 객체를 분할한다(S940). 이 경우에, 동일한 깊이 정도를 갖는 객체단위로 분할하는 것이 바람직하다.Each object in the stereo image is partitioned by applying a predetermined threshold to the parallax compensated parallax map (S940). In this case, it is preferable to divide by object units having the same depth degree.

그 후, 수평 패러랙스 방식에 따라서 분할된 객체를 차등적으로 수평 이동시켜 상기 스테레오 영상과 다른 다시점 스테레오 영상을 생성한다(S950). 이 때, 좌영상을 생성하는 경우에, 양시차를 갖는 영역은 왼쪽으로 음시차를 갖는 영역은 오른쪽으로 이동시켜 다시점 스테레오 영상을 생성하고, 우영상을 생성하는 경우에, 양시차를 갖는 영역은 오른쪽으로 음시차를 갖는 영역은 왼쪽으로 이동시켜 다시점 스테레오 영상을 생성한다.Thereafter, the divided objects are horizontally moved differentially in accordance with the horizontal parallax scheme to generate a multiview stereo image different from the stereo image (S950). In this case, when generating a left image, an area having a positive parallax is moved to the left, and an area having a negative parallax is moved to the right to generate a multi-view stereo image, and when generating a right image, an area having a positive parallax The area having the disparity to the right is moved to the left to generate a multiview stereo image.

도 10 은 객체 분할의 예를 도시하는 도면이다. 도 10 을 참조하면, 먼저, 입력으로 받은 스테레오 영상으로부터 폐색 영역이 나타나는 시차 지도를 생성한다(b). 폐색 영역이 생기는 위치는 기준 영상을 좌영상으로 하느냐 우영상으로 하느냐에 따라 물체의 오른쪽 또는 왼쪽에 생기며, 물체가 가상 영상면의 앞에 있느냐 뒤에 있느냐에 따라서도 그 위치가 달라진다. 객체의 상대적인 위치를 판단한 후 시차 보상 필터를 통해 시차 보상된 시차 지도를 얻는다(c). 임의의 임계값을 적용하여 각 객체를 분할할 수 있는 객체 분할 마스크를 생성하고((d) 및 (e)) 객체를 분할하였다((f) 및 (g)). 10 is a diagram illustrating an example of object division. Referring to FIG. 10, first, a parallax map in which occlusion areas appear from a stereo image received as an input is generated (b). The location of the occlusion area occurs on the right or left side of the object depending on whether the reference image is the left image or the right image, and the position varies depending on whether the object is in front of or behind the virtual image plane. After determining the relative position of the object, a parallax compensated parallax map is obtained through a parallax compensation filter (c). An arbitrary threshold was applied to create an object partitioning mask that could partition each object ((d) and (e)) and the object was partitioned ((f) and (g)).

이렇게 분할된 객체는 발산하지 않는 한도 내에서 최대한 큰 시차를 갖도록 수평 이동시킨다. 본 발명에서는 해상도 1152×864, 시청 거리 약 45㎝의 17″ 모니터를 사용했다. 동공 사이 거리(IOD)는 64㎜, 화면 시차는 약 ± 12 ㎜이다. 수 학식 14 에 의하면, 가로 : 세로길이가 약 17.6㎝ : 13.3㎝인 모니터의 해상도를 1152×864로 하였으므로 픽셀의 길이를 약 0.15㎜로 환산하여 생각할 수 있다. 그러므로 최대 수평 이동 가능 범위는 12÷0.15=80, 즉 ±80 픽셀이 된다. The divided objects are moved horizontally to have the largest parallax within the limit without diverging. In the present invention, a 17 ″ monitor having a resolution of 1152 × 864 and a viewing distance of about 45 cm was used. The inter-pupillary distance (IOD) is 64 mm and the screen parallax is about ± 12 mm. According to Equation 14, since the resolution of a monitor having a width of about 17.6 cm: 13.3 cm is set to 1152 x 864, the pixel length can be considered to be about 0.15 mm. Therefore, the maximum horizontal movable range is 12 ÷ 0.15 = 80, that is, ± 80 pixels.

수학식 9에 의해서 주시각 α(도 1의 기호에 따라서 표현함)는 약 16°가 된다. 폭주각이 16°보다 크면 앞에 있는 물체이고, 작으면 뒤에 있는 물체가 된다. 또한 폭주각이 커지면 깊이감이 증가하고, 이동 가능 범위도 넓어진다. 도 7에서 나타낸 수평 이동값 a와 깊이감 b와의 관계를 도 11에서 나타낸다. 도 11에서 a가 12㎜(80픽셀)이면 b는 123㎜가 된다. 도 12는 a를 3㎜(20픽셀) 이동시켜서 얻은 또 다른 좌, 우영상을 도시한다. According to equation (9), the viewing angle α (expressed according to the symbol in FIG. 1) is about 16 °. If the runaway angle is greater than 16 °, the object is in front of it. In addition, the larger the angle of congestion, the greater the sense of depth and the wider the range of movement. The relationship between the horizontal shift value a shown in FIG. 7 and the depth b is shown in FIG. In FIG. 11, when a is 12 mm (80 pixels), b is 123 mm. 12 shows another left and right image obtained by moving a by 3 mm (20 pixels).

한편, 도 13은 여러 시점에서 영상을 생성해 내는 예를 도시하고, 도 14 는 가 view에 따라서 생성된 영상을 도시한다.FIG. 13 illustrates an example of generating an image at various views, and FIG. 14 illustrates an image generated according to a view.

표 1 은 각 영상들을 PSNR(Peak signal to noise) /MSE(Mean Square Error)를 이용하여 비교한 결과를 기재하였다. Table 1 describes the results of comparing the images using Peak Signal to Noise (PSNR) / Mean Square Error (MSE).                     

입력받은 원래의 좌영상과 우영상을 기준으로 하여 1부터 6까지의 시점을 비교하였다. 1 view와 6 view는 원래 입력받은 스테레오 영상에서 차등적 이동에 의해 만들어진 최외각 영상이며, 2view 내지 5 view는 좌, 우영상에서 일정하게 떨어진 위치의 각 시점의 영상이다. 표 1 에서도 알 수 있듯이 1 view, 6 view와 Left view, right view와의 psnr 차이가 2 view 내지 5 view와의 차 보다 큰 것을 알 수 있다. The viewpoints from 1 to 6 were compared based on the original left and right images received. The 1 and 6 views are the outermost images made by the differential movement from the stereo images originally input, and the 2 views to 5 views are the images of each viewpoint at a predetermined distance from the left and right images. As can be seen from Table 1, it can be seen that the psnr difference between 1 view, 6 view, left view, and right view is larger than the difference between 2 views and 5 views.

상술한 바와 같이, 스테레오 영상은 평행한 두 대의 카메라에서 얻어진다. 두 장의 스테레오 영상에서 기준영상을 달리 하였을 때와 임의의 가상 영상면의 앞과 뒤에 있는 객체는 서로 다른 위치에서 폐색 영역을 갖는다. 이러한 폐색 영역은 시차 지도를 통해 얻을 수 있으며 이를 통해 객체들 간의 상대적인 위치관계를 유추할 수 있었다. 또한 시차 보상에 의해 얻어진 시차 지도에 임의의 임계값을 적용하면 원하는 객체를 분할 할 수 있었다. 분할된 객체는 수평 패러랙스의 원리에 의해 차등적으로 수평 이동시켜주어 평행식 카메라 구성으로도 깊이감의 증대 효과를 가져올 수 있었다. 이러한 차등 영역 이동 과정을 이용하여 입력된 스테레오 영상에서 또 다른 좌우영상을 얻을 수 있었고 또한 객체들의 이동값을 점진적으로 변화시켜 줌으로써 다시점 영상도 생성 가능하였다. As described above, stereo images are obtained from two parallel cameras. In the two stereo images, when the reference image is different and the objects in front of and behind the virtual image plane have occlusion areas at different positions. Such occlusion region can be obtained through parallax maps, and inferred the relative positional relationship between objects. In addition, by applying an arbitrary threshold value to the disparity map obtained by disparity compensation, the desired object could be segmented. The partitioned objects were moved horizontally differentially according to the principle of horizontal parallax, so that even the parallel camera configuration could increase the depth. By using the differential region moving process, another left and right image can be obtained from the input stereo image, and multi-view image can be generated by gradually changing the moving values of the objects.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (for example, transmission over the Internet). It also includes. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

상술한 바와 같이, 본 발명은 입력된 2차원 스테레오 영상(stereo image pair)으로부터 각 객체들을 분할하고 각기 다른 이동값을 부여하여 이동시킴으로서 높은 입체감을 갖는 다시점 영상을 생성할 수 있는 효과가 있다. As described above, the present invention has the effect of generating a multi-view image having a high three-dimensional effect by dividing each object from the input two-dimensional stereo image pair and assigning and moving different objects.

Claims (6)

(a) 입력된 스테레오 영상으로부터 시차값을 계산하고, 상기 시차값을 기준 영상에 적용하여 폐색 영역이 나타나는 시차지도를 형성하는 단계;(a) calculating a parallax value from an input stereo image and applying the parallax value to a reference image to form a parallax map in which an occlusion area appears; (b) 상기 기준 영상에 따른 폐색 영역의 위치로부터 객체의 상대적인 위치를 결정하는 단계;(b) determining the relative position of the object from the position of the occlusion area according to the reference image; (c) 상기 기준 영상내의 객체의 상대적인 위치에 따라서 시차 보상 필터링을 수행하여 시차 보상된 시차 지도를 생성하는 단계;generating a parallax compensated parallax map by performing parallax compensation filtering according to a relative position of the object in the reference image; (d) 상기 시차 보상된 시차 지도에 소정의 임계값을 적용하여 상기 스테레오 영상내의 각 객체를 분할하는 단계;(d) dividing each object in the stereo image by applying a predetermined threshold to the parallax compensated parallax map; (e) 수평 패러랙스 방식에 따라서 상기 분할된 객체를 차등적으로 수평 이동시켜 상기 스테레오 영상과 다른 다시점 스테레오 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 생성 방법.and generating a multi-view stereo image different from the stereo image by differentially horizontally moving the divided objects according to a horizontal parallax method. 제 1 항에 있어서, 상기 (b) 단계는The method of claim 1, wherein step (b) 상기 기준 영상을 좌영상으로 설정한 경우의 시차 지도에 나타난 폐색 영역의 위치와, 상기 기준 영상을 우영상으로 설정한 경우의 시차 지도에 나타난 폐색 영역의 위치를 비교하여, 객체의 상대적인 위치를 결정하는 것을 특징으로 하는 방법.The relative position of the object is determined by comparing the position of the occlusion region shown in the parallax map when the reference image is set to the left image and the position of the occlusion region shown in the parallax map when the reference image is set to the right image. Characterized in that. 제 1 항에 있어서, 상기 (d) 단계는The method of claim 1, wherein step (d) 동일한 깊이 정도를 갖는 객체단위로 분할하는 것을 특징으로 하는 다시점 영상 생성 방법.A multi-view image generating method characterized by dividing into object units having the same depth degree. 제 1 항에 있어서, 상기 (e) 단계는The method of claim 1, wherein step (e) 좌영상을 생성하는 경우에, 양시차를 갖는 영역은 왼쪽으로 음시차를 갖는 영역은 오른쪽으로 이동시켜 다시점 스테레오 영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.In the case of generating a left image, the multi-view image generation method of generating a multi-view stereo image by moving the area having a positive parallax to the left and the area having a negative parallax to the right. 제 1 항에 있어서, 상기 (e) 단계는The method of claim 1, wherein step (e) 우영상을 생성하는 경우에, 양시차를 갖는 영역은 오른쪽으로 음시차를 갖는 영역은 왼쪽으로 이동시켜 다시점 스테레오 영상을 생성하는 것을 특징으로 하는 다시점 영상 생성 방법.In the case of generating a right image, the multi-viewpoint image generating method of generating a multi-view stereo image by moving the region having a positive parallax to the right and moving the region having a negative parallax to the left. 제 1 항 내지 제 5 항 중 어느 한 항의 다시점 영상 생성 방법을 컴퓨터에서 판독할 수 있고 실행 가능한 프로그램 코드로 기록한 기록매체.A recording medium in which the method for generating a multiview image according to any one of claims 1 to 5 is recorded by a computer readable and executable program code.

Images