KR20150062187A - Apparatus and method of processing an image considering fatigue - Google Patents

Abstract

An apparatus and a method to process a stereo image considering a fatigue degree is disclosed. The apparatus to process an image comprises: a fatigue degree unit which estimates a fatigue degree of an input image; and a re-mapping unit which controls a relative distance of objects of the input image in a nonlinear way based on the estimated fatigue degree.

Description

피로도를 고려한 영상 처리 장치 및 방법{APPARATUS AND METHOD OF PROCESSING AN IMAGE CONSIDERING FATIGUE}[0001] APPARATUS AND METHOD OF PROCESSING AN IMAGE CONSIDERING FATIGUE [0002]

본 발명은 피로도를 고려한 영상 처리 장치 및 방법에 관한 것이다. The present invention relates to an image processing apparatus and method considering fatigue.

3D 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.The 3D image display device is an image display device that provides a different image reflecting a viewpoint difference between a left eye and a right eye of a person to make a three-dimensional sensation feel.

3D 영상 디스플레이 장치에 사용되는 영상으로는 좌안 시점 영상과 우안 시점 영상을 제공하는 스테레오스코픽(stereoscopic) 영상과 보다 다양한 시점의 영상을 제공하는 다시점(multi-view) 영상이 존재한다. 그러나, 3D 디스플레이를 구현하는 경우, 시선 수렴과 초점 조절의 차이 (Convergence-AccommodationAs the images used in the 3D image display apparatus, there are a stereoscopic image providing a left eye view image and a right eye view image, and a multi-view image providing an image of a more various viewpoints. However, when implementing a 3D display, the difference between eye convergence and focus adjustment (Convergence-Accommodation

Difference)로 인한 시청 피로(Visual fatigue)가 발생하는 데, 3D 영상 구현시 이러한 피로도를 고려하지 않았으며, 따라서 시청자가 영상 시청시 피로감을 느낄 수 있다. Difference of visual fatigue occurs. However, the 3D fatigue is not taken into consideration when the 3D image is implemented. Therefore, the viewer can feel fatigue when watching the video.

한국공개특허공보 제2012-0071970호 (공개일 : 2012년 7월 3일)
Korean Published Patent Application No. 2012-0071970 (Published on July 3, 2012)

본 발명은 피로도를 고려하여 스테레오 영상을 처리하는 장치 및 방법을 제공하는 것이다.The present invention provides an apparatus and method for processing a stereo image in consideration of fatigue.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상의 피로도를 추정하는 피로도부; 및 상기 추정된 피로도를 기초로 하여 상기 입력 영상의 객체들의 상대적인 거리를 비선형적으로 조절하는 리매핑부를 포함한다. According to an aspect of the present invention, there is provided an image processing apparatus including: a fatigue unit for estimating fatigue of an input image; And a remapping unit for nonlinearly adjusting a relative distance of the objects of the input image based on the estimated fatigue.

본 발명의 일 실시예에 따른 영상 처리 방법은 공간 주파수, 디스패리티 크기 또는 디스패리티 움직임을 통하여 입력 영상의 피로도를 추정하는 단계; 및 상기 추정된 피로도를 기초로 상기 입력 영상의 디스패리티 범위의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다. According to an aspect of the present invention, there is provided an image processing method including estimating a degree of fatigue of an input image through a spatial frequency, a disparity size, or a disparity motion; And non-linearly adjusting a relative distance of the objects in the disparity range of the input image based on the estimated fatigue.

본 발명의 다른 실시예에 따른 영상 처리 방법은 스테레오 영상의 피로도를 기초로 상기 스테레오 영상의 디스패리티 범위를 적응적으로 조절하는 단계; 및 상기 조절된 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다. According to another aspect of the present invention, there is provided an image processing method including adaptively adjusting a disparity range of a stereo image based on a fatigue of a stereo image; And non-linearly adjusting the relative distance between the objects of the adjusted disparity range.

본 발명의 또 다른 실시예에 따른 영상 처리 방법은 특정 장면에 포함된 프레임들의 피로도를 추정하는 단계; 및 상기 추정된 피로도를 기초로 하여 상기 각 프레임들의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다. According to another aspect of the present invention, there is provided an image processing method comprising: estimating a fatigue of frames included in a specific scene; And non-linearly adjusting the relative distances of the objects of the respective frames based on the estimated fatigue.

본 발명에 따른 영상 처리 장치 및 방법은 스테레오 영상의 피로도 점수를 구하고, 피로도 점수를 기초로 하여 스테레오 영상을 비선형적으로 리매핑한다. 결과적으로, 상기 스테레오 영상의 피로도가 최소화될 수 있다.
The image processing apparatus and method according to the present invention obtains a fatigue score of a stereo image, and non-linearly remembers the stereo image based on the fatigue score. As a result, the fatigue of the stereo image can be minimized.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 피로도부의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 리매핑부의 구성을 도시한 블록도이다.
도 4는 디스플레이 시스템의 기하학적인 구조를 도시한 도면이다.
도 5는 인덱스 지도 및 피로도 지도를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스패리티 리매핑 과정을 도시한 도면이다. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a fatigue portion according to an embodiment of the present invention.
3 is a block diagram illustrating the configuration of a remapping unit according to an embodiment of the present invention.
4 is a diagram showing a geometrical structure of a display system.
5 is a diagram showing an index map and a fatigue map.
6 is a diagram illustrating a disparity remapping process according to an embodiment of the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예들을 자세히 설명하도록 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

3D 컨텐츠를 디스플레이하는 과정에서 수렴(Convergence)과 조절(Accommodation)의 충돌로 인하여 피로도가 발생한다. 조절이 디스플레이 패널에 고정되는 동안 수렴은 객체에 대하여 변화하며, 이러한 조절과 수렴의 충돌은 피로도를 야기시킨다. In the process of displaying 3D contents, fatigue occurs due to the collision between convergence and accommodation. The convergence changes with respect to the object while the adjustment is fixed to the display panel, and the collision between this adjustment and convergence causes fatigue.

따라서, 본 발명은 피로도를 최소화할 수 있는 영상 처리 장치 및 방법을 제안한다. 즉, 상기 영상 처리 장치는 예를 들어 3D 영상인 스테레오 영상의 피로도를 반영하여 스테레오 영상(입력 영상)의 피로도를 최소화시킬 수 있다. 예를 들어, 상기 영상 처리 장치는 피로도가 높은 스테레오 영상의 디스패리티 범위(Disparity range)를 시각적으로 편안한 범위로 적응적으로 조절하고 상기 디스패리티 범위의 객체들의 상대적 거리를 비선형적으로 조절하여 피로도를 최소화시킬 수 있다. Accordingly, the present invention proposes an image processing apparatus and method capable of minimizing fatigue. That is, the image processing apparatus can minimize the fatigue of a stereo image (input image) by reflecting the fatigue of a stereo image, for example, a 3D image. For example, the image processing apparatus adaptively adjusts a disparity range of a stereo image with high visibility to a comfortable range and nonlinearly adjusts a relative distance of objects of the disparity range, Can be minimized.

시각적 피로도에 영향을 미치는 지표로는 공간 주파수(spatial frequency), 디스패리티 크기(disparity magnitude) 및 디스패리티 움직임(disparity moving)을 고려할 수 있다. 구체적으로는, 공간 주파수가 증가하면, 양안 융합 능력(binocular fusion ability)이 감소하여 피로도가 야기된다. 또한, 디스패리티 크기가 증가함에 따라 수렴과 조절 사이의 충돌이 더 심해지며, 그 결과 시각적 피로도가 발생한다. 디스패리티 움직임이 높으면, 일시적인 디스패리티 변화가 수렴과 조절 사이의 충돌을 발생시켜 피로도를 야기한다. The spatial frequency, disparity magnitude, and disparity moving may be considered as indicators that affect visual fatigue. Specifically, as the spatial frequency increases, the binocular fusion ability decreases and fatigue is caused. Also, as the disparity magnitude increases, the collision between convergence and control becomes worse, resulting in visual fatigue. If the disparity motion is high, a temporary disparity change causes a collision between convergence and control, resulting in fatigue.

따라서, 본 발명의 영상 처리 장치는 후술하는 바와 같이 피로도에 영향을 미치는 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 모두 고려하여 피로도 척도로서 피로도 점수를 구할 수 있다. 다만, 피로도 점수 산출시 공간 주파수, 디스패리티 크기 및 디스패리티 움직임의 가중치(weight)는 다를 수 있다. Therefore, the image processing apparatus of the present invention can obtain the fatigue score as the fatigue scale by considering all of the spatial frequency, the disparity size, and the disparity movement affecting the fatigue as described later. However, the space frequency, the disparity size, and the weight of the disparity motion may differ when calculating the fatigue score.

상기 영상 처리 장치는 상기 구해진 피로도 점수를 기초로 하여 디스패리티 리매핑(disparity remapping) 과정을 수행하여 상기 스테레오 영상의 피로도를 최소화시킨다. 상기 리매핑 과정은 피로도 점수에 기초하여 디스패리티 범위를 제어하기 위한 것으로서, 특히 비선형 리매핑 동작일 수 있다. The image processing apparatus performs a disparity remapping process based on the obtained fatigue score to minimize the fatigue of the stereo image. The remapping process is for controlling the disparity range based on the fatigue score, and may be a non-linear remapping operation in particular.

이하, 본 실시예의 영상 처리 방법 및 장치의 다양한 실시예들을 첨부된 도면들을 참조하여 상술하겠다. Hereinafter, various embodiments of the image processing method and apparatus of the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 블록도이다. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예의 영상 처리 장치는 시각적 피로도가 최소화되도록 입력된 스테레오 영상을 처리하는 장치로서, 피로도부(100) 및 리매핑부(102)를 포함할 수 있다. Referring to FIG. 1, the image processing apparatus of the present embodiment is an apparatus for processing an input stereo image so as to minimize visual fatigue, and may include a fatigue unit 100 and a remapping unit 102.

피로도부(100)는 입력된 스테레오 영상의 피로도를 추정하며, 예를 들어 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 기초로 상기 스테레오 영상의 피로도 점수를 구할 수 있다. 구체적으로는, 피로도부(100)는 공간 주파수, 디스패리티 크기 및 디스패리티 움직임의 인덱스 지도들(index map)을 생성하고, 상기 인덱스 지도들을 조합하여 피로도 지도(fatigue map)를 생성하며, 상기 생성된 피로도 지도로부터 피로도 점수를 산출할 수 있다. 일 실시예에 따르면, 피로도 점수 산출시 인덱스 지도들의 가중치가 다를 수 있다. The fatigue unit 100 estimates the fatigue of the inputted stereo image and can calculate the fatigue score of the stereo image based on the spatial frequency, the disparity size, and the disparity movement. Specifically, the fatigue unit 100 generates index maps of spatial frequency, disparity magnitude, and disparity movement, combines the index maps to generate a fatigue map, The fatigue score can be calculated from the fatigue map. According to one embodiment, the weight of index maps may be different in calculating fatigue score.

리매핑부(102)는 피로도부(100)에 의해 구해진 피로도 점수를 기초로 하여 스테레오 영상을 비선형적으로 리매핑하여 피로도를 최소화시킨다. The remapping unit 102 non-linearly remaps the stereo image based on the fatigue score obtained by the fatigue unit 100 to minimize fatigue.

일 실시예에 따르면, 리매핑부(102)는 스테레오 영상의 디스패리티 범위(disparity range)를 선형적으로 적응(adaptation)시키고, 즉 상기 스테레오 영상의 깊이를 선형적으로 조절하고, 그런 후 불편한 객체들 사이의 디스패리티 경사(disparity gradient)를 최소화하도록 객체들 사이의 상대적인 거리를 비선형적으로 조절할 수 있다. 결과적으로, 리매핑부(102)로부터 출력되는 스테레오 영상의 피로도가 최소화될 수 있다. According to one embodiment, the remapping unit 102 linearly adapts the disparity range of the stereo image, i.e., linearly adjusts the depth of the stereo image, The relative distance between objects can be non-linearly adjusted to minimize the disparity gradient between the objects. As a result, the fatigue of the stereo image output from the remapping unit 102 can be minimized.

한편, 리매핑부(102)는 편안한 스테레오 영상의 경우 디스패리티 범위 적응 과정 및 비선형적 깊이 조절 과정을 통하여 스테레오 영상에 입체감을 더 부여할 수 있다. In the case of a comfortable stereo image, the remapping unit 102 may further impart a stereoscopic effect to the stereo image through the disparity range adaptation process and the nonlinear depth adjustment process.

정리하면, 본 실시예의 영상 처리 방법은 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 고려하여 피로도를 추정하고, 추정된 피로도를 이용하여 디스패리티 범위를 선형적으로 적응시킨 후 비선형적으로 객체들 사이의 상대적 거리를 조절하여 피로도를 최소화시킬 수 있다. In summary, the image processing method of the present embodiment estimates fatigue in consideration of spatial frequency, disparity size, and disparity motion, linearly adapts the disparity range using the estimated fatigue, and then nonlinearly So that the fatigue can be minimized.

이하, 영상 처리 장치의 구성요소들의 구성 및 동작을 첨부된 도면들을 참조하여 상술하겠다. Hereinafter, the configuration and operation of the components of the image processing apparatus will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 피로도부의 구성을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 리매핑부의 구성을 도시한 블록도이다. 도 4는 디스플레이 시스템의 기하학적인 구조를 도시한 도면이고, 도 5는 인덱스 지도 및 피로도 지도를 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 디스패리티 리매핑 과정을 도시한 도면이다. FIG. 2 is a block diagram illustrating a configuration of a fatigue part according to an embodiment of the present invention, and FIG. 3 is a block diagram illustrating a configuration of a remapping part according to an embodiment of the present invention. FIG. 4 is a diagram illustrating a geometric structure of a display system, FIG. 5 is a diagram illustrating an index map and a fatigue map, and FIG. 6 is a diagram illustrating a disparity remapping process according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예의 피로도부(100)는 피로도 분석 유닛(200), 피로도 지도 유닛(202) 및 피로도 추정 유닛(204)을 포함할 수 있다. Referring to FIG. 2, the fatigue portion 100 of the present embodiment may include a fatigue analysis unit 200, a fatigue mapping unit 202, and a fatigue estimation unit 204.

피로도 분석 유닛(200)은 시각적 피로도에 영향을 미치는 지표들을 분석하며, 예를 들어 공간 주파수 유닛(spatial frequency unit, 210), 디스패리티 크기 유닛(disparity magnitude unit, 212) 및 디스패리티 움직임 유닛(disparity motion unit, 214)을 포함할 수 있다. The fatigue analysis unit 200 analyzes the indicators that affect the visual fatigue, and for example includes a spatial frequency unit 210, a disparity magnitude unit 212 and a disparity motion unit a motion unit 214 may be included.

공간 주파수 유닛(210)은 이미지 구조(image texture)와 관련되며, 사용자의 피로도에 영향을 미치는 지표이다. 일반적으로, 공간 주파수가 높은 이미지는 공간 주파수가 낮은 이미지보다 더 시각적 피로도를 야기시킨다. 따라서, 공간 주파수 유닛(210)은 피로도를 검출하기 위하여 스테레오 영상의 공간 주파수를 분석한다. The spatial frequency unit 210 is associated with an image texture and is an index that affects the user's fatigue. In general, images with higher spatial frequencies cause more visual fatigue than images with lower spatial frequencies. Thus, the spatial frequency unit 210 analyzes the spatial frequency of the stereo image to detect fatigue.

중요한 시각적 특징들은 국부 위상 합치(local phase congruency)가 최대인 지점에서 인식될 수 있다. 또한, 인간 대뇌 피질은 자연 이미지(natural image)에서의 공간 주파수 위상에 민감하다. 즉, 공간 주파수는 시각적 피로도에 영향을 미치게 된다. Important visual features can be recognized at the point where local phase congruency is greatest. In addition, the human cerebral cortex is sensitive to the spatial frequency phase in the natural image. That is, the spatial frequency affects the visual fatigue.

상기 공간 주파수는 위상 합치를 구함에 의해 산출될 수 있다. 위상 합치는 아래의 수학식 1 내지 수학식 3을 통하여 구해질 수 있다. The spatial frequency can be calculated by obtaining a phase match. The phase matching can be obtained by the following equations (1) to (3).

여기서,

(grayscale에서의 오리지널 영상), here,

(original video in grayscale),

Ω⊂N²(2D 좌표 p=(x,y)∈Ω를 가지는 open and bounded space), Ω⊂N ² (open and bounded space with 2D coordinates p = (x, y) ∈Ω),

(필터의 방향각) J는 방향(orientation)의 수,

(The direction angle of the filter) J is the number of orientations,

(각기 even 응답 벡터 및 odd 응답 벡터), M_n ^e, M_n ^o는 각기 even 대칭 필터 및 odd 대칭 필터임

(Even response vector and odd response vector, respectively), M _n ^e and M _n ^o are even symmetric filters and odd symmetric filters, respectively.

여기서,

, here,

,

여기서, μ는 작은 양의 상수(positive constant)이고, Z_n은 정규화 계수(normalization coefficient)임.Where μ is a positive constant and Z _n is a normalization coefficient.

스테레오 영상의 국부 크기(local amplitude) 및 국부 에너지(local energy)는 위 수학식 1 및 수학식 2를 통하여 각기 구해질 수 있으며, 스테레오 영상의 각 픽셀들의 위상 합치는 수학식 3에 의해 구해질 수 있다. 결과적으로, 상기 스테레오 영상의 공간 주파수가 구해질 수 있다. The local amplitudes and local energies of the stereo image can be obtained through Equation 1 and Equation 2 and the phase conjugation of each pixel of the stereo image can be obtained by Equation 3 have. As a result, the spatial frequency of the stereo image can be obtained.

즉, 공간 주파수 유닛(210)은 공간 주파수를 구하기 위한 피로도 모델을 설정하고, 피로도 모델을 통하여 공간 주파수의 인덱스 지도를 생성할 수 있다. 예를 들어, 도 5의 (A)에 도시된 바와 같이 피로도 모델을 기초로 하여 공간 주파수 견지에서의 스테레오 영상의 인덱스 지도가 생성될 수 있다.
That is, the spatial frequency unit 210 sets a fatigue model for obtaining a spatial frequency, and generates an index map of a spatial frequency through the fatigue model. For example, an index map of the stereo image in the spatial frequency view can be generated based on the fatigue model as shown in Fig. 5 (A).

디스패리티 크기 유닛(212)은 깊이 크기(depth magnitude)와 관련되며, 사용자의 피로도에 영향을 미치는 지표이다. 자연스러운 시청 조건 하에서 눈의 조절이 제한되기 때문에 시간적으로 편안한 영역이 존재하게 된다. 이미지들 사이의 디스패리티가 시각적으로 편안한 영역 이상으로 증가하면, 수렴과 조절 사이의 충돌로 인하여 눈이 피로감을 느끼게 된다. The disparity magnitude unit 212 is associated with the depth magnitude and is an indicator that affects the user's fatigue. Because of the limited eye control under natural viewing conditions, there is a temporally comfortable area. If the disparity between images increases beyond the visually comfortable area, the eye feels fatigue due to collisions between convergence and control.

깊이 인식이 시청자의 위치, 디스플레이 사이즈 및 이미지 해상도에 의존하기 때문에, 픽셀들 사이의 배열에 의해 표현되는 디스패리티는 효율적으로 상대적인 점수를 보여줄 수 없다. 따라서, 본 발명의 디스패리티 크기 유닛(212)은 시청 거리, 디스플레이 사이즈 및 내부 시각 거리(inter-ocular distance)와 같은 특정 시청 환경을 반영함에 의해 디스패리티를 평가하는 각도 디스패리티(angular disparity)를 사용하고, 스테리오 영상의 인덱스 지도를 생성한다. Because depth perception depends on the viewer's location, display size, and image resolution, the disparity represented by the arrangement between pixels can not efficiently show relative scores. Accordingly, the disparity magnitude unit 212 of the present invention can be used to estimate an angular disparity that evaluates disparity by reflecting a particular viewing environment such as viewing distance, display size, and inter-ocular distance And generates an index map of the stereo image.

도 4에 도시된 바와 같이, 각도 디스패리티는 눈과 디스플레이 사이의 각도(α)와 눈과 객체 사이의 각도(β)의 차이로 표현될 수 있다. 이미지 디스패리티(d_c(p))로부터 각도 디스패리티(d_a(p))를 구하기 위하여, d_c(p)를 디스플레이된 패리티의 실제 크기(d_m(p))로 전환할 필요가 있으며, 이는 아래의 수학식 4를 통하여 수행된다. As shown in Fig. 4, the angular disparity can be expressed by the difference between the angle between the eye and the display (?) And the angle between the eye and the object (?). Image disparity (d _c (p)) it is necessary to switch to the angular disparity (d _a (p)) a, d _c actual size of the parity display the _{(p) (d m (p} )) to obtain from , Which is performed through Equation (4) below.

여기서, X_c는 이미지의 수평 픽셀 사이즈를 의미하고, X_m은 디스플레이의 수평 길이를 나타냄.Where X _c denotes the horizontal pixel size of the image and X _m denotes the horizontal length of the display.

객체와 디스플레이 사이의 거리(Z)는 아래의 수학식 5를 통하여 구해질 수 있다. The distance (Z) between the object and the display can be obtained by the following equation (5).

여기서, I는 내부 시각 거리를 의미하고, V는 시청 거리(viewing distance)를 나타냄.Here, I denotes an internal visual distance, and V denotes a viewing distance.

최종적으로, 각도 디스패리티(d_a(p))는 (α-β)로서, 아래의 수학식 6과 같다. Finally, the angular disparity (d _a (p)) is (? -?), Which is shown in Equation (6) below.

여기서, α는 눈들과 디스플레이 사이의 각도를 의미하고, β는 눈들과 객체 사이의 각도를 나타냄.
Where alpha denotes the angle between the eyes and the display, and beta denotes the angle between the eyes and the object.

디스패리티 움직임 유닛(214)은 깊이 움직임과 관련되며, 깊이 움직임 견지에서 스테레오 영상의 인덱스 지도를 생성한다. 객체 움직임이 빠르면, 눈들의 융합 능력이 객체 움직임 속도를 따라가지 못할 수 있다. 즉, 높은 속도의 깊이 움직임은 시각적 피로도를 유발하며, 디스패리티 움직임은 아래의 수학식 7과 같이 표현될 수 있다. The disparity motion unit 214 is associated with a depth motion and generates an index map of the stereo image from a depth motion perspective. If the object motion is fast, the ability of the eyes to converge may not follow the object motion speed. That is, a high-speed depth motion causes visual fatigue, and a disparity motion can be expressed as Equation (7) below.

여기서, d^t _a(p)는 t번째 프레임의 디스패리티 값을 의미하고, d^{t +1} _a(p)는 (t+1)번째 프레임의 디스패리티 값을 나타냄.
Here, d ^t _a (p) represents the disparity value of the t-th frame, and d ^{t +1} _a (p) represents the disparity value of the (t + 1) th frame.

피로도 지도 유닛(202)은 위에서 구해진 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 기초로 하여 피로도 지도를 생성한다. The fatigue mapping unit 202 generates a fatigue map based on the spatial frequency, disparity size, and disparity motion obtained above.

우선, 위상 합치에 기초한 공간 주파수의 인덱스 지도(f₁(p))는 아래의 수학식 8과 같이 표현되며, 예를 들어 도 5의 (A)에서 보여진다. First, the index map f ₁ (p) of the spatial frequency based on the phase matching is expressed by the following equation (8), for example, as shown in FIG. 5 (A).

여기서,

here,

수학식 8에 따르면, 시각적 피로도가 심해질 때 각 픽셀은 더 낮은 값을 가진다. According to equation (8), each pixel has a lower value when visual fatigue becomes worse.

다음으로, 각도 디스패리티에 기초한 디스패리티 크기의 인덱스 지도(f₂(p))는 아래의 수학식 9와 같이 표현되며, 예를 들어 도 5의 (B)에서 보여진다. Next, the index map f ₂ (p) of the disparity size based on the angular disparity is expressed by the following Equation 9, for example, as shown in FIG. 5B.

수학식 9를 참조하면,

가 작아짐에 따라 f₂(p)는 1에 가까워지며, 이는 피로도 정도가 편안하다는 것을 의미한다. 편안한 영역의 임계(σ_{c omfo rt})는 1로 설정된다. Referring to Equation 9,

F ₂ (p) is close to 1, which means that the degree of fatigue is comfortable. The threshold of the relaxed region ( _{c omfo rt} ) is set to one.

마지막으로, 디스패리티 움직임의 인덱스 지도(f₃(p))는 아래의 수학식 10과 같이 표현되며, 예를 들어 도 5의 (C)에서 보여진다. Finally, the index map f ₃ (p) of the disparity motion is expressed as Equation 10 below and is shown, for example, in FIG. 5C.

피로도 지도 유닛(202)은 위 수학식 8 내지 수학식 10을 기초로 하여 아래의 수학식 11로서 표현되는 시각적 피로도 지도를 생성하며, 예를 들어 도 5의 (D)에서 보여진다. The fatigue mapping unit 202 generates a visual fatigue map expressed by Equation (11) below based on the above Equations (8) to (10), for example, as shown in (D) of FIG.

위 수학식 11에서 알 수 있는 바와 같이, 인덱스 지도들의 계수들(α₁, α₂, α₃)이 다르게 설정될 수 있으며, 즉 공간 주파수의 인덱스 지도, 디스패리티 크기의 인덱스 지도 및 디스패리티 움직임의 인덱스 지도의 가중치들이 다를 수 있다. 이러한 가중치들은 공간 주파수, 디스패리티 크기 및 디스패리티 움직임이 시각적 피로도에 영향을 미치는 정도를 고려하여 설정된다. As can be seen from Equation (11), the coefficients (? ₁ ,? ₂ ,? ₃ ) of the index maps can be set differently, that is, the index map of the spatial frequency, the index map of the disparity size, The weight of the index map may be different. These weights are set in consideration of the spatial frequency, the disparity magnitude, and the degree to which the disparity motion affects the visual fatigue.

피로도 추정 유닛(204)은 피로도 지도를 이용하여 피로도 점수(fatigue score)를 구한다. 일반적으로 가장 나쁜 국부 품질 영역이 전체 인식에 상당한 영향을 미치므로, 피로도 추정 유닛(204)은 피로도 점수(S)를 구하기 위하여 아래의 수학식 12에 보여지는 바와 같이 이러한 영역의 퍼센티지(ε%)를 고려한다. The fatigue estimating unit 204 uses a fatigue map to obtain a fatigue score. Since the worst local quality domain generally has a significant impact on overall recognition, the fatigue estimating unit 204 calculates the percentage (%) of such a region as shown in Equation 12 below to obtain the fatigue score S, .

여기서, Θ_i는 높은 피로도 점수를 가지는 전체 픽셀의 퍼센티지(ε%)를 의미하고, N_ε은 Θ_i에 해당하는 픽셀들의 수를 나타냄.Here, Θ _i denotes the percentage (ε%) of the total pixels having a high fatigue score, and N _ε denotes the number of pixels corresponding to Θ _i .

수학식 12에 따르면, 스테레오 영상이 더 편안할수록 피로도 점수(S)가 높음을 알 수 있다.
According to Equation (12), the more comfortable the stereo image, the higher the fatigue score (S).

이하, 이렇게 구해진 피로도 점수를 기초로 하여 디스패리티 리매핑하는 과정을 살펴보겠다. Hereinafter, the disparity remapping process will be described based on the obtained fatigue score.

본 실시예의 리매핑부(102)는 결정된 전체 피로도 점수에 기초하여 디스패리티 범위를 결정하고, 문제되는 영역의 디스패리티 영역을 압축함에 의해 시각적 피로도를 회피하도록 리매핑 연산자(remapping operator)를 비선형적으로 구동시킨다. The remapper 102 of this embodiment determines the disparity range based on the determined total fatigue score and drives the remapping operator nonlinearly to avoid visual fatigue by compressing the disparity area of the problem area .

일 실시예에 따르면, 리매핑부(102)는 도 3에 도시된 바와 같이 디스패리티 범위 적응을 수행하는 디스패리티 범위 유닛(300) 및 비선형적으로 깊이를 조절하는 비선형 조절 유닛(302)을 포함할 수 있다. According to one embodiment, the remapping unit 102 includes a disparity range unit 300 that performs disparity range adaptation as shown in FIG. 3 and a non-linearly adjustable depth non-linearity unit 302 .

디스패리티 범위 유닛(300)은 피로도 점수에 따라 디스패리티 범위를 제어하는 디스패리티 범위 적응 과정을 수행한다. 구체적으로는, 스테레오 영상의 디스패리티 범위는 스테레오 영상 생성 과정에서 미리 결정되며, 그 결과 시청 환경 및 영상 특성에 따라 3D 효과가 과도하거나 부족할 수 있다. 따라서, 본 발명의 디스패리티 범위 유닛(300)은 스테레오 영상의 피로도 점수를 고려하여 디스패리티 범위를 적응적으로 조절한다. The disparity range unit 300 performs the disparity range adaptation process of controlling the disparity range according to the degree of fatigue. Specifically, the disparity range of the stereo image is predetermined in the stereo image generation process, and as a result, the 3D effect may be excessive or insufficient depending on the viewing environment and the image characteristic. Accordingly, the disparity range unit 300 of the present invention adaptively adjusts the disparity range in consideration of the degree of fatigue of the stereo image.

피로도 점수를 고려한 타겟 디스패리티 범위(R_target)는 아래의 수학식 13과 같다. The target disparity range ( _Rtarget ) considering the fatigue score is expressed by Equation (13) below.

여기서, R_comfort는 기정의된 편안한 범위의 최대 디스패리티와 최소 디스패리티의 차이를 의미하며, 예를 들어 1로 설정됨.Here, R _comfort means a difference between a maximum disparity and a minimum disparity in a predetermined relaxed range, and is set to 1, for example.

시각적 피로도를 결정하는 임계치(σ)는 0.7로 설정될 수 있다. 이 경우, 피로도 점수(S)가 임계치(σ)보다 작으면, 타겟 디스패리티 범위(R_target)는 R_comfort보다 작아진다. The threshold value? For determining the visual fatigue can be set to 0.7. In this case, if the fatigue score S is smaller than the threshold value?, The target disparity range R _target becomes smaller than R _comfort .

이어서, 디스패리티 범위 유닛(300)은 수학식 14를 통하여 입력된 스테레오 영상의 원 디스패리티 범위(original disparity range)의 최대 디스패리티(

) 및 최소 디스패리티(

)를 구한다. Then, the disparity range unit 300 calculates the maximum disparity of the original disparity range of the stereo image input through Equation (14)

) And minimum disparity (

).

디스패리티 범위 유닛(300)은 타겟 디스패리티 범위(R_target)로 디스패리티 범위를 선형적으로 조절한다. 예를 들어, 도 5의 (A)가 원 디스패리티 범위를 표현하였다면, 도 5의 (B)는 디스패리티 범위 유닛(300)에 의해 디스패리티 범위가 적응된 후의 깊이를 보여준다. The disparity range unit 300 linearly adjusts the disparity range to the _target disparity range ( _Rtarget ). For example, if FIG. 5 (A) represents the one-point parity range, FIG. 5 (B) shows the depth after the disparity range is adapted by the disparity range unit 300.

도 5에서 상부 그림은 편안한 경우를 나타내고, 하부 그림은 불편한 경우를 나타낸다. In Fig. 5, the upper diagram shows a comfortable case and the lower figure shows a case where it is inconvenient.

불편한 경우, 즉 피로도가 임계치보다 높은 경우, 도 5의 하부 그림에서 확인할 수 있듯이 객체들 사이의 상대적인 거리를 작게 조절한다. In case of inconvenience, that is, when the fatigue is higher than the threshold value, the relative distance between objects is adjusted to be small as shown in the lower part of FIG.

반면에, 편안한 경우, 즉 피로도가 임계치 이하인 경우, 도 5의 상부 그림에서 확인할 수 있듯이 객체들 사이의 상대적인 거리를 증가시켜 입체감을 향상시킬 수 있다. On the other hand, if the fatigue is less than the threshold value, as shown in the upper part of FIG. 5, the relative distance between the objects can be increased to improve the 3D effect.

이러한 디스패리티 범위 적응 과정은 디스패리티 범위 유닛(300)에 의해 자동으로 수행될 수 있다. This disparity range adaptation process can be performed automatically by the disparity range unit 300. [

비선형 조절 유닛(302)은 디스패리티 범위 적응된 스테레오 영상을 비선형적으로 리매핑하는 역할을 수행한다. The nonlinear adjustment unit 302 plays a role of non-linearly remapping the disparity-range-adapted stereo image.

인간의 눈은 큰 디스패리티 차이(즉, 디스패리티 경사(disparity gradient))를 가지는 다수의 객체들을 포함하는 스테레오 영상을 시청할 때 피로감을 느낀다. 이는 조절이 디스플레이에 고정될 동안 눈의 수렴은 변화되기 때문에 발생한다. 이러한 문제를 해결하기 위하여, 비선형 조절 유닛(302)의 리매핑 연산자는 편안한 영역의 디스패리티 경사를 늘리는 동안 시각적 피로도를 감소시키도록 문제되는 영역의 디스패리티 경사를 압축할 수 있다. 예를 들어, 비선형 조절 유닛(302)은 도 5의 (C)에 도시된 바와 같이 객체들 사이의 거리 차이를 비선형적으로 조절할 수 있다. The human eye feels tired when watching a stereo image including a large number of objects having a large disparity difference (i.e., disparity gradient). This occurs because the convergence of the eye changes while the adjustment is fixed on the display. To solve this problem, the remapping operator of the nonlinear adjustment unit 302 may compress the disparity slope of the region of interest to reduce the visual fatigue while increasing the disparity slope of the comfortable region. For example, the nonlinear adjustment unit 302 can nonlinearly adjust the distance difference between objects as shown in Fig. 5 (C).

구체적으로는, 각 객체들의 피로도 정도는 아래의 수학식 15에 표현된 바와 같이 각 디스패리티들의 피로도 점수의 평균을 구함에 의해 추정될 수 있다. Specifically, the degree of fatigue of each object can be estimated by obtaining an average of fatigue scores of the respective disparities as shown in Equation (15) below.

여기서, N_k는 디스패리티 k를 가지는 픽셀들의 수를 나타내며,

Here, N _k represents the number of pixels having disparity k,

이어서, 리매핑 연산자는 아래의 수학식 16에 보여지는 바와 같이 생성될 수 있다. Then, the remapping operator may be generated as shown in Equation (16) below.

도 16에 따르면, 불편함을 야기시키는 문제되는 영역의 출력 디스패리티 경사는 편안한 영역의 디스페리티 경사가 늘어날 동안 압축되며, 즉 객체들 사이의 상대적인 깊이 거리가 비선형적으로 제어된다. 또한, 상기 비선형 디스패리티 리매핑 연산자는 φ(k)가 단조 증가 함수(monotonic increasing function)이므로 디스패리티 역전(disparity inversion)을 방지할 수 있다. 여기서,

, ψ(k)≥0임. 즉,

According to Fig. 16, the output disparity slope of the problematic area causing the inconvenience is compressed while the disparity gradient of the comfortable area is increased, i.e., the relative depth distance between the objects is non-linearly controlled. Also, the nonlinear disparity remapping operator can prevent disparity inversion because? (K) is a monotonic increasing function. here,

, ψ (k) ≥0. In other words,

다른 실시예에 따르면, 리매핑부(102)는 장면(scene) 단위로 디스패리티 리매핑 연산자를 구현할 수 있다. According to another embodiment, the remapping unit 102 may implement a disparity remapping operator on a scene basis.

디스패리티 리매핑 기술을 영상에 적용할 때, 프레임들 사이의 깊이 일관성(depth coherence)을 고려해야 한다. 디스패리티 연산자가 각 프레임들을 위해서 개별적으로 생성되면, 다른 프레임들의 동한일 객체의 디스패리티가 유사하지 않을 수 있어서 시각 아티팩트(visual artifact)를 유발할 수 있다. 이러한 문제를 해결하기 위하여, 본 발명의 영상 처리 장치는 프레임 단위가 아닌 장면 단위로 디스패리티 리매핑 연산자를 생성한다. When disparity remapping techniques are applied to an image, depth coherence between frames must be considered. If disparity operators are generated separately for each frame, the disparities of objects in the same frame of different frames may not be similar, which may cause visual artifacts. In order to solve such a problem, the image processing apparatus of the present invention generates a disparity remapping operator on a scene-by-scene basis, not on a frame-by-frame basis.

일반적으로, 각 장면은 유사한 프레임들, 즉 객체들을 포함하고 그들의 깊이 분배는 예상치 못하게 변하지는 않는다. 따라서, 본 발명의 영상 처리 장치는 장면 내의 모든 프레임들의 시각적 피로도 정도를 고려하여 각 장면을 위한 디스패리티 범위를 결정한다. 이 경우, 디스패리티 범위는 아래의 수학식 17과 같다. In general, each scene includes similar frames, i.e., objects, and their depth distribution does not change unexpectedly. Therefore, the image processing apparatus of the present invention determines the disparity range for each scene in consideration of the degree of visual fatigue of all the frames in the scene. In this case, the disparity range is expressed by Equation (17) below.

장면의 최대 디스패리티 및 최소 디스패리티는 수학식 14에 의해 구해진다. The maximum disparity and the minimum disparity of the scene are obtained by Equation (14).

이어서, 각 디스패리티를 위한 피로도 점수의 평균이 리매핑 연산자를 생성하도록 계산되며, 아래의 수학식 18과 같다. The average of the fatigue scores for each disparity is then calculated to produce a remapping operator, as shown in Equation 18 below.

여기서, Φ_S 및 N(Φ_S)는 각기 장면 내의 프레임 세트 및 프레임들의 전체 수를 의미한다. ψ^t(k)는 t번째 프레임의 ψ(k)를 나타낸다. Here,? _S and N (? _S ) indicate the total number of frames and frames in the scene, respectively. ψ ^t (k) represents ψ (k) of the t-th frame.

계속하여, 상기 영상 처리 장치는 상기 리매핑 연산자를 아래의 수학식 19에 보여지는 바와 같이 비선형화시킨다. Subsequently, the image processing apparatus nonlinearizes the remapping operator as shown in Equation (19) below.

정리하면, 상기 영상 처리 장치는 장면 내의 프레임들(영상들)의 피로도 점수들을 획득하고, 상기 획득된 피로도 점수들의 평균을 구하며, 상기 구해진 피로도 점수들의 평균을 기초로 디스패리티 범위 적응하고, 상기 적응된 디스패리티 범위의 객체들을 비선형화시킬 수 있다. 결과적으로, 시각 아티팩트가 발생하지 않을 수 있다. In summary, the image processing apparatus obtains fatigue scores of frames (images) in the scene, obtains an average of the obtained fatigue scores, adapts the disparity range based on an average of the obtained fatigue scores, The objects of the disparity range can be non-linearized. As a result, visual artifacts may not occur.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다. It will be apparent to those skilled in the art that various modifications, additions and substitutions are possible, without departing from the spirit and scope of the invention as defined by the appended claims. Should be regarded as belonging to the following claims.

100 : 피로도부 102 : 리매핑부100: fatigue 102: Remapping unit

Claims (15)

입력 영상의 피로도를 추정하는 피로도부; 및
상기 추정된 피로도를 기초로 하여 상기 입력 영상의 객체들의 상대적인 거리를 비선형적으로 조절하는 리매핑부를 포함하는 것을 특징으로 하는 영상 처리 장치. A fatigue section for estimating a fatigue of an input image; And
And a remapping unit for non-linearly adjusting a relative distance of the objects of the input image based on the estimated fatigue. 제1항에 있어서, 상기 입력 영상은 3D용 스테레오 영상이며,
상기 피로도부는,
상기 입력 영상의 공간 주파수(spatial frequency)를 분석하여 제 1 인덱스 지도를 생성하는 공간 주파수 유닛;
상기 입력 영상의 디스패리티 크기(disparity magnitude)를 분석하여 제 2 인덱스 지도를 생성하는 디스패리티 크기 유닛;
상기 입력 영상의 디스패리티 움직임(disparity motion)을 분석하여 제 3 인덱스 지도를 생성하는 디스패리티 움직임 유닛;
상기 생성된 모든 인덱스 지도들을 조합하여 피로도 지도를 생성하는 피로도 지도 유닛; 및
상기 생성된 피로도 지도로부터 피로도 점수를 구하는 피로도 추정 유닛을 포함하는 것을 특징으로 하는 영상 처리 장치. The method of claim 1, wherein the input image is a 3D stereo image,
The fatigue-
A spatial frequency unit for generating a first index map by analyzing a spatial frequency of the input image;
A disparity magnitude unit for generating a second index map by analyzing a disparity magnitude of the input image;
A disparity motion unit for generating a third index map by analyzing a disparity motion of the input image;
A fatigue map unit for generating a fatigue map by combining all the generated index maps; And
And a fatigue estimation unit for obtaining a fatigue score from the generated fatigue map. 제2항에 있어서, 상기 피로도 지도 생성시 상기 인덱스들 중 적어도 하나는 다른 가중치를 가지는 것을 특징으로 하는 영상 처리 장치. 3. The image processing apparatus of claim 2, wherein at least one of the indexes has a different weight when generating the fatigue map. 제1항에 있어서, 상기 리매핑부는,
상기 추정된 피로도에 기초하여 상기 입력 영상의 디스패리티 범위(disparity range)를 적응적으로 조절하는 디스패리티 범위 유닛; 및
상기 적응적으로 조절된 디스패리티 범위의 객체들 사이의 거리를 비선형적으로 조절하는 비선형 조절 유닛을 포함하는 것을 특징으로 하는 영상 처리 장치. The apparatus of claim 1, wherein the remapping unit comprises:
A disparity range unit for adaptively adjusting a disparity range of the input image based on the estimated fatigue; And
And a nonlinear adjustment unit for nonlinearly adjusting distances between the objects of the adaptively adjusted disparity range. 제4항에 있어서, 상기 디스패리티 범위 유닛은 상기 추정된 피로도가 임계치이하이면 상기 디스패리티 범위를 선형적으로 증가시키고, 상기 추정된 피로도가 상기 임계치보다 크면 상기 디스패리티 범위를 선형적으로 압축시키는 것을 특징으로 하는 영상 처리 장치. The apparatus of claim 4, wherein the disparity range unit linearly increases the disparity range when the estimated fatigue is below a threshold value, and linearly compresses the disparity range when the estimated fatigue is greater than the threshold value And the image processing apparatus. 제5항에 있어서, 상기 비선형 조절 유닛은 상기 디스패리티 범위 중 편안한 영역의 객체들 사이의 거리를 증가시키고, 불편한 영역의 객체들 사이의 거리를 감소시키는 것을 특징으로 하는 영상 처리 장치.6. The image processing apparatus of claim 5, wherein the nonlinear adjustment unit increases the distance between the objects in the comfortable region of the disparity range and reduces the distance between the objects in the uncomfortable region. 공간 주파수, 디스패리티 크기 또는 디스패리티 움직임을 통하여 입력 영상의 피로도를 추정하는 단계; 및
상기 추정된 피로도를 기초로 상기 입력 영상의 디스패리티 범위의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. Estimating a degree of fatigue of an input image through a spatial frequency, a disparity size, or a disparity motion; And
And non-linearly adjusting a relative distance of objects in the disparity range of the input image based on the estimated fatigue. 제7항에 있어서, 상기 피로도를 추정하는 단계는,
3D용 입력 영상의 공간 주파수를 분석하여 제 1 인덱스 지도를 생성하는 단계;
상기 입력 영상의 디스패리티 크기를 분석하여 제 2 인덱스 지도를 생성하는 단계;
상기 입력 영상의 디스패리티 움직임을 분석하여 제 3 인덱스 지도를 생성하는 단계;
상기 생성된 모든 인덱스 지도들을 조합하여 피로도 지도를 생성하는 단계; 및
상기 생성된 피로도 지도로부터 피로도 점수를 구하는 단계를 포함하되,
상기 피로도 지도 생성시 상기 인덱스 지도들의 가중치가 다른 것을 특징으로 하는 영상 처리 방법. 8. The method of claim 7, wherein estimating the fatigue comprises:
Generating a first index map by analyzing a spatial frequency of an input image for 3D;
Analyzing a disparity size of the input image to generate a second index map;
Analyzing a disparity motion of the input image to generate a third index map;
Generating a fatigue map by combining all the generated index maps; And
And obtaining a fatigue score from the generated fatigue map,
Wherein the weight of the index maps is different when the fatigue map is generated. 제8항에 있어서, 상기 비선형적으로 조절하는 단계는,
상기 구해진 피로도 점수에 기초하여 상기 입력 영상의 디스패리티 범위 적응을 선형적으로 수행하는 단계; 및
상기 디스패리티 범위 적응이 완료된 후 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. 9. The method of claim 8, wherein the non-
Performing linearly the disparity range adaptation of the input image based on the obtained fatigue score; And
And adjusting nonlinearly the relative distance between the objects in the disparity range after the disparity range adaptation is completed. 제9항에 있어서, 상기 피로도 점수가 임계치 이하이면 상기 디스패리티 범위를 선형적으로 증가시키고, 상기 피로도 점수가 상기 임계치보다 크면 상기 디스패리티 범위를 선형적으로 압축시키며,
상기 디스패리티 범위 중 편안한 영역의 객체들 사이의 거리를 증가시키고, 불편한 영역의 객체들 사이의 거리를 감소시키는 것을 특징으로 하는 영상 처리 방법. 10. The method of claim 9, wherein linearly increasing the disparity range when the degree of fatigue is below a threshold and compressing the disparity range linearly if the degree of fatigue is greater than the threshold,
Wherein a distance between objects in a comfortable area is increased and a distance between objects in an uncomfortable area is reduced in the disparity range. 스테레오 영상의 피로도를 기초로 상기 스테레오 영상의 디스패리티 범위를 적응적으로 조절하는 단계; 및
상기 조절된 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. Adaptively adjusting a disparity range of the stereo image based on the fatigue of the stereo image; And
And adjusting non-linearly the relative distances between objects of the adjusted disparity range. 제11항에 있어서, 상기 피로도 점수가 임계치 이하이면 상기 디스패리티 범위를 선형적으로 증가시키고, 상기 피로도 점수가 상기 임계치보다 크면 상기 디스패리티 범위를 선형적으로 압축시키며,
상기 디스패리티 범위 중 편안한 영역의 객체들 사이의 거리를 증가시키고, 불편한 영역의 객체들 사이의 거리를 감소시키는 것을 특징으로 하는 영상 처리 방법. 12. The method of claim 11, wherein if the degree of fatigue is less than a threshold value, linearly increasing the disparity range, compressing the disparity range linearly if the degree of fatigue is greater than the threshold value,
Wherein a distance between objects in a comfortable area is increased and a distance between objects in an uncomfortable area is reduced in the disparity range. 특정 장면에 포함된 프레임들의 피로도를 추정하는 단계; 및
상기 추정된 피로도를 기초로 하여 상기 각 프레임들의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. Estimating a fatigue of frames included in a specific scene; And
And adjusting non-linearly the relative distances of the objects of the respective frames based on the estimated fatigue. 제13항에 있어서, 상기 피로도를 추정하는 단계는,
공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 고려하여 상기 프레임들의 피로도 점수들을 구하는 단계; 및
상기 구해진 피로도 점수들의 평균을 구하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. 14. The method of claim 13, wherein estimating the fatigue comprises:
Obtaining the fatigue scores of the frames in consideration of a spatial frequency, a disparity size, and a disparity motion; And
And obtaining an average of the obtained fatigue scores. 제14항에 있어서, 상기 비선형적으로 조절하는 단계는,
상기 구해진 평균에 기초하여 상기 프레임들의 디스패리티 범위를 적응적으로 조절하는 단계; 및
상기 조절된 디스패리티 범위의 객체들의 상대적 거리를 비선형적으로 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법. 15. The method of claim 14, wherein the non-
Adaptively adjusting a disparity range of the frames based on the obtained average; And
And adjusting non-linearly the relative distances of objects in the adjusted disparity range.

Images