KR101229428B1 - Method of global motion estimation using tensor voting - Google Patents

Method of global motion estimation using tensor voting Download PDF

Info

Publication number
KR101229428B1
KR101229428B1 KR1020110083216A KR20110083216A KR101229428B1 KR 101229428 B1 KR101229428 B1 KR 101229428B1 KR 1020110083216 A KR1020110083216 A KR 1020110083216A KR 20110083216 A KR20110083216 A KR 20110083216A KR 101229428 B1 KR101229428 B1 KR 101229428B1
Authority
KR
South Korea
Prior art keywords
motion vector
tensor
motion
voting
vector
Prior art date
Application number
KR1020110083216A
Other languages
Korean (ko)
Inventor
이귀상
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020110083216A priority Critical patent/KR101229428B1/en
Application granted granted Critical
Publication of KR101229428B1 publication Critical patent/KR101229428B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A method of estimating motion by using 2D tensor voting is provided to effectively estimate motion even in a motion vector area with noise and to remove outliers. CONSTITUTION: A motion vector is encoded in a two-dimensional tensor. A voting process of the two-dimensional tensor softens a motion vector area. Outliers are detected and removed by comparing the softened motion vector area and an input motion vector area. A motion is estimated by the motion vector area.

Description

텐서보팅을 이용한 전역적 움직임 추정 방법{Method of global motion estimation using tensor voting}Method of global motion estimation using tensor voting

본 발명은 텐서보팅을 이용한 전역적 움직임 추정 방법에 관한 것으로, 특히 텐서보팅을 이용하여 전역적 움직임을 추정하고 아웃라이어를 검출하여 제거하는 방법에 관한 것이다.The present invention relates to a global motion estimation method using tensor voting, and more particularly, to a method for estimating global motion using tensor voting and detecting and removing outliers.

동영상에서의 전역적 움직임 추정(GME)은 비디오 코딩, 비디오 안정화, 컨텐츠 기반의 비디오 분석 및 움직임 분할과 같은 다양한 응용분야에 널리 사용되고 있다.Global motion estimation (GME) in video is widely used in a variety of applications such as video coding, video stabilization, content-based video analysis, and motion segmentation.

전역적 움직임 영역을 정의하기 위하여 다양한 파라미터를 가지는 움직임 모델이 사용되는데, 대표적인 움직임 모델은 이동(2 파라미터), 기하학(4 파라미터), 어파인(6 파라미터) 및 원근(8 파라미터)이다.A motion model with various parameters is used to define the global motion area. Representative motion models are movement (2 parameters), geometry (4 parameters), affine (6 parameters) and perspective (8 parameters).

전역적 움직임 추정은 특징점이나 모션 벡터 영역을 나타내는 일련의 선형 방정식으로 해석함으로써 픽셀 영역이나 압축된 영역에서 수행할 수 있으며, 픽셀 기반의 전역적 움직임 추정 방법과 모션 벡터 기반의 전역적 움직임 추정 방법에 대한 평가는 M.Haller, A.Krute 및 T.Sikora에 의해 제안된 "Evaluation of pixel- and motion vector-based global motion estimation for camera motion characterization(Proc.Workshop on Image Analysis for Multimedia Interactive Services, pp49-52, 2009)"(이하 선행논문 1이라고 함) 논문에 상세히 개시되어 있다.Global motion estimation can be performed in the pixel region or the compressed region by interpreting a series of linear equations representing feature points or motion vector regions, and can be applied to the pixel-based global motion estimation method and the motion vector-based global motion estimation method. The evaluation of "Evaluation of pixel- and motion vector-based global motion estimation for camera motion characterization (Proc.Workshop on Image Analysis for Multimedia Interactive Services, pp49-52) proposed by M. Haller, A.Krute and T.Sikora. , 2009) "(hereinafter referred to as Prior Art 1).

픽셀 기반의 전역적 움직임 추정 방법은 뛰어난 수행능력을 제공하나, 연산의 복잡성 문제 때문에 A.Krute, M.Frater, M.kunter 및 T.Sikora에 의해 제안된 "Windowed image registration for robust mosaicing of scenes with large background occlusions(Proc.ICIP,pp353-356,2006)"(이하 선행논문 2이라고 함) 논문에서는 픽셀 기반의 가우스-뉴튼 알고리즘(Gauss-Newtom gradient descent algorithm)을 제안하고 이미지 피라미드를 이용하여 연산의 복잡성을 감소시키는 방법을 제안한다.The pixel-based global motion estimation method provides excellent performance, but due to the complexity of the computation, "Windowed image registration for robust mosaicing of scenes with" proposed by A.Krute, M.Frater, M.kunter and T.Sikora. A large background occlusions (Proc.ICIP, pp353-356,2006) "(hereinafter referred to as preceding paper 2) propose a pixel-based Gauss-Newtom gradient descent algorithm and use the image pyramid We propose a method to reduce complexity.

모션 벡터는 연산의 복잡성을 감소시키기 위하여 압축된 영역에서 사용하기 때문에 모션 벡터 기반의 전역적 움직임 추정 방법에 활용할 수 있다.Since the motion vector is used in the compressed region to reduce the complexity of the calculation, it can be used for the global motion estimation method based on the motion vector.

추정된 움직임 모델로부터 생성된 모션 벡터와 입력 모션 벡터 사이의 정합 에러를 최소화하기 위하여 S.Yeping, S.Ming-Ting 및 V.Hsu에 의해 제안된 논문 "Global motion estimation fro coarsely sampled motion vector field and the applications(IEEE Trans. on Circuit and Systems for Video Technology,vol.15,no.2,pp.232-242,2005)"(이하 선행논문 3이라고 함)에서는 거칠게 표본화된 모션 벡터 영역으로부터 전역적 움직임을 추정하는 뉴튼-랩슨 방법(Newton-Raphson gradient descent method)이 개시되어 있다.In order to minimize the matching error between the motion vector generated from the estimated motion model and the input motion vector, the paper proposed by S.Yeping, S.Ming-Ting, and V.Hsu, "Global motion estimation fro coarsely sampled motion vector field and in the applications (IEEE Trans. on Circuit and Systems for Video Technology, vol. 15, no. 2, pp. 232-242, 2005) "(hereafter referred to as Prior Art 3), global movement from a roughly sampled motion vector region A Newton-Raphson gradient descent method for estimating is disclosed.

또한, A.Smolic, M.Hoeynck 및 J.R.Ohm에 의해 제안된 논문 "Low-complexity global motion estimation from P-frame motion vectors for MPEG-7 applications(Proc.ICIP,pp271-274,vol.272,2000)"(이하 선행논문 4라고 함)에서는 M 추정량(M-Estimator)을 사용하여 전역적 움직임 추정을 위한 최소제곱근을 구하는 방법을 제안하고 있으며, 상기 방법은 강력하며 우수한 결과를 도출할 수 있다.In addition, the paper "Low-complexity global motion estimation from P-frame motion vectors for MPEG-7 applications (Proc. ICIP, pp271-274, vol. 272, 2000) proposed by A.Smolic, M.Hoeynck and JROhm. (Hereinafter referred to as 4) proposes a method to find the least square root for global motion estimation using M-Estimator, which is powerful and can produce excellent results.

또한, M.A.Fischler과 R.C.Bolles에 의해 제안된 논문 "Random sample consensus: a paradigm for medel fitting with applications to image analysis and automated cartography(Morgan Kaufmann Publishers Inc.,pp726-740,1987)"(이하 선행문헌 5라고 함)에서는 전역적 움직임 파라미터를 얻기 위해 사용하는 일련의 모션 벡터들을 반복적으로 정의함으로써 모션 벡터 기반의 전역적 움직임 추정 방법에 사용할 수 있는 RANSAC 알고리즘(Random sampled consensus algorithm)을 기재하고 있다.In addition, the paper proposed by MAFischler and RCBolles "Random sample consensus: a paradigm for medel fitting with applications to image analysis and automated cartography (Morgan Kaufmann Publishers Inc., pp726-740,1987)" Describes a RANSAC algorithm (Random sampled consensus algorithm) that can be used for a motion vector based global motion estimation method by repeatedly defining a series of motion vectors used to obtain a global motion parameter.

최소제곱 회귀를 가지는 RANSAC 알고리즘이 전역적 움직임 추정에 사용되는 방법은 M.Hartley, A.Krutz 및 A.Zisserman에 의해 제안된 논문 "Multiple view geometry in computer vision(cambridge University, ISBN:0521623049,2004)"(이하 선행논문 6이라고 함)에서 상세히 다루고 있다.The method used by the RANSAC algorithm with least squares regression for global motion estimation is proposed by M.Hartley, A.Krutz and A.Zisserman, "Multiple view geometry in computer vision (cambridge University, ISBN: 0521623049,2004)." (Hereinafter referred to as preceding article 6).

압축된 비디오 시퀀스에서 많은 아웃라이어 모션 벡터는 잡음과 전경 객체 때문에 나타난다. 상기 아웃라이어는 모션 벡터 기반의 전역적 움직임 추정 방법의 정확도를 감소시킨다.Many outlier motion vectors in a compressed video sequence appear due to noise and foreground objects. The outlier reduces the accuracy of the motion vector based global motion estimation method.

따라서, 전역적 움직임 모델에 정합되지 않는 아웃라이어를 제거하기 위하여 종래에 다양한 방법들이 사용되고 있다.Therefore, various methods are conventionally used to eliminate outliers that do not match the global motion model.

선행논문 3에서는 높은 복잡성을 가지는 반복적 접근이 사용되고 있으며, A.Dante와 M.Brookes에 의해 제안된 "Precise real-time outlier removal from motion vector fields for 3D reconstruction(Proc.ICIP,pp393-396,vol.391,2003)"(이하 선행논문 7이라고 함) 에서는 벡터와 상기 벡터와 이웃하는 8개의 벡터 사이의 크기 차이를 검사함으로써 아웃라이어를 감지하는 방법을 개시하고 있다. In Ref. 3, a highly complex iterative approach is used, which is proposed by A. Dante and M. Brookes in "Precise real-time outlier removal from motion vector fields for 3D reconstruction (Proc. ICIP, pp393-396, vol. 391,2003) (hereinafter referred to as “Previous Article 7”) discloses a method for detecting an outlier by checking a magnitude difference between a vector and eight neighboring vectors.

그러나, 상기 방법들은 오직 8개의 주변 벡터의 크기 정보만을 사용하여 많은 모션 벡터를 제거하는 경향이 있으며, 저조한 결과를 생성한다.However, the methods tend to remove many motion vectors using only the magnitude information of eight peripheral vectors, producing poor results.

이와 같은 문제로 인하여 C.Yue-Meng과 I.V.Bajic은 논문 "Motion vector outlier rejection cascade for global motion estimation(IEEE Signal Processing Letters,vol.17,no.2,pp.197-200,2010)"(이하 선행논문 8이라고 함)에서 벡터의 크기와 위상 정보를 모두 이용하는 케이케이드 방법을 제안하며, 상기 케스케이드 방법은 경판정(hard-decision) 경계화 대신에 연판정(soft-decision) 경계화를 사용함으로써 빠르고 정확한 결과를 도출할 수 있다.Due to this problem, C.Yue-Meng and IVBajic described in the paper "Motion vector outlier rejection cascade for global motion estimation (IEEE Signal Processing Letters, vol. 17, no. 2, pp. 197-200, 2010)" In the previous paper, we propose a cascade method using both the magnitude and phase information of a vector, and the cascade method uses soft-decision boundary instead of hard-decision boundary. Quick and accurate results can be obtained.

그러나, 상기 방법은 벡터의 주변 벡터 8개가 특정 벡터가 아웃라이어인지 아닌지를 판단하기 위해 고려된다. 이때, 상기 주변 벡터는 잡음 변화가 심한 모션 벡터 영역에서는 신뢰할 수 없으며, 미리 정의된 크기와 위상 임계치가 필요하다는 문제가 있다.However, the method is contemplated to determine whether eight peripheral vectors of the vector are outliers or not. In this case, the peripheral vector is unreliable in the motion vector region where the noise change is severe, and there is a problem that a predefined magnitude and phase threshold are required.

본 발명의 실시예들이 해결하려는 과제는 움직임 모델에 의해 생성된 모션 벡터 영역에서 2차원 텐서 보팅을 이용하여 전역적 움직임을 추정하고 아웃라이어를 제거하는 방법을 제공하는 것이다.SUMMARY Embodiments of the present invention provide a method of estimating global motion and eliminating outliers using two-dimensional tensor voting in a motion vector region generated by a motion model.

상기 과제를 해결하기 위해 본 발명은, 모션 벡터를 2차원 텐서로 인코딩하는 단계와 상기 2차원 텐서를 보팅 처리하여 모션 벡터 영역을 부드럽게 하는 단계와 부드러운 모션 벡터 영역과 입력 모션 벡터 영역을 비교하여 아웃라이어를 검출 및 제거하는 단계 및 상기 모션 벡터 영역을 이용하여 전역적 움직임을 추정하는 단계를 포함하는 텐서보팅을 이용한 전역적 움직임 추정 방법을 일 실시예로 제안한다.In order to solve the above problems, the present invention provides a method of encoding a motion vector into a two-dimensional tensor, voting the two-dimensional tensor to smooth the motion vector region, and comparing the smooth motion vector region to the input motion vector region. An embodiment of the present invention proposes a global motion estimation method using tensor boating, which includes detecting and removing a Liar and estimating global motion using the motion vector region.

또한, 상기 모션 벡터는 다음 식에 의해 구하는 이동 벡터와 동일할 수 있다.In addition, the motion vector may be the same as the motion vector obtained by the following equation.

Figure 112011064637732-pat00001
Figure 112011064637732-pat00001

여기서, m은 움직임 모델의 파라미터이다.Where m is a parameter of the motion model.

또한, 상기 모션 벡터는 스틱 텐서에 의하여 다음 식과 같이 초기화할 수 있다.In addition, the motion vector may be initialized by a stick tensor as follows.

Figure 112011064637732-pat00002
Figure 112011064637732-pat00002

또한, 상기 2차원 보팅 처리 단계는 보터(O)와 수령인(P) 사이에 가장 연속적인 곡선을 선택하고, 상기 수령인(P)의 보트는 상기 수령인(P)에서 상기 곡선의 중심 방향으로 향하는 스틱 텐서일 수 있다.Further, the two-dimensional voting process step selects the most continuous curve between the boat O and the recipient P, the boat of the recipient P sticks toward the center of the curve at the recipient P It may be a tensor.

또한, 상기 보트의 크기는 다음 식에 의해 구할 수 있다.In addition, the size of the boat can be obtained by the following equation.

Figure 112011064637732-pat00003
Figure 112011064637732-pat00003

여기서, 호의 길이

Figure 112011064637732-pat00004
이고, 곡률
Figure 112011064637732-pat00005
이며, c는 상수이고,
Figure 112011064637732-pat00006
는 보트의 길이와 상기 보트 주위의 크기를 제어하는 보팅 영역의 크기이다.Where arc length
Figure 112011064637732-pat00004
And curvature
Figure 112011064637732-pat00005
C is a constant,
Figure 112011064637732-pat00006
Is the size of the boating area that controls the length of the boat and the size around the boat.

또한, 상기 아웃라이어 검출 및 제거 단계는 입력 모션 벡터 영역의 모션 벡터와 2차원 보팅 처리된 영역의 모션 벡터 사이의 위상차를 이용하여 아웃라이어를 검출 및/또는 제거하는 단계를 포함할 수 있다.In addition, the step of detecting and removing the outlier may include detecting and / or removing the outlier using a phase difference between the motion vector of the input motion vector region and the motion vector of the two-dimensional voting processed region.

또한, 상기 아웃라이어 검출 및 제거 단계는 블록

Figure 112011064637732-pat00007
에서 입력 모션 벡터와 부드러운 모션 벡터의 모션 벡터 사이의 유사도
Figure 112011064637732-pat00008
를 다음 식에 의해 구할 수 있다.In addition, the outlier detection and removal step is a block
Figure 112011064637732-pat00007
Similarity between the input motion vector and the motion vector of the smooth motion vector
Figure 112011064637732-pat00008
Can be obtained by the following equation.

Figure 112011064637732-pat00009
Figure 112011064637732-pat00009

여기서,

Figure 112011064637732-pat00010
는 입력 모션 벡터이고,
Figure 112011064637732-pat00011
는 부드러운 입력 모션 벡터이며,
Figure 112011064637732-pat00012
는 결과 텐서의 가장 큰 고유값과 일치하는 고유벡터이다.here,
Figure 112011064637732-pat00010
Is the input motion vector,
Figure 112011064637732-pat00011
Is the smooth input motion vector,
Figure 112011064637732-pat00012
Is the eigenvector that matches the largest eigenvalue of the resulting tensor.

또한, 상기 전역적 움직임 추정 단계는 입력된 모션 벡터와 추정된 모션 벡터 사이의 정합 오차의 합을 최소화하는 단계를 포함할 수 있다.In addition, the global motion estimation may include minimizing a sum of a matching error between the input motion vector and the estimated motion vector.

또한, 상기 정합 오차 합의 최소값 E는 다음 식에 의해 구할 수 있다.The minimum value E of the matching error sum can be obtained by the following equation.

Figure 112011064637732-pat00013
Figure 112011064637732-pat00013

본 발명의 실시예들에 의하면, 잡음 변화가 심한 모션 벡터 영역에서도 효과적으로 전역적 움직임을 추정하고 아웃라이어를 제거할 수 있다.According to embodiments of the present invention, it is possible to effectively estimate global motion and remove outliers even in a motion vector region having a high noise change.

도 1은 본 발명의 일 실시예에 따른 텐서 분할을 도시한다.
도 2는 본 발명의 일 실시예에 따른 두 텐서 사이의 2차원 스틱 보팅 처리를 도시한다.
도 3은 본 발명의 일 실시예에 따른 2차원 스틱 보팅 영역을 도시한다.
도 4 내지 도 7은 본 발명의 일 실시예에 따른 텐서 보팅을 이용한 잡음 제거를 단계별로 도시한다.
도 8은 테스트 모델에 의한 인위적인 모션 벡터 영역을 도시한다.1 illustrates tensor segmentation in accordance with one embodiment of the present invention.
2 illustrates a two-dimensional stick voting process between two tensors in accordance with one embodiment of the present invention.
3 illustrates a two-dimensional stick voting area according to one embodiment of the invention.
4 through 7 illustrate step-by-step noise cancellation using tensor voting according to an embodiment of the present invention.
8 shows an artificial motion vector region by a test model.

아래에서는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 첨부한 도면을 참고로 하여 본 발명의 실시예를 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 그리고 도면에서는 본 발명을 명확하게 설명하기 위해서는 설명과 관계없는 부분을 생략하였으며 명세서 전체를 통하여 동일한 부분에 대해서는 동일한 도면 부호를 사용한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and the same reference numerals are used for the same parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
Throughout the specification, when a part is said to "include" a certain component, it means that it may further include other components, except to exclude other components unless specifically stated otherwise.

<실시예 1> - 모션 벡터 영역을 이용한 전역적 움직임 추정 방법Example 1 Global Motion Estimation Method Using Motion Vector Domain

본 발명의 실시예에서는 추정될 필요가 있는 원근(perspective) 모델의 8개 파라미터를 포함하는 벡터를

Figure 112011064637732-pat00014
로 표기하고, 현재 프레임(중심 프레임)와 참조 프레임(타겟 프레임)의 좌표는 각각
Figure 112011064637732-pat00015
와
Figure 112011064637732-pat00016
로 표기한다. 참조 프레임으로의 변환은 아래의 수학식 1과 같다.In the embodiment of the present invention, a vector including eight parameters of a perspective model that needs to be estimated
Figure 112011064637732-pat00014
And coordinates of the current frame (center frame) and reference frame (target frame) are respectively
Figure 112011064637732-pat00015
Wow
Figure 112011064637732-pat00016
. The conversion to the reference frame is shown in Equation 1 below.

Figure 112011064637732-pat00017
Figure 112011064637732-pat00017

Figure 112011064637732-pat00018
Figure 112011064637732-pat00018

픽셀 기반의 전역적 움직임 추정 방법에서 추정치는 가중된 강도 오차 제곱 합의 최소값이며, 상기 최소값 E는 전반적으로 중심 이미지 I와 참조 이미지 I' 내부의 픽셀 쌍 또는 특징점에 해당하며 아래의 수학식 2와 같다.In the pixel-based global motion estimation method, an estimate is a minimum value of the sum of the weighted intensity error squares, and the minimum value E generally corresponds to a pair of pixels or feature points in the center image I and the reference image I 'and is represented by Equation 2 below. .

Figure 112011064637732-pat00019
Figure 112011064637732-pat00019

수학식 2에서

Figure 112011064637732-pat00020
는 픽셀
Figure 112011064637732-pat00021
의 가중치를 나타낸다.In Equation 2,
Figure 112011064637732-pat00020
Is a pixel
Figure 112011064637732-pat00021
Represents the weight of.

다수의 픽셀이 고려되므로 수학식 2와 같은 오차 기능의 최소화는 매우 과도한 연산을 수행한다.Since many pixels are considered, minimizing the error function as in Equation 2 performs a very excessive operation.

비디오 시퀀스의 압축된 영역에서는 모션 벡터를 사용할 수 있으며, 픽셀 대신에 상기 모션 벡터는 연산의 복잡성을 감소시키기 위해 모션 벡터 기반의 전역적 움직임 추정 방법에 사용된다.A motion vector can be used in the compressed region of the video sequence, and instead of pixels, the motion vector is used in a motion vector based global motion estimation method to reduce computational complexity.

모션 벡터 기반의 전역적 움직임 추정 방법은 입력 모션 벡터와 추정된 모션 벡터 사이의 정합 오차 합을 최소화함으로써 전역적 움직임 파라미터를 추정한다.The motion vector based global motion estimation method estimates the global motion parameters by minimizing the sum of matching errors between the input motion vector and the estimated motion vector.

이때, 입력 프레임은 블록 단위로 분할하며, 본 발명의 실시예에서는 블록 지수를

Figure 112011064637732-pat00022
로 표기하고 상단 좌측 공간 벡터인
Figure 112011064637732-pat00023
의 모션 벡터는
Figure 112011064637732-pat00024
로 표기한다.In this case, the input frame is divided into block units, and in the embodiment of the present invention, the block index is
Figure 112011064637732-pat00022
And the top left space vector
Figure 112011064637732-pat00023
Motion vector of the
Figure 112011064637732-pat00024
.

움직임 모델

Figure 112011064637732-pat00025
에 따르면 모션 벡터
Figure 112011064637732-pat00026
는 아래 수학식 3의 이동 벡터와 같으며, 아래 수학식 4를 이용하여 제곱 오차를 최소화시킬 수 있다.Movement model
Figure 112011064637732-pat00025
According to motion vector
Figure 112011064637732-pat00026
Is equal to the motion vector of Equation 3 below, and the square error may be minimized using Equation 4 below.

Figure 112011064637732-pat00027
Figure 112011064637732-pat00027

Figure 112011064637732-pat00028
Figure 112011064637732-pat00028

동일한 움직임 모델에 의해 생성되는 각각의 모션 벡터는 강한 공간 좌표를 가지며, 주변의 모션 벡터가 아웃라이어인지 아닌지 결정하는데 사용할 수 있다.Each motion vector generated by the same motion model has strong spatial coordinates and can be used to determine whether the surrounding motion vector is outlier.

이때 아웃라이어가 정확히 제거되면 모션 벡터 기반의 전역적 움직임 추정 방법은 빠르게 수렴되고 더 정확한 결과를 생성한다.
At this time, if the outliers are correctly removed, the motion vector based global motion estimation method converges quickly and produces more accurate results.

<실시예 2> - 텐서 보팅을 이용한 모션 벡터의 잡음(outlier) 제거 방법Example 2 Outlier Removal Method of Motion Vector Using Tensor Voting

동일한 움직임 모델에 의해 생성된 모션 벡터는 강한 공간 좌표를 가지기 때문에 상기 모션 벡터의 주변 모션 벡터를 검사함으로써 모션 벡터에 정합되는 특징적인 모션 벡터인지 아닌지를 판별할 수 있다.Since the motion vectors generated by the same motion model have strong spatial coordinates, it is possible to determine whether the motion vector is a characteristic motion vector matched to the motion vector by examining the motion vector's surrounding motion vector.

T.Chi-Keung와 G.Medioni에 의해 제안된 논문 "Inference of intergrated surface, curve and junction descriptions from sparse 3D data(IEEE Trans.on PAMI,vol20,no.11,pp1206-1223,1997)"(이하 선행논문 9라고 함)와 G.Medioni, M.S Lee 및 C.K.Tang에 의해 제안된 논문 "A computational framework for segmentation and grouping(Elsevier,2000)"(이하 선행논문 10이라고 함)에 개시된 잡음에 매우 강한 텐서 보팅 프레임워크는 모션 벡터를 대표하는 텐서들 간에 보팅 처리를 수행함으로써 입력 모션 벡터를 부드럽게 하는데 사용된다.Paper "Inference of intergrated surface, curve and junction descriptions from sparse 3D data (IEEE Trans.on PAMI, vol20, no.11, pp1206-1223,1997)" proposed by T. Chi-Keung and G.Medioni Tensor, which is very strong against noise, disclosed in the preceding paper 9) and in the paper "A computational framework for segmentation and grouping (Elsevier, 2000)" proposed by G.Medioni, MS Lee and CKTang (hereinafter referred to as preceding paper 10). The voting framework is used to smooth the input motion vector by performing voting processing between tensors representing the motion vector.

아웃라이어 모션 벡터는 입력 모션 벡터와 부드러워진 모션 벡터 영역에 속하는 모션 벡터를 비교함으로써 감지할 수 있다. The outlier motion vector can be detected by comparing the input motion vector with motion vectors belonging to the smoothed motion vector region.

아웃라이어 모션 벡터를 비교하기 위해서 입력 벡터 영역의 각 모션 벡터는 2×2 대칭 행렬로 나타내는 2차원 스틱 텐서에 의해 인코딩된다.In order to compare outlier motion vectors, each motion vector of the input vector region is encoded by a two-dimensional stick tensor represented by a 2x2 symmetric matrix.

스틱 보팅 처리는 주변의 각 모션 벡터로부터 방향 정보를 전파하기 위해 적용하며, 결과 텐서의 중심 방향은 아웃라이어를 감지하기 위해 추출된다.The stick voting process is applied to propagate direction information from each motion vector around, and the center direction of the resulting tensor is extracted to detect outliers.

2차원, 두번째 순서, 대칭, 0 또는 0보다 크게 정의되는 텐서 T는 2×2 행렬로 나타내며, 타원형으로 표시된다.Tensor T, defined as two-dimensional, second order, symmetric, zero or greater than zero, is represented by a 2x2 matrix and is represented by an ellipse.

이때 타원의 축은 텐서의 고유벡터이며, 상기 축의 길이는 고유값에 비례하고 텐서 T는 아래의 수학식 5와 같다.At this time, the axis of the ellipse is the eigenvector of the tensor, the length of the axis is proportional to the eigen value and the tensor T is expressed by Equation 5 below.

Figure 112011064637732-pat00029
Figure 112011064637732-pat00029

또한, 텐서는 도 1과 같이 아래의 수학식 6을 이용하여 스틱과 볼의 구성으로 분해할 수 있다.In addition, the tensor can be decomposed into a stick and a ball by using Equation 6 as shown in FIG.

Figure 112011064637732-pat00030
Figure 112011064637732-pat00030

상기 수학식 5와 6에서

Figure 112011064637732-pat00031
는 감소 순서에 따른 고유값이며,
Figure 112011064637732-pat00032
는 고유벡터에 속한다.In Equations 5 and 6
Figure 112011064637732-pat00031
Are eigenvalues in decreasing order,
Figure 112011064637732-pat00032
Belongs to the eigenvector.

중심축

Figure 112011064637732-pat00033
는 잠재적인 곡선 부분에서 우선되는 일반적인 방향이며, 스틱 구성요소
Figure 112011064637732-pat00034
의 크기는 곡선에 속하는 점에 해당한다.Central axis
Figure 112011064637732-pat00033
Is the general direction that is preferred over the potential curves, and the stick component
Figure 112011064637732-pat00034
The size of corresponds to the point belonging to the curve.

입력 모션 벡터 영역의 각 모션 벡터

Figure 112011064637732-pat00035
는 아래 수학식 7과 같이 스틱 텐서에 의해 초기화된다.Each motion vector in the input motion vector area
Figure 112011064637732-pat00035
Is initialized by a stick tensor as shown in Equation 7 below.

Figure 112011064637732-pat00036
Figure 112011064637732-pat00036

각각의 스틱 텐서는 스틱 보팅 영역 밖으로 보냄으로써 확실한 주변의 공간으로 스틱 텐서를 전파한다.Each stick tensor propagates the stick tensor to a certain surrounding space by sending it out of the stick voting area.

주변의 모든 토큰들은 상기 영역에 영향을 받으며, 주위의 모든 텐서 영역을 간단히 더하여 상기 토큰에 미치는 모든 영향을 계산할 수 있다.All of the surrounding tokens are affected by the region, and by simply adding all the surrounding tensor regions, it is possible to calculate all the effects on the token.

도 2는 본 발명의 일 실시예에 따른 두 텐서 사이의 2차원 스틱 보팅 처리를 도시한다.2 illustrates a two-dimensional stick voting process between two tensors in accordance with one embodiment of the present invention.

보팅의 중심은 그림 2와 같이 O(보터)와 P(수령인) 두 개의 점 사이에서 가장 가능성 있는 연속적인 곡선을 선택하여 가장 합리적이도록 정의한다.The center of the voting is defined to be the most reasonable by selecting the most likely continuous curve between the two points O (botter) and P (recipient), as shown in Figure 2.

P에 도달한 보트는 P의 부드러운 곡선 중심 방향을 가지는 스틱 텐서이다.The boat reaching P is a stick tensor with a smooth curved center of P.

보트의 크기는 보터와 수령인이 동일한 지각 구조에 속해 있다는 확신이며, 보트의 크기는 아래의 수학식 8과 같다.The size of the boat is a conviction that the boater and the recipient belong to the same perceptual structure, and the size of the boat is as shown in Equation 8 below.

Figure 112011064637732-pat00037
Figure 112011064637732-pat00037

수학식 8에서 호의 길이는

Figure 112011064637732-pat00038
이고, 곡률은
Figure 112011064637732-pat00039
이며, c는 상수이고,
Figure 112011064637732-pat00040
는 보트의 길이와 상기 보트 주위의 크기를 제어하는 보팅 영역의 크기이다.The length of the arc in Equation 8 is
Figure 112011064637732-pat00038
And the curvature is
Figure 112011064637732-pat00039
C is a constant,
Figure 112011064637732-pat00040
Is the size of the boating area that controls the length of the boat and the size around the boat.

도 3은 본 발명의 일 실시예에 따른 2차원 스틱 보팅 영역을 도시한다.3 illustrates a two-dimensional stick voting area according to one embodiment of the invention.

도 3에서 보면, 보터를 위한 2차원 보팅 중심은 90도의 정상적인 벡터를 가지며 45도의 기울기

Figure 112011064637732-pat00041
로 구분되어 있다.3, the two-dimensional voting center for the bot has a normal vector of 90 degrees and a 45 degree slope
Figure 112011064637732-pat00041
Separated by.

토큰은 보팅 처리에 의하여 주위의 토큰으로부터 보트를 받고 새로운 텐서로 인코딩한다.Tokens are boated from the surrounding tokens by the voting process and encoded into a new tensor.

입력 모션 벡터 영역의 모션 벡터와 부드러운 모션 벡터 영역의 모션 벡터간의 위상 차는 아웃라이어를 제거하기 위해 사용된다.The phase difference between the motion vector of the input motion vector region and the motion vector of the smooth motion vector region is used to remove the outliers.

먼저, 결과 텐서의 최대 고유값에 속하는 고유벡터의 방향은 부드러운 텐서 영역의 모션 벡터 방향으로 사용된다.First, the direction of the eigenvector belonging to the maximum eigenvalue of the resulting tensor is used as the motion vector direction of the smooth tensor region.

블록

Figure 112011064637732-pat00042
에서 유사값
Figure 112011064637732-pat00043
는 입력 모션 벡터와 부드러운 모션 벡터 영역의 모션 벡터 간의 유사도에 의해 코사인 함수를 기반으로 아래의 수학식 9와 같다.block
Figure 112011064637732-pat00042
Similar value in
Figure 112011064637732-pat00043
Equation 9 is based on the cosine function by the similarity between the input motion vector and the motion vector of the smooth motion vector region.

Figure 112012081213877-pat00073

수학식 9에서
Figure 112012081213877-pat00074
는 입력된 원래의 모션 벡터를 의미하며,
Figure 112012081213877-pat00075
는 스무딩(smoothing)된 부드러운 모션 벡터를 의미한다. 또한,
Figure 112012081213877-pat00076
는 i번째 블록의 가장 큰 고유값을 갖는 고유값 벡터를 의미한다. 따라서, 상기 고유값 벡터
Figure 112012081213877-pat00077
는 결국 상기 부드러운 모션 벡터
Figure 112012081213877-pat00078
와 동일한 값을 가지게 되므로, 두 개의 벡터
Figure 112012081213877-pat00079
와
Figure 112012081213877-pat00080
가 갖는 코사인(cosine) 값을 나타내는 상기 수식의
Figure 112012081213877-pat00081
는 상기 수식의
Figure 112012081213877-pat00082
와 같다.
Figure 112012081213877-pat00073
In Equation (9)
Figure 112012081213877-pat00074
Means original motion vector inputted,
Figure 112012081213877-pat00075
Denotes a smoothed smooth motion vector. Also,
Figure 112012081213877-pat00076
Denotes an eigenvalue vector having the largest eigenvalue of the i-th block. Thus, the eigenvalue vector
Figure 112012081213877-pat00077
The end is smooth motion vector
Figure 112012081213877-pat00078
Will have the same value as, so two vectors
Figure 112012081213877-pat00079
Wow
Figure 112012081213877-pat00080
Represents the cosine of
Figure 112012081213877-pat00081
Is the above formula
Figure 112012081213877-pat00082
Same as

삭제delete

부드러운 텐서 보팅 영역이 참조 모션 벡터 영역으로써 입력되면,

Figure 112011064637732-pat00049
의 값은 더 커지고 입력 모션 벡터는 움직임 모델에 더 정합(fit)된다.If a smooth tensor voting area is entered as the reference motion vector area,
Figure 112011064637732-pat00049
Is larger and the input motion vector is more fit to the motion model.

따라서, 작은 유사값을 가지는 모션 벡터는 제거되고, 움직임이 없는 벡터의 유사값은 0으로 지정된다.Therefore, the motion vector having a small similarity value is removed, and the similarity value of the motionless vector is designated as zero.

이로써, 본 발명의 실시예에 따르면 모션 벡터의 30%는 아웃라이어로 발견된다.As such, 30% of the motion vectors are found outliers in accordance with an embodiment of the invention.

도 4 내지 도7은 본 발명의 일 실시예에 따른 텐서 보팅을 이용한 잡음 제거를 단계별로 도시한다.4 through 7 illustrate step-by-step removal of noise using tensor voting according to an embodiment of the present invention.

도 4는 원근 모델을 사용한 인위적인 모션 벡터 영역에서의 모델

Figure 112011064637732-pat00050
을 나타낸다.4 is a model in an artificial motion vector region using a perspective model.
Figure 112011064637732-pat00050
Indicates.

이때 이미지 사이즈는 288×352이며, 블록 사이즈는 16으로 설정되고, 블록의 지수는 수평과 수직축으로 나타낸다.At this time, the image size is 288 × 352, the block size is set to 16, the index of the block is represented by the horizontal and vertical axis.

도 5에서는 도 4의 모션 벡터 영역에 표준편차 SD=1.5의 가우시안 노이즈를 의미하는 독립적인 0를 추가함으로써 손상된 모션 벡터 영역을 나타낸다.In FIG. 5, an impaired motion vector region is illustrated by adding an independent zero, which means Gaussian noise of standard deviation SD = 1.5, to the motion vector region of FIG. 4.

도 6은 2차원 스틱 텐서 보팅 처리가 적용된 후의 부드러운 텐서 보팅 영역을 나타낸다.Fig. 6 shows the smooth tensor voting area after the two-dimensional stick tensor voting treatment is applied.

이때 부드러운 모션 벡터 영역은 각 벡터의 방향이 가장 큰 고유값에 속하는 고유벡터의 방향이며, 크기는 입력 모션 벡터에 속하는 크기이다.In this case, the smooth motion vector region is the direction of the eigenvectors in which the direction of each vector belongs to the largest eigen value, and the size is the size of the input motion vector.

상기 입력 모션 벡터는 보팅 처리를 통하여 모션 벡터 주변에 정제되고, 부드러운 모션 벡터의 방향은 본래의 모션 벡터와 유사해지며, 30%의 최소 유사값에 속하는 아웃라이어 모션 벡터는 도 7과 같다.The input motion vector is refined around the motion vector through voting, the direction of the smooth motion vector is similar to the original motion vector, and the outlier motion vector belonging to the minimum similarity value of 30% is shown in FIG.

아래에서는 본 발명의 실시예에 따른 전역적 움직임 추정을 위한 효율적인 모션 벡터 잡음 제거 방법과 전술한 선행논문들의 성능을 비교 설명하기로 한다.Hereinafter, an efficient motion vector noise cancellation method for global motion estimation according to an embodiment of the present invention will be described in comparison with the performances of the above-described prior papers.

먼저, 표 1의 인위적인 모션 벡터를 이용하여 평가한다.First, it evaluates using the artificial motion vector of Table 1.

표 1은 4가지 테스트 모델의 전역적 움직임 파라미터로서, 상기 4가지 움직임 모델의 인위적인 모션 벡터 영역은 도 8과 같다.Table 1 shows global motion parameters of the four test models, and the artificial motion vector region of the four motion models is shown in FIG. 8.

ModelModel Model parametersModel parameters M1M1 m=[0.95,0,10.4238,0,0.95,5.7927,0,0]m = [0.95,0,10.4238,0,0.95,5.7927,0,0] M2M2 m=[0.9964,-0.0249,1.0981,0.0856,0.9457,-7.2,0,0]m = [0.9964, -0.0249,1.0981,0.0856,0.9457, -7.2,0,0] M3M3 m=[0.9964,-0.0249,6.0981,0.0249,0.9964,2.5109,-2.7e-5,1.9e-5]m = [0.9964, -0.0249,6.0981,0.0249,0.9964,2.5109, -2.7e-5,1.9e-5] M4M4 m=[1,0,4.4154,0,1,0,-1,-1.13e-4,0]m = [1,0,4.4154,0,1,0, -1, -1.13e-4,0]

이미지는 CIF 해상도를 가지며 16×16의 블록으로 분할된다.The image has a CIF resolution and is divided into blocks of 16 × 16.

전역적 움직임 추정 방법을 위한 입력 모션 벡터 영역을 생성하기 위해서 인위적인 모션 벡터 영역의 모션 벡터는 수평과 수직 방향을 독립된 평균이 0인 가우시안 노이즈에 의해 변형된다.In order to generate the input motion vector region for the global motion estimation method, the motion vector of the artificial motion vector region is transformed by Gaussian noise having an independent mean of 0 in the horizontal and vertical directions.

상기 가우시안 노이즈의 4단계 표준편차는 SD={0.7,1.5,2.2,3.0}이다.The four-step standard deviation of the Gaussian noise is SD = {0.7,1.5,2.2,3.0}.

변형된 입력 모션 벡터 영역으로부터 전역적 움직임 추정 방법에 의하여 새로운 전역적 움직임 파라미터가 추정되고, SNR(Signal-to-noise criterion, 신호대잡음비)는 본래의 전역적 움직임 파라미터에 의해 생성된 인위적인 모션 벡터 영역과 추정된 전역적 움직임 파라미터에 의해 생성된 모션 벡터 영역 사이에서 산출한다.A new global motion parameter is estimated from the modified input motion vector region by a global motion estimation method, and the signal-to-noise criterion (SNR) is an artificial motion vector region generated by the original global motion parameter. And a motion vector region generated by the estimated global motion parameter.

상기 SNR 산출을 위하여 선행논문 3에 개시된 반복적인 기울기 감소(GD), 선행논문 4에 개시된 M-estimator를 이용한 최소제곱근(LSS_ME), 선행논문 6에 개시된 최소제곱 회귀의 RANSAC(RAN_LS), 선행논문 7에 개시된 필터 방법(FLT_GD) 및 선행논문 8에 개시된 케스케이드 필터(CAS_GD) 등의 접근 방식이 선택된다.Repetitive gradient reduction (GD) disclosed in the preceding paper 3, the least square root using the M-estimator disclosed in the preceding paper 4 (LSS_ME), RANSAC (RAN_LS) of the least squares regression disclosed in the preceding paper 6 for calculating the SNR. Approaches such as the filter method (FLT_GD) disclosed in FIG. 7 and the cascade filter (CAS_GD) disclosed in the preceding paper 8 are selected.

표 2는 본 발명의 실시예(TV_GD)와 선행논문 사이의 가우시안 노이즈에 의해 변형된 모션 벡터 영역의 SNR 비교 결과를 나타낸다.Table 2 shows the SNR comparison result of the motion vector region modified by Gaussian noise between the embodiment of the present invention (TV_GD) and the preceding paper.

본 발명의 실시예(TV_GD)에서 기울기의 반복 숫자는 2로 설정하고, 보팅 범위는 50으로 설정한다.In an embodiment of the present invention (TV_GD), the repetition number of the slope is set to 2 and the voting range is set to 50.

모션 벡터의 30%는 TV_GD와 CAS_GD 방법에서 아웃라이어로 고려된다.30% of the motion vectors are considered outliers in the TV_GD and CAS_GD methods.

각 실험은 50회씩 수행하였으며, 평균값을 산출하였다.Each experiment was performed 50 times and an average value was calculated.

실험 결과, 표 2와 같이 본 발명의 실시예에 따른 방법이 선행논문에 따른 방법보다 더 나은 SNR을 생성함을 확인할 수 있으며, 아웃라이어를 정확히 제거함으로써 본 발명의 실시예에 따른 방법은 기울기 감소 결과를 향상시킨다.As a result of the experiment, it can be seen that the method according to the embodiment of the present invention generates a better SNR than the method according to the preceding paper as shown in Table 2, and by accurately removing the outliers, the method according to the embodiment of the present invention reduces the slope. Improve results.

또한, 텐서 보팅 프레임워크를 사용함으로써 높은 잡음을 가지는 모션 벡터 영역에서도 효율적으로 수행됨을 확인할 수 있다.In addition, by using the tensor voting framework, it can be confirmed that the tensor voting framework is efficiently performed even in a high noise motion vector region.

또한, 다수의 입력 모션 벡터를 제거함으로 인하여 선행논문 7의 FLT_GD의 SNR 성능이 매우 낮음을 확인할 수 있다.In addition, it is confirmed that the SNR performance of FLT_GD of the preceding paper 7 is very low by removing a plurality of input motion vectors.

ModelModel AlgorithmAlgorithm SD=0.7SD = 0.7 SD=1.5SD = 1.5 SD=2.2SD = 2.2 SD=3.0SD = 3.0


M1


M1

TV_GDTV_GD 34.4634.46 28.3728.37 25.0725.07 22.6822.68 GDGD 31.6431.64 25.6425.64 21.8021.80 20.2020.20 FLT_GDFLT_GD 28.7528.75 15.4215.42 10.0210.02 6.926.92 CAS_GDCAS_GD 34.4034.40 28.1028.10 24.6424.64 21.1621.16 RAN_LSRAN_LS 24.8824.88 17.6217.62 12.0212.02 9.909.90 LSS_MELSS_ME 34.3534.35 27.4627.46 23.3323.33 20.5720.57


M2


M2

TV_GDTV_GD 38.1238.12 32.6532.65 28.5728.57 25.7325.73 GDGD 35.8835.88 29.5229.52 25.9725.97 23.3223.32 FLT_GDFLT_GD 33.1433.14 23.0623.06 18.0018.00 13.1713.17 CAS_GDCAS_GD 37.9037.90 31.9431.94 28.5628.56 25.1325.13 RAN_LSRAN_LS 29.5429.54 20.5920.59 16.2916.29 13.3713.37 LSS_MELSS_ME 38.1138.11 31.3131.31 27.9027.90 24.7124.71


M3


M3
TV_GDTV_GD 34.9634.96 28.9628.96 26.1326.13 22.3522.35 GDGD 32.6032.60 26.2826.28 22.9822.98 20.6520.65 FLT_GDFLT_GD 30.9230.92 17.8217.82 11.6411.64 7.117.11 CAS_GDCAS_GD 32.8632.86 26.2126.21 22.7722.77 21.2421.24 RAN_LSRAN_LS 27.9127.91 17.9717.97 14.0514.05 10.5210.52 LSS_MELSS_ME 35.5535.55 28.4928.49 24.9824.98 21.9921.99


M4


M4

TV_GDTV_GD 37.7837.78 31.2031.20 28.5328.53 25.7925.79 GDGD 36.2136.21 29.5329.53 26.0426.04 23.7323.73 FLT_GDFLT_GD 35.0735.07 23.7923.79 16.8516.85 12.9812.98 CAS_GDCAS_GD 36.5136.51 29.6829.68 26.2026.20 22.9322.93 RAN_LSRAN_LS 30.4830.48 20.8520.85 17.6317.63 13.3613.36 LSS_MELSS_ME 38.3338.33 31.3331.33 27.8927.89 24.8524.85

기울기 감소(GD) 방법은 모션 벡터가 입력되기 전에 아웃라이어를 제거함으로써 전역적 움직임 추정에서 숫자의 반복을 줄일 수 있다.The gradient reduction (GD) method can reduce the repetition of numbers in global motion estimation by removing the outliers before the motion vectors are input.

표 3에서는 각각의 전역적 움직임 추정 방법을 수렴하기 위한 반복 숫자의 평균값을 나타낸다.Table 3 shows the average value of the repetition numbers for converging each global motion estimation method.

표 3에서 보면, 본 발명의 실시예에 따른 방법이 GD, RAN_LS, LSS_ME 보다 빠르게 수렴하고, 오직 2개의 전역적 움직임 추정으로 만족스런 결과를 성취함을 확인할 수 있다.In Table 3, it can be seen that the method according to the embodiment of the present invention converges faster than GD, RAN_LS, and LSS_ME, and achieves satisfactory results with only two global motion estimations.

AlgorithmAlgorithm SD=0.7SD = 0.7 SD=1.5SD = 1.5 SD=2.2SD = 2.2 SD=3.0SD = 3.0 TV_GDTV_GD 22 22 22 22 GDGD 66 66 66 66 FLT_GDFLT_GD 22 22 22 22 CAS_GDCAS_GD 22 22 22 22 RAN_LSRAN_LS 1414 132132 >500> 500 >500> 500 LSS_MELSS_ME 44 44 44 44

본 발명의 실시예에 따른 유일한 입력 파라미터는 보팅 범위이다.The only input parameter according to an embodiment of the invention is the voting range.

다행스럽게도, 텐서 보팅 결과는 선행논문 9와 선행논문 10에 개시된 보팅 범위 값에 영향을 받지 않는다.Fortunately, the tensor voting results are not affected by the voting range values disclosed in the preceding articles 9 and 10.

표 4는 보팅 범위의 다른 값을 가지는 SNR 성능을 나타내며, 본 발명의 실시예에 따른 방법은 보팅 범위의 다른 값에서도 안정적인 결과를 도출함을 확인할 수 있다.Table 4 shows the SNR performance having different values of the voting range, and it can be seen that the method according to the embodiment of the present invention leads to stable results even at other values of the voting range.

모션 벡터 기반의 전역적 움직임 추정 방법의 성능은 대부분의 카메라 이동을 포함하는 실제 테스트 시퀀스를 사용하여 평가된다.The performance of the motion vector-based global motion estimation method is evaluated using a real test sequence that includes most camera movements.

움직임 추정 진행의 완전한 검색에 따라 추정된 모션 벡터는 움직임 모델을 추정하기 위해 사용된다.According to a complete search of the motion estimation progress, the estimated motion vector is used to estimate the motion model.

전역적 움직임 보상은 선행논문 8에 개시된 방법과 같이 선형보간법에 가까운 움직임 모델에 따라 참조 이미지 평면으로 현재 프레임을 비틀어서 수행한다.Global motion compensation is performed by twisting the current frame to the reference image plane according to a motion model close to linear interpolation, as in the method disclosed in the preceding paper.

ModelModel σ=30σ = 30 σ=40σ = 40 σ=50σ = 50 σ=100σ = 100 σ=200σ = 200 M1M1 28.1528.15 28.1628.16 28.3728.37 27.4027.40 27.9827.98 M2M2 32.7632.76 31.3831.38 32.6532.65 31.6131.61 30.8730.87 M3M3 29.4129.41 27.9127.91 28.9628.96 26.9026.90 24.8324.83 M4M4 31.6431.64 30.7530.75 31.2031.20 39.6839.68 28.8328.83

종래의 PSNR은 본래의 참조 프레임과 상기 참조 프레임이 보상된 결과 사이를 측정한다.The conventional PSNR measures between the original reference frame and the result of the compensation of the reference frame.

표 5에서는 6가지 테스트 시퀀스에서 모든 전역적 움직임 추정 방법의 PSNR 성능을 나타내며, 전역적 움직임 추정 방법의 프레임당 평균 처리시간은 표 6과 같다.Table 5 shows the PSNR performance of all global motion estimation methods in six test sequences, and the average processing time per frame of the global motion estimation method is shown in Table 6.

SequenceSequence TV_GDTV_GD GDGD FLT_GDFLT_GD CAS_GDCAS_GD RAN_LSRAN_LS LSS_MELSS_ME Flower gardenFlower garden 25.7525.75 26.0826.08 25.6625.66 25.4725.47 25.1825.18 26.1626.16 stefanstefan 24.3024.30 24.5224.52 22.1622.16 24.5924.59 24.8124.81 24.6024.60 tempetetempete 27.9127.91 26.5126.51 24.9724.97 26.8226.82 27.8627.86 27.6527.65 WaterfallWaterfall 34.8534.85 34.7034.70 24.3624.36 34.7734.77 35.4935.49 34.6934.69 MobileMobile 24.1524.15 23.9723.97 22.6822.68 23.4823.48 24.7624.76 24.9724.97 CoastguardCoastguard 26.8626.86 26.5426.54 26.9026.90 26.7426.74 26.9826.98 26.8326.83 AverageAverage 27.3027.30 27.0527.05 24.4524.45 26.9726.97 27.5127.51 27.4827.48

SequenceSequence TV_GDTV_GD GDGD FLT_GDFLT_GD CAS_GDCAS_GD RAN_LSRAN_LS LSS_MELSS_ME Flower gardenFlower garden 59.0559.05 60.0660.06 52.4852.48 55.3755.37 118.7118.7 168.8168.8 stefanstefan 57.4157.41 59.659.6 50.6550.65 53.6953.69 128.1128.1 200.3200.3 tempetetempete 56.2556.25 58.8258.82 48.6748.67 53.8253.82 84.0984.09 220.8220.8 WaterfallWaterfall 58.4058.40 58.8858.88 49.2949.29 54.0554.05 77.6177.61 207.7207.7 MobileMobile 55.2855.28 59.3959.39 51.1651.16 53.0053.00 88.1388.13 214.3214.3 CoastguardCoastguard 58.1358.13 59.2359.23 53.0153.01 54.6354.63 85.4385.43 212.9212.9 AverageAverage 57.4257.42 59.3359.33 50.8750.87 54.0954.09 97.0197.01 204.1204.1

상기 모든 알고리즘은 매틀랩(MATLAB)으로 수행되고, 2.66Hz의 처리속도를 가지는 인텔코어2 쿼드 CPU, 3GB 램 및 윈도우 7 환경에서 실행되었다.All of these algorithms were run on MATLAB and run on Intel Core 2 Quad CPUs, 3GB RAM, and Windows 7 with a 2.66Hz throughput.

또한, 상기 비교 평가를 위하여 본 발명의 실시예에 따른 방법은 블록 사이즈를 8×8로 설정하고, 보팅 범위는 30으로 설정하였으며, 전역적 움직인 추정의 반복 숫자는 TV_GD, CAS_GD 및 FLT_GD 중 하나로 설정하고, GD는 6, LSS_ME는 3으로 설정한다.In addition, the method according to an embodiment of the present invention for the comparison evaluation, the block size is set to 8 × 8, the voting range is set to 30, the repetition number of the global motion estimation is one of TV_GD, CAS_GD and FLT_GD GD is set to 6 and LSS_ME is set to 3.

본 발명의 실시예에 따르면 연산 시간의 대부분은 텐서 보팅 처리에 소요되며, 상기 처리 시간을 줄이기 위하여 T.P.Wu, J.Jia 및 C.K.Tand에 의해 제안된 "A closed-form solution to tensor voting for robust parameter estimation via expection-maximization(Technical report,HKUST,2009)"에서는 폐쇄적 형태의 텐서 보팅을 C 프로그래밍 언어를 사용하여 수행하였다.According to an embodiment of the present invention, most of the computation time is spent on tensor voting, and the "A closed-form solution to tensor voting for robust parameter proposed by TPWu, J.Jia and CKTand to reduce the processing time. Estimation via expection-maximization (Technical report, HKUST, 2009) "is a closed tensor voting using the C programming language.

FLT_GD 방법은 빠르지만, 나쁜 결과를 도출하고, RAN_LS와 LSS_ME 방법은 좋은 결과를 도출하나, 높은 연산 비용을 필요로 하는 반면, 본 발명의 실시예에 따른 방법은 CAS_GD 방법보다 빠르고 좋은 PSNR 도출한다.The FLT_GD method is fast, but yields bad results, while the RAN_LS and LSS_ME methods yield good results, but require a high computational cost, while the method according to an embodiment of the present invention produces faster and better PSNR than the CAS_GD method.

따라서, 본 발명의 실시예에 따른 전역적 움직임 추정을 위한 효율적인 모션 벡터 잡음 제거 방법은 정확도와 연산의 복잡도 사이에서 바람직한 균형을 이룬다.Therefore, an efficient motion vector noise cancellation method for global motion estimation according to an embodiment of the present invention strikes a desirable balance between accuracy and complexity of operation.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하는 본 발명의 기본개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention as defined in the following claims are also the rights of the present invention. It belongs to the range.

10 : 스틱 구성요소 20 : 볼 구성요소10: stick component 20: ball component

Claims (9)

모션 벡터 기반의 전역적 움직임 추정 방법에 있어서,
상기 모션 벡터를 2차원 텐서로 인코딩하는 단계;
상기 2차원 텐서를 보팅 처리하여 모션 벡터 영역을 부드럽게 하는 단계;
부드러운 모션 벡터 영역과 입력 모션 벡터 영역을 비교하여 아웃라이어를 검출 및 제거하는 단계; 및
상기 모션 벡터 영역을 이용하여 전역적 움직임을 추정하는 단계;
를 포함하는 텐서보팅을 이용한 전역적 움직임 추정 방법.In the motion vector-based global motion estimation method,
Encoding the motion vector with a two-dimensional tensor;
Voting the two-dimensional tensor to smooth the motion vector region;
Comparing the smooth motion vector region with the input motion vector region to detect and remove the outliers; And
Estimating global motion using the motion vector region;
Global motion estimation method using tensor voting comprising a. 제 1항에 있어서,
상기 모션 벡터는 다음 식에 의해 구하는 이동 벡터와 동일한 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.
Figure 112012081213877-pat00051

(여기서,
Figure 112012081213877-pat00083
는 원근(perspective) 모델에 의한 8개의 매개변수 벡터를 의미하며,
Figure 112012081213877-pat00084
는 현재 프레임의 위치를 의미하고,
Figure 112012081213877-pat00085
는 다음 프레임의 위치를 의미한다. 또한,
Figure 112012081213877-pat00086
는 m을 이용한 원근 모델에 의해 정의되는 모션 벡터이며,
Figure 112012081213877-pat00087
와
Figure 112012081213877-pat00088
은 각각
Figure 112012081213877-pat00089
과
Figure 112012081213877-pat00090
을 의미하고, 상기
Figure 112012081213877-pat00091
과
Figure 112012081213877-pat00092
은 아래의 식에 의해 정의된다.
Figure 112012081213877-pat00093

Figure 112012081213877-pat00094
)The method of claim 1,
And the motion vector is the same as the motion vector obtained by the following equation.
Figure 112012081213877-pat00051

(here,
Figure 112012081213877-pat00083
Means 8 parameter vectors by perspective model,
Figure 112012081213877-pat00084
Means the position of the current frame,
Figure 112012081213877-pat00085
Means the position of the next frame. Also,
Figure 112012081213877-pat00086
Is the motion vector defined by the perspective model using m,
Figure 112012081213877-pat00087
Wow
Figure 112012081213877-pat00088
Respectively
Figure 112012081213877-pat00089
and
Figure 112012081213877-pat00090
Means, said
Figure 112012081213877-pat00091
and
Figure 112012081213877-pat00092
Is defined by the equation
Figure 112012081213877-pat00093

Figure 112012081213877-pat00094
) 제 1항에 있어서,
상기 모션 벡터는 스틱 텐서에 의하여 다음 식과 같이 초기화되는 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.
Figure 112012081213877-pat00053
(여기서,
Figure 112012081213877-pat00095
는 i번째 텐서를 의미하며,
Figure 112012081213877-pat00096
와
Figure 112012081213877-pat00097
는 i번째 모션 벡터이다.)The method of claim 1,
And the motion vector is initialized by a stick tensor as in the following equation.
Figure 112012081213877-pat00053
(here,
Figure 112012081213877-pat00095
Is the i th tensor,
Figure 112012081213877-pat00096
Wow
Figure 112012081213877-pat00097
Is the i th motion vector.) 제 1항에 있어서,
2차원 보팅 처리 단계는 보터(O)와 수령인(P) 사이에 가장 연속적인 곡선을 선택하고, 상기 수령인(P)의 보트는 상기 수령인(P)에서 상기 곡선의 중심 방향으로 향하는 스틱 텐서인 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.The method of claim 1,
The two-dimensional voting process step selects the most continuous curve between the boat O and the recipient P, wherein the boat of the recipient P is a stick tensor facing the center of the curve at the recipient P. A global motion estimation method using tensor boating. 제 4항에 있어서,
상기 보트의 크기는 다음 식에 의해 구하는 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.
Figure 112012081213877-pat00054

(단, 호의 길이
Figure 112012081213877-pat00055
이고, 곡률
Figure 112012081213877-pat00056
이며, c는 곡률을 정의하는 상수이고,
Figure 112012081213877-pat00057
는 보트의 길이와 상기 보트 주위의 크기를 제어하는 보팅 영역의 크기이다. 이때,
Figure 112012081213877-pat00098
은 보팅을 주는 점 O와 보팅을 받는 점 P 사이의 거리이며,
Figure 112012081213877-pat00099
는 점 O의 고유값 벡터를 수직으로 할 때 점 O와 점 P간의 각도이다.)5. The method of claim 4,
The size of the boat is calculated by the following equation Global motion estimation method using tensor boating.
Figure 112012081213877-pat00054

(However, arc length
Figure 112012081213877-pat00055
And curvature
Figure 112012081213877-pat00056
C is a constant defining curvature,
Figure 112012081213877-pat00057
Is the size of the boating area that controls the length of the boat and the size around the boat. At this time,
Figure 112012081213877-pat00098
Is the distance between the voting point O and the voting point P,
Figure 112012081213877-pat00099
Is the angle between point O and point P when the eigenvalue vector of point O is vertical.) 제 1항에 있어서,
상기 아웃라이어 검출 및 제거 단계는 입력 모션 벡터 영역의 모션 벡터와 2차원 보팅 처리된 영역의 모션 벡터 사이의 위상차를 이용하여 아웃라이어를 검출 및/또는 제거하는 단계를 포함하는 텐서보팅을 이용한 전역적 움직임 추정 방법.The method of claim 1,
The detecting and removing the outliers may include detecting and / or removing the outliers using a phase difference between the motion vector of the input motion vector region and the motion vector of the two-dimensional voting processed region. Motion estimation method. 제 1항에 있어서,
상기 아웃라이어 검출 및 제거 단계는 블록
Figure 112012081213877-pat00058
에서 입력 모션 벡터와 부드러운 모션 벡터의 모션 벡터 사이의 유사도
Figure 112012081213877-pat00059
를 다음 식에 의해 구하는 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.
Figure 112012081213877-pat00060

(단,
Figure 112012081213877-pat00061
는 입력된 원래의 모션 벡터이고,
Figure 112012081213877-pat00062
는 스무딩(smoothing)된 부드러운 모션 벡터이며,
Figure 112012081213877-pat00100
는 i번째 블록의 가장 큰 고유값을 갖는 고유값 벡터이다. 또한,
Figure 112012081213877-pat00101
는 두 개의 벡터
Figure 112012081213877-pat00102
와
Figure 112012081213877-pat00103
가 갖는 코사인(cosine) 값이며,
Figure 112012081213877-pat00104
는 두 개의 벡터
Figure 112012081213877-pat00105
와
Figure 112012081213877-pat00106
가 갖는 코사인(cosine) 값이다.)The method of claim 1,
The outlier detection and removal step is a block
Figure 112012081213877-pat00058
Similarity between the input motion vector and the motion vector of the smooth motion vector
Figure 112012081213877-pat00059
The global motion estimation method using tensor voting, characterized in that is obtained by the following equation.
Figure 112012081213877-pat00060

(only,
Figure 112012081213877-pat00061
Is the original motion vector entered,
Figure 112012081213877-pat00062
Is a smoothed smooth motion vector,
Figure 112012081213877-pat00100
Is the eigenvalue vector with the largest eigenvalue of the i-th block. Also,
Figure 112012081213877-pat00101
Two vector
Figure 112012081213877-pat00102
Wow
Figure 112012081213877-pat00103
Is the cosine of
Figure 112012081213877-pat00104
Two vector
Figure 112012081213877-pat00105
Wow
Figure 112012081213877-pat00106
Is the cosine of cosine.) 제 1항에 있어서,
상기 전역적 움직임 추정 단계는 입력된 모션 벡터와 추정된 모션 벡터 사이의 정합 오차의 합을 최소화하는 단계를 포함하는 텐서보팅을 이용한 전역적 움직임 추정 방법.The method of claim 1,
The global motion estimation method may include minimizing the sum of matching errors between the input motion vector and the estimated motion vector. 제 8항에 있어서,
상기 정합 오차 합의 최소값 E는 다음 식에 의해 구하는 것을 특징으로 하는 텐서보팅을 이용한 전역적 움직임 추정 방법.
Figure 112012081213877-pat00064
(여기서,
Figure 112012081213877-pat00107
는 i번째 블록의 가중치(weight)값이며,
Figure 112012081213877-pat00108
와
Figure 112012081213877-pat00109
는 상기 블록의 왼쪽 위의 코너 위치를 나타내고,
Figure 112012081213877-pat00110
와
Figure 112012081213877-pat00111
는 상기 블록의 모션 벡터이다. 또한,
Figure 112012081213877-pat00112
와
Figure 112012081213877-pat00113
는 전역적 움직임 추정에 의한 위치이다.)The method of claim 8,
The minimum value E of the matching error sum is obtained by the following equation.
Figure 112012081213877-pat00064
(here,
Figure 112012081213877-pat00107
Is the weight value of the i th block,
Figure 112012081213877-pat00108
Wow
Figure 112012081213877-pat00109
Indicates the position of the upper left corner of the block,
Figure 112012081213877-pat00110
Wow
Figure 112012081213877-pat00111
Is the motion vector of the block. Also,
Figure 112012081213877-pat00112
Wow
Figure 112012081213877-pat00113
Is the position by global motion estimation.)
KR1020110083216A 2011-08-22 2011-08-22 Method of global motion estimation using tensor voting KR101229428B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110083216A KR101229428B1 (en) 2011-08-22 2011-08-22 Method of global motion estimation using tensor voting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110083216A KR101229428B1 (en) 2011-08-22 2011-08-22 Method of global motion estimation using tensor voting

Publications (1)

Publication Number Publication Date
KR101229428B1 true KR101229428B1 (en) 2013-02-04

Family

ID=47898820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083216A KR101229428B1 (en) 2011-08-22 2011-08-22 Method of global motion estimation using tensor voting

Country Status (1)

Country Link
KR (1) KR101229428B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080108430A (en) * 2006-01-31 2008-12-15 유니버시티 오브 써던 캘리포니아 3d face reconstruction from 2d images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080108430A (en) * 2006-01-31 2008-12-15 유니버시티 오브 써던 캘리포니아 3d face reconstruction from 2d images

Similar Documents

Publication Publication Date Title
CN107085716B (en) Cross-view gait recognition method based on multi-task generation countermeasure network
Yue et al. Image denoising by exploring external and internal correlations
Long et al. Adaptive surface normal constraint for depth estimation
US9727974B2 (en) System for video super resolution using semantic components
Hu et al. Nerf-rpn: A general framework for object detection in nerfs
JP6611681B2 (en) Method and system for segmenting images
CN106204570B (en) A kind of angular-point detection method based on non-causal fractional order gradient operator
US20150130953A1 (en) Method for Video Background Subtraction Using Factorized Matrix Completion
Liu et al. Hosnerf: Dynamic human-object-scene neural radiance fields from a single video
Tao et al. Non-rigid structure from motion with diffusion maps prior
Junayed et al. HiMODE: A hybrid monocular omnidirectional depth estimation model
Basavaiah et al. Robust Feature Extraction and Classification Based Automated Human Action Recognition System for Multiple Datasets.
Zografos et al. Fast and accurate motion segmentation using linear combination of views
Min et al. Temporally consistent stereo matching using coherence function
Pini et al. Learning to generate facial depth maps
Chao et al. Skeleton-based motion estimation for Point Cloud Compression
Bugeau et al. Coherent background video inpainting through Kalman smoothing along trajectories
Thirumalai et al. Distributed representation of geometrically correlated images with compressed linear measurements
Luo et al. GCA-Net: Gait contour automatic segmentation model for video gait recognition
Khan Robust sparse and dense nonrigid structure from motion
KR101229428B1 (en) Method of global motion estimation using tensor voting
Bello et al. A novel monocular disparity estimation network with domain transformation and ambiguity learning
Dinh et al. Efficient motion vector outlier removal for global motion estimation
Zhou et al. Low-rank modeling and its applications in medical image analysis
Herrmann et al. A video segmentation algorithm for hierarchical object representations and its implementation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee