KR20070092729A - Dynamic warp map generation system and method - Google Patents

Abstract

Dynamic warp map generation system(fig.1) and corresponding method are disclosed. A compactor (110,fig.1) obtains spatial transformation parameters along with geometric and optical distortion parameters and combines them to form hybrid grid data in a hybrid vector space. This vector space is divided (114, fig.1) into hybrid blocks. In each hybrid block, the grid dataset is fitted with a hypersurface and the surface coefficients are saved in an interface. A decompactor(150,fig.1) obtains dynamic control parameters representing varying distortion parameters and generates a hybrid space vector. According to the hybrid space vector, a warp map is decoded (153,fig.1) from the hypersurface coefficients that compensates for dynamic geometric and optical distortions. In another example of the present invention, the dynamic warp map generation system is used for color gamut transformation.

Description

다이나믹 워프맵 생성 시스템 및 방법{DYNAMIC WARP MAP GENERATION SYSTEM AND METHOD}DYNAMIC WARP MAP GENERATION SYSTEM AND METHOD}

본 발명은 전자 영상비틀림 방법에 관한 것으로, 구체적으로는 왜곡이 변하는 경우 다이나믹 워프맵을 생성하는 것에 관한 것이다.The present invention relates to an electronic image twisting method, and more particularly, to generating a dynamic warp map when a distortion changes.

2차원 디지털 영상처리는 입력영상의 디지털 컨텐츠를 변환하고 출력 디지털 영상데이터를 만들어 출력영상을 생성하는 과정이다. 디스플레이 시스템에서는 이런 변환을 할 때 영상데이터가 고유왜곡과 상황왜곡을 겪는다. 고유왜곡은 환경이 바뀌면 변하지 않는 디스플레이 시스템의 특징이다. 이런 왜곡의 예로는 접면형 및 방사형 렌즈왜곡이 있는데, 그중 핀쿠션(pincushion)이나 볼록왜곡이 가장 일반적이다. Two-dimensional digital image processing is a process of converting digital contents of an input image and generating output digital image data. In a display system, the image data undergoes inherent and situational distortions during this conversion. Inherent distortion is a feature of display systems that does not change when the environment changes. Examples of such distortions are tangential and radial lens distortions, of which pincushion or convex distortion is the most common.

한편, 상황왜곡은 특정 환경에 의존하는 것으로, 수평수직 키스톤 왜곡을 예로 들 수 있다. 어떤 왜곡은 디스플레이 특성에 따라 고유왜곡이나 상황왜곡으로 간주될 수 있다. 예를 들어, 후면투사형 TV의 기하학적왜곡은 고정된 것이지만, 평면이나 곡면과 같은 스크린의 형상, 투사각 등에 따라 투사기에서 크게 변한다. On the other hand, the situation distortion depends on a specific environment, for example, the horizontal and vertical keystone distortion. Some distortions can be considered inherent or situational distortions, depending on the display characteristics. For example, the geometric distortion of the rear-projection TV is fixed, but varies greatly in the projector depending on the shape of the screen, the projection angle, and the like, such as a plane or a curved surface.

전자 영상비틀림은 기하학적 왜곡과 광학왜곡을 보상하는데 이용된다. 1988년판 IEEE Computer Society Press에 실린 George Wolberg의 "Digital Image Warping"에서 영상비틀림에 관한 설명을 볼 수 있다. 많은 전자 영상왜곡이나 변환알고리즘은 하드웨어 구현을 단순화하는 것을 주목적으로 한다. 이 목적은 흔히 공간변환의 복잡성과 유연성을 제한한다. Electronic image distortion is used to compensate for geometric and optical distortion. An explanation of image distortion can be found in George Wolberg's "Digital Image Warping," published in the 1988 edition of the IEEE Computer Society Press. Many electronic image distortion or transformation algorithms aim to simplify hardware implementation. This purpose often limits the complexity and flexibility of spatial transformations.

Bennett의 미국특허 4,472,732는 실시간 영상처리 시스템의 하드웨어 구현에 맞는 방법을 소개하면서 2D 맵을 1D 맵으로 분해하는데, 이 때 1D 필터링이나 리샘플링만 필요하다. Sayre의 미국특허 5,175,808과 Wolberg의 미국특허 5,204,944는 화소x화소 묘사를 기반으로 한 방법을 소개한다. 모든 워프를 1D 워프로 분리할 수 있는 것이 아니고 화소 묘소가 변화하는 왜곡에는 적절치 않기 때문에 이 방법은 제한적이기도 하면서 구현하는데 비용이 아주 많이 든다.Bennett's U.S. Patent 4,472,732 introduces a method suitable for hardware implementation of a real-time image processing system, decomposing a 2D map into a 1D map, which requires only 1D filtering or resampling. Sayre's U.S. Patent 5,175,808 and Wolberg's U.S. Patent 5,204,944 introduce a method based on pixel x pixel description. This method is both limited and very expensive to implement because not all warps can be separated into 1D warps and are not suitable for pixel distortion changing distortion.

다른 공간변환 알고리즘이 적용되는 맵은 회전, 선형 스케일링, 아핀(affine), 입체변환 등에 한정되는데, 이에 대해서는 미국특허 4,835,532, 4,975,976, 5,808,623, 6,097,855에 설명되어 있다.Maps to which other spatial transformation algorithms are applied are limited to rotation, linear scaling, affine, steric transformation, and the like, as described in US Pat. Nos. 4,835,532, 4,975,976, 5,808,623, 6,097,855.

변화하는 왜곡인자의 경우, 주어진 상황마다 다른 워프맵이 필요하다. 다이나믹 워프맵을 취급하는 한가지 방법은 상황이 바뀔 때마다 워프맵을 만드는 것이다. 이 방법은 분명히 비효율적이고, 실시간 비디오 적용의 경우에는 실현 불가능하다. In the case of changing distortion factors, different warp maps are needed for a given situation. One way to deal with a dynamic warpmap is to create a warpmap each time the situation changes. This method is clearly inefficient and not feasible for real-time video applications.

다이나믹 워프의 좀더 효과적인 할당 방법은 워프맵 세트를 오프라인에서 생성하여 메모리에 저장하는 것이다. 필요할 때, 이들중의 하나를 불러 특정 왜곡인자 세트에 맞게 왜곡을 보상하는데 사용한다. 이 기술에는 워프맵 전부를 저장할 메모리가 필요하다. 따라서, 이 방법은 인자나 구성이 너무 많은 경우에는 비실용 적이다. 또, 워프맵의 선정도 미리 정해진 왜곡인자에 한정되므로, 출력 영상의 화질도 크게 저하된다.A more efficient way of assigning dynamic warps is to create a warpmap set offline and store it in memory. When needed, one of them is called and used to compensate for the distortion for a particular set of distortion factors. This technique requires memory to store all the warp maps. Thus, this method is impractical when there are too many arguments or configurations. In addition, since the selection of the warp map is also limited to a predetermined distortion factor, the image quality of the output image is also greatly reduced.

따라서, 하드웨어 구현의 관점에서 효과적이면서도 허용되는 왜곡의 종류의 관점에서 융통성이 있고, 또한 출력영상의 화질을 높일 수 있는 다이나믹 워프 생성체계가 필요하다. Therefore, there is a need for a dynamic warp generation system that is flexible in terms of the type of distortion that is effective and acceptable in terms of hardware implementation, and that can improve the image quality of an output image.

발명의 요약Summary of the Invention

본 발명은 변동 N차원 왜곡/제어 인자에 맞는 다이나믹 m차원 디지털 데이터변환을 위한 시스템에 있어서:The present invention is directed to a system for dynamic m-dimensional digital data conversion for variable N-dimensional distortion / control factors:

a. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 얻기 위한 입력 인터페이스;a. an input interface for obtaining m-dimensional transform data and N-dimensional distortion / control factor set;

b. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 연결하고, m+N 차원 하이브리드 그리드데이터를 대응 하이브리드 벡터공간에 형성하도록 상기 입력 인터페이스에 연결된 연결 스테이지;b. a connection stage connected to the input interface to connect m-dimensional transform data and N-dimensional distortion / control factor sets and form m + N-dimensional hybrid grid data in a corresponding hybrid vector space;

c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, N차원 왜곡제어구역과 m차원 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하도록 상기 연결 스테이지에 연결되는 디바이더;c. A divider coupled to the connection stage to divide the hybrid vector space into a plurality of hybrid blocks consisting of an N-dimensional distortion control zone and an m-dimensional geometric patch based on a desired accuracy;

d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 하이퍼표면의 맵을 각각의 하이브리드 블록에 생성하고, 상기 하이브리드 그리드데이터를 추정하기 위한 표면함수 추정기;d. A surface function estimator for printing the hybrid grid data, generating a map of the hyper surface represented by a plurality of compact coefficients in each hybrid block, and estimating the hybrid grid data;

e. 상기 표면함수 추정기에 연결되어 콤팩트 계수를 저장하기 위한 표면맵 인터페이스;e. A surface map interface coupled to the surface function estimator for storing compact coefficients;

f. 순간적인 사용자인자와 제어인자를 구하고, 이들 인자를 기반으로 하이브리드 벡터공간내 벡터를 만들기 위한 컨트롤러;f. A controller for obtaining instantaneous user and control factors and creating a vector in a hybrid vector space based on these factors;

g. 상기 하이브리드 벡터공간내 벡터에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하도록 상기 표면맵 인터페이스와 컨트롤러에 연결된 디코더; 및g. A decoder coupled to the surface map interface and a controller to dynamically calculate an instantaneous warp map from the compact coefficients corresponding to the vector in the hybrid vector space; And

h. 상기 워프맵을 저장 및 중계하기 위한 출력 인터페이스;를 포함하는 시스템을 제공한다.h. And an output interface for storing and relaying the warp map.

본 발명은 또한, 다차원 인자 데이터 집합으로 묘사되는 변동 기하학적/광학적 왜곡과 2차원공간 그리드데이터로 묘사되는 다이나믹 2차원 디지털 영상변환을 위한 시스템에 있어서:The present invention also provides a system for dynamic two-dimensional digital image transformations represented by two-dimensional spatial grid data and variable geometric / optical distortions represented by multidimensional factor data sets:

a. 변동 기하학적/광학적 왜곡을 나타내는 2차원공간 그리드데이터와 다차원 왜곡인자 데이터 집합을 구하기 위한 입력 인터페이스;a. An input interface for obtaining a two-dimensional spatial grid data and a multi-dimensional distortion factor data set representing variable geometric / optical distortion;

b. 다차원 왜곡인자 데이터 집합과 2차원 공간변환 그리드데이터를 연결하고, 대응 하이브리드 벡터공간에 하이브리드 그리드데이터를 생성하도록 상기 입력 인터페이스에 연결된 연결 스테이지;b. A connection stage connected to the input interface to connect a multidimensional distortion factor data set and 2D spatial transform grid data, and generate hybrid grid data in a corresponding hybrid vector space;

c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, 다차원 왜곡제어구역과 2차원 공간 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하도록 상기 연결 스테이지에 연결되는 디바이더;c. A divider coupled to the connection stage to divide the hybrid vector space into a plurality of hybrid blocks consisting of a multidimensional distortion control zone and a two-dimensional spatial geometry patch based on a desired accuracy;

d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 각각의 하이브리드 블록내 하이퍼표면 맵을 생성하도록 상기 디바이더에 연결된 표면함수 추정기;d. A surface function estimator coupled to the divider to print the hybrid grid data to generate a hypersurface map in each hybrid block represented by a plurality of compact coefficients;

e. 상기 표면함수 추정기에 연결되어, 하이퍼표면 맵을 나타내는 콤팩트 계수를 저장하기 위한 표면맵 인터페이스;e. A surface map interface coupled to the surface function estimator, for storing a compact coefficient representing a hyper surface map;

f. 디스플레이 인자, 왜곡인자, 사용자 인자를 포함한 순간적인 제어인자를 구하고, 이들 제어인자로부터 하이브리드 공간벡터를 계산하기 위한 컨트롤러;f. A controller for obtaining instantaneous control factors including display factors, distortion factors, and user factors, and calculating hybrid space vectors from these control factors;

g. 상기 하이브리드 벡터공간에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하도록 상기 콤팩트 워프 인터페이스와 컨트롤러에 연결된 디코더; 및g. A decoder coupled to the compact warp interface and a controller to dynamically calculate an instantaneous warp map from the compact coefficients corresponding to the hybrid vector space; And

h. 상기 워프맵을 저장 및 중계하기 위한 출력 인터페이스;를 포함하는 시스템도 제공한다.h. It also provides a system comprising; an output interface for storing and relaying the warp map.

본 발명은 또한, 변동 N차원 왜곡/제어 인자에 맞는 다이나믹 m차원 디지털 데이터변환을 위한 방법에 있어서:The invention also provides a method for dynamic m-dimensional digital data conversion that is adapted to a variable N-dimensional distortion / control factor:

a. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 얻는 단계;a. obtaining m-dimensional transformed data and N-dimensional distortion / control factor set;

b. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 연결하고, m+N 차원 하이브리드 그리드데이터를 대응 하이브리드 벡터공간에 형성하는 단계;b. connecting m-dimensional transform data and N-dimensional distortion / control factor set and forming m + N-dimensional hybrid grid data in a corresponding hybrid vector space;

c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, N차원 왜곡제어구역과 m차원 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하는 단계; c. Dividing the hybrid vector space into a plurality of hybrid blocks consisting of an N-dimensional distortion control region and an m-dimensional geometric patch based on a desired accuracy;

d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 하이퍼표면 맵을 각각의 하이브리드 블록에 생성하는 단계;d. Printing the hybrid grid data to generate a hypersurface map represented by a plurality of compact coefficients in each hybrid block;

e. 콤팩트 계수를 저장하는 단계; e. Storing the compact coefficients;

f. 순간적인 사용자인자와 제어인자를 구하고, 이들 인자를 기반으로 하이브리드 벡터공간내 벡터를 만드는 단계; f. Obtaining instantaneous user and control factors and creating vectors in the hybrid vector space based on these factors;

g. f 단계에서 구한 하이브리드 벡터공간내 벡터에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하는 단계; 및g. dynamically calculating instantaneous warp maps from the compact coefficients corresponding to the vectors in the hybrid vector space obtained in step f; And

h. 상기 워프맵을 저장 및 중계하는 단계;를 포함하는 방법을 제공한다.h. And storing and relaying the warp maps.

본 발명은 또한, 다차원 인자 데이터 집합으로 묘사되는 변동 기하학적/광학적 왜곡과 2차원공간 그리드데이터로 묘사되는 다이나믹 2차원 디지털 영상변환을 위한 방법에 있어서:The present invention also provides a method for dynamic two-dimensional digital image transformations represented by two-dimensional spatial grid data and variable geometric / optical distortions represented by multidimensional factor data sets:

a. 변동 기하학적/광학적 왜곡을 나타내는 2차원공간 그리드데이터와 다차원 왜곡인자 데이터 집합을 구하는 단계;a. Obtaining a two-dimensional space grid data and a multi-dimensional distortion factor data set representing variable geometric / optical distortion;

b. 다차원 왜곡인자 데이터 집합과 2차원 공간변환 그리드데이터를 연결하여, 대응 하이브리드 벡터공간에 하이브리드 그리드데이터를 생성하는 단계;b. Generating hybrid grid data in a corresponding hybrid vector space by connecting the multidimensional distortion factor data set and the 2D spatial transform grid data;

c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, 다차원 왜곡제어구역과 2차원 공간 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하는 단계;c. Dividing the hybrid vector space into a plurality of hybrid blocks consisting of a multidimensional distortion control zone and a two-dimensional spatial geometry patch based on a desired accuracy;

d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 각각의 하이브리드 블록내 하이퍼표면 맵을 생성하는 단계;d. Printing the hybrid grid data to generate a hypersurface map in each hybrid block represented by a plurality of compact coefficients;

e. 하이퍼표면 맵을 나타내는 콤팩트 계수를 저장하는 단계;e. Storing a compact coefficient representative of the hypersurface map;

f. 디스플레이 인자, 왜곡인자, 사용자 인자를 포함한 순간적인 제어인자를 구하고, 이들 제어인자로부터 하이브리드 공간벡터를 계산하는 단계;f. Obtaining instantaneous control factors including display factors, distortion factors, and user factors, and calculating hybrid spatial vectors from these control factors;

g. f 단계에서 구한 상기 하이브리드 벡터공간에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하는 단계; 및g. dynamically calculating an instantaneous warp map from the compact coefficients corresponding to the hybrid vector space obtained in step f; And

h. 상기 워프맵을 저장 및 중계하는 단계;를 포함하는 방법도 제공한다.h. And storing and relaying the warp map.

이하, 첨부 도면을 참조하여 본 발명을 자세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 다이나믹 워프시스템의 블록도;1 is a block diagram of a dynamic warp system according to the present invention;

도 2A는 3차원 제어공간 분할을 보여주는 개략도;2A is a schematic diagram showing three-dimensional control space division;

도 2B는 2차원 좌표공간 분할을 보여주는 개략도;2B is a schematic diagram showing two-dimensional coordinate space division;

도 3A는 다른 그리드맵의 다른 워프맵으로 정한 워프맵을 만드는 종래의 방법을 예시하는 블록도;3A is a block diagram illustrating a conventional method of creating warp maps defined by different warp maps of different grid maps;

도 3B는 다른 워프맵을 생성하는 본 발명의 방법을 예시하는 블록도;3B is a block diagram illustrating a method of the present invention for generating another warp map;

도 4는 본 발명의 일례에 따른 논리흐름도.4 is a logic flow diagram in accordance with an example of the present invention.

도 1의 다이나믹워프 시스템(100)은 본 발명에 따라 이루어진 것이다. 다이나믹워프 시스템(100)은 콤팩터(110)와 디콤팩터(150)를 갖는다. 콤팩터(110)는 입력 인터페이스(112), 연결 스테이지(113), 디바이더(114), 표면함수 추정기(115), 오차분석 스테이지(116) 및 콤팩트 워프 인터페이스(117)를 포함한다. 디콤팩 터(150)는 컨트롤러(152), 디코더(153) 및 출력 인터페이스(154)를 갖는다. The dynamic warp system 100 of FIG. 1 is made in accordance with the present invention. The dynamic warp system 100 has a compactor 110 and a decompactor 150. The compactor 110 includes an input interface 112, a connection stage 113, a divider 114, a surface function estimator 115, an error analysis stage 116, and a compact warp interface 117. The decompactor 150 has a controller 152, a decoder 153 and an output interface 154.

어떤 디스플레이 장치에도 왜곡인자와 관련된 광학적이나 기하학적인 왜곡은 존재하기 마련이다. 어떤 왜곡인자는 디스플레이 장치 고유의 기하학적 변환을 표현한다. 예를 들어 프로젝션 장치의 디스플레이 표면의 형상과 크기는 중요한 기하학적 인자이다. 곡면은 특정 표면 맵을 가지고, 다른 기하학적 인자들은 상황왜곡을 규정할 수 있다. 예컨대, 수평수칙 키스톤 각도는 키스톤왜곡과 관련되고, 마찬가지로 (접면형 및 방사형 렌즈 결함, 렌즈 오프셋 등의) 광학왜곡도 광학인자를 특징으로 한다. 왜곡인자들을 고유하게 조합할 때마다 고유의 공간변환이 생기고, 이때문에 영상이 비틀린다. In any display device, there is an optical or geometric distortion associated with the distortion factor. Some distortion factors represent the geometric transformations inherent in the display device. For example, the shape and size of the display surface of the projection device are important geometric factors. The surface has a specific surface map, and other geometric factors can define the situation distortion. For example, the horizontal keystone angle is associated with keystone distortion, and likewise optical distortion (such as contact and radial lens defects, lens offset, etc.) is characterized by optical factors. Each unique combination of distortion factors results in a unique spatial transformation, which distorts the image.

공간변환인 워프맵은 기본적으로 입력 화소좌표를 모든 출력화소에 (거꾸로) 할당하는 2차원(2D) 변환이다. 2D 공간변환은 그리드데이터(grid data) 값의 형태로 나타난다. 그리드데이터는 공간변환의 "인자화"로 보이고, 공간변환은 전술한 바와 같이 왜곡인자로 결정된다. 공간변환은 입력좌표를 출력좌표에 할당하는 것이다. (X,Y)가 출력공간에서 화소 P의 좌표이고 (U,V)가 입력공간에서 화소 P'의 좌표이면, 2D 공간변환은 아래와 같이 표현된다:Warpmaps, which are spatial transforms, are basically two-dimensional (2D) transforms that assign (inverted) input pixel coordinates to all output pixels. 2D spatial transformations are represented in the form of grid data values. The grid data is seen as "factorization" of the spatial transform, and the spatial transform is determined by the distortion factor as described above. Spatial transformation is the assignment of input coordinates to output coordinates. If ( X, Y ) is the coordinate of pixel P in the output space and ( U, V ) is the coordinate of pixel P 'in the input space, then the 2D spatial transform is expressed as:

(X,Y)→(U,V)( X, Y ) → ( U, V )

출력화소마다 이런 관계가 있다면, 모든 출력화소 좌표를 입력화소 좌표에 매핑할 수 있고, 이를 변환의 그리드데이터 표현이라 한다. 출력화소 좌표를 입력화소 좌표공간에 매핑하는 소위 "역매핑"의 장점은 할당되지 않는 출력화소가 없어서 출력영상에 "구멍"이 없다는 것이다. 본 발명에서는 역매핑을 이용한다. If each output pixel has this relationship, then all output pixel coordinates can be mapped to input pixel coordinates, which is called the grid data representation of the transformation. The advantage of the so-called "reverse mapping" of mapping the output pixel coordinates to the input pixel coordinate space is that there are no "holes" in the output image since there are no output pixels that are not assigned. In the present invention, reverse mapping is used.

대개 그리드데이터 설명은 아래의 식으로 요약할 수 있다:In general, grid data descriptions can be summarized as:

U = U = FF _uu (X,Y)(X, Y)

V = V = FF _vv (X,Y)(X, Y)

이 식에 의하면, 좌표가 (X,Y)인 출력영상의 화소를 공간변환 F=( F _u , F _v )을 통해 좌표 (U,V)의 입력영상 화소에 매핑한다. 따라서, 그리드데이터 관계 {(U _i ,V _i ),(X _i ,Y _i )}는 출력공간내 화소 집합 {(X _i , Y _i )}를 특정하고, 이들이 입력공간내 화소 {(U _i , V _i )}에 역매핑된다. 이는 화소 집합 {(X _i , Y _i )}의 화소묘사에 해당한다.According to this equation, the pixel of the output image with coordinates (X, Y) is mapped to the input image pixel with coordinates (U, V) through spatial transformation F = ( F _u , F _v ) . Thus, the grid data relationships {( U _i , V _i ), ( X _i , Y _i )} specify the set of pixels {( X _i , Y _i )} in the output space, and these are the pixels {( U _{i in the} input space). , V _i )}. This corresponds to the pixel description of the pixel set {( X _i , Y _i )}.

그리드데이터 묘사는 아주 정확하기는 해도 상당량의 하드웨어 리소스를 취해야 하므로 2D 변환을 구현하는데는 비효율적이다. 따라서, 전자 영상처리 분야에서는, 싱글패스법과 2패스법 둘다에 이용되는 표면필터링이 2D 공간변환을 묘사하기에 바람직한 방법이다. 표면필터링은 정확한 묘사를 하는 동시에 양방향으로 기하학적 거동을 구현한다. Grid data descriptions are very accurate but inefficient to implement 2D transformations because they require a significant amount of hardware resources. Therefore, in the field of electronic image processing, surface filtering used in both single pass and two pass methods is a preferred method for describing 2D spatial transformation. Surface filtering provides accurate depiction while enabling geometric behavior in both directions.

실제의 어떤 디스플레이 장치에도 기하학적 왜곡과 광학적 왜곡이 존재한다. 이런 왜곡은 고정적이거나 변동적이다. 특정 세팅 어떤 것도 왜곡인자가 관련된다. 변동왜곡인자의 예로는 프로젝션 장치의 키스톤 왜곡이 대표적이다. 한가지 왜곡에 관련된 왜곡인자가 하나 또는 여럿 있을 수도 있다. 따라서, 이런 왜곡인자를 다차원공간의 포인트나 벡터로 정의한다.Geometrical and optical distortions exist in virtually any display device. This distortion is either fixed or variable. Any particular setting involves a distortion factor. An example of the variable distortion factor is a keystone distortion of a projection device. There may be one or several distortion factors associated with one distortion. Therefore, we define these distortion factors as points or vectors in multidimensional space.

입력 인터페이스(112)는 주어진 상황에서 주어진 장치의 모든 고유 왜곡에 대해 2D 공간변환 인자(그리드 데이터)는 물론 다차원 왜곡인자를 구해 연결 스테이지(113)에 중계한다. 모든 고유왜곡은 수평/수직 왜곡각도처럼 값은 달라도 종류는 같은 인자로 정의된다. 따라서, 왜곡인자를 이후로는 같은 종류의 왜곡이라 한다. 연결 스테이지(113)의 기능은 2D 공간격자데이터와 다차원 왜곡인자의 2개 벡터공간을 합쳐 하나의 조합된 벡터공간을 (공간과 왜곡인자를 합친) 하이브리드 인자용으로 만드는데 있다. 이들 데이터는 새로운 하이브리드 인자 공간을 형성한다. 예를 들어, (X,Y)가 출력화소 좌표를, (U,V)가 입력화소를, 그리고 (d,θ,φ,...)가 렌즈오프셋, 수평수직 키스톤각도를 포함한 왜곡인자 집합을 나타내면, 이들이 조합된 하이브리드 인자 공간은 아래와 같이 표시된다:The input interface 112 obtains the 2D spatial transformation factor (grid data) as well as the multi-dimensional distortion factors for all inherent distortions of a given device in a given situation and relays them to the connection stage 113. All inherent distortions, such as horizontal and vertical distortion angles, are defined by the same factor, although their values are different. Therefore, the distortion factor is hereinafter referred to as the same kind of distortion. The function of the connection stage 113 is to combine 2D spatial grid data and two vector spaces of the multidimensional distortion factor to make one combined vector space for the hybrid factor (combining the space and the distortion factor). These data form a new hybrid factor space. For example, a set of distortion factors including (X, Y) for output pixel coordinates, (U, V) for input pixels, and (d, θ, φ, ...) for lens offsets and horizontal and vertical keystone angles. , The hybrid factor spaces in which they are combined are represented as follows:

(U,V)x(X,Y,d,θ,φ,...)( U, V ) x ( X, Y, d, θ, φ , ...)

위 표시는 범위 (U,V)에서 하이브리드 공간도메인 (X,Y,d,θ,φ,...)를 분리하는 것으로서, 하이브리드 공간도매인의 포인트를 범위내의 포인트에 매핑한다. 연결 스테이지(113)는 이런 조합으로 하이브리드 그리드 데이터를 구하는데, 이에 대해서는 뒤에 자세히 설명한다.The above representation separates the hybrid spatial domains ( X, Y, d, θ, φ , ...) from the range ( U, V ) and maps the points of the hybrid spatial domain to points within the range. The connection stage 113 obtains hybrid grid data in this combination, which will be described later in detail.

하이브리드 공간도메인의 왜곡성분을 이하 "제어공간"이라 한다. 제어공간내 각 벡터는 N 왜곡인자의 값들의 고유 집합에 대응하는데, 이 고유집합은 2D 공간변환의 워프맵을 식별한다. 각각의 워프맵은 EK라서 제어인자의 고유 N-벡터

로 식별되는바:The distortion component of the hybrid spatial domain is hereinafter referred to as "control space". Each vector in the control space corresponds to a unique set of values of the N distortion factors, which identify the warpmap of the 2D spatial transform. Each warpmap is an EK, so the control's unique N-vector

Identified as:

여기서 N은 왜곡인자(기하학적, 광학적)의 갯수이고 g는 특정 워프를 나타낸다. 키스톤 왜곡의 경우, 제어인자 α ⁱ _g 는 키스톤 각도에 대응한다. 벡터

는 특정 워프를 참조하지 않고 N 왜곡인자들을 전체적으로 참조하는데 사용된다. Where N is the number of distortion factors (geometric and optical) and g represents the particular warp. In the case of keystone distortion, the control factor α ⁱ _g corresponds to the keystone angle. vector

Is used to refer to the N distortion factors as a whole without referring to a particular warp.

총 G개의 워프맵(g=1,...,G)에 대해 제어벡터의 집합은 아래와 같이 식별된다:For a total of G warp maps (g = 1, ..., G), the set of control vectors is identified as follows:

고유

로 식별된 워프맵 각각은 공간성분과 관련된 그리드 데이터를 갖는다. 이들 그리드 데이터는 아래 관계로 표현된다:inherence

Each warpmap identified by has grid data associated with the spatial component. These grid data are represented by the following relationship:

여기서 M _g 는

에 대응하는 워프 g의 공간상의 포인트의 갯수이다. 연결 스테이지(13)에서 공간데이터를 해당 왜곡데이터와 합쳐 워프 g에 대한 하이브리드 관계를 형성한다:here M _g is

Number of points in space of warp g corresponding to. In the connection stage 13 the spatial data is combined with the distortion data to form a hybrid relationship for warp g :

끝으로, 모든 워프에 대한 하이브리드 관계를 구하면 아래와 같은 하이브리드 그리드 데이터가 얻어진다:Finally, the hybrid relationship for all warps results in the following hybrid grid data:

이 그리드데이터 관계식은 하이브리드공간 도메인내 포인트

를 입력좌표공간내 포인트

에 매핑한다. 일례로, 연결 스테이지(113)는 서브샘플 링으로 그리드 포인트의 수를 줄이기에 적합하다. 서브샘플링은 데이터 포인트를 일정 간격으로 떨어뜨리면 이루어진다. 이 작업은 데이터가 아주 클 때 필요한데, 이 경우 표면함수 추정스테이지에서의 연산을 상당히 왜곡할 수 있기 때문이다.This grid data relation is a point in the hybrid space domain.

Enter point in coordinate space

Maps to. In one example, the connection stage 113 is suitable for reducing the number of grid points with subsampling. Subsampling is achieved by dropping data points at regular intervals. This is necessary when the data is very large, because it can distort the computation of the surface function estimation stage significantly.

디바이더(114)는 연결 스테이지(113)에서 하이브리드 그리드데이터를 받고, 하이브리드 공간도메인

를 하이브리드 블록으로 분할한다. 하이브리드 블록은 "제어구역"과 공간기하 패치(spatialgeometry patch)로 이루어진다. 제어공간(즉, 하이브리드 공간도메인의 왜곡성분)은 도 2A와 같이 제어구역(210)으로 분할된다. 또, 디바이더(114)는 좌표공간도 공간기하 패치로 분할한다. 하이브리드 블록의 제어구역은 제어인자 간격으로 형성되는 입체부이다. 도 2A의 3개의 제어간격(212,214,216)이 제어구역을 이룬다. 일반적으로, 제어인자 α ⁱ 의 도메인

를 경계를 갖는 B _i 간격으로 나눈다:The divider 114 receives the hybrid grid data at the connection stage 113 and the hybrid spatial domain

Split into hybrid blocks. Hybrid blocks consist of "control zones" and spatial geometry patches. The control space (that is, the distortion component of the hybrid spatial domain) is divided into the control zone 210 as shown in FIG. 2A. The divider 114 also divides the coordinate space into spatial geometric patches. The control zone of the hybrid block is a three-dimensional portion formed at control factor intervals. Three control intervals 212, 214, 216 of FIG. 2A form a control zone. In general, the domain of control factor α ⁱ

Divide by the bounded B _i intervals:

N 개의 제어인자에 대해 제어인자 도메인당 하나씩 N개의 제어간격이 있고, 이들이 제어구역을 형성한다. 총 B=B ₁ B ₂ ... B _N 의 제어구역이 있다. 제어구역 각각은 상부경계표시로 식별되는데, 예를 들어,

이 주는 제어구역은:For N control factors, there are N control intervals, one per control factor domain, which form the control zone. There are a total of B = B ₁ B ₂ ... B _N control zones. Each of the control zones is identified by an upper boundary marker, for example

The main control area is:

로 표시된 제어구역

의 체적은:

Control zone marked with

The volume of is:

제어공간의 구역분할은 표면맞춤시의 원하는 정확도와 가능한 하드웨어 리소스 사이의 균형을 근거로 한다. 제어구역이 많을수록 정확도는 높지만, 동력과 저장공간이 더 많이 필요하다. 제어구역 각각은 체적이 같을 필요는 없으며, 경계위치들을 최적으로 독립적으로 변화시킬 수 있다. The division of the control space is based on the balance between the desired accuracy of the surface fit and the possible hardware resources. More control zones are more accurate, but require more power and storage. Each of the control zones does not have to have the same volume and can change the boundary positions independently and optimally.

좌표공간을 기하학 패치로 분할하는 것은 도 2B의 아날로그 방식으로 한다. 좌표가 (X,Y)인 좌표공간의 도메인 크기는 [0,W]x[0,H]로서,Dividing the coordinate space into geometric patches is done in the analog manner of FIG. 2B. The domain size of the coordinate space with coordinates (X, Y) is [0, W] x [0, H].

0≤X≤W0≤X≤W

0≤Y≤H 이다.0 ≦ Y ≦ H.

도메인을 수평(X방향)과 수직(Y방향)으로 각각 K, L 공간간격으로 나누면, 도 2B와 같은 LxK 사각형배열로 총 KL개의 패치가 생긴다. 패치경계는 아래와 같다:When the domain is divided into K and L space intervals in the horizontal (X direction) and vertical (Y direction), respectively, L x K as shown in FIG. 2B. There are a total of KL patches in a rectangular array. Patch boundaries are as follows:

S _px ={P ₀ ^x=0,P ₁ ^x,...,P _K ^x =W} S _px = { P ₀ ^x = 0, P ₁ ^x , ..., P _K ^x = W }

S _py ={P ₀ ^y=0,P ₁ ^y,...,P _L ^y =H} S _py = { P ₀ ^y = 0, P ₁ ^y , ..., P _L ^y = H }

각각의 패치는 상부 경계표시로 식별되므로, Z _p (k,l)의 패치는:Since each patch is identified by the upper landmark, the patch of Z _p (k, l) is:

기하학적 패치분할은 표면맞춤의 정확도와 하드웨어 리소스 사이의 균형을 결정된다. 복잡한 워프일수록 기하학적 패치를 더 많이 요하므로, 같은 정확도를 얻는데 더 많은 계산동력과 저장공간을 요한다. 원칙적으로, 기하학 패치를 인접 4개 화소 집합 모두에 할당할 수 있지만, 이 경우 공간변환을 저장하는데 더 큰 메모리가 필요하다. 균형을 최적화하도록 기본 기능들을 변화시킬 수 있다. 기하학 패치는 같은 크기일 필요는 없지만, 식에서 알 수 있듯이 규칙적인 방식으로 맞춰져야 한다. "규칙적"이란 기하학 패치가 행렬로 배열될 수 있음을 의미한다. 규칙적 기하학 패치로 어떻게 나누어도 규칙적 배열이 되기 때문에 이 말은 제한적 의미를 갖는 것이 아니다. 도 2B에 규칙적 패치분할과 불규칙적 패치분할 모두 도시되어 있다. 세부 분할도를 희생하지 않고 규칙적인 기하학 패치쳬계를 얻는 방법이 도시되어 있다. Geometric patch partitioning determines the tradeoff between surface accuracy and hardware resources. Complex warps require more geometric patches, and therefore require more computational power and storage to achieve the same accuracy. In principle, geometry patches can be assigned to all four adjacent sets of pixels, but in this case a larger memory is required to store the spatial transform. You can change the basic functions to optimize your balance. Geometry patches do not have to be the same size, but they must be fitted in a regular manner, as the equation shows. "Regular" means that geometric patches can be arranged in a matrix. This is not a restrictive meaning because it is a regular array no matter how divided into regular geometric patches. Both regular and irregular patching are shown in FIG. 2B. A method of obtaining a regular geometric patchwork system is shown without sacrificing detail.

도 1에서 알 수 있듯이, 제어구역과 기하학적 패치로의 분할은 상호연관 과정이다. 처음 반복과정에서, 제어구역과 기하학패치가 하나씩 사용된다. 제어구역은 기하학패치와 함께 하이브리드 인자 공간에 N+2 차원의 하이퍼-큐브를 형성하므로, 디바이더(114)가 하이브리드 공간을 하이퍼-큐브 또는 "하이브리드 블록"으로 나누는 것처럼 보인다. As can be seen in Figure 1, the division into control zones and geometric patches is an interrelated process. In the first iteration, control zones and geometry patches are used one by one. The control zone forms an N + 2 dimension hyper-cube in the hybrid factor space with the geometry patch, so the divider 114 appears to divide the hybrid space into a hyper-cube or a "hybrid block."

표면함수 추정기(115)는 하이브리드 그리드데이터와 하이브리드 도메인 분할 정보(즉, 제어구역과 기하학패치의 배열)를 디바이더(114)로부터 받는다. 표면함수 추정기(115)는 이어서 하이브리드 그리드데이터를 각 하이브리드 블록내 싱글 하이퍼표면에 맞춘다. 각각의 입력좌표를 독립적으로 맞추면서, 2개의 하이퍼표면을 제공하는데, 하나는 U, 다른 하나는 V용이다. 일례로, 각각의 하이브리드 블록을 독립적으로 맞춘다. 한편, 모든 블록을 함께 맞추기도 한다. 맞춤된 하이퍼표면상의 각 포인트는 특정 워프맵의 특정 공간좌표를 나타낸다. 하이퍼표면은 N+2 차원이다. The surface function estimator 115 receives the hybrid grid data and the hybrid domain partitioning information (ie, the arrangement of the control region and the geometry patch) from the divider 114. Surface function estimator 115 then fits the hybrid grid data to a single hypersurface in each hybrid block. Independently fitting each input coordinate, it provides two hypersurfaces, one for U and the other for V. In one example, each hybrid block is fitted independently. On the other hand, all the blocks fit together. Each point on the fitted hypersurface represents a particular spatial coordinate of a particular warpmap. Hypersurface is N + 2 dimension.

표면함수 추정기(115)는 이산 그리드데이터 형태의 하이브리드 데이터를 폐쇄함수 형태로 변환하므로, 실질적으로 변수의 양을 크게 줄인다. 사용된 맞춤 방법과 기본 함수는 가변적이다. 일례로, (텐서곱 베지어(Bezier) 기저나 B-스플라인 기저와 같은) 텐서곱 다항계 기저의 선형 최소제곱법을 이용한다. 아래 식은 이런 선형, 텐서곱 형태를 반영하지만 기저는 범용적이다. 2개의 하이퍼 표면의 데이터를 아래와 같이 쓸 수 있다:The surface function estimator 115 converts the hybrid data in the form of discrete grid data into the closed function form, thereby substantially reducing the amount of variables. The custom method and basic function used are variable. As an example, we use the linear least squares method of the tensor polynomial basis (such as the tensor bezier basis or the B-spline basis). The equation below reflects this linear, tensor form, but the basis is general. You can write data from two hyper surfaces as follows:

표면 기저함수는 아래와 같다:The surface basis is:

기저 크기는 X, Y, α ⁿ 각각에 대해 I+1, J+1, Γ_n+1이다. 표준 다항식 기저 의 기저함수는:The basis size is I +1, J +1, Γ _n +1 for X, Y, α ⁿ respectively. The basis function of the standard polynomial basis is:

표면맞춤을 해서 얻은 하이퍼표면은:The hypersurface obtained by surface fitting is:

위의 식에서, x, y, u, v는 함수형태의 좌표인자에 사용되었다. 각각의 하이퍼표면은 윗첨자

로 표시된 많은 성분표면으로 구성되고, 이들 성분표면은 패치/구역

으로 제한된 맞춤표면이다. 따라서,

는 단순히

에 한정된 하이퍼표면을 의미한다. a와 b는 표면계수로서, 하이브리드 도메인 분할정보와 함께 아래 표면을 정의한다:In the above equation, x, y, u, v are used for the coordinate argument of the function type. Each hypersurface is superscripted

Consists of many component surfaces, denoted by

Limited to custom surfaces. therefore,

Simply

It means a hyper surface limited to. a and b are surface coefficients, together with hybrid domain segmentation information, which define the following surfaces:

이 단계에서, 표면함수 추정기(115)는 기본적으로 대량의 다차원 포인트 데이터를 적은 수의 표면계수로 변환한다. 워프마다 공간 포인트의 갯수가 같은 경 우(g와 무관하게 Mg), 저장 갯수의 변화는:In this step, the surface function estimator 115 basically converts a large amount of multidimensional point data into a small number of surface coefficients. If the number of space points per warp is the same (Mg irrespective of g), the change in storage number is:

이렇게 하면 데이터가 상당히 줄어든다. 일례로, 총 81x61(=G)의 키스톤 위치(수평각도가 1도 단계마다 -40도에서 +40도이고, 수직각도는 1도 단계마다 -30도에서 +30도임)에 대해 640x480개의 포인트(=M)으로 된 VGA 영상 비틀림에 대한 기존의 하이브리드 그리드 데이터 묘사를 보자. 그리드 묘사에서 모든 화소는 주어진 데이터를 갖는다. 이것은 그리드 (화소x화소) 방식을 이용하는 토탈 1.5억개 데이터 포인트에 해당한다. 표면 묘사에서, K=2, L=2, I=3, B₁=6, B₂=6, Γ₁=3, Γ₂=3로 적당한 정확도(<=2 화소오차)를 구할 수 있다. 제어인덱스 1, 2는 수평수직 키스톤각도에 해당한다. 결과적으로 전체 계수는 36864개이고, 데이터를 크게 감소시킨다. 좌표수를 17x13개까지 감소시켜도, (이렇게 하는데 드롭된 포인트의 좌표를 얻는데 나중에 어느정도 보간이 필요함) 총 110만개의 포인트가 주어지고, 하이퍼표면은 30배 개선된다.This reduces the data considerably. For example, 640x480 points for a total of 81x61 (= G) keystone locations (horizontal angle is -40 degrees to +40 degrees per 1 degree step, and vertical angles are -30 to +30 degrees per 1 degree step) Let's look at the existing hybrid grid data depiction of VGA image distortion in = M). In the grid depiction every pixel has given data. This corresponds to a total of 150 million data points using the grid (pixel x pixel) approach. In the surface depiction, K = 2, L = 2, I = 3, B ₁ = 6, B ₂ = 6, Γ ₁ = 3, Γ ₂ = 3 can obtain the appropriate accuracy (<= 2 pixel error). Control indexes 1 and 2 correspond to the horizontal and vertical keystone angles. As a result, the total coefficient is 36864, which greatly reduces the data. Even if you reduce the number of coordinates to 17x13, you get a total of 1.1 million points (which requires some interpolation later to get the coordinates of the dropped points), and the hypersurface improves 30 times.

일단 하이퍼표면이 얻어지면, 오차분석 스테이지(116)가 하이퍼표면을 평가하여 입력공간내에 계산좌표 집합을 구한다. 하이브리드 그리드데이터에 포함된 도메인 포인트에 계산좌표가 생기는데, 오차분석 스테이지(116)가 연결 스테이지(113)로부터 독립적으로 그리드데이터를 받는다. (U ^C _i , V ^C _i )가 하이브리드 도메인 포인트

의 계산좌표라면, 아래 식을 이용해 생긴다. Once the hyper surface is obtained, the error analysis stage 116 evaluates the hyper surface to obtain a set of calculated coordinates in the input space. Calculated coordinates are generated at domain points included in the hybrid grid data, and the error analysis stage 116 receives grid data independently from the connection stage 113. ( U ^C _i , V ^C _i ) is the hybrid domain point

If is the calculated coordinate of, it is generated by

여기서, 윗첨자

를 없애고 남은 것이 전체 하이퍼표면을 표시하는데, 모든 성분표면을 다 포함한다. 이들 식을 평가하면,

가 속하는 블록에 대응하는 성분표면이 선택된다. 예를 들어,

가

에 있으면, u=u

이다. 오차분석 스테이지(116)는 하이브리드 그리드데이터에서 취한 정확한 좌표 (U _i ,V _i )와 계산좌표를 비교하여, 사전에 정해진 오차허용레벨 조건이 만족되는지 여부를 판단한다. 이 조건은 아래와 같다:Where superscript

All that remains is to mark the entire hypersurface, including all component surfaces. Evaluating these equations,

The component surface corresponding to the block to which it belongs is selected. E.g,

end

If is u = u

to be. The error analysis stage 116 compares the exact coordinates U _i , V _i taken from the hybrid grid data with the calculated coordinates, and determines whether a predetermined error tolerance level condition is satisfied. This condition is as follows:

최대 허용오차가 E _max이고 놈(norm)

가 임의의 적당한 거리함수이면, 가장 널리 쓰이는 놈은:Maximum Tolerance is E _max and Norm

If is any suitable distance function, the most widely used is:

좌표마다 독립적인 허용레벨을 아래와 같이 정할 수 있다:Independent coordinate levels can be defined as follows:

오차조건은 계산좌표가 정확한 좌표를 정확히 예측하도록 하는 것이다. 정해진 허용레벨 조건을 만족하지 못하면 (즉, 거리가 허용레벨보다 크면), 오차분석 스테이지(116)에서 결과값을 디바이더(114)로 되돌린다. 디바이더(114)로 보내진 결과값은 오차가 허용레벨보다 큰 도메인 포인트의 리스트로 구성된다. 이들 도메인 포인트를 브로큰포인트라 한다. 이들 결과값을 근거로, 디바이더(114)는 하이브리드 도메인공간을 세분하되, 오차가 허용레벨보다 큰 블록만을 세분한다. 이상 설명한대로, 오차가 허용레벨보다 큰 블록을 브로큰포인트 리스트에서 결정할 수 있다. The error condition is to ensure that the calculated coordinates accurately predict the correct coordinates. If the defined tolerance level condition is not satisfied (ie, the distance is greater than the tolerance level), the error analysis stage 116 returns the result to the divider 114. The result sent to the divider 114 consists of a list of domain points whose error is greater than the tolerance level. These domain points are called broken points. Based on these results, the divider 114 subdivides the hybrid domain space, but subdivids only the blocks whose error is greater than the allowable level. As described above, blocks whose error is larger than the allowable level can be determined from the broken point list.

세분은 중앙구역 레벨에서 일어날 수 있는데, 이 레벨에서만 특정 제어간격들을 기하학 패치레벨에서 나눌 수 있고, 이 패치레벨에서만 공간간격들을 나누거나 두가지를 조합할 수 있다. 원하는 정확도를 얻고 허용레벨을 만족할 때까지 이들 단계를 반복한다. 기하학적 패치나 제어구역의 수를 늘리면, 최대 오차를 임의의 작은 값까지 줄일 수 있는바, 이는 연속적인 세분으로 결국 모든 허용레벨을 만족할 수 있음을 의미한다. 그러나, 실제 한계는 하드웨어 조건과 적용기준에 의해 정해지는 것이 일반적이다. 세분할 때마다 데이터 저장량은 늘어난다. 일정 횟수 세분한 뒤의 과정은 불필요한데, 이는 구해진 정확도가 작고 워핑 품질에 별로 개선사항이 나타나지 않기 때문이다. 상한이나 하한에서, 모든 도메인 포인트는 블록 꼭지점에 있는데, 이 지점은 근본적으로 모든 제어벡터에서 일어나는 변환의 화소x화소 묘사를 하는 부분이다. Subdivision can occur at the central zone level, where only specific control intervals can be divided at the geometric patch level, and only at this patch level can the space intervals be divided or a combination of the two. Repeat these steps until the desired accuracy is achieved and the acceptable level is met. Increasing the number of geometric patches or control zones can reduce the maximum error to any small value, which means that successive subdivisions can eventually meet all tolerance levels. However, practical limits are usually set by hardware conditions and application criteria. Each subdivision increases the amount of data stored. After a certain number of subdivisions, the process is unnecessary because the accuracy obtained is small and there is not much improvement in the warping quality. At the upper and lower bounds, all domain points are at the vertex of the block, which is essentially the part of the pixel-by-pixel description of the transformation that takes place on every control vector.

오차조건을 만족시킨 뒤, 표면계수와 하이브리드 공간분할데이터, 즉 제어구역과 기하학패치의 구성에 의해 완전한 하이퍼표면이 정의된다. 이 데이터를 아래와 같이 요약할 수 있다: After satisfying the error condition, a complete hypersurface is defined by the surface coefficients and the hybrid spatial partitioning data, i.e. the configuration of the control zone and geometry patch. This data can be summarized as follows:

하이퍼표면 계수를 "콤팩트 계수"라 한다. 하이퍼표면을 구하면, 그리드데이터를 통해 묘사된 많은 워프맵을 콤팩트 계수 집합으로 교체할 수 있다. 콤팩트 워프인터페이스(117)는 하이퍼표면 데이터(계수, 분할데이터)를 저장했다고 요청이 있을 때 디콤팩터(150)에 보낸다. 디콤팩터(110)의 기능은 왜곡/공간변환 인자의 집합에서 콤팩트 계수를 준비했다가 인터페이스에 저장하여 요청이 있을 때 계수를 보내는 것이다. 이렇게 되면, 많은 워프맵에 쉽고도 다이나믹하게 접근할 수 있다. 디콤팩터(150)에서 이루어진 특정 제어벡터에서 하이퍼표면을 평가하면 워프맵이 얻어진다. Hypersurface coefficients are referred to as "compact coefficients". With hypersurfaces, many warpmaps depicted from grid data can be replaced with a compact set of coefficients. The compact warp interface 117 sends the decompacter 150 when it is requested that the hyper surface data (coefficient, partition data) is stored. The function of the decompactor 110 is to prepare the compact coefficients from the set of distortion / spatial transform factors and store them in the interface to send the coefficients upon request. This gives you easy and dynamic access to many warp maps. A warp map is obtained by evaluating the hyper surface in a particular control vector made in the decompactor 150.

도 3A는 수많은 워프맵에 접근하는 기존의 방법을 설명한다. 이 방법은 워프맵 생성(320)을 위해 먼저 그리드맵(310)을 구한다. 각각의 생성된 워프맵(330)을 저장했다가 340에서 다운로드할 준비를 한다. 자세하게는, 워프맵 집합을 2D 맞춤면으로 저장한다. 워프맵을 저장하려면 하드웨어 리소스가 필요하다. 이런 기존의 방법을 기초로 한 장치가 효과적이려면 대형 메모리 인터페이스가 필요하다. 또, 이 방법에서는 워프맵이 필요할 때마다 메모리에 신속히 접속해야 한다. 대형의 고 속 메모리장치는 비싸다. 또, 왜곡인자가 소정의 이산값에 한정되고, 실제 왜곡인자에 대한 워프맵의 정확도는 실제 값이 설정치에 얼마나 가까운지에 달려있다. 3A illustrates an existing method of accessing numerous warp maps. This method first obtains a grid map 310 for warp map generation 320. Each generated warp map 330 is stored and ready for download at 340. In detail, we store the warpmap set as a 2D fit plane. Hardware resources are needed to store warp maps. Devices based on these traditional methods require large memory interfaces to be effective. This method also requires quick access to the memory whenever a warp map is needed. Large, high-speed memory devices are expensive. Also, the distortion factor is limited to a predetermined discrete value, and the accuracy of the warp map for the actual distortion factor depends on how close the actual value is to the set value.

반면에, 도 3B의 예는 본 발명의 콤팩터-디콤팩터 방법이다. 이 방법에서, 각개 그리드맵(350)은 하이브리드 그리드집합(362)을 출력하는 그리드집합 생성기(360)에서 얻어진다. 워프집합이 370 단계에서 생성되고, 이 단계에서 콤팩트 계수(372)를 출력한다. 이들 계수는 374 단계에서 저장되었다가, 요청이 있을 때 380 단계에서 디코드되어 특정 워프맵(382)을 만들고, 이것은 384 단계에서 다운로드된다. 본 발명의 디콤팩트 방법에서, 각각의 제어구역과 기하학적 패치에 표면평가를 하여 차이를 평활화한다.On the other hand, the example of FIG. 3B is the compactor-decompactor method of the present invention. In this method, each grid map 350 is obtained in a grid set generator 360 that outputs a hybrid grid set 362. The warp set is generated in step 370, which outputs a compact coefficient 372. These coefficients are stored in step 374 and then decoded in step 380 to create a particular warpmap 382 when requested, which is downloaded in step 384. In the decompact method of the present invention, each control zone and the geometric patch are surface evaluated to smooth the difference.

디콤팩터(150)는, 제어공간내 특정벡터로 하이퍼표면을 평가하거나 디코드하여, 특정 제어값(왜곡인자)의 원래 2D 공간변환을 나타내는 2D 표면을 구한다. 하이퍼표면을 워프맵으로 디코드하는 것을 디콤팩션(decompaction)이라 한다. 2D 표면계수는 워프맵을 정의하므로 "워프계수"라 한다. 콤팩트 계수는 워프계수의 압축으로 볼 수 있다. 2D 표면을 디코딩 후 단순히 그리드 포인트 (X _i , Y _i )인 공간내 특정 벡터로 평가하여 매핑된 그리드 포인트 (U _i , V _i )를 구할 수 있으므로, 원래의 그리드데이터 묘사 {(U _i , V _i ),(X _i , Y _i )}를 복구할 수 있다. 자세한 과정은 아래와 같다.The decompactor 150 evaluates or decodes the hyper surface with a specific vector in the control space to obtain a 2D surface representing the original 2D spatial transformation of the specific control value (distortion factor). Decoding hypersurfaces into warpmaps is called decompaction. 2D surface coefficients are called "warp coefficients" because they define warp maps. The compact factor can be seen as a compression of the warp coefficient. After decoding the 2D surface, we can evaluate the mapped grid points ( U _i , V _i ) by simply evaluating them with a specific vector in space , which is grid points ( X _i , Y _i ), so that the original grid data description {( U _i , V _i ), ( X _i , Y _i )}. The detailed procedure is as follows.

컨트롤러(152)는 원하는 세팅과 유저 인자를 포함한 특정 인자를 구한 다음, 이들 인자를 제어공간내 벡터

에 대응하는 제어인자로 번역한다. 컨트롤러(152)는 이어서 제어공간벡터를 디코더(153)로 보낸다. 일례로, 제어인자 가 특정 프로젝터 셋업을 위한 키스톤 각도와 투사율일 수 있다.The controller 152 obtains specific parameters including desired settings and user parameters, and then stores these parameters in a vector in the control space.

Translates to the corresponding control factor. The controller 152 then sends the control space vector to the decoder 153. In one example, the control factor may be the keystone angle and throw ratio for a particular projector setup.

디코더(153)는 제어인자를 받아 이들이 속하는 제어구역

를 결정한다. 다음,

에서 적절한 성분 하이퍼표면을 평가해 아래와 같이 2D 표면 u(x,y)를 구한다: Decoder 153 receives the control argument and the control area to which it belongs

Determine. next,

Evaluate the appropriate component hypersurface at to find the 2D surface u (x, y) as follows:

비슷한 식으로 2D 표면 v(x,y)를 묘사한다. 하이퍼표면을 평가할 때, N+2 차원 표면에서 2D 표면으로 환산을 했다. 완전히 (X,Y) 좌표공간에 정의되기 때문에 u(x,y)에서 제어공간 의존성이 없다. 2D 표면 u(x,y)와 v(x,y)는 제어인자

에서 원래의 2D 공간변환이나 워프맵을 나타낸다. 워프계수는 아래와 같다:Similarly, describe the 2D surface v (x, y) . When evaluating the hypersurface, we converted from N + 2 dimensional surfaces to 2D surfaces. There is no control space dependency in u (x, y) because it is defined entirely in (X, Y) coordinate space. 2D surfaces u (x, y) and v (x, y) are control factors

Represents the original 2D spatial transform or warp map. The warp coefficient is:

이런 "디콤팩션" 과정으로 모든 제어벡터에 대한 워프맵이 형성된다. 하이퍼표면이 구해지면, 디컴팩터는 워프맵을 생성하기 위한 입력으로서 제어벡터만 필요로 하는데, 이는 워프맵이 함수 형태로서 이산 그리드 데이터가 아닌 2D 표면이어서 쉽게 축척(확대 또는 축소)되거나 수평/수직으로 회전할 수 있기 때문이다. 축 척이나 회전 작업은 워프계수의 간단한 변환이다. 축척작업을 하여 표준 정상집합에서 특정 디스플레이 표면을 끼워맞춤하는 맵을 만드는데 디스플레이 컨버터를 이용한다. This "decompaction" process produces warp maps for all control vectors. Once the hypersurface is obtained, the decompactor only needs a control vector as input to generate the warpmap, which is easily scaled (zoom in or out) or horizontal / vertical because the warpmap is a function and is a 2D surface rather than discrete grid data. Because it can rotate. Scale and rotation operations are simple conversions of warp coefficients. The display converter is used to scale and create a map that fits a particular display surface in a standard normal set.

맵을 구하면 출력공간 좌표 (X _i , Y _i )에서 이를 평가하여, 왜곡

와 관련된 2D 공간변환용의 원래 그리드데이터를 복구한다. u(x,y)를 평가하면 계산좌표 (U ^C _i , V ^C _i )가 생긴다. 인덱스 i(=1,...,M ₀)는 전체 하이브리드 도메인이 아닌 좌표공간에 대한 것이다. Once the map is found, it is evaluated in the output space coordinates ( X _i , Y _i ) and distorted

Restore the original grid data for the 2D spatial transformation associated with it. Evaluating u (x, y) gives the calculated coordinates ( U ^C _i , V ^C _i ). Index i (= 1, ..., M ₀ ) is for the coordinate space, not for the entire hybrid domain.

U ^C _i = u(X _i , Y _i ) U ^C _i = u ( X _i , Y _i )

V ^C _i = v(X _i , Y _i ) V ^C _i = v ( X _i , Y _i )

이들 식을 평가할 때, (X _i , Y _i )가 속하는 기하학 패치에 대응하는 2D 성분표면을 선택한다. 예를 들어, (X _i , Y _i )가 Z _p (k,l)에 있으면, u= u ^kl 이다. 오차분석 스테이지에의한 오차감소 때문에, 계산좌표가 허용레벨 범위내에서 원래 좌표와 일치한다:When evaluating these equations, the 2D component surface corresponding to the geometric patch to which ( X _i , Y _i ) belongs is selected. For example, if ( X _i , Y _i ) is at Z _p (k, l) , u = u ^kl . Because of the error reduction by the error analysis stage, the calculated coordinates coincide with the original coordinates within the acceptable level range:

U ^C _i = U _i U ^C _i = U _i

V ^C _i = V _i V ^C _i = V _i

따라서, {(U ^C _i ,V ^C _i ),(X _i , Y _i )}는 요청된 변환을 위한 시작 그리드관계 {(U _i ,V _i ),(X _i ,Y _i )}를 재생한다.Thus, {( U ^C _i , V ^C _i ), ( X _i , Y _i )} reproduces the starting grid relation {( U _i , V _i ), ( X _i , Y _i )} for the requested transformation. .

도 4는 다이나믹 워프시스템(100)의 논리흐름도이다. 401, 402에서 공간변환인자와 왜곡인자를 구한다. 410에서 2D 공간변환인자와 다차원 왜곡인자를 연결 스테이지(113)에서 연결한다. 따라서 양쪽 인자의 집합을 나타내는 벡터로 하이브리드 그리드데이터와 관련 하이브리드 공간을 형성한다. 하이브리드 공간의 왜곡성분을 제어공간이라 한다. 420에서 디바이더(114)로 제어공간을 여러 제어구역으로 나누되, 각각의 제어구역은 제어인자 집합을 결정한다. 제어공간의 분할은 원하는 맞춤 정확도를 근거로 하고 하드웨어 리소스에 의해 제한된다. 또, 기하학적 공간(좌표공간)도 기하학적 패치로 분할된다.4 is a logic flow diagram of the dynamic warp system 100. The spatial transform and distortion factors are obtained at 401 and 402. In 410, the 2D spatial transform factor and the multidimensional distortion factor are connected at the connection stage 113. Thus, a vector representing a set of both factors forms a hybrid grid data and associated hybrid space. The distortion component of the hybrid space is called a control space. At 420, the divider 114 divides the control space into several control zones, each of which determines a set of control factors. The division of control space is based on the desired custom accuracy and is limited by hardware resources. The geometric space (coordinate space) is also divided into geometric patches.

제어구역과 기하학적 패치는 함께 하이브리드 공간을 블록으로 분할한다. 430에서, 각 블록내 데이터(기하학적 패치 + 제어구역)이 표면맞춤이다. 표면맞춤과정은 필요한 정확도에 맞는다. 일례로, 표면을 다항식으로 인자화하고, 다항식의 차수가 맞춤 정확도를 결정한다. 420에서는 표면맞춤의 오차분석을 한다. 이 오차는 410에서 구한 하이브리드 그리드데이터에서 얻은 정확한 값에 대해 맞춤으로 얻은 포인트 집합을 비교해서 결정된다. 2개 값의 집합의 차가 설정한계보다 크면, 오차분석 결과를 420 단계로 보내 하이브리드 공간을 더 미세하게 분할해, 해상도를 높인다. 허용레벨을 만족하면, 450에서 콤팩트 표면계수를 구한다. 이 지점에서 콤팩터(110)의 기능이 끝난다. The control zone and the geometric patch together divide the hybrid space into blocks. At 430, the data in each block (geometric patch + control area) is surface fit. The surface matching process is to the required accuracy. In one example, the surface is factored into a polynomial, and the order of the polynomial determines the fitting accuracy. In 420, an error analysis of surface alignment is performed. This error is determined by comparing a custom set of points against the exact value obtained from the hybrid grid data obtained at 410. If the difference between the set of two values is larger than the set limit, the error analysis result is sent to step 420 to further subdivide the hybrid space to increase the resolution. If the tolerance level is met, the compact surface coefficient is found at 450. At this point the function of the compactor 110 ends.

일단 콤팩트 표면계수가 결정되면 디콤팩터(150)가 기능한다. 460에서 다이나믹 제어인자를 구하는데, 제어인자로는 다차원 기하학적/광학적 인자는 물론 사용자 친숙포맷의 사용자 인자도 있다. 이들 인자를 사용해 하이브리드 공간벡터를 만든다. 470에서는 이런 하이브리드 공간벡터를 기반으로, 콤팩트 표면계수에서 워프맵을 디코드한다. 디코드된 워프맵은 모든 기하학적/광학적 변수를 보상하는 변환을 나타낸다. 일단 워프맵이 결정되면, 480에서 입력화소좌표 결정을 위해 실제 화소좌표에 적용하도록 워프맵을 중계한다. Once the compact surface coefficient is determined, the decompacter 150 functions. In 460, a dynamic control factor is obtained. The control factors include not only multidimensional geometric / optical factors but also user factors in a user friendly format. Use these factors to create a hybrid space vector. Based on this hybrid space vector, the 470 decodes the warp map at a compact surface coefficient. Decoded warpmaps represent transforms that compensate for all geometric / optical variables. Once the warp map is determined, the warp map is relayed at 480 to apply to the actual pixel coordinates for input pixel determination.

한편, 다이나믹 워프시스템(100)을 색상변환에 사용하기도 한다. 이 경우, 2가지 컬러공간의 변환을 취급한다. 입출력 컬러공간은 각각 다른 특징을 갖는다. 스크린상의 대상을 종이나 다른 매체에 인쇄해야 할 때 프린터에 바로 적용된다. RGB 디스플레이에서 종이에 영상을 인쇄할 때, 프린터는 디스플레이의 컬러공간을 프린터(예; CMY, 컬러공간)에 변환해야 한다. 또, 이런 공간들은 차원이 서로 다를 수 있다. 예컨대 RGB에서 CMYK나 심지어 원색수가 더 많은 더 높은 차원의 컬러공간으로의 변환이 있다. 또, 컬러공간은 보통 범위가 서로 다르다. 디스플레이 스크린의 RGB 컬러공간과 달리, 프린터의 컬러공간은 "가산형 공간"이 아니라 "감산형 공간"이다. 예를 들어, 디스플레이 스크린의 청색광은 청색을 만들지만, 백지의 청색 도트는 다른 모든 색을 제거하고 청색만을 반사하고, 이때문에 감산형이라 하는 것이다. 이 경우의 색상변환은 비선형으로서, 다른 범위에 관련되고, 아주 복잡하다. 또, 프린터에는 노화, 종이종류, 사용자 인자, 드리프트(drift) 등과 같은 변동인자가 있다.On the other hand, the dynamic warp system 100 is also used for color conversion. In this case, we handle the conversion of two color spaces. Input and output color spaces have different characteristics. When the object on the screen needs to be printed on paper or other media, it is applied directly to the printer. When printing an image on paper in an RGB display, the printer must convert the display's color space to a printer (eg CMY, color space). Also, these spaces can be of different dimensions. For example, there is a conversion from RGB to CMYK or even higher dimension color spaces with more primary colors. Also, the color space usually differs in range. Unlike the RGB color space of the display screen, the color space of the printer is not a "additional space" but a "subtraction space". For example, blue light on a display screen produces blue, but blue dots on white paper remove all other colors and reflect only blue, which is why they are called subtractive. The color conversion in this case is nonlinear, involving a different range and very complex. In addition, the printer has variable factors such as aging, paper type, user printing, drift, and the like.

일례로, 다이나믹 워프시스템(100)은 변동조건에 해당하는 제어인자 집합과, RGB 컬러좌표의 매핑을 묘사하는 공간변수 집합을 CMY나 다른 컬러좌표에 입력하는데 적합하고, 이들은 함께 하이브리드 그리드데이터를 형성한다. 컬러공간 그리드데이터와 왜곡데이터와 제어공간 그리드데이터가 있다. 이런 데이터는 연결스테이지(113)에 의해 연결되어 하이브리드 벡터공간을 만든다. 디바이더(114)는 하이브리드 벡터공간을 하이브리드 블록으로 나눈다. 각 블록은 왜곡인자 제어구역과 컬러공간 기하학 패치로 구성된다. 각각의 하이브리드 블록에서, 시스템은 다수의 표면계수로 나타나는 하이퍼표면을 구성하여 변환 그리드데이터를 평가한다. 그 결과로 생긴 계수를 인터페이스에 저장했다가 디콤팩터(150)의 디코더(153)에서 사용하여 워프맵을 구성하고, 더 적절하게는 출력 컬러공간을 입력 컬러공간에 변환하는 컬러매핑을 한다.In one example, the dynamic warp system 100 is suitable for inputting a set of control factors corresponding to a variation condition and a set of spatial variables describing mappings of RGB color coordinates to CMY or other color coordinates, which together form hybrid grid data. . There are color space grid data, distortion data and control space grid data. This data is connected by a connection stage 113 to create a hybrid vector space. The divider 114 divides the hybrid vector space into hybrid blocks. Each block consists of a distortion factor control zone and a color space geometry patch. In each hybrid block, the system evaluates the transformed grid data by constructing a hypersurface represented by multiple surface coefficients. The resulting coefficients are stored in the interface and used by the decoder 153 of the decompactor 150 to construct a warp map, and more appropriately color mapping to convert the output color space to the input color space.

한편, 제어공간을 형성하는 휘도, 콘트라스트, 색조를 조절하는 TV 모니터와 같은 조절형 디스플레이에서 색상변환을 하기도 한다. 이들 인자를 각각 세팅하기 위해 컬러변환 맵이 있다. 이 경우, 다이나믹 워프시스템(100)이 컬러공간과 제어변수에서 하이브리드 공간을 만들고 이 공간을 하이브리드 블록으로 분할한다. 각각의 블록에서, 시스템은 하이퍼표면을 그리드 변환데이터에 맞춘다. 세팅을 할 때, 시스템은 하이퍼표면에서 워프맵을 디코드하고, 표준세팅에 대응하는 컬러 공간벡터를 사용자가 정한 세팅으로 변환한다. On the other hand, color conversion may be performed in an adjustable display such as a TV monitor that controls luminance, contrast, and color tone forming a control space. There is a color conversion map for setting each of these parameters. In this case, the dynamic warp system 100 creates a hybrid space in the color space and the control variable and divides the space into the hybrid block. In each block, the system fits the hypersurface to the grid transformation data. When setting, the system decodes the warpmap on the hypersurface and converts the color space vector corresponding to the standard setting into a user-defined setting.

어느 경우에도, 다이나믹 워프맵 형성은 색상범위 한계까지 매핑하기 위한 것이고, 외곽경계선을 매끈하고 깨끗하게 매핑하기 위한 것이다.In either case, the dynamic warp map formation is intended to map to the color gamut limits, and to map the outer boundary lines smoothly and cleanly.

또, 노화하는 프린터나 모니터를 교정하는데 컬러센서를 사용하는 경우도 있다. 교정 측정결과를 제어인자로 피드백한다. 컨트롤러(152)는 이런 측정결과로부터 하이브리드 공간벡터를 구성한다. 디코더(153)는 적당한 색상변환을 위해 워프맵을 만든다. 센서교정은 다른 종류의 종이에 인쇄할 때도 사용된다. 새로운 종류의 종이용으로 새로운 워프맵을 만들어, 최적의 색상변환을 하도록 한다. 어떤 종류의 종이에는 많은 인쇄결과를 얻을 수는 없지만, 이 방법에 의하면 인쇄질은 확실히 개선된다. In addition, color sensors are sometimes used to calibrate an aging printer or monitor. Feedback of calibration results to control factors. The controller 152 constructs a hybrid space vector from these measurement results. Decoder 153 creates a warp map for proper color conversion. Sensor calibration is also used when printing on other types of paper. Create a new warp map for a new kind of paper and do the best color conversion. You won't get much print on some types of paper, but this method will definitely improve print quality.

Claims (28)

변동 N차원 왜곡/제어 인자에 맞는 다이나믹 m차원 디지털 데이터변환을 위한 시스템에 있어서:In a system for dynamic m-dimensional digital data conversion with variable N-dimensional distortion / control factors: a. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 얻기 위한 입력 인터페이스;a. an input interface for obtaining m-dimensional transform data and N-dimensional distortion / control factor set; b. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 연결하고, m+N 차원 하이브리드 그리드데이터를 대응 하이브리드 벡터공간에 형성하도록 상기 입력 인터페이스에 연결된 연결 스테이지;b. a connection stage connected to the input interface to connect m-dimensional transform data and N-dimensional distortion / control factor sets and form m + N-dimensional hybrid grid data in a corresponding hybrid vector space; c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, N차원 왜곡제어구역과 m차원 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하도록 상기 연결 스테이지에 연결되는 디바이더;c. A divider coupled to the connection stage to divide the hybrid vector space into a plurality of hybrid blocks consisting of an N-dimensional distortion control zone and an m-dimensional geometric patch based on a desired accuracy; d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 하이퍼표면의 맵을 각각의 하이브리드 블록에 생성하고, 상기 하이브리드 그리드데이터를 추정하기 위한 표면함수 추정기;d. A surface function estimator for printing the hybrid grid data, generating a map of the hyper surface represented by a plurality of compact coefficients in each hybrid block, and estimating the hybrid grid data; e. 상기 표면함수 추정기에 연결되어 콤팩트 계수를 저장하기 위한 표면맵 인터페이스;e. A surface map interface coupled to the surface function estimator for storing compact coefficients; f. 순간적인 사용자인자와 제어인자를 구하고, 이들 인자를 기반으로 하이브리드 벡터공간내 벡터를 만들기 위한 컨트롤러;f. A controller for obtaining instantaneous user and control factors and creating a vector in a hybrid vector space based on these factors; g. 상기 하이브리드 벡터공간내 벡터에 대응하는 상기 콤팩트 계수로부터 순 간적인 워프맵을 동적으로 계산하도록 상기 표면맵 인터페이스와 컨트롤러에 연결된 디코더; 및g. A decoder coupled to the surface map interface and a controller to dynamically calculate an instantaneous warp map from the compact coefficients corresponding to the vector in the hybrid vector space; And h. 상기 워프맵을 저장 및 중계하기 위한 출력 인터페이스;를 포함하는 것을 특징으로 하는 시스템.h. And an output interface for storing and relaying the warp map. 제1항에 있어서, 하이퍼표면 추정으로 계산된 포인트 집합과 하이브리드 그리드데이터에서 추출된 데이터 집합 사이의 편차가 소정 허용레벨보다 작은지 여부를 점검하고, 작지 않으면 비교결과를 상기 디바이더에 보내 하이브리드 벡터공간을 더 세분하도록 상기 표면함수 추정기, 디바이더 및 연결 스테이지에 연결된 오차분석 스테이지를 더 포함하는 것을 특징으로 하는 시스템.The method of claim 1, wherein a check is performed to determine whether the deviation between the point set calculated by the hypersurface estimation and the data set extracted from the hybrid grid data is smaller than a predetermined allowable level. And an error analysis stage coupled to the surface function estimator, divider, and coupling stage to further refine. 다차원 인자 데이터 집합으로 묘사되는 변동 기하학적/광학적 왜곡과 2차원공간 그리드데이터로 묘사되는 다이나믹 2차원 디지털 영상변환을 위한 시스템에 있어서:In a system for dynamic two-dimensional digital image transformations represented by variable geometric / optical distortions represented by multidimensional factor data sets and two-dimensional spatial grid data: a. 변동 기하학적/광학적 왜곡을 나타내는 2차원공간 그리드데이터와 다차원 왜곡인자 데이터 집합을 구하기 위한 입력 인터페이스;a. An input interface for obtaining a two-dimensional spatial grid data and a multi-dimensional distortion factor data set representing variable geometric / optical distortion; b. 다차원 왜곡인자 데이터 집합과 2차원 공간변환 그리드데이터를 연결하고, 대응 하이브리드 벡터공간에 하이브리드 그리드데이터를 생성하도록 상기 입력 인터페이스에 연결된 연결 스테이지;b. A connection stage connected to the input interface to connect a multidimensional distortion factor data set and 2D spatial transform grid data, and generate hybrid grid data in a corresponding hybrid vector space; c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, 다차원 왜곡제 어구역과 2차원 공간 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하도록 상기 연결 스테이지에 연결되는 디바이더;c. A divider coupled to the connection stage to divide the hybrid vector space into a plurality of hybrid blocks consisting of a multidimensional distortion control zone and a two-dimensional spatial geometry patch based on a desired accuracy; d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 각각의 하이브리드 블록내 하이퍼표면 맵을 생성하도록 상기 디바이더에 연결된 표면함수 추정기;d. A surface function estimator coupled to the divider to print the hybrid grid data to generate a hypersurface map in each hybrid block represented by a plurality of compact coefficients; e. 상기 표면함수 추정기에 연결되어, 하이퍼표면 맵을 나타내는 콤팩트 계수를 저장하기 위한 표면맵 인터페이스;e. A surface map interface coupled to the surface function estimator, for storing a compact coefficient representing a hyper surface map; f. 디스플레이 인자, 왜곡인자, 사용자 인자를 포함한 순간적인 제어인자를 구하고, 이들 제어인자로부터 하이브리드 공간벡터를 계산하기 위한 컨트롤러;f. A controller for obtaining instantaneous control factors including display factors, distortion factors, and user factors, and calculating hybrid space vectors from these control factors; g. 상기 하이브리드 벡터공간에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하도록 상기 콤팩트 워프 인터페이스와 컨트롤러에 연결된 디코더; 및g. A decoder coupled to the compact warp interface and a controller to dynamically calculate an instantaneous warp map from the compact coefficients corresponding to the hybrid vector space; And h. 상기 워프맵을 저장 및 중계하기 위한 출력 인터페이스;를 포함하는 것을 특징으로 하는 시스템.h. And an output interface for storing and relaying the warp map. 제3항에 있어서, 하이퍼표면 추정으로 계산된 그리드 포인트 집합과 하이브리드 그리드데이터에서 추출된 포인트 집합 사이의 편차가 소정 허용레벨보다 작은지 여부를 점검하고, 작지 않으면 비교결과를 상기 디바이더에 보내 하이브리드 벡터공간을 더 세분하도록 상기 표면함수 추정기, 디바이더 및 연결 스테이지에 연결된 오차분석 스테이지를 더 포함하는 것을 특징으로 하는 시스템.4. The hybrid vector space according to claim 3, wherein whether the deviation between the set of grid points calculated by hypersurface estimation and the set of points extracted from the hybrid grid data is smaller than a predetermined allowable level, and if not smaller, sends a comparison result to the divider. And an error analysis stage coupled to the surface function estimator, divider, and coupling stage to further refine. 제3항에 있어서, 축척변환작업을 하여 표준 정상 세팅에서 특정 디스플레이 표면을 만들도록 맵을 생성하는 디스플레이 컨버터를 더 포함하는 것을 특징으로 하는 시스템.4. The system of claim 3, further comprising a display converter that scales to generate a map to produce a particular display surface at a standard normal setting. 제3항에 있어서, 상기 표면함수 추정기가 하이브리드 그리드데이터를 표면다항식으로 인자화하는 것을 특징으로 하는 시스템.4. The system of claim 3, wherein the surface function estimator prints hybrid grid data into a surface polynomial. 제6항에 있어서, 상기 표면함수 추정기가 표면다항식의 차수를 정확도에 맞게 변화시키는 것을 특징으로 하는 시스템.7. The system of claim 6, wherein the surface function estimator changes the order of the surface polynomial to accuracy. 제3항에 있어서, 상기 표면함수 추정기가 소정 정확도에 맞게 공간변환 세부사항을 변화시키는 것을 특징으로 하는 시스템.4. The system of claim 3, wherein the surface function estimator changes the spatial transformation details to a certain accuracy. 제3항에 있어서, 상기 디바이더가 소정 정확도에 맞게 제어구역과 기하학 패치의 수를 변화시키는 것을 특징으로 하는 시스템.4. The system of claim 3, wherein the divider varies the number of control zones and geometry patches to a certain accuracy. 제1항에 있어서, 색상변환에 사용되는 것으로서, 컬러공간을 기하학 패치로 분할함은 물론 관련 왜곡과 제어인자 공간을 제어구역으로 분할하여 하이브리드 공간블록을 만들고, 또한 각각의 하이브리드 공간블록내 하이퍼표면으로 정확한 그리 드데이터를 만드는 것을 특징으로 하는 시스템.The hybrid space block of claim 1, wherein the color space is divided into geometric patches as well as related distortions and control factor spaces into control zones to create hybrid space blocks, and also hypersurfaces within each hybrid space block. The system, characterized in that to create accurate grid data. 제10항에 있어서, 상기 하이퍼표면이 디스플레이 컬러공간을 프린터 컬러공간에 매핑하고, 상기 프린터는 드리프트, 노화, 종이 종류, 사용자선택 음영을 포함한 변동 왜곡/제어 인자를 갖는 것을 특징으로 하는 시스템.11. The system of claim 10, wherein the hypersurface maps a display color space to a printer color space, wherein the printer has a variable distortion / control factor including drift, aging, paper type, and user-selected shading. 제11항에 있어서, 컬러교정을 하는 컬러센서를 더 포함하고, 교정결과를 제어인자로 사용해 하이브리드 공간벡터로 변환함으로써 컬러변환용의 새로운 워프맵을 만드는 것을 특징으로 하는 시스템.12. The system according to claim 11, further comprising a color sensor for color correction, and converting the calibration result into a hybrid space vector using the calibration result as a control factor to create a new warp map for color conversion. 제10항에 있어서, 상기 하이퍼표면이 표준 RGB 공간을 사용자선택 컬러공간에 매핑하되, 사용자선택 컬러공간은 휘도, 콘트라스트, 색조를 포함한 사용자 인자로 특성화되는 것을 특징으로 하는 시스템.11. The system of claim 10, wherein the hypersurface maps a standard RGB space to a user-selected color space, wherein the user-selected color space is characterized by user factors including luminance, contrast, and color tone. 제13항에 있어서, 컬러교정을 하는 컬러센서를 더 포함하고, 교정결과를 제어인자로 사용해 하이브리드 공간벡터로 변환함으로써 컬러변환용의 새로운 워프맵을 만드는 것을 특징으로 하는 시스템.15. The system of claim 13, further comprising a color sensor for color correction, wherein the new warp map for color conversion is made by converting the calibration result into a hybrid space vector using the correction result as a control factor. 변동 N차원 왜곡/제어 인자에 맞는 다이나믹 m차원 디지털 데이터변환을 위한 방법에 있어서:In a method for dynamic m-dimensional digital data conversion with variable N-dimensional distortion / control factors: a. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 얻는 단계;a. obtaining m-dimensional transformed data and N-dimensional distortion / control factor set; b. m차원 변환데이터와 N차원 왜곡/제어 인자집합을 연결하고, m+N 차원 하이브리드 그리드데이터를 대응 하이브리드 벡터공간에 형성하는 단계;b. connecting m-dimensional transform data and N-dimensional distortion / control factor set and forming m + N-dimensional hybrid grid data in a corresponding hybrid vector space; c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, N차원 왜곡제어구역과 m차원 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하는 단계; c. Dividing the hybrid vector space into a plurality of hybrid blocks consisting of an N-dimensional distortion control region and an m-dimensional geometric patch based on a desired accuracy; d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 하이퍼표면 맵을 각각의 하이브리드 블록에 생성하는 단계;d. Printing the hybrid grid data to generate a hypersurface map represented by a plurality of compact coefficients in each hybrid block; e. 콤팩트 계수를 저장하는 단계; e. Storing the compact coefficients; f. 순간적인 사용자인자와 제어인자를 구하고, 이들 인자를 기반으로 하이브리드 벡터공간내 벡터를 만드는 단계; f. Obtaining instantaneous user and control factors and creating vectors in the hybrid vector space based on these factors; g. f 단계에서 구한 하이브리드 벡터공간내 벡터에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하는 단계; 및g. dynamically calculating instantaneous warp maps from the compact coefficients corresponding to the vectors in the hybrid vector space obtained in step f; And h. 상기 워프맵을 저장 및 중계하는 단계;를 포함하는 것을 특징으로 하는 방법.h. Storing and relaying the warp map. 제15항에 있어서, 하이퍼표면 추정으로 계산된 포인트 집합과 하이브리드 그리드데이터에서 추출된 데이터 집합 사이의 편차가 소정 허용레벨보다 작은지 여부를 점검하기 위한 오처분석을 하고, 작지 않으면 하이브리드 벡터공간을 더 세분하는 것을 특징으로 하는 방법.16. The method of claim 15, further comprising: performing an error analysis to check whether the deviation between the point set calculated by the hypersurface estimation and the data set extracted from the hybrid grid data is smaller than a predetermined allowable level; Characterized in that. 다차원 인자 데이터 집합으로 묘사되는 변동 기하학적/광학적 왜곡과 2차원공간 그리드데이터로 묘사되는 다이나믹 2차원 디지털 영상변환을 위한 방법에 있어서:A method for dynamic two-dimensional digital image transformations represented by variable geometric / optical distortions represented by multidimensional factor data sets and two-dimensional spatial grid data: a. 변동 기하학적/광학적 왜곡을 나타내는 2차원공간 그리드데이터와 다차원 왜곡인자 데이터 집합을 구하는 단계;a. Obtaining a two-dimensional space grid data and a multi-dimensional distortion factor data set representing variable geometric / optical distortion; b. 다차원 왜곡인자 데이터 집합과 2차원 공간변환 그리드데이터를 연결하여, 대응 하이브리드 벡터공간에 하이브리드 그리드데이터를 생성하는 단계;b. Generating hybrid grid data in a corresponding hybrid vector space by connecting the multidimensional distortion factor data set and the 2D spatial transform grid data; c. 상기 하이브리드 벡터공간을, 원하는 정확도를 기반으로, 다차원 왜곡제어구역과 2차원 공간 기하학 패치로 이루어지는 다수의 하이브리드 블록으로 분할하는 단계;c. Dividing the hybrid vector space into a plurality of hybrid blocks consisting of a multidimensional distortion control zone and a two-dimensional spatial geometry patch based on a desired accuracy; d. 상기 하이브리드 그리드데이터를 인자화하여, 다수의 콤팩트 계수로 표현되는 각각의 하이브리드 블록내 하이퍼표면 맵을 생성하는 단계;d. Printing the hybrid grid data to generate a hypersurface map in each hybrid block represented by a plurality of compact coefficients; e. 하이퍼표면 맵을 나타내는 콤팩트 계수를 저장하는 단계;e. Storing a compact coefficient representative of the hypersurface map; f. 디스플레이 인자, 왜곡인자, 사용자 인자를 포함한 순간적인 제어인자를 구하고, 이들 제어인자로부터 하이브리드 공간벡터를 계산하는 단계;f. Obtaining instantaneous control factors including display factors, distortion factors, and user factors, and calculating hybrid spatial vectors from these control factors; g. f 단계에서 구한 상기 하이브리드 벡터공간에 대응하는 상기 콤팩트 계수로부터 순간적인 워프맵을 동적으로 계산하는 단계; 및g. dynamically calculating an instantaneous warp map from the compact coefficients corresponding to the hybrid vector space obtained in step f; And h. 상기 워프맵을 저장 및 중계하는 단계;를 포함하는 것을 특징으로 하는 방법.h. Storing and relaying the warp map. 제17항에 있어서, 하이퍼표면 추정으로 계산된 그리드 포인트 집합과 하이브리드 그리드데이터에서 추출된 포인트 집합 사이의 편차가 소정 허용레벨보다 작은지 여부를 점검하는 오차분석을 하고, 작지 않으면 하이브리드 벡터공간을 더 세분하는 것을 특징으로 하는 방법.18. The method of claim 17, wherein an error analysis is performed to check whether the deviation between the set of grid points calculated by hypersurface estimation and the set of points extracted from the hybrid grid data is smaller than a predetermined allowable level, and if not smaller, the hybrid vector space is further subdivided. Characterized in that. 제17항에 있어서, 축척변환작업을 하여 표준 정상 세팅에서 특정 디스플레이 표면을 만들도록 맵을 생성하는 것을 특징으로 하는 방법.18. The method of claim 17, wherein the map is generated to scale to produce a particular display surface at a standard normal setting. 제17항에 있어서, 상기 생성된 하이퍼표면이 표면다항식인 것을 특징으로 하는 방법.18. The method of claim 17, wherein the generated hypersurface is a surface polynomial. 제21항에 있어서, 소정 정확도에 맞게 표면다항식의 차수를 변화시키는 것을 특징으로 하는 방법.22. The method of claim 21, wherein the order of the surface polynomial is varied to a certain accuracy. 제17항에 있어서, 소정 정확도에 맞게 공간변환 세부사항을 변화시키는 것을 특징으로 하는 방법.18. The method of claim 17, wherein the spatial transform details are changed to a certain accuracy. 제17항에 있어서, 소정 정확도에 맞게 제어구역과 기하학 패치의 수를 변화시키는 것을 특징으로 하는 방법.18. The method of claim 17, wherein the number of control zones and geometric patches is varied to meet a certain accuracy. 제15항에 있어서, 색상변환에 사용되는 것으로서, 컬러공간을 기하학 패치로 분할함은 물론 관련 왜곡과 제어인자 공간을 제어구역으로 분할하여 하이브리드 공간블록을 만들고, 또한 각각의 하이브리드 공간블록내 하이퍼표면으로 정확한 그리드데이터를 만드는 것을 특징으로 하는 방법.16. The hybrid space block according to claim 15, wherein the color space is divided into geometric patches as well as related distortions and control factor spaces into control zones to create hybrid space blocks, and also hypersurfaces within each hybrid space block. How to make accurate grid data with. 제24항에 있어서, 상기 하이퍼표면이 디스플레이 컬러공간을 프린터 컬러공간에 매핑하고, 상기 프린터는 드리프트, 노화, 종이 종류, 사용자선택 음영을 포함한 변동 왜곡/제어 인자를 갖는 것을 특징으로 하는 방법.25. The method of claim 24, wherein the hypersurface maps a display color space to a printer color space, wherein the printer has a variable distortion / control factor including drift, aging, paper type, and user selected shading. 제25항에 있어서, 컬러교정을 위한 컬러 감지를 하고, 교정결과를 제어인자로 사용해 하이브리드 공간벡터로 변환함으로써 컬러변환용의 새로운 워프맵을 만드는 것을 특징으로 하는 방법.27. The method of claim 25, wherein a new warp map for color conversion is made by performing color detection for color correction and converting the calibration result into a hybrid space vector using the control result as a control factor. 제24항에 있어서, 상기 하이퍼표면이 표준 RGB 공간을 사용자선택 컬러공간에 매핑하되, 사용자선택 컬러공간은 휘도, 콘트라스트, 색조를 포함한 사용자 인자로 특성화되는 것을 특징으로 하는 방법.25. The method of claim 24, wherein the hypersurface maps a standard RGB space to a user-selected color space, wherein the user-selected color space is characterized by user factors including luminance, contrast, and color tone. 제27항에 있어서, 컬러교정을 위한 컬러감지를 하고, 교정결과를 제어인자로 사용해 하이브리드 공간벡터로 변환함으로써 컬러변환용의 새로운 워프맵을 만드는 것을 특징으로 하는 방법.28. The method of claim 27, wherein a new warp map for color conversion is created by detecting color for color correction and converting the result of the correction into a hybrid space vector using the correction result as a control factor.

Images