KR19990067567A

KR19990067567A - Vector Correlation System for Automatic Positioning of Patterns in Images

Info

Publication number: KR19990067567A
Application number: KR1019980703590A
Authority: KR
Inventors: 스테픈 에스. 윌슨
Original assignee: 어플라이드 인텔리전트 시스템스 인코포레이션
Priority date: 1995-11-13
Filing date: 1996-11-05
Publication date: 1999-08-25
Also published as: US6023530A; DE69623642T2; WO1997018524A3; DE69623642D1; US6385340B1; EP0864134A4; JP2000500594A; KR100367303B1; JP2007164816A; JP4494427B2; WO1997018524A2; EP0864134B1; EP0864134A2; JP3942193B2

Abstract

본 발명은 영상들의 디지털 처리를 위한 시스템에 관한 것으로, 물체의 추정치에 대응하는 형판을 결정하는 수단, 상기 형판을 추상 형판으로 변환하는 수단, 상기 추상 형판을 레인징 형판으로 변환하는 수단, 상기 레인징 형판을 상기 영상내의 복수의 알려진 좌표점 위치들중 각각으로 변위시키는 수단, 상기 레인징 형판을 상기 위치들중 각각에서의 상기 영상과 상관시키는 수단, 미리 정의된 임계치를 만족하는 상관에 대응하는 상기 위치를 저장하는 수단을 포함하며, 영상은 복수의 영상 화소들에 의해 정의되고, 각 영상 화소는 알려진 휘도값과 알려진 좌표점을 갖는 것을 특징으로 한다.The present invention relates to a system for digital processing of images, comprising: means for determining a template corresponding to an estimate of an object, means for converting the template to an abstract template, means for converting the abstract template to a ranging template, the lane Means for displacing a gong template to each of a plurality of known coordinate point locations in the image, means for correlating the ranging template with the image at each of the locations, corresponding to a correlation that satisfies a predefined threshold. Means for storing said position, wherein an image is defined by a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point.

Description

영상에 패턴을 자동으로 위치시키기 위한 벡터 상관 시스템(VECTOR CORRELATION SYSTEM FOR AUTOMATICALLY LOCATING PATTERNS IN AN IMAGE)VECTOR CORRELATION SYSTEM FOR AUTOMATICALLY LOCATING PATTERNS IN AN IMAGE

서론Introduction

전자 디지털 영상 처리 하드웨어에서, 영상들은 개별적인 메모리 장치들에 저장된다. 이 영상은 종종 값들의 배열로 분할되고, 여기서, 각 메모리 위치는 특정의 공간 좌표점에 대응하며 그 메모리 위치에서의 그 값, 화소(pixel)라 불리우는 그 좌표점에서의 영상의 휘도에 대응한다. 도 1A 는 그 휘도가 각 화소 좌표점에서의 수들로 주어지는 영상에서의 물체의 예를 도시한다.In electronic digital image processing hardware, images are stored in separate memory devices. This image is often divided into an array of values, where each memory location corresponds to a particular spatial coordinate point and corresponds to its value at that memory location, the brightness of the image at that coordinate point called a pixel. . 1A shows an example of an object in an image whose luminance is given in numbers at each pixel coordinate point.

영상 및 형판 상관Imaging and Template Correlation

기계 비젼 시스템의 영상에서 물체들을 자동으로 위치시키는 일반적인 한 가지 기술은 상관이나 회선(convolution)을 사용하는 것이다. 회선, 정규화 상관, 최하위 평균 제곱 오차와, 최하위 평균 절대치 오차를 포함하는 몇가지 형태의 영상 상관 방법들이 있다. 상관 방법의 정의는 위치되는 물체와 유사한 형태를 갖는 개별적인 소영상인 형판이나 핵심의 결정과 사용을 요구한다. 도 1B 는 도 1A 상의 영상에 도시된 물체와 같은 형상의 형판을 도시하고 있다. 상기 물체와 같이, 상기 형판은 각점에 대한 휘도값을 갖는 공간 좌표점들에 의해 표시될 수도 있다. 이 형판은 영상에서의 관심의 영역 주위의 군데 군데에서 선택적으로 변위 및 제거된다. 영상에서의 각각의 새로운 형판 위치에서, 곱들의 합은 공통적인 공간 좌표점에서 각 영상 화소의 대응값을 갖는 각 형판 화소값에 대해 계산된다. 도 1C 는 영상상에서 변위된 도 1B 상의 형판의 한 위치를 도시하고 있다. 이 경우, 그 변위에는 중첩이 없으며, 곱들의 합은 0 이다. 상관이나 회선의 계산적 출력은 형판 패턴의 형상이 영상에서의 패턴의 형상과 가장 근접하게 어울리는 그 위치에서 최대이다. 도 1D 는 영상에서의 형판의 모든 가능한 대체 위치들에 대한 상관을 도시하고 있다. 그 수치들은 오히려 크므로, 도 1D 는 음영의 휘도에 의해 상관의 근사의 그리고 상대적인 표시만을 도시하고 있다.One common technique for automatically positioning objects in the image of a machine vision system is to use correlation or convolution. There are several types of image correlation methods, including convolution, normalized correlation, lowest mean square error, and lowest mean absolute error. The definition of the correlation method requires the determination and use of a template or core, which is an individual sub-image that has a shape similar to the object being positioned. FIG. 1B shows a template shaped like an object shown in the image on FIG. 1A. Like the object, the template may be represented by spatial coordinate points having luminance values for each point. This template is selectively displaced and removed in several places around the region of interest in the image. At each new template position in the image, the sum of the products is calculated for each template pixel value having a corresponding value of each image pixel at a common spatial coordinate point. FIG. 1C shows a position of the template on FIG. 1B displaced on the image. In this case, there is no overlap in the displacement, and the sum of the products is zero. The computational output of the correlation or convolution is maximum at that position where the shape of the template pattern most closely matches the shape of the pattern in the image. 1D shows the correlation for all possible alternative positions of the template in the image. Since the figures are rather large, FIG. 1D shows only an approximate and relative representation of the correlation by the brightness of the shade.

개별적인 2 차원의 회선에 대한 식은 다음과 같이 주어지는데,The equation for an individual two-dimensional line is given by

여기서, I 는 영상이고, K 는 핵심이며, x 와 y 는 공간 좌표점을 정의하는 영상 좌표들이다. μ 와 ν 에 대한 합의 범위는 그 형판에 대해 변한다. 실제로, 이 형판은 그 위치가 결정되어지는 그 물체를 포함하는 영상보다 더 작다.Where I is the image, K is the key, and x and y are the image coordinates that define the spatial coordinate points. The range of sum for μ and ν varies for that template. In practice, this template is smaller than the image containing the object whose position is to be determined.

정규화 상관은, 형판의 각 성분의 값에 일정한 배율이 곱해지고, 일정한 오프셋이 더해지는 것을 제외하고는, 상관과 유사한 공지의 방법이다. 각 형판 대체에서 배율과 오프셋은 각 영상 위치에서의 형판의 상관에서 최소 오차를 제공하기 위해 독립적으로 조정된다. 형판 정합에서의 정규화 상관방법은, 비젼'87 회의록, 5-33∼5-55 쪽에 참고자료로 삽입된, 윌리암 실버(William Silver) 씨가 쓴 “정규화 상관 조사를 사용하는 정렬과 측정”이란 제목의 기사에서 자세히 다루어진다.Normalized correlation is a known method similar to correlation except that the value of each component of the template is multiplied by a constant magnification and a constant offset is added. In each template replacement, the magnification and offset are independently adjusted to provide the minimum error in the template's correlation at each image position. The normalization correlation method in template matching is entitled, “Alignment and Measurement Using Normalization Correlation,” by William Silver, incorporated by reference in Vision '87, pp. 5-33 to 5-55. This is covered in detail in the article.

최소 평균제곱 오차방법에서 각 형판점은 대응 영상점으로부터 빼어지고; 각 차(差)는 곱해지며; 모든 차(差)들의 평균이 계산된다. 최소 제곱오차에 대한 식은 다음과 같고,In the least mean square error method, each template point is subtracted from the corresponding image point; Each difference is multiplied; The average of all the differences is calculated. The formula for the least squared error is

여기서, N 은 핵심에서의 화소들의 수이다. 최소 평균제곱 오차의 계산적 출력은 형판 패턴이 영상에서의 패턴과 정합할 경우, 최소이다. 최소 평균 절대치 오차 방법에서 각 형판점은 대응 영상점으로부터 빼어지고; 각차(差)의 절대치가 계산되며; 모든 차(差)들의 평균이 계산된다. 최소 절대치 오차에 대한 식은 다음과 같고,Where N is the number of pixels at the core. The computational output of the minimum mean square error is minimal if the template pattern matches the pattern in the image. In the least mean absolute error method each template point is subtracted from the corresponding image point; The absolute value of the angle difference is calculated; The average of all the differences is calculated. The formula for the minimum absolute error is

최소 평균 절대치 오차의 계산적 출력은 패턴들이 정합할 경우 최소이다.The computational output of the minimum mean absolute error is minimal if the patterns match.

위에 설명된 기술들은, 그 자체로 그레이 레벨 영상인 형판은 그 좌표 위치가 관심의 대상인 영상내에 있는 물체를 포함하는 대응 그레이 레벨 영상 주위에서 군데군데 변위된다는 의미에서 실제로 동일하다. 각 위치에서 함수는 공통 좌표점들에서의 인접하는 영상 화소값들과 대응하는 형판값들에 적용된다. 이 결과는 좌표점에서의 각 화소가 형판이 그점에서의 영상에서의 물체와 얼마나 잘 어울리는지를 나타내는 단수인 다른 영상이다.The techniques described above are actually identical in the sense that the template, which is itself a gray level image, is displaced around the corresponding gray level image that includes an object whose coordinate position is in the image of interest. The function at each position is applied to adjacent image pixel values and corresponding template values at common coordinate points. The result is a different image where each pixel at the coordinate point is singular indicating how well the template matches the object in the image at that point.

2진 벡터 상관Binary Vector Correlation

벡터 상관이나 회선은 위에 논의된 상관 방법들에 대한 다른 또 하나의 접근 방법을 제공한다. 벡터 상관에서 영상과 선택된 형판은 벡터들인 화소들로 구성된다. 2진 벡터 상관뒤에 숨겨진 이론은, 1989년 11월/12월판의 시스템들, 사람들, 인공 두뇌학에 관한 IEEE 보고서의 19권, 6호, 1636∼1644쪽에 S.S. 윌슨(Wilson) 에 의해 참조 기사로 실린, “벡터 형태론 및 상적 신경 회로망들” 의 제목하의 문서에서 다루어진다. 이와 유사한 기술이 1991년판의 신경 및 지적 시스템들 통합의 135∼160쪽, Wiley-Interscience 에 S.S. 윌슨(Wilson)에 의해 참고자료로 실린, “실시간 물체 인식을 위한 교육망 연결” 의 제목하의 문서에서 더욱 자세히 다루어졌다. 간략하게 설명하면, 2진 벡터 상관의 가장 일반적인 형태는 그레이 레벨 영상을 몇 개의 2진 영상들로 변환하는 것으로 이루어지며, 여기서, 2진 영상들의 합성은 벡터 영상에서의 각 화소는 몇가지 성분들을 가진다는 - 2진 영상들중 하나로부터의 각각 - 의미에서 벡터를 표시한다. 다음으로, 벡터 형판은 패턴을 인식하는 목적으로 정의된다. 상기 벡터 형판은 또한 벡터 영상과 유사한 수의 성분들로 이루어진다.Vector correlation or convolution provides another approach to the correlation methods discussed above. In vector correlation, the image and the selected template consist of pixels, which are vectors. The theory behind binary vector correlations is described in S.S., pp. 1936, 1636, 16/16, of the IEEE report on systems, people, and cybernetics in the November / December 1989 edition. It is dealt with in the document under the heading “Vector Morphology and Commercial Neural Networks”, which is a reference article by Wilson. A similar technique is described in Wiley-Interscience in S.S. This is covered in more detail in the document under the heading “Connecting a Network for Real-Time Object Recognition,” which is referenced by Wilson. Briefly, the most common form of binary vector correlation consists in converting a gray level image into several binary images, where the synthesis of binary images has several components in each pixel in the vector image. Denotes a vector in the sense-from each of the binary images. Next, vector templates are defined for the purpose of recognizing patterns. The vector template also consists of a similar number of components as the vector image.

벡터 형판의 위치는 영상에서의 관심의 영역 주위에서 군데군데 변위 및 제거된다. 각 위치에서, 내곱들의 합(또는 도트 곱)은 그 형판에서의 벡터 화소와 대응하는 좌표점에 대한 영상에서의 벡터 화소에 대해 계산된다. 수학적인 용어로, 개별적인 2 차원적 벡터 회선에 대한 식은 다음과 같으며,The position of the vector template is displaced and removed around the region of interest in the image. At each position, the sum of the products (or dot products) is calculated for the vector pixel in the image for the coordinate point corresponding to the vector pixel in the template. In mathematical terms, the equation for an individual two-dimensional vector line is

여기서, I 는 벡터 영상이고 K 는 벡터 핵심이며, x 와 y 는 영상 좌표들이다. μ 와 ν 에 대한 합의 범위는 그 형판에 대해 변한다.Where I is the vector image, K is the vector core, and x and y are the image coordinates. The range of sum for μ and ν varies for that template.

벡터 상관의 1 가지 기술의 자세한 설명은 다음과 같다. 입력 영상으로 시작하면, 첫단계는 오른쪽으로 가까운 거리에 변위된 인접하는 화소값을 입력 영상의 화소값으로부터 뺌으로써 수평 유한차라 불리운 다른 영상을 형성하는 것이다. 이 결과의 영상은 유효 수직에지가 있는 그 좌표점들 주위에서 큰 양이나 음의 값들을 포함할 것이다. 수평 유한차 영상에서의 양의값은 동쪽 에지라 불리우며 휘도면에서 왼쪽에서 오른쪽으로 감소하는 에지를 나타낸다. 수평 유한차 영상에서의 음의값은 서쪽 에지라 불리우며 휘도면에서 왼쪽에서 오른쪽으로 증가하는 에지를 나타낸다.A detailed description of one technique of vector correlation is as follows. Starting with the input image, the first step is to subtract adjacent pixel values displaced to the right to the right from the pixel values of the input image to form another image called the horizontal finite difference. The resulting image will contain large positive or negative values around those coordinate points with an effective vertical edge. Positive values in horizontal finite difference images are called east edges and represent edges that decrease from left to right in terms of luminance. Negative values in horizontal finite difference images are called west edges and represent edges that increase from left to right in terms of luminance.

두번째 단계는 위쪽으로 가까운 거리에 변위된 인접하는 화소값을 입력 영상의 화소값으로부터 뺌으로써 수직 유한차라 불리운 다른 영상을 형성하는 것이다. 이 결과의 영상은 유효 수평에지가 있는 그 좌표점들 주위에서 큰 양이나 음의 값들을 포함할 것이다. 수직 유한차 영상에서의 양의 값은 북쪽 에지라 불리우며 휘도면에서 상측 방향으로 감소하는 에지를 나타낸다. 수직 유한차 영상에서의 음의값은 남쪽 에지라 불리우며 휘도면에서 상측 방향으로 증가하는 에지를 나타낸다.The second step is to subtract adjacent pixel values displaced upwards from the pixel values of the input image to form another image called vertical finite difference. The resulting image will contain large positive or negative values around those coordinate points with an effective horizontal edge. Positive values in vertical finite difference images are called north edges and represent edges that decrease in the upward direction in terms of luminance. The negative value in the vertical finite difference image is called a south edge and represents an edge that increases in the upward direction in terms of luminance.

2진 벡터 상관에서의 세 번째 단계는 각 화소가 나침반의 4 개의 방향들에 대응하는 N,S,E,W 라 명명된 4 개의 2진수들로 구성된 벡터를 포함하는 2진 벡터 영상을 형성하는 것이다. 2진수 N 은 수직 유한차를 임계치라 불리운 작은 양의수와 비교하고, 이 임계치를 초과하는 그들 값들에 대한 2진수 1 을 관련시키며, 다른 방법으로는 2진수 0 을 관련시킴으로써 계산된다. 2진 성분 S 는 수직 유한차를 임계치의 음과 비교하고, 이 임계치보다 더 작은 그 값들에 대한 2진수 1 을 관련시키며, 다른 방법으로는 2진수 0 을 관련시킴으로써 계산된다. 2진 성분들 E 와 W 는 수평 유한차 영상을 사용하여 유사한 방식으로 계산된다.The third step in binary vector correlation is to form a binary vector image in which each pixel contains a vector of four binary numbers named N, S, E, W corresponding to the four directions of the compass. will be. Binary N is calculated by comparing the vertical finite difference with a small positive number called the threshold, correlating binary 1 for those values above this threshold, and otherwise correlating binary 0. The binary component S is calculated by comparing the vertical finite difference with the negative of the threshold, correlating binary 1 to those values that are smaller than this threshold, and otherwise correlating binary 0. Binary components E and W are calculated in a similar manner using horizontal finite difference images.

네 번째 및 마지막 단계는 원래 영상에서의 관심의 영역내에서 군데군데 벡터 형판의 위치를 변위하는 것이다. 영상에서의 각각의 새로운 위치에서, 내곱들의 합은 대응하는 좌표점에 대한 원래의 영상에서의 각각의 대응하는 벡터 화소를 갖는 형판에서의 각 벡터 화소값에 대해 계산된다.The fourth and final step is to displace the position of the vector template in the region of interest in the original image. At each new location in the image, the sum of squares is calculated for each vector pixel value in the template with each corresponding vector pixel in the original image for the corresponding coordinate point.

도 2A 는 수평 유한차와 수직 유한차를 사용한 에지 검출후의 벡터 영상의 한예이다. 영상에서의 각 좌표점은 벡터를 예시해야 하지만, 0 이 아닌 성분의 부호만을 예시하는 것이 더 쉽다. 공백의 화소를 갖는 좌표점은 모든 성분들이 0 인 벡터를 나타낸다. 실제로 2 개의 성분들이 N 과 W 와 같이 0 이 아니도록 가능하지만, 도 2A 에는 아무것도 예에 의해 도시되어 있지 않다. 도 2B 는 수평 유한차 영상과 수직 유한차 영상 모두와 소정의 임계치를 사용하여 형성된 대응 벡터 형판을 도시한 도면이다. 이것은 도 2B 상의 형판이 도 2A 상의 영상 주위에서 군데 군데 제거될 때 명백하고, 도 2C 에 대충 표시된 상관 응답이 초래될 것이다.2A is an example of a vector image after edge detection using a horizontal finite difference and a vertical finite difference. Each coordinate point in the image should illustrate a vector, but it is easier to illustrate only the sign of a nonzero component. A coordinate point with a blank pixel represents a vector where all components are zero. In practice, it is possible for the two components to be nonzero, such as N and W, but nothing is shown by way of example in FIG. 2A. Fig. 2B shows a corresponding vector template formed using both a horizontal finite difference image and a vertical finite difference image and a predetermined threshold. This is evident when the template on FIG. 2B is removed around the image on FIG. 2A and will result in the correlation response roughly indicated in FIG. 2C.

벡터 상관의 잇점들Benefits of Vector Correlation

벡터 상관은 그 상관이 패턴의 에지들과 함께 하기 때문에, 아주 정확하다. 도 2C 에 관해 설명하면, 영상 패턴의 실제 위치로부터 형판의 약간의 오프셋은 그 형판의 대부분의 에지들이 그 패턴과 접촉하는 것을 완전히 놓치며, 아무런 상관도 초래하지 않는다. 그러나, 도 1D 에 도시된 바와같이, 만일 보통의 상관이 사용되면 영상과 형판과의 부분적인 접촉이 많은 영역이 있다.Vector correlation is very accurate because the correlation is with the edges of the pattern. With reference to FIG. 2C, a slight offset of the template from the actual position of the image pattern completely misses most edges of the template in contact with the pattern, resulting in no correlation. However, as shown in Fig. 1D, there is an area where there is a lot of partial contact between the image and the template if the ordinary correlation is used.

벡터 상관은 패턴의 에지들이 심각하게 저하되지 않는한, 저하된 패턴들을 영상에 위치시킬 수 있다. 저하된 영상은 관심의 패턴을 둘러싼 다량의 클러터나, 패턴내의 빠진 부분들로 이루어진다. 보통의 상관은 주위의 클러터로부터 패턴을 구별하기가 어려울 때도 있다.Vector correlation can locate the degraded patterns in the image as long as the edges of the pattern do not degrade significantly. The degraded image consists of a large amount of clutter surrounding the pattern of interest or missing portions within the pattern. Normal correlations can sometimes make it difficult to distinguish patterns from surrounding clutter.

보통의 상관에서 형판 영상이 사용된다. 따라서, 만일 물체의 시각성이 실제로 형판으로 사용된 물체와 다르다면, 형판 정합은 정확한 결과를 제공하기 어려울 것이다. 벡터 상관이 보통의 상관보다 뛰어난 이유는, 물체의 중요한 에지 특징들만이 물체를 확인하는데 사용되기 때문이다.In normal correlation, template images are used. Thus, if the visibility of an object is different from the object actually used as the template, template matching will be difficult to provide accurate results. Vector correlation is superior to normal correlation because only the important edge features of the object are used to identify the object.

벡터 상관에서의 문제점들Problems with Vector Correlation

벡터 상관은 벡터 영상들을 형성하고 동작시키는데 있어서 여분의 단계들 때문에 계산적으로 철저하다. 첫번째로, 유한 차(差)들과 계산된 에지들을 저장하기 위해 메모리 저장을 위한 증가된 필요조건이 있다. 두 번째로, 찾아지는 패턴들을 특징 지우는데 사용된 형판들은 벡터들이고 정의하기가 더욱 복잡하다. 세 번째로, 대각선 에지들은 정확히 표시되지 않는다. 북쪽과 동쪽 방향에서의 대각선은 동일점에 표시된 북쪽 및 동쪽 에지들을 모두 갖는 형판에 의해 표시되어야 한다. 형판에서의 대각선 점은 다루기가 더욱 어렵다. 마지막으로, 이 방법은 고성능 병렬 처리기에 제한된다.Vector correlation is computationally thorough because of the extra steps in forming and operating vector images. First, there is an increased requirement for memory storage to store finite differences and calculated edges. Second, the templates used to characterize the patterns found are vectors and are more complicated to define. Third, the diagonal edges are not displayed correctly. Diagonal lines in the north and east directions shall be marked by a template having both north and east edges marked at the same point. Diagonal points in the template are more difficult to handle. Finally, this method is limited to high performance parallel processors.

2 개의 단위들중 하나를 포함하는 작은 유한 차 좌표 변위의 사용은 유한 차 영상들에서의 아주 좁은 에지들을 발생시킨다. 상관 형판이 벡터 영상에서 제거되면서, 좁은 에지들은 상관의 강력한 위치 측정을 가능하게 하며, 고정밀한 영상으로의 형판의 패턴 정합을 가능하게 한다. 그러나, 패턴 위치는 알려지지 않았기 때문에, 형판은 일반적으로 패턴이 찾아지기 전에, 다수의 위치들에서 제거되어야 한다. 이것을 파인 그레인드 탐색(fine grained search)이라 한다. 만일 알려지지 않은 패턴이 약간 회전하여 그 형판이 어디에도 맞지 않는다면, 이 경우에서의 그 알려지지 않은 패턴은 상실될 수도 있다.The use of small finite difference coordinate displacements involving one of two units results in very narrow edges in finite difference images. As the correlation template is removed from the vector image, the narrow edges enable robust position measurement of the correlation and pattern matching of the template into a high precision image. However, since the pattern position is unknown, the template generally has to be removed at multiple positions before the pattern can be found. This is called a fine grained search. If the unknown pattern is slightly rotated and the template does not fit anywhere, the unknown pattern in this case may be lost.

유한 차는 단순한 영상들에 대해 더욱 크게 만들어질 수도 있다. 예컨데, 10 단위들을 포함하는 유한 차 좌표 변위는 10 개의 화소 넓이의 에지들로 이끌 것이며 회전된 패턴들이 찾아지는 것을 가능하게 할 것이다. 부가적으로, 상기 패턴은, 철저하지 않게, 그러나 수평 및 수직 방향 모두에서의 10 단위까지 포함하는 단계들에서의 조잡한 격자 상태로, 영상에 대해 형판을 표본화함으로써 찾아질 수 있다. 이 예에서, 탐색은 10 제곱이나, 1 백배 더 빨라질 것이다. 그러나, 일단 패턴이 찾아지면, 정확도는 아주 떨어질 것이다.Finite differences may be made larger for simple images. For example, a finite order coordinate displacement comprising 10 units will lead to edges of 10 pixel widths and enable the rotated patterns to be found. Additionally, the pattern can be found by sampling the template for the image, in a thorough lattice state, in a step that is not exhaustive but includes up to 10 units in both the horizontal and vertical directions. In this example, the search will be ten squares, but one hundred times faster. However, once the pattern is found, the accuracy will be very poor.

절충은 패턴의 대략적인 위치를 얻기 위한 코어스 그레인드 탐색(coarse grained search)을 제공한 다음, 그 패턴에 노력을 집중하게 되는 파인 그레인드 탐색을 제공할 것이다. 에지 방향은 두 번 수행되어야 하는데, 한번은 큰 유한 차들에 대해서, 그리고 다른 한번은 작은 유한 차들에 대해서이다. 다량의 메모리 저장과 고성능 병렬 처리기는 여전히 요구된다.The compromise will provide a coarse grained search to obtain the approximate location of the pattern, and then provide a fine grained search that will focus the effort on that pattern. The edge direction must be performed twice, once for large finite differences and once for small finite differences. Large amounts of memory storage and high performance parallel processors are still required.

본 발명은 영상의 디지털 처리를 위한 시스템에 관한 것으로, 특히, 에지(edges)에 의해 특징지워지는 패턴들을 자동으로 위치시키기 위한 시스템에 관한 것이다.The present invention relates to a system for digital processing of images, and more particularly to a system for automatically positioning patterns characterized by edges.

도 1A 는 물체를 갖는 그레이 레벨 영상의 한 예를 도시한 도면.1A shows an example of a gray level image with an object.

도 1B 는 도 1A 의 영상에서의 위치를 찾기 위한 형판의 한 예를 도시한 도면.FIG. 1B shows an example of a template for finding a position in the image of FIG. 1A. FIG.

도 1C 는 도 1A 의 영상위에 변위된 도 1B 의 형판의 한 위치를 도시한 도면.FIG. 1C shows a position of the template of FIG. 1B displaced on the image of FIG. 1A. FIG.

도 1D 는 영상에서의 물체와 영상 주위로 이동된 형판사이의 상관을 음영의 휘도에 의해 근사적으로 표시한 도면.1D is an approximation of the correlation between an object in an image and a template moved around the image by the luminance of the shadows.

도 2A 는 2진 벡터 영상의 한 예를 도시한 도면.2A shows an example of a binary vector image.

도 2B 는 2진 벡터 형판의 한 예를 도시한 도면.2B shows an example of a binary vector template.

도 2C 는 2진 벡터 영상에서의 물체와 영상 주위로 이동된 2진 벡터 형판사이의 결과의 벡터 상관을 도시한 도면.FIG. 2C shows the vector correlation of the result between an object in a binary vector image and a binary vector template moved around the image. FIG.

도 3A 는 본 발명에 따라 단순화된 벡터 형태로 변환된 수동으로 결정된 형판을 예시한 도면.3A illustrates a manually determined template transformed into a simplified vector form in accordance with the present invention.

도 3B 는 도 3A 의 추상 벡터 형판에 대한 표를 예시한 도면.3B illustrates a table for the abstract vector template of FIG. 3A.

도 3C 는 δ=3 의 변위를 갖는 도 3B 의 추상 형판으로부터 유도된 레인징 형판을 도시한 도면.FIG. 3C shows a ranging template derived from the abstract template of FIG. 3B with a displacement of δ = 3. FIG.

도 3D 는 영상내에서 오프셋되고 회전하는 물체를 맞추는 도 3C 의 레인징 형판을 도시한 도면.FIG. 3D illustrates the ranging template of FIG. 3C fitting an object that is offset and rotated in the image. FIG.

도 4A 는 도 3C 의 레인징 형판에 대한 상관의 수평 측면도.4A is a horizontal side view of the correlation for the ranging template of FIG. 3C.

도 4B 는 δ=1 의 변위를 갖도록 구성된 레인징 형판을 도시한 도면.4B illustrates a ranging template configured to have a displacement of δ = 1.

도 4C 는 도 4B 의 레인징 형판에 대한 상관의 수평 측면도.4C is a horizontal side view of the correlation for the ranging template of FIG. 4B.

도 5 는 본 발명의 시스템을 사용하여 물체를 효율적으로 탐색하는 방법을 도시한 순서도.5 is a flow chart illustrating a method for efficiently searching for an object using the system of the present invention.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

20 : 물체 22 : 영상20: object 22: video

24 : 형판 26 : 에지들24: template 26: edges

28 : 추상 형판 30 : 레인징 형판28: abstract template 30: ranging template

발명의 요약Summary of the Invention

본 발명은 영상내에 물체들을 자동으로 위치시키는 시스템에 관한 것이다. 상기 영상들은 복수의 영상 화소들에 의해 정의되며, 각 영상 화소는 알려진 휘도값과 알려진 좌표점을 갖는다. 본 발명은 제한된 계산상의 복잡성을 갖춘 아주 훌륭한 유연성을 제공하기 위해 단일 동작으로 결합되는 에지 검출과 패턴 탐색의 결합을 사용한다. 첫 번째로, 소책자 형판은 물체의 추정치에 대응하도록 결정된다. 이 수동 형판은 좌표점들과 대응하는 에지 방향들의 집합을 포함하는 적은 벡터들의 집합으로 구성되는 추상 형판으로 변환된다. 각 좌표점은 수동 형판의 에지상에 있으며, 대응하는 에지 방향은 그 좌표점에서의 에지에 수직인 좌표점을 관통한다. 다음으로, 상기 추상 형판은 레인징 형판으로 변환된다. 이 레인징 형판은 상기 추상 형판의 각 벡터에 대한 좌표점으로부터 대응하는 에지 방향을 따라 동등하게 이격되도록 정의되는 좌표점들의 쌍들을 포함한다. 양의 좌표점은 미리 선택된 변위의 양의 값에 대응하며, 음의 좌표점은 동일한 변위의 음의 값에 대응한다.The present invention relates to a system for automatically positioning objects in an image. The images are defined by a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point. The present invention uses a combination of edge detection and pattern search combined in a single operation to provide great flexibility with limited computational complexity. First, the booklet template is determined to correspond to the estimate of the object. This passive template is transformed into an abstract template consisting of a small set of vectors containing a set of coordinate points and corresponding edge directions. Each coordinate point is on an edge of the passive template and the corresponding edge direction passes through a coordinate point perpendicular to the edge at that coordinate point. Next, the abstract template is converted into a ranging template. This ranging template includes pairs of coordinate points defined to be equally spaced along the corresponding edge direction from the coordinate points for each vector of the abstract template. The positive coordinate point corresponds to the positive value of the preselected displacement, and the negative coordinate point corresponds to the negative value of the same displacement.

이 레인징 형판은 영상내의 알려진 복수의 좌표점 위치들 중 각각에 변위된다. 각 위치에서 이 레인징 형판은 영상과 상관한다. 다른 추상 및 레인징 형판들은 동적으로 재구성되며 상관이 진척되면서 회전하고 영상내의 물체 위치의 추정치는 더욱 정밀해진다. 벡터 상관의 잇점들은 유지되나, 에지 검출은 제거되고 제한된 수의 좌표점들만이 요구되기 때문에, 계산상의 짐은 감소된다. 에지 검출된 영상들은 저장되지 않기 때문에 계산상의 메모리는 덜 필요하다.This ranging template is displaced at each of a plurality of known coordinate point positions in the image. At each location, this ranging template correlates with the image. The other abstract and ranging templates are dynamically reconstructed and rotated as the correlation progresses, making the estimate of the object's position in the image more precise. The benefits of vector correlation are retained, but computational burden is reduced because edge detection is eliminated and only a limited number of coordinate points are required. Since edge-detected images are not stored, less computational memory is needed.

도 3A∼도 3D 에 예시된 바와같이, 본 발명은 물체(20)의 좌표점 위치를 영상(22)내에 위치시키는데 사용된 자동 영상 처리시스템에 관한 것이다. 상기 예시된 영상(22)은 복수의 영상 화소들을 갖는 2 차원이며, 각 영상 화소는 알려진 휘도 값과 알려진 좌표점을 갖는다. 이 좌표점들은 수평 x-축과 수직 y-축에 의해 정의된다. 본 시스템의 목적은 영상(22)내에 물체(20)의 좌표 위치를 결정하는 것이다.As illustrated in FIGS. 3A-3D, the present invention relates to an automatic image processing system used to position the coordinate point position of an object 20 in an image 22. The illustrated image 22 is two dimensional with a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point. These coordinate points are defined by the horizontal x-axis and the vertical y-axis. The purpose of the system is to determine the coordinate position of the object 20 in the image 22.

처음으로, 이 시스템은 가능한 형판(24)의 수동 결정에 의존하며, 그 경계는 잘 정의된 에지들(26)을 갖는다. 예시된 바대로, 형판(24)은 가능한한 밀접하게 물체(20)에 대응하기 위해 정형 및 규격화된다.For the first time, the system relies on manual determination of possible templates 24, the boundaries of which have well defined edges 26. As illustrated, the template 24 is shaped and standardized to correspond to the object 20 as closely as possible.

일단 형판(24)이 정의되어졌으면, 이것은 컴퓨터의 메모리 위치들에 쉽게 저장되는 일련의 N 개의 벡터들(μ₁,ν₁,θ₁), (μ₂,ν₂,θ₂), .....(μ_N,ν_N,θ_N), 에 의해 정의된 추상 형판(28)으로 변환된다. 도 3A 와 도 3B 에 표 형태로 도식적으로 도시된 바와같이, A∼I 의 각 벡터는 각각 형판 에지들(26)의 수평 및 수직 좌표들(μ_i,ν_i)인 좌표점들 μ_i와, ν_i의 집합으로 주어진다. 이 좌표점들은 아래에 더 자세히 설명되다시피, 영상(22)의 좌표 시스템에 표기될 수도 있다. 각 좌표점에 연관된 것은 좌표점의 위치에서 대응하는 에지(26)에 수직으로 대응하는 화살표 θ_i에 의해 예시된 에지 방향이다. 각 화살표의 꼬리는 형판(24)의 경계내에 위치하는 반면, 각 화살표의 머리는 형판(24)의 밖에 위치한다. 영상(22)의 x 축 및 y 축을 따라 물체(20)의 위치를 결정하는데 동등한 정확성을 가능하게 하기 위하여 수동 형판(24)의 실질적으로 수직 및 수평 길이방향을 따라 대략적으로 동등한 수의 벡터들 N 이 있어야 한다. 동일한 벡터들은 동시에 수평 및 수직 성분을 모두 가질 수도 있다. 도 3A 에 도시된 바대로, 3 개의 벡터들은 각각의 수평 및 수직 범위에 대해 존재하며 1 보다 더 많은 에지를 포함한다. 예컨데, 이러한 세 개의 에지들은 도 3A에서 가장 우측의 수직 범위를 포함한다.Once the template 24 has been defined, it is a series of N vectors (μ ₁ , ν ₁ , θ ₁ ), (μ ₂ , ν ₂ , θ ₂ ), which are easily stored in the memory locations of the computer. (μ _N , ν _N , θ _N ), which is converted into the abstract template 28 defined by. As also schematically shown in table form in Figure 3B and 3A, each of the vector A~I is the coordinate point of μ _i and the horizontal and vertical coordinates (μ _i, ν _i) of (26), each edge pattern plate , ν _i . These coordinate points may be indicated in the coordinate system of the image 22, as described in more detail below. Associated with each coordinate point is the edge direction illustrated by arrow θ _i corresponding to the corresponding edge 26 at the location of the coordinate point. The tail of each arrow is located within the boundary of the template 24, while the head of each arrow is located outside of the template 24. An approximately equal number of vectors N along the substantially vertical and horizontal longitudinal directions of the passive template 24 to enable equivalent accuracy in determining the position of the object 20 along the x and y axes of the image 22. Should be there. The same vectors may have both horizontal and vertical components at the same time. As shown in FIG. 3A, three vectors exist for each horizontal and vertical range and contain more than one edge. For example, these three edges comprise the rightmost vertical range in FIG. 3A.

계산상의 복잡성을 최소화하기 위해, 제한된 수의 에지점들만이 벡터(μ_i,ν_i,θ_i)로 변환될 필요가 있다. 그러나, 인접한 에지들이 그들간의 충분히 큰 각도의 편차가 없지 않는 한, 최소한 1 개의 벡터가 수동으로 결정된 형판의 각각의 다른 에지에 대해 사용되어야 하는 것이 바람직하다. 도 3A 에 도시된 바대로, 에지(26)들중 각각은 추상 형판(28)의 부분을 포함하는 최소한 한 개의 벡터를 포함한다.In order to minimize computational complexity, only a limited number of edge points need to be converted to a vector μ _i , ν _i , θ _i . However, it is desirable that at least one vector be used for each other edge of the template that has been manually determined, unless the adjacent edges do not have a sufficiently large angle deviation between them. As shown in FIG. 3A, each of the edges 26 includes at least one vector that includes a portion of the abstract template 28.

일단 형판(24)이 추상 형판(28)의 벡터들로 변환되면, 레인징 형판(30)은 도 3C 에 도시된 바대로 형성된다. 레인징 형판(30)은 추상 형판(28)의 각 벡터(μ_i,ν_i,θ_i)에 대한 1 쌍의 좌표점들(μp_i,νp_i)과 (μn_i,νn_i)를 사용하여 정의된다. 점(μp_i,νp_i)은 방향 θ_i에따른 양의 변위 δ 에 의해 구성되며, 점(μn_i,νn_i)은 방향 θ_i에 따른 음의 변위 δ 에 의해 구성된다. 전자의 좌표점들은 수동으로 결정된 형판(24)의 에지(26)들에 의해 정의된 경계밖에 있어야 하고, 후자의 좌표점들은 경계내에 있어야 한다. 수학적으로, (μp_i,νp_i) = (μ_i+ δcosθ_i,ν_i+ δsinθ_i)와 (μn_i,νn_i) = (μ_i- δcosθ_i,ν_i-δsinθ_i) 이다. 그러나, 레인징 형판(30)이 사용될 수 있기전에, 가중치들이 형판의 좌표점들에 할당되어야 한다. 예컨데, 예시된 실시예에서, 양의 변위를 갖는 점들(μp_i,νp_i)에 대한 가중치들은 +1 이고, 음의 변위를 갖는(μn_i,νn_i)에 대한 가중치들은 -1 이다. 조그맣고 하얀 사각형은 음의 가중치를 갖는 레인징 형판 좌표점을 나타내고 작고 검은 사각형은 양의 가중치를 갖는 레인징 좌표 형판점을 나타낸다.Once template 24 is converted to vectors of abstract template 28, ranging template 30 is formed as shown in FIG. 3C. Ranging template 30 is used for the pair of coordinate points for each vector of the abstract template _{(28) (μ i, ν} i, θ i) (μp i, νp i) and (μn _i, νn _i) Is defined. Point (μp _{_i,} νp _i) is composed of a displacement amount δ in accordance with the direction θ _i, point _(i μn, νn _i) is composed of the displacement δ of the sound in accordance with the direction θ _i. The former coordinate points should be outside the boundary defined by the edges 26 of the template 24 which were determined manually, and the latter coordinate points should be within the boundary. Is _{_{- (δcosθ i, ν i -δsinθ}} i μ i) _{_{mathematically, (μp i, νp i)}} = (μ i + δcosθ i, ν i + δsinθ i) and _(i μn, νn _i) =. However, before the ranging template 30 can be used, weights must be assigned to the coordinate points of the template. For example, in the illustrated embodiment, the weights for points with positive displacement (μp _i, νp _i) are +1, and the weights for having the displacement of sound _(i μn, νn _i) are -1. The small white squares represent the ranging template coordinate points with negative weights, and the small black squares represent the ranging coordinate template points with positive weights.

레인징 형판(30)에서의 아주 적은 좌표점들의 집합과 함께 +1 이나 -1 의 가중치들을 가짐으로써, 상관의 식은 아주 간단하다.By having weights of +1 or -1 with a very small set of coordinate points in the ranging template 30, the equation of correlation is quite simple.

여기서, I 는 영상(22)이고, x 와 y 는 영상의 좌표점들이며, μ 와 ν 는 위에 정의된 바와같이 레인징 형판(30)의 좌표점들이다. 이 식에서의 표시법은 양의 용어들을 P_i= I(x-μp_i,y-νp_i)이라 하고 음의 용어들을 N_i= I(x-μp_i,y-νp_i)이라 함으로써 단순화된다.Where I is the image 22, x and y are the coordinate points of the image, and μ and ν are the coordinate points of the ranging template 30 as defined above. The notation in this equation is simplified by saying positive terms P _i = I (x-μp _i , y-νp _i ) and negative terms N _i = I (x-μp _i , y-νp _i ).

만일 변위 δ 가 크다면, 처리 속도는 향상될 수 있으나, 이것은 최소한 한 개의 벡터를 갖는 형판(24)의 에지의 가장 작은 치수의 약 절반보다 결코 커서는 안된다. 그렇지 않으면, 계산상의 부정확성이 초래될 수도 있다. 도 3C 에 예시된 바와같이, 추상 형판(28)의 벡터들 C 와 D 를 사용하여 결정된 좌표점들(μn_i,νn_i)은 서로 아주 근접해 있다. 만일 변위 δ 가 더욱 컸다면, 좌표점들은 바람직하지 않은 불확실성을 초래하는 과거의 것을 서로 연장시킬 수도 있다. 예컨데, 추상 형판(28)에 대해, 가장 짧은 치수는 길이에 있어 거의 10 단위이다. 변위 δ 는 3 단위로 조정되고, 레인징 형판(30)이 3 단위까지 만큼 물체의 중심을 벗어난다 할지라도 이 결과의 레인징 형판(30)은 물체(20) 패턴의 검출을 가능하게 할 것이다. 따라서, 물체(20)는 6×6 그리드를 사용하는 성긴 탐색에 의해 찾아질 수 있다. 그러나, 영상(22)에서의 물체(20)의 위치는 ±3 화소들보다 더 큰 정밀도로 찾아질 수 없다. 도 3D 는, 비록 형판이 유효하게 중심을 벗어나고 물체(20)는 유효하게 회전하고 있을지라도, 영상(22)내의 레인징 형판(30)과 물체(20) 사이의 정합을 도시하고 있다.If the displacement δ is large, the processing speed may be improved, but it should never be greater than about half of the smallest dimension of the edge of the template 24 having at least one vector. Otherwise, calculation inaccuracies may result. As illustrated in Figure 3C, the abstract pattern plate 28, the vector coordinate point determined by using the C and D of _(i μn, νn _i) are together in close proximity. If the displacement δ is greater, the coordinate points may extend from one another in the past resulting in undesirable uncertainties. For example, for the abstract template 28, the shortest dimension is almost 10 units in length. The displacement δ is adjusted in units of three, and even if the ranging template 30 is off center of the object by up to three units, the resulting ranging template 30 will enable detection of the object 20 pattern. Thus, the object 20 can be found by sparse search using a 6x6 grid. However, the position of the object 20 in the image 22 cannot be found with greater precision than ± 3 pixels. 3D shows the registration between the ranging template 30 and the object 20 in the image 22, although the template is effectively off-center and the object 20 is effectively rotating.

도 4A 는 방정식(6)을 회전하지 않은 물체에 대한 x-축을 따른 레인징 형판 이동의 함수로서 사용하는 상관의 측면도이다. 레인징 형판(30)은 δ = 3 단위의 변위를 가지므로, 최대 상관은 6 단위의 폭을 갖는다. 본 발명이 사용되게 될 산업 환경에서의 실물들의 울퉁불퉁하고 약간 더러운 에지들은 0 의 상관으로 떨어지면서 최대 상관으로부터의 점진적인 감소를 초래한다.4A is a side view of the correlation using equation (6) as a function of ranging template movement along the x-axis for an unrotated object. Since the ranging template 30 has a displacement of δ = 3 units, the maximum correlation has a width of 6 units. The rugged and slightly dirty edges of the objects in the industrial environment in which the present invention will be used fall into zero correlation resulting in a gradual decrease from the maximum correlation.

도 4B 에 관해 설명하면, 다른 레인징 형판(30')이 δ = 1 단위의 변위를 선택함으로써 구성될 수 있다. 이 결과의 레인징 형판(30')은 만일 형판이 물체(20)의 중심을 단지 1 단위만큼 벗어나기만 하면, 영상(22)에서의 물체(20)의 검출을 가능하게 할 것이다. 따라서, 물체(20)는 입력 영상(22)에서의 모든 위치에 걸친 탐색에 의해 찾아질 수만 있다. 그러나, 물체(20)의 중심은 1 단위의 정확도로 찾아질 수 있다. 도 4C 는 x-축의 수평 방향을 따라 δ = 1 단위를 갖는 레인징 형판(30')을 이동시키는데 방정식(6)을 사용하는 상관의 측면도이다. 산업 환경에서의 영상들에 대해 상관의 측면도는 상관의 피크치 주위의 역포물선을 견적한다. 가장 잘 어울리는 포물선의 수학적 중심은 화소의 크기보다 아주 더 작은 정확도로 이끌것임을 알 수 있다.Referring to FIG. 4B, another ranging template 30 'may be constructed by selecting a displacement of δ = 1 unit. The resulting ranging template 30 'will enable detection of the object 20 in the image 22 if the template only deviates from the center of the object 20 by one unit. Thus, the object 20 can only be found by searching over all positions in the input image 22. However, the center of the object 20 can be found with one unit of accuracy. 4C is a side view of the correlation using equation (6) to move the ranging template 30 'with δ = 1 unit along the horizontal direction of the x-axis. The side view of the correlation for the images in the industrial environment estimates the inverse parabola around the peak of the correlation. It can be seen that the best matching parabolic mathematical center will lead to much smaller accuracy than pixel size.

도 4A 와 도 4C 에 도시된 측면도들은 식(6)에서의 벡터 상관에 대한 식이 정규화 상관법에 따라 바뀌어질 수도 있음을 암시한다. 본 발명에 대한 이 정규화 식은 다음과 같다.The side views shown in FIGS. 4A and 4C suggest that the equation for vector correlation in equation (6) may be changed according to the normalized correlation method. This normalization formula for the present invention is as follows.

만일 영상(22)에서의 화소를 나타내는 각 좌표점의 조도값에 임의의 상수를 곱하고 다른 임의의 상수가 화소를 나타내는 각 좌표점에서의 값에 더해지면, 상관함수 corr(x,y)의 결과치들은 변하지 않음을 이 기술에 숙련된 사람은 쉽게 증명할 수 있다. 따라서, 정규화 상관식은 광 레벨과 콘트라스트와 무관한 상관값을 발생시킨다. 뿐만아니라, 이 상관값은 완전한 상관에 대해서는 1 보다 결코 크지 않으며 불완전한 상관에 대해서는 0 보다 결코 작지 않다.If the illuminance value of each coordinate point representing a pixel in the image 22 is multiplied by an arbitrary constant and another arbitrary constant is added to the value at each coordinate point representing the pixel, the result of the correlation function corr (x, y) Those skilled in the art can easily prove that they do not change. Thus, the normalized correlation produces a correlation value independent of light level and contrast. In addition, this correlation is never greater than 1 for a complete correlation and never less than 0 for an incomplete correlation.

본 발명 시스템의 동적인 동작은 도 5의 순서도에 예시되어 있다. 예시의 목적으로 영상(22)에 위치하는 물체(20)는 거의 16 단위의 최소 수평 또는 수직 길이를 갖는 것으로 가정된다. 변위 δ 는, 위에 설명한 이유로, 16 단위의 절반인 8 단위의 최대치로 조정된다. 최초로, 물체(20)는 회전하지 않는다고 가정된다. 따라서, θ_Ti의 값은 0 과 같다. 그럼에도 불구하고, 회전에서의 가능한 양의 변화 △θ_T는 나중에 사용되는 소정치로 조정된다. 예시를 목적으로, 이것은 8 로 조정된다. 그런 다음, 가능한 형판(24')은 위치(52)에서 수동으로 결정된다. 이 수동 형판은 상기한 바와같이 위치(54)에서의 단순화된 벡터 표기법을 사용하여 추상 형판(28')으로 변환된다. 다음으로, 벡터 표기 형태의 추상 형판(28')은 위치(56)에서의 레인징 형판(30")으로 변환된다. 위치(58)에서 레인징 형판(30")은 영상(22)내의 새로운 위치로 이동된다. 레인징 형판(30")의 크기는 8 단위 값에서의 δ 의 사용을 포함하기 때문에, 레인징 형판은 16×16 탐색 그리드와 각각의 새로운 위치에 대한 위치(60)에서 계산된 정규화 상관에서의 영상에 걸쳐 이동된다. 정규화 벡터 상관이 각각의 새로운 위치에서 계산된 후, 이 값은 위치(62)에서의 미리 설정된 임계치와 비교된다. 예시를 목적으로, 이 값은 0.5 로 설정된다. 만일 이 값이 0.5 보다 작으면, 레인징 형판(30")은, 모든 영상 위치들이 위치(64)에 도시된 바와 같이 시도되지 않는 한, 영상(22)내의 다음의 탐색 위치로 이동된다.Dynamic operation of the present system is illustrated in the flowchart of FIG. For the purpose of illustration, the object 20 positioned in the image 22 is assumed to have a minimum horizontal or vertical length of approximately 16 units. The displacement δ is adjusted to a maximum of 8 units, which is half of 16 units, for the reasons described above. Initially, it is assumed that object 20 does not rotate. Therefore, the value of θ _Ti is equal to zero. Nevertheless, the possible amount change Δθ _T in rotation is adjusted to a predetermined value to be used later. For purposes of illustration, this is adjusted to eight. Then, the possible template 24 ′ is manually determined at position 52. This passive template is converted to abstract template 28 'using simplified vector notation at position 54 as described above. Next, the abstract template 28 'in vector notation form is converted into a ranging template 30 "at position 56. At position 58, the ranging template 30" is transformed into a new image 22. Is moved to the location. Since the size of the ranging template 30 " includes the use of δ at an 8 unit value, the ranging template has a 16 × 16 search grid and a normalized correlation calculated at position 60 for each new position. After the normalized vector correlation is calculated at each new location, this value is compared to a preset threshold at location 62. For purposes of illustration, this value is set to 0.5. If the value is less than 0.5, the ranging template 30 "is moved to the next search position in image 22, unless all image positions are attempted as shown at position 64.

만일 모든 영상 위치들은 시도되어졌고 수용 가능한 최소 임계치가 도달되지 않으면, 물체(20)는 영상(22)에 있지 않을 수 있으며, 이 시스템은 물체를 찾지 않음에 있어 위치(65)에 정확히 대응했다. 그러나, 만일 시스템이 그것을 찾지 못할지라도 물체가 실제로 존재함이 증명되면, 점선 화살표들(66), (68), (70)에 의해 도시된 바와같이 3 가지 선택들중 하나가 가능하다. 전형적으로, 변위 δ 의 더 큰값이 위치(56)에서 선택된다. 양자 택일로, 수동 형판(24)을 위치(54)에서의 추상 형판(28')으로 변환하기 위해 사용될 수도 있다. 마지막으로, 다른 수동 형판(24)을 위치(52)에서 수동으로 선택해야 할 때도 있다. 그 다음, 위치(62)에서의 임계치가 만족할 때까지 정규화 벡터 표기는 다시 영상(22)내의 다른 위치들중 각각에서 계산된다.If all image positions have been attempted and the minimum acceptable threshold has not been reached, the object 20 may not be in image 22 and the system has corresponded exactly to position 65 in not finding an object. However, if the system proves that the object actually exists even if it cannot find it, one of three choices is possible, as shown by dashed arrows 66, 68, 70. Typically, a larger value of the displacement δ is selected at position 56. Alternatively, it may be used to convert the passive template 24 into an abstract template 28 ′ at position 54. Finally, there are times when other manual templates 24 have to be manually selected at position 52. Then, the normalized vector notation is again computed at each of the other positions in image 22 until the threshold at position 62 is met.

일단 정규화 상관의 최소 임계치가 위치(62)에서 만족하면, 영상(22)에서의물체(20)의 좌표 위치에 가장 밀접하게 대응하도록 상관이 수행되었던 영상(22)내의 레인징 형판(30")의 위치 x_m,y_m는 위치(74)에 저장된다. 그 다음으로, 위치(76)에서 변위 δ 는 절반으로 잘리고 물체(20)에 대한 회전 가능한 범위 △θ_T도 또한 절반으로 잘린다. 따라서, 위에 제공된 정보를 사용하면, δ 와 △θ_T는 모두 4 이다. θ_Ti가 0 일 때 물체(20)에 대한 회전각에 대응하는 θ_T의 값은 -4 이다. 이 새로운 값들을 사용하여, 추상 형판(28')은 2 차원 공간에서의 회전 좌표점들에 대한 표준 식들에 따라 위치(78)에서의 새로운 추상 형판(28')으로 변환된다.Once the minimum threshold of normalization correlation is satisfied at position 62, the ranging template 30 " in image 22 in which correlation has been performed to most closely correspond to the coordinate position of object 20 in image 22 Position x _m , y _m are stored at position 74. Next, at position 76 the displacement δ is cut in half and the rotatable range Δθ _T for the object 20 is also cut in half. Using the information provided above, both δ and Δθ _T are 4. When θ _Ti is 0, the value of θ _T corresponding to the rotation angle with respect to the object 20 is −4. Using these new values, The abstract template 28 'is transformed into a new abstract template 28' at position 78 according to the standard equations for the coordinates of rotation in two-dimensional space.

추상 형판에서의 에지 방향들의 각들도 또한 회전한다. 그 다음으로, 새로운추상 형판(28")은 도 5 의 순서도의 위치(80)에 도시된 새로운 레인징 형판(30''')으로 변환된다. 레인징 형판(30")에 대한 16×16 의 초기 그리드 크기와 같지 않게, 그리드 크기는 레인징 형판(30''')에 대해 절반 또는 8×8 이다. 레인징 형판(30''')을 순서도상의 위치(82)에 도시된 바와같은 원래 저장된 위치 x_m,y_m주위의 다른 위치들로 이동시킴으로써, 최대 정규화 관계가 저장된 θ_T의 그 값에 대한 최대 정규화 관계에 대응하는 최적의 위치를 갖는 x_m,y_m의 보다 정확한 명시에 대해 결정될 수 있다. 위치(84)에 도시된 바와 같이, θ_T는 θ_T의 최종값을 취하고 위치(76)에서 결정된 △θ_T의 값을 더함으로써 재계산된다. 순서도상의 위치(86)에서 요구된 바와같이, θ_T≤ θ_Ti+ △θ_Ti으로 인한, 위치들(78), (80), (82), (84)에서의 단계들이 반복된다. 따라서, 예시를 위해, 최대 상관값들이 3 개의 다른 레인징 형판 위치들 x_m,y_m용으로 -4, 0, +4 의 θ_T의 다른 값들에 대응하는 영상(22)에 저장된다. δ= 4 에 대한 최대 상관을 제공하는 θ_T의 저장된 값은 위치(88)에서 결정되며, 레인징 형판(30''')에 의한 물체(20) 위치에 대응하는 결정은 위치(74)에 x_m,y_m,θ_Ti로 저장된다. 변위 δ= 4 를 갖는 레인징 형판(30''')의 가장 강력한 상관의 위치 및 각은 더 작은 변위 δ= 2 단위를 갖는 레인징 형판(30''')을 사용하는 새로운 탐색에 대한 시작점이 된다. 이전의 최적의 각으로부터의 θ_T= -2°,0°+2°의 회전각들은 회전 θ_T와 위치 x_m,y_m의 더 나은 근사치를 찾는데 사용된다.The angles of the edge directions in the abstract template also rotate. Next, the new abstract template 28 "is converted to the new ranging template 30 '''shown at position 80 of the flowchart in Figure 5. 16 x 16 for the ranging template 30". Not equal to the initial grid size of, the grid size is half or 8 × 8 for the ranging template 30 '''. By moving the ranging template 30 '''to other positions around the original stored position x _m , y _m as shown in position 82 on the flowchart, the maximum normalization relationship is stored for that value of stored θ _T. It can be determined for a more accurate specification of x _m , y _m with an optimal position corresponding to the maximum normalization relationship. As shown in the position (84), θ _T is recalculated by adding the value of the determined final value △ θ _T in the taken position 76 of the θ _T. As required at position 86 in the flowchart, the steps at positions 78, 80, 82, 84 are repeated, due to θ _T ≦ θ _Ti + Δθ _Ti . Thus, for illustrative purposes, the maximum correlation values are stored in image 22 corresponding to other values of θ _T of −4, 0, +4 for three different ranging template positions x _m , y _m . The stored value of θ _T , which provides the maximum correlation for δ = 4, is determined at position 88 and the determination corresponding to the position of the object 20 by the ranging template 30 '''is determined at position 74. x _m , y _m , θ _Ti . The position and angle of the strongest correlation of the ranging template 30 '''with displacement δ = 4 is the starting point for the new search using the ranging template 30''' with smaller displacement δ = 2 units. Becomes Rotation angles of θ _T = -2 °, 0 ° + 2 ° from the previous optimal angle are used to find a better approximation of rotation θ _T and positions x _m , y _m .

더 작은 변위들과 각들은 추상 형판(28)으로부터 새로운 레인징 형판들을 계산하는데 사용되며, 관심의 패턴에 대한 탐색은 변위 δ 가 소정의 최소치에 있을때까지 똑같은 방식으로 계속된다. 순서도상의 위치(90)에 도시된 값은 1 이다. 일단 이 변위가 1 이면, 본 발명의 시스템은 위치(92)에 도시된 회전 θ_T의 적정각에 대응하는 영상(22)내의 물체(20)의 좌표 위치 x_m,y_m를 결정한 것을 중지한다. 이 기술에 숙련된 사람은 다차원 공간에 함수의 최대치를 위치시키는 방법과 유사한 상기 절차의 일부를 인식할 것이다. 다차원 공간에서의 경사도 방법들은 1986년판 캠브리지 대학 출판사의 출판물 제10장에 W.Press, B Flannery, S.Teukolsky 와, W.Vetterling 에 의해 참고자료로 실린 과학적 계산의 기술, 수적 비결에서 논의된다.Smaller displacements and angles are used to calculate new ranging templates from the abstract template 28, and the search for the pattern of interest continues in the same way until the displacement δ is at a predetermined minimum. The value shown at position 90 in the flowchart is one. Once this displacement is 1, the system stops determining the coordinate position x _m , y _m of the object 20 in the image 22 corresponding to the proper angle of rotation θ _T shown at position 92. . One skilled in the art will recognize some of the above procedures that are similar to how to locate the maximum of a function in a multidimensional space. Gradient methods in multidimensional space are discussed in the numerical and numerical secrets of scientific calculations, referenced by W.Press, B Flannery, S.Teukolsky, and W.Vetterling in Chapter 10 of the 1986 edition of Cambridge University Press.

한 동작에서의 에지 검출 및 패턴 탐색의 사용은 막대한 유연성을 제공하면서도 복잡한 컴퓨터 조작에 대한 필요성을 감소시킨다. 따라서, 단순화된 벡터 표기를 갖는 추상 형판(28)을 사용하는데 대한 잇점은 그것이 여전히 해상도를 증가시키면서도 영상(22) 주위의 다른 위치들로 이동될 수 있는 다른 레인징 형판들(30)의 광범위를 발생시키기 위해 쉽게 동적으로 바뀌어질 수 있다는 것이다. 영상(22) 내의 물체(20)의 회전각 θ_T과 위치 x_m,y_m는 원래 수동으로 결정된 형판(24)에 대한 에지들(26)을 포함하는 각점에 대응하는 휘도와 좌표 위치들중 각각을 저장하지 않아도 원하는 정확도로 빠르게 정확하게 가리켜질 수 있다.The use of edge detection and pattern search in one operation provides tremendous flexibility while reducing the need for complex computer manipulation. Thus, the advantage of using abstract template 28 with simplified vector notation is that it covers a wide range of different ranging templates 30 that can be moved to other locations around image 22 while still increasing the resolution. It can easily be changed dynamically to generate it. The rotation angle θ _T and the position x _m , y _m of the object 20 in the image 22 are among the luminance and coordinate positions corresponding to each point including the edges 26 with respect to the template 24 originally determined manually. Without saving each, they can be pointed quickly and accurately with the desired accuracy.

바람직하게는, 본 발명의 시스템은 이 기술에 숙련된 사람에게 알려진 표준 컴퓨터 하드웨어와 소프트웨어를 사용하여 수행될 수도 있다. 영상(22)의 물체(20)는 음극선관(CRT)의 정상 스크린상에 표시될 수도 있다. 이 시스템은, 이에 제한되지는 않으나, 자기 디스크들과 테이프들, 광 드라이브들, 콤팩트 디스크 드라이브들과, 종이를 포함하는 다양한 저장매체에 의해 소프트웨어로서 적재될 수도 있다.Preferably, the system of the present invention may be performed using standard computer hardware and software known to those skilled in the art. The object 20 of the image 22 may be displayed on the normal screen of the cathode ray tube (CRT). The system may be loaded as software by various storage media including, but not limited to, magnetic disks and tapes, optical drives, compact disk drives, and paper.

본 발명의 바람직한 실시예들이 설명되어져 왔다. 그러나, 이 기술에 익숙한 사람이라면 임의의 수정들이 본 발명 요지내의 범위에서 가능할 것임을 이해할 것이다. 따라서, 다음의 청구항들은 본 발명의 진범위와 진내용을 검토하기 위해 연구되어야 한다.Preferred embodiments of the invention have been described. However, one skilled in the art will appreciate that any modifications will be possible within the scope of the present invention. Accordingly, the following claims should be studied to examine the scope and spirit of the invention.

Claims

물체의 추정치에 대응하는 형판을 결정하는 단계;Determining a template corresponding to an estimate of the object;

상기 형판을 추상 형판으로 변환하는 단계;Converting the template into an abstract template;

상기 추상 형판을 레인징 형판으로 변환하는 단계;Converting the abstract template into a ranging template;

상기 레인징 형판을 상기 영상내의 복수의 알려진 좌표점 위치들중 각각으로 변위시키는 단계;Displacing the ranging template to each one of a plurality of known coordinate point positions in the image;

상기 레인징 형판을 상기 위치들중 각각에서의 상기 영상과 상관시키는 단계;Correlating the ranging template with the image at each of the locations;

일단 미리 정의된 임계치가 도달되면 상기 상관시키는 것에 대응하는 최대 상관으로 위치시키는 단계를 포함하며,Once a predefined threshold is reached, positioning with the maximum correlation corresponding to the correlating,

영상은 복수의 영상 화소들에 의해 정의되며, 각 영상 화소는 알려진 휘도값과 알려진 좌표점을 갖고, 자동 영상 처리 시스템에의 사용을 위해, 영상내에 물체의 위치를 위치시키는 방법.An image is defined by a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point, for positioning the object within the image for use in an automated image processing system.

제1항에 있어서, 상기 변환 단계는 좌표점들과 대응하는 에지 방향들의 집합을 포함하는 다수의 벡터들을 사용하여 상기 추상 형판을 정의하는 단계를 추가로 포함하며, 각 좌표점은 상기 형판의 에지상에 있고 대응하는 에지 방향은 상기 좌표점에서의 상기 에지에 수직인 상기 좌표점을 관통하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.The method of claim 1 wherein the transforming step further comprises defining the abstract template using a plurality of vectors comprising a set of coordinate directions and corresponding edge directions, each coordinate point being an edge of the template. And wherein the corresponding edge direction is through the coordinate point perpendicular to the edge at the coordinate point.

제2항에 있어서, 상기 형판의 실질적으로 수직 및 수평 범위를 따라 동일한 수의 벡터들을 사용하는 단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.3. The method of claim 2, further comprising using the same number of vectors along substantially vertical and horizontal ranges of the template.

제3항에 있어서,The method of claim 3,

상기 벡터들의 상기 수를 최소화하는 단계;Minimizing the number of the vectors;

인접한 에지들 사이의 충분히 큰 각도차의 임계치 결정에 근거하여, 상기 형판의 각각 다른 에지에 대한 최소한 하나의 벡터를 선택하는 단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.Selecting at least one vector for each other edge of the template, based on determining a threshold of sufficiently large angular differences between adjacent edges. .

제2항에 있어서, 상기 변환 단계는The method of claim 2, wherein the converting step

상기 벡터들의 상기 좌표점들로부터 정의된 변위를 결정하고 대응하는 에지 방향들을 따라 연장시키는 단계;Determining a defined displacement from the coordinate points of the vectors and extending along corresponding edge directions;

상기 추상 형판의 각 벡터에 대해, 상기 대응하는 에지 방향을 따라 상기 벡터에 대한 상기 좌표점으로부터 동등하게 이격된 1 쌍의 좌표점들인, 상기 변위의 양의 값에 대응하는 양의 좌표점과 상기 변위의 음의 값에 대응하는 음의 좌표점을 위치시키는 단계를 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.For each vector of the abstract template, a positive coordinate point corresponding to the positive value of the displacement, the pair of coordinate points equally spaced from the coordinate point for the vector along the corresponding edge direction and the Positioning a negative coordinate point corresponding to the negative value of the displacement.

제5항에 있어서, 상기 레인징 형판의 상기 좌표점들중 각각에 가중치를 할당하여, 상기 음의 좌표점에는 음의 가중치가 할당되고 상기 양의 좌표점에는 양의 가중치가 할당되도록 하는 단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.6. The method of claim 5, wherein a weight is assigned to each of the coordinate points of the ranging template, such that a negative weight is assigned to the negative coordinate point and a positive weight is assigned to the positive coordinate point. And further comprising a position of the object in the image.

제5항에 있어서, 상기 변위는 상기 벡터들중 하나를 갖는 상기 형판의 에지의 가장 작은 치수의 절반보다 결코 크지 않은 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.6. The method of claim 5, wherein the displacement is never greater than half of the smallest dimension of the edge of the template with one of the vectors.

제5항에 있어서,The method of claim 5,

A. 상기 변위를 절반으로 자르는 단계;A. cutting the displacement in half;

B. 정정된 레인징 형판을 변환시키는 단계;B. transforming the corrected ranging template;

C. 상기 저장 단계에 대응하는 상기 위치를 포함하는 복수의 위치들에서 최대 상관을 탐색하는 단계;C. searching for a maximum correlation at a plurality of locations including the location corresponding to the storing step;

D. 상기 변위가 최소치와 같아질때까지 A 단계에서 C 단계까지의 단계들을 계속하는 단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.D. further comprising continuing the steps from A to C until the displacement is equal to the minimum value.

제5항에 있어서,The method of claim 5,

A. 회전 범위에 미치지 않은 회전의 초기각과 같은 회전 가능각을 조정하는 단계;A. adjusting the rotatable angle, such as an initial angle of rotation not within the range of rotation;

B. 상기 추상 형판으로부터 정정된 추상 형판을 유도하는 단계;B. deriving a corrected abstract template from the abstract template;

C. 상기 정정된 추상 형판으로부터 정정된 레인징 형판을 유도하는 단계;C. deriving a corrected ranging template from the corrected abstract template;

D. 상기 정정된 레인징 형판을 상기 영상내의 복수의 알려진 좌표점 위치들중 각각에 대치시키는 단계;D. replacing the corrected ranging template with each of a plurality of known coordinate point positions in the image;

E. 상기 알려진 좌표점 위치들중 하나에 대응하는 최대 상관을 탐색하는 단계;E. searching for a maximum correlation corresponding to one of the known coordinate point locations;

F. 상기 E 단계로부터의 상기 위치와 상기 대응하는 회전각을 저장하는 단계;F. storing the position and the corresponding angle of rotation from step E;

G. 상기 회전 범위에다 상기 회전각을 더함으로써 새로운 회전각을 계산하는단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.G. A method of positioning an object in an image further comprising calculating a new rotation angle by adding the rotation angle to the rotation range.

제9항에 있어서,The method of claim 9,

H. 상기 새로운 회전각이 상기 회전 범위에다 상기 초기의 회전각이 더해진 것보다 더 커질때까지 B 단계에서 G 단계까지의 단계들을 반복하는 단계;H. repeating steps B to G until the new rotation angle is greater than the initial rotation angle plus the rotation range;

I. 최대 상관을 주는 F 단계로부터 상기 위치와 상기 회전각을 선택하고 상기 초기의 회전각을 상기 회전각으로 대체하는 단계;I. selecting said position and said rotation angle from step F of giving maximum correlation and replacing said initial rotation angle with said rotation angle;

K. 상기 변위와 상기 회전 범위를 절반으로 자르는 단계;K. cutting the displacement and the rotation range in half;

L. 상기 변위가 최소 임계치에 있게 될 때까지 A 단계에서 K 단계까지의 단계들을 반복하는 단계를 추가로 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 방법.L. The method of positioning an object in an image further comprising repeating steps A to K until the displacement is at a minimum threshold.

물체의 추정치에 대응하는 형판을 결정하는 수단;Means for determining a template corresponding to an estimate of the object;

상기 형판을 추상 형판으로 변환하는 수단;Means for converting the template into an abstract template;

상기 추상 형판을 레인징 형판으로 변환하는 수단;Means for converting the abstract template into a ranging template;

상기 레인징 형판을 상기 영상내의 복수의 알려진 좌표점 위치들중 각각으로 변위시키는 수단;Means for displacing the ranging template to each of a plurality of known coordinate point locations in the image;

상기 레인징 형판을 상기 위치들중 각각에서의 상기 영상과 상관시키는 수단;Means for correlating the ranging template with the image at each of the locations;

미리 정의된 임계치를 만족하는 상관에 대응하는 최대 상관으로 위치시키는 수단을 포함하며,Means for positioning with a maximum correlation corresponding to a correlation that satisfies a predefined threshold,

영상은 복수의 영상 화소들에 의해 정의되며, 각 영상 화소는 알려진 휘도값과 알려진 좌표점을 갖는 것을 특징으로 하는, 영상내에 물체의 위치를 위치시키는 장치.An image is defined by a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point.

제11항에 있어서, 좌표점들과 대응하는 에지 방향들의 집합을 포함하는 일련의 벡터들을 사용하여 상기 추상 형판을 정의하는 수단을 추가로 포함하며, 각 좌표점은 상기 형판의 에지상에 있고 대응하는 에지 방향은 상기 좌표점에서의 상기 에지에 수직인 상기 좌표점을 관통하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 장치.12. The apparatus of claim 11, further comprising means for defining the abstract template using a series of vectors comprising a set of coordinate directions and corresponding edge directions, each coordinate point being on an edge of the template and corresponding to the template. And the edge direction passes through the coordinate point perpendicular to the edge at the coordinate point.

제12항에 있어서, 상기 변환 수단은The method of claim 12, wherein the conversion means

상기 벡터들의 상기 좌표점들로부터 정의된 변위를 결정하고 대응하는 에지 방향들을 따라 연장시키는 수단;Means for determining a defined displacement from the coordinate points of the vectors and extending along corresponding edge directions;

상기 추상 형판의 각 벡터에 대해, 상기 대응하는 에지 방향을 따라 상기 벡터에 대한 상기 좌표점으로부터 동등하게 이격된 1 쌍의 좌표점들인, 상기 변위의 양의 값에 대응하는 양의 좌표점과 상기 변위의 음의 값에 대응하는 음의 좌표점을 위치시키는 수단을 포함하는 것을 특징으로 하는 영상내에 물체의 위치를 위치시키는 장치.For each vector of the abstract template, a positive coordinate point corresponding to the positive value of the displacement, the pair of coordinate points equally spaced from the coordinate point for the vector along the corresponding edge direction and the Means for positioning a negative coordinate point corresponding to the negative value of the displacement.

상기 레인징 형판을 상기 위치들중 각각에서의 상기 영상과 최대 상관으로 위치시키는 단계;Positioning the ranging template in maximum correlation with the image at each of the positions;

일단 미리 정의된 임계치가 도달되면 상기 상관시키는 것에 대응하는 상기 위치를 저장하는 단계를 포함하는 공정 단계들을, 영상내에 물체의 위치를 위치시키기 위해, 수행할 수 있는 소프트웨어를 포함하며,Includes software that can perform process steps, such as storing the position corresponding to the correlating, once a predefined threshold is reached, to locate the object in the image,

상기 영상은 복수의 영상 화소들에 의해 정의되며, 각 영상 화소는 알려진 휘도값과 알려진 좌표점을 갖는 것을 특징으로 하는 저장매체.The image is defined by a plurality of image pixels, each image pixel having a known luminance value and a known coordinate point.

제14항에 있어서, 상기 변환 단계는 좌표점들과 대응하는 에지 방향들의 집합을 포함하는 일련의 벡터들을 사용하여 상기 추상 형판을 정의하는 단계를 추가로 포함하며, 각 좌표점은 상기 형판의 에지상에 있고 대응하는 에지 방향은 상기 좌표점에서의 상기 에지에 수직인 상기 좌표점을 관통하는 것을 특징으로 하는 저장매체.15. The method of claim 14, wherein the transforming step further comprises defining the abstract template using a series of vectors comprising a set of coordinate directions and corresponding edge directions, wherein each coordinate point is an edge of the template. And the corresponding edge direction is through said coordinate point perpendicular to said edge at said coordinate point.

제15항에 있어서, 상기 변환 단계는The method of claim 15, wherein the converting step

상기 추상 형판의 각 벡터에 대해, 상기 대응하는 에지 방향을 따라 상기 벡터에 대한 상기 좌표점으로부터 동등하게 이격된 1 쌍의 좌표점들인, 상기 변위의 양의 값에 대응하는 양의 좌표점과 상기 변위의 음의 값에 대응하는 음의 좌표점을 위치시키는 단계를 포함하는 것을 특징으로 하는 저장매체.For each vector of the abstract template, a positive coordinate point corresponding to the positive value of the displacement, the pair of coordinate points equally spaced from the coordinate point for the vector along the corresponding edge direction and the And positioning a negative coordinate point corresponding to the negative value of the displacement.

제16항에 있어서, 상기 공정 단계들은The process of claim 16 wherein the process steps

D. 상기 변위가 최소치와 같아질 때까지 A 단계에서 C 단계까지의 단계들을 계속하는 단계를 추가로 포함하는 것을 특징으로 하는 저장매체.D. The storage medium further comprising the steps of steps A to C until the displacement is equal to the minimum value.

G. 상기 회전 범위에다 상기 회전각을 더함으로써 새로운 회전각을 계산하는단계를 추가로 포함하는 것을 특징으로 하는 저장매체.G. A storage medium, further comprising calculating a new rotation angle by adding the rotation angle to the rotation range.

제18항에 있어서, 상기 공정 단계들은19. The process of claim 18 wherein the process steps

L. 상기 변위가 최소 임계치에 있게 될 때까지 A 단계에서 K 단계까지의 단계들을 반복하는 단계를 추가로 포함하는 것을 특징으로 하는 저장매체.L. The storage medium further comprising repeating steps A to K until the displacement is at a minimum threshold.