KR910007348B1

KR910007348B1 - Machine vision process and apparatus for reading a plurality of separated figures

Info

Publication number: KR910007348B1
Application number: KR1019870013317A
Authority: KR
Inventors: 첸인밍; 시유화; 충칭후; 황다종; 예젠큐창; 후수 룽 우
Original assignee: 인더스트리얼 테크놀로지 리써어치 인스티튜트; 모리스 창
Priority date: 1987-11-25
Filing date: 1987-11-25
Publication date: 1991-09-25
Also published as: KR890008715A

Abstract

내용 없음.No content.

Description

다수의 개별 도형 판별용 기계시각 인식 방법 및 장치Machine visual recognition method and apparatus for discriminating multiple individual figures

제1도는 본 발명에 따른 장치의 구성을 개략적으로 나타낸 실시도.1 is a schematic view showing the configuration of an apparatus according to the present invention.

제2도는 본 발명에 따른 영상처리 유니트를 사용하여 넓은 영역에서 도형을 검사시 그리드(Grid)점 건너뛰기 도달점을 나타내는 도면.2 is a diagram showing grid point skipping arrival points when inspecting a figure in a wide area using an image processing unit according to the present invention.

제3도는, 본 발명에 따른 개략 영상중의 도형의 개략적은 중심을 계산하는 원리도.3 is a principle diagram for calculating a schematic center of a figure in a schematic image according to the present invention.

제4도는 본 발명에 따른 두형 분류 규칙의 설명예시도이다.4 is an explanatory view of a classification rule according to the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

1 : X-Y 테이블면 3 : 찰영장치1: X-Y table surface 3: Screening device

4 : 테이블 5: 촬영장치4: Table 5: Photographing Device

6 : 촬영처리 유니트 7 : 영상(影像)표시용 디스플레이6: Shooting processing unit 7: Image display display

8 : 가공장치 11 : 구동기8 processing machine 11 actuator

20 : 도면20: drawing

본 발명은 기계 시각 인식 방법 및 장치에 관한 것으로서, 보다 상세하게는 다수의 개별 도형을 포함하는 평면 도면을 촬영하고 그 도형을 영상전기 신호로 변환하고 또한 영상처리 유니트에 입력하여, 개별 도형의 중심 좌표를 알아내고 도형의 크기, 형상과 적절한 연결순서등을 분석하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a machine vision recognition method and apparatus, and more particularly, to photographing a plan view including a plurality of individual figures, converting the figures into an image electric signal, and inputting them into an image processing unit, thereby providing a center of the individual figures. The present invention relates to an apparatus and method for finding coordinates and analyzing the size, shape and proper connection order of figures.

종래의 인쇄배선기판에 대한 구멍위치 인식절차에 있어서는, 인식공정의 속도, 정밀도 및 신뢰도등이 수동작업에 의하여 제한되었다. 또한 고가의 프로그래밍기가 제조단가를 증가시켰다. 따라서, 인쇄배선기판의 구멍 위치를 고속으로 정밀하게 신뢰성을 가지고 인식할 수 있는 방법 및 장치가 요구되어 왔다.In the conventional hole position recognition procedure for a printed wiring board, the speed, precision and reliability of the recognition process are limited by manual operation. In addition, expensive programmers have increased manufacturing costs. Therefore, there has been a need for a method and apparatus capable of recognizing a hole position of a printed wiring board at high speed with high accuracy and reliability.

일반적으로 거래선에 의하여 제공된 인쇄배선 기판상에 구멍을 뚫기전에 생산자는 구멍위치 도면위의 각 구멍의 위치. 크기 및 형상을 분석하여 가장 적합한 구멍 뚫기 경로를 구하므로서 구멍 뚫는 기계의 작업순서를 설정한다. 통상적인 인쇄 배선기판의 구멍 위치 도면 처리 순서는 : (1)구멍위치 도면을 수정하고 투명한 네가티브 필름을 제작하기 위하여 촬영한다. (2) 지름에 따라 구멍들이 색깔별로 분류된다. (수작업처리) (3) 같은색의 같은 종류의 구멍들을 정렬한다(수작업처리) (4) 프로그래밍기(Programmingmachine)를 사용하여 각 구멍의 좌표를 알아낸다.(수작업처리)(5) 구멍위치의 좌표를 컴퓨터에 입력하고 가장 적합한 구멍 뚫는 경로의 순열을 구한다. (6) 구멍위치의 좌표 및 구멍 뚫기 경로의 자료가 디지탈 제어 프로그램으로 변환되어 구멍 뚫는 기계에 입력한다.In general, before drilling a hole on a printed wiring board provided by a trader, the producer places the position of each hole on the hole location drawing. Analyze the size and shape to determine the most suitable drilling route and establish the working sequence of the drilling machine. The hole position drawing processing procedure of a conventional printed wiring board is as follows: (1) The hole position drawing is corrected and photographed to produce a transparent negative film. (2) Holes are classified by color according to their diameter. (Manual processing) (3) Align the same type of holes of the same color (Manual processing) (4) Use the programming machine to find the coordinates of each hole. (Manual processing) (5) Enter the coordinates into the computer and find the permutation of the most suitable punching path. (6) The coordinates of the hole position and the data of the hole drilling path are converted into a digital control program and input into the hole drilling machine.

본 발명은 상술한 문제 및 요구에 대하여 작업 속도가 빠르고, 또한 정밀도 신뢰성이 높은 기계 시각 인식 방법 및 장치를 개발한 것이다. 즉 본 발명의 주요한 목적은 카메라와 같은 촬영장치를 사용하여 평면도면을 스캐닝하기 용이하도록 다수개의 개별 도형을 가지는 평면도면을 이동할 수 수평적으로 움직이는 X-Y테이블을 마련하여 구멍의 위치를 인식하도록 영상처리 유니트로 도형의 영상을 전달하고 상기한 수작업절차를 대신하도록 한 것이다.SUMMARY OF THE INVENTION The present invention has developed a machine vision recognition method and apparatus which has a high working speed and high precision and reliability in response to the above problems and demands. That is, the main object of the present invention is to provide an XY table horizontally moving to move the plan view plane having a plurality of individual figures so as to easily scan the plan view plane using an imaging device such as a camera to recognize the position of the hole. The image of the figure is transferred to the unit, and the manual procedure described above is substituted.

본 별명의 다른 목적은 제1의 촬영장치가 개략적인 상을 찍고, 제2의 촬영장치가 정밀한 상을 찍는 구조를 이용하여, 특수 영상처리 및 분석 절차를 용이하게 하여, 빠른 작업 속도의 자동 도면 인식 방법 및 장치를 제공하는 것이다. 본 발명의 또 다른 목적은 정밀한 도형의 촬영법과, 자동 2진 드레쉬홀딩(Thresholding)법 및 기하학적 왜곡의 정정법을 제공하여 높은 정밀도의 자동 도면 판독 방법과 장치를 얻는 것에 있다.Another object of this nickname is to use a structure in which the first imaging device takes a schematic image and the second imaging device takes a precise image, facilitating special image processing and analysis procedures, thereby making automatic drawing at high work speed possible. It is to provide a recognition method and apparatus. It is still another object of the present invention to provide a method and apparatus for automatically reading a high precision figure by providing an accurate photographing method, an automatic binary thresholding method, and a geometric distortion correction method.

본 발명의 상세한 내용은 첨부한 도면에 의하여 실시예로써 설명하면 다음과 같다.Details of the present invention will be described below by way of example with reference to the accompanying drawings.

본 발명의 구성은 제1도에 나타낸 바와같이, X-Y 테이블면(1)이 하나의 구동기(11)로 제어되어 하나의 평면내에 고정 및 이동할 수가 있고 그 위에 도면(20)이 얹어지며 테이블면(1) 아래에는, 도면(20)을 복제하기 위한 광원이 장착된다. 카메라등의 촬영장치(3)는 지지프레임(4)위에 고정되며 도면을 개략적으로 촬영한다.According to the configuration of the present invention, as shown in FIG. 1, the XY table surface 1 is controlled by one driver 11 so that it can be fixed and moved in one plane, and the drawing 20 is placed thereon and the table surface ( 1) Below, a light source for duplicating the drawing 20 is mounted. The photographing apparatus 3 such as a camera is fixed on the support frame 4 and photographs the drawings schematically.

다른 촬영장치(5)도 도면(20)을 세밀하게 촬영하기 위하여 지지프레임(4)상에 장착된다. 영상처리 유니트(6)는 영상 디지털화 장치 및 통상의 영상분석 소프트웨어를 포함하고 영상처리와 도면 자료의 분석을 하는 동시에 테이블면(1) 촬영장치(3), (5) 및 영상처리 유니트(6) 자체의 작동을 제어하는 소프트웨어를 포함한다. 그 밖에 영상 표시용 디스플레이(7)와 접속할 수가 있고, 또한 테이프 펀치(Tape puncher)또는 도시하지 아니한 처리장치(8)에 접속될 수 있다.Another photographing apparatus 5 is also mounted on the support frame 4 in order to photograph the drawing 20 in detail. The image processing unit 6 includes an image digitizing apparatus and ordinary image analysis software, and performs table processing (1), photographing apparatus (3), (5) and image processing unit (6) while performing image processing and analysis of drawing data. It includes software to control its operation. In addition, it can be connected to the display 7 for image display, and can also be connected to a tape puncher or the processing apparatus 8 which is not shown in figure.

본 발명의 장치의 운용 절차는 다음과 같이 요약된다.The operating procedure of the device of the present invention is summarized as follows.

1. 개략적인 도면 촬영장치(3)가 도면(20)을 촬영하여 영상신호로 변환되고 영상처리 유니트(6)로서, 영상위의 각 도형의 개략적은 중심위치를 구한다.1. Schematic drawing The photographing apparatus 3 captures the drawing 20 and converts it into an image signal and, as the image processing unit 6, obtains a rough center position of each figure on the image.

2. 영상처리 유니트(60에 의하여 구해진 각 도형의 개략적인 중심의 영상좌표를 X-Y 테이블면(도면)의 좌표로 변환한다.2. The image coordinates of the rough center of each figure obtained by the image processing unit 60 are converted into the coordinates of the X-Y table surface (drawing).

3. 전부의 도형을 적절한 순서로서 배열하여, 각각 정밀한 상을 찍는 경로를 구한다.3. Arrange all the figures in the proper order to find a path for each precise image.

4. 보다 작은 범위의 상을 찍는 촬영장치(5)는 상기 절차③에서 얻어진 경로 순서에 의하여, 각 도형을 촬영하고 또한 영상에서 각 도형의 정확한 중심위치, 도형의 크기, 형상등의 자료를 계산한다.4. The photographing apparatus 5 for taking a smaller range of images photographs each figure and calculates data such as the exact center position of each figure, the size of the figure, the shape, etc. according to the path sequence obtained in the procedure ③. do.

5. 모든 도형의 정밀한 중심위치의 영상좌표 및 영상의 치수를 X-Y 테이블면이 좌표계로 변환한다.5. The X-Y table surface converts the coordinates of the image and the dimensions of the image to the precise center position of all figures.

6. 도형의 크기, 형상에 의하여 도형을 분류 및 배열하여, 영상처리 유니트(6)에 운용자료를 제공한다. 또한 처리절차를 상세하게 설명하면 다음과 같다.6. Classify and arrange the figures according to the size and shape of the figures, and provide operational data to the image processing unit 6. In addition, the processing procedure will be described in detail as follows.

1. 계략적인 영상처리 : 촬영장치(3)가 도면(20)에 대하여 개략적으로 상을 촬영한다. 즉 전체의 도면을 몇 개의 블록으로 나누어서 순서대로 촬영하고, 영상을 자동 2진 드레쉬호울딩법(이하 상술함)으로 처리하여 도달점 도약 검사법으로 각 도형을 탐색하고, 또한 개략적인 중심위치도 계산하여 낸다.1. Approximate Image Processing: The photographing apparatus 3 schematically captures an image with respect to the drawing 20. FIG. In other words, the whole drawing is divided into several blocks, photographed in order, and the image is processed by the automatic binary dressing method (described below). Each figure is searched by the reach point jump test method, and the rough center position is also calculated. Serve

(1) 자동 2진 드레쉬호울딩 : 처리된 영상은 전부 도형에 대한 배경의 강한 흑백 대비 영상이므로, 이하의 1내지 4의 계산순서에 의하여 빨리 해당 2진 드레쉬 호울드가 빨리 판별될 수 있다. 예를 들면, TV 카메라 의하여 포착된 이미지는, 아날로그/디지탈 변환기에 의하여 디지털화될 수 있으며, 메트릭스 형으로 프레임내에 저장될 수 있다. 이미지의 각 요소는 픽셀(Pixel)이라 불리우며, 메모리내에 해당 회색도 값을 가진다. 다수계층 회색도의 영상은 흑백 대비의 밝고 선명한 2계층 영상으로 드레쉬호울드에 따라 전환된다. 즉 도형 범위는 검고 어둡고, 도형 이외의 배경은 밝거나 또는 이와 반대이다.(1) Automatic Binary Dash Hounding: Since all processed images are strong black and white contrast images of the background of the figure, the corresponding binary Dash Hound can be quickly determined by the following 1 to 4 calculation order. . For example, an image captured by a TV camera can be digitized by an analog / digital converter and stored in a frame in matrix form. Each element of the image is called a pixel and has its corresponding gray value in memory. The multi-layer grayscale image is a bright and clear two-layer image with black and white contrast and is converted according to the dress hole. That is, the shape range is black and dark, and the background other than the shape is light or vice versa.

① 영상위의 제반 픽셀은 영상 디지탈화 장치에 의하여 그 개별적 희색도 값(Gray Level)이 얻어지고 : 영상처리 프로그림은 각 픽셀의 회색도값 각 회색치에 대응하는 픽셀의 수 i=0, 1, 2, 3,...m, 여기에서 : m= 최대 회색도 값 즉 ∑ni=N, N은 전체픽셀 수를 얻는다.① Each pixel on the image is obtained with its individual gray level by the image digitizer. The image processing program shows the number of pixels corresponding to each gray value i = 0, 1 , 2, 3, ... m, where: m = maximum gray value, i.e., ∑ni = N, N gives the total number of pixels.

② 평균 분포 회색도값 (t)를 구함으로써 2진 드레쉬 호울드가 결정된다.(2) Binary dress holes are determined by obtaining the mean distribution gray value (t).

그중 Gi=회색도값Among them, Gi = gray value

③ 다음의 각각의 값을 구한다 : N₁, N₂, t₁, t₂;③ Find each of the following values: N ₁ , N ₂ , t ₁ , t ₂ ;

N₁회색도 값이 2진 드레쉬 호울드와 같거나 픽셀의 총수이다.The N ₁ grayness value is equal to the binary draw hole or the total number of pixels.

N₂는 회색도값이 2진 드레쉬 호울드와 같거나 큰 픽셀의 총수이다.N ₂ is the total number of pixels whose gray value is greater than or equal to the binary threshold.

t₁=t .N₁/N₂ t ₁ = t .N ₁ / N ₂

t₁은 왼쪽 옵셋치이다.t ₁ is the left offset value.

t₂는 오른쪽 옵셋치이다.t ₂ is the right offset value.

④ 2진화 회색도 분포 값(T)를 구한다 :④ Find the binarized gray distribution value (T):

T = 1/2(t₁+t₂)T = 1/2 (t ₁ + t ₂ )

(2)그리드점 건너뛰기 검사법(개략적인 영상중에서 도형을 구하는 방법) : 이상적인 도형 탐색 방법은 다음의 요점을 포함한다.(2) Grid point skipping test (method of obtaining figure from schematic image): The ideal figure search method includes the following points.

①어떠한 도형도 1회만의 처리인 것.①Any figure is processing only once.

②처리완료된 도형을 영상위에서 제거하여, 중복처리를 피할 것.② Remove the processed figure on the image and avoid duplicate processing.

③ 하나의 도형 처리를 완료한 후에, 신속하게 다음의 도형을 탐색하여 하나라도 빠뜨리지 않을 것.③ After completing the processing of one figure, do not miss any one by quickly searching for the next figure.

④ 도형 중심 좌표의 계산을 신속히 할 것.④ Calculate the geometric center coordinates quickly.

본 발명자들은 상기의 4가지점을 만족시키기 위하여 다음과 같이 독특한 그리드점 건너뛰기 검사법을 개발하였다.The present inventors have developed a unique grid point skip inspection method as follows to satisfy the above four points.

1) 제2도에서 나타낸 바와 같이 모든 영상위에 수평간격 △X, 수직간격 △Y의 망(網) 그리드점(D₁₁),(D₁₂),..., (D₂₁), (D₂₂), ...(D₃₁), ... 등을 설정하고 그리고 순차적으로 그리드점의 명암을 검사하여 도형의 존재를 알아낸다.1) As shown in FIG. 2, the grid points D ₁₁ , D ₁₂ , ..., (D ₂₁ ), and (D ₂₂ ) of horizontal spacing ΔX and vertical spacing ΔY on all images. ), ... (D ₃₁ ), ... etc. and then check the grid point contrast to find out the existence of figure.

이것에서 한도의 어떠한 도약 검사만을 하기 위하여, 작업 속도를 크게 상승할 수 있는 그리드점 간격 △X, △Y의 설정은 최소 도형의 폭(예를들면 도형의 지름)(D_S)을 탐색하여 결정하고 그리고 한쪽 도달의 4도달점은 최소 도형내에 들어가고, 이로 인하여 저하한 도형이더라도 반드시 2개의 그리드점을 포함하며 이에 의하여 그리드점을 검사할때에 도형을 빠뜨리지 않는다. 계산의 편리를 도모하여, 본 발명은 △Y = D_S-C, 를 취하고, △X =1/2 △Y이기 때문에 그중 일반적인 도형의 지름 D_S= 18의 상황에서도 적용하기 위하여 C=2를 사용할 수가 있다.In order to make any leap of the limit only in this, the setting of the grid point spacing ΔX, ΔY, which can greatly increase the working speed, is determined by searching the minimum width of the figure (eg, the diameter of the figure) D _S. And the four reaching point of one arrival falls within the minimum figure, and therefore, even the degraded figure must include two grid points so that the figure is not missed when the grid point is examined. For convenience of calculation, the present invention takes ΔY = D _S -C, and since ΔX = 1/2 ΔY, C = 2 is applied to apply in a situation of general diameter D _S = 18 of the figure. Can be used.

2)제3도에서와 같이 그리드점 A₁에서 도형 P(A₁어두운 점)를 탐색할 경우에 A₁점을 포함하는 도형 P 범위내의 수평선 단 BC의 중심점 D에서 △Y의 길이에서 아래로 건너뛰어 H 점에 도달하고 이때에 만일 H점이 아직 도형 P 내에 있는 경우에는, 도형 P 도형 범위내에 H 점을 포함하는 수평선 KL을 그리고, 그때에 선위에 포함 가능한 그리드점 A₄,A₅의 DJ두운점을 밝은 점으로 전환하고(도형이 아닌 것을 나타냄)이로 인하여 그후의 검사는 중복되지 않는다. 또한 A₁점을 검사한 후에, 다음의 검사점을 C점의 그리드점(A₃)으로 되고, 거기에서 A₁과 C점의 사이에 가능과 어떠한 그리드점 A₂도 검사되지 않는 것이 있다.2) When searching for the figure P (A ₁ dark point) at grid point A ₁ as shown in FIG. 3, down from the length of ΔY at the center point D of the horizontal line BC in the range of the figure P including the A ₁ point. Skip to the point H and if the point H is still within the shape P, draw a horizontal line KL that contains the H point within the shape P shape and then DJ the grid points A ₄ and A ₅ that can be included on the line. The dark point is converted to a bright point (indicating non-shape), so that subsequent inspections do not overlap. After the inspection of the A ₁ point, the next inspection point is the grid point A ₃ of the C point, and there is a possibility that no grid point A ₂ can be inspected between the A ₁ and C points there.

3) 그리드점 A₁에서 도형 중심을 구하는 방법은 제3도를 참조하고, 직선 BC에서 그의 중심점 D을 취하고 또한 D에서 위와 아래로 향하여서는 도형 P의 아래 가장자리점 E 및 F를 구하고 직선 EF에서 중심 G로 구하면 도형 P의 중심으로 된다.3) See figure 3 for how to find the center of the shape at grid point A ₁ , take its center point D on straight line BC, and find the bottom edge points E and F of shape P at the straight line EF The center G is the center of the figure P

2. 각 도형 중심의 영상좌표에서 X-Y 테이블면(도면) 좌표의 환산 : 각 도형 중심의 영상 위 좌표를 X-Y 테이블 좌표로 환산할 경우에, 수학적인 방법을 이용하여 영상의 기하학적 변형을 수정하여, 좌표변환의 오차를 최소로 한다. 영상의 변형에는 촬영장치에 있는 렌즈가 발생하는 왜곡, 변형 및 전기 장치에 관한 오차등이 있고 이들 오차는 영상중의 길이와 실제 도면의 상관 길이와는 비선형 관계가 있다. 영상위의 도형의 중심좌표를 정확하고도 신속하게 X-Y 테이블면 좌표로 전환하기 위하여 본 발명은 1개의 매트릭스 변환법 또는1개의 비중 내 차이법을 운용하여 다음에서 설명한다.2. Conversion of XY table plane (drawing) coordinates from image coordinates of each figure center: When converting coordinates on the image center of each figure to XY table coordinates, the geometric deformation of the image is corrected using a mathematical method. Minimize the error of coordinate transformation. The distortion of the image includes distortions, distortions, and errors related to electric devices generated by the lens in the photographing apparatus, and these errors have a nonlinear relationship with the length of the image and the correlation length of the actual drawing. In order to accurately and quickly convert the center coordinates of the figure on the image to the X-Y table plane coordinates, the present invention will be described below by using one matrix transformation method or one specific gravity difference method.

(1) 매트릭스 변환법 :(1) Matrix transformation method:

X-Y 테이블면 위의 몇 개인가의 이미 알고 있는 좌표 기준점을 이용하여 영상위에서 이들 기준점의 영상 좌표를 알아내고, 상술한 2조의 좌표(X-Y 테이블면 좌표 및 영상 좌표)에서 1개의 변환 매트릭스(T)를 도출하고, 이것에서 영상과 X-Y 테이블면 사이의 좌표를 전환한다. 이와같은 매트릭스(T)는 다음의 표시와 같이,By using some known coordinate reference points on the XY table surface, the image coordinates of these reference points are found on the image, and one transformation matrix T is obtained from the two sets of coordinates described above (XY table surface coordinates and image coordinates). It derives and converts coordinates between an image and an XY table surface in this. Such a matrix T is shown in the following representation,

영상위의 임의점에 대하여, 이미 알고 있는 좌표가 (X,Y)일때에 X-Y 테이블면 위에 대응하는 좌표 (X,Y)는 다음식에서 구하여 진다.For any point on the image, when the known coordinates are (X, Y), the corresponding coordinates (X, Y) on the X-Y table surface are obtained from the following equation.

매트릭스[T]를 구하는 방법에 관하여, 4개의 기준점의 영상좌표(uj,vj), j=1,2,3,4 및 대응하는 X-Y 테이블 좌표(Uj, Vj), j=1,2,3,4를예로서 설명한다.Regarding the method for obtaining the matrix [T], the image coordinates (uj, vj) of the four reference points, j = 1, 2, 3, 4 and the corresponding XY table coordinates (Uj, Vj), j = 1, 2, 3 , 4 will be described as an example.

간단하게 하면 :Simply put:

즉, [T]는 다음의 메트릭스 방정식으로 구하여 진다.That is, [T] is obtained by the following matrix equation.

운용상에는 필요한 정밀도에 따라서 영사을 약간의 개수인 매트릭스형 블록으로 분할하는 각 매트릭스형 블록의 4개의 꼭대기점에서 개별적으로 1개의 전환 매트릭스[T]를 계산하여 좌표의 반환을 행한다.In operation, one conversion matrix [T] is individually calculated at the four top points of each matrix block that divides the projection into some number of matrix blocks according to the required precision, and the coordinates are returned.

(2) 특정 비중차별법 :(2) Specific gravity discrimination law:

①영상위의 다수의 기준점의 좌표(ui,vi), i=1,2,3...n n은 정수로서, 예를들면 9이에 대응하는 X-Y 테이블면 좌표는 (Ui,Vi), i=1,2,3,..., n.The coordinates (ui, vi) of the multiple reference points on the image, i = 1,2,3 ... nn are integers, for example, the XY table coordinates corresponding to 9 are (Ui, Vi), i = 1,2,3, ..., n.

②Ki=Mi를 계산한다 :Calculate Ki = Mi:

Ki=Ui/ui, i=1에서 n까지 ;Ki = Ui / ui, i = 1 to n;

Mi=Vi/vi, i=1에서 n까지 ;Mi = Vi / vi, i = 1 to n;

③영상위의 임의점에 대하여, 이미 알고 있는 좌표를(x,y)로 하여, 각 기준점(Ui,Vi)의 개별거리 di는, 다음식으로 계산한다:③ For any point on the image, calculate the individual distance di of each reference point (Ui, Vi) using the known coordinates (x, y) as follows:

i=1에서 n까지 ;i = 1 to n;

④ K, M값을 계산한다 ;④ Calculate K and M values;

⑤ 영상좌표(x,y)에 대응하는 x-y 테이블면 좌표(x,y)를 구한다 :⑤ Find the x-y table coordinates (x, y) corresponding to the image coordinates (x, y):

X=K*YX = K * Y

Y=M*YY = M * Y

3. 모든 도형을 적당한 순서로 배열하여, 1개씩의 정밀한 상을 찍는 유효경로를 획득한다 : 본 스텝은, 모든 도형을 순서대로 배열하고, 후에 1개씩 각 도형의 상을 찍는 근거를 제공한다.3. Arrange all figures in proper order to obtain an effective path to take one precise image: This step provides a basis for arranging all figures in order, and then taking one figure of each figure.

이상적인 배열원칙에 의하면, 제1도형에 가장 가까운 도형을 제2도형으로 하여 나란히 하고 또한 제2도형에 가장 가까운 도형을 제3도형으로 하고, 뒤에는 이에 준한다. : 그러나 도형의 수량이 많을때는, 상술한 이상적 원칙으로 배열하면, 많은 시간을 소비하여, 시스템 작업의 속도에 영향을 미친다. 따라서 본 발명은 독특하고 빠른 「영역구분 및 방향 변환 순열법」을 다음과 같이 나타낸다 :According to the ideal arrangement principle, the figure closest to the first figure is made side by side with the second figure, and the figure closest to the second figure is made the third figure, and the same applies later. However, when there is a large number of figures, the ideal principle described above can be very time consuming and affect system speed. Thus, the present invention presents a unique and fast "domain segmentation and direction transformation permutation method" as follows:

(1)영역 구분 : 효율을 상승시키기 위하여 , 본 발명은 영상처리 유니트(6)가 어떠한 1개의 도형 자료를 정밀하게 계산할때에, X-Y 테이블(1)이 양측도면 사이에 이동하는 시간보다도 영상처리 유니트(6)가 정밀하게 계산한 도형 자료의 시간이 크도록 고안되었다. X-Y 테이블면(1)의 이동되는 제한되기 때문에 이로 인하여, 본 발명은 1매 전체면의 도형(20)을 적당히 구분하여, 개별적으로 대부분의 상을 찍음과 처리를 행한다. 구분이 원칙은, 테이블면(1)의 이동하는 블록내의 가장 먼 양측 도형 사이의 거리에 필요한 시간이 영상처리 유니트(6)의 1개의 도형 자료를 정밀하게 계산하는 데에 걸리는 시간보다 짧거나 또는 같은 것이므로, 그후에 각 도형을 1개씩 정밀하게 상을 찍을 때에, 영상처리 유니트(6)의 계산작업은 중단되지 않고 완료된다.(1) Region division: In order to increase the efficiency, the present invention provides an image processing process in which the image processing unit 6 accurately calculates any one graphic data, rather than the time that the XY table 1 moves between the two drawings. It is designed so that the time of the figure data calculated by the unit 6 precisely is large. For this reason, since the X-Y table surface 1 is restricted to move, the present invention properly classifies the figure 20 of one entire surface, and takes most images and processes them individually. The principle is that the time required for the distance between the farthest two-sided figures in the moving block of the table surface 1 is shorter than the time taken to precisely calculate one figure data of the image processing unit 6, or Since it is the same, the calculation operation of the image processing unit 6 is then completed without interruption when the images are precisely taken one by one.

(2) 순열순서 : 제4도에 나타낸 바와같이 앞에서 설명한 그리드점 건너뛰기 검사법에서 얻어진 Y=D_S-C값과 같고, 영상을 △Y*△Y의 정반격자로 구분하면 한쪽격자에 대부분 한 개의 도형 중심과 대응할 수 있는 즉 n조의 도형 중심좌표(Ci(ui,vi), i=1,2... n에 대하여, n조의 수열(ai,bi,i)을 순열순서의 근거로 하여 세울수가 있고 그 중에, I는 도형의 반호로서 1에서 n까지의 정수인 ; ai=(ui/△y)의 정수값을 취하여 도표 Ci의 U측 방향의 위치를 표시하고 : bi=(vi/△y)의 정수값을 취하여, 도포Ci의 v측 방향의 위치를 표시한다. 예를들면, 제4도에 관한 도형(C₁₎에 대응하는 수열은, (2,1,1)이고, 도형(C₂)에 대응하는 수열은 (9,1,2)인, ... 등, 이에 기초하여 각 수열의 첫 번째 값 ai 은 작은데서부터 큰 순서로서 각 수열을 배열하고, 수열의 세 번째 값 I에서 도형의 순서를 획득하고: 첫 번째 값 ai의 수열이 동일하면, 두 번째 값 bi의 대소로서 앞뒤의 순서를 결정하고, 이 경우에는, 이전의 1개의 ai값의 수열의 존재를 vi값의 대소배열을 변환하는 방식의 의하여 결정한다.(2) Permutation order: As shown in Fig. 4, the same as Y = D _S -C value obtained by the above-mentioned grid point skipping test method. For n sets of geometric center coordinates (Ci (ui, vi), i = 1,2 ... n) that can correspond to the centers of two figures, that is, n sets of sequences (ai, bi, i) are used as the basis of the permutation order. Where I is the half number of the figure, taking an integer value from ai = (ui / Δy), which is an integer from 1 to n, and indicating the position in the U-direction of the table Ci: bi = (vi / △ Taking the integer value of y), the position in the v-direction of the coating Ci is indicated, for example, the sequence corresponding to the figure C _{1 of} FIG. 4 is ( _{2, 1, 1)} , The sequence corresponding to (C ₂ ) is (9,1,2), ..., etc. On the basis of this, the first value of each sequence ai arranges each sequence in order from smallest to largest, and the third value of the sequence Order the shapes in I If the sequence of first values ai is the same, determine the order before and after as the case of the second value bi, and in this case, convert the case of vi to the value of vi Decide by

제4도를 예로서 열거하면 비교적 용이하게 설명할 수가 있고 화살표로 나타낸 순열(P₁), (P₂),...(P₉)등은 1개씩 각각의 도형의 실행순서가 있는가 어떤가를 검사하는 것을 나타내고, 그 중에 화살표(P₁)행중에는, 도형이 존재않지 않는 것이어서 (P₂)행은 또한 동일 방향에서 검사를 하고 이에 의하여 도형(C₅)을 검출한 후에(P₃)행이 검사 방향을 변경하여, 도형 (C₃)을 획득하고, 그리고 (P₄)행이 다시 검사방향을 변경하여 도형 (C₃),(C₇)을 획득한다. 이에 관련하여, 각 도형은 도시한 바와같이 화살표로 나타낸 순열(Q)과 연이어 접속되는 경로(C₅), (C₁), (C₃), (C₇), (C₆), (C₄) 및 (C₂)순서로서 배열하고, 이것에서 1개씩 상을 찍는 순서의 경로로 하고, 이 방향변환 순서 배열 방법에서는, 각장 적합한 (가장 짧다)경로의 배열에 가장 접근하며 획득하는 속도를 제일 먼저 빨리 할 수 있는 방법이고, 거기에 (C₁), (C₂), (C₃), ...(C₇)의 순서로서 배열하는 방법에 비하면 테이블면(1)의 운동거리와 소요시간을 단축 할 수가 있어 작업 효율을 상승시킬 수가 있다.The example shown in FIG. 4 is relatively easy to explain, and is there an order of execution of each figure by one of the permutations (P ₁ ), (P ₂ ), ... (P ₉ ) indicated by arrows? Among the arrows (P ₁ ), there is no figure in the row of arrows (P ₁ ), so that the (P ₂ ) row is also inspected in the same direction, whereby the figure (C ₅ ) is detected (P ₃ ). The inspection direction is changed to obtain the figure C ₃ , and the (P ₄ ) row again changes the inspection direction to obtain the figures C ₃ and C ₇ . In this regard, each figure is a path (C ₅ ), (C ₁ ), (C ₃ ), (C ₇ ), (C ₆ ), (C) connected in series with the permutation (Q) indicated by arrows as shown. ₄ ) and (C ₂ ), the paths of which images are taken one by one, and in this redirection ordering method, the speed of approaching and obtaining the most suitable (shortest) path array in each direction is obtained. First of all, it is a quick way to do it, and compared to the arrangement method in order of (C ₁ ), (C ₂ ), (C ₃ ), ... (C ₇ ), the movement distance of the table surface (1) It can shorten the time required and increase work efficiency.

4. 도형 영상의 순서 처리 : 상을 찍는 범위가 비교적 작은 촬영장치(5)는, 스텝(3)에 의하여 얻어진 경로에서, 도형(20)의 각 도형을 1개씩 상을 찍는다. 물론 상을 찍는 것은 X-Y 테이블면(1)(도면20)이 고정위치로 이동하였을 때에 상을 찍는다. 그의 확인 방법은 임의의 공지의 검축 수단으로서 X-Y 테이블면 또는 구동장치가 정지하였는가 아닌가를 알게 된다. 상을 찍은 후에, X-Y 테이블면(1)은 계속적으로 다음의 위치로 이동하여 영상처리 유니트(6)가 동시에 영상처리를 진행하고 영상은 앞에서 설명한 2진화로서 먼저 처리하고, 또한 상을 찍는 것은 도형 개략중신에 대하기 때문에, 영상의 중심점은 반드시 도형의 범위내에 있고, 따라서 그 중심점에서 사방 둘레를 향하여서 도형의 전부의 변 가장자리점을 구하고, 변 가장자리점의 좌표를 평균하여 도형의 대소와 형상을 판별한다.4. Order processing of graphic images: The photographing apparatus 5 having a relatively small image capturing range images one image of each figure of the graphic image 20 in the path obtained by the step (3). Of course, taking an image takes an image when the X-Y table surface 1 (Fig. 20) moves to a fixed position. Its identification method finds out whether the X-Y table surface or the driving device is stopped as any known detection means. After taking the image, the XY table surface 1 continuously moves to the next position so that the image processing unit 6 performs the image processing at the same time, and the image is first processed as the binarization described above, and the image taking is also a figure. Since the central point of the image is necessarily within the range of the figure, the edge point of the whole figure is obtained from the center point to the circumference from the center point, and the coordinates of the edge point are averaged and the shape of the figure is obtained. Determine.

5. 각 도형의 정확한 중심위치의 영상좌표를 X-Y 테이블면 좌표로 환산하는, 즉 도면위의 좌표로 하는 이 방법은 스탭(2)과 동일하다.5. This method of converting the image coordinates of the exact center position of each figure into X-Y table plane coordinates, that is, the coordinates on the drawing, is the same as that of the staff (2).

6. 스텝(4)에 의하여 구해진 도형의 대소, 형상등의 자료로서 도형을 분류하고, 또한 적당한 순서로서 배열하는 배열 방법은 스탭(3)과 동일하고, 이에 의하여 가공장치에 필요한 제어자료를 제공할 수가 있다. 또한, 이들의 자료는 직접적으로 가공장치에 출력하거나, 또는 테이프 펀쳐로써 기록한 후에, 다시 가공장치로서 사용되는 이 방식은 이미 알려진 기술에 의하여 달성된다.6. The arrangement method of classifying the figures as the data such as the size and shape of the figures obtained by the step (4) and arranging them in the proper order is the same as that of the staff (3), thereby providing the control data necessary for the processing apparatus. You can do it. In addition, after the data are output directly to the processing apparatus or recorded with a tape puncher, this method, which is used again as the processing apparatus, is achieved by a known technique.

상술한 바와같이 본 발명은 2개의 촬영장치를 이용하여 테이블면의 이동으로서 도형의 개략 및 각 도형의 순차적인 상을 찍고, 테이블면의 이동과 영상 처리 작업이 동시에 진행되고, 자동 2진화 기술로서 촬영을 2진화하여, 영상처리 유니트의 도형 중심위치, 치수 및 형상 분석계산에 공급하고, 다시 수정기하변형 기능이 있는 좌표 전환방법으로서 테이블면의 대응좌표를 획득하며, 또한 도면 구분 및 도형 변환 순열법으로 유효한 배합과 처리를 하여, 고정밀도의 도면 판별 기능을 달성하고, 이와같이 최초에 창조한 방법과 장치 로서 확실하게 산업상의 이용가치를 갖춘 것이다.As described above, the present invention uses the two imaging apparatuses to take an outline of a figure and a sequential image of each figure as the movement of the table surface, and simultaneously move the table surface and the image processing operation, as an automatic binarization technique. Binary photographing, supplying to the figure center position, dimension and shape analysis calculation of the image processing unit, and obtaining the corresponding coordinates of the table surface as a coordinate conversion method with a correction geometric deformation function, and also the drawing division and figure conversion permutation By effective mixing and processing by the law, a high precision drawing discrimination function is achieved, and as the method and apparatus originally created in this way, the industrial value is reliably obtained.

Claims

상기 평면의 넓은 영역을 촬영하는 스텝과: 상기 넓은 영역내에 위치된 각 분리된 도형의 제1좌표계에 관하여 대략 중심의 좌표를 식별하는 스텝과; 각 분리된 도형의 상기 좌표의 근거하에 하나의 도형으로부터 다른 도형의 정밀 촬영 경로를 결정하는 스텝과; 상기 정밀 촬영경로를 따라 상기 평면의 좁은 영역을 촬영하는 스텝과: 상기 제1좌표계에 대하여 상기 좁은 영역내에서 각 분리된 도형의 정밀한 중심, 크기 및 형상의 제2좌표를 식별하는 스텝과; 각 분리된 도형의 해당 크기 및 형상의 근거하에 제2의 순서로 각 분리된 도형을 구분 및 배열하는 스텝과; 상기 평면상의 작업을 위하여 작업 데이터로서 상기 제2의 순서를 공급하는 스텝; 으로 평면상의 분리되어 있는 도형들을 인식하는 다수의 개별 도형 판별용 기계시각 인식 방법.Photographing a wide area of the plane and: identifying coordinates of approximately a center with respect to a first coordinate system of each separated figure located within the wide area; Determining a fine photographing path of another figure from one figure based on the coordinates of each separated figure; Photographing a narrow area of the plane along the precision photographing path: identifying a second coordinate of a precise center, size, and shape of each separated figure in the narrow area with respect to the first coordinate system; Classifying and arranging each separated figure in a second order based on a corresponding size and shape of each separated figure; Supplying the second sequence as job data for the job on the plane; A machine vision recognition method for discriminating a plurality of individual figures that recognizes separated figures on a plane.

상기 평면을 지지하며, 제1 및 제2축을 4K라 상기 평면을 이동할 수 있는 X-Y평면과; 상기 평면의 제1 및 제2영상을 찍기 위하여, 상기 평면위에 놓여지는 촬영 수단과; 상기 제1영상내에 위치된 각 분리된 도형의 대략 중심을 결정하기 위한 수단과; 상기 제1영상내의 상기 분리된 도형의 각각의 위치에 관하여 정밀 촬영 경로를 결정하기 위한 경로 결정 수단으로서, 상기 정밀 촬영 경로는 상기 각 분리된 도형의 순서를 제공하며, 상기 촬영 수단은, 상기 정밀촬영 경로에 따라 상기 X-Y 평면이 상기 평면을 움직임에 따라 상기 제2영상을 찍게 되는 경로 결정 수단과; 상기 제2영상내의 각 분리된 도형의 대응하는 크기, 형상 및 정밀한 중심을 결정하는 수단과; 상기 제2영상내의 각 분리된 도형의 상기 대응하는 크기 , 형상 및 위치의 근거하에 제2순서내의 상기 각 분리된 도형을 배열하기 위한 처리수단과: 및 상기 제2순서를 제공하기 위하여 외부장치로 출력하는 수단: 으로 구성되어 평면상의 다수의 개별 도형용 인식하는 다수의 개별 도형 판별용 기계 시각 인식 장치.An X-Y plane supporting the plane and capable of moving the plane with 4K of first and second axes; Photographing means placed on the plane to take the first and second images of the plane; Means for determining an approximately center of each separated figure located within the first image; Path determining means for determining a precision photographing path with respect to each position of the separated figure in the first image, the precision photographing path providing an order of the respective separated figures, wherein the photographing means includes: the precision; Path determining means for taking the second image as the XY plane moves the plane according to a photographing path; Means for determining a corresponding size, shape, and precise center of each separated figure in the second image; Processing means for arranging each of said separated figures in a second order on the basis of said corresponding size, shape and position of each separated figure in said second image: and to an external device to provide said second sequence And means for outputting: a machine vision recognition device for discriminating a plurality of individual figures for recognizing a plurality of individual figures on a plane.

제1항에 있어서, 상기 대략의 중심을 식별하는 스텝은 상기 S 영역내에 위치된 각 분리된 도형의 상기 대략의 중심을 결정하는 스탭과; 상기 제1좌표계에 관하여 각 분리된 도형의 대략의 중심을 상기 좌표계로 변환하며 상기 제1좌표계는 상기 평면에 관하여 정의되는 스텝; 으로 이루어지고, 상기 정밀한 중심을 식별하는 단계는 상기 좁은 영역내의 상기 분리된 도형의 정밀한 중심, 크기 및 형상을 결정하는 스텝과; 상기제1좌표계에 관하여, 상기 분리된 도형의 상기 정밀한 중심을 상기 제2의 좌표로 변환하는 스텝; 으로 이루어지는 다수의 개별 도형 판별용 기계 기각 인식 방법.The method of claim 1, wherein identifying the approximate center comprises: a step of determining the approximate center of each separated figure located within the S area; Converting an approximate center of each separated figure with respect to the first coordinate system into the coordinate system, wherein the first coordinate system is defined with respect to the plane; Wherein the step of identifying the precise center comprises: determining the precise center, size, and shape of the separated figure within the narrow area; Converting the precise center of the separated figure into the second coordinate with respect to the first coordinate system; Machine rejection recognition method for discriminating a plurality of individual figures consisting of.

제3항에 있어서, 상기 대략의 중심을 식별하는 스텝은 상기 넓은 영역의 영상의 다층회색도의 근거하에 2진 드레쉬 호울드를 결정하고 상기 2진 드레쉬 호울드는 상기 평면의 배경으로부터 상기 분리된 도형을 식별하는 스텝과; 분리된 도형의 존재를 결정하기 위하여 일정한 순서로 상기 넓은 영역 영상상의 다수개의 그리드점을 검색하는 스텝과; 상기 분리된 도형내의 다수개의 그리드점을 스캐닝하고, 상기 그리드점은 추후의 검색을 방지하기 위한 밝은 점으로서 정의되고, 상기 밝은 점은 분리되지 않은 도형을 나타내는 스텝; 으로 이루어지는 다수의 개별 도형 판별용 기계 시각 인식 방법.4. The method of claim 3, wherein the step of identifying the approximate center determines a binary dress hole based on the multi-layer grayscale of the wide area image and wherein the binary dress hole is determined from the background of the plane. Identifying a separated figure; Retrieving a plurality of grid points on the wide area image in a predetermined order to determine the existence of a separated figure; Scanning a plurality of grid points in said separated figure, said grid point being defined as a bright point to prevent further retrieval, said bright point representing a non-separated figure; Machine vision recognition method for discriminating a plurality of individual figures.

제4항에 있어서, 상기 정밀 촬영 경로 결정 스텝은 소정 시간내에 적어도 2개의 분리된 도형이 스캐닝되는 구역을 형성하도록 상기 평면을 다수개의 행 및 열로 분할하는 스텝과; 상기 분리된 각 도행에 해당 행, 열 및 일련의 값을 할당하고, 상기 해당 행 및 열 값은 상기 각 구역내의 상기 분리된 도형의 각 위치의 근거하에 할당되는 스텝; 으로 이루어 있고 상기 방향 -변환 순열 순서를 정의하는 스텝은 열의 값을 증가하도록 상기 분리된 도형을 제1배열하는 스텝과; 상기 제1열내의 제1검색 방향을 부여하며, 상기제1열내에 위치된 상기 분리된 도형의 상기 일련의 값들은 각각 행의 값을 증가함에 관하여, 배열되는 스텝과 다음 열을 분석하는 스텝과; 상기 분석된 열내에 분리된 도형이 존재하면, 다른 검색 방향내에서 상기 분리된 도형을 제2배열하고, 상기제1배열 단계는 상기 제1검색 방향 및 제2검색 방향 사이에서 변환되며, 상기 제2검색 방향은 행의 값의 감소에 관하여, 분석되는 상기 열내의 상기 분리된 도형의 상기 일련의 값을 각각배열하고, 상기 열의 전부가 분석될때까지 선행의 2단계를 반복하는 스텝;을 포함하여 이루어 지는 다수의 개별 도형 판별용 기계 시각 인식 방법.The method of claim 4, wherein the step of determining the fine photographing path comprises: dividing the plane into a plurality of rows and columns to form a region in which at least two separated figures are scanned within a predetermined time; Assigning a corresponding row, column, and series of values to each of the separated drawings, wherein the corresponding row and column values are assigned on the basis of each position of the separated figure within each zone; And defining the direction-conversion permutation order, comprising: firstly arranging the separated figure to increase a value of a column; Giving a first search direction in the first column, wherein the series of values of the separated figure located in the first column are respectively arranged in relation to increasing the value of the row; ; If there is a separated figure in the analyzed column, secondly arranging the separated figure in another search direction, and the first arrangement step is converted between the first search direction and the second search direction, And the retrieval direction arrays each of the series of values of the separated figure in the column being analyzed, with respect to a decrease in the value of the row, and repeating the preceding two steps until all of the columns have been analyzed. Machine vision recognition method for discriminating a plurality of individual figures.

제5항에 있어서, 상기 소정시간은 일반적인 분리된 도형의 정밀 계산에 요하는 시간보다 짧은 것을 특징으로 하는 다수개의 개별 도형 판별용 기계 시각 인식 방법.The method of claim 5, wherein the predetermined time is shorter than a time required for precision calculation of a general separated figure.

제4항에 있어서 제2순서로 각 분리된 도형을 구분 및 배열하는 스텝은 상기 정밀 촬영 경로를 결정하는 스텝과 동일한 것을 특징으로 하는 다수개의 개별 도형 판별용 기계 시각 인식 방법.5. The machine vision recognition method according to claim 4, wherein the step of classifying and arranging each separated figure in a second order is the same as the step of determining the fine photographing path.

제2항에 있어서, 상기 촬영 수단은 상기 제1영상을 찍기 위한 제1카메라와 상기 제2영상을 찍기 위한 제2카메라로 구성되는 다수개의 개별 도형 판별용 기계 시각 인식 장치.3. The apparatus of claim 2, wherein the photographing means comprises a first camera for taking the first image and a second camera for taking the second image.

제2항에 있어서, 상기 대략의 중심을 결정하기 위한 수단은 각 분리된 도형의 상기 대략의 중심을 상기 평면에 관한 좌표로 변환하는 것을 특징으로 하는 다수개의 개별 도형 판별용 기계 시각 인식 장치.The apparatus of claim 2, wherein the means for determining the approximate center transforms the approximate center of each separated figure into coordinates with respect to the plane.