KR20120036145A - Feature point detecting method of welding joint using laser vision system - Google Patents

Abstract

PURPOSE: A detecting method for a characteristic point of a welding joint using a laser vision system is provided to automatically detect a characteristic point of a welding joint without an additional setting by a user when detecting the characteristic point of the welding joint from measured welding joint image. CONSTITUTION: A detecting method for a characteristic point of a welding joint using a laser vision system is as follows. An image of a welding object obtained through a laser vision system is binarized(S120). An edge detecting algorithm is applied to the image binarized(S130). Candidate points where the characteristic point can generate are detected(S130). The center parts of the candidate points detected are detected(S140). The binarized images of surroundings around the detected candidate points are compared(S150). Whether or not the detected candidate points are the characteristic point is decided(S160).

Description

레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법{FEATURE POINT DETECTING METHOD OF WELDING JOINT USING LASER VISION SYSTEM}FEATURE POINT DETECTING METHOD OF WELDING JOINT USING LASER VISION SYSTEM}

본 발명은 용접 조인트의 특징점 검출 방법에 관한 것으로서, 특히 레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 용접 조인트의 특징점을 검출하는 방법에 관한 것이다. The present invention relates to a method for detecting a feature point of a weld joint, and more particularly, to a method for detecting a feature point of a weld joint from an image of a weld object detected using a laser vision system.

레이저 비전 시스템은 측정 대상물의 표면이나 기하학적인 형상을 측정하는 센서 시스템이다. 용접에서 많이 사용되는 로봇 용접용 레이저 비전 시스템의 경우 용접용 로봇의 토치 앞부분에 장착하여 용접 대상물의 형상을 측정하여 로봇이나 용접조건을 제어하는데 사용된다. 일반적으로 용접 대상물의 특징점(FEATURE POINT)은 측정 대상물의 불연속 면이 된다. A laser vision system is a sensor system that measures the surface or geometric shape of an object to be measured. The laser vision system for robot welding, which is widely used in welding, is used to control the robot or welding conditions by measuring the shape of the welding object by mounting it in front of the torch of the welding robot. Generally, the FEATURE POINT of a welding object becomes a discontinuous surface of a measurement object.

일반적으로 특징점은 2차원으로 나타나는 영상에 있어서 선의 시작점이나 끝점, 또는 선들이 만나는 점, 꼭지점과 같이 선이 꺾이는 부분과 같이 전체 영상의 특징이 될 수 있는 점들을 의미한다. 레이저 비전 시스템을 이용한 용접 비드를 검출하는 경우에 구조화된 레이저 선(structured laser line)을 이용하므로 평판에 레이저를 조사할 경우 영상은 직선의 영상이 얻어지게 되고, 용접 조인트를 측정하는 경우에는 용접 조인트의 형상에 따라서 하나의 선이 꺾여진 형태로 나타나게 된다. In general, a feature point refers to a point that may be characteristic of an entire image, such as a start point or an end point of a line, a point where lines meet, or a portion where a line breaks, such as a vertex, in an image displayed in two dimensions. When detecting weld beads using a laser vision system, structured laser lines are used, so when a laser is irradiated onto a plate, a straight line image is obtained, and when a weld joint is measured, a weld joint According to the shape of the single line will appear in a bent form.

일반적으로 용접에 있어서 특징점이라고 하면 이렇게 꺾여진 점들을 가르킨다. 이를 레이저 비전 시스템을 이용하여 측정하면 연속적인 선에 꺾이는 선으로 나타나고 이 불연속 점을 추출하여 카메라 캘리브레이션을 이용하여 3차원 좌표로 좌표변환을 하면 측정부의 불연속 점의 3차원 좌표를 알 수 있다. Generally speaking, the characteristic point in welding refers to these bent points. When measured using a laser vision system, it appears as a broken line in a continuous line. When the discontinuous point is extracted and converted into three-dimensional coordinates using camera calibration, the three-dimensional coordinates of the discontinuous point of the measurement unit can be known.

한편, 종래에는 이를 측정하기 위해서 영상처리를 통해서 세선(細線)을 얻은 후에 2차 회귀모델을 이용하여 직선의 방정식을 얻는 방법이나 특정한 점에서 거리를 측정하여 가장 거리가 멀거나 가까운 점을 특징점으로 결정하는 방식들을 사용하고 있다. 그렇지만, 일반적으로 영상에 스패터나 반사광 등과 같은 노이즈가 없는 경우에는 상기와 같은 다양한 방법으로 비드의 특징점을 추출하는 것이 가능하지만, 노이즈가 있을 경우에는 이러한 방법들은 노이즈의 영향으로 비드 영상에서 특징점을 정확하게 추출하기가 어려운 문제점이 있다. On the other hand, conventionally, to measure this, after obtaining a thin line through image processing, a method of obtaining an equation of a straight line using a quadratic regression model, or measuring a distance from a specific point as the most distant or closest point as a feature point. Decision-making methods are used. However, in general, when there is no noise such as spatter or reflected light in the image, it is possible to extract the feature points of the beads by various methods as described above. However, when there is noise, these methods accurately detect the feature points in the bead image due to the influence of noise. There is a problem that is difficult to extract.

이에 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 노이즈가 발생하더라도 하나의 과정을 통해서 특징점을 검출할 수 있는 방법 즉, 용접 중 스패터나 반사광 등의 노이즈가 있는 경우더라도 이진화된 영상으로부터 임의의 사용자 설정 없이 용접 조인트의 특징점을 검출할 수 있도록 된 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 제공하는데 그 목적이 있다. Accordingly, the present invention is to solve the above problems, a method that can detect a feature point through a process even if noise occurs, that is, even if there is noise such as spatter or reflected light during welding, It is an object of the present invention to provide a method for detecting a feature of a welded joint using a laser vision system capable of detecting a feature of the welded joint without user setting.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법은, 레이저 비전 시스템을 통해 획득한 용접 대상물의 영상을 이진화하는 과정과; 상기 이진화한 영상에 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출하는 과정과; 상기 검출한 후보점들의 중심을 검출하는 과정과; 상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정하는 과정을 포함하여 이루어진 것을 특징으로 한다. In order to achieve the above object, a method for detecting a feature point of a welded joint using a laser vision system according to the present invention includes: binarizing an image of a welded object obtained through the laser vision system; Detecting candidate points at which feature points can be generated by applying an edge extraction algorithm to the binarized image; Detecting a center of the detected candidate points; And determining whether candidate points are feature points by comparing peripheral binarization images with the centers of the detected candidate points.

여기에서, 상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들이고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값 이상을 갖는 점들일 수 있다. Here, the feature points are points detected by the edge extraction algorithm, and candidate points that may occur may be points having a predetermined brightness value or more among points detected by the edge extraction algorithm.

또한, 상기 특징점인지의 여부를 결정하는 과정은 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정할 수가 있다. In addition, the process of determining whether the feature is the feature point may be performed by comparing the peripheral binarized image and comparing the relationship between the peripheral white pixel and the pixel, and then determining whether the feature is the feature point.

또한, 상기 이진화하는 과정은 영상이 0과 255의 값만 갖도록 이진화하고, 상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정할 수가 있다. 이때, 만나는 횟수가 2회일 때 특징점으로 결정할 수가 있다. In addition, the process of binarization binarizes an image such that the image has only values of 0 and 255, and the process of determining whether the image is a feature point includes drawing a square having a side length of a predetermined pixel or more as a center of the detected candidate points and having a square face and white color. By counting the number of times the points meet, you can determine whether or not the feature points. In this case, when the number of meetings is two, it may be determined as a feature point.

본 발명에 따르면, 레이저 비전 시스템에서 측정한 용접 조인트 영상에서 용접 조인트의 특징점을 검출할 때 사용자의 추가적인 설정없이 자동으로 용접 조인트의 특징점을 검출할 수가 있으며 스패터나 반사광 등의 노이즈가 있는 영상에서도 특징점을 추가적인 연산없이 검출할 수가 있다. According to the present invention, when detecting a feature point of the weld joint in the weld joint image measured by the laser vision system, the feature point of the weld joint can be automatically detected without additional setting by the user, and even in an image with noise such as spatter or reflected light Can be detected without further computation.

도 1은 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 보여주는 흐름도.
도 2는 레이저 비전 시스템을 이용하여 용접 조인트를 측정하는 상태를 보여주는 개념도.
도 3은 용접 조인트의 측정 영상의 예.
도 4는 용접 조인트의 측정 영상의 특징점의 예.
도 5는 용접 조인트의 측정 영상의 예.
도 6은 해리스 코너 추출 결과의 영상의 예.
도 7은 도 6의 영상을 이진화한 결과의 영상의 예.
도 8은 이진화로 얻어진 점으로부터 특징점 후보점들의 선 교차 수를 보여주는 영상의 예.
도 9는 용접 조인트 영상에 노이즈가 포함된 영상의 예.
도 10은 영상 해리스 코너 추출 결과의 영상의 예.
도 11은 도 10의 영상을 이진화한 결과의 영상의 예.
도 12는 가까운 점들끼리 분류를 통해 얻어진 특징점 후보점들의 영상의 예.
도 13은 도 9의 영상의 이진화 영상과 특징점 후보점들에서 정사각형을 그려 교차한 횟수를 보여주는 영상의 예. 1 is a flow chart showing a feature detection method of a welded joint using a laser vision system according to the present invention.
2 is a conceptual diagram showing a state of measuring a weld joint using a laser vision system.
3 is an example of a measurement image of a welded joint.
4 is an example of feature points of a measured image of a welded joint;
5 is an example of a measurement image of a welded joint.
6 is an example of an image of a Harris corner extraction result.
7 is an example of an image of the result of binarizing the image of FIG. 6.
8 is an example of an image showing the number of line intersections of feature point candidate points from a point obtained by binarization.
9 is an example of an image including noise in a weld joint image.
10 is an example of an image of an image Harris corner extraction result.
FIG. 11 is an example of an image of the result of binarizing the image of FIG. 10; FIG.
12 is an example of an image of feature point candidate points obtained through classification of near points.
FIG. 13 is an example of an image showing a number of times by crossing a binarized image of a video of FIG. 9 and feature point candidate points by drawing a square. FIG.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다. Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 보여주는 흐름도이다. 1 is a flowchart showing a method for detecting a feature point of a welded joint using a laser vision system according to the present invention.

본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법은, 레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 특징점을 검출하는 방법이다. A feature point detection method of a weld joint using a laser vision system according to the present invention is a method of detecting feature points from an image of a welding object detected using a laser vision system.

먼저, 레이저 광원부와 카메라부를 구비한 레이저 비전 시스템을 통해 용접 대상물의 영상을 획득한 후 획득한 용접 대상물의 영상을 이진화한다(S110),(S120). 이진화하는 과정은 구체적으로 다음과 같다. 일반적으로 용접 조인트를 레이저 비전 시스템을 이용하여 측정하면, 영상의 밝기값이 0부터 255까지의 값으로 출력되는 8비트 카메라인 경우에 레이저가 조사된 부분은 255에 가까운 밝은 값이 얻어지고 조사되지 않는 영역은 0에 가까운 어두운 값으로 영상이 취득된다. 이 영상을 영상이 0과 255의 값만 갖도록 이진화를 수행한다. 기준되는 영상 밝기값의 문턱값(threshold value)보다 작은 값은 0이 되고 더 큰 값은 255로 영상을 두 가지 값만을 같은 영상으로 변환시키는 것이다.
First, after acquiring an image of a welding object through a laser vision system having a laser light source unit and a camera unit, the obtained image of the welding object is binarized (S110) and (S120). The process of binarization is specifically as follows. In general, when welding joints are measured using a laser vision system, in the case of an 8-bit camera in which the brightness value of the image is output from 0 to 255, the portion irradiated with the laser obtains a bright value close to 255 and is not irradiated. The image is acquired with a dark value close to zero where the area is not. The image is binarized so that the image has only values of 0 and 255. A value smaller than the threshold value of the reference image brightness value becomes 0 and a larger value is 255, so that only two values are converted into the same image.

계속해서, 상기 이진화한 영상에 해리스 코너(Harris corner) 추출 알고리즘 즉, 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출한 후 검출한 후보점들의 중심을 검출한다(S130),(S140). 여기에서, 상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들을 의미하고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값(intensity) 이상을 갖는 점들을 의미한다. Subsequently, a Harris corner extraction algorithm, that is, an edge extraction algorithm, is applied to the binarized image to detect candidate points where a feature point may occur, and then the centers of the detected candidate points are detected (S130). ). Here, the feature points mean points detected by the edge extraction algorithm, and the candidate points from which the feature points may occur mean points having a predetermined intensity or more among points detected by the edge extraction algorithm.

상기 해리스 코너를 추출하는 알고리즘은 다음과 같다. 이진화된 영상에 에지 추출 알고리즘으로 널리 쓰이는 소벨 연산(Sobel Operation)을 이용하여 에지 (edge)를 추출하는데 이 과정은 각각 가로 방향과 세로 방향 추출 행렬을 이진화한 영상에 각각 컨벌루션(convolution) 하여 각각의 연산 결과를 저장한다. 이를 각각 I _x ,I _y 라고 한다. 그 다음으로 상기 얻어진 I _x , I _y 를 이용하여 특징점이 될 수 있는 후보점들을 추출하기 위하여 다음과 같은 연산을 수행한다. I _xx 는 I _x 의 행렬의 각 요소들을 제곱하여 얻어진 행렬이고 I _yy 는 I _y 행렬의 각 요소들을 제곱하여 얻어진 행렬이고 I _xy 는 I _x 와 I _y 의 행렬을 서로 곱하여 얻어진 행렬이라고 할 때, 각각 얻어진 I _xx , I _xy , I _xy 행렬을 2D 가우시안(Gaussian Filter) 필터를 통과시킨다. 이를 각각 I _Gxx , I _Gxy , I _Gxy 라고 한다. 이렇게 얻어진 각각의 행렬에서 최종적으로 다음과 같은 최종 행렬을 구한다. I _result =(I _Gxx ^T I _Gyy -I _Gxy ^T I _Gxy )/(I _Gxx +I _Gyy ). 이 연산을 통해서 얻어진 영상과 같은 크기를 갖는 2D 행렬의 값들은 각각 특징점 후보점이 될 수 있는 확률을 나타내는데, 이 값이 크면 클수록 확률이 높게 된다. 이 연산을 통해서 얻어진 행렬은 영상과 같이 0과 255 사이의 값을 갖는 행렬이 아니므로 이 행렬값이 0부터 255 사이의 값을 갖도록 값을 변환시켜주면 새로운 영상이 얻어진다. 이 값을 다시 적절한 문턱값(threshold value)으로 이진화를 수행한다. 이진화 결과 0으로 나타나는 화소들은 특징점이 아닌 점들을 나타내고 255로 나타나는 화소들은 특징점들이 될 수 있는 점들이다. The algorithm for extracting the Harris corner is as follows. Edges are extracted using Sobel operation, which is widely used as an edge extraction algorithm in binarized images. This process convolutions each image by binarizing the horizontal and vertical extraction matrices, respectively. Save the result of the operation. These are called I _x and I _y , respectively. Next, the following operation is performed to extract candidate points that may become feature points by using the obtained I _x and I _y . I _xx is a matrix obtained by squaring each element of the matrix of I _x , I _yy is a matrix obtained by squaring each element of the matrix I _y, and I _xy is a matrix obtained by multiplying the matrixes of I _x and I _y . I _xx , I _xy , I _xy obtained respectively Pass the matrix through a 2D Gaussian Filter. These are I _Gxx , I _Gxy , I _Gxy It is called. In each of the matrices thus obtained, the following final matrix is obtained. _Result = I (I _{Gxx Gyy} ^T I - ^T I I _{Gxy Gxy)} / (I _Gxx + _Gyy I). The values of the 2D matrix having the same size as the image obtained through this operation represent the probability of being the feature point candidate point. The larger this value, the higher the probability. Since the matrix obtained through this operation is not a matrix having a value between 0 and 255 like the image, a new image is obtained by converting the value so that the matrix value has a value between 0 and 255. This value is then binarized to the appropriate threshold value. Pixels represented by zero as a result of binarization represent points that are not feature points, and pixels represented by 255 are points that can be feature points.

상기 검출한 후보점들의 중심을 검출하는 과정은 다음과 같다. 상기에서 수행한 해리스 코너 연산과 이진화를 통해서 얻어진 영상은 단일한 점들이 아니므로 가까운 점들끼리 분류를 한다. 이를 위해서 화소의 밝기값이 255인 점들을 가까운 점들끼리 분류하고 같이 분류된 점들의 중심점을 구한다. 이 점들이 최종적으로 얻어지는 특징점이 될 수 있는 후보점들이다.
The process of detecting the centers of the detected candidate points is as follows. Since the image obtained through the Harris corner operation and binarization performed above are not single points, the adjacent points are classified. To this end, the dots having a brightness value of 255 of the pixel are classified between the adjacent dots and the center points of the classified points are obtained. These points are candidate points that can be the final feature points obtained.

마지막으로, 상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정한다(S150)(S160). 이때, 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정할 수가 있다. 상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정할 수가 있다. 이때, 만나는 횟수가 2회일 때 특징점으로 결정할 수가 있다. Finally, the peripheral binarization image is compared with the detected candidate points to determine whether candidate points are feature points (S150). In this case, the peripheral binarization image may be compared to compare the relationship between the peripheral white pixels and the pixels, and then the feature point may be determined. In the process of determining whether the feature is the feature point or not, the feature may be determined by calculating a number of times where the square face and the white point meet by drawing a square having a side length of a predetermined pixel or more as the center of the detected candidate points. In this case, when the number of meetings is two, it may be determined as a feature point.

부연하자면, 후보점들의 중심으로부터 한변의 길이가 10 화소인 정사각형을 따라가면서 상기 레이저 비전 시스템에서 취득한 영상을 이진화한 영상의 밝기값을 비교한다. 정사각형의 변을 따라 레이저 비전 시스템에서 취득한 영상의 밝기값이 바뀌는 횟수가 2회인 점은 찾고자 하는 특징점이 되고 바뀌는 횟수가 홀수이거나 4이상인 점들은 특징점이 아니다.
In other words, the brightness values of the binarized images are compared by following the square having a length of 10 pixels from the center of the candidate points. The point where the brightness value of the image acquired by the laser vision system is changed twice along the square side is a feature point to be searched, and the points where the number of changes is odd or 4 or more are not feature points.

[실시예] [Example]

도 2는 레이저 비전 시스템을 이용한 용접 조인트의 측정 방법으로서, 레이저 비전 시스템(1)의 선 레이저(2)가 용접부 즉, 용접 조인트(3)를 조사하고 이를 레이저 비전 시스템(1)의 내부에 있는 카메라가 영상을 취득한다. 도 3은 이렇게 얻어진 용접 조인트의 영상의 한 예이다. 구조화된 레이저에 의해서 영상에는 횡방향의 선이 그려지고 조인트의 형상에 따라서 꺾이는 점들이 다르게 발생하는데, 용접 조인트의 특징점이라고 하면 이렇게 레이저선이 용접 조인트의 형상에 의해서 꺾이는 점들을 의미한다. 2 shows a method of measuring a weld joint using a laser vision system, in which a line laser 2 of the laser vision system 1 irradiates a weld, that is, a weld joint 3, and is located inside the laser vision system 1. The camera acquires the image. 3 is an example of an image of the weld joint thus obtained. Due to the structured laser, the horizontal line is drawn on the image and the bending points are generated differently according to the shape of the joint. The characteristic point of the welding joint means that the laser line is bent by the shape of the welding joint.

도 4에서는 이를 예시적으로 보여주고 있는데, 도 4의 (a)는 레이저 비전 시스템을 평면에 수평방향으로 놓고 취득한 영상이다. 이 영상에서는 특징점이 없다. (b)에서는 레이저 선에서 꺾이는 점이 1개가 존재하고 이 점1이 용접 조인트의 특징점이 된다. (c)에서는 꺾이는 점이 3개가 되고 마찬가지로 특징점이 3개가 된다. 레이저 비전 시스템은 이렇게 얻어진 특징점으로부터 카메라 캘리브레이션을 통해서 이 점들의 3차원 위치값을 찾는다. 4 illustrates an example of this, and FIG. 4 (a) is an image obtained by placing a laser vision system in a horizontal direction on a plane. There are no feature points in this image. In (b), there exists one point which bends in a laser line, and this point 1 becomes a characteristic point of a weld joint. In (c), there are three bending points and similarly three feature points. The laser vision system finds the three-dimensional position values of these points through camera calibration from the feature points thus obtained.

레이저 비전 시스템으로부터 취득된 영상은 전자연산처리장치로 전달이 되고, 이 전자연산처리장치에서는 다음과 같이 영상을 처리한다. 먼저, 도 5와 같이 레이저 비전 시스템으로부터 취득된 영상을 소벨 연산(Sobel operation)과 같은 에지 추출 알고리즘을 이용하여 에지 추출을 한다. 보통 소벨 연산과 같은 2차원의 에지 추출 알고리즘은 가로 방향과 세로 방향의 에지를 추출하기 위해서 2가지의 행렬을 사용하는데, 이를 각각

라고 할 때 그 행렬 값은 아래와 같다. The image acquired from the laser vision system is transferred to the electronic computing device, which processes the image as follows. First, edge extraction is performed on an image acquired from a laser vision system using an edge extraction algorithm such as a Sobel operation as shown in FIG. 5. Usually, two-dimensional edge extraction algorithms, such as Sobel operations, use two matrices to extract horizontal and vertical edges,

The matrix value is as follows.

위의

를 이용하여 각각 레이저 비전 시스템에서 취득한 영상

와 컨벌루션을 하면 다음과 같다. Over

Images acquired from each laser vision system using

If we convolve with,

.

.

위에서 얻어진 영상에 다음과 같은 연산을 수행한다.The following operation is performed on the image obtained above.

위에서 얻어진 영상

를 가우시안 필터(Gaussian filter)를 이용하여 2차원 컨벌루션을 수행한다. 일반적으로 영상처리에서 가우시안 필터의 행렬(matrix)은 3*3 이나 5*5와 같이 3보다 큰 홀수의 행렬로 나타낼 수 있다. 위의 컨벌루션을 수식으로 나타내면 Image from above

2D convolution is performed using a Gaussian filter. In general, a matrix of Gaussian filters in image processing may be represented by an odd matrix larger than 3, such as 3 * 3 or 5 * 5. If we represent the convolution above as a formula

이때, 가우시안 분포

는 아래와 같이 정의된다. At this time, Gaussian distribution

Is defined as

,

,

는 표준편차를 나타낸다. 영상에 따라서 1~5 사이의 값이 바람직하다.

Represents the standard deviation. Depending on the image, a value between 1 and 5 is preferred.

위의 과정을 거쳐서 얻어진 영상을 최종적으로 아래와 같은 수식으로 연산한다. The image obtained through the above process is finally calculated using the following formula.

I _result =(I _Gxx ^T I _Gyy -I _Gxy ^T I _Gxy )/(I _Gxx +I _Gyy ) _Result = I (I _{Gxx Gyy} ^T I - ^T I I _{Gxy Gxy)} / (I _Gxx + _Gyy I)

최종으로 얻어진 영상

는 영상에서 특징점이 될 수 있는 점들의 후보점들을 나타내고 영상의 intensity가 크면 클수록 확률이 높은 점이다. 이를 영상의 조건에 따라 적절한 문턱값을 선정하여 이진화한다. 도 6은 위의 과정을 거쳐서 얻어진 도 5의 영상처리 결과이다. 일반적으로 8비트 영상이 0부터 255 사이의 값을 갖는데 반해서 이렇게 처리된 영상은 0부터 255의 값을 갖지 않는다. 따라서 일반영상과 같은 범위를 갖도록 결과 영상을 최대값과 최소값이 각각 255와 0이 되는 자연수의 값을 갖도록 조정해주면 도 6과 같은 영상을 얻을 수 있다. The final image

Denotes candidate points of points that may be feature points in an image, and the greater the intensity of the image, the higher the probability point. This is binarized by selecting an appropriate threshold value according to the condition of the image. 6 is a result of the image processing of FIG. 5 obtained through the above process. In general, an 8-bit image has a value between 0 and 255, whereas an image thus processed does not have a value between 0 and 255. Therefore, if the resultant image is adjusted to have the same range as that of the general image, the maximum value and the minimum value are 255 and 0, respectively, so that the image shown in FIG. 6 can be obtained.

이 영상을 영상에 따라서 100부터 200사이의 문턱값(thresholding value)으로 이진화시키면 도 7과 같은 영상을 얻을 수 있다. 이진화는 아래와 같은 수식으로 나타낼 수 있다. 영상의 수평 방향의 화소의 수를

, 수직 방향의 화소수를

라고 하면 If the image is binarized to a thresholding value between 100 and 200 according to the image, an image as shown in FIG. 7 may be obtained. Binarization can be represented by the following formula. The number of pixels in the horizontal direction of the image

, The number of pixels in the vertical direction

Say

도 7은 도 6의 영상을 위와 같이 이진화한 영상이다. 이렇게 얻어진 점들은 각각 영상에서 특징점이 될 수 있는 점들인데, 이 점들은 일반적으로 1 개의 화소로 이루어진 점들이 아니므로 가까운 거리에 있는 점들끼리 분류한다. 이를 위해서 가까운 거리에 있는 점들의 무게 중심점을 구한다. 도 7의 경우에는 3개의 점이 얻어진다. FIG. 7 is a binarized image of the image of FIG. 6. The points thus obtained can be feature points in the image. These points are generally not composed of one pixel, so they are classified at points close to each other. To do this, find the center of gravity of the points at close range. In the case of Fig. 7, three points are obtained.

위의 과정을 통해서 얻어지는 점들은 영상에서 용접 조인트의 특징점이 될 수 있는 점들로 이 점들이 특징점인지 아닌지를 평가하여야 한다. 이를 위해서 앞에서 얻어진 점들을 중심으로 하는 한변의 길이가 10화소에서 20화소가 되는 정사각형을 그린다. 이 정사각형을 앞의 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 겹치게 놓고 이진화한 영상과 만나는 횟수를 센다. 도 8에서 왼쪽 상단에 있는 점은 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 1번을 만나고 오른쪽 상단에 있는 점은 마찬가지로 1번, 아래쪽 가운데 있는 점은 2번을 만나게 된다. 여기에서 2번을 만나는 점이 찾고자 하는 용접 조인트의 특징점이다. The points obtained through the above process can be the feature points of the weld joint in the image, and it is necessary to evaluate whether or not these points are the feature points. To do this, draw a square with a length of 10 to 20 pixels on one side centered on the points obtained earlier. The square is placed on the image obtained by the previous laser vision system and overlapped with the binarized image, and the number of encounters with the binarized image is counted. In FIG. 8, the upper left point meets the binarized image obtained by the laser vision system and number 1, and the upper right point encounters number 1 and the lower middle point meets number 2. Here, the point that meets No. 2 is a feature of the weld joint to find.

도 9는 용접 영상에 노이즈가 있는 경우의 모의실험 영상이다. 앞의 도 5의 영상에 여러 개의 노이즈에 해당하는 작은 직선들을 추가로 그린 영상이다. 이 영상도 위에서 설명한 과정과 동일한 과정을 거치면 도 10과 같이 해리스 코너 추출 알고리즘을 통해서 중간 영상이 얻어지고 이를 이진화하면 도 11과 같은 영상이 얻어진다. 9 is a simulated image when there is noise in the weld image. The image of FIG. 5 further illustrates small straight lines corresponding to a plurality of noises. If this image also undergoes the same process as described above, an intermediate image is obtained through a Harris corner extraction algorithm as shown in FIG. 10, and binarized to obtain an image as shown in FIG. 11.

도 11에서 가까운 점들끼리 분류하여 무게 중심값을 구하면 도 12와 같은 점들을 용접 조인트의 특징점이 될 수 있는 점들로 구할 수 있다. 그 점들로부터 한변의 길이가 20 화소인 정사각형을 그려 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 비교하여 교차하는 횟수를 측정하면 한 번 교차하는 점은 점1, 점2, 점3, 점4, 점7, 점8, 점10, 점11, 점13, 점14이고, 2회를 만나는 점은 점6, 4회를 만나는 점은 점5, 점9, 점12이다. 따라서 특징점이 되는 점은 2회를 교차하는 점6 뿐이다.In FIG. 11, when the centers of gravity are determined by classifying the points close to each other, the same points as those of FIG. 12 may be obtained as points that may be characteristic points of the weld joint. From the points, draw a square with a length of 20 pixels and compare the image obtained by the laser vision system with the binarized image. When measuring the number of crossings, the points that intersect once are points 1, 2, 3, 4, Points 7, 8, 10, 11, 13 and 14 are points 6, 4 are points 6 and 4 are points 5, 9 and 12. Therefore, only 6 points intersect twice.

모의실험의 결과에서와 같이 본 발명은 영상에 노이즈가 있는 경우라도 앞의 영상처리 과정으로부터 특징점이 가능한 점들을 우선 추출하고 그 점들로부터 정사각형을 그려 레이저 비전 시스템에서 취득된 영상의 이진화 영상과 비교하여 255의 화소 밝기값을 갖는 선과 만나는 횟수를 계산하는 방법으로 특징점의 위치를 얻을 수가 있는 것이다. As in the simulation results, the present invention first extracts possible points from the previous image processing process even if there is noise in the image, draws a square from the points, and compares them with the binarized image obtained from the laser vision system. The position of the feature point can be obtained by calculating the number of times of meeting with a line having a pixel brightness value of 255.

한편, 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 한정된 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다. On the other hand, although the method of detecting the feature point of the welded joint using the laser vision system according to the present invention has been described according to a limited embodiment, the scope of the present invention is not limited to a specific embodiment, and having ordinary knowledge in connection with the present invention Many alternatives, modifications and variations can be made without departing from the scope of the disclosure.

Claims (5)

레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 특징점을 검출하는 방법으로서,
레이저 비전 시스템을 통해 획득한 용접 대상물의 영상을 이진화하는 과정과;
상기 이진화한 영상에 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출하는 과정과;
상기 검출한 후보점들의 중심을 검출하는 과정과;
상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정하는 과정을 포함하여 이루어진 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법. A method of detecting feature points from an image of a welding object detected using a laser vision system,
Binarizing an image of a welding object obtained through a laser vision system;
Detecting candidate points at which feature points can be generated by applying an edge extraction algorithm to the binarized image;
Detecting a center of the detected candidate points;
And determining whether candidate points are feature points by comparing peripheral binarization images with the detected candidate points as a center of the detected candidate points. 청구항 1에 있어서,
상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들이고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값 이상을 갖는 점들인 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법. The method according to claim 1,
The feature points are points detected by an edge extraction algorithm, and candidate points that may be generated are points having a predetermined brightness value or more among points detected by the edge extraction algorithm. Feature point detection method. 청구항 1에 있어서,
상기 특징점인지의 여부를 결정하는 과정은 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법. The method according to claim 1,
The determining of whether the feature point is a feature point detection method of a welded joint using a laser vision system, characterized in that to determine the feature point after comparing the relationship between the peripheral white pixels and the pixel by comparing the peripheral binarization image. 청구항 3에 있어서,
상기 이진화하는 과정은 영상이 0과 255의 값만 갖도록 이진화하고,
상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법. The method according to claim 3,
The binarization process binarizes the image so that the image has only values of 0 and 255.
The process of determining whether the feature point is a laser vision is characterized by determining whether the feature point by calculating the number of times that the sides of the square and the white point is drawn by drawing a square having a side length of a predetermined pixel or more as the center of the detected candidate points Method for detecting feature points of welded joint using system. 청구항 4에 있어서,
만나는 횟수가 2회일 때 특징점으로 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법. The method of claim 4,
A method for detecting a feature point of a welded joint using a laser vision system, characterized in that the feature point is determined when the number of meetings is two times.

Images