KR101889497B1 - Non-contact gap measurement apparatus using monocular multi-line laser sensor and method thereof - Google Patents

Non-contact gap measurement apparatus using monocular multi-line laser sensor and method thereof Download PDF

Info

Publication number
KR101889497B1
KR101889497B1 KR1020170033896A KR20170033896A KR101889497B1 KR 101889497 B1 KR101889497 B1 KR 101889497B1 KR 1020170033896 A KR1020170033896 A KR 1020170033896A KR 20170033896 A KR20170033896 A KR 20170033896A KR 101889497 B1 KR101889497 B1 KR 101889497B1
Authority
KR
South Korea
Prior art keywords
laser
camera
coordinate system
laser sensor
objects
Prior art date
Application number
KR1020170033896A
Other languages
Korean (ko)
Other versions
KR20180041552A (en
Inventor
하철근
티 창 찬
류항기
우경행
Original Assignee
울산대학교 산학협력단
주식회사 에이티엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 주식회사 에이티엠 filed Critical 울산대학교 산학협력단
Publication of KR20180041552A publication Critical patent/KR20180041552A/en
Application granted granted Critical
Publication of KR101889497B1 publication Critical patent/KR101889497B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02034—Interferometers characterised by particularly shaped beams or wavefronts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02055—Reduction or prevention of errors; Testing; Calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 대한 것이다.
본 발명에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치는 카메라를 이용하여 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부와, 획득한 이미지를 분석하여 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체간 간격과 높이차를 추정하는 추정부를 포함한다.
이와 같이 본 발명에 따르면, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다.The present invention relates to an apparatus and method for measuring a non-contact gap using a single camera and a multi-line laser sensor.
An apparatus for measuring an non-contact gap using a single camera and a multi-line laser sensor according to the present invention includes an image obtaining unit for obtaining a photographed image of a state in which a plurality of light beams output from a laser sensor are output toward two objects using a camera, A light extracting unit for analyzing the acquired image and extracting n light beams (n is a natural number of 2 or more) including a light ray having the highest intensity among a plurality of light rays included in the image, and a predefined camera coordinate system, And an estimator for analyzing the degree of distortion of the plurality of rays extracted using the coordinate system and the laser sensor coordinate system and estimating the distance and height difference between the two objects according to the analysis result.
As described above, according to the present invention, it is possible to accurately measure the distance and height difference between two objects without contacting the objects by using the fixed CMOS camera and the multi-line laser sensor, so that the object can be effectively Can be applied and can be usefully used in a manufacturing process requiring precision.

Description

단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법{NON-CONTACT GAP MEASUREMENT APPARATUS USING MONOCULAR MULTI-LINE LASER SENSOR AND METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a non-contact gap measuring apparatus using a single camera and a multi-line laser sensor,

본 발명은 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 CMOS 카메라와 멀티 라인 레이저를 이용하여 비접촉 방식으로 두 물체간 간격과 높낮이차를 측정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for measuring a non-contact gap using a single camera and a multi-line laser sensor, and more particularly, to a method and apparatus for measuring an interval and height difference between two objects using a CMOS camera and a multi- The present invention relates to an apparatus and method for measuring a non-contact gap using a single camera and a multi-line laser sensor.

자동차 제조 공장에서 로봇을 이용하여 차량 바디에 유리를 끼우고 패널을 조립하는 것과 같은 정교한 작업 공정을 위해서는 부품 간 간격 및 높낮이차를 정교하고 정확하게 측정하여 보정해야 한다.For sophisticated work processes, such as using a robot in a car manufacturing plant to place glass on a vehicle body and to assemble panels, precise and precise measurements and corrections of spacing and height differences between parts should be made.

부품 간 간격 및 높낮이차를 측정할 때 민감한 부품의 경우 접촉 방식으로 측정하면 변형 및 손상이 생길 수도 있기 때문에 이를 방지하기 위한 비접촉성 측정 방법이 널리 연구되고 있다.Non-contact measurement methods are widely studied to measure the gap and height difference between parts because sensitive parts may be deformed or damaged when measured by contact method.

비접촉성 측정 방법 중 대표적인 방법으로는 레이저 반사와 초음파 또는 빛 반사를 이용한 방법이 있다. 레이저 반사를 이용한 방법은 레이저 이미터와 수신기를 필요로 한다. 레이저 반사와 초음파 또는 빛 반사를 이용한 방법은 속도의 이점을 갖지만 반사율이 나쁜 객체의 경우에는 시스템이 제대로 작동하지 않는다는 단점이 있다. 그 외 이미지 기반의 측정 방법은 노이즈와 조명의 변화에 민감한 단점이 있다.Among the non-contact measurement methods, there are laser reflection and ultrasonic reflection or light reflection. The laser reflection method requires a laser emitter and a receiver. The use of laser reflections and ultrasound or light reflections has the advantage of speed, but in the case of objects with poor reflectivity, the system does not work well. Other image-based measurement methods are sensitive to changes in noise and illumination.

따라서, 반사율에 무관하고 고속의 정확한 측정 성능을 갖춘 비접촉성 측정 장치의 개발이 필요하다.Therefore, it is necessary to develop a non-contact measuring apparatus having high accuracy and high accuracy regardless of the reflectance.

본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2016-0079024호(2016. 07. 05. 공개)에 개시되어 있다.The technology of the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2016-0079024 (published on June 27, 2016).

본 발명이 이루고자 하는 기술적 과제는 CMOS 카메라와 멀티 라인 레이저를 이용하여 비접촉 방식으로 두 물체간 간격과 높낮이차를 측정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법을 제공하기 위한 것이다.The present invention provides a non-contact gap measuring apparatus and method using a single camera and a multi-line laser sensor for measuring a distance between two objects and a difference between two objects in a non-contact manner using a CMOS camera and a multi-line laser .

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치는, 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부; 상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부; 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 추정부를 포함한다. According to an aspect of the present invention, there is provided an apparatus for measuring an non-contact gap using a single camera and a multi-line laser sensor, the apparatus comprising: a camera for detecting a state of a plurality of light beams output from the laser sensor, An image obtaining unit that obtains a photographed image; A light extracting unit for analyzing the acquired image to extract n light beams (n is a natural number of 2 or more) including light rays having the highest intensity among a plurality of light rays included in the image; And an estimator for analyzing the degree of distortion of the extracted plurality of light beams using a camera coordinate system, a camera film image coordinate system, and a laser sensor coordinate system, and estimating an interval and height difference between the two objects according to the analysis result .

상기 광선 추출부는 상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출할 수 있다.The light extracting unit analyzes the image, recognizes the image as a light ray when the critical condition is satisfied, and extracts five consecutive light rays so that the light ray having the strongest intensity is located in the center.

상기 추정부는 레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(

Figure 112017026738435-pat00001
)을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타낼 수 있다.The estimating unit may perform physical conversion between the laser sensor coordinate system and the camera coordinate system
Figure 112017026738435-pat00001
) Can be expressed in a single matrix as shown in the following mathematical expression.

Figure 112017026738435-pat00002
Figure 112017026738435-pat00002

여기서,

Figure 112017026738435-pat00003
과
Figure 112017026738435-pat00004
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.here,
Figure 112017026738435-pat00003
and
Figure 112017026738435-pat00004
Is the physical rotation and physical transformation between the laser sensor coordinate system ( Laser X, Laser Y and Laser Z) and the camera coordinate system ( cam X, cam Y and cam Z), r is the individual column vector of the rotation matrix between coordinates, and T Is a symbol that creates a transpose matrix.

상기 추정부는 상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산할 수 있다.The estimator may calculate X, Y, and Z axis coordinates ( Laser X p , Laser Y p , and Laser Z p ) of the laser sensor according to the following equations.

Figure 112017026738435-pat00005
Figure 112017026738435-pat00005

Figure 112017026738435-pat00006
Figure 112017026738435-pat00006

Figure 112017026738435-pat00007
Figure 112017026738435-pat00007

여기서,

Figure 112017026738435-pat00008
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure 112017026738435-pat00009
는 카메라 좌표계의 고유 행렬이다.here,
Figure 112017026738435-pat00008
The coordinates of the actual ray detected on the camera film,
Figure 112017026738435-pat00009
Is a unique matrix of the camera coordinate system.

상기 추정부는 상기 레이저 센서 좌표계(LaserX, LaserY, LaserZ)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정할 수 있다.The estimating unit may estimate the distance and the height difference by calculating the horizontal distance and the vertical distance of the extracted ray using the laser sensor coordinate system ( Laser X, Laser Y, and Laser Z) as shown in the following equation.

Figure 112017026738435-pat00010
Figure 112017026738435-pat00010

여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.Here, Gap is the spacing between two objects, Flush is the height difference between two objects, Laser Z M and Laser X M are the Z-axis and X-axis coordinates of the end point of the light output on the left side of the two objects, Laser Z N And Laser X N are the Z-axis and X-axis coordinates of the starting point of the light beam output onto the object positioned on the right side of the two objects, respectively.

상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정될 수 있다.The camera may be fixed at an angle of 45 degrees from the setting position.

또한, 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법은, 간격 측정 장치가 상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 단계; 상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 단계; 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고, 상기 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 단계를 포함한다.Also, in the non-contact interval measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention, the interval measuring apparatus may be configured such that a plurality of light beams output from the laser sensor using the camera are output toward two objects Obtaining an image in which the state is photographed; Analyzing the acquired image to extract n light beams (n is a natural number of 2 or more) including light rays having the highest intensity among the plurality of light rays included in the image; And a step of analyzing a degree of distortion of the extracted plurality of light beams using a camera coordinate system, a camera film image coordinate system, and a laser sensor coordinate system, and estimating a gap between the two objects and a height difference therebetween according to the analysis result .

이와 같이 본 발명에 따르면, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높낮이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다. As described above, according to the present invention, it is possible to accurately measure the distance and height difference between two objects without contacting the objects by using the fixed CMOS camera and the multi-line laser sensor, so that the object can be effectively Can be applied and can be usefully used in a manufacturing process requiring precision.

또한 본 발명에 따르면, 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 가장 큰 5개의 광선을 연속적으로 추출하여 두 물체간 간격과 높낮이차를 측정하므로 측정 결과의 오차율을 저감할 수 있는 효과가 있다.According to the present invention, the photographed image is analyzed to continuously extract the five rays having the largest intensity among a plurality of rays in the image, thereby measuring the distance between the two objects and the height difference, thereby reducing the error rate of the measurement result .

도 1은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법의 동작 흐름을 도시한 순서도이다.
도 3은 본 발명의 실시예에 따른 이미지를 획득하기 위한 촬영 예이다.
도 4는 본 발명의 실시예에 따른 일반 물체 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.
도 5는 간격과 높낮이차가 없는 경우와 있는 경우의 실제 이미지를 나타낸 것이다.
도 6은 본 발명의 실시예에 따른 유리 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.
도 7은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 없는 경우를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 있는 경우를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 사용자 인터페이스 예이다.1 is a block diagram illustrating an apparatus for measuring an non-contact gap using a single camera and a multi-line laser sensor according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating an operation flow of a non-contact interval measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention.
3 is a photographing example for acquiring an image according to an embodiment of the present invention.
4 is a view showing an image of a light beam output on a surface of a general object according to an embodiment of the present invention.
FIG. 5 shows an actual image in the case where there is no gap and height difference.
6 illustrates an image of a light beam output to a glass surface according to an embodiment of the present invention.
7 is a view illustrating a case where there is no gap between two objects and a height difference in a non-contact gap measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention.
8 is a view showing a gap between two objects and a height difference in a non-contact gap measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention.
9 is an example of a user interface according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation.

또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Further, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

먼저, 도 1을 통해 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 대하여 설명한다.First, a non-contact gap measuring apparatus using a single camera and a multi-line laser sensor according to an embodiment of the present invention will be described with reference to FIG.

도 1은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치를 나타낸 블록구성도이다.1 is a block diagram illustrating an apparatus for measuring an non-contact gap using a single camera and a multi-line laser sensor according to an exemplary embodiment of the present invention.

도 1에서와 같이 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치(100)는, 이미지 획득부(110), 광선 추출부(120) 및 추정부(130)를 포함한다.1, an apparatus 100 for measuring an non-contact distance using a single camera and a multi-line laser sensor according to an exemplary embodiment of the present invention includes an image obtaining unit 110, a light extracting unit 120, .

먼저, 이미지 획득부(110)는 카메라(200)를 이용하여, 레이저 센서(300)에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득한다.First, the image obtaining unit 110 uses the camera 200 to obtain a photographed image of a state in which a plurality of light beams output from the laser sensor 300 are output toward two objects.

이때, 카메라(200) 및 레이저 센서(300)는 설정 위치에 고정되되, 카메라(200)는 설정 위치에서 45도 각도로 기울어져 고정되고, 레이저 센서(300)는 복수개의 광선을 출력하는 구조화된 멀티 라인 레이저 센서(300)이며, 카메라(200)는 레이저 센서(300)에서 출력되는 광선이 포함된 영상을 촬영하기 위한 CCD 카메라가 적용될 수 있다.At this time, the camera 200 and the laser sensor 300 are fixed at a set position, the camera 200 is fixed at an angle of 45 degrees from the set position, and the laser sensor 300 is structured to output a plurality of light beams A multi-line laser sensor 300, and a camera 200 may be a CCD camera for capturing an image including a light beam output from the laser sensor 300.

그리고, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 획득한 이미지에 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출한다.The light extracting unit 120 extracts n light beams (n is a natural number of 2 or more) including a light ray having the strongest intensity among a plurality of light rays from the image obtained by analyzing the image acquired by the image obtaining unit 110 do.

자세히는, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연속되는 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출한다.More specifically, the light extracting unit 120 analyzes the image acquired by the image acquiring unit 110, recognizes the image as a light ray when the critical condition is satisfied, extracts five consecutive light rays, .

즉, n=5 일때 검출 정확성이 가장 높으므로 연속되는 광선을 5개 추출하는 것이 가장 바람직하다.That is, since detection accuracy is the highest when n = 5, it is most preferable to extract five consecutive rays.

다시 말해 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 센 5개의 광선을 연속적으로 추출하여 측정하므로 측정 결과의 오차율을 저감할 수 있다.In other words, by analyzing the photographed image, it is possible to reduce the error rate of the measurement result by successively extracting and measuring the five rays of intensity among the plurality of rays in the image.

마지막으로 추정부(130)는 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 광선 추출부(120)에서 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체간 간격과 높이차를 추정한다.Finally, the estimating unit 130 analyzes the degree of distortion of the plurality of light beams extracted by the light extracting unit 120 using the predefined camera coordinate system, camera film image coordinate system, and laser sensor coordinate system, Estimate the distance and height difference.

이와 같이 본 발명의 실시예에 따른 비접촉성 간격 측정 장치(100)는 자동차 제조 공장 등에서 로봇을 이용하여 차량 바디에 유리를 끼우고 패널을 조립하는 것과 같은 정교한 작업 공정을 수행하는 과정에서 불량 발생 유무를 검사하기 위해 부품 간 간격과 높이차를 검사하는 용도로써 사용될 수 있다.As described above, the non-contact gap measuring apparatus 100 according to the embodiment of the present invention can be used in a manufacturing factory or the like in the process of performing a sophisticated work process such as sandwiching a glass on a vehicle body using a robot and assembling a panel, To check the gap and height difference between parts.

이하에서는 도 2를 통해 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에 대하여 설명한다.Hereinafter, a non-contact gap measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention will be described with reference to FIG.

도 2는 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.2 is a flowchart illustrating an operation flow of a non-contact interval measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention, and a specific operation of the present invention will be described with reference to FIG.

본 발명의 실시예에 따르면, 먼저 이미지 획득부(110)는 카메라(200)를 이용하여, 레이저 센서(300)에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득한다(S210). According to an embodiment of the present invention, first, the image obtaining unit 110 obtains a photographed image of a state in which a plurality of light beams output from the laser sensor 300 are output toward two objects using the camera 200 (S210).

도 3은 본 발명의 실시예에 따른 이미지를 획득하기 위한 촬영 예이다.3 is a photographing example for acquiring an image according to an embodiment of the present invention.

도 3에서와 같이 카메라(200) 및 레이저 센서(300)는 설정 위치에 고정되되, 카메라(200)는 설정 위치에서 45도 각도로 기울어져 고정되고, 레이저 센서(300)는 복수개의 광선(L)을 출력하는 멀티 라인 레이저 센서(300)이며, 카메라(200)는 레이저 센서(300)에서 출력되는 광선(L)이 포함된 영상을 촬영하기 위한 CCD 카메라가 적용될 수 있다.3, the camera 200 and the laser sensor 300 are fixed at a set position, and the camera 200 is fixed at an angle of 45 degrees from the set position, and the laser sensor 300 is provided with a plurality of light beams L And the camera 200 may be a CCD camera for capturing an image including the light beam L output from the laser sensor 300. The multi-

그리고, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 획득한 이미지에 복수의 광선(L) 중에서 강도가 가장 센 광선(L)을 포함하는 n(n은 2 이상의 자연수)개의 광선(L)을 추출한다(S220).The light extracting unit 120 extracts n (n is an integer equal to or larger than 2) including the light ray L having the strongest intensity among the plurality of light rays L in the image obtained by analyzing the image acquired by the image acquiring unit 110, A natural number) of light rays L are extracted (S220).

도 4는 본 발명의 실시예에 따른 일반 물체 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것으로, 도 4의 (A)는 이미지 획득부(110)에서 획득한 실제 이미지이고, (B)는 광선 추출부(120)에 의해 추출된 이미지이다.4 (A) is an actual image acquired by the image acquiring unit 110, (B) is an actual image acquired by the image acquiring unit 110, And is an image extracted by the extracting unit 120.

도 4에서와 같이 광선 추출부(120)는 도 4의 (A)와 같이 이미지 획득부(110)에서 획득한 이미지를 분석하여 임계 조건이 충족되는 경우 광선(L)으로 인식하고, 연속되는 5개의 광선을 추출하되 도 4의 (B)에서와 같이 강도가 가장 센 광선(L)이 가운데 위치하도록 추출한다.4, the light extracting unit 120 analyzes the image acquired by the image acquiring unit 110 as shown in FIG. 4A, recognizes the image as a light ray L when the critical condition is satisfied, Extracts the light beams so that the light ray having the highest intensity is located at the center as shown in FIG. 4 (B).

즉, n=5일 때 검출 정확성이 가장 높으므로 연속되는 광선(L)을 5개 추출하는 것이 가장 바람직하다That is, since detection accuracy is highest when n = 5, it is most preferable to extract five consecutive rays (L)

다시 말해 촬영된 영상을 분석하여 영상 속 다수개의 광선(L) 중 강도가 센 5개의 광선을 연속적으로 추출하여 측정하므로 측정 결과의 오차율을 저감할 수 있다.In other words, by analyzing the photographed image, it is possible to reduce the error rate of the measurement result by successively extracting and measuring five light beams having a high intensity among a plurality of light rays (L) in the image.

또한, 광선 추출부(120)는 레이저 센서(300) 발생기 구조, 노이즈 및 이미지 번짐 등을 고려하여 이미지 획득부(110)에서 획득된 이미지에 포함된 복수의 점들 중 임계 조건을 충족시키는 점들만 광선(L)인 것으로 인식하는 것이 바람직하다. The light extraction unit 120 extracts only the points satisfying the critical condition among the plurality of points included in the image acquired by the image acquisition unit 110 in consideration of the structure of the laser sensor 300, the generator structure, noise, (L).

도 5는 간격과 높낮이차가 없는 경우와 있는 경우의 실제 이미지를 나타낸 것이다.FIG. 5 shows an actual image in the case where there is no gap and height difference.

도 5의 (A)는 간격과 높낮이차가 없는 경우의 실제 이미지이고, 도 5의 (B)는 간격과 높낮이차가 있는 경우의 실제 이미지이다.FIG. 5A is an actual image when there is no gap and height difference, and FIG. 5B is an actual image when there is an interval and a height difference.

광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지가 도 5의 (A)인 경우에는, 강도가 가장 센 광선(L)이 가운데 위치하도록 연속되는 5개의 광선을 추출하지만, 도 5의 (B)와 같이 두 물체간에 간격(틈)이 있거나 높이가 상이한 경우에는 이미지에 출력된 광선(L)이 일직선이 아니므로 광선 추출부(120)는 이미지 분석 시 레이저 라인 생성기에 의해 생성된 라인 수와 동일한 세트로 묶고, 오름차순으로 스캔하여 광선(L)을 인식한다.5A, when the image acquired by the image obtaining unit 110 is extracted, the light extracting unit 120 extracts five consecutive light rays such that the light ray L having the highest intensity is located at the center, 5 (B), the light beam L outputted from the image is not a straight line, and therefore, the light beam extraction unit 120 may generate the light beam by the laser line generator in the image analysis And the light beam L is recognized by scanning in ascending order.

도 8은 본 발명의 실시예에 따른 유리 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.FIG. 8 shows an image of a light beam output on a glass surface according to an embodiment of the present invention.

도 8의 (A)는 이미지 획득부(110)에서 획득한 실제 이미지이고, (B)는 광선 추출부(120)에 의해 추출된 이미지이다.8A is an actual image acquired by the image acquisition unit 110, and FIG. 8B is an image extracted by the light extraction unit 120. FIG.

광선 추출부(120)는 측정하고자 하는 물체가 광선이 잘 반사되지 않는 유리와 같은 물체여서 도 8의 (A)와 같이 이미지가 획득된 경우에는 이미지 분석시 색상 보정을 먼저 수행한 후 물체의 수에 따라 다른 영역으로 분리하여 각 영역에 적합한 임계 값을 예측함으로써 도8의 (B)와 같이 광선(L)을 인식할 수도 있다.In the case where an object to be measured is an object such as a glass whose light rays are not well reflected, as shown in FIG. 8 (A), the light extracting unit 120 performs color correction first in image analysis, The light beam L can be recognized as shown in FIG. 8 (B) by separating the light beam L into different regions according to the region A and predicting an appropriate threshold value for each region.

마지막으로 추정부(130)는 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 광선 추출부(120)에서 추출된 복수의 광선(L)의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체(400a, 400b)간 간격과 높이차를 추정한다(S230).Finally, the estimator 130 analyzes the degree of distortion of the plurality of light beams L extracted by the light extracting unit 120 using a predefined camera coordinate system, a camera film image coordinate system, and a laser sensor coordinate system, The distance and height difference between the two objects 400a and 400b are estimated (S230).

먼저 본 발명의 실시예에 따른 카메라 필름상 이미지 좌표계(IPX, IPY, 1)와 카메라 좌표계(camX, camY, camZ) 사이의 관계는 아래의 수학식 1과 같이 표현된다.First, the relationship between the camera film-based image coordinate system ( IP X, IP Y, 1) and the camera coordinate system ( cam X, cam Y, cam Z) according to the embodiment of the present invention is expressed by Equation 1 below.

Figure 112017026738435-pat00011
Figure 112017026738435-pat00011

여기서, S는 카메라 필름상 이미지 좌표계(IPX, IPY, 1)에서의 위치벡터이고, w는 카메라 필름 상에 대한 스케일 파라미터이다.Where S is the position vector in the camera film image coordinate system ( IP X, IP Y, 1) and w is the scale parameter on the camera film.

이때, 카메라 좌표계(camX, camY, camZ) 내에서의 한점은 다음의 수학식 2와 같이 나타낼 수 있다.At this time, one point in the camera coordinate system ( cam X, cam Y, cam Z) can be expressed by the following equation (2).

Figure 112017026738435-pat00012
Figure 112017026738435-pat00012

추정부(130)는 레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(

Figure 112017026738435-pat00013
)을 다음의 수학식 3과 같이 단일 행렬 내에서 결합하여 나타낸다.The estimating unit 130 performs physical conversion between the laser sensor coordinate system and the camera coordinate system
Figure 112017026738435-pat00013
) Are combined in a single matrix as shown in the following Equation (3).

Figure 112017026738435-pat00014
Figure 112017026738435-pat00014

여기서,

Figure 112017026738435-pat00015
과
Figure 112017026738435-pat00016
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.here,
Figure 112017026738435-pat00015
and
Figure 112017026738435-pat00016
Is the physical rotation and physical transformation between the laser sensor coordinate system ( Laser X, Laser Y and Laser Z) and the camera coordinate system ( cam X, cam Y and cam Z), r is the individual column vector of the rotation matrix between coordinates, and T Is a symbol that creates a transpose matrix.

또한 추정부(130)는 레이저 센서(300)의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식 4와 같이 계산한다.The estimator 130 calculates the X, Y, and Z axis coordinates ( Laser X p , Laser Y p , and Laser Z p ) of the laser sensor 300 as shown in Equation (4) below.

Figure 112017026738435-pat00017
Figure 112017026738435-pat00017

Figure 112017026738435-pat00018
Figure 112017026738435-pat00018

Figure 112017026738435-pat00019
Figure 112017026738435-pat00019

여기서,

Figure 112017026738435-pat00020
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure 112017026738435-pat00021
는 카메라 좌표계의 고유 행렬이다.here,
Figure 112017026738435-pat00020
The coordinates of the actual ray detected on the camera film,
Figure 112017026738435-pat00021
Is a unique matrix of the camera coordinate system.

도 7은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 없는 경우를 나타낸 도면이고, 도 8은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 있는 경우를 나타낸 도면이다.FIG. 7 is a diagram illustrating a case where there is no gap between two objects and a height difference in a non-contact gap measurement method using a single camera and a multi-line laser sensor according to an embodiment of the present invention. FIG. And a gap between the two objects and a height difference in the non-contact gap measurement method using the camera and the multi-line laser sensor.

즉, 추정부(130)의 추정 결과 두 물체 간(400a, 400b)간 간격과 높이차가 없는 경우에는 도 7과 같은 광선(L)이 출력되고, 높이차가 없는 경우에는 도 8과 같은 광선(L)이 출력된다.That is, in the case where there is no difference in height and height between the two objects 400a and 400b as a result of the estimation by the estimating unit 130, the light ray L as shown in FIG. 7 is outputted, and when there is no height difference, Is output.

도 8의 경우 추정부(130)는 레이저 센서 좌표계(LaserX, LaserY, LaserZ)를 이용하여 다음의 수학식 5와 같이 추출된 광선(L)의 수평 거리와 수직거리를 계산하여 두 물체 간(400a, 400b) 간격과 높이차를 추정한다.8, the estimating unit 130 calculates the horizontal distance and the vertical distance of the extracted light ray L by using the laser sensor coordinate system ( Laser X, Laser Y, and Laser Z) as shown in Equation (5) And estimates the interval and height difference between the lanes 400a and 400b.

Figure 112017026738435-pat00022
Figure 112017026738435-pat00022

여기서 Gap는 두 물체(400a, 400b)간 간격, Flush는 두 물체(400a, 400b)간 높이차, LaserZM과 LaserXM은 각각 두 물체(400a, 400b)중 왼쪽에 위치한 물체(400a) 위로 출력된 광선(L)의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체(400a, 400b)중 오른쪽에 위치한 물체(400b) 위로 출력된 광선(L)의 시작점에 대한 Z축과 X축 좌표이다.Gap is the distance between the two objects 400a and 400b, Flush is the height difference between the two objects 400a and 400b, Laser Z M and Laser X M are objects 400a located on the left of the two objects 400a and 400b, Back to the Z axis and the X axis coordinate of the end point of the output light beam (L), Laser Z N and Laser X N is of the light beam (L) output over the object (400b) located to the right of each of the two bodies (400a, 400b) The Z-axis and X-axis coordinates for the starting point.

도 9는 본 발명의 실시예에 따른 사용자 인터페이스 예이다.9 is an example of a user interface according to an embodiment of the present invention.

간격 측정 장치(100)는 추정부(130)의 추정 결과 두 물체 간(400a, 400b) 간격과 높이차가 존재하는 경우에는 도 9에서와 같은 사용자 인터페이스를 통해 수학식 5에 의해 계산된 두 물체(400a, 400b)간 간격과 높이차만큼 보정이 이루어지도록 한다.When there is a difference in height between the two objects 400a and 400b as a result of estimation by the estimating unit 130, the interval measuring apparatus 100 calculates the distance between the two objects calculated by the equation (5) through the user interface as shown in FIG. 400a, and 400b.

상술한 바와 같이, 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법은, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높낮이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다. As described above, an apparatus and method for measuring an non-contact gap using a single camera and a multi-line laser sensor according to an embodiment of the present invention can detect a contactless gap by using a fixed CMOS camera and a multi- It is possible to accurately measure the distance between objects and the height difference, so that it can be effectively applied to a sensitive object whose surface is easily damaged by contact, and can be usefully used in a manufacturing process requiring precision.

또한 본 발명의 실시예에 따르면, 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 가장 큰 5개의 광선을 연속적으로 추출하여 두 물체간 간격과 높낮이차를 측정하므로 측정 결과의 오차율을 저감할 수 있는 효과가 있다.According to the embodiment of the present invention, the photographed image is analyzed to continuously extract the five rays having the largest intensity among a plurality of rays in the image, and the interval between the two objects and the height difference are measured, thereby reducing the error rate of the measurement result There is an effect that can be.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the scope of the invention as defined by the appended claims. will be. Therefore, the true scope of the present invention should be determined by the technical idea of the following claims.

100 : 간격 측정 장치 110 : 이미지 획득부
120 : 광선 추출부 130 : 추정부
200 : 카메라 300 : 레이저 센서
400 : 물체100: interval measuring apparatus 110: image obtaining unit
120: light extracting unit 130:
200: camera 300: laser sensor
400: object

Claims (12)

설정 위치에 고정된 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 있어서,
상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부;
상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부; 및
기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 추정부를 포함하고,
상기 추정부는,
레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
Figure 112018023087676-pat00052
)을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타내는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
Figure 112018023087676-pat00053

여기서,
Figure 112018023087676-pat00054
과
Figure 112018023087676-pat00055
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.A non-contact gap measuring apparatus using a single camera fixed to a setting position and a multi-line laser sensor,
An image obtaining unit for obtaining a photographed image of a state in which a plurality of light beams output from the laser sensor are output toward two objects using the camera;
A light extracting unit for analyzing the acquired image to extract n light beams (n is a natural number of 2 or more) including light rays having the highest intensity among a plurality of light rays included in the image; And
And an estimator for analyzing the degree of distortion of the extracted plurality of light beams using a predefined camera coordinate system, a camera film image coordinate system, and a laser sensor coordinate system, and estimating the distance and height difference between the two objects according to the analysis result,
Wherein the estimating unit comprises:
Physical Conversion between Laser Sensor Coordinate System and Camera Coordinate System (
Figure 112018023087676-pat00052
) As a non-contact gap measuring device using a single camera and a multi-line laser sensor, which are combined in a single matrix as shown in the following equation:
Figure 112018023087676-pat00053

here,
Figure 112018023087676-pat00054
and
Figure 112018023087676-pat00055
Is the physical rotation and physical transformation between the laser sensor coordinate system ( Laser X, Laser Y and Laser Z) and the camera coordinate system ( cam X, cam Y and cam Z), r is the individual column vector of the rotation matrix between coordinates, and T Is a symbol that creates a transpose matrix. 제1항에 있어서,
상기 광선 추출부는,
상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치.The method according to claim 1,
The light-
An apparatus for measuring an non-contact distance using a single camera and a multi-line laser sensor for analyzing the image and recognizing the image as a light ray when the critical condition is satisfied and extracting five consecutive rays while centering the light ray with the strongest intensity. 삭제delete 제1항에 있어서,
상기 추정부는,
상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
Figure 112018023087676-pat00027

Figure 112018023087676-pat00028

Figure 112018023087676-pat00029

여기서,
Figure 112018023087676-pat00030
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure 112018023087676-pat00031
는 카메라 좌표계의 고유 행렬이다.The method according to claim 1,
Wherein the estimating unit comprises:
Contact distance measuring device using a single camera and a multi-line laser sensor for calculating X, Y and Z axis coordinates of the laser sensor ( Laser X p , Laser Y p , and Laser Z p )
Figure 112018023087676-pat00027

Figure 112018023087676-pat00028

Figure 112018023087676-pat00029

here,
Figure 112018023087676-pat00030
The coordinates of the actual ray detected on the camera film,
Figure 112018023087676-pat00031
Is a unique matrix of the camera coordinate system. 제1항에 있어서,
상기 추정부는,
상기 레이저 센서 좌표계(LaserX, LaserY, LaserZ)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
Figure 112018023087676-pat00032

여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.The method according to claim 1,
Wherein the estimating unit comprises:
A single camera and a multi-line laser sensor for calculating the horizontal distance and the vertical distance of the extracted light beams using the laser sensor coordinate system ( Laser X, Laser Y, and Laser Z) Non-Contact Interval Measuring Device Using:
Figure 112018023087676-pat00032

Here, Gap is the spacing between two objects, Flush is the height difference between two objects, Laser Z M and Laser X M are the Z-axis and X-axis coordinates of the end point of the light output on the left side of the two objects, Laser Z N And Laser X N are the Z-axis and X-axis coordinates of the starting point of the light beam output onto the object positioned on the right side of the two objects, respectively. 제1항에 있어서,
상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정되는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치.The method according to claim 1,
Wherein the camera comprises a single camera and a multi-line laser sensor which are fixed at an angle of 45 degrees from the set position. 설정 위치에 고정된 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 의해 수행되는 비접촉성 간격 측정 방법에 있어서,
상기 간격 측정 장치가 상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 단계;
상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 단계; 및
기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고, 상기 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 단계를 포함하고,
상기 두 물체간 간격과 높이차를 추정하는 단계는,
레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
Figure 112018023087676-pat00056
)을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타내는 비접촉성 간격 측정 방법:
Figure 112018023087676-pat00057

여기서,
Figure 112018023087676-pat00058
과
Figure 112018023087676-pat00059
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.A non-contact gap measuring method performed by a non-contact gap measuring apparatus using a single camera fixed to a setting position and a multi-line laser sensor,
Wherein the interval measuring device is configured to obtain a photographed image of a state in which a plurality of light beams output from the laser sensor are output toward two objects using the camera;
Analyzing the acquired image to extract n light beams (n is a natural number of 2 or more) including light rays having the highest intensity among the plurality of light rays included in the image; And
Analyzing the degree of distortion of the extracted plurality of rays using a predefined camera coordinate system, a camera film image coordinate system, and a laser sensor coordinate system, and estimating an interval and a height difference between the two objects according to the analysis result and,
The step of estimating the distance and height difference between the two objects comprises:
Physical Conversion between Laser Sensor Coordinate System and Camera Coordinate System (
Figure 112018023087676-pat00056
) In a single matrix as shown in the following equation: < EMI ID =
Figure 112018023087676-pat00057

here,
Figure 112018023087676-pat00058
and
Figure 112018023087676-pat00059
Is the physical rotation and physical transformation between the laser sensor coordinate system ( Laser X, Laser Y and Laser Z) and the camera coordinate system ( cam X, cam Y and cam Z), r is the individual column vector of the rotation matrix between coordinates, and T Is a symbol that creates a transpose matrix. 제7항에 있어서,
상기 광선을 추출하는 단계는,
상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출하는 비접촉성 간격 측정 방법.8. The method of claim 7,
The step of extracting the light ray comprises:
Analyzing the image, recognizing the image as a light beam when the critical condition is satisfied, and extracting five consecutive light rays, wherein the light ray having the strongest intensity is located at the center. 삭제delete 제7항에 있어서,
상기 두 물체간 간격과 높이차를 추정하는 단계는,
상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산하는 비접촉성 간격 측정 방법:
Figure 112018023087676-pat00037

Figure 112018023087676-pat00038

Figure 112018023087676-pat00039

여기서,
Figure 112018023087676-pat00040
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure 112018023087676-pat00041
는 카메라 좌표계의 고유 행렬이다.8. The method of claim 7,
The step of estimating the distance and height difference between the two objects comprises:
Contactless gap measuring method for calculating X, Y and Z axis coordinates ( Laser X p , Laser Y p , and Laser Z p ) of the laser sensor according to the following equations, respectively:
Figure 112018023087676-pat00037

Figure 112018023087676-pat00038

Figure 112018023087676-pat00039

here,
Figure 112018023087676-pat00040
The coordinates of the actual ray detected on the camera film,
Figure 112018023087676-pat00041
Is a unique matrix of the camera coordinate system. 제7항에 있어서,
상기 두 물체간 간격과 높이차를 추정하는 단계는,
상기 레이저 센서 좌표계(LaserX, LaserY, LaserZ)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정하는 비접촉성 간격 측정 방법:
Figure 112018023087676-pat00042

여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.8. The method of claim 7,
The step of estimating the distance and height difference between the two objects comprises:
And calculating a horizontal distance and a vertical distance of the extracted light beam by using the laser sensor coordinate system ( Laser X, Laser Y, and Laser Z)
Figure 112018023087676-pat00042

Here, Gap is the spacing between two objects, Flush is the height difference between two objects, Laser Z M and Laser X M are the Z-axis and X-axis coordinates of the end point of the light output on the left side of the two objects, Laser Z N And Laser X N are the Z-axis and X-axis coordinates of the starting point of the light beam output onto the object positioned on the right side of the two objects, respectively. 제7항에 있어서,
상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정되는 비접촉성 간격 측정 방법.8. The method of claim 7,
Wherein the camera is fixed at an angle of 45 degrees from the set position.
KR1020170033896A 2016-10-14 2017-03-17 Non-contact gap measurement apparatus using monocular multi-line laser sensor and method thereof KR101889497B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160133404 2016-10-14
KR20160133404 2016-10-14

Publications (2)

Publication Number Publication Date
KR20180041552A KR20180041552A (en) 2018-04-24
KR101889497B1 true KR101889497B1 (en) 2018-08-17

Family

ID=62085058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170033896A KR101889497B1 (en) 2016-10-14 2017-03-17 Non-contact gap measurement apparatus using monocular multi-line laser sensor and method thereof

Country Status (1)

Country Link
KR (1) KR101889497B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527096A (en) 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ Determination of surface wave propagation velocity
JP2015224949A (en) 2014-05-27 2015-12-14 株式会社アイティーティー Object measurement device and object measurement method
JP2016080545A (en) * 2014-10-17 2016-05-16 株式会社リコー Measuring device, projection pattern

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9810641B2 (en) * 2013-09-03 2017-11-07 Kulicke & Soffa Industries, Inc. Systems and methods for measuring physical characteristics of semiconductor device elements using structured light

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527096A (en) 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ Determination of surface wave propagation velocity
JP2015224949A (en) 2014-05-27 2015-12-14 株式会社アイティーティー Object measurement device and object measurement method
JP2016080545A (en) * 2014-10-17 2016-05-16 株式会社リコー Measuring device, projection pattern

Also Published As

Publication number Publication date
KR20180041552A (en) 2018-04-24

Similar Documents

Publication Publication Date Title
Fuchs et al. Extrinsic and depth calibration of ToF-cameras
KR102424135B1 (en) Structured light matching of a set of curves from two cameras
RU2529594C1 (en) Calibration device, distance measurement system, calibration method and calibration programme
CN110503040B (en) Obstacle detection method and device
US20130230235A1 (en) Information processing apparatus and information processing method
US20080204763A1 (en) Measuring Apparatus and Method For Range Inspection
US20080101722A1 (en) Correlation peak finding method for image correlation displacement sensing
JP6138861B2 (en) Distance calculation device
CN103292701A (en) Machine-vision-based online dimensional measurement method of precise instrument
CN108513121B (en) Method and apparatus for depth map evaluation of a scene
KR102014097B1 (en) calibration system of scanner and camera
CN110261052B (en) Structural vibration mode analysis system and method adopting force hammer excitation and photogrammetry
Tran et al. Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly
CN111678518B (en) Visual positioning method for correcting automatic parking path
KR101090082B1 (en) System and method for automatic measuring of the stair dimensions using a single camera and a laser
CN112313541A (en) Apparatus and method
WO2018120168A1 (en) Visual detection method and system
US9341470B2 (en) Light section sensor
CN112740065A (en) Enhanced depth mapping using visual inertial ranging
US10466039B2 (en) Surface shape measuring method and surface shape measuring device
KR101238748B1 (en) System for measuring distance of target using step-staring infrared sensor unit
KR101889497B1 (en) Non-contact gap measurement apparatus using monocular multi-line laser sensor and method thereof
Xiao et al. A new three-dimensional laser scanner design and its performance analysis
JP2007114168A (en) Image processing method, device, and program
US20020005956A1 (en) Method and device for measuring three-dimensional position

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right