KR100516395B1 - Visual sensor system and environment modeling method for autonomous mobile welding robots - Google Patents
Visual sensor system and environment modeling method for autonomous mobile welding robots Download PDFInfo
- Publication number
- KR100516395B1 KR100516395B1 KR10-2003-0001386A KR20030001386A KR100516395B1 KR 100516395 B1 KR100516395 B1 KR 100516395B1 KR 20030001386 A KR20030001386 A KR 20030001386A KR 100516395 B1 KR100516395 B1 KR 100516395B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- laser
- welding
- sensor system
- environment
- Prior art date
Links
- 238000003466 welding Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 title 1
- 238000004387 environmental modeling Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 27
- 238000005259 measurement Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- HSFWRNGVRCDJHI-UHFFFAOYSA-N Acetylene Chemical compound C#C HSFWRNGVRCDJHI-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D81/00—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents
- B65D81/18—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents providing specific environment for contents, e.g. temperature above or below ambient
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D45/00—Clamping or other pressure-applying devices for securing or retaining closure members
- B65D45/32—Clamping or other pressure-applying devices for securing or retaining closure members for applying radial or radial and axial pressure, e.g. contractible bands encircling closure member
- B65D45/34—Clamping or other pressure-applying devices for securing or retaining closure members for applying radial or radial and axial pressure, e.g. contractible bands encircling closure member lever-operated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D81/00—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents
- B65D81/38—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents with thermal insulation
- B65D81/3837—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents with thermal insulation rigid container in the form of a bottle, jar or like container
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
- B65D81/00—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents
- B65D81/38—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents with thermal insulation
- B65D81/3837—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents with thermal insulation rigid container in the form of a bottle, jar or like container
- B65D81/3841—Containers, packaging elements, or packages, for contents presenting particular transport or storage problems, or adapted to be used for non-packaging purposes after removal of contents with thermal insulation rigid container in the form of a bottle, jar or like container formed with double walls, i.e. hollow
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G23/00—Other table equipment
- A47G23/02—Glass or bottle holders
- A47G2023/0275—Glass or bottle holders with means for keeping food cool or hot
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법에 관한 것으로, 특히 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현할 수 있도록 한 센서 시스템 및 환경 모델링 방법에 관한 것이다. 본 발명에 따른 자율주행 용접로봇을 위한 센서 시스템은 폐쇄블록내의 용접선을 추적하기 위한 용접로봇의 센서 시스템에 있어서, 특정 객체로 레이저 슬릿광을 주사하는 적어도 하나 이상의 레이저 다이오드와, 상기 레이저 슬릿광이 주사된 특정 객체의 영상을 획득하는 카메라를 포함하며, 상기 카메라에 의해 획득된 영상으로부터 용접환경을 인식하는 것을 특징으로 한다.The present invention relates to a sensor system and an environmental modeling method for an autonomous welding robot, in particular, a sensor system for recognizing a closed block welding environment of a ship, detecting a welding line, and implementing environmental modeling of a robot using a laser strip. And an environment modeling method. Sensor system for a self-driving welding robot according to the present invention is a sensor system of a welding robot for tracking the weld seam in a closed block, at least one laser diode for scanning a laser slit light to a specific object, the laser slit light is And a camera for acquiring an image of the scanned specific object, and recognizing a welding environment from the image acquired by the camera.
Description
본 발명은 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법에 관한 것으로, 특히 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현할 수 있도록 한 센서 시스템 및 환경 모델링 방법에 관한 것이다.The present invention relates to a sensor system and an environmental modeling method for an autonomous welding robot, in particular, a sensor system for recognizing a closed block welding environment of a ship, detecting a welding line, and implementing environmental modeling of a robot using a laser strip. And an environment modeling method.
로봇 응용 기술과 공정 제어 기술의 발달은 선박 건조 공정에서의 자동화를 급속도로 진행시키고 있다. 높은 인건비와 작업자가 겪게 되는 열악한 작업환경문제를 해결하고, 생산량 증대와 품질 향상을 위해 선박 건조 공정에서의 용접 공정의 자동화는 필수이다. 선박 건조에 있어서 용접 공정 자동화의 역할은 로봇기술을 이용한 생산 자동화 라인에서 선박 구조물의 중간 조립체를 제작하는 것이다. 중간 조립체 제작 공정은 향후에 선박의 외벽을 구성하게 되는 철판재로 이루어진 구조물의 용접 공정으로서, 첫 번째 단계인 개방 블록 용접(open block welding)과 두 번째 단계인 폐쇄 블록 용접(colsed block welding)으로 구분된다. 용접 자동화에 대한 필요성의 증대와 함께 다수의 연구자들이 이 분야의 로봇 용접에 대해 연구를 수행해 오고 있다. 개방 블록 용접의 경우, 대형 XYZ 위치 결정기구와 다축 로봇으로 구성되는 갠트리형(Gantry type) 용접 로봇 시스템과 소형 이동 로봇으로 다축 용접 로봇을 이송시키는 형태의 이동 용접 로봇 시스템이 현재 개발되어 실제 현장에 적용되고 있다. 개방 블록의 용접은 용접 구조물의 상판이 없기 때문에, 갠트리형 로봇의 접근이나 소형 이동 로봇의 투입이 상대적으로 쉽다. 하지만, 기 개발된 로봇 시스템은 자율성이 없어 CAD 정보에 대한 실제 환경의 변화에 전혀 적응하지 못하며 잘 정리되고 단순한 작업에 한하여 적용이 되고 있다. 더구나, 이러한 개방 블록 용접의 자동화 현황에 비하여 폐쇄 블록 용접에 대한 연구와 개발은 상대적으로 부족한 상황이다. 폐쇄 블록 용접의 경우, 특히 작업 환경이 협소한 밀폐 공간이므로 해로운 용접 가스와 어두운 작업환경 때문에 작업자가 작업을 수행하기에 많은 어려움을 겪고 있다. 최근 이러한 요구에 부응하여 폐쇄형 블록 용접 공정의 자동화에 대한 연구가 선박 선진국인 덴마크, 스페인, 일본 등을 중심으로 진행되고 있다.The development of robot application technology and process control technology is rapidly progressing automation in shipbuilding process. Automation of the welding process in the shipbuilding process is essential in order to solve high labor costs and poor working environment problems that workers face and to increase production and quality. The role of welding process automation in shipbuilding is to manufacture intermediate assemblies of ship structures in production automation lines using robotic technology. The intermediate assembly manufacturing process is a welding process of a steel plate structure that will form the outer wall of a ship in the future. The first step is open block welding and the second step is cold block welding. Are distinguished. With the growing need for welding automation, many researchers have been working on robotic welding in this field. In the case of open block welding, a gantry type welding robot system consisting of a large XYZ positioning mechanism and a multi-axis robot and a mobile welding robot system for transferring a multi-axis welding robot to a small mobile robot are currently developed and Is being applied. Since welding of open blocks does not have a top plate of the welding structure, it is relatively easy to access a gantry robot or to insert a small mobile robot. However, the robot system developed in advance is not autonomous, so it does not adapt to changes in the actual environment for CAD information and is applied to well-organized and simple work. Moreover, the research and development of closed block welding is relatively insufficient compared to the automation status of such open block welding. In the case of closed block welding, in particular, since the working environment is a narrow enclosed space, it is difficult for the operator to perform the work due to the harmful welding gas and the dark working environment. In recent years, in response to such demands, research on automation of the closed block welding process has been conducted mainly in Denmark, Spain, and Japan, which are advanced ships.
도 1은 종래의 선박 중간조립공정의 폐쇄블록내부와 이동로봇의 주행경로를 나타내는 도면이다.1 is a view showing the inside of the closed block and the traveling path of the mobile robot of the conventional vessel intermediate assembly process.
도시된 바와 같이, 하나의 폐쇄블록은 플로어(Floor : 1)와 Girder(2)로 불리는 대형 철판재가 양쪽 벽면, 그리고 베이스 판넬(Base panel : 3)이 바닥과 천장을 구성하는 공간이다. 내부는 론지(Longi : 4)라 불리는 가로막들에 의해 다시 길고 폭이 좁은 사각 공간으로 나뉘어져 있고, 여러 목적을 위한 파이프 라인(Pipe Line : 5)들이 설치되어 있다. 이러한 블록은 플로어 홀(Floor Hole : 6)이나 Girder Hole(7)로 서로 연결되어 있으며 수동 용접 작업동안 작업자는 이구멍을 통하여 작업 공간을 드나들게 된다. 작업 환경이 플로어(1)와 Girder(2)로 거의 밀폐된 공간이므로 용접 작업동안 발생하는 용접 연기를 배출하는 것이 쉽지 않으며 작업자의 원활한 작업이 가능하도록 환풍기가 별도 설치된다. 폐쇄 블록내에서의 수작업 용접이 로봇 용접으로 자동화 될 때 가능한 이동 로봇의 작업 경로 예가 그림에 도시되어 있다. 로봇용접(8)은 주행 경로상에 있는 론지(4)를 건너갈 수 있는 기능이 필수적이다. 한 블록 내에서 작업을 마치고 난후, 로봇용접(8)은 플로어 홀(6)을 통해 다음 블록으로 이동하게 된다. 로봇용접(8)이 주행하는 폐쇄 블록의 환경은 대부분 판재 구조물로 이루어진 평면 조합 환경이다. 이러한 환경하에서 로봇용접(8)이 구조물을 가로질러 주행을 하고 장애물을 피해 작업공간에 접근하고 작업 공간내에서 정확한 용접선을 찾아내어 용접을 수행한다는 것은 고도의 기술이 필요한 작업이다. 로봇용접(8)은 최종 용접 작업 지점에 도착하기 위해 주행 경로상이나 용접을 위한 로봇 팔의 경로상에 있는 장애물을 인식하고 회피할 수 있는 능력을 가지고 있어야만 한다. 이를 위해, 로봇용접(8)이 용접선과 작업 환경을 인식할 수 있도록 광 삼각법의 원리를 기초로 레이저 구조광(structured light)을 이용하는 센서 시스템이 개발되어 오고 있다.As shown, one closed block is a space in which a large steel plate called Floor (1) and a Girder (2) has both walls, and a base panel (3) forms a floor and a ceiling. The interior is divided into long and narrow rectangular spaces by barriers called Longi (4), and pipe lines (5) are installed for various purposes. These blocks are connected to each other by a floor hole (6) or a girder hole (7). During manual welding, the worker enters and exits the working space through the hole. Since the working environment is almost a closed space with the floor (1) and the girder (2), it is not easy to discharge the welding smoke generated during the welding operation, and a fan is separately installed to enable a smooth operation of the worker. An example of the working path of a mobile robot that is possible when manual welding in a closed block is automated by robot welding is shown in the figure. Robot welding 8 is essential to the ability to cross the long 4 on the travel path. After the work is completed in one block, the robot welding 8 moves to the next block through the floor hole 6. The environment of the closed block on which the robot welding 8 travels is a planar combination environment consisting mostly of plate structures. Under these circumstances, it is a highly technical task that the robot welding 8 travels across the structure, avoids obstacles, approaches the work space, finds the correct welding line in the work space, and performs welding. The robot welding 8 must have the ability to recognize and avoid obstacles on the travel path or on the path of the robotic arm for welding to arrive at the final welding work point. To this end, a sensor system using laser structured light has been developed based on the principle of optical triangulation so that the robot welding 8 can recognize the welding line and the working environment.
따라서, 본 발명의 목적은 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현함으로써 폐쇄 블록 용접시 용접 가스와 어두운 작업환경으로 인해 작업자가 겪어야만 했던 많은 어려움을 극복할 수 있는 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법을 제공함에 있다.Accordingly, an object of the present invention is to recognize the welding environment of the closed block of the ship, to detect the welding line, and to implement the environmental modeling of the robot using a laser strip, so that the operator had to suffer due to the welding gas and the dark working environment during the closed block welding The present invention provides a sensor system and environmental modeling method for autonomous welding robots that can overcome difficulties.
상기 목적을 달성하기 위한 본 발명의 자율주행 용접로봇을 위한 센서 시스템은 폐쇄블록내의 용접선을 추적하기 위한 용접로봇의 센서 시스템에 있어서, 특정 객체로 레이저 슬릿광을 주사하는 적어도 하나 이상의 레이저 다이오드와, 상기 레이저 슬릿광이 주사된 특정 객체의 영상을 획득하는 카메라를 포함하며, 상기 카메라에 의해 획득된 영상으로부터 용접환경을 인식한다.A sensor system for an autonomous welding robot of the present invention for achieving the above object is a sensor system of a welding robot for tracking the weld line in the closed block, at least one laser diode for scanning the laser slit light to a specific object, And a camera for acquiring an image of the specific object scanned by the laser slit light, and recognizing a welding environment from the image acquired by the camera.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 실시예에 의한 폐쇄블록 용접로봇 시스템의 사시도이다.Figure 2 is a perspective view of a closed block welding robot system according to an embodiment of the present invention.
도시된 바와 같이, 용접로봇 시스템은 크게 실제 용접 작업을 수행하는 다축 용접 로봇(10)과 상기 용접 로봇(10)을 원하는 위치로 이동시켜 주는 역할을 하는 주행 플랫폼(20), 그리고 작업환경과 용접선을 인식하기 위한 센서 시스템(30)으로 구성된다.As shown in the drawing, the welding robot system includes a multi-axis welding robot 10 which greatly performs actual welding work, a traveling platform 20 which serves to move the welding robot 10 to a desired position, and a working environment and a welding line. It consists of a sensor system 30 for recognizing.
상기 주행 플랫폼(20)은 용접 로봇이 정해진 지역내에서 용접 작업을 마쳤을 때, 다른 용접 지역으로 자유롭게 이동하기 위해 Longi를 타고 넘을 수 있는 매카니즘을 가지고 있다. 따라서, 상기 용접 로봇(10)은 두 Longi 사이에 형성되는 작업공간 내에서 자유롭게 주행할 수 있을 뿐만 아니라, Longi들로 가로 막혀 있는 폐쇄 블록내의 전체 주행 공간에서도 승강 기구를 통한 자유로운 이동이 가능하다.The traveling platform 20 has a mechanism that, when the welding robot has completed the welding operation within a predetermined area, can travel over Longi to move freely to another welding area. Therefore, the welding robot 10 can freely travel in the working space formed between the two Longi, and can move freely through the lifting mechanism even in the entire traveling space in the closed block blocked by the Longi.
상기와 같이 구성되는 본 발명의 로봇 시스템에 의한 두 Longi 사이의 작업 공간에서 용접로봇의 작업 순서는 다음과 같다.The working sequence of the welding robot in the working space between the two Longi by the robot system of the present invention configured as described above is as follows.
먼저, 작업 공간내에서의 용접 환경을 인식하는 과정과, 획득된 3차원 환경지도와 주어진 CAD 데이터의 정합을 통해 로봇 위치 및 자세를 파악하는 과정과, 작업 공간내에서의 장애물 정보를 추출하여 인식하는 과정과, 용접이 수행되어야 할 용접선을 검출하는 과정과, 용접을 위한 용접 로봇 팔의 경로를 계획하는 과정과, 용접을 수행하는 과정으로 이루어진다.First, the process of recognizing the welding environment in the working space, the process of identifying the robot position and posture through matching the acquired 3D environment map and the given CAD data, and extracting and recognizing the obstacle information in the working space And a process of detecting a welding line to be welded, a process of planning a path of a welding robot arm for welding, and a process of performing welding.
상기와 같은 용접 작업이 성공적으로 끝났을 때, 상기 주행 플랫폼(20)은 정해진 용접 스케줄에 따라 다음 작업 공간인 건너편 Longi 사이로 상기 용접 로봇(10)을 위치하게 한다.When such a welding operation has been successfully completed, the traveling platform 20 positions the welding robot 10 between the next working space, Longi, across, according to a defined welding schedule.
도 3은 도 2의 센서 시스템의 개념도이고, 도 4는 센서 시스템의 구성도이다.3 is a conceptual diagram of the sensor system of FIG. 2, and FIG. 4 is a configuration diagram of the sensor system.
도시된 바와 같이, 전체 센서 시스템은 슬릿광을 발생시키는 세 개의 다이오드 레이저(33,34,35)와 영상을 획득하는 두 개의 소형 카메라(31,32)로 구성된다. 이와 같이 구성되는 본 발명의 센서 시스템은 로봇이 주행하는 환경을 인식하고 용접 작업을 할 때 용접선을 인식하기 위한 것이다.As shown, the entire sensor system consists of three diode lasers 33, 34, 35 for generating slit light and two small cameras 31, 32 for acquiring an image. The sensor system of the present invention configured as described above is for recognizing an environment in which the robot travels and recognizing a welding line when performing a welding operation.
상기 소형 카메라(31)와 다이오드 레이저(33,34)는 환경인식을 위해 사용되고, 상기 소형 카메라(32)와 상기 다이오드 레이저(35)는 용접선 추적을 위해 사용된다. 두 개의 레이저 슬릿광은 평면으로 구성된 구조화 환경을 보다 쉽게 인식하기 위해 적용된다.The miniature camera 31 and the diode lasers 33 and 34 are used for environmental recognition, and the miniature camera 32 and the diode laser 35 are used for welding seam tracking. Two laser slit lights are applied to make it easier to recognize a planar structured environment.
도 5는 본 발명의 실시예에 의한 선분중심 추출을 위한 신경망 구조를 나타내는 도면이다.5 is a diagram illustrating a neural network structure for line segment center extraction according to an embodiment of the present invention.
도시된 바와 같이, 신경회로망은 다층 퍼셉트론(multi-layer perceptron)이며, 입력층, 2개의 은닉층, 그리고 출력층으로 구성된다.As shown, the neural network is a multi-layer perceptron and consists of an input layer, two hidden layers, and an output layer.
상기 입력층은 35개의 퍼셉트론으로 구성되며 상기 은닉층은 각각 20개와 10개의 퍼셉트론, 그리고 상기 출력층은 1개의 퍼셉트론을 가진다.The input layer consists of 35 perceptrons, the hidden layer each having 20 and 10 perceptrons, and the output layer having one perceptron.
신경 회로망의 입력은 수직방향 탐색창 A의 중심위치인 영상좌표(u, v)와 수직방향 탐색창내의 영상 밝기 값들이 사용되고, 신경망의 출력은 탐색 창 내에 있는 레이저 스트립의 분포도(Pline_enter)이다. 신경 회로망 마스크의 중심위치가 레이저 스트립의 중심에 놓여 있을 때, 이 분포도는 1에 가까운 최대치를 나타낸다. 신경망의 학습과정동안 영상에서의 레이저 스트립의 수직방향 광 분포와 레이저 띠의 중심에 일치하는 탐색 창의 중심 영상 좌표가 레이저의 두께 학습을 위해 주어진다. 학습 과정 후에, 신경 회로망을 이용한 신호 필터는 스트립의 분포도를 추정하여 레이저 스트립의 중심점을 계산할 수 있으며, 이를 영상의 횡방향으로 각각 수행하면 영상에서 레이저 스트립의 중심선을 추출할 수 있다. 레이저 띠가 영상의 열방향과 거의 평행하기 때문에 신경망 필터는 영상의 행방향으로 작동한다. 다층 신경 회로망의 가중치(weight) 학습을 위해 Modified back propagation 방법의 하나인 delta-bar-delta 학습방법이 사용된다.The input of the neural network uses the image coordinates (u, v), which are the center positions of the vertical search window A, and the image brightness values in the vertical search window, and the output of the neural network is the distribution of the laser strip (P line_enter ) in the search window. . When the central position of the neural network mask lies at the center of the laser strip, this distribution shows a maximum close to one. During the learning process of the neural network, the center image coordinates of the search window coincident with the center of the laser strip and the vertical light distribution of the laser strip in the image are given for the laser thickness learning. After the learning process, the signal filter using the neural network can calculate the center point of the laser strip by estimating the distribution of the strip, and by performing this in the lateral direction of the image, the center line of the laser strip can be extracted from the image. The neural network filter operates in the row direction of the image because the laser strip is almost parallel to the column direction of the image. The delta-bar-delta learning method, which is one of the modified back propagation methods, is used for weight learning of multilayer neural networks.
wji(n)을 학습 순서 n 번째에서 신경노드 i와 노드 j를 연결하는 가중치라 하고, 이때 ηji(n)를 해당하는 가중치의 학습률이라 하면, 가변하는 학습률 계수의 갱신 법칙은 다음의 수학식 1로 정의된다.If w ji (n) is a weight that connects the neural node i and node j in the learning order nth, and η ji (n) is a learning rate of the corresponding weight, the updating law of the variable learning rate coefficient is It is defined by Equation 1.
여기서, Dji(n)과 Sji(n)은 다음으로 각각 정의된다.Here, D ji (n) and S ji (n) are respectively defined as follows.
여기서, ξ는 양의 값인 상수이고, κ와 β는 학습률의 제어 변수이다. 그리고 E(n)은 오차의 합으로 정의되는 가격함수이다.Where ξ is a positive constant and κ and β are control variables of the learning rate. And E (n) is a price function defined as the sum of errors.
여기서 yj(n)는 신경 노드 j의 출력이며, 그리고 dj(n)는 이때의 희망 출력치이다. 신경노드 ji의 가중치를 갱신시키는 법칙은 다음의 수학식 2와 같다.Where y j (n) is the output of neural node j, and d j (n) is the desired output at this time. The law for updating the weight of the neural node ji is as shown in Equation 2 below.
도 6 내지 8은 도 5의 신경 회로망에 기초한 공간필터를 이용하여 레이저의 두께가 변화하는 입력 영상에서 레이저의 중심을 추출한 결과 영상을 나타내는 도면이다.6 to 8 are diagrams illustrating an image of a result of extracting the center of a laser from an input image in which the thickness of a laser is changed using a spatial filter based on the neural network of FIG. 5.
도 6은 작업 공간에 주사된 레이저 띠의 카메라 획득 영상을 부분 확대한 것이고, 도 7은 하나의 입력 영상에 대해 레이저가 일정한 두께를 가진다고 가정하는 일반적인 방법에 의해 추출한 레이저 중심을 나타내며, 도 8은 제안된 신경회로망에 의해 적응적으로 레이저 두께를 추정하는 기법에 의한 레이저 중심의 추출결과를 보여준다.FIG. 6 is a partial enlarged view of a camera acquired image of a laser strip scanned in a working space, FIG. 7 shows a laser center extracted by a general method assuming that a laser has a constant thickness for one input image, and FIG. The results of laser center extraction by the method of adaptively estimating the laser thickness by the proposed neural network are shown.
이와 같이, 획득영상에서의 레이저 두께 변화에 대해 제안된 방법이 일반적으로 사용되는 방법보다 강인한 결과를 보인다는 것을 알 수 있다.In this way, it can be seen that the proposed method for the laser thickness change in the acquired image shows stronger results than the generally used method.
도 9는 본 발명의 실시예에 의한 센서 시스템의 연기에 대한 강인성을 보여주는 실험에 의한 도면으로, 영상은 삼각뿔의 물체에 레이저를 주사하여 얻어졌으며, 인공 연기를 발생시켜 제안한 기법의 한계를 알아보았다. 공기의 투과도가 낮아질수록 레이저의 중심 추출이 어려워지는 것을 알 수 있다. 여러 번의 실험 결과 45% 미만의 투과도에 대해서는 추출결과에 연기의 유동에 의한 노이즈가 많이 생기는 것을 관찰할 수 있었다. 반면에 45% 이상의 투과도에 대해서는 중심 추출 결과가 1 픽셀 이내로 수렴한다.FIG. 9 is an experimental diagram showing the robustness to smoke of a sensor system according to an embodiment of the present invention. An image was obtained by scanning a laser beam on an object of a triangular pyramid. . It can be seen that the lower the air permeability, the more difficult the center extraction of the laser becomes. As a result of several experiments, it was observed that for the transmittance of less than 45%, the noise generated by the flow of smoke appeared in the extraction results. On the other hand, for more than 45% transmittance, the center extraction results converge within 1 pixel.
도 10은 본 발명의 실시예에 의한 센서 시스템의 보정 개념도이다.10 is a conceptual diagram of correction of a sensor system according to an exemplary embodiment of the present invention.
도시된 바와 같이, 고정 좌표계인 OXYZ는 전체 좌표계를 나타내고, 2차원 좌표계인 uv는 영상평면에서의 영상픽셀 좌표계를 나타낸다. 그리고, X'Y'은 영상중심 좌표계이다. 영상에서 레이저 스트립의 2차원 좌표값인 (u,v)로부터 레이저 스트립이 투사되는 3차원 공간의 좌표값(x,y,z)을 계산하기 위한 전체 좌표계와 영상픽셀 좌표계를 연관시키는 변환 행렬 M(4 ×3 행렬)은 다음의 수학식 3과 같다.As shown, OXYZ, a fixed coordinate system, represents the global coordinate system, and uv, a two-dimensional coordinate system, represents an image pixel coordinate system in the image plane. X'Y 'is an image center coordinate system. Transformation matrix M that associates the image pixel coordinate system with the global coordinate system for calculating the coordinate values (x, y, z) in the three-dimensional space in which the laser strip is projected from (u, v) the two-dimensional coordinate values of the laser strip in the image (4 × 3 matrix) is shown in the following equation (3).
여기서, s는 동차 변환(homogeneous transform)의 비례축소인자(scaling factor)이고, M은 역 원근 변환(inverse perspective transform)행렬이다.Where s is a scaling factor of homogeneous transform and M is an inverse perspective transform matrix.
상기 변환 행렬은 알고 있는 치수의 정교하게 가공된 블록 게이지에 투사되는 레이저 스트립의 위치정보와 획득된 영상 상에서의 특징점을 관찰함으로써, 카메라와 레이저 스트립 투사기의 보정 과정 동안에 획득할 수 있다.The transformation matrix can be obtained during the calibration process of the camera and the laser strip projector by observing the positional information of the laser strip projected onto the elaborately processed block gauge of known dimensions and the feature points on the acquired image.
도 11은 도 10의 XZ 평면상에서의 해상도 해석을 나타내고, 도 12는 YZ 평면상에서의 해상도 해석을 나타내는 도면이다.FIG. 11 shows a resolution analysis on the XZ plane of FIG. 10, and FIG. 12 shows a resolution analysis on the YZ plane.
도시된 바와 같이, LX와 Ly1는 각각 최대측정거리 T에서의 수평방향, 수직방향 최대 FOV(Field Of View)를 나타낸다. T는 Z 방향으로의 최대 측정 거리를 의미한다. 분리각 θ는 카메라와 레이저 스트립이 이루는 변에 대해 스트립이 기울어진 정도를 나타내며, f는 카메라 렌즈의 초점 거리이다. 이때, 전체 좌표계의 Z축은 카메라의 광축과 일치한다고 가정한다. D는 카메라와 다이오드 레이저 사이의 Base line의 길이이다. α와 β는 각각 XZ와 YZ 투사 평면에 대한 카메라의 화각을 의미한다. 거리 z에서, a와 b는 각각 영상 평면에서 한 픽셀이 차지하는 수평방향과 수직방향의 길이이다. 3차원 공간상에서 점 P(x,y,z)의 영상평면으로의 투사점을 P'(x',y')이라 하고, 선분 OP'과 z축 사이의 각도를 XZ와 YZ 투사평면에서 각각 φ와 ψ로 정의한다. Mx2는 광축으로부터 X 방향으로의 최대 측정 거리이고, Mx1은 최소 측정 거리이다. 이와 같은 관계로부터 광 삼각법에 근거한 센서 시스템의 각 축에 대한 센서 해상도는 다음의 수학식 4와 같다.As shown, L X and L y1 represent the horizontal and vertical maximum field of view (FOV) at the maximum measurement distance T, respectively. T means the maximum measurement distance in the Z direction. The separation angle θ represents the degree of inclination of the strip with respect to the side formed by the camera and the laser strip, and f is the focal length of the camera lens. In this case, it is assumed that the Z axis of the global coordinate system coincides with the optical axis of the camera. D is the length of the base line between the camera and the diode laser. α and β represent the angle of view of the camera with respect to the XZ and YZ projection planes, respectively. At distance z, a and b are the lengths in the horizontal and vertical directions, respectively, occupied by one pixel in the image plane. The projection point of the point P (x, y, z) to the image plane in three-dimensional space is called P '(x', y '), and the angle between the line segment OP' and the z axis is φ in the XZ and YZ projection planes, respectively. And ψ. M x2 is the maximum measurement distance from the optical axis in the X direction, and M x1 is the minimum measurement distance. From this relationship, the sensor resolution for each axis of the sensor system based on the optical triangulation method is expressed by Equation 4 below.
여기서, lu 와 lv 는 각각 CCD 소자의 수평, 수직 방향 픽셀 수이다. 그리고, LY1 과 LY2 는 X 방향으로의 최대측정거리인 MX2 와 최소측정거리인 MX1에서 Y 방향으로의 측정 범위를 나타낸다. 이미지 소자의 픽셀당 실제 치수를 나타내는 유효 픽셀 크기는 다음의 수학식 5와 같이 표현된다.Where l u and l v are the number of horizontal and vertical pixels of the CCD element, respectively. And, L Y1 and L Y2 represent the measurement range in the Y direction from M X2 which is the maximum measurement distance in the X direction and M X1 which is the minimum measurement distance. The effective pixel size, which represents the actual dimension per pixel of the image element, is expressed as in Equation 5 below.
여기서, lx'과 ly' 는 이미지 소자의 수평 수직 방향 실제 길이를 각각 나타낸다.Here, l x ' and l y' represent the actual vertical length of the image element, respectively.
다음의 표 1은 환경인식 센서의 분해능 해석 결과를 보여주는 것으로 단위는 [㎜]이다.Table 1 below shows the resolution analysis results of environmental sensors, and the unit is [mm].
도 13은 본 발명의 실시예에 의한 환경모델링 알고리즘 구조를 나타내는 흐름도이고, 도 14는 도 13의 평면인식모듈에 의한 평면의 재구성을 나타내는 도면이며, 도 15는 본 발명의 실시예에 의한 평면 인식 기법의 유용성을 알아보기 위한 실험에서 사용된 표적 물체를 나타내는 도면이고, 도 16은 도 15에서 θ=45??인 경우의 YZ 평면상에서 추정된 데이터와 실제값의 비교를 나타내는 도면이며, 도 17은 가상환경에서 재구성된 표적물체를 나타내는 도면이다.FIG. 13 is a flowchart illustrating a structure of an environment modeling algorithm according to an embodiment of the present invention, FIG. 14 is a diagram illustrating a reconstruction of a plane by the plane recognition module of FIG. 13, and FIG. 15 is a plane recognition according to an embodiment of the present invention. FIG. 16 is a diagram illustrating a target object used in an experiment for evaluating the usefulness of the technique. FIG. 16 is a diagram illustrating a comparison of data and actual values estimated on the YZ plane when θ = 45 ?? in FIG. 15. Is a diagram illustrating a target object reconstructed in a virtual environment.
도 13에 도시된 바와 같이, 효율성을 위해 두 개의 모듈로 구분된다. 첫 번째는 하나의 레이저띠를 이용하는 일반적인 3차원 레이저 스캐닝 모듈이며, 둘째는 두 개의 레이저 띠를 사용하는 3차원 Hough 변환 기반의 평면인식모듈이다.As shown in FIG. 13, two modules are divided for efficiency. The first is a general 3D laser scanning module using one laser band, and the second is a 3D Hough transform based plane recognition module using two laser bands.
평면 환경의 재구성 기법은 로봇이 Longi 사이의 작업 공간에서 로봇의 위치를 결정하기 위해 사용된다. 즉, 환경을 이루는 주요한 4 평면을 두 개의 레이저 스트립을 이용하여 측정하고 평면을 재구성함으로써, 로봇 좌표계를 중심으로 주요 평면이 위치하고 있는 정보를 얻게 되고, 이를 최종적으로 CAD 좌표계를 중심으로 이 평면들이 위치하고 있는 정보와 비교함으로써, CAD 좌표계와 로봇 좌표계간의 좌표 변환관계를 유도할 수 있다. 이 변환관계가 유도되면, 이때부터 사용하게 되는 레이저 스캐닝 기법을 통한 환경 구성은 동일한 좌표계인 전체 좌표계에서 표현이 가능하게 된다.The reconstruction technique of the planar environment is used by the robot to determine its position in the working space between Longi. In other words, by measuring the main four planes that make up the environment using two laser strips and reconstructing the planes, information about the main planes is located around the robot coordinate system, and finally these planes are located around the CAD coordinate system. By comparing with the existing information, the coordinate transformation relationship between the CAD coordinate system and the robot coordinate system can be derived. When this transformation relationship is derived, the environment configuration through the laser scanning technique used from this time can be expressed in the entire coordinate system which is the same coordinate system.
먼저, 첫 번째 모듈인 스캐닝 모듈을 설명하면 다음과 같다.First, the scanning module, which is the first module, is described as follows.
하나의 레이저를 이용한 레이저의 스캐닝 기법은 3차원 형상의 추출 및 모델링을 위해 널리 사용되는 방법이다. 이 방식은 센서를 고정된 좌표축을 따라 일정한 거리로 연속 이송시키거나, 고정된 회전축을 중심으로 센서를 일정 각도로 연속 회전시키면서 측정을 수행함으로써, 환경에 대한 세밀한 정보를 추출하는 기법이다. 현재의 센서 시스템이 센서 좌표계에서 Y축으로 주사가 되므로, 센서의 스캐닝 방향은 센서 좌표계의 X축을 따라서 이송하거나, Y축에 대한 pitch 회전을 이용하여 스캐닝 하는 것이 적합하다. 환경에 대한 거리 정보의 밀도는 스캐닝의 간격과 환경에 대한 센서의 상대 거리에 의존한다.Laser scanning technique using a single laser is a widely used method for the extraction and modeling of three-dimensional shape. This method is a technique of extracting detailed information about the environment by continuously feeding the sensor at a fixed distance along a fixed coordinate axis or by performing measurement while continuously rotating the sensor at an angle about the fixed axis of rotation. Since the current sensor system is scanned from the sensor coordinate system to the Y axis, the scanning direction of the sensor is suitable to move along the X axis of the sensor coordinate system or to scan using a pitch rotation about the Y axis. The density of distance information about the environment depends on the interval of scanning and the relative distance of the sensor to the environment.
일반적으로 3차원 공간상에서의 직선은 다음의 식으로 표현된다.In general, a straight line in three-dimensional space is represented by the following equation.
여기서, 는 직선의 위치 벡터이고, 는 직선의 방향 벡터이다.here, Is the position vector of the straight line, Is the direction vector of the straight line.
입력 영상에서, 레이저 띠가 만드는 직선 성분들은 Hough 변환 방법에 의해 쉽게 추출될 수 있다. 이를 이용하여 획득된 2차원 영상 평면에서의 직선 방정식을 기반으로 영상 좌표계와 전체 좌표계의 변환 관계를 나타내는 수학식 3을 이용하면 영상 좌표계에서의 한 직선이 3차원 공간상의 한 직선으로 상호 변환이 가능하다. 이를 통해, 각 레이저 스트립이 평면에 주사되어 얻어진 3차원 직선을 각각 L1 과 L2 라 하면 상기 수학식 6으로부터 이 직선들은 다음의 벡터 형식의 식으로 나타낼 수 있다.In the input image, the linear components produced by the laser strip can be easily extracted by the Hough transform method. Using Equation 3, which represents the transformation relationship between the image coordinate system and the global coordinate system, based on the linear equations in the two-dimensional image plane obtained using the equation, a straight line in the image coordinate system can be converted into a straight line in three-dimensional space. Do. Through this, if the three-dimensional straight line obtained by scanning each laser strip in the plane is L 1 and L 2 , respectively, these straight lines can be represented by the following vector format.
여기서, 과 는 각각 직선 L1 과 L2 의 방향 벡터를 나타내며, 과 는 각 직선의 위치 벡터이다.here, and Denotes the direction vectors of the straight lines L 1 and L 2 , respectively and Is the position vector of each straight line.
일반적으로, 3차원 공간상에서의 평면의 방정식은 다음의 벡터 형식의 식으로 표현된다.In general, the equation of the plane in three-dimensional space is represented by the following vector form equation.
여기서, 는 해당 평면의 수직 벡터이고, d는 원점으로부터 평면까지의 수직거리를 나타낸다. 직선 L1 과 L2 가 평면 P1 에 놓여 있는 경우에 두 직선의 방향 벡터들인 과 의 크로스 프로덕트(cross product)는 평면 P1 의 수직 벡터 를 만든다.here, Is the vertical vector of the plane, and d is the vertical distance from the origin to the plane. If straight lines L 1 and L 2 lie in plane P 1 , the direction vectors of the two straight lines and The cross product of is the vertical vector of plane P 1 Make
상기 수학식 9로부터 얻어진 수직 벡터를 상기 수학식 8에 대입하여 수직 거리 d의 값을 구할 수 있다.The value of the vertical distance d can be obtained by substituting the vertical vector obtained from Equation 9 into Equation 8.
도 15에 도시된 바와 같이, 평면의 굽힘각도 θ를 변화시켜 가면서, 두 개의 레이저 스트립을 이용한 평면생성기법이 테스트 된다. 중간 평면은 센서로부터 거리가 1000㎜에 위치된다.As shown in FIG. 15, a plane generation technique using two laser strips is tested while varying the bending angle θ of the plane. The intermediate plane is located at a distance of 1000 mm from the sensor.
도 16에 도시된 바와 같이, 실험결과는 각 변수에 대한 최대 오차율이 ±2% 내에 머문다는 것을 보여준다. 해당 오차는 크게 카메라의 영상 왜곡 오차, 레이저 센서의 보정 오차 등에 기인한다. 추정치와 실제치와이 최대 거리 오차는 약 7㎜이다.As shown in FIG. 16, the experimental results show that the maximum error rate for each variable stays within ± 2%. This error is largely due to an image distortion error of the camera, a correction error of the laser sensor, and the like. The maximum distance error between the estimated value and the actual value is about 7 mm.
다음의 표 2는 상기 도 16에 따른 평면 재구성 실험 결과를 나타낸다.Table 2 below shows the results of the planar reconstruction experiment according to FIG. 16.
도 17은 본 발명의 실시예에 의한 3차원 환경 모델을 위한 육면체 셀을 나타내는 도면이다.17 is a diagram illustrating a hexahedron cell for a three-dimensional environment model according to an embodiment of the present invention.
도시된 바와 같이, 3차원 환경의 표현을 위해 전체 공간을 100 ×100 ×100 크기의 Cubic cell로 나눈다. 하나의 Cubic cell(voxel)은 10 ×10 ×10㎜ 의 부피를 가지도록 정의되며, 전체 3차원 환경은 1 ×1 ×1m 의 공간에 구성되어진다. 일반적으로 선박 폐쇄 블록 조립공정에서 Longi와 Longi 사이의 폭은 650~1000㎜ 로 한정된다. 그리고, 이러한 Cubic cell을 이용한 환경 표현은 구분한 지역중 중거리와 근거리 영역의 환경 스캐닝 결과를 표현하는데 사용되므로 로봇암의 길이를 고려할 때 1 ×1 ×1m 의 공간은 환경 스캐닝 데이터의 표현에 적합하다.As shown, the total space is divided into 100 × 100 × 100 Cubic cells for the representation of the three-dimensional environment. One cubic cell (voxel) is defined to have a volume of 10 x 10 x 10 mm, and the entire three-dimensional environment is constructed in a space of 1 x 1 x 1m. In general, the width between Longi and Longi in ship closing block assembly process is limited to 650 ~ 1000mm. In addition, since the environmental representation using Cubic cell is used to express the environmental scanning results of the middle distance and the near region among the divided regions, the space of 1 × 1 × 1m is suitable for the representation of the environmental scanning data in consideration of the length of the robot arm. .
장거리 지역에서 이동 로봇의 작업은 크게 다음의 세가지 세부 작업으로 구분된다.The work of mobile robots in long distance area is divided into three detailed tasks.
먼저, 용접 지역으로의 진입을 위해 바닥면에 부착된 장애물의 유무 확인 및 정보 추출을 하는 제1 작업과정과, 평면 인식센서와 3차원 Hough 변환을 이용한 평면 추출을 하는 제2 작업과정과, CAD가 정의된 전체 좌표계와 로봇 좌표계의 좌표 정합을 통해 로봇의 위치를 파악하는 제3 작업과정으로 구분된다.First, the first process of checking the presence of obstacles attached to the bottom surface and extracting information to enter the welding area, the second process of extracting the plane using the plane recognition sensor and 3D Hough transformation, CAD Is divided into a third process of identifying the position of the robot through coordinate matching of the defined global coordinate system and the robot coordinate system.
상기 바닥면에 부착된 장애물의 정보를 추출하기 위해 하나의 레이저 스트립을 이용한 3차원 스캐닝 기법이 적용되어진다. 이를 이용하여 로봇이 진입할 수 있는 공간이라 판단되면 상기 제2 작업과정에서 환경을 구성하는 두 개의 Longi와 Floor 그리고 바닥면을 두 개의 레이저 스트립에 의한 평면 인식 기법을 사용하여 인식한 다음 인식된 평면 정보를 이용하여 전체 좌표계에 대한 로봇의 위치를 알아낸다.A three-dimensional scanning technique using a single laser strip is applied to extract information of obstacles attached to the bottom surface. If it is determined that the robot can enter the space, the two Longi and the Floor and the floor that make up the environment are recognized using the plane recognition technique by the two laser strips in the second process. Use the information to find the robot's position relative to the global coordinate system.
도 18은 본 발명의 실시예에 의한 두 개의 레이저 스트립을 이용한 작업 공간 내부에서의 평면 인식 개념을 나타내는 도면이다.FIG. 18 is a view illustrating a plane recognition concept in a working space using two laser strips according to an embodiment of the present invention.
도시된 바와 같이, 두 개의 레이저 스트립이 평면에 투사되었을 때 영상에서 관측된 스트립의 3차원 직선 방정식으로부터 평면에 대한 정보를 얻을 수 있다. 상기 제3 작업과정에서는 CAD 좌표계와 로봇 좌표계간의 정합 작업이 로봇 위치 인식을 위해 이루어진다. 인식된 평면을 CAD에서 주어지는 평면 정보와 정합을 수행함으로써 얻어진다. 본 발명에서 사용된 방법은 최소 자승 오차 기법이다.As shown, information about the plane can be obtained from the three-dimensional linear equations of the strip observed in the image when two laser strips are projected onto the plane. In the third work process, a matching operation between the CAD coordinate system and the robot coordinate system is performed for robot position recognition. The recognized plane is obtained by performing matching with the plane information given in the CAD. The method used in the present invention is a least squares error technique.
도 19는 본 발명의 실시예에 의한 로봇 좌표계와 전체 좌표계의 변환 관계를 위해 평면을 정합하는 개념도를 나타내는 도면이다.19 is a diagram illustrating a conceptual diagram of matching planes for a transformation relationship between the robot coordinate system and the global coordinate system according to an embodiment of the present invention.
도시된 바와 같이, 획득된 로봇 좌표계와 전체 좌표계의 좌표 변환 행렬을 이용하여 로봇 좌표계를 중심으로 측정된 환경 데이터가 전체 좌표계로 모두 변환 될 수 있으며, 여러 지역에서 측정된 데이터가 전체 좌표계에서 동시에 표현이 가능하게 된다.As shown in the drawing, the environmental data measured around the robot coordinate system can be converted into the global coordinate system using the obtained coordinate coordinates of the robot coordinate system and the global coordinate system, and the data measured in several regions are simultaneously represented in the global coordinate system. This becomes possible.
그리고, 중거리 영역에서 수행되는 작업은 네 개의 세부 작업으로 구분된다.In addition, the work performed in the middle range is divided into four detailed tasks.
이동 로봇의 진입을 위한 양 벽면(Longi)에 부착된 장애물을 인식하는 제1 작업과정과, 레이저 슬릿광을 이용한 작업 영역을 스캐닝하는 제2 작업과정과, 획득된 데이터의 CAD 데이터와의 비교를 하는 제3 작업과정과, 장애물 인식과 로봇암의 충돌 검증을 하는 제4 작업과정으로 구분된다.The first workflow for recognizing obstacles attached to both walls for entering the mobile robot, the second workflow for scanning the work area using laser slit light, and comparison of the acquired data with CAD data It is divided into a third working process, and a fourth working process for obstacle recognition and collision verification of the robot arm.
그리고, 근거리 영역에서 수행되는 작업은 중거리 영역에서 정의된 대략적인 장애물의 존재 영역에 대한 상세 스캐닝이다. 로봇이 원거리 영역에서 중거리 영역으로 접근하기 위해 첫째로 로봇이 진입하는 옆 벽면에 장애물의 유무가 판단되어야 한다. 중거리와 근거리 영역과 연관된 작업을 수행하기 위해 알고리즘 모듈 중 스캐닝 모듈이 사용되어진다.And, the work performed in the near area is a detailed scanning of the approximate area of existence of the obstacle defined in the middle distance area. In order for the robot to approach the mid-range area from the far area, first, it is necessary to determine whether there is an obstacle on the side wall where the robot enters. The scanning module of the algorithm module is used to perform a task associated with the medium distance and the near area.
도 20은 본 발명의 실시예에 의한 옆 벽면에 있는 장애물을 검출하는 개념을 나타내는 도면이다.20 is a diagram illustrating a concept of detecting an obstacle on a side wall according to an embodiment of the present invention.
도시된 바와 같이, 벽면에 30 ×50 ×120㎜의 장애물(C)이 부착되었으며, 실험결과로 장애물(C)의 검출이 쉽게 이루어지고 스캐닝 결과와 CAD 데이터를 비교함으로써 존재하는 장애물(C)의 크기를 알아낼 수 있다.As shown in the figure, an obstacle C of 30 × 50 × 120 mm was attached to the wall surface, and as a result of the experiment, the obstacle C was easily detected, and the comparison of the obstacle C existing by comparing the scanning result with the CAD data was performed. I can figure out the size.
도 21은 본 발명의 실시예에 의한 스캐닝 작업환경을 나타내는 도면이고, 도 22는 도 21의 작업환경을 중거리 영역에서 스캐닝한 경우의 도면이며, 도 23은 도 21의 작업환경을 근거리 영역에서 스캐닝한 경우의 도면이다.FIG. 21 is a diagram illustrating a scanning working environment according to an embodiment of the present invention, FIG. 22 is a diagram illustrating a scanning environment of FIG. 21 in a medium distance region, and FIG. 23 is a scanning region of FIG. 21 in a short range region. It is a drawing of one case.
도시된 바와 같이, 중거리 영역과 근거리 영역에서 각각 원기둥(A)과 정육면체(B)로 구성된 환경으로부터 얻어진 측정치를 복셀(voxel)로 표현한 결과를 보여준다.As shown, the result obtained by expressing the measurement value obtained from the environment consisting of the cylinder A and the cube B in the medium distance region and the near region, respectively, as a voxel.
그 결과를 살펴보면, 중거리 영역의 측정 결과에 비해 근거리 영역에서의 측정결과가 보다 세밀하게 측정된 것을 알 수 있다. 정육면체(B)의 경우, 실제 길이는 210㎜이며, 복셀 모델링 결과로 직선 근사화를 시킨 결과는 한변이 210.7㎜로 얻어졌다. 원기둥(A)의 경우, 실제 반지름은 100㎜이며 복셀 모델링 결과로 원 근사화를 시킨 결과 반지름이 100.4㎜로 얻어졌다. 이 오차는 복셀 모델의 분해능을 10㎜로 제한한 것과 센서 측정오차 및 로봇 매니퓰레이터의 위치 오차에 의해 기인한다. 획득된 측정 결과를 이용하여 장애물 추출과 장애물의 모델링을 수행하면 보다 정확한 장애물의 위치와 크기 및 모양을 파악할 수 있게 된다.Looking at the results, it can be seen that the measurement results in the short range region is measured more precisely than the measurement results in the medium range region. In the case of the cube B, the actual length was 210 mm, and the result of linear approximation by the voxel modeling result was obtained with one side having 210.7 mm. In the case of the cylinder A, the actual radius was 100 mm and the result of circular approximation by voxel modeling resulted in a radius of 100.4 mm. This error is due to the limit of the resolution of the voxel model to 10 mm, the sensor measurement error, and the position error of the robot manipulator. Obstacle extraction and obstacle modeling using the obtained measurement results can be used to determine the exact position, size and shape of the obstacle.
이러한 측정에서 발생하는 오차는 앞서 언급한 여러 가지 요인중에서 복셀 모델의 분해능에 가장 큰 영향을 받는다. 로봇의 오차나 센서의 오차가 이보다 훨씬 정밀하기 때문이다. 이러한 복셀 모델링을 바탕으로 얻어지는 환경 정보는 작업 영역에 도달하기 위한 로봇의 경로 계획에 사용된다. 일단 로봇이 작업 영역에 도달하게 되면 용접선 추적은 용접선 추적 센서를 통해 수행되게 된다. 작업영역 도달을 위한 로봇의 공간 경로는 물체가 가지는 최소 크기 및 해상도인 10㎜의 불확실성을 기반으로 구현된다. 즉, 환경인식에서 발생되는 결과 오차는 사전 분석을 통하여 로봇 경로 생성에 있어서 안전영역으로 고려대상이 되어야 한다.The error in these measurements is most affected by the resolution of the voxel model, among other factors mentioned above. This is because the error of the robot or the sensor is much more precise. The environmental information obtained based on the voxel modeling is used to plan the path of the robot to reach the work area. Once the robot reaches the work area, seam tracking is performed via the seam tracking sensor. The robot's spatial path to reach the working area is realized based on the uncertainty of 10 mm, which is the minimum size and resolution of the object. That is, the result error generated in environmental recognition should be considered as a safe area in robot path generation through preliminary analysis.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by those equivalent to the scope of the claims.
상술한 바와 같이, 자율적으로 주행 가능한 용접 로봇을 이용하여 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현함으로써, 폐쇄 블록의 수작업 용접시 용접 가스와 어두운 작업환경으로 인해 작업자가 겪어야만 했던 많은 어려움을 극복할 수 있는 효과가 있다.As described above, by using the welding robot which can run autonomously, it recognizes the welding environment of the closed block of the ship, detects the welding line, and implements the environmental modeling of the robot by using the laser strip, so that the welding gas and The dark working environment has the effect of overcoming many of the difficulties workers had to face.
도 1은 종래의 선박 중간조립공정의 폐쇄블록내부와 이동로봇의 주행경로를 나타내는 도면.1 is a view showing the inside of the closed block and the traveling path of the mobile robot of the conventional vessel intermediate assembly process.
도 2는 본 발명의 실시예에 의한 폐쇄블록 용접로봇 시스템의 사시도.Figure 2 is a perspective view of a closed block welding robot system according to an embodiment of the present invention.
도 3은 도 2의 센서 시스템의 개념도.3 is a conceptual diagram of the sensor system of FIG.
도 4는 도 2의 센서 시스템의 구성도.4 is a configuration diagram of the sensor system of FIG. 2.
도 5는 본 발명의 실시예에 의한 선분중심 추출을 위한 신경망 구조를 나타내는 도면.5 is a diagram showing a neural network structure for line segment extraction according to an embodiment of the present invention.
도 6은 작업 공간에 주사된 레이저 띠의 카메라 획득 영상을 부분 확대한 도면.6 is a partially enlarged view of a camera acquired image of a laser strip scanned in a work space.
도 7은 하나의 입력 영상에 대해 레이저가 일정한 두께를 가진다고 가정하는 일반적인 방법에 의해 추출한 레이저 중심을 나타내는 도면.FIG. 7 shows the laser center extracted by a general method assuming that the laser has a constant thickness for one input image. FIG.
도 8은 본 발명의 실시예에 의한 신경회로망에 의해 적응적으로 레이저 두께를 추정하는 기법에 의한 레이저 중심의 추출결과를 보여주는 도면.8 is a view showing the extraction result of the laser center by a technique for adaptively estimating the laser thickness by the neural network according to an embodiment of the present invention.
도 9는 본 발명의 실시예에 의한 센서 시스템의 연기에 대한 강인성을 보여주는 도면.9 is a view showing the robustness to the smoke of the sensor system according to an embodiment of the present invention.
도 10은 본 발명의 실시예에 의한 센서 시스템의 보정 개념도.10 is a conceptual diagram of correction of a sensor system according to an embodiment of the present invention.
도 11은 도 10의 XZ 평면상에서의 해상도 해석을 나타내는 도면.11 is a diagram illustrating a resolution analysis on the XZ plane of FIG. 10.
도 12는 도 10의 YZ 평면상에서의 해상도 해석을 나타내는 도면.12 is a diagram illustrating a resolution analysis on the YZ plane of FIG. 10.
도 13은 본 발명의 실시예에 의한 환경모델링 알고리즘 구조를 나타내는 흐름도.13 is a flowchart illustrating an environment modeling algorithm structure according to an embodiment of the present invention.
도 14는 도 13의 평면인식모듈에 의한 평면의 재구성을 나타내는 도면.14 is a view showing the reconstruction of the plane by the plane recognition module of FIG.
도 15는 본 발명의 실시예에 의한 평면 인식 기법의 유용성을 알아보기 위한 실험에서 사용된 표적 물체를 나타내는 도면.15 is a diagram showing a target object used in an experiment for checking the usefulness of the plane recognition technique according to an embodiment of the present invention.
도 16은 도 15에서 θ=45??인 경우의 YZ 평면상에서 추정된 데이터와 실제값의 비교를 나타내는 도면.FIG. 16 is a diagram showing a comparison of data and actual values estimated on the YZ plane when θ = 45 ?? in FIG. 15;
도 17은 본 발명의 실시예에 의한 3차원 환경 모델을 위한 육면체 셀을 나타내는 도면.17 illustrates a hexahedron cell for a three-dimensional environment model according to an embodiment of the present invention.
도 18은 본 발명의 실시예에 의한 두 개의 레이저 스트립을 이용한 작업 공간 내부에서의 평면 인식 개념을 나타내는 도면.18 is a view showing a plane recognition concept in a working space using two laser strips according to an embodiment of the present invention.
도 19는 본 발명의 실시예에 의한 로봇 좌표계와 전체 좌표계의 변환 관계를 위해 평면을 정합하는 개념도를 나타내는 도면.19 is a view showing a conceptual diagram of matching planes for the transformation relationship between the robot coordinate system and the global coordinate system according to an embodiment of the present invention.
도 20은 본 발명의 실시예에 의한 옆 벽면에 있는 장애물을 검출하는 개념을 나타내는 도면.20 illustrates a concept of detecting an obstacle on a side wall according to an embodiment of the present invention.
도 21은 본 발명의 실시예에 의한 스캐닝 작업환경을 나타내는 도면.21 illustrates a scanning working environment according to an embodiment of the present invention.
도 22는 도 21의 작업환경을 중거리 영역에서 스캐닝한 경우의 도면.FIG. 22 is a diagram of a case where the working environment of FIG. 21 is scanned in a medium distance region; FIG.
도 23은 도 21의 작업환경을 근거리 영역에서 스캐닝한 경우의 도면.FIG. 23 is a diagram of a case where a work environment of FIG. 21 is scanned in a short range region; FIG.
< 도면의 주요부분에 대한 부호 설명><Explanation of Signs of Major Parts of Drawings>
10 : 다축 용접 로봇 20 : 주행 플랫폼10: multi-axis welding robot 20: driving platform
30 : 센서 시스템 33,34,35 : 다이오드 레이저30 sensor system 33,34,35 diode laser
31,32 : 소형 카메라 36,37 : 레이저 슬릿광31,32: Compact Camera 36,37: Laser Slit Light
A : 실린더 B : 큐빅A: cylinder B: cubic
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0001386A KR100516395B1 (en) | 2003-01-09 | 2003-01-09 | Visual sensor system and environment modeling method for autonomous mobile welding robots |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0001386A KR100516395B1 (en) | 2003-01-09 | 2003-01-09 | Visual sensor system and environment modeling method for autonomous mobile welding robots |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040064106A KR20040064106A (en) | 2004-07-16 |
| KR100516395B1 true KR100516395B1 (en) | 2005-09-23 |
Family
ID=37354774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2003-0001386A KR100516395B1 (en) | 2003-01-09 | 2003-01-09 | Visual sensor system and environment modeling method for autonomous mobile welding robots |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100516395B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101010781B1 (en) * | 2008-06-10 | 2011-01-25 | 삼성중공업 주식회사 | Noncontact environment measuring apparatus, method, and recording medium having computer program recorded |
| KR101410860B1 (en) * | 2012-09-28 | 2014-06-23 | 주식회사 동주웰딩 | Automatic Welding Device |
| KR101525217B1 (en) * | 2013-12-24 | 2015-06-02 | (주)대우건설 | Self control driving steel pipe welding equipment by weld line tracking |
| KR101844281B1 (en) * | 2016-04-20 | 2018-04-02 | 삼성중공업 주식회사 | Wide environment recognition method and system of welding robot |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100703692B1 (en) * | 2004-11-03 | 2007-04-05 | 삼성전자주식회사 | System, apparatus and method for improving readability of a map representing objects in space |
| AU2013242821A1 (en) * | 2012-10-29 | 2014-05-15 | J. Ray Mcdermott, S.A. | Adaptive control of arc welding parameters |
| KR102266453B1 (en) * | 2020-09-18 | 2021-06-17 | 한국광기술원 | Apparatus and method for Object tracking in welding process |
| KR102347854B1 (en) * | 2020-12-23 | 2022-01-05 | 부경대학교 산학협력단 | Apparatus and method of classifying welding state based on image recognition using marker |
| KR102573870B1 (en) * | 2023-01-30 | 2023-09-01 | 주식회사 마키나락스 | Method for preventing collision between plural task-performing robots |
-
2003
- 2003-01-09 KR KR10-2003-0001386A patent/KR100516395B1/en active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101010781B1 (en) * | 2008-06-10 | 2011-01-25 | 삼성중공업 주식회사 | Noncontact environment measuring apparatus, method, and recording medium having computer program recorded |
| KR101410860B1 (en) * | 2012-09-28 | 2014-06-23 | 주식회사 동주웰딩 | Automatic Welding Device |
| KR101525217B1 (en) * | 2013-12-24 | 2015-06-02 | (주)대우건설 | Self control driving steel pipe welding equipment by weld line tracking |
| KR101844281B1 (en) * | 2016-04-20 | 2018-04-02 | 삼성중공업 주식회사 | Wide environment recognition method and system of welding robot |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040064106A (en) | 2004-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Loupos et al. | Autonomous robotic system for tunnel structural inspection and assessment | |
| US10859684B1 (en) | Method and system for camera-lidar calibration | |
| JP4788722B2 (en) | Autonomous mobile robot, self-position estimation method, environmental map generation method, environmental map generation device, and environmental map data structure | |
| US8462208B2 (en) | System and method for tridimensional cartography of a structural surface | |
| Hardouin et al. | Next-Best-View planning for surface reconstruction of large-scale 3D environments with multiple UAVs | |
| US10739274B2 (en) | Imaging support device and imaging support method | |
| Dong et al. | A weld line detection robot based on structure light for automatic NDT | |
| KR100516395B1 (en) | Visual sensor system and environment modeling method for autonomous mobile welding robots | |
| Chen et al. | An enhanced dynamic Delaunay triangulation-based path planning algorithm for autonomous mobile robot navigation | |
| Chen et al. | Seam tracking of large pipe structures for an agile robotic welding system mounted on scaffold structures | |
| Beinschob et al. | Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses | |
| Kim et al. | Visual sensing and recognition of welding environment for intelligent shipyard welding robots | |
| Myung et al. | Robotic SHM and model-based positioning system for monitoring and construction automation | |
| Nickerson et al. | An autonomous mobile robot for known industrial environments | |
| Adorni et al. | Omnidirectional stereo systems for robot navigation | |
| US20020120359A1 (en) | System and method for planning a tool path along a contoured surface | |
| Nakhaeinia et al. | Trajectory planning for surface following with a manipulator under RGB-D visual guidance | |
| Kataoka et al. | ICP-based SLAM using LiDAR intensity and near-infrared data | |
| US12002193B2 (en) | Inspection device for inspecting a building or structure | |
| KR101010781B1 (en) | Noncontact environment measuring apparatus, method, and recording medium having computer program recorded | |
| US20230044371A1 (en) | Defect detection in a point cloud | |
| Becker et al. | 3d coverage path planning for efficient construction progress monitoring | |
| Ly et al. | Asymptotically optimized multi-surface coverage path planning for loco-manipulation in inspection and monitoring | |
| Wang et al. | Deep learning for detection and tracking of underwater pipelines using multibeam imaging sonar | |
| Orlov et al. | Machine vision system for autonomous agricultural vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120903 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20130902 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20140901 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180903 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20190829 Year of fee payment: 15 |