KR101095579B1

KR101095579B1 - A method for positioning and orienting of a pallet based on monocular vision

Info

Publication number: KR101095579B1
Application number: KR1020090085563A
Authority: KR
Inventors: 김민환; 변성민
Original assignee: 부산대학교 산학협력단
Priority date: 2009-09-10
Filing date: 2009-09-10
Publication date: 2011-12-19
Also published as: KR20110027460A

Abstract

본 발명은 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법에 관한 것으로, 카메라 외부 검정(external calibration) 과정을 수행하는 단계;카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함한다.The present invention relates to a mono vision-based pallet position and attitude measuring method that enables the three-dimensional position and attitude of the pallet in front of the forklift by using a single camera installed in the fork carriage of the forklift. Performing an external calibration process of the camera; detecting and recognizing a standard palette area when an image is input from the camera; extracting upper and lower feature lines from the recognized standard palette area; And performing palette based measurement and performing palette position measurement through back projection of the feature line.

팔레트 인식, 팔레트 위치, 팔레트 자세 측정, 팔레트 자동 하역, 사영기하 Palette Recognition, Palette Position, Palette Pose Measurement, Palette Auto Unloading, Projective Geometry

Description

모노 비전 기반의 팔레트 위치 및 자세 측정 방법{A method for positioning and orienting of a pallet based on monocular vision}A method for positioning and orienting of a pallet based on monocular vision}

본 발명은 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법에 관한 것이다.The present invention relates to a mono vision-based pallet position and attitude measuring method that enables the three-dimensional position and attitude of the pallet in front of the forklift to be measured by using a single camera installed in the fork carriage of the forklift. .

일반적으로 부피가 크고 중량이 무거운 화물을 지게차나 크레인으로 들어올려 차량에 적재 또는 하역을 하거나 운반 및 보관시에 화물을 받쳐주기 위해서 팔레트가 널리 사용되고 있다.In general, pallets are widely used to lift bulky and heavy cargoes by forklifts or cranes to load or unload vehicles or to support cargoes during transportation and storage.

지게차는 팔레트 화물을 하역(선반/차량에서 화물을 내림, unloading), 운반, 적재(선반/차량에 화물을 올림, loading) 작업을 수행하는 장비이며, 이 중에서 하역 작업은 대상(target) 팔레트 근처로의 이동 작업, 지게차의 포크를 팔레트에 끼우는 팔레트 인게이징(engaging) 작업, 적재 위치에서 팔레트를 들어내는 작업으로 세분화 할 수 있다. A forklift is a device that unloads pallet cargo (unloading cargo, unloading), transports, and loads (loading cargo to the rack / vehicle), among which unloading is near the target pallet. It can be subdivided into moving furnaces, palletizing the fork of the forklift to the pallet, and lifting the pallet from the loading position.

최근 비용절감과 생산성 향상을 위해 많은 물류창고들이 자동화 되고 있는데, 이러한 기존의 자동화 방식은 대형 물류창고를 대상으로 하고 있어, 지게 차만으로 운영되는 중소형 물류창고에 적용하기 어렵다. 이러한 중소형 물류창고들을 자동화하기 위해서 가장 중요한 것은 지게차를 무인 자동화 하는 것이다. Recently, many logistics warehouses have been automated to reduce costs and improve productivity. These existing automation methods target large logistics warehouses, so they are difficult to apply to small and medium logistics warehouses operated by forklifts only. The most important thing to automate these small and medium sized warehouses is to automate the forklift.

팔레트 인게이징 작업의 자동화를 위한 팔레트 위치 측정에 관한 종래 기술은 레이저 거리 측정기(Laser Range Finder) 사용 방식, 스테레오 비전(stereo vision) 사용 방식, 모노 비전(monocular vision) 사용 방식 등으로 구분할 수 있다.Conventional techniques related to pallet position measurement for automating pallet engagement can be divided into a laser range finder method, a stereo vision method, a mono vision method, and the like.

먼저, 레이저 거리 측정기를 사용하는 방식은 측정기로부터 수집한 3차원 점 데이터 집합을 분석하여 팔레트를 인식하고 그 위치를 측정하는 것이다.First, the method of using the laser range finder is to analyze the three-dimensional point data set collected from the measurer to recognize the pallet and measure its position.

레이저 거리 측정기로는 비교적 정확한 3차원 점 데이터 집합을 얻을 수 있지만, 좌우 스캐닝에 의해 측정할 수 있는 영역이 1차원이므로 한 번의 탐색으로 팔레트를 인식할 수 없는 문제가 발생한다.Although the laser range finder can obtain a relatively accurate three-dimensional point data set, the area that can be measured by left-right scanning is one-dimensional, which causes a problem that the palette cannot be recognized by one search.

이 문제를 해결하기 위해 지게차가 정지한 상태에서 측정기를 수직으로 움직이면서 연속적으로 측정해야 한다. 이에 따라 대상 팔레트 영역을 검출하기 위해 상대적으로 많은 시간이 소요된다.In order to solve this problem, it is necessary to continuously measure the instrument vertically while the forklift is stopped. Accordingly, it takes a relatively long time to detect the target palette area.

이와 같은 레이저 거리 측정기를 사용하는 방식에서 팔레트에 레이저 반사 마커를 부착하여 사용하는 경우에는 반사 마커를 부착하는 별도의 작업이 필요하고, 유지 관리 측면에서 불리하다.In the case of using the laser range finder in a manner in which the laser reflective marker is attached to the pallet, a separate operation of attaching the reflective marker is required, which is disadvantageous in terms of maintenance.

또한 레이저 거리 측정기가 매우 고전력을 필요로 하며 고비용이므로 실제 활용에 있어서 매우 큰 부담이 된다.In addition, the laser range finder requires very high power and is expensive, which is a great burden in practical use.

그리고 스테레오 비전을 사용하는 방식의 경우에는 두 대의 카메라를 지게차 의 오버헤드 가드(overhead guard)에 설치하여 대상 팔레트의 위치를 측정한다.In the case of using stereo vision, two cameras are installed in the overhead guard of the forklift to measure the position of the target pallet.

이 방식은 스테레오 영상 정합(matching)을 위해 특징점(feature point)이 잘 추출될 수 있는 형태의 팔레트에 국한하여 사용하거나 별도의 인식 마커를 팔레트에 부착하여 사용하여야 한다. 한편, 스테레오 카메라가 지게차 상단에 고정 부착되어 있어 화물창고 바닥면에 놓인 팔레트만을 인식하여 처리할 수 있으며, 높은 선반 위의 팔레트 화물은 다룰 수 없는 한계가 있다.This method should be used only for a palette in which feature points can be extracted well for stereo image matching, or a separate recognition marker should be attached to the palette. On the other hand, the stereo camera is fixedly attached to the top of the forklift can recognize and process only the pallet placed on the bottom of the warehouse, there is a limit that can not handle pallet cargo on the high shelf.

그리고 모노 비전을 사용하는 방식은 미리 저장해 둔 팔레트의 색상정보를 이용하여 팔레트 영역을 검출한 후, 미리 측정해 둔 화물창고 바닥 평면과 카메라 간의 상호 관계식을 이용하여 팔레트의 위치를 측정한다.In the method using mono vision, the palette area is detected by using the color information of the palette, which is stored in advance, and then the position of the palette is measured by using the correlation between the cargo warehouse floor plane and the camera.

이에 따라 카메라의 높이가 변할 경우 그 높이를 모르면 위치측정이 불가능하며, 높은 곳의 팔레트 측정도 불가능하다. 또한 미리 저장한 색상정보를 이용하므로 팔레트의 색상이나 조명 변화에도 민감한 방식이다.Therefore, if the height of the camera changes, it is impossible to measure the position without knowing the height, and it is impossible to measure the pallet at the high place. It also uses color information stored in advance, so it is sensitive to color or lighting changes in the palette.

실제 물류산업 현장에서의 팔레트 인게이징 작업을 고려할 때, 자동화를 위한 팔레트 인식 기술은 다음과 같은 기능을 갖추어야 한다.Considering pallet ingestion in the actual logistics industry, pallet recognition technology for automation should have the following functions.

먼저, '표준 팔레트의 자동 인식 기능'을 갖추어야 한다.First of all, you need to have the automatic recognition of the standard palette.

물류산업 분야에서 활용되고 있는 팔레트는 매우 다양한 크기, 재질, 형태를 가지고 있으며, 실제로는 수백여 가지가 된다고 한다. 이에, 정부에서는 물류산업의 효율화를 위해 한국 산업표준 KS A 2169에 표준 팔레트를 정의하고 있다. 표준 팔레트는 플라스틱제 평-팔레트로 단단한 단색의 플라스틱 재료를 사용하며 상단과 하단의 모서리를 제외한 모든 모서리가 둥근 것이 특징이다.The pallets used in the logistics industry come in a variety of sizes, materials and shapes, and in fact there are hundreds of them. For this reason, the government has defined a standard palette in Korean Industrial Standard KS A 2169 to make the logistics industry more efficient. The standard palette is a flat, plastic pallet, made of solid plastic material, with rounded corners except for the top and bottom edges.

한편, 팔레트 인게이징 작업의 자동화를 위해서는 통일된 형식의 팔레트를 대상으로 할 수밖에 없는데, 이 목적에 표준 팔레트가 가장 적합하다. 따라서 팔레트 인게이징 자동화를 위해서는 표준 팔레트를 자동으로 인식하는 기능이 필수적이다.On the other hand, in order to automate the palletizing task, the only option is to use a palette of a uniform format. A standard palette is most suitable for this purpose. Therefore, the ability to automatically recognize standard palettes is essential for automating palette ingestion.

그리고 '특정 마커나 표식을 사용하지 않는 인식 기능'을 갖추어야 한다.And it should have a 'recognition function that does not use specific markers or markers'.

실제 물류작업 현장에서는 팔레트가 상대적으로 거칠게 다루어지는 것이 일반적이다. 따라서 팔레트에 특정 마커를 부착하거나 표식을 사용하게 되면, 사용하려는 팔레트에 별도의 작업을 해 주어야 하는 부담이 있으며 아울러 사용 중에 훼손될 우려도 높다. 따라서 특정 마커나 표식을 사용하는 것을 지양할 필요가 있다.In practice, pallets are generally handled relatively roughly. Therefore, when a specific marker is attached to a pallet or a mark is used, a separate work is required on the pallet to be used, and there is a high possibility of being damaged during use. Therefore, it is necessary to refrain from using specific markers or markers.

그리고 '조명 및 색상 변화에 강인한 인식 기능'이다.And it is a recognition function that is robust against lighting and color change.

표준 팔레트를 사용하는 경우에도 작업 현장의 조명은 위치별로 차이가 날 수 있으며 다양한 색상의 팔레트가 사용될 수도 있다. 따라서 조명 변화나 색상 변화에 무관하게 팔레트를 인식하는 기능이 필요하다.Even with standard palettes, the shop floor lighting can vary from location to location and palettes of various colors can be used. Therefore, it is necessary to recognize the palette regardless of lighting change or color change.

그리고 '팔레트 높이에 무관한 인식 기능을 갖추어야 한다.'There should be a recognition function irrespective of the height of the pallet.

물류창고에서는 팔레트 화물을 효율적으로 배치하기 위해서 일반적으로 선반 위에 정렬해 놓는 방식을 사용한다. 즉, 선반의 높은 위치에도 팔레트 화물이 놓일 수 있다. 따라서 기존의 인식 방법들 중에서 창고 바닥에 놓인 팔레트의 특징을 이용하거나 지게차 본체(body)에 장착한 센서를 사용하는 방법은 실제 현장에서 활용할 수 없다.Logistics warehouses usually arrange on shelves to arrange pallet cargo efficiently. In other words, pallet cargo may be placed at a high position on the shelf. Therefore, among the existing recognition methods, the method of using the characteristics of the pallet placed on the warehouse floor or the sensor mounted on the forklift body cannot be utilized in the actual field.

그리고 '저가의 저전력 시스템 기반의 실시간 인식 기능'을 갖추는 것이 필 요하다.In addition, it is necessary to have a 'low-cost, low-power system-based real-time recognition function'.

지게차는 독립적으로 운행되는 장비로서 에너지 공급 장치를 연결하여 사용할 수 없다. 따라서 배터리와 같은 별도의 에너지 공급 장치를 장착하고 있다. 이 경우에 레이저 거리 측정기와 같은 고전력을 필요로 하는 센서 장비를 장시간 활용하는 것은 부적절하다.Forklifts are independent equipment and cannot be used in conjunction with energy supply. Therefore, it is equipped with a separate energy supply device such as a battery. In this case, long-term use of sensor equipment that requires high power, such as laser rangefinders, is inappropriate.

한편, 경제성을 고려할 때 저가로 시스템을 구현할 필요가 있으며, 또한 인식 과정에서 기계적인 동작을 최대한 배제하여 실시간 인식 처리가 가능하게 할 필요가 있다.On the other hand, in consideration of economics, it is necessary to implement a system at low cost, and also need to enable real-time recognition processing by excluding mechanical operation as much as possible in the recognition process.

본 발명은 이와 같은 종래 기술의 팔레트 인식 기술의 문제를 해결하기 위한 것으로, 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.The present invention is to solve this problem of the prior art pallet recognition technology, it is possible to measure the three-dimensional position and attitude of the pallet in front of the forklift by using a single camera installed in the fork carriage of the forklift. The aim is to provide a mono vision based pallet position and pose measurement method.

본 발명은 하나의 카메라 영상 기반으로 무인 지게차 전방의 대상 팔레트를 자동으로 검출하여 그것의 3차원 위치 및 자세를 측정하여 측정된 팔레트 정보를 그래픽 디스플레이를 통해 수동 지게차의 운전자에게 제공할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.According to the present invention, the target pallet in front of an unmanned forklift is automatically detected based on one camera image, and its three-dimensional position and attitude are measured to provide the measured pallet information to the driver of the manual forklift through a graphic display. The objective is to provide a vision based pallet position and posture measurement method.

본 발명은 운전자가 시야 확보가 어려운 위치의 팔레트에 대한 인게이징 작업도 쉽고 안전하게 처리할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a mono vision based pallet position and posture measuring method that enables the driver to easily and safely handle an engagement operation on a pallet in a position where visibility is difficult to secure.

본 발명은 단일 카메라 영상을 이용해 별도의 마커나 표식을 사용하지 않고서 표준 팔레트를 검출하고 인식할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a mono vision based palette position and posture measuring method that enables a single camera image to be detected and recognized without using a separate marker or marker.

본 발명은 팔레트의 상단 및 하단에서 특징적으로 나타나는 직선을 이용하여 팔레트의 자세를 사영기하 기반으로 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a method for measuring the position and attitude of a pallet based on a mono vision, which enables the attitude of the pallet to be measured based on a projective geometry using a straight line characteristicly appearing at the top and bottom of the pallet.

본 발명은 팔레트 자세 정보와 표준 팔레트의 높이 정보를 바탕으로, 역 투 영과 비례관계식을 이용하여 팔레트의 위치를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a mono vision-based pallet position and posture measuring method, which enables the position of a pallet to be measured using reverse projection and proportionality based on the pallet posture information and the height information of a standard pallet. .

본 발명은 지게차 포크 영상을 이용하여 지게차 포크 캐리지에 장착된 카메라에 대한 외부변수를 검정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a mono vision based pallet position and posture measurement method that can test an external variable for a camera mounted on a forklift fork carriage using a forklift fork image.

이와 같은 목적을 달성하기 위한 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 카메라 외부 검정(external calibration) 과정을 수행하는 단계;카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a mono vision-based palette position and posture measuring method according to the present invention may include performing an external calibration process of a camera; detecting and recognizing a standard palette region when an image is input from a camera. Extracting upper and lower feature lines from the recognized standard palette region; performing a projected geometry based palette pose measurement, and performing a palette position measurement through back projection of the feature line; It features.

그리고 상기 표준 팔레트 영역을 검출하여 인식하는 단계에서,팔레트 인식을 위한 문턱치의 결정을 위하여,문턱치를 초기화하고, 입력 영상을 받음 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용하는 과정을 포함하는 것을 특징으로 한다.In the step of detecting and recognizing the standard palette area, in order to determine the threshold for palette recognition, the threshold is initialized and the input image is received-> the palette recognition module is performed-> whether the recognition is equal to the current threshold. Repeating the storage-> increasing the threshold value, listing the threshold values that succeeded in the pallet recognition, and obtaining and using the median.

그리고 상기 상단 및 하단 특징선을 추출하는 단계에서,특징선 추출에 필요한 이진화에 사용될 문턱치의 결정을 위하여,문턱치를 초기화하고, 입력 영상을 받음 --> 평행선 추출 모듈을 수행 --> 직선 피팅 에러와 문턱치를 같이 저장 -->문 턱치를 증가시키는 과정들을 반복하고, 직선 피팅 에러가 가장 작은 문턱치를 사용하는 과정을 포함하는 것을 특징으로 한다.In the extracting of the upper and lower feature lines, in order to determine a threshold to be used for binarization required for feature line extraction, the threshold is initialized and the input image is received. And repeat the steps of increasing the threshold-> increase the threshold, and characterized in that it includes the step of using the threshold with the smallest linear fitting error.

그리고 상기 카메라 외부 검정(external calibration) 과정에서,카메라 영상에서의 포크 모서리 선들에 대한 소멸점을 기반으로 포크 벡터를 구해 카메라 외부 검정을 하는 것을 특징으로 한다.In the camera external calibration process, the camera external calibration is performed by obtaining a fork vector based on the extinction point of the fork edges in the camera image.

그리고 상기 영상을 제공하는 카메라는,포크 캐리지에 장착되는 한개의 카메라인 것을 특징으로 한다.And the camera providing the image, it is characterized in that one camera mounted on the fork carriage.

그리고 상기 표준 팔레트 영역을 검출하여 인식하기 위하여,입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정,표준 팔레트의 기하정보에 기반한 표준 팔레트 후보를 검출하는 과정,표준 팔레트의 단일 색상 속성에 기반한 표준 팔레트 인식 과정을 포함하는 것을 특징으로 한다.And detecting a palette fork hole candidate from an input image, detecting a standard palette candidate based on geometric information of a standard palette, and detecting a standard palette region based on a single color attribute of the standard palette. It is characterized by including the recognition process.

그리고 상기 입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정 이전에, 카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거를 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행하는 것을 특징으로 한다.Before the process of detecting the palette fork insertion hole candidate from the input image, after correcting the radial distortion of the camera lens, converting the image to black and white and binary image, removing the noise, and then connecting the component A pretreatment process for obtaining a labeling result is performed.

그리고 상기 팔레트 포크 삽입홀 후보를 검출하는 과정에서,전처리 과정에서 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 포크 삽입홀의 가로/세로 비율과 유사한 연결요소들만을 포크 삽입홀 후보로 등록하는 것을 특징으로 한다.In the process of detecting the pallet fork insertion hole candidate, after obtaining a minimum bounding box for each connected element labeled in the pretreatment process, the width / length ratio of the box is equal to the width / length of the standard pallet fork insertion hole. Only the connection elements similar to the ratio are registered as candidates for the fork insertion hole.

그리고 상기 표준 팔레트 후보를 검출하는 과정에서, 포크 삽입홀 후보들을 두 개씩 짝을 지어, 두 포크 삽입홀의 크기 및 회전 유사도와 포크 삽입홀 크기 대비 삽입홀 간의 거리 비율이 표준 팔레트의 규격과 유사한 구멍 후보 쌍(pair)만을 선정하는 것을 특징으로 한다.In the process of detecting the standard pallet candidate, pair the fork insertion hole candidates two by two, and thus the hole candidates having similar sizes and rotational similarities between the two fork insertion holes and the ratio of the distance between the insertion holes to the fork insertion hole size are similar to the standard pallet standard. It is characterized by selecting only a pair.

그리고 상기 표준 팔레트 인식 과정에서,선정된 포크 삽입홀 후보 쌍에 대하여 두 삽입홀의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정하는 것을 특징으로 한다.And in the standard palette recognition process, it is characterized by comparing the similarity of the color of the left, middle, right region of the two insertion holes with respect to the selected pair of fork insertion hole candidate.

이와 같은 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 다음과 같은 효과를 갖는다.Such a mono vision-based palette position and posture measuring method according to the present invention has the following effects.

첫째, 인식에 유용한 특징이 별로 없는 표준 팔레트에 대하여 하나의 카메라 영상만으로 팔레트의 3차원 위치 및 자세를 측정할 수 있다.First, the three-dimensional position and posture of a palette can be measured with only one camera image on a standard palette having few features useful for recognition.

둘째, 팔레트 영상에서 상단 및 하단에서 안정적으로 추출할 수 있는 직선만을 이용하고 있으며 특별한 마커나 표식은 사용하지 않고도 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있다.Second, it uses only straight lines that can be reliably extracted from the top and bottom of the pallet image, and can measure the three-dimensional position and posture of the pallet in front of the forklift without using special markers or markers.

셋째, 사영기하 기반의 팔레트 자세 측정 방법과 역 투영 및 비례관계식에 의한 팔레트 위치 측정 등의 새로운 개념의 팔레트의 3차원 위치 및 자세 측정 방식을 제안한다.Third, we propose a new concept of three-dimensional position and attitude measurement of palettes such as the projected geometry based palette attitude measurement method and the pallet position measurement by reverse projection and proportionality equation.

넷째, 레이저 기반 기법보다 빠른 속도로 처리가 가능하며 실시간 처리가 가능하고 저전력 시스템의 구현이 가능하다.Fourth, processing is possible faster than laser-based techniques, real-time processing, and low-power systems are possible.

다섯째, 팔레트 인식을 위한 표식을 사용하지 않고 높은 선반 위의 팔레트도 처리할 수 있어 현장 적용성이 높다.Fifth, pallets on high shelves can be processed without the use of markers for pallet recognition.

이하, 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 바람직한 실시예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of the mono vision based pallet position and posture measuring method according to the present invention will be described in detail.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 특징 및 이점들은 이하에서의 각 실시예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the mono vision based pallet position and pose measurement method according to the present invention will become apparent from the detailed description of each embodiment below.

도 1은 지게차와 팔레트 간의 좌표계 및 팔레트의 위치,자세를 정의하는 구성도이다.1 is a configuration diagram defining a coordinate system and a position and position of a pallet between a forklift and a pallet.

그리고 도 2는 포크 좌표계와 카메라 좌표계를 정의하기 위한 구성도이고, 도 3은 팔레트의 상단 및 하단 특징선을 나타낸 구성도이다.2 is a configuration diagram for defining a fork coordinate camera and a camera coordinate system, and FIG. 3 is a configuration diagram illustrating upper and lower feature lines of a pallet.

본 발명은 실제 물류산업 현장에서의 팔레트 인게이징 작업에서 고려해야 할 기능을 모두 갖춘 팔레트 인식 기술에 관한 것으로 지게차에 장착하여 활용할 수 있도록 한 것이다.The present invention relates to a pallet recognition technology having all the functions to be considered in pallet integrating work in the actual logistics industry, so that it can be mounted and used on a forklift truck.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 위하여 다음과 같은 사항들을 고려한다.Consider the following matters for the mono vision-based palette position and posture measurement method according to the present invention.

첫째, 특정 마커나 표식이 없는 표준 팔레트의 검출이 가능하도록 한다.First, it allows the detection of standard palettes without specific markers or markers.

표준 팔레트에 대한 정의에서 인식에 활용할 수 있는 것은 규격 정보와 단색으로 구성되어 있다는 정보뿐이다.In the definition of the standard palette, the only thing that can be used for recognition is that it consists of standard information and a single color.

따라서, 본 발명에서는 팔레트 앞면과 뒷면을 관통하는 두 구멍(hole)(포크 삽입홀)의 배치 및 크기 정보만을 활용하여 한 대의 카메라로부터 획득한 영상에서 팔레트 후보 영역을 검출한 후, 두 포크 삽입홀 사이의 색상 정보를 활용하여 팔레트 전체 영역을 결정하는 접근 방법을 사용한다.Therefore, in the present invention, after detecting the palette candidate region from an image obtained from one camera by using only the placement and size information of two holes (fork insertion holes) penetrating the front and back of the pallet, the two fork insertion holes This approach uses the color information between to determine the entire area of the palette.

둘째, 팔레트의 적재 높이에 무관한 처리가 가능하도록 한다.Secondly, it allows processing regardless of the pallet's loading height.

지게차의 구성 장치 중에서 하역 대상 팔레트에 가장 가까이 근접 이동하는 것이 포크 캐리지(fork carriage)이므로, 이 장치에 한 대의 카메라를 장착하여 사용함으로써 팔레트의 적재 위치에 무관하게 처리가 가능하도록 한다. Since the fork carriage moves closest to the pallet to be unloaded among the components of the forklift, a camera is mounted on the device so that the pallet can be processed regardless of the loading position of the pallet.

셋째, 팔레트의 자세에 대한 가정 기반의 인식을 가능하게 한다.Thirdly, it enables the assumption-based recognition of the attitude of the palette.

하역 대상 팔레트 화물이 정해지면 선반에서의 대략적인 팔레트 적재 위치에 대한 정보가 주어진다. 그러나 팔레트 인게이징을 위해서는 대상 팔레트의 정확한 위치 및 자세를 측정하여야 한다.Once the pallet cargo to be unloaded is determined, information is given about the approximate pallet loading position on the shelf. However, in order to palletize, the exact position and posture of the target pallet must be measured.

이때, 팔레트의 적재 자세는 물류창고 바닥면과 평행하게 놓여 있다는 가정을 한다. 이러한 가정은 실제 물류창고에서 일반적으로 적용할 수 있는 것이다. 이에 따라, 팔레트 자세 측정 문제는 팔레트의 좌우 회전 정보만을 측정하는 것으로 간략화 된다. At this time, it is assumed that the loading posture of the pallet lies parallel to the bottom surface of the warehouse. This assumption is generally applicable in real warehouses. Accordingly, the pallet posture measurement problem is simplified to measure only the left and right rotation information of the pallet.

넷째, 팔레트 위치 및 자세의 정밀 측정을 가능하도록 한다.Fourthly, to enable accurate measurement of pallet position and posture.

표준 팔레트의 외곽 모서리 및 구멍 모서리가 둥글게 처리되어 있어 측정에 활용할 수 있는 특징 및 속성은 별로 많지 않다.The outer edges and hole edges of the standard palette are rounded, so there are not many features and attributes available for measurement.

따라서, 본 발명에서는 하역 대상 팔레트보다 약간 높은 위치에 놓이게 되는 카메라로부터 획득된 영상에서, 팔레트 앞면의 하단 직선과 두 구멍(포크 삽입홀)의 상단 부분을 잇는 직선을 안정적으로 구할 수 있다는 사실과 이러한 두 직선이 실제적으로는 3차원 공간에서 평행하다는 속성만을 활용하여 팔레트의 위치 및 자세를 정밀하게 측정한다.Therefore, in the present invention, in the image obtained from the camera which is placed slightly higher than the pallet to be unloaded, it is possible to stably obtain a straight line connecting the lower straight line of the front face of the pallet and the upper part of the two holes (fork insertion hole). Accurately measure the position and attitude of the palette using only the property that the two straight lines are actually parallel in three-dimensional space.

이에 따라, 측정을 위한 별도의 마커나 표식을 사용할 필요가 없게 된다.This eliminates the need for using separate markers or markers for measurement.

다섯째, 저가의 저전력 시스템 기반의 실시간 처리를 가능하게 한다.Fifth, it enables low-cost, low-power system-based real-time processing.

카메라는 레이저 거리 측정기에 비해 상대적으로 가격이 매우 저렴하며 저전력을 사용한다. 그러나 복잡한 영상처리 기법을 사용할 경우에는 연산처리 시간이 길어지는 단점이 있다.The camera is relatively inexpensive and uses low power compared to a laser range finder. However, when using a complicated image processing technique, the operation processing time is long.

예를 들어, 팔레트 측정시에 반복적인(iterative) 연산 처리 기반의 방법을 사용하는 경우에는 연산처리 시간의 부담을 해결하고자 높은 사양의 PC를 사용하여야 한다.For example, when using an iterative arithmetic based method for pallet measurement, a high specification PC should be used to solve the burden of arithmetic processing time.

본 발명에서는 사영기하학(projective geometry)에 기반한 간단한 수식을 이용하여 처리하도록 개선함으로써 낮은 사양의 PC에서도 실시간 처리가 가능하도록 한다.In the present invention, by using a simple equation based on the projective geometry (improved to process) to enable real-time processing even on a low specification PC.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 도 1에서와 같이 지게차의 포크 캐리지에 장착한 한 대의 카메라로 입력된 영상을 분석하여 하역 대상 팔레트의 3차원 위치와 자세를 측정해 내는 것이다.According to the present invention, the mono vision based pallet position and posture measuring method analyzes an image inputted by a single camera mounted on a fork carriage of a forklift, and measures the three-dimensional position and posture of a pallet to be unloaded. will be.

보다 정확하게 말하면, 포크 좌표계에서의 팔레트 기준 위치의 좌표값과 팔레트 앞면의 법선 벡터(normal vector)를 구하는 것이다. 이때, 측정 센서로서 카 메라를 사용하는데, 카메라 좌표계와 포크 좌표계는 도 2에서와 같이 정의한다.More precisely, the coordinate values of the palette reference position in the fork coordinate system and the normal vector of the front face of the palette are obtained. At this time, the camera is used as the measurement sensor, the camera coordinate system and the fork coordinate system are defined as shown in FIG.

이하에서, 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 구현을 위한 기술구성을 구체적으로 설명한다.Hereinafter, a technical configuration for implementing the mono vision-based palette position and posture measuring method according to the present invention will be described in detail.

먼저, 본 발명은 포크 좌표계에서 카메라 좌표계의 원점 위치와 각 좌표축의 방향을 결정하는 카메라 외부 검정 기술을 갖는다. 카메라 좌표계에서 계산한 팔레트 위치와 자세 데이터를 포크 좌표계로 변환하기 위해 필요하다.First, the present invention has a camera external calibration technique for determining the origin position of the camera coordinate system and the direction of each coordinate axis in the fork coordinate system. This is necessary to convert the pallet position and pose data calculated in the camera coordinate system into the fork coordinate system.

그리고 카메라로부터 입력된 영상을 분석하여 하역 대상 팔레트의 영역을 자동으로 검출하고 인식하는 표준 팔레트 인식 기술을 포함한다.And it includes a standard palette recognition technology that automatically detects and recognizes the area of the pallet to be unloaded by analyzing the image input from the camera.

그리고 카메라의 위치와 자세를 측정하는데 유용하게 사용할 수 있는 특징을 추출하는 팔레트 측정용 특징 추출 기술을 포함한다.And feature extraction technology for palette measurement that extracts features that can be useful for measuring camera position and pose.

그리고 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 도 3에서와 같이 팔레트 하단의 경계로부터 추출할 수 있는 하단 특징선(characteristic line)과 두 구멍(포크 삽입홀)의 상단을 연결하는 상단 특징선을 사용한다.In addition, the mono vision-based palette position and posture measuring method according to the present invention connects the upper end of two holes (fork insertion holes) and a lower characteristic line which can be extracted from the boundary of the lower end of the pallet as shown in FIG. 3. Use the top feature line.

그리고 팔레트 자세 측정은 영상에서의 팔레트 상하단 특징선에 해당하는 실제 팔레트의 직선이 평행하다는 특성을 이용하여 팔레트의 자세를 측정한다. 팔레트는 바닥면과 평행하게 놓여 있다고 가정함에 따라 팔레트 자세는 좌우 회전각에 의해 정해진다.The palette posture measurement measures the palette posture by using the characteristic that the straight line of the actual palette corresponding to the upper and lower feature lines of the palette in the image is parallel. The pallet posture is determined by the left and right rotation angles, assuming that the pallet lies parallel to the floor surface.

그리고 팔레트 위치 측정은 표준 팔레트의 높이(height) 정보를 이용하여 팔레트 앞면에 해당하는 평면을 결정한 후 두 구멍(포크 삽입홀)의 중심점을 팔레트 의 위치로 결정한다. The pallet position measurement uses the height information of the standard pallet to determine the plane corresponding to the front face of the pallet, and then determines the center point of the two holes (fork insertion hole) as the pallet position.

이와 같은 원리를 이용한 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 구체적으로 설명하면 다음과 같다.Referring to the mono vision-based palette position and posture measuring method according to the present invention using such a principle in detail as follows.

도 4는 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정을 나타낸 플로우차트이다.4 is a flowchart illustrating a process of measuring a position and a posture of a standard pallet according to the present invention.

먼저, 도 4에서와 같이, 팔레트 측정 작업을 위한 전처리 과정으로서 카메라 외부 검정(external calibration) 과정을 수행한다.(S400)First, as shown in FIG. 4, the camera external calibration process is performed as a pretreatment process for the pallet measurement operation (S400).

그리고 팔레트 측정 작업을 시작함에 따라 카메라로부터 영상이 입력되면, 먼저 표준 팔레트 영역을 검출하여 인식한다.(S410)When an image is input from the camera as the palette measurement work is started, the standard palette area is detected and recognized first (S410).

다음에는 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 과정을 수행한다.(S420)Next, a process of extracting upper and lower feature lines from the recognized standard palette area is performed (S420).

이어서 사영기하 기반의 팔레트 자세 측정 과정을 수행하고(S430), 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정 과정을 수행한다.(S440)Next, the projected geometry-based palette pose measurement process is performed (S430), and the palette position measurement process is performed through the back projection of the feature line (S440).

상기와 같은 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정에서 팔레트 인식 단계(S410)에서 문턱치를 자동으로 결정하는 방법과, 평행 특징선 추출 단계(S420)에서 문턱치를 자동으로 결정하는 방법을 적용할 수 있다.Applying the method of automatically determining the threshold in the palette recognition step (S410) and the method of automatically determining the threshold in the parallel feature line extraction step (S420) in the process of measuring the position and posture of the standard palette according to the present invention as described above can do.

인게이지 할 때 단계를, 지게차가 대상 팔레트 앞에 도착 --> 지게차가 정지한 상태에서 두 문턱치를 자동 결정 --> 결정된 문턱치를 이용하여 차후의 인게이지 작업 수행으로 구분할 수 있다.When engaging, steps can be divided into subsequent engagements with the forklift arriving in front of the target pallet-> automatic determination of the two thresholds with the forklift stopped-> the determined threshold.

먼저 팔레트 인식을 위한 문턱치의 자동 결정은 지게차가 정지한 상태에서 다음 과정을 수행하는 것에 의해 결정된다.First, automatic determination of the threshold for pallet recognition is determined by performing the following process while the forklift is stopped.

(1)문턱치를 초기화한다.(1) Initialize the threshold.

(2)입력 영상을 받아온다 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복한다.(2) Receive the input image-> execute the palette recognition module-> save the recognition status and the current threshold together-> repeat the process of increasing the threshold.

(3)그리고 팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용한다.(3) List the thresholds that succeeded in palette recognition and use the median.

그리고 특징선 추출에 필요한 이진화에 사용될 문턱치의 자동 결정은 다음과 같은 과정으로 정해진다.And the automatic determination of the threshold to be used for binarization required for feature line extraction is determined by the following process.

(1)문턱치를 초기화한다(1) Initialize the threshold

(2)입력 영상을 받아온다 --> 평행선 추출 모듈을 수행한다 --> 직선 피팅 에러와 문턱치를 같이 저장한다 -->문턱치를 증가시키는 과정들을 반복한다.(2) Receive the input image-> Execute parallel extraction module-> Store the line fitting error and the threshold together-> Repeat the process of increasing the threshold.

(3)직선 피팅 에러가 가장 작은 문턱치를 사용한다.(3) Use the threshold with the least linear fitting error.

카메라 외부 검정 작업(S100)을 하기 위해서는 먼저 3차원 작업공간을 나타내기 위한 도 1에서의 기준 좌표계(world coordinate system)에서 포크 좌표계를 명확하게 정의하여야 한다.In order to perform the external camera calibration operation S100, the fork coordinate system must be clearly defined in the world coordinate system of FIG. 1 to represent a three-dimensional workspace.

포크 좌표계는 오른손 좌표계로 정의하되 원점은 도 2에서와 같이 두 포크가 시작되는 점들을 연결한 직선 위의 중간 지점으로 정의한다.The fork coordinate system is defined as a right hand coordinate system, but the origin is defined as an intermediate point on a straight line connecting the points where two forks start as shown in FIG.

축은 도 5a와 도 5b에서와 같이 바닥면 법선 벡터

의 반대 방향으로 정의한다.

The axis is the bottom normal vector as shown in FIGS. 5A and 5B.

Define in the opposite direction of.

즉,

.In other words,

.

바닥면 법선 벡터는 기술보고서 Z.Zhang, "A Flexible New Technique for Camera Calibration," MSR-TR-98-71, Technical Report, Microsoft Research, 1998에 공개되어 있는 방법을 응용하여 결정한다.Floor normal vectors are determined by applying the method disclosed in Technical Report Z.Zhang, "A Flexible New Technique for Camera Calibration," MSR-TR-98-71, Technical Report, Microsoft Research, 1998.

평면은 바닥면과 평행하게 설정하되,

축의 방향은 지게차 정면 방향으로 설정한다. 그러나 지게차 정면 방향을 직접 구할 수 없으므로, 지게차 정면을 향하지만 바닥면과 평행하지는 않은 포크 벡터

를 구해 이용한다.

Set the plane parallel to the floor,

The direction of the axis is set in the forklift front direction. However, because the forklift front direction cannot be obtained directly, the fork vector facing the forklift front but not parallel to the bottom surface

Obtain and use

이 포크 벡터는 도 6에서와 같이 포크의 네 모서리 변들이 카메라의 영상평면에서 교차하는 점 P의 좌표값(x, y)를 이용하여 결정할 수 있다.This fork vector can be determined using the coordinate values ( x , y ) of the point P where the four corner sides of the fork intersect in the image plane of the camera as shown in FIG.

여기에서, 점 P는 평행한 포크 모서리 선들의 소멸점(vanishing point)이다. Here, point P is the vanishing point of parallel fork edge lines.

카메라 내부 검정에 의해 결정되는 내부변수 행렬을

라고 하면, 포크 벡터는

로 결정된다.The internal variable matrix determined by the camera internal test

Say, the fork vector

Is determined.

그러면

축을 나타내는 벡터

는

와

의 외적(vector product)

×

로 결정되며,

축을 나타내는 벡터

는

와

의 외적

로 결정된다.then

A vector representing an axis

Is

Wow

Vector product

×

Determined by

A vector representing an axis

Is

Wow

Cross product

Is determined.

카메라 좌표계에서의 한 점

를 포크 좌표계에서의 좌표값으로 변환하는 수식은

와 같이 쓸 수 있다.A point in the camera coordinate system

To convert a to a coordinate value in the fork coordinate system

Can be written as:

여기에서, R 은 좌표계 간의 회전 행렬이며, T 는 포크 좌표계 원점을 카메라 좌표계 원점으로 이동시키는 벡터이다. 회전 행렬 R 은 다음과 같이 구한다.Here, R is a rotation matrix between coordinate systems, and T is a vector for moving the fork coordinate origin to the camera coordinate origin. The rotation matrix R is found as follows.

여기에서, 단위벡터

은 각각 포크 좌표계의 세 축을 나타내는

의 단위벡터를 의미한다.Where unit vector

Respectively represent the three axes of the fork coordinate system.

The unit vector of.

표준 팔레트 검출 및 인식 과정에서는 도 7에서와 같은 세부 과정을 거친다. The standard palette detection and recognition process goes through the detailed process as shown in FIG.

먼저 카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거 등을 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행한다.(S411)First, the radial distortion of the camera lens is corrected, the conversion into black and white and binary images, the noise reduction, and the like are performed, followed by a preprocessing process for obtaining a connected component labeling result (S411).

다음에는 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 구멍의 가로/세로 비율과 유사한 연결요소들만을 구멍 후보로 등록하는 팔레트 구멍 후보 검출 과정을 수행한다.(S412)Next, after obtaining a minimum bounding box for each labeled connection element, the palette hole candidates register only those elements whose width / height ratio of the box is similar to the width / height ratio of standard palette holes as hole candidates. The detection process is performed.

이어, 구멍 후보들을 두 개씩 짝을 지어 조사하되, 두 구멍(포크 삽입홀)의 크기 및 회전 유사도와 구멍 크기 대비 구멍 간의 거리 비율이 표준 팔레트의 규격과 매우 유사한 구멍 후보 쌍(pair)만을 선정하는 표준 팔레트 검출 과정을 수행한 다.(S413)Next, the pair of hole candidates are examined in pairs, and only the pair of hole candidates for which the size and rotational similarity of the two holes (fork insertion holes) and the ratio of the distance between the holes to the hole size are very similar to the standard pallet standard are selected. Perform standard pallet detection process (S413).

그리고 표준 팔레트가 단일 색상으로 구성되어 있다는 속성을 활용하여 표준 팔레트 여부를 최종 검증하는 과정으로서, 앞 과정에서 선정된 구멍 후보 쌍에 대하여 두 구멍의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정한다.(S414)The final verification of the standard palette using the property that the standard palette is composed of a single color is performed by comparing the similarity of the colors of the left, middle, and right areas of the two holes with respect to the pair of hole candidates selected in the previous step. (S414)

도 8a내지 도 8b는 전처리 과정을 거쳐 표준 팔레트를 인식한 결과에 대한 하나의 예제 영상이다.8A to 8B illustrate one example image of a result of recognizing a standard palette through a preprocessing process.

도 8a는 왜곡 보정과 흑백변환을 수행한 영상이고, 도 8b는 이진화 및 잡음 처리를 거친 영상이고, 도 8c는 인식된 팔레트와 관심 영역을 나타낸 영상이다.8A is an image of distortion correction and monochrome conversion, FIG. 8B is an image subjected to binarization and noise processing, and FIG. 8C is an image showing a recognized palette and a region of interest.

상기한 팔레트 상단 및 하단 특징선 추출 단계(S420)에서는 먼저 표준 팔레트 검출 및 인식 단계(S410)에서 구한 팔레트를 포함하는 관심영역을 도 8에서와 같이 개략적으로 설정한다.In the palette upper and lower feature line extraction step (S420), first, a region of interest including the palette obtained in the standard palette detection and recognition step (S410) is schematically set as shown in FIG. 8.

다음에는 표준 팔레트의 검증 과정(S414)에서 구한 색상 정보를 이용하여 도 9의 상단 영상에서와 같이 관심영역의 픽셀(pixel)을 팔레트 픽셀과 배경 픽셀로 구분하는 이진 영상을 만든다.Next, using the color information obtained in the standard palette verification process (S414), as shown in the upper image of FIG. 9, a binary image that divides a pixel of the ROI into a palette pixel and a background pixel is created.

이진 영상에서 팔레트 하단의 경계를 구성하는 픽셀들을 결정하고, 아울러 두 구멍의 상단을 구성하는 픽셀도 결정한다.In the binary image, the pixels forming the boundary of the bottom of the palette are determined, and the pixels forming the top of the two holes are also determined.

마지막으로, 하단 구성 픽셀들에 대하여 Least Square Line Fitting 알고리즘을 적용하여 팔레트 하단 특징선을 결정한다. 이와 유사하게, 팔레트 두 구멍의 상단을 연결하는 상단 특징선을 도 9의 하단 영상에서와 같이 결정한다.Finally, we apply the Least Square Line Fitting algorithm to the lower constituent pixels to determine the palette lower feature line. Similarly, the top feature line connecting the top of the two holes of the pallet is determined as in the bottom image of FIG. 9.

그리고 사영기하(projective geometry) 기반 팔레트 자세 측정 과정(S430)에서는 팔레트 상단 및 하단 특징선에 해당하는 3차원 작업 공간에서의 직선이 평행하다는 특성과 팔레트는 바닥면과 평행하게 놓여 있다는 가정을 이용하여 팔레트의 자세를 계산한다.In the projective geometry-based palette pose measurement process (S430), the straight line in the three-dimensional work space corresponding to the top and bottom features of the palette is parallel and the palette is placed parallel to the floor surface. Calculate the pose of the palette.

먼저 팔레트 상단 및 하단 특징선을 이용하여 3차원 작업공간에서의 평행 직선의 방향을 결정하는 원리는 도 10에서와 같다.First, the principle of determining the direction of the parallel straight line in the three-dimensional workspace by using the upper and lower feature lines of the palette is the same as in FIG. 10.

평행한 두 직선

와 이들의 영상평면 투영 직선

는 각각 원점을 지나는 평면

상에 놓이게 된다.Two parallel lines

And their image plane projection straight lines

Are each planes passing through the origin

It will be placed on.

이 두 평면이 교차하는 직선은 원점을 통과하면서 두 직선

와 평행하게 된다. 따라서 두 평면 위에 놓여 있는 두 직선

의 교차점은 두 평면 교차 직선 위에 있게 된다.The straight line between these two planes passes through the origin and the two straight lines

Parallel to Therefore, two straight lines lying on two planes

The intersection of is on the straight line of the two plane intersection.

사영기하 측면에서 보면, 3차원 공간에서의 두 평행 직선이 영상평면에 투영되었을 때, 투영된 직선의 소멸점(vanishing point)과 카메라 원점을 지나는 직선은 3차원 공간에서의 두 직선과 평행하다고 말할 수 있다.In terms of projective geometry, when two parallel straight lines in three-dimensional space are projected onto the image plane, the vanishing point of the projected straight line and the straight line passing through the camera origin are said to be parallel to the two straight lines in three-dimensional space. Can be.

카메라 좌표계의 원점에서 소멸점으로 향하는 도 10에서의 벡터

는 다음과 같은 외적 연산에 의해 쉽게 구할 수 있다.Vector in FIG. 10 from origin of camera coordinate system to vanishing point

Can be easily obtained by the following external operation:

이미지 상에서,On the image,

직선

을 지나는 임의의 두 점을

,Straight

Two random points passing through

,

직선

를 지나는 임의의 두 점을

라 하면, 이미지 좌표계에서의 점

를 카메라 내부변수 역행렬인

에 곱하여 카메라 좌표계에서의 각 해당점

들의 방향을 나타내는 벡터

를 구할 수 있다. Straight

Two random points

Is a point in the image coordinate system.

Is the inverse of the camera internal variable

Multiply by each corresponding point in the camera coordinate system

Vector indicating the direction of the people

Can be obtained.

이 때,

의 법선벡터는At this time,

The normal vector of the

마찬가지로,

의 법선벡터는

와 같이 구할 수 있으며 최종적으로 팔레트 특징선 방향벡터

는 Likewise,

The normal vector of the

And finally the palette feature direction vector

Is

와 같이 구할 수 있으며, 여기에서 내부변수 행렬인

는 full rank 의 정방행렬 이므로

이며

가 항상 존재한다. 그러므로 각 직선

를 결정하는 두 점이 동일하지만 않으면

상기 수식의 결과값은 언제나 유효하다. 이는, 특히 영상에 투영된 두 특징선이 평행한 경우에도 벡터

를 결정할 수 있음을 의미한다.Can be obtained as

Since is the square of the full rank

And

Is always present. Therefore each straight line

If the two points to determine are not the same

The result of the formula is always valid. This is especially true even when the two feature lines projected on the image are parallel.

Means that it can be determined.

즉, 어떠한 상황에서도

와 같이 간단히 구할 수 있다. That is, under any circumstances

You can simply get

한편, 벡터

를 포크 좌표계로 변환한 벡터

는 팔레트가 바닥면에 평행하다는 가정에 의해

평면에 놓이게 된다. 따라서 팔레트의 자세 벡터는 도 11에서와 같이

평면에서 시계 방향으로 90도 회전하여 결정할 수 있다. Meanwhile, vector

To a fork coordinate system

Is based on the assumption that the pallet is parallel to the floor

It lies on the plane. Therefore, the pose vector of the palette is shown in FIG.

It can be determined by rotating it 90 degrees clockwise in the plane.

역 투영 기반 팔레트 위치 측정 과정(S440)에서는 표준 팔레트의 높이 정보를 이용하여 먼저 팔레트 앞면에 대한 평면 식을 결정한 후 팔레트 기준 위치는 두 구멍의 모서리로부터 구할 수 있는 특징점을 이용하여 결정한다.In the reverse projection-based palette position measurement process (S440), first, a plane equation for the front surface of the pallet is determined using the height information of the standard pallet, and then the pallet reference position is determined using the feature points that can be obtained from the corners of the two holes.

그리고 팔레트 자세 측정 과정(S430)에서 구한 카메라 좌표계에서의 단위 자세 벡터를

라고 하면, 카메라 좌표계에서의 팔레트 평면 식은

로 표현할 수 있다.The unit pose vector in the camera coordinate system obtained in the palette pose measurement process (S430) is

So, the palette plane equation in the camera coordinate system

.

여기에서,

은 단위 벡터이므로

는 카메라 원점에서 팔레트 평면까지의 거리를 나타낸다. 한편, 팔레트 상단 및 하단 특징선을 팔레트 평면에 역 투영하면 평행한 두 직선이 되며, 이 직선 간의 거리는 표준 팔레트 앞면의 밑에서부터 구멍 상단까지의 높이

와 같아야 한다.From here,

Is a unit vector

Represents the distance from the camera origin to the palette plane. On the other hand, back-projection of the palette top and bottom feature lines into the palette plane results in two parallel lines, the distance between the bottom of the front of the standard palette and the height of the top of the hole.

Must be equal to

도 12에 팔레트 평면과 동일한 법선 벡터

을 가지며 카메라 원점에서

만큼 떨어져 있는 가상 평면에 팔레트 상단 및 하단 특징선을 역 투영하는 방법을 이용하여 팔레트 평면 식에서의

값을 결정하는 원리를 나타내었다.Normal vector identical to palette plane in Figure 12

At the camera origin

By using the method of back-projecting palette top and bottom feature lines into a virtual plane that is spaced apart by

The principle of determining the value is shown.

역 투영된 특징선은 평행하므로 이들 간의 거리를

이라고 하면, 비례 관계Backprojected feature lines are parallel, so the distance between them

Speaking of proportional relation

에 의해

이 된다. 여기에서,

는 가상 평면을 정할 때 결정하는 상수이다. 따라서 역 투영된 특징선 간의 거리

을 구하면 팔레트 평면 식을 결정할 수 있다.

By

Becomes From here,

Is a constant that is determined when determining the virtual plane. Therefore, the distance between the back projected feature lines

We can determine the palette plane equation.

그리고 팔레트 상단 특징선이 영상평면의 왼쪽과 오른쪽 모서리와 교차하는 점을 카메라 좌표계에서 각각

라고 하고, 하단 특징선이 교차하는 점은 각각

라고 하면, 이 교차점들을 가상 평면에 역 투영한 점들을 각각 The point at which the top of the palette intersects the left and right edges of the image plane is shown in the camera coordinate system.

And the points where the bottom feature lines intersect

Let's say that each of these points

이라고 하면, 이들은 수식

Speaking of which, these are formulas

에 의해 결정된다.Determined by

여기에서,

는

과

의 내적(dot product) 연산을 의미한다.From here,

Is

and

The dot product operation of.

도 13에서와 같이, 두 벡터

를 정하면, 거리

은 아래 수식들에 의해

로 구해진다.As in Figure 13, two vectors

If we choose, distance

Is given by

Obtained by

여기에서,

은

벡터의 크기를 의미한다. From here,

silver

The size of the vector.

이와 같이 팔레트 평면이 결정되었으므로 팔레트 위치를 마지막으로 결정한다. Since the pallet plane is determined in this way, the pallet position is finally determined.

먼저, 팔레트 평면의 수평방향 중앙선(center line, CL)을 도 14a와 도 14b에서와 같이 결정한다.First, the horizontal center line CL of the pallet plane is determined as in FIGS. 14A and 14B.

이 중앙선은 영상에서의 하단 특징선이 팔레트 평면에 역 투영된 직선보다 팔레트 높이

의 절반인

만큼 높은 위치로 결정한다.This centerline is the height of the palette above the straight line where the bottom feature lines in the image are projected back onto the palette plane.

Half of

Determine as high as possible.

다음에는, 중앙선을 영상평면에 재 투영하여 CL^* 을 결정한다. 재 투영된 CL^* 와 팔레트 구멍의 좌우 경계선과의 교차점

를 구한다. 마지막으로, 교차점

를 팔레트 평면에 역 투영하여 구한 특징점

를 평균하여 최종 팔레트 위치를 결정한다.Next, the center line is reprojected onto the image plane to determine CL ^* . Intersection of the reprojected CL ^{* to} the left and right borders of the pallet hole

. Finally, the intersection

Points obtained by inversely projecting a plane to a palette plane

Determine the final pallet position by averaging

이와 같이 결정된 팔레트의 위치는 카메라 좌표계 기준의 값이므로 카메라-포크 자세검정 과정에서 측정된 외부변수를 이용하여 포크 좌표계 기준으로 변환하 여 사용한다.Since the position of the palette determined as described above is based on the camera coordinate system, it is converted to the fork coordinate system using an external variable measured during the camera-fork posture test.

본 발명에 따른 팔레트 위치 및 자세 측정 방법은 실제 작업현장에서 요구되는 사항을 최대한 고려한 것으로 아래와 같이 강인한 팔레트 인식 성능을 구현한다.The pallet position and posture measuring method according to the present invention takes into consideration the requirements required in the actual work site as much as possible and implements the robust pallet recognition performance as follows.

먼저, 표준 팔레트의 강인한 인식이 가능한 것으로, 표준 팔레트에 특정 마커나 표식을 사용하지 않고서도 인식이 가능하고, 표준 팔레트의 색상에 무관하게 인식 가능하고, 조명 변화에도 강인하게 인식 가능하다.First, strong recognition of the standard palette is possible, and it is possible to recognize the standard palette without using specific markers or markers, can recognize the color regardless of the color of the standard palette, and can also be robustly recognized in light changes.

또한, 팔레트의 적재 높이에 무관하게 인식 가능한 것으로, 지게차 포크 캐리지에 한 대의 카메라를 장착함에 따라 팔레트가 적재되어 있는 높이에 무관하게 팔레트 인식이 가능하다.In addition, the pallet can be recognized regardless of the pallet stacking height. As one camera is mounted on the forklift fork carriage, the pallet can be recognized regardless of the pallet stacking height.

그리고 수동 지게차의 운전자에게 높은 위치의 팔레트에 대한 위치 및 자세 정보를 그래픽 인터페이스를 통해 제공함으로써 안전하고 수월한 팔레트 화물 작업에 도움을 줄 수 있다.In addition, by providing the operator of the manual forklift with a graphical interface, the position and attitude of the pallets in the high position can help safe and easy pallet cargo operation.

그리고 팔레트 위치 및 자세의 신속한 측정이 가능한 것으로, 검증된 간단한 수식에 대한 연산을 통해 처리하므로 매우 신속하게 팔레트 위치 및 자세를 측정 가능하고, 실시간으로 팔레트 화물의 인게이징(engaging)이 가능하다.In addition, it is possible to quickly measure the pallet position and posture, and it is possible to measure the pallet position and posture very quickly and process pallet cargo in real time because it is processed through the operation of the verified simple formula.

그리고 저가의 저전력 시스템 구현을 가능하도록 한 것으로, 카메라 한 대만을 사용하므로 고가의 레이저 거리 측정기에 비해 가격이 매우 저렴하다.It also enables low-cost, low-power systems, and uses only a single camera, making it very inexpensive compared to expensive laser rangefinders.

그리고 카메라 한 대를 구동하기 위한 전력만 필요하므로 저전력 시스템 구현이 가능하고, 저가의 낮은 사양의 산업용 PC를 사용하여 시스템 구현이 가능하다.It only requires power to drive one camera, enabling low-power systems and low-cost industrial PCs.

본 발명에 따른 팔레트 위치 및 자세 측정 방법을 실제 작업현장에서 구현하기 위해서는 표준 팔레트를 촬영하기 위한 한 대의 비전 카메라와 지게차에서 운용될 수 있는 산업용 PC를 지게차에 설치하여야 한다. In order to implement the pallet position and posture measuring method according to the present invention in the actual work site, one vision camera for photographing a standard pallet and an industrial PC that can be operated in the forklift should be installed in the forklift.

비전 카메라는 VGA 규격 이상의 해상력을 가지면서 초당 10장 이상의 영상을 전송할 수 있어야 하고, 수동 밝기 조절이 가능한 칼라 카메라인 것이 바람직하다.The vision camera should be capable of transmitting 10 or more images per second while having a resolution of more than the VGA specification, and preferably a color camera with manual brightness control.

또한, 카메라에 부착할 렌즈는 팔레트의 인게이징 작업시 팔레트가 시야를 벗어날 확률을 줄이기 위해 약 70도 정도의 가로 화각을 갖는 것이 바람직하다.In addition, the lens to be attached to the camera preferably has a horizontal angle of view of about 70 degrees to reduce the probability of the palette out of view during the palletizing operation.

그리고 카메라의 설치 위치는 포크 좌표계 원점으로 부터 상단으로 약 30cm정도의 지점이 바람직하고, 카메라의 각도는 지평면과 평행에 가까우며 포크의 끝부분이 영상 하단의 1/3 이상을 차지하지 않을 정도로 정하는 것이 바람직하다.The location of the camera should be about 30cm from the origin of the fork coordinate system to the top, and the angle of the camera should be close to parallel to the horizon and the tip of the fork should not occupy more than 1/3 of the bottom of the image. desirable.

또한, 카메라는 포크 캐리지의 상하 이동과 일치되게 이동해야 하므로 반드시 포크 캐리지에 장착해야 한다. 이때, 포크의 틸트(tilt) 동작에 의해 상하로 회전 움직임이 없는 부분에 고정 설치하여야 한다. In addition, the camera must be mounted on the fork carriage because the camera must move in accordance with the vertical movement of the fork carriage. At this time, the fork should be fixedly installed in a portion where there is no rotational movement up and down by tilting.

그리고 산업용 PC는 지게차의 자체 전원으로 무리가 없을 정도로 저전력으로 동작하는 사양이어야 하며, 원활한 팔레트 적재를 위하여 본 발명을 구현한 소프트웨어 모듈이 초당 10번 이상의 팔레트 위치 측정을 수행할 수 있을 정도의 성능을 갖는 것이 바람직하다.In addition, the industrial PC should be designed to operate at low power so as not to be unreasonably powered by the forklift's own power supply, and the software module implementing the present invention can perform pallet position measurement more than 10 times per second for smooth pallet loading. It is desirable to have.

이와 같은 설치 기준 및 사양들은 한정되는 것이 아니고, 현장 상황, 기기 상태 등에 따라 다르게 할 수 있음은 당연하다.Such installation standards and specifications are not limited, and it is natural that they can be changed according to site conditions, device conditions, and the like.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.

도 1은 지게차와 팔레트 간의 좌표계 및 팔레트의 위치,자세를 정의하는 구성도1 is a configuration diagram defining a coordinate system and a position and position of a pallet between a forklift and a pallet

도 2는 포크 좌표계와 카메라 좌표계를 정의하기 위한 구성도2 is a configuration diagram for defining a fork coordinate system and a camera coordinate system

도 3은 팔레트의 상단 및 하단 특징선을 나타낸 구성도3 is a block diagram showing top and bottom feature lines of a pallet

도 4는 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정을 나타낸 플로우차트Figure 4 is a flowchart showing the position and attitude measurement process of the standard pallet according to the present invention

도 5a와 도 5b는 포크 좌표계를 정의하기 위한 구성도5A and 5B are configuration diagrams for defining a fork coordinate system

도 6은 포크 모서리들의 소멸점으로부터 포크 방향 벡터를 결정을 위한 구성도6 is a schematic diagram for determining a fork direction vector from vanishing points of fork edges.

도 7은 본 발명에 따른 표준 팔레트의 인식 과정을 나타낸 플로우차트7 is a flowchart illustrating a process of recognizing a standard palette according to the present invention.

도 8a내지 도 8c는 본 발명에 따른 표준 팔레트의 인식 방법에 의한 처리결과를 나타낸 구성도8a to 8c is a configuration diagram showing the processing result by the recognition method of the standard palette according to the present invention

도 9는 팔레트의 상단 및 하단 특징선을 결정하는 과정을 나타낸 구성도9 is a diagram illustrating a process of determining upper and lower feature lines of a pallet.

도 10은 팔레트 상단 및 하단 특징선으로부터 사영기하 속성을 이용하여 팔레트 앞면의 가로 평행선을 결정하는 원리를 나타낸 구성도10 is a block diagram illustrating a principle of determining horizontal parallel lines of a front face of a pallet using projective geometry from top and bottom feature lines of a pallet;

도 11은 팔레트 앞면 가로 평행선 방향으로부터 팔레트의 자세를 결정하는 방법을 나타낸 구성도11 is a block diagram showing a method of determining the attitude of the pallet from the parallel horizontal direction of the pallet front side;

도 12는 팔레트 상단 및 하단 특징선의 역 투영에 의해 팔레트 평면을 결정하는 원리를 나타낸 구성도12 is a block diagram showing the principle of determining the pallet plane by the reverse projection of the pallet upper and lower feature lines.

도 13은 역 투영된 특징선 간의 거리를 결정하는 원리를 나타낸 구성도13 is a block diagram showing a principle of determining the distance between the back projected feature lines

도 14a와 도 14b는 팔레트 구멍 모서리와 중앙을 통과하는 직선을 이용하여 역 투영과 재 투영을 통해 팔레트 위치를 계산하는 방법을 나타낸 구성도14A and 14B are diagrams illustrating a method for calculating a pallet position through reverse projection and reprojection using a straight line passing through a pallet hole edge and a center.

Claims

카메라 영상에서의 포크 모서리 선들에 대한 소멸점을 기반으로 포크 벡터를 구해 카메라 외부 검정(external calibration) 과정을 수행하는 단계;Performing a camera external calibration process by obtaining a fork vector based on a vanishing point of the fork edges in the camera image;

카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;Detecting and recognizing a standard palette area when an image is input from a camera;

상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;Extracting top and bottom feature lines from the recognized standard palette area;

사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.A method of measuring a palette position and attitude based on a mono vision, comprising: projecting geometry based palette pose measurement, and performing palette position measurement through back projection of feature lines.

제 1 항에 있어서, 상기 표준 팔레트 영역을 검출하여 인식하는 단계에서,The method of claim 1, wherein detecting and recognizing the standard palette area comprises:

팔레트 인식을 위한 문턱치의 결정을 위하여,To determine the threshold for palette recognition,

문턱치를 초기화하고, 입력 영상을 받음 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,Initialize the threshold and receive the input image-> execute the palette recognition module-> save the recognition threshold and the current threshold together-> repeat the process of increasing the threshold,

팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용하는 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.A method for measuring a position and attitude of a palette based on a mono vision, characterized in that the process includes listing thresholds that succeed in palette recognition and obtaining and using a median.

제 1 항에 있어서, 상기 상단 및 하단 특징선을 추출하는 단계에서,The method of claim 1, wherein the extracting the upper and lower feature lines,

특징선 추출에 필요한 이진화에 사용될 문턱치의 결정을 위하여,To determine the threshold to be used for binarization required for feature line extraction,

문턱치를 초기화하고, 입력 영상을 받음 --> 평행선 추출 모듈을 수행 --> 직선 피팅 에러와 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,Initialize the threshold and receive the input image-> perform the parallel extraction module-> store the linear fitting error and the threshold together-> repeat the process of increasing the threshold,

직선 피팅 에러가 가장 작은 문턱치를 사용하는 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.Mono-vision based pallet position and attitude measuring method comprising the step of using the smallest threshold value of the linear fitting error.

삭제delete

제 1 항에 있어서, 상기 영상을 제공하는 카메라는,The method of claim 1, wherein the camera providing the image,

포크 캐리지에 장착되는 한개의 카메라인 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.Mono vision based pallet position and attitude measuring method, characterized in that it is one camera mounted on the fork carriage.

제 1 항에 있어서, 상기 표준 팔레트 영역을 검출하여 인식하기 위하여,The method of claim 1, in order to detect and recognize the standard palette area,

입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정,Detecting a pallet fork hole candidate from an input image,

표준 팔레트의 기하정보에 기반한 표준 팔레트 후보를 검출하는 과정,The process of detecting standard palette candidates based on the geometry of the standard palette,

표준 팔레트의 단일 색상 속성에 기반한 표준 팔레트 인식 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.A mono vision based palette position and posture measurement method comprising a standard palette recognition process based on a single color attribute of a standard palette.

제 6 항에 있어서, 상기 입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정 이전에,The method of claim 6, wherein before the detecting of the pallet fork hole candidate from the input image,

카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거를 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.After performing the pre-processing process of correcting the radial distortion of the camera lens, converting it to black and white and binary image, removing the noise, and calculating the result of the connected component labeling. How to measure pallet position and posture.

제 6 항에 있어서, 상기 팔레트 포크 삽입홀 후보를 검출하는 과정에서,The method of claim 6, wherein in the detecting of the pallet fork insertion hole candidate,

전처리 과정에서 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 포크 삽입홀의 가로/세로 비율과 유사한 연결요소들만을 포크 삽입홀 후보로 등록하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.After obtaining a minimum bounding box for each labeled element in the pretreatment process, register only those elements whose width / height ratio of the box is similar to the width / height ratio of the standard pallet fork insertion hole as candidates for fork insertion. Mono vision based palette position and posture measurement method characterized in that.

제 6 항에 있어서, 상기 표준 팔레트 후보를 검출하는 과정에서, The method of claim 6, wherein in the detecting of the standard palette candidate,

포크 삽입홀 후보들을 두 개씩 짝을 지어, 두 포크 삽입홀의 크기 및 회전 유사도와 포크 삽입홀 크기 대비 삽입홀 간의 거리 비율이 표준 팔레트의 규격과 유사한 구멍 후보 쌍(pair)만을 선정하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.By pairing the fork insertion hole candidates two by one, the size and rotational similarity of the two fork insertion holes and the ratio of the distance between the insertion holes to the size of the fork insertion hole are selected to select only a pair of hole candidates similar to the standard pallet standard. Mono vision based pallet position and posture measurement method.

제 6 항에 있어서, 상기 표준 팔레트 인식 과정에서,The method of claim 6, wherein in the standard palette recognition process,

선정된 포크 삽입홀 후보 쌍에 대하여 두 삽입홀의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.A method for measuring the position and attitude of a mono vision based palette according to a selected pair of fork hole candidates by comparing similarity of colors of left, middle, and right areas of two insertion holes.