KR102486009B1

KR102486009B1 - 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법

Info

Publication number: KR102486009B1
Application number: KR1020220076957A
Authority: KR
Inventors: 이래용
Original assignee: 주식회사 대한엔지니어링
Priority date: 2022-06-23
Filing date: 2022-06-23
Publication date: 2023-01-10

Abstract

팔레트에 적재된 서로 다른 크기의 대상물을 로봇을 이용해 안정적으로 한 개씩 픽업하여 컨베이어로 투입하는 디팔레타이징 자동화 시스템 및 방법이 개시된다. 이를 위하여 동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고 상기 제1 내지 제3 영상정보를 외부로 전송하는 카메라부와, 팔레트에 적층된 대상물의 XYZ 좌표에 따라 대상물의 중심점을 흡착하여 컨베이어로 이송하는 로봇팔, 및 팔레트의 적재된 대상물을 구분할 수 있도록 사용하는 각 대상물의 외형에 대한 대상물 패턴데이터가 저장되고, 상기 카메라부로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 대상물의 종류를 구분하고 대상물의 중심점에 대한 XY 좌표를 검출하며, 제1 영상정보와 틸트다운하며 촬영한 제2,3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출하며, 대상물의 XYZ 좌표를 상기 로봇팔로 제공하는 제어장치를 포함하는 디팔레타이징 자동화 시스템을 제공한다. 본 발명에 의하면, 서로 다른 크기의 대상물이 팔레트에 적층되어 있더라도 로봇팔을 사용해 안정적으로 각 대상물을 컨베이어로 이송시킬 수 있다.

Description

로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법{DEPALETIZING AUTOMATIC SYSTEM AND METHOD USING ROBOT ARM}

본 발명은 로봇을 이용해 팔레트에 적재된 대상물을 컨베이어로 이송하는 디팔레타이징 자동화 시스템 및 방법에 관한 것으로, 보다 구체적으로 팔레트에 적재된 서로 다른 크기의 대상물을 로봇을 이용해 안정적으로 한 개씩 픽업하여 컨베이어로 투입하는 디팔레타이징 자동화 시스템 및 방법에 관한 것이다.

팔레타이징(palletizing)/디팔레타이징(depalletizing)은 팔레트(pallet)상에 작업 대상물을 들어 올리거나 내리는 공정으로, 팔레타이징은　작업 대상물을 팔레트 쌓아 올리는 작업을 나타내며, 디팔레타이징은 팔레트로부터 작업 대상물을 내리는 작업을 나타낸다. 이때, 작업 대상물은 상품들이 적재된 포장박스를 포함할 수 있다.

최근에는 물류의 고속 처리를 위해 팔레타이징/디팔레타이징용 로봇팔이 사용되고 있다. 이러한 로봇팔이 팔레트 상에 적재된 작업 대상물 즉, 포장박스를 하나씩 집어서 컨베이어 벨트에 올리는 디팔레타이징 작업은 물류 자동화에 있어서 필수적인 기술이다.

그러나 포장박스와 같은 작업 대상물을 감지하기 위한 3D 카메라의 인식 범위의 한계로 인해, 로봇팔의 디팔레타이징 작업 시 서로 다른 크기를 갖는 적재 대상물을 다루는데 문제점이 있다.

대한민국 공개특허 제10-2021-0068979호(2021.06.10 공개) 대한민국 공개특허 제10-2021-0137060호(2021.11.17 공개) 대한민국 등록특허 제10-1187234호(2012.10.02 공고) 대한민국 등록특허 제10-0865165호(2008.10.24 공고)

따라서, 본 발명의 제1 목적은 획일적인 크기의 대상물만 디팔레타이징 작업을 수행하는 것에서 벗어나 서로 다른 크기로 적재된 대상물들에 대해서도 자동으로 디팔레타이징 작업을 수행할 수 있는 디팔레타이징 자동화 시스템을 제공하는데 있다.

또한, 본 발명의 제2 목적은 서로 다른 대상물들이 팔레트에 적재된 상태에서도 각 대상물의 크기를 고려하여 대상물의 흡착 위치를 선정하여 안정적으로 대상물을 컨베이어로 이송시킬 수 있는 디팔레타이징 자동화 방법을 제공하는데 있다.

상술한 본 발명의 제1 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고 상기 제1 내지 제3 영상정보를 외부로 전송하는 카메라부와, 팔레트에 적층된 대상물의 XYZ 좌표에 따라 대상물의 중심점을 흡착하여 컨베이어로 이송하는 로봇팔, 및 팔레트의 적재된 대상물을 구분할 수 있도록 사용하는 각 대상물의 외형에 대한 대상물 패턴데이터가 저장되고, 상기 카메라부로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 대상물의 종류를 구분하고 대상물의 중심점에 대한 XY 좌표를 검출하며, 제1 영상정보와 틸트다운하며 촬영한 제2,3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출하며, 대상물의 XYZ 좌표를 상기 로봇팔로 제공하는 제어장치를 포함하는 디팔레타이징 자동화 시스템을 제공한다.

또한, 본 발명의 제 2 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 팔레트의 적재된 대상물을 구분할 수 있도록 사용하는 각 대상물의 외형에 대한 대상물 패턴데이터를 제어장치에 저장하는 패턴데이터 저장단계와, 카메라부가 동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고, 상기 제1 내지 제3 영상정보를 상기 제어장치로 전송하는 팔레트 촬영단계와, 상기 제어장치가 상기 카메라부로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 팔레트에 적재된 대상물의 종류를 구분하고, 대상물의 중심점에 대한 XY 좌표를 검출하는 중심점 분석단계와, 상기 제어장치가 제1 영상정보의 대상물을 기준으로 틸트다운하며 촬영한 제2,3 영상정보의 대상물을 비교분석하여 대상물의 이미지가 서로 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출하는 거리 분석단계와, 상기 제어장치가 중심점의 XYZ 좌표가 포함된 좌표정보를 생성한 후 로봇팔로 좌표정보를 전송하는 좌표정보 전송단계, 및 상기 로봇팔이 제어장치로부터 수신된 좌표정보에 따라 팔레트에 적층된 대상물의 중심점을 흡착하여 컨베이어로 이송하는 이송단계를 포함하는 디팔레타이징 자동화 방법을 제공한다.

본 발명에 의하면, 서로 다른 크기의 대상물이 팔레트에 적층되어 있더라도 로봇팔을 사용해 안정적으로 각 대상물을 컨베이어로 이송시킬 수 있다.

또한, 본 발명은 대상물의 중심점을 분석하여 중심점을 중심으로 흡착력을 제공하기 때문에 포장박스 등의 대상물 내부에 수용된 상품의 흔들림을 최소화한 상태로 대상물의 디팔레타이징을 진행할 수 있다.

아울러, 본 발명은 팔레트에 적재될 대상물의 외형에 대한 대상물 패턴데이터를 미리 저장하여 활용하기 때문에 팔레트에 적재된 대상물의 종류를 정확히 분석할 수 있어 대상물 분석의 오류로 인한 대상물의 손상을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 디팔레타이징 자동화 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명에 따른 디팔레타이징 자동화 시스템을 나타내는 블록도이다.
도 3은 본 발명의 제1 카메라 내지 제3 카메라로 촬영한 대상물의 이미지 매칭을 설명하기 위한 개념도이다.
도 4는 본 발명의 다른 실시예에 따른 디팔레타이징 자동화 시스템을 나타내는 구성도이다.
도 5는 본 발명에 따른 제1 카메라의 시야와 관심영역을 설명하기 위한 개략도이다.
도 6은 본 발명에 따른 제1 카메라를 기준으로 시점이 일치하는 제2, 제3 카메라의 틸트다운 변화값을 설명하기 위한 개략도이다.
도 7은 본 발명에 따른 제어장치가 대상물의 픽업순서를 재설정하는 방법을 설명하기 위한 개략도이다.
도 8은 본 발명의 일 실시예에 따른 디팔레타이징 자동화 방법을 설명하기 위한 순서도이다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예들에 의한 로봇팔을 이용한 디팔레타이징 자동화 시스템(이하, '디팔레타이징 자동화 시스템'이라 약칭함)을 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 디팔레타이징 자동화 시스템을 설명하기 위한 구성도이며, 도 2는 본 발명에 따른 디팔레타이징 자동화 시스템을 나타내는 블록도이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 디팔레타이징 자동화 시스템은 팔레트(P)를 촬영하여 영상정보를 생성하고 상기 영상정보를 외부로 전송하는 카메라부(100)와, 팔레트(P)에 적층된 대상물(B)을 흡착하여 컨베이어(400)로 이송하는 로봇팔(200), 및 상기 카메라부(100)로부터 제공된 영상정보를 분석하여 팔레트(P)에 적층된 대상물(B)의 종류를 구분한 후 대상물(B)의 흡착위치인 XYZ 좌표를 생성하여 상기 로봇팔(200)로 제공하는 제어장치(300)를 포함한다.

이러한 디팔레타이징 자동화 시스템을 이용한 디팔레타이징(depalletizing) 작업은 팔레트(P)에 적층된 대상물(B)의 흡착 위치인 중심점의 좌표를 분석하고, 대상물(B)의 중심점을 흡착하여 대상물(B)을 컨베이어(400)에 내려놓는 것을 반복하는 작업이다.

이하, 도면을 참조하여 각 구성요소별로 보다 구체적으로 설명한다.

본 발명에 따른 디팔레타이징 자동화 시스템은 카메라부(100)를 포함한다.

상기 카메라부(100)는 동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트(P)를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고 상기 제1 내지 제3 영상정보를 외부로 전송하는 것으로, 제1 카메라(110)와 제2 카메라(120) 및 제3 카메라(130)를 포함하며, 선택적으로 틸트 모터(미도시), 및 엔코더(미도시)를 더 포함하여 구성될 수 있다.

상기 제1 카메라(110)는 팔레트(P)를 촬영하여 생성된 제1 영상정보를 제어장치(300)로 전송하는 것으로, 제2 카메라(120) 및 제3 카메라(130)와 비교할 수 있는 대상물(B)의 기준 영상을 촬영할 수 있도록 도 1과 같이 미리 설정된 위치까지 컨베이어(400)에 근접하게 이동한 팔레트(P)의 수직 방향에서 펠레트에 적층된 대상물(B)들의 평면 영상을 촬영하여 제1 영상정보를 생성한다.

상기 제2 카메라(120)는 제1 카메라(110)와 이격되도록 설치되는 것으로, 틸트다운을 통해 대상물(B)이 적재된 팔레트(P)를 촬영하여 생성된 실시간 영상인 제2 영상정보를 상기 제어장치(300)로 전송한다.

도 3은 본 발명의 제1 카메라 내지 제3 카메라로 촬영한 대상물(B)의 이미지 매칭을 설명하기 위한 개념도이다. 도 3을 참조하면, 제2 카메라(120)는 팔레트(P)에 적재된 대상물(B)에 대해 제1 카메라(110)를 통해 촬영된 대상물(B)의 이미지와 매칭된 이미지가 검출되도록 회전되면서 제2 영상정보를 생성한다.

이를 위해, 카메라부(100)는 제2 카메라(120)가 틸트다운될 수 있도록 제2 카메라(120)에 설치되는 틸트 모터가 구비될 수 있다.

그리고 카메라부(100)는 제2 카메라(120)를 통해 촬영된 대상물(B)의 이미지가 제1 카메라(110)를 통해 촬영된 대상물(B)의 이미지와 매칭된 제2 카메라(120)의 회전각을 검출할 수 있는 앤코더가 구비될 수 있다. 이러한 앤코더는 틸트 모터에 설치되어 제2 카메라(120)의 회전각을 감지한다.

상기 제3 카메라(130)는 제1 카메라(110) 및 제2 카메라(120)와 동일 선상에 위치하고, 제1 카메라(110)를 중심으로 제2 카메라(120)의 반대편에 설치되는 것으로, 틸트다운을 통해 대상물(B)이 적재된 팔레트(P)를 촬영하여 생성된 실시간 영상인 제3 영상정보를 제어장치(300)로 전송한다.

이러한 제3 카메라(130)는 팔레트(P)에 적재된 대상물(B)에 대해 제1 카메라(110)를 통해 촬영된 대상물(B)의 이미지와 매칭된 이미지가 검출되도록 회전되면서 제3 영상정보를 생성한다.

이를 위해, 카메라부(100)는 제3 카메라(130)가 틸트다운될 수 있도록 제3 카메라(130)에 설치되는 틸트 모터가 구비될 수 있다.

그리고 카메라부(100)는 제3 카메라(130)를 통해 촬영된 대상물(B)의 이미지가 제1 카메라(110)를 통해 촬영된 대상물(B)의 이미지와 매칭된 제3 카메라(130)의 회전각을 검출할 수 있는 앤코더가 구비될 수 있다. 이러한 앤코더는 틸트 모터에 설치되어 제3 카메라(130)의 회전각을 감지한다.

이러한 제2 카메라(120)와 제3 카메라(130)는 제1 카메라(110)의 영상정보를 기준으로 X축 방향으로 대상물(B) 영상이 매칭되는 변위만큼 틸트 모터가 작동한다. 그리고 제1 카메라(110)의 좌측에 설치된 제2 카메라(120)의 틸트 모터는 90도(°)에서 시계 방향으로 회전하고, 제1 카메라(110)의 우측에 설치된 제3 카메라(130)의 틸트 모터는 90도(°)에서 반시계 방향으로 회전한다.

도 4는 본 발명의 다른 실시예에 따른 디팔레타이징 자동화 시스템을 나타내는 구성도이다. 본 발명에 따른 카메라부(100)는 도 1과 같이 제1 카메라(110), 제2 카메라(120), 제3 카메라(130)가 서로 독립적으로 설치될 수도 있고, 도 4와 같이 일체형으로 설치될 수도 있다.

또한, 본 발명의 카메라부(100)는 도 1과 같이 로봇팔(200)과 별도로 설치될 수도 있고, 도 4와 같이 로봇팔(200)에 설치될 수도 있다.

제1 실시 양태로서, 본 발명에 따른 카메라부(100)는 제1 내지 제3 카메라(110,120,130)가 카메라 시야로 팔레트(P)를 촬영하여 생성된 팔레트 영상으로 영상정보를 생성한 후 상기 영상정보를 제어장치(300)로 제공한다. 이때, 제어장치(300)는 자체 구비된 영상편집 소프트웨어를 통해 제1 영상정보 내지 제3 영상정보를 각각 관심영역 영상으로 편집하여 사용한다.

제2 실시 양태로서, 본 발명에 따른 카메라부(100)는 카메라 시야로 팔레트(P)를 촬영하여 생성된 팔레트 영상을 제어장치(300)로 전송하고, 상기 제어장치(300)로부터 제공된 관심영역 정보에 따라 관심영역을 촬영하여 제1 영상정보 내지 제3 영상정보를 생성하며, 상기 제1 내지 제3 영상정보를 제어장치(300)로 제공할 수 있다.

제3 실시 양태로서, 본 발명에 따른 카메라부(100)는 카메라 시야로 팔레트(P)를 촬영하여 생성된 팔레트 영상을 제어장치(300)로 전송하고, 제1 내지 제3 카메라(110,120,130)가 팔레트(P)를 촬영하여 생성된 팔레트 영상을 자체 구비된 영상편집 소프트웨어를 통해 상기 제어장치(300)로부터 제공된 관심영역 정보에 따라 편집하여 관심영역에 대한 영상정보를 생성하며, 상기 제1 내지 제3 영상정보를 제어장치(300)로 제공할 수 있다.

본 발명에 따른 디팔레타이징 자동화 시스템은 로봇팔(200)을 포함한다.

상기 로봇팔(200)은 팔레트(P)에 적층된 대상물(B)의 XYZ 좌표에 따라 대상물(B)의 중심점을 흡착하여 컨베이어(400)로 이송하는 것으로, 팔레트(P)와 컨베이어(400) 사이를 왕복으로 이동하는 동력을 제공하는 구동부(미도시)와, 및 상기 구동부에 결합되며 구동부의 동작에 따라 팔레트(P)와 컨베이어(400) 사이를 왕복으로 이동하는 다관절 프레임부(210), 및 상기 다관절 프레임부(210)의 움직임에 따라 대상물(B)을 흡착할 수 있도록 다관절 프레임부(210)의 말단에 설치된 흡착부(220)을 포함하며, 선택적으로 다관절 프레임부(210)의 하단에 설치되어 팔레트(P)에 적층된 대상물(B)의 위치에 따라 다관절 프레임부(210)의 높낮이를 조절하는 높이조절부를 더 포함하여 구성될 수 있다.

상기 높이조절부는 일측이 평면에 고정되어 있는 상태에서 상기 일측에 대향되는 타측에 형성된 높이조절모듈이 상하 운동을 하도록 구성될 수 있다. 이때, 높이조절모듈은 제1 높이와 제2 높이 사이에서 상하 이동되도록 구성되며, 그 상단이 다관절 프레임부(210)의 하단에 연결될 수 있다. 이에 따라, 높이조절부를 통해 다관절 프레임부(210)의 전체 높이가 제어될 수 있다.

상기 구동부는 다관절 프레임부(210)를 구동시켜 X, Y, Z 공간상에서 다관절 프레임부(210)를 회전/이동할 수 있도록 하며, 구동모터 등을 사용할 수 있다. 또한, 구동부는 다관절 프레임부(210)를 X, Y, Z 공간상에서 회전/이동시켜 말단의 높이를 조절할 수 있다. 이에 따라, 다관절 프레임부(210)의 말단에 위치한 흡착부(220)의 높이도 연동하여 달라질 수 있다.

상기 다관절 프레임부(210)는 다관절 형태로 형성되어 구동기구에 의해 관절별로 구동될 수 있다. 이에 따라, 다관절 프레임부(210)는 복수의 힌지와, 복수의 힌지를 통해 회전/이동 가능하게 형성된 복수의 프레임모듈을 포함하며, X, Y, Z 공간상에서 회전/이동할 수 있는 다관절 형태의 로봇일 수 있다.

예를 들면, 다관절 프레임부(210)는 지면 또는 높이조절부에 연결된 제1 프레임모듈(211)과, 상기 제1 프레임모듈(211)에 조립된 제1 힌지(212)와, 상기 제1 힌지(212)에 조립된 제2 프레임모듈(213)과, 상기 제2 프레임모듈(213)에 조립된 제2 힌지(214)와, 상기 제2 힌지(214)에 조립된 제3 프레임모듈(215)과, 상기 제3 프레임모듈(215)에 조립된 제3 힌지(216)와, 상기 제3 힌지(216)에 조립된 제4 프레임모듈(217), 및 상기 제4 프레임모듈(217)에 연결된 흡착부(220)를 포함한다.

여기서, 다관절 프레임부(210)는 3개의 힌지와 4개의 프레임모듈을 포함하는 구성으로 예를 들었으나, 이에 한정되지는 않는다.

상기 흡착부(220)는 다관절 프레임부(210)의 움직임에 따라 대상물(B)에 접촉될 수 있도록 다관절 프레임부(210)의 말단에 설치되는 것으로, 팔레트(P)에 적층된 대상물(B)의 상면을 흡착하여 팔레트(P)로부터 이탈시키며, 컨베이어(400)로 대상물(B)이 이동되는 동안에 대상물(B)에 지속적으로 흡착력을 제공한다. 이러한 흡착부(220)는 대상물(B)을 흡착하는 흡착헤드가 구비된 흡착판을 포함하여 구성되며, 상기 흡착판은 1개 이상의 흡착헤드가 구비되어 대상물(B)을 흡착한다.

이러한 구조를 갖는 로봇팔(200)을 이용하여 작업을 수행하는 경우, 로봇팔(200)이 대상물(B)을 흡착하여 컨베이어(400)의 특정 위치에 올려놓을 수 있도록, 팔레트(P) 및 컨베이어(400)가 로봇팔(200)의 움직임 범위 내에 위치해야 한다.

본 발명에 따른 디팔레타이징 자동화 시스템은 제어장치(300)를 포함한다.

상기 제어장치(300)는 카메라부(100)와 로봇팔(200)에 유선 또는 무선으로 연결된 것으로, 팔레트(P)의 적재된 대상물(B)을 구분할 수 있도록 사용하는 각 대상물(B)의 외형에 대한 대상물 패턴데이터가 저장된다.

상기 제어장치(300)는 카메라부(100)로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 대상물(B)의 종류를 구분하고, 대상물(B)의 중심점에 대한 XY 좌표를 검출한다.

상기 제어장치(300)는 제1 영상정보와 틸트다운하며 촬영한 제2,3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출하여 대상물(B)의 중심점에 대한 XYZ 좌표를 생성한다. 이 경우, 제어장치(300)는 대상물(B)의 XYZ 좌표를 로봇팔(200)로 제공한다.

제1 실시 양태로서, 본 발명에 따른 제어장치(300)는 카메라부(100)로부터 팔레트 영상인 제1 영상정보 내지 제3 영상정보가 제공되면, 대상물(B) 검출영역을 추출하여 관심영역 정보를 생성하고, 상기 관심영역 정보를 기준으로 자체 구비된 영상편집 소프트웨어를 통해 제1 영상정보 내지 제3 영상정보를 각각 관심영역 영상으로 편집하며, 관심영역 영상으로 편집된 제1 영상정보 내지 제3 영상정보를 기준으로 이미지 매칭을 분석할 수 있다.

제2 실시 양태로서, 본 발명에 따른 제어장치(300)는 카메라부(100)로부터 팔레트 영상이 제공되면, 상기 팔레트 영상에서 대상물(B) 검출영역을 추출하여 관심영역 정보를 생성하고, 상기 관심영역 정보를 카메라부(100)로 제공한다. 그리고 제어장치(300)는 카메라부(100)로부터 관심영역 정보에 따라 관심영역을 촬영하여 생성된 제1 영상정보 내지 제3 영상정보가 제공되면, 이를 기준으로 이미지 매칭을 분석할 수 있다.

제3 실시 양태로서, 본 발명에 따른 제어장치(300)는 카메라부(100)로부터 관심영역 영상으로 편집된 제1 영상정보 내지 제3 영상정보가 제공되면, 상기 제1 영상정보 내지 제3 영상정보를 기준으로 이미지 매칭을 분석할 수 있다.

도 5는 본 발명에 따른 제1 카메라의 시야와 관심영역을 설명하기 위한 개략도이며, 도 6은 본 발명에 따른 제1 카메라를 기준으로 시점이 일치하는 제2, 제3 카메라의 틸트다운 변화값을 설명하기 위한 개략도이다.

도 5 및 도 6을 참조하면, 제어장치(300)는 제2 카메라(120)에 설치되는 틸트 모터를 제어하여 제2 카메라(120)를 회전시고, 제1 카메라(110)로부터 제공된 제1 영상정보와 제2 카메라(120)의 틸트 모터를 틸트다운하며 촬영한 제2 영상정보의 이미지 매칭을 시도하여 이미지(object)가 매칭된 시점의 제1 틸트다운 변화값(θ₁)을 검출한다. 이때, 제어장치(300)는 이미지가 매칭된 시점에 제2 카메라(120)의 틸트 모터에 설치된 제1 엔코더로부터 제1 틸트다운 변화값(θ₁)을 수집한다.

상기 제어장치(300)는 제3 카메라(130)에 설치되는 틸트 모터를 제어하여 제3 카메라(130)를 회전시고, 제1 카메라(110)로부터 제공된 제1 영상정보와 제3 카메라(130)의 틸트 모터를 틸트다운하며 촬영한 제3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 제2 틸트다운 변화값(θ₂)을 검출한다. 이때, 제어장치(300)는 이미지가 매칭된 시점에 제3 카메라(130)의 틸트 모터에 설치된 제2 엔코더로부터 제2 틸트다운 변화값(θ₂)을 수집한다.

상기 제어장치(300)는 제1 엔코더로부터 제1 틸트다운 변화값(θ₁)을 수집하고, 제2 엔코더로부터 제2 틸트다운 변화값(θ₂)을 수집하며, 아래의 [수학식 1]을 통해 제1 카메라(110)와 대상물(B) 사이의 거리를 산출한다.

[수학식 1]

h = d / [tan(90-θ₁)+ tan(90-θ₂)]

상기 제어장치(300)는 팔레트(P)에 적층된 대상물(B)에 대한 위치 좌표값을 취득한 후 Z 좌표값에 따라 대상물(B)의 픽킹 순서를 설정하고, 픽킹 순서가 포함된 좌표정보를 생성하여 로봇팔(200)로 제공한다.

특정 양태로서, 대상물(B)의 위치 좌표값을 취득하는 방법은 카메라부(100)의 영상 좌표값을 (0.0)에서 (640,480)로 분할하여 두고, 각 좌표값에 대한 로봇팔(200)의 모터 파라미터값을 제어장치(300)에 미리 입력 저장하는 방식을 사용할 수 있다. 예를 들어, 대상물(B) 중심점의 위치가 인식될 경우, 로봇팔(200)은 해당 좌표값에 대응하는 모터의 파라미터 값인 X=1000, Y=1500, Z=1700로 모터를 회전시킴으로써, 해당 XYZ 좌표에 중심점이 위치한 대상물(B)을 픽킹하게 된다.

도 7은 본 발명에 따른 제어장치가 대상물의 픽업순서를 재설정하는 방법을 설명하기 위한 개략도이다.

또한, 제어장치(300)는 도 7의 (a)에 도시된 바와 같이 제1 영상정보에 복수개의 대상물(B)이 있는 경우, 촬상된 영상에 포함되어 있는 복수개 대상물(B)의 XYZ 좌표를 한 번에 취득한 후 Z 좌표를 이용해 픽킹 순서를 설정하고, 로봇팔(200)이 설정된 픽킹 순서에 따라 팔레트(P)와 컨베이어(400)의 사이를 순차적으로 왕복 이동하면서 대상물(B)을 컨베이어(400)로 이송하도록 로봇팔(200)을 제어하는 픽업정보를 로봇팔(200)에 전송한다.

또한, 제어장치(300)는 도 7의 (b)에 도시된 바와 같이 최우선 순위의 대상물이 컨베이어(400)로 이송된 후, 나머지 대상물(B)의 XYZ 좌표를 다시 취득하여 Z 좌표를 이용해 픽킹 순서가 재설정된 픽업정보를 생성한다.

예를 들면, 제어장치(300)는 제1 영상정보에서 대상물(B)의 XYZ 좌표가 복수로 산출되는 경우, Z 좌표가 작은 XYZ 좌표를 우선순위로 픽킹 순서가 설정된 픽업정보를 생성하여 로봇팔(200)로 제공할 수 있다.

또한, 제어장치(300)는 제1 영상정보에서 대상물(B)의 XYZ 좌표가 복수로 산출되고 각 대상물(B)의 Z 좌표가 미리 지정된 수치 범위 이내에서 차이가 발생된 경우, 각 대상물(B)이 Z 좌표 대신 XYZ 좌표와 로봇팔(200)의 이격거리를 분석한 후, 이격거리가 먼 대상물의 XYZ 좌표를 우선순위로 픽킹 순서가 설정된 픽업정보를 생성하여 로봇팔(200)로 제공할 수 있다.

다시 말해, 제어장치(300)는 영상정보를 분석하여 복수개의 XYZ 좌표가 산출되는 경우, Z 좌표가 가장 작은 대상물(B)이나 로봇팔(200)로부터 이격거리가 먼 대상물(B)이 먼저 컨베이어(400)로 이송되도록 흡착 대상물(B)로 선정한다.

본 발명에 따른 디팔레타이징 자동화 시스템은 컨베이어(400)를 더 포함할 수 있다.

상기 컨베이어(400)는 로봇팔(200)에 의해 흡착되어 이송된 대상물(B)을 후방으로 이동시키는 것으로, 벨트 컨베이어(400)나 체인 컨베이어(400)로 구성될 수 있다.

도 8은 본 발명의 일 실시예에 따른 디팔레타이징 자동화 방법을 설명하기 위한 순서도이다.

도 6을 참조하면, 본 발명에 따른 디팔레타이징 자동화 방법은 사용하는 각 대상물(B)의 외형에 대한 대상물 패턴데이터를 저장하는 패턴데이터 저장단계(S100)와, 3곳에서 아래 방향에 위치한 팔레트(P)를 각각 촬영하여 제1 내지 제3 영상정보를 생성하는 팔레트 촬영단계(S200)와, 상기 제1 영상정보를 대상물 패턴데이터와 비교분석하여 팔레트(P)에 적재된 대상물(B)의 종류를 구분하고 대상물(B)의 중심점에 대한 XY 좌표를 검출하는 중심점 분석단계(S300)와, 상기 제1 영상정보의 대상물(B)과 제2,3 영상정보의 대상물(B)을 비교분석하여 대상물(B)의 이미지가 서로 매칭된 시점에서 제2,3 영상정보를 생성한 틸트다운 변화값을 검출한 후 상기 틸트다운 변화값으로 중심점의 Z 좌표를 산출하는 거리 분석단계(S400)와, 상기 중심점의 XYZ 좌표가 포함된 좌표정보를 생성하여 전송하는 좌표정보 전송단계(S500), 및 상기 좌표정보에 따라 팔레트(P)에 적층된 대상물(B)을 컨베이어(400)로 이송하는 이송단계(S600)를 포함한다.

상기 패턴데이터 저장단계(S100)에서는 제어장치(300)가 팔레트(P)의 적재된 대상물(B)을 구분할 수 있도록 사용하는 각 대상물(B)의 외형에 대한 대상물 패턴데이터를 제어장치(300)에 저장한다.

상기 팔레트 촬영단계(S200)에서는 카메라부(100)가 동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트(P)를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고, 상기 제1 내지 제3 영상정보를 상기 제어장치(300)로 전송한다.

보다 구체적으로, 상기 팔레트 촬영단계(S200)에서는 동일선상에 위치한 3곳 중 중앙에 위치한 카메라부(100)의 제1 카메라(110)가 팔레트(P)를 촬영하여 생성된 제1 영상정보를 상기 제어장치(300)로 전송한다. 또한, 제1 카메라(110)와 이격되도록 설치된 카메라부(100)의 제2 카메라(120)가 틸트다운을 통해 대상물(B)이 적재된 팔레트(P)를 촬영하여 생성된 실시간 영상인 제2 영상정보를 상기 제어장치(300)로 전송한다. 아울러, 제1 카메라(110)를 중심으로 제2 카메라(120)의 반대편에 설치된 카메라부(100)의 제3 카메라(130)가 틸트다운을 통해 대상물(B)이 적재된 팔레트(P)를 촬영하여 생성된 실시간 영상인 제3 영상정보를 상기 제어장치(300)로 전송한다.

상기 중심점 분석단계(S300)에서는 제어장치(300)가 상기 카메라부(100)로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 팔레트(P)에 적재된 대상물(B)의 종류를 구분하고, 대상물(B)의 중심점에 대한 XY 좌표를 검출한다.

상기 중심점 분석단계(S300)에서는 제어장치(300)가 제1 영상정보를 분석하여 팔레트(P)에 대상물(B)이 적재되지 않은 것으로 판단되면, 디팔레타이징 작업이 종료되도록 컨베이어(400)의 동작을 정지시키고 로봇팔(200)이 초기 위치로 회동되도록 로봇팔(200)을 제어한다.

상기 거리 분석단계(S400)에서는 상기 제어장치(300)가 제1 영상정보의 대상물(B)을 기준으로 틸트다운하며 촬영한 제2,3 영상정보의 대상물(B)을 비교분석하여 대상물(B)의 이미지가 서로 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출한다.

상기 좌표정보 전송단계(S500)에서는 상기 제어장치(300)가 중심점의 XYZ 좌표가 포함된 좌표정보를 생성한 후 로봇팔(200)로 상기 좌표정보를 전송한다.

필요에 따라, 좌표정보 전송단계(S500)에서는 대상물(B)의 XYZ 좌표가 복수로 산출되는 경우에 상기 제어장치(300)가 Z 좌표가 작은 XYZ 좌표를 우선순위로 지정하여 상기 로봇팔(200)에 제공할 수 있다. 이는, 팔레트(P)에 2개 이상의 대상물(B)이 수평 방향으로 함께 적층된 경우, 제어장치(300)가 2개 이상의 대상물(B) 중 먼저 이송할 대상물(B)을 선정하기 위함이다. 다시 말해, 제어장치(300)는 영상정보를 분석하여 복수개의 XYZ 좌표가 산출되는 경우에 Z 좌표가 가장 작은 대상물(B)이 먼저 컨베이어(400)로 이송되도록 흡착 대상물(B)로 선정하고, 이에 대한 XYZ 좌표를 로봇팔(200)로 제공한다.

또한, 좌표정보 전송단계(S500)에서는 대상물(B)의 XYZ 좌표가 복수로 산출되고 각 대상물(B)의 Z 좌표가 미리 지정된 수치 범위 이내에서 차이가 발생된 경우, 상기 제어장치(300)가 각 대상물(B)이 Z 좌표 대신 XYZ 좌표와 로봇팔(200)의 이격거리를 분석한 후, 이격거리가 먼 대상물의 XYZ 좌표를 우선순위로 지정하여 상기 로봇팔(200)로 제공한다. 다시 말해, 제어장치(300)는 영상정보를 분석하여 Z 좌표가 미리 지정된 수치 범위 이내인 복수개의 XYZ 좌표가 산출되는 경우에 로봇팔(200)로부터 이격거리가 먼 대상물(B)부터 컨베이어(400)로 이송되도록 흡착 대상물(B)로 선정하고, 이에 대한 XYZ 좌표를 로봇팔(200)로 제공한다.

상기 이송단계(S600)에서는 상기 로봇팔(200)이 제어장치(300)로부터 수신된 좌표정보에 따라 팔레트(P)에 적층된 대상물(B)의 중심점을 흡착하여 컨베이어(400)로 이송한다.

이러한 패턴데이터 저장단계(S100), 팔레트 촬영단계(S200), 중심점 분석단계(S300), 거리 분석단계(S400), 좌표정보 전송단계(S500), 이송단계(S600)에서는 전술한 디팔레타이징 자동화 시스템에 포함된 세부구성들이 사용되므로, 중복되는 내용은 생략한다.

이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 카메라부 110 : 제1 카메라
120 : 제2 카메라 130 : 제3 카메라
200 : 로봇팔 210 : 다관절 프레임부
211 : 제1 프레임모듈 212 : 제1 힌지
213 : 제2 프레임모듈 214 : 제2 힌지
215 : 제3 프레임모듈 216 : 제3 힌지
217 : 제4 프레임모듈 220 : 흡착부
300 : 제어장치 400 : 컨베이어
P : 팔레트 B : 대상물

Claims

동일선상에 위치한 3곳에서 아래 방향에 위치한 팔레트를 각각 촬영하여 제1 내지 제3 영상정보를 생성하고 상기 제1 내지 제3 영상정보를 외부로 전송하는 카메라부;
팔레트에 적층된 대상물의 XYZ 좌표에 따라 대상물의 중심점을 흡착하여 컨베이어로 이송하는 로봇팔; 및
팔레트에 적재된 대상물을 구분할 수 있도록 사용하는 각 대상물의 외형에 대한 대상물 패턴데이터가 저장되고, 상기 카메라부로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 대상물의 종류를 구분하고 대상물의 중심점에 대한 XY 좌표를 검출하며, 제1 영상정보와 틸트다운하며 촬영한 제2,3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 틸트다운 변화값을 검출하고, 상기 틸트다운 변화값을 기반으로 상기 중심점의 Z 좌표를 산출하며, 대상물의 XYZ 좌표를 상기 로봇팔로 제공하는 제어장치를 포함하며,
상기 카메라부는 팔레트의 수직 방향에서 팔레트의 평면 영상을 촬영하여 생성된 제1 영상정보를 상기 제어장치로 전송하는 제1 카메라와, 상기 제1 카메라와 이격되도록 설치되며, 틸트다운을 통해 대상물이 적재된 팔레트를 촬영하여 생성된 실시간 영상인 제2 영상정보를 상기 제어장치로 전송하는 제2 카메라와, 상기 제1 카메라 및 제2 카메라와 동일 선상에 위치하고, 제1 카메라를 중심으로 제2 카메라의 반대편에 설치되며, 틸트다운을 통해 대상물이 적재된 팔레트를 촬영하여 생성된 실시간 영상인 제3 영상정보를 상기 제어장치로 전송하는 제3 카메라와, 상기 제2 카메라 및 제3 카메라가 틸트다운될 수 있도록 제2 카메라 및 제3 카메라에 설치되는 틸트 모터, 및 상기 틸트 모터에 설치되어 제2 카메라 및 제3 카메라의 회전각을 감지하는 엔코더를 포함하며,
상기 제어장치는 제2 카메라에 설치된 틸트 모터를 제어하여 제2 카메라를 회전시키고 상기 제1 영상정보와 제2 카메라의 틸트 모터를 틸트다운하며 촬영한 제2 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 제1 틸트다운 변화값을 제2 카메라의 틸트 모터에 설치된 엔코더로부터 수집하고, 제3 카메라에 설치된 틸트 모터를 제어하여 제3 카메라를 회전시키고 상기 제1 영상정보와 제3 카메라의 틸트 모터를 틸트다운하며 촬영한 제3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 제2 틸트다운 변화값을 제3 카메라의 틸트 모터에 설치된 엔코더로부터 수집하며, 제1 틸트다운 변화값과 제2 틸트다운 변화값을 기반으로 제1 카메라와 대상물 중심점 사이의 거리인 Z 좌표를 산출하는 것을 특징으로 하는 디팔레타이징 자동화 시스템.
삭제
제1 항에 있어서,
상기 카메라부는 팔레트를 촬영하여 생성된 팔레트 영상을 상기 제어장치로 전송하고, 상기 제어장치로부터 제공된 관심영역 정보에 따라 관심영역을 촬영하여 제1 영상정보 내지 제3 영상정보를 생성하며,
상기 제어장치는 카메라부로부터 제공된 팔레트 영상에서 대상물 검출영역을 추출하여 관심영역 정보를 생성하고, 상기 관심영역 정보를 카메라부로 제공하는 것을 특징으로 하는 디팔레타이징 자동화 시스템.
삭제
제1 항에 있어서, 상기 제어장치는
대상물의 XYZ 좌표가 복수로 산출되면, Z 좌표가 작은 XYZ 좌표를 우선순위로 하여 상기 로봇팔에 제공하는 것을 특징으로 하는 디팔레타이징 자동화 시스템.
팔레트의 적재된 대상물을 구분할 수 있도록 사용하는 각 대상물의 외형에 대한 대상물 패턴데이터를 제어장치에 저장하는 패턴데이터 저장단계;
동일선상에 위치한 3곳 중 중앙에 위치한 카메라부의 제1 카메라가 팔레트의 수직 방향에서 팔레트의 평면 영상을 촬영하여 생성된 제1 영상정보를 상기 제어장치로 전송하고, 상기 제1 카메라와 이격되도록 설치된 카메라부의 제2 카메라가 틸트다운을 통해 대상물이 적재된 팔레트를 촬영하여 생성된 실시간 영상인 제2 영상정보를 상기 제어장치로 전송하며, 상기 제1 카메라를 중심으로 제2 카메라의 반대편에 설치된 카메라부의 제3 카메라가 틸트다운을 통해 대상물이 적재된 팔레트를 촬영하여 생성된 실시간 영상인 제3 영상정보를 상기 제어장치로 전송하는 팔레트 촬영단계;
상기 제어장치가 상기 카메라부로부터 제공된 제1 영상정보를 상기 대상물 패턴데이터와 비교분석하여 팔레트에 적재된 대상물의 종류를 구분하고, 대상물의 중심점에 대한 XY 좌표를 검출하는 중심점 분석단계;
상기 제어장치가 제2 카메라에 설치된 틸트 모터를 제어하여 제2 카메라를 회전시키고 상기 제1 영상정보와 제2 카메라의 틸트 모터를 틸트다운하며 촬영한 제2 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 제1 틸트다운 변화값을 제2 카메라의 틸트 모터에 설치된 엔코더로부터 수집하고, 제3 카메라에 설치된 틸트 모터를 제어하여 제3 카메라를 회전시키고 상기 제1 영상정보와 제3 카메라의 틸트 모터를 틸트다운하며 촬영한 제3 영상정보의 이미지 매칭을 시도하여 이미지가 매칭된 시점의 제2 틸트다운 변화값을 제3 카메라의 틸트 모터에 설치된 엔코더로부터 수집하며, 제1 틸트다운 변화값과 제2 틸트다운 변화값을 기반으로 제1 카메라와 대상물 중심점 사이의 거리인 Z 좌표를 산출하는 거리 분석단계;
상기 제어장치가 중심점의 XYZ 좌표가 포함된 좌표정보를 생성한 후 로봇팔로 좌표정보를 전송하는 좌표정보 전송단계; 및
상기 로봇팔이 제어장치로부터 수신된 좌표정보에 따라 팔레트에 적층된 대상물의 중심점을 흡착하여 컨베이어로 이송하는 이송단계를 포함하는 디팔레타이징 자동화 방법.
삭제
제6 항에 있어서, 상기 좌표정보 전송단계에서는
대상물의 XYZ 좌표가 복수로 산출되는 경우, 상기 제어장치가 Z 좌표가 작은 XYZ 좌표를 우선순위로 지정하여 상기 로봇팔에 제공하는 것을 특징으로 하는 디팔레타이징 자동화 방법.
제6 항에 있어서, 상기 좌표정보 전송단계에서는
대상물의 XYZ 좌표가 복수로 산출되고 각 대상물의 Z 좌표가 미리 지정된 수치 범위 이내에서 차이가 발생된 경우, 상기 제어장치가 각 대상물이 XYZ 좌표와 로봇팔의 이격거리를 분석한 후 이격거리가 먼 대상물의 XYZ 좌표를 우선순위로 지정하여 상기 로봇팔에 제공하는 것을 특징으로 하는 디팔레타이징 자동화 방법.