KR20210135528A - 비강성 패키지에서 연성 제품의 로봇 취급 - Google Patents

Abstract

비강성 패키지에서 연질 제품의 로봇 취급을 수행하는 기술이 공개된다. 다양한 실시예들에 있어서, 작업 공간과 관련된 센서 데이터가 수신된다. 하나 이상의 로봇 요소를 사용하여 상기 작업 공간에서 수행될 작업이 결정되고, 상기 작업은 상기 로봇 요소들 중 하나의 엔드 이펙터를 파지될 품목에 근접한 위치로 상대적으로 빠르게 이동시키는 것과; 상기 품목 및 그의 패키지 중 하나 또는 둘 모두에 대한 손상의 최소화된 위험과 관련된 양의 힘 및 구조를 사용하여 상기 품목을 파지하기 위해 상기 엔드 이펙터의 파지 메커니즘을 작업시키는 것; 및 상기 품목이 안전하게 파지되었는지를 확인하기 위해 상기 품목이 파지된 후에 생성된 센서 데이터를 사용하는 것을 포함한다. 제어 통신들은 통신 인터페이스를 통해 상기 로봇 요소로 전송되어 로봇 요소가 상기 작업을 수행하도록 한다.

Description

비강성 패키지에서 연성 제품의 로봇 취급

다른 출원서들에 대한 상호 참조

본 출원은 2019년 2월 22일자로 출원된 "비강성 패키지에서 연성 제품의 로봇 취급"이라는 명칭의 미국 가특허출원 제62/809,398호에 대한 우선권을 주장하며, 이는 모든 목적을 위해 본원에 참조로 포함된다.

운송 및 유통 센터, 창고, 선적 부두, 항공 화물 터미널, 대형 박스 상점 및 비균질 품목 세트들을 선적 및 수령하는 기타 활동은 박스, 크레이트(crate), 컨테이너, 컨베이어 벨트 및 아암레트 등에 이종 품목들을 포장 및 개봉하는 것과 같은 전략을 사용한다. 박스, 크레이트, 아암레트 등에 이종 품목들을 포장하면 그로 인해 초래되는 품목 세트들은 지게차, 크레인 등과 같은 중장비로 취급할 수 있게 되며, 또한 상기 품목들은 보관(예를 들면, 창고) 및/또는 운송(예를 들면, 트럭, 화물창 등)을 위해 보다 효율적으로 포장할 수 있게 된다.

일부 맥락에서, 품목들은 크기, 중량, 밀도, 부피, 강성, 포장 강도 등이 너무 다를 수 있으므로, 주어진 품목 또는 품목들의 세트는 포장해야 할 수 있는 주어진 다른 품목들((예를 들면, 박스, 컨테이너, 아암레트 등)의 크기, 중량, 중량 분포 등을 지지할 수 있는 속성들을 가질 수도 있고 그렇치 않을 수도 있다. 아암레트 또는 기타 유사하지 않은 품목들의 세트를 조립할 때, 아암레트화된 적재가 붕괴되거나 기울어지거나 불안정해지지 않도록(예를 들면, 지게차 등과 같은 장비로 취급할 수 없도록), 그리고 품목 손상을 방지할 수 있도록 품목들은 신중하게 선택되고 적재되야 한다.

일부 제품들은 부서지거나 손상될 수 있고 그리고/또는 유연한 포장 상태에 있을 수 있다. 예를 들면, 빵 및 빵과 유사한 제품들은 플라스틱 백 또는 이와 유사한 포장으로 포장될 수 있다. 로봇 그리퍼는 백 및/또는 내부 제품을 쉽게 파손시킬 수 있다. 약간 파손된 제품이나 심하게 구겨진 포장조차도 소비자의 선호도를 떨어뜨릴 수 있다.

현재, 아암레트는 전형적으로 손으로 적재되거나 그리고/또는 포장 해제된다. 인간 작업자는 예를 들면 배송 송장 또는 적하 목록 등에 기초하여 적재될 품목들을 선택하고, 인간의 판단과 직관을 사용하여 예를 들면 바닥에 위치시킬 더 크고 무거운 품목들을 선택한다. 그러나, 어떤 경우에는, 품목들이 단순히 컨베이어 또는 기타 메커니즘을 통해 도착하고 그리고/또는 빈으로부터 나열된 순서대로 선택되어, 불안정하게 아암레트화 또는 포장화된 세트가 초래된다.

소매점에서 판매되는 빵 및 기타 제품의 경우, 훨씬 색다르게, 예를 들면 각각의 상점에서 주문받은 품목들 및 수량의 특정 조합으로 상점에 배포해야 할 수도 있다. 빵 제품들은 일반적으로 적재 가능한 트레이에 손으로 포장할 수 있고, 트럭에 싣고, 트레이를 매장으로 운반하고 제품을 선반에 적재하는 방식으로 매장으로 배달된다.

로봇 공학의 사용은 예를 들면 주어진 아암레트상의 다양한 품목들, 주문 변경, 수량 및 포장될 품목들의 혼합, 및 컨테이너의 다양한 유형 및 위치 및/또는 품목들을 아암레트 또는 기타 컨테이너에 위치시키도록 선택해야 하는 공급 메커니즘으로 인해 많은 환경에서 더 많은 도전에 직면하고 있다. 빵 및 이와 유사한 제품들의 경우, 파손되기 쉬운 제품 품목들을 플라스틱 백과 같은 유연한 패키지에 임의로 수집하여 배치해야 하기 때문에 로봇의 취급이 더욱 어려워진다.

본 발명은, 프로세스로; 장치; 시스템; 물질의 구성; 컴퓨터 판독 가능 저장 매체상에 구현된 컴퓨터 프로그램 제품; 및/또는 예를 들면 프로세서에 연결된 메모리에 저장 및/또는 제공되는 명령어들을 실행하도록 구성되는 프로세서와 같은 프로세서를 포함하는, 다양한 방식으로 구현될 수 있다. 본 명세서에서, 이와 같은 구현 또는 본 발명이 취할 수 있는 임의의 다른 형태가 기술로서 언급될 수 있다. 일반적으로, 개시된 공정 단계들의 순서는 본 발명의 범위 내에서 변경될 수 있다. 달리 언급되지 않는 한, 프로세서나 메모리와 같은 작업을 수행하도록 구성되는 구성 요소는 주어진 시간에 작업을 수행하도록 일시적으로 구성되는 일반 구성 요소로서 또는 상기 작업을 수행하도록 제조된 특정 구성 요소로서 구현될 수 있다. 본원에 사용된 바와 같이, 용어 '프로세서'는 컴퓨터 프로그램 명령어들과 같은 데이터를 처리하도록 구성된 하나 이상의 디바이스, 회로, 및/또는 처리 코어를 지칭한다.

본 발명의 다양한 실시예들은 다음의 상세한 설명 및 첨부 도면들에 개시된다.
도 1은 비강성 패키지에서 연질 제품을 취급하기 위한 로봇 시스템의 실시예를 설명하는 블록도이다.
도 2는 로봇 시스템을 제어하기 위한 시스템의 실시예를 설명하는 블록도이다.
도 3은 로봇 시스템을 제어하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 4는 작업을 수행하기 위해 로봇을 사용할 계획을 결정하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 5는 로봇을 사용하여 계획에 따라 품목들을 선택/배치하는 프로세스의 실시예를 설명하는 흐름도이다.
도 6a는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다.
도 6b는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다.
도 6c는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다.
도 7은 로봇 아암 및 엔드 이펙터로 품목들을 파지하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 8은 로봇 아암 및/또는 엔드 이펙터에 의해 파지된 품목을 목적지로 안전하게 이동시키기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 9는 흡입 기반 엔드 이펙터의 실시예를 설명하는 블록도이다.
도 10은 로봇 시스템에 할당된 목표를 가장 잘 달성하기 위해 필요한 경우 품목들을 동시에 선택/배치하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 11은 품목의 최종 배치를 조정하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 12는 품목에 대한 목적지 위치를 선택하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 13은 품목의 오배치(misplacement)를 검출하기 위한 프로세스의 실시예를 설명하는 흐름도이다.
도 14는 비강성 패키지에서 연질 제품들을 취급하기 위한 로봇 시스템의 실시예를 설명하는 도면이다.

본 발명의 하나 이상의 실시예에 대한 상세한 설명이 본 발명의 원리를 설명하는 첨부 도면들과 함께 아래에 제공된다. 본 발명은 그와 같은 실시예들과 관련하여 설명되지만, 본 발명은 임의의 실시예에 제한되지 않는다. 본 발명의 범위는 오직 청구범위에 의해서만 제한되며, 본 발명은 수많은 대안, 수정 및 등가물을 포함한다. 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 하기 설명에 기재되어 있다. 이러한 세부 사항들은 예시적인 목적으로 제공되며, 본 발명은 이와 같은 특정 세부 사항들의 일부 또는 전부 없이도 청구범위에 따라 실시될 수 있다. 명확성을 기하기 위해, 본 발명과 관련된 기술 분야에서 알려진 기술 자료는 본 발명이 불필요하게 호도되는 일이 없도록 상세히 설명하지 않았다.

빵 및 플라스틱 백 또는 유사한 패키지로 판매되는 유사한 제품들과 같은 품목들을 포함하는, 비균질 품목들(예를 들면, 크기, 형상, 중량, 중량 분포, 강성, 취약성 등이 상이함)의 임의의 세트들을 팔레트 선적/팔레트 하역 및/또는 다른 방법으로 포장 및/또는 포장 해제하기 위해 하나 이상의 로봇(예를 들면, 작업 단부에 흡입 및/또는 그리퍼를 갖는 로봇 아암)을 포함하는 로봇 시스템을 프로그래밍적으로 사용하는 기술이 개시된다.

다양한 실시예들에 있어서, 3D 카메라, 힘 센서, 및 기타 센서들이 선택 및/또는 배치될 품목들의 속성을 검출하고 결정하기 위해 사용된다. (예를 들면, 프로그래밍 방식으로 결정되는 신뢰도 스코어로 표시되는 충분한 신뢰도를 갖는) 결정될 유형의 품목들은 품목 유형별 모델로부터 파생된 전략을 사용하여 파지 및 배치될 수 있다. 식별할 수 없는 품목들은 지정된 품목 유형에 특정되지 않는 전략을 사용하여 선택 및 배치된다. 예를 들면, 크기, 형상, 중량 정보를 사용하는 모델이 사용될 수 있다.

다양한 실시예들에 있어서, 품목 유형의 라이브러리, 각각의 속성, 및 파지 전략은 각강의 품목을 선택하고 배치하기 위한 전략을 결정하고 구현하기 위해 사용된다. 라이브러리는 일부 실시예에서 동적이다. 예를 들면, 라이브러리는 새로 발견된 품목들 및/또는 주어진 문맥에서 작업하거나 또는 작업하지 않는 파지 전략과 같이 품목에 대해 학습된 추가 속성을 추가하도록 보강될 수 있다. 일부 실시예들에 있어서, 로봇 시스템이 멈추면 인간 개입이 발동될 수 있다. 로봇 시스템은, 예를 들어, 원격 조작을 통해 품목을 선택하고 배치하기 위해, 로봇 아암을 사용하기 위해 인간 원격 조작기가 개입하는 방법에 기초하여, (예를 들어, 센서를 사용하여) 감시하고 학습(예를 들어, 라이브러리 및/또는 모델을 업데이트)하도록 구성될 수 있다.

일부 실시예들에 있어서, 본원에 개시된 로봇 시스템은 알려지지 않았거나 새로 발견된 유형의 품목을 식별하고 선택/배치하기 위해 속성 및/또는 전략을 수집 및 저장(예를 들면, 라이브러리에 추가)하기 위한 프로세스에 관여할 수 있다. 예를 들면, 시스템은 3D 카메라 및/또는 기타 센서들이 품목 유형을 특성화하고 해당 유형의 품목을 식별하고 선택/배치하는 방법의 모델을 저장하는 라이브러리 품목을 증대 및/또는 생성하기 위해 센서 데이터를 생성할 수 있도록 다양한 각도 및/또는 위치에서 품목을 보유할 수 있다.

다양한 실시예들에 있어서, 아암레트 또는 다른 컨테이너 또는 위치에 품목을 선택 및 배치하기 위한 상위 레벨 계획이 수립된다. 예를 들면 센서 정보를 기반으로 전략이 제공되어, 계획에 따라 개별 품목들을 선택하고 배치하여 계획을 구현한다. 예를 들면, 로봇 시스템이 정지되고, 아암레트상의 품목 적재가 (예를 들면, 컴퓨터 비전, 힘 센서 등에 의해) 감지되는 등의 계획 및/또는 재-계획으로부터의 편차가 촉발되어, 불안정이 유발될 수 있다. 알려진 정보(예를 들면, 컨베이어에서 볼 수 있는 다음 N개 품목, 송장 또는 적하 목록상의 다음 N개 품목 등)를 기반으로 부분 계획이 형성될 수 있으며, (예를 들면, 볼 수 있는 다음 품목, 등의) 추가 정보가 수신되면 조정이 이루어진다. 일부 경우들에 있어서, 시스템은 아암레트 또는 컨테이너의 하위(또는 상위) 층과 같이 시스템이 현재 구축하고 있는 층 또는 컨테이너에 적재되기에 적합하지 않은 것으로 결정된 품목들을 준비(예를 들면, 손이 닿는 곳에 따로 보관)하도록 구성된다. 선택/배치될 다음 품목에 대한 추가 정보가 알려지면, 준비된(완충된) 품목들 및 다음 품목들 고려하는 전략이 생성 및 구현된다.

플라스틱 백 또는 유사한 패키지 내의 빵 및 유사한 제품들의 경우, 다양한 실시예들에 있어서, 본원에 개시된 로봇 시스템은 작업 단부에 흡입형 그리퍼를 갖는 로봇 아암을 사용한다. 예를 들면, 일부 실시예에서, 2개의 대형 흡입 컵들을 포함하는 그리퍼가 사용된다. 다른 실시예에서, 단일 흡입 컵 또는 2개 초과의 흡입 컵들이 포함될 수 있다. 다양한 실시예들에 있어서, 빵은 컨베이어, 통, 선반 등에서 선택되고, 유통을 위해 적재 가능한 플라스틱 트레이에 놓이다. 각각의 목적지에 대한 송장은 품목들을 선택하고 배치하기 위해 사용될 수 있다.

다양한 실시예들에 있어서, 빵 품목을 포장하기 위한 계획을 생성하기 위해, 알고리즘, 발견적 방법, 및 다른 프로그램 기법이 사용된다. 예를 들면, 동일한 종류, 크기, 형상 등의 품목들은 효율적인 포장을 위해 함께 배치될 수 있다. 일부 실시예들에 있어서, 보이드, 외부 둘레(예를 들면, 다른 제품 및/또는 트레이의 측면에 인접하지 않은 가장자리의 합) 등을 최소화하는 방식으로 트레이에 품목들을 추가하기 위해 플래너 모듈(planner module)이 시도될 수 있다.

다양한 실시예들에 있어서, 본원에 개시된 바와 같은 빵 및 유사한 품목들을 선택하고 배치하기 위한 로봇 시스템은 도 1 내지 도 14와 관련하여 예시 및/또는 설명된 기술의 일부 또는 전부를 사용하여 적어도 부분적으로 구현될 수 있다.

도 1은 비강성 패키지에 연성 제품을 취급하기 위한 로봇 시스템의 실시예를 설명하는 블록도이다. 도시된 예에서, 시스템(100)은 예를 들면 컴퓨터 제어하에 레일(106)을 따라 병진하도록 구성된 캐리지(104)상에 회전 가능하게 장착된 로봇 아암(102)을 포함한다. 본 예에 있어서, 상기 로봇 아암(102)은 캐리지(104) 및 레일(106)상에 이동 가능하게 장착되나, 다양한 다른 실시예에 있어서 로봇 아암(102)은 고정될 수 있거나 또는 레일을 따른 병진 이동을 통하지 않고 완전히 또는 부분적으로 이동할 수 있으며, 예를 들면 회전식 원형 컨베이어상에 장착되거나 전동 섀시 등에서 완전히 이동할 수 있다.

도시된 예에 있어서, 로봇 아암(102)은 (캐리지(104)로부터 가장 멀리 떨어진) 작업 말단부에 엔드 이펙터(108)를 갖는다. 엔드 이펙터(108)는 순응성 진공(또는 "흡입") 컵(110)을 포함한다. 다양한 실시예들에 있어서, 흡입 컵(110)은 내구성이 있지만, 예를 들면 흡입을 통해 플라스틱 백이나 포장지와 같은 비강성 패키지에 예를 들면 빵이나 다른 부드럽고 그리고/또는 파손되기 쉬운 품목들을 파지하기 위해, 로봇 시스템(100)이 로봇 아암(102) 및 엔드 이펙터(108)를 사용하여 품목과 (처음 또는 서서히) 접촉할 때 적어도 약간은 충분한 유연성을 제공하는 실리콘 또는 다른 천연 또는 합성 재료를 포함한다.

본 예에 있어서, 상기 엔드 이펙터(108)는 상기 엔드 이펙터(108)의 측면상에 장착된 카메라(112)를 갖는다. 다른 실시예들에 있어서, 상기 카메라(112)는 (도 1에 표시된 위치 및 방향에서) 엔드 이펙터(108) 몸체의 하향을 향하는 면과 같이 보다 중앙에 위치될 수 있다. 추가 카메라들이 로봇 아암(102) 및/또는 엔드 이펙터(108)상에, 예를 들면 로봇 아암(102)을 포함하는 아암 세그먼트들상에 장착될 수 있다. 또한, 본 예에서 벽에 장착된 카메라들(114 및 116)은 시스템(100)이 작동을 위해 위치되고 구성되는 장면의 3D 뷰를 구성하기 위해 사용할 수 있는 추가 이미지 데이터를 제공한다.

다양한 실시예들에 있어서, 로봇 아암(102)은 도시된 바와 같이 선택될 품목 위에 엔드 이펙터(108)의 흡입 컵(110)을 위치시키기 위해 사용되고, 진공 소스는 품목을 파지하고 소스 위치로부터 들어올리고 목적지 위치에 위치시키기 위한 흡인을 제공한다.

도 1에 도시된 예에서, 로봇 아암(102)은, 제과점으로부터 수신된 품목들의 트레이에서 선택된 빵 품목과 같은, 소스 트레이(120)로부터 임의의 그리고 본 예에서 유사하지 않은 품목들을 선택하고 그들을 목적지 트레이(118)상에 위치시키기 위해 사용되도록 구성된다. 도시된 예에 있어서, 목적지 트레이(118)와 소스 트레이(120)는 4 모서리들에 휠을 갖는 베이스상에 적재되도록 구성된 적재 가능 트레이들을 포함한다. 일부 실시예들에 있어서, 상기 트레이들(118 및/또는 120)은 인간 작업자에 의해 제 위치로 밀려날 수 있다. 일부 실시예들에 있어서, 상기 트레이들(118 및/또는 120)은, 예를 들면 소매 위치로 배달하기 위해 완성된 트레이 스택을 배달 차량상에 적재되도록 통의 스택을 스테이징 및/또는 운송 영역으로 선택 및/또는 배치 및/또는 이동시키기 위한 위치로 이동시키는 데 사용되도록 구성된 전동 및/또는 로봇 제어 베이스 상에 적재될 수 있다. 일부 실시예에서, 트레이들(118 및/또는 120)을 적재/하역될 위치로 및/또는 운송될 트럭 또는 다른 목적지 등으로 밀어넣기 위해, 도 1에 도시되지 않은 다른 로봇들이 사용될 수 있다.

다양한 실시예들에 있어서, 카메라들(112, 114, 116) 중 하나 이상에 의해 생성된 3D 또는 다른 이미지 데이터는 시스템(100)의 작업 영역 및 상기 작업 영역 내의 품목들의 3D 뷰를 생성하기 위해 사용될 수 있다. 3D 이미지 데이터는 색상, 형상 또는 기타 속성과 같이 선택/배치될 품목들을 식별하기 위해 사용될 수 있다. 다양한 실시예들에 있어서, 카메라들(112, 114, 116) 중 하나 이상은, 시스템(100)의 작업 영역 내의 품목들상에 가시화되거나 그리고/또는 그를 포함하는, 텍스트, 로고, 사진, 그림, 이미지, 마킹, 바코드, QR 코드, 또는 다른 인코딩 및/또는 그래픽 정보 또는 콘텐츠를 판독하기 위해 사용될 수 있다.

도 1을 더 참조하면, 도시된 예에 있어서, 시스템(100)은 본 예에서의 무선 통신을 통해(그러나 다양한 실시예들에 있어서 유선 및 무선 통신 중 하나 또는 둘 모두에서) 로봇 아암(102), 캐리지(104), 이펙터(108), 및 카메라들(112, 114, 116)과 같은 센서 및/또는 도 1에 도시되지 않은 중량, 힘, 및/또는 다른 센서들과 같은 요소들과 통신하도록 구성된 제어 컴퓨터(122)를 포함한다. 다양한 실시예들에 있어서, 제어 컴퓨터(122)는, 트레이(120)로부터 트레이(118)로 하역될 품목들의 하나 이상의 속성을 확인, 식별 및 결정하기 위해, 카메라(112, 114, 116) 및/또는 도 1에 도시되지 않은 중량, 힘, 및/또는 다른 센서들과 같은, 센서들로부터 입력을 사용하도록 구성된다. 다양한 실시예들에 있어서, 제어 컴퓨터(122)는 예를 들면, 이미지 및/또는 다른 센서 데이터에 기초하여 품목 및/또는 그의 속성을 식별하기 위해 제어 컴퓨터(122)에 저장되고 그리고/또는 제어 컴퓨터에 액세스할 수 있는 라이브러리의 품목 모델 데이터를 사용한다. 제어 컴퓨터(122)는 품목에 대응하는 모델을 사용하여, 상기 품목을 트레이(118)와 같은 목적지 내에/상에 다른 품목들과 함께 적재하기 위한 계획을 결정하고 구현한다. 다양한 실시예들에 있어서, 목적지 위치, 예를 들면 트레이(118) 내에/상에 품목들을 적재하기 위한 계획/재계획 프로세스의 일부로서 품목이 배치되도록 결정된 위치에 품목을 파지, 이동 및 배치하기 위한 전략을 결정하기 위해 품목 속성 및/또는 모델이 사용된다.

도시된 예에서, 제어 컴퓨터(122)는 "주문형" 원격 조작 장치(124)에 연결된다. 일부 실시예들에 있어서, 제어 컴퓨터(122)가 완전히 자동화된 모드, 예를 들면, 파지, 이동 및 배치 전략을 진행할 수 없을 경우, 품목은 제어 컴퓨터(122)가 완전히 자동화된 모드에서 품목을 선택 및 배치를 완료하기 위한 전략을 갖고 있지 않은 방식으로 결정될 수 없거나 그리고/또는 실패하고, 이 때 제어 컴퓨터(122)는, 예를 들면, 원격 조작 장치(124)를 사용하여 로봇 아암(102), 캐리지(104), 및/또는 엔드 이펙터(108) 중 하나 이상을 작업시켜 품목을 파지하고, 이동시키고, 배치함으로써, 인간 사용자(126)에게 개입하도록 촉구한다.

도 2는 로봇 시스템을 제어하기 위한 시스템의 실시예를 설명하는 블록도이다. 다양한 실시예들에 있어서, 도 1의 제어 컴퓨터(122)는 도 2에 도시된 바와 같이 구현된다. 도시된 예에서, 제어 컴퓨터(122)는 무선, 네트워크, 및, 제어 컴퓨터와, 로봇 아암(102), 캐리지(104), 엔드 이펙터(108), 카메라(112, 114, 116), 및/또는 로봇 베이스(118 및/또는 120) 중 하나 이상과 같은 로봇 시스템을 포함하는 다른 요소들 사이의, 다른 통신 중 하나 이상을 송수신하도록 구성된 통신 인터페이스(202)를 포함한다.

도시된 예에서, 제어 컴퓨터(122)는 계획 모듈(204)을 포함한다. 상기 계획 모듈(204)은 송장, 재고, 공간/위치 정보(예를 들면, 로봇 요소, 센서, 재고, 빈 트레이/통 등의 위치 및 상태)를 수신한다. 상기 계획 모듈(204)은 정보를 사용하여, 예를 들면 하나 이상의 상위 레벨 요구 사항들을 충족하기 위해 소스 위치로부터 목적지 위치로 품목을 선택/배치하기 위한 계획을 결정 및/또는 재계산한다. 예를 들면, 로봇 시스템이 빵 또는 다른 구운 식품들을 소매점으로 배달하기 위한 주문을 이행하는 경우, 각각의 주문/소매점에 대해 포함될 빵 품목들을 나타내는 송장 또는 목록에 따라, 일부 실시예들에 있어서, 계획 모듈(204)는 소스 트레이로부터 빵 품목을 선택하여 각강의 주문에 따라 목적지 트레이를 채우고, 또한 각각의 소매점으로 운송하기 위해 각각의 주문 또는 주문 세트와 관련된 트레이들이 하나 이상의 배송 차량에 적재되도록 하는 일련의 작업을 결정한다. 계획 모듈(206)에 의해 수신된 정보 및/또는 계획 모듈(206)에 의해 생성된 계획의 전부 또는 일부는 주문/재고 데이터베이스(206)에 저장될 수 있다.

일부 실시예들에 있어서, 계획 모듈(204)은 롤링 및/또는 주기적 기반으로 계획을 개발 및/또는 재평가하도록 구성될 수 있다. 예를 들면, 이미지 또는 다른 센서 데이터는 작업 공간 장면의 업데이트된 3차원 뷰를 생성하고 그리고/또는 작업 공간 내의 소스 위치들에 어떤 보유(inventory) 품목들이 위치하는지에 대한 정보를 업데이트하기 위해 수신 및 처리될 수 있다. 빵의 예에서, 새로운 트레이트레이나 트레이 더미가 예를 들면, 베이커리, 저장고 등의 작업 공간에 도착하면, 품목들은 식별되고, 또한 계획이 생성, 업데이트 및/또는 확인되어, 예를 들면, 현재 소스 위치들로부터 사용 가능한 재고를 선택하고 각각의 개별 주문들을 이행하기 위해 채워질 트레이들에 품목을 이동/배치함으로써, 상위 레벨 목표를 달성(예를 들면, 모든 주문을 효율적으로 이행 및 운송)하기 위해 진행된다.

도 2를 더 참조하면, 도시된 예에서, 제어 컴퓨터(122)는 로봇 제어 모듈(208)을 추가로 포함한다. 다양한 실시예들에 있어서, 로봇 제어 모듈(208)은 센서 모듈(210)로부터 센서 데이터(예를 들면, 카메라로부터의 이미지 데이터, 힘 및/또는 토크 센서 신호, 진공/압력 판독값 등)를 수신 및 처리한다. 센서 모듈(210)은 하나 이상의 센서로부터 입력을 수신하고, 데이터를 버퍼링하고, 또한 로봇 제어 모듈(208)에 의해 사용 가능한 형태로 로봇 제어 모듈(208)에 입력을 제공하여, 계획 모듈(204)로부터 수신된 계획의 구현과 관련된 작업을 수행하기 위해 제어된 로봇 시스템(예를 들면, 도 1의 시스템(100))의 작업 가능한 요소를 제어한다. 다양한 실시예들에 있어서, 작업 가능한 요소들은 각각의 센서 및/또는 도 1의 로봇 아암(102), 캐리지(104), 및 엔드 이펙터(108)와 같은 로봇 아암 및/또는 엔드 이펙터를 포함하는 액추에이터(예를 들면, 흡입 컵들에 진공을 가하기 위해 아암 세그먼트, 밸브 또는 기타 요소들을 이동시키는 모터 등); 도 1의 카메라(114, 116)와 같은 작업 공간 내의 다른 센서들; 및 도 1의 트레이 스택(118 및 120)과 같은 다른 로봇 및/또는 로봇으로 조작되거나 이동된 요소들 중 하나 이상을 포함한다.

로봇 제어 모듈(208)은 각각의 로봇의 이동 및 기타 작업을 제어하도록 구성된 로봇(들)의 로봇 모델(210)을 사용한다. 예를 들면, 도 1의 로봇 아암(102) 및 캐리지(104)의 모델은 아암(102)을 포함하는 조인트 모터를 작동시키고, 캐리지(104)상에서 아암(102)을 회전시키고, 그리고/또는 레일(106)을 따라 캐리지(104)를 이동시켜, 예를 들면, 인간, 다른 로봇 요소, 또는 작업 공간에 존재하는 다른 장애물과 충돌하지 않고, 계획 모듈(204)로부터 수신된 계획에 따라, 소스 위치들로부터 목적지 위치들로 품목을 선택 및 배치하기 위한 효율적이고 상대적으로 유동적인 방식을 결정하기 위해 사용될 수 있다.

다양한 실시예들에 있어서, 로봇 제어 모듈(208)은 품목 모델(212) 및/또는 파지 전략(214) 세트를 유지하고 업데이트한다. 다양한 실시예들에 있어서 품목 모델(212)은 품목의 속성 및/또는, 예를 들면, 크기, 형상, 치수, 중량, 강성, 포장 유형, 로고 또는 패키지상의 문자 등과 같은, 선택/배치될 품목의 부류 또는 유형을 설명한다. 일부 실시예들에 있어서, 품목 모델(212)은, 예를 들면, 이미지, 중량, 광학 코드 스캔 및/또는 기타 정보를 기반으로, 작업 공간 내의 품목을 식별하기 위해 사용될 수 있다.

다양한 실시예들에 있어서, 로봇 제어 모듈(208)은, 예를 들면, 결정된 품목 또는 품목의 종류, 크기, 형상, 중량 등, 및 품목의 위치와 방향, 인접하는 것 등의 맥락 정보를 기반으로, 예를 들면, 소스 트레이로부터 목적지 트레이로 이동할 품목을 파지하기 위한 전략을 결정하기 위해 파지 전략(214)을 사용한다.

다양한 실시예들에 있어서, 상기 로봇 제어 모듈(208)은 시간에 따라 품목 모델(들)(212) 및 파지 전략(214) 중 하나 또는 둘 모두를 업데이트할 수 있다. 예를 들면, 일부 실시예들에 있어서, 기계 학습 또는 다른 기술은 시간이 지남에 따라 새로운 및/또는 더 양호한 파지 전략을 습득하기 위해 사용될 수 있다. 예를 들면, 빈번히 실패하는 파지 전략은 스코어를 낮추거나 제거할 수 있으며, 새로운 전략이 개발되고 이를 대체하기 위해 학습된다. 일부 실시예들에 있어서, 인간 작업자가 원격 조작하에서 파지를 수행하는 방법을 관찰함으로써, 새로운 전략이 습득될 수 있다. 파지 전략(214)은 품목, 품목 세트, 및/또는 품목 유형(들)에 특정될 수 있다. 일부 파지 전략(214)은 인식되지 않는 품목의 크기, 형상, 치수, 중량 등과 연관될 수 있다.

본 발명에 있어서 "파지"라는 용어는, 예를 들면, 그리퍼-타입 엔드 이펙터의 경우 품목을 파지함으로써, 또는 도 1의 엔드 이펙터(108)와 같은 엔드 이펙터에 의한 진공/흡입에 의해, 엔드 이펙터가 품목을 이동할 수 있을만큼 충분히 안전하게 품목의 제어를 습득하는 임의의 메커니즘을 지칭하는 데 사용된다. 본원에 개시된 기술은 임의의 유형의 엔드 이펙터와 함께 사용될 수 있다.

다양한 실시예들에 있어서, 로봇 제어 모듈(208) 및/또는 센서 모듈(210)은 제어 컴퓨터(122)에 의해 제어되는 로봇 시스템과 관련된 작업 공간의 3차원 뷰를 생성하기 위해 이미지 데이터를 수신(들) 및 처리(들)하고, 상기 품목들은 상기 작업 공간에 존재한다. 다양한 실시예들에 있어서, 로봇 제어 모듈(208) 및/또는 센서 모듈(210)은, 작업 공간 및 작업 공간 내의 품목들에 대한 보다 완전한 뷰를 생성하기 위해 작업 공간에 존재하는 카메라들의 위치 및 방향을 제어하는 것과 같이, 센서들을 제어하도록 구성될 수 있다.

다양한 실시예들에 있어서, 제어 컴퓨터(122)는 하나 이상의 물리적 위치 및/또는 작업 공간에서 하나 이상의 로봇 시스템을 시간 공유 등에 의해 동시에 제어하도록 구성될 수 있다. 일부 실시예들에 있어서, 단일 물리적 컴퓨터(122)를 포함하는, 도 2에 도시된 요소들은 다수의 물리적 또는 가상 머신, 컨테이너 등에 걸쳐 확산될 수 있다.

다양한 실시예들에 있어서, 계획 모듈(204), 로봇 제어 모듈(208), 및 센서 모듈(210) 중 하나 이상은 특수 하드웨어(예를 들면, ASIC, 프로그래밍된 FPGA 등) 및/또는 제어 컴퓨터(122)를 포함하는 하드웨어 프로세서에서 소프트웨어 명령어들을 실행함으로써 제공된 기능 모듈 중 하나 또는 둘 모두를 포함할 수 있다.

도 3은 로봇 시스템을 제어하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 3의 프로세스(300)는 도 1의 제어 컴퓨터(122)와 같은 컴퓨터에 의해 구현될 수 있다. 도시된 예에서, 단계 302에서, 각각의 하나 이상의 개별 주문에 포함될 품목과 같은 상위 레벨 목표를 나타내는 입력 데이터가 수신된다. 단계 304에서, 하나 이상의 주문을 이행하기 위한 계획이 결정 및/또는 업데이트된다. 단계 306에서, 상기 계획에 따라 품목을 파지하고, 이동시키고, 배치하는 전략이 결정된다. 단계 308에서, 예를 들면 완전 자동 모드에서 완료할 수 없는 작업을 수행하거나 완료하기 위해 필요한 경우, 원격 조작을 통한 인간 개입이 호출된다. 모든 작업이 완료되고 상위 레벨 목표(들)가 달성될 때까지(310) 처리가 계속되고, 프로세스(300)는 종료된다.

도 4는 작업을 수행하기 위해 로봇을 사용할 계획을 결정하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 3의 단계 304는 도 4의 프로세스에 의해 적어도 부분적으로 구현된다. 도시된 예에서, 단계 402에서 초기화 루틴 및/또는 작업이 작업 공간 내의 품목, 도구, 용기, 장애물 등과 함께 각각의 로봇 요소의 (예를 들면, 3차원 공간에서의) 위치 및 자세/상태를 결정하기 위해 수행된다. 일부 실시예에서, 단계 402는 하나 이상의 작업 세트의 시작 시, 또는 환경이 인간 또는 다른 로봇 개입에 의해 변경되었을 때, 또는, 예를 들면, 실패 작업, 예상치 못한 상태 등과 같은, 재초기화가 필요할 수 있음을 나타내는 데이터가 수신될 때 수행될 수 있다. 단계 404에서, 이미지 및/또는 다른 센서 데이터가 수신되고 처리되어, 작업 공간 또는 다른 장면 또는 환경의 3차원 뷰를 생성한다. 단계 406에서, 베이커리 예에서 빵의 트레이와 같은 소스 용기의 위치(들) 및 내용물(들)이 결정된다. 예를 들면, 이미지 데이터, 광학 코드 스캔, 패키지상의 로고 또는 텍스트 인식 등 중 하나 이상이 사용되어, 품목들이 어디에 위치할지를 결정할 수 있다. 단계 408에서, 목적지 용기들의 위치 및 상태가 결정된다. 예를 들면, 이미지 데이터, RF 또는 기타 전자 태그, 광학 코드 또는 기타 센서 데이터를 사용하여, 빈 통들, 부분적으로 채워진 하나 이상의 통 등의 스택이 위치될 수 있다. 결정된 품목 및 용기 위치 정보, 품목 식별, 및 기타 데이터(예를 들면, 품목들이 어느 소매점 또는 다른 판매 지점(들)로 보내져야 하는지 등의 목록(들))가 주문을 이행하기 위해 작업 공간에서 품목을 선택/배치하기 위한 계획을 계산(또는 재계산)하도록 단계 410에서 사용된다. 예를 들면, 밀 빵의 전체 트레이 하나와 흰 빵의 전체 트레이 하나가 식별되어 작업 공간에 있고, 주문이 밀 빵 X 덩어리와 흰 빵 Y 덩어리를 요구하는 경우, 일부 실시예들에 있어서, 단게 410에서, 계획이 결정되어, 필요한 수의 각각의 유형의 빵 덩어리들이 위치되는 하나 이상의 트레이를 구비하기 위해 필요한 밀 빵 덩어리와 흰 빵 덩어리를 선택 및 배치할 수 있다.

다양한 실시예들에 있어서, 단계 410에서 결정된 계획은 필요에 따라, 예를 들면, 스테이징 또는 버퍼 영역으로부터 하나 이상의 빈 트레이를 회수하고, 상기 트레이에 품목들이 배치될 수 있도록 적재 영역에서의 필요에 따라 배치/적재하는 단계들을 포함한다. 마찬가지로, 소스 트레이는 일단 비워지면, 예를 들면, 차후 처리된 주문을 이행하기 위해 나중에 사용하기 위해, 로봇 시스템에 의해 스테이징 또는 버퍼 영역으로 이동할 수 있다.

다양한 실시예들에 있어서, 단계 410에서 결정된 계획은, 품콕에 적합한, 예를 들면, 품목을 수용하기에 충분히 크고 정확한 치수인 목적지 트레이상의 위치에 배치될 각각의 품목을 결정하는 단계를 포함한다. 일부 실시예들에 있어서, 단계 410에서 결정된 계획은, 예를 들면, 주문에 포함된(또는, 이행을 위해 선택/배치되도록 남겨둔) 품목들을 고려하여, 각각의 트레이상에 물품을 최적량의 표면 공간을 사용하는 방식으로 포장함으로써, 사용 가능한 트레이 공간의 효율적인 사용을 보장하기 위한 목표를 고려한다. 다양한 실시예들에 있어서, 상기 계획은 단계 410에서 지속적으로 및/또는 주기적으로 업데이트될 수 있다. 업데이트된 상태 정보는 계획을 업데이트하기 위해 사용될 수 있다. 예를 들면, 상태 정보는 주어진 트레이에 대해 어떤 품목이 이미 트레이에 배치되었는지, 각각의 위치 및 방향, 트레이에 사용 가능한 남은 공간, 및 주문을 이행하기 위해 배치될 다음의(또는 잔여의) N개의 품목들을 나타낼 수 있다.

도 4의 프로세스(304)는 상위 레벨 작업이 완료되고 더 이상의 작업이 계획되지 않을 때까지 계속된다(412).

도 5는 로봇을 사용하여 계획에 따라 품목들을 선택/배치하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 3의 단계 306은 도 5의 프로세스에 의해 적어도 부분적으로 구현된다. 도시된 예에서, 단계 502에서, 계획과 관련된 선택/배치 작업이 수신된다. 예를 들면, 로봇 제어 모듈은 하나 이상의 상위 레벨 작업 세트의 완료를 향해 진행하도록 수행될 특정 선택/배치 작업을 할당, 대기열에 배치, 대기열로부터 끌어오기 등을 할 수 있다. 단계 504에서, 센서 데이터, 품목 모델 정보, 및 파지 전략 저장소 정보 중 하나 이상이 이동될 품목을 파지하기 위한 전략을 결정하기 위해 사용된다. 단계 506에서, 전략에 따라 품목을 파지하기 위한 시도가 이루어진다. 파지가 성공적이면(단계 508), 예를 들면, 이미지, 중량, 및/또는 다른 센서 데이터가 모두 품목이 성공적으로 파지되었다는 사실을 나타내면, 단계 510에서 상기 품목은 예를 들면 미리 결정된 계획에 따라 그것이 놓일 목적지 위치로 이동된다. 만약, 파지 시도가 성공적이지 않으면(단계 508), 단계 512에서, 예를 들면 동일하거나 가능한 상이한 전략을 사용하여 파지를 재시도할지의 여부가 결정된다. 일부 실시예들에 있어서, 재시도는, 다음 중 먼저 발생하는, 구성된 횟수 또는 규정된 횟수까지 또는 완전히 자동화된 제어 하에 품목을 파지하는 데 사용할 수 있는 추가 전략이 없는 것으로 결정될 때까지 시도될 수 있다. 재시도가 시도되면(단계 512), 프로세스는 단계 504로 복귀하고, 여기서 센서, 품목 모델 및 파지 전략 정보 중 하나 이상이 품목을 파지하기 위한 (다음) 전략을 단계 506에서 결정하기 위해 사용된다. 더 이상의 재시도가 시도되지 않는 경우(단계 512), (예를 들면, 원격 조작, 수동 작업 수행 등에 의한) 인간 개입이 단계 514에서 호출되고, 인간 작업자/조작자가 완료까지 작업을 수행한다(단계 510). 도 5의 프로세스의 후속 반복은 모든 품목들이 선택/배치될 때까지 수행되고(516), 상기 프로세스가 종료된다.

도 6a는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다. 도시된 예에서, 엔드 이펙터(602)는 로봇 아암 세그먼트(604)에 이동 가능하게 연결된다. 다양한 실시예들에 있어서, 아암 세그먼트(604)는 전력 및 진공 소스를 상기 엔드 이펙터(602)에 제공하기 위한 내부 도관들을 포함한다. 도시된 예에서, 엔드 이펙터(602)는 가장 좌측의 흡입 컵(606)을 포함하는 2개의 흡입 컵들을 포함한다. 다양한 경우에, 엔드 이펙터(602)는 좌측 및/또는 우측 흡입 컵에 독립적으로 흡입을 제공하도록 구성된, 도 6a에 도시되지 않은, 내부 작업기 요소들을 포함한다. 예를 들면, 작은 품목을 파지하기 위해 하나의 흡입 컵만이 사용될 수 있다. 또는, 각각 독립적으로(또는 공동으로) 제어되는 흡입 컵을 사용하여 2 품목들이 동시에 파지될 수 있다. 일부 실시예들에 있어서, 엔드 이펙터(602)는, 다양한 실시예들에 있어서 파지될 품목과의 초기 접촉을 감지하고 그리고/또는 어떤 품목이 파지될 것인지 그리고/또는 품목이 성공적으로 파지될 것인지를 (예를 들면, 중량에 의해) 결정하기 위해 사용되는, 상기 흡착 컵 마운트들에 부착된 힘 또는 다른 센서와 같은 센서들을 포함한다. 일부 실시예들에 있어서, 엔드 이펙터(602)는 예를 들면 엔드 이펙터(602)가 아암 세그먼트(604)에 연결되는 "손목" 지점에 부착된 하나 이상의 토크 센서를 포함한다. 일부 실시예들에 있어서, 상기 토크 센서(들)는 예를 들면 품목이 무게 중심 또는 그 근처에서 파지되었는지의 여부를 결정하기 위해 사용될 수 있다. 일부 실시예들에 있어서, 엔드 이펙터(602)는, 예를 들면, 흡입 컵과 품목 및/또는 그의 패키지 사이의 양호하거나 불량한 밀봉을 검출함으로써, 품목의 흡입 컵 기반 파지가 성공적인지의 여부를 결정하기 위한 압력 센서를 포함한다.

도 6b는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다. 도시된 예에서, 엔드 이펙터(622)는 로봇 아암 세그먼트(624)에 이동 가능하게 부착되고, 2 x 3 그리드에 배열된 6개의 흡입 컵들을 포함한다. 다양한 실시예들에 있어서, 각각의 6개의 흡입 컵들 및/또는 이들 중 2개 또는 3개의 인접한 서브그룹들은 본원에 개시된 로봇 제어 시스템의 제어하에 독립적으로 작동될 수 있다.

도 6c는 복수의 흡입 컵들을 포함하는 엔드 이펙터의 실시예를 설명하는 도면이다. 도시된 예에서, 엔드 이펙터(642)는 로봇 아암 세그먼트(644)에 이동 가능하게 부착되고, 3 x 6 그리드에 배열된 18개의 흡입 컵들을 포함한다. 다양한 실시예들에 있어서, 각각의 흡입 컵들 및/또는 이들 중 인접한 서브그룹들은 본원에 개시된 로봇 제어 시스템의 제어하에 독립적으로 작동될 수 있다.

도 6a, 도 6b 및 도 6c에 도시된 예들이 도시된 흡입 컵들의 수 및 배열을 포함하지만, 다양한 실시예들에 있어서, 더 많거나 더 적은 흡입 컵들이 포함된다. 일부 실시예들에 있어서, 흡입 컵들 이외의 파지 구조물들이 포함된다.

도 7은 로봇 아암 및 엔드 이펙터로 품목들을 파지하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 7의 프로세스(700)는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동시키도록 구성된, 제어 컴퓨터(122)와 같은, 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 상기 프로세스(700)는 도 2의 로봇 제어 모듈(208)에 의해 수행된다. 도시된 예에서, 단계 702에서, 이미지 및/또는 다른 센서 데이터가 파지될 품목과 근접하게 엔드 이펙터를 이동시키기 위해 사용된다. 예를 들면, 흡입형 엔드 이펙터가 결합될 패키지 표면의 3차원 공간상의 위치는 이미지 데이터를 기반으로 결정되고, 궤적은 그리퍼의 흡입 컵들의 품목-결합 단부가 표면의 규정된 거리 이내로 이동하도록 계산된다. 엔드 이펙터가 패키지 (또는 품목) 표면 근처로 이동할 때, 이미지 데이터가 계속 모니터링된다. 다양한 실시예들에 있어서, 일단 엔드 이펙터가 계산된 궤적의 말단 위치 및 방향으로 이동되면 그리고/또는 만약 이미지 또는 다른 센서 데이터가 궤적의 말단이 도달되기 전에 엔드 이펙터가 품목의 근방에 도달했음을 나타내는 경우 이동이 중지된다; 예를 들면, 만약 엔드 이펙터의 힘 센서가 흡입 컵들이 패키지/품목과 접촉했음을 감지하면, 이동은 정지될 수 있다. 일단, 엔드 이펙터가 파지될 품목에 근접한 위치로 이동되면(단계 702, 단계 704), 단계 706에서, 엔드 이펙터 및 아암의 (예를 들면, 상대적으로 더 큰 거리 및/또는 상대적으로 더 빠른 속도의) 총 이동은 정지되고, 상기 품목은 엔드 이펙터의 미세한 움직임과 엔드 이펙터의 흡입 또는 기타 품목 결합 메커니즘의 작업 중 하나 이상에 의해 파지되도록 시도한다.

다양한 실시예들에 있어서, 다음 중 하나 이상이 수행, 존재 및/또는 달성될 수 있다:

● 흡입을 사용하여 파지하면 품목 주위의 필요한 여유 공간이 최소화되고, 품목의 상단으로만 접근할 수 있게 된다.

● 호환되는 흡입 컵들은 접촉력을 감소키겨 제품을 보호한다(즉, 품목이 파지되어 있다).

● 컵들이 제품 표면에 밀착 접촉되어 있을 때를 감지하는 압력 센서들. 일부 실시예들 및/또는 파지에 있어서, 포장은 포함된 제품을 접촉하지 않고도 안전하게 파지될 수 있다.

● 힘 센서들은 제품에 힘이 가해지는 때를 감지한다.

● 2개의 파지 상태 -- (1) 엔드 이펙터가 파지를 위해 제품과 충분히 접촉한 상태 및 (2) 엔드 이펙터가 제품 손상의 위험 없이 더 근접 이동할 수 없는 상태 -- 를 감지하기 위한 다른 센서들의 조합. 일부 실시예들에 있어서, 이와 같은 센서들은 흡입 컵 마운트들상에 근접 센서 및/또는 리미트 스위치를 포함할 수 있다.

● 위에서 상태 (1) 또는 (2)가 나타날 때까지 로봇 엔드 이펙터를 제품을 향해 이동시키는 폐쇄 제어 루프.

품목이 성공적으로 파지되었는지의 여부가 단계 708에서 결정된다. 예를 들면, 흡입 기반 파지가 성공적으로 완료되었는지의 여부를 결정하기 위해 압력 센서들이 사용된다. 예를 들면, 만약 필요한 진공이 달성되면, 품목이 성공적으로 파지되었다는 결정이 내려진다. 일부 실시예들에 있어서, 품목이 성공적으로 파지되었다는 결정은 중량와 같은 품목의 속성, 및 예를 들면, 해당 중량의 품목을 안전하게 파지하는 것과 관련된 컵들의 최소 수와 같은, 엔드 이펙터의 적어도 흡인 컵들의 최소 갯수에 대해 진공이 달성되었는지 여부에 기초하여 이루어질 수 있다.

파지가 성공적인 것으로 결정되면(단계 708), 단계 710에서, 품목은 관련된 목적지 위치로 이동된다. 예를 들면, 로봇 아암과 엔드 이펙터는 제어 컴퓨터 및/또는 모듈에 의해 계산된 궤적을 따라 이동되어, 품목을 목적지로 이동시키고 엔드 이펙터의 파지로부터 품목을 해제한다. 파지가 (아직) 성공적이지 않으면(단계 708), 단계 712에서, 이미지 및/또는 다른 센서 데이터가 평가되어 (새로운/개정된) 파지 전략을 결정한다. 일부 실시예들에 있어서, 단계 712는 (추가) 재시도가 시도되어야 하는지의 여부에 대한 평가를 포함하고; 그렇지 않은 경우, 사람의 개입이 시작된다. 새로운 파지 전략이 단계 712에서 결정되면, 상기 파지 전략은 단계 706에서 시도되고, 성공하면(단계 708), 품목은 단계 710에서 그의 목적지로 이동된다. 일단 품목이 (예를 들면, 단계 710에서 및/또는 자동화된 파지/이동이 실패한 경우 인간 개입에 의해) 그의 목적지로 이동되면, 단계 714에서 파지 및 이동될 추가 품목들이 있는지의 여부가 결정된다. 그럴 경우, 단계 716에서 이동할 다음 품목으로 처리가 진행되고, 처리(700)의 추가 반복이 그 품목에 대해 수행된다. 파지 및 이동될 다른 품목들이 없으면(단계 714), 프로세스는 종료된다.

도 8은 로봇 아암 및/또는 엔드 이펙터에 의해 파지된 품목을 목적지로 안전하게 이동시키는 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 8의 프로세스(800)는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동하도록 구성된 제어 컴퓨터(122)와 같은 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 상기 프로세스(800)는 도 2의 로봇 제어 모듈(208)에 의해 수행된다.

다양한 실시예들에 있어서, 로봇 시스템은, 예를 들면, 도 7의 프로세스(700)를 통해 품목을 파지하고, 그 다음 1개 이상의 센서 기반 검사를 수행하여 파지가 정확하고 안전한지를 확인하며, 예를 들면 상기 로봇 시스템은:

● 예를 들면, 품목 중량 및/또는 기타 속성들을 결정하기 위해, SKU별 또는 기타 품목 정보의 데이터베이스를 조회할 수 있고,

● 파지력을 약화시키는 공기 누출에 대한 압력 센서 판독값을 점검할 수 있고,

● 정확한 유형 및 수량의 품목이 파지되었는지를 확인하기 위해 힘 센서 판독값을 점검할 수 있고,

● 카메라는 엔드 이펙터에 대해 파지된 물품들의 위치를 감지하여, 압력 및 힘 센서들의 판독값을 확인할 수 있으며, 파지된 품목의 크기가 SKU 또는 기타 품목 데이터베이스의 크기와 일치하는지를 확인할 수 있으며,

● 토크 판독값은 품목이 질량 중심 근처에서 파지되었는지를 점검하며,

● 센서 판독값들 간의 불일치(또는 임계값 초과)가 발생하거나 또는 점검의 실패 시에, 로봇은 추가 시도/검사를 위해 파지된 물체를 원래 위치 또는 그 근방의 "안전한" 영역으로 복귀시킨다. 그런 다음 계속해서 (예를 들면, 기타) 제품들을 선택할 수 있다.

도 8을 참조하면, 도시된 예에 있어서, 품목이 이동되는 동안(단계 802), 예를 들면, 로봇 아암 및 엔드 이펙터를 사용하여 성공적으로 파지한 후, 단계 804에서, 복수의 센서들로부터의 센서 데이터 및/또는 센서 유형들(예를 들면, 이미지, 힘, 압력 등)이 모니터링된다. 각각의 센서/센서 유형에 대해, 단계 806에서, 상기 센서 데이터는 데이터가 품목의 (계속적인) 안전한 파지와 일치하는지의 여부를 결정하기 위해 평가된다. 만약 모든(또는 임계값 비율) 센서들이 파지가 안전한 상태로 유지되는 것을 나타내면(단계 808), 단계 810에서, 품목은 그의 목적지로 이동(및/또는 계속 이동)된다. 만약 임의의(또는 임계 수의) 센서들 및/또는 센서 유형들이 파지가 안전하지 않거나 또는 더 이상 안전하지 않음을 나타내는 데이터를 제공하는 경우(단계 808), 단계 812에서, 품목은 버퍼 위치(또는 원래의 소스 위치, 만약 로봇 시스템이 파지가 충분히 안전한지 그리고/또는 그렇게 하기에 충분히 가까운 소스 위치인지를 결정하는 경우)로 이동되고, 그리고 일단 안전한 위치에 있으면, 상기 로봇 시스템은 파지 전략을 결정하고 품목을 다시 파지하기 위한 시도를 한다. 복수의 센서들의 모니터링(단계 804) 및 파지가 안전한지/안전한 상태로 있는지의 여부를 평가(단계 806, 단계 808)하기 위한 센서 데이터의 사용은 품목이 그의 목적지(814)로 성공적으로 이동될 때까지 계속되고, 여기서 상기 프로세스(800)가 종료된다.

도 9는 흡입 기반 엔드 이펙터의 실시예를 설명하는 블록도이다. 다양한 실시예들에 있어서, 도 9의 로봇 아암 엔드 이펙터(900)는 도 1의 엔드 이펙터(108)를 구현하기 위해 사용될 수 있다.

도시된 예에 있어서, 엔드 이펙터(900)는 회전 가능한 커플링을 통해 로봇 아암(904)에 부착된 본체 또는 하우징(902)을 포함한다. 일부 실시예들에 있어서, 하우징(902)과 로봇 아암(904) 사이의 연결은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 제어되는 전동 조인트를 포함할 수 있다. 엔드 이펙터(900)는 흡입 제어 모듈(908)에 진공 소스를 공급하기 위해 로봇 암(904)을 통해 하우징(902)으로 이어지는 흡입 또는 다른 공압 라인(906)을 추가로 포함한다. 다양한 실시예들에 있어서, 제어 모듈(908)은 통신 인터페이스(914)를 통해, 예를 들면, 도 1의 제어 컴퓨터(118)와 같은, 엔드 이펙터(900) 외부의 제어 컴퓨터에 예를 들면 무선 및/또는 유선 통신을 통해 연결된다. 제어 모듈(908)은 예를 들면, 엔드 이펙터(900)를 포함하는 흡입 컵들(910, 912)에 흡입력을 공급하도록 작동가능한 전자 및/또는 전기-기계적 요들을 포함하며, 엔드 이펙터(900)를 사용하여 픽업, 이동 및 배치될 품목에 흡입을 통해 엔드 이펙터를 부착한다.

다양한 실시예들에 있어서, 흡인 제어 모듈(908)은 컵들(910, 912)에 독립적으로 흡인을 가하도록 구성되어, 주어진 품목을 파지하기 위해 오직 하나 또는 다른 하나가 사용될 수 있게 한다. 일부 실시예들에 있어서, 2개의 빵 덩어리와 같은 2개의 인접한 품목들은 동시에 파지 및 이동될 수 있으며, 각각은 컵들(910 및 912) 중 대응하는 것에 의해 파지된다.

도시된 예에 있어서, 하우징(902)의 측면상에 장착된 카메라(916)는 엔드 이펙터(900) 아래의 시야의 이미지 데이터를 제공한다. 복수의 힘 센서들(918, 920, 922, 924, 926, 928)은 각각 흡입 컵들(910, 912)에 각각 가해지는 힘을 측정한다. 다양한 실시예들에 있어서, 힘 측정치는 통신 인터페이스(914)를 통해 외부 및/또는 원격 제어 컴퓨터에 전달된다. 센서 판독값은 로봇 아암(904) 및 엔드 이펙터(900)가 다른 품목들 및/또는 측벽 또는 다른 구조물에 인접한 위치에 품목이 맞도록 사용되게 하고 그리고/또는 불안정성(예를 들면, 흡입 중인 상태이나 품목이 안정적으로 배치될 것으로 예상되는 장소에서 품목을 누른 상태에서 푸시 백이 충분하지 않음)을 검출하도록 다양한 실시예들에서 사용된다. 다양한 실시예들에 있어서, 힘 센서의 수평으로 장착된 쌍들(예를 들면, 918 및 922, 924 및 928)은 힘이 모든 수평 방향에서 결정될 수 있도록 x-y 평면에서 직각으로 배치된다.

일부 실시예에서, 힘 센서들은 흡입 컵들(910, 912)과 파지될 품목 사이의 초기 접촉을 감지하기 위해 사용될 수 있다. 로봇 아암(904)은, 빵 한 덩어리를 부수거나 패키지가 구겨지는 것과 같은 품목의 손상을 방지하기 위해, 초기 접촉이 감지되면 중지된다. 그런 다음, 흡입을 사용하여 품목을 파지하기 위해 흡입이 적용된다.

도 10은 로봇 시스템에 할당된 목표를 가장 잘 달성하기 위해 필요한 경우 품목을 동시에 선택/배치하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 10의 프로세스(1000)는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동시키도록 구성된 제어 컴퓨터(122)와 같은 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 상기 프로세스(1000)는 도 2의 로봇 제어 모듈(208)에 의해 수행된다.

다양한 실시예들에 있어서, 본원에 개시된 로봇 시스템은:

● 한 번의 실행으로 여러 품목들을 선택하여, 픽업 시스템의 처리량을 증가시킨다.

● 상이한 품목 조합에 대해 상이한 선택(파지) 포즈를 생성한다.

● 확실하고 견고한 파지를 위해 현재 엔드 이펙터 구성에 맞는 선택 가능한 품목 조합을 감지한다. 예를 들면, 2개의 대형 흡입 컵들이 있는 그리퍼(엔드 이펙터)는 동일하거나 비슷한 크기의 2개의 품목들을 동시에 픽업할 수 있다.

● 모든 선택 가능한 품목들 중, 현재 고객 요구 수량(예를 들면, 현재 매니페스트)을 기반으로 다중 파지를 수행할 것인지의 여부를 결정한다.

● 다양한 시스템 조건에 적응하여 안전한 방식으로 다중 파지를 수행한다. 예를 들면, 품목이 작업 영역의 가장자리에 위치하는 경우, 가능한 충돌을 수용하도록 그리퍼 자세를 조정한다. 잠재적인 위험 사례를 식별하고 필터링한다.

● 상이한 그리퍼 구성들에 적응: 다중 파지 가능성을 평가하고, 그리퍼 진입점들 사이의 직경과 등과 같은, 주어진 그리퍼 구성을 기반으로 상이한 잡기 포즈를 생성한다.

● 가능한 단일 및 다중 파지 사이의 비용 평가를 수행한다.

● 안정적인 다중 파지에서 가장 낮은 위험을 달성하기 위해, 모든 가능한 다중 파지들에 대한 파지 비용을 평가한다.

도 10을 참조하면, 단계 1002에 도시된 예에 있어서, 품목 데이터, 예를 들면, 품목 속성 데이터, 현재/다음 주문을 충족시키기 위해 필요한 각각의 품목 수량, 이동될 품목들의 소스/시작 위치(들), 상태 소스 및 목적지 위치들(예를 들면, 트레이들) 등이 평가된다. 주문을 충족시키기 위한 일련의 작업의 일부로서 선택 및 배치될 수 있는 단일 품목 및 지원되는 다중 품목들의 조합은 단계 1004에서 평가된다. 예를 들면, 주문을 충족시키기 위해 동일한 품목 중 2개 이상이 필요한 경우 그리고 인접한 품목들이 소스 트레이에 있고 사용 가능한 공간이 있는 경우(또는 계획에서 평가 중인 시나리오하에서 사용 가능하거나 제공될 수 있는 경우), 단일 작업에서 품목들 중 2개(또는 그 이상)를 이동시키는 것은 주문을 충족시키기 위한 계획에 포함되는 것으로 간주될 수 있다. 단계 1006에서, 주문을 충족시키기 위한 단일 품목 및/또는 다중 품목 선택/배치 작업의 가장 낮은(전체/총) 비용(예를 들면, 시간, 에너지 등) 및/또는 가장 낮은 위험(예를 들면, 품목을 떨어뜨릴 위험은 품목을 하나씩 이동시키는 것보다 측정 가능하거나 예측 가능한 양만큼 더 큰 것으로 간주될 수 있다)의 혼합이 결정된다. 일부 실시예들에 있어서, 비용 및 위험 각각은 예를 들면 비용 함수에서 관련된 가중치를 가질 수 있고, 상기 비용 함수를 최소화하는 계획이 결정될 수 있다. 단계 1008에서, 품목은 단계 1006에서 결정된 계획에 따라 선택/배치된다. 처리는 완료될 때까지 계속된다(단계 1010).

다양한 실시예들에 있어서, 프로세스(1000)의 단계들 중 하나 이상은, 예를 들면, 작업 공간으로 이동되는 품목들의 새로운 소스 트레이 또는 기타 소스 용기, 작업 공간의 임의의 품목들 및/또는 용기의 상태를 변경하는 인간 또는 기타 예기치 않은 개입 또는 이벤트, 예상과 다른 실제 상태(예를 들면, 목적지) 트레이를 초래하는 실패된 선택/배치 작업 등과 같은, 계획이 수행되는 동안 이용가능하게 되는 정보에 기초하여 단계 1006에서 결정된 계획을 개선하기 위해, 연속적 및/또는 주기적 기반으로 수행될 수 있다.

도 11은 품목의 최종 배치를 조정하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 11의 프로세스는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동시키도록 구성된 제어 컴퓨터(122)와 같은 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 도 11의 프로세스는 도 2의 로봇 제어 모듈(208)에 의해 수행된다. 도시된 예에서, 품목이 이동 중일 때(단계 1102), 시스템은 품목이 의도된 목적지 위치에 매우 근접한 위치로 이동되었음을 감지한다(단계 1104). 예를 들면, 이미지 센서, 힘 센서, 및/또는 기타 센서 데이터는 최종 위치에 대한 근접성을 감지하기 위해 사용될 수 있다. 일부 실시예들에 있어서, 수직으로 배향된 힘 센서들은 품목이 트레이 바닥 또는 품목이 놓일 다른 용기 표면과 접촉하였음을 감지하기 위해 사용될 수 있다. 단계 1106에서, 최종 목적지 위치에 대한 근접성을 검출한 것에 응답하여, 품목이 해제되기 전에, 맞춤을 보장하기 위한 최종 배치 작업이 수행된다. 예를 들면, 수평 또는 다른 힘 센서들, 토크 센서들, 접촉 센서들, 이미지 센서들, 또는 이들의 일부 조합은 품목 접촉 또는 용기의 측벽과 같은 인접한 품목들 및/또는 구조물과의 근접 접촉을 평가하기 위해 사용될 수 있다. 로봇 아암 및/또는 엔드 이펙터는, 예를 들면 배치된 품목이 선택/배치 계획에 따라 인접한 품목에 대해 맞아야 하는 임의의 모서리 및/또는 표면들을 따라 접촉되게 함으로써, 인접성을 증가시키도록 조작될 수 있다. 동일한 수평 접근 및/또는 품목의 접촉 가장자리 또는 표면과 관련된 센서들의 힘 센서 판독값이 (실질적으로) 동일하지 않은 경우, 예를 들면, 엔드 이펙터는 회전될 수 있고 그리고/또는 아암은 품목을 힘 센서가 실질적으로 동일한 힘을 감지하는 위치로 재배치할 수 있도록 이동된다.

도 12는 품목에 대한 목적지 위치를 선택하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 12의 프로세스는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동시키도록 구성된 제어 컴퓨터(122)와 같은 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 도 12의 프로세스는 도 2의 로봇 제어 모듈(208)에 의해 수행된다. 도시된 예에서, 단계 1202에서, 품목 또는 품목들이 이동될 목적지 트레이의 상태가 평가된다. 예를 들면, 이미지 데이터 및 이전에 수행된 선택/배치 작업의 데이터는 목적지 트레이 또는 다른 용기에 위치될 품목을 수용하기 위해 사용할 수 있는 슬롯, 공간 및/또는 위치들을 결정하기 위해 사용될 수 있다. 단계 1204에서, 단계 1202에서 이용 가능한 것으로 결정된 것들 중에서 최적의 슬롯이 선택된다.

일부 실시예들에 있어서, 최적의 슬롯은 알고리즘 및/또는 다른 기준에 따라 선택될 수 있다. 예를 들면, 일부 실시예들에 있어서서, 목적지 트레이의 품목 그룹에 대해 가장 낮은 외부 둘레 길이가 되는 슬롯이 선택될 수 있다. 일부 실시예들에 있어서, 배치될 다음 N개의 품목들에 대한 슬롯들은, N개의 품목들에 대한 정보가 이용가능한 경우, 배치 위치의 집합적인 세트가 최적임을 보장하기 위해 동시에 결정될 수 있다. 일부 실시예들에 있어서, 이전 배치 결정이 후속 배치 결정의 가용성 및/또는 최적성에 영향을 미치는 경우, 이전에 배치된 품목은 배치될 다음의 품목(들)을 위해 이용 가능한 (더 최적의) 슬롯을 만들기 위해 프로그래밍 방식으로 결정된 위치 및/또는 방향으로 이동될 수 있다. 예를 들면, 제1 품목을 배치하기 위한 결정은 시스템이 다음에 배치될 품목(들)을 알기 전에 그리고/또는 시스템이 그와 같은 품목(들)에 대한 완전한 정보를 갖기 전에 결정될 수 있다. 그와 같은 조건에서, 시스템은 이전에 배치된 품목에 대한 배치를 선택하여, 이후에 배치될 품목들이 주어지면 전체적으로 최적의 상태가 아닌 상황을 초래할 수 있게 된다. 일부 실시예들에 있어서, 시스템은 그와 같은 상황을 감지하고 이전에 배치된 품목의 배치/배향을 이동 및/또는 변경시키도록 구성되며, 그렇게 할 경우, 품목(들)이 다음 또는 이후에 배치될 가능성이 더 개선된다.

일부 실시예들에 있어서, 만약, 단계 1202 및/또는 단계 1204에서, 품목을 수용하는 데 사용할 수 있는 슬롯이 없는 것으로 결정되고, 일부 실시예들에 있어서 만약 트레이에 부합될 수 있는 소형 품목(들)이 그와 같은 품목들을 수용하기에 충분하고 사용 가능한 공간 내에 선택/배치될 수 없는 경우, 상기 시스템은 트레이가 가득 찬 것으로 판단하고 예를 들면 스테이징 영역으로부터 빈 트레이를 회수한다. 만약 트레이 스택이 너무 높지 않고, 또한 채워진 트레이와 다음에 채워질 새 트레이가 예를 들면 동일한 배송 차량/경로과 같은 동일한 위치로 향하는 경우, 새 트레이는 채워질 것으로 결정된 트레이상에 적재될 수 있다.

단계 1206에서, 일단 적합한/최적의 슬롯이 품목(들)을 배치하기 위해 선택되면, 상기 품목(들)은, 예를 들면, 도 7 및 도 11 중 하나 이상의 프로세스를 통해 그 위치에 배치된다.

도 13은 품목의 오배치(misplacement)를 검출하기 위한 프로세스의 실시예를 설명하는 흐름도이다. 다양한 실시예들에 있어서, 도 13의 프로세스는 도 1의 로봇 아암(102) 및 엔드 이펙터(108)와 같은 로봇 아암 및 엔드 이펙터를 작동시키도록 구성된 제어 컴퓨터(122)와 같은 컴퓨터에 의해 수행될 수 있다. 일부 실시예들에 있어서, 도 13의 프로세스는 도 2의 로봇 제어 모듈(208)에 의해 수행된다. 도시된 예에 있어서, 품목이 배치될 때(단계 1302), 예를 들면, 최종 위치로 이동되어 부합되었지만 아직 엔드 이펙터의 파지로부터 해제되지 않은 경우, 이미지 및/또는 다른 센서 데이터가 품목의 배치를 평가하기 위해 사용된다(단계 1304). 예를 들면, 3차원 이미지 데이터는 품목 높이가 성공적인 배치에 대해 예상보다 높다는 사실을 나타낼 수 있다. 예를 들면, 품목의 상단 표면 높이는 트레이 하단 높이에 품목의 예상 높이를 더한 것과 같을 것으로 예상될 수 있다. 만약 상단 표면이 더 높은 높이에 있는 경우, 이와 같은 정보는 상기 품목이 전체적으로 또는 부분적으로 다른 품목의 상부 위에 놓였거나, 또는 상기 품목이 선택/배치 작업 중에 찌그러지거나 변형되었거나, 또는 잘못된 품목이 배치되었을 수 있음 등을 나타낼 수 있다. 만약 오류가 감지되지 않으면(단계 1306), 상기 품목이 파지로부터 해제되고(단계 1308), 상기 아암 및 엔드 이펙터는 다음의 선택/배치 작업을 수행하기 위해 멀리 이동된다. 만약 오류가 검출되면(단계 1306), 단계 1310에서, 상기 품목은 시작 위치, 또는 일부 실시예들에 있어서 다른 스테이징 또는 버퍼 영역으로 복귀되고, 상기 선택/배치 작업이 다시 시도된다. 일부 실시예들에 있어서, 검출되는 오류를 초래하는 품목을 선택/배치하기 위한 반복된 시도는 인간 개입을 개시하기 위한 경보 및/또는 다른 작업을 촉발시킬 수 있다.

도 14는 비강성 패키지에서 연질 제품을 취급하기 위한 로봇 시스템의 실시예를 설명하는 도면이다. 도시된 예에 있어서, 시스템(1400)은 각각 레일들(1404, 1406)을 따라 컴퓨터 제어하에 이동하도록 장착된 로봇 아암들(1408, 1410)을 포함한다. 로봇 아암들(1408, 1410)은 각각 흡입형 엔드 이펙터들(1412, 1414)에서 종결된다. 다양한 실시예들에 있어서, 로봇 아암들(1408, 1410) 및 엔드 이펙터들(1412, 1414)은 도 1 및 도 2의 제어 컴퓨터(122)와 같은 제어 컴퓨터를 포함하는 로봇 제어 시스템에 의해 제어된다.

도 14에 도시된 예에 있어서, 로봇 아암들(1408 및 1410) 및 엔드 이펙터들(1412 및 1414)은 빵 덩어리와 같은 품목들을 휠 베이스(1402)상의 소스 트레이들로부터 휠 베이스들(1416, 1418)상의 목적지 트레이들로 이동시키기 위해 사용된다. 다양한 실시예들에 있어서, 인간 및/또는 로봇은 도시된 바와 같이 소스 트레이들 및 휠 베이스(1402)를 레일들(1404 및 1406) 사이의 시작 위치에 위치시킬 수 있다. 휠 베이스(1402)는 레일들(1404, 1406)에 의해 형성된 채널을 통해, 예를 들면, 도시된 바와 같이 베이스(1402)의 끝단에서 시작하는 화살표 방향으로 전진할 수 있다. 다양한 실시예들에 있어서, 베이스(1402)는 로봇 아암들(1408, 1410) 중 하나 또는 둘 모두를 사용하여 다음에 의해 전진될 수 있다; 한명 이상의 인간 작업자, 하나 이상의 고정 또는 비고정 로봇 등에 의해 수동으로 누름으로써; 레일들(1404 및 1406)을 따라 그리고/또는 상기 레일들 사이에서 진행하는 컨베이어 벨트 또는 체인 유형 메커니즘; 컴퓨터 제어 전동 휠 및 제동과 같은, 로봇식 제어 추진 및/또는 운반 메커니즘이 베이스(1402) 내에 통합됨; 등.

상기 휠 베이스(1402)가 레일들(1404 및 1406)을 따라 그리고/또는 상기 레일들 사이에서 전진함에 따라, 그리고/또는 휠 베이스(1402)가 레일들(1404 및 1406) 사이에서 일시적으로 정지 위치에 위치하는 동안, 다양한 실시예들에 있어서, 상기 로봇 시스템은 로봇 아암들(1408 및 1410) 및 엔드 이펙터들(1412 및 1414)을 사용하여, 빵 덩어리와 같은 품목을 계획에 따라 휠 베이스(1402)상의 소스 트레이들로부터 휠 베이스들(1416 및 1418)상의 목적지 트레이들로 이동시킨다. 예를 들면, 상기 계획은 베이스(1402)의 소스 트레이들에 어떤 종류의 빵이 있는지를 나타내는 재고 및/또는 센서 데이터에 기초하여 그리고/또는 작업 영역의 다른 베이스 및 추가로 어떤 빵 또는 기타 품목들의 조합이 소매점과 같은 각각의 최종 배달 위치로 배달될 대상 트레이들에 배치되어야 하는지를 나타내는 매니페스트들 또는 기타 데이터에 기초하여 계산될 수 있다.

도시된 예에서, 일단 베이스들(1416 및 1418)의 목적지 트레이들이 채워지면, 베이스들(1416 및 1418)은 각각 레일들(1404 및 1406)로부터 외향으로 멀리, 예를 들면 배송 차량에 적재될 스테이징 및 적재 영역으로 이동한다.

도 14에는 단일 베이스(1402) 상의 소스 트레이들의 단일 세트가 도시되어 있지만, 수행되는 상위 레벨 작업에 따른 다양한 실시예들에 있어서, 각각 위에 적재된 품목들로 가득 채워진 0개 이상의 트레이를 갖는 하나 이상의 추가 베이스가 레일들(1404 및 1406) 사이 및/또는 근처 스테이징 영역에 위치될 수 있다. 마찬가지로, 일부 실시예들에 있어서, 각각 대응하는 휠 베이스상의 목적지 트레이들의 다중 세트들은 레일(1404) 또는 레일(1406)에 인접한 스테이지일 수 있고, 각각의 최상부 트레이는, 예를 들면, 매니페스트 및 관련 이행 계획에 따라 동시에 및/또는 차례로 채워지는 과정에 있을 수 있다.

다양한 실시예들에 있어서, 일단 소스 트레이가 비워지면, 시스템은 로봇 아암들(1408 및/또는 1410)을 사용하여, 트레이를 스테이징 영역 및/또는 목적지 트레들이 스택 상단으로 이동시켜, 채워지고 최종 목적지로 보내질 트레이 공급을 생성하고 그리고/또는 품목들이 주문을 이행하기 위해 선택될 수 있는 다음 소스 트레이를 노출시킨다.

도 14에서는 단일 로봇 아암(1408, 1410)이 각각의 레일(1404, 1406)에 배치되지만, 일부 실시예들에 있어서는 2개 이상의 로봇 아암들이 각각의 레일에 제공될 수 있다. 일부 실시예들에 있어서, 단일 레일상의 2개의 로봇 아암들은 빈 트레이들을 픽업 및 이동시키기 위해 사용될 수 있다. 예를 들면, 각각은 다양한 실시예들에 있어서 기계적으로 트레이의 구조물을 결합시키거나 또는 흡입 또는 그립에 의해 상기 트레이의 반대쪽 측면과 결합시키기 위해 사용될 수 있으며, 상기 2개의 아암들은 버퍼나 스테이징 영역 또는 목적지 트레이 스택의 상단과 같은 새로운 위치로 이동하는 동안 빈 트레이의 제어를 유지하기 위해 협력적으로 작업될 수 있다. 일부 실시예들에 있어서, 하나 이상의 로봇 아암들은 스택의 상단으로부터 전체 또는 부분적으로 채워진 트레이를 이동시켜, 예를 들면, 스테이징 영역으로 이동시키고, 스택의 하부 트레이를 노출시켜, 추가 품목들을 추가하고, 신규 또는 수정된 계획에 따라 품목들을 재배열하도록 사용될 수 있다.

카메라들(1420 및 1422)은 각각 엔드 이펙터들(1412, 1414)상에 장착되며, 그리고/또는 카메라들(1424 및 1426)은 본원에 개시된 바와 같이 선택/배치 작업을 계획하고 수행하기 위한 이미지 데이터를 생성하기 위해 다양한 실시예들에서 사용된다.

다양한 실시예들에 있어서, 본원에 개시된 기술은 플라스틱 백 또는 랩에 포장된 빵 덩어리와 같은 비강성 패키지의 부드럽거나 깨지기 쉬운 제품이 취급되는 품목을 손상시키지 않고 로봇 시스템에 의해 취급될 수 있게 한다. 예를 들면, 다양한 실시예들에 있어서, 빵은 인간 개입을 최소화하거나 또는 전혀 개입하지 않고 소매점과 같은 대응하는 특정 위치들로 배달하기 위해 로봇에 의해 빵집 또는 저장 영역에서 받은 소스 트레이들로부터 목적지 트레이들로 식별, 선택 및 이동될 수 있다. 다양한 실시예들에 있어서, 본원에 개시된 기술은 예를 들면, 순전히 인간 및/또는 완전 자동화되지 않은 작업과 비교하여, 연성 패키지 내의 빵 또는 기타 깨지기 쉬운 품목에 대한 유통 시스템, 시설 및 프로세스의 처리량 및 효율성을 증가시킨다.

비록 상술된 실시예들이 이해의 명확성을 위해 일부 상세하게 설명되었지만, 본 발명은 제공된 상세 사항들로 제한되지 않는다. 본 발명을 구현하는 많은 대안적인 방법들이 있다. 개시된 실시예들은 예시적이며, 제한적이지 않다.

Claims (20)

1. 로봇 시스템으로서,
   통신 인터페이스; 및
   상기 통신 인터페이스에 연결되는 프로세서를 포함하며, 상기 프로세서는:
   상기 로봇 시스템에 의해 적어도 부분적으로 제어되는 하나 이상의 로봇 요소가 존재하는 작업 공간과 관련된 센서 데이터를 상기 통신 인터페이스를 통해 수신하고;
   적어도 부분적으로 상기 센서 데이터에 기초하여 상기 로봇 요소들 중 하나 이상을 사용하여 상기 작업 공간에서 수행될 작업을 결정하고, -상기 작업은 상기 로봇 요소들 중 하나의 엔드 이펙터를 파지될 품목에 근접한 위치로 상대적으로 빠르게 이동시키는 것과; 상기 품목 및 그의 패키지 중 하나 또는 둘 모두에 대한 손상의 최소화된 위험과 관련된 양의 힘 및 구조를 사용하여 상기 품목을 파지하기 위해 상기 엔드 이펙터의 파지 메커니즘을 작업시키는 것; 및 상기 품목이 안전하게 파지되었는지를 확인하기 위해 상기 품목이 파지된 후에 생성된 센서 데이터를 사용하는 것을 포함함-; 그리고
   상기 로봇 요소가 상기 작업을 수행하도록 하기 위해 상기 통신 인터페이스를 통해 상기 로봇 요소에 제어 통신들을 전송하도록 구성되는, 로봇 시스템.
2. 제1 항에 있어서, 상기 프로세서는 상기 로봇 요소를 사용하여 상기 파지된 품목을 목적지 위치로 이동시키도록 추가로 구성되는, 로봇 시스템.
3. 제1 항에 있어서, 상기 엔드 이펙터는 흡입 기반의 파지 메커니즘을 포함하는, 로봇 시스템.
4. 제3 항에 있어서, 상기 엔드 이펙터는 하나 이상의 흡입 컵을 포함하는, 로봇 시스템.
5. 제4 항에 있어서, 상기 하나 이상의 흡입 컵은 상기 품목과 접촉할 때 후퇴하는 순응성 재료를 포함하는, 로봇 시스템.
6. 제1 항에 있어서, 상기 센서 데이터는 하나 이상의 카메라에 의해 생성된 이미지 데이터를 포함하는, 로봇 시스템.
7. 제1 항에 있어서, 상기 센서 데이터는 압력 센서, 힘 센서, 토크 센서 및 접촉 센서들 중 하나 이상에 의해 생성되는 데이터를 포함하는, 로봇 시스템.
8. 제1 항에 있어서, 상기 프로세서는 상기 파지된 품목을 목적지 위치로 이동시키고 또한 상기 목적지 위치에 상기 품목을 배치하기 위해 상기 로봇 요소를 사용하도록 추가로 구성되는, 로봇 시스템.
9. 제8 항에 있어서, 상기 프로세서는, 작업의 제1 단계에서, 상기 목적지 위치에 근접한 위치로 상기 품목을 이동시키고, 그리고 상기 센서 데이터를 이용하여 상기 목적지 위치에 근접한 구조물 또는 제2 품목에 더 근접하도록 상기 품목에 대한 위치를 조정함으로써, 상기 품목을 적어도 부분적으로 배치시키도록 구성되는, 로봇 시스템.
10. 제1 항에 있어서, 상기 프로세서는 적어도 부분적으로 계획(plan)에 기초하여 상기 작업을 결정하도록 구성되는, 로봇 시스템.
11. 제10 항에 있어서, 상기 프로세서는 상위 레벨 목표(high level objective)에 기초하여 상기 계획을 생성하도록 구성되는, 로봇 시스템.
12. 제11 항에 있어서, 상기 상위 레벨 목표는 복수의 품목들의 식별, 및 각각의 품목에 대해 최종 목적지와 관련된 품목 세트에 포함될 대응하는 수량을 포함하는, 로봇 시스템.
13. 제12 항에 있어서, 상기 품목들은 상이한 빵 제품들을 포함하고, 상기 상위 레벨 목표는 소매점 또는 다른 목적지로 배달될 매니페스트(manifest) 또는 기타 목록 또는 품목들 및 수량을 포함하는, 로봇 시스템.
14. 제1 항에 있어서, 상기 프로세서는, 상기 엔드 이펙터의 파지 메커니즘으로부터 상기 품목을 해제하기 전에 상기 품목의 배치를 검증하기 위해 후속적으로 수신된 센서 정보를 사용하는 것을 포함하여, 상기 로봇 요소를 사용하여 상기 파지된 품목을 목적지 위치로 이동시키고 또한 상기 품목을 상기 목적지 위치에 배치하도록 추가로 구성되는, 로봇 시스템.
15. 제1 항에 있어서, 상기 프로세서는, 상기 제품의 높이를 높이 기준 초과로 결정하기 위해 상기 센서 데이터를 사용하고 그 결정된 값을 성공적인 배치와 관련된 예상 값과 비교함으로써, 적어도 부분적으로 상기 엔드 이펙터의 파지 메커니즘으로부터 상기 품목을 해제하기 전에 상기 품목의 배치를 검증하기 위해 센서 정보를 사용하는, 로봇 시스템.
16. 제1 항에 있어서, 상기 엔드 이펙터는 하나 이상의 흡입 컵의 복수의 독립적으로 작업되는 세트들을 포함하고, 상기 프로세서는 각각 하나 이상의 흡입 컵의 하나 이상의 상기 독립적으로 작업되는 세트를 사용하여 2 이상의 품목들을 동시에 파지하도록 상기 로봇 요소를 제어하도록 추가로 구성되는, 로봇 시스템.
17. 제16 항에 있어서, 상기 프로세서는, 동시에 파지될 수 있는 2개 이상의 품목들의 가능한 조합의 결정을 포함하여, 복수의 품목들을 선택하고 배치하기 위한 최적의 계획을 결정하고 또한 단일 파지 및 다중 파지 선택 및 배치 작업들의 혼합을 포함하는 최적의 계획을 결정하도록 추가로 구성되는, 로봇 시스템.
18. 제1 항에 있어서, 상기 프로세서는 상기 로봇 요소를 사용하여 상기 품목을 파지하기 위한 전략을 결정하도록 추가로 구성되는, 로봇 시스템.
19. 로봇 시스템에 의해 적어도 부분적으로 제어되는 하나 이상의 로봇 요소가 존재하는 작업 공간과 관련된 센서 데이터를 통신 인터페이스를 통해 수신하는 단계;
    적어도 부분적으로 상기 센서 데이터에 기초하여 상기 로봇 요소들 중 하나 이상을 사용하여 상기 작업 공간에서 수행될 작업을 결정하는 단계로서, 상기 작업은 상기 로봇 요소들 중 하나의 엔드 이펙터를 파지될 품목에 근접한 위치로 상대적으로 빠르게 이동시키는 것과; 상기 품목 및 그의 패키지 중 하나 또는 둘 모두에 대한 손상의 최소화된 위험과 관련된 양의 힘 및 구조를 사용하여 상기 품목을 파지하기 위해 상기 엔드 이펙터의 파지 메커니즘을 작업시키는 것; 및 상기 품목이 안전하게 파지되었는지를 확인하기 위해 품목이 파지된 후에 생성된 센서 데이터를 사용하는 것을 포함하는, 상기 작업 공간에서 수행될 작업을 결정하는 단계; 및
    상기 로봇 요소가 상기 작업을 수행하도록 하기 위해 상기 통신 인터페이스를 통해 상기 로봇 요소에 제어 통신들을 전송하는 단계를 포함하는 방법.
20. 비일시적 컴퓨터 판독 가능 저장 매체에 구현되고 컴퓨터 명령어들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 명령어들은:
    로봇 시스템에 의해 적어도 부분적으로 제어되는 하나 이상의 로봇 요소가 존재하는 작업 공간과 관련된 센서 데이터를 통신 인터페이스를 통해 수신하고;
    적어도 부분적으로 상기 센서 데이터에 기초하여 상기 로봇 요소들 중 하나 이상을 사용하여 상기 작업 공간에서 수행될 작업을 결정하고, -상기 작업은 상기 로봇 요소들 중 하나의 엔드 이펙터를 파지될 품목에 근접한 위치로 상대적으로 빠르게 이동시키는 것과; 상기 품목 및 그의 패키지 중 하나 또는 둘 모두에 대한 손상의 최소화된 위험과 관련된 양의 힘 및 구조를 사용하여 상기 품목을 파지하기 위해 상기 엔드 이펙터의 파지 메커니즘을 작업시키는 것; 및 상기 품목이 안전하게 파지되었는지를 확인하기 위해 상기 품목이 파지된 후에 생성된 센서 데이터를 사용하는 것을 포함함-; 그리고
    상기 로봇 요소가 상기 작업을 수행하도록 하기 위해 상기 통신 인터페이스를 통해 상기 로봇 요소에 제어 통신을 전송하기 위한 컴퓨터 명령어들인, 상기 컴퓨터 프로그램 제품.

Images