KR102564408B1

KR102564408B1 - 모바일 자동화 장치의 광 방출기의 제어를 위한 방법 및 장치

Info

Publication number: KR102564408B1
Application number: KR1020217017758A
Authority: KR
Inventors: 펑 차오; 하르소빗 싱; 사데그 타지덴
Original assignee: 제브라 테크놀로지스 코포레이션
Priority date: 2018-12-13
Filing date: 2019-10-18
Publication date: 2023-08-04
Also published as: GB2594175B; KR20210091235A; CA3113791C; AU2019395668B2; AU2019395668A1; DE112019006186T5; GB202108206D0; EP3894146A4; US10716177B2; WO2020123035A1; CA3113791A1; EP3894146A1; US20200196405A1; GB2594175A

Abstract

모바일 자동화 장치의 광 방출기들을 제어하는 방법으로서, 방법은: 지지 구조물을 포함하는 영역에 상응하는 복수의 깊이 측정치들을 캡쳐하도록 깊이 센서를 제어하는 단계; 지지 구조물 평면 정의를 얻는 단계; 깊이 측정치들의 서브세트를 선택하는 단계; 깊이 측정치들의 서브세트 및 지지 구조물 평면에 기초하여, 깊이 측정치들의 서브세트가 민감한 수용기(sensitive receptor)의 존재를 나타내는지를 결정하는 단계; 결정이 긍정적일 때, 광 방출기들을 디스에이블하는 단계; 및 결정이 부정적일 때, (i) 상기 지지 구조물을 조명하도록 광 방출기들을 제어하고 (ii) 조명과 동시에 지지 구조물의 이미지를 캡쳐하도록 카메라를 제어하는 단계를 포함한다.

Description

모바일 자동화 장치의 광 방출기의 제어를 위한 방법 및 장치

소매 시설들과 같이, 오브젝트들이 관리되는 환경들은 복잡하고 유동적일 수 있다. 예를 들어, 소매 시설은 구매를 위한 제품과 같은 오브젝트들을 포함할 수 있고, 분배 환경은 구획들 또는 팔레트들과 같은 오브젝트들을 포함할 수 있고, 제조 환경은 컴포넌트들 또는 어셈블리들과 같은 오브젝트들을 포함할 수 있고, 헬스케어 환경은 약들 또는 의료 디바이스들과 같은 오브젝트들을 포함할 수 있다. 이러한 환경들은 또한 고객들, 직원들 등과 같은 사람에 의해 점유될 수 있다.

모바일 장치는 환경 내에서 품절된 제품들, 부정확하게 위치하는 제품들 등을 식별하는 데 사용하기 위해 데이터를 캡쳐하는 것과 같은 과제들을 수행하기 위해 쓰일 수 있다. 상술된 사람들의 존재 및 움직임들 뿐만 아니라 환경들의 동적인 본성은 저하된 데이터 캡쳐 품질을 초래할 수 있다.

하기의 상세한 설명과 함께, 개별 도면들에 걸쳐서 유사한 참조 번호들이 동일하거나 기능적으로 유사한 요소들을 지칭하는 첨부 도면들이 명세서에 포함되고 명세서의 일부를 형성하며, 청구항 발명을 포함하는 개념들의 실시 형태들을 더 예시하고, 이러한 실시 형태들의 다양한 원리들 및 장점들을 설명하는 역할을 한다.
도 1은 모바일 자동화 시스템의 개략도이다.
도 2a는 도 1의 시스템 내의 모바일 자동화 장치를 도시한다.
도 2b는 도 1의 시스템 내의 모바일 자동화 장치의 특정 내부 하드웨어 컴포넌트들의 블록도이다.
도 2c는 도 1의 모바일 자동화 장치의 특정 내부 컴포넌트들의 블록도이다.
도 3은 도 1의 모바일 자동화 장치의 광 방출기들을 제어하는 방법의 플로우차트이다.
도 4a는 도 3의 방법의 블록(305)에서의 도 2A-2C의 장치의 상면도이다.
도 4b는 도 3의 방법의 블록(305)에서 캡쳐된 깊이 측정치들을 나타낸 도면이다.
도 5a는 도 3의 방법의 블록(310)에서의 도 2A-2C의 장치의 상면도이다.
도 5b는 도 3의 방법의 블록(310)에서 선택된 깊이 측정치들의 1차 서브세트를 나타낸 도면이다.
도 6a, 도 6b 및 도 6c는 도 3의 방법의 블록(315)에서 지지 구조물 평면의 생성을 나타낸 도면들이다.
도 7a, 도 7b, 도 8a, 도 8b, 도 8c 및 도 8d는 도 3의 방법의 블록(320)에서 선택된 깊이 측정치들의 예시적인 2차 서브세트들을 나타낸 도면이다.
도 9a 및 도 9b는 도 3의 방법의 블록들(340 및 345)의 예시적인 성능들을 나타낸 도면이다.
도 10은 도 1의 모바일 자동화 장치의 광 방출기들을 제어하는 다른 방법의 플로우차트이다.
도 11a 및 11b는 도 10의 방법의 블록(1000)의 성능을 나타내는 도면들이다.
통상의 기술자들은 도면들 내의 요소들이 반드시 축척으로 그려진 것은 아니고 간명하게 나타난다는 것을 알 것이다. 예를 들어, 도면들에서 요소들 중 일부의 치수들은, 본 발명의 실시 형태들의 이해를 향상시키는 데 도움을 주기 위해 다른 요소들에 비해 과장될 수 있다.
장치 및 방법 컴포넌트들은, 도면들에서 적절한 경우 종래의 심볼들로 표현되어 있고, 도면들은 본원의 기재의 이익을 갖는 통상의 기술자에게 쉽게 명백해질 상세들로 개시내용을 모호하게 하지 않기 위해서, 본 발명의 실시 형태들의 이해와 관련된 특정 상세들만을 도시한다.

본 명세서에 개시된 예들은 모바일 자동화 장치의 광 방출기들을 제어하는 방법에 관한 것으로, 방법은: 지지 구조물을 포함하는 영역에 상응하는 복수의 깊이 측정치들을 캡쳐하도록 깊이 센서를 제어하는 단계; 지지 구조물 평면 정의를 얻는 단계; 깊이 측정치들의 서브세트를 선택하는 단계; 깊이 측정치들의 서브세트 및 지지 구조물 평면에 기초하여, 깊이 측정치들의 서브세트가 민감한 수용기(sensitive receptor)의 존재를 나타내는지를 결정하는 단계; 결정이 긍정적일 때, 광 방출기들을 디스에이블하는 단계; 및 결정이 부정적일 때, (i) 상기 지지 구조물을 조명하도록 광 방출기들을 제어하고 (ii) 조명과 동시에 지지 구조물의 이미지를 캡쳐하도록 카메라를 제어하는 단계를 포함한다.

본 명세서에 개시된 추가적인 예들은 모바일 자동화 장치에 관한 것으로, 지지 구조물의 이미지들을 캡쳐하도록 구성된 카메라; 카메라에 의한 이미지 캡쳐와 동시에 지지 구조물을 조명하도록 구성된 광 방출기; 깊이 센서; 및 내비게이션 컨트롤러를 포함하고, 내비게이션 컨트롤러는: 지지 구조물을 포함하는 영역에 상응하는 복수의 깊이 측정치들을 캡쳐하도록 상기 깊이 센서를 제어하고; 지지 구조물 평면 정의를 얻고; 깊이 측정치들의 서브세트를 선택하고; 깊이 측정치들의 서브세트 및 지지 구조물 평면에 기초하여, 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하고; 결정이 긍정일 때, 광 방출기를 디스에이블하고; 결정이 부정적일 때, (i) 지지 구조물을 조명하도록 광 방출기를 제어하고 (ii) 조명과 동시에 지지 구조물의 이미지를 캡쳐하도록 카메라를 제어하도록 구성된다.

도 1은 본 개시 내용의 교시들에 따른 모바일 자동화 시스템(100)을 도시한다. 시스템(100)은 본 예에서 무선 링크들을 포함하는 것으로 예시된 통신 링크들(107)을 통해 적어도 하나의 모바일 자동화 장치(103)(본 명세서에서는 간단히 장치(103)로도 지칭됨) 및 적어도 하나의 클라이언트 컴퓨팅 디바이스(105)와 통신하는 서버(101)를 포함한다. 본 예에서, 링크들(107)은 하나 이상의 액세스 포인트들(도시되지 않음)에 의해 소매 환경 내에 배치된 무선 로컬 영역 네트워크(WLAN)에 의해 제공된다. 다른 예들에서, 서버(101), 클라이언트 디바이스(105), 또는 양자 모두는 소매 환경 외부에 위치되고, 따라서 링크들(107)은 인터넷, 모바일 네트워크들 등과 같은 광역 네트워크들을 포함한다. 시스템(100)은 또한 본 예에서 장치(103)를 위한 도크(dock)(108)를 포함한다. 도크(108)는 본 예에서 유선 링크인 링크(109)를 통해 서버(101)와 통신한다. 그러나, 다른 예들에서, 링크(109)는 무선 링크이다.

클라이언트 컴퓨팅 디바이스(105)는 태블릿, 스마트폰 등과 같은 모바일 컴퓨팅 디바이스로서 도 1에 도시된다. 다른 예들에서, 클라이언트 디바이스(105)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 다른 서버, 키오스크, 모니터 등과 같은 다른 타입의 컴퓨팅 디바이스로서 구현된다. 시스템(100)은 각각의 링크들(107)을 통해 서버(101)와 통신하는 복수의 클라이언트 디바이스들(105)을 포함할 수 있다.

시스템(100)은 도시된 예에서, 선반 모듈들(110-1, 110-2, 110-3 등)(집합적으로 선반들(110)로 지칭되고, 일반적으로 선반(110)으로 지칭되며, 이 명명법은 또한 본 명세서에서 논의된 다른 요소들에 쓰임)과 같은 복수의 지지 구조물들을 포함하는 소매 환경 내에 배치된다. 각각의 선반 모듈(110)은 복수의 제품(112)을 지지한다. 각각의 선반 모듈(110)은 선반 뒷면(116-1, 116-2, 116-3) 및 선반 뒷면(116)으로부터 선반 에지(118-1, 118-2, 118-3)로 연장되는 지지 표면(예를 들어, 도 1에 도시된 지지 표면(117-3))을 포함한다.

선반 모듈들(110)은 통상적으로 복수의 통로들 내에 배치되며, 각각의 통로는 말단간(end-to-end) 정렬된 복수의 모듈들(110)을 포함한다. 그러한 배열들에서, 선반 에지들(118)은 통로와 마주하고, 이를 통해 소매 환경 내의 고객들은 물론 장치(103)도 이동할 수 있다. 통로의 각각의 단부에서, 모듈들(110) 중 하나는 통로 엔드캡(endcap)을 형성하고, 그 모듈(110)의 선반 에지들(118) 중 특정 선반 에지들은 통로 안쪽이 아니라 통로의 단부로부터 바깥쪽을 향한다. 일부 예들(도시되지 않음)에서, 엔드캡 구조물들은 통로들의 단부들에 배치된다. 엔드캡 구조물들은 예를 들어 통로들 내의 모듈들(110)에 비해 감소된 길이들을 가지며 통로들 내의 모듈들(110)에 수직으로 배치된 추가적인 선반 모듈들(110)일 수 있다.

도 1로부터 분명해지는 바와 같이, 지지 표면(예를 들어, 지지 표면들 (117))의 에지로도 지칭될 수 있는, 본 명세서에서 쓰이는 바와 같은 "선반 에지" (118)라는 용어는, 상이한 경사 각도들을 갖는 인접 표면들에 의해 경계가 정해진 표면을 지칭한다. 도 1에 도시된 예에서, 선반 에지(118-3)는 지지 표면(117-3) 및 지지 표면(117-3)의 하측(도시되지 않음) 각각에 대해 약 90도의 각도로 있다. 다른 예들에서, 선반 에지(118-3)와, 지지 표면(117-3)과 같은 인접한 표면들 사이의 각도들은 90도보다 크거나 작다. 본 기술분야의 통상의 기술자라면 인식할 수 있는 바와 같이, 지지 표면은 선반 지지 표면으로 제한되지 않는다. 일 실시예에서, 예를 들어, 지지 표면은 테이블 지지 표면(예를 들어, 테이블 윗면)일 수 있다. 이러한 실시예에서, "선반 에지" 및 "선반 평면"은 테이블 지지 표면과 같은 지지 표면의 에지, 및 테이블 지지 표면의 에지를 포함하는 평면에 각각 상응할 것이다.

장치(103)는 소매 환경 내에 배치되고, 선반들(110)의 적어도 일부의 길이(119)를 따라 자율적으로 또는 부분적으로 자율적으로 내비게이팅하기 위해 서버(101)와 통신(예를 들어, 링크(107)를 통해)한다. 장치(103)는, 예를 들어 소매 환경 내에 확립된 기준 프레임(102)에 따라, 선반들(110) 사이에서 내비게이팅하도록 구성된다. 기준 프레임(102)은 또한 글로벌 기준 프레임으로 지칭될 수 있다. 장치(103)는, 그러한 내비게이션 동안, 기준 프레임(102)에 대한 장치(103)의 위치를 추적하도록 구성된다.

장치(103)는 이미지 센서들(예를 들어, 하나 이상의 디지털 카메라들) 및 깊이 센서들(예를 들어, 하나 이상의 광 검출 및 탐지(LIDAR) 센서들, 적외선 광과 같은 구조화된 광 패턴들을 쓰는 하나 이상의 깊이 카메라 등)과 같은 복수의 내비게이션 및 데이터 캡쳐 센서들(104)을 구비한다. 장치(103)는 센서들(104)을 써서 선반들(110) 사이를 내비게이팅할 뿐만 아니라 이러한 내비게이션 동안 선반 데이터를 캡쳐하도록 구성될 수 있다.

서버(101)는 환경을 내비게이션하고 데이터를 캡쳐하기 위해 모바일 자동화 장치(103)를 제어 및/또는 보조하도록 특별히 설계된 프로세서(120)와 같은 특수 목적 컨트롤러를 포함한다. 이를 위해 서버(101)는 프로세서(120)와 접속된 메모리(122) 내에서, 소매 환경의 맵과 같이, 장치(103)에 의한 내비게이션에 이용하기 위한 데이터를 포함하는 저장소(132)를 유지하도록 구성된다.

프로세서(120)는 후속 프로세싱을 위해 (예를 들어, 캡쳐된 데이터 내의 선반 제품들과 같은 오브젝트들을 검출하고, 오브젝트들에 상응하는 상태 정보를 검출하기 위해) 통신 인터페이스(124)를 통해, 캡쳐된 데이터를 얻도록 더 구성될 수 있다. 서버(101)는 또한 제품 상태 데이터의 결정에 응답하여 상태 통지들(예를 들어, 제품들이 품절됨, 재고 부족임, 또는 잘못 배치됨을 나타내는 통지들)을 클라이언트 디바이스(105)에 송신하도록 구성될 수 있다. 클라이언트 디바이스(105)는 서버(101)로부터 수신된 통지들을 프로세싱(예를 들어, 디스플레이)하도록 구성된 하나 이상의 컨트롤러들(예를 들어, 중앙 프로세싱 유닛들(CPU) 및/또는 필드 프로그래밍 가능한 게이트 어레이(FPGA) 등)을 포함한다.

프로세서(120)는, 모듈들(110)을 내비게이팅하고 선반 데이터를 캡쳐하기 위한 장치(103)의 제어뿐만 아니라, 선반 데이터의 사후 프로세싱을 포함한 다양한 기능을 수행하기 위한 컴퓨터 판독가능 명령어들이 저장된, 전술된 메모리(122) 와 같은 비일시적 컴퓨터 판독가능 저장 매체와 상호 연결된다. 메모리(122)는 휘발성 메모리(예를 들어, 랜덤 액세스 메모리 또는 RAM) 및 비휘발성 메모리(예를 들어, 판독 전용 메모리 또는 ROM, 전기적으로 소거가능하고 프로그래밍 가능한 판독 전용 메모리 또는 EEPROM, 플래시 메모리)의 조합을 포함한다. 프로세서(120) 및 메모리(122) 각각은 하나 이상의 집적 회로를 포함한다. 일부 실시예들에서, 프로세서(120)는 하나 이상의 중앙 프로세싱 유닛(CPU) 및/또는 그래픽 프로세싱 유닛(GPU)으로서 구현된다.

서버(101)는 또한 프로세서(120)와 상호 연결된 전술한 통신 인터페이스(124)를 포함한다. 통신 인터페이스(124)는 서버(101)가 링크들(107 및 109)을 통해 다른 컴퓨팅 디바이스들 - 특히 장치(103), 클라이언트 디바이스(105) 및 도크(108) - 과 통신할 수 있게 하는 적절한 하드웨어(예를 들어, 송신기들, 수신기들, 네트워크 인터페이스 컨트롤러들 등)를 포함한다. 링크들(107 및 109)은 직접 링크들, 또는 로컬 및 광역 네트워크 모두를 포함하는 하나 이상의 네트워크들을 횡단하는 링크들일 수 있다. 통신 인터페이스(124)의 특정 컴포넌트들은 서버(101)가 그를 통해 통신하는 것이 요구되는 네트워크 또는 다른 링크들의 타입에 기초하여 선택된다. 본 예에서, 앞서 언급된 바와 같이, 무선 로컬 영역 네트워크는 하나 이상의 무선 액세스 포인트의 배치를 통해 소매 환경 내에서 구현된다. 따라서, 링크들(107)은 장치(103) 및 모바일 디바이스(105)와 전술한 액세스 포인트들 사이의 무선 링크들, 및 서버(101)와 액세스 포인트 사이의 유선 링크(예를 들어, 이더넷 기반 링크) 중 하나 또는 둘 다를 포함한다.

이제 도 2a 및 도 2b를 보면, 모바일 자동화 장치(103)가 더 상세히 나타나 있다. 장치(103)는 이동 메커니즘(locomotive mechanism)(203)(예를 들어, 휠들, 트랙들 등을 구동하는 하나 이상의 전기 모터)을 포함하는 섀시(201)를 포함한다. 장치(103)는 섀시(201) 상에 지지되고, 본 예에서 섀시(201)로부터 상향으로(예를 들어, 실질적으로 수직으로) 연장되는 센서 마스트(205)를 더 포함한다. 마스트(205)는 앞서 언급된 센서들(104)을 지지한다. 특히, 센서들(104)은 디지털 카메라와 같은 적어도 하나의 이미징 센서(207)는 물론, 깊이 데이터 및 이미지 데이터 모두를 캡쳐할 수 있는 3D 디지털 카메라와 같은 적어도 하나의 깊이 센서(209)를 포함한다. 장치(103)는 또한 LIDAR 센서들(211)과 같은 추가적인 깊이 센서들을 포함한다. 도 2a에 도시된 바와 같이, 카메라들(207) 및 LIDAR 센서들(211)은 마스트(205)의 한 측면 상에 배열되는 반면, 깊이 센서(209)는 마스트(205)의 정면 상에 배열된다. 즉, 깊이 센서(209)는 전방으로 향하는 반면(즉, 장치(103)의 이동 방향으로 데이터를 캡쳐함), 카메라들(207) 및 LIDAR 센서들(211)은 옆으로 향한다(즉, 이동 방향에 수직인 방향으로 장치(103) 옆으로 데이터를 캡쳐함). 다른 예들에서, 장치(103)는 하나 이상의 RFID 판독기, 온도 센서 등과 같은 추가적인 센서들을 포함한다.

본 예에서, 마스트(205)는 7개의 디지털 카메라들(207-1 내지 207-7) 및 2개의 LIDAR 센서들(211-1 및 211-2)을 지지한다. 마스트(205)는 각각의 카메라들(207)의 시야들을 조명하도록 구성된 복수의 조명 어셈블리들(213)을 또한 지지한다. 즉, 조명 어셈블리(213-1)는 카메라(207-1)의 시야를 조명하는 등이다. 센서들(207 및 211)은 각각의 센서의 시야들이 장치(103)가 이동하고 있는 길이(119)를 따라 선반(110)을 향하도록 마스트(205) 상에 배향된다. 장치(103)는 소매 시설에서 이전에 확립된 공통 기준 프레임에서의 장치(103)의 위치(예를 들어, 섀시(201)의 중심의 위치)를 추적하여, 모바일 자동화 장치에 의해 캡쳐된 데이터가 공통 참조 프레임에 정합되는(registered) 것을 허용하도록 구성된다.

모바일 자동화 장치(103)는 메모리(222)와 같은 비일시적 컴퓨터 판독가능 저장 매체와 상호 연결된, 도 2b에 나타난 바와 같은 프로세서(220)와 같은 특수 목적 컨트롤러를 포함한다. 메모리(222)는 휘발성(예를 들어, 랜덤 액세스 메모리 또는 RAM) 및 비휘발성 메모리(예를 들어, 판독 전용 메모리 또는 ROM, 전기적으로 소거가능하고 프로그래밍가능한 판독 전용 메모리 또는 EEPROM, 플래시 메모리)의 조합을 포함한다. 프로세서(220) 및 메모리(222) 각각은 하나 이상의 집적 회로를 포함한다. 메모리(222)는 프로세서(220)에 의한 실행을 위한 컴퓨터 판독가능 명령어들을 저장한다. 특히, 메모리(222)는 프로세서(220)에 의해 실행될 때, 아래에서 더 상세히 논의되고 (예를 들어, 이동 메커니즘(203)을 제어함으로써) 장치(103)의 내비게이션과 관련되는 다양한 기능들을 수행하도록 프로세서(220)를 구성하는 내비게이션 애플리케이션(228)을 저장한다. 애플리케이션(228)은 또한 다른 예들에서 별개의 애플리케이션들의 모음으로서 구현될 수 있다.

프로세서(220)는, 애플리케이션(228)의 실행에 의해 그와 같이 구성될 때, 내비게이션 컨트롤러(220)로서 또한 지칭될 수 있다. 본 기술분야의 통상의 기술자는 애플리케이션(228)의 실행을 통해 프로세서(220)에 의해 구현되는 기능이, 다른 실시예들에서 FPGA들, ASIC들 등과 같은 하나 이상의 특별히 설계된 하드웨어 및 펌웨어 컴포넌트들에 의해서도 구현될 수 있다는 것을 이해할 것이다.

메모리(222)는 또한, 예를 들어, 장치(103)가 동작하는 환경의 맵을 포함하는 저장소(232)를, 애플리케이션(228)의 실행 동안 사용하기 위해 저장할 수 있다. 장치(103)는, 도 1에 도시된 링크(107) 상에서 통신 인터페이스(224)를 통해, 예를 들어 지정된 위치(예를 들어, 모듈들(110)의 세트로 이루어진 주어진 통로의 끝)로 내비게이션하라는 명령어들을 수신하고, 데이터 캡쳐 동작들(예를 들어, 이미지 및/ 또는 깊이 데이터를 캡쳐하는 동안 전술된 통로를 가로지르는 것)을 개시하라는 명령어들을 수신하기 위해, 서버(101)와 통신할 수 있다. 통신 인터페이스(224)는 또한 장치(103)가 도크(108) 및 링크(109)를 통해 서버(101)와 통신할 수 있게 한다.

본 예에서, 이하에서 논의되는 바와 같이, 장치(103)는 또한 본원에서 상세히 논의될 바와 같이, 장치(103)의 경로 내의 또는 그 근방의 오브젝트들의 존재를 검출하도록 구성되어 있다. 특히, 장치(103)는 장치(103)에 의해 방출되는 광에 민감할 수 있는 사람들(예를 들어, 소매 환경 내의 고객들)과 같은 오브젝트들을 검출하고, 그러한 검출에 응답하여 선반 데이터의 캡쳐를 중단하도록 구성된다.

이하의 논의에서 분명하게 될 것인 바와 같이, 다른 예들에서, 서버(101)에 의해 수행되는 프로세싱의 일부 또는 전부는 장치(103)에 의해 수행될 수 있고, 장치(103)에 의해 수행되는 프로세싱의 일부 또는 전부는 서버(101)에 의해 수행될 수 있다.

이제 도 2c를 참조하여, 정위 데이터(localization data)를 업데이트하기 위해 장치(103)에 의해 취해진 액션들을 설명하기 전에, 애플리케이션(228)의 특정 컴포넌트들이 더 상세히 설명될 것이다. 본 기술분야의 통상의 기술자에게 명백한 바와 같이, 다른 예들에서, 애플리케이션(228)의 컴포넌트들은 별개의 애플리케이션들로 분리되거나, 컴포넌트들의 다른 세트들로 결합될 수 있다. 도 2c에 도시된 컴포넌트들 중 일부 또는 전부는 또한 하나 이상의 ASIC들 또는 FPGA들과 같은 전용 하드웨어 컴포넌트들로서 구현될 수 있다.

애플리케이션(228)은 장애물들을 식별하고 분류하기 위한 추가 프로세싱을 위해 깊이 측정치들(예를 들어, 깊이 센서(209)에 의해 캡쳐된 포인트 클라우드로부터의 측정치)의 서브세트를 선택하도록 구성된 프리프로세서(250)를 포함한다. 애플리케이션(228)은 또한 캡쳐된 깊이 데이터 또는 그것의 서브세트(예를 들어, 프리프로세서(250)에 의해 선택된 서브세트)에 기초하여, 복수의 모듈들(110)을 포함하는 통로 내의 선반 에지들(118)을 포함하는 평면을 생성하도록 구성된 평면 생성기(254)를 포함한다.

애플리케이션(228)은 또한 깊이 센서(209)를 통해 캡쳐된 깊이 측정치들이 장애물의 존재를 나타내는지를 결정하도록 구성된 장애물 검출기(258)를 포함한다. 애플리케이션(228)은 검출기(258)에 의해 검출된 장애물들이 민감한 수용기들(예를 들어, 인간들)인지를 결정하도록 구성된 장애물 분류기(262)를 더 포함한다. 아래에 설명되는 바와 같이, 민감한 수용기들의 존재는 장치(103)가 조명 어셈블리들(213)과 같은 데이터 캡쳐 디바이스들의 동작을 중단하게 할 수 있다.

애플리케이션(228)의 기능은 이제 도 3을 참조하여 더 상세히 설명될 것이다. 도 3은 도 2a 내지 도 2c에 도시된 컴포넌트들을 참조하여 시스템(100) 내에서의 그것의 수행과 함께 설명될, 특히 장치(103)에 의해 광 방출기들(조명 어셈블리들(213)과 같은 광 방출기들)을 제어하는 방법(300)을 도시한다.

블록(305)에서, 장치(103), 특히 애플리케이션(228)의 프리프로세서(250)는 깊이 데이터라고도 지칭되는 복수의 깊이 측정치들을 캡쳐하도록 구성된다. 본 예에서, 깊이 측정치들은 전술한 깊이 센서(209)(즉, 3D 디지털 카메라)의 제어를 통해 캡쳐된다. 깊이 센서(209)는 본 명세서에서 이미지 데이터라고도 지칭되는 깊이 측정치들 및 컬러 데이터 모두를 캡쳐하도록 구성된다. 즉, 본 기술분야의 통상의 기술자에게 명백한 바와 같이, 3D 카메라에 의해 캡쳐된 각각의 프레임은 각각의 포인트에 대한 컬러 및 깊이 데이터 모두를 포함하는 포인트 클라우드이다. 포인트 클라우드는 전형적으로 센서(209) 자체에 중심을 둔 기준 프레임에서 정의된다. 다른 예들에서, 이미지 데이터는 생략되고, 블록(305)의 수행은 깊이 데이터의(즉, 포인트 클라우드의) 캡쳐만을 포함한다.

장치(103)는, 예를 들어, 하나 이상의 지지 구조물 모듈(110)에 의해 정의된 통로 내에서 이동하는 동안 블록(305)을 수행하도록 구성된다. 예를 들어, 장치(103)는 특정된 통로로 이동하라는 명령을 서버(101)로부터 수신하고, 통로의 길이(119)를 따라 이미지들 및 깊이 측정치들을 캡쳐하라는 데이터 캡쳐 프로세스를 시작할 수 있다. 통로를 통해 이동하는 동안, 장치(103)는 후속 프로세싱(예를 들어, 서버(101)에 의한 후속 프로세싱)을 위해 지지 구조물들의 이미지들을 캡쳐하도록 카메라들(207)을 제어할 뿐만 아니라, 장치(103)의 이동 방향으로 깊이 데이터를 캡쳐하도록 깊이 센서(209)를 제어하도록 구성된다.

도 4a를 보면, 이동 방향(400)으로 지지 구조물들(예를 들어, 선반 모듈들)(410-1 및 410-2)에 의해 정의된 통로를 따라 이동하는 장치(103)의 상면도가 도시되어 있다. 방향(400)으로 이동하는 동안, 장치(103)는 카메라들(207) 및 조명 어셈블리들(213), LIDAR 센서들(211) 등의 제어를 통해 지지 구조물(410-2)에 대응하는 이미지들 및/또는 깊이 측정치들을 캡쳐하도록 구성된다. 시야(404)는 장치(103)의 현재 위치에서 캡쳐된 지지 구조물(410-2)의 영역을 나타낸다.

도 4a는 또한 깊이 센서(209)의 시야(408)를 도시한다. 시야(408)는 본 예에서 이동 방향(400)에 대해 경사지는 광학 축(412)에 중심을 두지만, 다른 실시예들에서는 이동 방향(400)에 평행할 수 있다. 프로세서(220)로부터의 제어 신호들에 응답하여, 깊이 센서(209)는 시야(408) 내의 임의의 오브젝트들에 대응하는 깊이 측정치들을 캡쳐하도록 구성된다. 도 4b는 깊이 센서(209)에 대한 지지 구조물(410-2)의 일부의 위치를 나타내는 깊이 측정치들(414)(즉, 포인트 클라우드)을 도시한다. 특히, 지지 구조물(410-2)의 단부(420)와 같이, 선반 뒷면들(416a, 416) 및 선반 에지들(418a, 418b)이 깊이 측정치들(414)로 표현된다.

도 3으로 돌아가서, 블록(310)에서, 프리프로세서(250)는 블록(305)에서 캡쳐된 깊이 측정치들의 1차 서브세트를 선택하도록 구성된다. 1차 서브세트는 근접 기준을 충족시키는 깊이 측정치들을 포함한다. 보다 구체적으로, 본 예에서 프리프로세서(250)는 깊이 센서(209)(및 따라서 장치(103))의 특정된 거리 내에 있는 포인트 클라우드(414)로부터 임의의 깊이 측정치들을 선택함으로써 1차 서브세트를 선택하도록 구성된다. 거리는 미리 정의될 수 있거나, 예를 들어 장치(103)의 이동 속도에 따라 동적으로 결정될 수 있고, 더 큰 속도는 거리를 증가시킨다. 1차 서브세트를 선택하기 위해, 프리프로세서(250)는 깊이 센서(209)에 중심을 둔, 위에서 언급된 거리와 동일한 반경을 갖는 원통형 영역을 생성하도록 구성된다.

도 5a로 돌아가서, 전형적으로 포인트 클라우드(414)가 캡쳐되는 기준 프레임의 원점인 센서(209)의 위치(504)를 중심으로 한 예시적인 원통형 영역(500)의 상면도가 도시되어 있다. 영역(500)은 센서(209)에 대해 미리 정의된 높이에 배치된 베이스를 갖는다(예를 들어, 바닥을 나타내는 깊이 측정치들을 제거하기 위해 영역(500)의 베이스를 소매 시설의 바닥 약 2cm 위에 배치함). 영역(500)은 또한 지지 구조물들(410)의 전체 높이(예를 들어, 약 2 미터)를 실질적으로 포함하도록 선택된 미리 정의된 높이(즉, 베이스로부터 원통의 최상부까지의 거리)를 가질 수 있다. 도 5b는 블록(310)에서 1차 서브세트로서 선택된 깊이 측정치들을 포함하는 음영 영역(500)을 갖는 포인트 클라우드(414)를 예시한다. 포인트 클라우드(414)의 나머지는 방법(300)의 나머지에서 프로세싱되지 않는다.

도 3을 다시 참조하면, 블록(315)에서, 평면 생성기(254)는 지지 구조물 평면 정의를 얻도록 구성된다. 지지 구조물 평면은 도 4b에 도시된 선반 에지들(418)을 포함하는 평면이다. 즉, 지지 구조물 평면은 통로 내로 향하는 지지 구조물(410-2)의 "앞"을 나타낸다. 평면 정의를 얻기 위해 평면 생성기(254)에 의해 다양한 메커니즘이 쓰일 수 있다. 예를 들어, 평면 생성기(254)는 블록(310)에서 선택된 깊이 측정치들의 1차 서브세트로부터 로컬 최소값들을 선택하여 선반 평면의 생성에 이용하도록 구성될 수 있다. 보다 구체적으로는, 도 6a를 보면, 영역(500)의 일부분(600)이 도시되어 있다. 평면 생성기(254)는 깊이 측정치들의 1차 서브세트를 통해 미리 정의된 각도들로 중심 위치(504)로부터 연장하는 복수의 샘플링 평면들(604-1, 604-2, 604-3 등)을 생성하도록 구성된다.

각각의 샘플링 평면(604)에 대해, 샘플링 평면(604)의 임계 거리 내의 임의의 깊이 측정치들은 샘플링 평면(604) 상에 투영된다. 복수의 깊이 측정치들(608)이 도 6a에 평면들(604)의 전술된 임계 거리 내에 있는 것으로서 도시되어 있다. 또한, 도 6b에 도시된 바와 같이, 각각의 샘플링 평면(604)에 대해, 측정치들(608)중에서 위치(504)에 가장 가깝게 위치된 단 하나가 선택된다. 따라서, 3개의 로컬 최소값 포인트들(612-1, 612-2 및 612-3)은 선반 평면 생성에 더 이용하기 위해 도 6b에서 선택된 것으로 도시되어 있다.

이어서, 평면 생성기(254)는 로컬 최소값들(612)에 대해 적절한 평면 피팅 동작 (예를 들어, RANSAC 동작)을 수행함으로써 블록(315)에서 선반 평면을 생성하도록 구성된다. 도 6c는 이러한 평면 피팅 동작의 결과를 선반 평면(616)의 형태로 나타내고 있다(전술된 로컬 최소값들(612)도 역시 예시를 위해 강조되어 있다). 다른 예들에서, 이미지 데이터는, 예를 들어, 깊이 센서(209)에 의해 캡쳐된 이미지 데이터 내의 선반 에지들(418)의 검출을 통해, 깊이 데이터 대신에 또는 그에 더하여 평면(616)을 생성하기 위해 이용될 수 있다.

도 3으로 돌아가서, 블록(320)에서, 프리프로세서(250)는 블록(310)에서 선택된 1차 서브세트로부터 깊이 측정치들의 2차 서브세트를 선택하도록 구성된다. 본 예에서, 2차 서브세트는 깊이 센서(209)의 광학 축(412) 및 시야(408)에 기초하여 선택된다. 특히, 2차 서브세트는 영역(500) 내의, 그리고 또한 광학 축(412)과 지지 구조물(410-2)에 가장 가까운 시야(408)의 에지 사이의 깊이 측정치들을 포함한다. 도 7a는 깊이 측정치들의 2차 서브세트를 포함하는 영역(700)의 상면도를 예시한다. 도 7a에 도시된 바와 같이, 2차 서브세트는 원통형 영역(500)의 쐐기형 부분 내의 깊이 측정치들을 포함한다. 다른 예들에서, 깊이 측정치들의 2차 서브세트를 포함하는 영역(700)은 (도 7a에 도시된 바와 같이, 광학 축(412)의 일 측만이 아니라) 광학 축(412)의 양측 상에서 미리 정의된 각도에 걸쳐 연장될 수 있다. 2차 서브세트의 예시적인 깊이 측정치들(704)이 도 7a에 강조된다.

도 3으로 돌아가서, 블록(325)에서, 장애물 검출기(258)는 블록(320)에서 선택된 2차 서브세트의 포인트 밀도가 밀도 임계값을 초과하는지를 결정하도록 구성된다. 밀도는, 예를 들어, 2차 서브세트 내의 깊이 측정치들의 수 및 영역(700)의 부피에 따라 결정된다. 밀도 임계값은, 장치(103)가 지지 구조물물(410-2)의 단부(420)가 2차 서브세트 내에 있는지를 검출할 수 있게 하도록 선택된다. 이제 명백해지는 바와 같이, 그리고 도 7b에 예시된 바와 같이, 장치(103)가 단부(420)에 접근함에 따라, 영역(700)은 단부(420)를 넘어서는 빈 공간의 결과로서의 더 적은 깊이 측정치들(704)을 포함한다. 블록(325)에서의 결정이 부정적일 때(즉, 2차 서브세트의 포인트 밀도가 임계값을 초과하지 않을 때), 시야(408)에(더 구체적으로는, 깊이 측정치들의 2차 서브세트에) 장애물이 존재할 가능성은 낮다. 오히려, 2차 서브세트는 단부(420)에 인접한 지지 구조물(410-2)의 일부를 나타낼 가능성이 있다. 이제 본 기술분야의 통상의 기술자에게 명백한 바와 같이, 단부(420)에 인접하지 않은 지지 구조물(410-2)의 부분, 또는 단부(420)에 또는 단부(420) 근처에 장애물이 존재할 때 단부(420)에 인접한 부분은 밀도 임계값을 초과하는 깊이 측정치들의 2차 서브세트를 생성할 가능성이 있다.

따라서, 블록(325)에서의 부정적인 결정에 응답하여, 장치(103)는 블록(350)으로 진행하도록 구성되고, 여기서 프로세서(220)는 적어도 조명 어셈블리들을 중단시키기 위해 카메라들(207), 조명 어셈블리들(213) 등을 제어하도록 구성된다. 예컨대, 카메라들(207), LIDAR들(211) 등에 의한 연관된 데이터 캡쳐 동작들이 또한 블록(350)에서 중단될 수 있다. 블록(325)에서의 부정적인 결정은 장치(103)가 지지 구조물의 단부 근처에 도착할 가능성이 있는 것을 나타내고, 그러므로 데이터 캡쳐 동작들이 실질적으로 완료될 수 있다. 게다가, 블록(350)에서의 조명 어셈블리들(213)의 중단은 지지 구조체의 단부를 넘어서(깊이 센서(209)의 시야 외부의) 민감한 수용기들에 대한 부정적 효과들을 회피할 수 있다.

블록(325)에서의 결정이 긍정일 때, 장치(103)는 블록(335)으로 진행한다. 블록(325)에서의 긍정적인 결정은 블록(320)에서 선택된 깊이 측정치들의 2차 서브세트가 지지 구조물체(410-2)의 단부(420)를 나타낼 가능성이 없지만, 2차 서브세트가 장애물의 존재를 나타내는지 여부, 또는 2차 서브세트가 단순히 지지 구조물(410-2) 자체를 나타내는지 여부에 관해 결정적이지 않다.

블록(335)에서, 장애물 검출기(258)는 블록(320)에서 선택된 깊이 측정치들의 2차 서브세트가 변동성 임계값을 초과하는지를 결정하도록 구성된다. 구체적으로, 장애물 검출기(258)는 2차 서브세트의 속성에 대응하는 변동성 계량(variability metric)을 생성하고, 변동성 계량을 변동성 임계값과 비교하도록 구성된다. 다양한 적절한 변동성 계량이 이용될 수 있다. 예를 들어, 장애물 검출기(258)는 본 예에서 2차 서브세트 내의 각각의 포인트로부터 블록(315)에서 생성된 선반 평면까지의 거리를 결정하고, 전술한 거리들의 표준 편차를 결정하도록 구성된다. 이제 본 기술분야의 통상의 기술자들에게 분명한 바와 같이, 장애물이 깊이 측정치들의 2차 서브세트 내에 표현될 때, 깊이 측정치들은 도 8a 내지 도 8d에 예시된 바와 같이, 장애물이 존재하지 않을 때보다 더 큰 표준 편차를 가질 가능성이 있다.

도 8a는 사람(800)이 영역(700) 내에 있는 시나리오를 나타낸 것이다. 도 8b에 도시된 바와 같이, 영역(700) 내의 포인트들의 2차 서브세트(804)는 사람(800) 을 나타내는 포인트들은 물론, 단부(420)에 인접한 지지 구조물(410-2)의 일부를 나타내는 포인트들을 포함한다. 사람(800)의 존재로부터 기인하는 추가 포인트들은 블록(325)에서 긍정 결정으로 이어진다. 게다가, 사람(800)에 대응하는 포인트들(804)은 지지 구조물(410-2) 자체를 나타내는 포인트들보다 선반 평면(616)으로부터 더 멀리 떨어져 있다 (즉, 통로 안에 더 멀리 있다). 따라서, 포인트들의 2차 서브세트(804)의 변동성은 사람(800)의 존재에 의해 증가한다. 도 8c 및 도 8d는 장치(103)가 단부(420)에 인접하지 않을 때 사람(800)이 영역(700) 내에 있는 추가 예를 예시한다. 깊이 측정치들의 2차 서브세트는 도 8D에 나타난 바와 같이, 사람(800)을 나타내고 지지 구조물(410-2) 자체를 나타내는 포인트들보다 선반 평면(616)으로부터 더 먼 거리에 위치하는 포인트들(808)을 포함한다.

다시 도 3을 참조하면, 블록(335)에서의 결정이 부정적이고, 2차 서브세트 내의 깊이 측정치들이 임계값 아래의 변동성을 나타냄을 나타낼 때, 장치(103)는 블록(330)으로 진행하고, 여기서 카메라들(207) 및 조명 어셈블리들(213)의 제어를 통한 데이터 캡쳐가 계속된다. 그러나, 블록(335)에서의 결정이 긍정적인 경우, 장치(103)는 블록(340)으로 진행하도록 구성된다. 블록들(325 및 335)에서의 긍정적인 결정은 영역(700) 내의 장애물의 존재 가능성을 나타낸다. 블록들(340 및 345)에서, 장치(103)는 장애물이 예를 들어 데이터 캡쳐 동작들 동안 조명 어셈블리들(213)의 점화에 의해 부정적으로 영향을 받을 수 있는 민감한 수용기인지를 결정하도록 구성된다.

블록(340)에서, 장애물 분류기(262)는 깊이 측정치들의 2차 서브세트 중에서 하나 이상의 클러스터를 검출하고 분류하도록 구성된다. 본 실시예에서, 블록(340)의 수행에 앞서, 평면(616)보다 센서(209)의 위치(504)로부터 더 먼 거리에 있는 임의의 포인트들을 제거하기 위해 2차 서브세트를 분할하는 것이 선행한다. 전술한 바와 같이 2차 서브세트를 분할하는 것은 블록(340)에서 프로세싱될 포인트들의 수를 감소시킴으로써 클러스터 검출과 연관된 계산 부하를 감소시킨다.

장애물 분류기(262)는 블록(340)에서 임의의 적절한 클러스터링 동작 또는 그의 세트(예컨대, 유클리드 거리 기반 클러스터링)에 따라 클러스터 검출을 수행하도록 구성된다. 예를 들어, 도 9a를 참조하면, 전술한 사람(800)은 사람(800)을 나타내는 포인트 클라우드(414)의 부분으로부터 블록(340)에서 검출된 클러스터를 나타내는 경계 박스(900)와 함께 포인트 클라우드(414) 내에 도시된다. 도 3을 간단히 참조하면, 블록(345)에서, 장애물 분류기(262)는 블록(340)에서 검출된 클러스터(들)가 하나 이상의 민감한 수용기들에 대응하는지를 결정하도록 구성된다.

블록(345)에서의 결정은 블록(340)에서 검출된 각각의 클러스터의 기하학적 속성들을 하나 이상의 기하학적 임계값들과 비교하는 것을 포함한다. 예를 들어, 도 9b를 참조하면, 경계 상자(900) 및 선반 평면(616)이 분리되어 도시되어 있다. 블록(345)에서, 장애물 분류기(262)는 경계 박스가 하부 및 상부 높이 임계값들(예를 들어, 0.5m 내지 1m) 사이에 속하는 높이(904) 뿐만 아니라, 하부 및 상부 폭 임계값들(예를 들어, 0.25m 내지 0.75m) 사이에 속하는 폭을 갖는지를 결정하도록 구성될 수 있다. 이제 분명할 것인 바와 같이, 상기 임계값들이 인간들 또는 다른 적절한 민감한 수용기들(예컨대, 도우미견 등)일 가능성이 있는 생물체들을 포함하도록 선택될 수 있다. 장치(103)로부터 경계 상자(900)까지의 거리(912)가 임계값 아래로 떨어지는지 여부와 같은 다른 기준들이 또한 블록(345)에서 평가될 수 있다. 블록(345)에서 적용된 기준의 추가 예는 경계 상자(900)와 선반 평면(616) 사이의 거리(916)가 추가 임계값 아래로 떨어지는지의 여부이다.

상기 기준들 중 임의의 하나 또는 이들의 미리 정의된 조합이 충족될 때, 블록(345)에서의 결정은 긍정이다. 예를 들어, 경계 박스(900)가 위에 언급된 높이 및 폭 임계값들 사이에 있고, 또한 장치(103)의 임계 거리 내에 그리고 선반 평면(616)의 임계 거리 내에 있을 때, 블록(345)에서의 결정은 긍정이다.

블록(345)에서의 긍정 결정에 응답하여, 장치(103)는 블록(350)으로 진행하도록 구성된다. 블록(350)에서, 예를 들어 데이터 캡쳐 동작들을 지원하기 위한 조명 어셈블리들(213)의 활성화가 중단된다. 예컨대, 카메라들(207), LIDAR들 (211) 등에 의한, 연관된 데이터 캡쳐 동작들이 또한 블록(350)에서 중단될 수 있다. 조명 어셈블리들(213)의 중단은 장치(103)의 근처의 사람들과 같은 민감한 수용기들에 대한 조명 어셈블리들(213)의 부정적인 영향들의 위험을 감소시킬 수 있다. 블록(350)의 수행에 이어서, 장치(103)는 블록(305)으로 복귀하여 추가 포인트 클라우드를 캡쳐하도록 구성된다.

상기 기능에 대한 변형이 고려된다. 예를 들어, 장치(103)는 블록들(335 및/또는 345)에서의 긍정 결정들에 후속하는 추가적인 내비게이션 기능들을 수행하도록 구성될 수 있다. 예를 들어, 블록(335)에서의 긍정 결정 및 블록(340)에서의 클러스터 검출에 후속하여, 장치(103)는 블록(345)에서의 결과에 관계없이, 클러스터(들)에 의해 나타나는 장애물을 중심으로 이동하기 위한 업데이트된 내비게이션 경로를 생성하도록 구성될 수 있다.

장치(103)는 또한 조명 어셈블리들(213)의 존재를 장치(103)의 근처의 사람들에게 알려주는 경고 신호를 생성하도록 출력 디바이스(예를 들어, 표시등, 스피커 등)를 제어하는 것과 같은, 블록(350)에서의 추가적인 액션들을 수행하도록 구성될 수 있다.

추가적인 실시예들에서, 장치(103)는 민감성 수용기의 존재 또는 잠재적 존재를 검출하기 위해 하나 이상의 추가 평가를 수행하도록 구성된다. 예를 들어, 도 10을 참조하면, 방법(300)의 블록들은 물론 블록(1000)을 포함하는 방법(300a) 이 예시되어 있다. 구체적으로는, 블록(1000)은 블록(325)에서의 긍정 결정 이후에 수행될 수 있다. 블록(1000)에서, 장치(103)는 블록(320)으로부터의 깊이 측정치들의 2차 서브세트에서 불연속이 검출되는지를 결정하도록 구성된다. 불연속성은, 아래에 논의되는 바와 같이, 인접한 선반 모듈들(110, 410) 사이의 갭과 같은, 지지 구조물 내의 물리적 갭을 나타낸다. 이러한 불연속성을 검출하는 것에 응답하여, 장치(103)는 블록(350)으로 진행하여 조명 어셈블리들(213)의 동작을 중단시켜, 갭을 넘는(예를 들어, 갭을 통해 가시적인 이웃하는 통로 내의) 민감한 수용기들에 대한 부정적 영향들을 회피하도록 구성된다. 블록(1000)에서의 결정이 부정일 때, 방법(300a)의 수행은 전술한 바와 같이 블록(335)에서 계속된다.

도 11a 및 도 11b에서는, 블록(1000)의 예시적인 수행이 설명될 것이다. 도 11a는 블록(320)에서 선택된, 깊이 측정치들의 2차 세트를 포함하는 영역(1100)을 도시한다. 도 11a는 또한 장치(103)가 이동하고 있는 통로가 제1 및 제2 지지 구조물들(1110-1 및 1110-2)을 포함하며, 이들 사이에 갭(1104)이 있는 것을 도시한다.

영역(1100) 내의 깊이 측정치들의 2차 서브세트가 도 11b에 더 상세히 도시되어 있으며, 도 11b는 또한 지지 구조물 평면(1116)(블록(315)에서 얻어짐)의 위치를 나타내고 있다. 블록(1000)을 수행하기 위해, 장치(103)는 평면(1116)을 따라 샘플링 포인트들(1120-1, 1120-2, 1120-3 및 1120-4)의 세트 각각에 대한 가장 가까운 이웃 거리를 결정하도록 구성된다. 즉, 각각의 샘플링 포인트(1120)에 대해, 장치(103)는 가장 가까운 깊이 측정치까지의 거리를 결정하도록 구성된다. 샘플링 포인트들(1120)은 미리 결정된 거리만큼 분리된다(예를 들어, 30cm, 다른 실시예들에서는 샘플링 포인트들(1120)이 30cm 초과 또는 30cm 미만만큼 분리될 수 있다는 것을 이해할 것이다).

장치(103)는 각각의 샘플링 포인트(1120)에 대한 가장 가까운 이웃 거리가 도 11b의 영역(1124)으로서 표시된 임계값을 초과하는지를 결정하도록 더 구성된다. 주어진 샘플링 포인트(1120)에 대한 가장 가까운 이웃 거리가 임계값을 초과할 때, 블록(1000)에서의 결정이 긍정이고, 평면(1116)을 따른 깊이 측정치들에서 불연속이 검출되었음을 나타낸다. 따라서, 도 11b의 예에서, 샘플링 포인트(1120-2)는 영역(1124) 내에 어떠한 이웃도 갖지 않는다. 즉, 샘플링 포인트(1120-2)에 대한 가장 가까운 이웃 거리는 영역(1124)의 반경에 의해 정의된 임계값을 초과한다. 따라서, 블록(1000)에서의 결정은 긍정이다. 블록(1000)에서의 결정이 긍정일 때, 장치(103)는 블록(350)으로 진행한다. 그렇지 않으면, 장치(103)는 블록(335)으로 진행한다.

전술한 명세서에서, 특정 실시 형태들이 설명되었다. 그러나, 본 기술분야의 통상의 기술자는 아래의 청구항들에 제시된 바와 같은 본 발명의 범위로부터 벗어나는 것 없이 다양한 수정들 및 변경들이 이루어질 수 있는 것을 이해한다. 따라서, 명세서 및 도면들은 제한적 의미라기보다는 예시적인 것으로 간주되어야 하며, 모든 이러한 수정들은 본 교시들의 범위 내에 포함되는 것으로 의도된다.

이익들, 이점들, 문제점들에 대한 해결책들, 및 임의의 이익, 이점 또는 해결책이 떠오르거나 더욱 분명해지게 할 수 있는 임의의 요소(들)가 임의의 또는 모든 청구항들의 중대한, 필수적인 또는 본질적인 특징들 또는 요소들로서 해석되어서는 안 된다. 본 발명은 오로지 이 출원의 계류 중에 이루어진 임의의 보정들을 포함하는 첨부된 청구항들 및 발행된 이러한 청구항들의 모든 동등물들(equivalents)에 의해서만 정의된다.

더욱이 본 문헌에서, 제1 및 제2, 최상부(top) 및 최하부(bottom) 등과 같은 관계적 용어들은 하나의 엔티티 또는 액션을 또 다른 엔티티 또는 액션과 구별하기 위해서만 사용될 수 있고 이러한 엔티티들 또는 액션들 사이에 임의의 실제 이러한 관계 또는 순서를 반드시 요구 또는 암시하지는 않는다. 용어들 "포함하다(comprises, includes, contains)", "포함하는(comprising, including, containing)", "갖다(has)", "갖는(having)" 또는 그것의 임의의 다른 변형은, 비배타적인 포함(non-exclusive inclusion)을 커버하는 것으로 의도되어, 요소들의 리스트를 포함하고, 갖는 프로세스, 방법, 물품(article) 또는 장치는 단지 그러한 요소들만을 포함하는 것이 아니라, 이러한 프로세스, 방법, 물품 또는 장치에 내재적이거나 명확히 열거되지 않은 다른 요소들을 포함할 수 있게 된다. "…을 가진다(has…)" 및 "…을 포함하다(comprises…,includes…,contains…)"의 앞에 언급된 요소는, 더 이상의 제한 없이도, 그 요소를 포함하고(comprises, includes, contains) 갖는(has) 프로세스, 방법, 물품, 또는 장치의 동일한 추가 요소들의 존재를 배제하지 않는다. 단수 표현(a 및 an)은 여기에 달리 명시적으로 언급되지 않는 한 하나 이상으로 정의된다. 용어 "실질적으로(substantially)","본질적으로(essentially)","대략(approximately)","약(about)",또는 이들의 임의의 다른 형태는 당업자에 의해 이해되는 그러한 것과 가깝게 정의되고, 하나의 제한하지 않는 실시예에서, 이 용어는 10% 범위 내에 있는 것, 다른 실시예에서 5% 범위 내에 있는 것, 또 다른 실시예에서 1% 범위 내에 있는 것, 또 다른 실시예에서 0.5% 범위 내에 있는 것으로 정의된다. 본 명세서에서 사용된 "결합된(coupled)"이라는 용어는 반드시 직접적이고 반드시 기계적일 필요는 없지만 연결되는 것으로서 정의된다. 어떤(certain) 방식으로 "구성된(configured)" 디바이스 또는 구조물은 적어도 그 방식으로 구성되지만, 또한, 열거되지 않은 방식들로 구성될 수도 있다.

일부 실시예들은 마이크로프로세서들, 디지털 신호 프로세서들, 맞춤형 프로세서들 및 필드 프로그래밍 가능한 게이트 어레이들(FPGA들)과 같은 하나 이상의 특수화된 프로세서들(또는 "프로세싱 디바이스들"), 및 특정 비-프로세서 회로들과 함께, 본 명세서에 설명된 방법 및/또는 장치의 기능들의 일부, 대부분, 또는 전부를 구현하도록 하나 이상의 프로세서들을 제어하는 고유한 저장된 프로그램 명령어들(소프트웨어 및 펌웨어 양자를 포함함)로 구성될 수 있다는 것이 이해될 것이다. 대안적으로, 일부 또는 모든 기능은 저장된 프로그램 명령어를 갖지 않는 상태 머신에 의해, 또는 각각의 기능 또는 소정 기능들의 일부 조합들이 맞춤형 논리로서 구현되는 하나 이상의 ASIC(application specific integrated circuits)에서 구현될 수 있다. 물론, 2개의 접근법의 조합이 사용될 수 있다.

또한, 실시예는, 본 명세서에서 기술되고 청구된 바와 같은 방법을 수행하도록 컴퓨터(예를 들어, 프로세서를 포함함)를 프로그래밍하기 위한 컴퓨터 판독가능한 코드가 저장된 컴퓨터-판독가능한 저장 매체로서 구현될 수 있다. 그러한 컴퓨터-판독 가능 저장 매체의 예들로는 하드 디스크, CD-ROM, 광학 스토리지 디바이스, 자기 스토리지 디바이스, ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 및 플래시 메모리가 있지만, 이에 제한되지 않는다. 추가로, 예를 들어, 유효 시간(available time), 현재 기술, 및 경제적 고려 사항들에 의해 유발된 아마도 상당한 노력 및 많은 설계 선택 사항에도 불구하고, 본 명세서에 개시된 개념들 및 원리들에 의해 안내받을 때, 본 기술 분야의 통상의 기술자는 소프트웨어 명령어들 및 프로그램들 및 IC들을 최소한의 실험으로 쉽게 생성할 수 있을 것이라 예상된다.

본 개시내용에 대한 요약서는 독자가 기술적 개시내용의 본질(nature)을 신속하게 알아내도록 허용하기 위해 제공된다. 그것이 청구항들의 범위 또는 의미를 해석하거나 제한하는 데 이용되지는 않을 것이라는 이해하에 제출된다. 게다가, 상술한 상세한 설명에서, 다양한 특징들은 개시내용을 간소화할 목적으로 다양한 실시예들에서 함께 그룹화되는 것이 인식될 수 있다. 이러한 개시의 방법은 청구되는 실시예들이 각각의 청구항에 명확히 기재된 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 본 발명의 대상물(subject matter)은 단일의 개시된 실시예의 모든 특징들보다 더 적은 것에 있다. 따라서, 이하의 청구항들은 상세한 설명에 이로써 포함되며, 각각의 청구항은 개별 청구된 대상으로서 독립적이다.

Claims

모바일 자동화 장치의 광 방출기들을 제어하는 방법으로서,
지지 구조물을 포함하는 영역에 상응하는 복수의 깊이 측정치들을 캡쳐하도록 깊이 센서를 제어하는 단계;
지지 구조물 평면 정의를 얻는 단계;
상기 깊이 측정치들의 서브세트를 선택하는 단계;
상기 깊이 측정치들의 서브세트 및 지지 구조물 평면에 기초하여, 상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하는 단계;
상기 결정이 긍정적일 때, 상기 광 방출기들을 디스에이블하는 단계; 및
상기 결정이 부정적일 때, (i) 상기 지지 구조물을 조명하도록 상기 광 방출기들을 제어하고 (ii) 상기 조명과 동시에 상기 지지 구조물의 이미지를 캡쳐하도록 위해 카메라
를 제어하는 단계를 포함하고,
상기 서브세트를 선택하는 단계는,
상기 깊이 센서의 미리 정의된 반경 내의 상기 깊이 측정치들의 1차 서브세트를 선택하는 단계; 및
상기 1차 서브세트로부터 상기 깊이 센서의 광학 축의 미리 정의된 각도 내의 상기 깊이 측정치들의 2차 서브세트를 선택하는 단계를 포함하는, 광 방출기들을 제어하는 방법.
삭제
삭제
제1항에 있어서,
상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하는 단계는: 상기 서브세트의 밀도가 밀도 임계값을 초과하는지를 결정하는 단계를 포함하는, 광 방출기들을 제어하는 방법.
제4항에 있어서,
상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하는 단계는: 상기 밀도가 상기 밀도 임계값을 초과할 때, 상기 서브세트의 속성을 위한 변동성 계량을 생성하는 단계 및 상기 변동성 계량이 변동성 임계값을 초과하는지를 결정하는 단계를 더 포함하는, 광 방출기들을 제어하는 방법.
제5항에 있어서,
상기 속성은 제2 서브세트의 각각의 깊이 측정치 및 상기 지지 구조물 평면 사이의 거리인, 광 방출기들을 제어하는 방법.
제5항에 있어서,
상기 변동성 계량은 표준 편차인, 광 방출기들을 제어하는 방법.
제5항에 있어서,
상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하는 단계는,
상기 변동성 계량이 상기 변동성 임계값을 초과할 때, 상기 깊이 측정치들의 2차 서브세트 내의 클러스터를 검출하는 단계; 및
상기 클러스터가 민감한 수용기에 상응하는지를 결정하는 단계
를 더 포함하는, 광 방출기들을 제어하는 방법.
제8항에 있어서,
상기 클러스터를 검출하는 단계에 앞서, 상기 깊이 센서와 상기 지지 구조물 평면 사이의 거리보다 먼 상기 깊이 센서로부터의 거리들에 위치한 상기 2차 서브세트의 부분을 버리는 단계
를 더 포함하는, 광 방출기들을 제어하는 방법.
제8항에 있어서, 상기 클러스터가 민감한 수용기에 상응하는지를 결정하는 단계는,
상기 클러스터의 기하학적 속성을 임계값에 비교하는 단계
를 포함하는, 광 방출기들을 제어하는 방법.
모바일 자동화 장치로서,
지지 구조물의 이미지들을 캡쳐하도록 구성된 카메라;
상기 카메라에 의한 이미지 캡쳐와 동시에 상기 지지 구조물을 조명하도록 구성된 광 방출기;
깊이 센서; 및
내비게이션 컨트롤러
를 포함하고, 상기 내비게이션 컨트롤러는:
지지 구조물을 포함하는 영역에 상응하는 복수의 깊이 측정치들을 캡쳐하도록 상기 깊이 센서를 제어하고;
지지 구조물 평면 정의를 얻고;
상기 깊이 센서의 미리 정의된 반경 내의 상기 깊이 측정치들의 1차 서브세트를 선택하기 위해, 그리고 상기 1차 서브세트로부터 상기 깊이 센서의 광학 축의 미리 정의된 각도 내의 상기 깊이 측정치들의 2차 서브세트를 선택하기 위해, 상기 깊이 측정치들의 서브세트를 선택하고;
상기 깊이 측정치들의 서브세트 및 상기 지지 구조물 평면에 기초하여, 상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하고;
상기 결정이 긍정일 때, 상기 광 방출기를 디스에이블하고;
상기 결정이 부정적일 때, (i) 상기 지지 구조물을 조명하도록 상기 광 방출기를 제어하고 (ii) 상기 조명과 동시에 상기 지지 구조물의 이미지를 캡쳐하도록 상기 카메라를 제어하도록 구성되는, 모바일 자동화 장치.
삭제
삭제
제11항에 있어서,
상기 내비게이션 컨트롤러는, 상기 서브세트의 밀도가 밀도 임계값을 초과하는지를 결정하기 위해, 상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하도록 구성되는, 모바일 자동화 장치.
제14항에 있어서,
상기 내비게이션 컨트롤러는, 상기 밀도가 상기 밀도 임계값을 초과할 때, 상기 서브세트의 속성을 위한 변동성 계량을 생성하고, 상기 변동성 계량이 변동성 임계값을 초과하는지를 결정하기 위해, 상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하도록 구성되는, 모바일 자동화 장치.
제15항에 있어서,
상기 속성은 제2 서브세트의 각각의 깊이 측정치 및 상기 지지 구조물 평면 사이의 거리인, 모바일 자동화 장치.
제15항에 있어서, 상기 변동성 계량은 표준 편차인, 모바일 자동화 장치.
제15항에 있어서,
상기 내비게이션 컨트롤러는:
상기 변동성 계량이 상기 변동성 임계값을 초과할 때, 상기 깊이 측정치들의 2차 서브세트 내의 클러스터를 검출하고, 상기 클러스터가 민감한 수용기에 상응하는지를 결정하기 위해, 상기 깊이 측정치들의 서브세트가 민감한 수용기의 존재를 나타내는지를 결정하도록 구성되는, 모바일 자동화 장치.
제18항에 있어서,
상기 내비게이션 컨트롤러는:
상기 클러스터를 검출하는 것에 앞서, 상기 깊이 센서와 상기 지지 구조물 평면 사이의 거리보다 먼 상기 깊이 센서로부터의 거리들에 위치한 상기 2차 서브세트의 부분을 버리도록 더 구성되는, 모바일 자동화 장치.
제18항에 있어서,
상기 내비게이션 컨트롤러는,
상기 클러스터의 기하학적 속성을 임계값에 비교하기 위해, 상기 클러스터가 민감한 수용기에 상응하는지를 결정하도록 구성되는, 모바일 자동화 장치.