KR20180017074A - 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택 - Google Patents

Abstract

본 발명은 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법에 관한 것이고, 이때 상기 휴대용 단말기는 3D 카메라를 포함한다. 상기 방법은 이때 무엇보다도 상기 확인되어야 하는 매니퓰레이터의 적어도 하나의 부분에 대하여 상기 휴대용 카메라의 상기 3D 카메라를 이용한 3차원적 이미지의 캡처를 포함한다. 상기 캡처된 3차원적 이미지에 근거하여 상기 매니퓰레이터의 현재 상태가 검출된다. 바람직하게는, 상기 3D 카메라는 플렌옵틱 카메라이고, 상기 3차원적 이미지의 캡처는 바람직하게는 상기 확인되어야 하는 매니퓰레이터의 상기 적어도 하나의 부분의 4차원적 라이트 필드의 캡처를 포함한다.

Description

카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택 {DETECTION OF THE ROBOT AXIAL ANGLES AND SELECTION OF A ROBOT BY MEANS OF A CAMERA}

본 발명은 휴대용 단말기를 이용하여 매니퓰레이터 (manipulator) 를 확인 (identify) 하기 위한 방법, 상응하는 휴대용 단말기, 및 로봇 시스템에 관한 것이다.

매니퓰레이터들 그리고 특히 산업용 로봇들은 자동적으로 제어되는, 자유로이 프로그래밍 가능한 다목적 기계들이다. 그들은 예컨대 가공 스테이션에서 또는 측정 스테이션에서 부품 또는 작업물을 가공하기 위해 또는 측정하기 위해 예컨대 제조 시설의 여러 가지 영역들에서 이용될 수 있다. 산업적 주변환경에서 통상적으로 다수의 매니퓰레이터들은 서로 공간적으로 가까이 있으며 이용되고, 상기 매니퓰레이터들은 비슷한 또는 동일한 여러 가지 과제들을 실행할 수 있다.

어느 정도의 자동화 기술을 갖는 현대적인 산업적 시설들에서, 예컨대 현재의 공정 파라미터들을 검사하기 위해, 오류들을 제한하기 위해 또는 프로그램 변경 또는 파라미터 변경을 수행하기 위해 로봇 시스템의 상태 정보들을 검색하려는 요구가 존재한다. 예컨대, 특정한 시점에서 특정한 로봇 시스템의 상태 정보를 검색해야할 필요가 존재할 수 있다. 이를 위해, 통상적으로 상태 정보를 제공하는 상기 로봇 시스템의 상응하는 로봇 제어기가 우선 확인되고, 어드레스되어야 한다 (addressed). 이를 위해, 예컨대 사용자를 통해 입력 장치에, 상기 로봇 제어기를 명백히 확인하는 그리고 어쩌면 상기 로봇 제어기의 액추에이팅을 허용하는 제어기 주소 또는 이와 유사한 것이 손으로 입력될 수 있다. 하지만 이는 단점을 가지는데, 왜냐하면 상기 주소가 알려져 있어야 하고, 입력되어야 하기 때문이다. 즉, 상기 방법은 비교적 노력이 많이 든다.

다른 방법으로부터, 특별한 마킹들 (markings), 예컨대 QR 코드 또는 RFID 태그 (tag) 를 로봇 시스템 위에 제공하고, 이 마킹을 필요시 읽고, 이를 통해 로봇 시스템 및 상응하는 로봇 제어기를 확인하는 것이 공지되어 있다. 하지만 이 방법도 단점들을 가지는데, 왜냐하면 이 마킹들 또는 태그들이 해당 제어기 또는 기계 장치에 부착되어야 하기 때문이다. 그 밖에, 이 마킹들은 불리한 컨피규레이션 (configuration) 때문에 일시적으로 덮혀질 수 있고, 이로써 읽혀질 수 없다는 점이 발생할 수 있다. 그 결과, 상기 방법은 마찬가지로 비교적 노력이 많이 들고, 게다가 신뢰성이 없다.

그러므로, 본 발명의 목적은 매니퓰레이터 또는 로봇 시스템이 간단히 그리고 가능한 한 오류 없이 확인될 수 있게 하는 방법을 제공하는 것이다. 이때, 특히 본 발명의 목적은 휴대용 조작 장치를 이용하여 다수의 매니퓰레이터들로부터 하나의 특정한 매니퓰레이터가 선택될 수 있게 하는 방법을 제공하는 것이다. 본 발명의 그 밖의 목적은 상기 기술된 단점들을 적어도 부분적으로 제거하는 것이다.

이 목적들, 및 하기의 설명을 읽을시 알 수 있는 그 밖의 목적들은 주 청구항의 대상과 종속항들의 대상을 통해 달성된다.

본 발명은 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법에 관한 것이다. 이 휴대용 단말기는 예컨대 이동 소비자-입력장치, 예컨대 태블릿 PC, 스마트워치, 스마트폰 또는 이와 유사한 것일 수 있고, 또는 이동 로봇-조작 장치일 수도 있다. 이때, 상기 휴대용 단말기는 3D 카메라를 포함한다. 상기 3D 카메라는 바람직하게는 플렌옵틱 카메라 (plenoptic camera) 이고, 상기 플렌옵틱 카메라는 라이트 필드 센서들 (light field sensors) 의 원리에 근거를 두고 있다. 이러한 유형의 라이트 필드 센서들은 마이크로 렌즈들의 필드로 구성되고, 촬영된 물체의 빛과 색을 기록한다. 그 밖에, 광선이 들어오는 방향도 캡처 (capture) 된다. 이로써, 라이트 필드 센서들의 도움으로 무엇보다도 이미지 (image) 의 초점이 추후에 변경될 수 있고, 촬영된 물체의 3D 모델들이 만들어내질 수 있다.

본 발명에 따른 방법은 상기 확인되어야 하는 매니퓰레이터의 적어도 하나의 부분에 대하여 상기 휴대용 단말기의 상기 3D 카메라를 이용한 3차원적 이미지의 캡처를 구비한다. 바람직하게는, 상기 확인되어야 하는 전체 매니퓰레이터는 상기 3D 카메라를 이용하여 캡처된다. 상기 캡처된 3차원적 이미지에 근거하여 상기 매니퓰레이터의 현재 상태가 검출된다. 그 밖에, 본 발명에 따른 방법에 따르면 상기 매니퓰레이터의 기준 상태들 (reference states) 이 제공되고, 상기 매니퓰레이터는 상기 검출된 현재 상태에 근거하여 그리고 상기 제공된 현재 기준 상태들에 근거하여 확인된다.

이때, 현재 상태 또는 기준 상태는 바람직하게는 매니퓰레이터의 컨피규레이션을 기술한다. 바람직하게는, 매니퓰레이터의 상태는 다음의 것들 중 적어도 하나에 관한 정보들을 포함한다: 상기 매니퓰레이터의 포즈 (pose), 상기 매니퓰레이터의 축각도, 상기 매니퓰레이터의 위치, 상기 매니퓰레이터의 배향, 또는 이 값들 중 하나의 시간적 변경. 그 밖에, 매니퓰레이터의 상태는 상기 매니퓰레이터의 개별적인 구성요소들의 절대적 크기들 (또는 치수들) 및/또는 크기 비율들에 관한 정보들도 포함할 수 있다. 이 구성요소들은 예컨대 매니퓰레이터 암 (manipulator arm) 또는 그립퍼 (gripper) 를 포함할 수 있다. 매니퓰레이터의 상기 상태를 근거로, 그는 유리하게는 다른 매니퓰레이터들과 구별될 수 있는데, 왜냐하면 각각의 매니퓰레이터는 통상적으로 자신의 개인적인 상태를 통해 특징지어져 있기 때문이다.

이로써, 본 발명에 따른 방법을 이용하여 매니퓰레이터를 직관적인 방식으로 선택하는 것이 또는 확인하는 것이 가능하다. 마커들 (markers), 마킹들 또는 태그들이 필요해지는 것이 아니라 캡처된 3차원적 이미지에 근거하여 상기 매니퓰레이터의 상태가 검출된다. 이 검출된 상태 및 제공된 기준 상태들에 근거하여, 상기 매니퓰레이터는 유리하게는 명백히 그리고 자동적으로 확인될 수 있다. 상기 3D 카메라의 사용은, 예컨대 상기 휴대용 단말기의 조작자가 매니퓰레이터로부터 보호 펜스 때문에 공간적으로 분리되어 있으면, 상기 매니퓰레이터를 보다 큰 거리에서 확인하는 것도 허용한다. 이렇게, 조작자는 상기 매니퓰레이터에 대해 안전한 거리에 있을 수 있고, 그럼에도 불구하고 그를 확인할 수 있다. 그 밖에, 3D 카메라의 사용에 근거하여 유리하게는 상기 확인되어야 하는 매니퓰레이터의 (또는 이 매니퓰레이터의 한 부분의) 하나의 이미지만 캡처되어야 하는데, 왜냐하면 상기 캡처된 3차원적 이미지는 상기 매니퓰레이터의 명백한 인식을 허용하는 정보들을 충분히 포함하기 때문이다.

바람직하게는, 상기 기준 상태들의 제공은 매니퓰레이터 제어기 (로봇 제어기) 를 통해 수행된다. 바람직하게는, 상기 기준 상태들은 이때 다수의 매니퓰레이터들의 기준 상태들을 포함할 수 있고, 상기 다수의 매니퓰레이터들 중 하나는 상기 확인되어야 하는 매니퓰레이터이다. 예컨대, 상기 매니퓰레이터 제어기는 그에 연결된 하나 또는 다수의 키네메틱스 (kinematics) 또는 매니퓰레이터의 축각도들을 주기적으로 전한다. 이로써, 바람직하게는 상기 3차원적 이미지의 캡처, 상기 매니퓰레이터의 현재 상태의 검출 및 상기 매니퓰레이터의 확인은 상기 휴대용 단말기를 통해 실행된다. 상기 휴대용 단말기는 이때 바람직하게는 그의 수신 영역에서 모든 송신하는 매니퓰레이터 제어기들의 기준 상태들을 수신하고, 무엇보다도 이 수신된 기준 상태들에 근거하여 상기 매니퓰레이터를 확인하는 단계를 실행한다. 즉, 어느 것이 상기 확인되어야 하는 매니퓰레이터인지를 밝혀내기 위해, 유리하게는 본 발명에 따른 방법을 이용하여 예컨대 한 공간 안의 모든 관련 매니퓰레이터들이 관찰된다.

바람직하게는, 상기 기준 상태들의 제공은 무선으로 수행된다. 이로써 상기 휴대용 단말기는 이동식으로 이용하기 위해 셋업되고, 문제없이 예컨대 작업장에서 한 스테이션으로부터 다른 스테이션으로 운반될 수 있고, 직접적으로 상기 관련 매니퓰레이터 제어기들과 통신할 수 있다. 그 결과, 사용자는 큰 노력 없이 원하는 매니퓰레이터들을 간단히 그리고 직관적으로 확인할 수 있고, 그 후 예컨대 상기 확인된 매니퓰레이터의 상태 정보들을 검사할 수 있다.

바람직하게는, 상기 매니퓰레이터의 확인은 상기 매니퓰레이터의 상기 검출된 현재 상태가 상기 매니퓰레이터의 상기 제공된 기준 상태들 중 적어도 하나와 일치하는지의 여부를 결정하는 것을 포함한다. 즉, 상기 매니퓰레이터의 상기 제공된 기준 상태들이 상기 검출된 현재 상태와 일치하는지의 여부를 밝혀내기 위해, 그리고 상기 매니퓰레이터의 상기 제공된 기준 상태들 중 어느 것이 상기 검출된 현재 상태와 일치하는지를 밝혀내기 위해, 예컨대 모든 제공된 기준 상태들은 상기 매니퓰레이터의 상기 검출된 현재 상태와 비교된다. 이러한 일치가 결정되면 또는 밝혀지면, 바람직하게는 직접적으로 상기 상응하는 매니퓰레이터가 확인될 수 있는데, 왜냐하면 상기 일치하는 제공된 기준 상태의 기원 및 상황들이 (예컨대 시간 마킹들 (time-markings) 등등에 근거하여) 유리하게 알려져 있기 때문이다.

바람직하게는, 상기 매니퓰레이터의 확인은 상기 제공된 기준 상태들 중 하나의 선택을 포함하고, 따라서 상기 선택된 기준 상태는 상기 3차원적 이미지의 캡처와 거의 동시적으로 만들어내졌다. 즉, 거의 상기 매니퓰레이터의 상기 3차원적 이미지가 캡처된 당시에 상기 매니퓰레이터의 상태를 기술하는 기준 상태가 선택된다. 다수의 매니퓰레이터들의 기준 상태들이 제공되었으면, 이로써 예컨대 선택 가능성은, 예컨대 상기 3차원적 이미지가 캡처된 시간에 만들어내진, 상기 매니퓰레이터를 확인하기 위한 기준 상태들만 사용되는 정도로 제한될 수 있다. 이를 위해, 예컨대 상기 기준 상태들의 시간 마킹들이 사용될 수 있고, 또는 상기 3차원적 이미지의 캡처의 시점에 제공된 기준 상태들은 상응하여 표시될 수 있고, 따라서 그들은 상기 매니퓰레이터를 확인하기 위해 동원된다. 기술적 전제조건 때문에 완전한 시간적 일치는 드물게 존재할 수 있기 때문에, 예컨대 상응하는 허용오차도 사용될 수 있다.

바람직하게는, 상기 매니퓰레이터의 확인은 상기 제공된 기준 상태들 중 하나의 선택을 포함하고, 따라서 상기 선택된 기준 상태는 상기 매니퓰레이터의 상기 검출된 현재 상태에 대해 가장 가깝다. 즉, 예컨대, 예컨대 작업장 안의 다수의 매니퓰레이터들을 기술할 수 있는 모든 제공된 상태들 중 어느 것이 확인되어야 하는 (그리고 적어도 부분적으로 상기 3D 카메라를 이용하여 모사된) 매니퓰레이터에 가장 잘 맞는지가 비교된다. 이를 위해, 그 밖에 바람직하게는 사전 정의된 (predefined) 허용오차값이 사용될 수 있고, 상기 제공된 기준 상태들 중 하나의 선택은 상기 선택된 기준 상태와 상기 검출된 현재 상태 사이의 차이가 상기 사전 정의된 허용오차값보다 작을 정도로 수행될 수 있다. 이로써, 가능한 한 오류 없이 그리고 그럼에도 불구하고 높은 정확성을 갖고 꼭 맞는 기준 상태를 선택하고, 상응하는 매니퓰레이터를 효율적으로 확인하는 것이 가능하다.

바람직하게는, 상기 제공된 기준 상태들 중 하나의 선택은 고정형 (stationary) 컴퓨터를 통해, 예컨대 중앙 컴퓨터 또는 호스트 컴퓨터를 통해 수행된다. 이때, 특히 바람직하게는 상기 기준 상태들은 매니퓰레이터 또는 로봇 제어기를 통해 상기 컴퓨터에 제공된다. 상기 컴퓨터는 예컨대 유선으로 또는 무선으로 네트워크 안에 통합될 수 있고, 예컨대 프로그램 아카이빙 (program archiving) 을 위해, 소프트웨어 업데이트를 위해, 제품 정보 또는 이와 유사한 것을 수집하기 위해 사용될 수 있다. 그 밖에 바람직하게는, 상기 휴대용 단말기는 상기 컴퓨터에게 상기 캡처된 3차원적 이미지 및/또는 상기 매니퓰레이터의 상기 검출된 현재 상태를 사용 가능하게 한다. 그 후, 바람직하게는 경우에 따라서는 상기 매니퓰레이터의 상기 현재 상태의 검출의 단계는 상기 중앙 컴퓨터를 통해 수행되고, 상기 제공된 기준 상태들 중 하나의 선택은 본 발명에 따라 수행된다.

바람직하게는, 상기 매니퓰레이터의 현재 상태의 검출은 기술한 바와 같이 상기 휴대용 단말기를 통해 또는 장소 고정적으로 설치된 고정형 컴퓨터를 통해 수행된다. 이로써, 상기 휴대용 단말기의 계산 능력에 따라 작업 부하는 상기 휴대용 단말기와 상기 고정형 컴퓨터 간에 분배될 수 있다.

바람직하게는, 상기 매니퓰레이터의 상기 현재 상태는 다음의 것들 중 적어도 하나에 관한 정보들을 포함한다: 상기 매니퓰레이터의 현재 포즈, 상기 매니퓰레이터의 현재 축각도, 상기 현재 매니퓰레이터의 현재 위치, 상기 매니퓰레이터의 현재 배향, 상기 매니퓰레이터의 공구 중심점의 직교 (Cartesian) 현재 위치, 또는 상기 언급된 값들의 시간적 변경, 또는 상기 매니퓰레이터의 개별적인 구성요소들의 현재 크기들 및/또는 현재 크기비율들. 상기 매니퓰레이터의 상기 현재 상태는 상기 캡처된 3차원적 이미지로부터 얻어질 수 있다. 바람직하게는, 상기 매니퓰레이터의 상기 기준 상태들은 이에 상응하여 다음의 것들 중 적어도 하나에 관한 정보들을 포함한다: 상기 매니퓰레이터의 기준 포즈들, 상기 매니퓰레이터의 기준 축각도들, 상기 매니퓰레이터의 기준 위치들, 상기 매니퓰레이터의 기준 배향들, 상기 매니퓰레이터의 공구 중심점의 직교 기준 위치들 또는 상기 언급된 값들의 시간적 변경들, 또는 상기 매니퓰레이터의 개별적인 구성요소들의 기준 크기들 및/또는 기준 크기비율들. 상응하여, 상기 확인되어야 하는 매니퓰레이터와 알려져 있는 매니퓰레이터들 간의 가능한 한 명백한 할당이 수행될 수 있다.

바람직하게는, 상기 3D 카메라는 플렌옵틱 카메라이고, 3차원적 이미지의 캡처는 상기 확인되어야 하는 매니퓰레이터의 적어도 하나의 부분의 4차원적 라이트 필드 (light field) 의 캡처를 포함한다. 이로써, 예컨대 로봇의 또는 매니퓰레이터의 축각도들 또는 일반적으로 상기 매니퓰레이터의 상태는 높은 정확성을 갖고 검출될 수 있다.

바람직하게는, 상기 휴대용 단말기는 상기 캡처된 이미지를 나타내는 표현 부품을 포함한다. 이로써, 상기 휴대용 단말기의 조작자는 상기 확인되어야 하는 매니퓰레이터의 알맞은 이미지가 캡처되었는지 아닌지의 여부를 직접적으로 인식할 수 있다. 이를 통해, 확인되지 않아야 하는 매니퓰레이터의 이미지의 캡처를 통한 오류가 있는 확인이 방지될 수 있다.

그 밖에, 본 발명은 3D 카메라와 디바이스 제어기를 포함하는 휴대용 단말기에 관한 것이고, 이때 상기 디바이스 제어기는 매니퓰레이터의 캡처된 이미지로부터 상기 매니퓰레이터의 축각도들의 현재 상태를 결정하도록 셋업되고, 상기 디바이스 제어기는 바람직하게는 그 밖에 매니퓰레이터를 확인하기 위한 본 발명에 따른 방법을 실행하도록 셋업된다. 매니퓰레이터를 확인하기 위한, 많은 비용이 드는 조작 패널들이 필요하지 않기 때문에, 상기 휴대용 단말기는 작은 크기를 가질 수 있고, 이로써 이동식으로 그리고 편안하게 이용하기에 적합하다.

그 밖에도, 본 발명은 매니퓰레이터와 휴대용 단말기를 포함하는 로봇 시스템에 관한 것이고, 상기 단말기는 3D 카메라를 포함한다. 이때, 상기 로봇 시스템은 그 밖에 제어기를 구비하고, 상기 제어기는 매니퓰레이터를 확인하기 위한 본 발명에 따른 방법을 실행하도록 셋업된다. 바람직하게는, 상기 휴대용 단말기의 상기 3D 카메라는 플렌옵틱 카메라이다.

이하, 본 발명은 첨부된 도면들을 참조로 상세히 설명된다.

도 1 은 확인되어야 하는 매니퓰레이터를 예시적으로 나타내고;
도 2 는 매니퓰레이터를 확인하기 위한 본 발명에 따른 방법의 흐름을 나타내고,
도 3 은 매니퓰레이터를 확인하기 위한 그 밖의 본 발명에 따른 방법의 흐름을 나타낸다.

도 1 은 다축 다관절 로봇으로서 형성된 매니퓰레이터 (10) 를 예시적으로 나타낸다. 도시된 매니퓰레이터 (10) 는 예컨대 그 밖의 매니퓰레이터들 (도시되지 않음) 과 함께 작업장에 있고, 이 다수의 매니퓰레이터들로부터 휴대용 단말기 (16) 를 이용하여 확인되어야 하고, 어드레스되어야 한다.

휴대용 단말기 (16) 는 이때 3D 카메라이고 (도시되지 않음), 상기 3D 카메라는 플렌옵틱 카메라이고, 라이트 필드 센서들의 원리에 근거를 두고 있다. 매니퓰레이터 (10) 를 확인하기 위해, 휴대용 단말기 (16) 로 3차원적 이미지가 촬영되고, 상기 캡처된 이미지에 근거하여 상기 매니퓰레이터의 간단한 3차원적 선 모델 (12), 도 1 에 파선을 통해 도시됨, 이 검출된다. 이 3차원적 선 모델 (12) 을 근거로 예컨대 상기 매니퓰레이터의 축각도 또는 포즈가 인식될 수 있고 또는 계산될 수 있다.

도 2 에는 매니퓰레이터를 확인하기 위한 방법의 흐름이 도식적으로 도시되고, 상기 방법은 하기에서 도 1 에 도시된 컨피규레이션과 관련하여 기술된다. 단계 (21) 에서, 다수의 매니퓰레이터들의 각각의 매니퓰레이터 제어기는, 예컨대 작업장에서, 그의 연결된 매니퓰레이터들의 축각도들, 무엇보다도 상기 확인되어야 하는 매니퓰레이터 (10) 의 축각도들 (및/또는 그 밖의 물체 정보들, 예컨대 공구 중심점들의 현재의 직교 위치들, 공구 부피 모델들, 환경 모델 등등) 을 주기적으로 무선으로 전한다. 휴대용 단말기 (16) 는 그의 수신 영역에서 송신하는 모든 매니퓰레이터 제어기들의 정보 (기준값들) 를 수신한다.

단계 (22) 에서 휴대용 단말기 (16) 의 카메라는 매니퓰레이터 (10) 를 향하여 정렬되고, 이 매니퓰레이터 (10) 의 이미지가 촬영된다. 매니퓰레이터 (10) 의 미리 제공된 모델에 근거하여, 3D 이미지 데이터를 근거로 매니퓰레이터 (10) 의 모든 현재 축각도들이 검출된다.

단계 (23) 에서, 예컨대 상기 이미지의 촬영 시점에 상기 매니퓰레이터들의 축각도들을 기술하는 정보들만 사용된다는 관점에서, 휴대용 단말기 (16) 는 단계 (21) 에서 수신된 정보들을 선발한다. 그 후, 휴대용 단말기 (16) 는 그들을 검출된 현재 축각도들 (및/또는 그 밖의 물체 정보들) 과 비교한다.

단계 (24) 에서, 일치에 있어서 상기 원하는 매니퓰레이터 제어기가 확인된다. 즉, 상기 이미지 데이터로부터 얻어진 현재 축각도들과 모든 제공된 축각도들 (기준 축각도들) 간의 할당이 수행되었고, 따라서 상기 모사된 매니퓰레이터는 명백히 확인될 수 있다.

그 후, 상기 휴대용 단말기는 단계 (25) 에서 상기 확인된 매니퓰레이터에 대한 또는 상기 확인된 제어기에 대한 연결을 이룰 수 있고, 상기 매니퓰레이터와 또는 상기 제어기와 상호 작용할 수 있다. 예컨대, 상태들이 읽혀질 수 있고, 파라미터들이 설정될 수 있고, 또는 통지들이 디스플레이될 수 있고 그리고/또는 인정될 수 있다.

도 3 은 매니퓰레이터를 확인하기 위한, 예컨대 도 1 로부터의 매니퓰레이터 (10) 를 확인하기 위한 그 밖의 본 발명에 따른 방법의 흐름을 도식적으로 나타낸다. 상기 방법은 단계 (31) 에서 시작되고, 상기 단계에서 모든 매니퓰레이터 제어기들은 하나의 중앙 컴퓨터 (고정형 컴퓨터) 와 네트워크 연결을 이룬다.

단계 (32) 에서, 모든 이 매니퓰레이터 제어기들은 그들의 현재의 축각도들 (및/또는 그 밖의 물체 정보들) 을 상기 중앙 컴퓨터에 전한다. 바람직하게는, 이는 주기적으로 예컨대 각각의 IPO 사이클에서 수행된다.

단계 (33) 에서, 휴대용 단말기 (16) 의 상기 3D 카메라를 이용하여, 확인되어야 하는 매니퓰레이터 (10) 의 3차원적 이미지가 촬영된다. 이 이미지는 예컨대 상기 확인되어야 하는 매니퓰레이터 (10) 의 3차원적 모델의 작성을 가능하게 하는 3차원적 정보들을 포함한다.

단계 (34) 에서, 상기 중앙 컴퓨터에 상기 촬영된 이미지가 제공되고, 로봇 축각도들 또는 매니퓰레이터 축각도들은 상기 제공된 이미지에 근거하여 상기 중앙 컴퓨터에 의해 검출된다. 대안적으로, 축각도들은 상기 휴대용 단말기 안에서도 검출될 수 있고, 그 후 상기 중앙 컴퓨터에게 사용 가능하게 될 수 있다.

단계 (35) 에서, 상기 중앙 컴퓨터는 상기 이미지로부터 검출된 현재 축값들을 상기 단계 (32) 에서 상기 매니퓰레이터 제어기들로부터 공급된 기준 축각도들과 비교한다. 이를 위해, 효율적인 비교를 가능하게 하기 위해, 허용오차들이 고려될 수 있다.

단계 (36) 에서, 일치에 있어서 상기 원하는 제어기가 확인되고, 소식이 휴대용 단말기 (16) 에 보내지고, 상기 소식은 상기 확인된 제어기에 대한 연결을 이루는 것을 상기 휴대용 단말기에 허용한다. 예컨대, 상기 제어기의 상응하는 주소가 휴대용 단말기 (16) 에 제공될 수 있고, 따라서 휴대용 단말기 (16) 는 자동적으로 그에 대한 연결을 생성할 수 있다.

단계 (37) 에서, 상기 휴대용 단말기는 상기 확인된 제어기와 상호 작용하고, 이때 예컨대 상태 정보들 또는 이와 유사한 것에 관한 조회가 전달된다.

상기 비교의 정확성 또는 정밀성을 더욱 높이기 위해, 축각도들의 관찰에 대해 추가적으로 또는 대안적으로, 예컨대 사용된 공구의 부피 모델, 엔드 이펙터의 부피 모델, 매니퓰레이터 근처에 있는 부품의 부피 모델, 로봇 또는 매니퓰레이터 자체의 환경 모델, 등등도 사용될 수 있다.

캡처된 하나의 3차원적 이미지 대신에, 상기 확인되어야 하는 매니퓰레이터의 다수의 3차원적 이미지들 및/또는 3차원적 비디오 촬영도 사용될 수 있다. 예컨대, 여러 가지 시선 방향들로부터 다수의 이미지들이 촬영될 수 있다. 그 밖에, 예컨대 동적 이미지 촬영 및 처리도 실행될 수 있다. 이로써, 훨씬 더 안전한 매니퓰레이터-확인이 가능해질 수 있는데, 왜냐하면 이제 상기 이미지로부터의 동역학 데이터도 매니퓰레이터 제어기들의 동역학 데이터, 예컨대 공간 안의 공구 중심점의 윤곽, 축 특유의 속도 또는 직교 속도 기타 등등과 비교될 수 있기 때문이다.

10 : 매니퓰레이터
12 : 3차원적 선 모델
16 : 휴대용 단말기

Claims (16)

1. 휴대용 단말기 (16) 를 이용하여 매니퓰레이터 (10) 를 확인 (identify) 하기 위한 방법으로서,
   상기 휴대용 단말기 (16) 는 3D 카메라를 포함하고,
   상기 방법은:
   a) 확인되어야 하는 상기 매니퓰레이터 (10) 의 적어도 하나의 부분에 대하여 상기 휴대용 단말기 (16) 의 상기 3D 카메라를 이용하여 3차원적 이미지를 캡처하는 단계;
   b) 캡처된 상기 3차원적 이미지에 근거하여 상기 매니퓰레이터 (10) 의 현재 상태를 검출하는 단계;
   c) 상기 매니퓰레이터 (10) 의 기준 상태들을 제공하는 단계, 그리고
   d) 검출된 상기 현재 상태에 근거하여 그리고 제공된 상기 기준 상태들에 근거하여 상기 매니퓰레이터 (10) 를 확인하는 단계를 갖는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
2. 제 1 항에 있어서,
   상기 기준 상태들을 제공하는 단계는 매니퓰레이터 제어기를 통해 수행되는,휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
3. 제 1 항에 있어서,
   상기 기준 상태들을 제공하는 단계는 무선으로 수행되는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
4. 제 1 항에 있어서,
   상기 매니퓰레이터 (10) 를 확인하는 단계는 상기 매니퓰레이터 (10) 의 검출된 상기 현재 상태가 상기 매니퓰레이터 (10) 의 제공된 상기 기준 상태들 중 적어도 하나와 일치하는지의 여부를 결정하는 것을 포함하는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
5. 제 1 항에 있어서,
   상기 매니퓰레이터 (10) 를 확인하는 단계는 제공된 상기 기준 상태들 중 하나를 선택하는 것을 포함하고, 따라서 선택된 상기 기준 상태는 상기 3차원적 이미지의 캡처와 거의 동시적으로 컴파일링되는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
6. 제 1 항에 있어서,
   상기 매니퓰레이터 (10) 를 확인하는 단계는 상기 매니퓰레이터 (10) 의 제공된 상기 기준 상태들 중 하나를 선택하는 것을 포함하고, 따라서 선택된 상기 기준 상태는 상기 매니퓰레이터 (10) 의 검출된 상기 현재 상태에 대해 가장 가까운, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
7. 제 6 항에 있어서,
   제공된 상기 기준 상태들 중 하나를 선택하는 것은 상기 선택된 기준 상태와 검출된 상기 현재 상태 사이의 차이가 사전 정의된 허용오차값보다 작을 정도로 수행되는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
8. 제 5 항에 있어서,
   제공된 상기 기준 상태들 중 하나를 선택하는 것은 고정형 컴퓨터를 통해 수행되는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
9. 제 1 항에 있어서,
   상기 매니퓰레이터 (10) 의 현재 상태를 검출하는 단계는 상기 휴대용 단말기 (16) 또는 고정형 컴퓨터를 통해 수행되는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
10. 제 1 항에 있어서,
    상기 매니퓰레이터 (10) 의 상기 현재 상태는 다음의 것들 중 적어도 하나에 관한 정보들을 포함하는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법:
    상기 매니퓰레이터 (10) 의 현재 포즈,
    상기 매니퓰레이터 (10) 의 현재 축각도,
    상기 매니퓰레이터 (10) 의 현재 위치,
    상기 매니퓰레이터 (10) 의 현재 배향,
    상기 매니퓰레이터 (10) 의 공구 중심점의 직교 (Cartesian) 현재 위치,
    상기 매니퓰레이터 (10) 의 현재 포즈의 시간적 변경,
    상기 매니퓰레이터 (10) 의 현재 축각도의 시간적 변경,
    상기 매니퓰레이터 (10) 의 현재 위치의 시간적 변경,
    상기 매니퓰레이터 (10) 의 현재 배향의 시간적 변경,
    상기 매니퓰레이터 (10) 의 공구 중심점의 직교 현재 위치의 시간적 변경,
    상기 매니퓰레이터의 개별적인 구성요소들의 현재 크기들 및/또는 현재 크기비율들.
11. 제 1 항에 있어서,
    상기 매니퓰레이터 (10) 의 상기 기준 상태들은 다음의 것들 중 적어도 하나에 관한 정보들을 포함하는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법:
    상기 매니퓰레이터 (10) 의 기준 포즈들,
    상기 매니퓰레이터 (10) 의 기준 축각도들,
    상기 매니퓰레이터 (10) 의 기준 위치들,
    상기 매니퓰레이터 (10) 의 기준 배향들,
    상기 매니퓰레이터 (10) 의 공구 중심점의 직교 기준 위치,
    상기 매니퓰레이터 (10) 의 기준 포즈의 시간적 변경들,
    상기 매니퓰레이터 (10) 의 기준 축각도의 시간적 변경들,
    상기 매니퓰레이터 (10) 의 기준 위치의 시간적 변경들,
    상기 매니퓰레이터 (10) 의 기준 배향의 시간적 변경들,
    상기 매니퓰레이터 (10) 의 공구 중심점의 직교 기준 위치의 시간적 변경들,
    상기 매니퓰레이터의 개별적인 구성요소들의 기준 크기들 및/또는 기준 크기비율들.
12. 제 1 항에 있어서,
    상기 3D 카메라는 플렌옵틱 카메라이고,
    상기 3차원적 이미지를 캡처하는 단계는 상기 확인되어야 하는 매니퓰레이터 (10) 의 상기 적어도 하나의 부분에 대하여 상기 플렌옵틱 카메라를 이용한 4차원적 라이트 필드 (light field) 를 캡처하는 것을 포함하는, 휴대용 단말기를 이용하여 매니퓰레이터를 확인하기 위한 방법.
13. 3D 카메라와 디바이스 제어기를 포함하는 휴대용 단말기 (16) 로서,
    상기 디바이스 제어기는 매니퓰레이터의 캡처된 이미지로부터 상기 매니퓰레이터의 축각도들의 현재 상태를 결정하도록 셋업되고,
    상기 디바이스 제어기는 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법을 실행하도록 추가로 셋업되는, 휴대용 단말기 (16).
14. 매니퓰레이터 (10) 와 휴대용 단말기 (16) 를 포함하는 로봇 시스템으로서,
    상기 휴대용 단말기는 3D 카메라를 포함하고,
    상기 로봇 시스템은 제어기를 추가로 구비하고,
    상기 제어기는 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법을 실행하도록 셋업되는, 로봇 시스템.
15. 제 13 항에 있어서,
    상기 3D 카메라가 플렌옵틱 카메라인, 휴대용 단말기 (16).
16. 제 14 항에 있어서,
    상기 3D 카메라가 플렌옵틱 카메라인, 로봇 시스템.

Images