KR20120027253A - 물체-학습 로봇 및 방법 - Google Patents

물체-학습 로봇 및 방법 Download PDF

Info

Publication number
KR20120027253A
KR20120027253A KR1020117027637A KR20117027637A KR20120027253A KR 20120027253 A KR20120027253 A KR 20120027253A KR 1020117027637 A KR1020117027637 A KR 1020117027637A KR 20117027637 A KR20117027637 A KR 20117027637A KR 20120027253 A KR20120027253 A KR 20120027253A
Authority
KR
South Korea
Prior art keywords
robot
gripper
learned
learning
pixels
Prior art date
Application number
KR1020117027637A
Other languages
English (en)
Inventor
보우데빈 테. 베어하르
하리 브로어스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20120027253A publication Critical patent/KR20120027253A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 물체-학습 로봇 및 대응 방법에 관한 것이다. 로봇은 로봇(10)에 학습될 물체(11)를 유지하기 위한 파지기(14); 로봇(10)에 물체(11)를 도입하기 위해 그리고 파지기(14) 및 파지기(14)에 의해 유지된 물체(11)를 관찰하기 위한 시야를 갖는 광학 시스템(16); 로봇(10)에 학습될 물체(11)의 물체 신분을 제공하기 위한 입력 디바이스(26); 사전 결정된 이동 패턴에 따라 파지기(14)의 운동을 제어하기 위한 제어기(24); 및 물체 신분과의 관련성에 대해 물체(11)를 식별하는 광학 시스템(16)으로부터 얻어진 이미지 데이터를 분석하기 위한 이미지 프로세싱 수단(28)을 포함한다. 이는 로봇이 심지어 학습을 위한 오프라인 기간 없이도 동적 환경에서 새로운 물체의 신분을 학습하는 것을 가능하게 한다.

Description

물체-학습 로봇 및 방법{OBJECT-LEARNING ROBOT AND METHOD}
본 발명은 물체-학습(object-learning) 로봇 및 대응 방법에 관한 것이다.
물체 인식은 시각 연구에서 광범위하게 연구되는 주제이다. 이를 행하기 위한 방법은 알고리즘이 특정한 특징을 학습하도록 물체의 다중 이미지를 제시하는 것으로 구성된다. 이는 일반적으로 "오프라인"으로 행해지는데, 즉 이미지의 제시가 먼저 행해지고, 사용 중에 어떠한 적응 또는 "학습"도 존재하지 않는다.
주방 보조 로봇 아암은 선반, 찬장, 냉장고, 오븐, 싱크대 상판(worktop), 식기 세척기 등에/으로부터 물체를 취출하고 배치할 수 있다. 더욱이, 이러한 로봇 아암은 싱크대 상판을 청소하고, 야채를 절단하고, 그릇을 헹구고, 신선한 음료를 준비하는 등을 할 수 있다. 그러나, 본 로봇은 그들의 유용성에 영향을 미치는 다수의 제한사항들을 가진다.
본 로봇 물체-학습 시스템은 알고리즘 작동식 로봇이 이미지들 내의 물체들의 구별 형태를 학습하도록, 로봇에 물체의 다중 이미지들을 제공하는 것으로 이루어진다. 이 프로세스는 일반적으로 로봇이 오프라인일 때, 즉 로봇이 서비스 중이지 않을 때 또는 다른 작업을 위해 준비되어 있지 않을 때 성취될 수 있다.
JP2005-148851 A호는 작동의 물체 학습 단계 및 물체 인식 단계의 모두를 개시하고 있는 물체 학습을 위한 로봇 디바이스 및 방법을 개시하고 있다. 더욱이, 이 문헌은 로봇이 사용자와 대화를 요구하고 음성 출력 수단이 이 대화를 위해 제공되는 것을 개시하고 있다.
본 발명의 목적은 학습을 위한 오프라인 기간 없이 동적 환경에서 새로운 물체의 신분을 학습하는 물체-학습 로봇 및 대응 방법을 제공하는 것이다.
본 발명의 다른 목적은 물체가 로봇에 표시될 때 로봇이 물체를 학습하는 것을 허용하는 물체-학습 로봇 및 방법을 제공하는 것이다.
본 발명의 제 1 양태에서, 물체-학습 로봇이 제안되고, 이 물체-학습 로봇은,
- 로봇에 학습될 물체를 유지하기 위한 파지기,
- 로봇에 물체를 도입하기 위해 그리고 파지기 및 파지기에 의해 유지된 물체를 관찰하기 위한 시야를 갖는 광학 시스템,
- 로봇에 학습될 물체의 물체 신분을 제공하기 위한 입력 디바이스,
- 사전 결정된 이동 패턴에 따라 파지기의 운동을 제어하기 위한 제어기, 및
- 물체 신분과의 관련성에 대해 물체를 식별하는 광학 시스템으로부터 얻어진 이미지 데이터를 분석하기 위한 이미지 프로세싱 수단을 포함한다.
본 발명의 다른 양태에서, 물체-학습 로봇용 방법이 제안되고, 이 방법은,
- 로봇에 물체가 학습되는 것을 지시하기 위해 로봇에 대한 광학 시스템의 시야 내에 학습될 물체를 도입하는 단계,
- 로봇의 입력 디바이스로 로봇(10)에 학습될 물체에 대응하는 물체 신분을 제공하는 단계,
- 로봇의 파지기 내에 학습될 물체를 유지하는 단계,
- 사전 결정된 이동 패턴에 따라 파지기 및 학습될 물체의 운동을 제어하는 단계, 및
- 물체 신분과의 관련성에 대해 물체를 식별하기 위해 광학 시스템으로부터 얻어진 이미지 데이터를 분석하는 단계를 포함한다.
본 발명의 디바이스 및 방법은 로봇이 오프라인 교육 기간을 대기하거나 시작하기 않고 이들이 만나게 되는 새로운 물체의 신분이 교시될 수 있는 장점을 제공한다. 게다가, 로봇이 서비스 중인 동안 로봇이 새로운 물체가 교시될 수 있는 것을 허용하고 정상적인 작업 흐름을 방해하지 않는 물체-학습 로봇에 새로운 물체를 교시하기 위한 물체-학습 로봇 및 대응 방법을 갖는 것이 유리하다. 또한, 본 발명은 로봇이 학습 프로세스를 구두로 시작하는 것을 요구하지 않고, 로봇의 시야에서 규칙적인 또는 진동 방식으로 학습될 물체의 제시를 통해 로봇의 조작자에 의해 시작되는 물체-학습 로봇에 새로운 물체를 교시하는 장점을 제공한다. 따라서, 예를 들어, 학습 프로세스를 온 더 플라이(on-the-fly) 방식으로 시작하도록 로봇에 신호하는 간단한 비구두 신호가 학습 단계를 시작하기 위해 충분할 수 있다. 이는 임의의 시간에 행해질 수 있고, 스케쥴링될 필요가 없다.
또한, 물체-학습 로봇 및 방법은 학습될 물체의 시각적 특성을 신속하게 결정하기 위해, 파지기 및 학습될 물체의 사전 결정된 이동의 패턴을 지령하는 제어기를 포함한다.
물체-학습 로봇에 물체를 제시함으로써 온라인 학습을 수행하기 위해, 로봇은 어느 물체가 인식될 물체의 예인 것을 '말할 수 있는' 필요가 있다. 따라서, 로봇이 그 주의가 집중되는 관심 물체의 명칭 또는 신분을 인지할 수 있도록 학습될 물체의 온 더 플라이 방식 식별을 허용하는 물체-학습 로봇 및 대응 방법을 갖는 것이 추가의 장점이 있다.
개시된 로봇 및 방법은 온라인 또는 오프라인으로 사용될 수 있지만, 종래 기술에 알려지지 않은 혁신적인 특징을 제공한다. 로봇 및 방법은 광학 시스템으로부터 생방송 조망과 같은 2개의 정적 이미지, 그러나 일련의 이미지를 간단히 비교하지 않는다. 이 배열은 다수의 장점, 즉 관심 물체가 이들의 특징이 더 완전한 포괄적인 조망을 성취하기 위해 다수의 조망각으로부터 관찰되도록 하는 일련의 이미지를 위한 물체 분할; 이들의 특징의 포괄적인 조망, 물체 교시 중에 가변 조명 조건에 적은 민감성을 갖고 의존성을 갖지 않는 더 큰 신뢰성; 모든 이미지로부터 정보가 사용될 수 있기 때문에 비교 전/후를 필요로 하지 않는 더 빠른 방법; 로봇으로부터 사용자에 음성 명령이 없음-사용자는 단지 로봇에 물체를 인도해야 함, 및 따라서 방법이 또한 더 직관적이라는 장점을 제공한다.
실시예에 따르면, 파지기는 로봇의 아암 상에 장착된다. 이는 아암 및 파지기의 운동의 범위가 인간의 것과 유사하게 이루어질 수 있는 장점을 제공한다. 이는 로봇을 갖고 작동하는데 있어 행해질 필요가 있는 수용을 간단화한다.
다른 실시예에 따르면, 광학 시스템은 로봇의 아암에 장착된다. 이는 아암의 운동 및 카메라의 운동이 아암 상의 카메라의 정확한 배치에 따라 유사하거나 심지어 균일할 수 있는 장점을 제공한다. 이는 파지기, 파지기 내에 있는 학습될 물체, 뿐만 아니라 로봇의 학습 중에 중요하지 않은 배경 정보를 식별하는 것에 대한 알고리즘을 간단화한다. 더 구체적으로는, 이미지 시퀀스, 예를 들어 물체 신분과의 관련성에 대해 물체를 식별하기 위해 광학 시스템으로부터 얻어진 이미지 데이터가 시간 경과에 따라 일체화될 때, 배경은 희미해지거나 덜 뚜렷하게 될 수 있고, 반면에 관심 물체, 가능하게는 로봇 아암 자체는 희미해지지 않게 될 수 있다. 대안적으로, 임의의 희미해짐은 파지기를 포함하는 아암의 컴플라이언스 또는 다른 기계적 불완전성에 기인하여 작을 수 있다.
다른 실시예에 따르면, 광학 시스템은 로봇 아암 상에 바람직하게 장착되는 2개 이상의 카메라를 포함한다. 이는 학습될 물체의 무수히 많은 양태 및 상세에 관한 알고리즘에 상세한 3차원 정보를 제공하는 입체 이미지의 장점을 제공한다.
추가의 실시예에 따르면, 이미지 프로세싱 수단은 물체가 로봇 광학 시스템에 도입되는 시야 내의 물체의 규칙적인 또는 진동 운동을 인식하기 위해 적용된다. 이 방식으로, 로봇은 학습 단계를 시작한다고 말할 수 있다.
다른 실시예에 따르면, 광학 시스템은 정지 화소, 이동 화소, 인지된 화소 및 미인지된 화소를 포함하는 전체 이미지를 제공한다. 유리하게는, 파지기의 위치 및 그 배향, 뿐만 아니라 파지기 내의 학습될 물체 및 배경 이미지에 관한 정보가 로봇에 제공된다. 따라서, 이미지의 각각의 부분은 개별적으로 식별되고 해결될 수 있다. 이는 이미지 분할이 신속하고 효율적으로 수행될 수 있는 장점을 제공한다. 즉, 관심 영역/물체 뿐만 아니라 관심 영역/물체에 속하는 화소가 즉시 식별된다. 분할 문제점은 직관적이고, 품위가 있고, 강인한 방식으로 해결되고, 보너스로서, 추가의 정보가 파지 방법, 물체의 컴플라이언스 등에 따라 물체에 대해 학습될 수 있다.
다른 실시예에 따르면, 이미지 프로세싱 수단은 사전 결정된 이동 패턴에 따라 로봇에 의해 학습될 물체 및 파지기의 이동을 지령하도록 적용된다. 사전 결정된 이동 패턴은 인지된 이동 및 조작 패턴, 예를 들어 병진 및 회전을 포함하고, 학습될 물체, 파지기 및 배경 이미지 정보를 서로로부터 구별하기 위한 수단을 제공한다.
다른 실시예에 따르면, 이미지 프로세싱 수단은 파지기의 위치 및 이동을 모니터링하도록 적용된다. 따라서, 전체 이미지에서 볼 때 파지기(공지의 형태/이미지를 갖는)의 위치 및 이동이 결정될 수 있다.
다른 실시예에 따르면, 이미지 프로세싱 수단은 학습될 물체의 형상, 컬러 및/또는 텍스처를 결정하도록 적용된다. 제어기는 파지기 및 파지기에 의해 유지된 학습될 물체의 이동을 지령한다. 따라서, 이미지 프로세싱 수단은 전체 이미지의 어느 부분이 파지기이고 이에 의해 학습될 물체를 감지하고 측정하기 위해 이에 따라 이들 부분을 제거하는 것이 가능한 것을 인지하는 것이 가능하기 때문에 파지기 내의 학습될 물체의 다양한 파라미터 및 특성을 결정하는 것이 가능하다.
다른 실시예에 따르면, 광학 시스템으로부터 전체 이미지는 파지기에 속하는 화소를 포함한다. 제어기는 파지기의 이동을 지령하고, 이 지령된 이동에 따라, 파지기의 위치 및 배향을 인지한다. 이에 의해, 전체 이미지 내의 어느 화소가 파지기와 관련되는지가 인지된다. 학습될 물체가 아닌 파지기는 따라서 용이하게 식별되고, 전체 이미지로부터 무시되거나 제거되어 더 적은 양의 비관련 정보가 전체 이미지 내에 남아 있게 된다.
추가 실시예에 다르면, 이미지 프로세싱 수단은 잔여 이미지를 생성하기 위해 전체 이미지로부터 파지기에 속하는 화소를 감산하도록 적용된다. 이는 후속 분석에서 소수의 화소가 프로세싱되고 식별되는 장점을 제공한다. 이 방식으로, 파지기의 시각적 특징은 관심 물체와 관련된다.
다른 실시예에 따르면, 이미지 프로세싱 수단은 물체 화소 및 배경 화소를 포함하는 잔여 이미지를 검출하도록 적용된다. 이미지 내에 남아 있는 단지 2개의 세트의 화소만을 갖는 것은 학습될 물체를 식별하는데 필요한 프로세싱의 양을 상당히 감소시킨다.
후속의 실시예에 따르면, 이미지 프로세싱 수단은 배경 화소를 검출하도록 적용된다. 제어기가 파지기 및 파지기 내의 학습될 물체의 이동을 지령함에 따라, 이미지 프로세싱 수단은 전체 이미지로부터 파지기를 제거하여 단지 잔여 이미지만이 단지 학습될 물체 및 배경을 포함하게 된다. 학습될 물체는 제어기에 의해 지령된 사전 결정된 이동 패턴과 관련된 이동 패턴을 나타낸다. 배경은 정지형이고 또는 제어기에 따른 또는 아암의 사전 결정된 운동과 상관되는 운동을 나타내지 않는다. 따라서, 배경 화소는 용이하게 식별되고 단지 학습될 물체만을 떠나는 잔여 이미지로부터 제거된다.
추가의 실시예에 따르면, 이미지 프로세싱 수단은 사전 결정된 이동 패턴에 따라 물체 화소를 검출하도록 적용된다. 제어기가 파지기 및 파지기 내의 학습될 물체의 이동을 지령함에 따라, 이미지 프로세싱 수단은 전체 이미지로부터 파지기를 제거할 수 있어 단지 잔여 이미지만이 단지 학습될 물체 및 배경만을 포함하게 된다. 학습될 물체는 사전 결정된 이동 패턴과 관련된 이동 패턴을 나타낸다. 배경은 정지형이고 또는 사전 결정된 이동 패턴에 따른 운동을 나타내지 않는다. 따라서, 사전 결정된 이동 패턴에 따라 운동을 나타내는 화소는 파지기 내의 물체, 따라서 학습될 물체에 속하는 것으로서 식별된다.
다른 실시예에 따르면, 이미지 프로세싱 수단은 물체 화소에 따라 학습될 물체를 식별하도록 적용된다. 물체의 식별은 물체가 파지기에 의해 유지될 때 사전 결정된 이동 패턴에 따라 이동하는 물체 화소의 식별에 의해 성취된다. 따라서, 학습된 물체는 로봇의 데이터베이스 내에 통합될 준비가 되고, 로봇은 물체에 대해 지원이 제공될 준비가 된다.
다른 실시예에 따르면, 로봇은 로봇 아암의 복수의 이동을 모니터링하고 저장하도록 적용된 교시 인터페이스를 포함한다. 따라서, 사용자는 예를 들어 원격/햅틱 인터페이스를 사용하여 물체를 취출하도록 로봇을 제어할 수 있고, 또는 사용자는 아암에 의해 로봇을 파지하고, 어떻게 특정 관심 물체를 취출하거나 파지하는지를 로봇에 교시하기 위해 이를 직접 지령할 수 있다. 파지 방법은 물체와의 후속의 만남을 능률화하기 위해 물체의 식별과 일체화되고, 저장되고, 관련될 수 있다. 이는 로봇에 의해 작업의 반자동 실행을 조장하고, 이를 더 도움이 되게 한다.
본 발명의 이들 및 다른 양태는 이하에 설명되는 실시예들로부터 명백해지고 이들 실시예를 참조하여 명료해질 것이다.
도 1은 본 발명의 실시예에 따른 물체-학습 로봇을 도시하는 도면.
도 2는 본 발명의 실시예에 따른 로봇을 위한 물체 학습 방법을 도시하는 도면.
도 3은 본 발명의 실시예에 따른 물체 학습 방법의 추가의 상세를 도시하는 도면.
도 4는 전체 화소, 배경 화소 및 파지기 화소 및 물체 화소를 포함하는 간섭 화소(coherent pixel)의 가능한 도면을 도시하는 다이어그램.
도 1은 물체-학습 로봇(10)의 배열을 도시한다. 로봇(10)은 파지기(14), 광학 시스템(16), 입력 디바이스(26), 제어기(24) 및 이미지 프로세싱 수단(28)을 포함한다. 파지기(14)는 로봇(10)이 학습될 물체(11)를 수락하고, 유지하고, 조작하는 것을 허용한다. 광학 시스템(16)은 파지기(14) 및 학습될 임의의 물체(11)를 관찰하기 위한 시야를 포함한다. 입력 디바이스(26)가 제어기(24)와 통신하고, 사용자가 로봇(10)에 학습될 물체(11)를 식별할 수 있게 한다. 물체의 신분을 제공하기 위한 입력 디바이스(26)는 예를 들어 마이크로폰과 같은 오디오 디바이스일 수 있고, 또는 로봇(10)에 물체를 식별하기 위한 키보드, 터치패드 또는 다른 디바이스일 수 있다. 사용자는 예를 들어 원격/햅틱 인터페이스와 같은 입력 디바이스(26)로 물체를 취출하기 위해 로봇(10)을 제어할 수 있다. 대안적으로, 최종 사용자는 아암 또는 파지기(14)에 의해 로봇(10)을 취하고 이를 직접 안내할 수 있고, 또는 아암(22)/파지기(14)에 연결된 교시 인터페이스(21)를 경유하여 이를 지령할 수 있다. 사용자는 여기서 로봇(10)에 특정 파지 방식 또는 특정 관심 물체의 취급을 교시할 수 있다. 이는 로봇(10)이 관심 물체와 파지 방법을 관련시킬 수 있는 추가의 장점을 제공한다.
제어기(24)는 파지기(14), 광학 시스템(16), 입력 디바이스(26) 및 이미지 프로세싱 수단(28)과 통신한다. 제어기(24)는 사전 결정된 이동 패턴, 예를 들어 병진 및 회전에 따라 광학 시스템(16)의 시야에서 파지기(14)를 지령하는데 사용된다. 이미지 프로세싱 수단(28)은 이어서 물체를 학습하고 이를 물체의 신분과 관련시키기 위해 광학 시스템(16)에 의해 취득되어 그로부터 수신된 이미지 데이터를 분석한다.
제어기(24)는 파지기(14) 및 파지기(14) 내에 유지된 물체의 사전 결정된 운동을 지령하기 위한 알고리즘(20)을 포함할 수 있다. 그러나, 다른 하드웨어 및 소프트웨어 장치가 제어기(24)를 구현하기 위해 사용될 수 있다. 유사하게, 이미지 프로세싱 수단(28)은 소프트웨어로, 예를 들어 마이크로프로세서 상에서 또는 하드웨어로 또는 양자의 조합으로 구현될 수 있다.
로봇(10)은 특정 작업, 즉 주방 보조 또는 가정 청소를 가질 수 있고, 이 목적에 기초하여 다양한 부속물 또는 능력을 가질 수 있다. 파지기(14)는 로봇 아암(22)에 장착될 수 있다. 이 장치는 그 지정된 작업을 성취하는데 있어서 광범위한 운동 및 로봇(10)을 위한 영향을 제공한다. 이 장치는 또한 인간의 팔 및 손 배열과 유사하고, 따라서 사용자가 관련되거나 수용하는 것을 용이하게 할 수 있다. 로봇을 위한 추가의 용례는 이들에 한정되는 것은 아니지만, 인체 공학, 거리, 안전, 노인 및 장애인을 위한 지원 및 원격 작동식 로봇을 포함할 수 있다.
광학 시스템(16)은 아암(22) 상에 장착될 수 있고, 아암(22) 상에 또는 로봇(10) 상의 다른 위치에 장착될 수 있는 하나 이상의 카메라(17, 18)를 추가로 포함할 수 있다. 단일의 카메라(17)는 파지기(14)의 위치 및 학습될 물체의 위치에 관한 유용한 정보를 제공할 수 있고, 제어기(24) 및 이미지 프로세싱 수단(28)은 학습될 물체(11)를 관찰하고, 분석하고, 학습하는데 이용된다. 2개 이상의 카메라(17, 18)가 동시에 이용되는 경우에, 도 1 및 도 3에 도시된 바와 같이, 파지기(14) 및 학습될 물체(11)의 제공된 입체 또는 3차원 이미지는 학습될 물체(11)에 관하여 더 고도로 상세하고 정보적일 수 있다. 또한, 아암(22)에 장착된 광학 시스템(16)을 갖는 것은 제어기(24) 및 이미지 프로세싱 수단(28)이 계산되고 조정될 필요가 있는 학습될 물체(11)와 광학 시스템(16) 사이의 소수의 가능한 운동 편차가 존재하는 장점을 제공한다. 이 장치는 헤드 장착식 광학 시스템과 비교될 때 그 간단성에 대해 유리하고, 제어기(24) 및 이미지 프로세싱 수단(28)의 더 간단한 요구에 기인하여 파지기(14) 및 학습될 물체(11)의 관찰을 더 신속하게 한다. 광학 시스템(16)의 카메라(17, 18)는 다양한 아암 위치 및 물체 크기를 수용하기 위해 제어기(24)에 의해 지령되는 바와 같이 또는 수동으로 이동 가능할 수 있다.
도 2는 물체-학습 로봇을 위한 방법을 도시한다. 도 3은 단계 30에서, 물체(11)가 학습되는 것을 로봇(10)에게 지시하기 위해 로봇(10)을 위한 광학 시스템(16)의 시야에서 학습될 물체(11)를 도입하는 단계를 포함하는 대응 방법을 갖는 물체-학습 로봇(10)의 일체화를 도시한다. 물체(11)는 규칙적인 또는 진동 운동을 갖고 로봇(10)에 도입될 수 있다. 다음에, 단계 32에서, 물체(11)에 대응하는 물체 신분이 로봇(10)의 입력 디바이스(26)로 로봇(10)에 제공된다. 이 단계는 로봇(10)에 물체의 명칭을 구두로 말함으로써 또는 키보드 또는 다른 입력 디바이스를 경유하여 또는 로봇(10)과 통신하여 물체에 대한 코드 또는 명칭을 입력함으로써 성취될 수 있다. 물체 학습을 위한 방법은 단계 34에서, 로봇(10)의 파지기(14) 내에 물체를 수락하고 유지하는 단계를 추가로 포함한다. 이 때, 로봇(10)은 예를 들어 단계 30에서 로봇의 시야에서 규칙적인 또는 진동 방식으로 물체를 이동시키고, 단계 32에서 로봇(10)에 물체를 식별시킴으로써 학습 프로세스를 시작하도록 신호화되어 있는 학습 프로세스를 인계한다. 물론, 학습 단계의 시작은 또한 예를 들어 입력 디바이스(26)를 경유하여 대응 명령을 제공함으로써 다른 방식으로 신호화될 수 있다.
다음에, 단계 36에서, 로봇(10)은 파지기(14)와 통신하는 제어기(24)에 따른 사전 결정된 이동 패턴에 따라 파지기(14) 및 물체(11)의 운동을 제어한다. 제어기(24)는 가능한 한 많은 물체를 효율적으로 조망하기 위해 파지기(14) 및 물체(11)의 계획된 또는 사전 결정된 이동 패턴을 지령한다. 이는 물체(11)의 상세한 분석을 가능하게 한다. 다음에, 단계 38에서, 로봇(10)의 광학 시스템(16)은 전체 이미지(Po)를 생성하기 위해 물체를 관찰한다. 광학 시스템(16)은 파지기(14) 및 파지기(14)에 의해 유지된 임의의 물체(11)를 조망한다. 마지막으로, 단계 40에서, 이미지 프로세싱 수단(28)은 미리 제공된 물체 신분과의 관련성을 위해 물체(11)의 전체 이미지(Po)를 분석한다.
제어기(24)는 파지기(14)의 운동을 지령한다. 따라서, 파지기(14) 내의 임의의 물체(11)는 제어기(24)에 의해 지령된 사전 결정된 이동 패턴에 따라 이동한다. 제어기(24)의 이 사전 결정된 이동 패턴에 의해, 로봇(10)은 이미징 시스템을 통해 재현된 이미지로부터 물체(11)를 관찰하고, 궁극적으로 학습할 것이다. 이 프로세스는 임의의 시간에 성취될 수 있고, 로봇(10)이 오프라인, 오프 듀티 또는 다른 방식으로 서비스 해제되는 것을 요구하지 않는다. 로봇(10)은 사전 결정된 관찰의 완료시에 정상 활동을 재개하고, 물체를 학습하기 위한 이동을 연구할 수 있다.
물체-학습 로봇(10)은 광학 시스템(16)의 시야에서 물체의 사전 결정된 이동으로부터 전체 이미지(Po)를 검출한다. 전체 이미지(Po)는 복수의 화소, 예를 들어 복수의 정지 화소, 복수의 이동 화소, 복수의 인지된 화소 및 복수의 미인지된 화소를 포함할 수 있다. 광학 시스템(16)으로부터 전체 이미지(Po)의 다양한 부분이 식별되고 다양한 카테고리로 분류되어 물체의 학습 및 후속의 식별을 더 효율적이고 능률적이게 할 수 있다.
제어기(24)에 따른 학습될 물체(11)의 운동은 제어기(24) 내에 포함된 사전 결정된 이동 패턴, 예를 들어 병진 및 회전에 따른다. 따라서, 제어기(24)는 방법론적인 방식으로 물체를 학습하기 위해 파지기(14) 내의 학습될 물체(11)의 이동의 정밀한 사전 결정된 시퀀스를 지령한다. 이동은 사전 결정되더라도, 파지기(14) 내의 물체의 광범위한 가능한 배향을 수용하고, 뿐만 아니라 불규칙적인 형상 및 다양한 크기를 갖는 물체(11)를 수용하기 위해 다소 가변적일 수 있다.
상태 정보(S), 예를 들어 파지기(14)의 위치 및 이동은 제어기(24)가 위치 및 이동을 지령하기 때문에 제어기(24)에 알려진다. 제어기(24)는 파지기(14) 및 아암(22)과 관련된 하드웨어와 통신한다. 아암(22) 하드웨어는 아암(22)의 관절 연결 및 이동을 허용하는 조인트인 다수의 액추에이터(A, B, C)를 포함할 수 있다. 파지기(14)는 마찬가지로 파지기(14)가 물체(11)를 파지하는 것을 허용하기 위한 다수의 액추에이터(G, H)를 포함할 수 있다. 액추에이터(A, B, C, G, H)는 개별 액추에이터의 측정된 각도 및 특정 방향에서 개별 액추에이터에 의해 작용된 힘을 포함하는 입력 또는 피드백 정보(M)를 제어기(24)에 공급할 수 있다. 제어기(24)는 학습 프로세스에서 파지기(14)의 사전 결정된 이동을 지령하고, 이미지 프로세싱 수단(28)과 통신한다. 따라서, 제어기(24) 및 이미지 프로세싱 수단(28)은 파지기(14)의 위치를 인지하고, 파지기에 속하는 화소(PG)는 광학 시스템(16)에 의해 취득된 이미지 데이터 내에서 더 용이하게 식별된다.
로봇(10)은 제어기(24)로의 입력 정보(M)에 따라 물체의 형상, 컬러 및/또는 텍스처를 결정할 수 있다. 알려진 힘이 알려진 방향으로 물체에 인가될 때, 물체의 상대 경도 또는 연성도는 알려진 또는 기준 경도를 갖는 물체(11)를 유지하는 파지기(14) 또는 비어 있는 파지기(14)에 인가된 동일한 입력/힘의 맵에 기초하여 실제 액추에이터 각도 및 이상적인 액추에이터 각도의 비교를 통해 결정될 수 있다. 또한, 상이한 유형의 촉각 센서가 물체(11)와 관련된 촉각 특징(T)에 관한 추가의 상세를 제공하는데 사용될 수 있다.
로봇(10)은 제어기(24)로부터 파지기(14)를 향한 방향에 기인하여 파지기(14)의 위치를 인지한다. 전체 이미지는 간섭 운동을 나타내는 간섭 화소(PC)를 포함할 수 있다. 즉, 간섭 화소(PC)의 운동은 제어기(24)에 의해 지령된 사전 결정된 이동 패턴에 대해 간섭성이다. 간섭 화소(PC) 중에서, 몇몇 화소는 파지기, 예를 들어 파지기 화소(PG)에 속할 수 있고, 잔여 화소는 물체 화소(PK)일 수 있다. 파지기(14)의 화소화된 외관은 파지기 화소(PG)를 신속하고 용이하게 식별하기 위해 맵핑되어 제어기(24) 내에 포함될 수 있다. 따라서, 학습될 물체(11)는 파지기(14) 내의 그 위치에 기인하여 광학 시스템(16)을 거쳐 용이하게 식별 가능하다. 물체와 물체 화소(PK)는 파지기 화소(PG)가 전체 이미지로부터 제거된 후에 용이하게 식별된다. 전체 화소(Po), 배경 화소(PB) 및 파지기 화소(PG) 및 물체 화소(PK)를 포함하는 간섭 화소(PC)의 가능한 도면이 도 4에 도시되어 있다. 배경 화소(PB)는 파지기(14)의 운동 및 파지기(14), 물체(11) 및 배경에 대한 광학 시스템(16)의 상대 운동에 기인하여 희미해짐을 나타낼 수도 있다.
파지기(14)는 로봇(10)의 아암(22) 상에 장착될 수 있다. 이는 아암(22)이 아암(22)의 범위 내의 거의 모든 위치에서 파지기(14) 내에 상이한 물체를 파지하도록 조정되거나 이동될 수 있는 장점을 제공한다. 광학 시스템(16)은 로봇(10)의 아암(22) 상에 장착된 하나 이상의 카메라(17, 18)를 추가로 포함할 수 있다. 이 배열에서, 광학 시스템(16)과 파지기(14) 및 학습될 물체(11) 사이에 소수의 조인트, 액추에이터 또는 부속물이 존재한다. 광학 시스템(16)과 파지기(14) 사이의 제한된 수의 각도 가능성이 학습될 물체(11)를 식별하고 물체(11)의 추가의 특성을 결정하기 위해 더 간단한 연산 배열을 생성한다. 따라서, 제어기(24) 및 이미지 프로세싱 수단(28)의 기능 및 구현이 간단화된다. 광학 시스템(16)은 물체(11)의 더 상세한 학습을 위해, 학습될 물체(11)의 입체 또는 3차원 이미지를 제공할 수 있는 2개 이상의 카메라(17, 18)를 포함할 수 있다.
전술된 바와 같이, 파지기 화소(PG)는 전체 이미지(Po)로부터 감산될 수 있다. 파지기 화소(PG)가 전체 이미지(Po)로부터 감산된 후에, 상당히 적은 수의 화소가 전체 이미지(Po) 내에 잔류할 수 있다. 이들 잔류하는 화소는 배경 화소 및 물체 화소를 포함할 수 있다. 따라서, 이미지 프로세싱은 더 간단화된다.
다른 배열에 따르면, 파지기 화소(PG)가 전체 이미지(Po)로부터 감산된 후에, 로봇(10)은 주로 물체 화소(PK) 및 배경 화소를 포함하는 잔여 이미지를 검출할 수 있다. 물체 화소(PK)는 제어기(24)를 경유하여 파지기(14)에 부여된 사전 결정된 운동에 따라 간섭 운동을 나타낼 것이다. 물체 화소(PK)의 운동은 파지기(14)의 운동과 일치할 수 있다. 대조적으로, 배경 화소(PB)는 일반적으로 정지형일 수 있고 또는 제어기(24)에 의해 지령된 사전 결정된 이동에 대해 비간섭 방식으로 이동할 수 있다. 따라서, 물체 화소(PK) 및 배경 화소(PB)는 독립적으로 식별 가능하다. 이는 파지기(14)로부터 부여된 사전 결정된 운동에 따라, 학습될 물체(11)의 사전 결정된 운동과, 제어기(24)에 의해 지령된 파지기(14)의 사전 결정된 운동에 대한 배경 화소(PB)의 비교적 정지된 또는 비간섭 운동 사이의 이동차에 기초한다.
따라서, 학습될 물체(11)는 이미지 프로세싱 수단(28)에 의해 식별된다(40). 제어기(24)에 의해 지령된 사전 결정된 운동에 대한 배경 화소(PB)의 비간섭 운동은 배경 화소(PB)를 식별하여 이에 의해 잔여 이미지로부터 이들을 제거하는 이미지 프로세싱 수단(28)의 능력을 생성한다. 이 단계 후에, 단지 물체 화소(PK)만이 남게 된다. 로봇(10)은 이어서 학습될 물체(11)를 이들 최종 잔여 화소, 즉 물체 화소(PK)에 대응하는 특성과 관련시킬 수 있다.
본 발명이 도면 및 상기 상세한 설명에 상세히 도시되고 설명되었지만, 이러한 도시 및 설명은 한정적이 아니라 예시적이거나 설명적인 것으로 고려되어야 하고, 본 발명은 개시된 실시예에 한정되는 것은 아니다. 개시된 실시예의 다른 변형이 도면, 상세한 설명 및 청구범위의 연구로부터, 청구된 발명을 실시하는 기술 분야의 숙련자들에 의해 이해되고 실시될 수 있다.
청구범위에서, 용어 "포함하는"은 다른 요소 또는 단계를 배제하는 것은 아니고, 단수 용어는 복수를 배제하는 것은 아니다. 단일의 요소 또는 다른 유닛이 청구범위에 언급된 다수의 품목의 기능을 충족할 수 있다. 단지 특정 수단이 서로 다른 종속 청구항에 언급되어 있다는 사실은 이들 수단의 조합이 장점을 갖고 사용될 수 없다는 것을 지시하는 것은 아니다.
본 발명에 따라 이용되는 제어 방법 및/또는 이미지 프로세싱 방법이 구현되는 컴퓨터 프로그램이 다른 하드웨어와 함께 또는 다른 하드웨어의 부분으로서 공급된 광학 저장 매체 또는 고체 상태 매체와 같은 적합한 매체 상에 저장/분배될 수 있지만, 또한 인터넷 또는 다른 유선 또는 무선 통신 시스템을 경유하여 다른 형태로 분배될 수도 있다.
청구범위의 임의의 도면 부호는 범주를 한정하는 것으로서 해석되어서는 안된다.
10: 물체-학습 로봇 11: 물체
14: 파지기 16: 광학 시스템
22: 아암 24: 제어기
26: 입력 디바이스 28: 이미지 프로세싱 수단

Claims (15)

  1. 물체-학습 로봇(10)으로서,
    - 상기 로봇(10)에 학습될 물체(11)를 유지하기 위한 파지기(14),
    - 상기 로봇(10)에 상기 물체(11)를 도입하기 위해 그리고 상기 파지기(14) 및 상기 파지기(14)에 의해 유지된 물체(11)를 관찰하기 위한 시야를 갖는 광학 시스템(16),
    - 상기 로봇(10)에 학습될 물체(11)의 물체 신분을 제공하기 위한 입력 디바이스(26),
    - 사전 결정된 이동 패턴에 따라 상기 파지기(14)의 운동을 제어하기 위한 제어기(24), 및
    - 상기 물체 신분과의 관련성에 대해 상기 물체(11)를 식별하는 상기 광학 시스템(16)으로부터 얻어진 이미지 데이터를 분석하기 위한 이미지 프로세싱 수단(28)을 포함하는 물체-학습 로봇.
  2. 제 1 항에 있어서, 상기 이미지 프로세싱 수단(28)은 상기 물체(11)가 상기 로봇(10)에 도입되는 시야 내의 상기 물체의 규칙적인 또는 진동 운동을 인식하기 위해 적용되는 물체-학습 로봇.
  3. 제 1 항에 있어서, 상기 광학 시스템(16)은 로봇 아암(22)에 장착되는 물체-학습 로봇.
  4. 제 1 항에 있어서, 상기 광학 시스템(16)은 2개 이상의 카메라들(17, 18)을 포함하는 물체-학습 로봇.
  5. 제 1 항에 있어서, 상기 광학 시스템(16)은 정지 화소들, 이동 화소들, 인지된 화소들 및 미인지된 화소들을 포함하는 전체 이미지를 제공하는 물체-학습 로봇.
  6. 제 1 항에 있어서, 상기 제어기(24)는 사전 결정된 이동 패턴에 따라 상기 파지기(14) 및 상기 로봇(10)에 의해 학습될 물체(11)의 이동을 지령하기 위해 적용되는 물체-학습 로봇.
  7. 제 1 항에 있어서, 상기 이미지 프로세싱 수단(28)은 상기 파지기(14)의 위치 및 이동을 모니터링하도록 적용되는 물체-학습 로봇.
  8. 제 1 항에 있어서, 상기 이미지 프로세싱 수단(28)은 학습될 상기 물체의 형상, 컬러 및/또는 텍스처를 결정하도록 적용되는 물체-학습 로봇.
  9. 제 5 항에 있어서, 상기 광학 시스템(16)으로부터 전체 이미지는 상기 파지기(14)에 속하는 화소들을 포함하고, 상기 이미지 프로세싱 수단(28)은 잔여 이미지를 생성하기 위해 상기 전체 이미지로부터 상기 파지기(14)에 속하는 화소들을 감산하도록 적용되는 물체-학습 로봇.
  10. 제 9 항에 있어서, 상기 이미지 프로세싱 수단(28)은 물체 화소들 및 배경 화소들을 포함하는 잔여 이미지를 분석하도록 적용되는 물체-학습 로봇.
  11. 제 10 항에 있어서, 상기 이미지 프로세싱 수단(28)은 상기 배경 화소들을 검출하도록 적용되는 물체-학습 로봇.
  12. 제 10 항에 있어서, 상기 이미지 프로세싱 수단(28)은 사전 결정된 이동 패턴에 따라 물체 화소들을 검출하도록 적용되는 물체-학습 로봇.
  13. 제 12 항에 있어서, 상기 이미지 프로세싱 수단(28)은 상기 물체 화소들에 따라 학습될 물체를 식별하도록 적용되는 물체-학습 로봇.
  14. 제 1 항에 있어서, 상기 로봇 아암(22)의 복수의 이동들을 모니터링하고 저장하도록 적용된 교시 인터페이스를 추가로 포함하는 물체-학습 로봇.
  15. 물체-학습 로봇(10)용 방법으로서,
    - 상기 로봇(10)에 물체가 학습되는 것을 지시하기 위해 상기 로봇(10)에 대한 광학 시스템(16)의 시야 내에 학습될 물체(11)를 도입하는 단계,
    - 상기 로봇(10)의 입력 디바이스(26)로 상기 로봇(10)에 학습될 물체에 대응하는 물체 신분을 제공하는 단계,
    - 상기 로봇(10)의 파지기(14) 내에 학습될 물체를 유지하는 단계,
    - 사전 결정된 이동 패턴에 따라 상기 파지기(14) 및 학습될 물체의 운동을 제어하는 단계, 및
    - 상기 물체 신분과의 관련성에 대해 상기 물체(11)를 식별하기 위해 상기 광학 시스템(16)으로부터 얻어진 이미지 데이터를 분석하는 단계를 포함하는 물체-학습 로봇용 방법.
KR1020117027637A 2009-04-23 2010-04-13 물체-학습 로봇 및 방법 KR20120027253A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09158605.7 2009-04-23
EP09158605 2009-04-23

Publications (1)

Publication Number Publication Date
KR20120027253A true KR20120027253A (ko) 2012-03-21

Family

ID=42341460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027637A KR20120027253A (ko) 2009-04-23 2010-04-13 물체-학습 로봇 및 방법

Country Status (6)

Country Link
US (1) US20120053728A1 (ko)
EP (1) EP2422295A1 (ko)
JP (1) JP2012524663A (ko)
KR (1) KR20120027253A (ko)
CN (1) CN102414696A (ko)
WO (1) WO2010122445A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122632A1 (ko) * 2018-12-14 2020-06-18 삼성전자 주식회사 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법
KR20220065232A (ko) 2020-11-13 2022-05-20 주식회사 플라잎 강화학습 기반으로 로봇을 제어하는 장치 및 방법

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN103282781B (zh) * 2010-11-23 2015-10-14 安德鲁联合有限公司 用于移液管的可编程操纵的设备和方法
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
NL2006950C2 (en) * 2011-06-16 2012-12-18 Kampri Support B V Cleaning of crockery.
US8843236B2 (en) * 2012-03-15 2014-09-23 GM Global Technology Operations LLC Method and system for training a robot using human-assisted task demonstration
US8996174B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
EP2685403A3 (en) 2012-07-09 2017-03-01 Technion Research & Development Foundation Limited Natural machine interface system
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9384443B2 (en) 2013-06-14 2016-07-05 Brain Corporation Robotic training apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US20150032258A1 (en) * 2013-07-29 2015-01-29 Brain Corporation Apparatus and methods for controlling of robotic devices
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9296101B2 (en) 2013-09-27 2016-03-29 Brain Corporation Robotic control arbitration apparatus and methods
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9248569B2 (en) 2013-11-22 2016-02-02 Brain Corporation Discrepancy detection apparatus and methods for machine learning
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9737990B2 (en) 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US9561587B2 (en) 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
US10089575B1 (en) 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN104959990B (zh) * 2015-07-09 2017-03-15 江苏省电力公司连云港供电公司 一种配网检修机械手臂及其方法
DE102015111748A1 (de) * 2015-07-20 2017-01-26 Deutsche Post Ag Verfahren und Übergabevorrichtung zur Übergabe von personenbezogenen Sendungen
US9751211B1 (en) * 2015-10-08 2017-09-05 Google Inc. Smart robot part
JP6744709B2 (ja) 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
EP3742347B1 (en) * 2016-03-03 2022-11-02 Google LLC Deep machine learning methods and apparatus for robotic grasping
US9914213B2 (en) 2016-03-03 2018-03-13 Google Llc Deep machine learning methods and apparatus for robotic grasping
US10974394B2 (en) 2016-05-19 2021-04-13 Deep Learning Robotics Ltd. Robot assisted object learning vision system
US9981382B1 (en) 2016-06-03 2018-05-29 X Development Llc Support stand to reorient the grasp of an object by a robot
WO2018017616A1 (en) 2016-07-18 2018-01-25 Lael Odhner Assessing robotic grasping
US10430657B2 (en) 2016-12-12 2019-10-01 X Development Llc Object recognition tool
US11042149B2 (en) 2017-03-01 2021-06-22 Omron Corporation Monitoring devices, monitored control systems and methods for programming such devices and systems
WO2018162080A1 (en) * 2017-03-10 2018-09-13 Abb Schweiz Ag Method and device for identifying objects
WO2018185852A1 (ja) 2017-04-04 2018-10-11 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
JP6325174B1 (ja) 2017-04-04 2018-05-16 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
CN110494257B (zh) 2017-04-04 2020-12-18 牧今科技 控制装置、拾取***、物流***、程序、控制方法以及生产方法
DE112017007394B4 (de) * 2017-04-04 2020-12-03 Mujin, Inc. Informationsverarbeitungsvorrichtung, Greifsystem, Verteilersystem, Programm und Informationsverarbeitungsverfahren
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
JP6457587B2 (ja) * 2017-06-07 2019-01-23 ファナック株式会社 ワークの動画に基づいて教示点を設定するロボットの教示装置
JP6948516B2 (ja) * 2017-07-14 2021-10-13 パナソニックＩｐマネジメント株式会社 食器処理機
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及***
US10952591B2 (en) * 2018-02-02 2021-03-23 Dishcraft Robotics, Inc. Intelligent dishwashing systems and methods
PL3769174T3 (pl) * 2018-03-21 2022-10-24 Realtime Robotics, Inc. Planowanie przemieszczania robota do różnych środowisk i zadań oraz jego ulepszone działanie
WO2020061725A1 (en) * 2018-09-25 2020-04-02 Shenzhen Dorabot Robotics Co., Ltd. Method and system of detecting and tracking objects in a workspace
JP7047726B2 (ja) * 2018-11-27 2022-04-05 トヨタ自動車株式会社 把持ロボットおよび把持ロボットの制御プログラム
US20210001488A1 (en) * 2019-07-03 2021-01-07 Dishcraft Robotics, Inc. Silverware processing systems and methods
US11584004B2 (en) 2019-12-17 2023-02-21 X Development Llc Autonomous object learning by robots triggered by remote operators

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58177295A (ja) * 1982-04-07 1983-10-17 株式会社日立製作所 ロボット制御装置
JPS63288683A (ja) * 1987-05-21 1988-11-25 株式会社東芝 組立てロボット
JP3633642B2 (ja) * 1994-02-28 2005-03-30 富士通株式会社 情報の処理装置
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP3529049B2 (ja) * 2002-03-06 2004-05-24 ソニー株式会社 学習装置及び学習方法並びにロボット装置
JP4407244B2 (ja) * 2003-11-11 2010-02-03 ソニー株式会社 ロボット装置及びその物体学習方法
FR2872728B1 (fr) * 2004-07-06 2006-09-15 Commissariat Energie Atomique Procede de saisie d'un objet par un bras de robot muni d'une camera
EP1739594B1 (en) * 2005-06-27 2009-10-28 Honda Research Institute Europe GmbH Peripersonal space and object recognition for humanoid robots
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP4504433B2 (ja) * 2008-01-29 2010-07-14 株式会社東芝 オブジェクト探索装置及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122632A1 (ko) * 2018-12-14 2020-06-18 삼성전자 주식회사 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법
US11911912B2 (en) 2018-12-14 2024-02-27 Samsung Electronics Co., Ltd. Robot control apparatus and method for learning task skill of the robot
KR20220065232A (ko) 2020-11-13 2022-05-20 주식회사 플라잎 강화학습 기반으로 로봇을 제어하는 장치 및 방법

Also Published As

Publication number Publication date
EP2422295A1 (en) 2012-02-29
JP2012524663A (ja) 2012-10-18
US20120053728A1 (en) 2012-03-01
CN102414696A (zh) 2012-04-11
WO2010122445A1 (en) 2010-10-28

Similar Documents

Publication Publication Date Title
KR20120027253A (ko) 물체-학습 로봇 및 방법
CN109483573B (zh) 机器学习装置、机器人***以及机器学习方法
US11548145B2 (en) Deep machine learning methods and apparatus for robotic grasping
EP3486041A3 (en) Gripping system, learning device, and gripping method
US20210205988A1 (en) Task embedding for device control
JP2023025294A (ja) オンデマンド遠隔操作を備えた自律ロボット
WO2017151926A1 (en) Deep machine learning methods and apparatus for robotic grasping
EP3587050A1 (en) Method and system to generate a 3d model for a robot scene
US20160136807A1 (en) Determination of Object-Related Gripping Regions Using a Robot
FR2898824A1 (fr) Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
EP3098034B1 (de) Auswahl eines gerätes oder eines objektes mit hilfe einer kamera
Nagata et al. Picking up an indicated object in a complex environment
JP2015112654A (ja) 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP7324121B2 (ja) 使用器具推定装置及び方法並びに手術補助ロボット
JP6067547B2 (ja) 物体認識装置、ロボット及び物体認識方法
JP2018122376A (ja) 画像処理装置、ロボット制御装置、及びロボット
JP2018039059A (ja) 把持装置、把持方法、及びプログラム
Franzel et al. Detection of collaboration and collision events during contact task execution
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
CN112533739B (zh) 机器人控制装置、机器人控制方法以及存储介质
WO2019064752A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム
Nagata et al. Task instruction by putting task information in work space
US20230415349A1 (en) Method for controlling a robot for manipulating, in particular picking up, an object
WO2019064751A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム
Timmermann et al. AI4Assembly A Human-Robot Collaboration Assembly Application with AI Support

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid