KR101003579B1 - 로봇 시스템 - Google Patents

로봇 시스템 Download PDF

Info

Publication number
KR101003579B1
KR101003579B1 KR1020087010469A KR20087010469A KR101003579B1 KR 101003579 B1 KR101003579 B1 KR 101003579B1 KR 1020087010469 A KR1020087010469 A KR 1020087010469A KR 20087010469 A KR20087010469 A KR 20087010469A KR 101003579 B1 KR101003579 B1 KR 101003579B1
Authority
KR
South Korea
Prior art keywords
gripping
gripping object
hand
robot
unit
Prior art date
Application number
KR1020087010469A
Other languages
English (en)
Other versions
KR20080065281A (ko
Inventor
젠타 나카모토
켄지 마츠쿠마
히로유키 한다
Original Assignee
가부시키가이샤 야스카와덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 야스카와덴키 filed Critical 가부시키가이샤 야스카와덴키
Publication of KR20080065281A publication Critical patent/KR20080065281A/ko
Application granted granted Critical
Publication of KR101003579B1 publication Critical patent/KR101003579B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0009Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39523Set holding force as function of dimension, weight, shape, hardness, surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40607Fixed camera to observe workspace, object, workpiece, global

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

최적인 파지 방법 및 파지력에 의해, 안전하고 안정한 물체 파지를 할 수가 있는 로봇 시스템을 제공한다. 로봇 제어부(7)는 화상 처리부(8)로부터의 화상 정보에 기초하여 파지 물체의 크기 및 형상을 산출하는 파지 물체 정보 산출부(21)와, 산출한 파지 물체 정보에 기초하여 파지 물체를 파지하는 방법을 결정하는 파지 방법 결정부(22)와, 결정된 파지 방법으로 파지 물체의 들어올림을 실행하는 파지 실행부(23)와, 실행시의 각 센서 정보를 하나 이상의 조합으로 처리하고 파지력을 제어하는 센서 정보 처리부(24)와, 센서 정보 처리 결과에 기초하여 파지 물체를 파지하는 방법을 수정하는 파지 방법 수정부(25)를 구비하였다.
파지, 로봇, 제어, 화상 정보, 물체 정보

Description

로봇 시스템{ROBOT SYSTEM}
본 발명은 로봇 핸드(robot hand)가 장착된 로봇 암(robot arm)을 구비한 로봇 시스템(robot system)에 관한 것으로, 특히 화상 및 센서(sensor) 정보에 기초하여 파지를 하는 로봇 시스템에 관한 것이다.
종래의 로봇 시스템은 핸드(hand)부의 접촉 센서(sensor), 위치 센서, 힘 센서, 어긋남 센서를 이용하여 핸드 구동 출력 신호를 보정하고, 또한 물체 파지가 달성되었는지 어떤지를 각 센서의 출력으로 판단하고, 확실한 파지를 달성할 수 있도록 장치를 구성하고 있었다(예를 들면, 특허문헌 1 참조).
또, 파지 물체의 위치를 파악하기 위해서 복수의 카메라(camera)로부터의 화상 정보를 이용하여 그 물체를 파지할 때의 핸드(hand)의 자세·위치를 시뮬레이션(simulation)하고, 파지 물체와 핸드의 상대 관계를 어느 지표에 기초하여 평가하고, 모든 관계에 있어서 평가한 결과로부터 최적인 핸드 자세·위치를 선택하고 있었다(예를 들면, 특허문헌 2 참조).
도 19는 종래 기술을 나타내는 특허문헌 1의 파지 방법을 적용하는 로봇(robot)의 전체 구성도이다.
도 19에 있어서, 101은 로봇 핸드(robot hand), 102는 센서(sensor) 신호 처 리부, 103은 제어 계산기, 104는 구동부, 105는 힘 센서, 106은 위치 센서, 107은 접촉 센서, 108은 어긋남 센서이다.
이하, 도 19를 이용하여 특허문헌 1의 파지 방법을 적용하는 로봇의 전체 구성에 대해서 설명한다.
센서 신호 처리부(102)는 로봇 핸드(101)에 구비되는 4종의 센서, 즉 힘 센서(105), 위치 센서(106), 접촉 센서(107), 어긋남 센서(108)로부터의 신호를 제어 계산기(103)가 처리할 수 있는 신호로 변환하고, 이것을 제어 계산기(103)로 보낸다. 제어 계산기(103)는 센서 신호 처리부(102)로부터의 대상물 파지 상태에 관한 신호를 받아, 로봇 핸드(101)의 물체 파지에 관한 운동을 제어하기 위한 신호를 보정한다. 구동부(104)는 제어 계산기(103)로부터의 제어 신호를 로봇 핸드(101)를 구동할 수 있는 전력으로 변환하여, 로봇 핸드(101)의 구동부(104), 즉 구동 기구 및 모터(motor)에 보내고, 또한 4종의 센서, 즉 힘 센서(105), 위치 센서(106), 접촉 센서(107), 어긋남 센서(108)에 전력을 공급한다. 힘 센서(105)는 적어도 2개 구비하고 파지 때의 파지 대상물로부터 받는 반력(反力)을 계측한다. 위치 센서(106)는 파지 대상물의 파지 간격을 계측한다. 접촉 센서(107)는 적어도 2개 구비하고 파지 대상물과의 접촉 상태를 판정한다. 어긋남 센서(108)는 파지 대상물의 어긋남을 검출한다.
도 20은 종래 기술을 나타내는 특허문헌 1에 있어서의 로봇 시스템의 제어 블록도(block diagram)이다.
도 20에 있어서, 109는 목표 변형률 설정, 110은 반력(反力) 목표값 설정, 111은 변형률 판단, 112는 반력 판단, A는 반력 목표값, B는 목표 변형률, C는 접촉 상황, D는 핸드(hand) 위치, E는 반력이다. 또한, 도 19와 동일 설명 부호의 것은 도 19와 동일 구성 요소를 나타내고 있는 것으로 하고, 그 설명은 생략한다.
이하, 도 20을 이용하여 특허문헌 1에 있어서의 로봇 시스템의 동작을 설명한다.
센서 신호 처리부(102)로부터의 신호를 제어 계산기(103)에 피드백(feedback)함으로써, 파지가 확실히 행해졌는지 어떤지를 판단하고, 접촉 센서(107), 어긋남 센서(108)에 의해 파지 대상물의 어긋남이 검지되는 경우에는, 목표 변형률 설정(109) 내지 반력 목표값 설정(110)을 재차 행하고, 위치 제어 및 힘 제어를 재차 실행한다.
도 21은 종래 기술을 나타내는 특허문헌 2에 있어서의 로봇 시스템의 동작을 설명하는 플로우차트(flow chart)이다.
먼저, 도 21의 플로우차트 중에서 사용되고 있는 용어에 대해서 설명한다.
「총합(S)」이란, 로봇 및 각 부품의 모델(model)을 카메라의 화면에 투영하는 경우의 로봇의 핸드(hand)의 모델에 있어서의 능선(稜線)에 대해서, 로봇의 핸드 이외의 부분의 모델 및 각 부품의 모델에 있어서의 각각의 면에 의해 숨겨지지 않고 보여지고 있는 부분을 구하여, 그 부분의 길이를 3차원 공간 중에서의 길이로 환산한 값의 총합이다.
또, 「평가값(P)」이란, 로봇의 핸드의 모델에 있어서의 모든 능선의 길이를 3차원 공간 중에서의 길이로 환산한 값의 총합을 M으로 했을 때에, P=S/M으로 표시 된다.
다음에, 도 21을 이용하여 종래 기술인 특허문헌 2에 나타나 있는 로봇 시스템에 있어서의 처리 순서를 스텝(step)마다 설명한다.
스텝 ST100에서는, 카메라에 의해 촬영된 화상에 의해, 로봇 및 각 부품을 화면에 투영하는 경우에 대해서 시뮬레이션(simulation)한다. 다음에, 스텝 ST200에서 총합(S)을 산출하여 평가값(P)을 구한다. 그 후, 스텝 ST300에서 모든 파지 위치 및/또는 자세에 대해서 스텝 ST200이 이루어졌는지 확인하고, 스텝 ST400에서 각각의 파지 위치 및/또는 자세의 평가값(P)을 비교한다. 그리고, 스텝 ST500에서 평가값(P)이 최대값으로 되는 파지 위치 및/또는 자세를 선택한다.
이와 같이, 종래 기술에 의한 로봇 시스템에서는 센서 또는 카메라의 어느 것의 정보를 이용하여 물체를 파지하고 있었다.
특허문헌 1: 일본 실용신안공개 1993-31887호 공보(제2페이지, 제1, 3도)
특허문헌 2: 일본 특허공개 1993-150835호 공보(제2-4페이지, 제1도)
<발명이 해결하고자 하는 과제>
그렇지만, 특허문헌 1의 종래 기술에 의한 로봇 시스템(robot systeme)은 화상 정보를 이용하고 있지 않기 때문에, 파지 물체가 소정의 위치에 없으면 로봇 암(robot arm)의 위치 지령이 결정되지 않고, 물체를 파지할 수가 없다고 하는 문제가 있었다.
또, 특허문헌 2의 종래 기술에 의한 로봇 시스템은 화상 정보만을 이용하여 파지 위치 등을 선택하기 때문에, 그 파지 물체의 질량을 알 수 없고, 최적인 파지력의 제어나 양팔로의 최적인 파지 방법의 판단이 행해지지 않아, 파지 물체의 안정성 및 안전성에 문제가 있었다.
본 발명은 이러한 문제점을 감안하여 이루어진 것이고, 최적인 파지 방법 및 파지력에 의해, 안전하고 안정하게 재빨리 물체 파지를 할 수가 있는 로봇 시스템을 제공하는 것을 목적으로 한다.
<과제를 해결하기 위한 수단>
상기 문제를 해결하기 위하여, 청구항 1에 기재된 발명은, 선단에 핸드(hand)부 힘 센서(sensor)를 가지는 손가락을 구비한 핸드부와, 상기 핸드부를 선단에 구비한 단수 또는 복수의 암(arm)부와, 상기 암부를 구비하고 몸통부 힘 센서가 배치된 몸통부와, 파지 물체의 형상을 계측하는 카메라(camera)와, 상기 암부의 움직임을 제어하는 로봇(robot) 제어부와, 상기 카메라에 의해 얻어지는 화상을 처리하는 화상 처리부를 구비한 로봇 시스템(robot system)에 있어서, 상기 로봇 제어부는 상기 화상 처리부로부터의 화상 정보에 기초하여 상기 파지 물체의 크기 및 형상을 산출하는 파지 물체 정보 산출부와, 상기 산출한 파지 물체 정보에 기초하여 상기 파지 물체를 파지하는 방법을 결정하는 파지 방법 결정부와, 상기 결정된 파지 방법으로 상기 파지 물체의 들어올림을 실행하는 파지 실행부와, 상기 실행시의 각 센서 정보를 하나 이상의 조합으로 처리하고 파지력을 제어하는 센서 정보 처리부와, 상기 센서 정보 처리 결과에 기초하여 상기 파지 물체를 파지하는 방법을 수정하는 파지 방법 수정부를 구비하고, 상기 파지 실행부가 실행하는 상기 파지 물체를 파지하는 방법은, 5개 손가락의 상기 핸드부를 가지는 상기 암부를 단수 구비하는 경우에는 한손 3개 손가락 파지, 한손 5개 손가락 파지, 한손 전체 파지 중의 어느 것이고, 5개 손가락의 상기 핸드부를 가지는 상기 암부를 2개 구비하는 경우에는 한손 3개 손가락 파지, 한손 5개 손가락 파지, 한손 전체 파지, 양손 전체 파지, 양팔 전체 파지 중의 어느 것인 것을 특징으로 하고 있다.
또, 청구항 2에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 파지 물체를 파지했을 때에, 상기 파지 물체에 관한 고유의 속성 정보를 파지 물체 데이터(data)로서 기억하고 보유하는 기억부를 구비한 것을 특징으로 하고 있다.
또, 청구항 3에 기재된 발명은, 청구항 2에 기재된 로봇 시스템에 있어서, 상기 파지 물체를 파지했을 때에 상기 기억부에 기억시키는 상기 파지 물체 데이터는, 파지 물체의 크기, 형상, 질량, 농담이라고 하는 상기 파지 물체에 관한 하나 이상의 데이터 및 파지 방법에 관한 데이터인 것을 특징으로 하고 있다.
또, 청구항 4에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 암(arm)부는 상기 암부에 걸리는 부하를 계측하는 암부 힘 센서(sensor)를 구비하고, 상기 로봇 제어부는 상기 암부 힘 센서를 상기 몸통부 힘 센서와 병용하여 파지력의 제어에 이용하는 것을 특징으로 하고 있다.
또, 청구항 5에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 파지 방법 결정부는 상기 파지 물체 정보 산출부에서 산출한 파지 물체 정보에 기초하여 상기 파지 물체의 파지 위치를 산출하고, 파지 방법을 결정하는 것인 것을 특징으로 하고 있다.
또, 청구항 6에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 카메라(camera)의 화상에 의해 얻어진 상기 파지 물체의 크기 및 형상에 기초하여 상기 파지 물체를 파지하기 쉬운 위치로 이동시키는 이동 기구를 구비한 것을 특징으로 하고 있다.
또, 청구항 7에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 로봇 제어부는 상기 파지 물체 정보에 기초하여 파지 가능한지 판단하고, 파지 불가능으로 판단한 경우에는 파지 불가능을 제시하는 제시부를 구비한 것을 특징으로 하고 있다.
또, 청구항 8에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 파지 물체 정보 산출부는 상기 파지 물체에 구비된 ID 태그(tag)로부터 상기 파지 물체를 인식하는 ID 태그 판독부를 구비한 것을 특징으로 하고 있다.
삭제
또, 청구항 10에 기재된 발명은, 청구항 1에 기재된 로봇 시스템에 있어서, 상기 로봇 제어부는 상기 파지 물체를 파지하여 이동시킬 때, 상기 파지 물체의 이동량에 따라, 이동에 이용하는 로봇의 부위, 즉 상기 핸드부, 상기 암부, 로봇 본체를 이동시키는 이동 기구를 구비하는 경우에는 상기 이동 기구를 선택하는 파지 물체 이동 처리부를 구비한 것을 특징으로 하고 있다.
또, 청구항 11에 기재된 발명은, 청구항 10에 기재된 로봇 시스템에 있어서, 상기 로봇 제어부는 상기 파지 물체를 파지하여 이동시킬 때, 상기 핸드부 또는 상기 암부에 있어서의 각 관절의 가동 한계까지의 잔량에 기초하여 상기 파지 물체의 이동에 이용하는 로봇의 상기 각 부위마다의 이동량을 분배하는 이동량 분배부를 구비한 것을 특징으로 하고 있다.
<발명의 효과>
청구항 1에 기재된 발명에 의하면, 화상 정보에 의해 파지 물체의 크기 및 형상을 식별하고, 결정된 방법에 의해 파지를 실행하고, 각 센서의 정보를 이용하여 파지 방법의 수정을 행하도록 하고 있으므로, 과도한 파지력이 발생하는 것을 막을 수가 있고, 파지 물체를 눌러 부수거나 미끄러져 떨어뜨리거나 하는 위험이 경감되어, 최적인 파지 방법과 파지력으로 파지 물체를 안정하게 파지할 수가 있다.
또, 청구항 2에 기재된 발명에 의하면, 파지 물체를 파지했을 때에, 파지 물체에 관한 고유의 속성 정보를 파지 물체 데이터로서 기억하고 보유함으로써, 다음 번 파지시에 파지 방법을 결정하는 처리를 생략할 수가 있으므로, 파지 방법의 제안 처리를 빠르게 할 수가 있다.
또, 청구항 3에 기재된 발명에 의하면, 파지 물체를 파지했을 때에, 파지 물체의 크기, 형상, 질량, 농담이라고 하는 파지 물체에 관한 하나 이상의 데이터 및 파지 방법에 관한 데이터를 파지 물체 데이터로서 기억하고 보유함으로써, 다음 번 파지시에 파지 방법을 결정하는 처리를 생략할 수가 있으므로, 파지 방법의 제안 처리를 빠르게 할 수가 있다.
또, 청구항 4에 기재된 발명에 의하면, 몸통부에 걸리는 부하를 계측하는 힘 센서와 암(arm)부에 걸리는 부하를 계측하는 암부 힘 센서를 구비하였으므로, 껴안기로 파지하는 경우에는 몸통부에 걸리는 힘과 암부에 걸리는 부하를 계측하여 꼭 껴안기 힘을 제어할 수 있고, 최적인 파지력에 의해 안전, 안정하게 파지할 수가 있다.
또, 청구항 5에 기재된 발명에 의하면, 무리한 자세·위치에서의 파지를 피할 수가 있기 때문에, 파지 물체를 보다 안정하고 안전하게 파지할 수가 있다.
또, 청구항 6에 기재된 발명에 의하면, 이동 기구를 구비하였으므로 핸드(hand)부를 파지 위치까지 이동시킬 때에 파지 물체와 핸드부가 간섭하는 것을 막을 수가 있다.
또, 청구항 7에 기재된 발명에 의하면, 명확하게 파지를 할 수 없는 물체에 대해서는 파지를 시도하지 않고 파지 불가능을 제시하기 때문에, 위험 회피로 이어진다.
또, 청구항 8에 기재된 발명에 의하면, 파지 물체에 구비된 ID 태그(tag)로부터 파지 물체를 인식하므로 재빨리 파지 물체를 인식할 수 있다.
또, 청구항 9에 기재된 발명에 의하면, 최적인 파지 방법에 의해 안전, 안정하게 파지할 수가 있다.
또, 청구항 10에 기재된 발명에 의하면, 최적인 파지 물체의 이동 방법에 의해 안전, 안정하게 파지한 물체를 이동시킬 수가 있다.
또, 청구항 11에 기재된 발명에 의하면, 최적인 파지 물체의 이동 방법에 의해 로봇에 무리한 자세를 피하면서 안전, 안정하게 파지한 물체를 이동시킬 수가 있다.
도 1은 본 발명을 실시하는 로봇(robot)의 구성을 나타내는 전체 구성도이다.
도 2는 본 발명을 나타내는 로봇 시스템(robot system)에 있어서의 로봇 제어부의 구성도이다.
도 3은 본 발명의 제1실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트(flow chart)이다.
도 4는 본 발명의 제1실시예를 나타내는 로봇 시스템의 상세 동작을 설명하는 플로우차트이다.
도 5는 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 3개 손가락 파지에 대한 설명도이다.
도 6은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 5개 손가락 파지에 대한 설명도이다.
도 7은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 전체 파지에 대한 설명도이다.
도 8은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 양손 전체 파지에 대한 설명도이다.
도 9는 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 양 팔 전체 파지, 즉 껴안기에 대한 설명도이다.
도 10은 본 발명의 제2실시예를 나타내는 로봇 시스템의 구성도이다.
도 11은 본 발명의 제2실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다.
도 12는 본 발명의 제3실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다.
도 13은 본 발명의 제4실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어부의 구성도이다.
도 14는 본 발명의 제4실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다.
도 15는 본 발명의 제5실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다.
도 16은 본 발명의 제6실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어부의 구성도이다.
도 17은 본 발명의 제6실시예를 나타내는 로봇 시스템에 있어서의 파지 물체 이동 처리부의 동작을 설명하는 플로우차트이다.
도 18은 본 발명의 제7실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어부의 구성도이다.
도 19는 종래 기술을 나타내는 특허문헌 1의 파지 방법을 적용하는 로봇의 전체 구성도이다.
도 20은 종래 기술을 나타내는 특허문헌 1에 있어서의 로봇 시스템의 제어 블록도(block diagram)이다.
도 21은 종래 기술을 나타내는 특허문헌 2에 있어서의 로봇 시스템의 동작을 설명하는 플로우차트이다.
<부호의 설명>
1 핸드(hand)부 힘 센서(sensor)
2 핸드부
3 암(arm)부
4 몸통부 힘 센서
5 몸통부
6 카메라(camera)
7 로봇(robot) 제어부
8 화상 처리부
9 기억부
10 암(arm)부 힘 센서
11 이동 기구
12 파지 물체
21 파지 물체 정보 산출부
22 파지 방법 결정부
23 파지 실행부
24 센서(sensor) 정보 처리부
25 파지 방법 수정부
26 제시부
27 파지 물체 이동 처리부
28 이동량 분배부
101 로봇 핸드(robot hand)
102 센서 신호 처리부
103 제어 계산기
104 구동부
105 힘 센서
106 위치 센서
107 접촉 센서
108 어긋남 센서
109 목표 변형률 설정
110 반력 목표값 설정
111 변형률 판단
112 반력 판단
이하, 본 발명의 구체적 실시예에 대해서, 도에 기초하여 설명한다.
실시예 1
도 1은 본 발명을 실시하는 로봇(robot)의 구성을 나타내는 전체 구성도이다.
도 1에 있어서, 1은 핸드(hand)부 힘 센서(sensor), 2는 핸드(hand)부, 3은 암(arm)부, 4는 몸통부 힘 센서, 5는 몸통부, 6은 카메라(camera), 7은 로봇(robot) 제어부, 8은 화상 처리부, 10은 암(arm)부 힘 센서, 11은 이동 기구이다.
이하, 도 1을 이용하여 본 발명을 실시하는 로봇의 전체 구성에 대해서 설명한다.
로봇의 몸통부(5)는 2개의 암(arm)부(3)를 구비하고, 몸통부(5)에 걸리는 부하를 계측하는 몸통부 힘 센서(sensor)(4)가 배치되어 있다. 각각의 암부(3)는 핸드(hand)부(2)를 선단에 구비하고 있다. 핸드부(2)는 선단에 핸드부 힘 센서(1)를 가지는 손가락을 5개 구비하고 있다. 로봇의 몸통부(5)에 설치된 2대의 카메라(camera)(6)는 파지 물체의 형상을 계측한다. 로봇 제어부(7)는 암부(3)의 움직임을 제어한다. 로봇의 화상 처리부(8)는 카메라(6)에 의해 얻어지는 화상을 처리한다. 이동 기구(11)는 로봇의 위치를 이동시키는 것이다.
또한, 몸통부 힘 센서(4)는 넓은 범위에서 몸통부에 걸리는 부하를 계측할 수 있는 센서이면 힘 센서 이외의 센서라도 좋고, 또 몸통부(5) 이외에, 예를 들면, 암부(3)에 걸리는 부하를 계측하는 센서, 예를 들면, 암부 힘 센서(10)를 병용해도 좋다.
도 2는 본 발명을 나타내는 로봇 시스템(robot system)에 있어서의 로봇 제 어부의 구성도이다.
도 2에 있어서, 21은 파지 물체 정보 산출부, 22는 파지 방법 결정부, 23은 파지 실행부, 24는 센서(sensor) 정보 처리부, 25는 파지 방법 수정부이다. 또, 도 2에 있어서, 도 1과 동일 설명 부호의 것은 도 1과 동일 구성 요소를 나타내는 것으로 하고, 그 설명은 생략한다.
이하, 도 2를 이용하여 본 발명의 로봇 시스템에 있어서의 로봇 제어부(7)의 구성에 대해서 설명한다.
카메라(camera)(6)에 의해 얻어지는 화상을 화상 처리부(8)에서 처리하고, 파지 물체 정보 산출부(21)는 화상 처리부(8)로부터의 화상 정보에 기초하여 파지 물체의 크기 및 형상을 산출한다. 파지 방법 결정부(22)는 파지 물체 정보 산출부(21)로부터의 파지 물체 정보에 기초하여 파지 물체를 파지하는 방법을 결정한다. 파지 실행부(23)는 파지 방법 결정부(22)로부터의 파지 방법에 따라 암(arm)부(3)를 제어하고, 파지 물체의 들어올림을 실행한다. 센서(sensor) 정보 처리부(24)는 파지 실행시의 각 센서 정보를 하나 이상의 조합으로 처리하고 파지력을 제어한다. 파지 방법 수정부(25)는 이 센서 정보 처리 결과에 기초하여 파지 방법을 수정하고, 파지 물체를 파지하는 방법을 수정한다. 
도 3은 본 발명의 제1실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다.
이하, 도 3을 이용하여 본 발명에 있어서의 로봇 시스템의 동작에 대해서 먼저 그 개요를 설명한다.
처음에, 스텝(step) ST1에서는, 파지 물체 정보 산출부(21)는 카메라(6)에 의해 얻어지는 화상에서 파지 물체의 크기 및 형상을 산출한다.
다음에, 스텝 ST2에서는, 파지 방법 결정부(22)는 산출된 파지 물체의 크기에 따라 파지 방법을 가(假)제안한다.
다음에, 스텝 ST3에서는, 파지 실행부(23)는 결정된 파지 방법으로 실제로 파지하여, 파지 물체의 들어올림을 실행한다.
다음에, 스텝 ST4에서는, 센서 정보 처리부(24)는 파지시의 힘·미끄러짐, 즉, 각 힘 센서의 정보로부터 결정된 파지 방법으로는 미끄러짐·불안정 등 때문에 파지할 수 없다고 판단하기 위한 정보를 수집한다.
다음에, 스텝 ST5에서는, 센서 정보 처리부(24)는 스텝 ST4에서 얻어진 정보에 의해, 손가락·손으로 파지하는 경우에는 손가락 끝에 걸리는 힘을 계측하여 파지력을 제어하고, 양팔 전체로 파지하는 경우에는 몸통부에 걸리는 힘을 계측하여 꼭 껴안기 힘을 제어한다.
마지막으로, 스텝 ST6에서, 파지 방법 수정부(25)는 스텝 ST2에서 결정된 파지 방법 및 스텝 ST5에서 제어된 파지력으로 파지 물체의 파지가 가능한지를 판단하고, 파지가 불가능으로 판단된 경우에는 스텝 ST2에서 결정된 파지 방법을 수정하고, 수정된 파지 방법에 의해, 다시 스텝 ST2∼스텝 ST6을 파지가 가능으로 판단될 때까지 반복하고, 현 상태의 로봇 구성으로는 파지가 불가능으로 판단된 경우에는 파지를 포기한다.
도 4는 본 발명의 제1실시예를 나타내는 로봇 시스템의 상세 동작을 설명하 는 플로우차트이고, 5개 손가락을 가지는 핸드부를 구비하고, 로봇 암부를 2개 구비한 전술의 도 1에 나타낸 로봇을 예로 한 것이다.
또, 도 5는 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 3개 손가락 파지에 대한 설명도이고, 도 6은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 5개 손가락 파지에 대한 설명도이고, 도 7은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 한손 전체 파지에 대한 설명도이고, 도 8은 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 양손 전체 파지에 대한 설명도이고, 도 9는 본 발명을 나타내는 로봇 시스템에 있어서의 파지 방법의 하나인 양팔 전체 파지, 즉 껴안기에 대한 설명도이다. 또, 도 5, 6, 7, 8에 있어서 12는 파지 물체이다.
이하, 도 4, 5, 6, 7, 8, 9를 이용하여 본 실시예의 로봇 시스템에 있어서의 파지 동작에 대해서, 파지 물체의 형상·크기를 인식하고 나서 안정한 파지를 실현할 때까지의 상세한 흐름을 설명한다.
스텝 ST11에서, 파지 물체 정보 산출부(21)는 카메라(6)에 의해 취득된 화상 정보에 의해 파지 물체의 크기 및 형상을 산출한다.
스텝 ST12에서, 파지 방법 결정부(22)는 산출한 파지 물체의 크기 및 형상으로부터, 암부 및 핸드부의 치수나 능력에 의해 한손으로 파지가 가능한지 판단한다.
스텝 ST12에서 한손으로의 파지가 가능으로 판단된 경우에는, 스텝 ST13에서 도 5에 나타내는 것과 같은 3개의 손가락으로의 파지가 가능한지 판단한다. 스텝 ST13에서 3개의 손가락으로의 파지가 가능으로 판단된 경우에는, 스텝 ST14에서 결정된 파지 방법으로서 「3개의 손가락으로 파지」를 선택한다. 스텝 ST13에서 3개의 손가락으로의 파지가 불가능으로 판단된 경우에는, 스텝 ST15에서 화상 정보에 의해 도 6에 나타내는 것과 같은 5개의 손가락으로의 파지가 가능한지를 판단한다. 스텝 ST15에서 5개의 손가락으로의 파지가 가능으로 판단된 경우에는, 스텝 ST16에서, 결정된 파지 방법으로서 「5개의 손가락으로 파지」를 선택하고, 스텝 ST15에서 5개의 손가락으로의 파지가 불가능, 즉 한손 전체로 파지하는 것이 필요하다고 판단된 경우에는, 스텝 ST17에서 도 7에 나타내는 것과 같은 「한손 전체로 파지한다」를 결정된 파지 방법으로서 선택한다.
한편, 전술의 스텝 ST12에서, 한손으로의 파지가 불가능으로 판단된 경우에는, 스텝 ST18에서 도 8에 나타내는 것과 같은 양손으로의 파지가 가능한지 판단한다. 스텝 ST18에서 양손으로의 파지가 가능으로 판단된 경우에는, 스텝 19에서, 결정된 파지 방법으로서 「양손으로 파지한다」를 선택한다. 또, 스텝 ST18에서 양손으로의 파지가 불가능, 즉 양팔 전체로 파지하는 것이 필요하다고 판단된 경우에는, 스텝 ST20에서 도 9에 나타내는 것과 같은 「양팔 전체로 파지」, 즉 껴안는 것을 결정된 파지 방법으로서 선택한다.
파지 실행부(23)는 이상 기술한 스텝 ST11∼20의 순서로 파지 방법 결정부(22)에 의해 결정된 파지 방법에 의해 실제로 파지를 실행하고, 센서 정보 처리부(24)에서는, 각 센서에서 계측되는 센서부의 반력(反力)이나 미끄러짐으로부터, 결정된 파지 방법이 타당한지, 즉 파지 가능한지 센서 정보를 이용하여 파지력의 제어를 행하고, 파지력이 약하다고 판단된 경우에는, 파지 방법 수정부(25)에 의해 1단계 상의 파지 방법으로 수정한다. 즉, 3개 손가락으로의 파지가 가(假)제안되어 있었던 경우에는, 스텝 ST21에서 5개 손가락으로의 파지 방법을 제안하고, 5개 손가락으로의 파지가 가제안되어 있으면, 스텝 ST22에서 한손 전체의 파지를 제안하고, 한손 전체의 파지가 가제안되어 있으면, 스텝 ST23에서 양손으로의 파지를 제안하고, 양손으로의 파지가 가제안되어 있으면, 스텝 ST24에서 양팔로의 파지, 즉 껴안기로 수정한다.
스텝 ST21∼24에 의한 수정을, 각 센서에 의한 계측값에 의해 파지 가능으로 판단될 때까지 반복하고, 실제로 파지를 실행한다.
이때, 양팔로의 파지, 즉 껴안기 이외의 파지 방법의 경우에는, 스텝 ST26에서 핸드부 힘 센서(1)에 걸리는 힘을 계측하여 필요 최소한의 파지력이 되도록 파지력을 제어하고, 양팔로의 파지를 하는 경우에는, 스텝 ST27에서 몸통부에 걸리는 힘을 몸통부 힘 센서(4)에 의해 계측하여 필요 최소한의 파지력, 즉 껴안기 힘이 되도록 파지력을 제어한다. 또, 양팔로도 파지할 수 없는 경우에는, 스텝 ST25에서 파지 불가능으로 판단한다.
본 실시예에 관계되는 로봇 시스템은 이러한 구성 및 동작에 의해, 과도한 파지력이 발생하는 것을 막을 수가 있고, 파지 물체를 눌러 부수거나 미끄러져 떨어뜨리거나 하는 위험이 경감되고, 최적인 파지 방법과 파지력으로 파지 물체를 안정하게 파지할 수가 있다.
실시예 2
도 10은 본 발명의 제2실시예를 나타내는 로봇 시스템의 구성도이다.
도 10에 있어서 9는 기억부이다. 또, 도 1과 동일 설명 부호의 것은 도 1과 동일 구성 요소를 나타내는 것으로 하고, 그 설명은 생략한다.
본 실시예와 제1실시예의 상위한 점은, 본 실시예의 로봇 시스템은 파지 물체를 파지했을 때에, 파지 물체에 관한 고유의 속성 정보, 즉 파지 물체의 크기, 형상, 질량, 농담이라고 하는 파지 물체에 관한 하나 이상의 데이터 및 파지 방법에 관한 데이터를 파지 물체 데이터로서 기억하고 보유하는 기억부(9)를 구비하도록 하고 있다는 점이다.
도 11은 본 발명의 제2실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다. 또, 제1실시예를 나타내는 도 4와 동일 스텝 ST 번호의 것은 도 4와 동일 처리 내용을 나타내고 있는 것으로 한다. 본 실시예의 로봇 시스템의 동작이 제1실시예와 다른 점은, 이하에 기술하는 스텝 ST31, 32를 제1실시예의 스텝 ST11의 앞에 가지고 있다는 점이다.
이하, 도 11을 이용하여 본 실시예의 로봇 시스템의 동작에 대해서 설명한다.
먼저, 스텝 ST31에서, 로봇은 파지 물체에 접근했을 때에 파지 물체를 인식한다.
다음에, 스텝 ST32에서, 스텝 ST31에서 인식한 파지 물체와, 파지시에 기억부(9)에 기억되고 보유하고 있는 파지 물체를 인식하는데 필요로 하는 파지 물체 데이터를 비교하여, 이전에 파지한 일이 있는지 어떤지 판단한다.
스텝 ST32의 판단의 결과, 이전에 파지한 파지 물체인 경우에는, 스텝 ST33에서 제1실시예의 스텝 ST11 내지 스텝 ST20을 스킵(skip)하여, 기억부(9)의 파지 물체 데이터로부터 파지에 관한 데이터를 호출하고, 이 호출한 파지 방법을 결정한다. 이후의 순서는 제1실시예에서 나타낸 스텝 ST21∼27과 동일하므로 설명은 생략한다.
한편, 스텝 ST32의 판단의 결과, 이전에 파지한 파지 물체가 아닌 경우에는, 제1실시예와 동일 처리, 즉 도 4에 나타낸 스텝 ST11∼27의 처리를 한다.
또한, 스텝 ST31에서 파지 물체를 인식하는 방법으로서는, 로봇에 구비된 카메라(camera)(6)를 이용해도 좋고, 다른 수단, 예를 들면 파지 물체 정보 산출부(21)에 ID 태그(tag) 판독부(미도시)를 구비하고, 파지 물체에 구비된 ID 태그로부터 파지 물체를 인식하도록 해도 좋고, 파지 물체를 인식할 수 있는 것이면 제한 없다.
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지 물체의 정보를 파지시에 기억부(9)에 기억 보유하고, 과거에 파지한 일이 있는 파지 물체를 파지할 때에는 이 기억 정보를 호출함으로써, 파지 물체의 형상을 인식하고 나서 파지 방법의 결정까지의 순서를 생략하는 방법을 취하므로, 파지할 때까지의 시간을 단축할 수가 있다.
실시예 3
본 실시예에 있어서의 로봇 시스템의 구성은 제1실시예를 나타내는 도 1, 2와 동일하므로, 그 설명은 생략한다.
본 실시예의 로봇 시스템이 제1실시예와 상위한 점은, 본 실시예는 카메라(6)의 화상에 의해 얻어진 파지 물체의 크기 및 형상으로부터 파지 위치를 결정하는 동작인 스텝 ST41을 제1실시예의 스텝 ST11과 스텝 ST12의 사이에 구비하도록 하고 있다는 점이다.
도 12는 본 발명의 제3실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다. 또, 제1실시예를 나타내는 도 4와 동일 스텝 ST 번호의 것은 도 4와 동일 처리 내용을 나타내고 있는 것으로 한다.
이하, 도 12를 이용하여 본 실시예의 로봇 시스템에 있어서의 동작을 설명한다.
스텝 ST11에서, 카메라(6)에 의해 얻어지는 화상으로 파지 물체의 크기 및 형상을 산출하고, 스텝 ST41에서 그 크기·형상으로부터 최적으로 판단되는 파지 위치·자세를 결정한다. 예를 들면, 손잡이가 있는 경우에는 파지 물체의 중심을 파지하지 않고 손잡이를 파지하도록 한다. 이후의 스텝은 제1실시예를 나타내는 도 4의 스텝 ST12∼27과 동일하므로 설명은 생략한다.
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지 물체의 크기·형상으로부터 파지할 때의 위치·자세를 결정하도록 하고 있으므로, 무리한 자세·위치에서의 파지를 피할 수가 있고, 막연히 파지하는 것보다도 작은 파지력으로 보다 안정하게 물체를 파지할 수가 있다. 
실시예 4
도 13은 본 발명의 제4실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어 부의 구성도이다.
도 13에 있어서, 26은 제시부이다. 또한, 제1실시예를 나타내는 도 1, 2와 동일 설명 부호의 것은 도 1, 2와 동일 구성 요소를 나타내는 것으로 하고, 그 설명은 생략한다.
본 실시예가 특징으로 하는 점은 이하와 같다.
즉, 본 실시예의 로봇 시스템에 있어서의 로봇 제어부(7)는 파지 물체 정보에 기초하여 파지 가능한지 판단하고, 파지 불가능으로 판단한 경우에는 파지 불가능을 제시하는 제시부(26)를 구비하도록 하고 있다는 점이다.
도 14는 본 발명의 제4실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다. 또, 제1실시예를 나타내는 도 4와 동일 스텝 ST 번호의 것은 도 4와 동일 처리 내용을 나타내고 있는 것으로 한다.
이하, 도 14를 이용하여 본 실시예의 로봇 시스템에 있어서의 동작을 설명한다.
스텝 ST11에서, 카메라(6)에 의해 얻어지는 화상에서 파지 물체의 크기 및 형상을 산출한 후에, 스텝 ST51에서 파지 물체의 크기·형상으로부터 양팔로 파지 가능한지 판단하고, 양팔로도 파지 불가능으로 판단한 경우에는 파지 방법의 결정 및 파지의 실행을 하지 않고, 즉 스텝 ST12∼27의 처리 동작을 행하지 않고, 스텝 ST52에서 파지 불가능인 것을 제시한다.
또한, 이 제시부(26)에 의한 제시 방법은 알람(alarm)음의 발음, 파지 불가능을 나타내는 동작 등, 위험하지 않다면 방법을 가리지 않는다.
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지 물체를 파지 불가능으로 판단하면, 파지 방법의 결정 및 파지의 실행을 생략하도록 하고 있으므로, 파지 물체를 인식하고 나서 파지 불가능으로 판단할 때까지의 처리 시간을 단축할 수가 있고, 또, 명확하게 파지를 할 수 없는 물체에 대해서는 파지하지 않고 파지 불가능을 제시하기 때문에, 위험 회피로 이어진다.
실시예 5
본 실시예에 있어서의 로봇 시스템의 구성은 제1실시예를 나타내는 도 1, 2와 동일하므로, 그 설명은 생략한다.
본 실시예가 제1실시예와 상위한 점은 이하와 같다.
즉, 본 실시예에서는 카메라(6)의 화상에 의해 얻어진 파지 물체의 크기 및 형상에 기초하여, 파지 물체를 파지하기 쉬운 위치로 이동 기구(11)를 이용하여 이동시키도록 하고 있다는 점이다. 즉, 제1실시예의 스텝 ST11과 스텝 ST12의 사이에, 로봇의 위치를 이동시킬지 판단하는 스텝 ST60과, 이동 기구(11)를 이용하여 로봇의 위치를 이동시키는 스텝 ST61을 구비하도록 하고 있다는 점이다.
도 15는 본 발명의 제5실시예를 나타내는 로봇 시스템의 동작을 설명하는 플로우차트이다. 또, 제1실시예를 나타내는 도 4와 동일 스텝 ST 번호의 것은 도 4와 동일 처리 내용을 나타내고 있는 것으로 한다.
이하, 도 15를 이용하여 본 실시예의 로봇 시스템에 있어서의 동작을 설명한다.
스텝 ST11에서, 카메라(6)에 의해 얻어지는 화상에서 파지 물체의 크기 및 형상을 산출한 후, 스텝 ST60에서 그 크기·형상으로부터 로봇의 위치를 이동시키는 편이 용이·안전하게 핸드부(2)를 파지 위치까지 이동시킬 수가 있을지 판단하고, 로봇의 위치를 이동시키는 편이 용이·안전하다고 판단한 경우에는, 스텝 ST61에서 이동 기구(11)를 이용하여 로봇의 위치를 이동시킨다. 예를 들면, 비중이 큰 작은 물체를 파지하는 경우, 몸통부(5)에 가까운 위치에서 파지하는 편이 안전하기 때문에, 파지 물체를 인식하고 나서 이동 기구(11)를 이용하여 파지 물체에 접근한다. 이후의 스텝은 제1실시예인 도 4의 스텝 ST12∼27과 동일하므로 설명은 생략한다. 
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지 물체의 크기·형상을 인식한 후에, 이동 기구(11)를 이용하여 로봇의 위치를 조절하도록 하고 있으므로, 핸드부를 파지 위치까지 이동시킬 때에 파지 물체와 핸드부가 간섭하는 것을 막을 수가 있고, 용이·안전하게 물체를 파지할 수가 있다.
실시예 6
도 16은 본 발명의 제6실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어부의 구성도이다.
도 16에 있어서, 27은 파지 물체 이동 처리부이다. 또, 제1실시예를 나타내는 도 1, 2와 동일 설명 부호의 것은 도 1, 2와 동일 구성 요소를 나타내는 것으로 하고, 그 설명은 생략한다.
본 실시예가 특징으로 하는 점은 이하와 같다.
즉, 로봇 제어부(7)는 파지 물체를 파지하여 이동시킬 때, 파지 물체의 이동 량에 따라, 이동에 이용하는 로봇의 부위, 즉 핸드부(2), 암부(3), 로봇 본체를 이동시키는 이동 기구(11)를 구비하는 경우에는 이동 기구(11)를 선택하는 파지 물체 이동 처리부(27)를 구비하도록 하고 있다는 점이다.
도 17은 본 발명의 제6실시예를 나타내는 로봇 시스템에 있어서의 파지 물체 이동 처리부의 동작을 설명하는 플로우차트이다.
이하, 도 17을 이용하여 본 실시예의 로봇 시스템에 있어서의 파지 물체 이동 처리부(27)의 동작을 설명한다.
파지 실행부(23)에서 파지의 실행을 하고 있을 때에, 예를 들면 티칭 팬던트(teaching pendant)(도시하지 않음) 또는 센서(sensor) 정보 처리부(24)로부터의 정보에 의한 외란 회피 지령 등의 파지 물체 이동 지령을 받은 경우, 스텝 ST1001에서 그 파지의 실행이 파지를 완료하고 있는 동작인지를 판단하고, 파지가 완료되어 있지 않은 경우에는, 각 센서로부터의 센서 정보를 기초로 센서 정보 처리부(24)에서 파지력을 제어하고, 파지 방법 수정부(25)에서 파지 방법에 수정이 필요하다고 판단된 경우에는 파지 방법을 수정한다. 스텝 ST1001에서 그 파지의 실행이 파지를 완료하고 있는 동작으로 판단된 경우에는, 스텝 ST1002에서, 먼저 받은 파지 물체의 이동 지령에 의한 이동량이 핸드부(2)만으로 대응이 가능한 이동량인지 판단한다. 이동량이 핸드부(2)의 가동 범위를 초과하지 않는 경우에는, 스텝 ST1003에서 핸드부(2)만으로 파지 대상물을 이동시키고, 핸드부(2)의 가동 범위를 초과하는 경우에는, 스텝 ST1004에서, 먼저 받은 파지 물체의 이동 지령에 의한 이동량이 암부(3)만으로 대응이 가능한 이동량인지 판단한다. 이동량이 암부(3)의 가 동 범위를 초과하지 않는 경우에는, 스텝 ST1005에서 암부(3)만으로 파지 대상물을 이동시키고, 암부(3)의 가동 범위를 초과하는 경우에는, 스텝 ST1006에서 이동 기구(11)로 파지 대상물을 이동시킨다.
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지 물체를 파지하고 있을 때에 파지 물체의 이동 지령을 받으면, 각 이동 수단의 가동 범위를 고려하여 이동 수단의 결정을 행하므로, 최적인 파지 물체의 이동 방법에 의해 안전, 안정하게 파지한 물체를 이동시킬 수가 있다.
실시예 7
도 18은 본 발명의 제7실시예를 나타내는 로봇 시스템에 있어서의 로봇 제어부의 구성도이다.
도 18에 있어서, 28은 이동량 분배부이다. 또, 제6실시예를 나타내는 도 16과 동일 설명 부호의 것은 도 16과 동일 구성 요소를 나타내는 것으로 하고, 그 설명은 생략한다.
본 실시예가 제6실시예와 상위한 점은 이하와 같다.
즉, 본 실시예의 로봇 제어부(7)는 파지 물체를 파지하여 이동시킬 때, 핸드부(2) 또는/및 암부(3)에 있어서의 각 관절의 가동 한계까지의 잔량에 기초하여, 파지 물체의 이동에 이용하는 로봇의 각 부위마다의 이동량을 분배하는 이동량 분배부(28)를 구비하도록 하고 있다는 점이다.
이하, 도 18을 이용하여 본 실시예의 로봇 시스템에 있어서의 이동량 분배부(28)의 동작을 설명한다.
로봇 제어부(7)가, 파지되어 있는 물체를 이동시키는 지령을 받았을 때에, 이동량 분배부(28)는 파지 물체 이동 처리부(27)가 처리한 각 부위의 이동량을 각 부위에 무리가 없게, 가동 한계까지 여유가 있는 부위를 우선시키고 이동량을 분배한다. 예를 들면, 어느 파지 자세에 있어서, 지령된 파지 물체의 이동량이 15mm이고, 핸드부는 가동 한계까지 20mm의 여유가 있고, 암부는 가동 한계까지 10mm의 여유가 있는 경우에는, 핸드부를 10mm만큼 이동시키고, 암부는 5mm만큼 이동시킨다.
이와 같이, 본 실시예에 관계되는 로봇 시스템은 파지되어 있는 물체를 이동시키는 지령을 받았을 때에, 이동량을 각 부위에 무리가 없게 이동량을 분배하므로, 최적인 파지 물체의 이동 방법에 의해 로봇에 무리한 자세를 피하면서 안전, 안정하게 파지한 물체를 이동시킬 수가 있다.
본 발명의 로봇 시스템은 카메라 화상과 손가락 끝 또는 몸통부의 센서의 정보를 이용하여 파지 방법을 결정한다고 하는 구성을 하고 있기 때문에 과도한 파지력의 발생을 방지할 수가 있으므로, 인간과의 협조 작업을 행한다고 하는 용도의 로봇 장치에도 적용할 수 있다.

Claims (11)

  1. 선단에 핸드부 힘 센서(1)를 가지는 손가락을 구비한 핸드부(2)와,
    상기 핸드부(2)를 선단에 구비한 단수 또는 복수의 암부(3)와,
    상기 암부(3)를 구비하고 몸통부 힘 센서(4)가 배치된 몸통부(5)와,
    파지 물체의 형상을 계측하는 카메라(6)와,
    상기 암부(3)의 움직임을 제어하는 로봇 제어부(7)와,
    상기 카메라(6)에 의해 얻어지는 화상을 처리하는 화상 처리부(8)를 구비한 로봇 시스템에 있어서,
    상기 로봇 제어부(7)는,
    상기 화상 처리부(8)로부터의 화상 정보에 기초하여 상기 파지 물체의 크기 및 형상을 산출하는 파지 물체 정보 산출부(21)와,
    상기 파지 물체 정보 산출부(21)에서 산출한 상기 파지 물체의 크기 및 형상에 기초하여 상기 파지 물체의 파지 위치를 산출하고 파지 방법을 결정하는 파지 방법 결정부(22)와,
    상기 결정된 파지 방법으로 상기 파지 물체의 들어올림을 실행하는 파지 실행부(23)와,
    상기 실행시의 각 센서 정보를 하나 이상의 조합으로 처리하고 파지력을 제어하는 센서 정보 처리부(24)와,
    상기 센서 정보 처리 결과에 기초하여 상기 파지 물체를 파지하는 방법을 수정하는 파지 방법 수정부(25)를 구비하고,
    상기 파지 실행부(23)가 실행하는 상기 파지 물체를 파지하는 방법은,
    5개 손가락의 상기 핸드부(2)를 가지는 상기 암부(3)를 단수 구비하는 경우에는 한손 3개 손가락 파지, 한손 5개 손가락 파지, 한손 전체 파지 중의 어느 것이고,
    5개 손가락의 상기 핸드부(2)를 가지는 상기 암부(3)를 2개 구비하는 경우에는 한손 3개 손가락 파지, 한손 5개 손가락 파지, 한손 전체 파지, 양손 전체 파지, 양팔 전체 파지 중의 어느 것이며,
    상기 암부(3)는, 상기 암부(3)에 걸리는 부하를 계측하는 암부 힘 센서(10)를 구비하고,
    상기 로봇 제어부(7)는 상기 암부 힘 센서(10)를 상기 몸통부 힘 센서(4)와 병용하여 파지력의 제어에 이용하는 것을 특징으로 하는 로봇 시스템.
  2. 제1항에 있어서, 
    상기 파지 물체를 파지했을 때에, 상기 파지 물체에 관한 고유의 속성 정보를 파지 물체 데이터로서 기억하고 보유하는 기억부(9)를 구비한 것을 특징으로 하는 로봇 시스템.
  3. 제2항에 있어서, 
    상기 파지 물체를 파지했을 때에 상기 기억부(9)에 기억시키는 상기 파지 물체 데이터는, 파지 물체의 크기, 형상, 질량, 농담이라고 하는 상기 파지 물체에 관한 하나 이상의 데이터 및 파지 방법에 관한 데이터인 것을 특징으로 하는 로봇 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 
    상기 카메라(6)의 화상에 의해 얻어진 상기 파지 물체의 크기 및 형상에 기초하여 상기 파지 물체를 파지하기 쉬운 위치로 이동시키는 이동 기구(11)를 구비한 것을 특징으로 하는 로봇 시스템.
  7. 제1항에 있어서, 
    상기 로봇 제어부(7)는,
    상기 파지 물체 정보에 기초하여 파지 가능한지 판단하고, 파지 불가능으로 판단한 경우 파지 불가능을 제시하는 제시부(26)를 구비한 것을 특징으로 하는 로봇 시스템.
  8. 제1항에 있어서, 
    상기 파지 물체 정보 산출부(21)는,
    상기 파지 물체에 구비된 ID 태그로부터 상기 파지 물체를 인식하는 ID 태그 판독부를 구비한 것을 특징으로 하는 로봇 시스템.
  9. 삭제
  10. 제1항에 있어서, 
    상기 로봇 제어부(7)는,
    상기 파지 물체를 파지하여 이동시킬 때, 상기 파지 물체의 이동량에 따라, 이동에 이용하는 로봇의 부위, 즉 상기 핸드부(2), 상기 암부(3), 로봇 본체를 이동시키는 이동 기구(11)를 구비하는 경우에는 상기 이동 기구(11)를 선택하는 파지 물체 이동 처리부(27)를 구비한 것을 특징으로 하는 로봇 시스템.
  11. 제10항에 있어서, 
    상기 로봇 제어부(7)는,
    상기 파지 물체를 파지하여 이동시킬 때, 상기 핸드부(2) 또는 상기 암부(3)에 있어서의 각 관절의 가동 한계까지의 잔량에 기초하여 상기 파지 물체의 이동에 이용하는 로봇의 상기 각 부위마다의 이동량을 분배하는 이동량 분배부(28)를 구비한 것을 특징으로 하는 로봇 시스템.
KR1020087010469A 2006-02-02 2007-01-19 로봇 시스템 KR101003579B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006025865 2006-02-02
JPJP-P-2006-00025865 2006-02-02

Publications (2)

Publication Number Publication Date
KR20080065281A KR20080065281A (ko) 2008-07-11
KR101003579B1 true KR101003579B1 (ko) 2010-12-22

Family

ID=38327313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087010469A KR101003579B1 (ko) 2006-02-02 2007-01-19 로봇 시스템

Country Status (7)

Country Link
US (1) US8260463B2 (ko)
EP (1) EP1992455B1 (ko)
JP (1) JP5013270B2 (ko)
KR (1) KR101003579B1 (ko)
CN (1) CN101360588B (ko)
TW (1) TW200744806A (ko)
WO (1) WO2007088735A1 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751938B2 (en) * 2007-07-05 2010-07-06 Panasonic Corporation Robot arm control device and control method, robot, and control program
KR101012739B1 (ko) * 2008-12-10 2011-02-09 경상대학교산학협력단 인간형 로봇의 지능형 손 및 이를 이용한 미지물체 파지방법
JP4957753B2 (ja) * 2009-06-15 2012-06-20 セイコーエプソン株式会社 ロボット、搬送装置、及び慣性センサーを用いた制御方法
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
US9586471B2 (en) * 2013-04-26 2017-03-07 Carla R. Gillett Robotic omniwheel
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
JP5652042B2 (ja) * 2010-08-06 2015-01-14 セイコーエプソン株式会社 ロボット装置、ロボット装置の制御方法およびプログラム
KR101308373B1 (ko) * 2010-11-17 2013-09-16 삼성전자주식회사 로봇 제어방법
JP5441018B2 (ja) * 2011-03-15 2014-03-12 株式会社安川電機 ロボットシステム
JP2012206219A (ja) * 2011-03-30 2012-10-25 Seiko Epson Corp ロボット制御装置及びロボットシステム
US9815193B2 (en) * 2011-06-27 2017-11-14 Delaware Capital Formation, Inc. Electric motor based holding control systems and methods
JP5351946B2 (ja) 2011-08-10 2013-11-27 株式会社安川電機 梱包装置
KR101279993B1 (ko) * 2011-10-07 2013-07-15 이학용 전단지 배포 로봇
CN102672702A (zh) * 2012-04-18 2012-09-19 艾利和电子科技(中国)有限公司 一种多功能的智能机器人
US9120233B2 (en) * 2012-05-31 2015-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
JP6089695B2 (ja) * 2012-12-27 2017-03-08 セイコーエプソン株式会社 ロボット
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
CN103753569A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 冰冻服务机器人
CN105313127A (zh) * 2014-06-02 2016-02-10 精工爱普生株式会社 机器人、机器人的控制方法以及机器人的控制装置
CN104440054A (zh) * 2014-10-31 2015-03-25 无锡阳工机械制造有限公司 用于灯泡更换的装置
CN104400746B (zh) * 2014-10-31 2017-03-08 林芬兰 具有放大电路的灯泡换置装置
CN104440778B (zh) * 2014-10-31 2016-05-18 无锡阳工机械制造有限公司 具有采样电路的用于灯泡更换的装置
CN104444031B (zh) * 2014-10-31 2017-04-19 林芬兰 具有滤波电路的灯泡换置装置
CN104440872B (zh) * 2014-10-31 2015-11-18 无锡阳工机械制造有限公司 具有放大电路的用于灯泡更换的装置
CN104444033B (zh) * 2014-10-31 2017-03-08 黎明 用于灯泡更换的智能装置
WO2016070412A1 (en) * 2014-11-07 2016-05-12 Abb Technology Ltd An integrated gripper and a robot
US10618174B2 (en) 2014-12-09 2020-04-14 Aeolus Robotics, Inc. Robotic Touch Perception
US10201901B2 (en) * 2015-01-29 2019-02-12 Canon Kabushiki Kaisha Robot apparatus, method for controlling robot, program, and recording medium
CN105983974B (zh) * 2015-02-06 2018-04-17 赛恩倍吉科技顾问(深圳)有限公司 机械手、该机械手的制备方法及具有该机械手的机器人
CN105983964B (zh) * 2015-02-06 2018-04-17 赛恩倍吉科技顾问(深圳)有限公司 机械手、该机械手的制备方法及具有该机械手的机器人
JP6661925B2 (ja) * 2015-09-07 2020-03-11 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
KR102023588B1 (ko) 2016-03-03 2019-10-14 구글 엘엘씨 로봇 파지용 심층 기계 학습 방법 및 장치
CN111832702A (zh) * 2016-03-03 2020-10-27 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
CN105766221A (zh) * 2016-05-16 2016-07-20 西北农林科技大学 一种新型多采摘臂果实采摘机器人
CN106113067B (zh) * 2016-07-18 2018-11-06 北京科技大学 一种基于双目视觉的双臂移动机器人***
JP6640060B2 (ja) * 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
CN107030680A (zh) * 2017-06-01 2017-08-11 苏州优银机械有限公司 多功能多头机械臂
KR102109697B1 (ko) * 2017-12-12 2020-05-13 한국로봇융합연구원 시각 정보와 촉각 정보를 함께 이용하여 객체를 파지하는 로봇 핸드 및 그 제어방법
WO2019130429A1 (ja) * 2017-12-26 2019-07-04 Kyoto Robotics株式会社 ピッキング対象物把持情報登録システム
US10930542B2 (en) * 2018-02-15 2021-02-23 Applied Materials, Inc. Apparatus for handling various sized substrates
JP6912415B2 (ja) * 2018-04-10 2021-08-04 ファナック株式会社 ハンド制御装置およびハンド制御システム
JP7023778B2 (ja) * 2018-04-13 2022-02-22 東芝テック株式会社 商品読取システム
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification
JP7057214B2 (ja) * 2018-05-18 2022-04-19 トヨタ自動車株式会社 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
JP7141288B2 (ja) * 2018-09-25 2022-09-22 川崎重工業株式会社 ロボットシステム
JP7225659B2 (ja) * 2018-10-11 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102219226B1 (ko) * 2018-11-27 2021-02-23 경기대학교 산학협력단 물체 조작을 위한 로봇 파지 시스템
US11775699B2 (en) * 2019-05-02 2023-10-03 Dassault Systemes Americas Corp. Extracting grasping cues from tool geometry for digital human models
KR102147065B1 (ko) * 2019-05-31 2020-08-24 주식회사 라운지랩 위험도 판단에 기초한 로봇 팔 제어 방법 및 이를 이용한 로봇 팔 장치
WO2020242065A1 (ko) * 2019-05-31 2020-12-03 주식회사 라운지랩 위험도 판단에 기초한 로봇 움직임 제어 방법 및 이를 이용한 이동 로봇 장치
US11999059B2 (en) 2020-12-18 2024-06-04 Boston Dynamics, Inc. Limiting arm forces and torques
US11931898B2 (en) * 2020-12-22 2024-03-19 Boston Dynamics, Inc. Arm and body coordination
CN112847347A (zh) * 2020-12-30 2021-05-28 深兰人工智能芯片研究院(江苏)有限公司 机械手的控制方法、装置、电子设备及存储介质
KR102333971B1 (ko) * 2021-09-28 2021-12-03 이현 바코드 자동 스캔을 이용한 상품 계산 장치
CN114083538B (zh) * 2021-11-30 2023-06-20 深圳市优必选科技股份有限公司 双机械臂稳定夹持实现方法、装置和机器人
CN114343854B (zh) * 2022-02-14 2024-01-23 上海微创医疗机器人(集团)股份有限公司 夹持器械的夹持力控制方法、机器人***、设备和介质
WO2023188001A1 (ja) * 2022-03-29 2023-10-05 日本電気株式会社 ロボットシステム、処理方法、および記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5263375A (en) * 1987-09-18 1993-11-23 Wacoh Corporation Contact detector using resistance elements and its application
WO1989002587A1 (en) * 1987-09-18 1989-03-23 Kazuhiro Okada Force detection apparatus using resistance element and its application
US5501498A (en) * 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4957320A (en) * 1988-08-31 1990-09-18 Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
JP3035051B2 (ja) * 1991-12-20 2000-04-17 本田技研工業株式会社 脚式移動ロボットの歩行制御装置
JPH06126684A (ja) 1992-10-21 1994-05-10 Mitsubishi Electric Corp 物体把持装置及びその制御方法
JP4480843B2 (ja) * 2000-04-03 2010-06-16 ソニー株式会社 脚式移動ロボット及びその制御方法、並びに、脚式移動ロボット用相対移動測定センサ
US7443115B2 (en) * 2002-10-29 2008-10-28 Matsushita Electric Industrial Co., Ltd. Apparatus and method for robot handling control
JP2004188533A (ja) 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP4089512B2 (ja) * 2003-05-22 2008-05-28 トヨタ自動車株式会社 倒立振子型台車ロボット
JP4001105B2 (ja) * 2003-12-11 2007-10-31 トヨタ自動車株式会社 ロボットによる任意形状物体の把持方法
JP4023614B2 (ja) * 2004-03-19 2007-12-19 シャープ株式会社 把持装置、把持制御方法及び把持制御プログラム並びに記録媒体
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP4384021B2 (ja) * 2004-12-14 2009-12-16 本田技研工業株式会社 脚式ロボットの制御装置
JP4317518B2 (ja) * 2004-12-14 2009-08-19 本田技研工業株式会社 物品運搬システム
JP4456561B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
JP4890199B2 (ja) * 2006-11-09 2012-03-07 本田技研工業株式会社 ロボットハンドおよびロボット
JP4550849B2 (ja) * 2007-03-22 2010-09-22 株式会社東芝 アーム搭載移動ロボット

Also Published As

Publication number Publication date
CN101360588B (zh) 2010-06-16
KR20080065281A (ko) 2008-07-11
EP1992455A4 (en) 2010-09-22
JP5013270B2 (ja) 2012-08-29
WO2007088735A1 (ja) 2007-08-09
TW200744806A (en) 2007-12-16
US20090173560A1 (en) 2009-07-09
EP1992455B1 (en) 2012-04-11
US8260463B2 (en) 2012-09-04
CN101360588A (zh) 2009-02-04
EP1992455A1 (en) 2008-11-19
JPWO2007088735A1 (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
KR101003579B1 (ko) 로봇 시스템
US11207788B2 (en) Hand control apparatus and hand control system
US9492925B2 (en) Robot controller, robot system, robot, robot control method, and program
US9089967B2 (en) Control apparatus and method for master-slave robot, master-slave robot, control program, and integrated electronic circuit
CN105598987B (zh) 借助机器人确定关于对象的抓取空间
CN107914124B (zh) 具有机械学习部的操作辅助***
US20120004774A1 (en) Robot apparatus and gripping method for use in robot apparatus
EP2450157A2 (en) Robot controlling device
KR20120025582A (ko) 로봇의 교시 데이터를 작성하는 방법 및 로봇 교시 시스템
JP2019188580A (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
CN101896321A (zh) 对象的位置获取
JP2007098501A (ja) ロボットシステム
EP3862148A1 (en) Information processing device, control method, and program
CN108724180B (zh) 机器人***
CN114025928A (zh) 末端执行器的控制***以及末端执行器的控制方法
JP4211701B2 (ja) ロボットハンドの把持制御装置
CN111867791A (zh) 控制装置、控制方法和程序
CN110914025A (zh) 把持***
CN116214522B (zh) 基于意图识别的机械臂控制方法、***及相关设备
US20230271329A1 (en) Robot system
WO2023095927A1 (ja) 制御装置、ロボット制御システム、及びロボット制御方法
US20240131711A1 (en) Control device, control method, and storage medium
JP2024025147A (ja) 遠隔操作補助システム、および遠隔操作補助方法
US20190160672A1 (en) Robot teaching system, controller and hand guide unit
CN117597219A (zh) 机器人控制装置和机器人控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee