KR20200116741A - 로봇의 파지 제어방법 및 제어시스템 - Google Patents

로봇의 파지 제어방법 및 제어시스템 Download PDF

Info

Publication number
KR20200116741A
KR20200116741A KR1020190038530A KR20190038530A KR20200116741A KR 20200116741 A KR20200116741 A KR 20200116741A KR 1020190038530 A KR1020190038530 A KR 1020190038530A KR 20190038530 A KR20190038530 A KR 20190038530A KR 20200116741 A KR20200116741 A KR 20200116741A
Authority
KR
South Korea
Prior art keywords
gripping
robot
recognized
camera
recognizing
Prior art date
Application number
KR1020190038530A
Other languages
English (en)
Inventor
이재호
이석원
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190038530A priority Critical patent/KR20200116741A/ko
Priority to US16/691,331 priority patent/US11745350B2/en
Priority to CN201911218808.6A priority patent/CN111791225A/zh
Publication of KR20200116741A publication Critical patent/KR20200116741A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39484Locate, reach and grasp, visual guided grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39505Control of gripping, grasping, contacting force, force distribution
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39523Set holding force as function of dimension, weight, shape, hardness, surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39527Workpiece detector, sensor mounted in, near hand, gripper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

카메라를 이용하여 대상체를 촬상하고, 촬상한 데이터를 이용하여 대상체를 인식하는 단계; 인식한 대상체를 기반으로 대상체의 파지 동작을 설정하는 단계; 및 설정한 파지 동작을 기반으로 로봇이 대상체를 파지하도록 제어하는 단계;를 포함하는 로봇의 파지 제어방법이 소개된다.

Description

로봇의 파지 제어방법 및 제어시스템{CONTROL METHOD AND CONTROL SYSTEM OF MANUPULATOR}
본 발명은 로봇의 파지 제어방법 및 제어시스템에 관한 것으로, 파지하고자 하는 대상체를 인식하고, 이에 따라 대상체를 파지하도록 로봇을 제어하는 기술에 관한 것이다.
로봇은 인간의 다양한 편의를 위하여 개발이 진행되어 왔으며, 사용 용도에 따라 단순 반복 작업 및 힘들고 안전상 위험한 업무를 사람을 대신해 수행하는 산업용 로봇과 인간의 일상 생활에 다양한 편의를 제공하는 지능형 서비스 로봇으로 구분된다.
종래에 개발된 로봇의 핸드는 단순한 파지 작업이나 대상체를 옮기는 작업을 수행하기에는 적합하나, 대상체를 파지하는 머니퓰레이터(Manipulator)의 배치 구조나 머니퓰레이터를 구동하는 기계적인 방식의 한계로 인해, 비정형의 대상체를 정확하게 파지하는데 한계가 있었다.
이를 해결하기 위하여, 머니퓰레이터의 손가락(Finger)마다 센서를 설치하고, 각각의 센서를 기반으로 머니퓰레이터를 제어하는 방식이 연구되었으나 상당한 비용이 요구되는 문제가 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-2018-0122495 A
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 카메라를 이용하여 대상체를 인식하고, 인식한 대상체를 적절하게 파지하도록 로봇을 제어하는 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 로봇의 파지 제어방법은 카메라를 이용하여 대상체를 촬상하고, 촬상한 데이터를 이용하여 대상체를 인식하는 단계; 인식한 대상체를 기반으로 대상체의 파지 동작을 설정하는 단계; 및 설정한 파지 동작을 기반으로 로봇이 대상체를 파지하도록 제어하는 단계;를 포함한다.
카메라는 펄스의 송신 및 수신을 이용하여 대상체를 촬상하는 ToF(Time of Flight) 카메라일 수 있다.
대상체를 인식하는 단계에서는, 촬상한 대상체의 입체적 형상을 인식할 수 있다.
대상체를 인식하는 단계에서는, 촬상한 대상체의 재질을 인식할 수 있다.
대상체를 인식하는 단계에서는, 대상체가 복수 개의 재질로 형성된 경우 각각의 재질 및 해당 재질로 형성된 형상을 각각 인식할 수 있다.
대상체를 인식하는 단계에서는, 촬상한 대상체의 데이터를 기저장된 데이터베이스와 비교하여 대상체의 물성 또는 질량을 도출할 수 있다.
대상체의 물성은 대상체의 재질에 따른 강성, 밀도, 탄성계수 또는 마찰계수일 수 있다.
대상체의 파지 동작을 설정하는 단계에서는, 인식한 대상체를 기반으로 초기 파지력 또는 초기 파지 자세를 설정할 수 있다.
대상체의 파지 동작을 설정하는 단계에서는, 대상체의 강성을 기반으로 초기 파지력을 설정할 수 있다.
대상체의 파지 동작을 설정하는 단계에서는, 대상체의 질량 및 탄성계수를 기반으로 초기 파지력으로 대상체를 측방에서 파지 가능한지 판단하고, 초기 파지력으로 파지가 불가능한 경우에는 대상체의 하중을 하부에서 지지하는 초기 파지 자세로 설정할 수 있다.
로봇이 대상체를 파지하도록 제어하는 단계에서는, 설정한 파지 동작에 따라 로봇의 동작을 실시간으로 제어하되, 로봇이 인가하는 파지력이 인식한 대상체의 최대 파지력 이하가 되도록 제어할 수 있다.
대상체의 최대 파지력은, 인식한 대상체의 재질에 따른 강성을 기반으로 정해질 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 로봇의 파지 제어시스템은 대상체를 촬상하는 카메라; 카메라에서 촬상된 데이터를 이용하여 대상체를 인식하는 대상체 인식부; 대상체 인식부에서 인식한 대상체를 기반으로 대상체의 파지 동작을 설정하는 파지 동작 설정부; 및 파지 동작 설정부에서 설정한 파지 동작을 기반으로 로봇이 대상체를 파지하도록 제어하는 로봇제어부;를 포함한다.
카메라는 펄스를 송신하는 송신기 및 대상체에 반사된 펄스를 수신하는 수신기를 포함하고, 수신기에서 수신한 펄스를 데이터로 이용하는 ToF(Time of Flight) 카메라일 수 있다.
데이터에 따른 입체적 형상 또는 재질의 데이터베이스가 기저장된 메모리;를 더 포함하고, 대상체 인식부는 촬상한 대상체의 데이터를 메모리에 기저장된 데이터베이스와 비교하여 대상체의 물성 또는 질량을 도출할 수 있다.
로봇제어부에서 제어하는 로봇은 복수의 관절로 구성되고 단부에 그리퍼(Gripper)가 포함된 머니퓰레이터(Manipulator)일 수 있다.
본 발명의 로봇의 파지 제어방법 및 제어시스템에 따르면, 상대적으로 저렴한 비용의 카메라를 통하여 파지할 대상체의 질량 및 재질 등을 예측하는 효과를 갖는다.
또한, 이에 따라 초기 파지 자세 및 초기 파지력을 미리 설정하여 파지 제어의 안정성을 향상시키고, 신속한 파지 제어가 가능한 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 로봇의 파지 제어시스템의 구성도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 파지 제어시스템의 카메라를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 로봇의 파지 제어방법의 순서도를 도시한 것이다.
도 4 내지 5는 본 발명의 일 실시예에 따른 데이터베이스의 예시를 도시한 것이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 로봇의 파지 제어시스템의 구성도를 도시한 것이고, 도 2는 본 발명의 일 실시예에 따른 로봇의 파지 제어시스템의 카메라(10)를 도시한 것이다.
도 1 내지 2를 참조하면, 본 발명의 일 실시예에 따른 로봇의 파지 제어시스템은 대상체(A)를 촬상하는 카메라(10); 카메라(10)에서 촬상된 데이터를 이용하여 대상체(A)를 인식하는 대상체 인식부(20); 대상체 인식부(20)에서 인식한 대상체(A)를 기반으로 대상체(A)의 파지 동작을 설정하는 파지 동작 설정부(30); 및 파지 동작 설정부(30)에서 설정한 파지 동작을 기반으로 로봇(50)이 대상체(A)를 파지하도록 제어하는 로봇제어부(40);를 포함한다.
일반적으로, 사람이 대상체(A)를 파지하는 경우 눈으로 대상체(A)를 파악하고, 파악한 대상체(A)의 크기 및 예상되는 대상체(A)의 탄성, 강도 등을 인식하면서 대상체(A)를 파지한다. 특히, 인식한 대상체(A)에 따라 대상체(A)를 파지하는 손의 동작을 달리하거나 처음 대상체(A)에 가하는 최초 파지력을 달리한다.
로봇(50)의 경우에도 이와 같이 비정형의 대상체(A)를 정확하게 파지하기 위하여 대상체(A)를 인식하는 기술을 적용할 수 있다. 구체적으로, 카메라(10)를 통하여 촬상하는 비전(Vision) 시스템을 이용하여 파지가 요구되는 대상체(A)를 인식하고, 인식한 대상체(A)에 적절한 초기 파지 자세 및 파지시 대상체(A)에 인가하는 초기 파지력 등을 미리 설정하여 로봇(50)을 제어함으로써 안정적이고 신속한 파지 제어가 가능한 효과를 얻을 수 있다.
카메라(10)는 대상체(A)를 촬상하고, 촬상한 데이터를 대상체 인식부(20)로 전송할 수 있다. 데이터는 카메라(10)가 대상체(A)를 촬상한 이미지 데이터일 수 있다. 특히, 카메라(10)는 대상체(A)를 3D (3-Dimension)로 촬영하여 3차원 거리 정보를 통한 이미지 데이터를 형성할 수 있다.
대상체 인식부(20)는 카메라(10)로부터 전송받은 데이터를 이용하여 대상체(A)를 인식할 수 있다. 구체적으로, 대상체 인식부(20)는 대상체(A)의 형상, 부피 및 재질에 따른 물성 등을 인식할 수 있다.
파지 동작 설정부(30)는 대상체 인식부(20)에서 인식한 대상체(A)를 기반으로 대상체(A)의 파지 동작을 설정할 수 있다. 구체적으로, 파지 동작 설정부(30)는 대상체(A)를 파지하는 자세 및 파지력 등을 설정할 수 있다.
로봇제어부(40)는 파지 동작 설정부(30)에서 설정한 파지 동작을 기반으로 로봇(50)이 대상체(A)를 파지하도록 제어할 수 있다. 여기서, 로봇제어부(40)가 제어하는 로봇(50)은 머니퓰레이터(Manipulator)를 의미하는 것으로, 머니퓰레이터(50)는 복수의 관절로 구성되어 대상체(A)를 파지하는 그리퍼(51, Gripper)가 단부에 포함될 수 있다.
또한, 머니퓰레이터(50)에 포함된 복수의 관절에는 토크를 발생시키는 모터와 같은 구동장치가 포함되고, 로봇제어부(40)는 머니퓰레이터(50)의 동작을 위하여 구동장치의 구동을 제어할 수 있다.
구체적으로, 카메라(10)는 펄스를 송신하는 송신기(11) 및 대상체(A)에 반사된 펄스를 수신하는 수신기(12)를 포함하고, 수신기(12)에서 수신한 펄스를 데이터로 이용하는 ToF(Time of Flight) 카메라(10)일 수 있다.
ToF 카메라(10)는 변조 주파수를 갖는 펄스를 대상체(A)로 송신하고, 대상체(A)에 반사된 펄스를 수신하여 대상체(A)의 깊이를 측정하는 것으로, 송신한 펄스의 반사 시간 차이를 이용하여 대상체(A)의 깊이를 측정할 수 있다. 수신기(12)에서는 대상체(A)에서 반사된 펄스를 수신하여 변조 주파수를 분석할 수 있다.
특히, ToF 카메라(10)는 송신기(11)와 수신기(12)를 포함한다. 예를 들어, 펄스로 적외선을 이용하는 경우에는 송신기(11)로 적외선 광원을 이용하고, 수신기(12)로 적외선 센서를 이용할 수 있다.
ToF 카메라(10)는 송신기(11)에서 송신되어 대상차에서 반사된 펄스를 수신하고, 수신한 펄스로부터 데이터를 추출할 수 있다. 대상체 인식부(20)는 이러한 입력 데이터를 이용하여 대상체(A)의 입체적 형상을 인식할 수 있다.
또한, 데이터에 따른 입체적 형상 또는 재질의 데이터베이스가 기저장된 메모리(21);를 더 포함하고, 대상체 인식부(20)는 촬상한 대상체(A)의 데이터를 메모리(21)에 기저장된 데이터베이스와 비교하여 대상체(A)의 물성 또는 질량을 도출할 수 있다.
구체적으로, 메모리(21)에는 대상체(A)의 데이터가 학습 및 저장되어 있고, 대상체 인식부(20)는 카메라(10)에서 촬상한 데이터를 이용하여 인식한 대상체(A)의 형상을 메모리(21)의 데이터베이스와 비교하여 대상체(A)가 어떤 물체인지 인식할 수 있다.
또한, 대상체 인식부(20)는 촬상한 대상체(A)의 데이터를 이용하여 대상체(A)의 재질을 인식할 수 있다. ToF에서 송신되어 대상체(A)에서 반사된 펄스는 대상체(A)의 재질에 따라 상이하게 왜곡된다. 이러한 원리를 이용하여, 대상체(A)에서 반사된 펄스의 왜곡을 분석하면 대상체(A)의 재질을 도출할 수 있다.
메모리(21)에는 여러 재질에 따라 왜곡된 펄스의 데이터베이스가 저장되고, 대상체 인식부(20)는 카메라(10)로 촬상한 데이터를 메모리(21)의 데이터베이스와 비교하여 대상체(A)의 재질을 도출할 수 있다.
또한, 메모리(21)의 데이터베이스에는 여러 재질의 물성이 기저장될 수 있다. 특히, 각 재질의 물성은 재질의 강성, 밀도, 탄성계수 및 마찰계수 등이 포함될 수 있다. 따라서, 대상체 인식부(20)는 메모리(21)의 데이터베이스에서 대상체(A)의 재질에 해당하는 물성을 인식할 수 있다.
도 3은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 로봇의 파지 제어방법의 순서도를 도시한 것이다.
도 3을 더 참조하면, 본 발명의 일 실시예에 따른 로봇의 파지 제어방법은 카메라(10)를 이용하여 대상체(A)를 촬상하고, 촬상한 데이터를 이용하여 대상체(A)를 인식하는 단계(S100); 인식한 대상체(A)를 기반으로 대상체(A)의 파지 동작을 설정하는 단계(S200); 설정한 파지 동작을 기반으로 로봇이 대상체(A)를 파지하도록 제어하는 단계(S300);를 포함한다.
대상체(A)를 인식하는 단계(S100)에서는, 카메라(10)를 이용하여 대상체(A)를 촬상함으로써 대상체(A)의 이미지 데이터를 형성하고(S110), 형성한 이미지 데이터를 이용하여 대상체(A)를 인식할 수 있다.
특히, 대상체(A)를 인식하는 단계(S100)에서는, 촬상한 대상체(A)의 입체적 형상을 인식할 수 있다. 카메라(10)는 대상체(A)를 3차원으로 인식하는 3차원 이미지 데이터를 형성할 수 있는 3D 카메라(10)일 수 있다.
일 실시예로, 펄스의 송신 및 수신을 이용하여 대상체(A)를 촬상하는 ToF 카메라(10)일 수 있다. ToF 카메라(10)는 송신기(11)에서 송신된 펄스가 대상체(A)에서 반사되어 수신기(12)로 수신되는 시간을 이용하여 대상체(A)와의 거리 및 대상체(A)의 입체적 형상을 인식할 수 있다(S110). 또한, 인식한 대상체(A)의 입체적 형상을 이용하여 대상체(A)의 부피를 계산할 수 있다.
추가로, 인식한 대상체(A)의 입체적 형상을 데이터 베이스에 기저장된 물체의 입체적 형상과 비교하여 인식한 대상체(A)가 어떤 물체인지 인식할 수 있다(S120). 예를 들어, 대상체(A)의 입체적 형상이 데이터 베이스에 기저장된 컵 형상과 비교하여 일치한다고 판단하면 대상체(A)가 컵인 것으로 판단할 수 있다.
또한, 대상체(A)를 인식하는 단계(S100)에서는, 촬상한 대상체(A)의 재질을 인식할 수 있다. 대상체(A)에서 반사되어 수신기(12)에 수신된 펄스는 재질에 따라 왜곡되는 형상이 상이하다. 따라서, 대상체(A)에서 반사된 펄스를 분석하여 대상체(A)의 재질을 인식할 수 있다.
특히, 대상체(A)를 인식하는 단계(S100)에서는, 대상체(A)가 복수 개의 재질로 형성된 경우 각각의 재질 및 해당 재질로 형성된 형상을 각각 인식할 수 있다. 즉, 복수의 재질을 갖는 대상체(A)의 경우, 각각의 재질에 해당하는 형상을 각각 인식하고, 각 재질의 부피를 계산할 수 있다. 예를 들어, 대상체(A)가 내부에 물이 들어 있는 컵이라면, 컵과 물의 형상을 각각 인식하고, 컵의 부피 및 물의 부피를 각각 계산할 수 있다.
대상체(A)를 인식하는 단계(S100)에서는, 촬상한 대상체(A)의 데이터를 기저장된 데이터베이스와 비교하여 대상체(A)의 물성 또는 질량을 도출할 수 있다(S120). 기저장된 데이터베이스에는 재질마다의 물성이 기저장될 수 있다.
도 4 내지 5는 본 발명의 일 실시예에 따른 데이터베이스의 예시를 도시한 것이다.
도 4 내지 5를 더 참조하면, 본 발명의 일 실시예에 따른 데이터베이스는 재질의 밀도, 강성, 탄성계수 및 마찰계수 등이 포함된 물성일 수 있다.
대상체(A)를 인식하는 단계(S100)에서는, 촬상한 대상체(A)의 이미지 데이터를 이용하여 대상체(A)의 재질을 인식할 수 있고, 인식한 재질에 해당하는 물성을 도출할 수 있다.
또한, 대상체(A)의 질량은 대상체(A)의 이미지 데이터로부터 계산한 대상체(A)의 부피에 대상체(A)의 밀도를 곱하여 도출할 수 있다.
즉, 대상체(A)를 인식하는 단계(S100)에서는, 대상체(A)가 어떤 물체인지를 인식할 수 있고, 대상체(A)의 부피를 계산할 수 있으며, 대상체(A)의 재질을 인식하여 대상체(A)의 물성 및 대상체(A)의 질량을 도출할 수 있다.
대상체(A)의 파지 동작을 설정하는 단계(S200)에서는, 인식한 대상체(A)를 파지하기 위하여 머니퓰레이터(50)가 대상체(A)를 파지하는 동작을 설정하는 것으로, 파지 동작에는 파지 자세 및 파지력이 포함될 수 있다.
일반적으로, 로봇(50)은 대상체(A)를 파지하는 동작으로 제어하면서 대상체(A)에 인가하는 파지력을 점차적으로 증가시키도록 제어한다. 구체적으로, 대상체(A)에 파지력을 가할 때 대상체(A)에 변형이 발생하는지를 피드백 받으면서 대상체(A)에 인가하는 파지력을 증가시키고, 동시에 대상체(A)를 들어올리는 동작에 따른 로봇의 동작에 대한 피드백을 받으면서 대상체(A)에 가하는 파지력을 증가시킬 수 있다.
본 발명의 일 실시예에 따른 대상체(A)의 파지 동작을 설정하는 단계(S200)에서는, 인식한 대상체(A)를 기반으로 초기 파지력 또는 초기 파지 자세를 설정할 수 있다. 즉, 대상체(A)의 종류, 재질에 따른 물성 및 질량을 미리 인식함에 따라 대상체(A)를 파지하기 위한 로봇의 초기 파지력 및 초기 파지 자세를 먼저 설정하고, 이에 따라 제어함으로써 신속한 파지 제어가 가능한 효과를 갖는다.
구체적으로, 대상체(A)의 파지 동작을 설정하는 단계(S200)에서는, 대상체(A)의 강성을 기반으로 초기 파지력을 설정할 수 있다.
초기 파지력은 대상체(A)의 강성이 클수록 크게 설정되고, 대상체(A)의 강성이 작을수록 작게 설정될 수 있고, 이는 기설정된 초기 파지력맵에 의해 설정될 수 있다. 특히, 초기 파지력은 초기 파지력에 의해 대상체(A)가 깨지거나 변형되지 않는 적절한 크기로 설정될 수 있다.
또한, 초기 파지력은 대상체(A)의 강성과 대상체(A)의 질량을 함께 고려하여 설정될 수 있다.
예를 들어, 대상체(A)가 강성이 작고 가벼운 종이컵의 경우에는 상대적으로 작은 초기 파지력으로 설정하여 대상체(A)의 변형을 방지할 것이고, 대상체(A)가 강성이 크고 무거운 금속컵의 경우에는 상대적으로 큰 초기 파지력으로 설정하여 파지력을 증가시키는 피드백 제어에 소모되는 시간을 감소시켜 신속한 제어가 가능할 것이다.
또한, 대상체(A)의 형상을 인식하여 인식한 대상체(A)의 형상에 대응되도록 로봇이 대상체(A)를 파지하는 초기 파지 자세를 설정하여 대상체(A)를 파지하기 위하여 로봇이 동작하도록 피드백 제어하는데 소모되는 시간을 감소시켜 신속한 제어가 가능할 것이다.
추가로, 대상체(A)의 파지 동작을 설정하는 단계(S200)에서는, 대상체(A)의 질량 및 탄성계수를 기반으로 초기 파지력으로 대상체(A)를 측방에서 파지 가능한지 판단하고, 초기 파지력으로 파지가 불가능한 경우에는 대상체(A)의 하중을 하부에서 지지하는 초기 파지 자세로 설정할 수 있다.
즉, 대상체(A)의 재질에 따라 대상체(A)를 파지하는 초기 파지 자세를 가변할 수 있다. 대상체(A)의 강성에 따라 정해진 초기 파지력과 대상체(A)의 질량 및 마찰계수를 고려할 때, 대상체(A)의 측방에서 초기 파지력을 가하더라도 대상체(A)를 파지할 수 없다고 판단한 경우에는 대상체를 하부에서 동시에 지지하도록 초기 파지 자세를 설정할 수 있다.
예를 들어, 대상체(A)가 강성이 작은 종이컵이지만 내부에 물이 담겨져 있어 질량이 큰 경우에는 대상체(A)를 측면에서 감싸쥐면서 파지력을 가하는 파지 자세가 불가능하다고 판단하여 대상체(A)를 측면에서 감싸쥐면서 대상체(A)의 하중을 하부에서 지지하는 초기 파지 자세를 설정할 수 있다.
즉, 대상체(A)의 파지 동작을 설정하는 단계(S200)에서는, 인식한 대상체(A)의 형상, 종류 및 물성에 따라 로봇이 대상체(A)를 파지하는 제어의 초기 파지력 및 초기 파지 자세를 설정할 수 있다.
일 실시예로, 인식한 대상체(A)마다 대상체(A)를 제어하는 초기 파지력 및 초기 파지 자세를 설정하는 파라미터를 가변함으로써 대상체(A)의 파지 동작을 설정할 수 있다.
로봇이 대상체(A)를 파지하도록 제어하는 단계(S300)에서는, 설정한 파지 동작을 기반으로 머니퓰레이터(50)가 대상체(A)를 파지하도록 제어할 수 있다. 특히, 머니퓰레이터(50)에 포함된 복수의 관절을 제어하여 단부에 위치된 그리퍼(51)가 대상체(A)로 위치되도록 제어하고, 그리퍼(51)에 포함된 관절을 제어하여 그리퍼(51)를 초기 파지 자세로 제어하면서 그리퍼(51)가 대상체(A)에 초기 파지력을 가하도록 제어할 수 있다.
또한, 로봇이 대상체(A)를 파지하도록 제어하는 단계(S300)에서는, 설정한 파지 동작에 따라 로봇의 동작을 실시간으로 제어하되, 로봇이 인가하는 파지력이 인식한 대상체(A)의 최대 파지력 이하가 되도록 제어할 수 있다.
로봇이 대상체(A)를 파지하도록 제어하는 단계(S300)에서는, 초기에 로봇을 설정한 파지 동작으로 제어하면서 실시간으로 로봇의 동작을 피드백 받으면서 실시간으로 피드백 제어할 수 있다.
또한, 로봇이 대상체(A)에 인가하는 파지력은 초기 파지력에서 증가시키거나 감소시키도록 제어할 수 있으나, 파지력은 대상체(A)의 최대 파지력 이하로 제어할 수 있다. 대상체(A)의 최대 파지력은 인식한 대상체(A)를 기반으로 설정될 수 있다. 특히, 대상체(A)의 재질에 따른 물성을 기반으로 설정되는 것으로, 대상체(A)의 종류나 대상체(A)의 재질에 따른 강성 및 탄성 계수 등을 고려하여 설정될 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
A : 대상체 10 : 카메라
20 : 대상체 인식부 30 : 파지 동작 설정부
40 : 로봇제어부 50 : 머니퓰레이터
51 : 그리퍼

Claims (16)

  1. 카메라를 이용하여 대상체를 촬상하고, 촬상한 데이터를 이용하여 대상체를 인식하는 단계;
    인식한 대상체를 기반으로 대상체의 파지 동작을 설정하는 단계; 및
    설정한 파지 동작을 기반으로 로봇이 대상체를 파지하도록 제어하는 단계;를 포함하는 로봇의 파지 제어방법.
  2. 청구항 1에 있어서,
    카메라는 펄스의 송신 및 수신을 이용하여 대상체를 촬상하는 ToF(Time of Flight) 카메라인 것을 특징으로 하는 로봇의 파지 제어방법.
  3. 청구항 1에 있어서,
    대상체를 인식하는 단계에서는, 촬상한 대상체의 입체적 형상을 인식하는 것을 특징으로 하는 로봇의 파지 제어방법.
  4. 청구항 1에 있어서,
    대상체를 인식하는 단계에서는, 촬상한 대상체의 재질을 인식하는 것을 특징으로 하는 로봇의 파지 제어방법.
  5. 청구항 4에 있어서,
    대상체를 인식하는 단계에서는, 대상체가 복수 개의 재질로 형성된 경우 각각의 재질 및 해당 재질로 형성된 형상을 각각 인식하는 것을 특징으로 하는 로봇의 파지 제어방법.
  6. 청구항 1에 있어서,
    대상체를 인식하는 단계에서는, 촬상한 대상체의 데이터를 기저장된 데이터베이스와 비교하여 대상체의 물성 또는 질량을 도출하는 것을 특징으로 하는 로봇의 파지 제어방법.
  7. 청구항 6에 있어서,
    대상체의 물성은 대상체의 재질에 따른 강성, 밀도, 탄성계수 또는 마찰계수인 것을 특징으로 하는 로봇의 파지 제어방법.
  8. 청구항 1에 있어서,
    대상체의 파지 동작을 설정하는 단계에서는, 인식한 대상체를 기반으로 초기 파지력 또는 초기 파지 자세를 설정하는 것을 특징으로 하는 로봇의 파지 제어방법.
  9. 청구항 8에 있어서,
    대상체의 파지 동작을 설정하는 단계에서는, 대상체의 강성을 기반으로 초기 파지력을 설정하는 것을 특징으로 하는 로봇의 파지 제어방법.
  10. 청구항 9에 있어서,
    대상체의 파지 동작을 설정하는 단계에서는, 대상체의 질량 및 탄성계수를 기반으로 초기 파지력으로 대상체를 측방에서 파지 가능한지 판단하고, 초기 파지력으로 파지가 불가능한 경우에는 대상체의 하중을 하부에서 지지하는 초기 파지 자세로 설정하는 것을 특징으로 하는 로봇의 파지 제어방법.
  11. 청구항 1에 있어서,
    로봇이 대상체를 파지하도록 제어하는 단계에서는, 설정한 파지 동작에 따라 로봇의 동작을 실시간으로 제어하되, 로봇이 인가하는 파지력이 인식한 대상체의 최대 파지력 이하가 되도록 제어하는 것을 특징으로 하는 로봇의 파지 제어방법.
  12. 청구항 11에 있어서,
    대상체의 최대 파지력은, 인식한 대상체의 재질에 따른 강성을 기반으로 정해진 것을 특징으로 하는 로봇의 파지 제어방법.
  13. 대상체를 촬상하는 카메라;
    카메라에서 촬상된 데이터를 이용하여 대상체를 인식하는 대상체 인식부;
    대상체 인식부에서 인식한 대상체를 기반으로 대상체의 파지 동작을 설정하는 파지 동작 설정부; 및
    파지 동작 설정부에서 설정한 파지 동작을 기반으로 로봇이 대상체를 파지하도록 제어하는 로봇제어부;를 포함하는 로봇의 파지 제어시스템.
  14. 청구항 13에 있어서,
    카메라는 펄스를 송신하는 송신기 및 대상체에 반사된 펄스를 수신하는 수신기를 포함하고, 수신기에서 수신한 펄스를 데이터로 이용하는 ToF(Time of Flight) 카메라인 것을 특징으로 하는 로봇의 파지 제어시스템.
  15. 청구항 13에 있어서,
    데이터에 따른 입체적 형상 또는 재질의 데이터베이스가 기저장된 메모리;를 더 포함하고,
    대상체 인식부는 촬상한 대상체의 데이터를 메모리에 기저장된 데이터베이스와 비교하여 대상체의 물성 또는 질량을 도출하는 것을 특징으로 하는 로봇의 파지 제어시스템.
  16. 청구항 13에 있어서,
    로봇제어부에서 제어하는 로봇은 복수의 관절로 구성되고 단부에 그리퍼(Gripper)가 포함된 머니퓰레이터(Manipulator)인 것을 특징으로 하는 로봇의 파지 제어시스템.
KR1020190038530A 2019-04-02 2019-04-02 로봇의 파지 제어방법 및 제어시스템 KR20200116741A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190038530A KR20200116741A (ko) 2019-04-02 2019-04-02 로봇의 파지 제어방법 및 제어시스템
US16/691,331 US11745350B2 (en) 2019-04-02 2019-11-21 Control method and control system of manipulator
CN201911218808.6A CN111791225A (zh) 2019-04-02 2019-12-03 机器人的控制方法和控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190038530A KR20200116741A (ko) 2019-04-02 2019-04-02 로봇의 파지 제어방법 및 제어시스템

Publications (1)

Publication Number Publication Date
KR20200116741A true KR20200116741A (ko) 2020-10-13

Family

ID=72662835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190038530A KR20200116741A (ko) 2019-04-02 2019-04-02 로봇의 파지 제어방법 및 제어시스템

Country Status (3)

Country Link
US (1) US11745350B2 (ko)
KR (1) KR20200116741A (ko)
CN (1) CN111791225A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600117A (zh) * 2020-11-07 2021-04-02 无锡臻永科技有限公司 拉拽模式调节***
CN112720497B (zh) * 2020-12-30 2022-05-17 深兰智能科技(上海)有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN112847347A (zh) * 2020-12-30 2021-05-28 深兰人工智能芯片研究院(江苏)有限公司 机械手的控制方法、装置、电子设备及存储介质
CN112720495A (zh) * 2020-12-30 2021-04-30 深兰人工智能芯片研究院(江苏)有限公司 机械手的控制方法、装置、拾取设备及存储介质
CN112847348B (zh) * 2020-12-30 2022-10-18 深兰智能科技(上海)有限公司 机械手控制方法、装置、拾取设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180122495A (ko) 2017-05-02 2018-11-13 재단법인대구경북과학기술원 이중 파지 구조의 로봇 핸드

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
KR20100020671A (ko) 2008-08-13 2010-02-23 에스티엑스조선해양 주식회사 비젼 카메라를 이용한 강재의 두께측정 및형상판별장치와,이를 이용한 강재의 두께측정방법 및형상판별방법
US8403614B2 (en) * 2010-03-24 2013-03-26 Bastian Solutions, Llc Robotic automated storage and retrieval system mixed pallet build system
CN103930929B (zh) 2011-10-12 2016-10-05 高通股份有限公司 利用装备有相机的计算装置检测伪造的印刷材料
EP3107429B1 (en) * 2014-02-20 2023-11-15 MBL Limited Methods and systems for food preparation in a robotic cooking kitchen
KR20170030392A (ko) 2015-09-09 2017-03-17 현대자동차주식회사 다차종 공용 그리퍼의 위치보정 방법 및 다차종 공용 그리퍼의 위치보정 시스템
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
JP2018097661A (ja) * 2016-12-14 2018-06-21 オムロン株式会社 生産システム、制御装置、および制御方法
JP6892286B2 (ja) * 2017-03-03 2021-06-23 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US10894676B2 (en) * 2017-07-17 2021-01-19 Symbolic Llc Apparatus and method for building a pallet load
JP7116901B2 (ja) * 2017-08-01 2022-08-12 オムロン株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP6815295B2 (ja) * 2017-09-14 2021-01-20 株式会社東芝 保持装置、およびハンドリング装置
US11453129B2 (en) * 2018-01-17 2022-09-27 Toyota Research Institute, Inc. User assisting robot for shopping applications
JP6912415B2 (ja) * 2018-04-10 2021-08-04 ファナック株式会社 ハンド制御装置およびハンド制御システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180122495A (ko) 2017-05-02 2018-11-13 재단법인대구경북과학기술원 이중 파지 구조의 로봇 핸드

Also Published As

Publication number Publication date
CN111791225A (zh) 2020-10-20
US11745350B2 (en) 2023-09-05
US20200316781A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
KR20200116741A (ko) 로봇의 파지 제어방법 및 제어시스템
US11752625B2 (en) Robot grip detection using non-contact sensors
US11975446B2 (en) Sensorized robotic gripping device
US9492925B2 (en) Robot controller, robot system, robot, robot control method, and program
KR102140639B1 (ko) 학습 장치, 학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체, 및 학습 방법
US9844882B2 (en) Conveyor robot system provided with three-dimensional sensor
US20180222057A1 (en) Control device, robot, and robot system
US20180222058A1 (en) Control device, robot, and robot system
US11260530B2 (en) Upper limb motion support apparatus and upper limb motion support system
EP3486041A3 (en) Gripping system, learning device, and gripping method
KR101323217B1 (ko) 로봇 핸드의 파지력 제어 시스템 및 방법
US11787037B2 (en) Behavior estimation apparatus, behavior estimation method, and behavior estimation program
JP2019018340A (ja) 作業用ロボット、作業用ロボットの制御方法
JPWO2007088735A1 (ja) ロボットシステム
CN105589576B (zh) 动作方向识别方法及装置
Yang et al. Real-time human-robot interaction in complex environment using kinect v2 image recognition
JP4737099B2 (ja) ロボットおよびロボットの制御装置と制御方法
US10609294B2 (en) Systems and methods for sampling images
Tanaka et al. Assistive robotic arm autonomously bringing a cup to the mouth by face recognition
JP5218209B2 (ja) 複数の物体間の相対移動を検出する方法
CN114454176B (zh) 机器人的控制方法、控制装置、机器人和存储介质
US20220134550A1 (en) Control system for hand and control method for hand
JP5733516B2 (ja) 移動体把持装置と方法
US20210362322A1 (en) Method for controlling a manipulation robot and device implementing such a method
CN116945166A (zh) 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal