KR101049266B1 - 이동형 로봇 - Google Patents

이동형 로봇 Download PDF

Info

Publication number
KR101049266B1
KR101049266B1 KR1020087022581A KR20087022581A KR101049266B1 KR 101049266 B1 KR101049266 B1 KR 101049266B1 KR 1020087022581 A KR1020087022581 A KR 1020087022581A KR 20087022581 A KR20087022581 A KR 20087022581A KR 101049266 B1 KR101049266 B1 KR 101049266B1
Authority
KR
South Korea
Prior art keywords
trunk
image
camera
connection
range
Prior art date
Application number
KR1020087022581A
Other languages
English (en)
Other versions
KR20080093460A (ko
Inventor
유이치로 나카지마
이해연
히데키 노무라
Original Assignee
도요타 지도샤（주）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타 지도샤（주） filed Critical 도요타 지도샤（주）
Publication of KR20080093460A publication Critical patent/KR20080093460A/ko
Application granted granted Critical
Publication of KR101049266B1 publication Critical patent/KR101049266B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 체간에 구비되어 있는 카메라와는 다른 카메라를 관절을 거쳐 체간에 접속된 접속부위에 설치함으로써, 로봇의 작동시에 접속부위 등의 몸체의 일부가 시계(視界)에 들어옴으로써 생기는 미지 환경을 없애고, 상시 주위의 환경 전역을 인식할 수 있는 기술을 제공한다.
이를 위하여 본 발명에서의 로봇은, 머리부 및 동체로 이루어지는 체간과, 구동하는 어깨관절을 거쳐 체간에 접속된 적어도 하나의 접속부위와, 체간에 적어도 하나 설치되어 있는 체간측 카메라와, 접속부위에 적어도 하나 설치되어 있는 접속부위측 카메라를 가지고 있다. 또한, 체간측 카메라에 의해 촬상한 체간측 화상과 접속부위측 카메라에 의해 촬상한 접속부위측 화상을 합성하여 합성화상을 작성하는 합성화상 작성수단과, 합성화상으로부터 주위 물체의 위치를 인식하는 인식수단을 구비하고 있다.

Description

이동형 로봇 {MOBILE ROBOT}
본 출원은, 2006년 2월 17일에 출원된 일본국 특허출원 제2006-041323호에 의거하는 우선권을 주장한다. 그 출원의 모든 내용은 이 명세서 중에 참조에 의해 원용되어 있다.
본 발명은, 자기의 동력에 의하여 이동하는 로봇에 관한 것이다. 특히, 카메라를 이용하여 주위의 환경을 인식하여 이동하는 로봇에 관한 것이다.
체간(體幹)과, 구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위를 구비하고 있는 이동형 로봇이 개발되어 있다. 이 종류의 로봇 중에는, 체간에 설치되어 있는 체간측 카메라로 촬상된 환경 화상으로부터 환경지도를 작성하고, 얻어진 환경지도를 기초로 목적 위치까지의 이동경로를 계획하는 것이 있다. 일본국 특개2005-92820호 공보에 개시된 기술에서는, 로봇의 머리부에 설치되어 있는 카메라로 촬상하고, 촬상한 화상으로부터 시차 화상 또는 거리 화상을 계산하고, 계산한 시차 화상 또는 거리 화상으로부터 평면 파라미터를 산출하고, 산출한 평면 파라미터로부터 바닥을 포함하는 복수의 평면 추출을 행함으로써 환경지도를 작성하고, 작성한 환경지도로부터 로봇이 이동 가능한 범위를 인식하고, 인식한 범위에 의거하여 로봇의 이동경로를 계획하고 있다.
구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위를 구비하고 있는 로봇의 경우, 암(arm)이나 다리 등의 접속부위의 위치에 따라서는, 로봇의 체간에 설치되어 있는 카메라의 시야의 일부가 접속부위에 의하여 가려져, 일부 주위 물체를 촬상할 수 없는 경우가 있다. 즉, 접속부위의 배후에 미지 환경이 존재하는 경우가 있다.
접속부위의 배후에 미지 환경이 존재하면, 체간의 이동경로를 계획할 수 없게 된다. 또는, 암이나 다리 등의 접속부위의 이동경로를 계획할 수 없게 된다. 특히, 접속부위를 목적 위치로 이동시키는 경로를 계획하는 경우에는, 목적 위치가 미지 환경에 있기 때문에, 목적 위치를 인식할 수 없는 사태가 발생하기 쉽다.
현상(現狀) 기술에서는, 미지 환경이 발생할 때마다, 체간 또는 접속부위를 이동시켜 미지 환경을 촬상하고, 미지 환경을 미지 환경이 아니게 하고 나서 이동경로를 결정하는 처리를 필요로 하고 있다.
그러나, 상기 처리에는 본래는 필요로 하지 않는 동작을 필요로 할 뿐 아니라, 체간을 연속적으로 이동시키는 로봇이나, 주위 물체가 이동하는 환경에 있는 경우에는, 대응하는 것이 어렵다.
본 발명은, 미지 환경을 발생시키지 않는 이동형 로봇을 실현하는 것을 목적으로 한다.
본 발명에서는, 접속부위에 의하여 가려져 촬상할 수 없는 범위를 촬상하기 위하여, 접속부위에도 카메라를 준비한다. 접속부위에도 카메라를 준비하면, 접속부위에 의하여 촬상할 수 없는 사태의 발생을 방지할 수 있다.
본 발명에서 창작된 로봇은, 체간과, 구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위와, 체간에 설치되어 있는 체간측 카메라와, 접속부위에 설치되어 있는 접속부위측 카메라와, 체간측 카메라로 촬상하여 얻어진 체간측 화상의 일부를, 접속부위측 카메라로 촬상하여 얻어진 접속부위측 화상의 일부로 대체함으로써, 체간측 화상 중에서 접속부위를 제거한 합성화상을 작성하는 합성화상 작성수단을 구비하고 있다.
상기 로봇은, 체간측 카메라로 촬상한 체간측 화상을 이용함으로써, 광범위한 환경 화상을 얻을 수 있다. 단, 체간측 화상에는 접속부위가 촬상되어 있고, 그 그림자가 되어 환경 화상을 얻을 수 없는 미지 환경이 남는 경우가 있다.
상기 로봇에서는, 체간측 화상에, 접속부위측 카메라로 촬상한 접속부위측 화상을 합성함으로써 합성화상을 작성하는 수단을 구비하고 있다. 이 때문에, 체간측 화상에서는 접속부위를 촬상하고 있고, 그 그림자가 되어 미지 환경이 되어 있는 환경 화상에, 접속부위측 화상을 합성할 수 있으며, 그렇게 하여 얻어지는 합성화상에는 미지 환경이 남지 않는다.
상기 로봇은, 미지 환경이 남지 않는 합성화상을 얻으면서, 그 후의 체간 또는 접속부위의 이동경로를 계산할 수 있다. 미지 환경을 남기지 않도록 하기 위하여 쓸데없는 동작이 필요하게 되는 경우가 없다. 또 주위 물체가 이동하는 환경에 있어도, 이동경로를 시시각각으로 결정할 수 있다.
본 발명의 하나의 개량된 로봇은, 합성화상 작성수단이, 체간측 화상 내에서 접속부위를 촬상하고 있는 범위를 특정하는 제 1 특정수단과, 접속부위측 화상 내에서, 제 1 특정수단으로 특정한 범위에 대응하는 범위를 촬상하고 있는 범위를 특정하는 제 2 특정수단과, 제 1 특정수단으로 특정한 범위 내의 체간측 화상을 제 2 특정수단으로 특정한 범위 내의 접속부위측 화상으로 대체하는 수단을 구비하고 있다.
체간측 화상 내에서 접속부위를 촬상하고 있는 범위를 특정하는 수단에는, 크게 나누어 두 가지 방식이 가능하다. 하나의 방식은, 체간측 카메라에 대한 접속부위의 위치관계(이것은 로봇에게 이미 알려져 있다)로부터 접속부위가 촬상되어 있을 범위를 계산하여 구하는 방식이다. 또 하나의 방식은, 체간측 화상을 화상처리하여 접속부위의 형상(이것은 로봇에게 이미 알려져 있다)에 상당하는 부분을 추출하고, 그것으로부터 접속부위가 촬상되어 있는 범위를 특정하는 방식이다. 어느 방식이어도 된다.
접속부위측 화상에는, 가령 접속부위가 없으면 체간측 카메라에 의하여 촬상될 범위가 촬상되어 있다. 이 범위를 특정하는 수단에도 크게 나누어 두 종류가 존재한다.
하나의 방식은, 체간에 대한 접속부위의 위치관계(이것은 로봇에게 이미 알려져 있다)와 접속부위에 대한 접속부위측 카메라의 위치관계로부터, 접속부위측 화상에서 가령 접속부위가 없으면 체간측 카메라에 의하여 촬상될 범위를 계산하여 구하는 방식이다. 이 방식은, 안길이 정보가 이미 알려진 경우에 특히 유효하다. 예를 들어, 벽면에 배치되어 있는 스위치류를 자립 이동형 로봇으로 조작하는 동작을 예로 하면, 벽면에 대한 로봇의 위치가 이미 알려져 있으면, 체간 카메라에 의한 벽면의 촬상범위는 계산 가능하고, 체간에 대한 접속부위의 위치가 이미 알려져 있으면, 접속부위의 그림자가 되어 체간 카메라로는 촬상할 수 없는 벽면의 범위를 계산할 수 있다. 체간에 대한 접속부위의 위치와, 접속부위에 대한 접속부위측 카메라의 위치가 이미 알려져 있으면, 접속부위의 그림자가 되어 체간 카메라로는 촬상할 수 없는 벽면의 범위에 대응하는 접속부위측 화상 내의 범위를 계산할 수 있다. 체간측 화상에서는 접속부위를 촬상하고 있는 범위를, 접속부위의 그림자가 되어 체간 카메라로는 촬상할 수 없는 범위의 접속부위측 화상으로 대체하면, 접속부위가 존재하지 않는 경우에 체간측 카메라로 촬상한 것과 동등한 합성 화상을 얻을 수 있다. 체간측 카메라와 접속부위측 카메라의 존재 위치가 다르기 때문에, 단순히 대체하는 것만으로는, 접속부위가 존재하지 않는 경우에 체간측 카메라로 촬상한 것과 동일한 합성화상을 얻을 수는 없다. 그러나, 접속부위측 카메라는 체간측 카메라로 촬상할 수 없는 방향의 범위 내에 있고, 체간측 카메라로는 촬상할 수 없는 범위에 대한 체간측 카메라와 접속부위측 카메라의 시점은 크게는 다르지 않다. 대략 동일한 방향에서 촬상하고 있다. 따라서, 접속부위측 카메라 화상의 축척을 조정하여 대체하는 것만으로, 접속부위가 존재하지 않는 경우에 체간측 카메라로 촬상한 것과 동등한 합성화상을 얻을 수 있다. 필요하면, 접속부위측 카메라 화상을, 체간측 카메라의 위치에서 촬상한 화상으로 변환하고 나서 합성하여도 된다. 이와 같이 하면, 합성화상의 질이 향상된다. 이 합성화상이 얻어지면, 접속부위의 그늘이 되어 체간측 카메라로는 촬상할 수 없는 범위에 존재하는 스위치류의 위치를 인식하는 것이 가능해지고, 의도한 스위치를 향하여 접속부위를 이동시키는 것이 가능해진다. 또는, 의도한 스위치를 향하여 체간을 이동시키는 것이 가능해진다.
또 하나의 방식은, 체간측 화상에서 접속부위가 촬상되어 있는 범위에 대응하는 범위를 접속부위측 화상으로부터 특정하는 방식이다. 체간측 화상을 화상처리하여 접속부위의 형상에 상당하는 부분을 추출하면, 그 주위에 존재하는 화상으로부터 특징점(特徵点)을 추출하는 것이 가능해진다. 예를 들면, 상자의 앞면에 접속부위가 존재하고 있기 때문에, 상자의 앞면의 일부가 접속부위에 가려져 있는 경우, 접속부위에 가려져 있지 않은 상자의 정점을 특정할 수 있다. 이러한 특징점을 접속부위가 촬상되어 있는 범위를 한바퀴 돌도록 특정하면, 접속부위에 가려져 주위의 환경이 촬상되어 있지 않은 범위를 포함하는 범위를 특정할 수 있다. 한편, 접속부위측 화상에서도, 상기 특징점군(群)을 촬상하고 있다. 그래서, 접속부위측 화상으로부터 상기 특징점군을 추출하면, 접속부위에 가려져 체간측 카메라로는 주위의 환경이 촬상되어 있지 않은 범위를 포함하는 범위에 대응하는 접속부위측 화상 내의 범위를 특정할 수 있다. 전자의 범위를 후자의 범위로 대체하면, 접속부위가 존재하지 않는 경우에 체간측 카메라로 촬상한 것과 동등한 합성화상을 얻을 수 있다.
로봇이 동작하고 있는 환경에 의하여, 계산함으로써 대체범위를 특정할 수 있는 경우도 있으면, 화상처리함으로써 대체범위를 특정할 수 있는 경우도 있다.
본 발명의 하나의 개량된 로봇은, 체간측 카메라를 복수 구비하고 있다. 이 경우, 합성화상 작성수단에 의하여, 각각의 체간측 카메라로 촬상한 체간측 화상에 대하여, 합성화상을 작성할 수 있다. 이 경우, 시점을 바꾸어 촬상한 복수 장의 합성화상이 얻어지고, 예를 들면 안길이 정보가 알려져 있지 않은 경우 등에, 촬상범위 내에 존재하는 특징점의 3차원적 위치를 특정한다고 한 것이 가능해진다.
본 발명의 다른 하나의 개량된 로봇은, 합성화상을 사용하여, 로봇의 주위 물체의 상대적인 위치를 계산한다. 상기한 바와 같이, 예를 들면, 벽면에 작업 대상이 배치되어 있는 경우 등, 안길이 정보가 이미 알려져 있으면, 한 장의 합성화상으로부터, 작업 대상의 존재 위치를 특정할 수 있다. 안길이 정보가 알려져 있지 않아도, 시점을 바꾸어 촬상한 복수 장의 합성화상으로부터, 주위 물체의 3차원적 위치를 특정할 수 있다.
본 발명의 다른 하나의 개량된 로봇은, 체간측 카메라에 대한 접속부위의 위치에 따라, 접속부위측 카메라의 촬상방향을 조정하는 수단을 구비하고 있다. 접속부위의 위치에 의하여, 체간 카메라로는 촬상할 수 없는 범위의 접속부위에 대한 각도가 달라진다. 접속부위의 위치에 따라, 접속부위측 카메라의 촬상방향을 조정하도록 하면, 체간 카메라로는 촬상할 수 없는 범위를 접속부위측 카메라로 확실하게 촬상하게 할 수 있어, 사각(死角)의 발생을 방지할 수 있다.
예를 들면, 안길이 정보가 이미 알려진 경우에는, 한 장의 합성화상을 얻는 것 자체로 유용한 정보가 얻어진다. 안길이 정보가 알려져 있지 않으면, 시점을 바꾸어 촬상한 복수 장의 화상정보를 얻고, 그것들로부터 주위 물체의 위치를 계산하는 것이 유용하다.
이 종류의 요청에 따르기 위하여 본 발명에서 창작된 로봇은, 체간과, 구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위와, 체간에 설치되어 있는 2 이상의 체간측 카메라와, 접속부위에 설치되어 있는 접속부위측 카메라와, 2 이상의 체간측 카메라로 촬상한 2 이상의 체간측 화상으로부터 촬상범위 내에 존재하는 물체의 이동형 로봇에 대한 상대적 위치관계를 계산하는 제 1 계산수단과, 체간측 카메라의 적어도 하나로 촬상한 체간측 화상과 접속부위측 카메라로 촬상한 접속부위측 화상으로부터 촬상범위 내에 존재하는 물체의 이동형 로봇에 대한 상대적 위치관계를 계산하는 제 2 계산수단을 구비하고 있다. 이 경우, 화상정보를 처리함으로써 위치정보를 계산한다. 반드시 합성화상을 작성할 필요는 없다.
다른 위치에 배치되어 있는 2 이상의 체간측 카메라를 이용하여 2 이상의 체간측 화상정보를 얻을 수 있으면, 양 화상에 촬상되고 있는 물체의 이동형 로봇에 대한 상대적 위치관계를 계산할 수 있다. 그러나, 접속부위의 그림자가 되어 있기 때문에, 어느 하나의 체간측 화상으로는 촬상되어 있지 않은 주위 물체에 대해서는, 위치를 특정할 수 없다.
상기 로봇에서는, 체간측 카메라의 하나로 촬상한 체간측 화상과 접속부위측 카메라로 촬상한 접속부위측 화상을 조합하여 이용한다. 이것들도, 시점을 바꾸어 촬상한 2 이상의 화상정보이고, 이것들로부터도 주위 물체의 이동형 로봇에 대한 상대적 위치관계를 계산할 수 있다. 접속부위의 그림자가 되어 양쪽의 체간측 카메라로는 촬상할 수 없어도, 어느 한쪽의 체간측 카메라로 촬상할 수 있으면, 그것과 접속부위측 화상정보를 조합하여 이용함으로써, 주위 물체의 이동형 로봇에 대한 상대적 위치관계를 특정할 수 있다. 이에 따라, 미지 환경의 범위를 좁힐 수 있다.
본 발명의 개량된 로봇은, 접속부위를 촬상하고 있는 범위가 가장 적은 체간측 화상을 선택하여 계산에 이용하는 제 2 계산수단을 구비하고 있다. 이 로봇에서는, 상기한 경우에 더하여, 모든 체간측 화상정보에 접속부위측 화상정보를 조합하여 계산하는 것도 가능하다.
본 발명의 이동형 로봇에 의하면, 접속부위에 카메라를 설치함으로써, 접속부위에 제 2 시각 인식부로서의 기능을 부가하는 것이 가능해진다. 이 구성에 의하여 접속부위의 그림자가 되어 체간측 카메라로는 촬상할 수 없는 미지 환경의 범위를 감소 내지는 없앨 수 있고, 로봇을 안전하고 신속하게 동작시키는 것이 가능해진다.
도 1은 실시예 1의 로봇과 로봇의 주위의 환경을 나타내는 사시도,
도 2는 실시예 1의 로봇 기구의 개략을 나타내는 도,
도 3은 실시예 1의 로봇의 시야를 나타내는 도
도 4는 체간측 화상의 일례를 나타내는 도,
도 5는 접속부위측 화상의 일례를 나타내는 도,
도 6은 화상합성 처리장치의 처리과정을 나타내는 플로우 차트,
도 7은 도 4의 체간측 화상과 접속부위의 촬상범위(R)를 나타낸 도,
도 8은 도 5의 접속부위측 화상과 대응범위(S)를 나타낸 도,
도 9는 단계 S613의 출력 결과의 일례를 나타내는 도,
도 10A는 로봇의 오른쪽에 구비된 체간측 카메라가 촬상한 체간측 화상을 나타내는 도,
도 10B는 로봇의 중앙에 구비된 체간측 카메라가 촬상한 체간측 화상을 나타내는 도,
도 10C는 로봇의 왼쪽에 구비된 체간측 카메라가 촬상한 체간측 화상을 나타내는 도,
도 11은 접속부위측 화상과 대응범위(S)의 일례를 나타내는 도,
도 12는 실시예 2의 로봇과 로봇의 주위의 환경을 나타내는 사시도,
도 13은 실시예 2의 로봇 기구의 개략을 나타내는 도,
도 14는 실시예 2의 로봇의 시야의 조감도,
도 15는 실시예 2의 로봇의 동작처리까지의 과정을 나타내는 플로우 차트,
도 16은 스테레오 화상의 취득처리의 과정을 나타내는 플로우 차트,
도 17은 실시예 3의 로봇 기구의 개략을 나타내는 도면이다.
가장 먼저, 이하에 설명하는 실시예의 주요한 특징을 나열하여 기재한다.
(특징 1) 로봇은, 체간에 주행기구를 구비하고 있다. 본 명세서에서 개시되어 있는 실시예의 경우는 차륜이지만, 다리 링크이어도 된다.
(특징 2) 로봇은, 환경지도로부터 체간의 주행 궤적을 계산한다.
(특징 3) 로봇은, 환경지도로부터 접속부위의 이동 궤적을 계산한다.
(특징 4) 로봇은, 환경지도로부터 체간의 주행 궤적과 접속부위의 이동 궤적 을 계산한다.
(특징 5) 로봇은, 관절각도 제어장치나 차륜 회전수 제어장치 및 위치정보 검출장치에 의하여 로봇의 자세와 각 카메라의 촬상방향을 제어하고 있다. 체간측 카메라의 촬상방향은, 체간측 카메라 촬상방향 계산장치로 계산되고, 접속부위측 카메라의 촬상방향은, 접속부위측 카메라 촬상방향 계산장치로 계산된다.
(특징 6) 로봇은 합성화상으로부터 얻어진 정보에 의거하여, 이동경로를 작성한다. 그 경로에 의거하여, 상기 관절각도 제어장치나 차륜 회전수 제어장치 및 위치정보 검출장치가 액츄에이터를 제어하고, 체간 및/또는 접속부위를 작성된 이동경로를 따라 이동시킨다.
(특징 7) 로봇은 주위환경의 변화에 대응하여 과거에 작성한 궤도에 수정을 가하고, 이동경로를 변경하는 경로 수정 장치를 구비하고 있다.
[실시예]
이하, 도면을 참조하면서 본 발명의 실시예에 대하여 상세하게 설명한다.
(실시예 1)
도 1에, 본 실시예의 로봇(100)과 로봇(100)의 주위 환경을 나타내는 사시도를 나타낸다. 본 실시예의 로봇(100)은, 체간(103)과, 어깨관절(203)을 거쳐 체간(103)에 접속된 하나의 접속부위(암)(104)를 가지고 있다. 접속부위(104)는, 2개 이상이 존재하고 있어도 된다. 체간(103)은, 몸통체(200)와, 목관절(202)과, 머리부(201)를 구비하고 있고, 머리부(201)에 체간측 카메라(105)가 고정되어 있다. 체간측 카메라(105)는, 목관절(202)에 의하여, 몸통체(200)에 대한 촬상방향을 변경 할 수 있다. 몸통체(200)의 아래쪽에는 한 쌍의 차륜이 배치되어 있고, 차륜(206)을 이용하여 체간(103)을 이동시킨다.
접속부위(104)는, 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)을 구비하고 있고, 손바닥에 접속부위측 카메라(106)가 고정되어 있다. 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)은 구동기구를 가지고 있고, 접속부위측 카메라(106)는, 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)에 의하여, 몸통체(200)에 대한 촬상방향을 변경할 수 있다. 또 몸통체(200)에 대한 접속부위측 카메라(106)의 카메라 위치를 변경하는 것도 가능하다.
로봇(100)은, 또한, 작업환경 내에서의 머리부(201)의 위치를 계측하는 수단을 구비하고 있고, 체간측 카메라(105)의 카메라 위치와 촬상방향을 인식하고 있다. 또, 체간(103)에 대한 접속부위측 카메라(106)의 카메라 위치와 촬상방향을 인식하고 있다.
로봇(100)은, 차륜(206)을 이용하여 스위치 패널(10)에 접근하고, 접속부위(104)를 이용하여 스위치 패널(10)의 벽면에 배치되어 있는 스위치군(12a, 12b‥)을 조작한다. 스위치 패널(10)의 벽면의 위치는 이미 알려져 있다.
도 2는, 로봇(100)의 주위를 인식하는 기구(101)의 개략을 나타내는 도면이다. 본 실시예의 로봇(100)은, 제어장치(114)를 가지고 있다. 제어장치(114)는, 합성화상 작성수단(110)과, 이동경로 작성장치(113)와, 체간측 카메라 위치 촬상방향 계산장치(111)와, 접속부위측 카메라 위치 촬상방향 계산장치(109)를 구비하고 있다. 합성화상 작성수단(110)은, 체간측 카메라(105)로부터 체간측 화상정보를 입력하고, 접속부위측 카메라(106)로부터 접속부위측 화상정보를 입력하며, 체간측 카메라 위치 촬상방향 계산장치(111)로부터 체간측 카메라(105)의 위치와 촬상방향을 입력하고, 접속부위측 카메라 위치 촬상방향 계산장치(109)로부터 접속부위측 카메라(106)의 위치와 촬상방향을 입력하고, 체간측 화상정보와 접속부위측 화상정보로부터 합성화상정보를 작성한다. 이동경로 작성장치(113)에서는 작성한 합성화상정보로부터 그 후의 이동경로를 작성하고, 작성한 이동경로정보에 따라, 차륜(206)과 관절군을 회전시키는 액츄에이터군(115)을 제어하고, 작성한 이동경로를 따라, 차륜(206), 머리부(201), 접속부위(104)를 이동시킨다. 로봇(100)은, 차륜(206)의 회전수를 검출하는 차륜 회전수 검출장치(119)와, 각 관절의 관절각을 검출하는 관절각 검출장치(117)와, 몸통체(200) 내에 설치되어 있어 몸통체(200)의 위치를 검출하는 위치정보 검출장치(121)를 구비하고 있고, 그들 장치에서 취득되는 정보가, 체간측 카메라 위치 촬상방향 계산장치(111)와 접속부위측 카메라 위치 촬상방향 계산장치(109)에 입력된다.
로봇은, 위치와 촬상방향이 이미 알려진 카메라로 촬영한 화상정보로부터 주위의 환경을 인식하여 이동경로를 작성하는 이동경로 작성수단(113)을 가지고 있고, 작성한 이동경로에 따라 이동한 후에 카메라 위치와 촬상방향을 재계산하고, 그 후에 다시 촬상하는 처리를 반복하면서, 자율적으로 이동한다.
도 3에, 로봇(100)의 시야를 나타내는 도면을 나타낸다. 로봇(100)의 접속부위(104)가 체간측 카메라(105)의 시야 내에 들어오면, 그 뒤에 있는 환경정보를 얻을 수 없다. 구체적으로는, 체간측 카메라(105)로부터 촬상하는 체간측 화상에는, 도 3의 스위치 패널의 점 A 및 점 B는 촬상되는 것에 대하여, 점 C 및 점 D는 찍히지 않는다. 따라서, 점 C 및 점 D에서의 주위 물체의 정보를 알 수 없게 되고, 환경상황의 인식 및 로봇(100)에 대한 주위 물체의 상대적인 위치관계의 파악을 할 수 없지만, 본 실시예에서는, 접속부위측 카메라(106)를 설치함으로써 가시범위가 확대되고, 점 C 및 점 D를 포함하는, 미지의 환경을 파악할 수 있다.
도 4 및 도 5에, 체간측 화상과 접속부위측 화상의 예를 각각 나타낸다. 도 4의 체간측 화상에서는 접속부위(104)의 그림자에 가려져 촬상되지 않은 패널의 표면이, 도 5의 접속부위측 화상에서는 촬상되어 있다. 이것은, 머리부(201)와 접속부위(104)의 위치가 관절각 검출장치(117)에 의하여 제어되어 있고, 체간측 카메라(105)와 접속부위측 카메라(106)의 상대 위치에 따라, 접속부위측 카메라(106)의 촬상방향이 조절됨으로써 가능해진다. 접속부위측 카메라(106)의 촬상방향은, 체간측 카메라로는 접속부위(104)의 그림자에 가려져 촬상할 수 없는 방향을 촬영하도록 조정된다.
각각의 카메라의 배율이나 화상 사이즈 등의 차이에 관한 정보는, 체간측 카메라 위치 촬상방향 계산장치(111) 및 접속부위측 카메라 위치 촬상방향 계산장치(109)에 의하여 파악되어 있고, 합성시에는 그 정보에 의거한 화상처리를 행하기 때문에, 각각의 화상의 촬상범위가 완전하게 일치하지 않아도 된다. 예를 들면, 체간측 카메라(105)에 대하여 접속부위측 카메라(106)는 스위치 패널(10)까지의 거리가 다르고, 또한 접속부위(104)가 머리부(201)에 대하여 경사져 있기 때문에, 도 5의 접속부위측 화상은 도 4의 체간측 화상에 비하여 촬상되는 스위치 패널(10)의 배율이 크고, 또 기울어져 있다.
도 6에, 화상합성처리의 플로우 차트를 나타낸다. 이때, 로봇(100)과 스위치 패널(10)은 도 1에 나타내는 바와 같은 위치관계에 있다. 로봇(100)의 접속부위(104)는 도 4에 나타내는 위치에 있고, 동일한 화상이 체간측 카메라(105)에 의하여 촬상되어 있다. 로봇(100)은 스위치 패널(10)의 스위치(12c)(도 1 참조)를 가압하기 위하여, 접속부위(104)를 이동시키려고 한다. 그러나, 스위치(12c)는 체간측 화상에서는 미지 환경의 범위 내에 있기 때문에, 도 6에 나타내는 합성화상 작성처리를 개시한다.
단계 S601에서는, 합성화상 작성수단(110)에 체간측 화상정보가 입력된다. 단계 S603에서는, 체간측 화상에서 미지 환경이 되어 있는 부분의 특징점(Xn)의 추출을 한다. 도 7에, 단계 S603에서 추출되는 체간측 화상의 특징점의 일례를 나타낸다. 로봇(100)의 접속부위(104)의 형상은 이미 알려져 있기 때문에, 체간측 화상으로부터 접속부위를 촬상하고 있는 범위(즉, 접속부위의 촬상범위)를 특정할 수 있다(제 1 특정수단). 도면에서의 점(X1부터 X6)은, 접속부위의 촬상범위를 포함하도록 추출된 특징점이다. 본 실시예에서는, 직선으로 연결하는 것이 가능한 6개의 특징점을 추출하고 있지만, 접속부위의 윤곽을 따라 특징점(Xn)을 취하면 된다. 단계 S605에서는, 단계 S603에서 추출된 특징점으로부터, 접속부위의 촬상범위(R)(즉, 배후의 주위 물체정보가 미지의 범위)를 특정한다. 도 7의 특징점(X1부터 X6)에 둘러싸인 범위가, 근사(近似)한 접속부위의 촬상범위(R)이다. 추출하는 특징점(Xn)의 수를 증가시킴으로써, 특징점에 의하여 둘러싸이는 범위(R)를 접속부위의 촬상범위에 정확하게 일치시킬 수 있다.
단계 S607에서는, 합성화상 작성수단(110)에 접속부위측 화상정보가 입력된다. 단계 S609에서는, 단계 S607에서 입력된 접속부위측 화상정보로부터, 체간측 화상의 접속부위의 촬상범위(R)의 특징점에 대응하는 점(Zn)을 추출한다. 도 8에, 단계 S609에서 추출되는 접속부위측 화상의 특징점(Zn)의 일례를 나타낸다. 도 8에서의 점(Z1부터 Z6)은, 체간측 화상으로부터 추출된 특징점(X1부터 X6)에 대응하는 점이다.
단계 S611에서는, 단계 S609에서 추출된 특징점(Zn)으로부터, 접속부위측 화상의 대응범위(S)(즉, 체간측 화상에서는 미지 정보인 범위)를 특정한다(제 2 특정수단).
단계 S613에서는, 접속부위측 화상에 의하여 얻어진 대응범위(S)를, 체간측 화상으로부터 얻어진 접속부위의 촬상범위(R)에 적합하도록, 체간측 카메라와 접속부위측 카메라의 입력화상에 부가되어 있는 차이 정보에 의거하여, 사이즈의 조정, 경사각의 회전조정 등의 처리를 행한다.
단계 S615에서는, 체간측 화상의 접속부위의 촬상범위(R)를, 합성을 위한 준비 처리를 끝낸 대응범위(S)로 대체한다. 그 결과, 단계 S617에서, 미지 범위가 없 는 합성화상이 출력된다. 도 9에, 합성화상의 일례를 나타낸다. 파선으로 나타내고 있는 접속부위의 촬상범위(R)는 대응범위(S)로 대체되고, 접속부위가 촬상되어 있지 않은 합성화상을 얻을 수 있다.
본 실시예는, 복수의 체간측 카메라를 가지고 있어도 된다. 그 경우는, 각각의 체간측 화상으로부터 접속부위의 촬상범위(Rx)를 추출하고, 각각의 접속부위의 촬상범위(Rx)에 대하여 접속부위측 화상으로부터 대응범위(S)를 추출하고, 접속부위의 촬상범위(Rx)를 대응범위(Sx)로 대체한다.
도 10에, 복수의 체간측 화상과 접속부위의 촬상범위(R)의 일례를 나타낸다. 로봇(100)이 체간측 카메라를 체간(103)의 좌우 양측과 중앙에 각각 하나씩 구비하고 있는 경우, 오른쪽에 구비된 체간측 카메라로부터는 도 10A에 나타내는 체간측 화상(TC1)이 얻어지고, 중앙에 구비된 체간측 카메라로부터는 도 10B에 나타내는 체간측 화상(TC2)이 얻어지며, 왼쪽에 구비된 체간측 카메라로부터는 도 10C에 나타내는 체간측 화상(TC3)이 얻어진다. 이들 체간측 화상(TC1, TC2 및 TC3)은 단계 S601부터 단계 S605의 처리를 거쳐, 접속부위의 촬상범위(R1, R2 및 R3)의 특정을 행하고 있다. 체간(103)에 고정된 3대의 체간측 카메라의 위치가 다르기 때문에, 각 화상의 접속부위의 촬상범위의 위치에는 차이가 있다.
도 11에, 상기 3대의 체간측 카메라와 연동하여 작동하는 접속부위측 카메라가 촬상한 접속부위측 화상(AC)을 예시한다. 체간측 화상(TC1, TC2 및 TC3)의 접속 부위의 촬상범위(R1, R2 및 R3)를 보충하기 위하여, 접속부위측 화상(AC)은 단계 S607부터 스텝 S611의 처리에 의하여 대응범위(S1, S2 및 S3)를 특정한다.
단계 S613부터 단계 S617의 처리에 의하여 체간측 화상(TC1, TC2 및 TC3)의 접속부위의 촬상범위(R1, R2 및 R3)는, 접속부위측 화상(AC)의 대응범위(S1, S2 및 S3)에 의해 대체되고, 미지 범위가 없는 체간측 카메라 화상이 작성된다.
또한, 본 실시예의 로봇(100)은, 복수의 접속부위측 카메라를 가지고 있어도 된다. 이 경우는, 각 체간측 화상의 접속부위의 촬상범위(R)에 대하여 대응범위(S)가 가장 광범위하게 추출 가능한 접속부위측 화상을 이용하는 판단장치를 설치하는 것이 바람직하다.
본 실시예의 로봇(100)은 또한, 상기 방법으로 얻어진 합성화상을 이용하여, 로봇(100)에 대한 주위 물체의 상대적인 위치를 계산할 수 있다. 여기서 말하는 로봇(100)에 대한 주위 물체의 상대적인 위치는, 물체의 상대적 위치 좌표를 월드좌표계에서 로봇을 중심으로 한 좌표계로 변환하여 파악한다.
(실시예 2)
실시예 1과 실시예 2에는, 공통되는 부위가 있기 때문에, 공통되는 부위 또는 장치에 대해서는 동일 번호를 붙이고 중복 설명을 생략한다.
도 12는, 스테레오 카메라를 사용한 로봇과 로봇의 주위 환경을 나타내는 사시도이다. 본 실시예의 로봇(100)은, 체간(103)과, 어깨관절(203)을 거쳐 체 간(103)에 접속된 하나의 접속부위(암)(104)를 가지고 있다. 접속부위(104)는, 2개 이상이 존재하고 있어도 된다. 체간(103)은, 몸통체(200)와, 목관절(202)과, 머리부(201)를 구비하고 있고, 머리부(201)에 체간측 카메라[105(a), 105(b)]가 고정되어 있다. 체간측 카메라[105(a), 105(b)]는, 목관절(202)에 의하여, 몸통체(200)에 대한 촬상방향을 변경할 수 있다. 몸통체(200)의 아래쪽에는 한 쌍의 차륜(206)이 배치되어 있고, 차륜(206)을 이용하여 이동한다.
접속부위(104)는, 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)을 구비하고 있고, 손바닥에 접속부위측 카메라(106)가 고정되어 있다. 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)은 구동기구를 가지고 있고, 접속부위측 카메라(106)는, 어깨관절(203)과, 팔꿈치관절(204)과, 손목관절(205)에 의하여, 몸통체(200)에 대한 촬상방향을 변경할 수 있다. 또 몸통체(200)에 대한 접속부위측 카메라(106)의 카메라 위치를 변경할 수도 있다.
이 로봇은, 작업환경 내에서의 머리부(201)의 위치를 계측하는 수단을 구비하고 있고, 체간측 카메라[105(a), 105(b)]의 카메라 위치와 촬상방향을 인식하고 있다. 또, 몸통체(200)에 대한 접속부위측 카메라(106)의 카메라 위치와 촬상방향을 인식하고 있다.
본 실시예의 로봇(100)은, 주위 물체(30, 40, 50, 60)를 시각에 의해 인식하고, 그것들에 충돌하지 않는 접속부위 궤도를 작성하고, 파지물(20)을 빈 스페이스에 설치한다. 로봇(100)의 체간측 카메라[105(a), 105(b)]는 통상, 스테레오 카메라로서 기능하고 있어, 도면에서의 점 A, B, C, D는, 로봇(100)의 시점이다.
도 13은, 본 실시예의 스테레오 카메라를 사용한 로봇(100)의 주위를 인식하는 기구(101)의 개략을 나타내는 도면이다. 본 실시예의 로봇(100)은, 제어장치(114)를 가지고 있다. 제어장치(114)는, 화상정보 처리장치(116)와, 환경지도 기억장치(112)와, 이동경로 작성장치(113)와, 체간측 카메라 위치 촬상방향 계산장치(111)와, 접속부위측 카메라 위치 촬상방향 계산장치(109)를 구비하고 있다. 화상정보 처리장치(116)는 체간(103)에 설치되어 있는 체간측 카메라[105(a), 105(b)]로부터 체간측 화상정보를 입력하고, 접속부위(104)에 설치되어 있는 접속부위측 카메라(106)로부터 접속부위측 화상정보를 입력하고, 체간측 카메라 위치 촬상방향 계산장치(111)로부터 체간측 카메라[105(a), 105(b)]의 위치와 촬상방향을 입력하고, 접속부위측 카메라 위치 촬상방향 계산장치(109)로부터 접속부위측 카메라(106)의 위치와 촬상방향을 입력하고, 이것들의 화상정보 및 카메라 위치와 촬상방향에 관한 정보로부터, 환경지도를 작성하고, 환경지도 기억장치(112)에 기억한다. 이동경로 작성장치(113)는, 그 환경지도정보에 의거하여, 그 후의 이동경로를 작성하고, 작성한 이동경로정보에 따라서, 차륜(206)과 구동기구를 가지는 관절을 회전시키는 액츄에이터군(115)을 제어하고, 작성한 이동경로를 따라, 차륜(206), 머리부(201), 접속부위(104)를 이동시킨다. 로봇(100)은, 차륜(206)의 회전수를 검출하는 차륜 회전수 검출장치(119)와, 각 관절의 관절각을 검출하는 관절각 검출장치(123)와, 몸통체(200) 내에 설치되어 있어 몸통체(200)의 위치를 검출하는 위치정보 검출장치(121)를 구비하고 있고, 그들 장치에서 취득되는 정보가, 체간측 카메라 위치 촬상방향 계산장치(111)와 접속부위측 카메라 위치 촬상방향 계산장치(109)에 입력된다.
로봇(100)은, 위치와 촬상방향이 이미 알려진 카메라로 촬상한 화상정보로부터 주위의 환경을 인식하여 이동경로를 계산하고, 계산한 이동경로에 따라 이동한 후에 카메라 위치와 촬상방향을 재계산하고, 그 후에 다시 촬상하는 처리를 반복하면서, 자율적으로 이동한다.
도 14에, 로봇(100)의 시야의 조감도를 나타낸다. 로봇(100)의 접속부위(104)와 그 파지물(20)이 체간측 카메라[105(a), 105(b)]의 시야 내에 들어오면, 그 뒤에 있는 환경정보를 얻을 수 없다.
구체적으로는, 도 14의 예에서, 점 A 및 점 B는, 실선 화살표로 나타내는 바와 같이 체간측 카메라[105(a), 105(b)]의 양쪽에서 촬상 가능하기 때문에, 체간측 화상으로부터 스테레오 화상이 생성 가능하게 되어 있고, 로봇의 이동에 맞추어 그 정보를 시계열상 연속하여 취득할 수 있다.
그것에 대하여, 점 C 및 점 D 에 관해서는, 체간측 카메라만으로는 다리의 이동위치 또는 접속부위의 동작에 의하여, 각각의 점의 체간측 카메라[105(a), 105(b)]를 이용한 스테레오 관측이 불가능하게 되고, 그 주위에 대한 환경정보를 취득할 수 없다. 파선 화살표는, 접속부위 또는 파지물체가 시선을 차단하기 때문에, 동일한 특징점을 가지는 화상을 촬상할 수 없는 것을 나타내고 있다.
스테레오 카메라의 경우, 특히 주위 물체의 깊이나 높이 등의 정보를 필요로 하는 경우는, 복수의 위치정보가 이미 알려진 카메라를 이용하거나, 또는 1대의 카메라가 이동하면서 촬상한 경우와 같이, 복수의 화상으로부터 시차정보가 얻어지는 것이 필수적이게 된다. 이 때문에, 점 C 및 점 D는 양안 관측이 불가능하기 때문에, 점 C 및 점 D 부근의 물체의 위치관계를 인식할 수 없다.
이러한 경우, 본 실시예는, 점 C 및 점 D의 시점과 같이, 시계를 가리는 물체의 유무 등에 의하여, 체간측 카메라(105) 중 어느 하나가 스테레오 카메라로서 만족스럽게 기능하는 것이 곤란한 경우에는, 어느 하나의 체간측 카메라(105)와 접속부위측 카메라(106)를 사용하여 스테레오 화상을 얻을 수 있다.
구체적으로는, 점 A 및 점 B의 주변 등, 접속부위(104) 등의 시야를 가리는 물체가 없는 경우에는 체간측 카메라[105(a), 105(b)]에 의해 스테레오 화상을 취득하고, 주위 물체의 로봇(100)에 대한 상대적인 위치관계를 계산할 수 있다(제 1 계산수단). 그 한편으로, 점 C와 같은 경우에는 체간측 카메라(105b)와 접속부위측 카메라(106)에 의해 양안 관측하고, 점 D의 경우에는 체간측 카메라(105a)와 접속부위측 카메라(106)에 의해 양안 관측을 함으로써, 주변환경 전역을 인식하는 데 필요한 정보를 얻어, 주위 물체의 로봇(100)에 대한 상대적인 위치관계를 계산할 수 있다(제 2 계산수단).
접속부위측 카메라(106)를 사용하여 양안 관측을 하는 경우, 복수의 체간측 카메라 중, 어느 카메라를 사용하여 스테레오 화상을 취득할지는, 접속부위(104)의 촬상되는 범위가 가장 적은 체간측 화상이 취득되는 체간측 카메라를 계산에 이용하도록 선택할 수 있다. 이 선택은, 화상정보 처리장치(116)가 판단한다.
도 15에, 본 실시예의 로봇의 동작 개요를 나타내는 플로우 차트를 나타낸다. 이때, 로봇(100)은 파지물(20)을 파지하고 있고, 그것을 물체(30, 40, 50, 60) 에 충돌하지 않는 접속부위 궤도를 작성하고, 파지물(20)을 빈 스페이스에 설치하는 작업을 실행하고 싶다. 로봇(100)의 접속부위(104)는 도 14에 나타내는 바와 같은 위치에 있고, 이러한 상태를 나타내는 화상이 체간측 카메라[105(a), 105(b)]의 위치에서 촬상되고 있다. 접속부위(104)의 궤도를 작성하는 데 있어서, 물체(50) 및 물체(60)의 일부가 접속부위(104) 및 파지물(20)에 의하여 미지로 되어 있기 때문에, 도 15에 나타내는 화상정보처리를 개시한다.
단계 S500에서는, 체간측 카메라[105(a), 105(b)] 및 접속부위측 카메라(106)에 의해 촬상된 복수의 화상이 화상정보 처리장치(116)에 입력되고, 스테레오 화상이 취득된다. 화상정보 처리장치(116)는, 체간측 화상의 미지 범위의 크기에 의하여, 접속부위측 화상을 이용할지의 여부를 판단하여도 되고, 접속부위(104)에 의하여 가려져, 미지 범위가 되는 범위가 더 적은 화상의 조합으로부터 스테레오 화상을 얻는 수단을 가지고 있다.
단계 S502에서는, 단계 S500에서 선택되고, 취득된 스테레오 화상에 의거하여 로봇(100)의 주위 물체의 상대적인 위치를 계산한다. 화상 데이터는 월드좌표계로부터 로봇을 중심으로 하는 좌표계로 변환되고, 주위 물체의 위치관계가 계산되며, 로봇(100)과 주위 물체의 상대적 위치정보로서 출력된다. 예로서, 이 상대적 위치정보의 취득에는, 시차 화상이나 거리 화상을 이용하여도 된다.
이때, 체간측 화상끼리로부터 스테레오 화상정보를 얻는 경우와, 체간측 화상과 접속부위측 화상을 이용하여 스테레오 화상을 얻는 경우에서, 각각에 제 1 계산수단 및 제 2 계산수단이라는, 다른 계산수단을 준비하는 것이 바람직하다. 체간 측 카메라끼리는 병행이지만, 체간측 화상과 접속부위측 화상을 이용한 계산수단은, 각각의 카메라의 상대 위치가 다르기 때문에, 예를 들면 스테레오 화상의 평행화나 핸드ㆍ아이 교정과 같은 좌표계의 변환 등을 적용할 수 있다.
화상처리장치(116)에서 산출된 상대적 위치정보는, 단계 S504에서 주위 물체의 상대적 위치를 나타내는 데이터로서 구축되고, 환경지도 기억장치(112)에 기억된다. 환경지도란, 로봇(100)이 주위 물체의 상대적 위치를 파악할 수 있는 데이터를 가리킨다. 예를 들면, 화상정보 처리장치(116)에서 시차 화상을 산출하는 경우는, 이 환경지도는 화상 시차공간(SDS 공간, Spacial Disparity Space)에 의해 나타내는 것이 가능하다. SDS 공간에서는, 점 A, 점 B, 점 C 및 점 D를 가지는 주위 물체(30, 40, 50, 60)는 안길이가 있는 곡면으로서 나타난다.
단계 S506에서는, 환경지도정보에 의거하여 로봇(100)의 이동경로를 작성한다. 본 실시예의 로봇(100)은, 주위 물체(30, 40, 50, 60)를 시각에 의하여 인식하고, 그것들에 충돌하지 않는 접속부위 궤도를 작성하고, 파지물(20)을 빈 스페이스에 설치하는 것을 작업목적으로 하고 있기 때문에, 이러한 경우는 환경지도정보로부터 주위 물체가 존재하지 않는 평면을 검출하고, 그곳에 파지물(20)을 설치할 수 있는 접속부위의 궤도를 작성하는 것이 바람직하다. 작성된 이동경로를 따라, 단계 S508에서는, 액츄에이터(115)에 의해 실제의 동작이 실현된다.
도 16에, 로봇(100)의 화상정보처리를 나타내는 플로우 차트를 나타낸다. 도 15의 단계 S500의 스테레오 화상의 취득방법은, 복수의 체간측 화상을 사용하여 취득하는 방법과, 체간측 화상 중 어느 하나와 접속부위측 화상을 사용하여 취득하는 방법의 두 방법이 존재한다. 단계 S160에서는, 체간측 카메라[105(a), 105(b)]에 의해 촬상된 복수의 체간측 화상과, 접속부위측 카메라(106)에 의해 촬상된 접속부위측 화상이 화상정보 처리장치(116)에 입력된다. 단계 S162에서는, 체간측 화상에 접속부위(104)가 촬상되어 있는지를 판단한다. 접속부위가 촬상되어 있지 않은 경우(NO인 경우)는 단계 S164로 이행하고, 체간측 화상끼리로부터 스테레오 화상을 취득하여, 제 1 계산수단을 실행한다. 한편으로, 체간측 화상에 접속부위가 촬상되어 있는 경우(YES인 경우)는 단계 S166으로 진행하고, 어느 하나의 체간측 화상과 접속부위측 화상으로부터 스테레오 화상을 취득하여, 제 2 계산수단을 실행한다. 단계 S166에서 선택되는 체간측 화상은, 접속부위의 촬상되어 있는 범위가 더 작은 쪽의 체간측 화상이다.
본 실시예에서는, 체간 및 접속부위에 모두 3대의 카메라를 사용하여 주위 물체의 3차원 정보를 얻는 경우를 예시하고 있지만, 더 많은 카메라를 사용하여도 되고, 1대의 접속부위측 카메라가 이동함으로써 연속하여 촬상하는 방법을 선택하여도 된다.
본 실시예에서는 정적인 주위 물체를 인식하는 경우에 대하여 예시하였지만, 이동경로 작성장치(113)에서 작성된 경로를 따라 접속부위가 동작을 개시한 후에, 새로운 장해물이 되는 주위 물체가 이동경로 상에 출현한 경우나, 주위 물체와 로봇의 위치가 하지의 이동 등에 의하여 변화되고, 접속부위의 궤도에 수정이 필요하게 된 경우에 대응할 수 없다.
(실시예 3)
도 17에, 동적인 주위 물체에 대응할 수 있는 로봇 기구(101)의 블록도를 나타낸다. 이 로봇 기구(101)는, 실시예 2의 로봇 기구에, 접속부위의 기동에 수정을 가하는 이동경로 수정장치(125)를 더 설치함으로써, 한번 발령된 경로를 적절하게 수정할 수 있다.
또, 적절하게 주변환경의 데이터를 갱신함으로써, 접속부위의 동작과 주위 환경의 변화를 동시에, 연속하여 인식하고, 그에 따라 궤도를 수정할 수 있다.
이상, 본 발명의 구체예를 상세하게 설명하였지만, 이들은 예시에 지나지 않고, 특허청구의 범위를 한정하는 것은 아니다. 특허청구의 범위에 기재된 기술에는, 이상에 예시한 구체예를 여러가지로 변형, 변경한 것이 포함된다.
예를 들면, 암뿐만 아니라, 다리 등의 복수의 접속부위에 각각, 또는 하나의 접속부위의 다른 부위에 접속부위측 카메라를 회전 가능하게 복수개 장착하면, 촬상 가능한 범위가 더욱 확대된다.
또, 실시예 2에서는 체간측 카메라를 주안(主眼)으로 한 스테레오 관측에 대하여 예시하였지만, 복수의 접속부위측 카메라를 사용하여 스테레오 관측을 가능하게 하고, 체간측 카메라와 접속부위측 카메라 각각의 스테레오 화상처리장치를 장착함으로써, 더욱 다양한 용도로 이용할 수 있다.
본 명세서 또는 도면에 설명한 기술요소는, 단독으로 또는 각종의 조합에 의하여 기술적 유용성을 발휘하는 것이고, 출원시의 청구항에 기재된 조합에 한정되는 것은 아니다. 또, 본 명세서 또는 도면에 예시한 기술은 복수 목적을 동시에 달성하는 것이고, 그 중 하나의 목적을 달성하는 것 자체로 기술적 유용성을 가지는 것이다.

Claims (8)

  1. 체간과,
    구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위와,
    체간에 설치되어 있는 체간측 카메라와,
    접속부위에 설치되어 있는 접속부위측 카메라와,
    체간측 카메라로 촬상하여 얻어진 체간측 화상의 일부를, 접속부위측 카메라로 촬상하여 얻어진 접속부위측 화상의 일부로 대체함으로써, 체간측 화상 중에서 접속부위를 제거한 합성화상을 작성하는 합성화상 작성수단과,
    체간측 카메라의 촬상범위 내에 접속부위가 들어가는 경우에, 접속부위측 카메라가 체간측 카메라의 촬상범위 내를 촬상하는 방향을 향하도록, 접속부위측 카메라의 방향을 조정하는 수단을 구비하고 있는 것을 특징으로 하는 이동형 로봇.
  2. 제 1항에 있어서,
    합성화상 작성수단은,
    체간측 화상 내에서 접속부위를 촬상하고 있는 범위를 특정하는 제 1 특정수단과,
    접속부위측 화상 내에서, 제 1 특정수단으로 특정한 범위에 대응하는 범위를 촬상하고 있는 범위를 특정하는 제 2 특정수단과,
    제 1 특정수단으로 특정한 범위 내의 체간측 화상을, 제 2 특정수단으로 특정한 범위 내의 접속부위측 화상으로 대체하는 수단을 구비하고 있는 것을 특징으로 하는 이동형 로봇.
  3. 제 1항에 있어서,
    체간측 카메라가 복수 설치되어 있고,
    합성화상 작성수단은, 각각의 체간측 카메라로 촬상한 체간측 화상에 대하여, 합성화상을 작성하는 것을 특징으로 하는 이동형 로봇.
  4. 제 1항에 있어서,
    합성화상 작성수단으로 작성한 합성화상을 이용하여, 촬상범위 내에 존재하는 물체의 이동형 로봇에 대한 상대적인 위치관계를 계산하는 수단을 더 구비하고 있는 것을 특징으로 하는 이동형 로봇.
  5. 삭제
  6. 체간과,
    구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위와,
    체간에 설치되어 있는 2 이상의 체간측 카메라와,
    접속부위에 설치되어 있는 접속부위측 카메라와,
    2 이상의 체간측 카메라로 촬상한 2 이상의 체간측 화상으로부터, 촬상범위 내에 존재하는 물체의 이동형 로봇에 대한 상대적인 위치관계를 계산하는 제 1 계산수단과,
    체간측 카메라 중 적어도 하나로 촬상한 체간측 화상과 접속부위측 카메라로 촬상한 접속부위측 화상으로부터, 촬상범위 내에 존재하는 물체의 이동형 로봇에 대한 상대적인 위치관계를 계산하는 제 2 계산수단을 구비하고 있고,
    상기 제 2 계산수단은, 접속부위를 촬상하고 있는 범위가 가장 적은 체간측 화상을 선택하여 계산에 이용하는 것을 특징으로 하는 이동형 로봇.
  7. 삭제
  8. 체간과,
    구동기구를 가지는 관절부를 거쳐 체간에 접속되어 있는 접속부위와,
    체간에 설치되어 있는 복수의 체간측 카메라와,
    접속부위에 설치되어 있는 접속부위측 카메라와,
    체간측 카메라로 촬상하여 얻어진 체간측 화상의 일부를, 접속부위측 카메라로 촬상하여 얻어진 접속부위측 화상의 일부로 대체함으로써, 체간측 화상 중에서 접속부위를 제거한 합성화상을 작성하는 합성화상 작성수단을 구비하고 있고,
    합성화상 작성수단은, 각각의 체간측 카메라로 촬상한 체간측 화상에 대하여, 합성화상을 작성하는 것을 특징으로 하는 이동형 로봇.
KR1020087022581A 2006-02-17 2007-02-15 이동형 로봇 KR101049266B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006041323A JP4506685B2 (ja) 2006-02-17 2006-02-17 移動型ロボット
JPJP-P-2006-00041323 2006-02-17
PCT/JP2007/052753 WO2007094420A1 (ja) 2006-02-17 2007-02-15 移動型ロボット

Publications (2)

Publication Number Publication Date
KR20080093460A KR20080093460A (ko) 2008-10-21
KR101049266B1 true KR101049266B1 (ko) 2011-07-13

Family

ID=38371597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087022581A KR101049266B1 (ko) 2006-02-17 2007-02-15 이동형 로봇

Country Status (6)

Country Link
US (2) US8010232B2 (ko)
EP (3) EP2314429B1 (ko)
JP (1) JP4506685B2 (ko)
KR (1) KR101049266B1 (ko)
CN (1) CN101384402B (ko)
WO (1) WO2007094420A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101555823B1 (ko) 2012-07-18 2015-10-05 (주)브이아이피 로봇 제어 방법 및 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442661B1 (en) 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
WO2011017668A2 (en) 2009-08-06 2011-02-10 The Regents Of The University Of California Multimodal dynamic robotic systems
JP5500926B2 (ja) * 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
TWM382891U (en) * 2010-01-07 2010-06-21 Everprec Tech Co Ltd Angle adjustment structure of right-angle robot arm
US8306664B1 (en) * 2010-05-17 2012-11-06 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
JP2014509417A (ja) * 2010-12-30 2014-04-17 アイロボット コーポレイション 可動式ヒューマンインターフェースロボット
EP2695027B1 (en) * 2011-04-06 2015-08-12 Koninklijke Philips N.V. Safety in dynamic 3d healthcare environment
JP5609760B2 (ja) * 2011-04-27 2014-10-22 トヨタ自動車株式会社 ロボット、ロボットの動作方法、及びプログラム
CN102645932A (zh) * 2012-04-27 2012-08-22 北京智能佳科技有限公司 一种远程控制的导购机器人
JP6036647B2 (ja) * 2013-11-01 2016-11-30 トヨタ自動車株式会社 ロボット
JP6290651B2 (ja) * 2014-02-27 2018-03-07 株式会社キーエンス 画像測定器
JP6278741B2 (ja) * 2014-02-27 2018-02-14 株式会社キーエンス 画像測定器
JP6459227B2 (ja) 2014-06-02 2019-01-30 セイコーエプソン株式会社 ロボットシステム
JP2015226963A (ja) * 2014-06-02 2015-12-17 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP6075343B2 (ja) * 2014-09-02 2017-02-08 トヨタ自動車株式会社 走行ロボット、その動作計画方法及びプログラム
JP6260509B2 (ja) * 2014-10-06 2018-01-17 トヨタ自動車株式会社 ロボット
WO2016130565A1 (en) 2015-02-09 2016-08-18 The Regents Of The University Of California Ball-balancing robot and drive assembly therefor
JP6594024B2 (ja) * 2015-05-07 2019-10-23 ヤマト科学株式会社 検体処理システム
JP2017041125A (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10452071B1 (en) 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
US11449061B2 (en) 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US11927965B2 (en) 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10788836B2 (en) 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
CN107229274B (zh) * 2016-03-24 2022-06-28 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
JP2018112775A (ja) * 2017-01-06 2018-07-19 富士ゼロックス株式会社 自律移動ロボット
CN106949891A (zh) * 2017-03-01 2017-07-14 深圳鹏锐信息技术股份有限公司 一种新型的室内定位***以及基于陀螺仪和视频分析的室内双向二次校正定位方法
US11694254B2 (en) * 2017-06-15 2023-07-04 Microsoft Technology Licensing, Llc Interactive physical product browsing experience
JP6969278B2 (ja) * 2017-10-24 2021-11-24 トヨタ自動車株式会社 自律移動体
CN110605711B (zh) * 2018-06-14 2022-06-28 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
JP6816070B2 (ja) * 2018-08-24 2021-01-20 ファナック株式会社 干渉回避装置およびロボットシステム
CN109283850B (zh) * 2018-09-13 2021-08-13 广东美的制冷设备有限公司 家电设备、家电设备的控制方法及存储介质
JP6511681B1 (ja) 2018-10-15 2019-05-15 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
JP6920514B2 (ja) * 2018-11-08 2021-08-18 將洋 鈴木 自走式電気掃除装置、自走式電気掃除装置用プログラム及び掃除システム
JP6577687B1 (ja) * 2019-03-18 2019-09-18 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
CN110753207A (zh) * 2019-09-23 2020-02-04 国网辽宁省电力有限公司丹东供电公司 智能专责监护机器人
JP2022156506A (ja) * 2021-03-31 2022-10-14 Ｊｏｈｎａｎ株式会社 ロボット制御システム、および制御装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003080488A (ja) * 2001-09-05 2003-03-18 National Institute Of Advanced Industrial & Technology 遠隔操作の監視装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57194895A (en) * 1981-05-21 1982-11-30 Tokyo Shibaura Electric Co Monitoring device for manipulator
JPS6074983U (ja) * 1983-10-26 1985-05-25 フアナツク株式会社 ロボツト制御装置
US5374830A (en) * 1984-10-12 1994-12-20 Sensor Adaptive Machines, Inc. Target based determination of robot and sensor alignment
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
JP2960733B2 (ja) * 1989-07-27 1999-10-12 株式会社日立製作所 画像表示方法及び画像表示装置並びに遠隔操作装置
US5400244A (en) 1991-06-25 1995-03-21 Kabushiki Kaisha Toshiba Running control system for mobile robot provided with multiple sensor information integration system
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
US5531337A (en) * 1995-05-30 1996-07-02 Inco Limited Automated decoupler for rail cars
JP3060989B2 (ja) * 1997-04-18 2000-07-10 株式会社日立製作所 画像符号化方法及び装置
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
JP3781370B2 (ja) * 2002-11-19 2006-05-31 本田技研工業株式会社 移動装置
JP3994950B2 (ja) 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005103722A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
US7961934B2 (en) * 2003-12-11 2011-06-14 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
US7765780B2 (en) * 2003-12-12 2010-08-03 Vision Robotics Corporation Agricultural robot system and method
US7332890B2 (en) * 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP4086020B2 (ja) 2004-07-29 2008-05-14 松下電器産業株式会社 Ｌｅｄ照明光源
JP2009509779A (ja) * 2005-09-23 2009-03-12 ブレインテック カナダ インコーポレイテッド 視覚追跡のシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003080488A (ja) * 2001-09-05 2003-03-18 National Institute Of Advanced Industrial & Technology 遠隔操作の監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101555823B1 (ko) 2012-07-18 2015-10-05 (주)브이아이피 로봇 제어 방법 및 장치

Also Published As

Publication number Publication date
EP2314428A1 (en) 2011-04-27
US8010232B2 (en) 2011-08-30
CN101384402A (zh) 2009-03-11
EP1985416B1 (en) 2011-08-03
EP2314429A1 (en) 2011-04-27
EP1985416A4 (en) 2010-06-23
JP4506685B2 (ja) 2010-07-21
EP1985416A1 (en) 2008-10-29
US8234011B2 (en) 2012-07-31
EP2314429B1 (en) 2012-07-11
EP2314428B1 (en) 2012-07-04
JP2007216350A (ja) 2007-08-30
KR20080093460A (ko) 2008-10-21
US20120053727A1 (en) 2012-03-01
CN101384402B (zh) 2010-11-03
US20100185327A1 (en) 2010-07-22
WO2007094420A1 (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
KR101049266B1 (ko) 이동형 로봇
US8315455B2 (en) Robot system, robot control device and method for controlling robot
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
JP4167954B2 (ja) ロボット及びロボット移動方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
JP4665857B2 (ja) アームを誘導可能な移動体およびアームを誘導する方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取***及方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP4849178B2 (ja) 移動型ロボット
JP2000293693A (ja) 障害物検出方法および装置
CN117576094B (zh) 一种3d点云智能感知焊缝位姿提取方法、***、设备
JP2003136465A (ja) 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
JP2686685B2 (ja) ロボットによる物体操作のための能動的カメラ探索装置
JP2022551885A (ja) 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム
JP7093881B1 (ja) システム、及び自動搬送車
JP2005205519A (ja) ロボットハンド装置
JP2005001022A (ja) 物体モデル作成装置及びロボット制御装置
JP2016142577A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JPH0981737A (ja) 三次元物体モデル生成方法
CN110877339B (zh) 一种机器人作业过程中的自动控制方法及装置
JP3329400B2 (ja) 物体の３次元情報抽出装置
JPH0665472B2 (ja) 視覚装置
Vargas-Signoret et al. Depth map construction with stereo vision for humanoid robot navigation
della Vallea et al. A Robotic Application Developed at DiME to Scan and Reproduces Objects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150618

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee