JP2016144852A - ロボットシステム - Google Patents

Abstract

【課題】単純な操作方法でロボットを操作することができるロボットシステムの提供。
【解決手段】ロボット（２）は、対象物（９）までの距離を計測する距離センサ（２ｄ）と、距離センサにより計測された距離点群に基づいて、対象物における動作方向と平行な平面（Ｄ１）、及び、平面の法線方向（Ｄ２）を検出する検出部（２ｅ）と、検出した動作方向と平行な平面（Ｄ１）、及び、平面の法線方向（Ｄ２）に沿う平面マーカの位置及び姿勢を計算するマーカ位置姿勢計算部（２ｆ）と、を備る。表示部（３０）は、計算した平面マーカの位置及び姿勢を示すマーカ（１）を表示する。
【選択図】図１

Description

本発明は、ロボットシステムに関する。

特許文献１に開示されるロボットシステムは、ロボットと、ロボット及び作業空間を撮影する撮像部と、撮影された映像を表示する表示端末とを備える。このロボットは、ユーザにより教示された対象物の向き情報に基づいて、対象物の位置姿勢を推定して、対象物を把持する方向を決定する。

特開２０１３−１７３２０９号公報

ところで、対象物を把持した後で、所定の方向に動かす作業がある。このような作業として、例えば、エンドエフェクタを用いてカーテンを把持した後で、エンドエフェクタを移動させることでカーテンを開閉させる作業がある。ロボットが対象物を把持した後で、ユーザがエンドエフェクタの動作方向を指示することがある。ここで、ユーザによって指示される方向は、複数考えられ、ユーザの操作が複雑であった。

本発明は、単純な操作方法でロボットを操作することのできるロボットシステムを提供する。

本発明にかかるロボットシステムは、
対象物を把持した後で、前記対象物を所定の方向に動かすロボットと、
前記対象物及び前記ロボットを含む作業空間と、前記ロボットが前記対象物を動かす動作方向を示すマーカと、を表示する表示部と、
ユーザによる前記マーカへの入力によって、前記ロボットを操作する操作入力部と、を有するロボットシステムであって、
前記ロボットは、
前記対象物までの距離を計測する距離センサと、
前記距離センサにより計測された距離点群に基づいて、前記対象物における前記動作方向と平行な平面、及び、前記平面の法線方向を検出する検出部と、
検出した前記動作方向と平行な平面、及び、前記平面の法線方向に沿う平面マーカの位置及び姿勢を計算するマーカ位置姿勢計算部と、を備え、
前記表示部は、計算した前記平面マーカの位置及び姿勢を示すマーカを表示する。

このような構成によれば、対象物における動作方向と平行な平面、及び、平面の法線方向に沿うマーカをユーザに示して、対象物における平面に沿う方向の中から動作をユーザに指示させる。したがって、単純な操作方法でロボットを操作することができる。

本発明によれば、単純な操作方法でロボットを操作することができるロボットシステムを提供することができる。

実施の形態１にかかるロボットシステムの構成図である。 端末画面の一例を示す図である。 作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理を示すフローチャートである。 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 実施の形態１にかかるロボットシステムの処理における作業表示領域の別の一例を示す図である。

実施の形態１．
図１〜図３を用いて、実施の形態１にかかるロボットシステムについて説明する。図１は、実施の形態１にかかるロボットシステムの構成図である。図２は、端末画面の一例を示す図である。図３は、端末画面の要部の一例を示す図である。

（システム構成）
図１に示すように、ロボットシステム１００は、ロボット２と、ユーザがロボット２を操縦するための操作入力を受け付ける操作端末３と、撮像装置４とを含む。

ロボット２は、回動可能なロボットアーム２ａと、ロボットアーム２ａの先端に支持されるエンドエフェクタ２ｂと、操縦用マーカ追従制御部２ｃと、距離センサ２ｄと、検出部２ｅと、操縦用マーカ位置姿勢計算部２ｆと、操縦用マーカ描画処理部２ｇとを含む。

図３に示すように、ロボットアーム２ａは、互いに連結する複数のリンク２ａ１と、リンク２ａ１同士の間に設置されて、リンク２ａ１同士の関節角度を変化させる複数のモータ２ａ２とを備える。リンク２ａ１同士の関節角度は、リンク２ａ１同士が交差する角度である。モータ２ａ２は、電源（図示略）から電流を供給されて、この関節角度が変化するように、リンク２ａ１の少なくとも一方を回動させる。このようなリンク２ａ１の回動等によって、ロボットアーム２ａは、エンドエフェクタ２ｂを３次元空間内において、最大自由度６、つまり、並進３自由度及び回転３自由度で、移動又は回転させることができる。ロボットアーム２ａは、必要に応じて、リンク２ａ１同士の関節角度を計測するエンコーダ（図示略）や、モータ２ａ２を駆動させるための電流を制御するモータドライバ（図示略）を備える。

図１に示すように、エンドエフェクタ２ｂは、対象物を把持するものであればよく、例えば、ロボットハンドやツールである。

距離センサ２ｄは、対象物までの距離を取得するセンサであればよく、例えば、ステレオカメラ、ＬＲＦ（レーザレンジファインダ）、赤外線を用いた深度センサが挙げられる。

検出部２ｅは、例えば、距離点群からＲＡＮＳＡＣ（Random Sample Consensus）と呼ばれる方法を用いて、対象物の平面検出を行う。

操縦用マーカ位置姿勢計算部２ｆは、検出した対象物の平面の平面方向と法線方向に沿う操縦用マーカの位置姿勢を計算する。

操縦用マーカ描画処理部２ｇは、３次元ＣＧ（コンピュータグラフィックス）の描画処理を行う。操縦用マーカ描画処理部２ｇは、描画処理して形成した画像データを操作端末３に送る。

操作端末３は、画像を表示する表示部３０と、ユーザによる操作入力を受け付ける操作入力部３１とを有する。ユーザによる操作は、例えば、マウス、タッチパネルを用いて行われる。操作端末３は、例えば、タブレット端末、スマートフォン、ＰＣ（パーソナルコンピュータ）などである。

操作端末３は、タッチパネルを有してもよく、このタッチパネルは、表示部３０と操作入力部３１との機能を有する。具体的には、図２に示すように、操作端末３では、表示部３０の一例として、タッチパネル３０を有する。タッチパネル３０は、ユーザによる操作入力を受け付ける入力受付領域３ａと、作業表示領域３ｂ１と、全体表示領域３ｂ２とを含む。入力受付領域３ａは、ユーザによる操作入力を受け付ける。作業表示領域３ｂ１は、ロボット２及び対象物としての家具８の実画像又はＣＧ（コンピュータグラフィックス）画像を表示する。全体表示領域３ｂ２は、ロボット２及び対象物が配置された作業空間を表示する。図３に示すように、作業表示領域３ｂ１には、ユーザによる操作入力を受け付ける操縦用マーカ１を実画像又はＣＧ画像に重畳して表示する。操縦用マーカ１は、矢印１ｂと、リング１ｃと、指差マーク１ｄとを含む。

撮像装置４は、対象物及びロボット２を含む作業空間を撮影し、撮影した映像を操作端末３及びロボット２に出力する。撮像装置４は、ＣＣＤ（Charge Coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像検出素子を備える。

（ロボットシステムの処理）
次に、図４を参照しつつ、図３及び図５〜図９を用いて、ロボットシステム１００の処理について説明する。図４は、実施の形態１にかかるロボットシステムの処理を示すフローチャートである。図５〜図９は、実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。

まず、エンドエフェクタ２ｂの位置・姿勢を指示する操作入力を、操作端末３が受け付ける（エンドエフェクタ指示ステップＳ１）。具体的には、図３に示すように、エンドエフェクタ２ｂの位置を指示する操作入力は、例えば、ユーザが、指差マーク１ｄを矢印１ｂに沿うようにドラッグして動かすことによって、行なわれる。図５及び図６に示すように、この操作入力によって、エンドエフェクタ２ｂを家具８の取っ手８ａに向かって前進させるように、ロボット２は指示される。また、エンドエフェクタ２ｂの姿勢を指示する操作入力は、例えば、ユーザが、指差マーク１ｄをリング１ｃに沿うようにドラッグして回転させることによって、行なわれる。この操作入力によって、操縦用マーカ１の位置・姿勢が決定する。

続いて、エンドエフェクタ２ｂの位置・姿勢が操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａを制御する（ロボットアーム制御ステップＳ２）。具体的には、操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢を指示する操作入力を操作端末３から受ける。操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢が、操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａの関節角度を算出する。操縦用マーカ追従制御部２ｃは、算出したロボットアーム２ａの関節角度を、指令関節角度として各モータ２ａ２に送る。操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢が操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａを制御する。

続いて、操縦用マーカ１周辺に距離センサ２ｄによって計測した距離点群が閾値以上存在するかを確認する（距離点群確認ステップＳ３）。このような距離点群が閾値以上存在することを確認した場合（ＹＥＳ：距離点群確認ステップＳ３）、操縦用マーカ周辺の距離点群から平面検出部によって、対象物の平面情報を検出する（平面情報検出ステップＳ４）。

距離点群確認ステップＳ３および平面情報検出ステップＳ４では、図７に示す作業を例として説明する。図７に示す作業は、対象物としてのカーテン９を把持した後で、所定の方向（ここでは、Ｘ軸方向）に動かすことによって、開ける作業である。図８に示すように、操作端末３（図２参照）の作業表示領域３ｂ１では、操縦用マーカ１が表示される。距離センサ２ｄ（図１参照）によってカーテン９の位置情報を検出し、操縦用マーカ１周辺の距離点群に変換する。検出部２ｅが、変換した距離点群から平面を検出し、カーテン９の平面方向Ｄ１と平面法線方向Ｄ２とを取得することができる。

続いて、操縦用マーカの最適な位置・姿勢を計算する（最適位置姿勢計算ステップＳ５）。例えば、図９に示すように、操縦用マーカ位置姿勢計算部２ｆ（図１参照）によって、平面方向Ｄ１と平面法線方向Ｄ２に沿う操縦用マーカ１の位置・姿勢を算出する。

最後に、算出した結果の通りに、操縦用マーカ１を作業表示領域３ｂ１に表示する（操縦用マーカ表示ステップＳ６）。例えば、３次元ＣＧの描画処理を用いて、操縦用マーカ１を描画処理して表示する。

以上、実施の形態１にかかるロボットシステムによれば、対象物における動作方向と平行な平面、及び、平面の法線方向に沿うマーカをユーザに示すことができる。対象物における平面に沿う方向の中から動作をユーザに指示させるため、単純な操作方法でロボットを操作することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ロボットシステム１００に自由度制限処理部を加えてもよい。図９及び図１０に示すように、カーテン９の主面と平行な方向、つまり、カーテン９の鉛直上下方向（ここでは、Ｚ軸方向（図７参照））、及び、カーテン９の開閉方向（ここでは、Ｘ軸方向）のみに、自由度を制限する。つまり、カーテン９の主面に垂直な方向（ここでは、Ｙ軸方向）の動きは、制限される。したがって、カーテン９の主面に垂直な方向に動かすことが無いので、カーテン９を窓に衝突させることが抑制される。ユーザが操作を誤ることなく効率的に操作を行うことができる。なお、図１０は、実施の形態１にかかるロボットシステムの処理における作業表示領域の別の一例を示す図である。また、ここでは、カーテン９の主面は、Ｘ軸方向及びＺ軸方向に平行な面である。

１００ ロボットシステム
１ 操縦用マーカ
２ ロボット
２ｅ 検出部 ２ｆ 操縦用マーカ位置姿勢計算部
３ 操作端末
３０ 表示部
Ｄ１ 平面方向 Ｄ２ 平面法線方向

Claims (1)

1. 対象物を把持した後で、前記対象物を所定の方向に動かすロボットと、
   前記対象物及び前記ロボットを含む作業空間と、前記ロボットが前記対象物を動かす動作方向を示すマーカと、を表示する表示部と、
   ユーザによる前記マーカへの入力によって、前記ロボットを操作する操作入力部と、を有するロボットシステムであって、
   前記ロボットは、
   前記対象物までの距離を計測する距離センサと、
   前記距離センサにより計測された距離点群に基づいて、前記対象物における前記動作方向と平行な平面、及び、前記平面の法線方向を検出する検出部と、
   検出した前記動作方向と平行な平面、及び、前記平面の法線方向に沿う平面マーカの位置及び姿勢を計算するマーカ位置姿勢計算部と、を備え、
   前記表示部は、計算した前記平面マーカの位置及び姿勢を示すマーカを表示するロボットシステム。

Images