JP2003256025A - ロボット動作教示方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 ２次元ヒューマンインターフェイスのみで、
遠隔からロボットの複雑な動作を教示できるようにす
る。 【解決手段】 目的作業の要件から決まる幾何要素間の
空間的な拘束を含んだ形式で軌道などの幾何要素をあら
かじめパラメトリックモデリング手法によって定義し、
ライブラリ化およびメニュー化しておくことで、実際の
教示段階では少ないステップで様々な拘束条件を設定で
きるようにし、ロボットの操作時に奥行き等の詳細な空
間情報を操作者が絶えず考慮する必要性をなくして、高
速かつ疲労の少ない教示ができるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボットの動作教
示方法及び装置に係り、特にロボットのツール軌道をカ
メラ画像を通して遠隔から教示する動作教示方法及び装
置に関する。

【０００２】

【従来の技術】物体の組み立てや加工などを行なうロボ
ットアームに動作軌道を与える方法として、(i) ティー
チングボックスなどを使用してロボットの通過位置を記
録していき、その順にロボットを動作させるダイレクト
教示法と、(ii) 作業空間における位置・姿勢のデータ
を数値や数式で入力してプログラムする方法とがある。

【０００３】ダイレクト教示には以下のような問題があ
る。 (1) ティーチングボックスを使って精度の高い位置・姿
勢を教示することは困難である。 (2) 遠隔作業の場合、カメラ画像のみでは奥行き情報が
欠落しているため、ロボットの空間的な位置・姿勢を遠
隔から教示することは困難である。 (3) 記録される個々の位置・姿勢は独立して与えられる
ため、一定の空間的な関係（たとえばツールがいつも傾
いた同一平面上にあるという拘束）を満足させることは
困難である。

【０００４】プログラムによる教示には以下のような問
題がある。 (4) 作業空間座標系における対象物や障害物の位置や形
状などがあらかじめ分かっている必要がある。 (5) 数値や数式による教示は作業者が直感的に理解でき
ない。

【０００５】本発明者は、上記問題点を解決するため
に、先に出願して（特開２００１−６０１０８号公報参
照）、ロボットの教示作業者がカメラによって映されて
いる作業空間の画像情報から、実空間と直接的または間
接的に対応する簡単な三次元幾何要素を作成していくこ
とで、ロボットから離れた場所で安全かつ容易に目的作
業のためのツールの軌道を教示する方法を提案した。

【０００６】これは、三次元画像計測装置から得られた
カメラ画像が表示される表示装置を見ながら、作業者が
入力装置によって三次元計測情報に基づく簡単な幾何要
素を作成していくことで、作業用ロボットの作業軌道の
定義に必要な座標系を定義し、それらを用いて軌道を決
定することで、ロボットの動作を教示するものである。
また、三次元画像計測装置の位置・姿勢を変化させるロ
ボットアームなどの計測装置駆動装置を併用して、作業
空間の全域に亘り精度の良い教示軌道を与えることがで
きるようになる。

【０００７】

【発明が解決しようとする課題】本出願人が先に提案し
た方法は、軌道やそれを構成する幾何要素は全てオンラ
インで定義していくことを前提としている。幾何要素に
よっては多くの別の幾何要素との複雑な関係から間接的
に定義されるべきものもあるが、そのような定義作業は
個々の作業の教示ごとに行う必要があった。そのため、
同じような作業を教示したい場合でも初めから一つ一つ
幾何要素を作成していく手間があった。また作業軌道が
複雑になるほど、高度な幾何学的知識と目的の作業構造
の深い理解が必要となるため、教示できる作業者が限定
されてしまっていた。

【０００８】それ故、本発明は、係る問題点を解決し
て、インターフェイス装置としては通常の２次元インタ
ーフェイス機能を有する一般的な装置を利用しながら
も、複雑かつ状況に応じて変化する軌道を高速かつ容易
に教示できる手段を提供することを目的としている。

【０００９】

【課題を解決するための手段】作業要件から決まる幾何
要素間の空間的な拘束を含んだ形式であらかじめ軌道を
パラメトリック手法によって定義しておき、実際の教示
段階では軌道メニューからの軌道の選択とその軌道を規
定する最低限必要な情報を教示するだけで軌道が生成で
きるようにし、実行時に作業者が詳細な奥行きを考慮し
なくても操作できるようにして高速かつ疲労の少ない教
示を可能とする。

【００１０】

【発明の実施の形態】[動作教示システムについて]ま
ず、本発明の動作教示装置を用いたシステム構成例につ
いて、図１を参照して説明する。動作教示装置は、デー
タ処理部と２Ｄインターフェイス部とからなり、作業者
の指示によってマニピュレーション機構部の動作を教示
し、作業を実行する。

【００１１】＜マニピュレーション機構部について＞マ
ニピュレーション機構部としては、移動機構上に、作業
ツールとして対象物を把持するロボットハンドと、その
ハンドを取り付けたロボットアーム、ステレオカメラな
どの視覚装置とが搭載された構成のものを考える。

【００１２】＜データ処理部について＞データ処理部
は、三次元画像計測装置、幾何要素生成装置、幾何要素
データベース、および拘束条件解決装置とからなる。三
次元画像計測装置は、視覚装置から得られる実空間画像
上で作業者が指示する空間位置を計測する。三次元画像
計測装置による計測空間座標系とロボットハンドに設定
するツール座標系との関係は、校正等によって既知であ
るか、あるいはカメラや他のセンサフィードバック情報
により逐次推定することが可能であるとする。また視覚
装置にステレオカメラを利用した三次元画像計測のほ
か、単一のカメラを利用してカメラを移動させて別視点
の画像を得ることで計測したり、距離をフォーカスで測
定したり、レーザ等の光源を利用したレンジファインダ
の原理を利用したりすることで三次元画像計測を行うこ
とも可能である。

【００１３】幾何要素生成装置は、２Ｄインターフェイ
スからのユーザの指示に従って、軌道を含む各種幾何要
素の定義、幾何要素データベース中の定義のインスタン
ス化を行う。拘束条件解決装置は、ユーザが与えた各種
の拘束が満たされるように、幾何要素のパラメータを調
整する。拘束を与える例としては、ツール座標系を、指
定する軌道上に拘束する場合や、線要素や面要素と平行
に移動するように拘束する場合、線要素や点要素の周り
に回転するように拘束する場合等がある。図１ではデー
タ処理部を独立して表現したが、マニピュレーション機
構部の移動機構上に搭載することで、マニピュレーショ
ン機構部と共に移動する構成としても良い。

【００１４】＜２Ｄインターフェイス部について＞２Ｄ
インターフェイス部は表示装置と入力装置とからなる対
話型インターフェイスとする。表示装置は通常の２次元
ディスプレイとし、入力装置はマウスやタッチパネル等
の通常の２次元のポインティングデバイスとする。表示
装置ではデータ処理部での処理内容等を表示する。図２
がその表示画面の構成例である。画像提示領域では三次
元画像計測装置の入力ともなっている視覚装置から得ら
れる実空間画像の表示をし、これと重ね合わせながらモ
デル空間における教示軌道などの幾何要素の表示ができ
るものとする。定義ツリー表示領域では後述するように
幾何要素の定義関係をツリー形式で表示し、また選択さ
れた幾何要素についてその詳細を下の詳細表示領域で表
示する。表示装置ではこれらの他、ポインタの表示、軌
道作成メニューなどの各種メニューの表示の他、センサ
情報など作業者の知りたい数値データの表示等を行う。

【００１５】入力装置では表示装置に表示されるポイン
タの移動とポインタ位置での選択動作（マウスボタンの
押下、タッチパネルのタッチ動作等）が可能で、これに
より画像上の位置の指定、メニューの選択、ドラッグ＆
ドロップ操作、直線、曲線等の描画等を可能とする。本
発明において作業者は２Ｄインターフェイス部を介して
ロボットの操作を行うことを前提とするため、実際の作
業環境やマニピュレーション機構部を直接目視できる必
要はない。またインターフェイス部として通常の２次元
デバイスが利用可能である。従って、携帯電話やＰＤＡ
（携帯情報端末）などの２次元インターフェイスと無線
通信装置とを有する一般的な携帯デバイスを利用するこ
とも可能であり、広く手軽に遠隔からロボットの動作教
示をすることが可能となる。以下、２Ｄインターフェイ
ス部の動作の詳細について述べる。

【００１６】（作業に応じた軌道のライブラリ化とメニ
ュー化）作業に応じた軌道等の幾何要素をパラメトリッ
クに定義するためには、目的の作業を類型化し、具体的
にどのような拘束条件で記述すべきかを考える必要があ
るため、十分な幾何学的知識を持ち、目的の作業の本質
を理解できる者が行わなくてはならない。しかし、一旦
定義された軌道等の幾何要素をインスタンス化する段階
においては、作業の概要とインスタンス化に必要な条件
等に関する限られた知識があればよく、軌道のパラメト
リックな定義全体を理解する必要は無い。

【００１７】従って本発明では、十分な知識を持った者
が作業に応じてパラメトリックに幾何要素を定義し、ラ
イブラリとして保存し、メニュー表示できるようにして
おく準備段階と、メニュー表示されるあらかじめ定義さ
れたパラメトリックな幾何要素のライブラリの中から幾
何要素を選択しながら様々な拘束条件を満たす作業を実
行する実行段階という、２つの段階に教示作業を分ける
ことが可能である。

【００１８】準備段階でパラメトリックに定義された幾
何要素を実行段階でインスタンス化するためには、環境
や対象物の局所的なモデルを必要なだけ作成し、メニュ
ーから目的の定義を選択して作成した幾何要素を割り当
てる操作をする。このとき環境や対象物全体の詳細なモ
デリングを必要としないため、未知の対象物や環境にお
いてもすばやく容易に教示することが可能である。

【００１９】図３にドロップダウンメニュー表示の構成
例を示す。ファイルメニューから、記憶媒体に保存して
おいた幾何要素等の定義を読み込んだり、定義した幾何
要素を逆に書き出したりする。要素作成メニューから幾
何要素の種類を選択し、更にサブメニューから定義法を
選択することで幾何要素の作成をする。作業選択メニュ
ーから目的の作業を選択し、あらかじめパラメトリック
定義しておいた軌道をインスタンス化する。作業の種類
が増えるとメニュー表示が大きくなるため、幾何要素の
ライブラリを作業のカテゴリや要素の種類毎に分類し
て、階層的なメニュー表示をすると選択が容易となる。
また設定メニューから表示装置でのデータ表示方法の設
定等を行う。

【００２０】（幾何要素の定義構造の表示）幾何要素の
定義の詳細は図２の定義ツリー表示領域にて図４のよう
に定義構造中の幾何要素間の関係をツリー形式でグラフ
ィカルに表示する。またツリー表示上の幾何要素アイコ
ンをポインタで選択することで、定義構造中の特定の幾
何要素を選択し、選択された幾何要素の詳細データを図
２の各幾何要素定義の詳細表示領域で図５の例のように
表示する。図５の各例において下線部は変更可能なパラ
メータを表しており、作業者が適宜変更することができ
る。

【００２１】また幾何要素は、三次元のモデル空間中で
の状態を二次元画面に投影したモデル空間画像として、
カメラからの実画像と対応するように実画像上にオーバ
ーレイ表示する。図６が、カメラ画像と、そのカメラ画
像にモデル空間画像をオーバーレイ表示した画像の例で
ある。このような表示により実空間とモデル空間の関係
を作業者が理解しやすくなる。画像提示領域中でもポイ
ンタによるモデル画像上での選択動作により各幾何要素
を選択することができるようにする。選択された幾何要
素の詳細データは定義ツリー表示の場合と同様に詳細表
示領域で表示し、また変更することができる。

【００２２】（パラメトリック定義された幾何要素のド
ラッグ＆ドロップによるインスタンス化）ある幾何要素
の定義履歴上にある幾何要素を、定義ツリー表示上ある
いはモデル画像表示上でポイントして選択し、既に定義
されている別の幾何要素の近傍上にドラッグしたのち、
ドロップすることでドロップ先の幾何要素を元にした幾
何要素インスタンスの新たな生成あるいは既にあったイ
ンスタンスの更新をすることができる。これにより、メ
ニューからの選択とドラッグ＆ドロップという、非常に
単純なポインタ操作のみで、複雑な拘束条件で決まるよ
うな幾何要素を容易に生成可能となる。

【００２３】[幾何要素のパラメトリック定義について]
本発明において重要な概念である、幾何要素のパラメト
リックな定義について説明する。ＣＡＤの分野では、製
品のモデリングを容易化するために、パラメトリックデ
ザインという手法が取り入れられている。JIS B3401-19
93ＣＡＤ用語において、パラメトリックデザインは「製
品又はその部分について、形状を類型化し、寸法などパ
ラメタで与えることによって、コンピュータ内部のモデ
ルを簡易に生成する設計方法」と定義されている。

【００２４】パラメトリックデザインの手法を利用した
市販の３次元ＣＡＤの例としては米Parametric Technol
ogy社の「Pro/ENGINEER」がある。このような３次元Ｃ
ＡＤでは単に形状を扱おうとするのでなく、拘束条件の
集まりとして形状モデルを定義している。ここで拘束と
は、形状モデルの大きさや位置関係などを規定する条件
であり、大きさや寸法を規定する寸法拘束と、位置関係
を規定する幾何拘束とがある。

【００２５】寸法拘束は作業者が指定する寸法値の大き
さに形状を拘束するものである。作業者が寸法値を変え
れば、その指示に従って形状データの大きさが変化す
る。また幾何拘束は、線分同士が互いに平行であると
か、線分と円弧が接している（接線性が満たされてい
る）、端点を共有している（連続性が満たされている）
などの、形状要素間の位置関係を決定する拘束条件であ
る。

【００２６】本発明では、このようなＣＡＤにおける製
品形状のパラメトリックモデリングと同様な発想から、
「幾何要素の定義を類型化し、位置や距離などをパラメ
ータで与えたり、他の幾何要素との幾何学的な関係によ
り記述することで、コンピュータ内部の幾何モデルを簡
易に生成するためのモデリング手法」を幾何要素のパラ
メトリックモデリング手法と呼ぶことにする。すなわ
ち、製品のモデルを類型化する代わりに、ロボットの動
作軌道や軌道を規定するのに利用される幾何要素などの
定義をパラメトリックに類型化することで、目的のロボ
ット動作を簡易に指令できるようにする。ここで位置や
距離などを数値で規定する拘束を数値拘束、幾何要素間
の関係を規定する拘束を幾何拘束と呼ぶことにする。

【００２７】パラメトリックモデリングの特徴は、数値
拘束や幾何拘束の形で定義履歴が保持されている点にあ
る。これに対して通常の幾何モデリングでは座標値など
の数値データのみが各幾何要素に保持されている。例え
ば、点ａと点ｂから線分ｓを定義し、その後、線分ｓの
中点として点ｃを定義したとするとき、通常の幾何モデ
リングで点ｃは幾何演算の結果として座標値（ｘ，ｙ，
ｚ）の数値データを保持しているだけであり、どのよう
にしてそれが演算されたかは保持されない。したがって
点ａや点ｂのデータと点ｃとは定義演算後、無関係とな
り、点ａや点ｂが変更されても点ｃには影響しない。こ
れに対してパラメトリックモデリングでは、幾何要素の
定義履歴をさかのぼって、自動的に、あるいは必要に応
じて、点ａや点ｂの変更を点ｃに反映することが可能と
なる。またこのデータ構造をそのまま利用して点ａや点
ｂを別の点ｅや点ｆに割り当てるだけで、点ｅと点ｆの
中点として新しい点ｇを容易に作成することができる。

【００２８】このようにパラメトリックモデリング手法
では定義履歴が保持されるため、複雑な定義過程を経て
作成されるような幾何要素の修正や、同種の幾何要素の
新規作成が非常に容易となる。したがってロボットの目
的の作業に応じて決まる様々な数値拘束や幾何拘束を含
んだ軌道等の幾何要素をあらかじめパラメトリックモデ
リングしておけば、オンラインで複雑な定義を逐一して
いかなくても、最低限必要な幾何要素の作成のみで軌道
の教示が可能となり、軌道の修正も容易となる。

【００２９】[拘束について]ロボットの動作教示は、作
業ツールに設定された座標系（ツール座標系）の位置、
姿勢の変更により行うことができる。座標系は６自由度
あるが、作業に応じた適切な拘束条件を与えることで、
その自由度を減らすことができ、拘束条件解決装置によ
ってそれらの拘束条件を逐次満たすようにしながら座標
系の定義パラメータを更新することで、２次元インター
フェイスだけでもロボットの動作を容易に制御可能とな
る。

【００３０】拘束条件の例としては、基準となる幾何要
素に対する並進あるいは回転拘束がある。座標系を線要
素や面要素と平行に移動させるような拘束や、点要素や
線要素まわりに回転させるような拘束である。一般にこ
のような拘束下の任意の状態は２自由度の操作入力で指
定することが可能である。

【００３１】また他の拘束条件としては、軌道を与え、
その軌道上に座標系を拘束させる方法がある。軌道上の
座標系は後述するような方法でスカラ変数によって表現
することができるため、１自由度の操作入力で軌道上の
任意の状態が指定できる。その他の拘束条件の例とし
て、位置や姿勢のとり得る値やそれらの時間変化量など
に限界値を与える方法がある。これにより位置や姿勢を
ある領域内から外れないようにすることができ、例えば
自由空間をその領域として指定することで、物体との衝
突を自動的に回避しながら、作業者は自由にツール座標
系を操作することができるようになる。あるいはまた時
間変化量に制限値を与えると、突発的な動作を避けなが
ら安全にロボットを操作できるようになる。

【００３２】[軌道について]本発明において軌道とは、
１つの連続的なスカラ変数の値に応じて変化する座標系
の経路を指し、スカラ値が与えられるとそれに対応して
１対１に座標系が決定されるものを言う。具体的な軌道
の表現としては、複数の座標系とその順序を与え、それ
らの位置ベクトルと回転ベクトルを別々に、線形関数あ
るいはスプライン関数等によって連続的に補間すること
で、それらの座標系を滑らかにつないだ連続的な座標系
の経路を求める方法が考えられる。

【００３３】このスカラ変数の値を作業者がオンライン
で自由に修正したり、時間によって変化させたり、制御
変数としてフィードバックコントローラで制御したりす
ることで座標系を求め、ロボットのツール座標系の目標
値として制御することが可能である。軌道定義の最も簡
単な例は、始点と終点の２つの座標系が与えられたと
き、それらを線形関数で内分する方法である。具体的に
は、始点座標系と終点座標系を０から１に変化するスカ
ラパラメータｕによって内分するとするとき、まずそれ
ぞれの座標系の位置ベクトル及び終点座標系の始点座標
系からの回転ベクトルを求め、それらの位置ベクトルを
ｕによって内分して得られる位置ベクトル、及び回転ベ
クトルにｕの変化率を乗算した回転ベクトル（ここでｕ
の変化率は（ｕ−“回転の基準座標系でのｕ値”）／
（“回転後の座標系でのｕ値”−“回転の基準座標系で
のｕ値”）で求め、ここでは（ｕ−０）／（１−０）＝
ｕなのでｕ自体）を計算し、それらの位置ベクトルと回
転ベクトルで決まる座標系を補間座標系とする。この補
間座標系はｕの変化に応じて２つの座標系間を連続的に
補間するような軌道を描く。３つ以上の複数の座標系が
与えられた場合も同様にして、各座標系の位置ベクトル
を求め、回転ベクトルは直前の座標系からの回転ベクト
ルとし、上記と同様にして位置ベクトル及び回転ベクト
ルを求め、それらを補間すればより複雑な軌道を構成す
ることができる。ここで位置ベクトルにはスプライン補
間等の曲線補間も適用可能である。

【００３４】この定義方法では、与えられた複数の座標
系との関係から軌道が構成されているという点におい
て、既に幾何拘束で軌道を表現していることになり、こ
れだけでも軌道はパラメトリックに定義されているとい
えるが、さらにそれらの座標系を別の幾何要素との関係
からパラメトリックモデリング手法によって定義するこ
とで、目的に応じた様々な拘束を軌道に付加することが
できるようになり、作業者が実際の操作過程で作業上必
要な動作拘束を絶えず意識しながら操作する必要性がな
くなる。

【００３５】[幾何要素とその定義法について]次に軌道
を含む一般的な幾何要素の具体的な定義方法の例につい
て述べる。幾何要素の種類としては、点、直線、線分、
曲線、曲線区間、平面、平面領域、曲面、曲面領域、直
方体、円柱、ベクトル、座標系、軌道を考える。このう
ち直線、線分、曲線、曲線区間をまとめて線要素、平
面、平面領域、曲面、曲面領域をまとめて面要素、直方
体、円柱をまとめて素形状要素と呼ぶことにする。ただ
し幾何要素はこれに限るわけではなく、目的の作業教示
に都合の良い別な要素を導入しても本発明の本質的内容
は変わらない。幾何要素の作成方法には、直接定義法と
間接定義法および付随定義法とがある。以下にそれぞれ
の定義法について説明する。

【００３６】＜直接定義法＞各幾何要素の数値拘束パラ
メータを、作業者が直接入力するか（これを一般的直接
定義法と呼ぶ）、以下の例のように三次元画像計測装置
を用いながら対象を直接計測することで与える方法を直
接定義法とする。

【００３７】(a) 点の定義 表示装置に表示された二次元のカメラ画像中で作業者が
指定した点から、その点の位置に対応する作業空間中の
三次元位置を三次元画像計測により求め、それを点要素
として定義する。

【００３８】(b) 直線の定義 表示装置に表示された二次元のカメラ画像中で作業者が
なぞった直線状画像エッジから、なぞられた画像エッジ
上の複数の点の三次元位置を三次元画像計測によって求
め、それらを最小二乗近似することによって空間中の直
線を求め、直線要素として定義する。

【００３９】(c) 平面の定義 表示装置に表示された二次元のカメラ画像中で作業者が
指定した領域から、その領域に含まれる複数の点の三次
元位置を三次元画像計測によって求め、それらを最小二
乗近似することによって空間中の平面を求め、それを平
面要素として定義する。

【００４０】(d) 曲面の定義 平面の定義と同様に作業者が指定した領域中の複数点の
三次元位置を通過する近似曲面を求め、それを曲面要素
として定義する。

【００４１】＜間接定義法＞既に定義された幾何要素を
利用して新たな幾何要素を定義する方法を間接定義法と
する。具体例を以下に示す。ただし下記以外にも様々な
幾何演算による定義法が考えられる。また、幾何要素に
並進や回転、拡大縮小などの変換を施して別の幾何要素
を作成するのも一般的な間接定義法の手法である。

【００４２】(a) 点の定義 ア．作業者が指定した既に定義されている面要素と線要
素とから、それらの交点として点を定義する。 イ．作業者が指定した既に定義されている同一平面上の
２直線から、それらの交点として点を定義する。（２直
線が完全には同一平面上にない場合は、２直線の最短点
を結ぶ線分の中点により交点を近似するものとする。） ウ．作業者が指定した既に定義されている面要素と、同
じく作業者が指定した二次元のカメラ画像上での点の位
置から、その面要素上でかつカメラ画像上ではその点の
位置に対応する空間中の点を定義する。（二次元のカメ
ラ画像上で点を指定することは空間ではその点位置に投
影されうる点の集合、すなわち直線を指定することとな
るため、これは面要素と直線との交点を求める特殊な場
合に相当する。） エ．作業者が、既に定義されている線要素と、その線要
素の二次元表示画像における線上の点とを指定すること
で、その点を投影した実際の線要素上の点を定義する。

【００４３】(b) 直線の定義 ア．作業者が指定した既に定義されている２点から、そ
れらを通る直線を定義する。 イ．作業者が指定した既に定義されている２平面から、
それらの交線として直線を定義する。 ウ．ステレオカメラ装置を用いる場合、表示装置に示さ
れた異なる２つの二次元カメラ画像上で作業者がそれぞ
れ直線を１つずつ描くことで、それらがそれぞれの画像
上での投影直線となるような空間中の直線を定義する。
（二次元のカメラ画像上で直線を描くことは空間中では
平面の拘束を与えたこととなるので、これは２つの平面
の交線を求める特殊な場合に相当する。）

【００４４】(c) 線分の定義 ア．作業者が指定した既に定義されている２点から、そ
れらを端点とする線分を定義する。 イ．作業者が指定した既に定義されている直線とその直
線の二次元表示画像上での２点を指定することで、その
直線上の区間として線分を定義する。

【００４５】(d) 曲線の定義 ア．作業者が指定した既に定義されている複数の点を用
いてスプライン曲線などの曲線補間法を適用して曲線を
定義する。 イ．作業者が指定した既に定義されている平面または平
面領域に対し、作業者が任意に作図した二次元曲線をそ
の面の法線方向から投影することで空間中の曲線を定義
する。 ウ．作業者が指定した既に定義されている曲面または曲
面領域に対し、作業者が任意に作図した二次元曲線を作
業者の指定するベクトル方向から投影することで空間中
の曲線を定義する。

【００４６】(e)曲線区間の定義 ア．作業者が既に定義されている曲線とその曲線の二次
元表示画像上での２点を指定することで、その２点に対
応する空間中の点にはさまれたその曲線の区間として曲
線区間を定義する。

【００４７】(f) 平面の定義 ア．作業者が指定した既に定義されている３点から、そ
れらを含む平面を定義する。 イ．作業者が指定した既に定義されている交わる２直線
から、それらを含む平面を定義する。 ウ．作業者が指定した既に定義されている直線と点か
ら、それらを含む平面を定義する。

【００４８】(g）平面領域の定義 ア．作業者が既に定義されている平面と、その平面の二
次元表示画像上での閉じた領域を指定することで、その
領域をその平面上に投影した部分として平面領域を定義
する。 イ．作業者が、１点を端点として共有する既に定義され
ている２つの線分を指定することで、その２つの線分を
２辺とする空間中の平行四辺形領域を平面領域として定
義する。

【００４９】(h) 曲面の定義 ア．作業者が指定した既に定義されている３つ以上の複
数の点から、それらを通る近似曲面を補間法を適用して
定義する。 イ．作業者が指定した既に定義されている２つの曲線か
ら、一方の曲線をもう一方の曲線に沿って平行移動させ
たときの軌跡として曲面を定義する。

【００５０】(i) 曲面領域の定義 ア．作業者が既に定義されている曲面と、その曲面の二
次元表示画像上での閉じた領域を指定することで、その
領域をその曲面上に投影した部分として曲面領域を定義
する。

【００５１】(j) 直方体の定義 ア．作業者が指定した既に定義されている線分を１つの
辺とし、あらかじめ与えられた３辺比を有する直方体
が、その指定線分周りにあらかじめ与えられた回転角を
なして実画像と重ね合わせて表示される二次元表示画像
を見ながら、作業者があらかじめ与えられた２つの辺の
長さと指定線分周りの回転角を適切に変更することで直
方体を定義する。 イ．作業者が指定した既に定義されている平面矩形領域
を１つの面とし、あらかじめ与えられた高さを有する直
方体が実画像と重ね合わせて表示される二次元表示画像
を見ながら、作業者があらかじめ与えられた高さを適切
に変更することで直方体を定義する。 ウ．作業者が指定した既に定義されている座標系の原点
を１つの頂点とし３つの軸方向を直方体の辺の方向とす
るあらかじめ与えられた３辺長を有する直方体が実画像
と重ね合わせて表示される二次元表示画像を見ながら、
作業者があらかじめ与えられた3辺長を適切に変更する
ことで直方体を定義する。

【００５２】(k) 円柱の定義 ア．作業者が指定した既に定義されている線分を中心軸
とし、その両端点が円柱の端面の中心となるあらかじめ
与えられた直径を有する円柱が実画像と重ね合わせて表
示される二次元表示画像を見ながら、作業者があらかじ
め与えられたその直径を適切に変更することで円柱を定
義する。 イ．作業者が指定した既に定義されている平面とその平
面上の点とから、その平面を端面としその点をその端面
の中心とするようなあらかじめ与えられた直径と高さと
を有する円筒が実画像と重ね合わせて表示される二次元
表示画像を見ながら、作業者があらかじめ与えられた直
径と高さを適切に変更することで円柱を定義する。 ウ．ステレオカメラ装置を用いる場合、作業者が定義し
たい円柱の両側面のエッジに相当する２本の二次元直線
を２つのカメラ画像上でそれぞれ作図することで、それ
らが側面の投影エッジとなるような幾何学的条件から円
柱面を近似計算により定義し、作業者がその円柱面の中
心軸の二次元表示画像上で円柱の両端面の中心となる２
点の位置を指定することで円柱を定義する。

【００５３】(l) ベクトルの定義 ア．作業者が指定した既に定義されている２つの点とそ
の順序から、それらを結ぶベクトルを定義する。 イ．作業者が指定した既に定義されている直線または線
分から、その直線または線分に沿い作業者の指定する長
さおよび向きのベクトルを定義する。 ウ．作業者が指定した既に定義されている平面または平
面領域から、その法線方向で作業者の指定する長さおよ
び向きのベクトルを定義する。 エ．作業者が指定した既に定義されている曲面（または
曲面領域、以下同じ）およびその曲面上の点とから、そ
の曲面のその点位置における法線方向で、作業者の指定
する長さおよび向きのベクトルを定義する。 オ．作業者が指定した既に定義されている１つまたは複
数のベクトルから、定数倍、内積、外積などの作業者の
指定する演算によって新たなベクトルを定義する。

【００５４】(m) 座標系の定義 ア．作業者が指定した既に定義されている点および互い
に直交する２つのベクトルから、その点を原点としそれ
ら２つのベクトル方向およびそれらの２つのベクトルの
外積で得られるベクトル方向とを主軸方向とする作業者
が指定する向きの座標系を定義する。 イ．作業者が指定した既に定義されている点と平面（ま
たは平面領域、以下同じ）およびその平面に含まれる直
線から、その点を原点とし、その直線方向と、その平面
内でその直線に直交する方向と、その平面の法線方向と
を３つの主軸方向とするような、作業者が指定する向き
の座標系を定義する。 ウ．作業者が指定した既に定義されている軌道と０から
１の間の任意のスカラ値とから、そのスカラ値に対応す
る軌道上の座標系を定義する。

【００５５】(n) 軌道の定義 ア．作業者が指定した既に定義されている複数の座標系
と、それぞれの座標系に付随して０から１まで単調増加
するスカラ値から、それらの座標系を線形補間やスプラ
イン補間することで軌道を定義する。 イ．作業者が指定した既に定義されている軌道と座標系
および０から１までの任意のスカラ値とから、その軌道
にその座標系をそのスカラ値において経由するように追
加した軌道を定義する。

【００５６】＜付随定義法＞上記、直接定義法および間
接定義法によって幾何要素を定義する際に、その幾何要
素と関連の深い幾何要素をあらかじめ定義しておくと後
で都合が良い場合がある。例えば、直線に対してその方
向ベクトルに相当するベクトルなどを付随させ、線分に
その両端点に相当する２つの点要素と方向ベクトルに相
当するベクトルなどを付随させ、平面に法線ベクトルに
相当するベクトルなどを付随させ、直方体に各頂点に相
当する８つの点、各辺に相当する１２の線分、各面に相
当する６つの平面領域、重心位置を原点として全ての軸
方向がいずれかの辺と平行になるような座標系などを付
随させ、円柱にその中心軸に相当する線分、上底面に相
当する２つの平面領域、重心位置を原点として中心軸と
平行な軸を持つ座標系などを付随させ、座標系にその原
点に相当する点、それぞれの軸方向に相当するベクトル
などを付随させる、というような場合がある。

【００５７】

【実施例】次に、具体的な物体操作軌道の教示例につい
て説明する。 ＜ステップ１：軌道のパラメトリック定義、ライブラリ
への保存、メニュー化＞ロボットによる具体的な作業例
として、物体のピック＆プレイスを考える。以下、物体
をピックアップしてからプレイスするまでにハンドに設
定したツール座標系が移動すべき軌道（これをピック＆
プレイス軌道と呼ぶ）を考える。ピック＆プレイスは対
象物を初期座標系で把持してから少し持ち上げ、空中を
移動させてから目標座標系に近づけて、目標座標系で離
すという作業である。

【００５８】このような軌道の構成例として、対象物を
ピックアップする時の座標系（軌道の始点座標系）F1か
ら、少し上に離れた座標系F2を通り、目的の位置の少し
上の座標系F3を経た後、最終的な目標座標系（軌道の終
点座標系）F4に至るような軌道T1を考える。F1とF4は物
体の現在の状態と目標状態とに依存して決定される、作
業者が指定する座標系である。F1とF4とが決まれば上述
のピック＆プレイス作業の枠組みから座標系F2およびF3
の典型的な場合およびF1〜F4を通過する軌道は以下のよ
うなパラメトリックモデリングにより自動的に求めるこ
とができる。

【００５９】軌道T1のパラメトリックモデリングの例に
ついて順を追って説明する。 (1)始点座標系をF1とする。（モデル空間中にインスタ
ンス化されている必要はなく、実際にはどのように定義
されても良いが、初期値として例えば、基準座標系（ワ
ールド座標系など）F0中の(100,300,350)の位置を原点
とし、回転のない座標系などとしておく。（一般的直接
定義法の使用。）） (2)同様に終点座標系をF4とする。 (3)基準座標系F0のZ軸方向で適当な長さ（例えば200）
のベクトルをベクトルV12として定義する。(一般的直接
定義法の使用。） (4)(3)と同様にベクトルV43を定義する。 (5)座標系F1をベクトルV12で並進移動させた座標系をF2
とする。（一般的な並進の使用。） (6)座標系F4をベクトルV43で並進移動させた座標系をF3
とする。（一般的な並進の使用。） (7)座標系F1,F2,F3,F4をスカラ値0, 0.2, 0.8, 1に対応
して通過するような軌道をT1として定義する。（間接定
義法(n)アの使用。）

【００６０】軌道T1の定義ツリーは図４のようになる。
また幾何要素の詳細データは図５のように表示すること
ができる。この表示中、下線付きの部分は変更可能なパ
ラメータである。このように定義しておいた軌道T1を図
３のファイルメニューから定義保存を選択してライブラ
リに保存する。このとき同時にT1が作業選択メニューに
表示されるようにする。メニュー上の表示名などは表示
装置上に表示されるソフトウェアキーボード等から入力
を行う。

【００６１】＜ステップ２：ピック、プレイス位置の座
標系の作成＞物体のピックアップ時の座標系とプレイス
時の座標系は作業実行時に作業者が教示によって与え
る。既にそれらの座標系がモデル化できていれば、前述
したドラッグ＆ドロップ操作により簡単に軌道のインス
タンス化ができる。それらの座標系がまだモデル化され
ていない場合にはまずそれらを作成する。なおこの座標
系作成ステップは、ステップ３の始めの部分の、軌道の
仮インスタンス化の後に行っても良い。

【００６２】ここでの作業目的は、図６のカメラ画像に
示すような状況において、テーブル上にあるペン立てを
テーブル上にあるファイルケース上へ移動する作業とす
る。図６のカメラ画像のような状況で、ピックアップ座
標系G1とプレイス座標系G4を定義していく方法につい
て、順を追って説明する。 (1)テーブル面の１つの角に相当する点をカメラ画像上
で指定し、点P1を定義する。（直接定義法(a)の使
用。） (2)(1)と同様にして別の２つの角に対応する点要素、P
2,P3を定義する。 (3)点P1,P2,P3を通る平面S1を定義する。（間接定義法
(f)アの使用。） (4) 平面S1を指定し、またカメラ画像上におけるペン立
ての底面の中心位置をポイントすることで、ペン立ての
底面の中心を点P4として定義する。（間接定義法(a)ウ
の使用。） (5)平面S1と点P4を指定して、直径と高さをペン立てに
合うようにした円柱C1を定義する。（間接定義法(k)イ
の使用。） (6)円柱C1に付随して定義される重心位置の座標系に対
して、ペン立てをハンドで把持しやすいように必要に応
じて並進および回転を加えた座標系をG1とする。（付随
定義法と一般的な並進および回転の使用。） (7)ファイルケースの底面の１辺を画面上でなぞって直
線を定義し、その直線上で辺の両端点を指定することで
線分L1を定義する。（直接定義法(b)および間接定義法
(c)イの使用。） (8)線分L1を指定し、ファイルケースの形状と一致する
ように線分周りの回転角と辺の長さとを与えて直方体B1
を定義する。（間接定義法(j)アの使用。） (9)円柱C1の底面と直方体B1の上面とが一致するように
円柱C1を移動した円柱C2を定義する。（一般的な並進お
よび回転の使用。） (10)円柱C2に付随して定義される重心位置の座標系に対
して、(6)と同じ並進および回転を加えた座標系をG4と
する。（付随定義法と一般的な並進および回転の使
用。）

【００６３】＜ステップ３：軌道のインスタンスの生成
＞図３の作業選択メニューの中からステップ１で作成し
ておいた目的の作業のパラメトリック定義を選択する。
この時点で軌道の仮のインスタンス化がなされ、この軌
道の定義ツリー表示やモデル空間での表示がなされる。
次に、仮のインスタンス化がなされた軌道を目的の作業
軌道に合うように割り当て直す。まず、定義ツリー表示
あるいはモデル空間画像表示中でF1を選択し、ステップ
２で定義したピックアップ座標系G1までドラッグ＆ドロ
ップすることでF1を実際のピックアップ座標系に割り当
てる。同様にしてF4をプレイス座標系G4にドラッグ＆ド
ロップで割り当てる。軌道を構成しているその他の座標
系F2、F3は他の幾何要素との幾何拘束で記述されている
ので、F1とF4が決定されれば自動的に決まり、軌道T1全
体が目的のピック＆プレイス作業に対して正しくインス
タンス化されたことになる。

【００６４】ここで、ドラッグ＆ドロップの操作中、ド
ラッグにより割り当て可能な幾何要素の近傍にポインタ
が達したとき、その幾何要素をハイライト表示すること
によってその幾何要素に対してドロップが可能な状態で
あることを作業者に提示すると操作がより行いやすくな
る。以上のようにして、始点と終点の座標系をドラッグ
＆ドロップ操作で当てはめるだけで、目的のピック＆プ
レイス作業軌道の全体のインスタンス化を簡単に行うこ
とができる。実際に軌道に沿ってツール座標系を移動さ
せることは、例えばスライダをポインタ操作で操作して
スカラ変数の値を変更することにより可能である。

【００６５】またここではピック座標系からの動作を考
えたが、このピック＆プレイス軌道を実行する前に、ピ
ック座標系まで現在のハンド座標系からハンドをアプロ
ーチする動作軌道が必要になり、またプレイス後にはプ
レイス座標系から別の退避座標系に移動する動作軌道が
必要になるが、これらも上記ピック＆プレイス軌道と同
様な手順で生成可能である。

【００６６】＜ステップ４．軌道の変更＞ステップ１、
２、３が基本的な作業の流れであるが、状況によって、
軌道をあらかじめ規定された拘束条件から得られるもの
とは異なるものとしたいことがある。例えば障害物を回
避するためにF2をF1の真上ではなく斜め上方にしたい場
合や距離をもっと遠くに離したい場合、あるいはF2とF3
の間に別の経由座標系を加えたい場合、などである。

【００６７】例えばF2を斜め上方にしたり距離を変えた
りしたい場合、定義ツリー表示からV12を選択し、その
数値拘束パラメータの値を変更したり、別のベクトルに
取り替えたりすることで対応できる。また別の経由座標
系を追加する場合には、障害物を避ける位置に定義した
座標系G5を例えば軌道上で0.5の位置を通るものとして
軌道T1に追加した軌道T2を定義すれば（間接定義法(n)
イを使用）、回避動作を伴うピック＆プレイス軌道とな
る。このようにパラメトリック定義をインスタンス化し
た後は、定義に関わる個々の幾何要素のパラメータを変
更したり、あるいは幾何要素自体を別のものに取り替え
たり、インスタンス化された幾何要素を利用して新たな
幾何要素を作成したりすることで、容易に軌道の変更が
可能である。

【００６８】＜ステップ５．変更した軌道のメニュー化
＞しかし、同じ変更が作業の度に必要になるのであれ
ば、新しいパラメトリック定義軌道としてライブラリに
保存し、メニューからそれを選択できるようにしておい
た方が教示の効率が上がる。この操作は、ステップ４で
変更した軌道T2をポインタで選択して、図３のファイル
メニューから定義保存をし、メニュー表示がされるよう
にしておくことで可能である。このようにしてメニュー
化しておけば、同様な状況ではT2を利用することで、T1
のインスタンス化後に変更していた手間が無くなる。

【００６９】

【発明の効果】ロボットの位置と姿勢という６次元空間
の動作を、ディスプレイによる表示とポインタによる入
力手段という通常の２次元インターフェイスのみで遠隔
から容易に教示可能となる。

【図面の簡単な説明】

【図１】本発明の動作教示装置を用いたシステム構成例
を示す図である。

【図２】ディスプレイ表示の構成例を示す図である。

【図３】ドロップダウンメニューの表示例を示す図であ
る。

【図４】定義構造中の幾何要素間の関係をツリー形式で
グラフィカルに表示する図である。

【図５】選択された幾何要素の詳細データの表示例を示
す図である。

【図６】画像提示領域の表示例を示す図である。

フロントページの続き Ｆターム(参考） 3C007 AS01 JS02 JS07 JU02 JU03 JU12 JU14 KS03 KS04 KS17 KT03 KT05 KT18 LS05 LS10 MT01 5H269 AB33 BB09 EE19 JJ20 KK03 QB02 QC01 QC03 QC10 QD03 QE02 QE07 QE10 QE22 QE26 RB01 RB08 SA08 SA10 SA11

Claims (10)

【特許請求の範囲】
1. 【請求項１】 カメラ画像上で指定された点に対応する
   空間座標を計測可能な３次元計測装置と、カメラで撮影
   した実空間画像とこれに対応した幾何モデルを表示する
   モデル空間画像とを重ねて表示可能なディスプレイと、
   少なくとも２自由度のポインティングデバイスとを用い
   て、作業者が実空間画像に対応する簡単な幾何要素をモ
   デル空間に作成していくことで作業軌道を定義するロボ
   ット動作教示方法において、 パラメトリックモデリング手法によって軌道等の幾何要
   素をあらかじめ定義しておくことにより、個々の状況に
   適した軌道等の幾何要素を定義に関連する一部の幾何要
   素の割り当てやパラメータ変更のみで作成できるように
   したロボット動作教示方法。
2. 【請求項２】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素を、データベース化し、
   メニューから選択できるようにすることで、軌道等の幾
   何要素をインスタンス化できるようにした請求項１に記
   載のロボット動作教示方法。
3. 【請求項３】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素において、ドラッグ＆ド
   ロップ操作によってその幾何要素の定義に関連する任意
   の幾何要素を別な幾何要素に置換できるようにした、請
   求項１又は２に記載のロボット動作教示方法。
4. 【請求項４】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素において、その幾何要素
   の定義に関連する幾何要素を、任意の幾何要素を基準と
   して並進、回転、あるいは位置合わせをし、パラメトリ
   ックモデリング手法で定義した元の幾何要素を定義しな
   おすことができるようにした、請求項１〜３のいずれか
   に記載のロボット動作教示方法。
5. 【請求項５】 教示インターフェイスとして、２次元の
   情報が表示可能なディスプレイと２次元の入力が可能な
   ポインティングデバイスを有し、無線通信によって他の
   装置と情報をやり取りできる携帯情報端末を用いた、請
   求項１〜４のいずれかに記載のロボット動作教示方法。
6. 【請求項６】 カメラ画像上で指定された点に対応する
   空間座標を計測可能な３次元計測装置と、カメラで撮影
   した実空間画像とこれに対応した幾何モデルを表示する
   モデル空間画像とを重ねて表示可能なディスプレイと、
   少なくとも２自由度のポインティングデバイスとからな
   り、作業者が実空間画像に対応する簡単な幾何要素をモ
   デル空間に作成していくことで作業軌道を定義するロボ
   ット動作教示装置において、 パラメトリックモデリング手法によって軌道等の幾何要
   素をあらかじめ定義しておくことにより、個々の状況に
   適した軌道等の幾何要素を定義に関連する一部の幾何要
   素の割り当てやパラメータ変更のみで作成できるように
   したロボット動作教示装置。
7. 【請求項７】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素を、データベース化し、
   メニューから選択できるようにすることで、軌道等の幾
   何要素をインスタンス化できるようにした請求項６に記
   載のロボット動作教示装置。
8. 【請求項８】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素において、ドラッグ＆ド
   ロップ操作によってその幾何要素の定義に関連する任意
   の幾何要素を別な幾何要素に置換できるようにした、請
   求項６又は７に記載のロボット動作教示装置。
9. 【請求項９】 前記パラメトリックモデリング手法によ
   って定義した軌道等の幾何要素において、その幾何要素
   の定義に関連する幾何要素を、任意の幾何要素を基準と
   して並進、回転、あるいは位置合わせをし、パラメトリ
   ックモデリング手法で定義した元の幾何要素を定義しな
   おすことができるようにした、請求項６〜８のいずれか
   に記載のロボット動作教示装置。
10. 【請求項１０】 教示インターフェイスとして、２次元
    の情報が表示可能なディスプレイと２次元の入力が可能
    なポインティングデバイスを有し、無線通信によって他
    の装置と情報をやり取りできる携帯情報端末を用いた、
    請求項６〜９のいずれかに記載のロボット動作教示装
    置。