JP2003211382A

JP2003211382A - ロボット制御装置

Info

Publication number: JP2003211382A
Application number: JP2002007357A
Authority: JP
Inventors: Koji Okamoto; 幸司岡本; Takashi Naito; 貴志内藤
Original assignee: Denso Wave Inc; Toyota Central R&D Labs Inc
Current assignee: Denso Wave Inc; Toyota Central R&D Labs Inc
Priority date: 2002-01-16
Filing date: 2002-01-16
Publication date: 2003-07-29

Abstract

(57)【要約】【課題】ビジュアルサーボによりロボットアームを制
御するものにあって、視覚認識に関するロバスト性の向
上を図る。【解決手段】ロボット制御装置２を、ロボットアーム
１に取付けられたＣＣＤカメラ１２、その撮影画像デー
タを処理する視覚認識装置１３、視覚認識装置１３から
の位置補正量に基づいてロボットアーム１の位置姿勢を
制御するロボットコントローラ１１、ＣＣＤカメラ１２
の有する絞り調整機構、焦点距離変動機構、焦点調節機
構を制御するカメラ制御装置１４から構成する。カメラ
制御装置１４は、ビジュアルサーボによるワークＷの撮
影時において、目標データ記憶時と同等の露光条件とな
るように絞り調整機構を制御し、ワークＷの画像全体が
視野内に収まるように焦点距離変動機構を制御し、目標
データ記憶時と同等のピントでワークＷを撮影するよう
に焦点調節機構を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラの撮影画像
データに基づいて、ロボットアームの位置姿勢の視覚フ
ィードバック制御（いわゆるビジュアルサーボ）を行う
ようにしたロボット制御装置に関する。

【０００２】

【発明が解決しようとする課題】例えば組立用ロボット
等においては、例えばロボットアームによりワークを把
持する際に、視覚装置を用いてロボットアームを制御す
ることが行われている。この制御は、一般に、ワークか
ら比較的離れた所定位置にて、ロボットアームの手先部
に取付けたカメラによりそのワークを撮影し、その撮影
画像データからワークの絶対的な位置を検出し、その検
出位置にロボットアームを移動させてハンドでワークを
把持するというものであった。

【０００３】ところが、このような制御方法では、位置
合せ精度が比較的低く、またカメラ座標系をロボット座
標系に変換する等の機器間のキャリブレーションが必要
となるために、非常に面倒な準備作業（パラメータの設
定）等を要し、さらには、撮影後にワークが動いてしま
った場合（あるいはワークが相対移動するような場合）
には、適用できなくなる等の不具合がある。

【０００４】そこで、近年では、ビジュアルサーボと称
される視覚フィードバック制御が注目されてきている。
この手法では、例えば教示時にロボットアームをワーク
を把持する直前の位置に移動させ、その際にロボットア
ームに取付けられたＣＣＤカメラによりワークを撮影
し、そのワークの画像の特徴量を目標データとして記憶
しておく。そして、実作業時においては、常にＣＣＤカ
メラによりワークを撮影し、その現在データを目標デー
タと比較してその誤差を０とするように、つまり教示時
と同一の見え方となるようにロボットアームの位置姿勢
を制御（フィードバック制御）することを繰返し、例え
ば誤差が０に収束したところで、ハンドによる把持動作
を実行するものである。

【０００５】尚、この場合、前記特徴量は、ワークに設
定された複数個（例えば８個）の特徴点（特定のエッジ
や穴、貼付されたマーカ等）を抽出して、その位置や向
きを検出することに基づいて求められ、カメラ座標によ
る三次元空間でのワークの位置及び姿勢を認識するもの
である。

【０００６】このようなビジュアルサーボによる制御
は、従来のようないわば「見てから動く」方法とは異な
り、「見ながら動く」ものであるため、ロボットアーム
の迅速で正確な位置姿勢制御が行えると共に、ワークに
対する相対的な位置制御を行うものであるから、ロボッ
トの絶対的な座標への変換（キャリブレーション）が不
要となって、教示作業（準備作業）も簡単となり、ま
た、例えばコンベア上を移動してくるワークの把持や、
移動ロボットにより移動しながらのワークの把持など、
対象物が相対移動する場合にも適用できる利点がある。

【０００７】しかしながら、従来のビジュアルサーボに
よる制御では、視覚認識に関するロバスト性（環境変化
に対する対象物の認識性）の面で改善の余地が残されて
いた。即ち、従来では、ＣＣＤカメラにおける撮影時の
光学的条件、つまり、視野の大きさ（焦点距離）、レン
ズのピント、絞り（露光条件）等が固定されていたた
め、例えばワークがロボットアームに対して相対移動し
ている場合、特にカメラがワークに比較的接近している
状態では、カメラの視野からワークの画像の一部あるい
は全部が外れてしまうことがあり、正確な現在データが
求められなくなったり、カメラがワークを見失ったりす
ることが起こり得た。

【０００８】また、カメラにより撮影されるワークの画
像がピントが合わずにぼけてしまうことも考えられ、こ
のような画像のぼけが起こると、特徴量の検出精度が低
下してしまうことになる。さらに、教示時（目標データ
の記憶時）に対して、環境の明るさが暗くなる等の周囲
光量の変化があると、やはり特徴量の検出精度が低下し
てしまう虞がある。

【０００９】本発明は上記事情に鑑みてなされたもの
で、その目的は、いわゆるビジュアルサーボによりロボ
ットアームを制御するものにあって、視覚認識に関する
ロバスト性の向上を図ることができるロボット制御装置
を提供するにある。

【００１０】

【課題を解決するための手段】従来のビジュアルサーボ
においては、カメラにおける撮影時の光学的条件、つま
り、視野の大きさ（焦点距離）、レンズのピント、絞り
（露光条件）等が固定されていた。これに対し、本発明
者は、カメラに備えられる光学系の調整機能を利用し、
その調整機能をビジュアルサーボのフィードバック系に
組入れ、カメラの光学系の調整を外部からの信号により
フィードバック制御することに着目し、本発明を成し遂
げたのである。

【００１１】即ち、本発明は、いわゆるビジュアルサー
ボによりロボットアームを制御するものにあって、カメ
ラにより対象物を撮影した撮影画像データに基づいて、
そのカメラに備えられた光学系調整手段を制御するカメ
ラ制御手段を設けたところに特徴を有する（請求項１の
発明）。これによれば、周囲の光学的条件（環境）等が
変化した場合でも、カメラ制御手段が光学系調整手段を
制御することによって対応することができ、この結果、
視覚認識に関するロバスト性つまり環境変化に対する対
象物の認識性の向上を図ることができ、ひいては安定し
たビジュアルサーボを実現することができる。

【００１２】尚、この場合、教示時と実作業時との間で
光学的条件が相違する場合に、画像処理上でソフトウエ
ア的に補正をかけることも考えられるが、それでは、画
像処理に時間がかかり、ビジュアルサーボの応答性が低
下する欠点がある。また、カメラが自らの光学系の調整
を自動で行う、例えば自動でレンズのピントを合わせる
オートフォーカスの機能や、周囲光の検出に基づいて絞
り量を自動で調整する機能を備えたものはあるが、この
ようなカメラが自らの判断に基づいて光学系の調整を行
うものでは、ビジュアルサーボによるロボットアームの
制御と無関係にカメラの光学系の制御が行われるため、
ビジュアルサーボと馴染むとは言い難く、ビジュアルサ
ーボによる制御を安定して行うといった点では不十分と
なる。

【００１３】より具体的には、カメラ制御手段の制御の
態様として、以下のものが考えられる。即ち、光学系調
整手段として焦点距離変動機構を備えるものにあって
は、対象物の画像全体がカメラの視野内に収まるように
焦点距離を変動させる構成とすることができる（請求項
２の発明）。これにより、例えばカメラの視野からワー
クの画像の一部あるいは全部が外れてしまった場合に、
広角にして視野を広げるといった対応を行うことができ
るので、カメラが対象物を見失うことを防止し、正確な
現在データを求めることが可能となる。

【００１４】このとき、予め焦点距離変動機構により焦
点距離が複数段階に変化された複数個の目標データを記
憶手段に記憶させておき、画像処理手段により、カメラ
制御手段により制御された焦点距離に対応した目標デー
タを用いて現在データの誤差を算出させることができ
（請求項３の発明）、これにより、複数個のなかから必
要な目標データをそのまま使用して現在データとの誤差
を算出することができるので、目標データあるいは現在
データを焦点距離に応じて補正する処理等が必要なくな
り、短時間で正確に誤差を算出してロボットアームの制
御を行うことができるようになる。

【００１５】また、光学系調整手段として焦点調節機構
を備えるものにあっては、目標データ記憶時と同等のピ
ントで対象物を撮影するように焦点を調節する構成とす
ることができる（請求項４の発明）。これにより、カメ
ラにより撮影される対象物の画像がピントが合わずにぼ
けてしまうことを防止できて明瞭な画像を撮影すること
が可能となり、現在データひいては誤差の検出精度を向
上させて精度良くロボットアームを制御することができ
る。

【００１６】さらには、光学系調整手段として絞り調整
機構を備えるものにあっては、目標データ記憶時と同等
の露光条件となるように絞りを調整する構成とすること
ができる（請求項５の発明）。あるいは、光学系調整手
段としてカメラの撮影画像データのＡＤゲインを調整す
るＡＤゲイン調整手段を備えるものにあっては、目標デ
ータ記憶時と同等の露光条件となるようにＡＤゲインを
調整する構成とすることができる（請求項６の発明）。
これらによれば、目標データの記憶時と同等の露光条件
で現在データひいては誤差を求めることができるので、
ロボットアームの制御の精度、信頼性を高めることがで
きる。

【００１７】

【発明の実施の形態】以下、本発明を例えば組立用の多
関節（６軸）型ロボットに適用した一実施例（請求項１
〜５に対応）について、図面を参照しながら説明する。
図１は、本実施例におけるロボットシステムの構成を概
略的に示しており、このロボットシステムは、例えば６
軸型のロボットアーム（ロボット本体）１と、このロボ
ットアーム１を制御するロボット制御装置２とを備えて
構成される。

【００１８】このシステムにおいては、この場合設備に
固定的に設置されたロボットアーム１により、作業台上
に任意の位置及び姿勢で供給された（あるいはコンベア
等により搬送される）対象物たるワークＷを把持して、
組付けや所定位置への搬送等を行うようになっている。
尚、前記ワークＷには、後述する視覚認識のための、複
数個（例えば８個）の特徴点（特定のエッジや穴、貼付
されたマーカ等）が設定されるようになっている。

【００１９】前記ロボットアーム１は、設備に固定設置
されるベース３上に、第１アーム４が垂直軸を中心に回
動（旋回）可能に設けられ、その第１アーム４の先端
に、第２アーム５が水平軸を中心に回動可能に設けら
れ、その第２アーム５の先端に、第３アーム６が水平軸
を中心に回動可能に設けられている。さらに、その第３
アーム６の先端面部に、第４アーム７が同軸回転可能に
設けられ、第４アーム７の先端には、第５アーム８が回
転可能に設けられ、第５アーム８の先端面に第６アーム
９が同軸回転可能に設けられて構成されている。そし
て、前記第６アーム９の先端面には、ハンド１０が着脱
（交換）自在に取付けられている。

【００２０】また、上記したロボットアーム１の各アー
ム４〜９は、エンコーダ付きのサーボモータ（図示せ
ず）によりそれぞれ駆動されるようになっており、それ
ら各サーボモータ（並びにハンド１０）は、外部に設け
られマイコンを主体として構成されるロボットコントロ
ーラ１１により制御され、もってワークＷの把持作業等
が自動で実行されるようになっている。

【００２１】このとき、ロボットコントローラ１１は、
前記ロボット制御装置２の一部を構成し、このロボット
制御装置２は、そのソフトウエア的構成（プログラムの
実行）により、カメラ（視覚センサ）の情報に基づいて
ロボットアーム１の位置姿勢を例えばワークＷの把持位
置にフィードバック制御する、ビジュアルサーボと称さ
れる動的な視覚フィードバック制御を以下のようにして
実行するようになっている。

【００２２】このビジュアルサーボによる位置姿勢制御
の実現のため、ロボットアーム１の手先部例えば第５ア
ーム８の側面部に、前記ワークＷの画像を撮影するため
のカメラたるＣＣＤカメラ１２が取付けられている。こ
れと共に、マイコンを主体として成り、前記ＣＣＤカメ
ラ１２からの撮影画像データを取込んで処理する視覚認
識装置１３が設けられている。この視覚認識装置１３
は、画像処理に基づいて、制御動作信号（位置補正量）
をロボットコントローラ１１に与えるようになってお
り、前記ＣＣＤカメラ１２と共にロボット制御装置２の
一部を構成するようになっている。尚、この視覚認識装
置１３をロボットコントローラ１１に内蔵する構成とし
ても良い。

【００２３】このとき、前記視覚認識装置１３には、予
め実行される教示動作により得られた目標データを記憶
する記憶部（図示せず）が設けられるようになってい
る。前記教示動作は、例えばティーチングペンダントを
用いたマニュアル操作により、ロボットアーム１をワー
クＷに対して教示目標位置（ハンド１０によりワークＷ
を把持する直前の位置姿勢）に移動させ、その位置にお
いてＣＣＤカメラ１２によりワークＷを撮影し、その際
の画像上のワークＷの三次元的な位置や姿勢を表す特徴
量（例えばワークＷの複数個の特徴点の画像上の位置、
大きさ（長さ，面積）、傾き角など）が目標データ（設
定値）として記憶されるのである。

【００２４】尚、後述するカメラ制御のために、記憶部
には、焦点距離が複数段階に変化された複数個の目標デ
ータが記憶されるようになっていると共に、教示時の画
像の輝度（明るさ）情報や、ピントの情報（画像の微分
強度の情報）等も記憶されるようになっている。

【００２５】そして、実作業時においては、ロボット制
御装置２は、ロボットアーム１の任意の位置姿勢にて、
ＣＣＤカメラ１２によりワークＷを撮影し、視覚認識装
置１３によりその撮影画像データを処理して現在の画像
上の特徴量（ワークＷの位置や姿勢）を同様にして現在
データ（フィードバック信号）として求め、その現在デ
ータを目標データと比較してその誤差（偏差）を減少さ
せる（０とする）ように、つまりＣＣＤカメラ１２によ
る画像が教示時と同一の見え方となるように位置補正量
（制御量）を算出して制御動作信号としてロボットコン
トローラ１１に出力するようになっている。

【００２６】尚、この場合、視覚認識装置１３は、例え
ばＣＣＤカメラ１２の撮影光軸方向をＺ軸、撮影画面
（投影面）をＸＹ平面とした三次元直交座標系に基づい
て、ワークＷの撮影画像の特徴量ひいては目標データと
の誤差を、ｘ（Ｘ軸方向の位置），ｙ（Ｙ軸方向の位
置），ｚ（Ｚ軸方向の位置），Ｒｘ（Ｘ軸回りの姿勢
（回転角）），Ｒｙ（Ｙ軸回りの姿勢（回転角）），Ｒ
ｚ（Ｚ軸回りの姿勢（回転角））の６つの成分に関して
求め、それらを位置補正量としてロボットコントローラ
１１に出力するようになっている。

【００２７】ロボットコントローラ１１は、その位置補
正量に基づいてロボットアーム１の位置姿勢を制御（フ
ィードバック制御）することを繰返し、この制御によっ
て誤差がしきい値以下（０）に収束した、つまりロボッ
トアーム１のワークＷに対する位置姿勢が教示目標位置
に一致したところで、ハンド１０によるワークＷの把持
動作を実行するものである。従って、視覚認識装置１３
が、本発明にいう記憶手段及び画像処理手段として機能
し、ロボットコントローラ１１が本発明にいう制御手段
として機能するのである。

【００２８】さて、図示はしないが、前記ＣＣＤカメラ
１２は、その撮影時の光学的条件を調整する光学系調整
手段を備えて構成されている。詳しい説明は省略する
が、本実施例においては、この光学系調整手段として、
焦点距離を変動させる（言換えればカメラ視野を拡縮す
る）焦点距離変動機構（ズーム機構）、レンズのピント
を合わせる焦点調節機構（オートフォーカス機構）、撮
影時の絞り量（露光条件）を調整する絞り調整機構、を
備えている。

【００２９】そして、本実施例のロボット制御装置２に
おいては、実作業時（ビジュアルサーボによるロボット
アーム１の制御の実行時）にＣＣＤカメラ１２によりワ
ークＷを撮影した撮影画像データに基づき，それら焦点
距離変動機構、焦点調節機構、絞り調整機構を制御する
（ＣＣＤカメラ１２に対しカメラ制御信号を出力する）
ためのカメラ制御手段たるカメラ制御装置１４が設けら
れている。

【００３０】このとき、後の作用説明でも述べるよう
に、カメラ制御装置１４は、ビジュアルサーボによるワ
ークＷの撮影時において、ＣＣＤカメラ１２の現在の撮
影画像データの輝度情報と、視覚認識装置１３の記憶部
に記憶されている教示時の輝度情報とを比較し、目標デ
ータ記憶時と同等の露光条件となるようにＣＣＤカメラ
１２の絞り調整機構を制御するようになっている。

【００３１】また、カメラ制御装置１４は、ビジュアル
サーボによるワークＷの撮影時において、ＣＣＤカメラ
１２の現在の撮影画像データから、ワークＷの画像全体
がＣＣＤカメラ１２の視野内に収まっているかどうかを
判断し、ＣＣＤカメラ１２の視野からワークＷの画像の
一部あるいは全部が外れている場合には、ワークＷの画
像全体が視野内に収まるようにＣＣＤカメラ１２の焦点
距離変動機構を制御する（焦点距離を短くして広角とす
る）ようになっている。

【００３２】この場合、ビジュアルサーボにおいては、
視覚認識装置１３にて焦点距離に応じた特徴量（現在デ
ータ）が求められるため、誤差検出のために、目標デー
タについても、その焦点距離に対応したものが必要とな
る。このため、教示時において、ＣＣＤカメラ１２の焦
点距離変動機構により焦点距離が複数段階に変化された
複数個の目標データが求められ、それらが視覚認識装置
１３の記憶部に記憶されるようになっている。

【００３３】更に、カメラ制御装置１４は、ビジュアル
サーボによるワークＷの撮影時において、ＣＣＤカメラ
１２の現在の撮影画像データから、例えば微分強度値を
評価することにより、ワークＷの画像が教示時と比べて
ぼけていないかどうかを判断し、ぼけている場合には、
目標データ記憶時と同等のピントでワークＷを撮影する
ように焦点調節機構を制御するようになっている。

【００３４】次に、上記構成の作用について、図２ない
し図６も参照して述べる。まず、図２のフローチャート
は、教示（ティーチング）時においてロボット制御装置
２が実行する目標データ記憶の処理の手順を概略的に示
している。この教示にあたっては、まず、ステップＳ１
にて、例えばティーチングペンダントを用いたマニュア
ル操作により、ロボットアーム１の手先部をワークＷに
対して目標位置（例えばハンド１０によりワークＷを把
持する直前の位置姿勢）に移動させることが行われる。

【００３５】次のステップＳ２にて、変数ｉに１がセッ
トされた上で、ステップＳ３にて、ＣＣＤカメラ１２の
レンズの焦点距離をｆｉとしてＣＣＤカメラ１１により
ワークＷを撮影することが行われる。そして、ステップ
Ｓ４にて、得られた画像データから視覚認識装置１３に
より画像処理が行われ、画像上のワークＷの三次元的な
位置や姿勢を表す特徴量（例えばワークＷの複数個の特
徴点の画像上の位置、大きさ（長さ，面積）、傾き角な
ど）が目標データＩｄ（ｆｉ）として焦点距離ｆｉと共
に記憶部に記憶されるのである。

【００３６】ここで、焦点距離のパラメータであるｆｉ
（１≦ｉ≦ｎ）は、ｆ１＞ｆ２＞ｆ３＞…＞ｆｎ（mm）
を満たすこととする。このとき、焦点距離は使用するレ
ンズの仕様に依存し、例えばｆ１は、対象物から観測さ
れる特徴量（目標データ）Ｉｄが全て得られ、且つ、対
象物を最も拡大して観測できる状態の焦点距離とし、ｆ
ｎは、対象物から観測される特徴量（目標データ）Ｉｄ
が全て得られ、且つ、対象物を最も広角に観測できる状
態の焦点距離とする。また、ｆｉは、整数ｎ（＞１）を
適当に定め、ｆｎ〜ｆ１をｎ等分した値、つまり、ｆｉ
＝ｆ１−（ｆ１−ｆｎ）／（ｎ−１）＊（ｉ−１）とす
る。

【００３７】次のステップＳ５では、変数ｉが整数ｎ以
上であるかどうかが判断され、ｎに満たない場合には
（Ｎｏ）、ステップＳ６にて、変数ｉの値が１だけイン
クリメントされ、変数ｉの値がｎとなるまで（ステップ
Ｓ５にてＹｅｓ）、ステップＳ３〜Ｓ６の処理が繰返さ
れる。これにて、視覚認識装置１３の記憶部には、焦点
距離が複数段階（ｆ１〜ｆｎのｎ段階）に変化された複
数個（ｎ個）の目標データＩｄ（ｆｉ）が記憶されるの
である。尚、この図２には示していないが、この教示時
には、ＣＣＤカメラ１２のレンズのピントが焦点調節機
構（オートフォーカス）により自動調節されるようにな
っており、また、画像の輝度情報やピント（画像の微分
強度）の情報も、目標データと併せて記憶部に記憶され
るようになっている。

【００３８】次に、図３のフローチャートは、実作業時
に、ロボット制御装置２が実行するビジュアルサーボに
よるロボットアーム１の位置姿勢の制御の手順を概略的
に示している。即ち、作業が開始されると、ステップＳ
１１にて、ＣＣＤカメラ１２により現在位置におけるワ
ークＷの観測が行われ、次のステップＳ１２にて、ま
ず、観測されている画像の輝度情報から、適当な明るさ
が得られているかどうか、つまり記憶部に記憶されてい
る輝度情報との比較により、教示時の明るさと同程度か
どうかが判断される。

【００３９】ここで、図４（ａ）にイメージ的に示すよ
うに、周囲環境が暗く画像全体が暗すぎるような場合
（あるいは明るすぎるような場合）には（ステップＳ１
２にてＮｏ）、ステップＳ１３にて、カメラ制御装置１
４からＣＣＤカメラ１２に対して教示時と同等の露光条
件となるように制御信号が出力され、ＣＣＤカメラ１２
の絞り調整機構により絞りが調整される。これにて、図
４（ｂ）に示すように、画像全体の明るさが適切なもの
とされるのである。

【００４０】画像の適切な明るさが得られていれば（ス
テップＳ１２にてＹｅｓ）、次のステップＳ１４にて、
ワークＷの画像全体がＣＣＤカメラ１２の視野内に収ま
っているかどうかが判断される。ここで、図５（ａ）に
例示するように、ワークＷの画像の一部（あるいは全
部）が視野から外れている場合には（ステップＳ１４に
てＮｏ）、ステップＳ１５にて、カメラ制御装置１４か
らＣＣＤカメラ１２に対して焦点距離を変動させる（短
くさせる）ように制御信号が出力され、ＣＣＤカメラ１
２の焦点距離変動機構により焦点距離が調整される。

【００４１】この場合、例えば最初は焦点距離がｆ１に
設定されており、ワークＷの画像の全てがＣＣＤカメラ
１２の視野内に収まるまで、焦点距離ｆｉを例えば１段
階ずつ上げて（短くして）いくことが行われる。これに
て、図５（ｂ）に示すように、ワークＷの画像全体がＣ
ＣＤカメラ１２の視野内に収まるようになる。ワークＷ
の画像全体がＣＣＤカメラ１２の視野内に収まっていれ
ば（ステップＳ１４にてＹｅｓ）、次のステップＳ１６
にて、ワークＷの画像がぼけていないか（ピントが外れ
ていないか）が判断される。

【００４２】ここで、例えば上記ステップＳ１５で焦点
距離を変更した場合等には、図６（ａ）に例示するよう
に、ピントが合わなくなる虞がある。このような像のぼ
けは、例えば画像の微分強度値により検出する。像がぼ
けている場合には、画像の微分強度が低下するため、こ
の微分強度値を評価する（教示時の微分強度と比較す
る）ことにより、画像がぼけていることが判断できる。
画像がぼけている場合には（ステップＳ１６にてＹｅ
ｓ）、ステップＳ１７にて、カメラ制御装置１４からＣ
ＣＤカメラ１２に対して焦点調節を行うように制御信号
が出力され、焦点調節機構により焦点調節が行われる。

【００４３】これにて、図６（ｂ）に示すように、ピン
トの合った画像とされるのである。ピントが適切なもの
となっていれば（ステップＳ１６にてＹｅｓ）、次のス
テップＳ１８にて、その時点の撮影画像データが、視覚
認識装置１３に取込まれ、画像処理（特徴量の抽出）が
行われて現在データＩ（ｔ，ｆｉ）が求められる。そし
て、ステップＳ１９にて、その現在データＩ（ｔ，ｆ
ｉ）と、該当する焦点距離ｆｉに対応する目標データＩ
ｄ（ｆｉ）とが比較され、誤差（位置補正量）ΔＩ
（ｔ）が算出されるのである。

【００４４】次のステップＳ２０では、求められた誤差
ΔＩ（ｔ）の絶対値がしきい値以下かどうかが判断さ
れ、しきい値を越えている場合即ち未だ誤差が大きくロ
ボットアーム１が教示目標位置に達していない場合には
（Ｎｏ）、ステップＳ２１にて、その誤差ΔＩ（ｔ）か
らロボットアーム１の制御量Ｒ（ｔ）が算出されてロボ
ットコントローラ１１に出力され、ステップＳ２２に
て、ロボットアーム１の位置姿勢の制御（移動）が行わ
れる。この後、ステップＳ１１からの処理が繰返され
る。

【００４５】以上のような制御により、ロボットアーム
１の手先は、ワークＷから比較的離れた位置から次第に
ワークＷに近付いていき、遂には、誤差ΔＩ（ｔ）がし
きい値以下となる（０となる）、つまりロボットアーム
１のワークＷに対する位置姿勢が教示目標位置に一致す
るようになり（ステップＳ２０にてＹｅｓ）、この時点
でビジュアルサーボによる制御が終了し、ハンド１０に
よるワークＷの把持作業に移行されるのである（ステッ
プＳ２３）。

【００４６】ここで、教示時と実作業時との間で周囲の
光学的条件（環境）等が変化した場合、従来のようなＣ
ＣＤカメラにおける撮影時の光学的条件、つまり、焦点
距離、レンズのピント、絞り等が固定されていたもので
は、カメラがワークを見失ったり、特徴量の検出精度が
低下してしまう等の虞があった。

【００４７】これに対し、本実施例では、カメラ制御装
置１４により、ＣＣＤカメラ１２の有する絞り調整機
構、焦点距離変動機構、焦点調節機構を制御するように
したので、教示時と同等の露光条件で現在の画像データ
を取込むことができ（ステップＳ１２，Ｓ１３）、ま
た、ワークＷの画像全体が視野内に収まるようにＣＣＤ
カメラ１２の焦点距離を制御することができ（ステップ
Ｓ１４，Ｓ１５）、更に、教示時と同等のピントでワー
クＷを撮影することができる（ステップＳ１６，Ｓ１
７）。

【００４８】これにより、本実施例によれば、ＣＣＤカ
メラ１２の光学系の調整をビジュアルサーボのフィード
バック系に組入れ、外部からの信号によりフィードバッ
ク制御するようにしたので、周囲の光学的条件（環境）
等が変化した場合でも、容易且つ迅速に対応することが
できる。この結果、視覚認識に関するロバスト性の向上
つまり環境変化に対するワークＷの認識性の向上を図る
ことができ、ひいては安定したビジュアルサーボを実現
することができるという優れた効果を得ることができた
のである。

【００４９】尚、上記実施例では、ＣＣＤカメラ１２に
絞り調整機構を設けて絞りを調整する構成としたが、目
標データ記憶時と同等の露光条件となるように、ＣＣＤ
カメラ１２の撮影画像データのＡＤゲインを調整する構
成としても良く（請求項６の発明）、これによっても、
同様に、目標データの記憶時と同等の露光条件で現在デ
ータひいては誤差を求めることができるので、ロボット
アーム１の制御の精度、信頼性を高めることができる。

【００５０】そして、上記実施例では、ＣＣＤカメラ１
２に、絞り調整機構、焦点距離変動機構、焦点調節機構
の３種類の光学系調整手段を設け、露光条件、焦点距
離、レンズのピントの全てをカメラ制御装置１４により
制御する構成としたが、そのうちいずれか１つ或いは２
つを制御する構成であっても、本発明の技術的範囲に含
まれることは勿論である。また、上記実施例では、最初
に焦点距離をｆ１に設定しておき、ワークＷの画像が視
野から外れた場合に、焦点距離ｆｉを順次に変更してい
くようにしたが、適当な焦点距離を予測してその焦点距
離にて撮影を行ない、その後必要に応じて焦点距離を調
整するような構成としても良い。焦点調節（ピント）に
ついても、予測して制御する構成とすることができる。

【００５１】その他、本発明は上記した実施例に限定さ
れるものではなく、例えば移動ロボットに本発明を適用
することも可能であり、またコンベア等により移動して
いるワークＷを把持する等の作業にも本発明を適用で
き、さらにはワークの把持，搬送の作業以外の各種の作
業に適用できる等、ロボットアームのハードウエア的構
成や作業（制御）の内容等についても、種々の変形が可
能である。カメラの構成や取付位置等についても様々な
変形例が考えられる等、本発明は要旨を逸脱しない範囲
内で適宜変更して実施し得るものである。

【図面の簡単な説明】

【図１】本発明の一実施例を示すもので、ロボットシス
テムの構成を概略的に示す図

【図２】教示時における処理手順を示すフローチャート

【図３】実作業時における処理手順を示すフローチャー
ト

【図４】周囲環境が暗い場合（ａ）及び絞りを調整した
場合（ｂ）の画像の様子を模式的に示す図

【図５】ワークの画像の一部が視野から外れた場合
（ａ）及び焦点距離を変動させた場合（ｂ）の画像の様
子を模式的に示す図

【図６】ワークの像がぼけている場合（ａ）及びピント
を調節した場合（ｂ）の画像の様子を模式的に示す図

【符号の説明】

図面中、１はロボットアーム、２はロボット制御装置、
１０はハンド、１１はロボットコントローラ（制御手
段）、１２はＣＣＤカメラ（カメラ）、１３は視覚認識
装置（記憶手段、画像処理手段）、１４はカメラ制御装
置（カメラ制御手段）、Ｗはワーク（対象物）を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者内藤貴志愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内Ｆターム(参考） 3C007 AS06 BS12 HS27 KS21 KT00 KT01 KT06 KT11 KV01 MT04 5B047 AA13 BB04 BC05 BC14 CA17 CB23 DC06 5B057 AA05 BA02 BA17 DA07 DB03 DC03 DC04 DC05 DC08 DC33 DC36 DC39 5C022 AB01 AB12 AB21 AC42 AC51 AC69 AC74 AC78

Claims

【特許請求の範囲】

【請求項１】ロボットアームに取付けられたカメラ
と、前記ロボットアームを予めワーク等の対象物に対する教
示目標位置に位置させた状態で前記カメラにより前記対
象物を撮影した際の画像上の特徴量を目標データとして
記憶する記憶手段と、前記カメラにより前記対象物を撮影した撮影画像データ
を処理して現在の画像上の特徴量を現在データとして求
め、前記目標データとの誤差を算出する画像処理手段
と、この画像処理手段により得られた誤差に基づいて、その
誤差を減少させるように前記ロボットアームの位置姿勢
をフィードバック制御するロボット制御手段とを具備し
てなるロボット制御装置であって、前記カメラは、その撮影時の光学的条件を調整する光学
系調整手段を備えて構成されると共に、前記カメラにより前記対象物を撮影した撮影画像データ
に基づいて該カメラの光学系調整手段を制御するカメラ
制御手段を備えたことを特徴とするロボット制御装置。
【請求項２】前記光学系調整手段は、焦点距離変動機
構を備えると共に、前記カメラ制御手段は、前記対象物
の画像全体が前記カメラの視野内に収まるように前記焦
点距離変動機構を制御することを特徴とする請求項１記
載のロボット制御装置。
【請求項３】前記記憶手段には、前記焦点距離変動機
構により焦点距離が複数段階に変化された複数個の目標
データが記憶されると共に、前記画像処理手段は、前記
カメラ制御手段により制御された焦点距離に対応した目
標データを用いて現在データの誤差を算出することを特
徴とする請求項２記載のロボット制御装置。
【請求項４】前記光学系調整手段は、焦点調節機構を
備えると共に、前記カメラ制御手段は、前記目標データ
記憶時と同等のピントで対象物を撮影するように前記焦
点調節機構を制御することを特徴とする請求項１ないし
３のいずれかに記載のロボット制御装置。
【請求項５】前記光学系調整手段は、絞り調整機構を
備えると共に、前記カメラ制御手段は、前記目標データ
記憶時と同等の露光条件となるように前記絞り調整機構
を制御することを特徴とする請求項１ないし４のいずれ
かに記載のロボット制御装置。
【請求項６】前記光学系調整手段は、前記カメラの撮
影画像データのＡＤゲインを調整するＡＤゲイン調整手
段を備えると共に、前記カメラ制御手段は、前記目標デ
ータ記憶時と同等の露光条件となるように前記ＡＤゲイ
ン調整手段を制御することを特徴とする請求項１ないし
４のいずれかに記載のロボット制御装置。