JPS6015780A - ロボット制御装置 - Google Patents
ロボット制御装置Info
- Publication number
- JPS6015780A JPS6015780A JP58123260A JP12326083A JPS6015780A JP S6015780 A JPS6015780 A JP S6015780A JP 58123260 A JP58123260 A JP 58123260A JP 12326083 A JP12326083 A JP 12326083A JP S6015780 A JPS6015780 A JP S6015780A
- Authority
- JP
- Japan
- Prior art keywords
- image
- robot
- distance
- detector
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、ロボットにより組立、検査、調整等各種作業
を行う上で必要となる対象物体の有無2位置、姿勢1作
業範囲内の空間的状況を認識できるロボットに関するも
のである。
を行う上で必要となる対象物体の有無2位置、姿勢1作
業範囲内の空間的状況を認識できるロボットに関するも
のである。
ロボット視覚として物体の位置、姿勢を認識するものと
しては、第1図に例示するようIC作業テーブル1上に
像検出器3を置き、周辺から照明器4で作業テーブル上
を照明し、像を検出する。そして対象物の位置、姿勢を
認識し、その情報に従い、四ボットアーム2が動作する
。
しては、第1図に例示するようIC作業テーブル1上に
像検出器3を置き、周辺から照明器4で作業テーブル上
を照明し、像を検出する。そして対象物の位置、姿勢を
認識し、その情報に従い、四ボットアーム2が動作する
。
この方法においては、テーブル平面上の物体の平面上に
おける位置、姿勢が認識できるが、立体的な形状の認識
はできない。例えば、テーブル上に山積みされた物体に
対し、各物体の傾き情報に従って、その物体のグリップ
面に合致するようロボットアームを傾けて、物体にアプ
ローチするということはできない。また、対象物と作業
テーブルの間にコントラスト(濃淡の違い)が明瞭に存
在しないと、テーブル平面上での位置、姿勢も決定でき
ない。
おける位置、姿勢が認識できるが、立体的な形状の認識
はできない。例えば、テーブル上に山積みされた物体に
対し、各物体の傾き情報に従って、その物体のグリップ
面に合致するようロボットアームを傾けて、物体にアプ
ローチするということはできない。また、対象物と作業
テーブルの間にコントラスト(濃淡の違い)が明瞭に存
在しないと、テーブル平面上での位置、姿勢も決定でき
ない。
一方、ロボットの手先に視覚装置を付け、フィードバッ
クするものがある。第2図は、その例であり、溶接ヘッ
ド7で溶接を行う溶接線5をトラッキングするものであ
る。これは、スリット元投光器6をロボットアーム2の
先端につけ、溶接線上にスリット光8を投光する。そし
てその像をロボットアームの先端につけた像検出器6で
ななめ方向から検出し、浴接線の位置ヲ求メ、これの目
標値からのずれがゼロとなるようにロボットアームを制
御するものである。
クするものがある。第2図は、その例であり、溶接ヘッ
ド7で溶接を行う溶接線5をトラッキングするものであ
る。これは、スリット元投光器6をロボットアーム2の
先端につけ、溶接線上にスリット光8を投光する。そし
てその像をロボットアームの先端につけた像検出器6で
ななめ方向から検出し、浴接線の位置ヲ求メ、これの目
標値からのずれがゼロとなるようにロボットアームを制
御するものである。
しかし、この方式では溶接線の位置、すなわち溝状の対
象の位置の検出しかできず、対象物の3次元的な位置、
姿勢を認識し、組立、検査。
象の位置の検出しかできず、対象物の3次元的な位置、
姿勢を認識し、組立、検査。
調整等の作業をすることはできない。
本発明の目的は、上記した従来技術の欠点をなくし、対
象物体の姿勢、形状にかかわらず、対象物体の形状1位
置、姿勢をロボットの座標系で認識し、作業出来るよう
にしたロボットを提供することにある。
象物体の姿勢、形状にかかわらず、対象物体の形状1位
置、姿勢をロボットの座標系で認識し、作業出来るよう
にしたロボットを提供することにある。
本発明は、ロボットの持つある固定された座標系の時点
の点に、その位置から対象物体表面各点までの距離の情
報、すなわち距離画像を検出する検出器を設け、作業対
象全体の距離画像を検知し、検知した距離画像をイメー
ジプロセッサを用いて、二次元的′な微分を行って対象
物体の輪郭を検出し、この輪郭で分離された部分とその
部分に対応する距離画像から得られる距離から三次元的
に配置された対象物を発見、その位置、姿勢および形状
を認識し、その結果をロボットアームの制御装置に伝送
し、対象物体の三次元的に定められた方向よりロボット
アームが接近するよう制御し、さらに、ロボットアーム
上に取付けられた画像検出器より、再度対象物体の位置
、姿勢を前記の距離画像の検出器より良い精度で検知し
、ロボットアームに補正□をかげ、最終的にロボットが
三次元的に任意の位置、姿勢を持つ作業対象物に対して
位置決め精度よ(作業できるようにすることを要旨とす
る。
の点に、その位置から対象物体表面各点までの距離の情
報、すなわち距離画像を検出する検出器を設け、作業対
象全体の距離画像を検知し、検知した距離画像をイメー
ジプロセッサを用いて、二次元的′な微分を行って対象
物体の輪郭を検出し、この輪郭で分離された部分とその
部分に対応する距離画像から得られる距離から三次元的
に配置された対象物を発見、その位置、姿勢および形状
を認識し、その結果をロボットアームの制御装置に伝送
し、対象物体の三次元的に定められた方向よりロボット
アームが接近するよう制御し、さらに、ロボットアーム
上に取付けられた画像検出器より、再度対象物体の位置
、姿勢を前記の距離画像の検出器より良い精度で検知し
、ロボットアームに補正□をかげ、最終的にロボットが
三次元的に任意の位置、姿勢を持つ作業対象物に対して
位置決め精度よ(作業できるようにすることを要旨とす
る。
以下、本発明を図面により詳細に説明する。
まず、本発明における処理内容について説明する。前述
したように、処理内容はロボットの座標系の固定された
点から作業対象全体の距離画像を検出し、対象物体の発
見とその位置、姿勢を認識する第1の段階と、第1の段
階よりの結果を用いてロボットアームを対象物体IC接
近させた後、ロボットアーム上の画像検出器より ゛の
画像を用いてさらに正確な対象物の位〜、姿勢を検出す
る第2の段階より成る(第13図)。
したように、処理内容はロボットの座標系の固定された
点から作業対象全体の距離画像を検出し、対象物体の発
見とその位置、姿勢を認識する第1の段階と、第1の段
階よりの結果を用いてロボットアームを対象物体IC接
近させた後、ロボットアーム上の画像検出器より ゛の
画像を用いてさらに正確な対象物の位〜、姿勢を検出す
る第2の段階より成る(第13図)。
第1の段階で検出する距離画像9は、第3図に示すよう
に、その11M1像の各点の値Viノか、対象物11表
面上の対応する点Pりと検出器10との距離l!的に対
して ■す=飲り十〇 ・・・(]) 放:非零の定数、 C:定数 なる線形の関係を持った画像である。したがって、特に
Kが負数の場合、■りは対象物表面の各点の高さを表わ
したものと見なすことができる。さて、第4図のように
、いくつかの物体が折り重なっている状態を、真上より
距離画像の検出器でとらえた場合を規定すると、これに
対応して第5図のような距離画像9が検出される。
に、その11M1像の各点の値Viノか、対象物11表
面上の対応する点Pりと検出器10との距離l!的に対
して ■す=飲り十〇 ・・・(]) 放:非零の定数、 C:定数 なる線形の関係を持った画像である。したがって、特に
Kが負数の場合、■りは対象物表面の各点の高さを表わ
したものと見なすことができる。さて、第4図のように
、いくつかの物体が折り重なっている状態を、真上より
距離画像の検出器でとらえた場合を規定すると、これに
対応して第5図のような距離画像9が検出される。
この第5図よりも明らかなように、物体と物体もしくは
物体と背景の境界線では、一般に検出器までの距離が急
激に変化するため、距離画像の値も急激に変化する。距
離画像ではこのような境界線をジャンプエツジと呼ぶ。
物体と背景の境界線では、一般に検出器までの距離が急
激に変化するため、距離画像の値も急激に変化する。距
離画像ではこのような境界線をジャンプエツジと呼ぶ。
この変化を画像の2次元的な微分を用いて検出すると、
第6図のようになる。画像の2次元的な微分には何種類
かの方式が知られているが、ここでは第7図に示す画像
上の点(’l))の微分値dりをとする様な演算である
。但し、(番、))は検出器と対象物との距離方向に垂
直な面の直交座標とする。得られた微分画像をある固定
閾値で2値化すると、第8図に示すようなジャンプエツ
ジ画像が得られる。同図において、黒線はジャンプエツ
ジ12を表わし、これは物体の輪郭線に対応することは
前述した通りである。したがって、ジャンプエツジ12
に囲まれた領域は、物体一つ一つに対応し、それぞれの
領域を画像上で分離抽出することによって、物体を画像
上で分離できる。
第6図のようになる。画像の2次元的な微分には何種類
かの方式が知られているが、ここでは第7図に示す画像
上の点(’l))の微分値dりをとする様な演算である
。但し、(番、))は検出器と対象物との距離方向に垂
直な面の直交座標とする。得られた微分画像をある固定
閾値で2値化すると、第8図に示すようなジャンプエツ
ジ画像が得られる。同図において、黒線はジャンプエツ
ジ12を表わし、これは物体の輪郭線に対応することは
前述した通りである。したがって、ジャンプエツジ12
に囲まれた領域は、物体一つ一つに対応し、それぞれの
領域を画像上で分離抽出することによって、物体を画像
上で分離できる。
以上のようにして分離抽出した各物体に対応する領域R
から、その面積Sおよび領域の平均的な高さHlすなわ
ち について なる判定基準に合致した領域を、目的とする対象物体の
領域として抽出する。S、、Slは対象とする物体をあ
る平面上に投影した場合の面積の変動範囲の上限および
下限、l−1+、Hzは対象とする物体が存在すると予
想される高さの上限値と下限値で、それぞれ、予め設定
しておく値である。このようにして分離された対象物体
の画像上での領域の形状は、一般に一定の形状を示さな
い。すなわち、この形状はある平面に対して投影された
対象物体の2次元的な形状であってたとえば対象物体の
立体的な形状が直方体である場合、第9図に示すように
その姿勢により長方形または六角形になる。本発明では
対象物体の立体的な形状2位置、姿勢を認識するため、
対象物体がいくつかの平面で構成されていると考え、平
面と平面の交線、すなわち陵線を検出する。陵線は、距
離画像上では第10図に示すように値の変化率が変化す
る点、すなわち画像の2次微分値が極値をもつ点に対応
する。このような線群を距離画像においてはハーフエツ
ジ13と呼ぶ。画像の2次微分法には種々の方法がある
が、ここでは 上の整数であり、rりの値は、着目点(’*J’ )の
距離画像値Vす°の傾き角度の変化に対応する。
から、その面積Sおよび領域の平均的な高さHlすなわ
ち について なる判定基準に合致した領域を、目的とする対象物体の
領域として抽出する。S、、Slは対象とする物体をあ
る平面上に投影した場合の面積の変動範囲の上限および
下限、l−1+、Hzは対象とする物体が存在すると予
想される高さの上限値と下限値で、それぞれ、予め設定
しておく値である。このようにして分離された対象物体
の画像上での領域の形状は、一般に一定の形状を示さな
い。すなわち、この形状はある平面に対して投影された
対象物体の2次元的な形状であってたとえば対象物体の
立体的な形状が直方体である場合、第9図に示すように
その姿勢により長方形または六角形になる。本発明では
対象物体の立体的な形状2位置、姿勢を認識するため、
対象物体がいくつかの平面で構成されていると考え、平
面と平面の交線、すなわち陵線を検出する。陵線は、距
離画像上では第10図に示すように値の変化率が変化す
る点、すなわち画像の2次微分値が極値をもつ点に対応
する。このような線群を距離画像においてはハーフエツ
ジ13と呼ぶ。画像の2次微分法には種々の方法がある
が、ここでは 上の整数であり、rりの値は、着目点(’*J’ )の
距離画像値Vす°の傾き角度の変化に対応する。
つぎに式(5)を用いて演算された2次微分画像をある
閾値に従って2値化することにより、ルーフエツジ15
を検出する。式(5)に示した演算は、 。
閾値に従って2値化することにより、ルーフエツジ15
を検出する。式(5)に示した演算は、 。
検出した距離画像全体にわたってほどこしてもよいが、
先に分離抽出した、対象物体の領域のみで演算した方が
、処理時間の短縮につながる。
先に分離抽出した、対象物体の領域のみで演算した方が
、処理時間の短縮につながる。
以上のような処理を経て検出された対象物体のジャンプ
エツジ12.ハーフエツジ13よりなる画像は、例えば
第10図に示したかだむいた直方体の距離画像の場合、
第11図のようになる。
エツジ12.ハーフエツジ13よりなる画像は、例えば
第10図に示したかだむいた直方体の距離画像の場合、
第11図のようになる。
ジャンプエツジ12およびハーフエツジ13に囲まれた
領域は物体を構成する個々の面に対応するから領域を画
像上で分離し7、最も面積の大きな領域14を抽出する
ことによって、物体を構成する主要な面15の1つを取
り出すことができる。
領域は物体を構成する個々の面に対応するから領域を画
像上で分離し7、最も面積の大きな領域14を抽出する
ことによって、物体を構成する主要な面15の1つを取
り出すことができる。
次にこの領域に対して平面近似を行う。すなわち請求め
る平面方程式を tIx+% y 十ts =z ・= (61とし、領
域内m個の点の距離画像より検出された。zyz座標を
(aftx 、a4 、hi ) ’1==1.2 ・
・・−とすれば式(6)のtl Itm Itmは、(
tk)を行とする行列tとして、 t = (ATA )−’ ATS ・・・(7)と計
算される。ここにAは(α#1.α!、、1.0)を行
とする行列、bは(hrt)を行とする行列、′は転置
行列、−8は逆行列を表わす。またxyz座標(αkl
、α#、、りは、距離画像上の座標Ci、j)および距
離画像の値■す゛に線形変換をほどこし次の(8)式と
してめられる。
る平面方程式を tIx+% y 十ts =z ・= (61とし、領
域内m個の点の距離画像より検出された。zyz座標を
(aftx 、a4 、hi ) ’1==1.2 ・
・・−とすれば式(6)のtl Itm Itmは、(
tk)を行とする行列tとして、 t = (ATA )−’ ATS ・・・(7)と計
算される。ここにAは(α#1.α!、、1.0)を行
とする行列、bは(hrt)を行とする行列、′は転置
行列、−8は逆行列を表わす。またxyz座標(αkl
、α#、、りは、距離画像上の座標Ci、j)および距
離画像の値■す゛に線形変換をほどこし次の(8)式と
してめられる。
これは検出画像上の座標から検出系の実座標への変換処
理であり、乃jp! xll eq+ z’lt *q
sは検出器の検出分解能等より決定される定数である。
理であり、乃jp! xll eq+ z’lt *q
sは検出器の検出分解能等より決定される定数である。
このようにしてめた対象とする物体の主要な平面15の
近似式(6)より、この物体の3次元的な姿勢はその主
要な平面の法線方向16の2軸とのなす角ψと法線のx
y平面への投影とX軸とのなす角θを用いて θ−tan−’ −!−! tl ・・、−(II と表わされる(第12図)。法線の方向がめられれば、
この方向から見た主要な平面の形状を簡単な座標変換で
めることができ、変換後の形状より、従来の平面的な画
像処理技術を用いた対象物体形状、姿勢の認識も可能で
ある。
近似式(6)より、この物体の3次元的な姿勢はその主
要な平面の法線方向16の2軸とのなす角ψと法線のx
y平面への投影とX軸とのなす角θを用いて θ−tan−’ −!−! tl ・・、−(II と表わされる(第12図)。法線の方向がめられれば、
この方向から見た主要な平面の形状を簡単な座標変換で
めることができ、変換後の形状より、従来の平面的な画
像処理技術を用いた対象物体形状、姿勢の認識も可能で
ある。
また対象物体の位置は、主要な平面の重心位置(”o*
yoyq)として次の0υ式によりめられる。
yoyq)として次の0υ式によりめられる。
ここで−は領域内での平均を表わす。また、この場合の
平均は領域内のm個点に限らず、領域全面にわたってめ
れば、精度の良いものとなる。
平均は領域内のm個点に限らず、領域全面にわたってめ
れば、精度の良いものとなる。
さて、以上説明した第1の段階による処理結果、すなわ
ち、対象物体の主要な平面の重心の位置(而、S、ち)
および法線の方向ψ、θは、検出系の座標系によるもの
であり、この座像系は一般にロボットアームの座標系と
異なるから、これらの値を用いて直接ロボットアームな
制御することはできない。このために、ロボットアーム
の座標系に座標変換する。ロボットアームの制御系の方
式により、直角座標系、円筒座標系、極座標系など種々
の座標系が考えられるがこれらの座標系への変換は、線
型式数学の公式より公知である。
ち、対象物体の主要な平面の重心の位置(而、S、ち)
および法線の方向ψ、θは、検出系の座標系によるもの
であり、この座像系は一般にロボットアームの座標系と
異なるから、これらの値を用いて直接ロボットアームな
制御することはできない。このために、ロボットアーム
の座標系に座標変換する。ロボットアームの制御系の方
式により、直角座標系、円筒座標系、極座標系など種々
の座標系が考えられるがこれらの座標系への変換は、線
型式数学の公式より公知である。
なお、以上説明した第1の段階の各処理過程において、
式+21 、 +51 、 +71など演算方式を限定
したが、同様の機能を有する他の演算方式を用いても良
いことは勿論である。
式+21 、 +51 、 +71など演算方式を限定
したが、同様の機能を有する他の演算方式を用いても良
いことは勿論である。
つぎにロボットアーム上に設けた画像検出器がめられた
対象物体の主要な平面の重心位置に立てた法線方向から
物体を検出できるよう、ロボットアームを制御する。
対象物体の主要な平面の重心位置に立てた法線方向から
物体を検出できるよう、ロボットアームを制御する。
以降、ロボットアーム上から画像を検出し、ロボットア
ームと対象物体の位置関係を更に正確に検出し、ロボッ
トアームの正確な作業へと導く処理の第2の段階へ移行
する。ロボットアーム上の画像検出器20は、第1の段
階で使用した距離画像検出器より高分解能のものを用い
るが、第1の段階で対象物体が発見されているのでその
検出視野は小さくてよい。検出画像としては、第1の段
階と同様、距離画像を検出し類似の処理を行うもの、2
次元濃淡画像を検出、処理するもの、その2値画像を処
理するもの、スリット光による光切断法を応用した方法
など種々のものが考えられるが、いずれを用いても良い
。
ームと対象物体の位置関係を更に正確に検出し、ロボッ
トアームの正確な作業へと導く処理の第2の段階へ移行
する。ロボットアーム上の画像検出器20は、第1の段
階で使用した距離画像検出器より高分解能のものを用い
るが、第1の段階で対象物体が発見されているのでその
検出視野は小さくてよい。検出画像としては、第1の段
階と同様、距離画像を検出し類似の処理を行うもの、2
次元濃淡画像を検出、処理するもの、その2値画像を処
理するもの、スリット光による光切断法を応用した方法
など種々のものが考えられるが、いずれを用いても良い
。
次に以上説明した処理内容を実現する装置の具体例につ
いて説明する。第13図に全体構成の概略を示す。同図
に示すように、装置はロボットアーム17およびロボッ
ト制御装置18よりなるロボット系、距離画像検出器1
9、ロボットアーム上の画像検出器20、イメージプロ
セッサ21からなる視覚系よりなる。
いて説明する。第13図に全体構成の概略を示す。同図
に示すように、装置はロボットアーム17およびロボッ
ト制御装置18よりなるロボット系、距離画像検出器1
9、ロボットアーム上の画像検出器20、イメージプロ
セッサ21からなる視覚系よりなる。
まず、ロボット系について第16図を用いて説明する。
17は産業用ロボットで、例えば5自由度を有する関節
形ロボットである。産業用−ボット17はベース22に
対して垂直軸を中心に旋回する旋回台17α、水平軸2
5αを中心に回転する上腕17b、その先に水平軸23
Aを中心に回転する前腕17C1その先に水平軸23a
を中心に回転し、更にこの水平軸25Cに直角な軸を中
心に回転する手首17dとから構成されている。この手
首17dには指(チャック)25を付けた手機構24が
備え付けられている。ロボットアーム上に取り付ける画
像検出器200.、これらのうちいずれの部位に取り付
けてもよいが、ロボットを動作させ、最も適切な方向よ
り画像検出するためには、手機構24上に取り付けるこ
とが望ましい。
形ロボットである。産業用−ボット17はベース22に
対して垂直軸を中心に旋回する旋回台17α、水平軸2
5αを中心に回転する上腕17b、その先に水平軸23
Aを中心に回転する前腕17C1その先に水平軸23a
を中心に回転し、更にこの水平軸25Cに直角な軸を中
心に回転する手首17dとから構成されている。この手
首17dには指(チャック)25を付けた手機構24が
備え付けられている。ロボットアーム上に取り付ける画
像検出器200.、これらのうちいずれの部位に取り付
けてもよいが、ロボットを動作させ、最も適切な方向よ
り画像検出するためには、手機構24上に取り付けるこ
とが望ましい。
18はロボットを制御するロボット制御装置である。
次に第14図に従ってロボット制御装置18について説
明する。ロボット制御装置18は5自由度をもった関節
形ロボット17を制御するための制御ユニット26とロ
ボットをポイント、ツー、ポイントでブーグラムされた
速度にもとづいて所定の軌跡に沿って動作または動かす
ために、予めプログラムされた軌跡および速度の情報を
教示するための教示ユニット27とによって構成されて
いる。制御ユニット26とロボット機構17は位置制御
システムを構成している。この位置制御システムは、ア
クチュエータMに連結されたパルスエンコーダPEによ
って発生された出力パルスをカウンタ28で計数して制
御ユニット26にフィードバックし、マイクロプロセッ
サ29によって予め定められている目標値あるいは外部
より与えられた所望の座標値との相違のディジタル信号
を検出し、このディジタル信号をD/A変換器30でア
ナログ信号に変換し、アクチュエータMを駆動するよう
に構成している。
明する。ロボット制御装置18は5自由度をもった関節
形ロボット17を制御するための制御ユニット26とロ
ボットをポイント、ツー、ポイントでブーグラムされた
速度にもとづいて所定の軌跡に沿って動作または動かす
ために、予めプログラムされた軌跡および速度の情報を
教示するための教示ユニット27とによって構成されて
いる。制御ユニット26とロボット機構17は位置制御
システムを構成している。この位置制御システムは、ア
クチュエータMに連結されたパルスエンコーダPEによ
って発生された出力パルスをカウンタ28で計数して制
御ユニット26にフィードバックし、マイクロプロセッ
サ29によって予め定められている目標値あるいは外部
より与えられた所望の座標値との相違のディジタル信号
を検出し、このディジタル信号をD/A変換器30でア
ナログ信号に変換し、アクチュエータMを駆動するよう
に構成している。
駆動回路31はアクチュエータMに接続されたタコジェ
ネレータTGからの速度信号とD/A変換器30からの
アナログ信号にもとづいてアクチュエータMを駆動する
回路である。シリアルインターフェース32は教示ユニ
ット27と接続するためのものである。ROM33はロ
ボットを動作させるためのプログラムを収納したメモリ
ーである。
ネレータTGからの速度信号とD/A変換器30からの
アナログ信号にもとづいてアクチュエータMを駆動する
回路である。シリアルインターフェース32は教示ユニ
ット27と接続するためのものである。ROM33はロ
ボットを動作させるためのプログラムを収納したメモリ
ーである。
RAM34は、教示ユニット27に用いて行う教示操作
による情報、またはインタフェース35を介して入力さ
れるイメージプロセッサ29よりの動作情報を演算部3
6により補間演算した結果であるロボットの手機構24
の動作軌跡を記憶するものである。37はパスラインで
ある。
による情報、またはインタフェース35を介して入力さ
れるイメージプロセッサ29よりの動作情報を演算部3
6により補間演算した結果であるロボットの手機構24
の動作軌跡を記憶するものである。37はパスラインで
ある。
11AM34に記憶された四ボットの手機構24の位置
データがマイクロプロセッサ29によって読み出され、
カウンター28より検出される回転変位θ1.θ1.・
・・θ、に座標変換し、所望あるいは目標位置(例えば
視覚系より入力される対象物***置)へロボットの手機
構24を駆動させる。
データがマイクロプロセッサ29によって読み出され、
カウンター28より検出される回転変位θ1.θ1.・
・・θ、に座標変換し、所望あるいは目標位置(例えば
視覚系より入力される対象物***置)へロボットの手機
構24を駆動させる。
以上の四ボット系の説明は5自由度を持つロボットに限
定したが、他の自由度例えば6自由度のロボットについ
ても同様に構成できる。本発明においては、特に自由度
についての限定を。
定したが、他の自由度例えば6自由度のロボットについ
ても同様に構成できる。本発明においては、特に自由度
についての限定を。
行うものではない。
次に本実施例のもう一つの構成要素である視覚系につい
て説明する。
て説明する。
距離画像検出器19の一実施例を第15図に示す。
同図に示すように検出器は、対象物11の上方か。
らスリット光38を投光するスリット光源39と、スリ
ット光38と対象物11の交線、すなわちスリット輝線
の光学像をななめ方向より検出する撮像器40とこれら
の位置関係を保ったまま、水平方向に定速で駆動する送
り装置41、および撮像器40で検出されたスリット輝
線を画像上から分離抽出し、その形状を波形信号として
出力する光切断線抽出装置42より成る。この動作を第
16図〜第20図を用いて説明すると、スリット光38
が対象物11に対して第16図に示す位置に当っている
とする。そうすると撮像器40にて検出される画像は、
例えば第17図のようになる。この画像上において縦方
向の線、例えばmABに沿った明るさの変化は、第18
図のようになる。この線ABに沿った明るさで最も明る
い点の位置(第18図ではC)を、順次線ABをi方向
に動かして抽出して行くと、第19図のようにスリット
輝線の形状を波形信号として取り出すことができる。
ット光38と対象物11の交線、すなわちスリット輝線
の光学像をななめ方向より検出する撮像器40とこれら
の位置関係を保ったまま、水平方向に定速で駆動する送
り装置41、および撮像器40で検出されたスリット輝
線を画像上から分離抽出し、その形状を波形信号として
出力する光切断線抽出装置42より成る。この動作を第
16図〜第20図を用いて説明すると、スリット光38
が対象物11に対して第16図に示す位置に当っている
とする。そうすると撮像器40にて検出される画像は、
例えば第17図のようになる。この画像上において縦方
向の線、例えばmABに沿った明るさの変化は、第18
図のようになる。この線ABに沿った明るさで最も明る
い点の位置(第18図ではC)を、順次線ABをi方向
に動かして抽出して行くと、第19図のようにスリット
輝線の形状を波形信号として取り出すことができる。
この形状は、対象物11の断面の形状を示している。以
上の波形信号の分離抽出は、第15図の光切断線抽出装
M42により行われる。この光切断線抽出装置42の具
体例は、例えば特開昭56−70407号に開示されて
いる。
上の波形信号の分離抽出は、第15図の光切断線抽出装
M42により行われる。この光切断線抽出装置42の具
体例は、例えば特開昭56−70407号に開示されて
いる。
即ち第26図に示す如く光切断線抽出装置42は像検出
器からの映像信号V、設定値\、へ(〜〉鳩)、及び像
検出器の各走査のトリガー信号Hd(TVカメラの場合
、水平同期信号)を入力とし、最大値位置検出回路57
と中心位置検出回路58と選択回路59で構成される。
器からの映像信号V、設定値\、へ(〜〉鳩)、及び像
検出器の各走査のトリガー信号Hd(TVカメラの場合
、水平同期信号)を入力とし、最大値位置検出回路57
と中心位置検出回路58と選択回路59で構成される。
その機能は、第27図(α)に例示するように、まず、
映像信号の最大IK Vmaxが、第1と第2の設定値
ことへの範囲内に入っている場合、最大値位置検出回路
7によりそのy位置Yをめめる。また、Vmaxがζ
より大きい時、(第27図Cb)の場合)は、中心位置
検出回路58により最初に■=v1となったy位置X、
最後にV=又となったy位置へをめ、さらに1’ =(
Yt +Yt )Aとして、その中心位置をめる。そし
て、1つの走査中にJ路58内で■がへ以上になった場
合は選択回路59は回路58の出力を、他方、■がへ以
上にならなかった場合は、選択回路59は回路57の出
力を、それぞれ光切断線の位置として出力する。また、
■が1つの走査中にV1以上になる事がなかった場合、
選択回路59はゼロあるいは不定出力を出力する。
映像信号の最大IK Vmaxが、第1と第2の設定値
ことへの範囲内に入っている場合、最大値位置検出回路
7によりそのy位置Yをめめる。また、Vmaxがζ
より大きい時、(第27図Cb)の場合)は、中心位置
検出回路58により最初に■=v1となったy位置X、
最後にV=又となったy位置へをめ、さらに1’ =(
Yt +Yt )Aとして、その中心位置をめる。そし
て、1つの走査中にJ路58内で■がへ以上になった場
合は選択回路59は回路58の出力を、他方、■がへ以
上にならなかった場合は、選択回路59は回路57の出
力を、それぞれ光切断線の位置として出力する。また、
■が1つの走査中にV1以上になる事がなかった場合、
選択回路59はゼロあるいは不定出力を出力する。
第26図の実施例をより詳細に記したものが第28図で
ある。第28図を使用して、動作内容をより具体的に説
明する。
ある。第28図を使用して、動作内容をより具体的に説
明する。
最大位置検出回路57は、ピークホルダ60.コンパレ
ータ61.ワンショット回路62.アンド回路65.レ
ジスタ64.コンパレータ66およびフリップフロップ
67で構成される。一方、中心位置検出回路58は、コ
ンパレータ68.フリップフロップ69.ワンショット
回路70,71.Y、レジスタ72Y、レジスタ73お
よびアンド回路74で構成される。また、各瞬間でのy
位置を知るためカウンタ65を有している。最大位置検
出回路57では、映像信号■はピークホルダ60に入り
、1つの走査中における、ある瞬間までのVのピーク値
をホールドする。コンパレータ61はこのホールドされ
たピーク値とその瞬間のVとを比較し、■がホールドさ
れたピーク値よりも所定値以上大きくなった時、ワンシ
ョット回路62に信号を出力する。一方、■はコンパレ
ータ66において鳩と比較され、■≧鳩の時出力する。
ータ61.ワンショット回路62.アンド回路65.レ
ジスタ64.コンパレータ66およびフリップフロップ
67で構成される。一方、中心位置検出回路58は、コ
ンパレータ68.フリップフロップ69.ワンショット
回路70,71.Y、レジスタ72Y、レジスタ73お
よびアンド回路74で構成される。また、各瞬間でのy
位置を知るためカウンタ65を有している。最大位置検
出回路57では、映像信号■はピークホルダ60に入り
、1つの走査中における、ある瞬間までのVのピーク値
をホールドする。コンパレータ61はこのホールドされ
たピーク値とその瞬間のVとを比較し、■がホールドさ
れたピーク値よりも所定値以上大きくなった時、ワンシ
ョット回路62に信号を出力する。一方、■はコンパレ
ータ66において鳩と比較され、■≧鳩の時出力する。
これとワンショット回路62の出力のアンドをアンド回
路63でとる事により、■≧V、でかつ■がピークとな
った瞬間を検出する事ができる。これをレジスタ640
四−ド信号として使用し、トリガー信号ntLでリセッ
トされるカウンタ65のその瞬間の値をレジスタ64に
記憶する。従って、−走査の終了時には、映像信号Vが
最大値■mαXを示すy座標の位置Yをホールドしてい
る。
路63でとる事により、■≧V、でかつ■がピークとな
った瞬間を検出する事ができる。これをレジスタ640
四−ド信号として使用し、トリガー信号ntLでリセッ
トされるカウンタ65のその瞬間の値をレジスタ64に
記憶する。従って、−走査の終了時には、映像信号Vが
最大値■mαXを示すy座標の位置Yをホールドしてい
る。
中心位置検出回路58では、映像信号Vは、設定値又と
コンパレータ68で比較され、その出力は、フリップフ
ロップ69のセット側Sに入力される。なお、フリップ
フロップ69は、トリガ信号HcLによりリセットされ
る。従って、ワンショット回路70は、一つの走査にお
いて最初に■≧スとなる瞬間を検出する。これをレジス
タ72の四−ド信号として使用することにより、レジス
タ72には最初に■≧ことなったy座標上の位置Xがホ
ールドされる。一方、ワンショット回路71は、■≧へ
でなくなる瞬間を検出しており、これをレジスタ73の
ロード信号として使用すれば、レジスタ73には、一つ
の走査i1時[、V≧ζでな(なるy座標上の位置Y、
がホールドされる。74は、Yr=(鷲十yt )/2
を演算する平均値回路である。
コンパレータ68で比較され、その出力は、フリップフ
ロップ69のセット側Sに入力される。なお、フリップ
フロップ69は、トリガ信号HcLによりリセットされ
る。従って、ワンショット回路70は、一つの走査にお
いて最初に■≧スとなる瞬間を検出する。これをレジス
タ72の四−ド信号として使用することにより、レジス
タ72には最初に■≧ことなったy座標上の位置Xがホ
ールドされる。一方、ワンショット回路71は、■≧へ
でなくなる瞬間を検出しており、これをレジスタ73の
ロード信号として使用すれば、レジスタ73には、一つ
の走査i1時[、V≧ζでな(なるy座標上の位置Y、
がホールドされる。74は、Yr=(鷲十yt )/2
を演算する平均値回路である。
クリップ70ツブ69の出力は、V≧V1なる状態が、
一つの走査中に存在したか否かの検出に使用することが
できる。また、フリップフロップ67は、トリガ信号n
dをリセット信号とし、コンパレータ66の出力をセッ
ト信号としているので、■≧へというケースが一つの走
査中に存在したかどうかの検出に使用する事ができる。
一つの走査中に存在したか否かの検出に使用することが
できる。また、フリップフロップ67は、トリガ信号n
dをリセット信号とし、コンパレータ66の出力をセッ
ト信号としているので、■≧へというケースが一つの走
査中に存在したかどうかの検出に使用する事ができる。
従って、選択回路59では、これらを条件信号とし、■
≧鳩が存在した場合、740ホールド値Y′を、へ〈v
≦鳩であった場合640ホールド値YをV≧V、なるケ
ースがなかった場合、ゼロあるいは不定を表わす信号を
出力する。
≧鳩が存在した場合、740ホールド値Y′を、へ〈v
≦鳩であった場合640ホールド値YをV≧V、なるケ
ースがなかった場合、ゼロあるいは不定を表わす信号を
出力する。
なお、この実施例では、像検出器40.42の詳細につ
いては触れなかったが、これはTVカメラ2次固体撮像
素子、1次元固体撮像素子と光学的走査方式の組合せ、
光電子増倍管等受光器と光学的走査方式の組合せのいず
れであっても良い。
いては触れなかったが、これはTVカメラ2次固体撮像
素子、1次元固体撮像素子と光学的走査方式の組合せ、
光電子増倍管等受光器と光学的走査方式の組合せのいず
れであっても良い。
更に、第26図および第28図の実施例では、各手段を
達成する専用ハードを有するものとして図示したが、こ
れらの手段は、いずれもマイクロ、コンピュータを用い
て、そのプログラムにて処理することができる。
達成する専用ハードを有するものとして図示したが、こ
れらの手段は、いずれもマイクロ、コンピュータを用い
て、そのプログラムにて処理することができる。
更に送り装置41により定速で少しずつスリット光38
の位置および撮像位置を移動させながら遂次スリット輝
線の形状の波形信号を抽出して行くと、全体として第2
0図に示すように、距離画像9が得られる。
の位置および撮像位置を移動させながら遂次スリット輝
線の形状の波形信号を抽出して行くと、全体として第2
0図に示すように、距離画像9が得られる。
本実施例における撮像器40は、TVカメラあるいはり
ニアセンサとガルバノミラ−の組合せ等2次元画像検出
器であれば何でもよ(、本実施例によれば、距離画像を
比較的簡単な構成で高精度に検出できる。
ニアセンサとガルバノミラ−の組合せ等2次元画像検出
器であれば何でもよ(、本実施例によれば、距離画像を
比較的簡単な構成で高精度に検出できる。
第21図に距離画像検出器19の他の実施例を示す。同
図に示すように、本実施例は、第15図に示した検出器
の撮像器および光切断線抽出装置を2組組合せた構造を
持つ。すなわち、スリット光38のなす平面に対して、
対称の位置に2台の撮像器40α、40hを設け、やは
り送り装置41によって、スリット光源39を移動させ
る。光切断波形の抽出法は前例と全く同様であるが、本
実施例では得られた波形信号を互いに波形の切れている
部分を補うように合成43シ、距離画r象を生成する。
図に示すように、本実施例は、第15図に示した検出器
の撮像器および光切断線抽出装置を2組組合せた構造を
持つ。すなわち、スリット光38のなす平面に対して、
対称の位置に2台の撮像器40α、40hを設け、やは
り送り装置41によって、スリット光源39を移動させ
る。光切断波形の抽出法は前例と全く同様であるが、本
実施例では得られた波形信号を互いに波形の切れている
部分を補うように合成43シ、距離画r象を生成する。
ここで波形の切れている部分は、第22図に示すように
スリット輝線が片方の撮像器で検出できない部分44に
対応し、距離画像では一種の影となる。本実施例では前
述のように2方向から検出した波形信号を合成している
ので影の少ない距離画像が得られるという効果がある。
スリット輝線が片方の撮像器で検出できない部分44に
対応し、距離画像では一種の影となる。本実施例では前
述のように2方向から検出した波形信号を合成している
ので影の少ない距離画像が得られるという効果がある。
なお、距−離画像の検出器として、パルスレーザな対応
する点に照射して、反!′f光の飛行時間を計測するこ
とにより距離画像を生成する方式、レーザ元に高周波振
幅変調をかけて対応する点に照射し、反射光の高周波振
幅の位相遅れ乞計測することにより距離画像を生成する
方式が知られているが、これらを用いても良い。これら
の方式では、対象物各点各点の距離をレーザスポットを
用いて計測しているので、スポットを2次元的に走査す
る機構、例えば2組のガルバノミラ−が8硬であるが、
一方これらは真上より元を当てて、真上より反射光を検
出できるので、見えない部分の無い、つまり死角、影の
無い距離画像を生成できるという利点がある。
する点に照射して、反!′f光の飛行時間を計測するこ
とにより距離画像を生成する方式、レーザ元に高周波振
幅変調をかけて対応する点に照射し、反射光の高周波振
幅の位相遅れ乞計測することにより距離画像を生成する
方式が知られているが、これらを用いても良い。これら
の方式では、対象物各点各点の距離をレーザスポットを
用いて計測しているので、スポットを2次元的に走査す
る機構、例えば2組のガルバノミラ−が8硬であるが、
一方これらは真上より元を当てて、真上より反射光を検
出できるので、見えない部分の無い、つまり死角、影の
無い距離画像を生成できるという利点がある。
次に、ロボットアームに取り付ける画像検出器20の実
施例について説明する。
施例について説明する。
第23図は、ロボットアームに取り付ける画像検出器2
0とし′〔の距離画像検出器の実施例である。スリット
光源39より投光されたスリット光38による光切断波
形をTV右カメラ5により検出する。この検出器をロボ
ットの手機構24上に取り付け、手を動かしながら光切
断線を抽出、波形信号を取り込むことによって距離画像
を生成できる。距離画像の処理方法は、前述した固定し
た位置に取り付けられた距離画像の場合と全く同様にで
きる。なお、本実施例の詳細および他の実施例は次のよ
うになる。即ち77は産業用ロボットで、例えば5自由
度を有する関節形ロボットがある。産業用ロボット17
はベース22に対して黍直軸を中心に旋回する旋回台1
7e、水平軸25a−を中心に回転する上腕17h1そ
の先に水平軸23Aを中心に回転する前腕17c1その
先に水平軸25cを中心に回転し、更にこの水平軸23
0に直角な軸を中心に回転する手首17dとから構成さ
れている。この手首17dには指(チャック)25を付
けた手機構24が備え付けられている。この手機構24
には主体形状検出器76が備え付けられている。主体形
状検出器76は光切断ヘッド77と、この光切断ヘッド
77をy軸方向に走査する直線移動機構79と、該直線
移動機構79を駆動するモータ80と、該直線移動機構
79によって走査される光切断へラド77の走査量を基
準位置から検出するロータリエンコーダ等の変位検出器
82とから構成されている。
0とし′〔の距離画像検出器の実施例である。スリット
光源39より投光されたスリット光38による光切断波
形をTV右カメラ5により検出する。この検出器をロボ
ットの手機構24上に取り付け、手を動かしながら光切
断線を抽出、波形信号を取り込むことによって距離画像
を生成できる。距離画像の処理方法は、前述した固定し
た位置に取り付けられた距離画像の場合と全く同様にで
きる。なお、本実施例の詳細および他の実施例は次のよ
うになる。即ち77は産業用ロボットで、例えば5自由
度を有する関節形ロボットがある。産業用ロボット17
はベース22に対して黍直軸を中心に旋回する旋回台1
7e、水平軸25a−を中心に回転する上腕17h1そ
の先に水平軸23Aを中心に回転する前腕17c1その
先に水平軸25cを中心に回転し、更にこの水平軸23
0に直角な軸を中心に回転する手首17dとから構成さ
れている。この手首17dには指(チャック)25を付
けた手機構24が備え付けられている。この手機構24
には主体形状検出器76が備え付けられている。主体形
状検出器76は光切断ヘッド77と、この光切断ヘッド
77をy軸方向に走査する直線移動機構79と、該直線
移動機構79を駆動するモータ80と、該直線移動機構
79によって走査される光切断へラド77の走査量を基
準位置から検出するロータリエンコーダ等の変位検出器
82とから構成されている。
第29図では直線移動機構79として送りネジとナツト
しか描写してないが、実際には摺動機構がある。
しか描写してないが、実際には摺動機構がある。
83は上記モータ80を一定速度で駆動するモータ制御
回路である。42は像検出器78から得られる二次元的
映像信号を入力して特開昭56−70407号に記載さ
れているように光切断線を抽出する光切断線抽出回路で
ある。21はイメージプロセッサで、ロボットに最も近
く、且つロボットで作業したい目的物の位置、傾きを検
出するものである。18はロボット17を制御するロボ
ット制御装置である。
回路である。42は像検出器78から得られる二次元的
映像信号を入力して特開昭56−70407号に記載さ
れているように光切断線を抽出する光切断線抽出回路で
ある。21はイメージプロセッサで、ロボットに最も近
く、且つロボットで作業したい目的物の位置、傾きを検
出するものである。18はロボット17を制御するロボ
ット制御装置である。
第23図は、第29図の実施例における光切断ヘッド7
7をより詳細に示したものである。スリット投光器59
は直線フィラメントのランプ84、スリット85.円筒
レンズ86で構成されでいる。像検出器78は、結像レ
ンズ87.TVカメラ45で構成されている。図中88
は固体′rvカメラ内の2次元アレイセンサのチップを
示したものである。
7をより詳細に示したものである。スリット投光器59
は直線フィラメントのランプ84、スリット85.円筒
レンズ86で構成されでいる。像検出器78は、結像レ
ンズ87.TVカメラ45で構成されている。図中88
は固体′rvカメラ内の2次元アレイセンサのチップを
示したものである。
スリット投光器69はランプ84が発生した元の内、ス
リット8♂を投光した直線状の元を、円筒レンズ86に
より平行光線として前方を照射する。
リット8♂を投光した直線状の元を、円筒レンズ86に
より平行光線として前方を照射する。
第26図に示す38は発せられるスリットう℃の面を示
している。像検出器78は、保持部20により、その元
軸がスリット光面38aに斜め(角度α)交わるように
傾けて固定されている。第23図s8hの台形面はスリ
ット光面58(Z中、像検出器78が検出する視野を示
している。この視野内に物体があると、第50図に例示
するように輝線38bが物体表面に生じ、この輝綜像が
像検出器で検出される。第30図はロボット作業の一例
としてワイヤのついたコネクタ部品90の位置、姿勢を
検出し、これを握み、基板91上のピン92にさし込む
作業状況を示している。第31図は第23図に示す像検
出器78の検出画像であり、スリット輝線像として明る
く検出される。この画面は第23図のスリット投光器6
9と像検出器780機何曲間係で明らかなように画面上
が遠く、下が近い遠近関係にある。光切断線抽出回路4
2では、第31図のスリット輝線像を画面上からスリッ
ト輝線までの距離として、光切断線を抽出する。第32
図にその処理例を示す。(詳細には特開昭56−704
07号に開示されている。)第32図(α)は像検出器
78から光切断線抽出回路42に入力する入力画像であ
る。今像検出器78から得られる縦方向の例えば1本の
走査線xiの映像信号は第32図<b>のようになって
いる。これより閾値〜と映像信号を比較し、にの交点の
中心位置Ziをめる。各層についてZiをめ出力すれば
第32図(C)のように光切断線(波形データ)を得る
ことができる。なお、光切断抽出はここに示した閾値処
理で中心をめる他、ピーク位置検出であっても良い。ま
た、この例では、Z軸座標は遠い方を原点としたが、近
い方を原点としても良い。また遠近法に従ってZ軸方向
を座標変換することも容易に可能である。またこの処理
は電気回路で高速に行うことができるが、すべてソフト
ウェア処理であっても良い。
している。像検出器78は、保持部20により、その元
軸がスリット光面38aに斜め(角度α)交わるように
傾けて固定されている。第23図s8hの台形面はスリ
ット光面58(Z中、像検出器78が検出する視野を示
している。この視野内に物体があると、第50図に例示
するように輝線38bが物体表面に生じ、この輝綜像が
像検出器で検出される。第30図はロボット作業の一例
としてワイヤのついたコネクタ部品90の位置、姿勢を
検出し、これを握み、基板91上のピン92にさし込む
作業状況を示している。第31図は第23図に示す像検
出器78の検出画像であり、スリット輝線像として明る
く検出される。この画面は第23図のスリット投光器6
9と像検出器780機何曲間係で明らかなように画面上
が遠く、下が近い遠近関係にある。光切断線抽出回路4
2では、第31図のスリット輝線像を画面上からスリッ
ト輝線までの距離として、光切断線を抽出する。第32
図にその処理例を示す。(詳細には特開昭56−704
07号に開示されている。)第32図(α)は像検出器
78から光切断線抽出回路42に入力する入力画像であ
る。今像検出器78から得られる縦方向の例えば1本の
走査線xiの映像信号は第32図<b>のようになって
いる。これより閾値〜と映像信号を比較し、にの交点の
中心位置Ziをめる。各層についてZiをめ出力すれば
第32図(C)のように光切断線(波形データ)を得る
ことができる。なお、光切断抽出はここに示した閾値処
理で中心をめる他、ピーク位置検出であっても良い。ま
た、この例では、Z軸座標は遠い方を原点としたが、近
い方を原点としても良い。また遠近法に従ってZ軸方向
を座標変換することも容易に可能である。またこの処理
は電気回路で高速に行うことができるが、すべてソフト
ウェア処理であっても良い。
以上の処理をモータ80により光切断ヘッドを移動させ
ながら行うと距離画像を得ることができる。帛33図に
その例を示す。第33図は光切断線を間引いて表示した
例である。すなわち、xy平面画像として見ると、明る
さZが、)“C切断ヘッド3からの距離Sに対応してい
る。明るい方が近い画像である。(第34図において4
=S。
ながら行うと距離画像を得ることができる。帛33図に
その例を示す。第33図は光切断線を間引いて表示した
例である。すなわち、xy平面画像として見ると、明る
さZが、)“C切断ヘッド3からの距離Sに対応してい
る。明るい方が近い画像である。(第34図において4
=S。
sinα、 7. = 51tinαで示される。)ヘ
ッドの移動、すなわち、y軸方向の送りは定速モータで
行い、イメージプロセッサ21から得られるサンプリン
グ信号92で光切断線抽出回路42は、一定時間間隔で
光切断線をサンプリングスる。パルスモータ80で送り
ながら一定パルス間隔毎に(一定距離PでZ方向に移動
する間隔毎に)光切断線をサンプリングする。DCモー
タ80とエンコーダ82を組合せ一定斤移動毎にサンプ
リングする等いずれであっても良い。検出する光切断線
の本数は2本以上ロボット視覚の作業対象に応じて選定
すれば良い。ピッチについても同じである。これらはイ
メージプロセッサ21により制御される。イメージプロ
セッサ21に入力された距離画像の処理内容もロボット
視覚の作業対象に応じて選定すれば良い。ここで一実施
例として第30図の作業対象について言えば、得られる
距離画像は第33図のものであり、この距離画像(サン
プリングされた光切断線yi毎にxiに対応した距離の
値Zi )は光切断線抽出回路42から得られパラレル
インターフェース50hを介してイメージメモリ用のI
(AM51αに記憶される。イメージプロセッサ21の
マイクロプロセッサ48は例えば第36図に示すように
隣り合った光切断線yi−1と戸+1に対するxi−1
とxi+ 1について(5X5の絵素について)の距離
1i −1ノー1 、Z!+1.j−1,Zi−1,J
+1.Zi+1.j+1を読み出し、 z= 、; =l Z’ 1 * 7’ I Z蔓+
1 #、7’ + ’ l + Iイ:i41.j−1
−イ七i−y、−Jユ具 なる微分を施し、この値がある大きな基準値より大きい
ときジャンプエツジ(物体と背景の境界線)があるとい
うことで上記Zt、ノの値をRAM62の別の領域に記
憶する。更にマイクロプロセッサ48は第35図のよう
に実線(ジャンプエツジ)Ejで囲まれた閉領域をセグ
メンテーションをする。そして各閉領域毎へ、への面積
、重心の高さをめ、これらが指定された範囲内でありか
つ重心の高さが最も高い目的とする対象物を分離抽出す
る。
ッドの移動、すなわち、y軸方向の送りは定速モータで
行い、イメージプロセッサ21から得られるサンプリン
グ信号92で光切断線抽出回路42は、一定時間間隔で
光切断線をサンプリングスる。パルスモータ80で送り
ながら一定パルス間隔毎に(一定距離PでZ方向に移動
する間隔毎に)光切断線をサンプリングする。DCモー
タ80とエンコーダ82を組合せ一定斤移動毎にサンプ
リングする等いずれであっても良い。検出する光切断線
の本数は2本以上ロボット視覚の作業対象に応じて選定
すれば良い。ピッチについても同じである。これらはイ
メージプロセッサ21により制御される。イメージプロ
セッサ21に入力された距離画像の処理内容もロボット
視覚の作業対象に応じて選定すれば良い。ここで一実施
例として第30図の作業対象について言えば、得られる
距離画像は第33図のものであり、この距離画像(サン
プリングされた光切断線yi毎にxiに対応した距離の
値Zi )は光切断線抽出回路42から得られパラレル
インターフェース50hを介してイメージメモリ用のI
(AM51αに記憶される。イメージプロセッサ21の
マイクロプロセッサ48は例えば第36図に示すように
隣り合った光切断線yi−1と戸+1に対するxi−1
とxi+ 1について(5X5の絵素について)の距離
1i −1ノー1 、Z!+1.j−1,Zi−1,J
+1.Zi+1.j+1を読み出し、 z= 、; =l Z’ 1 * 7’ I Z蔓+
1 #、7’ + ’ l + Iイ:i41.j−1
−イ七i−y、−Jユ具 なる微分を施し、この値がある大きな基準値より大きい
ときジャンプエツジ(物体と背景の境界線)があるとい
うことで上記Zt、ノの値をRAM62の別の領域に記
憶する。更にマイクロプロセッサ48は第35図のよう
に実線(ジャンプエツジ)Ejで囲まれた閉領域をセグ
メンテーションをする。そして各閉領域毎へ、への面積
、重心の高さをめ、これらが指定された範囲内でありか
つ重心の高さが最も高い目的とする対象物を分離抽出す
る。
更に例えば第35図に点線で示されるルーフエツジEr
とジャンプエツジEノ°とに囲まれた平面領域を抽出し
、分離抽出された平面領域を平面近似し、その法線方向
を部品の3次元的姿勢として認識する。即ちジャンプエ
ツジとルーフエツジとで囲まれた主要平面の領域を最小
2乗法で平面近似する請求める平面方程式を t、 x−4−t、 y+t、 = z ・・・(6)
とし、距離画像より抽出した主要平面内m個の点のxy
z座標を(arl 、arl、hi ) i = 1.
2.・=、mとすれば式filの’l t’! +’l
は、(す)ノ:=1.2.5を行とする行列tとして、 i = (ATA )−’ AT、6 ・・・(7)と
計算される。ここにAは(α71.αr2,1.0 )
を行とする行列、bは(bi)を行とする行列、Tは転
置行列、−1は逆マトリックスを表わす。
とジャンプエツジEノ°とに囲まれた平面領域を抽出し
、分離抽出された平面領域を平面近似し、その法線方向
を部品の3次元的姿勢として認識する。即ちジャンプエ
ツジとルーフエツジとで囲まれた主要平面の領域を最小
2乗法で平面近似する請求める平面方程式を t、 x−4−t、 y+t、 = z ・・・(6)
とし、距離画像より抽出した主要平面内m個の点のxy
z座標を(arl 、arl、hi ) i = 1.
2.・=、mとすれば式filの’l t’! +’l
は、(す)ノ:=1.2.5を行とする行列tとして、 i = (ATA )−’ AT、6 ・・・(7)と
計算される。ここにAは(α71.αr2,1.0 )
を行とする行列、bは(bi)を行とする行列、Tは転
置行列、−1は逆マトリックスを表わす。
なお主要平面領域の重心位置は、すでにセグメンテーシ
ョンの際にめられている。この主要平面の法線方向は法
線とZ軸のなす角ψと法線のx、y平面への投影とX軸
とのなす角θで表わす。
ョンの際にめられている。この主要平面の法線方向は法
線とZ軸のなす角ψと法線のx、y平面への投影とX軸
とのなす角θで表わす。
ψとθは、平面近似の際にめたt(式(6))%式%(
9) 更に第35図に示すようにこのψ、θの値に従って主要
平面のパラメータを回転させ、a” 、y’ 、z’に
変換すれば、法線方向からみた主要平面の形状を認識す
ることができる。
9) 更に第35図に示すようにこのψ、θの値に従って主要
平面のパラメータを回転させ、a” 、y’ 、z’に
変換すれば、法線方向からみた主要平面の形状を認識す
ることができる。
このようにしてマイクロプロセッサ48は、目的とする
物品の主要な面の位置と空間的傾きがロボットの手機構
を基準にしてめろことができる。これがコネクタの表面
であるかどうかを前記に述べたようにその面の大きさ、
形状から検定できる。また付近にワイヤA2のある方向
を検知することにより、その反対側か゛ピンを差し込む
べき方向であることを決定できる。残りの2側面がロボ
ットフィンガーが握むべき面である。なお、イメージプ
ロセラ+/′21の[)M49には、各々ジャンプエツ
ジ検出とセグメンテーションと、目的部品の分離抽出と
ルーフエツジ検出による部品の平面領域の抽出と、平面
の法線方向による部品の3次元的姿勢の認識と、部品の
認識等のプログラムが記憶されている。It/Vv15
1 hは演算部55で計算されたデータを一時記憶する
ものである。9ろはパスラインである。
物品の主要な面の位置と空間的傾きがロボットの手機構
を基準にしてめろことができる。これがコネクタの表面
であるかどうかを前記に述べたようにその面の大きさ、
形状から検定できる。また付近にワイヤA2のある方向
を検知することにより、その反対側か゛ピンを差し込む
べき方向であることを決定できる。残りの2側面がロボ
ットフィンガーが握むべき面である。なお、イメージプ
ロセラ+/′21の[)M49には、各々ジャンプエツ
ジ検出とセグメンテーションと、目的部品の分離抽出と
ルーフエツジ検出による部品の平面領域の抽出と、平面
の法線方向による部品の3次元的姿勢の認識と、部品の
認識等のプログラムが記憶されている。It/Vv15
1 hは演算部55で計算されたデータを一時記憶する
ものである。9ろはパスラインである。
そしてイメージプロセッサ21のインターフェース52
から目的物の主要面の位置と姿勢と、方向のデータかロ
ボット制御装置18に送られる。
から目的物の主要面の位置と姿勢と、方向のデータかロ
ボット制御装置18に送られる。
即ちロボットの指25の握み点、アプローチすべき位置
とその方向が決定されたのでロボット制脚装置18のマ
イクロプロセッサ29はこれらを囮33に記憶されてい
る四ポットアーム制御のデータに加えてロボットの制御
座標系に変換し、D/A変換器30を介して駆動回路3
1に伝達する。ロボット17に備えられた各アクチュエ
ータMが駆動され、ロボット17の指は上記情報を元に
コネクタ90を握み、あらかじめ教示によって与えられ
た位置に存在するピン92にこれを差込む。
とその方向が決定されたのでロボット制脚装置18のマ
イクロプロセッサ29はこれらを囮33に記憶されてい
る四ポットアーム制御のデータに加えてロボットの制御
座標系に変換し、D/A変換器30を介して駆動回路3
1に伝達する。ロボット17に備えられた各アクチュエ
ータMが駆動され、ロボット17の指は上記情報を元に
コネクタ90を握み、あらかじめ教示によって与えられ
た位置に存在するピン92にこれを差込む。
なお、本発明の実施例としては、光切断法として定常的
なスリット光を使用したが、これをストロボ発光として
も良い。また本発明の実施例では、スリット光を使用し
たが、片側が明るく他の側が暗い、明暗の直線エツジで
あっても良い。またスリット光圧かわって、スポット光
を光切断面25上を走査させる方式であってもよい。
なスリット光を使用したが、これをストロボ発光として
も良い。また本発明の実施例では、スリット光を使用し
たが、片側が明るく他の側が暗い、明暗の直線エツジで
あっても良い。またスリット光圧かわって、スポット光
を光切断面25上を走査させる方式であってもよい。
また距離画像をロボット170手機構24に取付けた光
切断検出ヘッド77から得るためには、第29図に示す
実施例の如く手機構24の先に設けられた検出ヘッド走
査機構によって直線的に走査させる他、ロボット制御装
置1日によってロボットの手機構24をy軸方向に等速
度に移動させながら、その座標値をイメージプロセッサ
21に送ると共に一定間隔Pでサンプリング′1−れば
よいことは明らかである。しかしロボットの手機構24
を平行に移動させて走査する実施例は、第29図に示す
実施例に比べ応答性が悪い。
切断検出ヘッド77から得るためには、第29図に示す
実施例の如く手機構24の先に設けられた検出ヘッド走
査機構によって直線的に走査させる他、ロボット制御装
置1日によってロボットの手機構24をy軸方向に等速
度に移動させながら、その座標値をイメージプロセッサ
21に送ると共に一定間隔Pでサンプリング′1−れば
よいことは明らかである。しかしロボットの手機構24
を平行に移動させて走査する実施例は、第29図に示す
実施例に比べ応答性が悪い。
また距離画像を光切断検出ヘッドから得るためには、検
出ヘッド走査機構が不可欠であるが、これは実施例第2
9図に示した直線移動機構の細筒67図に例示するよう
に紙面に垂直な回転軸94を中心に回転モータ95によ
り撮像装置とスリット投光器39を揺動させる機構であ
っても、第68図に例示するように、スリット投光器3
9のみを揺動させる機構であっても良い。
出ヘッド走査機構が不可欠であるが、これは実施例第2
9図に示した直線移動機構の細筒67図に例示するよう
に紙面に垂直な回転軸94を中心に回転モータ95によ
り撮像装置とスリット投光器39を揺動させる機構であ
っても、第68図に例示するように、スリット投光器3
9のみを揺動させる機構であっても良い。
この場合距離画像は各回転角に比例せず、三角関数を含
む複雑な関係式になるため、目的とする物体のある平面
の傾き方向、位置をめることが非常に複雑となる。しか
し、物体のある平面の傾き、方向、位置を正確にめる必
要のないときは、上記関係式を近似式でおきかえろれる
ため、走査機構として揺動機構を用いることができる。
む複雑な関係式になるため、目的とする物体のある平面
の傾き方向、位置をめることが非常に複雑となる。しか
し、物体のある平面の傾き、方向、位置を正確にめる必
要のないときは、上記関係式を近似式でおきかえろれる
ため、走査機構として揺動機構を用いることができる。
ただ手機構24に付ける走査機構として直線走査機構よ
り揺動機構の方が機構として簡素化できる。
り揺動機構の方が機構として簡素化できる。
また前述したように距離画像の検出器として光切断法に
よらない方法を用いてもよいことは勿論である。
よらない方法を用いてもよいことは勿論である。
第24図は四ボットアームに取り付ける画像検出器とし
ての斜十字スリット光46を用いた検出器の実施例であ
る。本実施例では、2台のスリット光源69α、39h
を斜十字状のスリット光46が一照射できる様に配置し
、2台のスリット光源39α39jSを一つづつ発光さ
せた場合の光切断波形をTV左カメラ5を用いて検出す
る。
ての斜十字スリット光46を用いた検出器の実施例であ
る。本実施例では、2台のスリット光源69α、39h
を斜十字状のスリット光46が一照射できる様に配置し
、2台のスリット光源39α39jSを一つづつ発光さ
せた場合の光切断波形をTV左カメラ5を用いて検出す
る。
゛Tv画像信号より光切断線抽出装置42を用いて波形
信号を抽出し、予めめておいた波形信号値と実際の座標
との対応関係を示すデータ27を用いて対象物までの実
際の距離、姿勢などを検出する。なお、本実施例の詳細
については特願昭57−201931号に記載されてい
る。
信号を抽出し、予めめておいた波形信号値と実際の座標
との対応関係を示すデータ27を用いて対象物までの実
際の距離、姿勢などを検出する。なお、本実施例の詳細
については特願昭57−201931号に記載されてい
る。
以下に、本発明のロボット視覚装置を用いた物体の位置
検出および姿勢検出の一実施例について説明する。
検出および姿勢検出の一実施例について説明する。
ここでは、説明をわかりやすくするために、第69図に
示した装置構成を例にして説明する。
示した装置構成を例にして説明する。
尚、以下の説明は、第40図に示す装置構成においても
全く同様に適用できるものである。
全く同様に適用できるものである。
第59図において、2個のスリット光源101α。
101hをそれぞれ1つずつ発光させた場合、撮像装置
2によって検出される光切断線と物体の実際の位置等幅
線Wと等距離線りとの対応関係は、第41図(α)(b
)に示すように、ななめ格子状になる。この対応関係を
あらかじめ寸法が既知の物体を用いて検出器からの位置
を変えながらめ記憶装置に記憶しておく。そして、物体
の位置姿勢の検出の際には、このあらかじめ記憶されて
いる対応関係と撮像装置102から検出された光切断線
の画像上の位置を照合することによって、物体の実際の
位置と傾きをめることができる。本発明では、2つのス
リット光103α、 i ashを切替えて投光し、2
つの互いに平行でない平面における物体までの距離1位
置および傾きがめられるから、これらにより物体の3次
元的な位置と姿勢を一意的にめることができる。
2によって検出される光切断線と物体の実際の位置等幅
線Wと等距離線りとの対応関係は、第41図(α)(b
)に示すように、ななめ格子状になる。この対応関係を
あらかじめ寸法が既知の物体を用いて検出器からの位置
を変えながらめ記憶装置に記憶しておく。そして、物体
の位置姿勢の検出の際には、このあらかじめ記憶されて
いる対応関係と撮像装置102から検出された光切断線
の画像上の位置を照合することによって、物体の実際の
位置と傾きをめることができる。本発明では、2つのス
リット光103α、 i ashを切替えて投光し、2
つの互いに平行でない平面における物体までの距離1位
置および傾きがめられるから、これらにより物体の3次
元的な位置と姿勢を一意的にめることができる。
なお、本発明では2つのスリット光10′5cL、10
3bの交線106が対象物表面と交わるように検出器ま
たは対象物があらかじめ大まかに位置合せされているも
のとし、本発明のロボット視覚装置を用いて、検出器と
対象物の相対的な位置と姿勢を精密に検出するものとす
る。
3bの交線106が対象物表面と交わるように検出器ま
たは対象物があらかじめ大まかに位置合せされているも
のとし、本発明のロボット視覚装置を用いて、検出器と
対象物の相対的な位置と姿勢を精密に検出するものとす
る。
つぎに、検出される光切断線の画像上での位置と物体の
実際の位置の対応関係をめる方法について、第42図を
用いて説明する。ここでは第39図に示すスリット光源
101aの場合についてのみ説明するが、第39図に示
すスリット光源101’bおよび第47図参照すスリッ
ト光源101α、101bの場合も同様である。第42
図に示すように、2つのスリット光の交線105がX軸
に一致し、スリット光源101aによるスリット光10
3αがxz平面に一致するような座標系xyzを仮定す
る。まず、第42図に示すように2軸に垂直で撮像装置
102の視野より広い平面106を、X軸方向に平行移
動できるように、目盛付のレール107上に立てる。平
面106をたとえば1CrILきざみで検出器から遠ざ
けながら検出画像上での光切断線の位置をめて行くと、
第43図に示す様な等距離線図が得られる。つぎ忙平面
106を幅一定の長方形とし、このようなものをいくつ
かの幅について用意し、やはりレール107上を2軸に
垂直になるように立ててX軸方向に移動させる。平面1
06のX軸方向に測った幅をたとえば2cmきざみとし
、それぞれの平面106を2軸方向に移動させたとき検
出される光切断線の端点の軌跡をめると、第44図に示
すような等幅線図(X座標に関する)が得られる。第4
3図に示した等距離線・図と第44図に示した等幅線図
において、線図上のある水平の線hh′に沿った距離お
よびx’力方向位置の変化を見ると、それぞれ第45図
、第46図のようになる。これらを線図上の縦方向の座
標ノにおける距離の関数2およびX方向の位置の関数X
として、線図上の機方向の座標番を変数として表わすと
、 z)’=f(i#a)’0+aj 11モaj2i2+
a)’5i” −1−・ (L2x)’−4i#hjO
+bj 1 i十h)’2 i” +hj5i” −f
−−−Qlと近似することができる。何次まで近似する
かは必要とされる検出精度により決定する。線図上のす
べてのノ°(たとえば)°=1〜256)について、a
jn、bjn (n = 0,1,2.−) を以上の
方法であらかじめめておけば、検出された光切断線から
式+11 +21を用いて、逆にその2方向およびIX
方向の位置をめることができる。また、検出対象物を構
成する一平面の傾きをめる場合には、以上の様にしてめ
た光切断線の端点の実際の座標(、y、z ) (z’
、z’ )より、θx= tan−” 7:コQJ を用いて、その平面とX軸のなす角をめることができる
。
実際の位置の対応関係をめる方法について、第42図を
用いて説明する。ここでは第39図に示すスリット光源
101aの場合についてのみ説明するが、第39図に示
すスリット光源101’bおよび第47図参照すスリッ
ト光源101α、101bの場合も同様である。第42
図に示すように、2つのスリット光の交線105がX軸
に一致し、スリット光源101aによるスリット光10
3αがxz平面に一致するような座標系xyzを仮定す
る。まず、第42図に示すように2軸に垂直で撮像装置
102の視野より広い平面106を、X軸方向に平行移
動できるように、目盛付のレール107上に立てる。平
面106をたとえば1CrILきざみで検出器から遠ざ
けながら検出画像上での光切断線の位置をめて行くと、
第43図に示す様な等距離線図が得られる。つぎ忙平面
106を幅一定の長方形とし、このようなものをいくつ
かの幅について用意し、やはりレール107上を2軸に
垂直になるように立ててX軸方向に移動させる。平面1
06のX軸方向に測った幅をたとえば2cmきざみとし
、それぞれの平面106を2軸方向に移動させたとき検
出される光切断線の端点の軌跡をめると、第44図に示
すような等幅線図(X座標に関する)が得られる。第4
3図に示した等距離線・図と第44図に示した等幅線図
において、線図上のある水平の線hh′に沿った距離お
よびx’力方向位置の変化を見ると、それぞれ第45図
、第46図のようになる。これらを線図上の縦方向の座
標ノにおける距離の関数2およびX方向の位置の関数X
として、線図上の機方向の座標番を変数として表わすと
、 z)’=f(i#a)’0+aj 11モaj2i2+
a)’5i” −1−・ (L2x)’−4i#hjO
+bj 1 i十h)’2 i” +hj5i” −f
−−−Qlと近似することができる。何次まで近似する
かは必要とされる検出精度により決定する。線図上のす
べてのノ°(たとえば)°=1〜256)について、a
jn、bjn (n = 0,1,2.−) を以上の
方法であらかじめめておけば、検出された光切断線から
式+11 +21を用いて、逆にその2方向およびIX
方向の位置をめることができる。また、検出対象物を構
成する一平面の傾きをめる場合には、以上の様にしてめ
た光切断線の端点の実際の座標(、y、z ) (z’
、z’ )より、θx= tan−” 7:コQJ を用いて、その平面とX軸のなす角をめることができる
。
次に検出画像より光切断線を抽出する手段について具体
的に説明する。この場合もやはり第59図に示した片側
のスリット光105αの場合にっいて説明する。撮像装
置102によって撮像した光切断線は、スリット光の幅
や光学系のボケなどにより、一般的にはある幅を持って
いる。そこで、撮像装置102の水平走査方向を第43
図と第44図に示した線hA′の方向(横方向)に一致
させて配置し、各水平走査信号のピーク位置(すなわち
最明点)の座標tを各ノにおける光切断線の位置−とす
る(第47図参照)。このようにして、弐n3 +13
を計算するための光切断線の位置の座標を抽出する。
的に説明する。この場合もやはり第59図に示した片側
のスリット光105αの場合にっいて説明する。撮像装
置102によって撮像した光切断線は、スリット光の幅
や光学系のボケなどにより、一般的にはある幅を持って
いる。そこで、撮像装置102の水平走査方向を第43
図と第44図に示した線hA′の方向(横方向)に一致
させて配置し、各水平走査信号のピーク位置(すなわち
最明点)の座標tを各ノにおける光切断線の位置−とす
る(第47図参照)。このようにして、弐n3 +13
を計算するための光切断線の位置の座標を抽出する。
次に、本発明のロボット視覚装置による対象物の3次元
的な位置、姿勢の検出過程を第48図に示す円柱状の物
体109および第149図に示す平面上にあいた円形の
穴110σ)検出を例にして説明する。
的な位置、姿勢の検出過程を第48図に示す円柱状の物
体109および第149図に示す平面上にあいた円形の
穴110σ)検出を例にして説明する。
まず、円柱状の対象物109の位置、姿勢の検出法につ
いて説明する。第40図に示すスリット光103αを投
光した場合、たとえば第50図に実線Aに示すような光
切断像が撮像装置102により検出されたとする。同図
において、先に説明した様に横方向の最明点の位置を検
出し、光切断線の形を抽出すると第51図に示す様にな
る。第51図に示す波形を折線近似し、各線分の端点の
座標(Ls)’)をあらかじめめておいた式03 Hな
用いて実際の座標(−、z)に変換すると、第52図に
示す様になる。この図において、最も2座標の小さい線
分A、すなわち最も検出器に近い線分の中点から、円柱
状の物体109の上面のX方向の近似的な中心位置がめ
られる。また、式α4を用いてxz平面における物体1
09の傾きがめられる。つぎにスリット光源を切替え第
40図に示すもう一方のスリット光103hについて得
られる光切断像(第50図中に破線Bで示す)について
も、全く同様の検出を行うことにより、円柱状の物体1
09の上面y方向近似中心位置と、yz平面における物
体109の傾きをめる。更に、以上の検出結果をもとに
、検出器から物体109の上面の中心位置までの距ml
2は、円柱状の物体109の上面が2軸にほぼ垂直で
ある場合、2=5十−♂−ニジ 、h−±乃・ 0ω2
h −yl 2 または、 2=Δ」5十”x −”s 、乞き 。。
いて説明する。第40図に示すスリット光103αを投
光した場合、たとえば第50図に実線Aに示すような光
切断像が撮像装置102により検出されたとする。同図
において、先に説明した様に横方向の最明点の位置を検
出し、光切断線の形を抽出すると第51図に示す様にな
る。第51図に示す波形を折線近似し、各線分の端点の
座標(Ls)’)をあらかじめめておいた式03 Hな
用いて実際の座標(−、z)に変換すると、第52図に
示す様になる。この図において、最も2座標の小さい線
分A、すなわち最も検出器に近い線分の中点から、円柱
状の物体109の上面のX方向の近似的な中心位置がめ
られる。また、式α4を用いてxz平面における物体1
09の傾きがめられる。つぎにスリット光源を切替え第
40図に示すもう一方のスリット光103hについて得
られる光切断像(第50図中に破線Bで示す)について
も、全く同様の検出を行うことにより、円柱状の物体1
09の上面y方向近似中心位置と、yz平面における物
体109の傾きをめる。更に、以上の検出結果をもとに
、検出器から物体109の上面の中心位置までの距ml
2は、円柱状の物体109の上面が2軸にほぼ垂直で
ある場合、2=5十−♂−ニジ 、h−±乃・ 0ω2
h −yl 2 または、 2=Δ」5十”x −”s 、乞き 。。
2 4十へ 2
としてめられる。ここで、xl s% (X円柱状の物
体109の上面におけるxz平面の光切断像(第50図
に示すA)の端点のX座標であり、3’l−3’!はy
z平面の光切断像(第50図に示すB)の端点のy座標
であり、”+ *”v m”s y”4はそれぞれ4つ
の端点の2座標を表わす。以上の検出結果よりもし円柱
状物体109の上面のxz平而面よびyz平而面おける
傾きが900と著しく異なり、光切断線の中点から中心
位置をめる方法および弐0りまたは鱈による距離の耐昇
の誤差が無視できないと判断される場合には、傾きの検
出結果に従って四ボットアームを移動させ、2軸すなわ
ちスリット光3α、3hの交線が面にほぼ垂直になるよ
うにし、再度中心位置および距離の検出を行う。
体109の上面におけるxz平面の光切断像(第50図
に示すA)の端点のX座標であり、3’l−3’!はy
z平面の光切断像(第50図に示すB)の端点のy座標
であり、”+ *”v m”s y”4はそれぞれ4つ
の端点の2座標を表わす。以上の検出結果よりもし円柱
状物体109の上面のxz平而面よびyz平而面おける
傾きが900と著しく異なり、光切断線の中点から中心
位置をめる方法および弐0りまたは鱈による距離の耐昇
の誤差が無視できないと判断される場合には、傾きの検
出結果に従って四ボットアームを移動させ、2軸すなわ
ちスリット光3α、3hの交線が面にほぼ垂直になるよ
うにし、再度中心位置および距離の検出を行う。
つぎに、第49図に示す平面上に垂直にあいた円形状の
穴110の中心位置および穴のおいている方向の検出法
について説明する。第53図は第49図に示す穴110
を撮像装置で撮像したとき得られる光切断線の一例を示
す図である。この場合も、前例と同様に、r2平面およ
びyz平面における2組の光切断像をスリット光源を切
替えることによって、独立に検出する。第53図におけ
る実線と破線は、このようにして得られる2組の光切断
像を示している。同図において、点へ。
穴110の中心位置および穴のおいている方向の検出法
について説明する。第53図は第49図に示す穴110
を撮像装置で撮像したとき得られる光切断線の一例を示
す図である。この場合も、前例と同様に、r2平面およ
びyz平面における2組の光切断像をスリット光源を切
替えることによって、独立に検出する。第53図におけ
る実線と破線は、このようにして得られる2組の光切断
像を示している。同図において、点へ。
−を結ぶ線分と点”Iybtを結ぶ線分をそれぞれ前例
の第50図における線分A、Hに対応させた処理を行う
ことによって、全(同様に穴110の位置および穴のお
いている方向の検出を行うことができる。
の第50図における線分A、Hに対応させた処理を行う
ことによって、全(同様に穴110の位置および穴のお
いている方向の検出を行うことができる。
以下に、本発明のロボット視覚装置の具体的実施例につ
いて説明する。まず、装置全体の構成およびその動作に
ついて説明し、しかる後検出器各部の具体的構成につい
て述べる。
いて説明する。まず、装置全体の構成およびその動作に
ついて説明し、しかる後検出器各部の具体的構成につい
て述べる。
第24図は本発明のロボット視覚装置の全体構成の一実
施例を示す図である。検出器は撮像装置2とスリット光
源59α(101α)、39h(101りから構成され
ており次の様な配置構成法によっている。すなわち、 +112つのスリット光46z(103z)、46h(
1o′5b)のなす平面の交線105を、ロボットのグ
リッパ25の回転軸に一致させる。
施例を示す図である。検出器は撮像装置2とスリット光
源59α(101α)、39h(101りから構成され
ており次の様な配置構成法によっている。すなわち、 +112つのスリット光46z(103z)、46h(
1o′5b)のなす平面の交線105を、ロボットのグ
リッパ25の回転軸に一致させる。
(2) スリット光源59α、59bの光軸108α、
108bおよび撮像装置45(102)の光軸108
Cはスリット光46α、46bの交線105上のほぼ一
点で交わる。
108bおよび撮像装置45(102)の光軸108
Cはスリット光46α、46bの交線105上のほぼ一
点で交わる。
(3) スリット光源39α、39bの光軸108α、
108hおよび撮像装置45(102)の光軸10日C
は同一平面上にある。
108hおよび撮像装置45(102)の光軸10日C
は同一平面上にある。
(4) スリット光源39αの光軸108αとスリット
光の交線105のなす角と、スリット光源39Aの光軸
108hとスリット光の交線insのなす角とは等しい
。
光の交線105のなす角と、スリット光源39Aの光軸
108hとスリット光の交線insのなす角とは等しい
。
(5) スリット光源59aの光軸108αと撮像装R
45(102)の光軸108Cのなす角と、スリット光
源397Sの光軸108bと撮像装置45の光軸108
Cのなす角とは等しい。
45(102)の光軸108Cのなす角と、スリット光
源397Sの光軸108bと撮像装置45の光軸108
Cのなす角とは等しい。
以上の様な配置でロボットアーム24上に検出器を構成
する。検出器の構成法の他の変形例としては、上記の(
1)〜(5)のうち論理的に可能な1〜4個の組合せが
ある。また、第24図では検出器がロボットのグリッパ
25を回転駆動する部分に固定されているが、グリッパ
25上に固定し、グリッパ25と一体に回転させる様に
構成しても良い。
する。検出器の構成法の他の変形例としては、上記の(
1)〜(5)のうち論理的に可能な1〜4個の組合せが
ある。また、第24図では検出器がロボットのグリッパ
25を回転駆動する部分に固定されているが、グリッパ
25上に固定し、グリッパ25と一体に回転させる様に
構成しても良い。
このロボット視覚装置の全体は第24図中のイメージプ
ロセッサ47によって制御される。すなわち、スリット
光切替装置113を制御し、スリット光源39a、39
hが1つずつ発光するようにし、1それぞれの光切断像
を撮像装置45(102)によって検出する。検出され
た画像信号は光切断線抽出回路42に入力され、光切断
波形がイメージフロセッサ47に入力される。光切断線
抽出回路42は、先に説明した方法に従って2次元画像
データを1次元波形データに圧縮するものであり、特開
昭56−70407号に開示されている装置を用いても
良い。このようにして得られた2組の光切断線波形デー
タは、イメージフロセッサ(マイクoコンピーータ)4
7内に光圧説明した手順で処理される。すなわち、波形
データの折線近似の後、E Ql −Qeの計算を行っ
て対象物の3次元的位置及び姿勢を検出し、そのデータ
117をロボット腕機構の制御装置に出力する。式02
0萄を計算するのに必要な係数αノル、bノル、()°
=0.1,2,3・・・、rL−0,1,2,3・・・
)は、先に説明した方法であらかじめめられ、記憶装置
116内に格納されており、必要な時適宜読み出されて
使用される。
ロセッサ47によって制御される。すなわち、スリット
光切替装置113を制御し、スリット光源39a、39
hが1つずつ発光するようにし、1それぞれの光切断像
を撮像装置45(102)によって検出する。検出され
た画像信号は光切断線抽出回路42に入力され、光切断
波形がイメージフロセッサ47に入力される。光切断線
抽出回路42は、先に説明した方法に従って2次元画像
データを1次元波形データに圧縮するものであり、特開
昭56−70407号に開示されている装置を用いても
良い。このようにして得られた2組の光切断線波形デー
タは、イメージフロセッサ(マイクoコンピーータ)4
7内に光圧説明した手順で処理される。すなわち、波形
データの折線近似の後、E Ql −Qeの計算を行っ
て対象物の3次元的位置及び姿勢を検出し、そのデータ
117をロボット腕機構の制御装置に出力する。式02
0萄を計算するのに必要な係数αノル、bノル、()°
=0.1,2,3・・・、rL−0,1,2,3・・・
)は、先に説明した方法であらかじめめられ、記憶装置
116内に格納されており、必要な時適宜読み出されて
使用される。
次に本実施例のロボット視覚装置の動作について詳細に
説明する。
説明する。
対象物の検出を行う前に、すでに説明した様に、式(1
1+21に示した係数σ)’n、hノtL(および同様
にして得られる3/)の係数)を記憶装置116 VC
格納する作業が必要である。4J42図に示した装置を
用いてスリット光の交線105がレール107と平行に
なる様にロボソトン動作、固定し、1−でに説明した方
法で第46図に示す等距離線図と第44図に示す等幅線
図をめる。この作業はスリット切替装置113で切替え
、2つのスリブt・光46α(103tL)、46A(
103A) についてそれぞれ行う。つぎに、これらの
データをもとにイメージプロセッサ47によって多項式
近似を行い、各部における式α13の係数αノ゛ル、リ
ルなめ、記憶装置116に格納する。
1+21に示した係数σ)’n、hノtL(および同様
にして得られる3/)の係数)を記憶装置116 VC
格納する作業が必要である。4J42図に示した装置を
用いてスリット光の交線105がレール107と平行に
なる様にロボソトン動作、固定し、1−でに説明した方
法で第46図に示す等距離線図と第44図に示す等幅線
図をめる。この作業はスリット切替装置113で切替え
、2つのスリブt・光46α(103tL)、46A(
103A) についてそれぞれ行う。つぎに、これらの
データをもとにイメージプロセッサ47によって多項式
近似を行い、各部における式α13の係数αノ゛ル、リ
ルなめ、記憶装置116に格納する。
対象物体の検出過程では、すでに第48図及び第49図
を例にして説明した様に、イメージプロセッサ47がス
リット光切替装置113を制御し、2組のスリット光源
101α、101hをそれぞれ発光させた場合の光切断
像に基づく光切断波形を光切断抽出回路42によって得
て、これをイメージフロセッサ47によって折線近似し
た後、それぞれの線分の実際の位置座標が記憶装置11
6に格納された係数αノn、hjnをもとにして式03
Ql (および同様なyjをめる式)を用いてめられ
る。
を例にして説明した様に、イメージプロセッサ47がス
リット光切替装置113を制御し、2組のスリット光源
101α、101hをそれぞれ発光させた場合の光切断
像に基づく光切断波形を光切断抽出回路42によって得
て、これをイメージフロセッサ47によって折線近似し
た後、それぞれの線分の実際の位置座標が記憶装置11
6に格納された係数αノn、hjnをもとにして式03
Ql (および同様なyjをめる式)を用いてめられ
る。
イメージフロセッサ47は、2組のスリット光源101
α、lol、6をそれぞれ発光させた場合の線分のうち
、対象物体上の線分を、距離zを判定基準にそれぞれ1
本ずつ選び出しく通常、最も検出器に近く、視野の中央
近くにある線分)、それぞれの4つの端点から1式am
−Qeおよび線分の中点の計算を行って、対象物体の
位置および姿勢を検出し、ロボット腕機構の制御装置に
出力する。
α、lol、6をそれぞれ発光させた場合の線分のうち
、対象物体上の線分を、距離zを判定基準にそれぞれ1
本ずつ選び出しく通常、最も検出器に近く、視野の中央
近くにある線分)、それぞれの4つの端点から1式am
−Qeおよび線分の中点の計算を行って、対象物体の
位置および姿勢を検出し、ロボット腕機構の制御装置に
出力する。
次に検出器各部の具体的構成について説明する。撮像装
置45にはTVカメラを用い、第47図に示したiの方
向と水平走査方向を一致させることにより、高速で光切
断線を検出することかできる。もちろん、TVカメラ以
外の2次元画像検出器、例えば1次元フォトダイオード
アレーとガルバノミラ−との組合せでも良い。TVカメ
ラのうち、特に2次元固体イメージセンサを用いたもの
は、印耐震、耐衝撃性、(ロ)寿命、(ハ)画像ひずみ
、(ニ)小型。軽量、(ホ)省電力、の5つの点で、電
子管を用いたものよりも優れている。第54図は2次元
固体イメージセンサー19を用いた撮像装置の一具体例
を示す図である。
置45にはTVカメラを用い、第47図に示したiの方
向と水平走査方向を一致させることにより、高速で光切
断線を検出することかできる。もちろん、TVカメラ以
外の2次元画像検出器、例えば1次元フォトダイオード
アレーとガルバノミラ−との組合せでも良い。TVカメ
ラのうち、特に2次元固体イメージセンサを用いたもの
は、印耐震、耐衝撃性、(ロ)寿命、(ハ)画像ひずみ
、(ニ)小型。軽量、(ホ)省電力、の5つの点で、電
子管を用いたものよりも優れている。第54図は2次元
固体イメージセンサー19を用いた撮像装置の一具体例
を示す図である。
本具体例では、ロボットアームに搭載される部烈
分は、第55図に無線で囲んで示す様に、TV右カメラ
御ユニット122を除いた2次元固体イメージセンサー
19と前置画像信号増幅器120と同期駆動信号波形整
形回路121のみであり、さらに小型、軽量化が図られ
ている。第54図において前置画像信号増幅器120は
基板123a上に搭載され、2次元固体イメージセンサ
119と同期駆動信号波形整形回路121は基板123
h上に搭載され、支柱124で裏ぶた125上に固定さ
れている。裏ぶた125にはコネクタ126が取付けら
れ、−切の信号、電源の供給はこのコネクタ126を介
して行われる。また、裏ぶた125および外枠127は
内面に静電シールド用の銅箔を貼った(または金属メッ
キを施した)プラスチック等の非金属で構成されている
。さらに、結像レンズ12Bをプラスチック化すること
も可能である。以上の様に、本実施例による撮像装置を
用いれば、耐震、耐衝撃性、長寿命、低画像ひずみ、省
電力という特徴に加え、検出器を著しく小型、軽量化で
きる効果がある。
御ユニット122を除いた2次元固体イメージセンサー
19と前置画像信号増幅器120と同期駆動信号波形整
形回路121のみであり、さらに小型、軽量化が図られ
ている。第54図において前置画像信号増幅器120は
基板123a上に搭載され、2次元固体イメージセンサ
119と同期駆動信号波形整形回路121は基板123
h上に搭載され、支柱124で裏ぶた125上に固定さ
れている。裏ぶた125にはコネクタ126が取付けら
れ、−切の信号、電源の供給はこのコネクタ126を介
して行われる。また、裏ぶた125および外枠127は
内面に静電シールド用の銅箔を貼った(または金属メッ
キを施した)プラスチック等の非金属で構成されている
。さらに、結像レンズ12Bをプラスチック化すること
も可能である。以上の様に、本実施例による撮像装置を
用いれば、耐震、耐衝撃性、長寿命、低画像ひずみ、省
電力という特徴に加え、検出器を著しく小型、軽量化で
きる効果がある。
次に、スリット光源101α、101/lの具体的構成
について説明する。光源としては、ハロゲンランプや放
電管や発光ダイオード等を使用することができるが、(
イ)耐震、耐衝撃性、(ロ)寿命(ハ)小型、軽量性の
3点で発光ダイオードが最も優れている。第56図は発
光ダイオードを用いたスリット光源の一具体例を示す図
である。発光ダイオード129には、赤外発光の高出力
タイプが用いられる。通常2次元固体イメージセンサの
最大感度波長は、800nm付近であるので、この波長
の発光ダイオードを用いれば検出感度を最大にできる。
について説明する。光源としては、ハロゲンランプや放
電管や発光ダイオード等を使用することができるが、(
イ)耐震、耐衝撃性、(ロ)寿命(ハ)小型、軽量性の
3点で発光ダイオードが最も優れている。第56図は発
光ダイオードを用いたスリット光源の一具体例を示す図
である。発光ダイオード129には、赤外発光の高出力
タイプが用いられる。通常2次元固体イメージセンサの
最大感度波長は、800nm付近であるので、この波長
の発光ダイオードを用いれば検出感度を最大にできる。
第56図に示す様に、発光ダイオード129は、複数個
をシリンドリカルレンズ130の長手方向に一致させて
一例に並べて配置する。第56図(α)に示す平面図に
おいて、発光ダイオード129とスリット131はシリ
ンドリカルレンズ160に関して結像関係にある。また
、結像面152の位置は概略の対象物位置に設定し、結
像面132とスリット131とは結像レンズ133に関
して結像関係にある。以上の様な構成をとることにより
、発光ダイオード129から発光される光を効率良く集
光し、スリット光を形成できるので、上記した3つの特
徴に加え明るいスリット光源を実現できる。さらに、発
光ダイオード29にレンズを用いた指向性の強いものを
用いることにより、更に強力なスリット光源も実現可能
である。
をシリンドリカルレンズ130の長手方向に一致させて
一例に並べて配置する。第56図(α)に示す平面図に
おいて、発光ダイオード129とスリット131はシリ
ンドリカルレンズ160に関して結像関係にある。また
、結像面152の位置は概略の対象物位置に設定し、結
像面132とスリット131とは結像レンズ133に関
して結像関係にある。以上の様な構成をとることにより
、発光ダイオード129から発光される光を効率良く集
光し、スリット光を形成できるので、上記した3つの特
徴に加え明るいスリット光源を実現できる。さらに、発
光ダイオード29にレンズを用いた指向性の強いものを
用いることにより、更に強力なスリット光源も実現可能
である。
第57図は発光ダイオードを用いたスリット光源の他の
具体例を示す図である。第57図に示す様に、発光ダイ
オード129を複数個スリット131に沿って配置し、
スリット131と結像面132は結像レンズ133に関
して結像関係にある。またシリンドリカルレンズ130
は、スリット光に結像面132上でむらが出ない様に、
結像レンズ133とスリット1310間に挿入される。
具体例を示す図である。第57図に示す様に、発光ダイ
オード129を複数個スリット131に沿って配置し、
スリット131と結像面132は結像レンズ133に関
して結像関係にある。またシリンドリカルレンズ130
は、スリット光に結像面132上でむらが出ない様に、
結像レンズ133とスリット1310間に挿入される。
本具体例では、結像面132の結像関係が狂うと、スリ
ット光にむらが生じる欠点があるが、光切断線の位置検
出を行う本発明では無視できる。本具体例によれば、第
22図と比較して明らかな様に、光軸方向の長さを短か
くすることができ、発光ダイオード129の持つ特徴に
加え、スリット光源を著しく小型にできる特徴がある。
ット光にむらが生じる欠点があるが、光切断線の位置検
出を行う本発明では無視できる。本具体例によれば、第
22図と比較して明らかな様に、光軸方向の長さを短か
くすることができ、発光ダイオード129の持つ特徴に
加え、スリット光源を著しく小型にできる特徴がある。
また、撮像装置と同様に、外枠をグラスチック等の非金
属で構成すれば検出器を著しく小型。
属で構成すれば検出器を著しく小型。
軽量にできる効果がある。
なお、第56図と第57図に示すスリット光源の具体例
では、スリット光が完全な平板状にならない。この問題
は結像レンズ133の径を必要以上に太き(しないこと
で回避できろ。
では、スリット光が完全な平板状にならない。この問題
は結像レンズ133の径を必要以上に太き(しないこと
で回避できろ。
ロボットアームに取り付ける画像検出器20の他の実施
例としては、TVカメラ、リニアセンサまたはポイント
センナ(フォトダイオード、フォトマルなど)とガルバ
ノミラ−などの走査機構との組合せによる濃淡画像検出
器がある。本発明では四ポットアーム上の画像検出器に
よる認識処理の前に固定した位置にある距離画像検出器
よりの画像の処理を行い、対象物体の主要な平面の法線
方向よりロボットアームを接近させ、その方向よりロボ
ットアーム上の画像検出器より画像検出できるので、主
要な平面の平面的に正しい形状が検出できるため、従来
の濃淡画像処理による平面的な認識法の応用により、対
象物体の形状、位置、姿勢の認識ができる。
例としては、TVカメラ、リニアセンサまたはポイント
センナ(フォトダイオード、フォトマルなど)とガルバ
ノミラ−などの走査機構との組合せによる濃淡画像検出
器がある。本発明では四ポットアーム上の画像検出器に
よる認識処理の前に固定した位置にある距離画像検出器
よりの画像の処理を行い、対象物体の主要な平面の法線
方向よりロボットアームを接近させ、その方向よりロボ
ットアーム上の画像検出器より画像検出できるので、主
要な平面の平面的に正しい形状が検出できるため、従来
の濃淡画像処理による平面的な認識法の応用により、対
象物体の形状、位置、姿勢の認識ができる。
また、背景と対象物体とを濃淡画像の2値化により分離
検出できる場合、2値画像処理、たとえばテンプレート
マツチングなどを用いて、高速に対象物体の形状、位置
、姿勢の検出ができる。
検出できる場合、2値画像処理、たとえばテンプレート
マツチングなどを用いて、高速に対象物体の形状、位置
、姿勢の検出ができる。
以上説明したロボットアーム上の画像検出器からの画像
の処理によって得られる対象物体の位置および姿勢は、
画像検出器に固定された座標系によるもの、すなわちロ
ボットアームとの相対位置関係であるから、ロボットア
ームのたわみなどによって絶対位置決め精度が悪い場合
圧もロボットアームを精度良く対象物体にアプローチさ
せることができる。また、この場合四ポット制御装置は
、ロボットアームからの検出時点のロボットアームの姿
勢と、イメージプロセッサからの対象物体の位置と姿勢
から、ロボットの各軸の動作量を計算する必要がある。
の処理によって得られる対象物体の位置および姿勢は、
画像検出器に固定された座標系によるもの、すなわちロ
ボットアームとの相対位置関係であるから、ロボットア
ームのたわみなどによって絶対位置決め精度が悪い場合
圧もロボットアームを精度良く対象物体にアプローチさ
せることができる。また、この場合四ポット制御装置は
、ロボットアームからの検出時点のロボットアームの姿
勢と、イメージプロセッサからの対象物体の位置と姿勢
から、ロボットの各軸の動作量を計算する必要がある。
次に視覚系の他の構成要素の一つであるイメージプロセ
ッサ21の一実施例を第25図に示す。
ッサ21の一実施例を第25図に示す。
イメージプロセッサ21は、距離画像検出器19および
ロボットアーム上の画像検出器20より検出された画像
を前述した方法に従って処理し、対象物体11を発見、
その位置、姿勢を認識し、その情報をりポット制御装置
18に伝送する。イメージプロセッサ21は、マイクロ
プロセッサ48で制御され、ROM49に収納されたプ
ログラムによって動作する。距離画像を生成するための
光切断線抽出装置42およびロボットアーム上の画像検
出器20とは高速のパラレルI/Fsoα、50hによ
り接続され、検出された画像情報は、I(AM51αに
収納される。RAM51はこのように画像情報の一時的
な保存に用いられるほかに、画像処理過程における作業
領域として用いられる。また、ロボット制御装置18と
は、インターフェイス52を介して接続され、認識結果
を伝送する。
ロボットアーム上の画像検出器20より検出された画像
を前述した方法に従って処理し、対象物体11を発見、
その位置、姿勢を認識し、その情報をりポット制御装置
18に伝送する。イメージプロセッサ21は、マイクロ
プロセッサ48で制御され、ROM49に収納されたプ
ログラムによって動作する。距離画像を生成するための
光切断線抽出装置42およびロボットアーム上の画像検
出器20とは高速のパラレルI/Fsoα、50hによ
り接続され、検出された画像情報は、I(AM51αに
収納される。RAM51はこのように画像情報の一時的
な保存に用いられるほかに、画像処理過程における作業
領域として用いられる。また、ロボット制御装置18と
は、インターフェイス52を介して接続され、認識結果
を伝送する。
上記したイメージプロセッサ21の実施例は、マイクロ
プロセッサ48を用いたンフトウエア処処理をする場合
について述べたが、例えば、2値化処理、微分処理等は
比較的簡単なハードウェア構成で実行できるので、部分
的にハードウェアによる処理を行えば、処理の高速化が
図れる。また、非常に高速の処理を行うため、処理アル
ゴリズムを全てハードウェア化することも装置規模は大
きくなるが可能である。
プロセッサ48を用いたンフトウエア処処理をする場合
について述べたが、例えば、2値化処理、微分処理等は
比較的簡単なハードウェア構成で実行できるので、部分
的にハードウェアによる処理を行えば、処理の高速化が
図れる。また、非常に高速の処理を行うため、処理アル
ゴリズムを全てハードウェア化することも装置規模は大
きくなるが可能である。
また以上説明した本発明による実施例では、関節形ロボ
ットについて説明したが、直交形ロボット、円筒形ロボ
ットでもよいことは明らかである。
ットについて説明したが、直交形ロボット、円筒形ロボ
ットでもよいことは明らかである。
さらに、本発明の他の変形例としては、作業対象ニよっ
ては、距離画像検出器19のみによる対象物体の認識、
ロボットアーム上の画像検出器20のみによる対象物体
の認識も可能であることを付は加えておく。
ては、距離画像検出器19のみによる対象物体の認識、
ロボットアーム上の画像検出器20のみによる対象物体
の認識も可能であることを付は加えておく。
以上説明したように、本発明によれば、距離画像処理に
より対象物体の発見、その3次元的な位置、姿勢、形状
の検出を行っているので、対象物体表面の色、明暗、面
荒さ、よごれ等によらず、常に能率のよい認識が可能で
ある。また、距離画像を微分することによ?て、物体と
物体の境界線を検出しているので、やはり対象物表面の
状況圧よらない安定な物体の分離検出が可能である。さ
らに以上の効果を総合して、複雑に折り重なった部品ま
たは背景から、目的の作業対象物体を識別して、その3
次元的な位置、姿勢を認識し、ロボットを制御できると
いう完全な視覚フィードバックを実現することができる
。また、本発明によるロボットアーム上の画像検出器と
組合せた階層的な処理により、ロボットの絶対的な位置
決め精度の悪い場合にも、対象物体に対して精度よく位
置決めすることが可能であり、ロボットを組立、検査、
調整など広い分野に適用することが可能になる。
より対象物体の発見、その3次元的な位置、姿勢、形状
の検出を行っているので、対象物体表面の色、明暗、面
荒さ、よごれ等によらず、常に能率のよい認識が可能で
ある。また、距離画像を微分することによ?て、物体と
物体の境界線を検出しているので、やはり対象物表面の
状況圧よらない安定な物体の分離検出が可能である。さ
らに以上の効果を総合して、複雑に折り重なった部品ま
たは背景から、目的の作業対象物体を識別して、その3
次元的な位置、姿勢を認識し、ロボットを制御できると
いう完全な視覚フィードバックを実現することができる
。また、本発明によるロボットアーム上の画像検出器と
組合せた階層的な処理により、ロボットの絶対的な位置
決め精度の悪い場合にも、対象物体に対して精度よく位
置決めすることが可能であり、ロボットを組立、検査、
調整など広い分野に適用することが可能になる。
第1図及び第2図は従来のロボット視覚を示した図、第
3図は距離画像を説明した図、第4図、第5図、第6図
、第7図及び第8図は本発明による距離画像の処理過程
を示した図、第9図は直方体の2つの見え方を示した図
、第10図及び第11図は距離画像のルーフエツジ、ジ
ャンプエッジを示した図、第12図は距離画像処理によ
る物体の姿勢の定義な表わ、した図、第13図は本発明
による実施例の全体構成を示した図、第14図はロボッ
ト制御装置を説明した図、第15図は距離画像検出器の
一実施例を示した図、第16図、第17図、第18図、
第19図及び第20図はその検出過程を示した図、第2
1図は他の距離画像検出器の例、第22図は距離画像の
影の生じる原因を説明した図、第23図及び第24図は
ロボットアーム上の画像検出器の一実施(Jllを示す
図、第25図はイメージプロセッサの一実施例を示した
図、第26図は本発明に係る光切断線抽出回路を示す概
略構成図、第27図は第26図の示す回路の機能を説明
するための図、第28図は第27図に示す回路を具体的
に示した構成図、第29図は第23図に示す本発明に係
るロボット視覚装置の一実施例を具体的に示した図、第
30図は第23図及び第29図に示す実施例における作
業対象を説明するための図、第31図は光切断線の例を
示す図、第32図は光切断抽出処理を説明するための図
、第33図は距離画像の例を示す図、第34図は光切断
線と撮像装置の中心と目的物表面との関係を示した図、
第35図は距離画像におけるジャンプエツジとルーフエ
ツジとを示す図、第36図は距離画像信号を微分してジ
ャンプエツジを検出するために6×3の絵素についての
距離を切出した状態を示す図、第37図は本発明に係る
第29図と異なる他の一実施例を示した図、第68図は
更に本発明に係る他の一実施例を示した図、第39図は
第24図に示す如(本発明に係るロボット十字切断線視
覚装置の原理となる検出器の斜視図、第40図は第39
図に示す゛検出器の基本構成を示す斜視図、第41図は
第39図に示す検出器による等距離線と等幅線を表わし
た図、第42図は等距離線と等幅線を得る検出器の斜視
図、第43図は等距離線の一例を示す図、第44図は等
幅線の一例を示す図、第45図は第45図に示す等距離
線の変化を表わした図、第46図は第44図に示す等幅
線の変化を表わした図、第47図は光切断線の抽出方法
を表わす図、第48図及び第49図は検出対象物体の一
例を示す図、第ste:l、第51図、第52図は第4
8図に示す検出対象物体の検出処理過程を示す図、第5
3図は第49図に示す検出対象物図(α)と第57図(
α)は本発明に係るロボット視覚装置の検出器に用いる
スリット光源の具体例を示す平面図、第56図(b)と
第59図(h)は本発明のロボット視覚装置の検出器に
用いるスリット光源の具体例を示す正面図である。 9・・・距離画像 11・・・対象物体17・・・ロボ
ットアーム18・・・ロボット制御装置19・・・距離
画像検出器 20・・・ロボットアーム上の画像検出器21・・・イ
メージプロセッサ 38・・・スリット光 39・・・スリット光源42・
・・光切断線抽出装置 45・・・’rVカメラ 第1図 第32 茅4図 拳 、5回 乍^ 乙 m 埠 7 図 竿 8 図 茅q図 茅/θ磨 第 //団 茅72 ffi 穿 /乙 図 一一署′ D 第78図 茅 30圀 第31閉 第330 第 34因 \ 茅35図 茅 36m 茅37図 を 第32副 第 4o U イ4/磨 (りン χzq面 (b)”JZ”F面茅422 竿430 茅440 茅 4.Sr 茅46図 茅3/ II 茅、!;2図 茅63困 茅 540 茅、55図 zl
3図は距離画像を説明した図、第4図、第5図、第6図
、第7図及び第8図は本発明による距離画像の処理過程
を示した図、第9図は直方体の2つの見え方を示した図
、第10図及び第11図は距離画像のルーフエツジ、ジ
ャンプエッジを示した図、第12図は距離画像処理によ
る物体の姿勢の定義な表わ、した図、第13図は本発明
による実施例の全体構成を示した図、第14図はロボッ
ト制御装置を説明した図、第15図は距離画像検出器の
一実施例を示した図、第16図、第17図、第18図、
第19図及び第20図はその検出過程を示した図、第2
1図は他の距離画像検出器の例、第22図は距離画像の
影の生じる原因を説明した図、第23図及び第24図は
ロボットアーム上の画像検出器の一実施(Jllを示す
図、第25図はイメージプロセッサの一実施例を示した
図、第26図は本発明に係る光切断線抽出回路を示す概
略構成図、第27図は第26図の示す回路の機能を説明
するための図、第28図は第27図に示す回路を具体的
に示した構成図、第29図は第23図に示す本発明に係
るロボット視覚装置の一実施例を具体的に示した図、第
30図は第23図及び第29図に示す実施例における作
業対象を説明するための図、第31図は光切断線の例を
示す図、第32図は光切断抽出処理を説明するための図
、第33図は距離画像の例を示す図、第34図は光切断
線と撮像装置の中心と目的物表面との関係を示した図、
第35図は距離画像におけるジャンプエツジとルーフエ
ツジとを示す図、第36図は距離画像信号を微分してジ
ャンプエツジを検出するために6×3の絵素についての
距離を切出した状態を示す図、第37図は本発明に係る
第29図と異なる他の一実施例を示した図、第68図は
更に本発明に係る他の一実施例を示した図、第39図は
第24図に示す如(本発明に係るロボット十字切断線視
覚装置の原理となる検出器の斜視図、第40図は第39
図に示す゛検出器の基本構成を示す斜視図、第41図は
第39図に示す検出器による等距離線と等幅線を表わし
た図、第42図は等距離線と等幅線を得る検出器の斜視
図、第43図は等距離線の一例を示す図、第44図は等
幅線の一例を示す図、第45図は第45図に示す等距離
線の変化を表わした図、第46図は第44図に示す等幅
線の変化を表わした図、第47図は光切断線の抽出方法
を表わす図、第48図及び第49図は検出対象物体の一
例を示す図、第ste:l、第51図、第52図は第4
8図に示す検出対象物体の検出処理過程を示す図、第5
3図は第49図に示す検出対象物図(α)と第57図(
α)は本発明に係るロボット視覚装置の検出器に用いる
スリット光源の具体例を示す平面図、第56図(b)と
第59図(h)は本発明のロボット視覚装置の検出器に
用いるスリット光源の具体例を示す正面図である。 9・・・距離画像 11・・・対象物体17・・・ロボ
ットアーム18・・・ロボット制御装置19・・・距離
画像検出器 20・・・ロボットアーム上の画像検出器21・・・イ
メージプロセッサ 38・・・スリット光 39・・・スリット光源42・
・・光切断線抽出装置 45・・・’rVカメラ 第1図 第32 茅4図 拳 、5回 乍^ 乙 m 埠 7 図 竿 8 図 茅q図 茅/θ磨 第 //団 茅72 ffi 穿 /乙 図 一一署′ D 第78図 茅 30圀 第31閉 第330 第 34因 \ 茅35図 茅 36m 茅37図 を 第32副 第 4o U イ4/磨 (りン χzq面 (b)”JZ”F面茅422 竿430 茅440 茅 4.Sr 茅46図 茅3/ II 茅、!;2図 茅63困 茅 540 茅、55図 zl
Claims (1)
- 【特許請求の範囲】 1、 ロボット基台部に対しである固定した点より作業
対象全体の距離画像を検出する検出器と、上記距離画像
検出器より検出された距離画像を定められた手順に従っ
て処理し、対象物体の発見とその形状位置、姿勢を3次
元的に認識するイメージプロセッサと、イメージプロセ
ッサよりの認識結果に従って対象物体の定められた方向
よりロボットアームを接近させる四ボット制御装置と、
ロボットアーム上に取付けられ、接近した位置より対象
物体の画像を検出する画像検出器と、検出された画像を
定められた手順に従って処理し、対象物体の形状、位置
、姿勢を認識するイメージプロセッサと、イメージプロ
セッサの認識結果に従って四ボットアームを対象物体に
対して正しい位置に補正するロボット制御装置を設け、
組立、検査、調整などの作業を行うことを特徴とするロ
ボット。 2、 上記イメージプロセッサは、距hat画像信号を
微分してジャンプエツジ画像信号を形成する微分手段と
、このジャンプエツジで閉じられた領域に分離する分離
手段と、この分離された領域から必要な領域を抽出し、
この抽出された領域から主要な平面の距離画像を抽出す
る抽出手段と、この距離画像によりこの主要な平面の重
心の位置及び傾き等を検出する検出手段とによって構成
したことを特徴とする特許請求の範囲第1項のロボット
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP58123260A JPS6015780A (ja) | 1983-07-08 | 1983-07-08 | ロボット制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP58123260A JPS6015780A (ja) | 1983-07-08 | 1983-07-08 | ロボット制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS6015780A true JPS6015780A (ja) | 1985-01-26 |
JPH0425583B2 JPH0425583B2 (ja) | 1992-05-01 |
Family
ID=14856157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP58123260A Granted JPS6015780A (ja) | 1983-07-08 | 1983-07-08 | ロボット制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS6015780A (ja) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6081681A (ja) * | 1983-10-07 | 1985-05-09 | Seiko Instr & Electronics Ltd | 組立ロボツト用画像処理装置 |
JPS61203285A (ja) * | 1985-03-04 | 1986-09-09 | 株式会社日立製作所 | ロボツトの動作制御方法 |
JPS61296409A (ja) * | 1985-06-25 | 1986-12-27 | Fanuc Ltd | ロボツト制御方式 |
JPS629894A (ja) * | 1985-07-08 | 1987-01-17 | 石川県 | 形状認識装置による最適保持位置決定法 |
JPS6257004A (ja) * | 1985-09-05 | 1987-03-12 | Fanuc Ltd | ロボツト用視覚センサ |
EP0222072A2 (en) * | 1985-10-11 | 1987-05-20 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
JPS62165206A (ja) * | 1986-01-17 | 1987-07-21 | Hitachi Metals Ltd | ロボツト視覚装置におけるワ−ク姿勢決定方法 |
JPS62286189A (ja) * | 1986-06-04 | 1987-12-12 | Omron Tateisi Electronics Co | 高速視覚認識装置 |
JPS62292377A (ja) * | 1986-06-10 | 1987-12-19 | 日産自動車株式会社 | 散積み物体をロボツトハンドでピツクアツプするための視覚システム |
JPS6334093A (ja) * | 1986-07-29 | 1988-02-13 | シャープ株式会社 | 視覚装置 |
JPS6344282A (ja) * | 1986-08-11 | 1988-02-25 | Matsushita Electric Works Ltd | 実装部品の外観検査方法 |
JPH04255077A (ja) * | 1990-08-13 | 1992-09-10 | Siemens Ag | 像分析方法 |
US5189707A (en) * | 1985-10-11 | 1993-02-23 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
JPH08112021A (ja) * | 1994-08-19 | 1996-05-07 | Iseki & Co Ltd | 収穫ロボットの果実識別装置 |
US6970802B2 (en) | 2002-12-20 | 2005-11-29 | Fanuc Ltd | Three-dimensional measuring device |
JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
WO2009028489A1 (ja) * | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
US8395673B2 (en) | 2003-03-25 | 2013-03-12 | Fujitsu Limited | Shooting device and method with function for guiding an object to be shot |
JP2013111672A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
JP2014516017A (ja) * | 2011-06-07 | 2014-07-07 | ケアフュージョン・ジャーマニー・326・ゲーエムベーハー | 自動保管設備に保管するばら売り商品の分離装置 |
JP5736622B1 (ja) * | 2014-05-01 | 2015-06-17 | 機械設計中畑株式会社 | 検出装置およびこの装置を具えたマニプレータの動作制御 |
JP2019211968A (ja) * | 2018-06-04 | 2019-12-12 | アズビル株式会社 | 2次元位置姿勢推定装置及び2次元位置姿勢推定方法 |
JP2020075340A (ja) * | 2018-11-08 | 2020-05-21 | 株式会社東芝 | 作動システム、制御装置、およびプログラム |
US10759057B2 (en) | 2017-10-31 | 2020-09-01 | Kabushiki Kaisha Toshiba | Inspection system |
JP2021016910A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社ファースト | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
EP3744484A4 (en) * | 2018-01-23 | 2021-03-17 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND INFORMATION PROCESSING SYSTEM |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
JP2023047279A (ja) * | 2021-09-24 | 2023-04-05 | 株式会社ダイヘン | 溶接線検出システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003136465A (ja) * | 2001-11-06 | 2003-05-14 | Yaskawa Electric Corp | 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ |
JP5854815B2 (ja) * | 2011-12-20 | 2016-02-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS48100853A (ja) * | 1972-04-05 | 1973-12-19 | ||
JPS5423545A (en) * | 1977-07-22 | 1979-02-22 | Mitsubishi Paper Mills Ltd | Heat sensitive paper with reduced adherability of dregs to thermal head |
JPS57168384A (en) * | 1981-04-08 | 1982-10-16 | Nissan Motor Co Ltd | Detecting method for shape of object |
-
1983
- 1983-07-08 JP JP58123260A patent/JPS6015780A/ja active Granted
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS48100853A (ja) * | 1972-04-05 | 1973-12-19 | ||
JPS5423545A (en) * | 1977-07-22 | 1979-02-22 | Mitsubishi Paper Mills Ltd | Heat sensitive paper with reduced adherability of dregs to thermal head |
JPS57168384A (en) * | 1981-04-08 | 1982-10-16 | Nissan Motor Co Ltd | Detecting method for shape of object |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6081681A (ja) * | 1983-10-07 | 1985-05-09 | Seiko Instr & Electronics Ltd | 組立ロボツト用画像処理装置 |
JPS61203285A (ja) * | 1985-03-04 | 1986-09-09 | 株式会社日立製作所 | ロボツトの動作制御方法 |
JPS61296409A (ja) * | 1985-06-25 | 1986-12-27 | Fanuc Ltd | ロボツト制御方式 |
JPS629894A (ja) * | 1985-07-08 | 1987-01-17 | 石川県 | 形状認識装置による最適保持位置決定法 |
JPS6257004A (ja) * | 1985-09-05 | 1987-03-12 | Fanuc Ltd | ロボツト用視覚センサ |
EP0222072A3 (en) * | 1985-10-11 | 1989-03-22 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
US4737845A (en) * | 1985-10-11 | 1988-04-12 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
EP0222072A2 (en) * | 1985-10-11 | 1987-05-20 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
US5189707A (en) * | 1985-10-11 | 1993-02-23 | Hitachi, Ltd. | Method of loading surface mounted device and an apparatus therefor |
JPS62165206A (ja) * | 1986-01-17 | 1987-07-21 | Hitachi Metals Ltd | ロボツト視覚装置におけるワ−ク姿勢決定方法 |
JPS62286189A (ja) * | 1986-06-04 | 1987-12-12 | Omron Tateisi Electronics Co | 高速視覚認識装置 |
JPS62292377A (ja) * | 1986-06-10 | 1987-12-19 | 日産自動車株式会社 | 散積み物体をロボツトハンドでピツクアツプするための視覚システム |
JPS6334093A (ja) * | 1986-07-29 | 1988-02-13 | シャープ株式会社 | 視覚装置 |
JPS6344282A (ja) * | 1986-08-11 | 1988-02-25 | Matsushita Electric Works Ltd | 実装部品の外観検査方法 |
JPH04255077A (ja) * | 1990-08-13 | 1992-09-10 | Siemens Ag | 像分析方法 |
JPH08112021A (ja) * | 1994-08-19 | 1996-05-07 | Iseki & Co Ltd | 収穫ロボットの果実識別装置 |
US6970802B2 (en) | 2002-12-20 | 2005-11-29 | Fanuc Ltd | Three-dimensional measuring device |
US8395673B2 (en) | 2003-03-25 | 2013-03-12 | Fujitsu Limited | Shooting device and method with function for guiding an object to be shot |
JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
WO2009028489A1 (ja) * | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
JP5458885B2 (ja) * | 2007-08-30 | 2014-04-02 | 株式会社安川電機 | 物体検出方法と物体検出装置およびロボットシステム |
JP2014516017A (ja) * | 2011-06-07 | 2014-07-07 | ケアフュージョン・ジャーマニー・326・ゲーエムベーハー | 自動保管設備に保管するばら売り商品の分離装置 |
JP2013111672A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
JP5736622B1 (ja) * | 2014-05-01 | 2015-06-17 | 機械設計中畑株式会社 | 検出装置およびこの装置を具えたマニプレータの動作制御 |
US10759057B2 (en) | 2017-10-31 | 2020-09-01 | Kabushiki Kaisha Toshiba | Inspection system |
US11485019B2 (en) | 2017-10-31 | 2022-11-01 | Kabushiki Kaisha Toshiba | Inspection system |
EP3744484A4 (en) * | 2018-01-23 | 2021-03-17 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, AND INFORMATION PROCESSING SYSTEM |
US11420335B2 (en) | 2018-01-23 | 2022-08-23 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
WO2019235210A1 (ja) * | 2018-06-04 | 2019-12-12 | アズビル株式会社 | 2次元位置姿勢推定装置及び2次元位置姿勢推定方法 |
JP2019211968A (ja) * | 2018-06-04 | 2019-12-12 | アズビル株式会社 | 2次元位置姿勢推定装置及び2次元位置姿勢推定方法 |
JP2020075340A (ja) * | 2018-11-08 | 2020-05-21 | 株式会社東芝 | 作動システム、制御装置、およびプログラム |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
JP2021016910A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社ファースト | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
JP2023047279A (ja) * | 2021-09-24 | 2023-04-05 | 株式会社ダイヘン | 溶接線検出システム |
Also Published As
Publication number | Publication date |
---|---|
JPH0425583B2 (ja) | 1992-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPS6015780A (ja) | ロボット制御装置 | |
US4575304A (en) | Robot system for recognizing three dimensional shapes | |
US11117262B2 (en) | Intelligent robots | |
JP5290324B2 (ja) | 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
US4611292A (en) | Robot vision system | |
Frese et al. | Off-the-shelf vision for a robotic ball catcher | |
CN102448679B (zh) | 至少一个物体以高精度定位到空间最终位置的方法和*** | |
CN108603936B (zh) | 激光扫描***、激光扫描方法、非暂时性计算机可读存储介质 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
US4044377A (en) | Video target locator | |
EP0634246B1 (en) | Robot cutting system | |
CN105651177A (zh) | 一种适用于测量复杂结构的测量*** | |
CN109559355A (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
CN113706454B (zh) | 一种基于配准的工件偏移检测的方法及喷涂装置 | |
JP2003136465A (ja) | 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ | |
US10037865B2 (en) | System and method for providing real-time visual feedback to control multiple autonomous nano-robots | |
JP2686685B2 (ja) | ロボットによる物体操作のための能動的カメラ探索装置 | |
JP7183372B1 (ja) | マーカ検出装置及びロボット教示システム | |
Konno et al. | Development of a high speed vision system for mobile robots | |
GB2240623A (en) | An imaging process for detecting the shape of three dimensional objects | |
JPH0413115B2 (ja) | ||
JPH0428516B2 (ja) | ||
US20230395417A1 (en) | Device and method for imaging an object in at least two views | |
JP2001129669A (ja) | プラズマ溶接装置 | |
JP2024033308A (ja) | ロボットシステム、および、ロボットシステムの制御方法 |