JPH05329793A - 視覚センサ - Google Patents

Abstract

(57)【要約】 【目的】 視覚センサに関し、視覚センサの分解能と計
測可能範囲を可変にし、かつセンサ本体を小型にするこ
とを目的とする。 【構成】 視覚センサは、カメラ（３）を装着した第１
ロボット（１）と、カメラまたは投光器（７）を装着し
た第２ロボット（５）と、第１および第２ロボットをそ
れぞれ動作させる第１および第２ロボット制御装置
（２）および（６）と、第１および第２ロボット制御装
置の各々と通信する画像処理手段（４）とからなり、第
１ロボット制御装置にて計測したカメラ（３）の位置と
方向および第１ロボット原点位置の各データを、第２ロ
ボット制御装置にて計測したカメラまたは投光器（７）
の位置と方向および第２ロボット原点位置の各データ
を、それぞれ受信し、受信したデータから計測対象物の
一点（Ｐ）の位置を計算しそのデータをロボット制御装
置２または６に送信する画像処理手段とから構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＡＤ／ＣＡＭ、ＣＧ
（コンピュータ・グラフィックス）、ロボット等の各産
業分野において使用される視覚センサに関し、特に生産
ラインにおける物品ハンドリング用ロボット、またはア
ーク溶接用ロボットに装着される物体の３次元位置を計
測する視覚センサに関する。

【０００２】

【従来の技術】ロボットは人間の機能の代行を目的とし
て設計される機械であり、そのロボットの重要な要素に
はセンサがある。ロボットセンサは内界センサと外界セ
ンサとに分類され、内界センサはロボット自身の内部状
態すなわち各要素の相対位置を計測し、それによって自
己の運動状態を検知するセンサであり、外界センサはロ
ボットが活動する環境の様子を検知するために使用され
るものである。この外界センサは、さらに視覚、聴覚、
触覚および力覚等に分類される。このようなロボットの
外界センサとしての視覚センサに関し、近年多くの研究
開発が行われてきた。

【０００３】ロボットの視覚の１つの重要な特徴は、対
象物の三次元的構造の特徴の抽出がし易いセンサシステ
ムが構成されていることである。一般的に、ロボット制
御において、対象物とその背景との境界に対応する輪郭
線あるいは対象物の稜線を抽出し線画としての構造を表
現した後、ロボットの挙動を決定する上で必要な情報を
抽出することが多い。この線画像を得るため、視覚セン
サの構成法として、明暗法、距離法、光切断法等があ
る。明暗法は、ビジコン等の撮像管やＣＣＤ等の半導体
カメラを用い、多面体がある照明下にあるときに、稜線
の所でその物体面からの反射光の強度が急激に変化する
ことを利用し、カメラで捕えた撮像のビデオ出力を空間
微分したときの微分値が高くなる点を接続することによ
り線画像を求める方法である。

【０００４】距離法は、なんらかの手段で基準点から対
象物の表面までの距離の分布を求め、その距離分布を手
掛かりに稜線等を求める方法である。光切断法は、対象
物の特徴を知れば十分という場合、あるパターンの光を
対象に投影しそのパターンの変形状態から対象物の特徴
を検知する方法である。対象となる物体の３次元位置を
計測する視覚センサの多くは、三角測量の原理を利用し
たものであり、距離法および光切断法も、三角測量の原
理を利用したものである。さらにこれらはステレオビジ
ョン法または投光法と呼ばれるものに大別される。

【０００５】図５は、ステレオビジョン法の原理を説明
する図である。工業用テレビ（ＩＴＶ）カメラ等の画像
撮影装置２台を並べて配置する。図中、点Ｆ１、Ｆ２は
それぞれ２台のカメラのレンズ中心（焦点に相当する）
である。空間中の点Ｐが左側のカメラの画像Ｃ１上でｐ
１（ｕ１，ｖ１）なる点に像を結び、右側のカメラの画
像Ｃ２上でｐ２（ｕ２，ｖ２）なる点に像を結んだと仮
定すると、点Ｐは２つの直線Ｌ１とＬ２の交点として求
めることができる。ここで、Ｌ１は点Ｆ１と点ｐ１を通
る直線であり、Ｌ２は点Ｆ２と点ｐ２を通る直線であ
る。

【０００６】投光法は、ステレオビジョンの一方のカメ
ラの代わりにスポット状またはスリット状の光を投影
し、その反射光をカメラで観測する方法である。スポッ
ト光を投影する方法は、スポット光を観測対照物に投影
し、その反射光をカメラで観測することにより、投影点
の位置をスポット光の作る直線とカメラの視線との交点
として求める方法である。スリット光を投影する方法
は、スポット光の代わりにスリット状の光を投影し、ス
リット状の光を投影した線上の点の位置をこのスリット
状の光の作る平面とカメラの視線との交点として求める
方法である。

【０００７】すなわち、三角測量に基づく視覚センサの
計測原理は、ステレオビジョン法では一方のカメラ、投
光法では投光器の光をそれぞれ投影することにより、測
定対象点の位置が三次元空間内の特定の直線、平面上に
それぞれ拘束される。この点を別方向からステレオビジ
ョン法では他方のカメラで、投光法では１台のカメラで
計測すると、画像上の点位置に対応して視線の位置が決
定される。先に求まった拘束直線または拘束平面と、視
線の交点を計算することにより対象点の三次元位置を求
めることができる。ただし、上記方法により三次元位置
を計算するためには、ステレオビジョン法では２台のカ
メラ同士の相対的位置と方向が、投光法では１台のカメ
ラと投光するスポット光またはスリット光の位置と方向
の関係が既知であることが前提となる。

【０００８】このため、既存の視覚センサではステレオ
ビジョン法では２台のカメラ同士、投光法では１台のカ
メラと投光器の相対的位置および方向を物理的に固定
し、その状態で位置が既知の対象物を観測して相対的位
置や方向等の三次元位置の計算に必要なパラメータを予
め求める操作、すなわちキャリブレーション（後述す
る）を行う。実際の測定時は、ステレオビジョン法では
２台のカメラ同士、投光法では１台のカメラと投光器の
相対的位置をキャリブレーション時と同じに保った状態
で計測を行うことが必要である。この相対的位置関係が
キャリブレーション時と変化した場合は、再度キャリブ
レーションを実行しパラメータを求めなければならな
い。

【０００９】

【発明が解決しようとする課題】図６は、視覚センサの
計測可能範囲の説明図であり、Ａはカメラ同士の間隔ま
たはカメラと投光器の間隔が広い場合、Ｂは同間隔が狭
い場合を示す。図示されるように、Ａは計測可能範囲が
上下方向に狭く、左右方向に広く、Ｂは計測可能範囲が
上下方向に広く、左右方向に狭い。視覚センサにおける
奥行き方向の計測精度としての分解能は、カメラ同士ま
たはカメラと投光器の相対的位置関係によって決定され
る。また、分解能と計測可能範囲は原理的に相反する関
係にあり、分解能は計測可能範囲が広ければ広い程低下
する。すなわち、分解能を上げると計測可能範囲は狭く
なり、計測可能範囲を広くすると分解能は下がる。従っ
て分解能と計測可能範囲が異なる測定を行うには別々の
視覚センサを用意しなければならないという問題があ
る。

【００１０】しかるに、３次元の視覚センサはロボット
の手先部に取り付けて使用されることが多いため、セン
サ本体の大きさはワークや周辺装置と干渉しないように
小型であることが望まれる。しかしながら従来技術によ
る視覚センサにおいては、ステレオビジョン法では２台
のカメラが、投光法ではカメラと投光器が一体となって
いるため、センサ本体が大きくなってしまい、また高分
解能を実現するためには、ステレオビジョン法では２台
のカメラ間を、投光法ではカメラと投光器の間を、それ
ぞれ離す必要が生じるため、センサ本体が大きくなって
しまい、装置の小型化に相反するという問題がある。

【００１１】本発明は上述の問題点に鑑み、同一視覚セ
ンサ内で視覚センサの分解能と計測可能範囲を可変で
き、かつセンサ本体が小型な視覚センサの提供を目的と
するものである。

【００１２】

【課題を解決するための手段】図１は本発明の構成図で
ある。前記目的を達成する本発明の視覚センサは、２台
のロボット１、５と一方のロボット１の所定箇所に取り
付けられたカメラ３と、他方のロボット５の所定箇所に
取り付けられたカメラまたは投光器７と、ロボット１を
動作させるロボット制御装置２と、ロボット５を動作さ
せるロボット制御装置６と、ロボット制御装置２および
ロボット制御装置６の各々と通信する画像処理手段４と
からなる計測対象物の一点Ｐの位置を計測する視覚セン
サであって、ロボット制御装置２はカメラ３の位置と方
向のデータを計測しそれらのデータおよびロボット１の
原点位置のデータを画像処理手段４に送信し、ロボット
制御装置６はカメラまたは投光器７の位置と方向のデー
タを計測しそれらのデータおよびロボット５の原点位置
のデータを画像処理手段４に送信し、画像処理手段４は
ロボット制御装置２およびロボット制御装置６から送信
されたデータから計測対象物の一点Ｐの位置を計算し、
ロボット制御装置２またはロボット制御装置６に一点Ｐ
の位置のデータを送信し、カメラ３の位置と方向あるい
はカメラまたは投光器７の位置と方向をそれぞれロボッ
ト制御装置２あるいはロボット制御装置６によって制御
することにより視覚センサの分解能と計測可能範囲を可
変にする。

【００１３】

【作用】本発明の視覚センサは、２台のロボットの一方
のロボットにカメラ３を他方のロボットにカメラまたは
投光器７を装着し、それらの位置と方向のデータをロボ
ット１、５のそれぞれのロボット制御装置２、６により
計測し、ロボット１、５の原点位置のデータと共に画像
処理手段４に送信し、画像処理手段４は計測対象物の一
点Ｐの位置のデータを計算して求めたデータを各々のロ
ボット１、５のロボット制御装置２、６に送信し、一方
のロボット１のカメラ３の位置と方向あるいは他方のロ
ボット５のカメラまたは投光器７の位置と方向をそれぞ
れロボット制御装置２あるいは６によって制御すること
により視覚センサの分解能と計測可能範囲を可変にす
る。

【００１４】

【実施例】前述の図１を参照しつつ本発明の実施例を詳
細に説明する。図１において、符号１と５はロボットを
示し、符号２と６は、それぞれのロボット１とロボット
５の制御装置を示す。各ロボットは各制御装置内のプロ
グラムにより、各ロボットの動作範囲内の任意の位置お
よび方向（姿勢）に手先を位置決めすることができる。
ロボット１の手先部にはＣＣＤカメラ３が装着され、投
影されたスリット光の画像を撮影する。一方、ロボット
５の手先部に装着されたスリット光投光器７はスリット
状のレーザ光をワーク（図示せず）に投影する。カメラ
からの映像信号は画像処理手段４に入力され、画像デー
タとして処理される。各ハンド部に装着されたＣＣＤカ
メラ３およびスリット光投光器７は、それぞれのロボッ
ト制御装置２および６により位置決めされる。

【００１５】スリット光投光器７は、図示していないレ
ーザ光源、シリンドリカルレンズおよびレーザ電源から
構成され、レーザ光源から出力されるレーザ光をシリン
ドリカルレンズでスリット状の光にして対象物に投光す
る。レーザ電源はレーザ光源を駆動するための電源装置
である。

【００１６】画像処理手段４と２台のロボット制御装置
２および６との間ではそれぞれシリアル回線等によるデ
ータ通信が可能である。この通信機能を利用して画像処
理手段４とロボット制御装置２および６との間で以下の
処理がそれぞれ実行される。 （１）ロボット１とＣＣＤカメラ３の現在位置のデータ
をロボット制御装置２を介し、ロボット５とスリット投
光器７の現在位置のデータをロボット制御装置６を介し
て画像処理手段４に送信する。 （２）画像処理手段４はＣＣＤカメラ３の現在位置の信
号からカメラの焦点と像を結ぶ線の視覚センサの基準座
標系における形状データを求め、さらにスリット投光器
７の現在位置信号からスポット光の作る直線またはスリ
ット光の作る平面の前記基準座標系における形状データ
を求める。 （３）画像処理手段４から目標位置のデータをロボット
制御装置２または６に送信し、それらのデータによりロ
ボット制御装置２または６は、ロボット１とＣＣＤカメ
ラ３またはロボット５とスリット投光器７をそれぞれ指
定された位置に移動する。

【００１７】図２はスリット光方式の原理を示す図であ
る。図中、点Ｆ１はスリット光投光装置の光源位置、点
Ｆ２はカメラのレンズの中心位置を表す。点Ｆ１からス
リット状の光を対象物に投影し、これをスリット光とは
別の方向からカメラで観測すると、画像Ｃ２のような像
が得られる。スリット光上の点Ｐの位置がカメラの画像
Ｃ２上で点ｐ（ｕ，ｖ）に像を結んだとすれば、点Ｐは
三次元空間内で点Ｆ２と点ｐを通る視線Ｌ２とスリット
光の作る平面との交点である。したがって、この視線Ｌ
２とスリット光の作る平面の交点を求めることにより、
点Ｐの三次元位置が計算できる。

【００１８】次に、計測のための前提条件について以下
に説明する。最初に、２台のロボット同士の相対的位置
と方向の関係を予め求めておく。これにより、一方のロ
ボットのベース座標系での位置および方向が、他方のロ
ボットのベース座標系での位置および方向に変換可能と
なる。次に、２台のロボットを適当な位置に位置決めし
た状態で視覚センサのキャリブレーションを行う。これ
により、そのロボットの現在位置におけるカメラとスリ
ット光投光器間の位置関係が求まる。また、この時の各
ロボットの現在位置から、それぞれのロボットの手先に
対するカメラと投光器の位置および方向の関係を求める
ことができる。この手先に対する位置と方向の関係が既
知であれば、カメラと投光器の位置関係は２台のロボッ
トの現在位置から計算によって求めることができる。し
たがって、ロボットを動かしてカメラとスリット光投光
器間の相対位置を変化させた場合でも、各ロボットの現
在位置からスリット光の平面の位置と向き、カメラの位
置と向きを求めることが可能となり、三次元位置を求め
ることができる。

【００１９】次に、奥行き方向の分解能と計測可能範囲
について以下に説明する。図３はカメラとスリット光投
光器の位置関係を示す平面図である。図中、以下の記号
は、それぞれ、Ａは、カメラのレンズの中心（焦点）、
Ｂは、スリット光投光器の光源位置、Ｃは、カメラのス
クリーン、Ｌ１は、スリット光、ｎは、Ｙ軸方向のカメ
ラの画素数（カメラの分解能）、ｌｉは、画像上の点ｐ
ｉ（ｕｉ）を通る視線でｉ＝１〜ｎ（ｎは画素数）、ｄ
ｌは、Ｌ１とｌ１の交点、すなわちｄ１（ｘ１，ｙ
１）、ｄｎは、Ｌ１とｌｎの交点、すなわちｄｎ（ｘ
ｎ，ｙｎ）、を示す。また、図中のＸ軸は、カメラレン
ズの光軸方向と一致する。

【００２０】カメラの視野は、２直線ｌ１とｌｎで囲ま
れた範囲である。スリット光Ｌ１とカメラの視野範囲
は、２点ｄ１とｄｎで交わるので、４直線ｌ１、ｌｎ、
ｙ１、ｙｎで囲まれた領域が測定可能範囲である。図か
ら明白なようにスリット光Ｌ１とレンズ光軸（Ｘ軸）と
のなす角度θが小さい程、すなわちカメラとスリット光
の間隔を近づける程測定可能範囲は広くなり、逆にカメ
ラとスリット光の間隔を離し、前記θが大きくなるよう
にすれば測定可能範囲が狭くなる。したがって、カメラ
と投光器を別々のロボットの手先部に装着すれば、ロボ
ットを動かすことによって、カメラと投光器の相対的位
置を変化させ測定可能範囲を広くしたり、狭くしたりす
ることが可能である。

【００２１】次に、奥行き方向の測定可能範囲Ｄは、 Ｄ＝｜ｘｌ−ｘｎ｜ であり、Ｙ軸方向のカメラの画素数がｎであるから、視
線の分解能もｎであり、奥行き方向の分解能ｒは平均
で、 ｒ＝Ｄ／ｎ＝｜ｘｌ−ｘｎ｜／ｎ となる。

【００２２】カメラの分解能ｎは、通常のＣＣＤカメラ
で２５６から５１２の範囲の値であり、この値は使用す
るカメラにより決定されるからｎの値を変えることはで
きない。したがって、奥行き方向の分解能ｒを向上させ
るには上式のＤを小さく、すなわち前記θを大きくすれ
ばよい。つまり、スリット光Ｌ１とレンズ光軸（Ｘ軸）
のなす角度θが大きくなるようにカメラとスリット光投
光器の間隔を離せばよい。例えば、図のＢ’の位置にス
リット光投光器をロボットによって移動させると、計測
可能範囲が約１／２になるが、奥行き方向の分解能は２
倍となる。

【００２３】このように、カメラとスリット光投光器を
別々のロボットに搭載し、ロボットを動かすことにより
カメラとスリット光投光器の相対位置を変えれば、同一
のセンサで異なる計測範囲、異なる計測精度で三次元位
置の計測を行うことが可能となる。

【００２４】次に、図１において、投光器７によるスリ
ット光が投影される対象物上の点Ｐのカメラ３の画像上
での座標値ｐ（ｕ，ｖ）が既知のとき、点ｐ（ｕ，ｖ）
に対応する３次元直行座標系上での点Ｐ（Ｘ，Ｙ，Ｚ）
を求める方法について以下に簡単に説明する。点Ｐと点
ｐとの関係は、次式で与えられる。

【数１】 ここで、式（１）の右辺の左側の行列Ｃの各成分 c11〜
c34 をパラメータと称する。また、ｈは同次変換のスケ
ール因子である。式（１）より次の３式が導かれる。 hu＝c11 X ＋c12 Y ＋c13 Z ＋c14 …（２） hv＝c21 X ＋c22 Y ＋c23 Z ＋c24 …（３） ｈ＝c31 X ＋c32 Y ＋c33 Z ＋c34 …（４）

【００２５】さらに、式（２）と式（４）から、および
式（２）と式（４）から次の２式が導かれる。 (c11−u c31)X ＋(c12−u c32)Y ＋(c13−u c33)Z ＋(c14−u c34)＝０ …（５） (c21−v c31)X ＋(c22−v c32)Y ＋(c23−v c33)Z ＋(c24−v c34)＝０ …（６） 式（５）と式（６）は画像メモリ上の画素を通る視線の
方程式を表す。しかるに、スリット光の平面の方程式は
次式で与えられる。 aX＋bY＋cZ＋ｄ＝０ …（７） これらの式（５），式（６），式（７）より点Ｐ（Ｘ，
Ｙ，Ｚ）を求めることができる。ここで、ａ，ｂ，ｃ，
ｄは係数である。

【００２６】次に、前述した視覚センサのキャリブレー
ションについて以下に説明する。視覚センサのキャリブ
レーションは３つに大別される。すなわち、 （１）カメラ本体のキャリブレーション：式（１）の行
列Ｃの各成分であるパラメータ c11〜c34 を求める。 （２）スリット光のキャリブレーション：スリット光を
作る平面の方程式を求める。 （３）ロボットのキャリブレーション：視覚センサの基
準座標系原点（Ａ）と各ロボットの座標系原点（Ｏ，
Ｏ')とカメラ本体およびスリット光の位置の位置関係を
求める。

【００２７】カメラ本体のキャリブレーションにおい
て、パラメータ c11〜c34 は、式（５），式（６）と、
点Ｐ（Ｘ，Ｙ，Ｚ）の異なる６点に対応する画像上の点
ｐ（ｕ，ｖ）が既知であれば、求めることができる。

【００２８】スリット光のキャリブレーションにおい
て、式（７）で表されるスリット光の作る平面を切断す
る２つの平面とスリット光平面とのそれぞれの交線を成
す点列を求め、それらの点列に対し最小二乗法で平面を
当てはめて、式（７）における係数ａ，ｂ，ｃ，ｄを求
めてスリット光平面の方程式を決定する。

【００２９】図４は２台のロボットによる視覚センサの
キャリブレーションの説明図である。基準座標系原点
（Ａ）と各ロボットの座標系原点（Ｏ，Ｏ')とカメラ本
体およびスリット光の位置の位置関係には、座標変換行
列Ｈ、Ｖ、ＲにおいてＨＶ＝Ｒの関係がある。この関係
式からＨとＲを計測して求めた後Ｖを求めることができ
る。すなわち、点Ａと点Ｏに対して行列Ｒ１、点Ａと点
Ｏ’に対して行列Ｒ２、点Ｏと一方のロボットのハンド
部のカメラの位置に対して行列Ｈ１、点Ｏ’と他方のロ
ボットのハンド部のスリット光の位置に対して行列Ｈ２
を求め、次に点Ａと一方のロボットのハンド部のカメラ
の位置に対してＶ１、点Ａと他方のロボットのハンド部
のスリット光の位置に対してＶ２を求めることができ
る。

【００３０】上記実施例では、スリット状の光を投影す
る投光装置を用いる場合について説明したが、２台のカ
メラを用いるステレオビジョン方式やスポット状の光を
投影する方式の場合も同様にロボットを動かして２つの
装置の間隔を変えることにより視覚センサの計測可能範
囲と計測精度（分解能）とを可変することが可能であ
る。

【００３１】

【発明の効果】以上説明したように、本発明の三角測量
の原理を用いた視覚センサによれば、２台のカメラまた
はカメラと投光器をそれぞれ別のロボットに搭載するこ
とにより、両者の相対的位置関係を可変することがで
き、かつロボットの現在位置情報から上記相対位置関係
を求めることが可能である。それゆえ、計測対象物に応
じて計測可能範囲と奥行き方向の分解能とが異なる計測
を同一の視覚センサによって計測可能となる。さらに、
センサ本体を２つのロボットに別々に搭載するのでセン
サ本体の大きさを小型にすることができる。

【図面の簡単な説明】

【図１】本発明の構成図である。

【図２】スリット光方式の原理を示す図である。

【図３】カメラとスリット光投光器の位置関係を示す平
面図である。

【図４】２台のロボットによる視覚センサのキャリブレ
ーションの説明図である。

【図５】ステレオビジョン法の原理を説明する図であ
る。

【図６】視覚センサの計測可能範囲の説明図であり、Ａ
は間隔が広い場合、Ｂは間隔が狭い場合を示す。

【符号の説明】

１、５…ロボット ２、６…ロボット制御装置 ３…カメラ ４…画像処理手段 ７…カメラまたはスリット光投光器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 ４１５ 9287−5Ｌ 15/64 Ｍ 9073−5Ｌ // Ｂ２３Ｑ 17/24 Ｂ 8612−3Ｃ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ロボットの所定箇所に装着した第１カメ
   ラ（３）と、該第１カメラ（３）の付近に装着した第２
   カメラまたは投光器（７）と、計測対象物体上の一点
   （Ｐ）の位置が前記第１カメラの視線および前記第２カ
   メラの視線または前記投光器の照射光線の交点であると
   き、前記第１カメラの位置と方向のデータおよび前記第
   ２カメラまたは投光器の位置と方向のデータを計測し、
   対象物体の前記一点Ｐの位置を計算し、前記ロボットを
   動作させるロボット制御手段とからなる視覚センサにお
   いて、 前記ロボットは、前記第１カメラを装着した第１ロボッ
   ト（１）と該第１ロボットと離れて位置し前記第２カメ
   ラまたは投光器を装着した第２ロボット（５）とからな
   り、さらに、 前記第１カメラの位置と方向のデータを計測し、該デー
   タおよび前記第１ロボットの原点位置のデータを画像処
   理手段（４）に送信し、前記第１ロボットを動作させる
   第１ロボット制御装置（２）と、 前記第２カメラまたは投光器の位置と方向のデータを計
   測し、該データおよび前記第２ロボットの原点位置のデ
   ータを前記画像処理手段（４）に送信し、前記第２ロボ
   ットを動作させる第２ロボット制御装置（６）と、 前記各々のデータから前記一点Ｐの位置を計算し、該一
   点Ｐの位置のデータを前記第１ロボット制御装置または
   前記第２ロボット制御装置に送信する前記画像処理手段
   （４）と、を備えることを特徴とする視覚センサ