JPH05329793A - Visual sensor - Google Patents
Visual sensorInfo
- Publication number
- JPH05329793A JPH05329793A JP4139100A JP13910092A JPH05329793A JP H05329793 A JPH05329793 A JP H05329793A JP 4139100 A JP4139100 A JP 4139100A JP 13910092 A JP13910092 A JP 13910092A JP H05329793 A JPH05329793 A JP H05329793A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- camera
- data
- light
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ＣＡＤ／ＣＡＭ、ＣＧ
（コンピュータ・グラフィックス）、ロボット等の各産
業分野において使用される視覚センサに関し、特に生産
ラインにおける物品ハンドリング用ロボット、またはア
ーク溶接用ロボットに装着される物体の３次元位置を計
測する視覚センサに関する。The present invention relates to CAD / CAM, CG
The present invention relates to a visual sensor used in various industrial fields such as (computer graphics) and robots, and more particularly to a visual sensor for measuring the three-dimensional position of an object mounted on an article handling robot or arc welding robot in a production line. ..
【０００２】[0002]
【従来の技術】ロボットは人間の機能の代行を目的とし
て設計される機械であり、そのロボットの重要な要素に
はセンサがある。ロボットセンサは内界センサと外界セ
ンサとに分類され、内界センサはロボット自身の内部状
態すなわち各要素の相対位置を計測し、それによって自
己の運動状態を検知するセンサであり、外界センサはロ
ボットが活動する環境の様子を検知するために使用され
るものである。この外界センサは、さらに視覚、聴覚、
触覚および力覚等に分類される。このようなロボットの
外界センサとしての視覚センサに関し、近年多くの研究
開発が行われてきた。2. Description of the Related Art A robot is a machine designed for the purpose of acting as a human, and a sensor is an important element of the robot. The robot sensor is classified into an internal sensor and an external sensor.The internal sensor is a sensor that measures the internal state of the robot itself, that is, the relative position of each element, and detects the motion state of itself, and the external sensor is the robot. It is used to detect the state of the environment in which a person is active. This external sensor is
It is classified into tactile sense and force sense. In recent years, much research and development has been conducted on the visual sensor as an external sensor of such a robot.
【０００３】ロボットの視覚の１つの重要な特徴は、対
象物の三次元的構造の特徴の抽出がし易いセンサシステ
ムが構成されていることである。一般的に、ロボット制
御において、対象物とその背景との境界に対応する輪郭
線あるいは対象物の稜線を抽出し線画としての構造を表
現した後、ロボットの挙動を決定する上で必要な情報を
抽出することが多い。この線画像を得るため、視覚セン
サの構成法として、明暗法、距離法、光切断法等があ
る。明暗法は、ビジコン等の撮像管やＣＣＤ等の半導体
カメラを用い、多面体がある照明下にあるときに、稜線
の所でその物体面からの反射光の強度が急激に変化する
ことを利用し、カメラで捕えた撮像のビデオ出力を空間
微分したときの微分値が高くなる点を接続することによ
り線画像を求める方法である。One of the important visual features of a robot is that a sensor system is constructed which facilitates the extraction of the features of the three-dimensional structure of an object. Generally, in robot control, after extracting the contour line corresponding to the boundary between the object and its background or the ridgeline of the object and expressing the structure as a line drawing, the information necessary for determining the behavior of the robot is provided. Often extracted. In order to obtain this line image, there are a light-dark method, a distance method, a light section method, etc. as a method of configuring the visual sensor. The light-dark method uses an image pickup tube such as a vidicon or a semiconductor camera such as a CCD, and utilizes the fact that when the polyhedron is under illumination, the intensity of the reflected light from the object surface changes rapidly at the ridgeline. , A method of obtaining a line image by connecting points at which the differential value becomes high when the video output of the image captured by the camera is spatially differentiated.
【０００４】距離法は、なんらかの手段で基準点から対
象物の表面までの距離の分布を求め、その距離分布を手
掛かりに稜線等を求める方法である。光切断法は、対象
物の特徴を知れば十分という場合、あるパターンの光を
対象に投影しそのパターンの変形状態から対象物の特徴
を検知する方法である。対象となる物体の３次元位置を
計測する視覚センサの多くは、三角測量の原理を利用し
たものであり、距離法および光切断法も、三角測量の原
理を利用したものである。さらにこれらはステレオビジ
ョン法または投光法と呼ばれるものに大別される。The distance method is a method in which the distribution of the distance from the reference point to the surface of the object is obtained by some means, and the ridge line or the like is obtained using the distance distribution as a clue. The light-section method is a method in which when it is sufficient to know the characteristics of the object, the light of a certain pattern is projected onto the object and the characteristics of the object are detected from the deformed state of the pattern. Many of the visual sensors that measure the three-dimensional position of a target object use the principle of triangulation, and the distance method and the light-section method also use the principle of triangulation. Furthermore, these are roughly classified into what is called a stereo vision method or a projection method.
【０００５】図５は、ステレオビジョン法の原理を説明
する図である。工業用テレビ（ＩＴＶ）カメラ等の画像
撮影装置２台を並べて配置する。図中、点Ｆ１、Ｆ２は
それぞれ２台のカメラのレンズ中心（焦点に相当する）
である。空間中の点Ｐが左側のカメラの画像Ｃ１上でｐ
１（ｕ１，ｖ１）なる点に像を結び、右側のカメラの画
像Ｃ２上でｐ２（ｕ２，ｖ２）なる点に像を結んだと仮
定すると、点Ｐは２つの直線Ｌ１とＬ２の交点として求
めることができる。ここで、Ｌ１は点Ｆ１と点ｐ１を通
る直線であり、Ｌ２は点Ｆ２と点ｐ２を通る直線であ
る。FIG. 5 is a diagram for explaining the principle of the stereo vision method. Two image capturing devices such as an industrial television (ITV) camera are arranged side by side. In the figure, points F1 and F2 are the lens centers of the two cameras (corresponding to the focal points).
Is. The point P in space is p on the image C1 of the left camera
Assuming that an image is formed at a point 1 (u1, v1) and an image is formed at a point p2 (u2, v2) on the image C2 of the camera on the right side, the point P is the intersection of two straight lines L1 and L2. You can ask. Here, L1 is a straight line passing through the points F1 and p1, and L2 is a straight line passing through the points F2 and p2.
【０００６】投光法は、ステレオビジョンの一方のカメ
ラの代わりにスポット状またはスリット状の光を投影
し、その反射光をカメラで観測する方法である。スポッ
ト光を投影する方法は、スポット光を観測対照物に投影
し、その反射光をカメラで観測することにより、投影点
の位置をスポット光の作る直線とカメラの視線との交点
として求める方法である。スリット光を投影する方法
は、スポット光の代わりにスリット状の光を投影し、ス
リット状の光を投影した線上の点の位置をこのスリット
状の光の作る平面とカメラの視線との交点として求める
方法である。The projection method is a method of projecting spot-like or slit-like light instead of one of the cameras for stereo vision and observing the reflected light with the camera. The method of projecting the spot light is to project the spot light on an observation target object and observe the reflected light with a camera to obtain the position of the projection point as the intersection of the straight line made by the spot light and the line of sight of the camera. is there. The method of projecting slit light is to project slit light instead of spot light, and use the position of the point on the line where the slit light is projected as the intersection of the plane created by this slit light and the line of sight of the camera. It is a method of seeking.
【０００７】すなわち、三角測量に基づく視覚センサの
計測原理は、ステレオビジョン法では一方のカメラ、投
光法では投光器の光をそれぞれ投影することにより、測
定対象点の位置が三次元空間内の特定の直線、平面上に
それぞれ拘束される。この点を別方向からステレオビジ
ョン法では他方のカメラで、投光法では１台のカメラで
計測すると、画像上の点位置に対応して視線の位置が決
定される。先に求まった拘束直線または拘束平面と、視
線の交点を計算することにより対象点の三次元位置を求
めることができる。ただし、上記方法により三次元位置
を計算するためには、ステレオビジョン法では２台のカ
メラ同士の相対的位置と方向が、投光法では１台のカメ
ラと投光するスポット光またはスリット光の位置と方向
の関係が既知であることが前提となる。That is, the measurement principle of a visual sensor based on triangulation is that the position of a measurement target point is specified in a three-dimensional space by projecting light from one camera in the stereo vision method and light from a light projector in the light projection method. Are constrained respectively on the straight line and the plane. When this point is measured from another direction by the other camera in the stereo vision method and by one camera in the light projection method, the position of the line of sight is determined corresponding to the point position on the image. The three-dimensional position of the target point can be obtained by calculating the intersection of the line of sight with the previously obtained constraining straight line or constraining plane. However, in order to calculate the three-dimensional position by the above method, the relative position and direction of the two cameras in the stereo vision method and the spot light or slit light projected by the one camera in the light projection method are used. It is assumed that the relationship between position and direction is known.
【０００８】このため、既存の視覚センサではステレオ
ビジョン法では２台のカメラ同士、投光法では１台のカ
メラと投光器の相対的位置および方向を物理的に固定
し、その状態で位置が既知の対象物を観測して相対的位
置や方向等の三次元位置の計算に必要なパラメータを予
め求める操作、すなわちキャリブレーション（後述す
る）を行う。実際の測定時は、ステレオビジョン法では
２台のカメラ同士、投光法では１台のカメラと投光器の
相対的位置をキャリブレーション時と同じに保った状態
で計測を行うことが必要である。この相対的位置関係が
キャリブレーション時と変化した場合は、再度キャリブ
レーションを実行しパラメータを求めなければならな
い。Therefore, in the existing visual sensor, the relative position and direction of two cameras are physically fixed in the stereo vision method, and one camera and the projector are physically fixed in the light projection method, and the positions are known in that state. The operation of observing the target object and obtaining the parameters necessary for the calculation of the three-dimensional position such as the relative position and the direction in advance, that is, the calibration (described later) is performed. At the time of actual measurement, it is necessary to perform measurement in a state where the relative positions of the two cameras in the stereo vision method and between the two cameras in the light projection method are kept the same as in the calibration. When this relative positional relationship changes from that at the time of calibration, calibration must be performed again to obtain the parameters.
【０００９】[0009]
【発明が解決しようとする課題】図６は、視覚センサの
計測可能範囲の説明図であり、Ａはカメラ同士の間隔ま
たはカメラと投光器の間隔が広い場合、Ｂは同間隔が狭
い場合を示す。図示されるように、Ａは計測可能範囲が
上下方向に狭く、左右方向に広く、Ｂは計測可能範囲が
上下方向に広く、左右方向に狭い。視覚センサにおける
奥行き方向の計測精度としての分解能は、カメラ同士ま
たはカメラと投光器の相対的位置関係によって決定され
る。また、分解能と計測可能範囲は原理的に相反する関
係にあり、分解能は計測可能範囲が広ければ広い程低下
する。すなわち、分解能を上げると計測可能範囲は狭く
なり、計測可能範囲を広くすると分解能は下がる。従っ
て分解能と計測可能範囲が異なる測定を行うには別々の
視覚センサを用意しなければならないという問題があ
る。FIG. 6 is an explanatory view of the measurable range of the visual sensor. A shows the case where the distance between the cameras or the distance between the camera and the light projector is wide, and B shows the case where the same distance is narrow. .. As shown in the figure, A has a narrow measurable range in the vertical direction and is wide in the horizontal direction, and B has a wide measurable range in the vertical direction and is narrow in the horizontal direction. The resolution as the measurement accuracy in the depth direction in the visual sensor is determined by the relative positional relationship between the cameras or between the cameras and the projector. Further, the resolution and the measurable range are in principle contradictory to each other. The wider the measurable range, the lower the resolution. That is, increasing the resolution narrows the measurable range, and increasing the measurable range lowers the resolution. Therefore, there is a problem in that separate visual sensors must be prepared in order to perform measurements with different resolutions and measurable ranges.
【００１０】しかるに、３次元の視覚センサはロボット
の手先部に取り付けて使用されることが多いため、セン
サ本体の大きさはワークや周辺装置と干渉しないように
小型であることが望まれる。しかしながら従来技術によ
る視覚センサにおいては、ステレオビジョン法では２台
のカメラが、投光法ではカメラと投光器が一体となって
いるため、センサ本体が大きくなってしまい、また高分
解能を実現するためには、ステレオビジョン法では２台
のカメラ間を、投光法ではカメラと投光器の間を、それ
ぞれ離す必要が生じるため、センサ本体が大きくなって
しまい、装置の小型化に相反するという問題がある。However, since a three-dimensional visual sensor is often used by being attached to the hand of a robot, it is desirable that the size of the sensor main body is small so as not to interfere with a work or peripheral devices. However, in the visual sensor according to the prior art, since two cameras are integrated in the stereo vision method and the camera and the light projector are integrated in the projection method, the size of the sensor main body becomes large and high resolution is realized. In the stereo vision method, it is necessary to separate the two cameras, and in the projection method, it is necessary to separate the camera and the projector. Therefore, the size of the sensor body becomes large, which is contrary to the miniaturization of the device. ..
【００１１】本発明は上述の問題点に鑑み、同一視覚セ
ンサ内で視覚センサの分解能と計測可能範囲を可変で
き、かつセンサ本体が小型な視覚センサの提供を目的と
するものである。In view of the above problems, it is an object of the present invention to provide a visual sensor in which the resolution and measurable range of the visual sensor can be varied within the same visual sensor and the sensor body is small.
【００１２】[0012]
【課題を解決するための手段】図１は本発明の構成図で
ある。前記目的を達成する本発明の視覚センサは、２台
のロボット１、５と一方のロボット１の所定箇所に取り
付けられたカメラ３と、他方のロボット５の所定箇所に
取り付けられたカメラまたは投光器７と、ロボット１を
動作させるロボット制御装置２と、ロボット５を動作さ
せるロボット制御装置６と、ロボット制御装置２および
ロボット制御装置６の各々と通信する画像処理手段４と
からなる計測対象物の一点Ｐの位置を計測する視覚セン
サであって、ロボット制御装置２はカメラ３の位置と方
向のデータを計測しそれらのデータおよびロボット１の
原点位置のデータを画像処理手段４に送信し、ロボット
制御装置６はカメラまたは投光器７の位置と方向のデー
タを計測しそれらのデータおよびロボット５の原点位置
のデータを画像処理手段４に送信し、画像処理手段４は
ロボット制御装置２およびロボット制御装置６から送信
されたデータから計測対象物の一点Ｐの位置を計算し、
ロボット制御装置２またはロボット制御装置６に一点Ｐ
の位置のデータを送信し、カメラ３の位置と方向あるい
はカメラまたは投光器７の位置と方向をそれぞれロボッ
ト制御装置２あるいはロボット制御装置６によって制御
することにより視覚センサの分解能と計測可能範囲を可
変にする。FIG. 1 is a block diagram of the present invention. The visual sensor of the present invention that achieves the above-mentioned object includes two robots 1, 5 and a camera 3 attached to a predetermined location of one robot 1, and a camera or a projector 7 attached to a predetermined location of the other robot 5. One point of a measurement object including a robot control device 2 that operates the robot 1, a robot control device 6 that operates the robot 5, and an image processing means 4 that communicates with each of the robot control device 2 and the robot control device 6. This is a visual sensor for measuring the position of P, and the robot control device 2 measures the position and direction data of the camera 3 and transmits these data and the data of the origin position of the robot 1 to the image processing means 4 for robot control. The device 6 measures the data on the position and direction of the camera or the projector 7, and uses these data and the data on the origin position of the robot 5 as image processing means. Transmitted to the image processing means 4 calculates the position of a point P of the robot controller 2 and the robot control unit 6 measures the object from data transmitted from,
One point P on the robot controller 2 or the robot controller 6
The position and direction of the camera 3 or the position and direction of the camera or the projector 7 are controlled by the robot controller 2 or the robot controller 6, respectively, to change the resolution and measurable range of the visual sensor. To do.
【００１３】[0013]
【作用】本発明の視覚センサは、２台のロボットの一方
のロボットにカメラ３を他方のロボットにカメラまたは
投光器７を装着し、それらの位置と方向のデータをロボ
ット１、５のそれぞれのロボット制御装置２、６により
計測し、ロボット１、５の原点位置のデータと共に画像
処理手段４に送信し、画像処理手段４は計測対象物の一
点Ｐの位置のデータを計算して求めたデータを各々のロ
ボット１、５のロボット制御装置２、６に送信し、一方
のロボット１のカメラ３の位置と方向あるいは他方のロ
ボット５のカメラまたは投光器７の位置と方向をそれぞ
れロボット制御装置２あるいは６によって制御すること
により視覚センサの分解能と計測可能範囲を可変にす
る。In the visual sensor of the present invention, one of the two robots is equipped with the camera 3 and the other robot is equipped with the camera or the projector 7, and the data of the position and the direction of the camera 3 are attached to the robots 1 and 5, respectively. The data measured by the control devices 2 and 6 is transmitted to the image processing means 4 together with the data of the origin position of the robots 1 and 5, and the image processing means 4 calculates the data of the position of one point P of the measurement object to obtain the data. It is transmitted to the robot control devices 2 and 6 of the respective robots 1 and 5, and the position and direction of the camera 3 of one robot 1 or the position and direction of the camera or the projector 7 of the other robot 5 are respectively transmitted to the robot control devices 2 and 6. The resolution and measurable range of the visual sensor are made variable by controlling by.
【００１４】[0014]
【実施例】前述の図１を参照しつつ本発明の実施例を詳
細に説明する。図１において、符号１と５はロボットを
示し、符号２と６は、それぞれのロボット１とロボット
５の制御装置を示す。各ロボットは各制御装置内のプロ
グラムにより、各ロボットの動作範囲内の任意の位置お
よび方向（姿勢）に手先を位置決めすることができる。
ロボット１の手先部にはＣＣＤカメラ３が装着され、投
影されたスリット光の画像を撮影する。一方、ロボット
５の手先部に装着されたスリット光投光器７はスリット
状のレーザ光をワーク（図示せず）に投影する。カメラ
からの映像信号は画像処理手段４に入力され、画像デー
タとして処理される。各ハンド部に装着されたＣＣＤカ
メラ３およびスリット光投光器７は、それぞれのロボッ
ト制御装置２および６により位置決めされる。Embodiments of the present invention will be described in detail with reference to FIG. In FIG. 1, reference numerals 1 and 5 denote robots, and reference numerals 2 and 6 denote control devices for the robots 1 and 5, respectively. Each robot can position the hand at an arbitrary position and direction (posture) within the operation range of each robot by a program in each control device.
A CCD camera 3 is attached to the hand of the robot 1 to take an image of the projected slit light. On the other hand, the slit light projector 7 mounted on the hand of the robot 5 projects slit-shaped laser light onto a work (not shown). The video signal from the camera is input to the image processing means 4 and processed as image data. The CCD camera 3 and the slit light projector 7 mounted on each hand are positioned by the robot control devices 2 and 6, respectively.
【００１５】スリット光投光器７は、図示していないレ
ーザ光源、シリンドリカルレンズおよびレーザ電源から
構成され、レーザ光源から出力されるレーザ光をシリン
ドリカルレンズでスリット状の光にして対象物に投光す
る。レーザ電源はレーザ光源を駆動するための電源装置
である。The slit light projector 7 is composed of a laser light source, a cylindrical lens and a laser power source, which are not shown in the figure. The laser light output from the laser light source is converted into slit light by the cylindrical lens and projected onto an object. The laser power source is a power source device for driving a laser light source.
【００１６】画像処理手段４と２台のロボット制御装置
２および６との間ではそれぞれシリアル回線等によるデ
ータ通信が可能である。この通信機能を利用して画像処
理手段４とロボット制御装置２および６との間で以下の
処理がそれぞれ実行される。 （１）ロボット１とＣＣＤカメラ３の現在位置のデータ
をロボット制御装置２を介し、ロボット５とスリット投
光器７の現在位置のデータをロボット制御装置６を介し
て画像処理手段４に送信する。 （２）画像処理手段４はＣＣＤカメラ３の現在位置の信
号からカメラの焦点と像を結ぶ線の視覚センサの基準座
標系における形状データを求め、さらにスリット投光器
７の現在位置信号からスポット光の作る直線またはスリ
ット光の作る平面の前記基準座標系における形状データ
を求める。 （３）画像処理手段４から目標位置のデータをロボット
制御装置２または６に送信し、それらのデータによりロ
ボット制御装置２または６は、ロボット１とＣＣＤカメ
ラ３またはロボット５とスリット投光器７をそれぞれ指
定された位置に移動する。Data communication is possible between the image processing means 4 and the two robot control devices 2 and 6 by serial lines or the like. Utilizing this communication function, the following processing is executed between the image processing means 4 and the robot control devices 2 and 6, respectively. (1) The data of the current positions of the robot 1 and the CCD camera 3 is transmitted to the image processing means 4 via the robot control device 2, and the data of the current positions of the robot 5 and the slit projector 7 are transmitted via the robot control device 6. (2) The image processing means 4 obtains the shape data in the reference coordinate system of the visual sensor of the line connecting the focal point and the image of the camera from the signal of the current position of the CCD camera 3, and further detects the spot light from the current position signal of the slit projector 7. Shape data of the straight line to be made or the plane made by the slit light in the reference coordinate system is obtained. (3) Data of the target position is transmitted from the image processing means 4 to the robot control device 2 or 6, and the robot control device 2 or 6 uses the data to cause the robot 1 and the CCD camera 3 or the robot 5 and the slit projector 7 respectively. Move to the specified position.
【００１７】図２はスリット光方式の原理を示す図であ
る。図中、点Ｆ１はスリット光投光装置の光源位置、点
Ｆ２はカメラのレンズの中心位置を表す。点Ｆ１からス
リット状の光を対象物に投影し、これをスリット光とは
別の方向からカメラで観測すると、画像Ｃ２のような像
が得られる。スリット光上の点Ｐの位置がカメラの画像
Ｃ２上で点ｐ（ｕ，ｖ）に像を結んだとすれば、点Ｐは
三次元空間内で点Ｆ２と点ｐを通る視線Ｌ２とスリット
光の作る平面との交点である。したがって、この視線Ｌ
２とスリット光の作る平面の交点を求めることにより、
点Ｐの三次元位置が計算できる。FIG. 2 is a diagram showing the principle of the slit light system. In the figure, point F1 represents the light source position of the slit light projecting device, and point F2 represents the center position of the camera lens. When slit-shaped light is projected from the point F1 onto the object and observed with a camera from a direction different from the slit light, an image like an image C2 is obtained. If the position of the point P on the slit light forms an image at the point p (u, v) on the image C2 of the camera, the point P is the line of sight L2 passing through the point F2 and the point p in the three-dimensional space and the slit. It is the intersection with the plane created by light. Therefore, this line of sight L
By finding the intersection of 2 and the plane created by the slit light,
The three-dimensional position of the point P can be calculated.
【００１８】次に、計測のための前提条件について以下
に説明する。最初に、２台のロボット同士の相対的位置
と方向の関係を予め求めておく。これにより、一方のロ
ボットのベース座標系での位置および方向が、他方のロ
ボットのベース座標系での位置および方向に変換可能と
なる。次に、２台のロボットを適当な位置に位置決めし
た状態で視覚センサのキャリブレーションを行う。これ
により、そのロボットの現在位置におけるカメラとスリ
ット光投光器間の位置関係が求まる。また、この時の各
ロボットの現在位置から、それぞれのロボットの手先に
対するカメラと投光器の位置および方向の関係を求める
ことができる。この手先に対する位置と方向の関係が既
知であれば、カメラと投光器の位置関係は２台のロボッ
トの現在位置から計算によって求めることができる。し
たがって、ロボットを動かしてカメラとスリット光投光
器間の相対位置を変化させた場合でも、各ロボットの現
在位置からスリット光の平面の位置と向き、カメラの位
置と向きを求めることが可能となり、三次元位置を求め
ることができる。Next, the preconditions for measurement will be described below. First, the relationship between the relative positions and directions of the two robots is obtained in advance. As a result, the position and direction in the base coordinate system of one robot can be converted into the position and direction in the base coordinate system of the other robot. Next, the vision sensor is calibrated with the two robots positioned at appropriate positions. As a result, the positional relationship between the camera and the slit light projector at the current position of the robot can be obtained. Further, from the current position of each robot at this time, the relationship between the position and direction of the camera and the projector with respect to the hand of each robot can be obtained. If the relationship between the position and direction with respect to the hand is known, the positional relationship between the camera and the light projector can be calculated from the current positions of the two robots. Therefore, even if the robot is moved to change the relative position between the camera and the slit light projector, the position and orientation of the plane of the slit light and the position and orientation of the camera can be obtained from the current position of each robot. The original position can be obtained.
【００１９】次に、奥行き方向の分解能と計測可能範囲
について以下に説明する。図３はカメラとスリット光投
光器の位置関係を示す平面図である。図中、以下の記号
は、それぞれ、Ａは、カメラのレンズの中心（焦点）、
Ｂは、スリット光投光器の光源位置、Ｃは、カメラのス
クリーン、Ｌ１は、スリット光、ｎは、Ｙ軸方向のカメ
ラの画素数（カメラの分解能）、ｌｉは、画像上の点ｐ
ｉ（ｕｉ）を通る視線でｉ＝１〜ｎ（ｎは画素数）、ｄ
ｌは、Ｌ１とｌ１の交点、すなわちｄ１（ｘ１，ｙ
１）、ｄｎは、Ｌ１とｌｎの交点、すなわちｄｎ（ｘ
ｎ，ｙｎ）、を示す。また、図中のＸ軸は、カメラレン
ズの光軸方向と一致する。Next, the resolution in the depth direction and the measurable range will be described below. FIG. 3 is a plan view showing the positional relationship between the camera and the slit light projector. In the figure, the following symbols are A, the center (focus) of the camera lens,
B is the light source position of the slit light projector, C is the screen of the camera, L1 is the slit light, n is the number of pixels of the camera in the Y-axis direction (camera resolution), and li is the point p on the image.
In the line of sight passing through i (ui), i = 1 to n (n is the number of pixels), d
l is the intersection of L1 and l1, that is, d1 (x1, y
1) and dn are the intersections of L1 and ln, that is, dn (x
n, yn). Further, the X axis in the figure coincides with the optical axis direction of the camera lens.
【００２０】カメラの視野は、２直線ｌ１とｌｎで囲ま
れた範囲である。スリット光Ｌ１とカメラの視野範囲
は、２点ｄ１とｄｎで交わるので、４直線ｌ１、ｌｎ、
ｙ１、ｙｎで囲まれた領域が測定可能範囲である。図か
ら明白なようにスリット光Ｌ１とレンズ光軸（Ｘ軸）と
のなす角度θが小さい程、すなわちカメラとスリット光
の間隔を近づける程測定可能範囲は広くなり、逆にカメ
ラとスリット光の間隔を離し、前記θが大きくなるよう
にすれば測定可能範囲が狭くなる。したがって、カメラ
と投光器を別々のロボットの手先部に装着すれば、ロボ
ットを動かすことによって、カメラと投光器の相対的位
置を変化させ測定可能範囲を広くしたり、狭くしたりす
ることが可能である。The field of view of the camera is a range surrounded by two straight lines l1 and ln. Since the slit light L1 and the visual field range of the camera intersect at two points d1 and dn, four straight lines l1, ln,
The area surrounded by y1 and yn is the measurable range. As is clear from the figure, the smaller the angle θ formed by the slit light L1 and the lens optical axis (X axis), that is, the closer the distance between the camera and the slit light, the wider the measurable range, and conversely, between the camera and the slit light. If the distance is increased and θ is increased, the measurable range is narrowed. Therefore, if the camera and the light projector are attached to the hands of different robots, the relative positions of the camera and the light projector can be changed by moving the robot to widen or narrow the measurable range. ..
【００２１】次に、奥行き方向の測定可能範囲Ｄは、 Ｄ＝｜ｘｌ−ｘｎ｜ であり、Ｙ軸方向のカメラの画素数がｎであるから、視
線の分解能もｎであり、奥行き方向の分解能ｒは平均
で、 ｒ＝Ｄ／ｎ＝｜ｘｌ−ｘｎ｜／ｎ となる。Next, the measurable range D in the depth direction is D = | xl-xn |, and since the number of pixels of the camera in the Y-axis direction is n, the resolution of the line of sight is also n and the depth direction The resolution r is an average of r = D / n = | xl-xn | / n.
【００２２】カメラの分解能ｎは、通常のＣＣＤカメラ
で２５６から５１２の範囲の値であり、この値は使用す
るカメラにより決定されるからｎの値を変えることはで
きない。したがって、奥行き方向の分解能ｒを向上させ
るには上式のＤを小さく、すなわち前記θを大きくすれ
ばよい。つまり、スリット光Ｌ１とレンズ光軸（Ｘ軸）
のなす角度θが大きくなるようにカメラとスリット光投
光器の間隔を離せばよい。例えば、図のＢ’の位置にス
リット光投光器をロボットによって移動させると、計測
可能範囲が約１／２になるが、奥行き方向の分解能は２
倍となる。The resolution n of the camera is a value in the range of 256 to 512 in a normal CCD camera, and since this value is determined by the camera used, the value of n cannot be changed. Therefore, in order to improve the resolution r in the depth direction, D in the above equation may be made small, that is, θ may be made large. That is, the slit light L1 and the lens optical axis (X axis)
The distance between the camera and the slit light projector may be increased so that the angle θ formed by the camera is increased. For example, when the slit light projector is moved to the position B'in the figure by the robot, the measurable range becomes about 1/2, but the resolution in the depth direction is 2
Doubled.
【００２３】このように、カメラとスリット光投光器を
別々のロボットに搭載し、ロボットを動かすことにより
カメラとスリット光投光器の相対位置を変えれば、同一
のセンサで異なる計測範囲、異なる計測精度で三次元位
置の計測を行うことが可能となる。As described above, if the camera and the slit light projector are mounted on different robots and the relative positions of the camera and the slit light projector are changed by moving the robots, the same sensor can be used for different measurement ranges and different measurement accuracy. It becomes possible to measure the original position.
【００２４】次に、図１において、投光器７によるスリ
ット光が投影される対象物上の点Ｐのカメラ３の画像上
での座標値ｐ（ｕ，ｖ）が既知のとき、点ｐ（ｕ，ｖ）
に対応する３次元直行座標系上での点Ｐ（Ｘ，Ｙ，Ｚ）
を求める方法について以下に簡単に説明する。点Ｐと点
ｐとの関係は、次式で与えられる。Next, in FIG. 1, when the coordinate value p (u, v) on the image of the camera 3 of the point P on the object onto which the slit light from the projector 7 is projected is known, the point p (u , V)
Point P (X, Y, Z) on the three-dimensional orthogonal coordinate system corresponding to
A method of obtaining the value will be briefly described below. The relationship between the point P and the point p is given by the following equation.
【数１】 ここで、式（１）の右辺の左側の行列Ｃの各成分 c11〜
c34 をパラメータと称する。また、ｈは同次変換のスケ
ール因子である。式（１）より次の３式が導かれる。 hu＝c11 X ＋c12 Y ＋c13 Z ＋c14 …（２） hv＝c21 X ＋c22 Y ＋c23 Z ＋c24 …（３） ｈ＝c31 X ＋c32 Y ＋c33 Z ＋c34 …（４）[Equation 1] Here, each component c11 of the matrix C on the left side of the right side of Expression (1)
c34 is called a parameter. Further, h is a scale factor of the homogeneous transformation. The following three expressions are derived from the expression (1). hu ＝ c11 X ＋ c12 Y ＋ c13 Z ＋ c14… (2) hv ＝ c21 X ＋ c22 Y ＋ c23 Z ＋ c24… （3） h ＝ c31 X ＋ c32 Y ＋ c33 Z ＋ c34… （4）
【００２５】さらに、式（２）と式（４）から、および
式（２）と式（４）から次の２式が導かれる。 (c11−u c31)X ＋(c12−u c32)Y ＋(c13−u c33)Z ＋(c14−u c34)＝０ …（５） (c21−v c31)X ＋(c22−v c32)Y ＋(c23−v c33)Z ＋(c24−v c34)＝０ …（６） 式（５）と式（６）は画像メモリ上の画素を通る視線の
方程式を表す。しかるに、スリット光の平面の方程式は
次式で与えられる。 aX＋bY＋cZ＋ｄ＝０ …（７） これらの式（５），式（６），式（７）より点Ｐ（Ｘ，
Ｙ，Ｚ）を求めることができる。ここで、ａ，ｂ，ｃ，
ｄは係数である。Further, the following two equations are derived from the equations (2) and (4) and from the equations (2) and (4). (c11-u c31) X + (c12-u c32) Y + (c13-u c33) Z + (c14-u c34) = 0 ... (5) (c21-v c31) X + (c22-v c32) Y + (c23-v c33) Z + (c24-v c34) = 0 (6) Equations (5) and (6) represent the equation of the line of sight passing through the pixel on the image memory. Therefore, the equation of the plane of the slit light is given by the following equation. aX + bY + cZ + d = 0 (7) From these equations (5), (6), and (7), the point P (X,
Y, Z) can be obtained. Where a, b, c,
d is a coefficient.
【００２６】次に、前述した視覚センサのキャリブレー
ションについて以下に説明する。視覚センサのキャリブ
レーションは３つに大別される。すなわち、 （１）カメラ本体のキャリブレーション：式（１）の行
列Ｃの各成分であるパラメータ c11〜c34 を求める。 （２）スリット光のキャリブレーション：スリット光を
作る平面の方程式を求める。 （３）ロボットのキャリブレーション：視覚センサの基
準座標系原点（Ａ）と各ロボットの座標系原点（Ｏ，
Ｏ')とカメラ本体およびスリット光の位置の位置関係を
求める。Next, the calibration of the above visual sensor will be described below. The calibration of the visual sensor is roughly classified into three. That is, (1) Calibration of camera body: Parameters c11 to c34, which are the respective components of the matrix C of the equation (1), are obtained. (2) Slit light calibration: Obtain the equation of the plane that makes the slit light. (3) Robot calibration: the origin of the reference coordinate system of the visual sensor (A) and the origin of the coordinate system of each robot (O,
The positional relationship between O '), the camera body and the positions of the slit light is obtained.
【００２７】カメラ本体のキャリブレーションにおい
て、パラメータ c11〜c34 は、式（５），式（６）と、
点Ｐ（Ｘ，Ｙ，Ｚ）の異なる６点に対応する画像上の点
ｐ（ｕ，ｖ）が既知であれば、求めることができる。In the calibration of the camera body, the parameters c11 to c34 are expressed by equations (5) and (6),
If the points p (u, v) on the image corresponding to the six different points P (X, Y, Z) are known, they can be obtained.
【００２８】スリット光のキャリブレーションにおい
て、式（７）で表されるスリット光の作る平面を切断す
る２つの平面とスリット光平面とのそれぞれの交線を成
す点列を求め、それらの点列に対し最小二乗法で平面を
当てはめて、式（７）における係数ａ，ｂ，ｃ，ｄを求
めてスリット光平面の方程式を決定する。In the calibration of the slit light, a sequence of points forming the respective intersecting lines of the two planes for cutting the plane formed by the slit light represented by the equation (7) and the plane of the slit light is obtained, and the sequence of these points is obtained. Then, a plane is applied by the method of least squares to obtain the coefficients a, b, c, d in the equation (7), and the equation of the slit light plane is determined.
【００２９】図４は２台のロボットによる視覚センサの
キャリブレーションの説明図である。基準座標系原点
（Ａ）と各ロボットの座標系原点（Ｏ，Ｏ')とカメラ本
体およびスリット光の位置の位置関係には、座標変換行
列Ｈ、Ｖ、ＲにおいてＨＶ＝Ｒの関係がある。この関係
式からＨとＲを計測して求めた後Ｖを求めることができ
る。すなわち、点Ａと点Ｏに対して行列Ｒ１、点Ａと点
Ｏ’に対して行列Ｒ２、点Ｏと一方のロボットのハンド
部のカメラの位置に対して行列Ｈ１、点Ｏ’と他方のロ
ボットのハンド部のスリット光の位置に対して行列Ｈ２
を求め、次に点Ａと一方のロボットのハンド部のカメラ
の位置に対してＶ１、点Ａと他方のロボットのハンド部
のスリット光の位置に対してＶ２を求めることができ
る。FIG. 4 is an explanatory view of the calibration of the visual sensor by the two robots. The positional relationship between the origin (A) of the reference coordinate system, the origin (O, O ′) of the coordinate system of each robot, and the positions of the camera body and the slit light has a relationship of HV = R in the coordinate conversion matrices H, V, and R. .. From this relational expression, V can be found after H and R are measured and found. That is, the matrix R1 for the points A and O, the matrix R2 for the points A and O ′, the matrix H1 for the position of the camera of the hand portion of one robot and the point O ′ Matrix H2 for the position of the slit light of the robot hand
Then, V1 can be obtained with respect to the point A and the position of the camera of the hand portion of one robot, and V2 can be obtained with respect to the position of the slit light of the point A and the hand portion of the other robot.
【００３０】上記実施例では、スリット状の光を投影す
る投光装置を用いる場合について説明したが、２台のカ
メラを用いるステレオビジョン方式やスポット状の光を
投影する方式の場合も同様にロボットを動かして２つの
装置の間隔を変えることにより視覚センサの計測可能範
囲と計測精度（分解能）とを可変することが可能であ
る。In the above embodiment, the case of using the light projecting device for projecting the slit-like light has been described, but the robot is similarly applied to the stereo vision system using two cameras and the system for projecting the spot-like light. It is possible to change the measurable range and the measurement accuracy (resolution) of the visual sensor by moving the to move the distance between the two devices.
【００３１】[0031]
【発明の効果】以上説明したように、本発明の三角測量
の原理を用いた視覚センサによれば、２台のカメラまた
はカメラと投光器をそれぞれ別のロボットに搭載するこ
とにより、両者の相対的位置関係を可変することがで
き、かつロボットの現在位置情報から上記相対位置関係
を求めることが可能である。それゆえ、計測対象物に応
じて計測可能範囲と奥行き方向の分解能とが異なる計測
を同一の視覚センサによって計測可能となる。さらに、
センサ本体を２つのロボットに別々に搭載するのでセン
サ本体の大きさを小型にすることができる。As described above, according to the visual sensor using the principle of triangulation of the present invention, by mounting two cameras or two cameras and a light projector on different robots, respectively The positional relationship can be changed, and the relative positional relationship can be obtained from the current position information of the robot. Therefore, it is possible to perform measurement with different measurable ranges and resolutions in the depth direction according to the measurement target with the same visual sensor. further,
Since the sensor body is separately mounted on the two robots, the size of the sensor body can be reduced.
【図１】本発明の構成図である。FIG. 1 is a configuration diagram of the present invention.
【図２】スリット光方式の原理を示す図である。FIG. 2 is a diagram showing a principle of a slit light system.
【図３】カメラとスリット光投光器の位置関係を示す平
面図である。FIG. 3 is a plan view showing a positional relationship between a camera and a slit light projector.
【図４】２台のロボットによる視覚センサのキャリブレ
ーションの説明図である。FIG. 4 is an explanatory diagram of calibration of a visual sensor by two robots.
【図５】ステレオビジョン法の原理を説明する図であ
る。FIG. 5 is a diagram illustrating the principle of the stereo vision method.
【図６】視覚センサの計測可能範囲の説明図であり、Ａ
は間隔が広い場合、Ｂは間隔が狭い場合を示す。FIG. 6 is an explanatory diagram of a measurable range of the visual sensor, A
Indicates that the interval is wide, and B indicates that the interval is narrow.
１、５…ロボット ２、６…ロボット制御装置 ３…カメラ ４…画像処理手段 ７…カメラまたはスリット光投光器 1, 5 ... Robot 2, 6 ... Robot control device 3 ... Camera 4 ... Image processing means 7 ... Camera or slit light projector
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 ４１５ 9287−5Ｌ 15/64 Ｍ 9073−5Ｌ // Ｂ２３Ｑ 17/24 Ｂ 8612−3Ｃ ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 5 Identification number Internal reference number FI Technical display location G06F 15/62 415 9287-5L 15/64 M 9073-5L // B23Q 17/24 B 8612-3C
Claims (1)
ラ（３）と、該第１カメラ（３）の付近に装着した第２
カメラまたは投光器（７）と、計測対象物体上の一点
（Ｐ）の位置が前記第１カメラの視線および前記第２カ
メラの視線または前記投光器の照射光線の交点であると
き、前記第１カメラの位置と方向のデータおよび前記第
２カメラまたは投光器の位置と方向のデータを計測し、
対象物体の前記一点Ｐの位置を計算し、前記ロボットを
動作させるロボット制御手段とからなる視覚センサにお
いて、 前記ロボットは、前記第１カメラを装着した第１ロボッ
ト（１）と該第１ロボットと離れて位置し前記第２カメ
ラまたは投光器を装着した第２ロボット（５）とからな
り、さらに、 前記第１カメラの位置と方向のデータを計測し、該デー
タおよび前記第１ロボットの原点位置のデータを画像処
理手段（４）に送信し、前記第１ロボットを動作させる
第１ロボット制御装置（２）と、 前記第２カメラまたは投光器の位置と方向のデータを計
測し、該データおよび前記第２ロボットの原点位置のデ
ータを前記画像処理手段（４）に送信し、前記第２ロボ
ットを動作させる第２ロボット制御装置（６）と、 前記各々のデータから前記一点Ｐの位置を計算し、該一
点Ｐの位置のデータを前記第１ロボット制御装置または
前記第２ロボット制御装置に送信する前記画像処理手段
（４）と、を備えることを特徴とする視覚センサ1. A first camera (3) mounted on a predetermined location of a robot, and a second camera mounted near the first camera (3).
When the position of a point (P) on the object to be measured with the camera or the light projector (7) is the intersection of the line of sight of the first camera and the line of sight of the second camera or the irradiation light beam of the light projector, Measuring the position and direction data and the position and direction data of the second camera or projector,
A visual sensor comprising a robot control means for calculating the position of the point P of a target object and operating the robot, wherein the robot comprises a first robot (1) equipped with the first camera and the first robot. A second robot (5) which is located away from the second camera or which is equipped with a light projector, and further, the position and direction data of the first camera is measured, and the data and the origin position of the first robot are measured. Data is transmitted to the image processing means (4), the first robot control device (2) for operating the first robot and the position and direction data of the second camera or the projector are measured, and the data and the first data are measured. A second robot control device (6) for transmitting the data of the origin position of the two robots to the image processing means (4) and operating the second robot, and the respective data. The image processing means (4) for calculating the position of the point P and transmitting the data of the position of the point P to the first robot controller or the second robot controller. Sensor
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4139100A JPH05329793A (en) | 1992-05-29 | 1992-05-29 | Visual sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4139100A JPH05329793A (en) | 1992-05-29 | 1992-05-29 | Visual sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05329793A true JPH05329793A (en) | 1993-12-14 |
Family
ID=15237492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4139100A Pending JPH05329793A (en) | 1992-05-29 | 1992-05-29 | Visual sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05329793A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011136784A1 (en) * | 2010-04-29 | 2011-11-03 | Hewlett-Packard Development Company, L.P. | Participant collaboration on a displayed version of an object |
| KR101355336B1 (en) * | 2012-06-26 | 2014-01-24 | 현대위아 주식회사 | System and method for producing part program for machine tool |
| JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
| JP2018032401A (en) * | 2016-08-24 | 2018-03-01 | ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフトＤｒ． Ｉｎｇ． ｈ．ｃ． Ｆ． Ｐｏｒｓｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Method for capturing objects in environment of vehicle |
-
1992
- 1992-05-29 JP JP4139100A patent/JPH05329793A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011136784A1 (en) * | 2010-04-29 | 2011-11-03 | Hewlett-Packard Development Company, L.P. | Participant collaboration on a displayed version of an object |
| US9298070B2 (en) | 2010-04-29 | 2016-03-29 | Hewlett-Packard Development Company, L.P. | Participant collaboration on a displayed version of an object |
| KR101355336B1 (en) * | 2012-06-26 | 2014-01-24 | 현대위아 주식회사 | System and method for producing part program for machine tool |
| JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
| JP2018032401A (en) * | 2016-08-24 | 2018-03-01 | ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフトＤｒ． Ｉｎｇ． ｈ．ｃ． Ｆ． Ｐｏｒｓｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | Method for capturing objects in environment of vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965690B (en) | Image processing system, image processing apparatus, and computer-readable storage medium | |
| US6031941A (en) | Three-dimensional model data forming apparatus | |
| US6600475B2 (en) | Single camera system for gesture-based input and target indication | |
| US5673082A (en) | Light-directed ranging system implementing single camera system for telerobotics applications | |
| CN109118543B (en) | System and method for calibrating a machine vision camera along at least three discrete planes | |
| JP2564963B2 (en) | Target and three-dimensional position and orientation measurement system using the target | |
| US6480287B2 (en) | Three dimensional scanning system | |
| EP1043642A2 (en) | Robot system having image processing function | |
| US7502504B2 (en) | Three-dimensional visual sensor | |
| JP2009042162A (en) | Calibration device and method therefor | |
| US9990739B1 (en) | Method and device for fisheye camera automatic calibration | |
| JP3690581B2 (en) | POSITION DETECTION DEVICE AND METHOD THEREFOR, PLAIN POSITION DETECTION DEVICE AND METHOD THEREOF | |
| JPH11166818A (en) | Calibrating method and device for three-dimensional shape measuring device | |
| JPH03213251A (en) | Workpiece position detecting device | |
| JP6973233B2 (en) | Image processing system, image processing device and image processing program | |
| US6730926B2 (en) | Sensing head and apparatus for determining the position and orientation of a target object | |
| JP5198078B2 (en) | Measuring device and measuring method | |
| JP2018522240A (en) | Method for measuring artifacts | |
| JP7216775B2 (en) | ROBOT ARM COORDINATE SYSTEM CALIBRATION DEVICE AND CALIBRATION METHOD | |
| JPS6332306A (en) | Non-contact three-dimensional automatic dimension measuring method | |
| JP2020013548A (en) | Image processing apparatus, image processing method, system, article manufacturing method | |
| JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
| JPH05329793A (en) | Visual sensor | |
| JP2000304508A (en) | Three-dimensional input device | |
| JP2003090711A (en) | Three-dimensional image imaging device and method therefor |