JPH0571933A - Visual sensor system - Google Patents
Visual sensor systemInfo
- Publication number
- JPH0571933A JPH0571933A JP3261207A JP26120791A JPH0571933A JP H0571933 A JPH0571933 A JP H0571933A JP 3261207 A JP3261207 A JP 3261207A JP 26120791 A JP26120791 A JP 26120791A JP H0571933 A JPH0571933 A JP H0571933A
- Authority
- JP
- Japan
- Prior art keywords
- work
- distance
- posture
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/30—Hydrogen technology
- Y02E60/50—Fuel cells
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】この発明は、けがき線に沿って切
断する切断ロボット等の工作機械に用いられる視覚セン
サに関するものである。具体的には、ワークとの距離及
びワークに対する姿勢を検出する視覚センサに利用され
る発明である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual sensor used for a machine tool such as a cutting robot which cuts along a marking line. Specifically, the invention is applied to a visual sensor that detects a distance to a work and a posture with respect to the work.
【0002】[0002]
【従来の技術】切断ロボット用のけがき線センサの構成
については、特願昭62−204395号,特願昭63
−43784号,特願昭63−135226号や特願昭
63−150799号等に詳細に開示されている。この
様なけがき線センサの構成を示したものが図6である。2. Description of the Related Art The construction of a marking line sensor for a cutting robot is disclosed in Japanese Patent Application Nos. 62-204395 and 63-63.
-43784, Japanese Patent Application No. 63-135226, Japanese Patent Application No. 63-150799, and the like. FIG. 6 shows the structure of such a marking line sensor.
【0003】同図に示す通り本けがき線センサ1(以
下、単にセンサ1と呼ぶ。)は、その基本的構造とし
て、3つのレーザー発振器S1 〜S3,3つの微小光学
系13〜15(Selfocレンズ),集光レンズ12
及びCCD撮像素子11を備えている。ここで、各レー
ザー発振器S1 〜S3 より発振したレーザービームLB
1 〜LB3 は対応した微小光学系13〜15を介してワ
ーク面4上に照射され、ワーク面4において反射した各
レーザービームLB11〜LB31が集光レンズ12を介し
てCCD撮像素子11の受光面上に入射する。そして、
CCD撮像素子11の映像情報〔P1 (x1 ,y1 )〜
P3 (x3 ,y3 )〕より、当該センサ1とワーク4と
の距離z0 及びワーク4に対する当該センサ1の姿勢
(φ,θ)が、下記に示す様に解析的に算出される。As shown in FIG. 1, the scribe line sensor 1 (hereinafter simply referred to as sensor 1) has three laser oscillators S 1 to S 3 and three micro optical systems 13 to 15 as its basic structure. (Selfoc lens), condenser lens 12
And a CCD image pickup device 11. Here, the laser beam LB oscillated from each laser oscillator S 1 to S 3
1 to LB 3 are irradiated onto the work surface 4 via the corresponding micro-optical systems 13 to 15, and the laser beams LB 11 to LB 31 reflected on the work surface 4 pass through the condenser lens 12 and the CCD image pickup device 11. Is incident on the light receiving surface of. And
Image information of the CCD image pickup device 11 [P 1 (x 1 , y 1 )-
From P 3 (x 3 , y 3 )], the distance z 0 between the sensor 1 and the work 4 and the attitude (φ, θ) of the sensor 1 with respect to the work 4 are analytically calculated as shown below. .
【0004】図7はセンサ1の姿勢(φ,θ)を定義し
た説明図であり、ベクトルγはワーク4の法線ベクトル
を表している。同図より、姿勢(φ,θ)とはオイラー
角に相当していることが理解される。又、同図に示され
たXY座標平面は、集光レンズ12及びレーザー発振器
S1 〜S3 を含む平面16に相当するものである。尚、
CCD撮像素子11の受光面上に想定されたxy座標平
面も当該平面16に平行な平面である。FIG. 7 is an explanatory diagram defining the attitude (φ, θ) of the sensor 1, and the vector γ represents the normal vector of the work 4. From the figure, it is understood that the posture (φ, θ) corresponds to the Euler angle. The XY coordinate plane shown in the figure corresponds to the plane 16 including the condenser lens 12 and the laser oscillators S 1 to S 3 . still,
The xy coordinate plane assumed on the light receiving surface of the CCD image pickup device 11 is also a plane parallel to the plane 16.
【0005】ここに図8及び図9は、姿勢(φ,θ)及
び距離z0 の解析方法を説明するために描かれた参照図
であり、センサ1内部の各構成素子とワーク4との幾何
学的関係を示した図である。同図に示す様に各レーザー
発振器S1 〜S3 は、相互に120度の角度で且つ同一
円周上(半径l)に位置する様に、平面16上に配置さ
れている。しかも、各レーザービームLB1 〜LB3 の
平面16に対する出射角度もそれぞれ角度αとなる様
に、各レーザー発振器S1 〜S3 は配置されている。
又、平面16とCCD撮像素子11との距離も、定数値
dに固定されている。以下、CCD撮像素子11の受光
面上の点Pi (xi,yi )(i:1〜3)の座標値が
与えられれば、距離z0及び姿勢(φ,θ)が解析的に
求められることを導出する。FIG. 8 and FIG. 9 are reference diagrams drawn for explaining the method of analyzing the posture (φ, θ) and the distance z 0. The constituent elements inside the sensor 1 and the work 4 are shown. It is the figure which showed the geometrical relationship. As shown in the figure, the laser oscillators S 1 to S 3 are arranged on the plane 16 so as to be positioned at an angle of 120 degrees and on the same circumference (radius 1). Moreover, the laser oscillators S 1 to S 3 are arranged so that the emission angles of the laser beams LB 1 to LB 3 with respect to the plane 16 are also the angles α.
The distance between the plane 16 and the CCD image pickup device 11 is also fixed to the constant value d. Hereinafter, if the coordinate values of the points P i (x i , y i ) (i: 1 to 3) on the light receiving surface of the CCD image pickup device 11 are given, the distance z 0 and the posture (φ, θ) are analytically analyzed. Derive what is required.
【0006】先ず、長さL1 を導出する。図9より、角
度αに関して数1の関係式が成立する。First, the length L 1 is derived. From FIG. 9, the relational expression of Expression 1 is satisfied with respect to the angle α.
【0007】[0007]
【数1】 [Equation 1]
【0008】ここで距離Oc P1 、即ち、X1 は、点P
1 の位置座標との関係では数2で与えられる。Here, the distance O c P 1 , that is, X 1 is the point P
In relation to the position coordinate of 1 , it is given by Equation 2.
【0009】[0009]
【数2】 [Equation 2]
【0010】従って、点P1 (x1 ,y1 )の座標値が
与えられれば、長さL1 の値は、Therefore, if the coordinate value of the point P 1 (x 1 , y 1 ) is given, the value of the length L 1 is
【0011】[0011]
【数3】 [Equation 3]
【0012】により算出されることになる。長さL2 ,
L3 もまた、同様に求められる。Will be calculated by Length L 2 ,
L 3 is similarly calculated.
【0013】又、各レーザービームLB1 〜LB3 とワ
ーク4との交点SP1 〜SP3 のベクトル表現γ1 〜γ
3 は、それぞれ数4〜数6で与えられる。Further, vector representations γ 1 to γ of intersections SP 1 to SP 3 of the laser beams LB 1 to LB 3 and the work 4 are shown.
3 is given by Equations 4 to 6, respectively.
【0014】[0014]
【数4】 [Equation 4]
【0015】[0015]
【数5】 [Equation 5]
【0016】[0016]
【数6】 [Equation 6]
【0017】従って、法線ベクトルγは数7で与えら
れ、これを姿勢(φ,θ)で表現すれば、数8及び数9
で与えられる。Therefore, the normal vector γ is given by the expression 7, and if this is expressed by the posture (φ, θ), the expression 8 and the expression 9 are obtained.
Given in.
【0018】[0018]
【数7】 [Equation 7]
【0019】[0019]
【数8】 [Equation 8]
【0020】[0020]
【数9】 [Equation 9]
【0021】次に、ワーク4とZ軸との交点ωを求め
る。交点SP1 〜SP3 を含む面の方程式は数10で与
えられるので、数10にX=0,Y=0を代入すると、
距離z0 (距離Oω)は数11で与えられることにな
る。Next, the intersection point ω between the work 4 and the Z axis is determined. Since the equation of the surface including the intersection points SP 1 to SP 3 is given by the equation 10, substituting X = 0 and Y = 0 into the equation 10,
The distance z 0 (distance Oω) is given by Expression 11.
【0022】[0022]
【数10】 [Equation 10]
【0023】[0023]
【数11】 [Equation 11]
【0024】ここで、Δx,Δy及びΔzはそれぞれ、Here, Δx, Δy and Δz are respectively
【0025】[0025]
【数12】 [Equation 12]
【0026】[0026]
【数13】 [Equation 13]
【0027】[0027]
【数14】 [Equation 14]
【0028】で表現される量である。Is a quantity expressed by
【0029】以上より、点Pi (xi ,yi )の座標値
が与えられれば、距離z0 及び姿勢(φ,θ)が解析的
に求められることが理解される。From the above, it is understood that the distance z 0 and the posture (φ, θ) can be analytically obtained if the coordinate value of the point P i (x i , y i ) is given.
【0030】[0030]
【発明が解決しようとする課題】従来のけがき線センサ
によれば確かに上記距離及び姿勢を解析的に求めること
が可能であるが、以下に記す誤差要因により、精度良く
これらの値を導出することが困難であった。According to the conventional marking line sensor, it is possible to obtain the above distance and posture analytically, but due to the error factors described below, these values are derived with high accuracy. It was difficult to do.
【0031】 3つのレーザー発振器それぞれの所定
位置への取り付け精度が異なるため、レーザー発振器の
取り付け位置に関する幾何学的パラメータ(前述の角度
α、半径l)がレーザー発振器毎に相違する。そのた
め、解析に用いた幾何学的パラメータ値と実際のそれら
の値との間に差が生じ、解析結果に誤差をもたらせてい
た。Since the mounting accuracy of the three laser oscillators at the predetermined positions is different, the geometrical parameters (the above-mentioned angle α and radius 1) regarding the mounting positions of the laser oscillators are different for each laser oscillator. Therefore, a difference occurs between the geometrical parameter values used for the analysis and the actual values thereof, which causes an error in the analysis result.
【0032】 各微小光学系についても又、それらを
高精度で所定位置へ取り付けることが容易ではなく、ね
じれ方向に誤差が生じる場合が多かった。この誤差は、
各レーザービームが一点で交わらないという不具合をも
たらせることになる。Also with respect to each micro optical system, it is not easy to attach them to a predetermined position with high accuracy, and an error often occurs in the twist direction. This error is
This causes a problem that the laser beams do not intersect at one point.
【0033】 更に、各微小光学系の機械的中心軸と
その光学的中心とを一致させることが困難であり、ずれ
が生じていた。このずれもまた、解析モデルと現実の光
学的配置との間にギャップをもたらせていた。Further, it is difficult to make the mechanical center axis of each micro optical system coincide with the optical center thereof, which causes a deviation. This misalignment also created a gap between the analytical model and the actual optical geometry.
【0034】尚、これらの誤差要因を加味して解析値を
較正することも考えられるが、微小光学系のねじれ方向
の誤差や軸ずれ等を測定すること自体が極めて困難であ
り、しかもその様な測定及び較正をセンサ一つ一つにつ
いて実行することは非現実的である。Although it is possible to calibrate the analysis value in consideration of these error factors, it is extremely difficult to measure the error in the twisting direction of the minute optical system, the axis deviation, and the like. It is impractical to perform different measurements and calibrations on each sensor.
【0035】この様な問題点は上記けがき線センサ特有
のものではなく、光学系を有するセンサである限り必然
的に生ずる問題点であり、しかも当該センサを工作機械
に適用しようとする場合に一般的に生ずる問題点であっ
た。Such a problem is not peculiar to the above-mentioned marking line sensor, and it is a problem inevitably occurring as long as the sensor has an optical system. Moreover, when the sensor is applied to a machine tool. It was a commonly occurring problem.
【0036】本発明はこの様な状況を打開すべく創作さ
れたものであり、機械的及び光学的誤差要因を必然的に
含む視覚センサにおいて、それらの誤差要因に影響を受
けることなく高精度でワークとの距離及び姿勢を求める
ことができる視覚センサシステムを提供するものであ
る。The present invention was created in order to overcome such a situation, and in a visual sensor which necessarily includes mechanical and optical error factors, it is highly accurate without being affected by those error factors. The present invention provides a visual sensor system capable of obtaining the distance and posture with respect to a work.
【0037】[0037]
【課題を解決するための手段】この発明は、(a)ワー
ク上にビームを照射する複数のビーム発生手段と、
(b)当該照射時に生ずる複数のスポット像を撮像する
撮像素子と、(c)撮像素子の映像信号を受けて、複数
のスポット像に関する各映像の撮像素子の受光面上に想
定された座標平面上に於ける位置を導出する画像処理手
段と、(d)予め最適関数に定められた写像関数を有
し、画像処理手段より受けた各映像の位置情報を当該写
像関数によって変換することにより距離及び姿勢を決定
するニューラルネットワーク手段とを備えたものであ
り、これによりワークとの距離及びワークに対する姿勢
を検出する様にしたものである。The present invention comprises: (a) a plurality of beam generating means for irradiating a beam onto a work;
(B) An image pickup element for picking up a plurality of spot images generated during the irradiation, and (c) a coordinate plane assumed on the light receiving surface of the image pickup element of each image regarding the plurality of spot images by receiving the image signal of the image pickup element. The image processing means for deriving the position in the above and (d) the mapping function defined in advance as an optimal function, and the distance information is obtained by converting the position information of each video received from the image processing means by the mapping function. And a neural network means for determining the posture, and the distance to the work and the posture with respect to the work are thereby detected.
【0038】[0038]
【作用】各ビーム発生手段より出射された複数のビーム
は、それぞれワーク上を照射し、ワーク上にスポット像
を生じさせる。このとき撮像素子は複数のスポット像を
撮像し、その映像信号を画像処理手段へ送る。そして画
像処理手段は、各映像の撮像素子の受光面上に想定され
た座標平面上に於ける位置を導出することになる。The plurality of beams emitted from the respective beam generating means irradiate the work with each other to form a spot image on the work. At this time, the image pickup device picks up a plurality of spot images and sends the video signals to the image processing means. Then, the image processing means derives the position of each image on the coordinate plane assumed on the light receiving surface of the image sensor.
【0039】この位置情報を入力値としてニューラルネ
ットワーク手段は、予め最適関数に定められた写像関数
による変換を行い、ワークとの距離及びワークに対する
姿勢を導出する。Using this position information as an input value, the neural network means carries out a conversion by a mapping function which is set to an optimum function in advance, and derives a distance to the work and a posture with respect to the work.
【0040】[0040]
A. センサシステムの構成及び概略動作 図1は、この発明の一実施例であるセンサシステム10
の電気的構成を模式的に示したブロック図である。同図
に於いて、センサ1は図6に示したものと同一構成を有
する。A. Configuration and Schematic Operation of Sensor System FIG. 1 shows a sensor system 10 according to an embodiment of the present invention.
2 is a block diagram schematically showing the electrical configuration of FIG. In the figure, the sensor 1 has the same structure as that shown in FIG.
【0041】CCD撮像素子11の受光面上の像点P1
〜P3 に関する各画像データVP1 〜VP3 は画像処理
手段2により画像処理され、CCD撮像素子11の受光
面上に想定されたxy座標軸に対する位置座標(例え
ば、ピクセル値)が求められる(本図内に模式的に示し
た画面11A参照)。即ち、位置座標P1 (x1 ,
y1 ),P2 (x2 ,y2 ),P3 (x3 ,y3 )が算
出される。尚、上記画像処理はテレビカメラによる3点
モニタ等に於いて通常用いられている処理と同一であ
り、一般に市販されている画像メモリ等が、画像処理手
段2として利用されている。Image point P 1 on the light receiving surface of the CCD image pickup device 11
To P 3 each image data VP 1 ~VP about 3 is the image processed by the image processing means 2, the position coordinates for the supposed xy coordinate axes on the light receiving surface of the CCD image sensor 11 (e.g., pixel value) is obtained (this (See screen 11A schematically shown in the figure). That is, the position coordinate P 1 (x 1 ,
y 1 ), P 2 (x 2 , y 2 ), P 3 (x 3 , y 3 ) are calculated. The above-mentioned image processing is the same as the processing usually used in a three-point monitor or the like by a television camera, and a commercially available image memory or the like is used as the image processing means 2.
【0042】その後、上記画像処理結果Pi (xi ,y
i )(i:1〜3)はCPU3へ入力され、後述する写
像変換がCPU3内のニューラルネットワーク手段31
により行われる。又、CPU3は、キーボード32,C
RTディスプレイ33及びメモリ34を備えている。オ
ペレータは、キーボード32を介して後述する通り、ニ
ューラルネットワーク手段31にデータを与えることが
できる。以下、ニューラルネットワーク手段31を単に
ニューラルネットワーク31と呼ぶ。Then, the image processing result P i (x i , y
i ) (i: 1 to 3) is input to the CPU 3, and the mapping conversion described later is performed by the neural network means 31 in the CPU 3.
Done by. Further, the CPU 3 uses the keyboard 32, C
An RT display 33 and a memory 34 are provided. The operator can give data to the neural network means 31 via the keyboard 32, as will be described later. Hereinafter, the neural network means 31 will be simply referred to as the neural network 31.
【0043】B. ニューラルネットワークの構成及び
その学習動作 (1) 構成と写像関数 図2は、ニューラルネットワーク31の構成例として、
Perceptron型ネットワークを利用した階層ネットワーク
を示した図であり、入力層、中間層、出力層より成る3
層構造を有するネットワークを示している。同図に示す
通り、入力層は6個のノードUS1〜US6より成り、各ノ
ードUS1〜US6にはそれぞれ座標値x1 〜y3 (入力
値)が与えられる。又、各ノードUS1〜US6は、それぞ
れ入出力関数f1 〜f6 を有しており、各ノードUS1〜
US6に格納された入力値x1 〜y3 はそれぞれ、入出力
関数f1 〜f6 によって写像変換される。例えば、点P
1 のx座標値x1 はノードUS1に格納され、入出力関数
f1 によって出力データOS1に変換される。又、点P1
のy座標値y1 はノードUS2に格納され、入出力関数f
2 によって出力データOS2に変換される。即ち、各入力
値xi は入力層により、出力データOSi=fi (xi)
(i:1〜6)に変換される。ここで、入出力関数f1
〜f6 は予め設定された関数であって、例えば区分線形
関数等を入出力関数f1 〜f6 として用いることができ
る。B. Configuration of Neural Network and Learning Operation (1) Configuration and Mapping Function FIG. 2 shows an example of the configuration of the neural network 31.
FIG. 3 is a diagram showing a hierarchical network using a Perceptron type network, which includes an input layer, an intermediate layer, and an output layer.
1 illustrates a network having a layered structure. As shown in the figure, the input layer is composed of six nodes U S1 to U S6 , and the coordinate values x 1 to y 3 (input values) are given to the respective nodes U S1 to U S6 . Further, each node U S1 ~U S6 has the input and output functions f 1 ~f 6 respectively, each node U S1 ~
Input values stored in the U S6 x 1 ~y 3, respectively, are mapped transformed by input and output functions f 1 ~f 6. For example, point P
1 of x-coordinate value x 1 is stored in the node U S1, it is converted into an output data O S1 by input and output functions f 1. Also, point P 1
The y-coordinate value y 1 of is stored in the node U S2 , and the input / output function f
It is converted into output data O S2 by 2 . That is, each input value x i is output data O Si = f i (x i ) depending on the input layer.
(I: 1 to 6). Here, the input / output function f 1
˜f 6 are preset functions, and for example, piecewise linear functions can be used as the input / output functions f 1 to f 6 .
【0044】一方、中間層はn個のノードUM1〜UMnか
ら成り、各ノードUM1〜UMnはそれぞれ入出力関数g1
〜gn を有している。又、各ノードUM1〜UMnはそれぞ
れ、入力層の各ノードUS1〜US6と対応するコネクショ
ンにより結合されており、しかも各コネクションには重
み付け値WSiMj(ノードUSiからノードUMjへのコネク
ションの場合)か設定されている。従って、入力層の各
ノードUSi(i:1〜6)の出力データOSiは、中間層
の一つのノードUMj(j:1〜n)へ入力されるに際
し、重み付け値WSiMjにより重み付けられることにな
る。例えば、ノードUS1の場合には、その出力データO
S1と重み付け値WS1M1との積WS1M1・OS1がノードUS1
からノードUM1へ入力される。そして、中間層の一つの
ノードUMjの入力値は、入力層の各ノードUSiから与え
られる重み付けられた量WSiMj・OSiの総和IMjとして
表される。即ち、On the other hand, the intermediate layer is composed of n nodes U M1 to U Mn , and each of the nodes U M1 to U Mn is an input / output function g 1
˜g n . Further, each of the nodes U M1 to U Mn is connected to each of the nodes U S1 to U S6 of the input layer by a corresponding connection, and each connection has a weighting value W SiMj (from the node U Si to the node U Mj . (In case of connection) or is set. Therefore, when the output data O Si of each node U Si (i: 1 to 6) in the input layer is input to one node U Mj (j: 1 to n) in the intermediate layer, it is weighted by the weighting value W SiMj. Will be For example, in the case of the node U S1 , its output data O
The product W S1M1 · O S1 of S1 and the weighting value W S1M1 is the node U S1.
From node U M1 . Then, the input value of one node U Mj of the intermediate layer is represented as the sum I Mj of the weighted quantities W SiMj · O Si given from each node U Si of the input layer. That is,
【0045】[0045]
【数15】 [Equation 15]
【0046】となる。It becomes
【0047】その後、入力値IMjは、ノードUMjの入出
力関数gj により出力データOMjへ写像変換される。即
ち、OMj=gj (IMj)となる。この出力データOMjも
また、ノードUMjと出力層の一つのノードURk(k:1
〜3)との間のコネクションにより、重み付け値WMjRk
で重み付けられる。After that, the input value I Mj is converted into the output data O Mj by the input / output function g j of the node U Mj . That is, O Mj = g j (I Mj ). This output data O Mj also has a node U Mj and one node U Rk (k: 1) in the output layer.
~ 3), the weighting value W MjRk
Weighted by.
【0048】同じく出力層は3個のノードUR1〜UR3よ
り成り、各ノードUR1〜UR3はそれぞれ入出力関数h1
〜h3 を有している。従って、各ノードURkの入力値I
Rk及びその出力データORkは、それぞれ数16及び数1
7により与えられる。Similarly, the output layer is composed of three nodes U R1 to U R3 , and each of the nodes U R1 to U R3 is an input / output function h 1 respectively.
˜h 3 . Therefore, the input value I of each node U Rk
Rk and its output data O Rk are, respectively,
Given by 7.
【0049】[0049]
【数16】 [Equation 16]
【0050】[0050]
【数17】 [Equation 17]
【0051】そして、これらの出力データOR1〜OR3が
それぞれ求めるべき出力値φ,θ及びz0 に相当してい
る。即ち、姿勢(φ,θ),距離z0 は、ネットワーク
の写像関数をF1 〜F3 として、The output data O R1 to O R3 correspond to the output values φ, θ and z 0 to be obtained, respectively. That is, the posture (φ, θ) and the distance z 0 are defined as network mapping functions F 1 to F 3 ,
【0052】[0052]
【数18】 [Equation 18]
【0053】[0053]
【数19】 [Formula 19]
【0054】[0054]
【数20】 [Equation 20]
【0055】により表される。Is represented by
【0056】以上の展開より、予め写像関数F1 〜F3
が最適な関数となる様に設定されていれば、3点P1 〜
P3 の位置座標の観測値を入力値xi としてニューラル
ネットワーク31に与えることにより、姿勢(φ,θ)
及び距離z0 が算出されることになる。尚、ニューラル
ネットワーク31自身は、その様な写像関数F1 〜F3
を最適化する能力、即ち、学習能力を有している。以下
においては、この学習能力について詳述することとす
る。From the above expansion, the mapping functions F 1 to F 3 are previously set.
Is set to be an optimal function, three points P 1 ~
By giving the observed value of the position coordinate of P 3 to the neural network 31 as the input value x i , the posture (φ, θ)
And the distance z 0 will be calculated. Incidentally, the neural network 31 itself has such mapping functions F 1 to F 3
Has the ability to optimize, that is, learning ability. In the following, this learning ability will be described in detail.
【0057】(2) 学習動作 写像関数F1 〜F3 を最適化する方法としては、入出力
関数fi ,gj ,hk の関数形を逐次修正する方法、各
重み付け値WSiMj,WMjRkを逐次修正する方法等が考え
られるが、本ニューラルネットワーク31においては、
後者の方法が利用される。又、その様な重み付け値W
SiMj,WMjRkの修正方法としては、周知の誤差逆伝播法
(Error Back Propagation) が用いられる。以下、図3
及び図4に基づき説明する。(2) Learning operation As a method of optimizing the mapping functions F 1 to F 3 , a method of sequentially correcting the functional forms of the input / output functions f i , g j , h k , each weighting value W SiMj , W. A method of sequentially modifying MjRk is conceivable, but in the present neural network 31,
The latter method is used. Also, such a weighting value W
As a method of correcting SiMj and WMjRk , a known error back propagation method is used. Below, FIG.
And FIG. 4 will be described.
【0058】図3及び図4は、ニューラルネットワーク
31による姿勢(φ,θ)及び距離z0 の算出に先立っ
て行われる前段階の各ステップ(準備用ステップ)を示
したフローチャートであり、学習動作を表したものでも
ある。即ち、ここでの考え方は、姿勢及び距離について
は実測可能であるので、それらの実測値とその際の3点
P1 〜P3 の位置座標の観測値とから成るサンプルデー
タを複数個用意しておき、それらのサンプリング結果を
満足する様にニューラルネットワーク31に学習動作を
行わせしめようとするものである。FIGS. 3 and 4 are flowcharts showing the steps (preparation steps) in the previous stage performed prior to the calculation of the posture (φ, θ) and the distance z 0 by the neural network 31, and the learning operation. Is also a representation of. That is, the idea here is that the posture and distance can be actually measured, so a plurality of sample data consisting of the actually measured values and the observed values of the position coordinates of the three points P 1 to P 3 at that time are prepared. The neural network 31 is made to perform a learning operation so as to satisfy those sampling results.
【0059】先ずステップPS1においては、サンプリ
ングが行われる。即ち、姿勢(φi ,θi ),距離z0i
及び像点P1i〜P3iの位置座標をN個計測する(i:1
〜N)。この場合、各像点P1i〜P3iの位置座標値はセ
ンサ1及び画像処理手段2により求められ、それらの結
果がCRTディスプレイ33に表示される。First, in step PS1, sampling is performed. That is, the posture (φ i , θ i ), the distance z 0i
And N position coordinates of the image points P 1i to P 3i are measured (i: 1
~ N). In this case, the position coordinate values of the image points P 1i to P 3i are obtained by the sensor 1 and the image processing means 2, and the results are displayed on the CRT display 33.
【0060】次にオペレータは、表示された各位置座標
値(x1i,y1i)〜(x3i,y3i)と対応する各姿勢
(φi ,θi ),距離z0iについての実測値とを、キー
ボード32によって指定値としてニューラルネットワー
ク31に入力する(ステップPS2)。Next, the operator actually measures the displayed position coordinate values (x 1i , y 1i ) to (x 3i , y 3i ) and the corresponding postures (φ i , θ i ) and the distance z 0i. And are input to the neural network 31 as designated values by the keyboard 32 (step PS2).
【0061】ステップPS3は既述の学習動作を表した
ステップであり、複数のステップPS31〜PS34よ
り構成される。Step PS3 is a step representing the above-mentioned learning operation, and is composed of a plurality of steps PS31 to PS34.
【0062】ステップPS31では、前述の数18〜数
20に基づきニューラルネットワーク31により、各位
置座標値(x1i,y1i)〜(x3i,y3i)が写像変換さ
れる。ここで用いられる写像関数F1 〜F3 は、予めオ
ペレータによって適当に設定された関数である。即ち、
この段階では、各重み付け値WSiMj,WMjRkは、姿勢及
び距離の実測値とは無関係に定められたものである。
今、位置座標値(x1i,y1i)〜(x3i,y3i)に対す
る写像変換の結果として、姿勢(φFi,θFi)及び距離
zFiが計算されたとする。In step PS31, the position coordinate values (x 1i , y 1i ) to (x 3i , y 3i ) are map-transformed by the neural network 31 based on the above-mentioned equations 18 to 20. The mapping functions F 1 to F 3 used here are functions that have been appropriately set in advance by the operator. That is,
At this stage, the weighting values W SiMj and W MjRk are determined irrespective of the actual measurement values of the posture and the distance.
Now, it is assumed that the posture (φ Fi , θ Fi ) and the distance z Fi are calculated as the result of the mapping conversion for the position coordinate values (x 1i , y 1i ) to (x 3i , y 3i ).
【0063】ステップPS32では、上記計算値と実測
値(指定値)との比較が行われる。この比較は、両者の
差分が予めオペレータによって適切に設定された許容値
δ1 〜δ3 内に属するか否かによって行われる。At step PS32, the calculated value and the actually measured value (specified value) are compared. This comparison is performed depending on whether or not the difference between the two belongs to the allowable values δ 1 to δ 3 which are appropriately set by the operator in advance.
【0064】今、|φFi−φi |≦δ1 ,|θFi−θi
|≦δ2 ,|zFi−z0i|≦δ3 が満足されないと判定
した場合には、ニューラルネットワーク31はその学習
機能として各重み付け値WSiMj,WMjRkの修正を行う
(ステップPS33)。この修正は、既述したError Ba
ck Propagationに基づくものである。この方法自体はよ
く知られた方法であり、ここではその詳細については触
れないが、要約すれば次のような方法であると言える。
即ち、上記差分の自乗和より成る損失関数を求め、損失
関数が最小値となる様に上記重み付け値を逐次修正する
ものであり、いわゆる収束定理に基づいている。そして
修正後は、再びステップPS31に於いて新たな写像関
数F1 〜F3 による写像変換が行われ、ステップPS3
2の比較処理がなされる。Now, | φ Fi −φ i | ≦ δ 1 , | θ Fi −θ i
If it is determined that | ≦ δ 2 and | z Fi −z 0i | ≦ δ 3 are not satisfied, the neural network 31 corrects the weighting values W SiMj and W MjRk as its learning function (step PS33 ). This fix is based on Error Ba
It is based on ck Propagation. This method itself is a well-known method, and its details will not be described here, but it can be said that it is the following method in summary.
That is, a loss function consisting of the sum of squares of the difference is obtained, and the weighting value is sequentially corrected so that the loss function becomes the minimum value, which is based on the so-called convergence theorem. Then, after the correction, the mapping conversion by the new mapping functions F 1 to F 3 is performed again in step PS31, and step PS3
A comparison process of 2 is performed.
【0065】一方、ステップPS32に於いて上記関係
が満足されていると判定した場合には、その時点での各
重み付け値WSiMj,WMjRkが求めるべき最適値であると
決定し、それらの値を最適な写像関数F1 〜F3 を形成
する各重み付け値として固定する(ステップPS3
4)。即ち、それらの値はメモリ34に格納され、準備
ステップとしての学習動作は終了する。On the other hand, when it is determined in step PS32 that the above relationship is satisfied, it is determined that the weighting values W SiMj and W MjRk at that time are the optimum values to be obtained, and those values are determined. Is fixed as each weighting value forming the optimum mapping functions F 1 to F 3 (step PS3).
4). That is, those values are stored in the memory 34, and the learning operation as the preparation step ends.
【0066】C. センサシステムの動作手順 上述の学習がなされたニューラルネットワーク31を用
いてワーク4に対する姿勢(φ,θ),ワーク4との距
離z0 を検出するのが、本センサシステム10である。
ここでは学習後の本センサシステム10の動作を、図5
のフローチャートに従って説明する。C. Operation Procedure of Sensor System This sensor system 10 detects the posture (φ, θ) with respect to the work 4 and the distance z 0 to the work 4 using the neural network 31 which has been learned as described above.
Here, the operation of the sensor system 10 after learning is shown in FIG.
It will be described according to the flowchart of
【0067】先ずワーク4上へセンサ1を移動し、各レ
ーザー発振器S1 〜S3 よりレーザービームLB1 〜L
B3 をワーク4へ照射する。そして、CCD撮像素子1
1によりスポット像SP1 〜SP3 が撮像される(ステ
ップS1〜S2)。更に、像点P1 〜P3 に関する画像
データから、位置座標値P1(x1 ,y1 )〜P3 (x
3 ,y3 )が画像処理手段2により算出される(ステッ
プS3)。First, the sensor 1 is moved onto the work 4, and the laser beams LB 1 to L 1 are emitted from the laser oscillators S 1 to S 3.
The work 4 is irradiated with B 3 . Then, the CCD image pickup device 1
1, the spot images SP 1 to SP 3 are captured (steps S1 to S2). Furthermore, from the image data relating to the image points P 1 to P 3 , the position coordinate values P 1 (x 1 , y 1 ) to P 3 (x
3 , y 3 ) is calculated by the image processing means 2 (step S3).
【0068】これらの位置座標値は入力値xi としてニ
ューラルネットワーク31に入力され、上記最適化写像
関数F1 〜F3 による写像変換を受ける。即ち、数18
〜数20に基づいて、姿勢(φ,θ)と距離z0 とが算
出され、その結果が例えばCRTディスプレイ33に表
示される(ステップS4)。These position coordinate values are input to the neural network 31 as input values x i and undergo the mapping conversion by the above-mentioned optimized mapping functions F 1 to F 3 . That is, the number 18
~ The posture (φ, θ) and the distance z 0 are calculated based on Expression 20, and the results are displayed on, for example, the CRT display 33 (step S4).
【0069】これらの算出結果は、姿勢及び距離の実測
値と対応する像点の観測値とからなる複数のサンプル値
に基づいて最適化された写像関数F1 〜F3 を用いて求
められたものであるため、それらは既述した誤差要因を
全て加味した較正済の値、即ち、真値に非常に近い値で
あると考えられる。These calculation results were obtained using mapping functions F 1 to F 3 optimized on the basis of a plurality of sample values consisting of the measured values of the posture and distance and the observed values of the corresponding image points. Therefore, they are considered to be calibrated values in which all the error factors described above are added, that is, values that are very close to the true values.
【0070】[0070]
【発明の効果】以上説明した通りこの発明は、ニューラ
ルネットワーク手段の強力な写像関数生成能力(学習能
力)を利用して最適化された写像関数をニューラルネッ
トワーク内に形成し、この写像関数による写像変換によ
って姿勢及び距離を検出しようとするものである。従っ
て、本発明は、姿勢及び距離の高精度な検出を可能成ら
しめる効果を奏するものであり、しかもその様な高精度
検出に当たって複雑な較正を必要としないので、検出の
容易化を達成し得る効果をも奏する。As described above, according to the present invention, an optimized mapping function is formed in the neural network by utilizing the strong mapping function generating ability (learning ability) of the neural network means, and the mapping function by this mapping function is formed. It is intended to detect the posture and the distance by the conversion. Therefore, the present invention has the effect of enabling highly accurate detection of the posture and distance, and does not require complicated calibration for such high-accuracy detection, thus facilitating detection. It also has an effect.
【図1】この発明の一実施例であるセンサシステムの電
気的構成を模式的に示したブロック図である。FIG. 1 is a block diagram schematically showing an electrical configuration of a sensor system that is an embodiment of the present invention.
【図2】Perceptron型ネットワークを利用した階層ネッ
トワークを示した説明図である。FIG. 2 is an explanatory diagram showing a hierarchical network using a Perceptron type network.
【図3】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。FIG. 3 is a flow chart showing steps in a previous stage performed prior to calculation of a posture and a distance by a neural network.
【図4】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。FIG. 4 is a flow chart showing steps in a previous stage performed prior to calculation of a posture and a distance by a neural network.
【図5】センサシステムの動作手順を示したフローチャ
ートである。FIG. 5 is a flowchart showing an operation procedure of the sensor system.
【図6】けがき線センサの構成を示した説明図である。FIG. 6 is an explanatory diagram showing a configuration of a marking line sensor.
【図7】センサの姿勢(φ,θ)を定義した説明図であ
る。FIG. 7 is an explanatory diagram that defines the orientation (φ, θ) of the sensor.
【図8】姿勢及び距離の解析方法の説明図である。FIG. 8 is an explanatory diagram of a posture and distance analysis method.
【図9】姿勢及び距離の解析方法の説明図である。FIG. 9 is an explanatory diagram of a method of analyzing a posture and a distance.
1 けがき線センサ 2 画像処理手段 31 ニューラルネットワーク手段 4 ワーク 11 CCD撮像素子 S1 レーザー発振器 S2 レーザー発振器 S3 レーザー発振器1 Marking Line Sensor 2 Image Processing Means 31 Neural Network Means 4 Work 11 CCD Image Sensor S 1 Laser Oscillator S 2 Laser Oscillator S 3 Laser Oscillator
Claims (1)
姿勢を検出する視覚センサシステムであって、 (a) 前記ワーク上にビームを照射する複数のビーム
発生手段と、 (b) 前記照射時に生ずる複数のスポット像を撮像す
る撮像素子と、 (c) 前記撮像素子の映像信号を受けて、前記複数の
スポット像に関する各映像の前記撮像素子の受光面上に
想定された座標平面上に於ける位置を導出する画像処理
手段と、 (d) 学習能力によって予め最適関数に定められた写
像関数を有し、前記画像処理手段より受けた前記各映像
の位置情報を前記写像関数によって変換することにより
前記距離及び前記姿勢を決定するニューラルネットワー
ク手段とを、備えた視覚センサシステム。1. A visual sensor system for detecting a distance to a work and a posture with respect to the work, comprising: (a) a plurality of beam generating means for irradiating a beam onto the work; and (b) a plurality of beams generated at the time of the irradiation. (C) a position on a coordinate plane assumed on the light receiving surface of the image pickup device of each image relating to the plurality of spot images by receiving the image signal of the image pickup device. And (d) a mapping function that is determined in advance as an optimum function by learning ability, and the position information of each video received from the image processing means is converted by the mapping function. A visual sensor system comprising a neural network means for determining a distance and the posture.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3261207A JPH0571933A (en) | 1991-09-11 | 1991-09-11 | Visual sensor system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3261207A JPH0571933A (en) | 1991-09-11 | 1991-09-11 | Visual sensor system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0571933A true JPH0571933A (en) | 1993-03-23 |
Family
ID=17358635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3261207A Pending JPH0571933A (en) | 1991-09-11 | 1991-09-11 | Visual sensor system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0571933A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100345135B1 (en) * | 2000-04-03 | 2002-07-24 | 현대자동차주식회사 | Automotive body displacement-detecting method |
JP2012132913A (en) * | 2010-12-23 | 2012-07-12 | Hilti Ag | Accessory of machine drill and control method of accessory |
KR20130124218A (en) * | 2012-05-04 | 2013-11-13 | 살바그니니 이탈리아 에스.피.에이. | Apparatus and method for measuring the bending angle of a sheet |
-
1991
- 1991-09-11 JP JP3261207A patent/JPH0571933A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100345135B1 (en) * | 2000-04-03 | 2002-07-24 | 현대자동차주식회사 | Automotive body displacement-detecting method |
JP2012132913A (en) * | 2010-12-23 | 2012-07-12 | Hilti Ag | Accessory of machine drill and control method of accessory |
US9289833B2 (en) | 2010-12-23 | 2016-03-22 | Hilti Aktiengesellschaft | Accessory of a machine drill and control method |
KR20130124218A (en) * | 2012-05-04 | 2013-11-13 | 살바그니니 이탈리아 에스.피.에이. | Apparatus and method for measuring the bending angle of a sheet |
JP2013234994A (en) * | 2012-05-04 | 2013-11-21 | Salvagnini Italia Spa | Apparatus and method for measuring bending angle of sheet |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0812662B1 (en) | Composite sensor robot system | |
JP6280525B2 (en) | System and method for runtime determination of camera miscalibration | |
US20080301072A1 (en) | Robot simulation apparatus | |
US6728417B1 (en) | Measurement apparatus | |
WO2023165632A1 (en) | Active vision three-dimensional calibration method and system based on galvanometer camera, and device | |
JPH10253322A (en) | Method and apparatus for designating position of object in space | |
JP4020994B2 (en) | Robot tool coordinate system correction setting method and end effector used in the method | |
JPH0571933A (en) | Visual sensor system | |
JPH03161223A (en) | Fitting of work | |
JP3516668B2 (en) | Three-dimensional shape recognition method, apparatus and program | |
JP3195850B2 (en) | Method and apparatus for measuring three-dimensional position on curved surface | |
JP3824597B2 (en) | Optical three-dimensional shape measuring apparatus and measuring method | |
CN108534707A (en) | Industry manufacture component scale scanning detection method | |
JP3098008B1 (en) | Welding position measuring device | |
JP2718249B2 (en) | Robot displacement detection device | |
JP2005186193A (en) | Calibration method and three-dimensional position measuring method for robot | |
JPH05322531A (en) | Three-dimensional shape measuring device of object | |
JP2913370B2 (en) | Optical position measurement method | |
JPH11132763A (en) | Distance measuring method | |
JPH07139918A (en) | Method for measuring central position/radius of cylinder | |
US20020159073A1 (en) | Range-image-based method and system for automatic sensor planning | |
JP3195851B2 (en) | Method and apparatus for measuring three-dimensional position on curved surface | |
JP2899642B2 (en) | Processing position detection device and processing position detection method | |
JPH05329793A (en) | Visual sensor | |
JP2879357B2 (en) | Shape judgment method |