JPH0571933A - Visual sensor system - Google Patents

Abstract

PURPOSE:To obtain a visual sensor with a highly accurate inspection function which is not affected by mechanical and optical error factors. CONSTITUTION:Laser beam which is radiated from a laser oscillator within a sensor 1 forms spot image SP1-SP3 on a work 4. These spot images are picked up by a CCD image pick-up element 11 and position coordinates of the image points P1-P3 are obtained by an image-processing means 2. These position coordinate values (x1, y1)-(x3, y3) are subjected to mapping conversion by a mapping function which is optimized by a learning capacity which a neural network means 31 has. This conversion value corresponds to a posture of the work 4 and a distance of the work 4.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】この発明は、けがき線に沿って切
断する切断ロボット等の工作機械に用いられる視覚セン
サに関するものである。具体的には、ワークとの距離及
びワークに対する姿勢を検出する視覚センサに利用され
る発明である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual sensor used for a machine tool such as a cutting robot which cuts along a marking line. Specifically, the invention is applied to a visual sensor that detects a distance to a work and a posture with respect to the work.

【０００２】[0002]

【従来の技術】切断ロボット用のけがき線センサの構成
については、特願昭６２−２０４３９５号，特願昭６３
−４３７８４号，特願昭６３−１３５２２６号や特願昭
６３−１５０７９９号等に詳細に開示されている。この
様なけがき線センサの構成を示したものが図６である。2. Description of the Related Art The construction of a marking line sensor for a cutting robot is disclosed in Japanese Patent Application Nos. 62-204395 and 63-63.
-43784, Japanese Patent Application No. 63-135226, Japanese Patent Application No. 63-150799, and the like. FIG. 6 shows the structure of such a marking line sensor.

【０００３】同図に示す通り本けがき線センサ１（以
下、単にセンサ１と呼ぶ。）は、その基本的構造とし
て、３つのレーザー発振器Ｓ₁ 〜Ｓ₃，３つの微小光学
系１３〜１５（Ｓｅｌｆｏｃレンズ），集光レンズ１２
及びＣＣＤ撮像素子１１を備えている。ここで、各レー
ザー発振器Ｓ₁ 〜Ｓ₃ より発振したレーザービームＬＢ
₁ 〜ＬＢ₃ は対応した微小光学系１３〜１５を介してワ
ーク面４上に照射され、ワーク面４において反射した各
レーザービームＬＢ₁₁〜ＬＢ₃₁が集光レンズ１２を介し
てＣＣＤ撮像素子１１の受光面上に入射する。そして、
ＣＣＤ撮像素子１１の映像情報〔Ｐ₁ （ｘ₁ ，ｙ₁ ）〜
Ｐ₃ （ｘ₃ ，ｙ₃ ）〕より、当該センサ１とワーク４と
の距離ｚ₀ 及びワーク４に対する当該センサ１の姿勢
（φ，θ）が、下記に示す様に解析的に算出される。As shown in FIG. 1, the scribe line sensor 1 (hereinafter simply referred to as sensor 1) has three laser oscillators S _{1 to} S ₃ and three micro optical systems 13 to 15 as its basic structure. (Selfoc lens), condenser lens 12
And a CCD image pickup device 11. Here, the laser beam LB oscillated from each laser oscillator S _{1 to} S _{3
1 to} LB ₃ are irradiated onto the work surface 4 via the corresponding micro-optical systems 13 to 15, and the laser beams LB _{11 to} LB ₃₁ reflected on the work surface 4 pass through the condenser lens 12 and the CCD image pickup device 11. Is incident on the light receiving surface of. And
Image information of the CCD image pickup device 11 [P ₁ (x ₁ , y ₁ )-
From P ₃ (x ₃ , y ₃ )], the distance z ₀ between the sensor 1 and the work 4 and the attitude (φ, θ) of the sensor 1 with respect to the work 4 are analytically calculated as shown below. .

【０００４】図７はセンサ１の姿勢（φ，θ）を定義し
た説明図であり、ベクトルγはワーク４の法線ベクトル
を表している。同図より、姿勢（φ，θ）とはオイラー
角に相当していることが理解される。又、同図に示され
たＸＹ座標平面は、集光レンズ１２及びレーザー発振器
Ｓ₁ 〜Ｓ₃ を含む平面１６に相当するものである。尚、
ＣＣＤ撮像素子１１の受光面上に想定されたｘｙ座標平
面も当該平面１６に平行な平面である。FIG. 7 is an explanatory diagram defining the attitude (φ, θ) of the sensor 1, and the vector γ represents the normal vector of the work 4. From the figure, it is understood that the posture (φ, θ) corresponds to the Euler angle. The XY coordinate plane shown in the figure corresponds to the plane 16 including the condenser lens 12 and the laser oscillators S _{1 to} S ₃ . still,
The xy coordinate plane assumed on the light receiving surface of the CCD image pickup device 11 is also a plane parallel to the plane 16.

【０００５】ここに図８及び図９は、姿勢（φ，θ）及
び距離ｚ₀ の解析方法を説明するために描かれた参照図
であり、センサ１内部の各構成素子とワーク４との幾何
学的関係を示した図である。同図に示す様に各レーザー
発振器Ｓ₁ 〜Ｓ₃ は、相互に１２０度の角度で且つ同一
円周上（半径ｌ）に位置する様に、平面１６上に配置さ
れている。しかも、各レーザービームＬＢ₁ 〜ＬＢ₃ の
平面１６に対する出射角度もそれぞれ角度αとなる様
に、各レーザー発振器Ｓ₁ 〜Ｓ₃ は配置されている。
又、平面１６とＣＣＤ撮像素子１１との距離も、定数値
ｄに固定されている。以下、ＣＣＤ撮像素子１１の受光
面上の点Ｐ_i （ｘ_i，ｙ_i ）（ｉ：１〜３）の座標値が
与えられれば、距離ｚ₀及び姿勢（φ，θ）が解析的に
求められることを導出する。FIG. 8 and FIG. 9 are reference diagrams drawn for explaining the method of analyzing the posture (φ, θ) and the distance z _0. The constituent elements inside the sensor 1 and the work 4 are shown. It is the figure which showed the geometrical relationship. As shown in the figure, the laser oscillators S _{1 to} S ₃ are arranged on the plane 16 so as to be positioned at an angle of 120 degrees and on the same circumference (radius 1). Moreover, the laser oscillators S _{1 to} S ₃ are arranged so that the emission angles of the laser beams LB _{1 to} LB ₃ with respect to the plane 16 are also the angles α.
The distance between the plane 16 and the CCD image pickup device 11 is also fixed to the constant value d. Hereinafter, if the coordinate values of the points P _i (x _i , y _i ) (i: 1 to 3) on the light receiving surface of the CCD image pickup device 11 are given, the distance z ₀ and the posture (φ, θ) are analytically analyzed. Derive what is required.

【０００６】先ず、長さＬ₁ を導出する。図９より、角
度αに関して数１の関係式が成立する。First, the length L ₁ is derived. From FIG. 9, the relational expression of Expression 1 is satisfied with respect to the angle α.

【０００７】[0007]

【数１】 [Equation 1]

【０００８】ここで距離Ｏ_c Ｐ₁ 、即ち、Ｘ₁ は、点Ｐ
₁ の位置座標との関係では数２で与えられる。Here, the distance O _c P ₁ , that is, X ₁ is the point P
_In relation to the position coordinate of ₁ , it is given by Equation 2.

【０００９】[0009]

【数２】 [Equation 2]

【００１０】従って、点Ｐ₁ （ｘ₁ ，ｙ₁ ）の座標値が
与えられれば、長さＬ₁ の値は、Therefore, if the coordinate value of the point P ₁ (x ₁ , y ₁ ) is given, the value of the length L ₁ is

【００１１】[0011]

【数３】 [Equation 3]

【００１２】により算出されることになる。長さＬ₂ ，
Ｌ₃ もまた、同様に求められる。Will be calculated by Length L ₂ ,
L ₃ is similarly calculated.

【００１３】又、各レーザービームＬＢ₁ 〜ＬＢ₃ とワ
ーク４との交点ＳＰ₁ 〜ＳＰ₃ のベクトル表現γ₁ 〜γ
₃ は、それぞれ数４〜数６で与えられる。Further, vector representations γ _{1 to} γ of intersections SP _{1 to} SP ₃ of the laser beams LB _{1 to} LB ₃ and the work 4 are shown.
₃ is given by Equations 4 to 6, respectively.

【００１４】[0014]

【数４】 [Equation 4]

【００１５】[0015]

【数５】 [Equation 5]

【００１６】[0016]

【数６】 [Equation 6]

【００１７】従って、法線ベクトルγは数７で与えら
れ、これを姿勢（φ，θ）で表現すれば、数８及び数９
で与えられる。Therefore, the normal vector γ is given by the expression 7, and if this is expressed by the posture (φ, θ), the expression 8 and the expression 9 are obtained.
Given in.

【００１８】[0018]

【数７】 [Equation 7]

【００１９】[0019]

【数８】 [Equation 8]

【００２０】[0020]

【数９】 [Equation 9]

【００２１】次に、ワーク４とＺ軸との交点ωを求め
る。交点ＳＰ₁ 〜ＳＰ₃ を含む面の方程式は数１０で与
えられるので、数１０にＸ＝０，Ｙ＝０を代入すると、
距離ｚ₀ （距離Ｏω）は数１１で与えられることにな
る。Next, the intersection point ω between the work 4 and the Z axis is determined. Since the equation of the surface including the intersection points SP _{1 to} SP ₃ is given by the equation 10, substituting X = 0 and Y = 0 into the equation 10,
The distance z ₀ (distance Oω) is given by Expression 11.

【００２２】[0022]

【数１０】 [Equation 10]

【００２３】[0023]

【数１１】 [Equation 11]

【００２４】ここで、Δｘ，Δｙ及びΔｚはそれぞれ、Here, Δx, Δy and Δz are respectively

【００２５】[0025]

【数１２】 [Equation 12]

【００２６】[0026]

【数１３】 [Equation 13]

【００２７】[0027]

【数１４】 [Equation 14]

【００２８】で表現される量である。Is a quantity expressed by

【００２９】以上より、点Ｐ_i （ｘ_i ，ｙ_i ）の座標値
が与えられれば、距離ｚ₀ 及び姿勢（φ，θ）が解析的
に求められることが理解される。From the above, it is understood that the distance z ₀ and the posture (φ, θ) can be analytically obtained if the coordinate value of the point P _i (x _i , y _i ) is given.

【００３０】[0030]

【発明が解決しようとする課題】従来のけがき線センサ
によれば確かに上記距離及び姿勢を解析的に求めること
が可能であるが、以下に記す誤差要因により、精度良く
これらの値を導出することが困難であった。According to the conventional marking line sensor, it is possible to obtain the above distance and posture analytically, but due to the error factors described below, these values are derived with high accuracy. It was difficult to do.

【００３１】 ３つのレーザー発振器それぞれの所定
位置への取り付け精度が異なるため、レーザー発振器の
取り付け位置に関する幾何学的パラメータ（前述の角度
α、半径ｌ）がレーザー発振器毎に相違する。そのた
め、解析に用いた幾何学的パラメータ値と実際のそれら
の値との間に差が生じ、解析結果に誤差をもたらせてい
た。Since the mounting accuracy of the three laser oscillators at the predetermined positions is different, the geometrical parameters (the above-mentioned angle α and radius 1) regarding the mounting positions of the laser oscillators are different for each laser oscillator. Therefore, a difference occurs between the geometrical parameter values used for the analysis and the actual values thereof, which causes an error in the analysis result.

【００３２】 各微小光学系についても又、それらを
高精度で所定位置へ取り付けることが容易ではなく、ね
じれ方向に誤差が生じる場合が多かった。この誤差は、
各レーザービームが一点で交わらないという不具合をも
たらせることになる。Also with respect to each micro optical system, it is not easy to attach them to a predetermined position with high accuracy, and an error often occurs in the twist direction. This error is
This causes a problem that the laser beams do not intersect at one point.

【００３３】 更に、各微小光学系の機械的中心軸と
その光学的中心とを一致させることが困難であり、ずれ
が生じていた。このずれもまた、解析モデルと現実の光
学的配置との間にギャップをもたらせていた。Further, it is difficult to make the mechanical center axis of each micro optical system coincide with the optical center thereof, which causes a deviation. This misalignment also created a gap between the analytical model and the actual optical geometry.

【００３４】尚、これらの誤差要因を加味して解析値を
較正することも考えられるが、微小光学系のねじれ方向
の誤差や軸ずれ等を測定すること自体が極めて困難であ
り、しかもその様な測定及び較正をセンサ一つ一つにつ
いて実行することは非現実的である。Although it is possible to calibrate the analysis value in consideration of these error factors, it is extremely difficult to measure the error in the twisting direction of the minute optical system, the axis deviation, and the like. It is impractical to perform different measurements and calibrations on each sensor.

【００３５】この様な問題点は上記けがき線センサ特有
のものではなく、光学系を有するセンサである限り必然
的に生ずる問題点であり、しかも当該センサを工作機械
に適用しようとする場合に一般的に生ずる問題点であっ
た。Such a problem is not peculiar to the above-mentioned marking line sensor, and it is a problem inevitably occurring as long as the sensor has an optical system. Moreover, when the sensor is applied to a machine tool. It was a commonly occurring problem.

【００３６】本発明はこの様な状況を打開すべく創作さ
れたものであり、機械的及び光学的誤差要因を必然的に
含む視覚センサにおいて、それらの誤差要因に影響を受
けることなく高精度でワークとの距離及び姿勢を求める
ことができる視覚センサシステムを提供するものであ
る。The present invention was created in order to overcome such a situation, and in a visual sensor which necessarily includes mechanical and optical error factors, it is highly accurate without being affected by those error factors. The present invention provides a visual sensor system capable of obtaining the distance and posture with respect to a work.

【００３７】[0037]

【課題を解決するための手段】この発明は、（ａ）ワー
ク上にビームを照射する複数のビーム発生手段と、
（ｂ）当該照射時に生ずる複数のスポット像を撮像する
撮像素子と、（ｃ）撮像素子の映像信号を受けて、複数
のスポット像に関する各映像の撮像素子の受光面上に想
定された座標平面上に於ける位置を導出する画像処理手
段と、（ｄ）予め最適関数に定められた写像関数を有
し、画像処理手段より受けた各映像の位置情報を当該写
像関数によって変換することにより距離及び姿勢を決定
するニューラルネットワーク手段とを備えたものであ
り、これによりワークとの距離及びワークに対する姿勢
を検出する様にしたものである。The present invention comprises: (a) a plurality of beam generating means for irradiating a beam onto a work;
(B) An image pickup element for picking up a plurality of spot images generated during the irradiation, and (c) a coordinate plane assumed on the light receiving surface of the image pickup element of each image regarding the plurality of spot images by receiving the image signal of the image pickup element. The image processing means for deriving the position in the above and (d) the mapping function defined in advance as an optimal function, and the distance information is obtained by converting the position information of each video received from the image processing means by the mapping function. And a neural network means for determining the posture, and the distance to the work and the posture with respect to the work are thereby detected.

【００３８】[0038]

【作用】各ビーム発生手段より出射された複数のビーム
は、それぞれワーク上を照射し、ワーク上にスポット像
を生じさせる。このとき撮像素子は複数のスポット像を
撮像し、その映像信号を画像処理手段へ送る。そして画
像処理手段は、各映像の撮像素子の受光面上に想定され
た座標平面上に於ける位置を導出することになる。The plurality of beams emitted from the respective beam generating means irradiate the work with each other to form a spot image on the work. At this time, the image pickup device picks up a plurality of spot images and sends the video signals to the image processing means. Then, the image processing means derives the position of each image on the coordinate plane assumed on the light receiving surface of the image sensor.

【００３９】この位置情報を入力値としてニューラルネ
ットワーク手段は、予め最適関数に定められた写像関数
による変換を行い、ワークとの距離及びワークに対する
姿勢を導出する。Using this position information as an input value, the neural network means carries out a conversion by a mapping function which is set to an optimum function in advance, and derives a distance to the work and a posture with respect to the work.

【００４０】[0040]

【実施例】【Example】

Ａ． センサシステムの構成及び概略動作 図１は、この発明の一実施例であるセンサシステム１０
の電気的構成を模式的に示したブロック図である。同図
に於いて、センサ１は図６に示したものと同一構成を有
する。A. Configuration and Schematic Operation of Sensor System FIG. 1 shows a sensor system 10 according to an embodiment of the present invention.
2 is a block diagram schematically showing the electrical configuration of FIG. In the figure, the sensor 1 has the same structure as that shown in FIG.

【００４１】ＣＣＤ撮像素子１１の受光面上の像点Ｐ₁
〜Ｐ₃ に関する各画像データＶＰ₁ 〜ＶＰ₃ は画像処理
手段２により画像処理され、ＣＣＤ撮像素子１１の受光
面上に想定されたｘｙ座標軸に対する位置座標（例え
ば、ピクセル値）が求められる（本図内に模式的に示し
た画面１１Ａ参照）。即ち、位置座標Ｐ₁ （ｘ₁ ，
ｙ₁ ），Ｐ₂ （ｘ₂ ，ｙ₂ ），Ｐ₃ （ｘ₃ ，ｙ₃ ）が算
出される。尚、上記画像処理はテレビカメラによる３点
モニタ等に於いて通常用いられている処理と同一であ
り、一般に市販されている画像メモリ等が、画像処理手
段２として利用されている。Image point P ₁ on the light receiving surface of the CCD image pickup device 11
To P ₃ each image data VP ₁ ~VP about ₃ is the image processed by the image processing means 2, the position coordinates for the supposed xy coordinate axes on the light receiving surface of the CCD image sensor 11 (e.g., pixel value) is obtained (this (See screen 11A schematically shown in the figure). That is, the position coordinate P ₁ (x ₁ ,
y ₁ ), P ₂ (x ₂ , y ₂ ), P ₃ (x ₃ , y ₃ ) are calculated. The above-mentioned image processing is the same as the processing usually used in a three-point monitor or the like by a television camera, and a commercially available image memory or the like is used as the image processing means 2.

【００４２】その後、上記画像処理結果Ｐ_i （ｘ_i ，ｙ
_i ）（ｉ：１〜３）はＣＰＵ３へ入力され、後述する写
像変換がＣＰＵ３内のニューラルネットワーク手段３１
により行われる。又、ＣＰＵ３は、キーボード３２，Ｃ
ＲＴディスプレイ３３及びメモリ３４を備えている。オ
ペレータは、キーボード３２を介して後述する通り、ニ
ューラルネットワーク手段３１にデータを与えることが
できる。以下、ニューラルネットワーク手段３１を単に
ニューラルネットワーク３１と呼ぶ。Then, the image processing result P _i (x _i , y
_i ) (i: 1 to 3) is input to the CPU 3, and the mapping conversion described later is performed by the neural network means 31 in the CPU 3.
Done by. Further, the CPU 3 uses the keyboard 32, C
An RT display 33 and a memory 34 are provided. The operator can give data to the neural network means 31 via the keyboard 32, as will be described later. Hereinafter, the neural network means 31 will be simply referred to as the neural network 31.

【００４３】Ｂ． ニューラルネットワークの構成及び
その学習動作 （１） 構成と写像関数 図２は、ニューラルネットワーク３１の構成例として、
Perceptron型ネットワークを利用した階層ネットワーク
を示した図であり、入力層、中間層、出力層より成る３
層構造を有するネットワークを示している。同図に示す
通り、入力層は６個のノードＵ^S1〜Ｕ^S6より成り、各ノ
ードＵ^S1〜Ｕ^S6にはそれぞれ座標値ｘ₁ 〜ｙ₃ （入力
値）が与えられる。又、各ノードＵ^S1〜Ｕ^S6は、それぞ
れ入出力関数ｆ₁ 〜ｆ₆ を有しており、各ノードＵ^S1〜
Ｕ^S6に格納された入力値ｘ₁ 〜ｙ₃ はそれぞれ、入出力
関数ｆ₁ 〜ｆ₆ によって写像変換される。例えば、点Ｐ
₁ のｘ座標値ｘ₁ はノードＵ^S1に格納され、入出力関数
ｆ₁ によって出力データＯ^S1に変換される。又、点Ｐ₁
のｙ座標値ｙ₁ はノードＵ^S2に格納され、入出力関数ｆ
₂ によって出力データＯ^S2に変換される。即ち、各入力
値ｘ_i は入力層により、出力データＯ^Si＝ｆ_i （ｘ_i）
（ｉ：１〜６）に変換される。ここで、入出力関数ｆ₁
〜ｆ₆ は予め設定された関数であって、例えば区分線形
関数等を入出力関数ｆ₁ 〜ｆ₆ として用いることができ
る。B. Configuration of Neural Network and Learning Operation (1) Configuration and Mapping Function FIG. 2 shows an example of the configuration of the neural network 31.
FIG. 3 is a diagram showing a hierarchical network using a Perceptron type network, which includes an input layer, an intermediate layer, and an output layer.
1 illustrates a network having a layered structure. As shown in the figure, the input layer is composed of six nodes U ^{S1 to} U ^S6 , and the coordinate values x _{1 to} y ₃ (input values) are given to the respective nodes U ^{S1 to} U ^S6 . Further, each node U ^S1 ~U ^S6 has the input and output functions f ₁ ~f ₆ respectively, each node U ^S1 ~
Input values stored in the U ^S6 x ₁ ~y _3, respectively, are mapped transformed by input and output functions f ₁ ~f _6. For example, point P
₁ of x-coordinate value x ₁ is stored in the node U ^S1, it is converted into an output data O ^S1 by input and output functions f _1. Also, point P ₁
The y-coordinate value y _{1 of} is stored in the node U ^S2 , and the input / output function f
It is converted into output data O ^S2 by ₂ . That is, each input value x _i is output data O ^Si = f _i (x _i ) ^{depending on the} input layer.
(I: 1 to 6). Here, the input / output function f ₁
˜f ₆ are preset functions, and for example, piecewise linear functions can be used as the input / output functions f _{1 to} f ₆ .

【００４４】一方、中間層はｎ個のノードＵ^M1〜Ｕ^Mnか
ら成り、各ノードＵ^M1〜Ｕ^Mnはそれぞれ入出力関数ｇ₁
〜ｇ_n を有している。又、各ノードＵ^M1〜Ｕ^Mnはそれぞ
れ、入力層の各ノードＵ^S1〜Ｕ^S6と対応するコネクショ
ンにより結合されており、しかも各コネクションには重
み付け値Ｗ^SiMj（ノードＵ^SiからノードＵ^Mjへのコネク
ションの場合）か設定されている。従って、入力層の各
ノードＵ^Si（ｉ：１〜６）の出力データＯ^Siは、中間層
の一つのノードＵ^Mj（ｊ：１〜ｎ）へ入力されるに際
し、重み付け値Ｗ^SiMjにより重み付けられることにな
る。例えば、ノードＵ^S1の場合には、その出力データＯ
^S1と重み付け値Ｗ^S1M1との積Ｗ^S1M1・Ｏ^S1がノードＵ^S1
からノードＵ^M1へ入力される。そして、中間層の一つの
ノードＵ^Mjの入力値は、入力層の各ノードＵ^Siから与え
られる重み付けられた量Ｗ^SiMj・Ｏ^Siの総和Ｉ^Mjとして
表される。即ち、On the other hand, the intermediate layer is composed of n nodes U ^{M1 to} U ^Mn , and each of the nodes U ^{M1 to} U ^Mn is an input / output function g ₁
˜g _n . Further, each of the nodes U ^{M1 to} U ^Mn is connected to each of the nodes U ^{S1 to} U ^{S6 of} the input layer by a corresponding connection, and each connection has a weighting value W ^SiMj (from the node U ^Si to the node U ^Mj . (In case of connection) or is set. Therefore, when the output data O ^Si of each node U ^Si (i: 1 to 6) in the input layer is input to one node U ^Mj (j: 1 to n) in the intermediate layer, it is weighted by the weighting value W ^SiMj. Will be For example, in the case of the node U ^S1 , its output data O
The product W ^S1M1 · O ^{S1 of S1} and the weighting value W ^S1M1 is the node U ^S1.
From node U ^M1 . Then, the input value of one node U ^Mj of the intermediate layer is represented as the sum I ^Mj of the weighted quantities W ^SiMj · O ^Si given from each node U ^Si of the input layer. That is,

【００４５】[0045]

【数１５】 [Equation 15]

【００４６】となる。It becomes

【００４７】その後、入力値Ｉ^Mjは、ノードＵ^Mjの入出
力関数ｇ_j により出力データＯ^Mjへ写像変換される。即
ち、Ｏ^Mj＝ｇ_j （Ｉ^Mj）となる。この出力データＯ^Mjも
また、ノードＵ^Mjと出力層の一つのノードＵ^Rk（ｋ：１
〜３）との間のコネクションにより、重み付け値Ｗ^MjRk
で重み付けられる。After that, the input value I ^Mj is converted into the output data O ^Mj by the input / output function g _j of the node U ^Mj . That is, O ^Mj = g _j (I ^Mj ). This output data O ^Mj also has a node U ^Mj and one node U ^Rk (k: 1) in the output layer.
~ 3), the weighting value W ^MjRk
Weighted by.

【００４８】同じく出力層は３個のノードＵ^R1〜Ｕ^R3よ
り成り、各ノードＵ^R1〜Ｕ^R3はそれぞれ入出力関数ｈ₁
〜ｈ₃ を有している。従って、各ノードＵ^Rkの入力値Ｉ
^Rk及びその出力データＯ^Rkは、それぞれ数１６及び数１
７により与えられる。Similarly, the output layer is composed of three nodes U ^{R1 to} U ^R3 , and each of the nodes U ^{R1 to} U ^R3 is an input / output function h ₁ respectively.
˜h ₃ . Therefore, the input value I of each node U ^Rk
Rk and its output data O ^Rk are, respectively,
Given by 7.

【００４９】[0049]

【数１６】 [Equation 16]

【００５０】[0050]

【数１７】 [Equation 17]

【００５１】そして、これらの出力データＯ^R1〜Ｏ^R3が
それぞれ求めるべき出力値φ，θ及びｚ₀ に相当してい
る。即ち、姿勢（φ，θ），距離ｚ₀ は、ネットワーク
の写像関数をＦ₁ 〜Ｆ₃ として、The output data O ^{R1 to} O ^R3 correspond to the output values φ, θ and z ₀ to be obtained, respectively. That is, the posture (φ, θ) and the distance z ₀ are defined as network mapping functions F _{1 to} F ₃ ,

【００５２】[0052]

【数１８】 [Equation 18]

【００５３】[0053]

【数１９】 [Formula 19]

【００５４】[0054]

【数２０】 [Equation 20]

【００５５】により表される。Is represented by

【００５６】以上の展開より、予め写像関数Ｆ₁ 〜Ｆ₃
が最適な関数となる様に設定されていれば、３点Ｐ₁ 〜
Ｐ₃ の位置座標の観測値を入力値ｘ_i としてニューラル
ネットワーク３１に与えることにより、姿勢（φ，θ）
及び距離ｚ₀ が算出されることになる。尚、ニューラル
ネットワーク３１自身は、その様な写像関数Ｆ₁ 〜Ｆ₃
を最適化する能力、即ち、学習能力を有している。以下
においては、この学習能力について詳述することとす
る。From the above expansion, the mapping functions F _{1 to} F _{3 are} previously set.
Is set to be an optimal function, three points P ₁ ~
By giving the observed value of the position coordinate of P _{3 to} the neural network 31 as the input value x _i , the posture (φ, θ)
And the distance z ₀ will be calculated. Incidentally, the neural network 31 itself has such mapping functions F _{1 to} F ₃
Has the ability to optimize, that is, learning ability. In the following, this learning ability will be described in detail.

【００５７】（２） 学習動作 写像関数Ｆ₁ 〜Ｆ₃ を最適化する方法としては、入出力
関数ｆ_i ，ｇ_j ，ｈ_k の関数形を逐次修正する方法、各
重み付け値Ｗ^SiMj，Ｗ^MjRkを逐次修正する方法等が考え
られるが、本ニューラルネットワーク３１においては、
後者の方法が利用される。又、その様な重み付け値Ｗ
^SiMj，Ｗ^MjRkの修正方法としては、周知の誤差逆伝播法
（Error Back Propagation) が用いられる。以下、図３
及び図４に基づき説明する。(2) Learning operation As a method of optimizing the mapping functions F _{1 to} F ₃ , a method of sequentially correcting the functional forms of the input / output functions f _i , g _j , h _k , each weighting value W ^SiMj , W. A method of sequentially modifying ^MjRk is conceivable, but in the present neural network 31,
The latter method is used. Also, such a weighting value W
^As a method of correcting ^SiMj and ^WMjRk , a known error back propagation method is used. Below, FIG.
And FIG. 4 will be described.

【００５８】図３及び図４は、ニューラルネットワーク
３１による姿勢（φ，θ）及び距離ｚ₀ の算出に先立っ
て行われる前段階の各ステップ（準備用ステップ）を示
したフローチャートであり、学習動作を表したものでも
ある。即ち、ここでの考え方は、姿勢及び距離について
は実測可能であるので、それらの実測値とその際の３点
Ｐ₁ 〜Ｐ₃ の位置座標の観測値とから成るサンプルデー
タを複数個用意しておき、それらのサンプリング結果を
満足する様にニューラルネットワーク３１に学習動作を
行わせしめようとするものである。FIGS. 3 and 4 are flowcharts showing the steps (preparation steps) in the previous stage performed prior to the calculation of the posture (φ, θ) and the distance z ₀ by the neural network 31, and the learning operation. Is also a representation of. That is, the idea here is that the posture and distance can be actually measured, so a plurality of sample data consisting of the actually measured values and the observed values of the position coordinates of the three points P _{1 to} P ₃ at that time are prepared. The neural network 31 is made to perform a learning operation so as to satisfy those sampling results.

【００５９】先ずステップＰＳ１においては、サンプリ
ングが行われる。即ち、姿勢（φ_i ，θ_i ），距離ｚ_0i
及び像点Ｐ_1i〜Ｐ_3iの位置座標をＮ個計測する（ｉ：１
〜Ｎ）。この場合、各像点Ｐ_1i〜Ｐ_3iの位置座標値はセ
ンサ１及び画像処理手段２により求められ、それらの結
果がＣＲＴディスプレイ３３に表示される。First, in step PS1, sampling is performed. That is, the posture (φ _i , θ _i ), the distance z _0i
And N position coordinates of the image points P _{1i to} P _3i are measured (i: 1
~ N). In this case, the position coordinate values of the image points P _{1i to} P _3i are obtained by the sensor 1 and the image processing means 2, and the results are displayed on the CRT display 33.

【００６０】次にオペレータは、表示された各位置座標
値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）と対応する各姿勢
（φ_i ，θ_i ），距離ｚ_0iについての実測値とを、キー
ボード３２によって指定値としてニューラルネットワー
ク３１に入力する（ステップＰＳ２）。Next, the operator actually measures the displayed position coordinate values (x _1i , y _1i ) to (x _3i , y _3i ) and the corresponding postures (φ _i , θ _i ) and the distance z _0i. And are input to the neural network 31 as designated values by the keyboard 32 (step PS2).

【００６１】ステップＰＳ３は既述の学習動作を表した
ステップであり、複数のステップＰＳ３１〜ＰＳ３４よ
り構成される。Step PS3 is a step representing the above-mentioned learning operation, and is composed of a plurality of steps PS31 to PS34.

【００６２】ステップＰＳ３１では、前述の数１８〜数
２０に基づきニューラルネットワーク３１により、各位
置座標値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）が写像変換さ
れる。ここで用いられる写像関数Ｆ₁ 〜Ｆ₃ は、予めオ
ペレータによって適当に設定された関数である。即ち、
この段階では、各重み付け値Ｗ^SiMj，Ｗ^MjRkは、姿勢及
び距離の実測値とは無関係に定められたものである。
今、位置座標値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）に対す
る写像変換の結果として、姿勢（φ_Fi，θ_Fi）及び距離
ｚ_Fiが計算されたとする。In step PS31, the position coordinate values (x _1i , y _1i ) to (x _3i , y _3i ) are map-transformed by the neural network 31 based on the above-mentioned equations 18 to 20. The mapping functions F _{1 to} F ₃ used here are functions that have been appropriately set in advance by the operator. That is,
At this stage, the weighting values W ^SiMj and W ^MjRk are determined irrespective of the actual measurement values of the posture and the distance.
Now, it is assumed that the posture (φ _Fi , θ _Fi ) and the distance z _Fi are calculated as the result of the mapping conversion for the position coordinate values (x _1i , y _1i ) to (x _3i , y _3i ).

【００６３】ステップＰＳ３２では、上記計算値と実測
値（指定値）との比較が行われる。この比較は、両者の
差分が予めオペレータによって適切に設定された許容値
δ₁ 〜δ₃ 内に属するか否かによって行われる。At step PS32, the calculated value and the actually measured value (specified value) are compared. This comparison is performed depending on whether or not the difference between the two belongs to the allowable values δ _{1 to} δ ₃ which are appropriately set by the operator in advance.

【００６４】今、｜φ_Fi−φ_i ｜≦δ₁ ，｜θ_Fi−θ_i
｜≦δ₂ ，｜ｚ_Fi−ｚ_0i｜≦δ₃ が満足されないと判定
した場合には、ニューラルネットワーク３１はその学習
機能として各重み付け値Ｗ^SiMj，Ｗ^MjRkの修正を行う
（ステップＰＳ３３）。この修正は、既述したError Ba
ck Propagationに基づくものである。この方法自体はよ
く知られた方法であり、ここではその詳細については触
れないが、要約すれば次のような方法であると言える。
即ち、上記差分の自乗和より成る損失関数を求め、損失
関数が最小値となる様に上記重み付け値を逐次修正する
ものであり、いわゆる収束定理に基づいている。そして
修正後は、再びステップＰＳ３１に於いて新たな写像関
数Ｆ₁ 〜Ｆ₃ による写像変換が行われ、ステップＰＳ３
２の比較処理がなされる。Now, | φ _Fi −φ _i | ≦ δ ₁ , | θ _Fi −θ _i
If it is determined that | ≦ δ ₂ and | z _Fi −z _0i | ≦ δ ₃ are not satisfied, the neural network 31 ^corrects the weighting values W ^SiMj and W ^MjRk as its learning function (step ^PS33 ). This fix is based on Error Ba
It is based on ck Propagation. This method itself is a well-known method, and its details will not be described here, but it can be said that it is the following method in summary.
That is, a loss function consisting of the sum of squares of the difference is obtained, and the weighting value is sequentially corrected so that the loss function becomes the minimum value, which is based on the so-called convergence theorem. Then, after the correction, the mapping conversion by the new mapping functions F _{1 to} F ₃ is performed again in step PS31, and step PS3
A comparison process of 2 is performed.

【００６５】一方、ステップＰＳ３２に於いて上記関係
が満足されていると判定した場合には、その時点での各
重み付け値Ｗ^SiMj，Ｗ^MjRkが求めるべき最適値であると
決定し、それらの値を最適な写像関数Ｆ₁ 〜Ｆ₃ を形成
する各重み付け値として固定する（ステップＰＳ３
４）。即ち、それらの値はメモリ３４に格納され、準備
ステップとしての学習動作は終了する。On the other hand, when it is determined in step PS32 that the above relationship is satisfied, it is determined that the weighting values W ^SiMj and W ^MjRk at that time are the optimum values to be obtained, and those values are determined. Is fixed as each weighting value forming the optimum mapping functions F _{1 to} F ₃ (step PS3).
4). That is, those values are stored in the memory 34, and the learning operation as the preparation step ends.

【００６６】Ｃ． センサシステムの動作手順 上述の学習がなされたニューラルネットワーク３１を用
いてワーク４に対する姿勢（φ，θ），ワーク４との距
離ｚ₀ を検出するのが、本センサシステム１０である。
ここでは学習後の本センサシステム１０の動作を、図５
のフローチャートに従って説明する。C. Operation Procedure of Sensor System This sensor system 10 detects the posture (φ, θ) with respect to the work 4 and the distance z ₀ to the work 4 using the neural network 31 which has been learned as described above.
Here, the operation of the sensor system 10 after learning is shown in FIG.
It will be described according to the flowchart of

【００６７】先ずワーク４上へセンサ１を移動し、各レ
ーザー発振器Ｓ₁ 〜Ｓ₃ よりレーザービームＬＢ₁ 〜Ｌ
Ｂ₃ をワーク４へ照射する。そして、ＣＣＤ撮像素子１
１によりスポット像ＳＰ₁ 〜ＳＰ₃ が撮像される（ステ
ップＳ１〜Ｓ２）。更に、像点Ｐ₁ 〜Ｐ₃ に関する画像
データから、位置座標値Ｐ₁（ｘ₁ ，ｙ₁ ）〜Ｐ₃ （ｘ
₃ ，ｙ₃ ）が画像処理手段２により算出される（ステッ
プＳ３）。First, the sensor 1 is moved onto the work 4, and the laser beams LB _{1 to} L _{1 are} emitted from the laser oscillators S _{1 to} S _3.
The work 4 is irradiated with B ₃ . Then, the CCD image pickup device 1
1, the spot images SP _{1 to} SP ₃ are captured (steps S1 to S2). Furthermore, from the image data relating to the image points P _{1 to} P ₃ , the position coordinate values P ₁ (x ₁ , y ₁ ) to P ₃ (x
₃ , y ₃ ) is calculated by the image processing means 2 (step S3).

【００６８】これらの位置座標値は入力値ｘ_i としてニ
ューラルネットワーク３１に入力され、上記最適化写像
関数Ｆ₁ 〜Ｆ₃ による写像変換を受ける。即ち、数１８
〜数２０に基づいて、姿勢（φ，θ）と距離ｚ₀ とが算
出され、その結果が例えばＣＲＴディスプレイ３３に表
示される（ステップＳ４）。These position coordinate values are input to the neural network 31 as input values x _i and undergo the mapping conversion by the above-mentioned optimized mapping functions F _{1 to} F ₃ . That is, the number 18
~ The posture (φ, θ) and the distance z ₀ are calculated based on Expression 20, and the results are displayed on, for example, the CRT display 33 (step S4).

【００６９】これらの算出結果は、姿勢及び距離の実測
値と対応する像点の観測値とからなる複数のサンプル値
に基づいて最適化された写像関数Ｆ₁ 〜Ｆ₃ を用いて求
められたものであるため、それらは既述した誤差要因を
全て加味した較正済の値、即ち、真値に非常に近い値で
あると考えられる。These calculation results were obtained using mapping functions F _{1 to} F ₃ optimized on the basis of a plurality of sample values consisting of the measured values of the posture and distance and the observed values of the corresponding image points. Therefore, they are considered to be calibrated values in which all the error factors described above are added, that is, values that are very close to the true values.

【００７０】[0070]

【発明の効果】以上説明した通りこの発明は、ニューラ
ルネットワーク手段の強力な写像関数生成能力（学習能
力）を利用して最適化された写像関数をニューラルネッ
トワーク内に形成し、この写像関数による写像変換によ
って姿勢及び距離を検出しようとするものである。従っ
て、本発明は、姿勢及び距離の高精度な検出を可能成ら
しめる効果を奏するものであり、しかもその様な高精度
検出に当たって複雑な較正を必要としないので、検出の
容易化を達成し得る効果をも奏する。As described above, according to the present invention, an optimized mapping function is formed in the neural network by utilizing the strong mapping function generating ability (learning ability) of the neural network means, and the mapping function by this mapping function is formed. It is intended to detect the posture and the distance by the conversion. Therefore, the present invention has the effect of enabling highly accurate detection of the posture and distance, and does not require complicated calibration for such high-accuracy detection, thus facilitating detection. It also has an effect.

【図面の簡単な説明】[Brief description of drawings]

【図１】この発明の一実施例であるセンサシステムの電
気的構成を模式的に示したブロック図である。FIG. 1 is a block diagram schematically showing an electrical configuration of a sensor system that is an embodiment of the present invention.

【図２】Perceptron型ネットワークを利用した階層ネッ
トワークを示した説明図である。FIG. 2 is an explanatory diagram showing a hierarchical network using a Perceptron type network.

【図３】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。FIG. 3 is a flow chart showing steps in a previous stage performed prior to calculation of a posture and a distance by a neural network.

【図４】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。FIG. 4 is a flow chart showing steps in a previous stage performed prior to calculation of a posture and a distance by a neural network.

【図５】センサシステムの動作手順を示したフローチャ
ートである。FIG. 5 is a flowchart showing an operation procedure of the sensor system.

【図６】けがき線センサの構成を示した説明図である。FIG. 6 is an explanatory diagram showing a configuration of a marking line sensor.

【図７】センサの姿勢（φ，θ）を定義した説明図であ
る。FIG. 7 is an explanatory diagram that defines the orientation (φ, θ) of the sensor.

【図８】姿勢及び距離の解析方法の説明図である。FIG. 8 is an explanatory diagram of a posture and distance analysis method.

【図９】姿勢及び距離の解析方法の説明図である。FIG. 9 is an explanatory diagram of a method of analyzing a posture and a distance.

【符号の説明】[Explanation of symbols]

１ けがき線センサ ２ 画像処理手段 ３１ ニューラルネットワーク手段 ４ ワーク １１ ＣＣＤ撮像素子 Ｓ₁ レーザー発振器 Ｓ₂ レーザー発振器 Ｓ₃ レーザー発振器1 Marking Line Sensor 2 Image Processing Means 31 Neural Network Means 4 Work 11 CCD Image Sensor S ₁ Laser Oscillator S ₂ Laser Oscillator S ₃ Laser Oscillator

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 ワークとの距離及び前記ワークに対する
姿勢を検出する視覚センサシステムであって、 （ａ） 前記ワーク上にビームを照射する複数のビーム
発生手段と、 （ｂ） 前記照射時に生ずる複数のスポット像を撮像す
る撮像素子と、 （ｃ） 前記撮像素子の映像信号を受けて、前記複数の
スポット像に関する各映像の前記撮像素子の受光面上に
想定された座標平面上に於ける位置を導出する画像処理
手段と、 （ｄ） 学習能力によって予め最適関数に定められた写
像関数を有し、前記画像処理手段より受けた前記各映像
の位置情報を前記写像関数によって変換することにより
前記距離及び前記姿勢を決定するニューラルネットワー
ク手段とを、備えた視覚センサシステム。1. A visual sensor system for detecting a distance to a work and a posture with respect to the work, comprising: (a) a plurality of beam generating means for irradiating a beam onto the work; and (b) a plurality of beams generated at the time of the irradiation. (C) a position on a coordinate plane assumed on the light receiving surface of the image pickup device of each image relating to the plurality of spot images by receiving the image signal of the image pickup device. And (d) a mapping function that is determined in advance as an optimum function by learning ability, and the position information of each video received from the image processing means is converted by the mapping function. A visual sensor system comprising a neural network means for determining a distance and the posture.