JPH024030B2 - - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、組立て、溶接ロボツトなどの３次元
物体を扱う産業機器において、対象物体の位置、
形状等を認識する物体検出方法に関するものであ
る。DETAILED DESCRIPTION OF THE INVENTION Field of Industrial Application The present invention is applicable to industrial equipment that handles three-dimensional objects, such as assembly and welding robots.
This invention relates to an object detection method that recognizes shapes and the like.

従来例の構成とその問題点 近年、産業用ロボツトの普及はめざましく、よ
り高度な機能が要求されるようになつている。工
業用TVカメラなどを用いた視覚機能も、その１
つであり、視覚フイード・バツクによるロボツト
の知能化が期待されている。Conventional configurations and their problems In recent years, industrial robots have become widespread, and more advanced functions are required. Visual functions using industrial TV cameras are also one of them.
It is expected that robots will become more intelligent through visual feedback.

しかし、現在までのところ、実用化レベルに至
つているのは、主に２次元情報を利用したものが
ほとんどで、産業応用の対象として最も重要な３
次元物体の認識は盛んに研究されているが実用例
は少ない。 However, to date, most of the methods that have reached the practical level mainly utilize two-dimensional information, and three-dimensional information is the most important for industrial applications.
Recognition of dimensional objects has been actively researched, but there are few practical examples.

３次元物体の位置、形状等を認識するための一
般的な従来の方法は、２台のTVカメラによつて
対象物を異なる角度から撮像し、両眼立体視する
ことにより、３次元的な位置、形状を求めるもの
であるが、次のような問題点がある。 The general conventional method for recognizing the position, shape, etc. of a three-dimensional object is to image the object from different angles using two TV cameras and view it stereoscopically with both eyes. Although this method determines the position and shape, it has the following problems.

(1) 階調を有する入力画像の中から、エツジ、コ
ーナ点などの特徴を抽出するのに膨大な計算量
が必要である。(1) Extracting features such as edges and corner points from an input image with gradation requires a huge amount of calculation.

(2) 左、右両画面間で特徴となる線、点間の対応
関係を求める必要があり、これが困難である。(2) It is necessary to find correspondence between characteristic lines and points between both the left and right screens, which is difficult.

問題(2)は、両眼立体視する場合に特有の問題点
であり、あらかじめ対象となる物体の形状情報な
どがなければ一意的には求められない。 Problem (2) is a problem specific to binocular stereoscopic viewing, and cannot be uniquely determined without prior information on the shape of the target object.

そこで従来は上記(1)、(2)の問題点に対する解決
策として、スリツト光を利用する方法が研究され
てきた。 Therefore, as a solution to the problems (1) and (2) above, methods using slit light have been studied.

第１図には、従来のスリツト光を用いた距離測
定法の原理図を示す。同図の例では、スリツト光
源１から照射されるスリツト光束２を回転ミラー
４によつて偏向させ、対象となる３次元物体３に
照射し、その反射光をTVカメラ５で撮像する。
スリツト光束面の角度情報と、カメラの位置情報
（角度、距離等）から、物体上のスリツト光の３
次元位置を求めることができる。３次元物体３の
全体の距離情報を得るためには、回転ミラー４に
よつてスリツト光を順次走査してゆき、その都
度、距離を測定する。 FIG. 1 shows the principle of a conventional distance measuring method using slit light. In the example shown in the figure, a slit light beam 2 emitted from a slit light source 1 is deflected by a rotating mirror 4 and irradiated onto a three-dimensional object 3, and the reflected light is imaged by a TV camera 5.
From the angle information of the slit beam surface and the camera position information (angle, distance, etc.), the slit beam on the object is
Dimensional position can be found. In order to obtain distance information about the entire three-dimensional object 3, the rotating mirror 4 scans the slit light sequentially and measures the distance each time.

同図に示す方法では、入力画像がスリツト・パ
ターンであるため、容易に２値化画像を得ること
ができ、スリツト・パターンの屈折点などの特徴
点の抽出も容易である。また、ミラーの回転角度
と、カメラの設定角度から一意的に３次元の距離
情報を求めることができ、前述の問題点(1)、(2)と
も解決できる方法である。 In the method shown in the figure, since the input image is a slit pattern, a binarized image can be easily obtained, and feature points such as refraction points of the slit pattern can be easily extracted. Furthermore, three-dimensional distance information can be uniquely obtained from the rotation angle of the mirror and the setting angle of the camera, and this method can solve both of the problems (1) and (2) mentioned above.

しかし、この従来方法では、画像入力に時間が
かかるという問題点が残つている。すなわち、１
回の画像入力によつて得られるのは１本のスリツ
ト・パターンだけであるため、３次元物体の全体
にわたつて距離情報を得るためには、ミラー４を
回転させてスリツト・パターンを順次走査しなが
ら走査の各ステツプごとに画像入力を行なわねば
ならず、実用的な見地からは、その入力時間が大
きな問題となつている。一方複数本のスリツト・
パターンを３次元物体の全体に照射するようにす
れば、画像入力の回数は１回だけでよくなるが、
対応づけの問題が複雑になる。現在公知の方法で
はないが、本出願人は、複数本のスリツト・パタ
ーンを照射した物体を、２台のカメラによつて撮
像し、スリツト光束面の距離・角度情報から立体
両眼視した２つの入力画像間で特徴点の対応関係
を求め、物体の３次元位置を求める方法を提案し
ている。（特願昭58−158358号明細書及び特願昭
58−158359号明細書） 第２図は、特願昭58−158359号明細書に記載さ
れた対応づけの原理を説明する図である。同図の
例では、第１のカメラの撮像面６上の撮像パター
ン中の任意の特徴点P_iと、カメラの焦点F₁とを結
ぶ仮想的直線８と、あらかじめ空間的位置を求め
てある３枚のスリツト光束面２−１〜２−３との
交点P_i1〜P_i3を求める。次に、P_i1〜P_i3の第２のカ
メラの撮像面７上への投影点P_i1′〜P_i3′を求め、
撮像面７上において、投影点P_i1′〜P_i3′の各位置
における入力画像パターンを調べることによつ
て、第１のカメラの撮像パターン中の特徴点P_iに
対応する第２のカメラの撮像パターン中の特徴点
P_i2′を求める。順次、同様にして両画面中の対応
点のペアを求めることによつて、対象である３次
元物体の位置、形状等を検出するものである。こ
のように、この方法では、スリツト光束面の情報
を有効に利用して対応点の候補を限定してゆくこ
とによつて対応づけの問題を解決しようとしてい
る。しかし、このような方法にも、偽の対応点が
現われるという問題と、それに対する解決策に問
題があつた。すなわち対象物体の形状、スリツト
光源および２台のカメラの設定角度などによつて
は、第２のカメラの撮像面上への投影点群P_i1′〜
P_io′の中に２つ以上の候補点が現われ、対応関係
が一意的に決定できない場合が生ずる。照射する
スリツト・パターンの数が多くなるほど、当然偽
の対応点が出現する可能性が大きくなり、大きな
問題となる。たとえば、入力画像中の同一直線上
の点列など、いくつかの特徴点を組合せて検証す
ることにより偽の対応点の一部はリジエクトでき
るが、そのためには入力画像の解析を行なわねば
ならず、計算量が著しく増加してしまう。 However, this conventional method still has the problem that image input takes time. That is, 1
Since only one slit pattern can be obtained by inputting images twice, in order to obtain distance information over the entire three-dimensional object, the mirror 4 must be rotated to sequentially scan the slit pattern. However, image input must be performed for each step of scanning, and from a practical standpoint, the input time is a major problem. On the other hand, multiple slits
If you irradiate the entire 3D object with the pattern, you only need to input the image once, but
The problem of mapping becomes complicated. Although this is not a currently known method, the applicant images an object irradiated with multiple slit patterns using two cameras, and performs stereoscopic binocular viewing from distance and angle information of the slit light beam plane. We propose a method to determine the three-dimensional position of an object by determining the correspondence of feature points between two input images. (Specification of Japanese Patent Application No. 158358 and Patent Application No. 1983)
(Specification No. 58-158359) FIG. 2 is a diagram illustrating the principle of association described in the specification of Japanese Patent Application No. 158359/1982. In the example shown in the figure, a virtual straight line 8 connecting an arbitrary feature point P _i in the imaging pattern on the imaging surface 6 of the first camera and the focal point F ₁ of the camera and its spatial position have been determined in advance. The intersection points P _i1 to _{P i3} with the three slit light flux surfaces 2-1 to 2-3 are determined. Next, find the projection points P _{i1 ′} to P _i3 ′ of P _i1 to _{P i3} onto the imaging surface 7 of the second camera, and
By examining the input image pattern at each position of the projection points P _i1 ' to _{P i3} ' on the imaging surface 7, the second camera's corresponding feature point P _i in the imaging pattern of the first camera is determined. Feature points in the imaging pattern
Find P _i2 ′. By sequentially finding pairs of corresponding points in both screens in the same manner, the position, shape, etc. of the three-dimensional object is detected. In this way, this method attempts to solve the problem of correspondence by effectively utilizing the information on the slit beam plane to limit the candidates for corresponding points. However, even with this method, there is a problem in that false corresponding points appear, and there is a problem in the solution to this problem. That is, depending on the shape of the target object, the slit light source, the setting angles of the two cameras, etc., the projected point group P _i1 '~ on the imaging plane of the second camera
There may be cases where two or more candidate points appear in P _io ' and the correspondence relationship cannot be uniquely determined. Naturally, the greater the number of slit patterns to be irradiated, the greater the possibility that false corresponding points will appear, which becomes a major problem. For example, some false corresponding points can be rejected by combining and verifying several feature points, such as a sequence of points on the same straight line in the input image, but in order to do this, the input image must be analyzed. , the amount of calculation increases significantly.

発明の目的 本発明は、以上に述べたような３次元物体の位
置、形状を求めるための方法において問題であつ
た、画像入力時間の問題と、両眼立体視した場合
の対応づけの問題を解決し、より実用的な３次元
物体の検出方法を提供することを目的とする。Purpose of the Invention The present invention solves the problem of image input time and the problem of correspondence when viewing stereoscopically with binoculars, which are problems in the method for determining the position and shape of a three-dimensional object as described above. The purpose is to solve this problem and provide a more practical method for detecting three-dimensional objects.

発明の構成 本発明では、正方格子状のグリツド・パターン
像を生成するグリツド光源から、被検出物体にグ
リツド・パターンを照射し、物体表面上および床
面上などにできたグリツド・パターン像を、互い
に異なる２つの方向から、第１および第２のカメ
ラによつて撮像する。次に、グリツド光源の光源
点Ｓと、照射されるグリツド・パターン中の任意
の格子点Ｇと、第１のカメラのレンズ系の焦点
F₁の３点によつて決定される平面と、第１のカ
メラの撮像面との交線である第１の投影線L₁を
求める。同様に、光源点Ｓと、格子点Ｇと、第２
のカメラのレンズ系の焦点F₂の３点によつて決
定される平面と、第２のカメラの撮像面との交線
である第２の投影線L₂を求める。次に、第１の
カメラの撮像面上において、第１の投影線L₁上
の入力画像パターンを調べ、グリツド・パターン
の格子点像Ｐを検出する。次に、検出された第１
のカメラの撮像面上の点Ｐと、第１および第２の
カメラのレンズ系の焦点F₁，F₂の３点によつて
決定される平面と、第２のカメラの撮像面との交
線である第３の投影線L₃を求める。次に、第２
のカメラの撮像面上において、２つの投影線L₂，
L₃の交点近傍の入力画像パターンを調べ、そこ
にグリツド・パターンの格子点像P′が存在すれ
ば、２つの点ＰとP′を、第１および第２のカメラ
の撮像パターン上の対応点として登録する。第１
の投影線上に、２つ以上の格子点像が存在する場
合には、その各々について、第３の投影線を求め
第２のカメラの撮像面上で、対応候補点の有無を
調べ、対応点があれば結果を登録する。Structure of the Invention In the present invention, a grid light source that generates a grid pattern image in the form of a square lattice irradiates a grid pattern onto an object to be detected, and the grid pattern image formed on the object surface, floor surface, etc. Images are captured by first and second cameras from two different directions. Next, the light source point S of the grid light source, an arbitrary grid point G in the grid pattern to be irradiated, and the focal point of the lens system of the first camera.
A first projection line L ₁ is obtained, which is an intersection line between the plane determined by the three points F ₁ and the imaging plane of the first camera. Similarly, the light source point S, the lattice point G, and the second
A second projection line _L 2 is obtained, which is the intersection line between the plane determined by the three focal points F ₂ of the lens system of the camera and the imaging plane of the second camera. Next, on the imaging surface of the first camera, the input image pattern on the first projection line _L1 is examined to detect the grid point image P of the grid pattern. Next, the first detected
The intersection of the plane determined by the point P on the imaging plane of the camera, the focal points F ₁ and F ₂ of the lens systems of the first and second cameras, and the imaging plane of the second camera. A third projection line _L3 , which is a line, is determined. Next, the second
On the imaging plane of the camera, two projection lines L ₂ ,
The input image pattern near the intersection of L ₃ is examined, and if the grid point image P' of the grid pattern exists there, the two points P and P' are mapped to the correspondence on the imaging patterns of the first and second cameras. Register as a point. 1st
If two or more lattice point images exist on the projection line of If so, register the results.

照射されるグリツド・パターン中のすべての格
子点Ｇについて、順次上記の操作を行ない、各格
子点に相当する、撮像面上の格子点像の対応点の
組合せを求める。 The above operation is sequentially performed for all the grid points G in the grid pattern to be irradiated, and a combination of corresponding points of grid point images on the imaging plane corresponding to each grid point is obtained.

次に、実施例の説明で述べるような方法によつ
て格子点像の対応点ペアの検証を行ない、偽の対
応関係となる組合せを排除する。 Next, the corresponding point pairs of the lattice point images are verified by the method described in the description of the embodiment, and combinations that result in false correspondences are eliminated.

上記の操作で求めた、すべての対応点の組合せ
について、グリツド光源および２台のカメラの距
離、角度情報から、３次元物体の表面上にできた
グリツド・パターン像上の各点の３次元的な位置
（座標）を検出する。 For all the combinations of corresponding points obtained in the above operation, from the distance and angle information of the grid light source and two cameras, the 3D image of each point on the grid pattern image created on the surface of the 3D object is calculated. Detect the position (coordinates).

本発明は、以上に述べたような方法によつて３
次元物体の表面上の点の３次元的位置を検出する
物体検出方法である。 The present invention provides three methods using the method described above.
This is an object detection method that detects the three-dimensional position of a point on the surface of a dimensional object.

実施例の説明 まず本発明の原理について、図面を用いながら
詳細に説明する。DESCRIPTION OF EMBODIMENTS First, the principle of the present invention will be explained in detail with reference to the drawings.

第３図は、カメラ光学系と、撮像面、入力画像
の関係を示す図である。１１は、カメラのレンズ
系を表わしており、点Ｆ１２は、カメラ・レンズ
系の光学的中心（以下、焦点と呼ぶ）である。３
次元空間中に置かれた３次元物体３をカメラで撮
像すると、カメラの撮像面１３上には、同図に示
すような結像が得られる。₁は、焦点Ｆ１２と、
撮像面１３との距離である。通常撮像面１３は、
レンズ系の焦点面近傍に位置する。撮像面上の結
像を観測するためには、結像パターンを別のイメ
ージ面１４に出力する必要がある。イメージ面１
４としては、CRT画面、写真など任意のものが
考えられるが、通常計算機を用いて画像データを
処理するためには、入力画像を、画像メモリに記
録格納することが一般的であるので、ここではイ
メージ面１４として画像メモリを考える。撮像面
１３上の結像パターンと、画像メモリ１４上の入
力画像とは、撮像面上のＸ−Ｙ平面と、イメージ
面上のX′−Y′平面との平行移動量および拡大比
率の関係から、変換マトリクスT₀（T₀は３×３の
マトリクス）によつて、次のような線型座標変換
が可能である。 FIG. 3 is a diagram showing the relationship between the camera optical system, the imaging plane, and the input image. 11 represents the lens system of the camera, and point F12 is the optical center (hereinafter referred to as the focal point) of the camera lens system. 3
When a three-dimensional object 3 placed in a dimensional space is imaged by a camera, an image as shown in the figure is obtained on the imaging surface 13 of the camera. ₁ is the focal point F12,
This is the distance from the imaging surface 13. The normal imaging surface 13 is
Located near the focal plane of the lens system. In order to observe the image formed on the image plane, it is necessary to output the image pattern to another image plane 14. Image side 1
4 can be anything such as a CRT screen or a photograph, but in order to process image data using a computer, it is common to record and store the input image in an image memory, so we will not use it here. Now, consider an image memory as the image plane 14. The imaging pattern on the imaging surface 13 and the input image on the image memory 14 are based on the relationship between the amount of parallel movement and the enlargement ratio between the X-Y plane on the imaging surface and the X'-Y' plane on the image surface. Therefore, the following linear coordinate transformation is possible using the transformation matrix T ₀ (T ₀ is a 3×3 matrix).

（Ｘ，Ｙ，１）＝（X′，Y′，１）・T₀ T₀は、カメラおよび、画像メモリの設計仕様、
あるいは入力画像データの解析などによつて、あ
らかじめ求めておくことができる。 (X, Y, 1) = (X', Y', 1)・T ₀ T ₀ is the design specification of the camera and image memory,
Alternatively, it can be obtained in advance by analyzing input image data.

１５は、撮像面１３を焦点Ｆ１２を対称点とし
て点対称な位置に移した仮想的な撮像面である。
一方１６は、撮像面１３上のＸ−Ｙ平面の原点
と、イメージ面上の対応する点（平行移動がなけ
れば原点）とが、ともにカメラの光軸上にあると
考えた時に、平行移動量および拡大比率の関係か
ら３次元空間中に求められるイメージ面１４を、
同様に焦点Ｆ１２を対称点として点対称な位置に
移した仮想的なイメージ面である。f₂は、この仮
想的なイメージ面と焦点Ｆ１２との距離である。
f₂はイメージ面と、撮像面との拡大比率Ｐから、
f₂＝f₁×Ｐとして求められる。撮像面１３と１
５、イメージ面１４と１６とは、焦点Ｆ１２を対
称点としてそれぞれ点対称な位置にあるため、３
次元物体３上の点と、焦点Ｆ１２とを結ぶ視線
と、撮像面あるいは、イメージ面との交点の座標
を考える上では等価である。ただし、Ｚ軸方向の
座標および扱いは異なる。従つて、説明の簡単化
のため以下の説明では、撮像面あるいはイメージ
面として１５あるいは１６を想定して説明する。 Reference numeral 15 denotes a virtual imaging surface obtained by moving the imaging surface 13 to a point-symmetrical position with respect to the focal point F12.
On the other hand, when considering that the origin of the X-Y plane on the imaging surface 13 and the corresponding point on the image plane (the origin if there is no parallel movement) are both on the optical axis of the camera, The image plane 14 found in the three-dimensional space from the relationship between the amount and the enlargement ratio is
Similarly, it is a virtual image plane moved to a point-symmetrical position with the focal point F12 as a symmetrical point. f ₂ is the distance between this virtual image plane and the focal point F12.
f ₂ is from the enlargement ratio P between the image plane and the imaging plane,
It is obtained as f ₂ =f ₁ ×P. Imaging planes 13 and 1
5. Since the image planes 14 and 16 are at symmetrical positions with respect to the focal point F12, 3.
This is equivalent when considering the coordinates of the intersection between the line of sight connecting a point on the dimensional object 3 and the focal point F12 and the imaging plane or image plane. However, the coordinates and handling in the Z-axis direction are different. Therefore, in order to simplify the explanation, the following explanation will be made assuming 15 or 16 as the imaging plane or image plane.

第４図は、本発明の画像入力部の構成を示す概
略図である。グリツド光源２１からグリツド・パ
ターンを３次元物体３に照射する。これによつて
３次元物体３の表面上、および床面上には、グリ
ツド・パターン像２２が形成される。これを、第
１のTVカメラ２３および、第２のTVカメラ２
４によつて撮像する。 FIG. 4 is a schematic diagram showing the configuration of the image input section of the present invention. A grid pattern is irradiated onto the three-dimensional object 3 from a grid light source 21. As a result, a grid pattern image 22 is formed on the surface of the three-dimensional object 3 and on the floor. This is applied to the first TV camera 23 and the second TV camera 2.
4.

第５図は、本発明の構成と原理を説明するため
の模式図である。同図において、Ｏは絶対空間中
の座標原点であり、３次元物体３の置かれる床面
上などに設定する。F₁，F₂は、それぞれ第１、
第２のTVカメラ２３，２４のレンズ系の光学的
中心（焦点）である。２５，２６は、それぞれ第
１、第２のTVカメラの撮像面である。ただし、
ここで考える撮像面は第３図において説明したよ
うに、実際の撮像面を、焦点を対称点として点対
称な位置に移動した平面である。l₁，l₂は、それ
ぞれ第１および第２のTVカメラの焦点と撮像面
２５，２６との距離である。撮像面２５，２６の
かわりに、第３図のイメージ面１６に相当するも
のを考えても等価である。ただし、その場合には
l₁，l₂としては、各イメージ面と焦点との距離を
考えなくてはならない。 FIG. 5 is a schematic diagram for explaining the configuration and principle of the present invention. In the figure, O is a coordinate origin in absolute space, which is set on the floor surface on which the three-dimensional object 3 is placed. F ₁ and F ₂ are the first and
This is the optical center (focal point) of the lens system of the second TV cameras 23 and 24. 25 and 26 are imaging surfaces of the first and second TV cameras, respectively. however,
As explained in FIG. 3, the imaging plane considered here is a plane obtained by moving the actual imaging plane to a point-symmetrical position with the focal point as the point of symmetry. l ₁ and l ₂ are the distances between the focal points of the first and second TV cameras and the imaging planes 25 and 26, respectively. It is equivalent to consider a plane corresponding to the image plane 16 in FIG. 3 instead of the imaging planes 25 and 26. However, in that case
For l ₁ and l ₂ , the distance between each image plane and the focal point must be considered.

O₁は、撮像面２５上に想定するX₁−Y₁−Z₁座
標系（Z₁軸方向は、O₁→F₁の方向とする）の原
点である。O₁は、撮像面２６上に想定するX₂−
Y₂−Z₂座標系（Z₂軸方向はO₂→F₂の方向とする）
の原点である。同図の例では、第１のTVカメラ
２３は、光軸が原点Ｏを通り、絶対座標系のｘ−
Ｚ平面に対してα₁、ｙ−Ｚ平面に対してθ₁の角度
をもつて設置されており、第２のカメラ２４は、
光軸が原点Ｏを通り、絶対座標系のｘ−Ｚ平面に
対してα₂、ｙ−Ｚ平面に対してθ₂の角度をもつて
設置されているものとしている。 O ₁ is the origin of the X ₁ -Y ₁ -Z ₁ coordinate system assumed on the imaging plane 25 (the Z ₁ axis direction is the direction of O ₁ →F ₁ ). O ₁ is X ₂ − assumed on the imaging plane 26
Y ₂ −Z ₂ coordinate system (Z ₂ axis direction is O ₂ → F ₂ direction)
It is the origin of In the example shown in the figure, the optical axis of the first TV camera 23 passes through the origin O, and the x-
It is installed at an angle of α ₁ with respect to the Z plane and θ ₁ with respect to the Y-Z plane, and the second camera 24 is
It is assumed that the optical axis passes through the origin O and is set at an angle of α ₂ with respect to the x-Z plane of the absolute coordinate system and θ ₂ with respect to the y-Z plane.

絶対座標系の原点Ｏと、各焦点F₁，F₂との距
離をそれぞれd₁，d₂とすると、上記のようなカメ
ラ系の設定条件（α₁，α₂，θ₁，θ₂，l₁，l₂，d₁，
d₂……以後カメラパラメータと呼ぶ）は、２台の
カメラ２３，２４を、絶対空間中に設置するとき
に、実測したり、基準入力画像を解析することに
よつて、あらかじめ求めておくことができる。従
つて以後は、既知のデータとして扱う。 If the distances between the origin O of the absolute coordinate system and the focal points F ₁ and F ₂ are d ₁ and d ₂ , respectively, then the camera system setting conditions (α ₁ , α ₂ , θ ₁ , θ ₂ , l ₁ , l ₂ , d ₁ ,
d ₂ (hereinafter referred to as camera parameters) must be obtained in advance by actual measurement or by analyzing the reference input image when the two cameras 23 and 24 are installed in absolute space. Can be done. Therefore, from now on, it will be treated as known data.

上記カメラ・パラメータがわかれば、撮像面２
５上のX₁−Y₁−Z₁座標系から絶対座標系への変
換マトリクスT₁、および撮像面２６上のX₂−Y₂
−Z₂座標系から絶対座標系への変換マトリクス
T₂も一意的に決定できる。一般にT₁，T₂は４×
４のマトリクスとして表現できる。第５図は構成
例における、T₁以下に例示する。 If the above camera parameters are known, the imaging surface 2
5, the transformation matrix T ₁ from the X ₁ −Y ₁ −Z ₁ coordinate system to the absolute coordinate system, and the X ₂ −Y ₂ on the imaging plane 26
−Z transformation matrix from _2- coordinate system to absolute coordinate system
T ₂ can also be determined uniquely. Generally T ₁ and T ₂ are 4×
It can be expressed as a matrix of 4. FIG. 5 illustrates an example configuration below _T1 .

T₁，T₂についてもあらかじめ求めておくもの
とする。 T ₁ and T ₂ shall also be determined in advance.

また、第５図には、グリツド光源Ｓ２１から照
射されたグリツド・パターン像２２についても示
している。光源２１から照射されるグリツド・パ
ターン光の光路は、グリツド光源２１の設計仕様
および、グリツド光源２１の３次元空間における
設定位置および照射角度（以後光源パラメータと
称する）から一意的に決定できる。たとえば、グ
リツド光源として最も簡便なスライド・プロジエ
クターを用いる場合には、グリツド・パターンを
刻んだスライドのパターン（原パターン）のマウ
ント位置と、スライド光源の位置関係およびレン
ズ系の特性などから求めることができる。また、
物体３を除いた床面上あるいは、任意の位置に置
いたスクリーン上に形成されるグリツド・パター
ン像をあらかじめ計測しておくことによつても求
めることが可能である。第５図には、グリツド・
パターンの光路の途中においた仮想的スクリーン
２７を説明のため併せて表示している。ここで、
光源点Ｓを焦点、仮想的スクリーン２７を撮像面
と考えれば、パターン光源もカメラと同様の扱い
をすることができる。 FIG. 5 also shows a grid pattern image 22 emitted from the grid light source S21. The optical path of the grid pattern light emitted from the light source 21 can be uniquely determined from the design specifications of the grid light source 21, the set position and irradiation angle of the grid light source 21 in three-dimensional space (hereinafter referred to as light source parameters). For example, when using a slide projector, which is the simplest grid light source, it can be determined from the mounting position of the slide pattern (original pattern) in which the grid pattern is carved, the positional relationship of the slide light source, and the characteristics of the lens system. Can be done. Also,
It can also be determined by measuring in advance a grid pattern image formed on the floor surface excluding the object 3 or on a screen placed at an arbitrary position. Figure 5 shows the grid
A virtual screen 27 placed in the middle of the optical path of the pattern is also displayed for explanation. here,
If the light source point S is considered as a focal point and the virtual screen 27 is considered as an imaging surface, a pattern light source can be treated in the same way as a camera.

さて、上記の準備をした上で、第１、第２の
TVカメラ２３，２４によつて、３次元物体３の
表面上に形成されるグリツド・パターン像を撮像
すると、撮像面２５，２６上には、第５図に示す
ような入力画像が得られる。 Now, after making the above preparations, the first and second
When a grid pattern image formed on the surface of the three-dimensional object 3 is captured by the TV cameras 23 and 24, input images as shown in FIG. 5 are obtained on the imaging surfaces 25 and 26.

投射されるグリツド・パターンには、仮想的ス
クリーン２７に示すように、G₁〜G₄の４つの格
子点があり、物体３の表面上では、それぞれg₁〜
g₄の格子点像を形成する。g₁〜g₄の格子点像は、
第１のカメラの入力画像中では格子点像Q₁〜Q₄、
一方第２のカメラの入力画像中では格子点像R₁
〜R₄にそれぞれ対応している。 The projected grid pattern has four grid points G ₁ to G ₄ as shown on the virtual screen 27, and on the surface of the object 3, there are four grid points G ₁ to G 4, respectively.
Form a grid point image of g ₄ . The lattice point image of g ₁ to g ₄ is
In the input image of the first camera, lattice point images Q ₁ to _{Q 4} ,
On the other hand, in the input image of the second camera, the grid point image R ₁
~R ₄ respectively.

本発明では、以下に示すように原理によつて、
格子点G₁〜G₄と、入力画像中の格子点像Q₁〜
Q₄、R₁〜R₄の対応関係を求めるものであり、Q₁
〜Q₄とR₁〜R₄の間の対応関係がわかれば、カメ
ラ・パラメータ等から物体３の表面上の格子点像
g₁〜g₄の３次元的位置を求める事ができる。 In the present invention, according to the principle as shown below,
Grid points G ₁ to G ₄ and lattice point images Q 1 to G ₄ in the input image
The purpose is to find the correspondence between Q ₄ , R ₁ and R ₄ , and Q ₁
If we know the correspondence between ~Q ₄ and R ₁ ~ R ₄ , we can obtain the lattice point image on the surface of object 3 from the camera parameters, etc.
The three-dimensional positions of g ₁ to _{g 4} can be determined.

以下に、グリツド・パターン中から任意に１つ
の格子点を選びこれについて入力画像中の対応点
を求める操作を説明する。あらかじめ、グリツ
ド・パターン像を計測してある仮想的スクリーン
２７上において、１つの格子点G₁を選択する。
光源点Ｓ２１から照射され格子点G₁を通る光線
２８は一意的に決定され、しかもＳとG₁の位置
が共に既知であるため、計算によつて求めること
ができる。一方光線２８の照射によつて物体３の
表面上にできる格子点像g₁の位置は、物体３の位
置・形状に応じて変化する。 The following describes the operation of selecting one grid point from the grid pattern and finding the corresponding point in the input image. One grid point _G1 is selected on the virtual screen 27 on which a grid pattern image has been measured in advance.
The light ray 28 emitted from the light source point S21 and passing through the grid point _G1 is uniquely determined, and since both the positions of S and _G1 are known, they can be determined by calculation. On the other hand, the position of the lattice point image _g1 formed on the surface of the object 3 by the irradiation of the light beam 28 changes depending on the position and shape of the object 3.

まず、光線２８の光路を、第１のカメラの撮像
面２５に投影した第１の投影線L₁を求める。L₁
は、光源点Ｓと、格子点G₁および、第１のカメ
ラの焦点F₁の３点を含む平面P₁と、第１のカメ
ラの撮像面２５とが交わつてできる直線に赤当
し、Ｓ，G₁，F₁および撮像面２５の位置が、カ
メラ・パラメータ、光源パラメータなどによつて
既知であるため、計算によつて求めることができ
る。 First, a first projection line _L1 is obtained by projecting the optical path of the light beam 28 onto the imaging surface 25 of the first camera. L ₁
is a red line formed by the intersection of the light source point S, the grid point _G1 , and the plane _P1 that includes the focal point _F1 of the first camera, and the imaging plane 25 of the first camera, Since the positions of S, G ₁ , F ₁ and the imaging plane 25 are known from camera parameters, light source parameters, etc., they can be determined by calculation.

同様にして、光線２８の光路を第２のカメラの
撮像面２６に投影した第２の投影線L₂も求める。 Similarly, a second projection line L ₂ is also obtained by projecting the optical path of the light ray 28 onto the imaging surface 26 of the second camera.

物体３の表面上にできる格子点像g₁は、光線２
８の光路上にあるため、当然、第１のカメラの撮
像面２５上の入力画像中では、先に求めた第１の
投影線L₁上に存在するはずである。そこで、撮
像面２５の入力画像パターンを、第１の投影線
L₁に沿つて調べてゆき、格子点像があれば、そ
れをG₁に対応する入力画像中の格子点像の候補
とする。通常は、投影線L₁上に１つの格子点像
Q₁が検出される。g₁が、第１のカメラからは見
えない位置（死角など）に存在する場合には投影
線L₁上には、格子点像が１つも存在しないこと
になり、第１のカメラによる入力画像中には、格
子点G₁から照射される光線２８によつてできる
格子点の画像は存在しないと判断する。逆に、投
影線L₁上に２つ以上の格子点像が検出される場
合もある。これは、光源点Ｓと格子点G₁および
第１のカメラの焦点F₁を含む平面P₁上に、２つ
以上の格子点像が偶然存在する場合である。第５
図には、このような場合の入力画像の例を示して
いる。物体３の表面上に形成される格子点像のう
ちg₁とg₄が共に先の平面P₁上に存在するため、第
１のカメラ２３の入力画像中では、投影線L₁上
に２つの格子点画像Q₁，Q₄が検出され、候補が
２つになる。 The lattice point image g ₁ formed on the surface of the object 3 is the ray 2
Since it is on the optical path of 8, it should naturally exist on the previously determined first projection line _L1 in the input image on the imaging surface 25 of the first camera. Therefore, the input image pattern on the imaging surface 25 is
The search is performed along _L1 , and if there is a lattice point image, it is selected as a candidate for the lattice point image in the input image corresponding to _G1 . Usually one grid point image on projection line L ₁
Q ₁ is detected. If g ₁ exists in a position that cannot be seen from the first camera (such as a blind spot), there will be no lattice point image on the projection line L ₁ , and the input image by the first camera will be It is determined that there is no image of the lattice point formed by the light beam 28 emitted from the lattice point _G1 . Conversely, two or more lattice point images may be detected on the projection line _L1 . This is the case when two or more grid point images happen to exist on the plane P ₁ including the light source point S, the grid point G ₁ and the focus F ₁ of the first camera. Fifth
The figure shows an example of an input image in such a case. Since g ₁ and g ₄ of the lattice point images formed on the surface of the object 3 both exist on the previous plane P ₁ , in the input image of the first camera 23 , there are 2 points on the projection line L ₁ . Two grid point images Q ₁ and Q ₄ are detected, resulting in two candidates.

２つの候補のうち、正しい候補点を検出するた
め撮像面２６上の入力画像によつて検証を行な
う。 In order to detect the correct candidate point among the two candidates, verification is performed using the input image on the imaging surface 26.

第１のカメラの撮像面２５上で検出された候補
点Q₁と、第１のカメラの焦点F₁、および第２の
カメラの焦点F₂を含む平面P₃を求め、平面P₃と
第２のカメラの撮像面２６の交線である第３の投
影線L₃−１を求める。第３の投影線L₃−１は、
第１のカメラの焦点F₁から候倣点Q₁を通り、物
体３の表面上に形成された格子点像に至る視線２
９を第２の格子点の撮像面２６上に投影したもの
である。従つて、その視線上にあつて、格子点像
Q₁に対応する点g₁は、第２ののカメラの入力画
像中にあつては、第３の投影線L₃−１の上に線
を結んでいるはずである。別の候補点Q₄につい
ても同じようにして第３の投影線L₃−２を求め
る。当然格子点像Q₄に対応する物体３の表面上
の格子点像g₄は、第２のカメラの入力画像中にあ
つては、賃３の投影線L₃−２の上に像を結んで
いるはずである。 _A plane P ₃ including the candidate point Q 1 detected on the imaging surface 25 of the first camera, the focus F ₁ of the first camera, and the focus F ₂ of the second camera is obtained, and the plane P ₃ and the A third projection line L ₃ -1, which is the intersection of the imaging planes 26 of the two cameras, is determined. The third projection line L ₃ -1 is
Line of sight 2 from the focus F ₁ of the first camera to the lattice point image formed on the surface of the object 3 through the candidate point Q ₁
9 projected onto the imaging plane 26 of the second lattice point. Therefore, on the line of sight, the lattice point image
The point g ₁ corresponding to Q ₁ should connect a line above the third projection line L ₃ -1 in the input image of the second camera. A third projection line L ₃ -2 is obtained in the same manner for another candidate point Q ₄ . Naturally, the lattice point image g ₄ on the surface of the object 3 corresponding to the lattice point image Q ₄ forms an image on the projection line L ₃ -2 of the second camera in the input image of the second camera. It should be there.

以上のようにして、撮像面２６上には、３本の
投影線L₂，L₃−１，L₃−２が求められるわけで
ある。いま、第１のカメラの入力画像中から抽出
された候補点Q₁が、格子点G₁に対応する正しい
候補点であるならば、第２のカメラの入力画像中
において、Q₁に対応する格子点像が存在し、そ
れは、第２の投影線の上にあつて、かつQ₁から
求めた第３の投影線L₃−１の上にもあるはずで
ある。すなわち、Q₁に対応する格子点像は、２
つの投影線L₂とL₃−１の交点上になくてはなら
ない。第２のカメラの入力画像中においては、
L₂と、L₃−１の交点付近に格子点像の候補点R₁
が存在するのでQ₁とR₁が、G₁に相当する対応点
のペアであるとみなすことができる。 As described above, three projection lines L ₂ , L ₃ -1, and L ₃ -2 are obtained on the imaging plane 26. Now, if candidate point Q ₁ extracted from the input image of the first camera is the correct candidate point corresponding to grid point G ₁ , then the candidate point Q 1 extracted from the input image of the second camera is the correct candidate point corresponding to Q ₁ in the input image of the second camera. There is a lattice point image, which should lie on the second projection line and also on the third projection line L ₃ -1 determined from Q ₁ . In other words, the lattice point image corresponding to Q ₁ is 2
It must be on the intersection of the two projection lines L ₂ and L ₃ -1. In the input image of the second camera,
Candidate point R ₁ of the lattice point image is located near the intersection of L ₂ and L ₃ -1.
exists, so Q ₁ and R ₁ can be regarded as a pair of corresponding points corresponding to G ₁ .

一方、Q₄については、２つの投影線L₂とL₃−
２の交点付近に格子点像が存在しないため、偽の
対応点候補として却下することができる。これ
は、Q₄に対応する格子点像g₄が、光源点Ｓと格
子点G₁および第２の格子点の焦点F₂を含む平面
P₂の上には存在しないためである。また、逆に
平面P₂上に別の格子点像、たとえばg₃が存在する
場合もあり得る。この時には第２の投影線L₂上
に、g₃に対応する格子点像R₃が存在することに
なるが、R₃はQ₁，Q₄から求めた第３の投影線L₃
−１，L₃−２のいずれの上にものつていないた
め、やはり偽の対応点候補として却下することが
できる。当然、格子点G₁に相当する格子点像g₁
が第２のカメラから見えない位置にあれば、正し
い対応点候補R₁は検出できず、第２のカメラに
よる入力画像中には、格子点G₁から照射された
光線２８によつてできる格子点像g₁の対応点画像
は存在しないものと判断する。 On the other hand, for Q ₄ , there are two projection lines L ₂ and L ₃ −
Since there is no lattice point image near the intersection of 2, it can be rejected as a false corresponding point candidate. This means that the lattice point image g ₄ corresponding to Q ₄ is a plane containing the light source point S, the lattice point G ₁ and the focal point F ₂ of the second lattice point.
This is because it does not exist above _P2 . Conversely, another lattice point image, for example g ₃ , may exist on the plane P ₂ . At this time, a lattice point image R ₃ corresponding to g ₃ exists on the second projection line L ₂ , but R ₃ is the third projection line L ₃ obtained from Q ₁ and Q ₄ .
Since it does not lie above either -1 or L ₃ -2, it can be rejected as a false corresponding point candidate. Naturally, the lattice point image g ₁ corresponding to the lattice point G ₁
is in a position that cannot be seen from the second camera, the correct corresponding point candidate _R1 cannot be detected, and the input image by the second camera contains a grid formed by the light rays 28 emitted from the grid point _G1 . It is determined that a point image corresponding to point image _g1 does not exist.

上記の検証方法により、偽の対応点候補があつ
た場合にも、これを却下でき、格子点G₁に相当
する入力画像中の対応点のペアQ₁とR₁を正しく
検出することができる。 By the above verification method, even if there is a false corresponding point candidate, it can be rejected and the pair of corresponding points Q ₁ and R ₁ in the input image corresponding to the grid point G ₁ can be correctly detected. .

以上に説明してきたような操作を、仮想的スク
リーン２７上の別の格子点G₂〜G₄についても順
次くり返すことによつて、全グリツド・パターン
中のすべての格子点について、入力画像中の対応
点のペアを求めることができる。 By sequentially repeating the operations described above for other grid points _G2 to _G4 on the virtual screen 27, all the grid points in the entire grid pattern are We can find pairs of corresponding points.

まれには、１つの格子点G_iに相当する入力画像
中の対応点のペアが２組以上検出される可能性も
ある。これは、物体３の表面上に生成されたグリ
ツド・パターン像と、カメラの撮像角度による偶
然の一致、あるいはカメラ・パラメータ、光源パ
ラメータの測定誤差や、入力画像中の候補点抽出
時の位置検出誤差が原因である。ほとんどの場合
は、１組が正しい対応点ペアであり、他は却下で
きなかつた偽の対応点ペアである。この場合に
は、すべての検出された対応点ペアのデータをな
がめてみることによつて、大部分が解決できる。 In rare cases, two or more pairs of corresponding points in the input image corresponding to one grid point G _i may be detected. This may be due to a coincidence between the grid pattern image generated on the surface of the object 3 and the imaging angle of the camera, measurement errors in camera parameters and light source parameters, or position detection when extracting candidate points in the input image. This is caused by an error. In most cases, one set is a correct matched point pair, and the others are false matched point pairs that cannot be rejected. In this case, most of the problems can be solved by looking at the data of all detected corresponding point pairs.

すなわち、入力画像中の格子点像Q₁〜Q₄，R₁
〜R₄はそれぞれ最大１回、対応点ペアの一方と
して検出されるのが正しく、同じ点が２度以上対
応点として現われることはない。いま第１のカメ
ラによる入力画像中の格子点像Q_iが二度対応点と
して現われるていれば、そのうちの少なくとも一
方は必ず誤りである。Q_iを対応点とする格子点の
データを調べ、もしある格子点G_j（ｊ≠ｉ）に相
当する対応点のペアが２組以上検出されていて、
その中に対応点としてQ_iが含まれていれば、その
ペアか偽の対応点ペアである確率が非常に高くな
る。その対応点Q_iとペアを成す格子点像R_kが、
第２のカメラによる入力画像中でやはり２度以上
対応点として検出されていれば、Q_iとR_kの対応
点ペアは、格子点G_jに相当する偽の対応点ペア
であるとして却下することができ、格子点G_jに
ついても１組の対応点ペアが確定する。 That is, the lattice point images Q ₁ to Q ₄ , R ₁ in the input image
It is correct that each of ~R ₄ is detected at most once as one of a pair of corresponding points, and the same point does not appear as a corresponding point more than once. If the lattice point image Q _i in the input image from the first camera now appears twice as a corresponding point, at least one of them is definitely an error. Examine the data of the grid points with Q _i as the corresponding point, and if two or more pairs of corresponding points corresponding to a certain grid point G _j (j≠i) are detected,
If Q _i is included as a corresponding point, there is a very high probability that this pair is a false corresponding point pair. The lattice point image R _k that forms a pair with the corresponding point Q _i is
If the corresponding points are detected twice or more in the input image by the second camera, the corresponding point pair Q _i and R _k is rejected as a false corresponding point pair corresponding to the grid point G _j , and one set of corresponding point pairs is determined for grid point G _j as well.

以上に説明したような構成と原理によつて本発
明では、照射するグリツド・パターン中の格子点
G_iに相当する入力画像中の格子点像の対応点ペア
Q_i，R_iを検出する。Q_iとR_iの対応関係が求められ
れば、２台のカメラの設定条件（カメラ・パター
ン）等から、格子点G_iの物体３表面上への投影点
であるg_iの３次元的位置（絶対座標）を算出する
ことができる。実施例では、上記のようにして検
出されたグリツド・パターン中の各格子点に相当
する対応点ペアの情報を利用して、格子点以外の
グリツド・パターン全体についても入力画像中の
対応点ペアを検出してゆく。この操作は、本出願
人が概に提案している特願昭58−158358号明細書
および特願昭58−158359号明細書に記載した方法
等を適用することによつても実現することが可能
であるが、ここでは、本発明の方法を格子点以外
の部分についても適用してグリツド・パターン全
体について、物体表面上の投影位置を求めてゆ
く。 With the configuration and principle explained above, the present invention enables the grid points in the grid pattern to be irradiated to be
Corresponding point pairs of grid point images in the input image corresponding to G _i
Detect Q _i and R _i . Once the correspondence between Q _i and R _i is determined, the three-dimensional position of g _i , which is the projection point of grid point G _i onto the surface of object 3, can be determined from the setting conditions (camera patterns) of the two cameras, etc. (absolute coordinates) can be calculated. In the example, by using the information of the corresponding point pairs corresponding to each grid point in the grid pattern detected as described above, the corresponding point pairs in the input image are also detected for the entire grid pattern other than the grid points. will be detected. This operation can also be realized by applying the method etc. described in Japanese Patent Application No. 158358/1982 and Japanese Patent Application No. 158359/1983, which are generally proposed by the applicant. Although it is possible, here, the method of the present invention is applied to portions other than the grid points to determine the projected position on the object surface for the entire grid pattern.

グリツド・パターン中の隣接する格子点、たと
えばG₁とG₂を結ぶ線分（格子線と称する）上の
任意の点（第５図中の点Ａ）について入力画像中
の対応点ペアを求める。手順は、格子点G₁の時
と同様であるが、この場合は格子点像ではなく投
影線上の格子線のパターンを検出していく。ただ
し、Ａ点が、格子点G₁とG₂を結ぶ格子線上の点
であることがあらかじめわかつているので、入力
画像中での探索範囲は、最初からG₁，G₂に相当
する対応点Q₁とQ₂、R₁とR₂を結ぶ格子線像の
上、あるいはQ₁とQ₂、R₁とR₂をそれぞれ対角線
の端点とする長方形の領域付近に限定することが
でき、処理時間も短縮され、また偽の対応点ペア
もほとんど発生しない。 Find a corresponding point pair in the input image for an arbitrary point (point A in Figure 5) on a line segment (referred to as a grid line) connecting _G1 and _G2 , such as adjacent grid points in the grid pattern. . The procedure is the same as that for grid point _G1 , but in this case, the pattern of grid lines on the projection line is detected instead of the grid point image. However, since it is known in advance that point A is a point on the grid line connecting grid points _G1 and _G2 , the search range in the input image is from the beginning the corresponding points corresponding to _G1 and _G2 . The processing can be limited to the grid line image connecting Q ₁ and Q ₂ , R ₁ and R ₂ , or around a rectangular area with Q ₁ and Q ₂ , R ₁ and R ₂ as the end points of the diagonals, respectively. The time is shortened, and false corresponding point pairs are almost never generated.

次に、第６図を用いて、本実施例をフロー・チ
ヤートの形で説明する。 Next, this embodiment will be explained in the form of a flow chart using FIG.

本実施例では、２つのカメラによる入力画像は
それぞれ画像メモリに格納され、画像メモリ内の
データをCPUがアクセスすることによつて計算
処理を行なう。 In this embodiment, input images from two cameras are stored in image memories, respectively, and the CPU performs calculation processing by accessing data in the image memories.

ここでは、カメラ・パラメータ、光源パラメー
タ、および第５図の仮想的スクリーン２７上にお
いて計測したグリツド・パターン上の各点の位置
（座標）および、カメラ座標系から絶対座標系へ
の変換マトリクスT₁，T₂などのデータは、既に
求めてあるものとして説明する。 Here, camera parameters, light source parameters, the position (coordinates) of each point on the grid pattern measured on the virtual screen 27 in FIG. 5, and the transformation matrix T ₁ from the camera coordinate system to the absolute coordinate system. , T ₂ , etc. will be explained assuming that they have already been obtained.

また、以下の説明では、絶対座標系での座標を
（ｘ，ｙ，Ｚ）、第１、第２のカメラの撮像面上に
とつたカメラ座標系（X₁−Y₁−Z₁座標系、X₂−
Y₂−Z₂座標系）での座標をそれぞれ（Ｘ，Ｙ，
Ｚ）₁、（Ｘ，Ｙ，Ｚ）₂と表記する。 In addition, in the following explanation, the camera coordinate system (X ₁ - Y ₁ - Z ₁ coordinate system) in which the coordinates in the absolute coordinate system (x, y, Z) are taken on the imaging plane of the first and second cameras ,X ₂ −
Y ₂ −Z ₂ coordinate system) coordinates (X, Y,
It is written as Z) ₁ and (X, Y, Z) ₂ .

(1) グリツド・パターンの中から１つの格子点G_i
（x_Gi，y_Gi，Z_Gi）を選択する。(1) One grid point G _i from the grid pattern
Select (x _Gi , y _Gi , Z _Gi ).

(2) 第１の投影線L₁のX₁−Y₁−Z₁座標系での式
を求める。(2) Find the expression of the first projection line L ₁ in the X ₁ −Y ₁ −Z ₁ coordinate system.

光源点Ｓ（x_s，y_s，Z_s）と格子点G_iを、変換
マトリクスT₁の逆行列T^-1 ₁によつてX₁−Y₁−
Z₁座標系Ｓ（X_s，Y_s，Z_s）₁、G_i（X_Gi，Y_Gi，Z_Gi）₁
に変換する。第１のカメラの焦点F₁（Ｏ，Ｏ，
l₁）₁と、Ｓ、G_iの３点の座標データから、この
３点を含む平面P₁の式（カメラ座標系）を求
める。第１のカメラの撮像面の式Ｚ＝０（カメ
ラ座標系）と、P₁の式を連立させれば、交線
L₁のカメラ座標系での式が得られる。 The light source point S (x _s , y _s , Z _s ) and the grid point G _i are transformed into X ₁ −Y ₁ − by the inverse matrix T ⁻¹ ₁ of the transformation matrix T ₁
Z ₁ coordinate system S (X _s , Y _s , Z _s ) ₁ , G _i (X _Gi , Y _Gi , Z _Gi ) ₁
Convert to The focus of the first camera F ₁ (O, O,
_{l 1} ) From the coordinate data of the three points S and G _i , find the equation (camera coordinate system) of the plane P ₁ that includes these three points. If the equation Z = 0 (camera coordinate system) of the imaging plane of the first camera and the equation P ₁ are combined, the intersection line
The formula for L ₁ in the camera coordinate system is obtained.

(3) 第２の投影線L₂のX₂−Y₂−Z₂座標系での式
を求める。(3) Find the expression of the second projection line L ₂ in the X ₂ −Y ₂ −Z ₂ coordinate system.

手順は、L₁の時と同様である。 The procedure is the same as for _L1 .

(4) 第１の投影線L₁上の格子点像Q_j（ｊ＝１，２
……）を抽出する。(4) _Lattice point image Q _j (j=1,2
...) is extracted.

第１のカメラによる入力画像のデータを、投
影線L₁に沿つて、近傍の入力画像パターンを
調べてゆく。格子点像として特徴的な交点パタ
ーンが検出されれば、その交点パターンの座標
Q_j（X_Qj，Y_Qj，Ｏ）₁（ｊ＝１，２，……）を候補
点として抽出する。 The input image data from the first camera is examined along the projection line _L1 for nearby input image patterns. If a characteristic intersection pattern is detected as a grid point image, the coordinates of that intersection pattern are
Q _j (X _Qj , Y _Qj , O) ₁ (j=1, 2, . . . ) are extracted as candidate points.

(5) Q_jから第２のカメラへの投影線L₃−_j（ｊ＝
１，２，……）のX₂−Y₂−Z₂座標系での式を
求める。(5) Projection line L ₃ − _j from Q _j to the second camera (j=
1, 2, ...) in the X ₂ - Y ₂ - Z ₂ coordinate system.

Q_jとF₁の座標値を、T₁によつて絶対座標系
に変換し、さらにT₂の逆行列T^-1 ₂によつてX₂
−Y₂−Z₂座標系Q_j（X_Qj，Y_Qj，Z_Qj）₂、F₁（Z_F1，
Z_F1，Z_F1）₂に変換する。第２のカメラの焦点F₂
（Ｏ，Ｏ，l₂）₂と、Q_j，F₁の３点の座標データ
から、この３点を含む平面P₃の式（X₂−Y₂−
Z₂座標系）を求める。第２のカメラの撮像面の
式Ｚ＝０（X₂−Y₂−Z₂座標系）と、平面P₃の式
を連立させれば、交線L_3-jのカメラ座標系での
式が得られる。 The coordinate values of Q _j and F ₁ are converted to the absolute coordinate system by T ₁ , and then converted to X ₂ by the inverse matrix T ^-1 2 of T _{2 .}
−Y ₂ −Z ₂ Coordinate system Q _j (X _Qj , Y _Qj , Z _Qj ) ₂ , F ₁ (Z _F1 ,
Z _F1 , Z _F1 ) Convert to ₂ . Second camera focus F ₂
From the coordinate data of the three points (O, O, l ₂ ) ₂ and Q _j , F ₁ , the equation of the plane P ₃ containing these three points (X ₂ − Y ₂ −
_Z2 coordinate system). If the equation of the imaging plane of the second camera Z = 0 (X ₂ - Y ₂ - Z ₂ coordinate system) and the equation of the plane P ₃ are combined, the equation of the intersection line L _3-j in the camera coordinate system can be obtained. is obtained.

(6) 第２の投影線L₂と第３の投影線L_3-j（ｊ＝１，
２，……）の交点上の格子点像R_k（ｋ＝１，２
……）を抽出する。(6) Second projection line L ₂ and third projection line L _3-j (j=1,
2,...) on the intersection point R _k (k=1,2
...) is extracted.

ステツプ(3)、(5)で求めた投影線L₂とL_3-jの式
を連立させて交点の座標を求め、交点近傍の入
力画像パターンに、格子点像として特徴的な交
点パターンが検出されれば、その交点パターン
の座標R_k（X_Rk，Y_Rk，Ｏ）₂（ｋ＝１，２，……）
を、Q_jに対する対応点として抽出し、Q_jとR_k
を、格子点G_iに相当する対応点ペアとして登録
する。２組以上の対応点ペア（ｋ≧２）が検出
された場合にも、それらのすべてを登録する。 The coordinates of the intersection are determined by simultaneously calculating the equations for the projection lines L ₂ and L _3-j obtained in steps (3) and (5), and the input image pattern near the intersection has a characteristic intersection pattern as a lattice point image. If detected, the coordinates of the intersection pattern R _k (X _Rk , Y _Rk , O) ₂ (k=1, 2,...)
is extracted as a corresponding point to Q _j , and Q _j and R _k
is registered as a corresponding point pair corresponding to grid point G _i . Even if two or more pairs of corresponding points (k≧2) are detected, all of them are registered.

(7) グリツド・パターン中から次の格子点G_i+1を
選択し、すべての格子点についてステツプ(2)〜
(6)をくり返す。(7) Select the next grid point G _i+1 from the grid pattern and perform steps (2) ~
Repeat (6).

(8) すべての対応点ペアのデータを分析し、偽の
対応点ペアがあれば却下する。(8) Analyze the data of all matched point pairs and reject any false matched point pairs.

対応点ペアとして登録された格子点像Q_jあ
るいはR_kのデータ集合の中で、同じ格子点像
が２度以上登録されていれば、その格子点像に
該当する格子点G₁，G_n，……のすべての対応
点ペアを分析し、偽の対応点ペアと判断できる
ものを却下する。 If the same lattice point image is registered twice or more in the data set of lattice point images Q _j or R _k registered as a pair of corresponding points, the lattice points G ₁ , G _n corresponding to that lattice point image , ... are analyzed, and those that can be determined to be false corresponding point pairs are rejected.

(9) 隣接する２つの格子点G_i，G_i+1を結ぶ格子線
上から任意の１点Ａを選択する。(9) Select any point A from the grid line connecting two adjacent grid points G _i and G _i+1 .

(10) 点Ａに相当する入力画像中の対応点ペアＢ，
Ｃを求める。(10) Corresponding point pair B in the input image corresponding to point A,
Find C.

(11) 次の任意のＡ点についてステツプ(9)〜(10)をく
り返す。(11) Repeat steps (9) to (10) for the next arbitrary point A.

(12) 他のすべての、格子線上の各点についてもス
テップ(9)〜(11)の操作をくり返して入力画像中の
対応点ペアを求める。(12) Repeat steps (9) to (11) for all other points on the grid lines to find pairs of corresponding points in the input image.

(13) 上記の操作で求めた対応点ペアに該当する
物体３の表面上の各点の位置（絶対座標）を求
める。(13) Find the position (absolute coordinates) of each point on the surface of the object 3 that corresponds to the corresponding point pair found in the above operation.

第１、第２のカメラによる入力画像中の点Q_j
とR_kが対応点ペアであるとすれば、点Q_jと第１
のカメラの焦点F₁を結ぶ直線と、点R_kと第２の
カメラの焦点F₂を結ぶ直線の交点を絶対座標で
求めることにより、物体３の表面上の投影点の位
置を知ることができる。 Point Q _j in the input image from the first and second cameras
If and R _k are a pair of corresponding points, then point Q _j and the first
By finding the intersection point of the straight line connecting the focal point F ₁ of the second camera and the straight line connecting the point R _k and the focal point F ₂ of the second camera in absolute coordinates, we can find the position of the projection point on the surface of the object 3. can.

なお、パターン光源も等価的にカメラと同様の
扱いができるので、第１のカメラの入力画像中の
格子点像G_jとし、第２のカメラの撮像面上でQ_i
を、仮想的スクリーン２７上でR_jを検出すると
いう構成方法をとることも可能である。 Note that a pattern light source can be treated equivalently in the same way as a camera, so let it be a lattice point image G _j in the input image of the first camera, and Q _i on the imaging plane of the second camera.
It is also possible to adopt a configuration method in which R _j is detected on the virtual screen 27.

発明の効果 以上の説明で述べてきたように、本発明の物体
検出方法によれば、簡単な構成で従来の手法のみ
では困難であつた両眼立体視をした時の左右両画
面間の対応づけの問題を解決できると共に、３次
元物体表面上のグリツド・パターン像各点の３次
元的位置を直接求めることができる。対応づけの
問題が解決されたことにより、画像入力は１回で
すむようになり、大幅な画像入力、前処理時間の
短縮が実現できる。実際のデータ処理も簡単な計
算ですむため、本発明は実用的な３次元物体の検
出装置を提供するという意味で、産業的に非常に
大きな効果が期待できるものである。Effects of the Invention As described above, according to the object detection method of the present invention, the object detection method of the present invention has a simple configuration, and the correspondence between the left and right screens when performing binocular stereoscopic viewing, which was difficult with conventional methods alone. In addition to solving the problem of placement, it is also possible to directly determine the three-dimensional position of each point in the grid pattern image on the surface of a three-dimensional object. By solving the problem of correspondence, it is now possible to input the image only once, and it is possible to achieve a significant reduction in image input and preprocessing time. Since actual data processing requires only simple calculations, the present invention can be expected to have great industrial effects in the sense that it provides a practical three-dimensional object detection device.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は従来の１本のスリツト光を用いた距離
測定方法を示す原理図、第２図は従来の複数本の
スリツト光を用いた物体検出方法を説明する原理
図、第３図はカメラ光学系と撮像面、入力画像の
関係を説明するための配置図、第４図は本発明の
一実施例における物体検出装置の画像入力部を示
す概念図、第５図は同実施例の構成と原理を説明
するための概念図、第６図Ａ，Ｂは同実施例の動
作を説明するフロー・チヤートである。 ２１……グリツド光源、２３，２４……第１、
第２の画像入力装置、２５，２６……第１、第２
の画像入力装置の撮像面、F₁，F₂……第１、第
２の画像入力装置の焦点、G₁〜G₄……グリツ
ド・パターン中の格子点、Q₁〜Q₄……第１の画
像入力装置の撮像面上の格子点像、R₁〜R₄……
第２の画像入力装置の撮像面上の格子点像、L₁
……第１の投影線、L₂……第２の投影線、L₃…
…第３の投影線。 Figure 1 is a principle diagram showing the conventional distance measurement method using a single slit beam, Figure 2 is a principle diagram explaining the conventional object detection method using multiple slit beams, and Figure 3 is a camera diagram. A layout diagram for explaining the relationship between an optical system, an imaging surface, and an input image. FIG. 4 is a conceptual diagram showing an image input section of an object detection device in an embodiment of the present invention. FIG. 5 is a configuration of the same embodiment. FIGS. 6A and 6B are flow charts for explaining the operation of the same embodiment. 21...grid light source, 23, 24...first,
Second image input device, 25, 26...first, second
F ₁ , F ₂ ... focal points of the first and second image input devices, G ₁ to _{G 4} ... lattice points in the grid pattern, Q ₁ to _{Q 4} ... Lattice point images on the imaging surface of the image input device No. 1, R ₁ to R ₄ ...
Lattice point image on the imaging surface of the second image input device, L ₁
...First projection line, L ₂ ...Second projection line, L ₃ ...
...Third projection line.

Claims (1)

【特許請求の範囲】[Claims] １ 正方格子状のグリツド・パターンを生成する
グリツド光源から、被検出物体に前記グリツド・
パターンを照射し、前記被検出物体を互いに異な
る２つの方向から第１および第２の画像入力装置
によつて撮像し、前記第１の画像入力装置の撮像
面上においては、前記グリツド光源の光源点Ｓ
と、照射される前記グリツド・パターン中の任意
の格子点Ｇと、前記第１の画像入力装置のレンズ
系の焦点F₁の３点を含んで成る平面と、前記第
１の画像入力装置の撮像面との交線である第１の
投影線を求め、前記第２の画像入力装置の撮像面
上においては、前記光源点Ｓと、前記格子点Ｇ
と、前記第２の画像入力装置のレンズ系の焦点
F₂の３点を含んでなる平面と、前記第２の画像
入力装置の撮像面との交線である第２の投影線を
求め、前記第１の画像入力装置の撮像面上におい
て、入力画像中の格子点像のうち、前記第１の投
影線の上に存在する格子点像Ｐを検出し、撮像面
上における前記格子点像Ｐと、前記第１の画像入
力装置のレンズ系の焦点F₁と、前記第２の画像
入力装置のレンズ系の焦点F₂の３点を含んで成
る平面と、前記第２の画像入力装置の撮像面との
交線である第３の投影線を求め、前記第２の画像
入力装置の撮像面上において、前記第２および第
３の投影線の交点近傍の入力画像パターンに格子
点像P′が存在すれば、前記格子点像P′と、前記第
１の画像入力装置の撮像面上の格子点像Ｐとを対
応点候補とし、順次同様の操作によつて前記第１
および第２の画像入力装置の入力画像パターン中
の格子点像の対応関係を求めることによつて、前
記被検出物体表面上の点の３次元的位置を検出す
ることを特徴とする物体検出方法。1 A grid light source that generates a grid pattern in the form of a square lattice emits the grid pattern onto an object to be detected.
a pattern is irradiated, the object to be detected is imaged from two different directions by first and second image input devices, and a light source of the grid light source is displayed on the imaging surface of the first image input device. point S
, an arbitrary grid point G in the grid pattern to be irradiated, and a plane comprising three points: a focal point F ₁ of the lens system of the first image input device; A first projection line that intersects with the imaging plane is obtained, and on the imaging plane of the second image input device, the light source point S and the grid point G are
and a focal point of the lens system of the second image input device.
A second projection line, which is an intersection line between the plane including the three points F ₂ and the imaging surface of the second image input device, is obtained, and the input Among the lattice point images in the image, the lattice point image P existing on the first projection line is detected, and the lattice point image P on the imaging plane and the lens system of the first image input device are detected. a third projection line that is an intersection line between a plane including three points, a focal point F ₁ and a focal point F ₂ of a lens system of the second image input device, and the imaging plane of the second image input device; If a lattice point image P' exists in the input image pattern near the intersection of the second and third projection lines on the imaging plane of the second image input device, then the lattice point image P' and , and the lattice point image P on the imaging surface of the first image input device as corresponding point candidates, and sequentially perform similar operations to
and an object detection method, characterized in that the three-dimensional position of the point on the surface of the object to be detected is detected by determining the correspondence of lattice point images in the input image pattern of the second image input device. .