JPH024030B2 - - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、組立て、溶接ロボツトなどの３次元
物体を扱う産業機器において、対象物体の位置、
形状等を認識する物体検出方法に関するものであ
る。

従来例の構成とその問題点 近年、産業用ロボツトの普及はめざましく、よ
り高度な機能が要求されるようになつている。工
業用TVカメラなどを用いた視覚機能も、その１
つであり、視覚フイード・バツクによるロボツト
の知能化が期待されている。

しかし、現在までのところ、実用化レベルに至
つているのは、主に２次元情報を利用したものが
ほとんどで、産業応用の対象として最も重要な３
次元物体の認識は盛んに研究されているが実用例
は少ない。

３次元物体の位置、形状等を認識するための一
般的な従来の方法は、２台のTVカメラによつて
対象物を異なる角度から撮像し、両眼立体視する
ことにより、３次元的な位置、形状を求めるもの
であるが、次のような問題点がある。

(1) 階調を有する入力画像の中から、エツジ、コ
ーナ点などの特徴を抽出するのに膨大な計算量
が必要である。

(2) 左、右両画面間で特徴となる線、点間の対応
関係を求める必要があり、これが困難である。

問題(2)は、両眼立体視する場合に特有の問題点
であり、あらかじめ対象となる物体の形状情報な
どがなければ一意的には求められない。

そこで従来は上記(1)、(2)の問題点に対する解決
策として、スリツト光を利用する方法が研究され
てきた。

第１図には、従来のスリツト光を用いた距離測
定法の原理図を示す。同図の例では、スリツト光
源１から照射されるスリツト光束２を回転ミラー
４によつて偏向させ、対象となる３次元物体３に
照射し、その反射光をTVカメラ５で撮像する。
スリツト光束面の角度情報と、カメラの位置情報
（角度、距離等）から、物体上のスリツト光の３
次元位置を求めることができる。３次元物体３の
全体の距離情報を得るためには、回転ミラー４に
よつてスリツト光を順次走査してゆき、その都
度、距離を測定する。

同図に示す方法では、入力画像がスリツト・パ
ターンであるため、容易に２値化画像を得ること
ができ、スリツト・パターンの屈折点などの特徴
点の抽出も容易である。また、ミラーの回転角度
と、カメラの設定角度から一意的に３次元の距離
情報を求めることができ、前述の問題点(1)、(2)と
も解決できる方法である。

しかし、この従来方法では、画像入力に時間が
かかるという問題点が残つている。すなわち、１
回の画像入力によつて得られるのは１本のスリツ
ト・パターンだけであるため、３次元物体の全体
にわたつて距離情報を得るためには、ミラー４を
回転させてスリツト・パターンを順次走査しなが
ら走査の各ステツプごとに画像入力を行なわねば
ならず、実用的な見地からは、その入力時間が大
きな問題となつている。一方複数本のスリツト・
パターンを３次元物体の全体に照射するようにす
れば、画像入力の回数は１回だけでよくなるが、
対応づけの問題が複雑になる。現在公知の方法で
はないが、本出願人は、複数本のスリツト・パタ
ーンを照射した物体を、２台のカメラによつて撮
像し、スリツト光束面の距離・角度情報から立体
両眼視した２つの入力画像間で特徴点の対応関係
を求め、物体の３次元位置を求める方法を提案し
ている。（特願昭58−158358号明細書及び特願昭
58−158359号明細書） 第２図は、特願昭58−158359号明細書に記載さ
れた対応づけの原理を説明する図である。同図の
例では、第１のカメラの撮像面６上の撮像パター
ン中の任意の特徴点P_iと、カメラの焦点F₁とを結
ぶ仮想的直線８と、あらかじめ空間的位置を求め
てある３枚のスリツト光束面２−１〜２−３との
交点P_i1〜P_i3を求める。次に、P_i1〜P_i3の第２のカ
メラの撮像面７上への投影点P_i1′〜P_i3′を求め、
撮像面７上において、投影点P_i1′〜P_i3′の各位置
における入力画像パターンを調べることによつ
て、第１のカメラの撮像パターン中の特徴点P_iに
対応する第２のカメラの撮像パターン中の特徴点
P_i2′を求める。順次、同様にして両画面中の対応
点のペアを求めることによつて、対象である３次
元物体の位置、形状等を検出するものである。こ
のように、この方法では、スリツト光束面の情報
を有効に利用して対応点の候補を限定してゆくこ
とによつて対応づけの問題を解決しようとしてい
る。しかし、このような方法にも、偽の対応点が
現われるという問題と、それに対する解決策に問
題があつた。すなわち対象物体の形状、スリツト
光源および２台のカメラの設定角度などによつて
は、第２のカメラの撮像面上への投影点群P_i1′〜
P_io′の中に２つ以上の候補点が現われ、対応関係
が一意的に決定できない場合が生ずる。照射する
スリツト・パターンの数が多くなるほど、当然偽
の対応点が出現する可能性が大きくなり、大きな
問題となる。たとえば、入力画像中の同一直線上
の点列など、いくつかの特徴点を組合せて検証す
ることにより偽の対応点の一部はリジエクトでき
るが、そのためには入力画像の解析を行なわねば
ならず、計算量が著しく増加してしまう。

発明の目的 本発明は、以上に述べたような３次元物体の位
置、形状を求めるための方法において問題であつ
た、画像入力時間の問題と、両眼立体視した場合
の対応づけの問題を解決し、より実用的な３次元
物体の検出方法を提供することを目的とする。

発明の構成 本発明では、正方格子状のグリツド・パターン
像を生成するグリツド光源から、被検出物体にグ
リツド・パターンを照射し、物体表面上および床
面上などにできたグリツド・パターン像を、互い
に異なる２つの方向から、第１および第２のカメ
ラによつて撮像する。次に、グリツド光源の光源
点Ｓと、照射されるグリツド・パターン中の任意
の格子点Ｇと、第１のカメラのレンズ系の焦点
F₁の３点によつて決定される平面と、第１のカ
メラの撮像面との交線である第１の投影線L₁を
求める。同様に、光源点Ｓと、格子点Ｇと、第２
のカメラのレンズ系の焦点F₂の３点によつて決
定される平面と、第２のカメラの撮像面との交線
である第２の投影線L₂を求める。次に、第１の
カメラの撮像面上において、第１の投影線L₁上
の入力画像パターンを調べ、グリツド・パターン
の格子点像Ｐを検出する。次に、検出された第１
のカメラの撮像面上の点Ｐと、第１および第２の
カメラのレンズ系の焦点F₁，F₂の３点によつて
決定される平面と、第２のカメラの撮像面との交
線である第３の投影線L₃を求める。次に、第２
のカメラの撮像面上において、２つの投影線L₂，
L₃の交点近傍の入力画像パターンを調べ、そこ
にグリツド・パターンの格子点像P′が存在すれ
ば、２つの点ＰとP′を、第１および第２のカメラ
の撮像パターン上の対応点として登録する。第１
の投影線上に、２つ以上の格子点像が存在する場
合には、その各々について、第３の投影線を求め
第２のカメラの撮像面上で、対応候補点の有無を
調べ、対応点があれば結果を登録する。

照射されるグリツド・パターン中のすべての格
子点Ｇについて、順次上記の操作を行ない、各格
子点に相当する、撮像面上の格子点像の対応点の
組合せを求める。

次に、実施例の説明で述べるような方法によつ
て格子点像の対応点ペアの検証を行ない、偽の対
応関係となる組合せを排除する。

上記の操作で求めた、すべての対応点の組合せ
について、グリツド光源および２台のカメラの距
離、角度情報から、３次元物体の表面上にできた
グリツド・パターン像上の各点の３次元的な位置
（座標）を検出する。

本発明は、以上に述べたような方法によつて３
次元物体の表面上の点の３次元的位置を検出する
物体検出方法である。

実施例の説明 まず本発明の原理について、図面を用いながら
詳細に説明する。

第３図は、カメラ光学系と、撮像面、入力画像
の関係を示す図である。１１は、カメラのレンズ
系を表わしており、点Ｆ１２は、カメラ・レンズ
系の光学的中心（以下、焦点と呼ぶ）である。３
次元空間中に置かれた３次元物体３をカメラで撮
像すると、カメラの撮像面１３上には、同図に示
すような結像が得られる。₁は、焦点Ｆ１２と、
撮像面１３との距離である。通常撮像面１３は、
レンズ系の焦点面近傍に位置する。撮像面上の結
像を観測するためには、結像パターンを別のイメ
ージ面１４に出力する必要がある。イメージ面１
４としては、CRT画面、写真など任意のものが
考えられるが、通常計算機を用いて画像データを
処理するためには、入力画像を、画像メモリに記
録格納することが一般的であるので、ここではイ
メージ面１４として画像メモリを考える。撮像面
１３上の結像パターンと、画像メモリ１４上の入
力画像とは、撮像面上のＸ−Ｙ平面と、イメージ
面上のX′−Y′平面との平行移動量および拡大比
率の関係から、変換マトリクスT₀（T₀は３×３の
マトリクス）によつて、次のような線型座標変換
が可能である。

（Ｘ，Ｙ，１）＝（X′，Y′，１）・T₀ T₀は、カメラおよび、画像メモリの設計仕様、
あるいは入力画像データの解析などによつて、あ
らかじめ求めておくことができる。

１５は、撮像面１３を焦点Ｆ１２を対称点とし
て点対称な位置に移した仮想的な撮像面である。
一方１６は、撮像面１３上のＸ−Ｙ平面の原点
と、イメージ面上の対応する点（平行移動がなけ
れば原点）とが、ともにカメラの光軸上にあると
考えた時に、平行移動量および拡大比率の関係か
ら３次元空間中に求められるイメージ面１４を、
同様に焦点Ｆ１２を対称点として点対称な位置に
移した仮想的なイメージ面である。f₂は、この仮
想的なイメージ面と焦点Ｆ１２との距離である。
f₂はイメージ面と、撮像面との拡大比率Ｐから、
f₂＝f₁×Ｐとして求められる。撮像面１３と１
５、イメージ面１４と１６とは、焦点Ｆ１２を対
称点としてそれぞれ点対称な位置にあるため、３
次元物体３上の点と、焦点Ｆ１２とを結ぶ視線
と、撮像面あるいは、イメージ面との交点の座標
を考える上では等価である。ただし、Ｚ軸方向の
座標および扱いは異なる。従つて、説明の簡単化
のため以下の説明では、撮像面あるいはイメージ
面として１５あるいは１６を想定して説明する。

第４図は、本発明の画像入力部の構成を示す概
略図である。グリツド光源２１からグリツド・パ
ターンを３次元物体３に照射する。これによつて
３次元物体３の表面上、および床面上には、グリ
ツド・パターン像２２が形成される。これを、第
１のTVカメラ２３および、第２のTVカメラ２
４によつて撮像する。

第５図は、本発明の構成と原理を説明するため
の模式図である。同図において、Ｏは絶対空間中
の座標原点であり、３次元物体３の置かれる床面
上などに設定する。F₁，F₂は、それぞれ第１、
第２のTVカメラ２３，２４のレンズ系の光学的
中心（焦点）である。２５，２６は、それぞれ第
１、第２のTVカメラの撮像面である。ただし、
ここで考える撮像面は第３図において説明したよ
うに、実際の撮像面を、焦点を対称点として点対
称な位置に移動した平面である。l₁，l₂は、それ
ぞれ第１および第２のTVカメラの焦点と撮像面
２５，２６との距離である。撮像面２５，２６の
かわりに、第３図のイメージ面１６に相当するも
のを考えても等価である。ただし、その場合には
l₁，l₂としては、各イメージ面と焦点との距離を
考えなくてはならない。

O₁は、撮像面２５上に想定するX₁−Y₁−Z₁座
標系（Z₁軸方向は、O₁→F₁の方向とする）の原
点である。O₁は、撮像面２６上に想定するX₂−
Y₂−Z₂座標系（Z₂軸方向はO₂→F₂の方向とする）
の原点である。同図の例では、第１のTVカメラ
２３は、光軸が原点Ｏを通り、絶対座標系のｘ−
Ｚ平面に対してα₁、ｙ−Ｚ平面に対してθ₁の角度
をもつて設置されており、第２のカメラ２４は、
光軸が原点Ｏを通り、絶対座標系のｘ−Ｚ平面に
対してα₂、ｙ−Ｚ平面に対してθ₂の角度をもつて
設置されているものとしている。

絶対座標系の原点Ｏと、各焦点F₁，F₂との距
離をそれぞれd₁，d₂とすると、上記のようなカメ
ラ系の設定条件（α₁，α₂，θ₁，θ₂，l₁，l₂，d₁，
d₂……以後カメラパラメータと呼ぶ）は、２台の
カメラ２３，２４を、絶対空間中に設置するとき
に、実測したり、基準入力画像を解析することに
よつて、あらかじめ求めておくことができる。従
つて以後は、既知のデータとして扱う。

上記カメラ・パラメータがわかれば、撮像面２
５上のX₁−Y₁−Z₁座標系から絶対座標系への変
換マトリクスT₁、および撮像面２６上のX₂−Y₂
−Z₂座標系から絶対座標系への変換マトリクス
T₂も一意的に決定できる。一般にT₁，T₂は４×
４のマトリクスとして表現できる。第５図は構成
例における、T₁以下に例示する。

T₁，T₂についてもあらかじめ求めておくもの
とする。

また、第５図には、グリツド光源Ｓ２１から照
射されたグリツド・パターン像２２についても示
している。光源２１から照射されるグリツド・パ
ターン光の光路は、グリツド光源２１の設計仕様
および、グリツド光源２１の３次元空間における
設定位置および照射角度（以後光源パラメータと
称する）から一意的に決定できる。たとえば、グ
リツド光源として最も簡便なスライド・プロジエ
クターを用いる場合には、グリツド・パターンを
刻んだスライドのパターン（原パターン）のマウ
ント位置と、スライド光源の位置関係およびレン
ズ系の特性などから求めることができる。また、
物体３を除いた床面上あるいは、任意の位置に置
いたスクリーン上に形成されるグリツド・パター
ン像をあらかじめ計測しておくことによつても求
めることが可能である。第５図には、グリツド・
パターンの光路の途中においた仮想的スクリーン
２７を説明のため併せて表示している。ここで、
光源点Ｓを焦点、仮想的スクリーン２７を撮像面
と考えれば、パターン光源もカメラと同様の扱い
をすることができる。

さて、上記の準備をした上で、第１、第２の
TVカメラ２３，２４によつて、３次元物体３の
表面上に形成されるグリツド・パターン像を撮像
すると、撮像面２５，２６上には、第５図に示す
ような入力画像が得られる。

投射されるグリツド・パターンには、仮想的ス
クリーン２７に示すように、G₁〜G₄の４つの格
子点があり、物体３の表面上では、それぞれg₁〜
g₄の格子点像を形成する。g₁〜g₄の格子点像は、
第１のカメラの入力画像中では格子点像Q₁〜Q₄、
一方第２のカメラの入力画像中では格子点像R₁
〜R₄にそれぞれ対応している。

本発明では、以下に示すように原理によつて、
格子点G₁〜G₄と、入力画像中の格子点像Q₁〜
Q₄、R₁〜R₄の対応関係を求めるものであり、Q₁
〜Q₄とR₁〜R₄の間の対応関係がわかれば、カメ
ラ・パラメータ等から物体３の表面上の格子点像
g₁〜g₄の３次元的位置を求める事ができる。

以下に、グリツド・パターン中から任意に１つ
の格子点を選びこれについて入力画像中の対応点
を求める操作を説明する。あらかじめ、グリツ
ド・パターン像を計測してある仮想的スクリーン
２７上において、１つの格子点G₁を選択する。
光源点Ｓ２１から照射され格子点G₁を通る光線
２８は一意的に決定され、しかもＳとG₁の位置
が共に既知であるため、計算によつて求めること
ができる。一方光線２８の照射によつて物体３の
表面上にできる格子点像g₁の位置は、物体３の位
置・形状に応じて変化する。

まず、光線２８の光路を、第１のカメラの撮像
面２５に投影した第１の投影線L₁を求める。L₁
は、光源点Ｓと、格子点G₁および、第１のカメ
ラの焦点F₁の３点を含む平面P₁と、第１のカメ
ラの撮像面２５とが交わつてできる直線に赤当
し、Ｓ，G₁，F₁および撮像面２５の位置が、カ
メラ・パラメータ、光源パラメータなどによつて
既知であるため、計算によつて求めることができ
る。

同様にして、光線２８の光路を第２のカメラの
撮像面２６に投影した第２の投影線L₂も求める。

物体３の表面上にできる格子点像g₁は、光線２
８の光路上にあるため、当然、第１のカメラの撮
像面２５上の入力画像中では、先に求めた第１の
投影線L₁上に存在するはずである。そこで、撮
像面２５の入力画像パターンを、第１の投影線
L₁に沿つて調べてゆき、格子点像があれば、そ
れをG₁に対応する入力画像中の格子点像の候補
とする。通常は、投影線L₁上に１つの格子点像
Q₁が検出される。g₁が、第１のカメラからは見
えない位置（死角など）に存在する場合には投影
線L₁上には、格子点像が１つも存在しないこと
になり、第１のカメラによる入力画像中には、格
子点G₁から照射される光線２８によつてできる
格子点の画像は存在しないと判断する。逆に、投
影線L₁上に２つ以上の格子点像が検出される場
合もある。これは、光源点Ｓと格子点G₁および
第１のカメラの焦点F₁を含む平面P₁上に、２つ
以上の格子点像が偶然存在する場合である。第５
図には、このような場合の入力画像の例を示して
いる。物体３の表面上に形成される格子点像のう
ちg₁とg₄が共に先の平面P₁上に存在するため、第
１のカメラ２３の入力画像中では、投影線L₁上
に２つの格子点画像Q₁，Q₄が検出され、候補が
２つになる。

２つの候補のうち、正しい候補点を検出するた
め撮像面２６上の入力画像によつて検証を行な
う。

第１のカメラの撮像面２５上で検出された候補
点Q₁と、第１のカメラの焦点F₁、および第２の
カメラの焦点F₂を含む平面P₃を求め、平面P₃と
第２のカメラの撮像面２６の交線である第３の投
影線L₃−１を求める。第３の投影線L₃−１は、
第１のカメラの焦点F₁から候倣点Q₁を通り、物
体３の表面上に形成された格子点像に至る視線２
９を第２の格子点の撮像面２６上に投影したもの
である。従つて、その視線上にあつて、格子点像
Q₁に対応する点g₁は、第２ののカメラの入力画
像中にあつては、第３の投影線L₃−１の上に線
を結んでいるはずである。別の候補点Q₄につい
ても同じようにして第３の投影線L₃−２を求め
る。当然格子点像Q₄に対応する物体３の表面上
の格子点像g₄は、第２のカメラの入力画像中にあ
つては、賃３の投影線L₃−２の上に像を結んで
いるはずである。

以上のようにして、撮像面２６上には、３本の
投影線L₂，L₃−１，L₃−２が求められるわけで
ある。いま、第１のカメラの入力画像中から抽出
された候補点Q₁が、格子点G₁に対応する正しい
候補点であるならば、第２のカメラの入力画像中
において、Q₁に対応する格子点像が存在し、そ
れは、第２の投影線の上にあつて、かつQ₁から
求めた第３の投影線L₃−１の上にもあるはずで
ある。すなわち、Q₁に対応する格子点像は、２
つの投影線L₂とL₃−１の交点上になくてはなら
ない。第２のカメラの入力画像中においては、
L₂と、L₃−１の交点付近に格子点像の候補点R₁
が存在するのでQ₁とR₁が、G₁に相当する対応点
のペアであるとみなすことができる。

一方、Q₄については、２つの投影線L₂とL₃−
２の交点付近に格子点像が存在しないため、偽の
対応点候補として却下することができる。これ
は、Q₄に対応する格子点像g₄が、光源点Ｓと格
子点G₁および第２の格子点の焦点F₂を含む平面
P₂の上には存在しないためである。また、逆に
平面P₂上に別の格子点像、たとえばg₃が存在する
場合もあり得る。この時には第２の投影線L₂上
に、g₃に対応する格子点像R₃が存在することに
なるが、R₃はQ₁，Q₄から求めた第３の投影線L₃
−１，L₃−２のいずれの上にものつていないた
め、やはり偽の対応点候補として却下することが
できる。当然、格子点G₁に相当する格子点像g₁
が第２のカメラから見えない位置にあれば、正し
い対応点候補R₁は検出できず、第２のカメラに
よる入力画像中には、格子点G₁から照射された
光線２８によつてできる格子点像g₁の対応点画像
は存在しないものと判断する。

上記の検証方法により、偽の対応点候補があつ
た場合にも、これを却下でき、格子点G₁に相当
する入力画像中の対応点のペアQ₁とR₁を正しく
検出することができる。

以上に説明してきたような操作を、仮想的スク
リーン２７上の別の格子点G₂〜G₄についても順
次くり返すことによつて、全グリツド・パターン
中のすべての格子点について、入力画像中の対応
点のペアを求めることができる。

まれには、１つの格子点G_iに相当する入力画像
中の対応点のペアが２組以上検出される可能性も
ある。これは、物体３の表面上に生成されたグリ
ツド・パターン像と、カメラの撮像角度による偶
然の一致、あるいはカメラ・パラメータ、光源パ
ラメータの測定誤差や、入力画像中の候補点抽出
時の位置検出誤差が原因である。ほとんどの場合
は、１組が正しい対応点ペアであり、他は却下で
きなかつた偽の対応点ペアである。この場合に
は、すべての検出された対応点ペアのデータをな
がめてみることによつて、大部分が解決できる。

すなわち、入力画像中の格子点像Q₁〜Q₄，R₁
〜R₄はそれぞれ最大１回、対応点ペアの一方と
して検出されるのが正しく、同じ点が２度以上対
応点として現われることはない。いま第１のカメ
ラによる入力画像中の格子点像Q_iが二度対応点と
して現われるていれば、そのうちの少なくとも一
方は必ず誤りである。Q_iを対応点とする格子点の
データを調べ、もしある格子点G_j（ｊ≠ｉ）に相
当する対応点のペアが２組以上検出されていて、
その中に対応点としてQ_iが含まれていれば、その
ペアか偽の対応点ペアである確率が非常に高くな
る。その対応点Q_iとペアを成す格子点像R_kが、
第２のカメラによる入力画像中でやはり２度以上
対応点として検出されていれば、Q_iとR_kの対応
点ペアは、格子点G_jに相当する偽の対応点ペア
であるとして却下することができ、格子点G_jに
ついても１組の対応点ペアが確定する。

以上に説明したような構成と原理によつて本発
明では、照射するグリツド・パターン中の格子点
G_iに相当する入力画像中の格子点像の対応点ペア
Q_i，R_iを検出する。Q_iとR_iの対応関係が求められ
れば、２台のカメラの設定条件（カメラ・パター
ン）等から、格子点G_iの物体３表面上への投影点
であるg_iの３次元的位置（絶対座標）を算出する
ことができる。実施例では、上記のようにして検
出されたグリツド・パターン中の各格子点に相当
する対応点ペアの情報を利用して、格子点以外の
グリツド・パターン全体についても入力画像中の
対応点ペアを検出してゆく。この操作は、本出願
人が概に提案している特願昭58−158358号明細書
および特願昭58−158359号明細書に記載した方法
等を適用することによつても実現することが可能
であるが、ここでは、本発明の方法を格子点以外
の部分についても適用してグリツド・パターン全
体について、物体表面上の投影位置を求めてゆ
く。

グリツド・パターン中の隣接する格子点、たと
えばG₁とG₂を結ぶ線分（格子線と称する）上の
任意の点（第５図中の点Ａ）について入力画像中
の対応点ペアを求める。手順は、格子点G₁の時
と同様であるが、この場合は格子点像ではなく投
影線上の格子線のパターンを検出していく。ただ
し、Ａ点が、格子点G₁とG₂を結ぶ格子線上の点
であることがあらかじめわかつているので、入力
画像中での探索範囲は、最初からG₁，G₂に相当
する対応点Q₁とQ₂、R₁とR₂を結ぶ格子線像の
上、あるいはQ₁とQ₂、R₁とR₂をそれぞれ対角線
の端点とする長方形の領域付近に限定することが
でき、処理時間も短縮され、また偽の対応点ペア
もほとんど発生しない。

次に、第６図を用いて、本実施例をフロー・チ
ヤートの形で説明する。

本実施例では、２つのカメラによる入力画像は
それぞれ画像メモリに格納され、画像メモリ内の
データをCPUがアクセスすることによつて計算
処理を行なう。

ここでは、カメラ・パラメータ、光源パラメー
タ、および第５図の仮想的スクリーン２７上にお
いて計測したグリツド・パターン上の各点の位置
（座標）および、カメラ座標系から絶対座標系へ
の変換マトリクスT₁，T₂などのデータは、既に
求めてあるものとして説明する。

また、以下の説明では、絶対座標系での座標を
（ｘ，ｙ，Ｚ）、第１、第２のカメラの撮像面上に
とつたカメラ座標系（X₁−Y₁−Z₁座標系、X₂−
Y₂−Z₂座標系）での座標をそれぞれ（Ｘ，Ｙ，
Ｚ）₁、（Ｘ，Ｙ，Ｚ）₂と表記する。

(1) グリツド・パターンの中から１つの格子点G_i
（x_Gi，y_Gi，Z_Gi）を選択する。

(2) 第１の投影線L₁のX₁−Y₁−Z₁座標系での式
を求める。

光源点Ｓ（x_s，y_s，Z_s）と格子点G_iを、変換
マトリクスT₁の逆行列T^-1 ₁によつてX₁−Y₁−
Z₁座標系Ｓ（X_s，Y_s，Z_s）₁、G_i（X_Gi，Y_Gi，Z_Gi）₁
に変換する。第１のカメラの焦点F₁（Ｏ，Ｏ，
l₁）₁と、Ｓ、G_iの３点の座標データから、この
３点を含む平面P₁の式（カメラ座標系）を求
める。第１のカメラの撮像面の式Ｚ＝０（カメ
ラ座標系）と、P₁の式を連立させれば、交線
L₁のカメラ座標系での式が得られる。

(3) 第２の投影線L₂のX₂−Y₂−Z₂座標系での式
を求める。

手順は、L₁の時と同様である。

(4) 第１の投影線L₁上の格子点像Q_j（ｊ＝１，２
……）を抽出する。

第１のカメラによる入力画像のデータを、投
影線L₁に沿つて、近傍の入力画像パターンを
調べてゆく。格子点像として特徴的な交点パタ
ーンが検出されれば、その交点パターンの座標
Q_j（X_Qj，Y_Qj，Ｏ）₁（ｊ＝１，２，……）を候補
点として抽出する。

(5) Q_jから第２のカメラへの投影線L₃−_j（ｊ＝
１，２，……）のX₂−Y₂−Z₂座標系での式を
求める。

Q_jとF₁の座標値を、T₁によつて絶対座標系
に変換し、さらにT₂の逆行列T^-1 ₂によつてX₂
−Y₂−Z₂座標系Q_j（X_Qj，Y_Qj，Z_Qj）₂、F₁（Z_F1，
Z_F1，Z_F1）₂に変換する。第２のカメラの焦点F₂
（Ｏ，Ｏ，l₂）₂と、Q_j，F₁の３点の座標データ
から、この３点を含む平面P₃の式（X₂−Y₂−
Z₂座標系）を求める。第２のカメラの撮像面の
式Ｚ＝０（X₂−Y₂−Z₂座標系）と、平面P₃の式
を連立させれば、交線L_3-jのカメラ座標系での
式が得られる。

(6) 第２の投影線L₂と第３の投影線L_3-j（ｊ＝１，
２，……）の交点上の格子点像R_k（ｋ＝１，２
……）を抽出する。

ステツプ(3)、(5)で求めた投影線L₂とL_3-jの式
を連立させて交点の座標を求め、交点近傍の入
力画像パターンに、格子点像として特徴的な交
点パターンが検出されれば、その交点パターン
の座標R_k（X_Rk，Y_Rk，Ｏ）₂（ｋ＝１，２，……）
を、Q_jに対する対応点として抽出し、Q_jとR_k
を、格子点G_iに相当する対応点ペアとして登録
する。２組以上の対応点ペア（ｋ≧２）が検出
された場合にも、それらのすべてを登録する。

(7) グリツド・パターン中から次の格子点G_i+1を
選択し、すべての格子点についてステツプ(2)〜
(6)をくり返す。

(8) すべての対応点ペアのデータを分析し、偽の
対応点ペアがあれば却下する。

対応点ペアとして登録された格子点像Q_jあ
るいはR_kのデータ集合の中で、同じ格子点像
が２度以上登録されていれば、その格子点像に
該当する格子点G₁，G_n，……のすべての対応
点ペアを分析し、偽の対応点ペアと判断できる
ものを却下する。

(9) 隣接する２つの格子点G_i，G_i+1を結ぶ格子線
上から任意の１点Ａを選択する。

(10) 点Ａに相当する入力画像中の対応点ペアＢ，
Ｃを求める。

(11) 次の任意のＡ点についてステツプ(9)〜(10)をく
り返す。

(12) 他のすべての、格子線上の各点についてもス
テップ(9)〜(11)の操作をくり返して入力画像中の
対応点ペアを求める。

(13) 上記の操作で求めた対応点ペアに該当する
物体３の表面上の各点の位置（絶対座標）を求
める。

第１、第２のカメラによる入力画像中の点Q_j
とR_kが対応点ペアであるとすれば、点Q_jと第１
のカメラの焦点F₁を結ぶ直線と、点R_kと第２の
カメラの焦点F₂を結ぶ直線の交点を絶対座標で
求めることにより、物体３の表面上の投影点の位
置を知ることができる。

なお、パターン光源も等価的にカメラと同様の
扱いができるので、第１のカメラの入力画像中の
格子点像G_jとし、第２のカメラの撮像面上でQ_i
を、仮想的スクリーン２７上でR_jを検出すると
いう構成方法をとることも可能である。

発明の効果 以上の説明で述べてきたように、本発明の物体
検出方法によれば、簡単な構成で従来の手法のみ
では困難であつた両眼立体視をした時の左右両画
面間の対応づけの問題を解決できると共に、３次
元物体表面上のグリツド・パターン像各点の３次
元的位置を直接求めることができる。対応づけの
問題が解決されたことにより、画像入力は１回で
すむようになり、大幅な画像入力、前処理時間の
短縮が実現できる。実際のデータ処理も簡単な計
算ですむため、本発明は実用的な３次元物体の検
出装置を提供するという意味で、産業的に非常に
大きな効果が期待できるものである。

【図面の簡単な説明】

第１図は従来の１本のスリツト光を用いた距離
測定方法を示す原理図、第２図は従来の複数本の
スリツト光を用いた物体検出方法を説明する原理
図、第３図はカメラ光学系と撮像面、入力画像の
関係を説明するための配置図、第４図は本発明の
一実施例における物体検出装置の画像入力部を示
す概念図、第５図は同実施例の構成と原理を説明
するための概念図、第６図Ａ，Ｂは同実施例の動
作を説明するフロー・チヤートである。 ２１……グリツド光源、２３，２４……第１、
第２の画像入力装置、２５，２６……第１、第２
の画像入力装置の撮像面、F₁，F₂……第１、第
２の画像入力装置の焦点、G₁〜G₄……グリツ
ド・パターン中の格子点、Q₁〜Q₄……第１の画
像入力装置の撮像面上の格子点像、R₁〜R₄……
第２の画像入力装置の撮像面上の格子点像、L₁
……第１の投影線、L₂……第２の投影線、L₃…
…第３の投影線。

Claims (1)

【特許請求の範囲】
1. １ 正方格子状のグリツド・パターンを生成する
   グリツド光源から、被検出物体に前記グリツド・
   パターンを照射し、前記被検出物体を互いに異な
   る２つの方向から第１および第２の画像入力装置
   によつて撮像し、前記第１の画像入力装置の撮像
   面上においては、前記グリツド光源の光源点Ｓ
   と、照射される前記グリツド・パターン中の任意
   の格子点Ｇと、前記第１の画像入力装置のレンズ
   系の焦点F₁の３点を含んで成る平面と、前記第
   １の画像入力装置の撮像面との交線である第１の
   投影線を求め、前記第２の画像入力装置の撮像面
   上においては、前記光源点Ｓと、前記格子点Ｇ
   と、前記第２の画像入力装置のレンズ系の焦点
   F₂の３点を含んでなる平面と、前記第２の画像
   入力装置の撮像面との交線である第２の投影線を
   求め、前記第１の画像入力装置の撮像面上におい
   て、入力画像中の格子点像のうち、前記第１の投
   影線の上に存在する格子点像Ｐを検出し、撮像面
   上における前記格子点像Ｐと、前記第１の画像入
   力装置のレンズ系の焦点F₁と、前記第２の画像
   入力装置のレンズ系の焦点F₂の３点を含んで成
   る平面と、前記第２の画像入力装置の撮像面との
   交線である第３の投影線を求め、前記第２の画像
   入力装置の撮像面上において、前記第２および第
   ３の投影線の交点近傍の入力画像パターンに格子
   点像P′が存在すれば、前記格子点像P′と、前記第
   １の画像入力装置の撮像面上の格子点像Ｐとを対
   応点候補とし、順次同様の操作によつて前記第１
   および第２の画像入力装置の入力画像パターン中
   の格子点像の対応関係を求めることによつて、前
   記被検出物体表面上の点の３次元的位置を検出す
   ることを特徴とする物体検出方法。