JPS59184973A - ロボツトの環境理解システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

（Ａ）　　発明の技術分野 本発明はロボットの環境理解システム、特に例えば人間
が遠隔操縦するような悪環境作業用ロボット等において
、センサアームに搭載された単眼カメラ等により、ロボ
ットの周囲に存在する物体などの環境を該ロボット自身
が認識し理解できるようにしたロボットの環境理解シ゛
ステムに四するものである。 （Ｂ）　　技術の背景と問題点 ロボットは、現在予め指定されたような手順で動作し、
物を製造するというような用途で、多く実用化されてい
る。例えば、宇宙作業、海底作ｅＪ１火災現場に卦ける
作業等の悪環境作業用ロボット等を考えた場合、ロボッ
ト自身がある程度環ｔｊ１　％−３］ｊ解し、行動を決
定できるような知能を有することが要請される。それに
は、まずロボットの周囲にある立体、移動物体等を正し
く認識し、把握できるようにしなければならない。 １疋来、物体の認識方式として、例えば３角測景の応用
によるものや、いわゆるハフ（Ｈｏｓｇｈ　）変ｉ功に
よるものが知られている。３角測量を応用するものは、
所足の間隔だけ離れた２個のカメラを持ち、２個のカメ
ラで捉えた像の視差により、３次元計測を行う。該方式
には、処理時間が長くかがシ、認識結果が不安定であり
、移動ロボット等に実用化するのは困難であるという問
題がある。 一方、ハフ変換は、入力画像についての直線あるいは線
分の抽出等において、確かさを濃縮させる手法として用
しられるものである。第１図はハフ変換の説明図を示す
。いわゆるハフ変換においては、第１図（イ）図示の如
き画像プレーン上の点（”ｌ＋’ｉ　）が、第１図（ロ
）図示の如きパラメータプレーンにおいて、 ρ＝　Ｅ４ｃｘｙｓθ＋ｙ＜ｓｉｎθ で表わされる正弦波に変換される。ここで、第１図（イ
）図示の如き１直線上の各点に対応する正弦波を、パラ
メータプレーンにプロットすると、第１図（ロ）図示の
如く、２点（ρが正のものだけ考えれば１点）で交わる
。これにより、ハフ変換を用−て、直線あるいは線分の
抽出、途切れ、歪みのある線分の再生、点状移動物体の
検出、交点の再生がｉ」能になる。しかし、自然界に最
も多く存在する子行線（無限遠に交点がある）の検出は
不可能’ｔ　、また処理時間が大きく、３次元計測に不
向きであるという問題がある。 なお、ロボットの眼として用いらカーるカメラは、辿常
のテレビカメラと同様なものが用いられているため、入
射角が小さいほど角度分解能が低く、不均質であって、
視野が小さいという問題があった。 （Ｃ１発明の目的と構成 本発明は上記問題点の解決を図り、例えば単眼カメラに
よって、外部物体の形状等を正しく捉えることができる
ようにすることを目的としている。そのため本発明のロ
ボット環境理解システムは、光学的手段によシ周囲に存
在する物体の３次元情報を抽出し環境を理解するロボッ
トの環境理解システムにおいて、球面投影によ）外部物
体の１′４！を捕捉する画像入力手段と、該画像入力手
段によって角度情報として捕捉した像について、投影球
面上において点を直線に、また直線をその直線に含まれ
る点に対応する直線群によって定まる点に球面上で双対
写像を行い、該写像された点の有無を検出して、外部物
体の構成線分を抽出する球面写像処理部とを少なくとも
そなえ、球面写像による３次元計測を行うようにしたこ
とを特徴としている。以下図面を参照しつつ実施例に従
って説明する。 （Ｄ）　　発明の実施例 第２図は本発明に関連したロボットの全体システム構成
例を示す。 ロボットの全体システムは１例えば第２図図示の茹り、
ロボットの環境を理解する環境胛解システム１と、ロボ
ットへの概略指示による環境把握・探索または概略指示
による移動・作業等のオペレータによる支援またはオペ
レータへの支援のためのオペレータ支援システム２と、
ロボットＫｌ”際に動作させるアーム移動機構３等から
なる。 環境理解システム１に赴いては、球面カメラ４で捉えた
画像情報をもとに、まず輪郭抽出プロセッサ５が外部物
体についての輪郭の強調、領域の分割、色による物体の
分離などを行い、球面写像プロセッサ６が、球面写像を
行うことによって、線分抽出、途切れ再生、交点再生等
の確かさを礫縮させ、移動情報を含めて３次元情報を抽
出する。 具体的には、例えば外部物体の面／稜の方向計測、＃動
物体の方向・速度・トラッキングの検知、無限遠点をと
らえた全体構造の抽出、奥行計測、複合物体の分離等を
行う。 このような３次元情報の計測結果は、動的な自己の位置
および自己の周囲状況を実時間で把握する状況騨解部７
と、立体認識部８とに伝達さり、る。 立体認識部８は、各種要素物体の情報を、その位相的特
徴にもとづいた類似度により、階層的に格納した要素物
体モデルデータベースを有してｉ−Ｂ、類似度認識プロ
セッサにより、適度の詳細度でもって上記モデルデータ
ベースを検索し、外部の要素物体を立体認識する。環境
解釈部９は、環境モデルを階層的に格納した環境モデル
データベースを何しており、環境解釈プロ、セッサによ
って、立体＠ｇ　、ｊｊψ部８で認識された要素物体を
、環境モデルデータベースのモデルと対比して複合関係
、配置関係を解釈し、環境を理解する。 オペレータ支援システム２内にあるテレイブジスタンス
部１０は、環境理解システム１の解釈した物体を、隠線
および隠面も含めて、球面スクリーン１１に立体表示す
る。また、再生立体およびオペレータ指示部位を、違和
感なく原画像に実時間でオーバレイス名。オペレータイ
ンク・フェース部１２は、指示計測プロセッサと行動決
定プロセッサとを有している。指示計測プロセッサは、
オペレータの非拘束の手・頭・体等の計測機構を有し、
才だ音声認識、応答を行い、指令を解釈するものである
。行動決定プロセッサは、自律的にあるいはオペレータ
指示によシ、カメラ、アーム、移動等の制御を行うもの
である。特に、球面カメラ４に対しては、視角および視
野移動のための制御信号を与える。 本発明は上記構成の中でも、特に、環境理解システム１
における球面カメラ４、輸郭抽出プロセッサ５および球
面写像プロセッサ６に関連している。寸ず、球面カメラ
４の機構について説明する。 第３図ないし第５図は球面カメラについての説明図、第
６図は本発明に係る画像入力部の一実励例’ｒ４成、第
７図は第６図図示実施例を説明するだめの図、似８図は
等距離射影レンズの特性蒲明図な示す。 本発明に用いられるカメラは、光軸からの弧距蛸ｔが光
の入射角に比例した位置に結像するような１メンズ、す
なわち等距離射影レンズと、２次元的な位置分解能が均
質な受光素子とをそなえている。 ゴたは、等距離射影レンズの代わりに、通常のレンズと
、２次元的な位置分解能が均質な平面受光素子と、？ｌ
’、を予約座標変換部と、をそなえ、上記等距離射影レ
ンズによって受光した場合と実質的に同様になるよう、
入力画像情報についての座標の変換を行うようにしても
よい。 上記球面カメラは、仮想的には、第３図に図示１、＆如
く・、ピンホール２０と球面受光素子２１とによって構
成されるカメラと同等であると考えてよい。現実的には
、ピンホール２０では、光量不足や像のぼけの問題があ
るため、ピンホール２０は、レンズ系で置き換えられる
。さらに、球面状の受光素子２１は製作が困難であるの
で、平面受光素子を用いることになる。そのため、第４
図に示すように、理想的な球面２２と平面受光素子２３
との間に違いが生ずる。なお、図中符号２４は、レンズ
または複数枚の組合せレンズによるレンズ系を表わして
いる。 例えば、　ＭＯＳやＣＯＤなどの平面受光素子は、通常
受光セルが縦・横力間に等間隔に並んでおり、分解能は
受光位置によらず一定である。、また、いわゆるビジコ
ン等の連続平面受光素子も２次元的な位イｌツ分解能が
均質である。そこで、レンズオたはレンズ系２４によっ
て、第４図に図示したような理想球面２２と平面受光素
子２３とのずれｆｋ４叉り除く必要がある。 例えば第５図図示の如く、レンズ２４の中心から焦点距
離ｆのところにある受光面に結像する像の誦さをＷとす
る。レンズの光軸に対する入Ｓｔ光の角度をψとすると
、通常のレンズでは、ｙ　＝　ｆｔａ１１ψ　°゛°゛
゛゛■の関係がある。しかし、第３図のようなピンホー
ル・カメラの球面受光素子２１と同等の像を、第４１２
！１図示平面受光素子２３に結像させるためには、ｙが
ψに比例するような射影方式、すなわぢ、ｖ＝ｆψ　・
°・・−・・・・■ となるレンズを用いることになる。このようなレンズは
、魚眼レンズの一種であり、いわゆる等距離射影レンズ
として、知らｈている。 な訃、上記のような特別な射影方式のレンズを便わなく
ても、通常のレンズやその他の射影方式のレンズで、以
下のように球面カメラ″ｆ構成できる。この球面カメラ
は、第６図図示の如く、受光素子２６と画像メモリ２７
と座標変換制御回路２８と演算回路２９とからなる。 受光素子２６からは、２次元画像を１次元的にＪＩＩ＋
１次走査した信号が出力される。図示省略しているが、
もちろん以降の処理をディジタル信号として扱うときに
は、受光素子２６の出力映像信号は、Ａ／Ｄ変換器によ
ってアナログ／ディジタル変換さｈている。この映像信
号を、一旦、画像メモリ２７に書き込む。座標変換制御
回路２８は、画像メモリ２７へのデータψ、き込み、読
み出し、および画像メモリ２７からの出力デー−夕の演
算を行なう演算回路２９を制御するものである。 例えば通常レンズを用いる場合、通常レンズで結像する
像１′は、第０式から、 ｙ’＝ｆｔａｎψ　・・・・・・　■ となる。これを変換して第０式の特性にしたいわけであ
るから、第０式を第０式に代入して、ｖ＝ｆψ ＝　　ｆＩａｎ　　　”（ｖ’／ｆ　　）　　　　　　
　・・　　・・　　・　・　　　■が得られる。すなわ
ち、座標変換制御回路２８および演算回路２９は、第０
式の座標変換を電子的に行う。 画像メモリ２７には、受光素子２６の受光セルと１対１
に対応する画像データが、第７図に白丸印で示す如く格
納される。これらは、レンズ特性が上記第０式と異なる
ため等角度間隔になっていない。等角度間隔に対応する
格子膚は、レンズ特性によって、例えば第７図に黒丸印
で示す如く決まる。な卦、レンズが通常レンズである場
合には、黒丸印の位置は、上記第０式によって定まる。 そこで、黒丸印の位置のデータを、近傍４個の白丸印か
ら、距離に応じた重み付は平均によって、内３１トする
ようにすればよい。または、白丸印の間隔が密のとき、
すなわち受光素子２６の分解能が十分イ１１１かいとき
には、近似的に黒丸印に最も近い白丸Ｆ：１」の飴を出
力として採用してもよい。 通常ｌノンズの角度分簿能と上記等距離射影レンズの角
１ｕ優チ解能とを図示すると、例えば第８図の如くにな
る。 西宮レンズの角度分解能は、第０式をψで微分すること
によシ、 七なる。一方、等距離射影レンズの角度分解能は、胆（
２式をψで微分することにより、 となる。第０式および第０式をプロットしたものが第８
図である。こり、かられかるように等距離射影レンズの
角度分解能は、入射角ψによらずに一定であるのに対し
、通常レンズでは、入射角ψが小さ込はど、角度分解能
が低い。 すなわち、等距離射影レンズまたはそれと同等な変換を
行う機構を用いた球面カメラは、角度分解能が入射角に
よらず均質であるという特徴と、視野が太きいという特
徴を有している。従って、この球面カメラをロボットの
視覚に適用した場合に、角贋分解能の均質性から、正確
な３次元計ｆｉｌＪを行うことが可能となる。また、視
野が大きいことから広範囲な視覚情報を得ることができ
、例えば遠隔地にｂるオペレータに対しても、臨場感の
ある画像を呈示することができる。 上記球面カメラによって捉えた画像情報にもとづいて、
次のように球面写像による３次元計測が行われる。 まず、線分の球面上の投影を球面上の１点に写像するこ
とによ）、カメラと線分とを含む平面の法線ベクトルを
求め、同時線分を抽出する。また、途切りたｐ、歪んだ
線分の球面上の投影を写像し。 その分布のピークを求めて代辰点とし、逆写像により、
途切−７″１．＋歪みのない線分を再生する。さらに、
球面上の投影の変化情報ケ、球面上の１点に写像するこ
とによシ、ｍ線移動する点状物体の軌跡を抽出する。ま
た、複数の線分の球面上の投影を、そｉｌそれ球面上の
１点に写像し、次にこれらの写像点を再び写像すること
によって、元の線分の交点を再生する。また、ロボット
の眼すなわちカメラを動かしたときの交点の動きの有無
から平行線群を検出するとともに、知ｉｉｉ′ｉｌ！を
オｌ用しても平行線群を検出する。なお、ハフ（Ｈｏｓ
ｇｈ　）変換と変数変換とを組み合わせることによって
も、上記球面写像と同様の効果を得ることができる。以
下詳細に説明する。 第９図ないし第１１図は球面投影についての栃明図、第
１２図卦よび第１３図は球面写像の原理説明図、第１４
図Ｆｉ線分の抄出についての誼明図、第１５図会よび第
１６図は線分の再生についての翳明図、第１７図は移動
物体の検出についての説明図、第１８図は交点の再生に
ついての説明図、第１９図は平行線の検出についての説
明図、第４０図は本発明に係る一笑施例構成ブロック図
、第２１図は球面投影画像メモリと写像メモリとの関係
を説明するだめの図、第２２図は緯度および経度アドレ
スのＭｅ明図、第２３図はハフ変換の応用についての説
明図を示す。 例えばＭ９図図示の如く、平面投影が外部の立体３１を
平面３２上に投影するのに対し、球面投影の場合には、
立体３１を球面３３に投影する。−ｌイ辿のレンズを持
ったカメラによって、立体３１を写した場合、平面投影
のようになるが、先に述べたような球面カメラを用いた
場合、球面３３への球面投影となる。なお、この場合カ
メラは球面３３の球の中心に位置していると考えてよい
。なお、以下の説明では、球面３３による球の半径は１
、すなわち単位法に投影するものとして費明する。 第１０図図示の如く、ユークリッド平面３５土の直線を
球面３３上に投影した場合、球面３３上にお込ては大円
３７となる。大円３７ばすなわち球面上における直線と
定義してよい。同様に平面−＄−５上の点は、球面３３
上の極に対応し、こｈ２は応と定義きれる。この球面投
影によシ、いわゆるユークリッド幾何に代えて、球面幾
何、特にリーマンの楕円的非ユークリッド幾何が適用さ
れることになる。 この球面投影によれば、第１１図（イ）図示の如く、ｊ
−クリッド平面３５において交わらない平行線３８が、
球面３３上に卦ける交点３９で有限の範囲で父ノ・）る
。もちろん、第１１図（ロ）図示の如く、平面３５土で
交差する直線４ｏは、球面３３土に卦いても交わる。以
上のような性質によシ、球面投影によれＶ、１、平行線
の無限遠点での交点を紐度・経度で計測できることとな
る。この平行線の無限遠交点が８１面できると（八う性
質は、以下に説明する球面写像による３次元計測のポイ
ントになる。 本兄明の場合、球面カメラによって捕捉された１ｉｎｉ
像データを直接計測データとして用いるだけではなく、
゛以下

【説明するように球面上における双文・１写像、
すなわち球面写像にょ勺データを変換して処理するよう
にされる。 第１２図は球面写像により点を直＃（球面上では大円）
に対応させる例を示してしる。第１２図（イ）図示の如
く、３次元空間内の点ＰＩ′ｉ、球面投影によシ球面３
３上の涜Ｐ′に投影される。廣Ｐ′はさらに球面写像に
よシ大円である直線ｌに写像さり、る。なお、ロボット
の眠であるカメラは、原点Ｏに位置している。直線ｌへ
の写像は、第１２図（ロ）図示の如く、点Ｐ′と原点Ｏ
とを結ぶ線分に垂直な平面−によって、球面３３を切っ
た切シロに対応するものとして与えられ、る。このよう
に、球面写像により、外部の点Ｐは球面３３上における
直線ｌに対応づけられることとなる。 第１３１２は球面写像により、直線を直線群によって定
丑る点に対応させる例を示している。３次元空間内の直
線りは、球面投影より、球面３３上の「線Ｌ′に投影さ
れる。直線り上の点Ｐ１．　Ｐ２．　ｐ３．・・は、直
線Ｌ′上の点ＰＩ’　、Ｐ２’　、Ｐ３’　、・・・に
それぞれ投影される。これらの各点ＰＩ’　、Ｐ２’　
、Ｐ３’　、・・・ハ゛、球面写像によシ大円群である
直線群Ａ？１．　ｌｌｚ、　ＩＪｓ　、・・に写１譲さ
れるが、これらの大円は原点０について対称ｆｔ　２　
Ａ　（対心点）で交わる。この２点を１点と考メ１、片
方で代表させて、写像の意味で以後Ｓ点と１１７ぶ。す
なわち、直ａ！Ｌの情報が、球面写像によって、１点Ｓ
ＩＣ濃縮されたことになる。なお、上官ｉ、’＋　Ｐｉ
、　Ｐ２．　Ｐ３．・・・Ｐ１’　、Ｐ２’　、Ｐｓ’
　、・・およびＴｏ、１２゜７３、・・・は、概念とし
ては連続であるが、現実的には受元累子や画像メモリの
構成に依存した離散的な位置に対応するものとなる。 原産０から点Ｓに至るベクトルを９で表わすと、９はＷ
ＭＬと原点Ｏとを含む平面の法線ベクトルとなる。本方
式により′８は計測可能であシ、この９は３次元的情報
を含んでいるため、例えばハフ変換や最小２乗法による
他の線分検出法にはない大きな特長となっている。 第１４図は上記球面写像にもとづく線分の抽出を断明す
るだめの図である。第１４図図示の如く、球面写像によ
ｈば、外部の線分りを投影した線分ＩＬ’が８点に写像
されることになる。第１４図中の矢印は、大円の一部で
ある勝分Ｌ′から８点への写像勿意味している。従って
、線分の有無を写像球面における８点の有無により検出
すれば、旨いＳＮ比で線分を抽出することができる。 第１５図および第１６図は、途切りたシ歪んだシしてい
る線分を再生する例を説明するための図である。カメラ
によって捉えた像は、ノイズによシ歪んだシ、また背景
との関係で一部がぼやけてしまうことがある。以下のよ
うに球面軍隊によっＣ１情報の濃縮を行い、途切れや歪
みのある線分を再生する。もし、入力した像が外部の直
線の一部である線分を投影したものであれば、多少の途
切刃や歪みがあっても１例えば第１５図図示の如く、こ
れらの球面写像は、真のＳ点付近に集まってくることに
なる。すなわち、線分上の各点に対する大円が、Ｓ点付
近を通る。従って、その大円が最も集まったピークの位
置を８点とみなし、第１６図図示の如く、点から線への
逆写像を行えば、腓分が再生されることとなる。なお、
第１６図においては、球面３３上の線分に対応する３次
元空間の線分が示されているが、この方向ベクトルが求
まるわけてはない。球面３３上においてのみ再生される
。この方向ベクトルは１例えば眼の移動や平行照明によ
って後述する如く求めることができる。 第１７図は移動物体の検出を説明するための図である。 例えば一定の時間間隔で投影像を画像メモリに蓄えてお
き、最新のものと一瞬前のものとの差をとる。こうすれ
ば像の変化が抽出できる。球面３３上の投影された像の
変化を抽出したならば、この変化点の写像を次々に累積
してゆく。いま、第１７図図示の如く、点状物体が直線
運動しているとすれば、Ｓ点付近に写像される累積信号
が増大する。そこでそのピーク位置を８点とみなし、第
１６図の場合と同様な逆写像を行う。これによって＃ｒ
　＋ｍ　３３上において、移動物体の軌跡を抽出するこ
とができる。なお、この方式により、複数の移動物体を
同時に検出することができる。また、物体が移動すれば
するほどピークが大きくなるため、８Ｎ比がよくなると
いう特徴をもっている。 線分の内生と同様に交点の再生も、第１８図を参照して
、以下に説明する如く可能である。第１８図図示の如く
、線分Ｐの８点をＳｐ、線分９０８点を８Ｑとする。ま
た、Ｓｐと８Ｑとを通る大円をｌとする。ｌを含む平面
の法線を原点０に立てると、球面３３上でＰ′〜′の交
点に交わる。この点を写像の゛・写像という意味でＳＳ
と呼ぶことにする。すなわち、各線分の８点をもう一度
写像することによって、交点ＳＳを再生することができ
る。各線分の情報が各８点に集積し、これら８点の情報
がＳＳ点に集積することから、元の線分のすべての構成
点がＳＳ点に集積していると考えることができる。従っ
て、高いＳＮ比による交点の再生が可能である。なお、
３本以上の線分が１点で交わる場合も同様である。 特別な場合として、線分が平行であるときの例を第１９
図に図示している。人工物の世界には、例えば窓のサツ
シ、本棚、ビル並というように、互いに平行となる線分
の数が多い。平行線は、一般的には無限遠点が交点であ
ると言うことができる。 このような無限遠点の交点は、通常の手段では求めるこ
とが困難である。しかし、本方式によれば、第１９図か
られかるように、第１８図の場合と同様に［・１面３３
上に交点ＳＳを求めることができる。しかも、互いに平
行な線分の数が多いほど、高いＳＮ１にで交点の内生が
可能である。な訃、交点ＳＳが実際の平行線か否かの判
定は、次のようにして行うことができる。 ロボットの眼であるカメラを平行移動させる。 無限遠点は一定であるため、平行線に対応するＳＳ点は
、眼を平行移動させても動くことはない。従って、眼を
平行移動させて、ＳＳ点が動かなければ、平行線である
と言える。逆に、眼の平行移動によって、ＳＳ点が動け
ば、平行線でないと判定できる。 Ｊ　Ｊｐ　、眼を動かす代わりに、２台のカメラを使っ
ても同様に判定できる。ＳＳ点が２台のカメラにおいて
同一ならば、平行線に対応している。 また、平行線の判定に、次のような知識を利用すること
もできる。例えば人工物の世界では直方体形状が多いた
め、１点で交わる稜の数は３以下の場合が多い。すなわ
ち、直方体の角などにおいて、４本の線分が交わること
はない。従って、４本以上の線分が１点で交わる場合に
は、平行と判定してほとんど誤ることはない。また、多
面体の頂点である稜の交点は、それらの稜をはさむ面に
接している。そこで、ＳＳ点がその対応する線分をはさ
む領域からある距離以上離れていないとき、それらの線
分は平行ではなく、１つの頂点で交わル稜であると判定
してよい。 本発明に係る一実施例構成を示す第２０図において、符
号４卦よび５は第２図に対応し、　　５０は球面投影画
像メモリに対する緯度および経度のアドレスを発生させ
る緯度・経度アドレス発生部、５】はアドレスエンコー
ダ、５２はデマルチプレクサ、５３および５４は球面投
影画像メモリ、５５はマルチプレクサ、５６は変化検出
器、５７および５８は写像メモリ、５９は線分について
の８点検出器、６０は移動物体についてのＳ点検出器、
６１および６２はアドレスエンコーダ、６３は写像の写
像データが格納される写像・写像メモリ、６４は交点を
示す８８点の検出器、６５は平行線判定部を表わす。な
お、出力信号０１ないし０５は、第２図図示状況理解部
７または立体認識部８に伝達される。 球面カメラ４で捉えた画像情報は、輪郭抽出プロセッサ
５に供給される。輪郭抽出プロセッサ５は、濃淡・色画
像を実時間で輪郭５８Ｉｉ調し、領域分割および輪郭抽
出を行う。なお、この技術は公知であるので、この程度
の説明にとどめる。輪郭抽出プロセッサ５の出力は、デ
マルチプレクサ５２にずれかに格納される。このとき格
納アドレスは、緯度・経度アドレス発生部５０によって
与えられる。 第１球面投影画像メモリ５３および第２球面投影画像メ
モリ５４には、それぞれ異なる時点における画像情報が
格納さ九ることになる。 球面投影画像メモリ５３または５４に輪郭の１点Ｊ点が
書き込まれると同時に、第２１図に示すごとく、各輪郭
点に対応する大円の情報が写像メモリ５７に畳き込まれ
る。写像メモリ５７のアドレスは、第２２図に示す如く
、球面３３上の１点を表わす経ＩＱａ卦よび緯度βによ
って与えらｈる。従って、輪郭の１点を写像した大円は
、（α、β）平面では正弦波になる。写像メモリ５７の
各セルは、例えばカウンタで構成されると考えてよく、
書き込まれるごとに・１つずつ値を加算する。 Ｓ点検出器５９は、写像メモリ５７の各セルをスキャン
することによシ、値のピーク包曾を求める。 そのピーク位置が第１４図および第１５図で説明したよ
うに、線分にりｂでの８点ということになる。 検出された線分情報は、出力信号０２として出力される
とともに、球面投影画像メモリ５３．５４にフィードバ
ックされる。すなわち、このフィードバックは第１６図
で説明した線分再生の処理に相当する。 マルチプレクサ５５は、デマルチプレクサ５２によって
現在選択して−るものと反対側の球面投影画像メモリ５
３または５４を選択し、読み出し情報を出力信号０１と
して立体認識部等に出力するとともに、変化検出器５６
に出力する。変化検出器５６は、現在の投影画像情報と
１時点前の同じ位置における投影画像情報との差を逐次
演算する。変化がなけり、ば１例えばＯが出力され、変
化があれば新しい変化点について１が出力される。この
出力６・才、アドレスエンコーダ５１の示す経度αおよ
び緯Ｍｔβ上の写像メモリ５８に書き込まれる。なお、
写像メモリ５８は、第２１図で説明した写像メモリ５７
と同様な構成となっている。 Ｓ点検出器６０は、写像メモリ５８の各セルをスキャン
することにより、第１７図で説明した原理によって移動
する物体の８点を検出する。検出結果（Ｉま、立体認識
部解へ出力されるとともに、アドレスエンコーダ６２を
経由して、球面投影画像メモリ５３．５４へフィードバ
ックさね、る。 ８点検出器５９によって検出された線分についてのＳ点
情報は、アドレスエンコーダ６ｊを経由して、写像・写
像メモリ６３へ書き込゛まり、る。写像・写像メモリ６
３は、写像メモリ５７．５８と同様な構成をもつメモリ
である。ＳＳ点検出器６４は、第１８図および第１９図
で説明したＳＳ点を、写像・写像メモリ６３から検出し
、線分の交膚（平行線を含む）を抽出する。平行線判定
部６５は、眼の移動または知識の利用によって、上述し
た如＜、ＳＳ点が平行線に対応するかどうかを判定する
機構である。ＳＳ点検出器６４および平行線判定部６５
の出力は、立体認識部等へ伝達され、また球面投影画像
メモリ５３゜５４ヘフイードバツクされる。 なお、第１図で説明したハフ変換と、変数変換とを組合
わせることによシ、上記球面写像と同様の効果を得るこ
とができる。上記ハフ変換の式において、ρの代わシに
ｔａｎβと置く。θをａと書けば、 抽β＝ｘ６ｃＱｓａ＋１６　ｓｉｎβ となる。ｔａｎβとαのパラメータプレーンは、第２３
図図示の如く、円柱の側面と考えることができ、画像プ
レーンの点は、円柱を斜めに切った切カ口の楕円となる
。また画像プレーンの直線はこれらの楕円の交点になる
。これは楕円写像と言うことができる。さらにαとβと
のパラメータプレーンを考えると、第２２図と全く同じ
になシ、これは球面写像である。従って、平行線の検出
や上記ベクトルもの計測が可能となる。 すなわち、球面カメラや球面写像を用い々いでも、ハフ
変換と、ρ−−βの変数変換によシ、球面写像と同様の
効果を得ることができる。ただ−辿常のカメラを用いて
ρ−１ａｎβの変数変換を行うと、通常分解能は均質で
はない。 」二記球面カメラおよび球面写像による認識の方式に′
）ＪＯえて、さらに以下に説明するように、平行スリッ
ト光による平行照明を利用して３次元計測を行うことが
できる。すなわち、対象物体に平行スリット光を投影す
ることによシ、単眼で稜および面の方向を３次元計測す
る。照射した平行スリット光の抽出には、平行スリット
光を回転させたとき、球面写像におけるスリット像の写
像の写像の写像（以下ＳＳＳ点という）が、不変である
という性質を利用することができる、。また、平行スリ
ット光の間隔を利用して対象物体までの距離を計測する
ことができる。なお、スリット光間隔が可変であるよう
にした平行スリット光発生機構を後に説明する。 第２４図は平行スリット光利用による３次元計測の概念
説明図、第２５図ないし第２７図は平行スリット光利用
による３次元計測の原理を説明するための図、第２８図
は３次元計測の処理についての説明図、第２９図ないし
第３１図は距離計測についての原理を説明するだめの図
、第３２図は、本発明に関連した一実施例構成ブロック
図、第３３肉は従来の平行スリット光発生方式の例、第
３４図ないし第３８図はスリット光間隔を可変にした平
行スリット元発生機構の説明図を示す。 従来、一般に３次元計測を行う場合には、例えばカメラ
を２台使用したステレオ方式によｐ１三角測針をｍ−て
計測を行っている。以下に述べる方式によれば、第２４
図図示の如く、単眼の球面カメラ４により、３次元計測
を行うことができる。 第２４図において、符号７０は平行スリット光発生機構
、７１．７１’はＬＥＤレーザ、７２はミラー、７３は
平光スリット光、７４はミラー回転軸、７５は走奔軸を
表わす。平行スリット光発生機構７０は、ロボットに搭
載されていても、または他の場所に設置されていてもよ
い。ＬＥＤレーザ７１．７１’から出力されるレーザ光
は、ミラー７２によって反射され、平行スリット光７３
を生成する。ミラー７２は、ミラー回転軸７４によって
回転自在になってお）、丑だ疋畳軸７５によって、左右
に振れるようになっているので、平行スリット光７３を
任意の場所に照射し、また平行スリット光７３を回転さ
せることができるようになっている。この平行光スリッ
ト光７３が照射された物体からの反射光を、球面カメラ
４によって捉えることによって、以下に評明する如く、
物体の面の法線ベクトルｍや各稜の方向ベクトルんが求
められる。 以下の謄明では、ベクトルはすべて長さ１の単位ベクト
ルとする。第２５図および第２６図に示す如く、２本の
平行スリット光が平面にあたって生じた像７６の３次元
ベクトルをそれぞれの１．＠２とする。また、カメラの
位置を原点Ｏとする。球面写像によれば、第１３図を参
照して前述した如く、原点０とε１とを含む平面の法線
ベクトル９１卦よび原点Ｏと（＋１２とを含む平面の法
線ベクトル９２を求めることができる。 ベクトル９１とベクトル＠１とは、３次元空間で直交す
る。これをいわゆる直交ダイヤグラム表紀法で表わすと
、 ９１−ΦＩ となる。同様に、ベクトル１８２、ベクトルの２にっｂ
て、 （８２−Φ２ と表わされる。ところで、Φ１とＬＢ２とは平行である
から、３次元空１’、４Ｊにおいて同じベクトルであシ
、これをΦと書くと、 Ｑｌ−＠−％ｌ。 となる。なお、９１と８２とは同じベクトルではない。 一般に、２つの異なるベクトルと互いに！Ｗ交するベク
トルは、それらのベクトル精で表わすことができる。す
なわち、 Ｃ″′［′８１Ｘ９２コ／１９□Ｘ９□１となる。 第２７図は、第２６図に四元した平行スリット光を回転
させた場合を示している。先と同様に、Ｃ′＝口Ｊ’　
ｘ　９２コ／　ｌ　Ｌ　ｘ　ｅ□１となる。ここでΦ′
は、０と異なるベクトルとする。 ところで、平面の法線ベクトル界は、ΦにもＣ／にも化
いＫ　ｉＭ交する。すなわち、直交ダイヤグラムで表記
すると。 α−ｎ−Φ′ となる。したがって、 μｍ［３ｘ［相］′コ／１φ×ω′１ となり、これによって、平面の法線ベクトルμがｆｌ−
１明する。 また、稜の各ベクトルを／ｂｚ、　ｊｂ２．・・・とす
る。球面写像によｈば、上述した如く、それぞれの稜に
対する８点のベクトル’ｊｂｓ、　＠ｂ２．　　・、す
なわち原点Ｏと稜を含む平面の法綜ベクトルを求めるこ
とができる。各’８ｂｉは各ｈｉと直交する。すなわち
、’ｂｚ　　Ｉ’ｓ　、　　（’−１＋、２　ｌ山ンの
ｐυ係にある。 また、　Ｔｏｉは声とも直交する。そこで、ｅｂｉ　　
ｈｉ　　ｒｒＬ となシ、したがって、 Ｊｂｉ＝Ｅ９ｂｉＸｎ龜］／　ｌ　’Ｑｂｉ　ｘμＩ（
ｓ＝１．ｚ、・・・）となる。これにょシ、各校のベク
トルｌｂｉが判印Ｊする。詰２６図および第２７図は、
面が４辺形の場合の例を示しているが、一般の多角形の
場合についても同様である。 上記原理に基づいて、物体の面と稜とを求める処理を、
フローチャートの形で図示すると、第２８図の如くにな
る。図かられかるように、単眼のカメ２で３次元計測が
できる。 また、平行スリット光の間隔を使うことにょ九以下に述
べるように距離計測を行い、奥行きなどを調べることが
できる。第２９図に〉いて、αは平行スリット光７３の
間隔、Ｃは平行スリット７３ｆ含む平面の長さ１の法線
ベクトルを表わす。αおよび＠は、平行スリット光発生
機構の状態によ、す、既仰である。ｂは、ある稜につい
ての平行スリット光７３にはさまれた部分の長さく実距
離）を表わす。また、Ｌは第２８図の処理によシ計測し
たその稜の単位方向ベクトルとする。 第２９図かられかるように、ｂは、αＧとβとのベクト
ルの内積となる。すなわち、 ｂ＝（αＧ、ル）−〇（Φ、ｆｂ） と表わされる。 第３０図に示す如く、ロボットの眼であるカメラｌから
、ｂの部分の両端を見た単位方向ベクトルをそれぞれｃ
、ｄｌとする。ベクトルｂとＣとの交角を第３１図図示
の如くθ、とすわば ・・・θ。−Ｊπで１−１戸 ノーなる。同様に、ベクトル必と洸との交角をθｄと１
　ノｒ　ば ｓｉｕθｄ＝ＩＴＴ口藷、１１）ｚ となる。またベクトルＣと五との交角を１とする。 第３１図の△ＯＣＤ　において、正弦定理から七なる。 ベクトルルとの１および角度Ｔは、そり。 、−ｔ−ノー−カメラ４の撮像面における線分すの位置
と長；と力）ら計測できる。また、ｂは先に求めである
ズハら、こノ″Ｌらの式から、カメラ４がら部分すまで
の距離υまたは品を知ることができる。 球１１ｆ１カメラ４で捉えた像の中から、平行スリット
光を抽出し、他の線分と区別して認識する場合には、例
えは色の明確な平行スリット光を物体に照射するように
し、カメラ４に色フィルタを用いて平行スリット光の色
だけを抽出するか、または、カラーカメラを用いて、色
分離によｐ１スリット光を抽出すればよい。しかし、周
囲が明るい場合等、一般に物体表面の色が影脅するため
、スリット光のみを確実に抽出することは容易では々い
。 次のように球面写像の特長を活かして、平行スリット光
を確実に抽出することができる。いま、球面写像におい
て、平行スリット光の８８点を考える。スリット光の回
転によって、ＳＳ点は無限遠湘を移動するが、その軌跡
は、物体表面の平面上の無限遠にあシ、直線（球面上で
は大円）になる。 従って、ＳＳ点の軌跡の写像ＳＳＳ点は、１点であって
不動である。この性質を利用して、平行スリット光の抽
出を行う。すなわち、スリット光を回転させて、ＳＳＳ
Ｓ全点察し、それが１点で動かないものを抽出すればよ
い。 第３２図は上記方式の一実施例ブロック図である。 第３２図において、符号４　、５　、５０ないし６５は
第２０図に対応している。これらについては、第２０図
と同様であるので、ここでの説、明は省略する。 ｆＱ１８０はアドレスエンコーダ、８１は写像・写像・
写像メモリ、８２はＳＳＳ点検出器、８３は平行スリッ
ト光判定部、８４はアドレスエンコーダ、８５バ一致ア
ドレス選択部、８６はアドレスエンコーダ８７は一致ア
ドレス選択部を表わす。 ＳＳ点検出器６４で検出さり、だ２本以上の直線の交点
？表わすＳＳＡ情報は、アドレスエンコータ８０に入力
式ｉ７る。もちろん、この８８Ａ、には前述した如く、
平行線の交点も含まれる。写像・写像・写像メモ１Ｊ８
１は、写像メモリ５７．５８等と同様に構成されており
、アドレスエンコーダ８０の出力によって、ＳＳ点の写
像の情報が１．き込まれる。ＳＳＳ点検出器８２は、写
像・写像・写像メモリ８■を走査して、上記ＳＳＳ点を
検出する。平行スリット光判定部８３は、平行スリット
光を回転させてもＳＳＳ点が動かないかどうかを判定し
、不動であるＳＳＳ点を平行スリット光によるものと認
識する。この認識結果は、アドレスエンコーダ８４によ
るＳＳ点への逆変換アドレス情報とともに一致アドレス
選択部８５に供給さ吐る。一致アドレス選択部８５は、
このアドレスをＳＳ点検出器６４の出力アドレス情報と
比較し、一致するものを選択する。すなわち、平行スリ
ット光の抜き出しが、ここで行われることになる。抽出
された情報は、アドレスエンコーダ８６を経て、一致ア
ドレス選択部８７へ送出される。 一致アドレス選択部８７は、ＳＡ検出器５９の出力との
マツチングをとることによシ、平行スリット光のＳベク
トルを求め、立体認識部等へ結果を出力する。 以上説明したように、該方式によれば、単眼でもって３
次元計測を行うことができる。また、スリット光源はど
こにあってもよく、スリット光源の位置、方向に無関係
に計測可能である。従って、環境に最も適したスリット
光を利用することができる。さらに、スリット光の間隔
およびスリット光源の方向が既知であれば、入力画像の
スリット光間隔から距離についても計測できる。 平行スリット光の発生機構として、従来、例えば第３３
図（イ）、（ロ）図示の如く、スリット９２を用いる方
式が知られている。第３３図（イ）の場合、点光源９０
から出射される光をレンズ９１で平行にし、スリット９
２を通過させる。第３３図（ロ）の場合には、同様に棒
状光源９３の出射光を円柱レンズ９４ヲ経由させた後に
、スリット９２全通す。しかし、これらの方式には、ス
リット間隔が固定であシ、スリット間隔を広げるには、
大口径レンズ、幅広レンズ等を必要とするという欠点が
ある。 対象物体が小さい場合には、平行スリット光のｒＩ４Ｊ
隔を狭くする必要があるときがあり、また遠くのものを
見るときなどは、広いほうがよい。従って、スリット光
の間隔を自由に変えることができるようにすることが望
まれる。 」−記のほかに、レーザ光を円柱鏡に反射させてスリッ
ト光を作る方式があシ、また、２本の平行スリット光を
得るために、１本のスリット光を移動させて多重露光す
る方式がある。この方式によｈば、移動距離を変えるこ
とにより、任意の間隔の平行スリット光が得られるが、
画像の入力時間が長くかかるという欠点がある。 上記欠点は、例えば第３４図図示の如く、光源としてＬ
ＥＤレーザ７１．７１’などを２個用い、対象物の大き
さ、距離に応じて、間隔αを可変にすることにより、解
決される。 １だ、ビームスプリッタを利用することによシ、１台の
レーザを光源として用いて、２本の平行スリット光を得
ることができる。第３５図はその発生機構の例を示し、
第３６図ないし第３８図は第３５図図示機構を上から見
た図全示している。 ＬＥＤレーザ７１から射出されたレーザ光は、ビームス
プリッタ９５によシ、図示の如く分離される。 一方のレーザ光はミラー７２−２．７２−１．７２−４
によって反射され、他方はミラー７２−３．７２−４．
によって反射される。第３６図かられかるように、ミラ
ー７２−２とミラー７２−３のどちらか一方、または両
方を、矢印の如く移動させることによって、平行スリッ
ト光の間隔を可変にすることができる。 または、第３７図に示すように、ミラー７２−１を太キ
くシておき、ミラー７２−２を矢印のように移動させて
もよい。さらにまた、例えば第３８図に示す如く、大形
ミラーＪ２−１と小形ミラー７２−２とを平行に配置し
、両者を平行に保った甘ま、ミラー７２−２を中心に矢
印のように回転させてもよい。 Ｙ行スリット光を利用するのではなく、動きをλ１１川
することによって、以下に説明する如く、単眼による３
次元計測を行うこともできる。ロボットの眼であるカメ
ラを直線移動させて、球面写像の交点（ＳＳ点）から、
直線あるいは線分の方向ベクトルを計測する。まだ、眼
（カメラ）を直線移動させるとき、対象物体が移動する
角速度を利用（−て１．［ｌＩｄと対象物体との距離全
計測する。また、面線あるいは線分が移動するとき、移
動のし方を１自線移動と仮定することによって、そのｌ
ＩＷ線または線分の方向ベクトルを計測する。さらにま
た、線分が移動するとき、移動のし方を直線移動と仮定
することによって、その移動方向ベクトルを計測する。 長さが既知の線分が移動するとき、移動のし方を直線移
動と仮定し、移動の速さを計測することかできる。また
、部屋・ルＢ下等の構造線を利用することによって、全
体構造の計測および自己位置の計測が可能である。 第３９図は直線の方向ベクトル計測についての説明図、
第４０ないし第４４図は眼の移動による英行き計測につ
いての説明図、第４５図は画線移動による央行き分離の
概念を説明するための図、第４６図は朦分の移動による
３次元計測の説明図、第４７図は長さが既知である線分
の移動の速さを計測する原理についての説明図、第４８
図は物体の直線移動による３次元計測の処理説明図、第
４９図ないし第５１図は構造線を利用した３次元計測の
説明図、第５２図は本発明に関連した一実施例構成ブロ
ック図を示す。 まず、第３９図を参照して、眼であるカメラを直線移動
させることによシ、または移動する物体を観測すること
によシ、直線または線分の方向ベクトルを計測する原理
について説明する。第３９図図示の如く、眼を直線移動
させると、１つの直線（線分を含む。以下同様。）の移
動前ベクトルＥ１と移動後ベクトル旧２とは、互いに平
行な対になる。 また直線が移動すると、移動前後の対Ｅ１とＥ２とが得
られるが、ここで移動が回転ではなくＭ＆！移動したと
仮定すれば、　ＩｈとＥ２とは同様に互いに平行な対に
なる。ｂずれの場合も、球面写像によシ直線の対の交点
（ＳＳ点）を求めると、原点からＳＳ虚へ至るベクトル
Φは、　　Ｅｌ、　Ｂ２と平行になる。 すなわち、 Ｅ１〒１ｌｉｉ２−ＬＩＩ ＝＝　（ｃｏｓ　（Ｚ　１１　ａｙｔβ９ＳＩｎａＩＩ
ａ）ｓβ−ＩＩβ）ただし、α：ＳＳ点の経度 β：ＳＳ点の緯度 これによシ、直線の方向ベクトルが得られることＶ（な
る。 １）１（すなわちカメラの移動によって次のように奥１
ｊきを計測することができる。眼を速さ■で方向旧にｎ
線移動させると、球面写像においては、物体が球面上を
角速度ωで回転する。第４０図は物体として直線を考え
た場合の図を示している。直線し）相対的にお方向へ−
Ｖの速さで移動する。直線の球面上への投影像は、ＳＳ
点を中心として角度ωで回転する。 例えば、物体のコーナ一点などの１点Ａまでの距離ｒを
求める場合を第４１図に図示する。原点Ｏにある眼から
点Ａを見る単位方向ベクトルを小とする。ベクトル旧と
Ｏとの交角をθとすれば・・・θ＝１「饗ＩＬｐ戸 となる。すると図かられかるように ω　　　　　　　　　　　　　ω となる。■と旧は既知であり、ｒａとωはカメラの撮像
面における点Ａの位置および動きの速さから計測可能で
あるから、上式によりｒを知ることができる。 観測対象が線分であるときに、その線分上の一点の位置
を示すベクトルｒを求める場合を第４２図に図示する。 原点Ｏから対象の線分を含む直線に下した垂線の長さを
ｒ、とする。この垂線とベクトルｒおよび旧とが成す角
度をそれぞれψ、θとする。線分（に対するＳベクトル
を９とすれば、Ｓ用θ−（旧　、９　） Ｌなる。そこで先と同様にして となる。すると図かられかるように ’＝（Ｑ”ｌ’）（ｅ＋ｒＪ［（＠ｘ９コ一とり］３，
９）、馳ψ・（ｓ＋［（ｉ＋ｘ＠ゴ）ω となる。ここでβと■は既知であり、ｅと６は既に述べ
た方法で計測できる。またωとψはそｈぞｈカメラ４の
撮像面における線分の移動の速さおよびその位置から求
められる。したがって上式によシ、ベクトルｒの大きさ
、すなわちカメラ給から線分までの距離を知ることがで
きる。 また、眼の移動方向旧が未知のときには、球面トの直線
の移動方向りを計測して １Ｂ　＝　−６ で求めることができる。すなわち、線分に着目した場合
、第４３図図示（２１，Φ２２に対するＳベクトルをそ
れぞれ＠ｚ１．９２２とすると、こｈらの関係を直交ダ
イヤグラム表記で表わした場合、となる。従って、 お＝−乃＝Ｅ＠２１Ｘ侶２２’］／ＩＶｊ□１×９□２
１となる。同様に２個以上のコーナ一点に着目した場合
、第４４図において、　　ａａ’、ｂｂ’のもベクトル
ζ。 ９ｂから、 １’＝　　”＝［’ａｘｔ”ｂ］／１Ｌｚｘｌｉ！ｂ１
によって、求めることができる。 例えば第４５図図示の如く、眼を移動させて物を見た場
合に、近くにあるものほど眼の前を素早く移動し、遠く
にあるものほど動きの変化が少ない。 従って、この性質を利用することにより、球面上の投影
像の角速度ωを観測し、その大小によって、物体の英行
き分離を行うことができる。 次に第４６図を参照して、眼の移動ではなく、線分の移
動による３次元計測について説明する。なお、線分は直
線移動していると仮定する。第４６図において、ト１１
は線分の移動前の方向ベクトル、）：１２は線分の移動
中の方向ベクトルｓ　１２１オよびＵ＞Ｚ２は線分の移
動方向ベクトル、Ｆｌは原点ＯがらＢｏｘ、　ｅｔ２の
８８　Ａ　ＳＳｔに至るｓｓＳベクトルｃ２は原点０か
らＢ２１．２２２の８Ｂ点８８２に至る８８ベクトルを
表わす。また、Ｅｌｌｌ　８１２．　Ｅｚｔ、　Ｂ２２
に対するＳベクトル（図示省略）を、それぞｈ幻□１，
８□２゜＠２１．９２２とする。これらの関係を直交ダ
イヤグラム表記で表わすと、 １ｔ（ｔｔ＝ｆｉｉｉｔｚ　　　　　　ト２１＝ｌ［１
ｉ２２１　　１　　　　　１　　１ となる。従って、線分の方向ｃ１は、 ｔｌ　＝旧１１２旧１２°［９ｔ　Ｉ　Ｘ９１２］　／
　ｌε１１Ｘ９１２１から求められ、またその移動方向
ｃ２は、σ２　″凹２！畦２２＝［’Ｌｔ×９２ｚコ／
ｌ　９２ｘｘ９ｚｚ　　Ｉから求められる。 長さが既知である線分の移動の速さは、次のようにし７
てＦｊｌ測することができる。第４７図において、既知
の線分の長さをｌとする。線分鼎が直線移動して時間を
後に、面になったとする。ここで、原点Ｏから点Ａ　、
　Ｂ　、　Ｃ、Ｉ）に至る方向ベクトルを、それぞれｅ
　＋　ｒｂ　＋　（Ｃ’　＋　ｄｌとする。旧Ｉｌ、　
ｒＢｘ２．４２１゜匹２２については、第４６図の場合
と同様である。 時間ｔの間における線分ＡＣの長さを求めｈは、移動の
速さが求まる。 線分の方向ベクトル１Ｂ１１．Ｂｉ２は、前述した方式
で計測する。球面投影によシ、方向ベクトルＣ９ｐ、ｖ
、ｄＬは計測できる。また、乙ＡＯＢ、　４　ＣＯＤ。 ４　ＡＯＣも計測できる。△ＡＯＢにおいて、正弦定理
から、 となる。／ＡＯＢは計測可能であシ、捷たＺＡＢＯは旧
１１とｂの交角であるから、その内積によ−リ、ｃｏｓ
　　（ＺＡＢＯ）　−（Ｆｉｘｔ、　Ｔｏ）で求まる。 したがって、 となる。△Ｃ０Ｉ）について、同様にすれば、となる。 次に△ＡＯＣについて層目すると、余弦定Ｉ中から、 式と全代入すれば、豆の長さが求捷ることになる。 會分面が面へ移動するまでの時間ｔで、　ＡＣを割え１
ば、移動の速さＶが求まる。すなわち、Ｖ＝屁／ｌ である。 以上述べた原理によシ、第４８１ｇ＋図示の如き処理全
実行すｈば、移動物体を検知し、その方向、速度を求め
、トラッキングすることができる。すなわち、移動物体
の線分の交点を抽出しｓ　（”ｚ＝ｒ８１＋×６１２　
Ｊ／　１９ｔ　ｔ　Ｘ％＋１１１１　を演算することに
よって、屓廚の方向を検出できる。また、移動軌跡を抽
出し、；２＝「Ｑｈ１ｘＱ２２Ｊ／ｌ’Ｇ２ｔｘ％ｈ２
１を求めることにヨッテ、移動方向が得られる。また、
原点から線分端点への方向ベクトルを抽出し、Ｖ＝ＡＣ
／ｌを演算、するこないし第５１図を参照して説明する
。第４９図図示の如く、視点を上、下または左、右に移
動することによって、視界が変化する。第５０図および
第５１図において、Ｄはカメラの運動方向、ｌけカメラ
の光軸式に垂直な大円、　ＣＬは例えば廊下の四隅に現
われるコーナー線を表わしている。第４９図かられかる
ように、例えばカメラが上方向へ移動すると、コーナー
線ＣＬは、大円ｌを下伸に移動するこ七になる。ｔ（、
カメラを左方向へ移動させると、コーナー線ＣＬは、右
側に向って動く。下方向または右方向への移動の場合も
同様である。この自己の運動方向とコーナー線の移動と
の関係から、例えば部屋・廊下等に多くある平行線ケ利
用して、全体構造の把握や自己の位置の計測を行うこと
ができる。すなわち、眼（カメラ）を取付けたアームの
移動や、自分自身の移動を行い、球面写像のＳＳ点の動
きの有無から、前述した手段により平行線を抽出し、そ
れらの平行線に関する画像情報の弯化ｆ？睨測すれば、
例えば廊下における自己位置を知ることができ、ナビゲ
ーション等に利用することができる。 第５２図は上記動きを利用した計測を行う方式の一実施
例ブロック図である。第５２図において、符号４　、５
　’、　５０ないし６５は第２０図に対応している。 こり、らについては、第２０図と同様であるので、ここ
での説明は省略する。１００は第２の写像・写像メモ！
Ｊ、１０１は８８点検出器、１０２は角速度抽出部、１
０３は奥行き分離部、１０４は線分端点抽出部、１０５
は第３の写像メモり、１０６はＳ点検出器、１０７はベ
クトル植演算部、１０８は端点ベクトル計副部、１０９
は線分移動速さ計算部、１１Ｏは構造線移動針側部を表
わす。 カメラの直線移動または対象物体の直線移動によシ、上
述した如＜、８点検出器６０によって、移加１物体につ
いての８点が検出される。この検出情引Ｌアドレスエン
コーダ６２によって、アドレスが生成されて、写像・写
像メモＩＪ１００へ導かれる。 ＳＳ点検出器１０１は、　ＳＳ点検出器６４と同様に、
写像・写像メモリ１００を参照することによシ、第３９
図に図示したＳＳ点を検出する。これによって、線分ベ
クトルが求まることになる。 角速度抽出部１０２は、第４０図等に図示した角速度ω
を求めるものである。奥行分離部１０３は、第４５図に
示した原理によシ、角速度ωの大小によって、球面投影
画像メモ’）　５３．５４上の画像情報につじで、各物
体の奥行き分離を行う。 変化検出器５６の出力情報によシ、線分端点抽出部１０
４は、移動線分のコーナ一点等の端点を抽出する。この
抽出情報は、写像メモリ１０５に書き込まれる。Ｓ点検
出器１０６はＳ点検出器６０と同様に、写像メモ！ｊ１
０５から８点を検出し、移動軌跡を抽出する。ベクトル
積演算部１．０７は、第４８図などで説明したような、
ベクトル積の演算を行い、線分移動ベクトルを求める。 また、線分端点抽出部１０４の出力は、端点ベクトル計
測部１０８に導びかれる。嬌姿ベクトル計測％１（１０
８は、端点情報と経度・緯度アドレスとから、？鼾、４
７図で紛明した端点ベクトルを求める。線分移動１虫さ
針基１部１０９は、この端点ベクトルき、ＳＳ点検出ｈ
＝ｉｏｉが検出した線分方向ベクトルとから、第４７図
で説明したような計算を奥行し、線分の移動の速さを求
める。第５２図に図示した出力０１〜ｒ、ｌ＋ｔＩ″ｉ
立体認識部等へ導かれる。 第２４図以下で説明した平行線検出による３次元計測の
原Ｊｊｌｊ　′！ｒ一応用して、第２図図示オペレータ
支援システム２におけるオペｌ／−夕の動作の計測を行
うことができる。 ηλ５３図は平行線検出をオＩＩ用したオペレータ計測
の俯念説明図、第５４１は平行マーカの実測例、第５５
図は平行マーカによる３次元計測を説明するだめの図を
示す。 ＰＩ！　５３図において、符号Ｊ１は第２図に対応し、
１２０はセンサベースロボットを表わす。例えば、重用
空間のような環境において、ロボッ）　１２０に作業を
させる場合、人間は球面スクリーン１１を見て、別の場
所から遠隔操縦することが考えられでいる。このような
場合、従米ハンドルや操作レバーまたはキーボードによ
って、ロボット１２゜への指示が与えられるようにして
いた。しかし、このような方式は、的確な指令を迅速に
与えるΦとが、一般に困難である。例えばオペレータが
頭を動かして球面スクリーン１１への視線を変えると、
ロボット１２０も同じ方向にロボットの眼であるカメラ
を回わすとか、例えばオペレータが球面スクリーンｌ１
士の１点を指差すと、ロボッ）　１２０が指差した方向
にあるものを作業対象として認識するとかいうようにで
きれば、オペレータはロボット１２０を自分の手足のよ
うに操作しやすくなる。 オペレータ等の動作を観測する場合、一般には：Ａ−ヘ
Ｖ　−夕の姿勢等を拘束するセンサによって、動作を電
気信号に変えることが行われる。以下に述べる方式によ
れば、オペレータの動作や姿勢等を非拘呆で計測するこ
とができる。 ロボット１２０に指示を与えるオペレータの手、腕、脚
、頭部等の身体部分に、平行線のマーカを取り付ける。 例えば、第２４図以下の如く、頭部で駿）れば、ヘルメ
ッ）　１．２１または１１・Δ子１２２に平行マーカ１
２５を牧り付ければよい。また、腕や指の方向検出には
、例えば手首バンド１２３や指輪１２４をオｊ１用する
ことができる。指輪１２４のように小宴いものについて
は、　５Ｎｋｈｔよぐするために、図示の如く拉数組の
平行マーカ１２５を用いるとなおよい。 この平行マーカ１２５を操縦室にある球面カメラで入力
し、上述した球面写像等によって、マーカの位置や向き
を実時間計測する。入力画像から平行マーカ１２５の抽
出には、マーカの色情報を利用す第１ばよい。 平行スリット光による３次元計測では、スリット光を回
転させること１７ｉ：よって、物体面の法線ベクトルを
計測（−だが、ここでは、面を求める必要はない。平行
マーカ１２５の３次元方向ベクトルおよび平行マ〜力１
２５の３次元空間座標が求まｈばよい。第５５図に示す
如く、平行マーカ１．２５０ベク１゛ルをｅｌ、　（１
１２とし、カメラの位置を原点０として、球面写像によ
って＋１．　ｅ２に対するＳベクトル９１゜＠２を求め
る。これは、直交ダイヤグラム表記で、’ＦＡ１−（ｅ
ｌ 嘗２−Ｃ２ と表わさり、る。ここで（ｌとの２とは平行であるから
同じベクトルであシ、これをＣと書くと、”１−　＠　
−”２ となる。従って、 Ｃ−口９ｘｘＳｔ２’ｌ　／　　１９１ｘ８２１によシ
、平行マーカ１２５の３次元方向ベクトルＣが求まる。 例えば指差したポイントをロボットが認知するＶＣ６−
１，，３次元方向ベクトルＣのほかに、そのベクトル（
が３次元空間において、どの点を通るかについて知る必
要がある。平行マーカ１２５の３次元空間座標は、例え
ば互いに離れた２台のカメラで平行マーカを受像し、公
知の三角測量によって求める。操縦室にカメラを２台以
上設置することは容易である。 なお、平行マーカ１２５だけを周囲から抽出するには、
明確な色のついたマーカを用い、例えばカメラにカラー
フィルタを用いたり、カラーカメラで受１象後に色分離
処理を行えはよい。実施例のブロック図については、第
３２図などと同様に考えらり、るので省略する。 次に、第２図図示立体認識部８における類似度にもとづ
く立体認識の例について駿明する。 ｉ′Ｂ５６図は類似度に基づく立体認識についての処（
ｉｌｌ概念税明図、第５７図ないし第６２図は類似度の
１１４層についての説明図を示す。 ロボットが周囲にある物体を認識するとき、どの程度寸
で厳密に認識すわばよいかは、そのときの状態や条件に
よって異なる。例えば、オペレータがロボットに対して
対象物体を指示する場合にも、もし周囲に四角い物体が
１個しかなけｈば、Ｊ、ｌｊに「四角い物」という情報
だけで、ロボットは対象物体を正しく把えることができ
よう。一方、四角い物が、周囲に種々多数存在する場合
には、その寸法等の琢らに詳しい情報を必要とする。 凪５６図（Ｃおいて、１２８は類似度認識プロセッサ、
１２９は要素物体モデルデータベース、１３１Ｕ同相１
の認識部、１３２は同相…の認識部、１３３は同相ｌの
認識部、１３４はおよその拡大率による認識部、１３５
は同相■の認識部を表わす。すなわち、本方式では、面
の性質・接続関係、面の方向ベクトル、面の相対間隔、
拡大率、絶対寸法というように、類似度で階層化さり、
たモデルに基づき、要求に応じた詳しさで認識が行われ
る。また、例えばロボットがある階層以上に詳しい認識
をすることができずに、認識が中断した場合、その階層
にオケる推定図をオペレータに呈示し、オペレータに確
認・修正を求める。一方、オペレータからは概略的な物
体探索指示など、必要な詳しさで物体の形状指示が可能
である。要素物体モデル・データベース１２９への新し
い物体の登録に際し、認識可能な詳しさの段階まで認識
を行い、あとはオペレータ支援によル、スクリーン上で
直視的な教示により、新しい情報を得て登録を行う。 類似度の階層の最上位では、いわゆる双対空■１の利用
によって、多面体、回転体等の面の性質や接続関係が調
べられる。第５７図（イ）は、実空間における６面体を
表わし、第５７図（ロ）は、その６面体を双対空間にお
いて表現したものである。図中、■。 １２）、■２国１口２口はそノ１−それ６面体の而を表
わ［７，特に口ないし国は陰で視線から隠れた面を表わ
している。実空間から双対空間への写像は５図かられか
るように、線は線、誂は点、頂点は旬にそれぞれ対応す
るようにされる。ここで、同一の悄造（接続関係）から
なる双対図に対応する多面体は、面の接続関係が同一（
同相Ｉ）とみなす。 同相ｌでは、面の数ｎが決まる。すなわち、認識部１３
１は、上述の球面写像プロセッサからの情報を整理し、
平面／曲面を識別した情報について、ｐｈｉ　素物体モ
デルデータベース１２９の最上位の各種モデルとあては
めて、マツチングをとることにより、例えば四角い物と
いったレベルでの認識を行う。 類似度の階層の第２位のレベルでは、面の方向ベクトル
（同相■）が着目される。例えば、第５８図に図示した
ように、ｎ個の面の法線ベクトルを即位ベクトルｍｉ（
長さ１）で規定する。すなわち、Ａ　＝　（ｕｌ、　Ｘ
２．　＋＋°、　ｎｂｎ）と規定し、への法線ベクトル
を持っｎ多面体を半径１の球に外接する標準ｎ多面体で
代表させる。 表現を簡単化するために、仮に２次元空間の４辺・形を
例にとると、第５９図図示の如く、単位ベクトルｎ１〜
μ４によって、標準４辺形ＳＴが定まることになる。こ
のように、同相■ではｎ個の単位ベクトルが決まる。同
相■の認識部１３２は、以上のように、球面写像プロセ
ッサの出力から得らり、た面／稜の方向ベクトルについ
て、データベース】２９のモデルと照合することにょシ
、例えば踏み台のような物といった認識を行う。 類似度の階層の第３位のレベルでは、面の相対間隔すな
わち同相Ｉの相似について着目される。 ここでは、第６０図に図示したように、ｎ個の法線ベク
トルの大きさの比を定めることが行われる。 すなわち、 １１３　＝　（町、　４２１”２１−　＋　’ｎｎＬｎ
　）が求められる。ここでＡ２．・・・、匂は、それぞ
れ町に対するμ２．・・・置−の比である。代表ｎ多面
体として、１１４１を法線とする面が半径１の球に接す
るものを選ぶ。例えば、２次元で表わした場合、第６１
図図示のような四辺形ＳＴ１が代表することになる。 この同相ｌでは、ｎ個の法線ベクトルの大きさの比が決
まる。同相１の認識部１３３は、面の相対間隔情報から
、例えば細い踏み台というレベルの認識を行うことにな
る。 類似度の階層の第４位のレベルでは、およその拡大率に
もとづく認識が行われる。上記単位ベクトル叡、につい
て、およその拡大率に′を与えることにより、 Ｃ／　＝　Ａ／　ｉＢ ＝　（Ａ’ｒｕ１．　Ａ’Ａ２ｒｗ２．１．、　Ａ’Ａ
、ｎｖｂ、　）を演算し、モデルとの照合を行う。すな
わち、認１ｆｉ１部１３４は、稜の寸法比情報等によシ
立体のおよその大きさを定め、例えば大きい踏み台とい
った１、−ベルでの認識を行う。 類似度の階層の最下位レベルでは、同相ＩＶ　−ｔ−な
わち合同かどうかの絶対寸法に基づく認識が行わ、ｌす
る。ここでは、厳密な拡大率ルを与えることにより、立
体の厳密な寸法を定める。第６１図のような２次元の４
辺形の場合、第６２図図示の如く、その絶対的なサイズ
が決められることになる。特徴パラメータは、 Ｃ−相 ＝　（ＡａＬ、、　ＡＡ２ｒｔｔ２．　・−、ｋＡｎｒ
ａｔ、　）で与えられる。同相■で最も詳細な認識がな
さり。 る。同相■の認識部１３５は、稜の寸法情報等にょシ、
絶対寸法で登録されたモデルと照合して、例えば高さ５
０ＣＴＬの踏み台といったレベルの簡識を行うことにな
る。 これによって、要求に応じた詳しさで認識することが可
能となる一方、概略指示での探索も可能となる。もちろ
ん、不十分な認識についてはオペレータ支援が可能であ
る。 （Ｅ）　　発明の詳細 な説明した如く本発明によれば、球面カメラによる等距
離射影の像を球面写像することにより、入力画像情報か
ら立体認識などに極めて有効な情報を各種抽出すること
ができ、ロボットの視覚として有効な方式を提供するこ
とが可能になる。

【図面の簡単な説明】

＆λ１図従来用いら・れているハフ変換の〜明図、！！
Ｊ３２図は本発明に関連したロボットの全体システム構
成し１１、第３図ないし第５図は球面カメラにつし）て
の説明図、第６図は本発明に係る画像入力部の一実施例
オｎ成、第７図は第６図図示実施例を説す１１するため
の図、第８図は特距離躬影レンズの特性説明図、第９図
ないし第１１図は球面投影についての船町図、菓１２図
および第１３図は球面写像の原岬説明図、第１４図は線
分の抽出についての説明図、第１５図および第１６図は
線分の再生についての説明図、第１７図は移動物体の検
出についての説明１メ１、第１８図は交点の再生につい
ての説明図、第１９図は平行線の検出についての説明図
、第２０図は本発明に係る一実施例構成ブロック図、第
２１図は球面投影画像メモリと写像メモリとの関係を説
明するだめの回、第２２図は緯度および経度アドレスの
説明図、第２３図はノ・フ変換の応用についての説明図
、第２４図は平行スリット光利用による３次元計測の概
念説明図、第２５図ないし第２７図は平行スリット光利
用による３次元計測の原理を説明するだめの図、第２８
図は３次元計測の処理についての説明図、第２９図ない
し第３１図は距離計測につじでの原理を説明するだめの
図、第３２図は、本発明に関連した一実施例構成ブロッ
ク図、第３３図は従来の平行スリット光発生方式の例、
第３４図ないし第３８図はスリット光間隔を司変にした
平行スリット光発生機構の説明図、第３９図は直線の方
向ベクトル計沖１についての説明図、第４０図ないし第
４４図は眼の移動による奥行き計測につじでの説明図、
第４５図は直線移動による奥行き分離の概念を説明する
だめの図、第４６図は線分の移動による３次元計測の説
明図、第４７図は長さが既知である線分の移動の速さを
計測する原理についての説明図、第４８図は物体の直線
移動による３次元計測の処理説明図、第４９図ないし第
５１図は構造線を利用した３次元計測の説明図、第５２
図は本発明に関連した一実施例構成ブロック図、第５３
図は平行線検出を利用したオペ１／−夕計測の概念説明
図、第５４図は平行マーカの実施例、第５５図は平行マ
ーカによる３次元計測を説明するだめの図、第５６図は
類イ以度に基づく立体認識についての処甥概念欣明ｌＢ
＋　、第５７図ないし第６２図は類似度Ｃ）酸１脩につ
いての説。 明図を示す。 図中、１は環境理解システム、２はオペレータ支援シス
テム、３はアーム移動機構、４は球面カメラ、５は輪郭
抽出プロセッサ、３３は球面、５３オマび５４は球面投
影画像メモリ、５７および５８は写像メモリを表わす。 特許出願人　　富士通株式会社 代理人弁理士　　森　１）　寛（外１名）才ｚ、Ｈ ″ｌｔ−εｍ 才′１図 才１０膓 才１２図 へ ’；］”Ｉｌｌ す５３Ｉ￥１ ｆｓ＋Ｂ

Claims (1)

【特許請求の範囲】
1. 光学的手段によル周囲に存在する物体の３次元十ｎ＃を
   抽出し環境を理解するロボットの環境理解システムにお
   いて、球面投影によ、り外部物体の像を捕捉する画像入
   力手段と、該画像入力手段によって角度情報として捕捉
   した像について、投影球面上において点を直線に、また
   直線をその直線に含まれる点に対応する直線群によって
   定壕る点に球面上で双対写像を行い、該写像された点の
   有無を検出して、外部物体の構成線分を抽出する球面写
   像処理部とを少なくともそなえ、球面写像による３次元
   計測を行うようにしたことを特徴とするロボットの環境
   理解システム。