JPH1091786A - 三次元画像情報抽出方法及びそれを用いた画像作成方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の二次元画像から三次元画像情報を抽出
する。複数の二次元画像から高精度の三次元画像を得
る。自然界の種々の物体においても十分な輪郭と面の三
次元認識精度を得る。 【解決手段】 視差のある複数の二次元画像をメモリー
に取り込む第１の過程と、前記複数の二次元画像を修正
する第２の過程と、それぞれの修正された二次元画像の
線画を輝度エッジ処理及び色相エッジ処理により作成す
る第３の過程と、ドットが集まるエッジマップを作成す
る第４の過程と、ノイズを消去し、ベクトル化した線画
像を作成する第５の過程と、ベクトル化された線に関し
て三次元座標を特定してする三次元情報を抽出する三次
元画像情報抽出方法である。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、視差のある複数の
二次元画像から三次元画像情報を抽出する方法及びそれ
を用いて三次元画像を作成する方法に適用して有効な技
術に関するものである。

【０００２】

【従来の技術】従来、三次元計測システムによって得ら
れる三次元画像は、通常の明暗画像にはない性質を持っ
ており、物体の位置や形状の認識を初めとするロボット
ビジョンにとって有効なアプローチである。しかしなが
ら、一口に三次元画像といっても計測手段が違えば得ら
れる画像データの構造が異なる。入力タイプに適した画
像処理アルゴリズムを適用しなければならない。例え
ば、スリット光投影法によって得られるスリット画像と
光レーダ法で得られる距離画像は異質のデータであり、
画像処理の立場からはまったく異なったアプローチを必
要とする。したがって、具体的な応用においては、目的
に合致した計測手法の選定とそれぞれに適した画像処理
アルゴリズムの適用に注意を払わなければならない。

【０００３】前記三次元画像処理に関する技術、特に、
今までに開示されたいくつかのアルゴリズムについて
は、例えば、株式会社昭晃堂発行、１９９６年５月１０
日初版５刷発行の井口征士、佐藤宏介著、「三次元画像
計測」第１２１〜１４１頁に記載されている。

【０００４】

【発明が解決しようとする課題】本発明者は、前記の従
来技術を検討した結果、以下の問題点を見いだした。

【０００５】前記従来の技術では、物体の画像の輪郭の
認識は輝度のみで行っているため、単純な形状の物体、
同質の物体、同色からなる物体等の輪郭の認識は精度良
く得られたが、複雑な形状の物体、異質のものからなる
物体、多色の色からなる物体、自然界の種々の物体等に
おいては、十分な輪郭の認識精度が得られないという問
題があった。

【０００６】本発明の目的は、複数の二次元画像から三
次元画像情報を抽出する方法を提供することにある。

【０００７】本発明の他の目的は、複数の二次元画像か
ら高精度の三次元画像を得ることが可能な技術を提供す
ることにある。

【０００８】本発明の他の目的は、自然界の種々の物体
においても十分な輪郭の認識精度を得ることができる技
術を提供することにある。

【０００９】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
になるであろう。

【００１０】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。

【００１１】（１）視差のある複数の二次元画像をメモ
リーに取り込む第１の過程と、前記複数の二次元画像を
修正する第２の過程と、それぞれの修正された二次元画
像の線画を輝度エッジ処理及び色相エッジ処理により作
成する第３の過程と、ドットが集まるエッジマップを作
成する第４の過程と、ノイズを消去し、ベクトル化した
線画像を作成する第５の過程と、ベクトル化された線に
関して三次元座標を特定して三次元画像情報を抽出する
第６の過程を具備する三次元画像情報抽出方法である。

【００１２】（２）視差のある複数の二次元画像をメモ
リーに取り込む第１の過程と、前記複数の二次元画像を
修正する第２の過程と、それぞれの修正された二次元画
像の線画を輝度エッジ処理及び色相エッジ処理により作
成する第３の過程と、ドットが集まるエッジマップを作
成する第４の過程と、ノイズを消去し、ベクトル化した
線画像を作成する第５の過程と、ベクトル化された線に
関して三次元座標を特定して三次元画像情報を抽出する
第６の過程と、連続する線で囲まれる最小単位の面を
「領域」と名付け、画像を複数の領域に分解する第７の
過程と、線と面の前後関係を明確にして、順位を付け、
隠れている部分に未決定の境界と面を想定する過程と、
線で囲まれる領域内部の三次元座標を特定する第８の過
程と、未だ三次元座標の決定していない部分を内挿法に
よって決定する第９の過程を具備する三次元画像作成方
法である。

【００１３】（３）視差のある複数の二次元画像をメモ
リーに取り込む第１の過程と、前記複数の二次元画像を
修正する第２の過程と、それぞれの修正された二次元画
像の線画を輝度エッジ処理及び色相エッジ処理により作
成する第３の過程と、ドットが集まるエッジマップを作
成する第４の過程と、ノイズを消去し、ベクトル化した
線画像を作成する第５の過程と、ベクトル化された線に
関して三次元座標を特定して三次元画像情報を抽出する
第６の過程と、連続する線で囲まれる最小単位の面を
「領域」と名付け、画像を複数の領域に分解する第７の
過程と、線と面の前後関係を明確にして、順位を付け、
隠れている部分に未決定の境界と面を想定する過程と、
線で囲まれる領域内部の三次元座標を特定する第８の過
程と、未だ三次元座標の決定していない部分を内挿法に
よって決定する第９の過程と、大地を領域、或いは領域
の集合（群）として他から分離する第１０の過程と、背
景を領域、或いは領域の集合（群）として他から分離す
る第１１の過程と、背景、大地、物体の各領域の集合と
物体のない空間とから三次元画像を構成する第１２の過
程を具備する三次元画像作成方法である。

【００１４】（４）視差のある複数の二次元画像をメモ
リーに取り込む第１の過程と、前記複数の二次元画像を
修正する第２の過程と、それぞれの修正された二次元画
像の線画を輝度エッジ処理及び色相エッジ処理により作
成する第３の過程と、ドットが集まるエッジマップを作
成する第４の過程と、ノイズを消去し、ベクトル化した
線画像を作成する第５の過程と、ベクトル化された線に
関して三次元座標を特定して三次元画像情報を抽出する
第６の過程と、連続する線で囲まれる最小単位の面を
「領域」と名付け、画像を複数の領域に分解する第７の
過程と、線と面の前後関係を明確にして、順位を付け、
隠れている部分に未決定の境界と面を想定する過程と、
線で囲まれる領域内部の三次元座標を特定する第８の過
程と、未だ三次元座標の決定していない部分を内挿法に
よって決定する第９の過程と、大地を領域、或いは領域
の集合（群）として他から分離する第１０の過程と、背
景を領域、或いは領域の集合（群）として他から分離す
る第１１の過程と、背景、大地、物体の各領域の集合と
物体のない空間とから三次元画像を構成する第１２の過
程と、画像処理に適した作業プレーンを作成する第１３
の過程と、必要に応じて所定の画像処理を行う第１４の
過程を具備する画像作成方法である。

【００１５】前述した手段によれば、二次元画像の線画
を輝度エッジ処理及び色相エッジ処理により作成するこ
とにより、複数の二次元画像から三次元画像情報を抽出
することができる。これにより、複雑な形状の物体、異
質のものからなる物体、多色の色からなる物体、自然界
の種々の物体等においても、十分な輪郭の認識精度を得
ることができる。

【００１６】

【発明の実施の形態】以下、本発明について、実施形態
（実施例）とともに詳細に説明する。

【００１７】本発明の実施形態（実施例）の三次元画像
情報抽出方法及びそれを用いた三次元画像作成方法は、
第一段階、第二段階、第三段階からなる。

【００１８】（第一段階） 処理ステップ（１） 複数のビデオカメラで視差のある２個以上の二次元画像
をメモリーに取り込む。 ・最適な画像数（カメラの数）は実験によって求める。 ・前記視差のある２個以上の二次元画像を得るカメラ間
の距離は既知のものを用いる。 ・スムーズなエッジの最終画像を得るために、三台のカ
メラを一組として試験する。 ・中心のカメラの画像を主画像として、両側のカメラは
視差画像を得るためと切り取り面境界を補正するための
補助画像とする。例えば、車載の場合は二台のカメラで
も十分可能である。その時はカメラの移動の方向によっ
て、主画像を切り替える。 ・カメラの種類の選択は、ディジタルスチルカメラ、デ
ィジタルＴＶカメラ、或いはフィルムカメラからＡＤ変
換する。画質ではディジタルスチルカメラが有利だが、
動画処理に於いては記憶媒体が膨大となり実用的でなく
なる。そこで、記憶媒体としてビデオテープを利用でき
るディジタルＴＶカメラを使用する。

【００１９】処理ステップ（２） 前記複数の二次元画像を修正する。すなわち、まず、第
１に球面収差等の補正等の光学的補正をする。正しくオ
ルソゴナル（正方）処理したパースになるように補正を
する。

【００２０】次に、必要に応じて消滅点（パースの焦
点）を補正する。補正関数或いは補正テーブルを作る。
これは既知の技術を用いるので、ブレイクスルーはな
い。

【００２１】（第二段階） 処理ステップ（３） 前記それぞれの二次元画像の線画を作る（この段階で
は、まだ、二次元画像である）。

【００２２】輝度（ＢＲＩＧＨＴＮＥＳＳ）のエッジ処
理により、輝度信号のみの画像を作る。例えば、ディジ
タルフィルタで空間微分回路を構成し、エッジの信号を
抽出しエッジマップを作る。エッジ検出のためのディジ
タル二次元フィルターには既知のものを用いる。

【００２３】次に、色相（ＨＵＥ）のエッジ処理を行
う。これは、彩度（ＣＨＲＯＭＡ）を飽和させて色相信
号のみの画像を作り、色相のエッジを検出する（ここに
もディジタルフィルターを使う）。前記色相信号は、物
体の光波長反射特性と光源の色温度にのみ依存し、光源
の強度や物体の照度には依存しないという特徴がある。
従って、色相信号は光の強度に依らず、光源の色温度と
それによる物体の表面の光学的性質のみに依存する。

【００２４】その性質によって輝度や照度に関係なく
（陽が当たっていても、陰になっていても）、色相信号
により物体の質毎に分離できることになり、色相境界は
物体の質の境界と良く一致する。

【００２５】すなわち、画像中の色相信号の分布特性図
を作り、色相マップを作り、同一色相の領域とその領域
境界を決定する。例えば、ＴＶ信号での色信号Ｘ，Ｙ，
Ｚ信号から直接色相信号を作るか、或いはサブキャリア
の位相を検出し、位相分布図（色相マップ）を作る。

【００２６】断片的（ディスクリート）な位相境界を新
しいエッジとする。物体の質が変化すれば輝度と色相と
が断片的（ディスクリート）に変化するので、輝度と色
相の変化点は物体の境界を含み、物体の境界は輝度と色
相の変化を執る場合が極めて多い。

【００２７】ただし、色相のエッジが必ずしも物体の境
界ではない。しかし、物体境界は色相エッジ及び輝度エ
ッジを必ず含む。輝度のエッジと色相のエッジによっ
て、９９％の物体境界を検出できる。前述の方法で検出
できないエッジは、視覚的にも検出できない点であろ
う。

【００２８】処理ステップ（４） 次に、ドットが集るエッジマップを作り、ノイズを消去
し、ベクトル化し、線画像を作る。すなわち、輝度と色
相の境界のエッジで作られる、線画を構成する。エッジ
マップは処理の範囲を決定するためにだけ必要であり、
対象物体より多少大きめでも良い。エッジで切り取られ
て画像の抜ける部分は、隣接する画像から補足されるか
ら、エッジの作る領域は大き過ぎても心配ない。 ・面を作る閉じた線分（領域境界エッジ）と、面を作ら
ない単独の線分（独立エッジ）に分かれる。 ・矛盾するデータやエッジを作らない、一絵素のドット
はノイズとみなす。ノイズ基準を確立する。 ・水面に映る遠景や、鏡に映る映像や、金属光沢の面に
映る物体など、三次元座標が重なる場合の処理は注意し
てミラー効果として特殊化して処理する。ミラー効果を
矛盾やノイズとは判断しないように注意する。 ・輝度（ＢＲＩＧＨＴＮＥＳＳ）のエッジ処理と色相
（ＨＵＥ）のエッジ処理から作られるエッジマップか
ら、エッジを構成し、ドットの集まりをベクトル化して
線分に変換する。 ・輝度と色相の作るベクトル化された線分マップを合成
して、複数の二次元画像の線画を完成させる。これによ
って物体表面の質の変化する部分と、同質の領域と、そ
の領域境界に分けられた複数の二次元画像が構成された
ことになる。

【００２９】処理ステップ（５） 次に、ベクトル化された線に関して三次元座標を特定す
る。二次元のベクトルに変換された線分で作られる複数
の画像から、それらの線分の三次元座標を決定するに
は、以下の３つの方法がある。このうちの２つの方法を
併用することで、精度を高めることができる。

【００３０】（１）の方法は、「ベクトル対応処理」に
より、三次元座標を特定する。複数の画像間で各線分の
対応が付けば、その線分から三角測量の原理（三角関
数）で三次元座標が決定できる。

【００３１】初めに複数の画像間の線分の対応点を見つ
けて、三次元座標を計算することを「ベクトル対応処
理」と呼ぶ。各線分を複数の画像間で対応を付けるに
は、領域を決定してからの方が簡単であろう。線分を分
類し、対応点の場所とベクトルを予想することは十分可
能である。

【００３２】候補のベクトル（多くても数個）の中から
選択して対応ベクトルを決定する。対応点の存在する範
囲を絞り込んでいくことで、対応点は最終的に一つに絞
られる。

【００３３】（２）の方法は、「分角分布処理」によ
り、線分の三次元座標を特定する。主画像の線画の線の
部分（二次元ベクトル）の本来の三次元座標を他の画像
の線画と分角分布処理により、三次元ベクトルを抽出す
る。

【００３４】分角分布処理においては、ベクトルの対応
が出来ていなくても三次元座標を求められることが特徴
である。分角分布処理とは線画（二次元ベクトル）に対
する「分角分布パターン」を作ってその分布する角度か
ら奥行きデータをベクトルで抽出し、全ての線の三次元
座標を決定する三次元座標決定法である（この段階で初
めて三次元の線画となる）。

【００３５】線画（二次元ベクトル）は“０”と“１”
の二値画像であるために、ベクトル対応処理も分角分布
処理も容易である。線画の線は、連続しない独立線分
と、連続して閉じて面を作る領域境界線分に分類され
る。

【００３６】（３）の方法は、二次元相関による直接処
理で行う。複数の画像の相関を取り、三次元座標を決定
する。この方法は画面の一部分に適応できる。

【００３７】処理ステップ（６） 次に、連続する線で囲まれる最小単位の面を「領域」と
名付け、画像を複数の領域に分解する。得られた線画の
三次元座標から、面境界線分を見つけだし、その連続す
る線をたどり、線に囲まれる領域の「面」（この段階で
は曲面）を特定する。その特定された面を複数の平面に
分割して、その法線方向と面積でベクトル化することは
可能である。ここで、画像は領域、すなわち、線のベク
トルと面のベクトルから成る、一枚の基本画像に集約さ
れたことになる。

【００３８】なお、見かけ上は一つのカメラによる画像
を主として考えて、その見かけ上の二次元画像が陰にな
った部分を含めて三次元情報を持っているとして、思考
すると便利である。

【００３９】処理ステップ（７） 次に、線と面の前後関係を明確にして、順位を付け、隠
れている部分に未決定の境界と面を想定する。

【００４０】前記特定され、名前を付けられた領域と、
その領域の陰に隠れる部分の他の領域の境界線は隣接す
るカメラの画像から視差を補正して情報を付加する。そ
の場合の付加信号は未だ二次元であるが、同じ領域の既
知の三次元座標からの円滑な延長として三次元座標を予
想して付加する。

【００４１】それでも隠れている部分の全ての情報を得
ることは不可能であるから、隠れた部分の境界は依然と
して不明のままである。隠れている部分の三次元座標の
予想は、隠れていたエッジが現れるまでとする。エッジ
を越えて予想はしない。三次元の座標として情報を付加
することで、円滑な画像境界を実現する。

【００４２】さらに、隠れている部分のデータが必要で
あればカメラの台数を増やす。垂直方向にも増やせば、
俯瞰図を得ることが可能である。

【００４３】そこで、見えている限りの面の端を仮の境
界として位置づける。仮の境界は、既に決定している他
の境界とは差別して扱い、いつでも情報を付加し、変更
できる自由度を与える。画像のフレームで切られる部分
も仮の境界となる。三次元の座標から線と、線の取り囲
む面の前後関係を明確にして、視点方向からの配列順番
を付ける（領域の配列順番）。

【００４４】処理ステップ（８） 次に、線で囲まれる領域内部の、三次元座標を特定する
（三次元面画の段階に至る）。既に決定された線画に囲
まれる領域内の三次元座標を決定するために、原画に戻
って、既に決定した“０”と“１”のエッジではない、
残されたアナログ的に連続的に変化する輝度勾配、彩度
勾配、色相勾配を対象としてベクトル対応処理と分角分
布処理を行う。エッジはシステムの持つ最大の周波数Ｆ
（ｍａｘ）を持つ（処理済み）。

【００４５】エッジを物体の輪郭として処理した後、エ
ッジとは判別されなかった周波数成分Ｆ（ｈ）に対して
（ベクトル対応処理と）分角分布処理を順次施して、そ
れぞれの三次元ベクトル抽出をして面を埋めていく。

【００４６】全ての領域の面について一つ一つ取り出
し、領域ごとに必要が有れば拡大して、詳細に、三次元
座標を決定する。なお、コンピュータの能力が許せば、
前記処理ステップ（４）の「ドットが集まるエッジマッ
プを作成し、ノイズを消去しベクトル化し線画を構成す
る」の処理と該処理ステップ（８）の「線で囲まれる領
域内部の、三次元座標を特定する」の処理は一つのプロ
セスとすることも、全部の領域を一度に処理することも
可能である。これにより、エッジ処理によって三次元座
標の決定された領域の境界の、さらに、内部の詳細な三
次元座標が決定されたことになる。

【００４７】領域内の面の端は必ずエッジの作る境界線
に一致する（現実の物体の性質）ために、結果として線
画の線の座標も精度が増して、変更されることになる。
この処理で、見かけ上は二次元画像であるが、画面内の
かなり多くの点が三次元の座標を持つことになる。

【００４８】（１）面に関する三次元座標の特定（領域
内での面画の完成） 線画処理された画像は“０”，“１”の２値画像であ
り、その三次元座標の決定は容易であろうが、領域の面
内は“０”，“１”の線分ではなく、連続に変化する波
形のアナログ量であり、エッジ処理と相関処理の中間的
扱いが必要である。 ・輝度波形、色相波形に対応して、ベクトル対応処理と
分角分布処理を施す。 ・ドットにしろ線にしろ波形にしろ、二次元の特定処理
といえるが、それを発展させて一つの領域を一括して
「面」としての三次元座標の特定をする。法線方向と面
積でベクトル化された面のそれぞれの画像での対応面が
得られれば、ベクトル対応処理ができる。面の対応が求
められない部分は分角分布処理を施す。

【００４９】（２）直行関数変換処理によって詳細な面
の三次元座標を決定する。 地面の座標と撮影軸の関係で最適な直行関数を発見す
る。変形フーリエ変換によって、撮影者の進行方向をＸ
軸とし、高さをＹ軸とし、奥行きをＺ軸としたパワース
ペクトルを作り、周波数成分の位相速度に着目して、移
動量とＺ軸を検出する。 ・視差による物体の移動は対象物が作るスペクトルの位
相に依存すると予想できる。 ・この処理以外に、動画（連続して変化する画像）その
ものから直接、直行関数変換を施し、三次元座標を決定
することも原理的に可能である（Ｘ線ＣＴの原理を参
照）。

【００５０】処理ステップ（９） 未だ三次元座標の決定していない部分を内挿方によって
決定する。領域が作る面の三次元座標は既に求められて
いるが、ここでの処理は、さらに、内部の詳細を決定す
る処理である。

【００５１】Ｆ（ｈ）でかなりの部分の三次元座標が決
定されるが、輝度や色相の変化しない部分（直流成分）
は、原理的にはベクトル対応処理によっても分角分布処
理によっても三次元座標を決定することができない。直
流部分は内挿方によって周囲の座標から近似的に求める
（無理な近似ではない）。この処理によって画像の中の
全ての部分の三次元座標が特定したことになる。

【００５２】前記処理によって、画像の中の全ての部分
が、三次元ベクトル化された線と三次元ベクトル化され
た面によって構成されることになる。

【００５３】最終的に、エッジのギラつきをなくするた
めに隣接する画像からの補足画像でエッジを修正する。
検出したエッジは画像には直接現れない。

【００５４】（第三段階） 処理ステップ（１０） 大地を領域、或いは群（領域の集合）として他から分離
する。この段階では大地は複数の領域から成り立つ。地
上の物体の性質として、殆どの物体は重力によって大地
に接しているので、領域は大地に接触しているが、画像
処理の都合上、領域を大地から分離して切り離し、一つ
の領域とする。

【００５５】処理ステップ（１１） 背景を領域、或いは群（領域の集合）として他から分離
する。在る程度以上の遠い遠景は背景として曲面の連続
として扱う。この段階では背景は複数の領域の集合の群
から成り立つ。

【００５６】処理ステップ（１２） 背景、大地、物体の群と、物体のない空間から構成され
る三次元画像の完成。

【００５７】詳細な三次元座標の決定された領域は、一
般に複数の領域の集合として存在している。 （ａ）三次元的に近接する領域を複数集めて群を作る。 （ｂ）互いに近接する複数の領域を集めて群を構成す
る。 （ｃ）背景、大地、物体の群は主画像からは見えない部
分の面を常に有している。 （ｄ）主画像からは見えない部分を含むので、エッジは
きれいに処理される（クロマキーのようなギラ付きや不
自然さを解消する）。

【００５８】これで、群の集合としての三次元画像が完
成した。この三次元座標に複数の画像からの輝度と色相
と輝度（クロマ）を張り付けることで、画像が完成す
る。

【００５９】なお、張り付けの済んだ画像は、群をひと
固まりとして、一つのバッファーメモリープレーンを構
成する。領域と群の再々構築のために、この処理途中の
バッファメモリーを用意する。

【００６０】処理ステップ（１３） 画像処理に適した作業プレーンを作る。道路の風景、海
のある風景、山の風景、街の風景、建築物の中の風景、
夜の風景、移動する風景、冬の風景等のそれぞれの風景
を色の構成から判定し、それぞれにふさわしいパラメー
タを用意して、風景の中の全ての物体の意味を判定し、
分類する。

【００６１】パラメトリックな変数を持つ「三次元ディ
ジタルフィルター」と「三次元マスク」によって物体の
意味を選択し、分類し、判定し、全てに名称を付ける。
物理的に近い座標だけを統合するのではなく、それぞれ
の群をそれぞれの物体に対応するように、意味のある部
分毎に切り離し、或いは結合し、再構築する。或いは、
領域に戻って分離再結合し、意味を持つ集合を構成す
る。

【００６２】意味のある部分毎に集合した領域の集合を
作業群とする。作業群の持つ特徴；物体が移動する時に
は、その物体に係わる作業群だけが形を変更させながら
移動し、他の作業群に変化はない。

【００６３】この作業群はしばしば目的の意味と他の必
要に応じて、バッファメモリーから再々変更される。

【００６４】風景選択後に、一つの背景、一つの大地、
様々な意味毎の複数の物体、の各作業群を構成する。

【００６５】群に分類再構築する段階で、どの領域にも
入らない部分は物体の存在しない空間であり、この空間
は将来の画像処理の段階で、使用するかも知れない空間
である。

【００６６】従って、この空間を一つの作業群として位
置づけて、三次元座標を持っていることが望ましい。そ
れぞれの作業群は独自のメモリープレーンを持ち、独立
していて、単独に作業ができる。これで、基本となる三
次元画像が完成したことになる。

【００６７】処理ステップ（１４） ここで、例えば以下のような画像処理を行う。・視点変
更の座標変換、死角になる部分の画像の予想、隣接する
作業群との分離或いは合成。 ・カメラで取り込んだ実写映像を、三次元化し、それを
ＣＧに置き換えて、三次元の全画像或いは部分画像を構
築する点は、人工視覚を実現する大切な一ステップであ
り、本発明の最も主要な特徴とするものである。 ・三次元規格化………三次元座標を持つ三次元画像は、
その座標上での大きさが既に決まっているので、方向を
そろえる程度の処理でそのまま直接規格化できる。規格
化された作業群（領域も可）はそのまま他の作業群と比
較、計測、目的別の判定、マスク処理、フィルター処理
などが容易にできる。 ・物体の加算平均………二次元画像上では視点の位置に
よってその大きさが異なるため、そのまま加算平均処理
はできないが、三次元規格化した三次元座標を持つ画像
は視点が違っても、見かけの大きさが異なっても容易に
加算平均ができるので、画像のＳ／Ｎや物体の計測精度
の大幅な向上を期待できる。 ・作業群（或いは領域）毎の伝送によって、それぞれの
作業群毎に最適な伝送頻度を実現できるので、極めて大
きな帯域圧縮が実現できる。画像はそれぞれの作業群毎
にバラバラに伝送され、受信側で三次元画像を再構築す
る。この作業群毎の伝送による帯域圧縮は本発明の主要
な特徴とするものである。・このように作業群毎に処理
をすることで、極めて効率的な処理が実現できる。

【００６８】処理ステップ（１５） 三次元画像の自由な再構築を行う。 ・正方変換された三次元座標からはいつでも、任意の視
点からの二次元画像が得られる。 ・視点変更を連続して行えば、いつでも任意の方向に移
動する動画を作り出せる。 ・垂直方向の画像を取り込めば、俯瞰図も可能である。 ・領域の配列順番、或いは群の配列順番の逆順に、即ち
遠方から上書きしていくことで、矛盾無く画像は再構築
される。

【００６９】処理ステップ（１６） 前記処理ステップ（３）から（９）までをＬＳＩチップ
化する。処理ステップ（３）から（９）までをチップ化
することで、三次元画像の扱い簡単になり、応用範囲が
急激に広がる。 ・前記処ステップ（１０）から（１３）までもチップ化
することで、様々な用途が開ける。 ・一般の三角測量における誤差は、１００メートルで１
ミリ以下、即ち０．００１％以上の精度を持っている
が、今実現しようとする画像による三角測量の精度は、
１００メートルで５センチ程度、即ち０．５％程度の精
度で十分である。 ・カメラの光学的性質を理解し、フィルム面の画像に正
しく正方変換のキャリブレーションを施す。

【００７０】以上、本発明を、前記実施形態（実施例）
に基づき具体的に説明したが、本発明は、前記実施例に
限定されるものではなく、その要旨を逸脱しない範囲に
おいて種々変更可能であることは勿論である。

【００７１】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【００７２】二次元画像の線画を輝度エッジ処理及び色
相エッジ処理により作成することにより、複数の二次元
画像から三次元画像情報を抽出することができる。これ
により、複雑な形状の物体、異質のものからなる物体、
多色の色からなる物体、自然界の種々の物体等において
も、十分な輪郭と面の三次元認識精度を得ることができ
る。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 視差のある複数の二次元画像をメモリー
   に取り込む第１の過程と、前記複数の二次元画像を修正
   する第２の過程と、それぞれの修正された二次元画像の
   線画を輝度エッジ処理及び色相エッジ処理により作成す
   る第３の過程と、ドットが集まるエッジマップを作成す
   る第４の過程と、ノイズを消去し、ベクトル化した線画
   像を作成する第５の過程と、ベクトル化された線に関し
   て三次元座標を特定して三次元画像情報を抽出する第６
   の過程を具備することを特徴とする三次元画像情報抽出
   方法。
2. 【請求項２】 視差のある複数の二次元画像をメモリー
   に取り込む第１の過程と、前記複数の二次元画像を修正
   する第２の過程と、それぞれの修正された二次元画像の
   線画を輝度エッジ処理及び色相エッジ処理により作成す
   る第３の過程と、ドットが集まるエッジマップを作成す
   る第４の過程と、ノイズを消去し、ベクトル化した線画
   像を作成する第５の過程と、ベクトル化された線に関し
   て三次元座標を特定して三次元画像情報を抽出する第６
   の過程と、連続する線で囲まれる最小単位の面を「領
   域」と名付け、画像を複数の領域に分解する第７の過程
   と、線と面の前後関係を明確にして、順位を付け、隠れ
   ている部分に未決定の境界と面を想定する過程と、線で
   囲まれる領域内部の三次元座標を特定する第８の過程
   と、未だ三次元座標の決定していない部分を内挿法によ
   って決定する第９の過程を具備することを特徴とする三
   次元画像作成方法。
3. 【請求項３】 視差のある複数の二次元画像をメモリー
   に取り込む第１の過程と、前記複数の二次元画像を修正
   する第２の過程と、それぞれの修正された二次元画像の
   線画を輝度エッジ処理及び色相エッジ処理により作成す
   る第３の過程と、ドットが集まるエッジマップを作成す
   る第４の過程と、ノイズを消去し、ベクトル化した線画
   像を作成する第５の過程と、ベクトル化された線に関し
   て三次元座標を特定して三次元画像情報を抽出する第６
   の過程と、連続する線で囲まれる最小単位の面を「領
   域」と名付け、画像を複数の領域に分解する第７の過程
   と、線と面の前後関係を明確にして、順位を付け、隠れ
   ている部分に未決定の境界と面を想定する過程と、線で
   囲まれる領域内部の三次元座標を特定する第８の過程
   と、未だ三次元座標の決定していない部分を内挿法によ
   って決定する第９の過程と、大地を領域、或いは領域の
   集合（群）として他から分離する第１０の過程と、背景
   を領域、或いは領域の集合（群）として他から分離する
   第１１の過程と、背景、大地、物体の各領域の集合と物
   体のない空間とから三次元画像を構成する第１２の過程
   を具備することを特徴とする三次元画像作成方法。
4. 【請求項４】 視差のある複数の二次元画像をメモリー
   に取り込む第１の過程と、前記複数の二次元画像を修正
   する第２の過程と、それぞれの修正された二次元画像の
   線画を輝度エッジ処理及び色相エッジ処理により作成す
   る第３の過程と、ドットが集まるエッジマップを作成す
   る第４の過程と、ノイズを消去し、ベクトル化した線画
   像を作成する第５の過程と、ベクトル化された線に関し
   て三次元座標を特定して三次元画像情報を抽出する第６
   の過程と、連続する線で囲まれる最小単位の面を「領
   域」と名付け、画像を複数の領域に分解する第７の過程
   と、線と面の前後関係を明確にして、順位を付け、隠れ
   ている部分に未決定の境界と面を想定する過程と、線で
   囲まれる領域内部の三次元座標を特定する第８の過程
   と、未だ三次元座標の決定していない部分を内挿法によ
   って決定する第９の過程と、大地を領域、或いは領域の
   集合（群）として他から分離する第１０の過程と、背景
   を領域、或いは領域の集合（群）として他から分離する
   第１１の過程と、背景、大地、物体の各領域の集合と物
   体のない空間とから三次元画像を構成する第１２の過程
   と、画像処理に適した作業プレーンを作成する第１３の
   過程と、必要に応じて所定の画像処理を行う第１４の過
   程を具備することを特徴とする画像作成方法。