JP2003006616A

JP2003006616A - ３次元情報取得装置、３次元情報取得方法および３次元情報取得プログラム

Info

Publication number: JP2003006616A
Application number: JP2001183735A
Authority: JP
Inventors: Kazuhiko Takahashi; 和彦高橋
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 2001-06-18
Filing date: 2001-06-18
Publication date: 2003-01-10
Anticipated expiration: 2021-06-18
Also published as: JP4814441B2

Abstract

(57)【要約】【課題】計算量を削減することが可能な３次元情報取得
装置を提供する。【解決手段】相対距離、姿勢が既知である複数の視点
（カメラ１００，１０１）から撮像対象を撮像した画像
に基づいて撮像対象の３次元情報取得処理を行い、撮像
対象のポリゴンあるいはワイヤフレームによる３次元表
示を行う画像表示情報を取得する３次元情報取得装置で
あって、ポリゴンあるいはワイヤフレームの各頂点位置
に対応する撮像画像上の点である測定点における３次元
情報を算出する計算装置６を有し、計算装置６の算出結
果に基づいて撮像対象の３次元画像表示情報を表示装置
７に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体情報取得装
置、立体情報取得方法および立体情報取得プログラムに
関するものである。

【０００２】

【従来の技術】ステレオ撮像系によって撮像された画像
から撮影対象についての３次元情報を取得し、この３次
元情報を用いて３次元表示（ポリゴン表示）を行なう技
術が従来より知られている。例えば、特開平６−２１５
１１１号公報には３次元情報の取得方法が開示されてお
り、この取得した３次元情報に基づいて、ポリゴン表示
を行うことができる。

【０００３】ここで「ステレオ撮像系」とは、複数の視
点からの撮像系を意味している。さらに１台の撮影装置
をステレオコンバータ等を用いて複数視点の画像を得る
物や、複数の撮像装置を使用したものも含む。また、
「ステレオ撮像系によって撮像された画像」とは、複数
の視点からの画像を意味する。複数の撮像装置からの複
数の画像だけでなく、１枚の画像の中に複数の視点の画
像が埋め込まれているものも含む。

【０００４】

【発明が解決しようとする課題】上記した従来の３次元
表示方法では、３次元情報を取得するポイント（対応
点、測定点）の探索および３次元情報の取得において膨
大な計算量が必要となり、高速描画処理、小型のシステ
ムヘの導入を困難にしている。

【０００５】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、計算量を削減
することが可能な立体情報取得装置、立体情報取得方法
および立体情報取得プログラムを提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明は、相対距離、姿勢が既知である複数
の視点から撮像対象を撮像した画像に基づいて前記撮像
対象の３次元情報取得処理を行い、前記撮像対象のポリ
ゴンあるいはワイヤフレームによる３次元表示を行う画
像表示情報を取得する３次元情報取得装置であって、前
記ポリゴンあるいはワイヤフレームの各頂点位置に対応
する前記撮像画像上の点である測定点における３次元情
報を算出する計算手段を有し、前記計算手段の算出結果
に基づいて前記撮像対象の３次元画像表示情報を表示手
段に出力する。

【０００７】また、第２の発明は、第１の発明に係る３
次元情報取得装置において、前記測定点は、前記画像を
処理したことにより抽出された特徴点をもとに決定され
る。

【０００８】また、第３の発明は、第１の発明に係る３
次元情報取得装置において、前記測定点は、「前記計算
手段の計算処理能力」と「前記計算手段と周辺装置との
通信能力」と「接続される表示手段の表示能力」とによ
って、または、前記３つの能力のいずれかあるいはその
組み合わせによって決定される。

【０００９】また、第４の発明は、第１の発明に係る３
次元情報取得装置において、前記３次元情報取得装置は
操作者が設定条件を入力するための入力手段をさらに有
し、前記入力手段の設定に基づいて前記測定点を決定す
る。

【００１０】また、第５の発明は、第１の発明に係る３
次元情報取得装置において、前記測定点間の距離は、前
記撮像画像上において少なくとも４画素以上ある。

【００１１】また、第６の発明は、第１の発明に係る３
次元情報取得装置において、前記測定点間の距離は、２
のべき乗画素である。

【００１２】また、第７の発明は、第１の発明に係る３
次元情報取得装置において、前記計算手段は、前記３次
元情報算出にあたり、前記測定点間距離に基づいた縮小
率で前記撮像画像を縮小し、この縮小画像に対する測定
点間距離を１画素として前記撮像対象の３次元情報を算
出する。

【００１３】また、第８の発明は、相対距離、姿勢が既
知である複数の視点から撮像対象を撮像した画像に基づ
いて前記撮像対象の３次元情報取得処理を行い、前記撮
像対象のポリゴンあるいはワイヤフレームによる３次元
表示を行う画像表示情報を取得する３次元情報取得方法
であって、前記ポリゴンあるいはワイヤフレームの各頂
点位置に対応する前記撮像画像上の点である測定点にお
ける３次元情報を算出するステップと、このときの算出
結果に基づいて前記撮像対象の３次元画像表示情報を表
示手段に出力するステップとを具備する。

【００１４】また、第９の発明は、相対距離、姿勢が既
知である複数の視点から撮像対象を撮像した画像に基づ
いて前記撮像対象の３次元情報取得処理を行い、前記撮
像対象のポリゴンあるいはワイヤフレームによる３次元
表示を行う画像表示情報を取得する３次元情報取得プロ
グラムであって、前記ポリゴンあるいはワイヤフレーム
の各頂点位置に対応する前記撮像画像上の点である測定
点における３次元情報を算出する機能と、このときの算
出結果に基づいて前記撮像対象の３次元画像表示情報を
表示手段に出力する機能とを具備する。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。

【００１６】図１は、本発明の３次元情報取得装置の構
成を示す図であり、カメラ１００，１０１からなるステ
レオ撮像系１と、計算装置６と、表示装置７から構成さ
れる。カメラ１００，１０１は、相対距離，姿勢が既知
である複数の視点として機能する。計算装置６は、カメ
ラ１００，１０１により撮像対象を撮像した画像に基づ
いて前記撮像対象の３次元情報取得処理を行い、前記撮
像対象のポリゴンあるいはワイヤフレームによる３次元
表示を行う画像表示情報を取得する。すなわち、計算装
置６は、ポリゴンあるいはワイヤフレームの各頂点位置
に対応する前記撮像画像上の点である測定点における３
次元情報を算出し、この算出結果に基づいて前記撮像対
象の３次元画像表示情報を表示装置７に出力する。

【００１７】図２は、ステレオ立体視の基本的な概念を
説明するための図である。異なる位置に置かれた２台の
カメラ１００，１０１で構成されるステレオ撮像系１に
より同一の被撮影物４を撮影すると、左側のカメラ１０
０により撮影された被撮影物４は画面の右側の位置に撮
影され、右側のカメラ１０１により撮影された被撮影物
４は画面の左側の位置に撮影される。このとき同一の被
撮影物４を撮影しても撮影位置が異なるので写り方が異
なる。カメラ１００，１０１の位置関係があらかじめわ
かっているので、写り方の違いから被撮影物４までの距
離を測定することができる。

【００１８】図３は、複数のカメラ（ここではカメラ１
００，１０１）から構成されるステレオ撮像系１により
撮影される複数のステレオ画像２−０〜２−ｎ（以下、
ステレオ画像２と称する）を示している。これら複数の
ステレオ画像２の中から基準画像３が選択される。

【００１９】図４は、本実施形態の３次元情報取得装置
の概略構成を示すブロック図であり、ステレオ撮像系１
と、記憶装置５を有する計算装置６と、表示装置７と、
キーボード８とから構成される。

【００２０】（第１実施形態）以下、図５，図６を参照
して本発明の第１実施形態を説明する。この場合、既出
の図を適宜参照するものとする。まず、複数のカメラか
ら構成されるステレオ撮像系１により被撮影物４を撮像
し、得られたステレオ画像２を記憶装置５に格納する
（ステップＳ１）。次に、撮影により得られたステレオ
画像２の中から基準画像３を決定する（ステップＳ
２）。例えばここではステレオ画像２−１を基準画像と
する。

【００２１】次にこの基準画像３上で測距を行なうべき
測定点ａ_x,yを決定する（ステップＳ３）。次に基準画
像３上の測定点ａ_x,yに対する他のステレオ画像、ここ
ではステレオ画像２−２上の対応点ｃ_x,yを探索して、
基準画像３上の点がステレオ画像２−２上でどれほどず
れ（視差）が存在するかを探索し、その結果と、ステレ
オ撮像系１の相対位置、姿勢、光学パラメータ等から測
定点ａ_x,yまでの距離を三角測量の原理を用いて算出す
る（ステップＳ４）。算出した距離を記憶装置５に格納
する（ステップＳ５）。

【００２２】次に、被撮影物４を表示しうる測定が終了
かどうかを判断し（ステップＳ７）、ＮＯの場合には、
次に距離算出する測定点ａ_x,yの位置をｂの距離だけ離
した測定点ａ_x+1,yに決定して（ステップＳ６）、ステ
ップＳ４に戻って測定点ａ_x+1 _,yに対応する画像２−２
上の対応点ｃ_x+1,yを探索して測定点ａ_x+1,yまでの距離
を算出し、その情報を記憶装置５に格納する。ここで間
隔ｂは、基準画像３上の測定点ａ_x,yとそれに隣接する
測定点ａ_x+1,y間の距離ではなく、ポリゴン頂点の間隔
（ポリゴン間隔）としたことを特徴とする。

【００２３】以下同様に上記の処理をステップＳ７の判
断がＹＥＳとなるまで繰り返し、対応点探索を行なった
座標の情報と、算出された各点の距離情報とから被撮影
物４を表示装置７に表示するためのポリゴン９の情報を
生成する（ステップＳ８）。

【００２４】上記した第１実施形態によれば、対応点の
探索を行なう点の間隔をポリゴン頂点の間隔としたので
測距計算量の削減が可能となり対応点探索が高速に行え
るようになる。

【００２５】なお、この発明の実施の形態の各構成は、
当然、各種の変形、変更が可能である。例えば、間隔ｂ
と各測定点ａの距離の関係は同値ではなく定数倍の関係
であっても良い。また、間隔ｂは入力手段としてのキー
ボード８などから入力して変更可能としても良い。カメ
ラを３台以上使用してもよい。

【００２６】（第２実施形態）以下、図７を参照して本
発明の第２実施形態を説明する。この場合、既出の図を
適宜参照するものとする。まず、ステレオ撮像系１を構
成するカメラ１００，１０１により被撮影物４を撮影し
て（ステップＳ１１）、得られたステレオ画像２を記憶
装置５に格納する（ステップＳ１２）。次に格納した記
憶画像のうちの１枚を基準画像３とする。図８は基準画
像３の一例を示している。次に計算装置６は、この基準
画像３のエッジ情報や、分散、曲率情報などに基づいて
特徴点を抽出する。図９は上記の方法で抽出された特徴
点（黒丸の部分）を示している。基準画像３の抽出され
た特徴点上に図１０（Ａ）に示すような測定点ａを設定
し（ステップＳ１３）、この各測定点ａに対応する点を
画像２（図１０（Ｂ））上から探索して、その視差量及
びステレオ撮像系１の位置姿勢関係から各点までの距離
を算出する（ステップＳ１４）。次に算出した結果を奥
行き情報として記憶装置５に格納する（ステップＳ１
５）。次に格納された奥行き情報から被撮影物４を表示
するためのポリゴン９を生成して（ステップＳ１６）、
表示装置７に表示する（ステップＳ１７、図１１）。

【００２７】上記した第２実施形態によれば、基準画像
３上の画像特徴（エッジ情報、輝度、色相の分散、曲率
情報等）のある点を抽出し、それを測定点とする事で実
画像に合わせて最適な測定点を設定することが可能とな
り、品質の良いポリゴン情報が生成される。

【００２８】なお、この発明の実施の形態の各構成は、
当然、各種の変形、変更が可能である。例えば、間隔ｂ
と各測定点ａの距離の関係は同値ではなく定数倍の関係
であっても良い。画像特徴から特徴点を抽出する際の閾
値は入力手段としてのキーボード８などから入力して変
更可能としても良い。また、カメラを３台以上使用して
もよい。

【００２９】（第３実施形態）以下、図１２を参照して
本発明の第３実施形態を説明する。この場合、既出の図
を適宜参照するものとする。まず、計算装置６により自
らの処理能力と周辺機器との間の通信能力とをチェック
する（ステップＳ２１）。次にこのときのチェック結果
に基づいてポリゴン間隔ｂを決定する（ステップＳ２
２）。

【００３０】以下にポリゴン間隔ｂの決定の具体的な例
を説明する。例えば、ポリゴン間隔ｂ＝１、すなわち、
画面上の全ての点に対してステレオマッチングを行った
場合に出力される情報量をＡとする。また、図５で説明
した方法に従ってポリゴン生成を行ない、表示装置７の
単位時間当たりの表示可能なポリゴン数をＢとする。さ
らに、計算装置６の処理速度をＣとする。

【００３１】単位時間当たりにＢ以上のポリゴンを計算
しても意味がないことを考慮すると、

【００３２】

【数１】が成り立つので、ｂは

【００３３】

【数２】

【００３４】の関係を満たす。式２を満たす最大の整数
をｂとして決定する。ここで得られる解以上の間隔ｂを
設定してもポリゴン品質が下がるだけで、表示速度は変
わらない。

【００３５】次に、ステレオ撮像系１を構成するカメラ
１００，１０１により被撮影物４を撮影して（ステップ
Ｓ２３）、得られたステレオ画像２を記憶装置５に格納
する（ステップＳ２４）。次に格納した記憶画像のうち
の１枚を基準画像３とする。

【００３６】次に、計算装置６は自らの処理能力と周辺
機器との通信能力からポリゴン間隔ｂを決定し、この間
隔ｂに基づいて各ポリゴンの頂点ａの座標を決定する。
次に頂点ａに対応する点をステレオ画像２上から探索
し、その視差量及びステレオ撮像系１の位置姿勢関係か
ら各点までの距離を算出する（ステップＳ２５）。次に
算出結果を記憶装置５に格納する（ステップＳ２６）。
次に格納された各点の距離情報からポリゴン９を生成し
て（ステップＳ２７）、生成したポリゴン９を表示装置
７に表示する（ステップＳ２８）。

【００３７】第３実施形態では、距離ｂは、基準画像３
上の測定点ａ_x+1,yは測定点ａ_x,yの隣のピクセルではな
く、表示装置７の表示能力や計算装置６の処理能力、各
装置間の通信速度から決定されることを特徴とする。し
たがって、必要以上の計算を行わない等、性能に最適な
ポリゴン設定が可能となる。例えば、計算装置６が２の
べき乗の数に対して高速計算を行える回路を有している
場合はポリゴン間隔ｂは２のべき乗となるように決定す
る。

【００３８】２のべき乗にすると良い理由は以下の通り
である。

【００３９】１．現在殆どの計算装置の情報記録は２進
数で構成されている為、保存情報が２のべき乗であると
いう前提がある事で計算処理の高速化、計算装置の簡略
化が容易になる。

【００４０】２．画像縮小の際も２のべき乗である事で
１／２，１／４，１／８…等の縮小で補間を行う必要が
なくなる。

【００４１】３．ポリゴンにテクスチャマッピングを行
う際にレンダリングピクセル面積とテクスチャのサイズ
が大きく異なると虚像が生じるという問題があり、それ
を解決する為にテクスチャの１辺を２のべき乗にし、そ
れを複数（４×４，８×８，１６×１６，…）用意し、
レンダリング面積に一番近いサイズを使用する事が一般
に行われている。（Multum In Parvo Mapping）なお、
この発明の実施の形態の各構成は、当然、各種の変形、
変更が可能である。例えば、計算装置の処理能力や周辺
機器との通信能力から決定されるのはポリゴン間隔ｂで
はなく、測定点ａの個数でも良い。計算装置の処理能力
や周辺機器との通信能力のチェックは前もって行ってお
いてその結果を記憶装置５に格納しておいても、処理開
始時にチェックをおこなってもどちらでも良い。カメラ
を３台以上使用してもよい。

【００４２】（第４実施形態）以下、図１３，図１４を
参照して本発明の第４実施形態を説明する。この場合、
既出の図を適宜参照するものとする。まずステレオ撮像
系１を構成するカメラ１００，１０１により被撮影物４
を撮影して（ステップＳ３１）、得られたステレオ画像
２を記憶装置５に格納する（ステップＳ３２）。次に格
納した記憶画像のうちの１枚を基準画像３とする。

【００４３】計算装置６は記憶装置５に格納されている
縮小率でステレオ画像２を縮小したステレオ画像１０
（図１４）を生成して（ステップＳ３３）、記憶装置５
に格納する（ステップＳ３４）。計算装置６は公知の技
術を用いてステレオ画像１０に対してステレオマッチン
グを行い、その視差量及びステレオ撮像系１の位置姿勢
関係から各点までの距離を算出し（ステップＳ３５）、
その結果を奥行き情報として記憶装置５に格納する（ス
テップＳ３６）。次に計算装置６は、算出された奥行き
情報に基準画像３をテクスチャとして貼り付けたポリゴ
ン９を生成して（ステップＳ３７）、表示装置７に表示
する（ステップＳ３８）。

【００４４】上記した第４実施形態によれば、測定点を
間引いたのと同様の計算量削減効果があり、ポリゴン９
に貼り付けるテクスチャは基準画像３のものを使用する
ので劣化がない。

【００４５】なお、この発明の実施の形態の各構成は、
当然、各種の変形、変更が可能である。カメラを３台以
上使用してもよい。縮小率は入力手段としてのキーボー
ド８などから入力して変更可能としても良い。貼り付け
る画像は縮小前の画像を使用するのであれば、ステレオ
画像２間の合成画像を使用しても良い。

【００４６】（第５実施形態）以下、図１５を参照して
本発明の第５実施形態を説明する。まず、計算装置６に
より自らの処理能力と周辺機器との間の通信能力とをチ
ェックする（ステップＳ４１）。次にこのときのチェッ
ク結果に基づいて縮小率を決定する（ステップＳ４
２）。次にステレオ撮像系１によって被撮影物４を撮像
してステレオ画像２を取得し（ステップＳ４３）、記憶
装置５に格納する（ステップＳ４４）。その中の１枚を
基準画像３とする。

【００４７】次にステップＳ４２で決定した縮小率でス
テレオ画像２を縮小したステレオ画像１０を生成して
（ステップＳ４５）、記憶装置５に格納する（ステップ
Ｓ４６）。

【００４８】次に計算装置８は公知の技術を用いて、ス
テレオ画像１０に対してステレオマッチングを行いその
視差量及びステレオ撮像系１の位置姿勢関係から各点ま
での距離を算出して奥行き情報を生成し（ステップＳ４
７）、これを記憶装置５に格納する（ステップＳ４
８）。

【００４９】次に計算装置８は、生成された奥行き情報
に基準画像３をテクスチャとして貼り付けたポリゴン９
を生成し（ステップＳ４９）、表示装置７に表示する
（ステップＳ５０）。

【００５０】上記した第５実施形態によれば、処理装置
の性能に基づいて縮小率を決定する事で必要以上の計算
を行わない等、性能に最適なポリゴン設定が可能とな
る。例えば、計算装置６が２のべき乗の数に対して高速
計算を行える回路を有している場合は縮小率は２のべき
乗分の１（１／２^ｎ）となるように決定する。

【００５１】なお、この発明の実施の形態の各構成は、
当然、各種の変形、変更が可能である。貼り付ける画像
は縮小前の画像を使用するのであれば、ステレオ画像２
間の合成画像を使用しても良い。計算装置の処理能力や
周辺機器との通信能力のチェックは前もって行っておい
てその結果を記憶装置に格納しておいても、処理開始時
にチェックをおこなってもどちらでも良い。カメラ３台
以上使用してもよい。

【００５２】（付記）上記した具体的実施形態から以下
のような構成の発明が抽出される。

【００５３】１．相対距離、姿勢が既知である複数の視
点から撮像対象を撮像した画像に基づいて、前記撮像対
象の３次元情報取得処理を行い、前記撮像対象のポリゴ
ンあるいはワイヤフレームによる３次元表示を行う画像
表示情報を取得する３次元情報取得装置であって、前記
ポリゴンあるいはワイヤフレームの各頂点位置に対応す
る前記撮像画像上の点である測定点における３次元情報
を算出する計算手段を有し、前記計算手段の算出結果に
基づいて前記撮像対象の３次元画像表示情報を表示手段
に出力する事を特徴とする３次元情報取得装置。

【００５４】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対して、その中の一枚の画像（例
えば左右ステレオ画像ならば左画像等）を基準画像３と
する。計算装置６は基準画像３上の点ａ _x,yに対応する
その他のステレオ画像２上の点ｃ_x,yを探索して、その
視差とステレオ撮像系１の位置姿勢情報から点ａ_x,yま
での距離を三角測量の原理で算出し、その情報を記憶装
置５に格納する。次の基準画像３上の測定点ａ_x+1,yを
ａ _x,yの隣りのピクセルではなく、予定している間隔ｂ
_x,yだけ離して設定し、その測定点ａ_x+1,yに対応する
ステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1, _yま
での距離を算出し、その情報を記憶装置５に格納する。
以下同様にこの処理を繰り返し、対応点探索を行った座
標の情報と算出された距離情報から被撮影物４を表示す
る為のポリゴン９情報が出力される。

【００５５】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第１実施形態に対応する。
関連する図は図１〜図６である。

【００５６】（効果）対応点探索を行う点の間隔をポリ
ゴン頂点の間隔とする事で実質的に探索すべき対応点の
総数が減るため、計算量が減少する。

【００５７】２．前記測定点は、前記画像を処理した事
により抽出された特徴点に基いて決定される事を特徴と
する１．に記載の３次元情報取得装置。

【００５８】（作用）ステレオ撮像系１によって撮影さ
れた被撮影物４のステレオ画像２が記憶装置５に格納さ
れる。その中の一枚を基準画像３とする。計算装置６は
基準画像３のエッジ情報や、分散、曲率情報などから特
徴点を抽出する。抽出された点を測定点ａとし各点に対
応する点をステレオ画像２上から探索し、その視差量及
びステレオ撮像系１の位置姿勢関係から各点までの距離
を算出し、その結果を奥行き情報として算出された情報
から被撮影物４を表示する為のポリゴン９が生成され
る。

【００５９】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第２実施形態に対応する。
関連する図は図１〜図４、図７〜図１１である。

【００６０】（効果）対応点探索を行う点の間隔を特徴
点の間隔とする事で実質的に探索すべき対応点の総数が
減るため、計算量が減少する。

【００６１】３．前記測定点は、「前記計算手段の計算
処理能力」と「前記計算手段と周辺装置との通信能力」
と「接続される表示手段の表示能力」とによって、また
は、前記３つの能力のいずれかあるいはその組み合わせ
によって決定される事を特徴とする１．に記載の３次元
情報取得装置。

【００６２】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第３実施形態に対応する。
関連する図は図１〜図４、図１２である。

【００６３】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対してその中の一枚の画像（例え
ば左右ステレオ画像ならば左画像等）を基準画像３とす
る。計算装置６は基準画像３上の点ａ_x, _yに対応するそ
の他のステレオ画像２上の点ｃ_x,yを探索して、その視
差とステレオ撮像系の位置姿勢情報から点ａ_x,yまでの
距離を三角測量の原理で算出し、その情報を記憶装置５
に格納する。次の基準画像３上の測定点ａ_x+1,yをａ
_x,yの隣りのピクセルではなく、表示装置７の表示能力
や計算装置６の処理能力、各装置間の通信速度から決定
される間隔ｂ_x,yだけ離して設定し、その測定点ａ_x+
_1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索し
て測定点ａ_x+1,yまでの距離を算出し、その情報を記憶
装置５に格納する。以下同様にこの処理を繰り返し、対
応点探索を行った座標の情報と算出された距離情報から
被撮影物４を表示する為のポリゴン９情報が出力され
る。

【００６４】（効果）装置の性能に合わせて計算量を変
える事ができる。

【００６５】４．前記３次元情報取得装置は操作者が設
定条件を入力するための入力手段をさらに有し、前記入
力手段の設定に基づいて前記測定点を決定する事を特徴
とする１．に記載の３次元情報取得装置。

【００６６】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第１，２，４実施形態が対
応する。関連する図は図１〜図４（特に図４のキーボー
ド８）である。

【００６７】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対して、その中の一枚の画像（例
えば左右ステレオ画像ならば左画像等）を基準画像３と
する。計算装置６は基準画像３上の点ａ _x,yに対応する
その他のステレオ画像２上の点ｃ_x,yを探索して、その
視差とステレオ撮像系の位置姿勢情報から点ａ_x,yまで
の距離を三角測量の原理で算出し、その情報を記憶装置
５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ
_x, _yの隣りのピクセルではなく、入力装置８によって入
力された間隔ｂ_x,y（座標でも可）だけ離して設定し、
その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ
_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その
情報を記憶装置５に格納する。以下同様にこの処理を繰
り返し、対応点探索を行った座標の情報と算出された距
離情報から被撮影物４を表示する為のポリゴン９情報が
出力される。

【００６８】（効果）操作者の望むポリゴン品質を設定
できる。

【００６９】５．前記測定点間の距離は、前記撮像画像
上において少なくとも４画素以上ある事を特徴とする
１．に記載の３次元情報取得装置。

【００７０】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第３実施形態が対応する。
関連する図は図１〜図６である。

【００７１】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対して、その中の一枚の画像（例
えば左右ステレオ画像ならば左画像等）を基準画像３と
する。計算装置６は基準画像３上の点ａ _x,yに対応する
その他のステレオ画像２上の点ｃ_x,yを探索して、その
視差とステレオ撮像系の位置姿勢情報から測定点ａ_x,y
までの距離を三角測量の原理で算出し、その情報を記憶
装置５に格納する。次の基準画像３上の測定点ａ_x+1,y
をａ_x,yの隣りのピクセルではなく、入力している間隔
ｂ_x,y（距離４画素以上）だけ離して設定し、その測定
点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1, _yを
探索して点ａ_x+1,yまでの距離を算出し、その情報を記
憶装置５に格納する。以下同様にこの処理を繰り返し、
対応点探索を行った座標の情報と算出された距離情報か
ら被撮影物４を表示する為のポリゴン９情報が出力され
る。

【００７２】（効果）対応点探索を行う点の間隔をポリ
ゴン頂点の間隔（距離４画素以上）とする事で実質的に
探索すべき対応点の総数が減るため、計算量が減少す
る。

【００７３】６．前記測定点間の距離は、２のべき乗画
素である事を特徴とする１．に記載の３次元情報取得装
置。

【００７４】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第３実施形態が対応する。
関連する図は図１〜図６である。

【００７５】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対して、その中の一枚の画像（例
えば左右ステレオ画像ならば左画像等）を基準画像３と
する。計算装置６は基準画像３上の測定点ａ_x,yに対応
するその他のステレオ画像２上の点ｃ_x,yを探索して、
その視差とステレオ撮像系の位置姿勢情報から測定点ａ
_x,yまでの距離を三角測量の原理で算出し、その情報を
記憶装置５に格納する。次の基準画像３上の測定点ａ
_x+1, _yをａ_x,yの隣りのピクセルではなく、予定してい
る間隔ｂ_x,y（距離は２のべき乗）だけ離して設定し、
その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ
_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その
情報を記憶装置５に格納する。以下同様にこの処理を繰
り返し、対応点探索を行った座標の情報と算出された距
離情報から被撮影物４を表示する為のポリゴン９情報が
出力される。

【００７６】（効果）対応点探索を行う点の間隔をポリ
ゴン頂点の間隔とする事で実質的に探索すべき対応点の
総数が減るため、計算量が減少する。

【００７７】また、頂点間隔を２のべき乗とする事でハ
ードウェア上で高速処理を行う事が容易になる。

【００７８】７．前記計算手段は、前記３次元情報算出
にあたり、前記測定点間距離に基づいた縮小率で前記撮
像画像を縮小し、この縮小画像に対する測定点間距離を
１画素として前記撮像対象の３次元情報を算出する事を
特徴とする１．に記載の３次元情報取得装置。

【００７９】（対応する発明の実施の形態）この発明に
関する実施の形態は上記した第４、５実施形態が対応す
る。関連する図は図１〜図４、図１３，図１４である。

【００８０】（作用）ステレオ撮像系１によって得られ
た被撮影物４のステレオ画像２を記憶装置５に格納す
る。ステレオ画像２に対して、その中の一枚の画像（例
えば左右ステレオ画像ならば左画像等）を基準画像３と
する。計算装置６は複数のステレオ画像２を縮小したス
テレオ画像１０を生成して記憶装置５に格納する。計算
装置８は複数のステレオ画像１０に対して公知の技術を
用いてステレオマッチングを行い立体情報を算出して記
憶装置５に格納する。計算装置６は算出された立体情報
からポリゴン９を生成し、その表面にはステレオ画像２
を使用したポリゴン９の情報を出力する。

【００８１】（効果）縮小された画像に対してステレオ
マッチングを行う事は縮小しない画像に対して行う場合
と比べて計算量が少なくてすみ、貼り付けるテクスチャ
は縮小前の物を使用する事で表示されるポリゴンの表面
劣化は少なくてすむ。

【００８２】８．相対距離、姿勢が既知である複数の視
点から撮像対象を撮像した画像に基づいて、前記撮像対
象の３次元情報取得処理を行い、前記撮像対象のポリゴ
ンあるいはワイヤフレームによる３次元表示を行う画像
表示情報を取得する３次元情報取得方法であって、前記
ポリゴンあるいはワイヤフレームの各頂点位置に対応す
る前記撮像画像上の点である測定点における３次元情報
を算出し、このときの算出結果に基づいて前記撮像対象
の３次元画像表示情報を表示手段に出力する事を特徴と
する３次元情報取得方法。

【００８３】９．前記測定点は、前記画像を処理した事
により抽出された特徴点に基いて決定される事を特徴と
する８．に記載の３次元情報取得方法。

【００８４】１０．前記測定点は、「前記計算手段の計
算処理能力」と「前記計算手段と周辺装置との通信能
力」と「接続される表示手段の表示能力」とによって、
または、前記３つの能力のいずれかあるいはその組み合
わせによって、決定される事を特徴とする８．に記載の
３次元情報取得方法。

【００８５】１１．操作者が設定条件を入力するための
入力手段をさらに有し、前記入力手段の設定に基づいて
前記測定点を決定する事を特徴とする８．に記載の３次
元情報取得方法。

【００８６】１２．前記測定点間の距離は、前記撮像画
像上において少なくとも４画素以上ある事を特徴とする
８．に記載の３次元情報取得方法。

【００８７】１３．前記測定点間の距離は、２のべき乗
画素である事を特徴とする８．に記載の３次元情報取得
方法。

【００８８】１４．前記３次元情報算出にあたり、前記
測定点間距離に基づいた縮小率で前記撮像画像を縮小
し、この縮小画像に対する測定点間距離を１画素として
前記撮像対象の３次元情報を算出する事を特徴とする
８．に記載の３次元情報取得方法。

【００８９】１５．相対距離、姿勢が既知である複数の
視点から撮像対象を撮像した画像に基づいて、前記撮像
対象の３次元情報取得処理を行い、前記撮像対象のポリ
ゴンあるいはワイヤフレームによる３次元表示を行う画
像表示情報を取得する３次元情報取得プログラムであっ
て、前記ポリゴンあるいはワイヤフレームの各項点位置
に対応する前記撮像画像上の点である測定点における３
次元情報を算出する機能と、前記計算手段の算出結果に
基づいて前記撮像対象の３次元画像表示情報を表示手段
に出力する機能と、を具備することを特徴とする３次元
情報取得プログラム。

【００９０】１６．前記測定点は、前記画像を処理した
事により抽出された特徴点に基いて決定される事を特徴
とする１５．に記載の３次元情報取得プログラム。

【００９１】１７．前記測定点は、「前記計算手段の計
算処理能力」と「前記計算手段と周辺装置との通信能
力」と「接続される表示手段の表示能力」とによって、
または、前記３つの能力のいずれかあるいはその組み合
わせによって、決定される事を特徴とする１５．に記載
の３次元情報取得プログラム。

【００９２】１８．操作者が設定条件を入力するための
入力手段をさらに有し、前記入力手段の設定に基づいて
前記測定点を決定する事を特徴とする１５．に記載の３
次元情報取得プログラム。

【００９３】１９．前記測定点間の距離は、前記撮像画
像上において少なくとも４画素以上ある事を特徴とする
１５．に記載の３次元情報取得プログラム。

【００９４】２０．前記測定点間の距離は、２のべき乗
画素である事を特徴とする１５．に記載の３次元情報取
得プログラム。

【００９５】２１．前記３次元情報算出にあたり、前記
測定点間距離に基づいた縮小率で前記撮像画像を縮小
し、この縮小画像に対する測定点間距離を１画素として
前記撮像対象の３次元情報を算出する事を特徴とする１
５．に記載の３次元情報取得プログラム。

【００９６】

【発明の効果】本発明によれば、対応点探索を行なう点
の間隔をポリゴン頂点の間隔としたので、実質的に探索
すべき対応点の総数が減ることにより計算量が減少す
る、という効果を奏する。

【図面の簡単な説明】

【図１】本発明の３次元情報取得装置の構成を示す図で
ある。

【図２】ステレオ立体視の基本的な概念を説明するため
の図である。

【図３】複数のカメラから構成されるステレオ撮像系１
により撮影される複数の画像２−０〜２−ｎを示す図で
ある。

【図４】本実施形態の３次元情報取得装置の概略構成を
示すブロック図である。

【図５】本発明の第１実施形態に係る３次元情報取得方
法を説明するためのフローチャートである。

【図６】本発明の第１実施形態に係る３次元情報取得方
法を説明するための模式図である。

【図７】本発明の第２実施形態に係る３次元情報取得方
法を説明するためのフローチャートである。

【図８】基準画像３の一例を示す図である。

【図９】本実施形態の方法により抽出された特徴点（黒
丸の部分）を示す図である。

【図１０】基準画像３上の各測定点ａに対応する点を画
像２上から探索する方法を説明する図である。

【図１１】格納された奥行き情報から生成されたポリゴ
ン９を示す図である。

【図１２】本発明の第３実施形態に係る３次元情報取得
方法を説明するためのフローチャートである。

【図１３】本発明の第４実施形態に係る３次元情報取得
方法を説明するためのフローチャートである。

【図１４】ステレオ画像２とこのステレオ画像２を所定
の縮小率で縮小して得られる縮小ステレオ画像１０を示
す図である。

【図１５】本発明の第５実施形態に係る３次元情報取得
方法を説明するためのフローチャートである。

【符号の説明】

１ステレオ撮像系２（２−０〜２−ｎ）ステレオ画像３基準画像４被撮影物５記憶装置６計算装置７表示装置８キーボード１０（１０−０〜１０−ｎ）縮小ステレオ画像１００カメラ１０１カメラ

Claims

【特許請求の範囲】

【請求項１】相対距離、姿勢が既知である複数の視点
から撮像対象を撮像した画像に基づいて前記撮像対象の
３次元情報取得処理を行い、前記撮像対象のポリゴンあ
るいはワイヤフレームによる３次元表示を行う画像表示
情報を取得する３次元情報取得装置であって、前記ポリゴンあるいはワイヤフレームの各頂点位置に対
応する前記撮像画像上の点である測定点における３次元
情報を算出する計算手段を有し、前記計算手段の算出結果に基づいて前記撮像対象の３次
元画像表示情報を表示手段に出力することを特徴とする
３次元情報取得装置。
【請求項２】前記測定点は、前記画像を処理したこと
により抽出された特徴点をもとに決定されることを特徴
とする請求項１に記載の３次元情報取得装置。
【請求項３】前記測定点は、「前記計算手段の計算処
理能力」と「前記計算手段と周辺装置との通信能力」と
「接続される表示手段の表示能力」とによって、また
は、前記３つの能力のいずれかあるいはその組み合わせ
によって、決定されることを特徴とする請求項１記載の
３次元情報取得装置。
【請求項４】前記３次元情報取得装置は操作者が設定
条件を入力するための入力手段をさらに有し、前記入力
手段の設定に基づいて前記測定点を決定することを特徴
とする請求項１に記載の３次元情報取得装置。
【請求項５】前記測定点間の距離は、前記撮像画像上
において少なくとも４画素以上あることを特徴とする請
求項１記載の３次元情報取得装置。
【請求項６】前記測定点間の距離は、２のべき乗画素
であることを特徴とする請求項１記載の３次元情報取得
装置。
【請求項７】前記計算手段は、前記３次元情報算出に
あたり、前記測定点間距離に基づいた縮小率で前記撮像
画像を縮小し、この縮小画像に対する測定点間距離を１
画素として前記撮像対象の３次元情報を算出することを
特徴とする請求項１記載の３次元情報取得装置。
【請求項８】相対距離、姿勢が既知である複数の視
点から撮像対象を撮像した画像に基づいて前記撮像対象
の３次元情報取得処理を行い、前記撮像対象のポリゴン
あるいはワイヤフレームによる３次元表示を行う画像表
示情報を取得する３次元情報取得方法であって、前記ポリゴンあるいはワイヤフレームの各頂点位置に対
応する前記撮像画像上の点である測定点における３次元
情報を算出するステップと、このときの算出結果に基づいて前記撮像対象の３次元画
像表示情報を表示手段に出力するステップとを具備する
ことを特徴とする３次元情報取得方法。
【請求項９】相対距離、姿勢が既知である複数の視点
から撮像対象を撮像した画像に基づいて前記撮像対象の
３次元情報取得処理を行い、前記撮像対象のポリゴンあ
るいはワイヤフレームによる３次元表示を行う画像表示
情報を取得する３次元情報取得プログラムであって、前記ポリゴンあるいはワイヤフレームの各頂点位置に対
応する前記撮像画像上の点である測定点における３次元
情報を算出する機能と、このときの算出結果に基づいて
前記撮像対象の３次元画像表示情報を表示手段に出力す
る機能とを具備することを特徴とする３次元情報取得プ
ログラム。