JP4814441B2

JP4814441B2 - 3D information acquisition device

Info

Publication number: JP4814441B2
Application number: JP2001183735A
Authority: JP
Inventors: 和彦高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-06-18
Filing date: 2001-06-18
Publication date: 2011-11-16
Anticipated expiration: 2021-06-18
Also published as: JP2003006616A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元情報取得装置に関するものである。
【０００２】
【従来の技術】
ステレオ撮像系によって撮像された画像から撮影対象についての３次元情報を取得し、この３次元情報を用いて３次元表示（ポリゴン表示）を行なう技術が従来より知られている。例えば、特開平６−２１５１１１号公報には３次元情報の取得方法が開示されており、この取得した３次元情報に基づいて、ポリゴン表示を行うことができる。
【０００３】
ここで「ステレオ撮像系」とは、複数の視点からの撮像系を意味している。さらに１台の撮影装置をステレオコンバータ等を用いて複数視点の画像を得る物や、複数の撮像装置を使用したものも含む。また、「ステレオ撮像系によって撮像された画像」とは、複数の視点からの画像を意味する。複数の撮像装置からの複数の画像だけでなく、１枚の画像の中に複数の視点の画像が埋め込まれているものも含む。
【０００４】
【発明が解決しようとする課題】
上記した従来の３次元表示方法では、３次元情報を取得するポイント（対応点、測定点）の探索および３次元情報の取得において膨大な計算量が必要となり、高速描画処理、小型のシステムヘの導入を困難にしている。
【０００５】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、計算量を削減することが可能な３次元情報取得装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、操作者が設定条件を入力するための入力手段と、前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、この頂点に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段と、を有し、前記入力手段の設定に基づいて前記測定点を移動決定し、前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
図１は、本発明の３次元情報取得装置の構成を示す図であり、カメラ１００，１０１からなるステレオ撮像系１と、計算装置６と、表示装置７から構成される。カメラ１００，１０１は、相対距離，姿勢が既知である複数の視点として機能する。計算装置６は、カメラ１００，１０１により撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する。すなわち、計算装置６は、ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出し、この算出結果に基づいて前記撮像対象の３次元画像表示情報を表示装置７に出力する。
【００１７】
図２は、ステレオ立体視の基本的な概念を説明するための図である。異なる位置に置かれた２台のカメラ１００，１０１で構成されるステレオ撮像系１により同一の被撮影物４を撮影すると、左側のカメラ１００により撮影された被撮影物４は画面の右側の位置に撮影され、右側のカメラ１０１により撮影された被撮影物４は画面の左側の位置に撮影される。このとき同一の被撮影物４を撮影しても撮影位置が異なるので写り方が異なる。カメラ１００，１０１の位置関係があらかじめわかっているので、写り方の違いから被撮影物４までの距離を測定することができる。
【００１８】
図３は、複数のカメラ（ここではカメラ１００，１０１）から構成されるステレオ撮像系１により撮影される複数のステレオ画像２−０〜２−ｎ（以下、ステレオ画像２と称する）を示している。これら複数のステレオ画像２の中から基準画像３が選択される。
【００１９】
図４は、本実施形態の３次元情報取得装置の概略構成を示すブロック図であり、ステレオ撮像系１と、記憶装置５を有する計算装置６と、表示装置７と、キーボード８とから構成される。
【００２０】
（第１実施形態）
以下、図５，図６を参照して本発明の第１実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、複数のカメラから構成されるステレオ撮像系１により被撮影物４を撮像し、得られたステレオ画像２を記憶装置５に格納する（ステップＳ１）。次に、撮影により得られたステレオ画像２の中から基準画像３を決定する（ステップＳ２）。例えばここではステレオ画像２−１を基準画像とする。
【００２１】
次にこの基準画像３上で測距を行なうべき測定点ａ_x,yを決定する（ステップＳ３）。次に基準画像３上の測定点ａ_x,yに対する他のステレオ画像、ここではステレオ画像２−２上の対応点ｃ_x,yを探索して、基準画像３上の点がステレオ画像２−２上でどれほどずれ（視差）が存在するかを探索し、その結果と、ステレオ撮像系１の相対位置、姿勢、光学パラメータ等から測定点ａ_x,yまでの距離を三角測量の原理を用いて算出する（ステップＳ４）。算出した距離を記憶装置５に格納する（ステップＳ５）。
【００２２】
次に、被撮影物４を表示しうる測定が終了かどうかを判断し（ステップＳ７）、ＮＯの場合には、次に距離算出する測定点ａ_x,yの位置をｂの距離だけ離した測定点ａ_x+1,yに決定して（ステップＳ６）、ステップＳ４に戻って測定点ａ_x+1,yに対応する画像２−２上の対応点ｃ_x+1,yを探索して測定点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。ここで間隔ｂは、基準画像３上の測定点ａ_x,yとそれに隣接する測定点ａ_x+1,y間の距離ではなく、ポリゴン頂点の間隔（ポリゴン間隔）としたことを特徴とする。
【００２３】
以下同様に上記の処理をステップＳ７の判断がＹＥＳとなるまで繰り返し、対応点探索を行なった座標の情報と、算出された各点の距離情報とから被撮影物４を表示装置７に表示するためのポリゴン９の情報を生成する（ステップＳ８）。
【００２４】
上記した第１実施形態によれば、対応点の探索を行なう点の間隔をポリゴン頂点の間隔としたので測距計算量の削減が可能となり対応点探索が高速に行えるようになる。
【００２５】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔ｂと各測定点ａの距離の関係は同値ではなく定数倍の関係であっても良い。また、間隔ｂは入力手段としてのキーボード８などから入力して変更可能としても良い。カメラを３台以上使用してもよい。
【００２６】
（第２実施形態）
以下、図７を参照して本発明の第２実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、ステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ１１）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ１２）。次に格納した記憶画像のうちの１枚を基準画像３とする。図８は基準画像３の一例を示している。次に計算装置６は、この基準画像３のエッジ情報や、分散、曲率情報などに基づいて特徴点を抽出する。図９は上記の方法で抽出された特徴点（黒丸の部分）を示している。基準画像３の抽出された特徴点上に図１０（Ａ）に示すような測定点ａを設定し（ステップＳ１３）、この各測定点ａに対応する点を画像２（図１０（Ｂ））上から探索して、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出する（ステップＳ１４）。次に算出した結果を奥行き情報として記憶装置５に格納する（ステップＳ１５）。次に格納された奥行き情報から被撮影物４を表示するためのポリゴン９を生成して（ステップＳ１６）、表示装置７に表示する（ステップＳ１７、図１１）。
【００２７】
上記した第２実施形態によれば、基準画像３上の画像特徴（エッジ情報、輝度、色相の分散、曲率情報等）のある点を抽出し、それを測定点とする事で実画像に合わせて最適な測定点を設定することが可能となり、品質の良いポリゴン情報が生成される。
【００２８】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔ｂと各測定点ａの距離の関係は同値ではなく定数倍の関係であっても良い。画像特徴から特徴点を抽出する際の閾値は入力手段としてのキーボード８などから入力して変更可能としても良い。また、カメラを３台以上使用してもよい。
【００２９】
（第３実施形態）
以下、図１２を参照して本発明の第３実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、計算装置６により自らの処理能力と周辺機器との間の通信能力とをチェックする（ステップＳ２１）。次にこのときのチェック結果に基づいてポリゴン間隔ｂを決定する（ステップＳ２２）。
【００３０】
以下にポリゴン間隔ｂの決定の具体的な例を説明する。例えば、ポリゴン間隔ｂ＝１、すなわち、画面上の全ての点に対してステレオマッチングを行った場合に出力される情報量をＡとする。また、図５で説明した方法に従ってポリゴン生成を行ない、表示装置７の単位時間当たりの表示可能なポリゴン数をＢとする。さらに、計算装置６の処理速度をＣとする。
【００３１】
単位時間当たりにＢ以上のポリゴンを計算しても意味がないことを考慮すると、
【００３２】
【数１】

が成り立つので、ｂは
【００３３】
【数２】

【００３４】
の関係を満たす。式２を満たす最大の整数をｂとして決定する。ここで得られる解以上の間隔ｂを設定してもポリゴン品質が下がるだけで、表示速度は変わらない。
【００３５】
次に、ステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ２３）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ２４）。次に格納した記憶画像のうちの１枚を基準画像３とする。
【００３６】
次に、計算装置６は自らの処理能力と周辺機器との通信能力からポリゴン間隔ｂを決定し、この間隔ｂに基づいて各ポリゴンの頂点ａの座標を決定する。次に頂点ａに対応する点をステレオ画像２上から探索し、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出する（ステップＳ２５）。次に算出結果を記憶装置５に格納する（ステップＳ２６）。次に格納された各点の距離情報からポリゴン９を生成して（ステップＳ２７）、生成したポリゴン９を表示装置７に表示する（ステップＳ２８）。
【００３７】
第３実施形態では、距離ｂは、基準画像３上の測定点ａ_x+1,yは測定点ａ_x,yの隣のピクセルではなく、表示装置７の表示能力や計算装置６の処理能力、各装置間の通信速度から決定されることを特徴とする。したがって、必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置６が２のべき乗の数に対して高速計算を行える回路を有している場合はポリゴン間隔ｂは２のべき乗となるように決定する。
【００３８】
２のべき乗にすると良い理由は以下の通りである。
【００３９】
１．現在殆どの計算装置の情報記録は２進数で構成されている為、保存情報が２のべき乗であるという前提がある事で計算処理の高速化、計算装置の簡略化が容易になる。
【００４０】
２．画像縮小の際も２のべき乗である事で１／２，１／４，１／８…等の縮小で補間を行う必要がなくなる。
【００４１】
３．ポリゴンにテクスチャマッピングを行う際にレンダリングピクセル面積とテクスチャのサイズが大きく異なると虚像が生じるという問題があり、それを解決する為にテクスチャの１辺を２のべき乗にし、それを複数（４×４，８×８，１６×１６，…）用意し、レンダリング面積に一番近いサイズを使用する事が一般に行われている。（Multum In Parvo Mapping）
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、計算装置の処理能力や周辺機器との通信能力から決定されるのはポリゴン間隔ｂではなく、測定点ａの個数でも良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置５に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラを３台以上使用してもよい。
【００４２】
（第４実施形態）
以下、図１３，図１４を参照して本発明の第４実施形態を説明する。この場合、既出の図を適宜参照するものとする。まずステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ３１）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ３２）。次に格納した記憶画像のうちの１枚を基準画像３とする。
【００４３】
計算装置６は記憶装置５に格納されている縮小率でステレオ画像２を縮小したステレオ画像１０（図１４）を生成して（ステップＳ３３）、記憶装置５に格納する（ステップＳ３４）。計算装置６は公知の技術を用いてステレオ画像１０に対してステレオマッチングを行い、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出し（ステップＳ３５）、その結果を奥行き情報として記憶装置５に格納する（ステップＳ３６）。次に計算装置６は、算出された奥行き情報に基準画像３をテクスチャとして貼り付けたポリゴン９を生成して（ステップＳ３７）、表示装置７に表示する（ステップＳ３８）。
【００４４】
上記した第４実施形態によれば、測定点を間引いたのと同様の計算量削減効果があり、ポリゴン９に貼り付けるテクスチャは基準画像３のものを使用するので劣化がない。
【００４５】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。カメラを３台以上使用してもよい。縮小率は入力手段としてのキーボード８などから入力して変更可能としても良い。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像２間の合成画像を使用しても良い。
【００４６】
（第５実施形態）
以下、図１５を参照して本発明の第５実施形態を説明する。まず、計算装置６により自らの処理能力と周辺機器との間の通信能力とをチェックする（ステップＳ４１）。次にこのときのチェック結果に基づいて縮小率を決定する（ステップＳ４２）。次にステレオ撮像系１によって被撮影物４を撮像してステレオ画像２を取得し（ステップＳ４３）、記憶装置５に格納する（ステップＳ４４）。その中の１枚を基準画像３とする。
【００４７】
次にステップＳ４２で決定した縮小率でステレオ画像２を縮小したステレオ画像１０を生成して（ステップＳ４５）、記憶装置５に格納する（ステップＳ４６）。
【００４８】
次に計算装置８は公知の技術を用いて、ステレオ画像１０に対してステレオマッチングを行いその視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出して奥行き情報を生成し（ステップＳ４７）、これを記憶装置５に格納する（ステップＳ４８）。
【００４９】
次に計算装置８は、生成された奥行き情報に基準画像３をテクスチャとして貼り付けたポリゴン９を生成し（ステップＳ４９）、表示装置７に表示する（ステップＳ５０）。
【００５０】
上記した第５実施形態によれば、処理装置の性能に基づいて縮小率を決定する事で必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置６が２のべき乗の数に対して高速計算を行える回路を有している場合は縮小率は２のべき乗分の１（１／２^ｎ）となるように決定する。
【００５１】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像２間の合成画像を使用しても良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラ３台以上使用してもよい。
【００５２】
（付記）
上記した具体的実施形態から以下のような構成の発明が抽出される。
【００５３】
１．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段を有し、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する事を特徴とする３次元情報取得装置。
【００５４】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系１の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、予定している間隔ｂ_x,yだけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００５５】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１実施形態に対応する。関連する図は図１〜図６である。
【００５６】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００５７】
２．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする１．に記載の３次元情報取得装置。
【００５８】
（作用）
ステレオ撮像系１によって撮影された被撮影物４のステレオ画像２が記憶装置５に格納される。その中の一枚を基準画像３とする。計算装置６は基準画像３のエッジ情報や、分散、曲率情報などから特徴点を抽出する。抽出された点を測定点ａとし各点に対応する点をステレオ画像２上から探索し、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出し、その結果を奥行き情報として算出された情報から被撮影物４を表示する為のポリゴン９が生成される。
【００５９】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第２実施形態に対応する。関連する図は図１〜図４、図７〜図１１である。
【００６０】
（効果）
対応点探索を行う点の間隔を特徴点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００６１】
３．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって決定される事を特徴とする１．に記載の３次元情報取得装置。
【００６２】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態に対応する。関連する図は図１〜図４、図１２である。
【００６３】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対してその中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、表示装置７の表示能力や計算装置６の処理能力、各装置間の通信速度から決定される間隔ｂ_x,yだけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して測定点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００６４】
（効果）
装置の性能に合わせて計算量を変える事ができる。
【００６５】
４．
前記３次元情報取得装置は操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする１．に記載の３次元情報取得装置。
【００６６】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１，２，４実施形態が対応する。関連する図は図１〜図４（特に図４のキーボード８）である。
【００６７】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、入力装置８によって入力された間隔ｂ_x,y（座標でも可）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００６８】
（効果）
操作者の望むポリゴン品質を設定できる。
【００６９】
５．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする１．に記載の３次元情報取得装置。
【００７０】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態が対応する。関連する図は図１〜図６である。
【００７１】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、入力している間隔ｂ_x,y（距離４画素以上）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００７２】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔（距離４画素以上）とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００７３】
６．
前記測定点間の距離は、２のべき乗画素である事を特徴とする１．に記載の３次元情報取得装置。
【００７４】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態が対応する。関連する図は図１〜図６である。
【００７５】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の測定点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、予定している間隔ｂ_x,y（距離は２のべき乗）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００７６】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００７７】
また、頂点間隔を２のべき乗とする事でハードウェア上で高速処理を行う事が容易になる。
【００７８】
７．
前記計算手段は、前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする１．に記載の３次元情報取得装置。
【００７９】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第４、５実施形態が対応する。関連する図は図１〜図４、図１３，図１４である。
【００８０】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は複数のステレオ画像２を縮小したステレオ画像１０を生成して記憶装置５に格納する。計算装置８は複数のステレオ画像１０に対して公知の技術を用いてステレオマッチングを行い立体情報を算出して記憶装置５に格納する。計算装置６は算出された立体情報からポリゴン９を生成し、その表面にはステレオ画像２を使用したポリゴン９の情報を出力する。
【００８１】
（効果）
縮小された画像に対してステレオマッチングを行う事は縮小しない画像に対して行う場合と比べて計算量が少なくてすみ、貼り付けるテクスチャは縮小前の物を使用する事で表示されるポリゴンの表面劣化は少なくてすむ。
【００８２】
８．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得方法であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出し、このときの算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する事を特徴とする３次元情報取得方法。
【００８３】
９．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする８．に記載の３次元情報取得方法。
【００８４】
１０．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする８．に記載の３次元情報取得方法。
【００８５】
１１．
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする８．に記載の３次元情報取得方法。
【００８６】
１２．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする８．に記載の３次元情報取得方法。
【００８７】
１３．
前記測定点間の距離は、２のべき乗画素である事を特徴とする８．に記載の３次元情報取得方法。
【００８８】
１４．
前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする８．に記載の３次元情報取得方法。
【００８９】
１５．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得プログラムであって、
前記ポリゴンあるいはワイヤフレームの各項点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出する機能と、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する機能と、
を具備することを特徴とする３次元情報取得プログラム。
【００９０】
１６．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９１】
１７．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９２】
１８．
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９３】
１９．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９４】
２０．
前記測定点間の距離は、２のべき乗画素である事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９５】
２１．
前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９６】
【発明の効果】
本発明によれば、対応点探索を行なう点の間隔をポリゴン頂点の間隔としたので、実質的に探索すべき対応点の総数が減ることにより計算量が減少し、さらに、操作者が入力した設定に基づいて３次元情報を算出する測定点を移動決定するようにしたので、操作者の望むポリゴン品質を設定できる、という効果を奏する。
【図面の簡単な説明】
【図１】本発明の３次元情報取得装置の構成を示す図である。
【図２】ステレオ立体視の基本的な概念を説明するための図である。
【図３】複数のカメラから構成されるステレオ撮像系１により撮影される複数の画像２−０〜２−ｎを示す図である。
【図４】本実施形態の３次元情報取得装置の概略構成を示すブロック図である。
【図５】本発明の第１実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図６】本発明の第１実施形態に係る３次元情報取得方法を説明するための模式図である。
【図７】本発明の第２実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図８】基準画像３の一例を示す図である。
【図９】本実施形態の方法により抽出された特徴点（黒丸の部分）を示す図である。
【図１０】基準画像３上の各測定点ａに対応する点を画像２上から探索する方法を説明する図である。
【図１１】格納された奥行き情報から生成されたポリゴン９を示す図である。
【図１２】本発明の第３実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図１３】本発明の第４実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図１４】ステレオ画像２とこのステレオ画像２を所定の縮小率で縮小して得られる縮小ステレオ画像１０を示す図である。
【図１５】本発明の第５実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【符号の説明】
１ステレオ撮像系
２（２−０〜２−ｎ）ステレオ画像
３基準画像
４被撮影物
５記憶装置
６計算装置
７表示装置
８キーボード
１０（１０−０〜１０−ｎ）縮小ステレオ画像
１００カメラ
１０１カメラ[0001]
BACKGROUND OF THE INVENTION
The present invention For 3D information acquisition device It is related.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique for acquiring three-dimensional information about a subject to be captured from an image captured by a stereo imaging system and performing three-dimensional display (polygon display) using the three-dimensional information is known. For example, Japanese Patent Laid-Open No. 6-215111 discloses a method for acquiring three-dimensional information, and polygon display can be performed based on the acquired three-dimensional information.
[0003]
Here, the “stereo imaging system” means an imaging system from a plurality of viewpoints. Furthermore, the thing which acquires the image of a several viewpoint using one stereo imaging device etc. using a stereo converter etc., and the thing using a some imaging device are included. The “image captured by the stereo imaging system” means images from a plurality of viewpoints. This includes not only a plurality of images from a plurality of imaging devices but also a plurality of viewpoint images embedded in one image.
[0004]
[Problems to be solved by the invention]
In the conventional three-dimensional display method described above, a huge amount of calculation is required for searching for points (corresponding points, measurement points) for acquiring three-dimensional information and acquiring three-dimensional information. It is difficult to introduce.
[0005]
The present invention has been made paying attention to such a problem, and the object is to reduce the amount of calculation. 3D information acquisition device It is to provide.
[0006]
[Means for Solving the Problems]
To achieve the above objective, Book The invention performs three-dimensional information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target. A three-dimensional information acquisition device for acquiring image display information, An input means for an operator to input setting conditions; Setting means for setting each vertex of the polygon or wire frame at a predetermined interval on one image plane as a reference When And calculating means for calculating three-dimensional information at a measurement point which is a point on the captured image corresponding to the vertex. When, Have Determine the movement of the measurement point based on the setting of the input means, Based on the calculation result of the calculation means, the three-dimensional image display information of the imaging target is output to the display means.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0016]
FIG. 1 is a diagram illustrating a configuration of a three-dimensional information acquisition apparatus according to the present invention, which includes a stereo imaging system 1 including cameras 100 and 101, a calculation device 6, and a display device 7. The cameras 100 and 101 function as a plurality of viewpoints whose relative distance and posture are known. The calculation device 6 performs 3D information acquisition processing of the imaging target based on images captured by the cameras 100 and 101, and acquires image display information for performing 3D display using the polygon or wire frame of the imaging target. To do. That is, the calculation device 6 calculates three-dimensional information at a measurement point that is a point on the captured image corresponding to each vertex position of a polygon or a wire frame, and displays the three-dimensional image display of the imaging target based on the calculation result. Information is output to the display device 7.
[0017]
FIG. 2 is a diagram for explaining the basic concept of stereo stereoscopic vision. When the same subject 4 is photographed by the stereo imaging system 1 composed of the two cameras 100 and 101 placed at different positions, the subject 4 photographed by the left camera 100 is positioned on the right side of the screen. The to-be-photographed object 4 taken by the right camera 101 is taken at the position on the left side of the screen. At this time, even if the same subject 4 is photographed, the photographing position is different, so the way of photographing is different. Since the positional relationship between the cameras 100 and 101 is known in advance, the distance to the object to be photographed 4 can be measured based on the difference in how the images are captured.
[0018]
FIG. 3 shows a plurality of stereo images 2-0 to 2-n (hereinafter referred to as stereo images 2) captured by a stereo imaging system 1 including a plurality of cameras (here, cameras 100 and 101). Yes. A reference image 3 is selected from the plurality of stereo images 2.
[0019]
FIG. 4 is a block diagram illustrating a schematic configuration of the three-dimensional information acquisition apparatus according to the present embodiment, which includes a stereo imaging system 1, a calculation device 6 having a storage device 5, a display device 7, and a keyboard 8. The
[0020]
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is imaged by the stereo imaging system 1 composed of a plurality of cameras, and the obtained stereo image 2 is stored in the storage device 5 (step S1). Next, the reference image 3 is determined from the stereo image 2 obtained by photographing (step S2). For example, here, the stereo image 2-1 is used as the reference image.
[0021]
Next, a measurement point a to be measured on the reference image 3 _{x, y} Is determined (step S3). Next, the measurement point a on the reference image 3 _{x, y} Corresponding point c on the other stereo image, here stereo image 2-2 _{x, y} Is searched for how much the point on the reference image 3 is deviated (parallax) on the stereo image 2-2, and from the result, the relative position, orientation, optical parameters, etc. of the stereo imaging system 1 Measurement point a _{x, y} Is calculated using the principle of triangulation (step S4). The calculated distance is stored in the storage device 5 (step S5).
[0022]
Next, it is determined whether or not the measurement that can display the subject 4 is completed (step S7). _{x, y} A measurement point a that is separated from the position of b by a distance b _{x + 1, y} (Step S6), the process returns to step S4 and the measurement point a _{x + 1, y} Corresponding point c on image 2-2 corresponding to _{x + 1, y} To find the measurement point a _{x + 1, y} And the information is stored in the storage device 5. Here, the interval b is a measurement point a on the reference image 3. _{x, y} And measurement point a adjacent to it _{x + 1, y} It is characterized by not the distance between them but the interval between polygon vertices (polygon interval).
[0023]
Similarly, the above processing is repeated until the determination in step S7 becomes YES, and the object to be photographed 4 is displayed on the display device 7 from the information of the coordinates where the corresponding point search is performed and the calculated distance information of each point. Information for the polygon 9 is generated (step S8).
[0024]
According to the first embodiment described above, since the interval between the points for searching for the corresponding points is set as the interval between the polygon vertices, the distance calculation amount can be reduced, and the corresponding point search can be performed at high speed.
[0025]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, the relationship between the distance b and the distance between each measurement point a may be a constant multiple relationship instead of the same value. The interval b may be changed by inputting from the keyboard 8 or the like as input means. Three or more cameras may be used.
[0026]
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to FIG. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is photographed by the cameras 100 and 101 constituting the stereo imaging system 1 (step S11), and the obtained stereo image 2 is stored in the storage device 5 (step S12). Next, one of the stored stored images is set as a reference image 3. FIG. 8 shows an example of the reference image 3. Next, the calculation device 6 extracts feature points based on the edge information, variance, curvature information, and the like of the reference image 3. FIG. 9 shows feature points (black circles) extracted by the above method. Measurement points a as shown in FIG. 10A are set on the extracted feature points of the reference image 3 (step S13), and points corresponding to the measurement points a are displayed in the image 2 (FIG. 10B). Searching from above, the distance to each point is calculated from the amount of parallax and the position and orientation relationship of the stereo imaging system 1 (step S14). Next, the calculated result is stored in the storage device 5 as depth information (step S15). Next, a polygon 9 for displaying the subject 4 is generated from the stored depth information (step S16) and displayed on the display device 7 (step S17, FIG. 11).
[0027]
According to the second embodiment described above, a point having image features (edge information, luminance, hue dispersion, curvature information, etc.) on the reference image 3 is extracted and used as a measurement point to match the actual image. Therefore, it is possible to set an optimum measurement point, and high-quality polygon information is generated.
[0028]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, the relationship between the distance b and the distance between each measurement point a may be a constant multiple relationship instead of the same value. The threshold for extracting feature points from image features may be changed by inputting from a keyboard 8 or the like as input means. Three or more cameras may be used.
[0029]
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described with reference to FIG. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the computing device 6 checks its own processing capability and communication capability between peripheral devices (step S21). Next, the polygon interval b is determined based on the check result at this time (step S22).
[0030]
A specific example of determining the polygon interval b will be described below. For example, assume that the polygon interval b = 1, that is, A is the amount of information output when stereo matching is performed on all points on the screen. Further, polygon generation is performed according to the method described in FIG. 5, and the number of displayable polygons per unit time of the display device 7 is set to B. Further, assume that the processing speed of the computing device 6 is C.
[0031]
Considering that it is meaningless to calculate more than B polygons per unit time,
[0032]
[Expression 1]

Therefore, b is
[0033]
[Expression 2]

[0034]
Satisfy the relationship. The maximum integer satisfying Equation 2 is determined as b. Even if the interval b larger than the solution obtained here is set, the polygon quality is only lowered and the display speed is not changed.
[0035]
Next, the to-be-photographed object 4 is image | photographed with the cameras 100 and 101 which comprise the stereo imaging system 1 (step S23), and the obtained stereo image 2 is stored in the memory | storage device 5 (step S24). Next, one of the stored stored images is set as a reference image 3.
[0036]
Next, the computing device 6 determines the polygon interval b from its processing capability and communication capability with peripheral devices, and determines the coordinates of the vertex a of each polygon based on this interval b. Next, a point corresponding to the vertex a is searched from the stereo image 2, and the distance to each point is calculated from the amount of parallax and the position and orientation relationship of the stereo imaging system 1 (step S25). Next, the calculation result is stored in the storage device 5 (step S26). Next, a polygon 9 is generated from the stored distance information of each point (step S27), and the generated polygon 9 is displayed on the display device 7 (step S28).
[0037]
In the third embodiment, the distance b is the measurement point a on the reference image 3. _{x + 1, y} Is the measurement point a _{x, y} It is characterized in that it is determined not by the pixel next to the pixel but by the display capability of the display device 7, the processing capability of the calculation device 6, and the communication speed between the devices. Therefore, it is possible to set a polygon that is optimal for performance, such as not performing more calculations than necessary. For example, when the calculation device 6 has a circuit capable of performing high-speed calculation with respect to the number of powers of 2, the polygon interval b is determined to be a power of 2.
[0038]
The reason why it should be a power of 2 is as follows.
[0039]
1. At present, most of the information recordings of computing devices are composed of binary numbers, so that the premise that the stored information is a power of 2 makes it easy to speed up the computing process and simplify the computing device.
[0040]
2. When the image is reduced, since it is a power of 2, it is not necessary to perform interpolation by reduction such as 1/2, 1/4, 1/8.
[0041]
3. When texture mapping is performed on a polygon, there is a problem that a virtual image is generated if the rendering pixel area and the texture size are significantly different. , 8 × 8, 16 × 16,...) And using a size closest to the rendering area is generally performed. (Multum In Parvo Mapping)
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, not the polygon interval b but the number of measurement points a may be determined from the processing capability of the computing device and the communication capability with peripheral devices. The processing capability of the computing device and the communication capability with peripheral devices may be checked in advance and the results stored in the storage device 5 or checked at the start of processing. Three or more cameras may be used.
[0042]
(Fourth embodiment)
The fourth embodiment of the present invention will be described below with reference to FIGS. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is photographed by the cameras 100 and 101 constituting the stereo imaging system 1 (step S31), and the obtained stereo image 2 is stored in the storage device 5 (step S32). Next, one of the stored stored images is set as a reference image 3.
[0043]
The calculation device 6 generates a stereo image 10 (FIG. 14) obtained by reducing the stereo image 2 at the reduction rate stored in the storage device 5 (step S33), and stores it in the storage device 5 (step S34). The calculation device 6 performs stereo matching on the stereo image 10 using a known technique, calculates the distance to each point from the amount of parallax and the position and orientation relationship of the stereo imaging system 1 (step S35), and calculates the result. The depth information is stored in the storage device 5 (step S36). Next, the calculation device 6 generates a polygon 9 in which the reference image 3 is pasted as a texture on the calculated depth information (step S37) and displays it on the display device 7 (step S38).
[0044]
According to the fourth embodiment described above, there is an effect of reducing the amount of calculation similar to the case where the measurement points are thinned out, and there is no deterioration because the texture pasted on the polygon 9 uses the one of the reference image 3.
[0045]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. Three or more cameras may be used. The reduction ratio may be changed by inputting from the keyboard 8 or the like as input means. If the image to be pasted uses an image before reduction, a composite image between the stereo images 2 may be used.
[0046]
(Fifth embodiment)
Hereinafter, a fifth embodiment of the present invention will be described with reference to FIG. First, the computing device 6 checks its own processing capability and communication capability between peripheral devices (step S41). Next, the reduction ratio is determined based on the check result at this time (step S42). Next, the subject 4 is imaged by the stereo imaging system 1 to acquire the stereo image 2 (step S43) and stored in the storage device 5 (step S44). One of them is defined as a reference image 3.
[0047]
Next, the stereo image 10 obtained by reducing the stereo image 2 at the reduction rate determined in step S42 is generated (step S45) and stored in the storage device 5 (step S46).
[0048]
Next, the calculation device 8 performs stereo matching on the stereo image 10 using a known technique, calculates the distance to each point from the amount of parallax and the position and orientation relationship of the stereo imaging system 1, and generates depth information. (Step S47), this is stored in the storage device 5 (Step S48).
[0049]
Next, the calculation device 8 generates a polygon 9 in which the reference image 3 is pasted as a texture on the generated depth information (step S49) and displays it on the display device 7 (step S50).
[0050]
According to the fifth embodiment described above, it is possible to set polygons that are optimal for performance, such as avoiding unnecessary calculations by determining the reduction ratio based on the performance of the processing device. For example, when the calculation device 6 has a circuit capable of performing high-speed calculation with respect to the number of powers of 2, the reduction ratio is 1 / (1/2 of the power of 2) ⁿ ).
[0051]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. If the image to be pasted uses an image before reduction, a composite image between the stereo images 2 may be used. The processing capability of the computing device and the communication capability with peripheral devices may be checked in advance and the results stored in the storage device, or checked at the start of processing. Three or more cameras may be used.
[0052]
(Appendix)
The invention having the following configuration is extracted from the specific embodiment described above.
[0053]
1.
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition device for acquiring information,
Calculation means for calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to each vertex position of the polygon or wire frame;
3. A three-dimensional information acquisition apparatus that outputs three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit.
[0054]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. For the stereo image 2, one of the images (for example, the left image for left and right stereo images) is set as the reference image 3. The calculation device 6 calculates a point a on the reference image 3 _{x, y} Point c on the other stereo image 2 corresponding to _{x, y} And the point a from the parallax and the position and orientation information of the stereo imaging system 1 _{x, y} Is calculated based on the principle of triangulation, and the information is stored in the storage device 5. Measurement point a on the next reference image 3 _{x + 1, y} A _{x, y} The expected spacing b, not the neighboring pixels of _{x, y} And set the measurement point a _{x + 1, y} The point c on the stereo image 2 corresponding to _{x + 1, y} Search for point a _{x + 1, y} And the information is stored in the storage device 5. Thereafter, this process is repeated in the same manner, and polygon 9 information for displaying the object to be photographed 4 is output from the coordinate information obtained by searching for the corresponding points and the calculated distance information.
[0055]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the first embodiment described above. The related figures are FIGS.
[0056]
(effect)
The total amount of corresponding points to be searched is reduced by setting the interval between the points to perform the corresponding point search as the interval between the polygon vertices, so that the calculation amount is reduced.
[0057]
2.
The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition apparatus described in 1.
[0058]
(Function)
A stereo image 2 of the subject 4 photographed by the stereo imaging system 1 is stored in the storage device 5. One of them is defined as a reference image 3. The calculation device 6 extracts feature points from the edge information, variance, curvature information, etc. of the reference image 3. A point corresponding to each point is searched from the stereo image 2 using the extracted point as a measurement point a, a distance to each point is calculated from the amount of parallax and the position and orientation relationship of the stereo imaging system 1, and the result is expressed as a depth. A polygon 9 for displaying the object to be photographed 4 is generated from the information calculated as information.
[0059]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the second embodiment described above. The related figures are FIGS. 1 to 4 and 7 to 11.
[0060]
(effect)
Since the total number of corresponding points to be searched is reduced by setting the interval between the points to be searched for as the feature point interval, the amount of calculation is reduced.
[0061]
3.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Or it is determined by the combination. The three-dimensional information acquisition apparatus described in 1.
[0062]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS. 1 to 4 and 12.
[0063]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. One image among the stereo images 2 (for example, the left image in the case of left and right stereo images) is set as the reference image 3. The calculation device 6 calculates a point a on the reference image 3 _{x, y} Point c on the other stereo image 2 corresponding to _{x, y} From the parallax and the position and orientation information of the stereo imaging system. _{x, y} Is calculated based on the principle of triangulation, and the information is stored in the storage device 5. Measurement point a on the next reference image 3 _{x + 1, y} A _{x, y} The interval b determined from the display capability of the display device 7, the processing capability of the calculation device 6, and the communication speed between the devices, not the pixels adjacent to each other. _{x, y} And set the measurement point a _{x + 1, y} The point c on the stereo image 2 corresponding to _{x + 1, y} To find the measurement point a _{x + 1, y} And the information is stored in the storage device 5. Thereafter, this process is repeated in the same manner, and polygon 9 information for displaying the object to be photographed 4 is output from the coordinate information obtained by searching for the corresponding points and the calculated distance information.
[0064]
(effect)
The amount of calculation can be changed according to the performance of the device.
[0065]
4).
The three-dimensional information acquisition apparatus further includes an input unit for an operator to input a setting condition, and the measurement point is determined based on the setting of the input unit. The three-dimensional information acquisition apparatus described in 1.
[0066]
(Corresponding Embodiment of the Invention)
Embodiments relating to the present invention correspond to the first, second and fourth embodiments described above. Related figures are FIGS. 1-4 (particularly the keyboard 8 of FIG. 4).
[0067]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. For the stereo image 2, one of the images (for example, the left image for left and right stereo images) is set as the reference image 3. The calculation device 6 calculates a point a on the reference image 3 _{x, y} Point c on the other stereo image 2 corresponding to _{x, y} From the parallax and the position and orientation information of the stereo imaging system. _{x, y} Is calculated based on the principle of triangulation, and the information is stored in the storage device 5. Measurement point a on the next reference image 3 _{x + 1, y} A _{x, y} Interval b input by the input device 8 instead of the neighboring pixels of _{x, y} Set (measurement point a) apart by (only coordinates are acceptable) _{x + 1, y} The point c on the stereo image 2 corresponding to _{x + 1, y} Search for point a _{x + 1, y} And the information is stored in the storage device 5. Thereafter, this process is repeated in the same manner, and polygon 9 information for displaying the object to be photographed 4 is output from the coordinate information obtained by searching for the corresponding points and the calculated distance information.
[0068]
(effect)
The polygon quality desired by the operator can be set.
[0069]
5).
The distance between the measurement points is at least 4 pixels or more on the captured image. The three-dimensional information acquisition apparatus described in 1.
[0070]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS.
[0071]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. For the stereo image 2, one of the images (for example, the left image for left and right stereo images) is set as the reference image 3. The calculation device 6 calculates a point a on the reference image 3 _{x, y} Point c on the other stereo image 2 corresponding to _{x, y} And the measurement point a from the position and orientation information of the parallax and the stereo imaging system. _{x, y} Is calculated based on the principle of triangulation, and the information is stored in the storage device 5. Measurement point a on the next reference image 3 _{x + 1, y} A _{x, y} Input interval b instead of adjacent pixels _{x, y} Set at a distance of 4 pixels or more, and measure point a _{x + 1, y} The point c on the stereo image 2 corresponding to _{x + 1, y} Search for point a _{x + 1, y} And the information is stored in the storage device 5. Thereafter, this process is repeated in the same manner, and polygon 9 information for displaying the object to be photographed 4 is output from the coordinate information obtained by searching for the corresponding points and the calculated distance information.
[0072]
(effect)
Since the total number of corresponding points to be searched is reduced by setting the interval between points to be searched for to be the interval between polygon vertices (distance 4 pixels or more), the amount of calculation is reduced.
[0073]
6).
The distance between the measurement points is a power of 2 pixels. The three-dimensional information acquisition apparatus described in 1.
[0074]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS.
[0075]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. For the stereo image 2, one of the images (for example, the left image for left and right stereo images) is set as the reference image 3. The calculation device 6 measures the measurement point a on the reference image 3. _{x, y} Point c on the other stereo image 2 corresponding to _{x, y} And the measurement point a from the position and orientation information of the parallax and the stereo imaging system. _{x, y} Is calculated based on the principle of triangulation, and the information is stored in the storage device 5. Measurement point a on the next reference image 3 _{x + 1, y} A _{x, y} The expected spacing b, not the neighboring pixels of _{x, y} Set (distance is a power of 2) apart, and measure point a _{x + 1, y} The point c on the stereo image 2 corresponding to _{x + 1, y} Search for point a _{x + 1, y} And the information is stored in the storage device 5. Thereafter, this process is repeated in the same manner, and polygon 9 information for displaying the object to be photographed 4 is output from the coordinate information obtained by searching for the corresponding points and the calculated distance information.
[0076]
(effect)
The total amount of corresponding points to be searched is reduced by setting the interval between the points to perform the corresponding point search as the interval between the polygon vertices, so that the calculation amount is reduced.
[0077]
Also, by making the vertex interval a power of 2, it becomes easy to perform high-speed processing on hardware.
[0078]
7).
In the calculation of the three-dimensional information, the calculation unit reduces the captured image at a reduction rate based on the distance between the measurement points, and sets the three-dimensional information of the imaging target as the distance between the measurement points with respect to the reduced image as one pixel. It is characterized by calculating 1. The three-dimensional information acquisition apparatus described in 1.
[0079]
(Corresponding Embodiment of the Invention)
Embodiments relating to the present invention correspond to the fourth and fifth embodiments described above. Related drawings are FIGS. 1 to 4, 13, and 14.
[0080]
(Function)
A stereo image 2 of the subject 4 obtained by the stereo imaging system 1 is stored in the storage device 5. For the stereo image 2, one of the images (for example, the left image for left and right stereo images) is set as the reference image 3. The calculation device 6 generates a stereo image 10 obtained by reducing the plurality of stereo images 2 and stores the stereo image 10 in the storage device 5. The calculation device 8 performs stereo matching on a plurality of stereo images 10 using a known technique, calculates stereo information, and stores the stereo information in the storage device 5. The calculation device 6 generates a polygon 9 from the calculated three-dimensional information, and outputs information on the polygon 9 using the stereo image 2 on the surface thereof.
[0081]
(effect)
Performing stereo matching on a reduced image requires less computation than performing it on an unreduced image, and the texture of the polygon that is displayed by using the unreduced texture Less degradation.
[0082]
8).
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition method for acquiring information,
3D information at a measurement point that is a point on the captured image corresponding to each vertex position of the polygon or wire frame is calculated, and the 3D image display information of the imaging target is displayed based on the calculation result at this time A three-dimensional information acquisition method characterized by outputting to
[0083]
9.
The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition method described in 1.
[0084]
10.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Or, it is determined by the combination. The three-dimensional information acquisition method described in 1.
[0085]
11.
7. An operator further has an input means for inputting setting conditions, and the measurement point is determined based on the setting of the input means. The three-dimensional information acquisition method described in 1.
[0086]
12
The distance between the measurement points is at least 4 pixels or more on the captured image. The three-dimensional information acquisition method described in 1.
[0087]
13.
The distance between the measurement points is a power of 2 pixels. The three-dimensional information acquisition method described in 1.
[0088]
14
In the calculation of the three-dimensional information, the captured image is reduced at a reduction rate based on the distance between the measurement points, and the three-dimensional information of the imaging target is calculated using the distance between the measurement points for the reduced image as one pixel. 8 The three-dimensional information acquisition method described in 1.
[0089]
15.
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition program for acquiring information,
A function of calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to each item point position of the polygon or wire frame;
A function of outputting three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit;
A three-dimensional information acquisition program comprising:
[0090]
16.
15. The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition program described in 1.
[0091]
17.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Alternatively, it is determined by the combination thereof. The three-dimensional information acquisition program described in 1.
[0092]
18.
15. An operator further has an input means for inputting setting conditions, and the measurement point is determined based on the setting of the input means. The three-dimensional information acquisition program described in 1.
[0093]
19.
15. The distance between the measurement points is at least 4 pixels on the captured image. The three-dimensional information acquisition program described in 1.
[0094]
20.
15. The distance between the measurement points is a power-of-two pixel. The three-dimensional information acquisition program described in 1.
[0095]
21.
In the calculation of the three-dimensional information, the captured image is reduced at a reduction rate based on the distance between the measurement points, and the three-dimensional information of the imaging target is calculated using the distance between the measurement points for the reduced image as one pixel. 15. The three-dimensional information acquisition program described in 1.
[0096]
【The invention's effect】
According to the present invention, since the interval between the points where the corresponding points are searched is set as the interval between the polygon vertices, the calculation amount is reduced by reducing the total number of corresponding points to be substantially searched. In addition, since the measurement point for calculating the three-dimensional information is determined based on the setting input by the operator, the polygon quality desired by the operator can be set. , Has the effect.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a three-dimensional information acquisition apparatus according to the present invention.
FIG. 2 is a diagram for explaining a basic concept of stereo stereoscopic vision.
FIG. 3 is a diagram illustrating a plurality of images 2-0 to 2-n captured by a stereo imaging system 1 including a plurality of cameras.
FIG. 4 is a block diagram illustrating a schematic configuration of a three-dimensional information acquisition apparatus according to the present embodiment.
FIG. 5 is a flowchart for explaining a three-dimensional information acquisition method according to the first embodiment of the present invention;
FIG. 6 is a schematic diagram for explaining a three-dimensional information acquisition method according to the first embodiment of the present invention.
FIG. 7 is a flowchart for explaining a three-dimensional information acquisition method according to the second embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of a reference image 3;
FIG. 9 is a diagram showing feature points (black circle portions) extracted by the method of the present embodiment.
10 is a diagram for explaining a method of searching for a point corresponding to each measurement point a on the reference image 3 from the image 2. FIG.
FIG. 11 is a diagram showing a polygon 9 generated from stored depth information.
FIG. 12 is a flowchart for explaining a three-dimensional information acquisition method according to the third embodiment of the invention.
FIG. 13 is a flowchart for explaining a three-dimensional information acquisition method according to the fourth embodiment of the present invention;
FIG. 14 is a diagram showing a stereo image 2 and a reduced stereo image 10 obtained by reducing the stereo image 2 at a predetermined reduction rate.
FIG. 15 is a flowchart for explaining a 3D information acquisition method according to the fifth embodiment of the invention;
[Explanation of symbols]
1 Stereo imaging system
2 (2-0 to 2-n) stereo images
3 reference images
4 Subject
5 storage devices
6 Calculator
7 Display device
8 Keyboard
10 (10-0 to 10-n) reduced stereo image
100 cameras
101 camera

Claims

相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、
操作者が設定条件を入力するための入力手段と、
前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、
この頂点に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段と、
を有し、
前記入力手段の設定に基づいて前記測定点を移動決定し、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力することを特徴とする３次元情報取得装置。Image display information for performing 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performing three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition device for acquiring
An input means for an operator to input setting conditions;
A setting unit configured to set at predetermined intervals on one image plane serving as a reference for each vertex of the polygon or wire frame,
Calculation means for calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to the vertex ;
Have
Determine the movement of the measurement point based on the setting of the input means,
3. A three-dimensional information acquisition apparatus that outputs three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit.