JP4814441B2 - 3D information acquisition device - Google Patents
3D information acquisition device Download PDFInfo
- Publication number
- JP4814441B2 JP4814441B2 JP2001183735A JP2001183735A JP4814441B2 JP 4814441 B2 JP4814441 B2 JP 4814441B2 JP 2001183735 A JP2001183735 A JP 2001183735A JP 2001183735 A JP2001183735 A JP 2001183735A JP 4814441 B2 JP4814441 B2 JP 4814441B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo
- point
- information
- polygon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、3次元情報取得装置に関するものである。
【0002】
【従来の技術】
ステレオ撮像系によって撮像された画像から撮影対象についての3次元情報を取得し、この3次元情報を用いて3次元表示(ポリゴン表示)を行なう技術が従来より知られている。例えば、特開平6−215111号公報には3次元情報の取得方法が開示されており、この取得した3次元情報に基づいて、ポリゴン表示を行うことができる。
【0003】
ここで「ステレオ撮像系」とは、複数の視点からの撮像系を意味している。さらに1台の撮影装置をステレオコンバータ等を用いて複数視点の画像を得る物や、複数の撮像装置を使用したものも含む。また、「ステレオ撮像系によって撮像された画像」とは、複数の視点からの画像を意味する。複数の撮像装置からの複数の画像だけでなく、1枚の画像の中に複数の視点の画像が埋め込まれているものも含む。
【0004】
【発明が解決しようとする課題】
上記した従来の3次元表示方法では、3次元情報を取得するポイント(対応点、測定点)の探索および3次元情報の取得において膨大な計算量が必要となり、高速描画処理、小型のシステムヘの導入を困難にしている。
【0005】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、計算量を削減することが可能な3次元情報取得装置を提供することにある。
【0006】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて前記撮像対象の3次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる3次元表示を行う画像表示情報を取得する3次元情報取得装置であって、操作者が設定条件を入力するための入力手段と、前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、この頂点に対応する前記撮像画像上の点である測定点における3次元情報を算出する計算手段と、を有し、前記入力手段の設定に基づいて前記測定点を移動決定し、前記計算手段の算出結果に基づいて前記撮像対象の3次元画像表示情報を表示手段に出力する。
【0015】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0016】
図1は、本発明の3次元情報取得装置の構成を示す図であり、カメラ100,101からなるステレオ撮像系1と、計算装置6と、表示装置7から構成される。カメラ100,101は、相対距離,姿勢が既知である複数の視点として機能する。計算装置6は、カメラ100,101により撮像対象を撮像した画像に基づいて前記撮像対象の3次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる3次元表示を行う画像表示情報を取得する。すなわち、計算装置6は、ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における3次元情報を算出し、この算出結果に基づいて前記撮像対象の3次元画像表示情報を表示装置7に出力する。
【0017】
図2は、ステレオ立体視の基本的な概念を説明するための図である。異なる位置に置かれた2台のカメラ100,101で構成されるステレオ撮像系1により同一の被撮影物4を撮影すると、左側のカメラ100により撮影された被撮影物4は画面の右側の位置に撮影され、右側のカメラ101により撮影された被撮影物4は画面の左側の位置に撮影される。このとき同一の被撮影物4を撮影しても撮影位置が異なるので写り方が異なる。カメラ100,101の位置関係があらかじめわかっているので、写り方の違いから被撮影物4までの距離を測定することができる。
【0018】
図3は、複数のカメラ(ここではカメラ100,101)から構成されるステレオ撮像系1により撮影される複数のステレオ画像2−0〜2−n(以下、ステレオ画像2と称する)を示している。これら複数のステレオ画像2の中から基準画像3が選択される。
【0019】
図4は、本実施形態の3次元情報取得装置の概略構成を示すブロック図であり、ステレオ撮像系1と、記憶装置5を有する計算装置6と、表示装置7と、キーボード8とから構成される。
【0020】
(第1実施形態)
以下、図5,図6を参照して本発明の第1実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、複数のカメラから構成されるステレオ撮像系1により被撮影物4を撮像し、得られたステレオ画像2を記憶装置5に格納する(ステップS1)。次に、撮影により得られたステレオ画像2の中から基準画像3を決定する(ステップS2)。例えばここではステレオ画像2−1を基準画像とする。
【0021】
次にこの基準画像3上で測距を行なうべき測定点ax,yを決定する(ステップS3)。次に基準画像3上の測定点ax,yに対する他のステレオ画像、ここではステレオ画像2−2上の対応点cx,yを探索して、基準画像3上の点がステレオ画像2−2上でどれほどずれ(視差)が存在するかを探索し、その結果と、ステレオ撮像系1の相対位置、姿勢、光学パラメータ等から測定点ax,yまでの距離を三角測量の原理を用いて算出する(ステップS4)。算出した距離を記憶装置5に格納する(ステップS5)。
【0022】
次に、被撮影物4を表示しうる測定が終了かどうかを判断し(ステップS7)、NOの場合には、次に距離算出する測定点ax,yの位置をbの距離だけ離した測定点ax+1,yに決定して(ステップS6)、ステップS4に戻って測定点ax+1,yに対応する画像2−2上の対応点cx+1,yを探索して測定点ax+1,yまでの距離を算出し、その情報を記憶装置5に格納する。ここで間隔bは、基準画像3上の測定点ax,yとそれに隣接する測定点ax+1,y間の距離ではなく、ポリゴン頂点の間隔(ポリゴン間隔)としたことを特徴とする。
【0023】
以下同様に上記の処理をステップS7の判断がYESとなるまで繰り返し、対応点探索を行なった座標の情報と、算出された各点の距離情報とから被撮影物4を表示装置7に表示するためのポリゴン9の情報を生成する(ステップS8)。
【0024】
上記した第1実施形態によれば、対応点の探索を行なう点の間隔をポリゴン頂点の間隔としたので測距計算量の削減が可能となり対応点探索が高速に行えるようになる。
【0025】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔bと各測定点aの距離の関係は同値ではなく定数倍の関係であっても良い。また、間隔bは入力手段としてのキーボード8などから入力して変更可能としても良い。カメラを3台以上使用してもよい。
【0026】
(第2実施形態)
以下、図7を参照して本発明の第2実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、ステレオ撮像系1を構成するカメラ100,101により被撮影物4を撮影して(ステップS11)、得られたステレオ画像2を記憶装置5に格納する(ステップS12)。次に格納した記憶画像のうちの1枚を基準画像3とする。図8は基準画像3の一例を示している。次に計算装置6は、この基準画像3のエッジ情報や、分散、曲率情報などに基づいて特徴点を抽出する。図9は上記の方法で抽出された特徴点(黒丸の部分)を示している。基準画像3の抽出された特徴点上に図10(A)に示すような測定点aを設定し(ステップS13)、この各測定点aに対応する点を画像2(図10(B))上から探索して、その視差量及びステレオ撮像系1の位置姿勢関係から各点までの距離を算出する(ステップS14)。次に算出した結果を奥行き情報として記憶装置5に格納する(ステップS15)。次に格納された奥行き情報から被撮影物4を表示するためのポリゴン9を生成して(ステップS16)、表示装置7に表示する(ステップS17、図11)。
【0027】
上記した第2実施形態によれば、基準画像3上の画像特徴(エッジ情報、輝度、色相の分散、曲率情報等)のある点を抽出し、それを測定点とする事で実画像に合わせて最適な測定点を設定することが可能となり、品質の良いポリゴン情報が生成される。
【0028】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔bと各測定点aの距離の関係は同値ではなく定数倍の関係であっても良い。画像特徴から特徴点を抽出する際の閾値は入力手段としてのキーボード8などから入力して変更可能としても良い。また、カメラを3台以上使用してもよい。
【0029】
(第3実施形態)
以下、図12を参照して本発明の第3実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、計算装置6により自らの処理能力と周辺機器との間の通信能力とをチェックする(ステップS21)。次にこのときのチェック結果に基づいてポリゴン間隔bを決定する(ステップS22)。
【0030】
以下にポリゴン間隔bの決定の具体的な例を説明する。例えば、ポリゴン間隔b=1、すなわち、画面上の全ての点に対してステレオマッチングを行った場合に出力される情報量をAとする。また、図5で説明した方法に従ってポリゴン生成を行ない、表示装置7の単位時間当たりの表示可能なポリゴン数をBとする。さらに、計算装置6の処理速度をCとする。
【0031】
単位時間当たりにB以上のポリゴンを計算しても意味がないことを考慮すると、
【0032】
【数1】
が成り立つので、bは
【0033】
【数2】
【0034】
の関係を満たす。式2を満たす最大の整数をbとして決定する。ここで得られる解以上の間隔bを設定してもポリゴン品質が下がるだけで、表示速度は変わらない。
【0035】
次に、ステレオ撮像系1を構成するカメラ100,101により被撮影物4を撮影して(ステップS23)、得られたステレオ画像2を記憶装置5に格納する(ステップS24)。次に格納した記憶画像のうちの1枚を基準画像3とする。
【0036】
次に、計算装置6は自らの処理能力と周辺機器との通信能力からポリゴン間隔bを決定し、この間隔bに基づいて各ポリゴンの頂点aの座標を決定する。次に頂点aに対応する点をステレオ画像2上から探索し、その視差量及びステレオ撮像系1の位置姿勢関係から各点までの距離を算出する(ステップS25)。次に算出結果を記憶装置5に格納する(ステップS26)。次に格納された各点の距離情報からポリゴン9を生成して(ステップS27)、生成したポリゴン9を表示装置7に表示する(ステップS28)。
【0037】
第3実施形態では、距離bは、基準画像3上の測定点ax+1,yは測定点ax,yの隣のピクセルではなく、表示装置7の表示能力や計算装置6の処理能力、各装置間の通信速度から決定されることを特徴とする。したがって、必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置6が2のべき乗の数に対して高速計算を行える回路を有している場合はポリゴン間隔bは2のべき乗となるように決定する。
【0038】
2のべき乗にすると良い理由は以下の通りである。
【0039】
1.現在殆どの計算装置の情報記録は2進数で構成されている為、保存情報が2のべき乗であるという前提がある事で計算処理の高速化、計算装置の簡略化が容易になる。
【0040】
2.画像縮小の際も2のべき乗である事で1/2,1/4,1/8…等の縮小で補間を行う必要がなくなる。
【0041】
3.ポリゴンにテクスチャマッピングを行う際にレンダリングピクセル面積とテクスチャのサイズが大きく異なると虚像が生じるという問題があり、それを解決する為にテクスチャの1辺を2のべき乗にし、それを複数(4×4,8×8,16×16,…)用意し、レンダリング面積に一番近いサイズを使用する事が一般に行われている。(Multum In Parvo Mapping)
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、計算装置の処理能力や周辺機器との通信能力から決定されるのはポリゴン間隔bではなく、測定点aの個数でも良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置5に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラを3台以上使用してもよい。
【0042】
(第4実施形態)
以下、図13,図14を参照して本発明の第4実施形態を説明する。この場合、既出の図を適宜参照するものとする。まずステレオ撮像系1を構成するカメラ100,101により被撮影物4を撮影して(ステップS31)、得られたステレオ画像2を記憶装置5に格納する(ステップS32)。次に格納した記憶画像のうちの1枚を基準画像3とする。
【0043】
計算装置6は記憶装置5に格納されている縮小率でステレオ画像2を縮小したステレオ画像10(図14)を生成して(ステップS33)、記憶装置5に格納する(ステップS34)。計算装置6は公知の技術を用いてステレオ画像10に対してステレオマッチングを行い、その視差量及びステレオ撮像系1の位置姿勢関係から各点までの距離を算出し(ステップS35)、その結果を奥行き情報として記憶装置5に格納する(ステップS36)。次に計算装置6は、算出された奥行き情報に基準画像3をテクスチャとして貼り付けたポリゴン9を生成して(ステップS37)、表示装置7に表示する(ステップS38)。
【0044】
上記した第4実施形態によれば、測定点を間引いたのと同様の計算量削減効果があり、ポリゴン9に貼り付けるテクスチャは基準画像3のものを使用するので劣化がない。
【0045】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。カメラを3台以上使用してもよい。縮小率は入力手段としてのキーボード8などから入力して変更可能としても良い。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像2間の合成画像を使用しても良い。
【0046】
(第5実施形態)
以下、図15を参照して本発明の第5実施形態を説明する。まず、計算装置6により自らの処理能力と周辺機器との間の通信能力とをチェックする(ステップS41)。次にこのときのチェック結果に基づいて縮小率を決定する(ステップS42)。次にステレオ撮像系1によって被撮影物4を撮像してステレオ画像2を取得し(ステップS43)、記憶装置5に格納する(ステップS44)。その中の1枚を基準画像3とする。
【0047】
次にステップS42で決定した縮小率でステレオ画像2を縮小したステレオ画像10を生成して(ステップS45)、記憶装置5に格納する(ステップS46)。
【0048】
次に計算装置8は公知の技術を用いて、ステレオ画像10に対してステレオマッチングを行いその視差量及びステレオ撮像系1の位置姿勢関係から各点までの距離を算出して奥行き情報を生成し(ステップS47)、これを記憶装置5に格納する(ステップS48)。
【0049】
次に計算装置8は、生成された奥行き情報に基準画像3をテクスチャとして貼り付けたポリゴン9を生成し(ステップS49)、表示装置7に表示する(ステップS50)。
【0050】
上記した第5実施形態によれば、処理装置の性能に基づいて縮小率を決定する事で必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置6が2のべき乗の数に対して高速計算を行える回路を有している場合は縮小率は2のべき乗分の1(1/2n)となるように決定する。
【0051】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像2間の合成画像を使用しても良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラ3台以上使用してもよい。
【0052】
(付記)
上記した具体的実施形態から以下のような構成の発明が抽出される。
【0053】
1.
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の3次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる3次元表示を行う画像表示情報を取得する3次元情報取得装置であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における3次元情報を算出する計算手段を有し、
前記計算手段の算出結果に基づいて前記撮像対象の3次元画像表示情報を表示手段に出力する事を特徴とする3次元情報取得装置。
【0054】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対して、その中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は基準画像3上の点ax,y に対応するその他のステレオ画像2上の点cx,y を探索して、その視差とステレオ撮像系1の位置姿勢情報から点ax,y までの距離を三角測量の原理で算出し、その情報を記憶装置5に格納する。次の基準画像3上の測定点ax+1,y をax,y の隣りのピクセルではなく、予定している間隔bx,y だけ離して設定し、その測定点ax+1,y に対応するステレオ画像2上の点cx+1,y を探索して点ax+1,y までの距離を算出し、その情報を記憶装置5に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物4を表示する為のポリゴン9情報が出力される。
【0055】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第1実施形態に対応する。関連する図は図1〜図6である。
【0056】
(効果)
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【0057】
2.
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする1.に記載の3次元情報取得装置。
【0058】
(作用)
ステレオ撮像系1によって撮影された被撮影物4のステレオ画像2が記憶装置5に格納される。その中の一枚を基準画像3とする。計算装置6は基準画像3のエッジ情報や、分散、曲率情報などから特徴点を抽出する。抽出された点を測定点aとし各点に対応する点をステレオ画像2上から探索し、その視差量及びステレオ撮像系1の位置姿勢関係から各点までの距離を算出し、その結果を奥行き情報として算出された情報から被撮影物4を表示する為のポリゴン9が生成される。
【0059】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第2実施形態に対応する。関連する図は図1〜図4、図7〜図11である。
【0060】
(効果)
対応点探索を行う点の間隔を特徴点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【0061】
3.
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記3つの能力のいずれかあるいはその組み合わせによって決定される事を特徴とする1.に記載の3次元情報取得装置。
【0062】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第3実施形態に対応する。関連する図は図1〜図4、図12である。
【0063】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対してその中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は基準画像3上の点ax,y に対応するその他のステレオ画像2上の点cx,y を探索して、その視差とステレオ撮像系の位置姿勢情報から点ax,y までの距離を三角測量の原理で算出し、その情報を記憶装置5に格納する。次の基準画像3上の測定点ax+1,y をax,y の隣りのピクセルではなく、表示装置7の表示能力や計算装置6の処理能力、各装置間の通信速度から決定される間隔bx,y だけ離して設定し、その測定点ax+1,y に対応するステレオ画像2上の点cx+1,y を探索して測定点ax+1,y までの距離を算出し、その情報を記憶装置5に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物4を表示する為のポリゴン9情報が出力される。
【0064】
(効果)
装置の性能に合わせて計算量を変える事ができる。
【0065】
4.
前記3次元情報取得装置は操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする1.に記載の3次元情報取得装置。
【0066】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第1,2,4実施形態が対応する。関連する図は図1〜図4(特に図4のキーボード8)である。
【0067】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対して、その中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は基準画像3上の点ax,y に対応するその他のステレオ画像2上の点cx,y を探索して、その視差とステレオ撮像系の位置姿勢情報から点ax,y までの距離を三角測量の原理で算出し、その情報を記憶装置5に格納する。次の基準画像3上の測定点ax+1,y をax,y の隣りのピクセルではなく、入力装置8によって入力された間隔bx,y (座標でも可)だけ離して設定し、その測定点ax+1,y に対応するステレオ画像2上の点cx+1,y を探索して点ax+1,y までの距離を算出し、その情報を記憶装置5に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物4を表示する為のポリゴン9情報が出力される。
【0068】
(効果)
操作者の望むポリゴン品質を設定できる。
【0069】
5.
前記測定点間の距離は、前記撮像画像上において少なくとも4画素以上ある事を特徴とする1.に記載の3次元情報取得装置。
【0070】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第3実施形態が対応する。関連する図は図1〜図6である。
【0071】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対して、その中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は基準画像3上の点ax,y に対応するその他のステレオ画像2上の点cx,y を探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ax,y までの距離を三角測量の原理で算出し、その情報を記憶装置5に格納する。次の基準画像3上の測定点ax+1,y をax,y の隣りのピクセルではなく、入力している間隔bx,y (距離4画素以上)だけ離して設定し、その測定点ax+1,y に対応するステレオ画像2上の点cx+1,y を探索して点ax+1,y までの距離を算出し、その情報を記憶装置5に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物4を表示する為のポリゴン9情報が出力される。
【0072】
(効果)
対応点探索を行う点の間隔をポリゴン頂点の間隔(距離4画素以上)とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【0073】
6.
前記測定点間の距離は、2のべき乗画素である事を特徴とする1.に記載の3次元情報取得装置。
【0074】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第3実施形態が対応する。関連する図は図1〜図6である。
【0075】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対して、その中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は基準画像3上の測定点ax,y に対応するその他のステレオ画像2上の点cx,y を探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ax,y までの距離を三角測量の原理で算出し、その情報を記憶装置5に格納する。次の基準画像3上の測定点ax+1,y をax,y の隣りのピクセルではなく、予定している間隔bx,y (距離は2のべき乗)だけ離して設定し、その測定点ax+1,y に対応するステレオ画像2上の点cx+1,y を探索して点ax+1,y までの距離を算出し、その情報を記憶装置5に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物4を表示する為のポリゴン9情報が出力される。
【0076】
(効果)
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【0077】
また、頂点間隔を2のべき乗とする事でハードウェア上で高速処理を行う事が容易になる。
【0078】
7.
前記計算手段は、前記3次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を1画素として前記撮像対象の3次元情報を算出する事を特徴とする1.に記載の3次元情報取得装置。
【0079】
(対応する発明の実施の形態)
この発明に関する実施の形態は上記した第4、5実施形態が対応する。関連する図は図1〜図4、図13,図14である。
【0080】
(作用)
ステレオ撮像系1によって得られた被撮影物4のステレオ画像2を記憶装置5に格納する。ステレオ画像2に対して、その中の一枚の画像(例えば左右ステレオ画像ならば左画像等)を基準画像3とする。計算装置6は複数のステレオ画像2を縮小したステレオ画像10を生成して記憶装置5に格納する。計算装置8は複数のステレオ画像10に対して公知の技術を用いてステレオマッチングを行い立体情報を算出して記憶装置5に格納する。計算装置6は算出された立体情報からポリゴン9を生成し、その表面にはステレオ画像2を使用したポリゴン9の情報を出力する。
【0081】
(効果)
縮小された画像に対してステレオマッチングを行う事は縮小しない画像に対して行う場合と比べて計算量が少なくてすみ、貼り付けるテクスチャは縮小前の物を使用する事で表示されるポリゴンの表面劣化は少なくてすむ。
【0082】
8.
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の3次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる3次元表示を行う画像表示情報を取得する3次元情報取得方法であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における3次元情報を算出し、このときの算出結果に基づいて前記撮像対象の3次元画像表示情報を表示手段に出力する事を特徴とする3次元情報取得方法。
【0083】
9.
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする8.に記載の3次元情報取得方法。
【0084】
10.
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記3つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする8.に記載の3次元情報取得方法。
【0085】
11.
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする8.に記載の3次元情報取得方法。
【0086】
12.
前記測定点間の距離は、前記撮像画像上において少なくとも4画素以上ある事を特徴とする8.に記載の3次元情報取得方法。
【0087】
13.
前記測定点間の距離は、2のべき乗画素である事を特徴とする8.に記載の3次元情報取得方法。
【0088】
14.
前記3次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を1画素として前記撮像対象の3次元情報を算出する事を特徴とする8.に記載の3次元情報取得方法。
【0089】
15.
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の3次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる3次元表示を行う画像表示情報を取得する3次元情報取得プログラムであって、
前記ポリゴンあるいはワイヤフレームの各項点位置に対応する前記撮像画像上の点である測定点における3次元情報を算出する機能と、
前記計算手段の算出結果に基づいて前記撮像対象の3次元画像表示情報を表示手段に出力する機能と、
を具備することを特徴とする3次元情報取得プログラム。
【0090】
16.
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする15.に記載の3次元情報取得プログラム。
【0091】
17.
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記3つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする15.に記載の3次元情報取得プログラム。
【0092】
18.
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする15.に記載の3次元情報取得プログラム。
【0093】
19.
前記測定点間の距離は、前記撮像画像上において少なくとも4画素以上ある事を特徴とする15.に記載の3次元情報取得プログラム。
【0094】
20.
前記測定点間の距離は、2のべき乗画素である事を特徴とする15.に記載の3次元情報取得プログラム。
【0095】
21.
前記3次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を1画素として前記撮像対象の3次元情報を算出する事を特徴とする15.に記載の3次元情報取得プログラム。
【0096】
【発明の効果】
本発明によれば、対応点探索を行なう点の間隔をポリゴン頂点の間隔としたので、実質的に探索すべき対応点の総数が減ることにより計算量が減少し、さらに、操作者が入力した設定に基づいて3次元情報を算出する測定点を移動決定するようにしたので、操作者の望むポリゴン品質を設定できる、という効果を奏する。
【図面の簡単な説明】
【図1】本発明の3次元情報取得装置の構成を示す図である。
【図2】ステレオ立体視の基本的な概念を説明するための図である。
【図3】複数のカメラから構成されるステレオ撮像系1により撮影される複数の画像2−0〜2−nを示す図である。
【図4】本実施形態の3次元情報取得装置の概略構成を示すブロック図である。
【図5】本発明の第1実施形態に係る3次元情報取得方法を説明するためのフローチャートである。
【図6】本発明の第1実施形態に係る3次元情報取得方法を説明するための模式図である。
【図7】本発明の第2実施形態に係る3次元情報取得方法を説明するためのフローチャートである。
【図8】基準画像3の一例を示す図である。
【図9】本実施形態の方法により抽出された特徴点(黒丸の部分)を示す図である。
【図10】基準画像3上の各測定点aに対応する点を画像2上から探索する方法を説明する図である。
【図11】格納された奥行き情報から生成されたポリゴン9を示す図である。
【図12】本発明の第3実施形態に係る3次元情報取得方法を説明するためのフローチャートである。
【図13】本発明の第4実施形態に係る3次元情報取得方法を説明するためのフローチャートである。
【図14】ステレオ画像2とこのステレオ画像2を所定の縮小率で縮小して得られる縮小ステレオ画像10を示す図である。
【図15】本発明の第5実施形態に係る3次元情報取得方法を説明するためのフローチャートである。
【符号の説明】
1 ステレオ撮像系
2(2−0〜2−n) ステレオ画像
3 基準画像
4 被撮影物
5 記憶装置
6 計算装置
7 表示装置
8 キーボード
10(10−0〜10−n) 縮小ステレオ画像
100 カメラ
101 カメラ[0001]
BACKGROUND OF THE INVENTION
The present invention For 3D information acquisition device It is related.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique for acquiring three-dimensional information about a subject to be captured from an image captured by a stereo imaging system and performing three-dimensional display (polygon display) using the three-dimensional information is known. For example, Japanese Patent Laid-Open No. 6-215111 discloses a method for acquiring three-dimensional information, and polygon display can be performed based on the acquired three-dimensional information.
[0003]
Here, the “stereo imaging system” means an imaging system from a plurality of viewpoints. Furthermore, the thing which acquires the image of a several viewpoint using one stereo imaging device etc. using a stereo converter etc., and the thing using a some imaging device are included. The “image captured by the stereo imaging system” means images from a plurality of viewpoints. This includes not only a plurality of images from a plurality of imaging devices but also a plurality of viewpoint images embedded in one image.
[0004]
[Problems to be solved by the invention]
In the conventional three-dimensional display method described above, a huge amount of calculation is required for searching for points (corresponding points, measurement points) for acquiring three-dimensional information and acquiring three-dimensional information. It is difficult to introduce.
[0005]
The present invention has been made paying attention to such a problem, and the object is to reduce the amount of calculation. 3D information acquisition device It is to provide.
[0006]
[Means for Solving the Problems]
To achieve the above objective, Book The invention performs three-dimensional information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target. A three-dimensional information acquisition device for acquiring image display information, An input means for an operator to input setting conditions; Setting means for setting each vertex of the polygon or wire frame at a predetermined interval on one image plane as a reference When And calculating means for calculating three-dimensional information at a measurement point which is a point on the captured image corresponding to the vertex. When, Have Determine the movement of the measurement point based on the setting of the input means, Based on the calculation result of the calculation means, the three-dimensional image display information of the imaging target is output to the display means.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0016]
FIG. 1 is a diagram illustrating a configuration of a three-dimensional information acquisition apparatus according to the present invention, which includes a
[0017]
FIG. 2 is a diagram for explaining the basic concept of stereo stereoscopic vision. When the same subject 4 is photographed by the
[0018]
FIG. 3 shows a plurality of stereo images 2-0 to 2-n (hereinafter referred to as stereo images 2) captured by a
[0019]
FIG. 4 is a block diagram illustrating a schematic configuration of the three-dimensional information acquisition apparatus according to the present embodiment, which includes a
[0020]
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is imaged by the
[0021]
Next, a measurement point a to be measured on the reference image 3 x, y Is determined (step S3). Next, the measurement point a on the reference image 3 x, y Corresponding point c on the other stereo image, here stereo image 2-2 x, y Is searched for how much the point on the reference image 3 is deviated (parallax) on the stereo image 2-2, and from the result, the relative position, orientation, optical parameters, etc. of the
[0022]
Next, it is determined whether or not the measurement that can display the subject 4 is completed (step S7). x, y A measurement point a that is separated from the position of b by a distance b x + 1, y (Step S6), the process returns to step S4 and the measurement point a x + 1, y Corresponding point c on image 2-2 corresponding to x + 1, y To find the measurement point a x + 1, y And the information is stored in the
[0023]
Similarly, the above processing is repeated until the determination in step S7 becomes YES, and the object to be photographed 4 is displayed on the
[0024]
According to the first embodiment described above, since the interval between the points for searching for the corresponding points is set as the interval between the polygon vertices, the distance calculation amount can be reduced, and the corresponding point search can be performed at high speed.
[0025]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, the relationship between the distance b and the distance between each measurement point a may be a constant multiple relationship instead of the same value. The interval b may be changed by inputting from the
[0026]
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to FIG. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is photographed by the cameras 100 and 101 constituting the stereo imaging system 1 (step S11), and the obtained
[0027]
According to the second embodiment described above, a point having image features (edge information, luminance, hue dispersion, curvature information, etc.) on the reference image 3 is extracted and used as a measurement point to match the actual image. Therefore, it is possible to set an optimum measurement point, and high-quality polygon information is generated.
[0028]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, the relationship between the distance b and the distance between each measurement point a may be a constant multiple relationship instead of the same value. The threshold for extracting feature points from image features may be changed by inputting from a
[0029]
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described with reference to FIG. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the
[0030]
A specific example of determining the polygon interval b will be described below. For example, assume that the polygon interval b = 1, that is, A is the amount of information output when stereo matching is performed on all points on the screen. Further, polygon generation is performed according to the method described in FIG. 5, and the number of displayable polygons per unit time of the
[0031]
Considering that it is meaningless to calculate more than B polygons per unit time,
[0032]
[Expression 1]
Therefore, b is
[0033]
[Expression 2]
[0034]
Satisfy the relationship. The maximum
[0035]
Next, the to-be-photographed object 4 is image | photographed with the cameras 100 and 101 which comprise the stereo imaging system 1 (step S23), and the obtained
[0036]
Next, the
[0037]
In the third embodiment, the distance b is the measurement point a on the reference image 3. x + 1, y Is the measurement point a x, y It is characterized in that it is determined not by the pixel next to the pixel but by the display capability of the
[0038]
The reason why it should be a power of 2 is as follows.
[0039]
1. At present, most of the information recordings of computing devices are composed of binary numbers, so that the premise that the stored information is a power of 2 makes it easy to speed up the computing process and simplify the computing device.
[0040]
2. When the image is reduced, since it is a power of 2, it is not necessary to perform interpolation by reduction such as 1/2, 1/4, 1/8.
[0041]
3. When texture mapping is performed on a polygon, there is a problem that a virtual image is generated if the rendering pixel area and the texture size are significantly different. , 8 × 8, 16 × 16,...) And using a size closest to the rendering area is generally performed. (Multum In Parvo Mapping)
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. For example, not the polygon interval b but the number of measurement points a may be determined from the processing capability of the computing device and the communication capability with peripheral devices. The processing capability of the computing device and the communication capability with peripheral devices may be checked in advance and the results stored in the
[0042]
(Fourth embodiment)
The fourth embodiment of the present invention will be described below with reference to FIGS. In this case, the above-mentioned drawings shall be referred to as appropriate. First, the subject 4 is photographed by the cameras 100 and 101 constituting the stereo imaging system 1 (step S31), and the obtained
[0043]
The
[0044]
According to the fourth embodiment described above, there is an effect of reducing the amount of calculation similar to the case where the measurement points are thinned out, and there is no deterioration because the texture pasted on the polygon 9 uses the one of the reference image 3.
[0045]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. Three or more cameras may be used. The reduction ratio may be changed by inputting from the
[0046]
(Fifth embodiment)
Hereinafter, a fifth embodiment of the present invention will be described with reference to FIG. First, the
[0047]
Next, the
[0048]
Next, the
[0049]
Next, the
[0050]
According to the fifth embodiment described above, it is possible to set polygons that are optimal for performance, such as avoiding unnecessary calculations by determining the reduction ratio based on the performance of the processing device. For example, when the
[0051]
Of course, various modifications and changes can be made to each configuration of the embodiment of the present invention. If the image to be pasted uses an image before reduction, a composite image between the
[0052]
(Appendix)
The invention having the following configuration is extracted from the specific embodiment described above.
[0053]
1.
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition device for acquiring information,
Calculation means for calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to each vertex position of the polygon or wire frame;
3. A three-dimensional information acquisition apparatus that outputs three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit.
[0054]
(Function)
A
[0055]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the first embodiment described above. The related figures are FIGS.
[0056]
(effect)
The total amount of corresponding points to be searched is reduced by setting the interval between the points to perform the corresponding point search as the interval between the polygon vertices, so that the calculation amount is reduced.
[0057]
2.
The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition apparatus described in 1.
[0058]
(Function)
A
[0059]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the second embodiment described above. The related figures are FIGS. 1 to 4 and 7 to 11.
[0060]
(effect)
Since the total number of corresponding points to be searched is reduced by setting the interval between the points to be searched for as the feature point interval, the amount of calculation is reduced.
[0061]
3.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Or it is determined by the combination. The three-dimensional information acquisition apparatus described in 1.
[0062]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS. 1 to 4 and 12.
[0063]
(Function)
A
[0064]
(effect)
The amount of calculation can be changed according to the performance of the device.
[0065]
4).
The three-dimensional information acquisition apparatus further includes an input unit for an operator to input a setting condition, and the measurement point is determined based on the setting of the input unit. The three-dimensional information acquisition apparatus described in 1.
[0066]
(Corresponding Embodiment of the Invention)
Embodiments relating to the present invention correspond to the first, second and fourth embodiments described above. Related figures are FIGS. 1-4 (particularly the
[0067]
(Function)
A
[0068]
(effect)
The polygon quality desired by the operator can be set.
[0069]
5).
The distance between the measurement points is at least 4 pixels or more on the captured image. The three-dimensional information acquisition apparatus described in 1.
[0070]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS.
[0071]
(Function)
A
[0072]
(effect)
Since the total number of corresponding points to be searched is reduced by setting the interval between points to be searched for to be the interval between polygon vertices (distance 4 pixels or more), the amount of calculation is reduced.
[0073]
6).
The distance between the measurement points is a power of 2 pixels. The three-dimensional information acquisition apparatus described in 1.
[0074]
(Corresponding Embodiment of the Invention)
The embodiment relating to the present invention corresponds to the third embodiment described above. The related figures are FIGS.
[0075]
(Function)
A
[0076]
(effect)
The total amount of corresponding points to be searched is reduced by setting the interval between the points to perform the corresponding point search as the interval between the polygon vertices, so that the calculation amount is reduced.
[0077]
Also, by making the vertex interval a power of 2, it becomes easy to perform high-speed processing on hardware.
[0078]
7).
In the calculation of the three-dimensional information, the calculation unit reduces the captured image at a reduction rate based on the distance between the measurement points, and sets the three-dimensional information of the imaging target as the distance between the measurement points with respect to the reduced image as one pixel. It is characterized by calculating 1. The three-dimensional information acquisition apparatus described in 1.
[0079]
(Corresponding Embodiment of the Invention)
Embodiments relating to the present invention correspond to the fourth and fifth embodiments described above. Related drawings are FIGS. 1 to 4, 13, and 14.
[0080]
(Function)
A
[0081]
(effect)
Performing stereo matching on a reduced image requires less computation than performing it on an unreduced image, and the texture of the polygon that is displayed by using the unreduced texture Less degradation.
[0082]
8).
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition method for acquiring information,
3D information at a measurement point that is a point on the captured image corresponding to each vertex position of the polygon or wire frame is calculated, and the 3D image display information of the imaging target is displayed based on the calculation result at this time A three-dimensional information acquisition method characterized by outputting to
[0083]
9.
The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition method described in 1.
[0084]
10.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Or, it is determined by the combination. The three-dimensional information acquisition method described in 1.
[0085]
11.
7. An operator further has an input means for inputting setting conditions, and the measurement point is determined based on the setting of the input means. The three-dimensional information acquisition method described in 1.
[0086]
12
The distance between the measurement points is at least 4 pixels or more on the captured image. The three-dimensional information acquisition method described in 1.
[0087]
13.
The distance between the measurement points is a power of 2 pixels. The three-dimensional information acquisition method described in 1.
[0088]
14
In the calculation of the three-dimensional information, the captured image is reduced at a reduction rate based on the distance between the measurement points, and the three-dimensional information of the imaging target is calculated using the distance between the measurement points for the reduced image as one pixel. 8 The three-dimensional information acquisition method described in 1.
[0089]
15.
Image display that performs 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performs three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition program for acquiring information,
A function of calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to each item point position of the polygon or wire frame;
A function of outputting three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit;
A three-dimensional information acquisition program comprising:
[0090]
16.
15. The measurement point is determined based on a feature point extracted by processing the image. The three-dimensional information acquisition program described in 1.
[0091]
17.
The measurement point is determined by “calculation processing capability of the calculation unit”, “communication capability between the calculation unit and peripheral device”, and “display capability of connected display unit”, or any of the three capabilities. Alternatively, it is determined by the combination thereof. The three-dimensional information acquisition program described in 1.
[0092]
18.
15. An operator further has an input means for inputting setting conditions, and the measurement point is determined based on the setting of the input means. The three-dimensional information acquisition program described in 1.
[0093]
19.
15. The distance between the measurement points is at least 4 pixels on the captured image. The three-dimensional information acquisition program described in 1.
[0094]
20.
15. The distance between the measurement points is a power-of-two pixel. The three-dimensional information acquisition program described in 1.
[0095]
21.
In the calculation of the three-dimensional information, the captured image is reduced at a reduction rate based on the distance between the measurement points, and the three-dimensional information of the imaging target is calculated using the distance between the measurement points for the reduced image as one pixel. 15. The three-dimensional information acquisition program described in 1.
[0096]
【The invention's effect】
According to the present invention, since the interval between the points where the corresponding points are searched is set as the interval between the polygon vertices, the calculation amount is reduced by reducing the total number of corresponding points to be substantially searched. In addition, since the measurement point for calculating the three-dimensional information is determined based on the setting input by the operator, the polygon quality desired by the operator can be set. , Has the effect.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a three-dimensional information acquisition apparatus according to the present invention.
FIG. 2 is a diagram for explaining a basic concept of stereo stereoscopic vision.
FIG. 3 is a diagram illustrating a plurality of images 2-0 to 2-n captured by a
FIG. 4 is a block diagram illustrating a schematic configuration of a three-dimensional information acquisition apparatus according to the present embodiment.
FIG. 5 is a flowchart for explaining a three-dimensional information acquisition method according to the first embodiment of the present invention;
FIG. 6 is a schematic diagram for explaining a three-dimensional information acquisition method according to the first embodiment of the present invention.
FIG. 7 is a flowchart for explaining a three-dimensional information acquisition method according to the second embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of a reference image 3;
FIG. 9 is a diagram showing feature points (black circle portions) extracted by the method of the present embodiment.
10 is a diagram for explaining a method of searching for a point corresponding to each measurement point a on the reference image 3 from the
FIG. 11 is a diagram showing a polygon 9 generated from stored depth information.
FIG. 12 is a flowchart for explaining a three-dimensional information acquisition method according to the third embodiment of the invention.
FIG. 13 is a flowchart for explaining a three-dimensional information acquisition method according to the fourth embodiment of the present invention;
FIG. 14 is a diagram showing a
FIG. 15 is a flowchart for explaining a 3D information acquisition method according to the fifth embodiment of the invention;
[Explanation of symbols]
1 Stereo imaging system
2 (2-0 to 2-n) stereo images
3 reference images
4 Subject
5 storage devices
6 Calculator
7 Display device
8 Keyboard
10 (10-0 to 10-n) reduced stereo image
100 cameras
101 camera
Claims (1)
操作者が設定条件を入力するための入力手段と、
前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、
この頂点に対応する前記撮像画像上の点である測定点における3次元情報を算出する計算手段と、
を有し、
前記入力手段の設定に基づいて前記測定点を移動決定し、
前記計算手段の算出結果に基づいて前記撮像対象の3次元画像表示情報を表示手段に出力することを特徴とする3次元情報取得装置。Image display information for performing 3D information acquisition processing of the imaging target based on images obtained by imaging the imaging target from a plurality of viewpoints whose relative distance and orientation are known, and performing three-dimensional display using the polygon or wire frame of the imaging target A three-dimensional information acquisition device for acquiring
An input means for an operator to input setting conditions;
A setting unit configured to set at predetermined intervals on one image plane serving as a reference for each vertex of the polygon or wire frame,
Calculation means for calculating three-dimensional information at a measurement point that is a point on the captured image corresponding to the vertex ;
Have
Determine the movement of the measurement point based on the setting of the input means,
3. A three-dimensional information acquisition apparatus that outputs three-dimensional image display information of the imaging target to a display unit based on a calculation result of the calculation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001183735A JP4814441B2 (en) | 2001-06-18 | 2001-06-18 | 3D information acquisition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001183735A JP4814441B2 (en) | 2001-06-18 | 2001-06-18 | 3D information acquisition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003006616A JP2003006616A (en) | 2003-01-10 |
JP4814441B2 true JP4814441B2 (en) | 2011-11-16 |
Family
ID=19023633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001183735A Expired - Fee Related JP4814441B2 (en) | 2001-06-18 | 2001-06-18 | 3D information acquisition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4814441B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4608978B2 (en) * | 2004-07-16 | 2011-01-12 | ソニー株式会社 | Image processing method and image processing apparatus |
WO2014192061A1 (en) * | 2013-05-27 | 2014-12-04 | パイオニア株式会社 | Image processing device, image processing method, and image processing program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3014680B1 (en) * | 1998-09-04 | 2000-02-28 | 核燃料サイクル開発機構 | Preprocessing method for three-dimensional high-speed drawing processing |
JP2000268179A (en) * | 1999-01-14 | 2000-09-29 | Oojisu Soken:Kk | Three-dimensional shape information obtaining method and device, two-dimensional picture obtaining method and device and record medium |
JP2000348213A (en) * | 1999-06-07 | 2000-12-15 | Sanyo Electric Co Ltd | Three-dimensional image generating device, three- dimensional image generating and display device, and method thereof and recording medium |
-
2001
- 2001-06-18 JP JP2001183735A patent/JP4814441B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003006616A (en) | 2003-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6608622B1 (en) | Multi-viewpoint image processing method and apparatus | |
JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
EP0684585B1 (en) | Image forming method and apparatus | |
US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
JP4302572B2 (en) | Image processing device | |
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
TWI497980B (en) | System and method of processing 3d stereoscopic images | |
CN102665086B (en) | Method for obtaining parallax by using region-based local stereo matching | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
JP2005353047A (en) | Three-dimensional image processing method and three-dimensional image processor | |
JP6020471B2 (en) | Image processing method, image processing apparatus, and image processing program | |
US9420263B2 (en) | Information processor and information processing method | |
EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
WO2018188277A1 (en) | Sight correction method and device, intelligent conference terminal and storage medium | |
JP5747797B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN110782507A (en) | Texture mapping generation method and system based on face mesh model and electronic equipment | |
KR101593316B1 (en) | Method and apparatus for recontructing 3-dimension model using stereo camera | |
JPH05303629A (en) | Method for synthesizing shape | |
JP3008875B2 (en) | Subject extraction device | |
JP4193292B2 (en) | Multi-view data input device | |
KR20170047780A (en) | Low-cost calculation apparatus using the adaptive window mask and method therefor | |
JP4814441B2 (en) | 3D information acquisition device | |
KR20030054360A (en) | Apparatus and Method for Converting 2D Images to 3D Object | |
US11847784B2 (en) | Image processing apparatus, head-mounted display, and method for acquiring space information | |
JPH09288735A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110809 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110826 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |