JP4409924B2 - 三次元画像表示装置及び方法 - Google Patents

Description

この発明は、測定対象物について計測した３Ｄデータ（三次元形状データ）と測定対象物のステレオ画像とを相互に直接関連付けて、測定対象物の計測データと画像とを同時に表示可能とする三次元画像表示装置及び方法に関する。

施工対象物や製作対象物の３Ｄデータを取得する方法には、特許文献１に記載されているような三次元位置測定装置（トータルステーション）により取得する方式と、特許文献２に記載されているような対象物と比較校正体を用いてステレオ画像を撮影して、ステレオ計測することにより３Ｄデータを取得するステレオ画像計測方式がある。三次元位置測定装置を用いた方式では、得られる３Ｄ座標の精度が良いので、画像貼り付けの際の基準点位置測定に利用される。特に、近年のトータルステーションでは、モータ駆動によって比較的多数（例えば測定対象物について数十点程度）の三次元座標が得られるようになってきている。ステレオ画像計測方式では、３Ｄデータと画像貼り付けを行う際に標定という作業を行なうことで、測定対象物について数千点−数万点程度の三次元座標を比較的簡便に得られる。

特開２００２−３５２２２４号公報 図２ 特開２００３−６５７３７号公報 図１、図２

しかしながら、三次元位置測定装置により取得した３Ｄデータは、基本的には距離データを含む三次元座標データにて構成されている。そこで、三次元位置測定装置により取得した３Ｄデータと現場状況との対応づけが困難で、３Ｄデータを測定対象物の画像情報と紐付ける作業を行なう際に、測定対象物の何れの位置を計測したのか困難になるという課題があることが判明した。

いっぽう、ステレオ画像計測方式では、ステレオ画像により３Ｄ計測を行うので、画像をステレオ表示することにより３Ｄデータとステレオ画像とを比較することができる。しかし、３Ｄデータとステレオ画像とを比較するために立体モニタや偏向眼鏡が必要となると共に、立体視はうまく出来る人と出来ない人がいて、誰にでも簡単に確認ができないという課題があった。また、測定対象物のステレオ計測や３Ｄデータとステレオ画像と紐付ける作業では、画像情報と３Ｄデータとの間や画像間での対応付けをして、標定作業を行なう必要がある。この標定作業は作業者による個人差が大きく、簡単に精度よくできない、という課題があった。

本発明は上述した課題を解決したもので、ステレオ画像における特徴点の抽出を簡便にして、ステレオ画像から取得した３Ｄ計測データを測定対象物の立体感テクスチャ付き画像と一体化する作業が簡便に行なえる三次元画像表示装置及び方法を提供することを目的とする。

上記目的を達成する本発明の三次元画像表示装置は、例えば図１に示すように、測定対象物１のステレオ画像を記憶するステレオ画像データ記憶部１２と、前記ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する基準点設定部２１と、前記ステレオ画像の他方の画像上における、基準点設定部２１により設定された基準点と対応する基準点対応点を定める対応点探索部２３と、基準点設定部２１により設定された基準点と対応点探索部２３により求められた基準点対応点を用いて、前記ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める標定部２４と、標定部２４で求められた対応点関係から、測定対象物１の対応点の三次元座標データを求める三次元座標データ部３１と、前記対応点の三次元座標データから測定対象物１のモデルを形成するモデル形成部３２と、ステレオ画像データ記憶部１２に記憶された測定対象物のステレオ画像とモデル形成部３２で形成されたモデルとを、標定部２４で求められた対応点関係を用いて対応付ける画像対応部３４と、画像対応部３４により前記モデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示するモデル表示部３５とを備えている。

このような構成によると、基準点設定部２１によってステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。対応点探索部２３によってステレオ画像の他方の画像上における、基準点設定部２１により設定された基準点と対応する基準点対応点を定める。標定部２４によって、基準点設定部２１により設定された基準点と対応点探索部２３により求められた基準点対応点を用いて、ステレオ画像データ記憶部１２に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める。次に、三次元座標データ部３１によって、標定部２４で求められた対応点関係を用いて、測定対象物１の対応点の三次元座標データを求め、モデル形成部３２によって測定対象物１のモデルを形成する。画像対応部３４は、測定対象物のステレオ画像とモデルとを、標定部２４で求められた対応点関係を用いて対応付ける。モデル表示部３５は、モデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示する。立体感テクスチャ付き画像は、測定対象物１を二次元画像で表現しているが、影を用いて表面の凸凹を表すことで、擬似的な立体的表現を行なうものである。

好ましくは、本発明の三次元画像表示装置において、例えば図１２に示すように、基準点設定部２１で探索される特徴点は、相似形であってコントラストの異なる少なくとも２つの部分からなる基準ターゲット像とすると、例えば重心位置のように厳密に位置を定める必要のある特徴点に対して有効である。好ましくは、ステレオ画像データ記憶部１２に記憶されるステレオ画像では、測定対象物１に予め前記基準ターゲット像を有するマークが付されていると、特徴点の位置が測定対象物１に対して一義的に正確に定まる。基準点設定部２１により指定点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図した特徴点に引き込まれる。

好ましくは、本発明の三次元画像表示装置において、基準点設定部２１で探索される特徴点は、前記画像に含まれる複数の略直線部分の交差点とすると、例えば建造物の角のように測定対象物１の特定部位の位置が容易に一義的に定められる用途に適している。基準点設定部２１により指定点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図したコーナー特徴点に引き込まれる。
必要のある特徴点に対して有効である。

好ましくは、本発明の三次元画像表示装置において、さらに、測定対象物１のモデルの姿勢を指示する姿勢指示部３６と、前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う座標変換部３７とを有し、モデル表示部３５は、姿勢指示部３６で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示する構成とすると良い。

好ましくは、本発明の三次元画像表示装置において、さらに、画像対応部３４は、複数の対応点によって形成される単位画像面によって前記ステレオ画像を覆い、しかして単位画像面を用いてモデルとステレオ画像を対応付ける構成とすると良い。単位画像面によってステレオ画像を覆うことによって、測定対象物のステレオ画像とモデルとの対応付けが容易に行なえる。単位画像面には、隣接する３点の対応点を用いた三角形面や、隣接する４点の対応点を用いた矩形面が選択できる。

上記目的を達成する本発明の三次元画像表示方法は、図２に示すように、基準点設定部２１によって、ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する工程（Ｓ２６）と、対応点探索部２３によって、前記ステレオ画像の他方の画像上における、前記基準点と対応する基準点対応点を定める工程（Ｓ２８）と、前記基準点と前記基準点対応点を用いて、標定部２４によって測定対象物１のステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める工程（Ｓ３０）と、三次元座標データ部３１によって、標定部２４で求められた対応点関係から、測定対象物１の対応点の三次元座標データを求める工程（Ｓ４０、Ｓ５０）と、モデル形成部３２によって、前記対応点の三次元座標データから測定対象物１のモデルを形成する工程（Ｓ６０）と、画像対応部３４によって、測定対象物１のステレオ画像と形成されたモデルとを、標定部２４で求められた対応点関係を用いて対応付ける工程（Ｓ７２）と、モデル表示部３５によって、前記モデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示する工程（Ｓ８０）とをコンピュータに実行させるものである。

好ましくは、本発明の三次元画像表示方法において、さらに、姿勢指示部３６によって測定対象物１のモデルの姿勢を指示する工程（Ｓ９０）と、座標変換部３７によってモデルに対する姿勢指示に応じて、前記対応点の座標変換を行う工程（Ｓ９２）を有し、モデル表示部３５によって、モデルに対する姿勢指示に応じた測定対象物１の立体感テクスチャ付き画像を表示する工程とをコンピュータに実行させるとよい。

本発明の三次元画像表示装置によれば、基準点設定部２１により設定された基準点と対応点探索部２３により求められた基準点対応点を用いて、標定部２４により測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める構成としているので、ステレオ画像の位置対応が容易につく。また、画像対応部３４によって測定対象物１のステレオ画像とモデル形成部３２によって形成されたモデルとを、標定部２４で求められた対応点関係を用いて対応付け、モデル表示部３５によって、モデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示する構成としているので、ステレオ計測した３Ｄデータに対しても、立体視用の装置を用いて立体視を行なうことなく、３Ｄデータと測定対象物１の画像の確認が容易に行なえる。また、姿勢指示部３６で測定対象物１のモデルの姿勢を指示すると、座標変換部３７により座標変換してモデル表示部３５で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示するので、測定対象物１の任意方向の立体感テクスチャ付き画像が得られる。

以下図面を用いて本発明を説明する。本発明の三次元画像表示装置は、最低２枚以上の複数撮影された画像から、ステレオ画像を構成する左右２枚の画像を１単位として、測定対象物１の立体的な形状を算出すると共に、測定対象物１の全体を３Ｄ計測もしくは取得された３Ｄデータを用いて、測定対象物１の二次元画像に立体感を表現するテクスチャ（texture）を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表わすための描き込みをいう。

図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。本発明は、ステレオ画像データ記憶部１２、測定対象物位置データ記憶部１６、基準点設定部２１、対応点探索部２３、標定部２４、対応点指示部２５、表示画像形成部３０、表示装置４０を備えるもので、例えばコンピュータと表示装置で構成されている。測定対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物等の各種工作物や人物・風景等が該当する。画像撮影装置１０は、測定対象物１のステレオ画像を取得するもので、例えばステレオカメラや汎用のデジタルカメラとこのデジタルカメラで撮影された測定対象物１の左右画像に対してレンズ収差の補償を行なう装置を組合せた機器である。

三次元位置測定装置１４には、測定の対象となる標点位置をレーザー等を用いて自動的に測定する三次元位置測定装置（トータルステーション）や、３Ｄスキャナが用いられる。３Ｄスキャナとは、レーザ光を測定対象物１に発射し、その反射光を機械内のＣＣＤカメラで受光し、受光した光から三角測距の原理で距離データを得て３次元データ化するもので、工業デザインや３Ｄ画像のデータベース化、映像制作における３次元ＣＧなど、様々な用途で使われている。測定対象物１にレーザ光を上から下へ走査することにより、１回のスキャンで、照射画像全体で例えば６４０ｘ４８０点の距離画像を入力することができる。

ステレオ画像データ記憶部１２は、測定対象物１のステレオ画像を記憶するもので、例えば画像撮影装置１０で撮影された測定対象物１の左右画像を記憶する。測定対象物位置データ記憶部１６は、絶対標定に必要とされる３点以上の基準点となる測定対象物１の位置データを記憶するもので、例えば三次元位置測定装置１４で測定された基準点の位置データを記憶する。なお、絶対標定を行なわないで、モデル座標系を用いた相互標定で充分な用途では、測定対象物位置データ記憶部１６を設けるに及ばない。

基準点設定部２１は、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。特徴点には、例えば測定対象物１の中心位置、重心位置、コーナー位置などがある。対応点探索部２３は、ステレオ画像の他方の画像（探索画像）上における、基準点設定部２１により設定された基準点と対応する基準点対応点を定める。操作者が特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、基準点設定部２１によって操作者が基準画像で本来意図した特徴点に引き込まれると共に、対応点探索部２３によって探索画像の基準点対応点が定められる。

標定部２４は、基準点設定部２１により設定された基準点と対応点探索部２３により求められた基準点対応点を用いて、ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める。対応点指示部２５は、操作者が基準画像の特徴点近傍以外の点を指定した場合に、探索画像上での対応点を定める。操作者は、表示装置４０に表示される基準画像の指示点と、対応点指示部２５によって定められる探索画像上での対応点の表示位置とを対比して、測定対象物１の形状認識が容易に行なえる。また、対応点指示部２５による位置対応を用いて、標定部２４による相互標定が容易に行なえる。基準点設定部２１、対応点探索部２３、標定部２４、対応点指示部２５の詳細は、後で説明する。

また、表示画像形成部３０は、三次元座標データ部３１、モデル形成部３２、モデル記憶部３３、画像対応部３４、モデル表示部３５、姿勢指示部３６、座標変換部３７を備えている。三次元座標データ部３１は、標定部２４で求められた対応点関係から、測定対象物１の対応点の三次元座標データを求める。モデル形成部３２は、対応点の三次元座標データから測定対象物１のモデルを形成する。モデル記憶部３３は、モデル形成部３２で形成された測定対象物１のモデルを記憶している。画像対応部３４は、ステレオ画像データ記憶部１２に記憶された測定対象物のステレオ画像とモデル形成部３２で形成されたモデルとを、標定部２４で求められた対応点関係を用いて対応付ける。モデル表示部３５は、画像対応部３４によりモデルと対応付けられたステレオ画像を用いて、測定対象物１を鳥瞰画像等の立体感テクスチャ付き画像を用いて、立体感のある二次元画像で表示装置４０に表示する。

姿勢指示部３６は、測定対象物１のモデルの姿勢を指示するもので、例えば操作者がマウス等のカーソル入力装置を操作して、表示装置４０に表示される測定対象物１の姿勢を指示する。座標変換部３７は、モデルに対する姿勢指示に応じて、対応点の座標変換を行う。モデル表示部３５は、姿勢指示部３６で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示する。表示装置４０は、液晶表示装置やＣＲＴ等の画像表示装置である。

次に、このように構成された本発明の三次元画像表示装置の動作を説明する。図２は図１に示す三次元画像表示装置の動作を説明するフローチャートである。まず、デジタルカメラ等の画像撮影装置１０を用いて撮影した測定対象物１の２枚以上の画像を、ステレオ画像データ記憶部１２に画像登録する（Ｓ１０）。次に、ステレオ画像データ記憶部１２に登録された画像のうち、ステレオペアとなる左右画像の組を設定する（Ｓ２０）。ただし、ステレオ画像データ記憶部１２に登録された全ての画像を、Ｓ２０にてステレオペア設定しなくよい。即ち、計測したいステレオ画像や立体感テクスチャを貼りたいステレオ画像から順に、随時ステレオ画像を構成するステレオペアとして設定してもよい。

次に、三次元位置測定装置１４を用いて取得した、測定対象物１の三次元座標が存在しているか判断する（Ｓ２２）。Ｓ２２でＹｅｓであれば、測定対象物位置データ記憶部１６に、測定対象物１の三次元座標を用いた位置データを読みこむ（Ｓ２４）。Ｓ２２でＮｏであれば、相対座標系で処理が可能なので、Ｓ２４をスキップしてよい。なお、測定対象物位置データ記憶部１６に対する測定対象物１の三次元座標を用いた位置データの読みこみは、Ｓ２０の後に限られるものではなく、例えばＳ８０までは相対座標系で処理を行い、Ｓ８０の後で３次元座標を読み込み絶対座標系としてもよい。基準点となる三次元座標は、計測もしくは立体感テクスチャを貼りたい全ての画像領域において、最低３点以上存在していれば、絶対座標系として計算、計測することが可能となる。

次に、基準点設定部２１によって、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する（Ｓ２６）。また、対応点探索部２３によって、ステレオ画像の他方の画像（探索画像）上における、基準点と対応する基準点対応点を定める（Ｓ２８）。Ｓ２６、Ｓ２８の関係は、例えば図４、図５、図６にて説明されている。

つぎに、標定部２４によって、標定作業を行ない、ステレオ画像データ記憶部１２に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める（Ｓ３０）。この標定作業には、マニュアルと半自動、全自動の三つのモードがあり、詳細は後で説明する。ここで、標定作業とは、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で基準点設定部２１と対応点探索部２３により、操作者がマウスカーソルなどで基準画像上で指示した指示点に対して、特徴点に適合する基準点と対応する基準点対応点の画像座標を読み取る作業である。この対応点は通常各画像毎に６点以上必要である。また、Ｓ２４にて測定対象物位置データ記憶部１６に基準点座標が記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。

標定作業により求めた対応点の座標を用いて、標定部２４により標定計算処理を行う（Ｓ４０）。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることが出来る（図３参照）。もし基準点座標があれば、測定対象物位置データ記憶部１６から読み出して絶対標定計算処理も行なう。もし基準点座標がなければ、相対（モデル）座標にて計算する。標定計算処理は、ステレオモデルの対応付けに関しては相互標定で行ない、全画像間の標定に関してはバンドル調整にて行う。なお、相互標定の詳細は後で説明する。

図３は標定計算処理の標定結果の一例を説明する画面図である。標定結果画面図１００には、結果一覧画面１０２、パスポイント画面１０４、標定点画面１０６、算出座標画面１０８、撮影状況と地上分解能画面１１０が設けられている。撮影状況と地上分解能画面１１０には、ステレオ画像の撮影状況と地上分解能表示面１２０と、カメラの位置と傾き表示面１３０が設けられている。ステレオ画像の撮影状況と地上分解能表示面１２０には、ステレオペアとなる２枚の画像データを表示するペア名欄１２１、基線長Ｂ欄１２２、撮影距離Ｈ欄１２３、Ｂ／Ｈ比欄１２４、平面分解能欄１２５、奥行分解能欄１２６が設けられている。カメラの位置と傾き表示面１３０には、画像名欄１３１、画像原点の三次元座標を示すＸｏ欄１３２、Ｙｏ欄１３３、Ｚｏ欄１３４、並びに画像の基準座標系からの傾斜角度を示すω欄１３５、φ欄１３６、κ欄１３７が設けられている。

図２に戻り、三次元座標データ部３１にてステレオ計測を行い、測定対象物１の三次元座標を求める（Ｓ５０）。あるいは、ステレオ計測を行なわない場合でも、測定対象物位置データ記憶部１６にステレオ画像の対応点の三次元座標を予め読み込んである場合には、三次元座標データ部３１は測定対象物位置データ記憶部１６から対応点の三次元座標を読み込む。ステレオ計測には、例えば本発明者の提案に掛かる特開２００３−２８４０９８号公報に開示されているように、マニュアル計測、半自動計測、自動計測の各種モードが存在している。そこで、Ｓ４０の標定計算処理結果に応じて、ステレオ計測では、立体視可能なステレオ（左右）画像を作成表示して、上述モードを利用して対応点の三次元座標を求める。自動計測モードで行う場合は、自動計測を行う計測領域を指定して自動計測を行う。マニュアル、半自動計測の場合は、左右のステレオ画面を観察しながら左右画像上の対応点を半自動もしくは、マニュアルにて対応している点をマウスにて確定しながら計測する。

図４は、ステレオ画像に対して実行されるステレオ計測の一例を説明する図面である。ここでは、ステレオ画像１５０の一例として神殿の遺跡を測定対象物１とし、左画像１５０Ｌと右画像１５０Ｒをステレオペアとしている。ここでは、左画像１５０Ｌを基準画像とし、左画像１５０Ｌの特徴点の座標を（Ｘ１、Ｙ１）とする。すると、三次元座標データ部３１は右画像１５０Ｒを探索画像として取扱い、左画像１５０Ｌの特徴点に対応する右画像１５０Ｒの対応点の座標は（Ｘ２、Ｙ２）にて示される。

図５は、ステレオ画像に対して実行されるステレオ計測の他の例を説明する図面である。ここでは、測定対象物１として神殿の遺跡の壁面に形成された水瓶運搬レリーフを採択している。測定対象物１のステレオ画像１６０としては、水瓶運搬レリーフの左画像１６０Ｌと右画像１６０Ｒをステレオペアとしている。ここでは、三次元座標データ部３１は左画像１６０Ｌを基準画像とし、右画像１５０Ｒを探索画像として取扱っている。そして、左画像１６０Ｌの特徴点近傍の画像領域１６２Ｌと、右画像１６０Ｒの対応点近傍の画像領域１６２Ｒを抽出して、図６にて拡大表示している。

図６は、特徴点近傍の画像領域１６２Ｌと対応点近傍の画像領域１６２Ｒの拡大図である。操作者がマウスカーソルなどで左画像１５０Ｌ（基準画像）の対応点を指示すると、基準点設定部２１により特徴点に適合する基準点に引き込まれると共に、対応点探索部２３により右画像１５０Ｒ（探索画像）の基準点と対応する基準点対応点が定められる。操作者には、基準点設定部２１と対応点探索部２３により、右画像１５０Ｒ（探索画像）でも指示位置近傍の特徴点に引き込まれるように見える。指示位置近傍の特徴点として、ここでは水瓶運搬レリーフのコーナー位置を示している。

図２に戻り、求められた三次元座標、あるいは読み込まれた三次元座標から、モデル形成部３２にて測定対象物１のモデルを作成する（Ｓ６０）。図７は、測定対象物１のモデルの一例を示す図で、ワイヤーフレーム面を示している。ここでは、測定対象物１として、神殿の遺跡の壁面に形成された水瓶運搬レリーフをステレオ画像１７０としている。水瓶運搬レリーフの左画像１７０Ｌと右画像１７０Ｒをステレオペアとしている。左右の領域指定枠線１７２Ｌ、１７２Ｒの内側に、ワイヤーフレーム面１７４Ｌ、１７４Ｒが形成されている。ワイヤーフレーム面１７４Ｌ、１７４Ｒを構成する単位画像面は、例えば隣接する３点の対応点を用いた三角形面や、隣接する４点の対応点を用いた矩形面が選択できる。このとき、測定対象物１のモデルの姿勢には、最初に作成された面の向きがデフォルト値として設定されている。

図２に戻り、画像対応部３４により、テクスチャマッピングしたい面を指定する（Ｓ７０）。テクスチャマッピングとは、測定対象物１の二次元画像に立体感を表現するテクスチャを貼り付けることをいう。Ｓ７０の処理は、ステレオ自動計測した場合は、Ｓ５０で行った計測領域の指定とかねてもよい。次に、画像対応部３４は、測定対象物１のステレオ画像とモデル形成部３２によって形成されたモデルとを、標定部２４で求められた対応点関係を用いてテクスチャマッピングする（Ｓ７２）。テクスチャマッピングの詳細は、後で説明する。

次に、モデル表示部３５により、テクスチャマッピングされた画像をモデル画面上に表示する（Ｓ８０）。モデル画面は、ステレオ画像から形成された立体感テクスチャ付き画像やテクスチャを除去した画像のように、斜視状態を表す測定対象物１の二次元画像である。Ｓ８０での表示は、テクスチャマッピングされた画像だけでなく、ワイヤーフレーム画像や、３次元の点群（例えば３Ｄスキャナーで取得した点画像）、カメラ撮影位置や基準点位置を表示してもよい。また、モデル画面に表示される対象を、同時また切り替えて表示することにより、ステレオ画像計測結果と測定対象物１の撮影画像との確認が容易になる。

図８は、立体感を表現するテクスチャをワイヤーフレームで表現した図である。ワイヤーフレーム画面１８０には、例えば測定対象物１の領域指定枠線１８２と、測定対象物１のワイヤーフレーム１８４が表示されている。ワイヤーフレーム１８４は、斜視状態を表す測定対象物１の二次元画像に貼り付けられる。

図９は、テクスチャマッピングの表示例で、測定対象物１を立体感テクスチャ付き画像で表示する場合を示している。テクスチャマッピング画面１９０には、モデル表示部３５によって、例えば測定対象物１の領域指定枠線１９２と、立体感のあるテクスチャがマッピングされた測定対象物１の鳥瞰画像１９４が表示されている。測定対象物１の鳥瞰画像１９４は、斜視状態を表す測定対象物１の二次元画像として表示される。

図２に戻り、操作者は、マウスやキーボード等を利用して、姿勢指示部３６によりワイヤーフレーム画面１８０やテクスチャマッピング画面１９０における測定対象物１の表示の向きを指示する（Ｓ９０）。すると、座標変換部３７が表示装置４０に表示された測定対象物１の表示の向きを、姿勢指示部３６により指示された向きに座標変換して、ワイヤーフレーム画面１８０やテクスチャマッピング画面１９０に表示する（Ｓ９２）。操作者は、他の測定対象物１の表示の向きが存在するか判断し（Ｓ９４）、ＹｅｓであればＳ９０に戻り、Ｎｏであれば終了とする（Ｓ９６）。Ｓ９０、Ｓ９２のような測定対象物１の表示の向きを任意に指定できる機能によって、あらゆる角度から視点位置を変化させて計測結果や測定対象物１を表示装置４０に表示させることで、操作者が視覚的に測定対象物１を確認することが可能となる。

［相互標定］
次に、標定部２４で行なう相互標定について説明する。図１０は、ステレオ画像におけるモデル座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。

まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。

この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。

上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。

続いて、標定部２４による標定作業の詳細を説明する。標定には、マニュアル、半自動標定モード、自動標定モードの３モードが存在し、標定画像での対応点の配置状況に応じて適宜に選択する。図１１は、マニュアルと半自動標定モードの標定作業のフローチャートである。まず、標定部２４によって標定モードに入る（Ｓ１００）。このとき、操作者は標定したい画像を指定しておく。この場合、画像の指定枚数に関して、特段の制限は存在しない。すると、表示装置４０の画面上に、標定部２４によって指定した測定対象物画像が表示される（Ｓ１１０）。

操作者は、標定の設定を半自動標定モードかマニュアルに設定する（Ｓ１２０）。この場合、標定部２４による標定作業のデフォルトとしてマニュアルを選択してもよい。また、半自動標定モードの場合は、重心検出モード、コーナー検出モードの双方があり、詳細は後で説明する。次に、操作者は、例えば図５や図６に示すように、画像の標定に使用する点を指定する（Ｓ１３０）。この場合、測定対象物１の左右画像上で対応する点を、基準点設定部２１と対応点探索部２３により指示する。マニュアルの場合は、マウスカーソルにて測定対象物１の左右画像上の対応点を、表示装置４０の画像上で指定する。半自動標定モードの場合は、対応点近傍を指定することにより、基準点設定部２１と対応点探索部２３により対応点（重心もしくはコーナー）が特定される。そして、測定対象物１の左右画像上での対応点指定が終了したか判断し（Ｓ１４０）、ＮｏであればＳ１３０に戻って対応点指定を継続し、Ｙｅｓであれば戻しとする（Ｓ１５０）。

以下、半自動標定モードのアルゴリズムについて説明する。図１２は、測定対象物の特徴点に貼付するレトロターゲットの説明図である。レトロターゲット２００は、中心位置２０２が明確に識別できる標点（ターゲット）で、同心円状に形成された内円部２０４と外円部２０６を有している。内円部２０４の明度を明るくし、外円部２０６の明度を暗くすることで、視認性を高めている。そこで、レトロターゲット２００は、測定対象物１の重心やコーナーのように、位置決めに関して特に重要な特徴点に貼付される。なお、内円部２０４と外円部２０６の明度は、明暗のコントラストが逆でも良い。

図１３は、半自動標定モードにおける重心検出のアルゴリズムを説明するフローチャートである。まず、予め測定対象物１の特徴点にレトロターゲット２００を貼付しておく。あるいは、レトロターゲット２００に代えて、測定対象物１上の輝度の高い特徴点を、基準点設定部２１と対応点探索部２３により指示してもよい。操作者は、表示装置４０の画像上に表示された測定対象物１の画像（基準画像）上で、マウスカーソルにより対応点近傍を指定する（Ｓ２００）。すると、基準点設定部２１と対応点探索部２３は、探索画像における対応点の近傍から、ターゲットの存在範囲を決定する（Ｓ２１０）。

図１４はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図１４（Ａ１）のように内円部の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図１４（Ａ２）のようになり、光量分布の閾値Ｔからレトロターゲットの内円部２０４や中心位置２０２を求めることが可能となる。

図１３に戻り、Ｓ２１０にて測定対象物１の撮影状態が悪く、ターゲットの存在範囲が算出できない場合は、重心位置検出ができない為、エラー表示する（Ｓ２１５）。そして、Ｓ２１５からＳ２５０に飛び、対応点近傍の指定点を修正か判断し（Ｓ２５０）、ＹｅｓであればＳ２００に戻り、対応点近傍の指定点として他の点を計測点と指定する。Ｓ２５０でＮｏの場合は、マニュアル計測モードに切り替えて、他の特徴点に指定を切換えて、特徴点位置を計測し直す（Ｓ２６０）。

そして、標定部２４により、例えばモーメント法によって重心位置を算出する（Ｓ２２０）。例えば、図１４の（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔ以上のｘ、ｙ方向の点について、式（６）、（７）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） …（６）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） …（７）
ここで、（ｘｇ、ｙｇ）は重心位置の座標、ｆ（ｘ、ｙ）は（ｘ、ｙ）座標上の明度値である。なお、図１４の（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔ以下のｘ、ｙ方向の点について、上式（６）、（７）を演算する。

そして、標定部２４は、Ｓ２２０で求められた対応点位置を画面上に表示する（Ｓ２３０）。Ｓ２３０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に適合していれば、標定作業を終了して戻しとする（Ｓ２４０）。他方、Ｓ２３０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に不適合であったり、或いは重心位置検出ができずエラー表示となった場合は上述のＳ２５０に飛ぶ。

図１５は、半自動標定モードにおけるコーナー検出のアルゴリズムを説明するフローチャートである。コーナー検出のアルゴリズムは、測定対象物１の画像上で直線が交わるようなコーナーが存在する場合や、直交する直線を有するターゲットを測定対象物１に貼付してある場合に適用される。たとえば、測定対象物１が、ビルデングなどのような直線とコーナーが多数ある建造物の場合には、極めて有効となる。

操作者は、表示装置４０の画像上に表示された測定対象物１の画像（基準画像）上で、マウスカーソルにより対応点近傍を指定する（Ｓ３００）。すると、基準点設定部２１と対応点探索部２３は、基準画像の指定点並びに探索画像における対応点の近傍の探索領域を自動設定する（Ｓ３１０）。この場合は特徴点検出がコーナー検出と指定されるので、測定対象物１の画像縮尺に応じて、デフォルトにて探索領域をあらかじめ定数として設定しておく。そして、基準点設定部２１と対応点探索部２３により、探索領域内のエッジ検出を行う（Ｓ３２０）。エッジ検出に関しては、例えばエッジ検出フィルターやＬＯＧフィルタ（下述）が利用できるが、要するに画像処理において画像の縁検出に用いられる検出方式であればよい。

エッジ検出の一例を、以下簡単に説明する。検出点を中心としてＬ×Ｌ画素の画像を対象画像とする。対象画像濃淡波形に、式（８）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果における曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。
∇²・Ｇ（ｘ）＝（ｘ²−２σ²／２πσ⁶）・ｅｘｐ（−ｘ²／２σ²）…（８）
ここで、σはガウス関数のパラメータである。

続いて、基準点設定部２１と対応点探索部２３は検出されたエッジについて直線検出を行う（Ｓ３３０）。基準点設定部２１と対応点探索部２３又は操作者が、エッジの連続性をみて、もっとも連続性のある二つのエッジについて直線にフィッティングさせる。直線検出法はこれに限らずどのような方法を用いてもよい。そして、基準点設定部２１と対応点探索部２３は検出された２直線について、その交点を求める（Ｓ３４０）。そして、基準点設定部２１と対応点探索部２３は表示装置４０の画像上に結果を表示する（Ｓ３５０）。コーナー検出された特徴点の結果が、操作者や予め定められた判断規範に当てはめた場合に適合するか否か判断する（Ｓ３６０）。Ｓ３６０でＹｅｓであれば、次の対応点が存在するか否か判断する（Ｓ３８０）。Ｓ３８０で次の対応点が存在する場合は、次の対応点を指定してＳ３００に戻る。Ｓ３８０で次の対応点が存在しない場合は、コーナー検出処理を終了して戻しとする（Ｓ３９０）。

Ｓ３６０でＮｏであれば、マウスカーソルにより対応点近傍の指定点を修正するか判断し（Ｓ３７０）、ＹｅｓであればＳ３００に戻って対応点近傍の指定点として他の点を計測点と指定する。Ｓ３７０でＮｏであれば、マニュアル計測モードに切り替えて計測し直す（Ｓ３７５）。

次に自動測定の場合について説明する。図１６は、自動標定モードのアルゴリズムを説明するフローチャートである。自動標定モードでは、予め測定対象物１の特徴点にレトロターゲット２００（図１２参照）を貼付しておく。次に、操作者は標定部２４にて自動標定モードを設定する（Ｓ４００）。すると、表示装置４０の画像上に測定対象物画像が表示される（Ｓ４１０）。次に、基準点設定部２１と対応点探索部２３は、対応点の画像ひとつをテンプレートとして登録する（Ｓ４２０）。続いて、基準点設定部２１と対応点探索部２３は、測定対象画像上でテンプレート画像に登録した画像と同じレトロターゲット画像を探索する（Ｓ４３０）。この場合、テンプレートマッチングにより画像探索する。

ここで、テンプレートマッチングの詳細を説明する。テンプレートマッチングには、正規化相関法や残差逐次検定法（ＳＳＤＡ法）、その他各種の演算原理のものが存在している。テンプレートマッチングとして、残差逐次検定法を使用すれば処理が高速化できる。ここでは残差逐次検定法を説明する。

図１７は残差逐次検定法における入力画像とテンプレート画像の説明図である。基準点設定部２１と対応点探索部２３に設けられた残差逐次検定法の遂行機能によって、Ｎ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）^２上で動かす。テンプレート画像の位置は、例えば左上隅に設けられた代表点の入力画像における座標（a,b）によって表す。そして、基準点設定部２１と対応点探索部２３によってテンプレート画像の各移動位置における式（９）の残差Ｒ（a,b）を演算し、最小となる移動位置を求める。この残差Ｒ（a,b）が最小となる移動位置が、テンプレートマッチングにより求める画像の位置である。

処理の高速化をはかるため、式（９）の加算において、R(a,b)の値が過去の残差の最小値を越えたら加算を打ち切り、次の画素座標(a,b)に移るよう計算処理を行うと良い。

図１６に戻り、Ｓ４３０で探索された全てのターゲットについて、さらに詳細に重心位置検出する（Ｓ４４０）。重心位置検出には、例えば前述したモーメント法等を利用するとよい。基準点設定部２１と対応点探索部２３は、Ｓ４４０で求められたターゲット位置を画面上に表示する（Ｓ４５０）。Ｓ４５０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に適合していれば、標定作業を終了して戻しとする（Ｓ４６０）。他方、Ｓ４５０で表示されたターゲット位置が、操作者又は予め定められた判断規範に当てはめた場合に不適合であったり、或いは重心位置検出ができずエラー表示となった場合は、半自動標定モード又はマニュアルモードに移行して、不適合なターゲット位置を修正する（Ｓ４７０）。

［モデル画像作成］
次に、モデルにて用いられるモデル画像について説明する。モデル画像は、モデル形成部３２、画像対応部３４、モデル表示部３５等で用いられる。図１８はモデル画像の作成手順を説明するフローチャートである。まず、標定作業と標定計算処理で求められた座標を利用して、座標変換パラメータを求める。すなわち、標定作業により計測された画像座標と標定計算処理により算出された地上座標（モデル座標系の場合は、地上座標を仮に設定する）の対応づけを行ない、座標変換パラメータを求める（Ｓ５００）。

座標変換パラメータは次の３次の射影変換式（１０）により求める。

ここで、（ｘ、ｙ）は画像座標、（Ｘ、Ｙ、Ｚ）は地上座標、Ｌ１〜Ｌ１１は未知変量である。３次の射影変換式（１０）を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と３次元座標（Ｘ、Ｙ、Ｚ）との関係を決定する各種変換パラメータを取得することができる。

次に、モデル画像上の各画素（ピクセル）の地上座標を計算する（Ｓ５１０）。この処理では、モデル画像作成のために、モデル画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理のＳ５００で求められた変換パラメータを用いて計算される。即ち、モデル画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式（１１）で与えられる。このようにして、モデル画像上の各ピクセルの取得位置を求めることができる。

ここで、（Ｘ０、Ｙ０）は地上座標系でのモデル画像の左上の位置、（ΔＸ、ΔＹ）は地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、（ｘ、ｙ）はモデル画像の画像座標、（Ｘ、Ｙ、Ｚ）は地上画像、係数ａ、ｂ、ｃ、ｄはある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。

今度は、ステップＳ５００で求めた変換パラメータを使用して、３次の射影変換式（１０）により、ステップＳ５２０で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（Ｓ５２０）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、モデル画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、モデル画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（Ｓ５３０）。

［視点を変えたモデル画像形成］
続いて、座標変換部３７により遂行されるモデル画像の回転に関する演算原理を説明する。図２のＳ９２で説明しているように、姿勢指示部３６で測定対象物１のモデルの姿勢を指示すると、座標変換部３７により座標変換してモデル表示部３５で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示するので、測定対象物１の任意方向の立体感テクスチャ付き画像が得られる。そこで、視点をかえて見たモデル画像を作成する原理を説明する。この原理は、姿勢指示部３６で指示された方向に座標変換部３７にて座標系を回転させた後、モデル画像を形成させるものである。

図１９は、視点を変えたモデル画像形成の原理説明図である。図１９に示すように、地上座標系のＸ、Ｙ、Ｚをそれぞれの軸方向のω、φ、κに回転させることにより、視点を変えた地上座標系Ｘ’，Ｙ’、Ｚ’が得られる。そこで、視点を変えた地上座標系Ｘ’，Ｙ’、Ｚ’に対し、画像貼り付けを行い、モデル画像を作成する。

以下に詳細に説明する。例えば、傾きのない地上座標Ｘ、Ｙ、Ｚであらわされた対象物
Ｐ（Ｘ，Ｙ，Ｚ）が、逆に傾きのある地上座標系Ｘ’、Ｙ’、Ｚ’（視点を変えた座標系
）でとる座標をＰ’（Ｘ’，Ｙ’，Ｚ’）とすると、以下の式（１２）〜（１５）により
その座標を求めることができる。

ここで回転行列Ｒには次の式（１３）、（１４）が成立している。

ここで、（Ｘｏ，Ｙｏ，Ｚｏ）は投影中心の座標である。

また、回転行列Ｒの要素ａ_ｉｊ（ｉ＝１〜３、ｊ＝１〜３）は次の式（１５）で表される。

ここで座標変換して求められた各座標Ｘ’、Ｙ’、Ｚ’について、モデル画像形成処理を行なえば、視点を変えたモデル画像を得ることができる。

本発明の三次元画像表示装置によれば、基準点設定部により設定された基準点と対応点探索部により求められた基準点対応点を用いて、標定部により測定対象物のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める構成としているので、ステレオ画像の位置対応が容易につく。また、画像対応部によって測定対象物のステレオ画像とモデル形成部によって形成されたモデルとを、標定部で求められた対応点関係を用いて対応付け、モデル表示部によって、モデルと対応付けられたステレオ画像を用いて、測定対象物の立体感テクスチャ付き画像を表示する構成としているので、ステレオ計測した３Ｄデータに対しても、立体視用の装置を用いて立体視を行なうことなく、３Ｄデータと測定対象物１の画像の確認が容易に行なえる。

また実施の形態のように、三次元画像表示装置としてＰＣ（パソコン）のような情報処理プロセッサを搭載したコンピュータ、ＬＣＤ(Liquid Crystal Display)モニタのような表示装置、並びにＰＣにインストールする三次元画像表示装置用のソフトウェア、並びに測定対象物のステレオ画像を撮影するデジタルカメラのような被校正撮影装置が存在すれば、ステレオ画像から取得した３Ｄ計測データを測定対象物の立体感テクスチャ付き画像と一体化して視覚化できる。そこで、従来ステレオ計測した３Ｄデータで必要とされていた、高価で精密な立体視用の装置を用いなくても、汎用で低価格のコンピュータとモニタ装置を用いて安価にシステム構築ができる。

本発明の第１の実施の形態を説明する全体構成ブロック図である。 図１に示す三次元画像表示装置の動作を説明するフローチャートである。 標定計算処理の標定結果の一例を説明する画面図である。 ステレオ画像に対して実行されるステレオ計測の一例を説明する図面である。 ステレオ画像に対して実行されるステレオ計測の他の例を説明する図面である。 特徴点近傍の画像領域１６２Ｌと対応点近傍の画像領域１６２Ｒの拡大図である。 測定対象物１のモデルの一例を示す図で、ワイヤーフレーム面を示している。 立体感を表現するテクスチャをワイヤーフレームで表現した図である。 テクスチャマッピングの表示例で、測定対象物１を立体感テクスチャ付き画像で表示する場合を示している。 ステレオ画像におけるモデル座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。 マニュアルと半自動標定モードの標定作業のフローチャートである。 測定対象物の特徴点に貼付するレトロターゲットの説明図である。 半自動標定モードにおける重心検出のアルゴリズムを説明するフローチャートである。 レトロターゲットを用いた重心位置検出の説明図である。 半自動標定モードにおけるコーナー検出のアルゴリズムを説明するフローチャートである。 自動標定モードのアルゴリズムを説明するフローチャートである。 残差逐次検定法における入力画像とテンプレート画像の説明図である。 モデル画像の作成手順を説明するフローチャートである。 視点を変えたモデル画像形成の原理説明図である。

符号の説明

１ 測定対象物
１０ 画像撮影装置
１２ ステレオ画像データ記憶部
１６ 測定対象物位置データ記憶部
２１ 基準点設定部
２３ 対応点探索部
２４ 標定部
２５ 対応点指示部
３０ 表示画像形成部
３１ 三次元座標データ部
３２ モデル形成部
３４ 画像対応部
３５ モデル表示部
４０ 表示装置

Claims (7)

1. 測定対象物のステレオ画像を記憶するステレオ画像データ記憶部と；
   前記ステレオ画像の一方の画像上に指定された点の近傍からターゲットの存在範囲を決定し、前記ターゲットの存在範囲から算出した前記ターゲットの重心を基準点に設定する基準点設定部と；
   前記ステレオ画像の他方の画像上における、前記基準点設定部により設定された基準点と対応する基準点対応点を定める対応点探索部と；
   前記基準点設定部により設定された基準点と前記対応点探索部により求められた基準点対応点を用いて、前記ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める標定部と；
   前記標定部で求められた対応点関係から、前記測定対象物の対応点の三次元座標データを求める三次元座標データ部と；
   前記対応点の三次元座標データから前記測定対象物のステレオ画像に関する撮影位置と傾きに基づきモデルを形成するモデル形成部と；
   前記ステレオ画像データ記憶部に記憶された測定対象物のステレオ画像と、前記モデル形成部で形成されたモデルとを、前記標定部で求められた対応点関係を用いて対応付ける画像対応部と；
   前記画像対応部により前記モデルと対応付けられたステレオ画像を用いて、前記測定対象物の立体感テクスチャ付き画像を表示するモデル表示部と；
   前記ターゲットの存在範囲が算出できない場合又は前記ターゲットの重心が算出できない場合は、前記基準点および前記基準点対応点をマニュアルで設定する対応点指示部とを備える；
   三次元画像表示装置。
2. 前記ターゲットは、相似形であってコントラストの異なる少なくとも２つの部分からなる基準ターゲット像である、
   請求項１に記載の三次元画像表示装置。
3. 前記ステレオ画像データ記憶部に記憶されるステレオ画像では、前記測定対象物に予め前記基準ターゲット像を有するマークが付されていることを特徴とする、
   請求項２に記載の三次元画像表示装置。
4. さらに、前記測定対象物のモデルの姿勢を指示する姿勢指示部と；
   前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う座標変換部とを有し；
   前記モデル表示部は、前記姿勢指示部で指示された姿勢に応じた前記測定対象物の立体感テクスチャ付き画像を表示することを特徴とする、
   請求項１乃至請求項３の何れか１項に記載の三次元画像表示装置。
5. 前記画像対応部は、複数の前記対応点によって形成される単位画像面によって前記ステレオ画像を覆い、しかして前記単位画像面を用いて前記モデルと前記ステレオ画像を対応付けることを特徴とする、
   請求項１乃至請求項４の何れか１項に記載の三次元画像表示装置。
6. 基準点設定部によって、ステレオ画像の一方の画像上に指定された点の近傍からターゲットの存在範囲を決定し、前記ターゲットの存在範囲から算出した前記ターゲットの重心を基準点に設定する工程と；
   対応点探索部によって、前記ステレオ画像の他方の画像上における、前記基準点と対応する基準点対応点を定める工程と；
   標定部によって、前記基準点と前記基準点対応点を用いて、測定対象物のステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める工程と；
   三次元座標データ部によって、前記標定部で求められた対応点関係から、前記測定対象物の対応点の三次元座標データを求める工程と；
   モデル形成部によって、前記対応点の三次元座標データから前記測定対象物のモデルを形成する工程と；
   画像対応部によって、前記ステレオ画像データ記憶部に記憶された測定対象物のステレオ画像と、前記モデル形成部で形成されたモデルとを、前記標定部で求められた対応点関係を用いて対応付ける工程と；
   モデル表示部によって、前記モデルと対応付けられたステレオ画像を用いて、前記測定対象物の立体感テクスチャ付き画像を表示する工程と；
   前記ターゲットの存在範囲が算出できない場合又は前記ターゲットの重心が算出できない場合は、前記基準点および前記基準点対応点をマニュアルで設定する工程と；
   をコンピュータに実行させる三次元画像表示方法。
7. さらに、姿勢指示部によって前記測定対象物のモデルの姿勢を指示する工程と；
   座標変換部によって、前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う工程とを有し；
   前記モデル表示部によって、前記モデルに対する姿勢指示に応じた前記測定対象物の立体感テクスチャ付き画像を表示することを特徴とする、
   請求項６に記載の三次元画像表示方法。

Images