JP2004252815A - 画像表示装置、画像表示方法およびプログラム - Google Patents
画像表示装置、画像表示方法およびプログラム Download PDFInfo
- Publication number
- JP2004252815A JP2004252815A JP2003043687A JP2003043687A JP2004252815A JP 2004252815 A JP2004252815 A JP 2004252815A JP 2003043687 A JP2003043687 A JP 2003043687A JP 2003043687 A JP2003043687 A JP 2003043687A JP 2004252815 A JP2004252815 A JP 2004252815A
- Authority
- JP
- Japan
- Prior art keywords
- background image
- dimensional
- line segments
- display device
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元オブジェクトを適切に重ね合わせて表示する画像表示装置を提供する。
【解決手段】コンピュータでは、組み合わせ決定部２１において、背景画像６上の境界線に基づく３次元座標軸および視点の配置の複数の組み合わせが決定される。評価値算出部２６では、組み合わせに含まれる２つの座標軸により決定される面に背景画像の抽出線分が投影され、投影された抽出線分間の平行または垂直の度合いに基づいて、一の組み合わせに係る３次元座標軸および視点が選択されて背景画像に対して設定される。その結果、背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元オブジェクトを適切に重ね合わせて表示することができる。
【選択図】 図３
【解決手段】コンピュータでは、組み合わせ決定部２１において、背景画像６上の境界線に基づく３次元座標軸および視点の配置の複数の組み合わせが決定される。評価値算出部２６では、組み合わせに含まれる２つの座標軸により決定される面に背景画像の抽出線分が投影され、投影された抽出線分間の平行または垂直の度合いに基づいて、一の組み合わせに係る３次元座標軸および視点が選択されて背景画像に対して設定される。その結果、背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元オブジェクトを適切に重ね合わせて表示することができる。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、２次元の背景画像上に３次元のオブジェクトを重ねて表示する技術に関する。
【０００２】
【従来の技術】
従来より、医療、教育、製造、あるいは、流通等の様々な分野において、２次元の背景画像上に３次元空間内のオブジェクト（いわゆる、３次元オブジェクト）を重ねて表示する技術が利用されている。例えば、風景を表す画像上に建造物の３次元オブジェクトを重ね合わせることで、建造物がその風景に及ぼす影響を視覚的に捉えることが可能となる（いわゆる、拡張現実感や複合現実感が得られる。）。このような技術は、主に、複数の画像を利用するステレオ視等の手法を用いることにより実現されている。
【０００３】
なお、特許文献１では、３次元対象物が写し出された２次元画像から消失点位置等を特定することにより、３次元対象物の３次元形状モデル（すなわち、３次元オブジェクト）を生成する手法が開示されている。
【０００４】
【特許文献１】
特開平９−３１９８９６号公報
【０００５】
【発明が解決しようとする課題】
ところで、１枚の背景画像に合わせて３次元オブジェクトを適切に重ねて表示するには、背景画像が示す奥行きや撮影したカメラの位置等の情報（以下、「幾何学的位置情報」と総称する。）に応じて３次元オブジェクトが配置される３次元座標軸を設定する（３次元復元とも呼ばれる。）必要がある。
【０００６】
そこで、近年、形状情報が既知の３次元オブジェクトや位置情報が既知のマーカを背景画像中に含ませておき幾何学的位置情報を推定する手法が実施されているが、この手法では、背景画像中に所定の３次元オブジェクトやマーカが含まれている必要がある。
【０００７】
一方、１枚の背景画像中から抽出された線分群から消失点位置を求め、消失点位置に基づいて背景画像上に３次元オブジェクトを重ね合わせて表示する手法も知られているが、消失点位置を安定して検出することは困難である。
【０００８】
本発明は上記課題に鑑みなされたものであり、奥行きのある空間を表す２次元の背景画像に合わせて３次元座標軸を容易に設定し、３次元オブジェクトを適切に重ねて表示することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示装置であって、背景画像のデータおよび３次元空間内のオブジェクトのデータを記憶する記憶部と、前記背景画像に対して３次元座標軸および視点を設定し、前記３次元座標軸および前記視点を基準として前記背景画像に前記オブジェクトを重ね合わせる演算部と、重ね合わされた画像を表示する表示部とを備え、前記演算部が、前記背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる前記３次元座標軸および前記視点として設定する工程とを実行する。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像表示装置であって、前記演算部が、前記評価値を求める工程において投影される前記複数の線分を含む線分の集合を前記背景画像から抽出する工程をさらに実行する。
【００１１】
請求項３に記載の発明は、請求項２に記載の画像表示装置であって、操作者からの入力を受け付ける入力部をさらに備え、前記演算部が、操作者による入力に基づいて前記線分の集合から前記３つの境界線を設定する工程をさらに実行する。
【００１２】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像表示装置であって、前記複数の組み合わせを決定する工程が、３次元座標軸の候補のうち３つの座標軸が互いにおよそ直交するものを前記複数の組み合わせに含まれる３次元座標軸として決定する。
【００１３】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像表示装置であって、前記評価値が、前記投影された複数の線分のうちおよそ平行または垂直となる線分の組数である。
【００１４】
請求項６に記載の発明は、請求項３に記載の画像表示装置であって、前記線分の集合に含まれる各線分が前記背景画像の外縁まで延長されており、前記３つの境界線を設定する工程が、操作者からの入力に基づいて前記背景画像上に３つの仮の境界線を設定する工程と、各線分の両端点と各仮の境界線の両端点とを結ぶことにより形成される多角形の面積に基づいて前記３つの境界線を特定する工程とを有する。
【００１５】
請求項７に記載の発明は、請求項６に記載の画像表示装置であって、前記背景画像が室内を示す画像であり、前記３つの境界線を特定する工程が、前記多角形の面積が最も小さくなる３つの線分を特定する工程と、前記３つの線分のうち、前記室内の床の境界に対応する２つの線分を２つの境界線として決定し、前記２つの境界線の交点を求める工程と、残りの１つの線分を前記交点を通過する位置まで平行移動して残りの境界線として決定する工程とを有する。
【００１６】
請求項８に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示方法であって、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを有する。
【００１７】
請求項９に記載の発明は、コンピュータに２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを実行させる。
【００１８】
【発明の実施の形態】
図１は、２次元の背景画像上に３次元空間内のオブジェクトを重ねて表示する際の背景画像６と３次元座標軸４との幾何学的位置関係のモデル（以下、「カメラモデル」という。）を示す図である。
【００１９】
図１に示すカメラモデルでは、背景画像６上の水平方向に対応するα軸、垂直方向に対応するβ軸、および、背景画像６の法線方向に対応するγ軸の３つの座標軸５により規定される座標系（以下、「ワールド座標系」という。）が背景画像６の中心を原点として設定される。ワールド座標系のγ軸上には、背景画像６に正対する仮想カメラ（以下、「視点」とも呼ぶ。）３が配置される。また、仮想カメラ３の背景画像６側には、互いに直交するＸ軸、Ｙ軸およびＺ軸の３次元座標軸４により規定される座標系（以下、「ローカル座標系」という。）が設けられる。図１のカメラモデルでは、背景画像６上にローカル座標系の３次元座標軸４により規定される３次元空間を重ねて仮想カメラ３にて撮像される画像が取得される。これにより、後述するように３次元空間に配置された３次元オブジェクトが背景画像に合成される。
【００２０】
図１のカメラモデルでは、ローカル座標系上の座標（Ｘ，Ｙ，Ｚ）の点のワールド座標系における座標（α，β，γ）は、数１にて示される。
【００２１】
【数１】
【００２２】
数１において、Ｍｍはローカル座標系に対する回転行列であり、Ｍｔはワールド座標系におけるローカル座標系の原点位置を示す行列である。回転行列Ｍｍおよび行列Ｍｔを数２にて示すと、回転行列Ｍｍの３つの行ベクトル（ｍ１１，ｍ１２，ｍ１３）、（ｍ２１，ｍ２２，ｍ２３）、および、（ｍ３１，ｍ３２，ｍ３３）の大きさは全て１となるとともに、３つの行ベクトルのうち任意の２つの行ベクトルの内積は０となる。
【００２３】
【数２】
【００２４】
ここで、背景画像６の水平方向および垂直方向の大きさ（すなわち、図１中のα方向およびβ方向の幅）をともに２と仮定すると、ワールド座標系の点（α，β，γ）を背景画像６上に投影した点（ａ，ｂ）（すなわち、αβ平面上に投影した点（ａ，ｂ））は数３のように示される。数３中のθは仮想カメラ３の画角である。なお、背景画像６の中央に配置された線分の長さを２とし、線分の両端と仮想カメラ３とがなす角がθとされてもよい。
【００２５】
【数３】
【００２６】
以上のように、図１のカメラモデルでは、ローカル座標系の点（Ｘ，Ｙ，Ｚ）を背景画像６上に投影した点（ａ，ｂ）が回転行列Ｍｍ、行列Ｍｔおよび画角θ（以下、「パラメータ群」と総称する。）を用いて数１ないし数３により導かれる。よって、背景画像６に整合するローカル座標系の３次元座標軸４の配置および画角θが判れば、その際のパラメータ群が求められ、ローカル座標系の３次元空間内のオブジェクトを２次元の背景画像６上に適切に重ねて表示させることが可能となる。なお、図１のカメラモデルでは、仮想カメラ３の画角θが変更された場合には、背景画像６の全体が仮想カメラ３により映し出されるように視点の位置（すなわち、仮想カメラ３の位置）がγ軸に沿って移動するものとする。
【００２７】
図２は本発明の一の実施の形態に係る画像表示装置としての動作を行うコンピュータ１の構造を示す図である。コンピュータ１が実現する画像表示装置では、例えば、室内を撮影した背景画像上にインテリア商品（例えば、家具等）のカタログ用の立体的な画像が表示される（いわゆる、３次元カタログとしての役割が果たされる。）。３次元カタログにおける各種商品は、コンピュータ１において仮想的な有体物（例えば、微小要素の３次元的な集合により表現される３次元画像、彩色を施した３次元サーフェスモデル等）である３次元オブジェクトとして取り扱われる。
【００２８】
コンピュータ１は、各種演算処理を行うＣＰＵ１１、基本プログラムを記憶するＲＯＭ１２および各種情報を記憶するＲＡＭ１３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク１４、画像等の各種情報の表示を行うディスプレイ１５、操作者からの入力を受け付けるキーボード１６ａおよびマウス１６ｂ（以下、「入力部１６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体９から情報の読み取りを行う読取装置１７、並びに、インターネット等の通信網に接続された通信部１８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２９】
コンピュータ１には、事前に読取装置１７を介して記録媒体９から読み出される等したプログラム８０、３次元オブジェクトデータベース８１および背景画像データベース８２が固定ディスク１４に記憶される。そして、プログラム８０がＲＡＭ１３にコピーされるとともに、ＣＰＵ１１がＲＡＭ１３内のプログラム８０に従って演算処理を実行することにより（すなわち、コンピュータがプログラムを実行することにより）、コンピュータ１が画像表示装置としての動作を行う。なお、プログラム８０が、通信部１８を介してインターネット上の他のコンピュータから配信されて実行されるアプレット等（例えば、Ｊａｖａ（登録商標）言語によるアプレット）である場合には、コンピュータ１においてプログラム８０が実行形式のプログラムに変換され、変換後のプログラムに従ってコンピュータ１が画像表示装置としての動作を行う。
【００３０】
ここで、３次元オブジェクトデータベース８１とは、３次元カタログにおける各種商品である３次元オブジェクトのデータの集合である。また、背景画像データベース８２とは、室内を撮影した２次元の背景画像の集合であり、様々な室内を示す複数の背景画像のデータが含まれている。
【００３１】
図３は、ＣＰＵ１１がプログラム８０に従って動作することにより、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、固定ディスク１４等が実現する画像表示装置としての機能構成を示すブロック図であり、演算部２内に示すブロックがＣＰＵ１１等により実現される機能を示す。なお、演算部２の機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【００３２】
図４は、コンピュータ１が背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。以下、コンピュータ１の機能および動作について図２および図３を参照しながら図４に沿って説明を行う。
【００３３】
まず、操作者が入力部１６を介して入力を行うことにより背景画像が選択される（ステップＳ１１）。例えば、図５に例示するディスプレイ１５上のウィンドウ７において、操作者が背景画像選択部７１から所望の背景画像を選択することにより、選択された背景画像のデータが固定ディスク１４の背景画像データベース８２から演算部２の重ね合わせ部２１へと出力され、ウィンドウ７上のメイン表示部７２に背景画像６が表示される。
【００３４】
続いて、コンピュータ１では、背景画像６に対して３次元座標軸および視点を設定する処理が行われる（ステップＳ１２）。すなわち、ステップＳ１２では、図１のカメラモデルにおいて、ローカル座標系の３次元座標軸４が背景画像６に整合した状態となるように設定する処理が行われ、その際のパラメータ群が求められる。なお、ステップＳ１２の処理については、３次元オブジェクトを表示する処理の説明後、詳述する。
【００３５】
図６は、３次元座標軸および視点が設定された背景画像６を示す図であり、ウィンドウ７上の操作モード選択部７３から視点変更モードを選択することにより表示される画像である。図６では、ローカル座標系の３次元空間において３次元座標軸４のうち２つの座標軸により規定される平面上に描かれた格子縞（グリッドともいう。）が背景画像６上に重ね合わせて表示されており（図１参照）、これにより、操作者はステップＳ１２において３次元座標軸および視点が適切に設定されたことを確認することができる。
【００３６】
３次元座標軸および視点が設定されると、ウィンドウ７上の右下部分にある３次元オブジェクト選択部７４から操作者による所望の商品の選択を受け付けることにより（ステップＳ１３）、選択された商品を示す３次元オブジェクトが３次元オブジェクトプレビュー部７５に表示される。そして、操作者が表示された３次元オブジェクトを３次元オブジェクトプレビュー部７５から背景画像６上へと移動する操作（例えば、マウス１６ｂによるドラッグ・アンド・ドロップ操作）を行うことにより、固定ディスク１４の３次元オブジェクトデータベース８１から選択された商品の３次元オブジェクトのデータが重ね合わせ部２１に出力される。
【００３７】
重ね合わせ部２１では、商品の３次元オブジェクトをローカル座標系の３次元空間内の所定の位置へと配置し、設定された３次元座標軸および視点を基準として背景画像６と３次元空間内の３次元オブジェクトとを重ね合わせる処理（すなわち、設定された３次元座標軸および視点に対して求められたパラメータ群を用いて背景画像６上に３次元オブジェクトを投影する処理）が行われる（ステップＳ１４）。そして、重ね合わされた画像がディスプレイ１５に表示される（ステップＳ１５）。コンピュータ１では、ステップＳ１３〜Ｓ１５が繰り返し行われることにより、図７に示すように背景画像６上に３次元空間内の複数の３次元オブジェクト７６が表示される。
【００３８】
なお、コンピュータ１では操作者による操作により、３次元オブジェクト７６をローカル座標系の３次元空間内において移動または回転し、移動後または回転後の３次元オブジェクト７６を背景画像６に重ね合わせて表示させたり、ローカル座標系の３次元座標軸４の尺度を変更し、表示されている全ての３次元オブジェクト７６の大きさを変更させることが可能である。
【００３９】
次に、３次元座標軸および視点を設定する処理について説明する。図８は、３次元座標軸および視点を設定する処理の流れを示す図であり、図４のステップＳ１２において行われる処理である。
【００４０】
ステップＳ１１において背景画像６が選択されると、背景画像６のデータは固定ディスク１４の背景画像データベース８２から線分抽出部２２に対しても出力され、線分抽出部２２では、背景画像６から複数の線分が抽出される（ステップＳ２１）。具体的には、まず、図５のメイン表示部７２に表示された背景画像６から画像中の物体の輪郭線（すなわち、エッジ）が検出され、図９に示すようなエッジ画像６ａが生成される。なお、図９ではメイン表示部７２に表示される画像のみを示している。
【００４１】
そして、図９のエッジ画像６ａに対して直線を検出する手法として知られるハフ（Ｈｏｕｇｈ）変換を施すことにより、図１０に示すように、背景画像６中に含まれる複数の線分（以下、「抽出線分」ともいう。）６４が抽出される。ただし、抽出線分６４は背景画像６の外縁まで必要に応じて延長されたものとなっている。図１０では抽出された複数の線分６４を破線により示している。なお、線分の抽出は他の手法により行われてもよい。
【００４２】
続いて、コンピュータ１では境界線を半自動で検出する処理が行われる（ステップＳ２２，Ｓ２３）。ここで、背景画像６には、窓６１ａを有する壁面を示す領域（以下、「窓側領域」という。）６１、他方の壁面を示す領域（以下、「壁面領域」という。）６２、および、矩形の板材が張り合わせられた（いわゆる、フローリングの）床面を示す領域（以下、「床面領域」という。）６３が映し出されており、ステップＳ２３において検出される境界線とは、窓側領域６１と壁面領域６２との間の境界線、壁面領域６２と床面領域６３との間の境界線、および、床面領域６３と窓側領域６１との間の境界線をいう。
【００４３】
図１１は、境界線を検出する処理の流れを示す図であり、ステップＳ２３にて行われる処理を示している。境界線検出処理の際には、背景画像６上には前述のカメラモデルにおけるローカル座標系の３次元座標軸４（または、座標軸のグリッド）が図１２に示すように表示される。なお、この段階で表示される３次元座標軸４は境界線検出処理において仮の境界線を設定するために利用されるものである。
【００４４】
境界線検出処理では、図１のカメラモデルにおいて３次元座標軸４を移動もしくは回転する処理、または、仮想カメラ３の画角θを変更する処理（すなわち、視点を変更する処理）が、重ね合わせ部２１により操作者の入力に基づいて行われ、移動もしくは回転、または、視点の変更後の３次元座標軸４と背景画像６とを重ね合わせた画像がディスプレイ１５に表示される。
【００４５】
操作者はマウス１６ｂ等を操作して３次元座標軸４のＸ軸を背景画像６中の床面領域６３と窓側領域６１との間の境界に、Ｙ軸を窓側領域６１と壁面領域６２との間の境界に、Ｚ軸を壁面領域６２と床面領域６３との間の境界におよそ沿うように３次元座標軸４を設定する（ステップＳ２３１）。これにより、図１３に示すように、背景画像６上に投影された３次元座標軸４の各座標軸が各領域６１〜６３間の境界におよそ沿う仮の境界線を示すこととなる。以下、境界線検出処理において、背景画像６上に投影された３次元座標軸４を仮の境界線群４と呼ぶ。
【００４６】
続いて、コンピュータ１では、ステップＳ２１において抽出された線分６４の集合のうち仮の境界線群４のそれぞれに対応する３つの線分が特定される（ステップＳ２３２）。図１４は、３つの線分を特定する様子を説明するための図であり、仮の境界線群４のうちＸ軸に対応する１つの仮の境界線４１（但し、背景画像６の外縁まで伸びている。）、および、複数の抽出線分６４のうち２つの線分６４（２つの線分６４も背景画像６の外縁まで必要に応じて延長されたものである。）のみを示している（図１０参照）。
【００４７】
３つの線分を特定する際には、各抽出線分６４に関して両端点と仮の境界線４１の両端点とを結ぶことにより形成される多角形（すなわち、図１４中の平行斜線を付して示す四角形）の面積が境界線特定部２３において算出される。このとき、仮の境界線４１の両端点は背景画像６の外縁との交点において規定される。
【００４８】
境界線特定部２３では、仮の境界線群４の各境界線について複数の抽出線分６４のそれぞれとの組み合わせにより形成される多角形の面積が算出され、各仮の境界線において多角形の面積が最も小さくなる組み合わせを構成する抽出線分６４が対応する線分として特定される。なお、仮の境界線に対応する線分は他の手法（例えば、仮の境界線と抽出線分６４との端点間の距離に基づいて求める手法等）により求められてもよいが、上記のように多角形の面積を求めることにより、容易かつ適切に対応する線分を特定することができる。
【００４９】
図１５は、特定された抽出線分６４１，６４２，６４３を一点鎖線にて示す図であり、抽出線分６４１〜６４３のそれぞれが、仮の境界線群４のＸ軸，Ｙ軸，Ｚ軸に対応している。
【００５０】
３つの抽出線分６４１〜６４３が特定されると、交点算出部２４において、床面領域６３の境界線となる２つの線分の交点が求められる（ステップＳ２３３）。すなわち、図１５の背景画像６において、抽出線分６４１が床面領域６３と窓側領域６１との間の境界線、抽出線分６４３が床面領域６３と壁面領域６２との間の境界線としてそれぞれ決定され、境界線６４１と境界線６４３との交点６４４が求められる。そして、残りの１つの抽出線分６４２が交点６４４を通過するように平行移動され（ステップＳ２３４）、図１５中において二点鎖線にて示す平行移動後の新たな線分６４５が、窓側領域６１と壁面領域６２との間の境界線として決定される。なお、３つの抽出線分６４１〜６４３が一点で交わっている場合には、抽出線分６４２が、窓側領域６１と壁面領域６２との間の境界線として決定され、ステップＳ２３４の処理は省略される。
【００５１】
以上のように、境界線検出処理では、操作者が仮の境界線群４を設定するのみで（いわゆる、半自動で）、抽出線分６４の集合から３つの境界線６４１，６４３，６４５を容易かつ適切に設定することができ、特に、室内を示す背景画像において、３つの境界線のうち床面領域６３の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【００５２】
また、境界線検出処理は、操作者の操作により（すなわち、手動により）設定されてもよく、操作者が手動により境界線を検出する場合には（図８中のステップＳ２２）、例えば、操作者がマウス１６ｂ等を操作して背景画像６上の２点を特定することにより各境界線が設定されたり、背景画像６上に表示された複数の抽出線分６４から各領域６１〜６３の境界に対応する抽出線分６４を直接選択する等して境界線が設定される（ステップＳ２４）。また、選択された抽出線分６４に対して、図１１のステップＳ２３３，Ｓ２３４の処理が自動で行われてもよい。
【００５３】
ここで、カメラモデルにおいて、設定された境界線６４１，６４３，６４５はローカル座標系の３次元座標軸４を背景画像６上に投影したものであると考えることができ、その場合には、３次元座標軸４の原点は視点３と背景画像６上の点６４４とを結ぶ線分上であればいずれの位置に配置されてもよい。そこで、ここでは説明の便宜上、図１６に示すように、ローカル座標系の３次元座標軸４の原点を背景画像６上の点６４４に配置させたカメラモデルを想定することとし（もちろん、ローカル座標系の原点は視点３と背景画像６上の点６４４とを結ぶ線分上の他の点であってもよい。）、これにより、ワールド座標系におけるローカル座標系の原点位置（すなわち、数１中の行列Ｍｔ）が決定されるとともに、３次元座標軸４の各座標軸の配置が制約されることとなる。
【００５４】
例えば、図１６のカメラモデルにおいて、背景画像６上の原点６４４を始点とするＸ軸の基底ベクトルについて考えると、Ｘ軸基底ベクトルが背景画像６上の境界線６４１上に投影されるには、Ｘ軸基底ベクトルの終点は、視点３と境界線６４１の一の端点６４６と原点６４４とにより結ばれた領域（図１６中の平行斜線を付す領域）５１内に存在する必要がある。
【００５５】
図１７は、Ｘ軸基底ベクトルの存在する領域５１を示す図である。組み合わせ決定部２５では、原点６４４から視点３と端点６４６とを結ぶ線分を等分割する複数の点へとそれぞれ向かう複数の基底ベクトルが生成され、一の画角θ（すなわち、視点３の一の候補位置）に対するＸ軸基底ベクトルの候補としてそれぞれ取り扱われる。Ｙ軸基底ベクトルおよびＺ軸基底ベクトルについても同様に一の画角θにおける複数の基底ベクトルの候補が生成される。なお、一の画角θにおける複数の基底ベクトルの候補は、他の手法（例えば、基底ベクトルと境界線６４１とのなす角が複数通りに変更される等）により生成されてもよい。
【００５６】
組み合わせ決定部２５では、さらに、画角θを複数通りに変更して（すなわち、視点３の配置を複数通りに変更して）、各視点３の配置においても同様にＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトルの候補が生成される。そして、複数通りの視点３の配置のそれぞれにおいて、Ｘ軸基底ベクトルの候補、Ｙ軸基底ベクトルの候補、および、Ｚ軸基底ベクトルの候補を組み合わせることにより、１つのＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトル並びに一の視点の配置を１つのデータセットとする複数のデータセットが生成される。
【００５７】
続いて、組み合わせ決定部２５では、複数のデータセットのうちそれぞれに含まれる３つの基底ベクトルが互いにおよそ直交するデータセットが選択される。具体的には、ワールド座標系におけるローカル座標系のＸ軸基底ベクトルをＶＸ、Ｙ軸基底ベクトルをＶＹ、Ｚ軸基底ベクトルをＶＺとすると、Ｘ軸基底ベクトルＶＸとＹ軸基底ベクトルＶＹとの内積、Ｙ軸基底ベクトルＶＹとＺ軸基底ベクトルＶＺとの内積、および、Ｚ軸基底ベクトルＶＺとＸ軸基底ベクトルＶＸとの内積の和である評価値ｆ１が、数４に示すようにして求められる。
【００５８】
【数４】
【００５９】
そして、評価値ｆ１が所定のしきい値よりも小さくなるデータセットが、３つの基底ベクトルが互いにおよそ直交するデータセットと判定され、３次元座標軸および視点の配置の評価対象の組み合わせとして評価値算出部２６に出力される（ステップＳ２５）。
【００６０】
ここで、一般的に、実際の室内の壁面や床面には、窓枠や床面の板材あるいは壁面に飾られた額縁といったように、各面において水平または垂直となる線分の要素を多く含んでいる場合が多い。
【００６１】
そこで、評価値算出部２６では、入力された複数の組み合わせ（すなわち、評価対象のデータセット）のそれぞれにおいて、基底ベクトルＶＸ，ＶＹ，ＶＺにそれぞれ対応するＸ軸，Ｙ軸，Ｚ軸のうち２つの座標軸により決定されるローカル座標系のＸＹ平面、ＹＺ平面およびＺＸ平面が、図１８に示すように想定される。そして、ステップＳ２１において抽出された複数の線分６４がローカル座標系の各平面に投影される。このとき、各平面には背景画像６上の対応する領域（すなわち、ＸＹ平面に対する窓側領域６１、ＹＺ平面に対する壁面領域６２、および、ＺＸ平面に対する床面領域６３（図１６参照））を通過する抽出線分６４の集合のみが投影されることとなる。図１９は、背景画像６上の２つの抽出線分６４が投影されたＸＹ平面を示す図であり、２つの投影された抽出線分６４０のみを示している。
【００６２】
評価値算出部２６では、各平面において、投影された複数の抽出線分６４０から互いにおよそ平行または垂直となる抽出線分６４の組数が、評価値として求められる（ステップＳ２６）。例えば、ＸＹ平面に投影された抽出線分６４０のうちおよそ平行または垂直となる抽出線分６４０の組数ｇＸＹは、数５により求められる。
【００６３】
【数５】
【００６４】
ここで、ｋｐ，ｋｑはローカル座標系のＸＹ平面に投影された抽出線分６４０であり、ｎは投影された抽出線分６４０の本数である。また、ｔ（ｋｐ，ｋｑ）は抽出線分ｋｐと抽出線分ｋｑとのなす角であり、λは２つの線分がおよそ平行または垂直であるか否かを判定する所定のしきい値である。
【００６５】
評価値算出部２６では、ローカル座標系のＹＺ平面およびＺＸ平面に関しても同様に、組数ｇＹＺ，ｇＺＸが求められ、数６のように全ての平面における組数の和が評価値ｆ２として求められる。
【００６６】
【数６】
【００６７】
評価値ｆ２は評価対象の複数の組み合わせのそれぞれについて求められて比較部２７へと出力され、評価値ｆ２が最大となる組み合わせが特定される。特定された組み合わせのデータセットは、重ね合わせ部２１に出力され、その組み合わせに係る３次元座標軸および視点がローカル座標系の３次元座標軸４および視点３（または、画角θ）として設定され（ステップＳ２７）、そのときのパラメータ群が特定される。これにより、前述のようにローカル座標系により規定される３次元空間に配置された３次元オブジェクトが、背景画像６上に適切に重ね合わされて表示される。
【００６８】
以上のように、コンピュータ１では、背景画像６上に設定された３つの境界線に基づいて決定された３次元座標軸および視点の配置の複数の組み合わせのそれぞれについて、組み合わせに含まれる２つの座標軸により決定される面に背景画像６から抽出される複数の線分６４が投影される。そして、投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関する評価値が求められ、評価値に基づいて選択された一の組み合わせに係る３次元座標軸および視点が背景画像６に対して設定される。これにより、コンピュータ１では背景画像６に応じた３次元座標軸および視点を容易に設定することができ、背景画像６上に３次元空間内の３次元オブジェクトを適切に重ね合わせて表示することができる。その結果、操作者は商品と背景画像６に示された室内との調和等を視覚的に捉えることが可能となる。
【００６９】
また、コンピュータ１では、組み合わせ決定部２５において３つの基底ベクトルが互いにおよそ直交するデータセットが選択されて評価値算出部２６に出力されるため、評価値算出部２６における演算処理量が軽減され、背景画像に応じた３次元座標軸および視点の組み合わせを短時間に特定し、設定することができる。
【００７０】
なお、コンピュータ１では、必要に応じて操作者により設定された３次元座標軸４を移動もしくは回転する操作、または、画角θを変更する操作が行われ、設定された３次元座標軸および視点が調整されてもよい。
【００７１】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００７２】
評価値ｆ２は、必ずしも投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関するものである必要はなく、投影された複数の線分間の平行または垂直の度合いに関するものであれば、いかなるものであってもよい。
【００７３】
背景画像データは、操作者により予め用意されてもよい。これにより、例えば、操作者の部屋を撮影した画像に３次元オブジェクトを配置することも可能となる。また、背景画像データは必ずしも室内を撮影した画像である必要はなく、エクステリア商品等の３次元カタログでは、建物の外観を撮影した画像であってもよい。
【００７４】
コンピュータ１は、３次元オブジェクトを背景画像上に効率よく適切に表示するため、３次元カタログを表示する用途に特に適しているが、背景画像に３次元オブジェクトを重ねて表示するのであれば他の用途に使用されてもよい。
【００７５】
画像表示装置としての機能は、コンピュータに準ずる機能を有する他のもの（例えば、携帯情報端末等）により実現されてもよい。
【００７６】
【発明の効果】
本発明によれば、背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元空間内のオブジェクトを適切に重ね合わせて表示することができる。
【００７７】
また、請求項４の発明では、背景画像に応じた３次元座標軸および視点を短時間に設定することができる。
【００７８】
また、請求項６の発明では、３つの境界線を容易に特定することができ、請求項７の発明では、室内を示す背景画像の３つの境界線のうち床の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【図面の簡単な説明】
【図１】カメラモデルを示す図である。
【図２】コンピュータの構造を示す図である。
【図３】コンピュータの機能構成を示すブロック図である。
【図４】背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。
【図５】ウィンドウを例示する図である。
【図６】３次元座標軸および視点が設置されたウィンドウを例示する図である。
【図７】３次元オブジェクトが配置されたウィンドウを例示する図である。
【図８】３次元座標軸および視点を設定する処理の流れを示す図である。
【図９】エッジ画像を示す図である。
【図１０】複数の線分が抽出された背景画像を示す図である。
【図１１】境界線を検出する処理の流れを示す図である。
【図１２】３次元座標軸が表示された背景画像を示す図である。
【図１３】仮の境界線が設定された背景画像を示す図である。
【図１４】３つの線分を特定する様子を説明するための図である。
【図１５】境界線が設定された背景画像を示す図である。
【図１６】ローカル座標系の原点が背景画像上に配置されたカメラモデルを示す図である。
【図１７】Ｘ軸基底ベクトルの存在する領域を示す図である。
【図１８】ローカル座標系の平面が想定されたカメラモデルを示す図である。
【図１９】抽出線分が投影されたＸＹ平面を示す図である。
【符号の説明】
１ コンピュータ
２ 演算部
３ 仮想カメラ
４ ３次元座標軸
６ 背景画像
１４ 固定ディスク
１５ ディスプレイ
１６ 入力部
４１ 仮の境界線
６１〜６３ 領域
６４，６４０，６４２ 線分
７６ ３次元オブジェクト
８０ プログラム
８１ ３次元オブジェクトデータベース
８２ 背景画像データベース
６４１，６４３，６４５ 境界線
６４４，６４６ 点
Ｓ１１〜Ｓ１５，Ｓ２１〜Ｓ２７，Ｓ２３１〜Ｓ２３４ ステップ
【発明の属する技術分野】
本発明は、２次元の背景画像上に３次元のオブジェクトを重ねて表示する技術に関する。
【０００２】
【従来の技術】
従来より、医療、教育、製造、あるいは、流通等の様々な分野において、２次元の背景画像上に３次元空間内のオブジェクト（いわゆる、３次元オブジェクト）を重ねて表示する技術が利用されている。例えば、風景を表す画像上に建造物の３次元オブジェクトを重ね合わせることで、建造物がその風景に及ぼす影響を視覚的に捉えることが可能となる（いわゆる、拡張現実感や複合現実感が得られる。）。このような技術は、主に、複数の画像を利用するステレオ視等の手法を用いることにより実現されている。
【０００３】
なお、特許文献１では、３次元対象物が写し出された２次元画像から消失点位置等を特定することにより、３次元対象物の３次元形状モデル（すなわち、３次元オブジェクト）を生成する手法が開示されている。
【０００４】
【特許文献１】
特開平９−３１９８９６号公報
【０００５】
【発明が解決しようとする課題】
ところで、１枚の背景画像に合わせて３次元オブジェクトを適切に重ねて表示するには、背景画像が示す奥行きや撮影したカメラの位置等の情報（以下、「幾何学的位置情報」と総称する。）に応じて３次元オブジェクトが配置される３次元座標軸を設定する（３次元復元とも呼ばれる。）必要がある。
【０００６】
そこで、近年、形状情報が既知の３次元オブジェクトや位置情報が既知のマーカを背景画像中に含ませておき幾何学的位置情報を推定する手法が実施されているが、この手法では、背景画像中に所定の３次元オブジェクトやマーカが含まれている必要がある。
【０００７】
一方、１枚の背景画像中から抽出された線分群から消失点位置を求め、消失点位置に基づいて背景画像上に３次元オブジェクトを重ね合わせて表示する手法も知られているが、消失点位置を安定して検出することは困難である。
【０００８】
本発明は上記課題に鑑みなされたものであり、奥行きのある空間を表す２次元の背景画像に合わせて３次元座標軸を容易に設定し、３次元オブジェクトを適切に重ねて表示することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示装置であって、背景画像のデータおよび３次元空間内のオブジェクトのデータを記憶する記憶部と、前記背景画像に対して３次元座標軸および視点を設定し、前記３次元座標軸および前記視点を基準として前記背景画像に前記オブジェクトを重ね合わせる演算部と、重ね合わされた画像を表示する表示部とを備え、前記演算部が、前記背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる前記３次元座標軸および前記視点として設定する工程とを実行する。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像表示装置であって、前記演算部が、前記評価値を求める工程において投影される前記複数の線分を含む線分の集合を前記背景画像から抽出する工程をさらに実行する。
【００１１】
請求項３に記載の発明は、請求項２に記載の画像表示装置であって、操作者からの入力を受け付ける入力部をさらに備え、前記演算部が、操作者による入力に基づいて前記線分の集合から前記３つの境界線を設定する工程をさらに実行する。
【００１２】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像表示装置であって、前記複数の組み合わせを決定する工程が、３次元座標軸の候補のうち３つの座標軸が互いにおよそ直交するものを前記複数の組み合わせに含まれる３次元座標軸として決定する。
【００１３】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像表示装置であって、前記評価値が、前記投影された複数の線分のうちおよそ平行または垂直となる線分の組数である。
【００１４】
請求項６に記載の発明は、請求項３に記載の画像表示装置であって、前記線分の集合に含まれる各線分が前記背景画像の外縁まで延長されており、前記３つの境界線を設定する工程が、操作者からの入力に基づいて前記背景画像上に３つの仮の境界線を設定する工程と、各線分の両端点と各仮の境界線の両端点とを結ぶことにより形成される多角形の面積に基づいて前記３つの境界線を特定する工程とを有する。
【００１５】
請求項７に記載の発明は、請求項６に記載の画像表示装置であって、前記背景画像が室内を示す画像であり、前記３つの境界線を特定する工程が、前記多角形の面積が最も小さくなる３つの線分を特定する工程と、前記３つの線分のうち、前記室内の床の境界に対応する２つの線分を２つの境界線として決定し、前記２つの境界線の交点を求める工程と、残りの１つの線分を前記交点を通過する位置まで平行移動して残りの境界線として決定する工程とを有する。
【００１６】
請求項８に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示方法であって、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを有する。
【００１７】
請求項９に記載の発明は、コンピュータに２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを実行させる。
【００１８】
【発明の実施の形態】
図１は、２次元の背景画像上に３次元空間内のオブジェクトを重ねて表示する際の背景画像６と３次元座標軸４との幾何学的位置関係のモデル（以下、「カメラモデル」という。）を示す図である。
【００１９】
図１に示すカメラモデルでは、背景画像６上の水平方向に対応するα軸、垂直方向に対応するβ軸、および、背景画像６の法線方向に対応するγ軸の３つの座標軸５により規定される座標系（以下、「ワールド座標系」という。）が背景画像６の中心を原点として設定される。ワールド座標系のγ軸上には、背景画像６に正対する仮想カメラ（以下、「視点」とも呼ぶ。）３が配置される。また、仮想カメラ３の背景画像６側には、互いに直交するＸ軸、Ｙ軸およびＺ軸の３次元座標軸４により規定される座標系（以下、「ローカル座標系」という。）が設けられる。図１のカメラモデルでは、背景画像６上にローカル座標系の３次元座標軸４により規定される３次元空間を重ねて仮想カメラ３にて撮像される画像が取得される。これにより、後述するように３次元空間に配置された３次元オブジェクトが背景画像に合成される。
【００２０】
図１のカメラモデルでは、ローカル座標系上の座標（Ｘ，Ｙ，Ｚ）の点のワールド座標系における座標（α，β，γ）は、数１にて示される。
【００２１】
【数１】
数１において、Ｍｍはローカル座標系に対する回転行列であり、Ｍｔはワールド座標系におけるローカル座標系の原点位置を示す行列である。回転行列Ｍｍおよび行列Ｍｔを数２にて示すと、回転行列Ｍｍの３つの行ベクトル（ｍ１１，ｍ１２，ｍ１３）、（ｍ２１，ｍ２２，ｍ２３）、および、（ｍ３１，ｍ３２，ｍ３３）の大きさは全て１となるとともに、３つの行ベクトルのうち任意の２つの行ベクトルの内積は０となる。
【００２３】
【数２】
ここで、背景画像６の水平方向および垂直方向の大きさ（すなわち、図１中のα方向およびβ方向の幅）をともに２と仮定すると、ワールド座標系の点（α，β，γ）を背景画像６上に投影した点（ａ，ｂ）（すなわち、αβ平面上に投影した点（ａ，ｂ））は数３のように示される。数３中のθは仮想カメラ３の画角である。なお、背景画像６の中央に配置された線分の長さを２とし、線分の両端と仮想カメラ３とがなす角がθとされてもよい。
【００２５】
【数３】
以上のように、図１のカメラモデルでは、ローカル座標系の点（Ｘ，Ｙ，Ｚ）を背景画像６上に投影した点（ａ，ｂ）が回転行列Ｍｍ、行列Ｍｔおよび画角θ（以下、「パラメータ群」と総称する。）を用いて数１ないし数３により導かれる。よって、背景画像６に整合するローカル座標系の３次元座標軸４の配置および画角θが判れば、その際のパラメータ群が求められ、ローカル座標系の３次元空間内のオブジェクトを２次元の背景画像６上に適切に重ねて表示させることが可能となる。なお、図１のカメラモデルでは、仮想カメラ３の画角θが変更された場合には、背景画像６の全体が仮想カメラ３により映し出されるように視点の位置（すなわち、仮想カメラ３の位置）がγ軸に沿って移動するものとする。
【００２７】
図２は本発明の一の実施の形態に係る画像表示装置としての動作を行うコンピュータ１の構造を示す図である。コンピュータ１が実現する画像表示装置では、例えば、室内を撮影した背景画像上にインテリア商品（例えば、家具等）のカタログ用の立体的な画像が表示される（いわゆる、３次元カタログとしての役割が果たされる。）。３次元カタログにおける各種商品は、コンピュータ１において仮想的な有体物（例えば、微小要素の３次元的な集合により表現される３次元画像、彩色を施した３次元サーフェスモデル等）である３次元オブジェクトとして取り扱われる。
【００２８】
コンピュータ１は、各種演算処理を行うＣＰＵ１１、基本プログラムを記憶するＲＯＭ１２および各種情報を記憶するＲＡＭ１３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク１４、画像等の各種情報の表示を行うディスプレイ１５、操作者からの入力を受け付けるキーボード１６ａおよびマウス１６ｂ（以下、「入力部１６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体９から情報の読み取りを行う読取装置１７、並びに、インターネット等の通信網に接続された通信部１８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２９】
コンピュータ１には、事前に読取装置１７を介して記録媒体９から読み出される等したプログラム８０、３次元オブジェクトデータベース８１および背景画像データベース８２が固定ディスク１４に記憶される。そして、プログラム８０がＲＡＭ１３にコピーされるとともに、ＣＰＵ１１がＲＡＭ１３内のプログラム８０に従って演算処理を実行することにより（すなわち、コンピュータがプログラムを実行することにより）、コンピュータ１が画像表示装置としての動作を行う。なお、プログラム８０が、通信部１８を介してインターネット上の他のコンピュータから配信されて実行されるアプレット等（例えば、Ｊａｖａ（登録商標）言語によるアプレット）である場合には、コンピュータ１においてプログラム８０が実行形式のプログラムに変換され、変換後のプログラムに従ってコンピュータ１が画像表示装置としての動作を行う。
【００３０】
ここで、３次元オブジェクトデータベース８１とは、３次元カタログにおける各種商品である３次元オブジェクトのデータの集合である。また、背景画像データベース８２とは、室内を撮影した２次元の背景画像の集合であり、様々な室内を示す複数の背景画像のデータが含まれている。
【００３１】
図３は、ＣＰＵ１１がプログラム８０に従って動作することにより、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、固定ディスク１４等が実現する画像表示装置としての機能構成を示すブロック図であり、演算部２内に示すブロックがＣＰＵ１１等により実現される機能を示す。なお、演算部２の機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【００３２】
図４は、コンピュータ１が背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。以下、コンピュータ１の機能および動作について図２および図３を参照しながら図４に沿って説明を行う。
【００３３】
まず、操作者が入力部１６を介して入力を行うことにより背景画像が選択される（ステップＳ１１）。例えば、図５に例示するディスプレイ１５上のウィンドウ７において、操作者が背景画像選択部７１から所望の背景画像を選択することにより、選択された背景画像のデータが固定ディスク１４の背景画像データベース８２から演算部２の重ね合わせ部２１へと出力され、ウィンドウ７上のメイン表示部７２に背景画像６が表示される。
【００３４】
続いて、コンピュータ１では、背景画像６に対して３次元座標軸および視点を設定する処理が行われる（ステップＳ１２）。すなわち、ステップＳ１２では、図１のカメラモデルにおいて、ローカル座標系の３次元座標軸４が背景画像６に整合した状態となるように設定する処理が行われ、その際のパラメータ群が求められる。なお、ステップＳ１２の処理については、３次元オブジェクトを表示する処理の説明後、詳述する。
【００３５】
図６は、３次元座標軸および視点が設定された背景画像６を示す図であり、ウィンドウ７上の操作モード選択部７３から視点変更モードを選択することにより表示される画像である。図６では、ローカル座標系の３次元空間において３次元座標軸４のうち２つの座標軸により規定される平面上に描かれた格子縞（グリッドともいう。）が背景画像６上に重ね合わせて表示されており（図１参照）、これにより、操作者はステップＳ１２において３次元座標軸および視点が適切に設定されたことを確認することができる。
【００３６】
３次元座標軸および視点が設定されると、ウィンドウ７上の右下部分にある３次元オブジェクト選択部７４から操作者による所望の商品の選択を受け付けることにより（ステップＳ１３）、選択された商品を示す３次元オブジェクトが３次元オブジェクトプレビュー部７５に表示される。そして、操作者が表示された３次元オブジェクトを３次元オブジェクトプレビュー部７５から背景画像６上へと移動する操作（例えば、マウス１６ｂによるドラッグ・アンド・ドロップ操作）を行うことにより、固定ディスク１４の３次元オブジェクトデータベース８１から選択された商品の３次元オブジェクトのデータが重ね合わせ部２１に出力される。
【００３７】
重ね合わせ部２１では、商品の３次元オブジェクトをローカル座標系の３次元空間内の所定の位置へと配置し、設定された３次元座標軸および視点を基準として背景画像６と３次元空間内の３次元オブジェクトとを重ね合わせる処理（すなわち、設定された３次元座標軸および視点に対して求められたパラメータ群を用いて背景画像６上に３次元オブジェクトを投影する処理）が行われる（ステップＳ１４）。そして、重ね合わされた画像がディスプレイ１５に表示される（ステップＳ１５）。コンピュータ１では、ステップＳ１３〜Ｓ１５が繰り返し行われることにより、図７に示すように背景画像６上に３次元空間内の複数の３次元オブジェクト７６が表示される。
【００３８】
なお、コンピュータ１では操作者による操作により、３次元オブジェクト７６をローカル座標系の３次元空間内において移動または回転し、移動後または回転後の３次元オブジェクト７６を背景画像６に重ね合わせて表示させたり、ローカル座標系の３次元座標軸４の尺度を変更し、表示されている全ての３次元オブジェクト７６の大きさを変更させることが可能である。
【００３９】
次に、３次元座標軸および視点を設定する処理について説明する。図８は、３次元座標軸および視点を設定する処理の流れを示す図であり、図４のステップＳ１２において行われる処理である。
【００４０】
ステップＳ１１において背景画像６が選択されると、背景画像６のデータは固定ディスク１４の背景画像データベース８２から線分抽出部２２に対しても出力され、線分抽出部２２では、背景画像６から複数の線分が抽出される（ステップＳ２１）。具体的には、まず、図５のメイン表示部７２に表示された背景画像６から画像中の物体の輪郭線（すなわち、エッジ）が検出され、図９に示すようなエッジ画像６ａが生成される。なお、図９ではメイン表示部７２に表示される画像のみを示している。
【００４１】
そして、図９のエッジ画像６ａに対して直線を検出する手法として知られるハフ（Ｈｏｕｇｈ）変換を施すことにより、図１０に示すように、背景画像６中に含まれる複数の線分（以下、「抽出線分」ともいう。）６４が抽出される。ただし、抽出線分６４は背景画像６の外縁まで必要に応じて延長されたものとなっている。図１０では抽出された複数の線分６４を破線により示している。なお、線分の抽出は他の手法により行われてもよい。
【００４２】
続いて、コンピュータ１では境界線を半自動で検出する処理が行われる（ステップＳ２２，Ｓ２３）。ここで、背景画像６には、窓６１ａを有する壁面を示す領域（以下、「窓側領域」という。）６１、他方の壁面を示す領域（以下、「壁面領域」という。）６２、および、矩形の板材が張り合わせられた（いわゆる、フローリングの）床面を示す領域（以下、「床面領域」という。）６３が映し出されており、ステップＳ２３において検出される境界線とは、窓側領域６１と壁面領域６２との間の境界線、壁面領域６２と床面領域６３との間の境界線、および、床面領域６３と窓側領域６１との間の境界線をいう。
【００４３】
図１１は、境界線を検出する処理の流れを示す図であり、ステップＳ２３にて行われる処理を示している。境界線検出処理の際には、背景画像６上には前述のカメラモデルにおけるローカル座標系の３次元座標軸４（または、座標軸のグリッド）が図１２に示すように表示される。なお、この段階で表示される３次元座標軸４は境界線検出処理において仮の境界線を設定するために利用されるものである。
【００４４】
境界線検出処理では、図１のカメラモデルにおいて３次元座標軸４を移動もしくは回転する処理、または、仮想カメラ３の画角θを変更する処理（すなわち、視点を変更する処理）が、重ね合わせ部２１により操作者の入力に基づいて行われ、移動もしくは回転、または、視点の変更後の３次元座標軸４と背景画像６とを重ね合わせた画像がディスプレイ１５に表示される。
【００４５】
操作者はマウス１６ｂ等を操作して３次元座標軸４のＸ軸を背景画像６中の床面領域６３と窓側領域６１との間の境界に、Ｙ軸を窓側領域６１と壁面領域６２との間の境界に、Ｚ軸を壁面領域６２と床面領域６３との間の境界におよそ沿うように３次元座標軸４を設定する（ステップＳ２３１）。これにより、図１３に示すように、背景画像６上に投影された３次元座標軸４の各座標軸が各領域６１〜６３間の境界におよそ沿う仮の境界線を示すこととなる。以下、境界線検出処理において、背景画像６上に投影された３次元座標軸４を仮の境界線群４と呼ぶ。
【００４６】
続いて、コンピュータ１では、ステップＳ２１において抽出された線分６４の集合のうち仮の境界線群４のそれぞれに対応する３つの線分が特定される（ステップＳ２３２）。図１４は、３つの線分を特定する様子を説明するための図であり、仮の境界線群４のうちＸ軸に対応する１つの仮の境界線４１（但し、背景画像６の外縁まで伸びている。）、および、複数の抽出線分６４のうち２つの線分６４（２つの線分６４も背景画像６の外縁まで必要に応じて延長されたものである。）のみを示している（図１０参照）。
【００４７】
３つの線分を特定する際には、各抽出線分６４に関して両端点と仮の境界線４１の両端点とを結ぶことにより形成される多角形（すなわち、図１４中の平行斜線を付して示す四角形）の面積が境界線特定部２３において算出される。このとき、仮の境界線４１の両端点は背景画像６の外縁との交点において規定される。
【００４８】
境界線特定部２３では、仮の境界線群４の各境界線について複数の抽出線分６４のそれぞれとの組み合わせにより形成される多角形の面積が算出され、各仮の境界線において多角形の面積が最も小さくなる組み合わせを構成する抽出線分６４が対応する線分として特定される。なお、仮の境界線に対応する線分は他の手法（例えば、仮の境界線と抽出線分６４との端点間の距離に基づいて求める手法等）により求められてもよいが、上記のように多角形の面積を求めることにより、容易かつ適切に対応する線分を特定することができる。
【００４９】
図１５は、特定された抽出線分６４１，６４２，６４３を一点鎖線にて示す図であり、抽出線分６４１〜６４３のそれぞれが、仮の境界線群４のＸ軸，Ｙ軸，Ｚ軸に対応している。
【００５０】
３つの抽出線分６４１〜６４３が特定されると、交点算出部２４において、床面領域６３の境界線となる２つの線分の交点が求められる（ステップＳ２３３）。すなわち、図１５の背景画像６において、抽出線分６４１が床面領域６３と窓側領域６１との間の境界線、抽出線分６４３が床面領域６３と壁面領域６２との間の境界線としてそれぞれ決定され、境界線６４１と境界線６４３との交点６４４が求められる。そして、残りの１つの抽出線分６４２が交点６４４を通過するように平行移動され（ステップＳ２３４）、図１５中において二点鎖線にて示す平行移動後の新たな線分６４５が、窓側領域６１と壁面領域６２との間の境界線として決定される。なお、３つの抽出線分６４１〜６４３が一点で交わっている場合には、抽出線分６４２が、窓側領域６１と壁面領域６２との間の境界線として決定され、ステップＳ２３４の処理は省略される。
【００５１】
以上のように、境界線検出処理では、操作者が仮の境界線群４を設定するのみで（いわゆる、半自動で）、抽出線分６４の集合から３つの境界線６４１，６４３，６４５を容易かつ適切に設定することができ、特に、室内を示す背景画像において、３つの境界線のうち床面領域６３の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【００５２】
また、境界線検出処理は、操作者の操作により（すなわち、手動により）設定されてもよく、操作者が手動により境界線を検出する場合には（図８中のステップＳ２２）、例えば、操作者がマウス１６ｂ等を操作して背景画像６上の２点を特定することにより各境界線が設定されたり、背景画像６上に表示された複数の抽出線分６４から各領域６１〜６３の境界に対応する抽出線分６４を直接選択する等して境界線が設定される（ステップＳ２４）。また、選択された抽出線分６４に対して、図１１のステップＳ２３３，Ｓ２３４の処理が自動で行われてもよい。
【００５３】
ここで、カメラモデルにおいて、設定された境界線６４１，６４３，６４５はローカル座標系の３次元座標軸４を背景画像６上に投影したものであると考えることができ、その場合には、３次元座標軸４の原点は視点３と背景画像６上の点６４４とを結ぶ線分上であればいずれの位置に配置されてもよい。そこで、ここでは説明の便宜上、図１６に示すように、ローカル座標系の３次元座標軸４の原点を背景画像６上の点６４４に配置させたカメラモデルを想定することとし（もちろん、ローカル座標系の原点は視点３と背景画像６上の点６４４とを結ぶ線分上の他の点であってもよい。）、これにより、ワールド座標系におけるローカル座標系の原点位置（すなわち、数１中の行列Ｍｔ）が決定されるとともに、３次元座標軸４の各座標軸の配置が制約されることとなる。
【００５４】
例えば、図１６のカメラモデルにおいて、背景画像６上の原点６４４を始点とするＸ軸の基底ベクトルについて考えると、Ｘ軸基底ベクトルが背景画像６上の境界線６４１上に投影されるには、Ｘ軸基底ベクトルの終点は、視点３と境界線６４１の一の端点６４６と原点６４４とにより結ばれた領域（図１６中の平行斜線を付す領域）５１内に存在する必要がある。
【００５５】
図１７は、Ｘ軸基底ベクトルの存在する領域５１を示す図である。組み合わせ決定部２５では、原点６４４から視点３と端点６４６とを結ぶ線分を等分割する複数の点へとそれぞれ向かう複数の基底ベクトルが生成され、一の画角θ（すなわち、視点３の一の候補位置）に対するＸ軸基底ベクトルの候補としてそれぞれ取り扱われる。Ｙ軸基底ベクトルおよびＺ軸基底ベクトルについても同様に一の画角θにおける複数の基底ベクトルの候補が生成される。なお、一の画角θにおける複数の基底ベクトルの候補は、他の手法（例えば、基底ベクトルと境界線６４１とのなす角が複数通りに変更される等）により生成されてもよい。
【００５６】
組み合わせ決定部２５では、さらに、画角θを複数通りに変更して（すなわち、視点３の配置を複数通りに変更して）、各視点３の配置においても同様にＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトルの候補が生成される。そして、複数通りの視点３の配置のそれぞれにおいて、Ｘ軸基底ベクトルの候補、Ｙ軸基底ベクトルの候補、および、Ｚ軸基底ベクトルの候補を組み合わせることにより、１つのＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトル並びに一の視点の配置を１つのデータセットとする複数のデータセットが生成される。
【００５７】
続いて、組み合わせ決定部２５では、複数のデータセットのうちそれぞれに含まれる３つの基底ベクトルが互いにおよそ直交するデータセットが選択される。具体的には、ワールド座標系におけるローカル座標系のＸ軸基底ベクトルをＶＸ、Ｙ軸基底ベクトルをＶＹ、Ｚ軸基底ベクトルをＶＺとすると、Ｘ軸基底ベクトルＶＸとＹ軸基底ベクトルＶＹとの内積、Ｙ軸基底ベクトルＶＹとＺ軸基底ベクトルＶＺとの内積、および、Ｚ軸基底ベクトルＶＺとＸ軸基底ベクトルＶＸとの内積の和である評価値ｆ１が、数４に示すようにして求められる。
【００５８】
【数４】
そして、評価値ｆ１が所定のしきい値よりも小さくなるデータセットが、３つの基底ベクトルが互いにおよそ直交するデータセットと判定され、３次元座標軸および視点の配置の評価対象の組み合わせとして評価値算出部２６に出力される（ステップＳ２５）。
【００６０】
ここで、一般的に、実際の室内の壁面や床面には、窓枠や床面の板材あるいは壁面に飾られた額縁といったように、各面において水平または垂直となる線分の要素を多く含んでいる場合が多い。
【００６１】
そこで、評価値算出部２６では、入力された複数の組み合わせ（すなわち、評価対象のデータセット）のそれぞれにおいて、基底ベクトルＶＸ，ＶＹ，ＶＺにそれぞれ対応するＸ軸，Ｙ軸，Ｚ軸のうち２つの座標軸により決定されるローカル座標系のＸＹ平面、ＹＺ平面およびＺＸ平面が、図１８に示すように想定される。そして、ステップＳ２１において抽出された複数の線分６４がローカル座標系の各平面に投影される。このとき、各平面には背景画像６上の対応する領域（すなわち、ＸＹ平面に対する窓側領域６１、ＹＺ平面に対する壁面領域６２、および、ＺＸ平面に対する床面領域６３（図１６参照））を通過する抽出線分６４の集合のみが投影されることとなる。図１９は、背景画像６上の２つの抽出線分６４が投影されたＸＹ平面を示す図であり、２つの投影された抽出線分６４０のみを示している。
【００６２】
評価値算出部２６では、各平面において、投影された複数の抽出線分６４０から互いにおよそ平行または垂直となる抽出線分６４の組数が、評価値として求められる（ステップＳ２６）。例えば、ＸＹ平面に投影された抽出線分６４０のうちおよそ平行または垂直となる抽出線分６４０の組数ｇＸＹは、数５により求められる。
【００６３】
【数５】
ここで、ｋｐ，ｋｑはローカル座標系のＸＹ平面に投影された抽出線分６４０であり、ｎは投影された抽出線分６４０の本数である。また、ｔ（ｋｐ，ｋｑ）は抽出線分ｋｐと抽出線分ｋｑとのなす角であり、λは２つの線分がおよそ平行または垂直であるか否かを判定する所定のしきい値である。
【００６５】
評価値算出部２６では、ローカル座標系のＹＺ平面およびＺＸ平面に関しても同様に、組数ｇＹＺ，ｇＺＸが求められ、数６のように全ての平面における組数の和が評価値ｆ２として求められる。
【００６６】
【数６】
評価値ｆ２は評価対象の複数の組み合わせのそれぞれについて求められて比較部２７へと出力され、評価値ｆ２が最大となる組み合わせが特定される。特定された組み合わせのデータセットは、重ね合わせ部２１に出力され、その組み合わせに係る３次元座標軸および視点がローカル座標系の３次元座標軸４および視点３（または、画角θ）として設定され（ステップＳ２７）、そのときのパラメータ群が特定される。これにより、前述のようにローカル座標系により規定される３次元空間に配置された３次元オブジェクトが、背景画像６上に適切に重ね合わされて表示される。
【００６８】
以上のように、コンピュータ１では、背景画像６上に設定された３つの境界線に基づいて決定された３次元座標軸および視点の配置の複数の組み合わせのそれぞれについて、組み合わせに含まれる２つの座標軸により決定される面に背景画像６から抽出される複数の線分６４が投影される。そして、投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関する評価値が求められ、評価値に基づいて選択された一の組み合わせに係る３次元座標軸および視点が背景画像６に対して設定される。これにより、コンピュータ１では背景画像６に応じた３次元座標軸および視点を容易に設定することができ、背景画像６上に３次元空間内の３次元オブジェクトを適切に重ね合わせて表示することができる。その結果、操作者は商品と背景画像６に示された室内との調和等を視覚的に捉えることが可能となる。
【００６９】
また、コンピュータ１では、組み合わせ決定部２５において３つの基底ベクトルが互いにおよそ直交するデータセットが選択されて評価値算出部２６に出力されるため、評価値算出部２６における演算処理量が軽減され、背景画像に応じた３次元座標軸および視点の組み合わせを短時間に特定し、設定することができる。
【００７０】
なお、コンピュータ１では、必要に応じて操作者により設定された３次元座標軸４を移動もしくは回転する操作、または、画角θを変更する操作が行われ、設定された３次元座標軸および視点が調整されてもよい。
【００７１】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００７２】
評価値ｆ２は、必ずしも投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関するものである必要はなく、投影された複数の線分間の平行または垂直の度合いに関するものであれば、いかなるものであってもよい。
【００７３】
背景画像データは、操作者により予め用意されてもよい。これにより、例えば、操作者の部屋を撮影した画像に３次元オブジェクトを配置することも可能となる。また、背景画像データは必ずしも室内を撮影した画像である必要はなく、エクステリア商品等の３次元カタログでは、建物の外観を撮影した画像であってもよい。
【００７４】
コンピュータ１は、３次元オブジェクトを背景画像上に効率よく適切に表示するため、３次元カタログを表示する用途に特に適しているが、背景画像に３次元オブジェクトを重ねて表示するのであれば他の用途に使用されてもよい。
【００７５】
画像表示装置としての機能は、コンピュータに準ずる機能を有する他のもの（例えば、携帯情報端末等）により実現されてもよい。
【００７６】
【発明の効果】
本発明によれば、背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元空間内のオブジェクトを適切に重ね合わせて表示することができる。
【００７７】
また、請求項４の発明では、背景画像に応じた３次元座標軸および視点を短時間に設定することができる。
【００７８】
また、請求項６の発明では、３つの境界線を容易に特定することができ、請求項７の発明では、室内を示す背景画像の３つの境界線のうち床の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【図面の簡単な説明】
【図１】カメラモデルを示す図である。
【図２】コンピュータの構造を示す図である。
【図３】コンピュータの機能構成を示すブロック図である。
【図４】背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。
【図５】ウィンドウを例示する図である。
【図６】３次元座標軸および視点が設置されたウィンドウを例示する図である。
【図７】３次元オブジェクトが配置されたウィンドウを例示する図である。
【図８】３次元座標軸および視点を設定する処理の流れを示す図である。
【図９】エッジ画像を示す図である。
【図１０】複数の線分が抽出された背景画像を示す図である。
【図１１】境界線を検出する処理の流れを示す図である。
【図１２】３次元座標軸が表示された背景画像を示す図である。
【図１３】仮の境界線が設定された背景画像を示す図である。
【図１４】３つの線分を特定する様子を説明するための図である。
【図１５】境界線が設定された背景画像を示す図である。
【図１６】ローカル座標系の原点が背景画像上に配置されたカメラモデルを示す図である。
【図１７】Ｘ軸基底ベクトルの存在する領域を示す図である。
【図１８】ローカル座標系の平面が想定されたカメラモデルを示す図である。
【図１９】抽出線分が投影されたＸＹ平面を示す図である。
【符号の説明】
１ コンピュータ
２ 演算部
３ 仮想カメラ
４ ３次元座標軸
６ 背景画像
１４ 固定ディスク
１５ ディスプレイ
１６ 入力部
４１ 仮の境界線
６１〜６３ 領域
６４，６４０，６４２ 線分
７６ ３次元オブジェクト
８０ プログラム
８１ ３次元オブジェクトデータベース
８２ 背景画像データベース
６４１，６４３，６４５ 境界線
６４４，６４６ 点
Ｓ１１〜Ｓ１５，Ｓ２１〜Ｓ２７，Ｓ２３１〜Ｓ２３４ ステップ
Claims (9)
- ２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示装置であって、
背景画像のデータおよび３次元空間内のオブジェクトのデータを記憶する記憶部と、
前記背景画像に対して３次元座標軸および視点を設定し、前記３次元座標軸および前記視点を基準として前記背景画像に前記オブジェクトを重ね合わせる演算部と、
重ね合わされた画像を表示する表示部と、
を備え、
前記演算部が、
前記背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる前記３次元座標軸および前記視点として設定する工程と、
を実行することを特徴とする画像表示装置。 - 請求項１に記載の画像表示装置であって、
前記演算部が、前記評価値を求める工程において投影される前記複数の線分を含む線分の集合を前記背景画像から抽出する工程をさらに実行することを特徴とする画像表示装置。 - 請求項２に記載の画像表示装置であって、
操作者からの入力を受け付ける入力部をさらに備え、
前記演算部が、操作者による入力に基づいて前記線分の集合から前記３つの境界線を設定する工程をさらに実行することを特徴とする画像表示装置。 - 請求項１ないし３のいずれかに記載の画像表示装置であって、
前記複数の組み合わせを決定する工程が、３次元座標軸の候補のうち３つの座標軸が互いにおよそ直交するものを前記複数の組み合わせに含まれる３次元座標軸として決定することを特徴とする画像表示装置。 - 請求項１ないし４のいずれかに記載の画像表示装置であって、
前記評価値が、前記投影された複数の線分のうちおよそ平行または垂直となる線分の組数であることを特徴とする画像表示装置。 - 請求項３に記載の画像表示装置であって、
前記線分の集合に含まれる各線分が前記背景画像の外縁まで延長されており、
前記３つの境界線を設定する工程が、
操作者からの入力に基づいて前記背景画像上に３つの仮の境界線を設定する工程と、
各線分の両端点と各仮の境界線の両端点とを結ぶことにより形成される多角形の面積に基づいて前記３つの境界線を特定する工程と、
を有することを特徴とする画像表示装置。 - 請求項６に記載の画像表示装置であって、
前記背景画像が室内を示す画像であり、
前記３つの境界線を特定する工程が、
前記多角形の面積が最も小さくなる３つの線分を特定する工程と、
前記３つの線分のうち、前記室内の床の境界に対応する２つの線分を２つの境界線として決定し、前記２つの境界線の交点を求める工程と、
残りの１つの線分を前記交点を通過する位置まで平行移動して残りの境界線として決定する工程と、
を有することを特徴とする画像表示装置。 - ２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示方法であって、
背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、
前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、
重ね合わされた画像を表示する工程と、
を有することを特徴とする画像表示方法。 - コンピュータに２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、
前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、
重ね合わされた画像を表示する工程と、
を実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003043687A JP2004252815A (ja) | 2003-02-21 | 2003-02-21 | 画像表示装置、画像表示方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003043687A JP2004252815A (ja) | 2003-02-21 | 2003-02-21 | 画像表示装置、画像表示方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004252815A true JP2004252815A (ja) | 2004-09-09 |
Family
ID=33026617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003043687A Pending JP2004252815A (ja) | 2003-02-21 | 2003-02-21 | 画像表示装置、画像表示方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004252815A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010267138A (ja) * | 2009-05-15 | 2010-11-25 | Panasonic Electric Works Co Ltd | 設計支援方法、設計支援システムおよび設計支援装置 |
| US20120188274A1 (en) * | 2011-01-26 | 2012-07-26 | Casio Computer Co., Ltd. | Graphic display apparatus, graphic display method and recording medium in which graphic display program is recorded |
| US8791959B2 (en) | 2011-03-25 | 2014-07-29 | Casio Computer Co., Ltd. | Electronic device which renders graph, graph display method and recording medium in which graph rendering program is recorded |
| JP2017084323A (ja) * | 2015-10-22 | 2017-05-18 | キヤノン株式会社 | 情報処理装置、方法及びプログラム |
| CN115879204A (zh) * | 2022-12-23 | 2023-03-31 | 北京城建设计发展集团股份有限公司 | 一种轨道交通工程接触轨***的数据设计方法与*** |
-
2003
- 2003-02-21 JP JP2003043687A patent/JP2004252815A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010267138A (ja) * | 2009-05-15 | 2010-11-25 | Panasonic Electric Works Co Ltd | 設計支援方法、設計支援システムおよび設計支援装置 |
| US20120188274A1 (en) * | 2011-01-26 | 2012-07-26 | Casio Computer Co., Ltd. | Graphic display apparatus, graphic display method and recording medium in which graphic display program is recorded |
| EP2482251A1 (en) * | 2011-01-26 | 2012-08-01 | Casio Computer Co., Ltd. | Graphic display apparatus, graphic display method and recording medium in which graphic display program is recorded |
| CN102693113A (zh) * | 2011-01-26 | 2012-09-26 | 卡西欧计算机株式会社 | 图形显示装置、图形显示方法 |
| US8842132B2 (en) | 2011-01-26 | 2014-09-23 | Casio Computer Co., Ltd. | Graphic display apparatus, graphic display method and recording medium in which graphic display program is recorded |
| US8791959B2 (en) | 2011-03-25 | 2014-07-29 | Casio Computer Co., Ltd. | Electronic device which renders graph, graph display method and recording medium in which graph rendering program is recorded |
| JP2017084323A (ja) * | 2015-10-22 | 2017-05-18 | キヤノン株式会社 | 情報処理装置、方法及びプログラム |
| CN115879204A (zh) * | 2022-12-23 | 2023-03-31 | 北京城建设计发展集团股份有限公司 | 一种轨道交通工程接触轨***的数据设计方法与*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| JP5013961B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
| US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| US20120105446A1 (en) | Building controllable clairvoyance device in virtual world | |
| US20070053679A1 (en) | 360-° Image photographing apparatus | |
| JP5799273B2 (ja) | 寸法計測装置、寸法計測方法、寸法計測システム、プログラム | |
| CN104751520A (zh) | 减少现实 | |
| Zollmann et al. | Interactive 4D overview and detail visualization in augmented reality | |
| JP2011048586A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US20150269759A1 (en) | Image processing apparatus, image processing system, and image processing method | |
| Viyanon et al. | AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking | |
| JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
| JP2015049776A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2018142109A (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
| KR101875047B1 (ko) | 사진측량을 이용한 3d 모델링 시스템 및 방법 | |
| JP2021152935A (ja) | 情報可視化システム、情報可視化方法、及びプログラム | |
| JP6854631B2 (ja) | 情報可視化システム、情報可視化方法、及びプログラム | |
| JP6362401B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
| JP2004252815A (ja) | 画像表示装置、画像表示方法およびプログラム | |
| JP2015155911A (ja) | 寸法計測方法 | |
| JP2015062017A (ja) | モデル作成装置、モデル作成プログラム、および画像認識システム | |
| BARON et al. | APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION. | |
| JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
| GB2564715A (en) | Systems and methods of forming virtual models |