JP2004252815A

JP2004252815A - Image display device, its method and program

Info

Publication number: JP2004252815A
Application number: JP2003043687A
Authority: JP
Inventors: Akira Yamada; 亮山田
Original assignee: Dainippon Screen Manufacturing Co Ltd
Current assignee: Dainippon Screen Manufacturing Co Ltd
Priority date: 2003-02-21
Filing date: 2003-02-21
Publication date: 2004-09-09

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device capable of easily setting three-dimensional (3D) coordinate axes and a visual point corresponding to a background image and displaying a 3D object by suitably superposing the 3D object to the background image. <P>SOLUTION: In a computer, a combination determination part 21 determines a plurality of arrangement combinations of 3D coordinate axes and visual points on the basis of a boundary on a background image 6. An evaluation value calculation part 26 projects extracted segments of the background image 6 to a face determined by two coordinate axes included in the combinations, selects 3D coordinate axes and a visual point concerned with one combination on the basis of a parallel or vertical degree between the projected extracted segments and sets the selected 3D coordinates and visual point on the background image 6. Consequently the 3D coordinate axes and the visual point corresponding to the background image 6 can be easily set and the 3D object can be suitably superposed to the background image and displayed. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元の背景画像上に３次元のオブジェクトを重ねて表示する技術に関する。
【０００２】
【従来の技術】
従来より、医療、教育、製造、あるいは、流通等の様々な分野において、２次元の背景画像上に３次元空間内のオブジェクト（いわゆる、３次元オブジェクト）を重ねて表示する技術が利用されている。例えば、風景を表す画像上に建造物の３次元オブジェクトを重ね合わせることで、建造物がその風景に及ぼす影響を視覚的に捉えることが可能となる（いわゆる、拡張現実感や複合現実感が得られる。）。このような技術は、主に、複数の画像を利用するステレオ視等の手法を用いることにより実現されている。
【０００３】
なお、特許文献１では、３次元対象物が写し出された２次元画像から消失点位置等を特定することにより、３次元対象物の３次元形状モデル（すなわち、３次元オブジェクト）を生成する手法が開示されている。
【０００４】
【特許文献１】
特開平９−３１９８９６号公報
【０００５】
【発明が解決しようとする課題】
ところで、１枚の背景画像に合わせて３次元オブジェクトを適切に重ねて表示するには、背景画像が示す奥行きや撮影したカメラの位置等の情報（以下、「幾何学的位置情報」と総称する。）に応じて３次元オブジェクトが配置される３次元座標軸を設定する（３次元復元とも呼ばれる。）必要がある。
【０００６】
そこで、近年、形状情報が既知の３次元オブジェクトや位置情報が既知のマーカを背景画像中に含ませておき幾何学的位置情報を推定する手法が実施されているが、この手法では、背景画像中に所定の３次元オブジェクトやマーカが含まれている必要がある。
【０００７】
一方、１枚の背景画像中から抽出された線分群から消失点位置を求め、消失点位置に基づいて背景画像上に３次元オブジェクトを重ね合わせて表示する手法も知られているが、消失点位置を安定して検出することは困難である。
【０００８】
本発明は上記課題に鑑みなされたものであり、奥行きのある空間を表す２次元の背景画像に合わせて３次元座標軸を容易に設定し、３次元オブジェクトを適切に重ねて表示することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示装置であって、背景画像のデータおよび３次元空間内のオブジェクトのデータを記憶する記憶部と、前記背景画像に対して３次元座標軸および視点を設定し、前記３次元座標軸および前記視点を基準として前記背景画像に前記オブジェクトを重ね合わせる演算部と、重ね合わされた画像を表示する表示部とを備え、前記演算部が、前記背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる前記３次元座標軸および前記視点として設定する工程とを実行する。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像表示装置であって、前記演算部が、前記評価値を求める工程において投影される前記複数の線分を含む線分の集合を前記背景画像から抽出する工程をさらに実行する。
【００１１】
請求項３に記載の発明は、請求項２に記載の画像表示装置であって、操作者からの入力を受け付ける入力部をさらに備え、前記演算部が、操作者による入力に基づいて前記線分の集合から前記３つの境界線を設定する工程をさらに実行する。
【００１２】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像表示装置であって、前記複数の組み合わせを決定する工程が、３次元座標軸の候補のうち３つの座標軸が互いにおよそ直交するものを前記複数の組み合わせに含まれる３次元座標軸として決定する。
【００１３】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像表示装置であって、前記評価値が、前記投影された複数の線分のうちおよそ平行または垂直となる線分の組数である。
【００１４】
請求項６に記載の発明は、請求項３に記載の画像表示装置であって、前記線分の集合に含まれる各線分が前記背景画像の外縁まで延長されており、前記３つの境界線を設定する工程が、操作者からの入力に基づいて前記背景画像上に３つの仮の境界線を設定する工程と、各線分の両端点と各仮の境界線の両端点とを結ぶことにより形成される多角形の面積に基づいて前記３つの境界線を特定する工程とを有する。
【００１５】
請求項７に記載の発明は、請求項６に記載の画像表示装置であって、前記背景画像が室内を示す画像であり、前記３つの境界線を特定する工程が、前記多角形の面積が最も小さくなる３つの線分を特定する工程と、前記３つの線分のうち、前記室内の床の境界に対応する２つの線分を２つの境界線として決定し、前記２つの境界線の交点を求める工程と、残りの１つの線分を前記交点を通過する位置まで平行移動して残りの境界線として決定する工程とを有する。
【００１６】
請求項８に記載の発明は、２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示方法であって、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを有する。
【００１７】
請求項９に記載の発明は、コンピュータに２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、重ね合わされた画像を表示する工程とを実行させる。
【００１８】
【発明の実施の形態】
図１は、２次元の背景画像上に３次元空間内のオブジェクトを重ねて表示する際の背景画像６と３次元座標軸４との幾何学的位置関係のモデル（以下、「カメラモデル」という。）を示す図である。
【００１９】
図１に示すカメラモデルでは、背景画像６上の水平方向に対応するα軸、垂直方向に対応するβ軸、および、背景画像６の法線方向に対応するγ軸の３つの座標軸５により規定される座標系（以下、「ワールド座標系」という。）が背景画像６の中心を原点として設定される。ワールド座標系のγ軸上には、背景画像６に正対する仮想カメラ（以下、「視点」とも呼ぶ。）３が配置される。また、仮想カメラ３の背景画像６側には、互いに直交するＸ軸、Ｙ軸およびＺ軸の３次元座標軸４により規定される座標系（以下、「ローカル座標系」という。）が設けられる。図１のカメラモデルでは、背景画像６上にローカル座標系の３次元座標軸４により規定される３次元空間を重ねて仮想カメラ３にて撮像される画像が取得される。これにより、後述するように３次元空間に配置された３次元オブジェクトが背景画像に合成される。
【００２０】
図１のカメラモデルでは、ローカル座標系上の座標（Ｘ，Ｙ，Ｚ）の点のワールド座標系における座標（α，β，γ）は、数１にて示される。
【００２１】
【数１】

【００２２】
数１において、Ｍｍはローカル座標系に対する回転行列であり、Ｍｔはワールド座標系におけるローカル座標系の原点位置を示す行列である。回転行列Ｍｍおよび行列Ｍｔを数２にて示すと、回転行列Ｍｍの３つの行ベクトル（ｍ_１１，ｍ_１２，ｍ_１３）、（ｍ_２１，ｍ_２２，ｍ_２３）、および、（ｍ_３１，ｍ_３２，ｍ_３３）の大きさは全て１となるとともに、３つの行ベクトルのうち任意の２つの行ベクトルの内積は０となる。
【００２３】
【数２】

【００２４】
ここで、背景画像６の水平方向および垂直方向の大きさ（すなわち、図１中のα方向およびβ方向の幅）をともに２と仮定すると、ワールド座標系の点（α，β，γ）を背景画像６上に投影した点（ａ，ｂ）（すなわち、αβ平面上に投影した点（ａ，ｂ））は数３のように示される。数３中のθは仮想カメラ３の画角である。なお、背景画像６の中央に配置された線分の長さを２とし、線分の両端と仮想カメラ３とがなす角がθとされてもよい。
【００２５】
【数３】

【００２６】
以上のように、図１のカメラモデルでは、ローカル座標系の点（Ｘ，Ｙ，Ｚ）を背景画像６上に投影した点（ａ，ｂ）が回転行列Ｍｍ、行列Ｍｔおよび画角θ（以下、「パラメータ群」と総称する。）を用いて数１ないし数３により導かれる。よって、背景画像６に整合するローカル座標系の３次元座標軸４の配置および画角θが判れば、その際のパラメータ群が求められ、ローカル座標系の３次元空間内のオブジェクトを２次元の背景画像６上に適切に重ねて表示させることが可能となる。なお、図１のカメラモデルでは、仮想カメラ３の画角θが変更された場合には、背景画像６の全体が仮想カメラ３により映し出されるように視点の位置（すなわち、仮想カメラ３の位置）がγ軸に沿って移動するものとする。
【００２７】
図２は本発明の一の実施の形態に係る画像表示装置としての動作を行うコンピュータ１の構造を示す図である。コンピュータ１が実現する画像表示装置では、例えば、室内を撮影した背景画像上にインテリア商品（例えば、家具等）のカタログ用の立体的な画像が表示される（いわゆる、３次元カタログとしての役割が果たされる。）。３次元カタログにおける各種商品は、コンピュータ１において仮想的な有体物（例えば、微小要素の３次元的な集合により表現される３次元画像、彩色を施した３次元サーフェスモデル等）である３次元オブジェクトとして取り扱われる。
【００２８】
コンピュータ１は、各種演算処理を行うＣＰＵ１１、基本プログラムを記憶するＲＯＭ１２および各種情報を記憶するＲＡＭ１３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク１４、画像等の各種情報の表示を行うディスプレイ１５、操作者からの入力を受け付けるキーボード１６ａおよびマウス１６ｂ（以下、「入力部１６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体９から情報の読み取りを行う読取装置１７、並びに、インターネット等の通信網に接続された通信部１８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２９】
コンピュータ１には、事前に読取装置１７を介して記録媒体９から読み出される等したプログラム８０、３次元オブジェクトデータベース８１および背景画像データベース８２が固定ディスク１４に記憶される。そして、プログラム８０がＲＡＭ１３にコピーされるとともに、ＣＰＵ１１がＲＡＭ１３内のプログラム８０に従って演算処理を実行することにより（すなわち、コンピュータがプログラムを実行することにより）、コンピュータ１が画像表示装置としての動作を行う。なお、プログラム８０が、通信部１８を介してインターネット上の他のコンピュータから配信されて実行されるアプレット等（例えば、Ｊａｖａ（登録商標）言語によるアプレット）である場合には、コンピュータ１においてプログラム８０が実行形式のプログラムに変換され、変換後のプログラムに従ってコンピュータ１が画像表示装置としての動作を行う。
【００３０】
ここで、３次元オブジェクトデータベース８１とは、３次元カタログにおける各種商品である３次元オブジェクトのデータの集合である。また、背景画像データベース８２とは、室内を撮影した２次元の背景画像の集合であり、様々な室内を示す複数の背景画像のデータが含まれている。
【００３１】
図３は、ＣＰＵ１１がプログラム８０に従って動作することにより、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、固定ディスク１４等が実現する画像表示装置としての機能構成を示すブロック図であり、演算部２内に示すブロックがＣＰＵ１１等により実現される機能を示す。なお、演算部２の機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【００３２】
図４は、コンピュータ１が背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。以下、コンピュータ１の機能および動作について図２および図３を参照しながら図４に沿って説明を行う。
【００３３】
まず、操作者が入力部１６を介して入力を行うことにより背景画像が選択される（ステップＳ１１）。例えば、図５に例示するディスプレイ１５上のウィンドウ７において、操作者が背景画像選択部７１から所望の背景画像を選択することにより、選択された背景画像のデータが固定ディスク１４の背景画像データベース８２から演算部２の重ね合わせ部２１へと出力され、ウィンドウ７上のメイン表示部７２に背景画像６が表示される。
【００３４】
続いて、コンピュータ１では、背景画像６に対して３次元座標軸および視点を設定する処理が行われる（ステップＳ１２）。すなわち、ステップＳ１２では、図１のカメラモデルにおいて、ローカル座標系の３次元座標軸４が背景画像６に整合した状態となるように設定する処理が行われ、その際のパラメータ群が求められる。なお、ステップＳ１２の処理については、３次元オブジェクトを表示する処理の説明後、詳述する。
【００３５】
図６は、３次元座標軸および視点が設定された背景画像６を示す図であり、ウィンドウ７上の操作モード選択部７３から視点変更モードを選択することにより表示される画像である。図６では、ローカル座標系の３次元空間において３次元座標軸４のうち２つの座標軸により規定される平面上に描かれた格子縞（グリッドともいう。）が背景画像６上に重ね合わせて表示されており（図１参照）、これにより、操作者はステップＳ１２において３次元座標軸および視点が適切に設定されたことを確認することができる。
【００３６】
３次元座標軸および視点が設定されると、ウィンドウ７上の右下部分にある３次元オブジェクト選択部７４から操作者による所望の商品の選択を受け付けることにより（ステップＳ１３）、選択された商品を示す３次元オブジェクトが３次元オブジェクトプレビュー部７５に表示される。そして、操作者が表示された３次元オブジェクトを３次元オブジェクトプレビュー部７５から背景画像６上へと移動する操作（例えば、マウス１６ｂによるドラッグ・アンド・ドロップ操作）を行うことにより、固定ディスク１４の３次元オブジェクトデータベース８１から選択された商品の３次元オブジェクトのデータが重ね合わせ部２１に出力される。
【００３７】
重ね合わせ部２１では、商品の３次元オブジェクトをローカル座標系の３次元空間内の所定の位置へと配置し、設定された３次元座標軸および視点を基準として背景画像６と３次元空間内の３次元オブジェクトとを重ね合わせる処理（すなわち、設定された３次元座標軸および視点に対して求められたパラメータ群を用いて背景画像６上に３次元オブジェクトを投影する処理）が行われる（ステップＳ１４）。そして、重ね合わされた画像がディスプレイ１５に表示される（ステップＳ１５）。コンピュータ１では、ステップＳ１３〜Ｓ１５が繰り返し行われることにより、図７に示すように背景画像６上に３次元空間内の複数の３次元オブジェクト７６が表示される。
【００３８】
なお、コンピュータ１では操作者による操作により、３次元オブジェクト７６をローカル座標系の３次元空間内において移動または回転し、移動後または回転後の３次元オブジェクト７６を背景画像６に重ね合わせて表示させたり、ローカル座標系の３次元座標軸４の尺度を変更し、表示されている全ての３次元オブジェクト７６の大きさを変更させることが可能である。
【００３９】
次に、３次元座標軸および視点を設定する処理について説明する。図８は、３次元座標軸および視点を設定する処理の流れを示す図であり、図４のステップＳ１２において行われる処理である。
【００４０】
ステップＳ１１において背景画像６が選択されると、背景画像６のデータは固定ディスク１４の背景画像データベース８２から線分抽出部２２に対しても出力され、線分抽出部２２では、背景画像６から複数の線分が抽出される（ステップＳ２１）。具体的には、まず、図５のメイン表示部７２に表示された背景画像６から画像中の物体の輪郭線（すなわち、エッジ）が検出され、図９に示すようなエッジ画像６ａが生成される。なお、図９ではメイン表示部７２に表示される画像のみを示している。
【００４１】
そして、図９のエッジ画像６ａに対して直線を検出する手法として知られるハフ（Ｈｏｕｇｈ）変換を施すことにより、図１０に示すように、背景画像６中に含まれる複数の線分（以下、「抽出線分」ともいう。）６４が抽出される。ただし、抽出線分６４は背景画像６の外縁まで必要に応じて延長されたものとなっている。図１０では抽出された複数の線分６４を破線により示している。なお、線分の抽出は他の手法により行われてもよい。
【００４２】
続いて、コンピュータ１では境界線を半自動で検出する処理が行われる（ステップＳ２２，Ｓ２３）。ここで、背景画像６には、窓６１ａを有する壁面を示す領域（以下、「窓側領域」という。）６１、他方の壁面を示す領域（以下、「壁面領域」という。）６２、および、矩形の板材が張り合わせられた（いわゆる、フローリングの）床面を示す領域（以下、「床面領域」という。）６３が映し出されており、ステップＳ２３において検出される境界線とは、窓側領域６１と壁面領域６２との間の境界線、壁面領域６２と床面領域６３との間の境界線、および、床面領域６３と窓側領域６１との間の境界線をいう。
【００４３】
図１１は、境界線を検出する処理の流れを示す図であり、ステップＳ２３にて行われる処理を示している。境界線検出処理の際には、背景画像６上には前述のカメラモデルにおけるローカル座標系の３次元座標軸４（または、座標軸のグリッド）が図１２に示すように表示される。なお、この段階で表示される３次元座標軸４は境界線検出処理において仮の境界線を設定するために利用されるものである。
【００４４】
境界線検出処理では、図１のカメラモデルにおいて３次元座標軸４を移動もしくは回転する処理、または、仮想カメラ３の画角θを変更する処理（すなわち、視点を変更する処理）が、重ね合わせ部２１により操作者の入力に基づいて行われ、移動もしくは回転、または、視点の変更後の３次元座標軸４と背景画像６とを重ね合わせた画像がディスプレイ１５に表示される。
【００４５】
操作者はマウス１６ｂ等を操作して３次元座標軸４のＸ軸を背景画像６中の床面領域６３と窓側領域６１との間の境界に、Ｙ軸を窓側領域６１と壁面領域６２との間の境界に、Ｚ軸を壁面領域６２と床面領域６３との間の境界におよそ沿うように３次元座標軸４を設定する（ステップＳ２３１）。これにより、図１３に示すように、背景画像６上に投影された３次元座標軸４の各座標軸が各領域６１〜６３間の境界におよそ沿う仮の境界線を示すこととなる。以下、境界線検出処理において、背景画像６上に投影された３次元座標軸４を仮の境界線群４と呼ぶ。
【００４６】
続いて、コンピュータ１では、ステップＳ２１において抽出された線分６４の集合のうち仮の境界線群４のそれぞれに対応する３つの線分が特定される（ステップＳ２３２）。図１４は、３つの線分を特定する様子を説明するための図であり、仮の境界線群４のうちＸ軸に対応する１つの仮の境界線４１（但し、背景画像６の外縁まで伸びている。）、および、複数の抽出線分６４のうち２つの線分６４（２つの線分６４も背景画像６の外縁まで必要に応じて延長されたものである。）のみを示している（図１０参照）。
【００４７】
３つの線分を特定する際には、各抽出線分６４に関して両端点と仮の境界線４１の両端点とを結ぶことにより形成される多角形（すなわち、図１４中の平行斜線を付して示す四角形）の面積が境界線特定部２３において算出される。このとき、仮の境界線４１の両端点は背景画像６の外縁との交点において規定される。
【００４８】
境界線特定部２３では、仮の境界線群４の各境界線について複数の抽出線分６４のそれぞれとの組み合わせにより形成される多角形の面積が算出され、各仮の境界線において多角形の面積が最も小さくなる組み合わせを構成する抽出線分６４が対応する線分として特定される。なお、仮の境界線に対応する線分は他の手法（例えば、仮の境界線と抽出線分６４との端点間の距離に基づいて求める手法等）により求められてもよいが、上記のように多角形の面積を求めることにより、容易かつ適切に対応する線分を特定することができる。
【００４９】
図１５は、特定された抽出線分６４１，６４２，６４３を一点鎖線にて示す図であり、抽出線分６４１〜６４３のそれぞれが、仮の境界線群４のＸ軸，Ｙ軸，Ｚ軸に対応している。
【００５０】
３つの抽出線分６４１〜６４３が特定されると、交点算出部２４において、床面領域６３の境界線となる２つの線分の交点が求められる（ステップＳ２３３）。すなわち、図１５の背景画像６において、抽出線分６４１が床面領域６３と窓側領域６１との間の境界線、抽出線分６４３が床面領域６３と壁面領域６２との間の境界線としてそれぞれ決定され、境界線６４１と境界線６４３との交点６４４が求められる。そして、残りの１つの抽出線分６４２が交点６４４を通過するように平行移動され（ステップＳ２３４）、図１５中において二点鎖線にて示す平行移動後の新たな線分６４５が、窓側領域６１と壁面領域６２との間の境界線として決定される。なお、３つの抽出線分６４１〜６４３が一点で交わっている場合には、抽出線分６４２が、窓側領域６１と壁面領域６２との間の境界線として決定され、ステップＳ２３４の処理は省略される。
【００５１】
以上のように、境界線検出処理では、操作者が仮の境界線群４を設定するのみで（いわゆる、半自動で）、抽出線分６４の集合から３つの境界線６４１，６４３，６４５を容易かつ適切に設定することができ、特に、室内を示す背景画像において、３つの境界線のうち床面領域６３の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【００５２】
また、境界線検出処理は、操作者の操作により（すなわち、手動により）設定されてもよく、操作者が手動により境界線を検出する場合には（図８中のステップＳ２２）、例えば、操作者がマウス１６ｂ等を操作して背景画像６上の２点を特定することにより各境界線が設定されたり、背景画像６上に表示された複数の抽出線分６４から各領域６１〜６３の境界に対応する抽出線分６４を直接選択する等して境界線が設定される（ステップＳ２４）。また、選択された抽出線分６４に対して、図１１のステップＳ２３３，Ｓ２３４の処理が自動で行われてもよい。
【００５３】
ここで、カメラモデルにおいて、設定された境界線６４１，６４３，６４５はローカル座標系の３次元座標軸４を背景画像６上に投影したものであると考えることができ、その場合には、３次元座標軸４の原点は視点３と背景画像６上の点６４４とを結ぶ線分上であればいずれの位置に配置されてもよい。そこで、ここでは説明の便宜上、図１６に示すように、ローカル座標系の３次元座標軸４の原点を背景画像６上の点６４４に配置させたカメラモデルを想定することとし（もちろん、ローカル座標系の原点は視点３と背景画像６上の点６４４とを結ぶ線分上の他の点であってもよい。）、これにより、ワールド座標系におけるローカル座標系の原点位置（すなわち、数１中の行列Ｍｔ）が決定されるとともに、３次元座標軸４の各座標軸の配置が制約されることとなる。
【００５４】
例えば、図１６のカメラモデルにおいて、背景画像６上の原点６４４を始点とするＸ軸の基底ベクトルについて考えると、Ｘ軸基底ベクトルが背景画像６上の境界線６４１上に投影されるには、Ｘ軸基底ベクトルの終点は、視点３と境界線６４１の一の端点６４６と原点６４４とにより結ばれた領域（図１６中の平行斜線を付す領域）５１内に存在する必要がある。
【００５５】
図１７は、Ｘ軸基底ベクトルの存在する領域５１を示す図である。組み合わせ決定部２５では、原点６４４から視点３と端点６４６とを結ぶ線分を等分割する複数の点へとそれぞれ向かう複数の基底ベクトルが生成され、一の画角θ（すなわち、視点３の一の候補位置）に対するＸ軸基底ベクトルの候補としてそれぞれ取り扱われる。Ｙ軸基底ベクトルおよびＺ軸基底ベクトルについても同様に一の画角θにおける複数の基底ベクトルの候補が生成される。なお、一の画角θにおける複数の基底ベクトルの候補は、他の手法（例えば、基底ベクトルと境界線６４１とのなす角が複数通りに変更される等）により生成されてもよい。
【００５６】
組み合わせ決定部２５では、さらに、画角θを複数通りに変更して（すなわち、視点３の配置を複数通りに変更して）、各視点３の配置においても同様にＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトルの候補が生成される。そして、複数通りの視点３の配置のそれぞれにおいて、Ｘ軸基底ベクトルの候補、Ｙ軸基底ベクトルの候補、および、Ｚ軸基底ベクトルの候補を組み合わせることにより、１つのＸ軸基底ベクトル、Ｙ軸基底ベクトルおよびＺ軸基底ベクトル並びに一の視点の配置を１つのデータセットとする複数のデータセットが生成される。
【００５７】
続いて、組み合わせ決定部２５では、複数のデータセットのうちそれぞれに含まれる３つの基底ベクトルが互いにおよそ直交するデータセットが選択される。具体的には、ワールド座標系におけるローカル座標系のＸ軸基底ベクトルをＶ_Ｘ、Ｙ軸基底ベクトルをＶ_Ｙ、Ｚ軸基底ベクトルをＶ_Ｚとすると、Ｘ軸基底ベクトルＶ_ＸとＹ軸基底ベクトルＶ_Ｙとの内積、Ｙ軸基底ベクトルＶ_ＹとＺ軸基底ベクトルＶ_Ｚとの内積、および、Ｚ軸基底ベクトルＶ_ＺとＸ軸基底ベクトルＶ_Ｘとの内積の和である評価値ｆ_１が、数４に示すようにして求められる。
【００５８】
【数４】

【００５９】
そして、評価値ｆ_１が所定のしきい値よりも小さくなるデータセットが、３つの基底ベクトルが互いにおよそ直交するデータセットと判定され、３次元座標軸および視点の配置の評価対象の組み合わせとして評価値算出部２６に出力される（ステップＳ２５）。
【００６０】
ここで、一般的に、実際の室内の壁面や床面には、窓枠や床面の板材あるいは壁面に飾られた額縁といったように、各面において水平または垂直となる線分の要素を多く含んでいる場合が多い。
【００６１】
そこで、評価値算出部２６では、入力された複数の組み合わせ（すなわち、評価対象のデータセット）のそれぞれにおいて、基底ベクトルＶ_Ｘ，Ｖ_Ｙ，Ｖ_Ｚにそれぞれ対応するＸ軸，Ｙ軸，Ｚ軸のうち２つの座標軸により決定されるローカル座標系のＸＹ平面、ＹＺ平面およびＺＸ平面が、図１８に示すように想定される。そして、ステップＳ２１において抽出された複数の線分６４がローカル座標系の各平面に投影される。このとき、各平面には背景画像６上の対応する領域（すなわち、ＸＹ平面に対する窓側領域６１、ＹＺ平面に対する壁面領域６２、および、ＺＸ平面に対する床面領域６３（図１６参照））を通過する抽出線分６４の集合のみが投影されることとなる。図１９は、背景画像６上の２つの抽出線分６４が投影されたＸＹ平面を示す図であり、２つの投影された抽出線分６４０のみを示している。
【００６２】
評価値算出部２６では、各平面において、投影された複数の抽出線分６４０から互いにおよそ平行または垂直となる抽出線分６４の組数が、評価値として求められる（ステップＳ２６）。例えば、ＸＹ平面に投影された抽出線分６４０のうちおよそ平行または垂直となる抽出線分６４０の組数ｇ_ＸＹは、数５により求められる。
【００６３】
【数５】

【００６４】
ここで、ｋ_ｐ，ｋ_ｑはローカル座標系のＸＹ平面に投影された抽出線分６４０であり、ｎは投影された抽出線分６４０の本数である。また、ｔ（ｋ_ｐ，ｋ_ｑ）は抽出線分ｋ_ｐと抽出線分ｋ_ｑとのなす角であり、λは２つの線分がおよそ平行または垂直であるか否かを判定する所定のしきい値である。
【００６５】
評価値算出部２６では、ローカル座標系のＹＺ平面およびＺＸ平面に関しても同様に、組数ｇ_ＹＺ，ｇ_ＺＸが求められ、数６のように全ての平面における組数の和が評価値ｆ_２として求められる。
【００６６】
【数６】

【００６７】
評価値ｆ_２は評価対象の複数の組み合わせのそれぞれについて求められて比較部２７へと出力され、評価値ｆ_２が最大となる組み合わせが特定される。特定された組み合わせのデータセットは、重ね合わせ部２１に出力され、その組み合わせに係る３次元座標軸および視点がローカル座標系の３次元座標軸４および視点３（または、画角θ）として設定され（ステップＳ２７）、そのときのパラメータ群が特定される。これにより、前述のようにローカル座標系により規定される３次元空間に配置された３次元オブジェクトが、背景画像６上に適切に重ね合わされて表示される。
【００６８】
以上のように、コンピュータ１では、背景画像６上に設定された３つの境界線に基づいて決定された３次元座標軸および視点の配置の複数の組み合わせのそれぞれについて、組み合わせに含まれる２つの座標軸により決定される面に背景画像６から抽出される複数の線分６４が投影される。そして、投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関する評価値が求められ、評価値に基づいて選択された一の組み合わせに係る３次元座標軸および視点が背景画像６に対して設定される。これにより、コンピュータ１では背景画像６に応じた３次元座標軸および視点を容易に設定することができ、背景画像６上に３次元空間内の３次元オブジェクトを適切に重ね合わせて表示することができる。その結果、操作者は商品と背景画像６に示された室内との調和等を視覚的に捉えることが可能となる。
【００６９】
また、コンピュータ１では、組み合わせ決定部２５において３つの基底ベクトルが互いにおよそ直交するデータセットが選択されて評価値算出部２６に出力されるため、評価値算出部２６における演算処理量が軽減され、背景画像に応じた３次元座標軸および視点の組み合わせを短時間に特定し、設定することができる。
【００７０】
なお、コンピュータ１では、必要に応じて操作者により設定された３次元座標軸４を移動もしくは回転する操作、または、画角θを変更する操作が行われ、設定された３次元座標軸および視点が調整されてもよい。
【００７１】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００７２】
評価値ｆ_２は、必ずしも投影された複数の線分のうちおよそ平行または垂直となる線分の組数に関するものである必要はなく、投影された複数の線分間の平行または垂直の度合いに関するものであれば、いかなるものであってもよい。
【００７３】
背景画像データは、操作者により予め用意されてもよい。これにより、例えば、操作者の部屋を撮影した画像に３次元オブジェクトを配置することも可能となる。また、背景画像データは必ずしも室内を撮影した画像である必要はなく、エクステリア商品等の３次元カタログでは、建物の外観を撮影した画像であってもよい。
【００７４】
コンピュータ１は、３次元オブジェクトを背景画像上に効率よく適切に表示するため、３次元カタログを表示する用途に特に適しているが、背景画像に３次元オブジェクトを重ねて表示するのであれば他の用途に使用されてもよい。
【００７５】
画像表示装置としての機能は、コンピュータに準ずる機能を有する他のもの（例えば、携帯情報端末等）により実現されてもよい。
【００７６】
【発明の効果】
本発明によれば、背景画像に応じた３次元座標軸および視点を容易に設定することができ、背景画像上に３次元空間内のオブジェクトを適切に重ね合わせて表示することができる。
【００７７】
また、請求項４の発明では、背景画像に応じた３次元座標軸および視点を短時間に設定することができる。
【００７８】
また、請求項６の発明では、３つの境界線を容易に特定することができ、請求項７の発明では、室内を示す背景画像の３つの境界線のうち床の境界に対応する２つの境界線以外の残りの１つの境界線を適切に特定することができる。
【図面の簡単な説明】
【図１】カメラモデルを示す図である。
【図２】コンピュータの構造を示す図である。
【図３】コンピュータの機能構成を示すブロック図である。
【図４】背景画像上に３次元オブジェクトを重ねて表示する処理の流れを示す図である。
【図５】ウィンドウを例示する図である。
【図６】３次元座標軸および視点が設置されたウィンドウを例示する図である。
【図７】３次元オブジェクトが配置されたウィンドウを例示する図である。
【図８】３次元座標軸および視点を設定する処理の流れを示す図である。
【図９】エッジ画像を示す図である。
【図１０】複数の線分が抽出された背景画像を示す図である。
【図１１】境界線を検出する処理の流れを示す図である。
【図１２】３次元座標軸が表示された背景画像を示す図である。
【図１３】仮の境界線が設定された背景画像を示す図である。
【図１４】３つの線分を特定する様子を説明するための図である。
【図１５】境界線が設定された背景画像を示す図である。
【図１６】ローカル座標系の原点が背景画像上に配置されたカメラモデルを示す図である。
【図１７】Ｘ軸基底ベクトルの存在する領域を示す図である。
【図１８】ローカル座標系の平面が想定されたカメラモデルを示す図である。
【図１９】抽出線分が投影されたＸＹ平面を示す図である。
【符号の説明】
１コンピュータ
２演算部
３仮想カメラ
４３次元座標軸
６背景画像
１４固定ディスク
１５ディスプレイ
１６入力部
４１仮の境界線
６１〜６３領域
６４，６４０，６４２線分
７６３次元オブジェクト
８０プログラム
８１３次元オブジェクトデータベース
８２背景画像データベース
６４１，６４３，６４５境界線
６４４，６４６点
Ｓ１１〜Ｓ１５，Ｓ２１〜Ｓ２７，Ｓ２３１〜Ｓ２３４ステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for displaying a three-dimensional object superimposed on a two-dimensional background image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in various fields such as medical care, education, manufacturing, and distribution, a technique of superimposing and displaying an object in a three-dimensional space (a so-called three-dimensional object) on a two-dimensional background image has been used. . For example, by superimposing a three-dimensional object of a building on an image representing a landscape, it is possible to visually grasp the influence of the building on the scenery (so-called augmented reality or mixed reality). ). Such a technique is mainly realized by using a technique such as stereo vision using a plurality of images.
[0003]
In Patent Document 1, there is a method of generating a three-dimensional shape model of a three-dimensional object (that is, a three-dimensional object) by specifying a vanishing point position and the like from a two-dimensional image in which the three-dimensional object is projected. It has been disclosed.
[0004]
[Patent Document 1]
JP-A-9-319896
[0005]
[Problems to be solved by the invention]
By the way, in order to appropriately display a three-dimensional object in accordance with one background image, information such as the depth indicated by the background image and the position of the camera that has taken the image (hereinafter, referred to as “geometric position information”) ), It is necessary to set a three-dimensional coordinate axis on which the three-dimensional object is arranged (also referred to as three-dimensional restoration).
[0006]
Therefore, in recent years, a method of estimating geometrical position information by including a three-dimensional object whose shape information is known and a marker whose position information is known in a background image has been implemented. It is necessary that a predetermined three-dimensional object and a marker are included therein.
[0007]
On the other hand, a method is also known in which a vanishing point position is obtained from a group of line segments extracted from one background image, and a three-dimensional object is displayed on the background image based on the vanishing point position. It is difficult to stably detect the position.
[0008]
The present invention has been made in view of the above problems, and has as its object to easily set a three-dimensional coordinate axis in accordance with a two-dimensional background image representing a space with a depth, and to appropriately display a three-dimensional object in an overlapping manner. I have.
[0009]
[Means for Solving the Problems]
The invention according to claim 1 is an image display device for displaying an object in a three-dimensional space defined by a three-dimensional coordinate axis on a two-dimensional background image, wherein the background image data and the three-dimensional space are displayed. A storage unit that stores data of objects in the storage unit, a calculation unit that sets a three-dimensional coordinate axis and a viewpoint with respect to the background image, and superimposes the object on the background image based on the three-dimensional coordinate axis and the viewpoint. A display unit for displaying the superimposed images, wherein the calculation unit determines a plurality of combinations of the arrangement of the three-dimensional coordinate axes and the viewpoint with respect to the background image based on three boundary lines set on the background image. And projecting a plurality of line segments extracted from the background image on a surface determined by two coordinate axes included in each of the plurality of combinations, Obtaining an evaluation value related to the degree of parallel or vertical between the plurality of shaded line segments; and the three-dimensional coordinate axis, which is a reference for superimposing one of the plurality of combinations based on the evaluation value, and And setting the viewpoint.
[0010]
The invention according to claim 2 is the image display device according to claim 1, wherein the calculation unit generates a set of line segments including the plurality of line segments projected in the step of obtaining the evaluation value. The step of extracting from the background image is further performed.
[0011]
The invention according to claim 3 is the image display device according to claim 2, further comprising an input unit that receives an input from an operator, wherein the calculation unit is configured to execute the line segment based on an input by the operator. Setting the three boundary lines from the set of.
[0012]
According to a fourth aspect of the present invention, in the image display device according to any one of the first to third aspects, the step of determining the plurality of combinations is such that three coordinate axes of the three-dimensional coordinate axis candidates are approximately equal to each other. An orthogonal component is determined as a three-dimensional coordinate axis included in the plurality of combinations.
[0013]
The invention according to claim 5 is the image display device according to any one of claims 1 to 4, wherein the evaluation value is a line segment that is approximately parallel or perpendicular to the plurality of projected line segments. Is the number of sets.
[0014]
The invention according to claim 6 is the image display device according to claim 3, wherein each line segment included in the set of line segments is extended to an outer edge of the background image, and the three boundary lines are formed. The setting step is a step of setting three temporary boundary lines on the background image based on an input from an operator, and forming by connecting both end points of each line segment and both end points of each temporary boundary line. Specifying the three boundary lines based on the area of the polygon to be formed.
[0015]
The invention according to claim 7 is the image display device according to claim 6, wherein the background image is an image indicating a room, and the step of specifying the three boundary lines has an area of the polygon. Identifying the three smallest line segments; and determining, from the three line segments, two line segments corresponding to the boundary of the indoor floor as two boundary lines, and the intersection of the two boundary lines. And a step of translating the remaining one line segment to a position passing through the intersection and determining the remaining line segment as the remaining boundary line.
[0016]
The invention according to claim 8 is an image display method for displaying an object in a three-dimensional space defined by a three-dimensional coordinate axis on a two-dimensional background image, wherein the three-dimensional image is set on the background image. Determining a plurality of combinations of three-dimensional coordinate axes and viewpoint arrangements with respect to the background image based on one boundary line; and extracting from the background image a surface determined by two coordinate axes included in each of the plurality of combinations. Projecting a plurality of line segments to be evaluated, obtaining an evaluation value regarding the degree of parallel or perpendicularity of the plurality of projected line segments, and superimposing one of the plurality of combinations based on the evaluation value Setting a three-dimensional coordinate axis and a viewpoint as a reference of the object; and setting an object in a three-dimensional space on the background image based on the three-dimensional coordinate axis and the viewpoint. And a step of superimposing the door, and a step of displaying the superimposed image.
[0017]
The invention according to claim 9 is a program for causing a computer to superimpose and display an object in a three-dimensional space defined by three-dimensional coordinate axes on a two-dimensional background image, wherein the computer executes the program, Determining, by the computer, a plurality of combinations of the arrangement of the three-dimensional coordinate axes and the viewpoint with respect to the background image based on the three boundary lines set on the background image; and two steps included in each of the plurality of combinations. Projecting a plurality of line segments extracted from the background image on the surface determined by the coordinate axes, obtaining an evaluation value related to the degree of parallel or vertical between the plurality of projected line segments, and based on the evaluation value, Setting one of the plurality of combinations as a three-dimensional coordinate axis and a viewpoint serving as a reference for superposition; And a three-dimensional coordinate axes, and the step of the superposing object of the three-dimensional space in the background image of the viewpoint as a reference to execute the step of displaying the superimposed image.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows a model (hereinafter referred to as a “camera model”) of a geometrical positional relationship between a background image 6 and a three-dimensional coordinate axis 4 when an object in a three-dimensional space is superimposed and displayed on a two-dimensional background image. FIG.
[0019]
In the camera model shown in FIG. 1, the coordinate system 5 is defined by three coordinate axes 5 of an α-axis corresponding to the horizontal direction on the background image 6, a β-axis corresponding to the vertical direction, and a γ-axis corresponding to the normal direction of the background image 6. A coordinate system (hereinafter, referred to as a “world coordinate system”) is set with the center of the background image 6 as the origin. On the γ-axis of the world coordinate system, a virtual camera (hereinafter, also referred to as “viewpoint”) 3 facing the background image 6 is arranged. On the background image 6 side of the virtual camera 3, a coordinate system (hereinafter, referred to as a “local coordinate system”) defined by three-dimensional coordinate axes 4 of an X axis, a Y axis, and a Z axis that are orthogonal to each other is provided. In the camera model of FIG. 1, an image captured by the virtual camera 3 is obtained by overlapping a three-dimensional space defined by a three-dimensional coordinate axis 4 of a local coordinate system on a background image 6. Thereby, the three-dimensional object arranged in the three-dimensional space is synthesized with the background image as described later.
[0020]
In the camera model of FIG. 1, the coordinates (α, β, γ) of the point of the coordinates (X, Y, Z) on the local coordinate system in the world coordinate system are represented by Expression 1.
[0021]
(Equation 1)

[0022]
In Equation 1, Mm is a rotation matrix with respect to the local coordinate system, and Mt is a matrix indicating the origin position of the local coordinate system in the world coordinate system. When the rotation matrix Mm and the matrix Mt are expressed by Expression 2, three row vectors (m ₁₁ , M ₁₂ , M _Thirteen ), (M ₂₁ , M ₂₂ , M ₂₃ ) And (m ₃₁ , M ₃₂ , M ₃₃ ) Are all 1 and the inner product of any two of the three row vectors is zero.
[0023]
(Equation 2)

[0024]
Here, assuming that both the size of the background image 6 in the horizontal direction and the vertical direction (that is, the width in the α direction and the β direction in FIG. 1) are 2, the point (α, β, γ) in the world coordinate system is The point (a, b) projected on the background image 6 (that is, the point (a, b) projected on the αβ plane) is represented by Expression 3. Θ in Expression 3 is the angle of view of the virtual camera 3. Note that the length of the line segment arranged at the center of the background image 6 may be 2, and the angle between both ends of the line segment and the virtual camera 3 may be θ.
[0025]
[Equation 3]

[0026]
As described above, in the camera model of FIG. 1, the point (a, b) where the point (X, Y, Z) in the local coordinate system is projected on the background image 6 is the rotation matrix Mm, the matrix Mt, and the angle of view θ ( Hereinafter, these parameters are collectively referred to as “parameter group”.) Therefore, if the arrangement of the three-dimensional coordinate axis 4 of the local coordinate system and the angle of view θ that match the background image 6 are known, a group of parameters at that time is obtained, and the object in the three-dimensional space of the local coordinate system is converted to the two-dimensional background It is possible to display the image on the image 6 appropriately. In the camera model of FIG. 1, when the angle of view θ of the virtual camera 3 is changed, the position of the viewpoint (that is, the position of the virtual camera 3) is set so that the entire background image 6 is projected by the virtual camera 3. Move along the γ-axis.
[0027]
FIG. 2 is a diagram illustrating a structure of a computer 1 that operates as an image display device according to one embodiment of the present invention. In the image display device implemented by the computer 1, for example, a three-dimensional image for cataloging interior goods (for example, furniture) is displayed on a background image of a room (a role as a so-called three-dimensional catalog). Will be fulfilled.). The various products in the three-dimensional catalog are three-dimensional objects that are virtual tangible objects (for example, a three-dimensional image represented by a three-dimensional set of minute elements, a colored three-dimensional surface model, and the like) in the computer 1. Will be handled.
[0028]
The computer 1 has a general computer system configuration in which a CPU 11 for performing various arithmetic processes, a ROM 12 for storing basic programs, and a RAM 13 for storing various information are connected to a bus line. The bus line further includes a fixed disk 14 for storing information, a display 15 for displaying various information such as images, a keyboard 16a and a mouse 16b for receiving input from an operator (hereinafter, collectively referred to as an "input unit 16"). ), A reading device 17 for reading information from a computer-readable recording medium 9 such as an optical disk, a magnetic disk, and a magneto-optical disk, and a communication unit 18 connected to a communication network such as the Internet. / F).
[0029]
In the computer 1, a program 80, a three-dimensional object database 81, and a background image database 82 read from the recording medium 9 via the reader 17 in advance are stored on the fixed disk 14. Then, the program 80 is copied to the RAM 13 and the CPU 11 executes the arithmetic processing according to the program 80 in the RAM 13 (that is, the computer executes the program), so that the computer 1 operates as the image display device. Do. When the program 80 is an applet or the like (for example, an applet in the Java (registered trademark) language) distributed from another computer on the Internet and executed via the communication unit 18, the program 80 is executed by the computer 1. Is converted into an executable program, and the computer 1 operates as an image display device according to the converted program.
[0030]
Here, the three-dimensional object database 81 is a set of data of three-dimensional objects that are various products in a three-dimensional catalog. The background image database 82 is a set of two-dimensional background images obtained by photographing a room, and includes data of a plurality of background images indicating various rooms.
[0031]
FIG. 3 is a block diagram showing a functional configuration as an image display device realized by the CPU 11, the ROM 12, the RAM 13, the fixed disk 14, and the like when the CPU 11 operates according to the program 80. The functions realized by the above are shown. Note that the function of the arithmetic unit 2 may be realized by a dedicated electric circuit, or an electric circuit may be partially used.
[0032]
FIG. 4 is a diagram illustrating a flow of a process in which the computer 1 displays a three-dimensional object superimposed on a background image. Hereinafter, the function and operation of the computer 1 will be described with reference to FIGS.
[0033]
First, a background image is selected by the operator performing input through the input unit 16 (step S11). For example, in the window 7 on the display 15 illustrated in FIG. 5, when the operator selects a desired background image from the background image selection unit 71, the data of the selected background image is stored in the background image database 82 of the fixed disk 14. Is output to the superposition unit 21 of the calculation unit 2, and the background image 6 is displayed on the main display unit 72 on the window 7.
[0034]
Subsequently, the computer 1 performs a process of setting a three-dimensional coordinate axis and a viewpoint on the background image 6 (step S12). That is, in step S12, in the camera model of FIG. 1, a process of setting the three-dimensional coordinate axis 4 of the local coordinate system so as to match the background image 6 is performed, and a parameter group at that time is obtained. Note that the process of step S12 will be described in detail after the description of the process of displaying a three-dimensional object.
[0035]
FIG. 6 is a diagram illustrating the background image 6 in which the three-dimensional coordinate axes and the viewpoint are set, and is an image displayed by selecting the viewpoint change mode from the operation mode selection unit 73 on the window 7. In FIG. 6, in a three-dimensional space of the local coordinate system, a grid pattern (also referred to as a grid) drawn on a plane defined by two coordinate axes of the three-dimensional coordinate axes 4 is superimposed on the background image 6 and displayed. Accordingly, the operator can confirm that the three-dimensional coordinate axes and the viewpoint have been appropriately set in step S12.
[0036]
When the three-dimensional coordinate axis and the viewpoint are set, the selected product is indicated by receiving a selection of a desired product by the operator from the three-dimensional object selection unit 74 in the lower right part of the window 7 (step S13). The three-dimensional object is displayed on the three-dimensional object preview unit 75. Then, the operator performs an operation of moving the displayed three-dimensional object from the three-dimensional object preview unit 75 onto the background image 6 (for example, a drag-and-drop operation using the mouse 16b). The data of the three-dimensional object of the product selected from the three-dimensional object database 81 is output to the superposition unit 21.
[0037]
The superposition unit 21 arranges the three-dimensional object of the product at a predetermined position in the three-dimensional space of the local coordinate system, and sets the background image 6 and the three-dimensional object in the three-dimensional space based on the set three-dimensional coordinate axis and the viewpoint. A process of superimposing the three-dimensional object on the three-dimensional object (that is, a process of projecting the three-dimensional object on the background image 6 using the set three-dimensional coordinate axes and the parameters obtained for the viewpoint) is performed (step S14). Then, the superimposed image is displayed on the display 15 (step S15). In the computer 1, a plurality of three-dimensional objects 76 in a three-dimensional space are displayed on the background image 6 as shown in FIG. 7 by repeatedly performing steps S13 to S15.
[0038]
In the computer 1, the three-dimensional object 76 is moved or rotated in the three-dimensional space of the local coordinate system by the operation of the operator, and the moved or rotated three-dimensional object 76 is superimposed on the background image 6 and displayed. Alternatively, it is possible to change the scale of the three-dimensional coordinate axis 4 of the local coordinate system and change the size of all displayed three-dimensional objects 76.
[0039]
Next, a process of setting a three-dimensional coordinate axis and a viewpoint will be described. FIG. 8 is a diagram showing a flow of a process for setting a three-dimensional coordinate axis and a viewpoint, which is a process performed in step S12 of FIG.
[0040]
When the background image 6 is selected in step S11, the data of the background image 6 is also output from the background image database 82 of the fixed disk 14 to the line segment extraction unit 22. A plurality of line segments are extracted (step S21). Specifically, first, the outline (that is, edge) of the object in the image is detected from the background image 6 displayed on the main display unit 72 in FIG. 5, and an edge image 6a as shown in FIG. 9 is generated. You. FIG. 9 shows only an image displayed on the main display unit 72.
[0041]
Then, by performing a Hough transform known as a method of detecting a straight line on the edge image 6a in FIG. 9, a plurality of line segments included in the background image 6 (hereinafter, referred to as “Hough”) as shown in FIG. 64) is extracted. However, the extraction line segment 64 is extended to the outer edge of the background image 6 as necessary. In FIG. 10, a plurality of extracted line segments 64 are indicated by broken lines. The extraction of the line segment may be performed by another method.
[0042]
Subsequently, the computer 1 performs a process of semi-automatically detecting a boundary line (steps S22 and S23). Here, in the background image 6, an area (hereinafter, referred to as a "window-side area") 61 indicating a wall surface having the window 61a, an area indicating the other wall surface (hereinafter, referred to as a "wall surface area") 62, and a rectangle. (Hereinafter, referred to as a “floor area”) 63 that reflects the floor surface (hereinafter, referred to as “floor area”) on which the plate materials are laminated, and the boundary detected in step S23 is the window side area 61. A boundary line between the wall surface region 62, a boundary line between the wall surface region 62 and the floor surface region 63, and a boundary line between the floor surface region 63 and the window side region 61.
[0043]
FIG. 11 is a diagram showing a flow of processing for detecting a boundary line, and shows the processing performed in step S23. At the time of the boundary line detection processing, the three-dimensional coordinate axis 4 (or a grid of coordinate axes) of the local coordinate system in the camera model described above is displayed on the background image 6 as shown in FIG. The three-dimensional coordinate axis 4 displayed at this stage is used for setting a temporary boundary line in the boundary line detection processing.
[0044]
In the boundary line detection process, the process of moving or rotating the three-dimensional coordinate axis 4 or the process of changing the angle of view θ of the virtual camera 3 (that is, the process of changing the viewpoint) in the camera model of FIG. The image is superimposed on the three-dimensional coordinate axis 4 and the background image 6 after the movement or rotation or the viewpoint has been changed by the user 21.
[0045]
The operator operates the mouse 16b or the like to set the X axis of the three-dimensional coordinate axis 4 at the boundary between the floor area 63 and the window area 61 in the background image 6, and the Y axis between the window area 61 and the wall area 62. The three-dimensional coordinate axis 4 is set so that the Z axis is approximately along the boundary between the wall surface region 62 and the floor surface region 63 at the boundary between them (step S231). As a result, as shown in FIG. 13, each coordinate axis of the three-dimensional coordinate axis 4 projected on the background image 6 indicates a temporary boundary line substantially along the boundary between the regions 61 to 63. Hereinafter, in the boundary line detection processing, the three-dimensional coordinate axis 4 projected on the background image 6 is referred to as a temporary boundary line group 4.
[0046]
Subsequently, the computer 1 specifies three line segments corresponding to each of the temporary boundary line groups 4 from the set of line segments 64 extracted in step S21 (step S232). FIG. 14 is a diagram for explaining how three line segments are specified. In the temporary boundary line group 4, one temporary boundary line 41 corresponding to the X axis (however, up to the outer edge of the background image 6) And only two of the plurality of extracted line segments 64 (the two line segments 64 are also extended as needed to the outer edge of the background image 6). (See FIG. 10).
[0047]
When specifying three line segments, a polygon formed by connecting both end points of each extracted line segment 64 and both end points of the provisional boundary line 41 (that is, hatched parallel oblique lines in FIG. 14). (A square indicated by a circle) is calculated by the boundary line specifying unit 23. At this time, both end points of the temporary boundary line 41 are defined at intersections with the outer edge of the background image 6.
[0048]
The boundary line identification unit 23 calculates the area of a polygon formed by combining each of the boundary lines of the temporary boundary line group 4 with each of the plurality of extracted line segments 64, and calculates the polygonal shape of each temporary boundary line. The extracted line segment 64 constituting the combination having the smallest area is specified as the corresponding line segment. Note that the line segment corresponding to the temporary boundary line may be obtained by another method (for example, a method of obtaining the line segment based on the distance between the end points of the temporary boundary line and the extracted line segment 64). By calculating the area of the polygon as described above, it is possible to easily and appropriately specify the corresponding line segment.
[0049]
FIG. 15 is a diagram showing the specified

extraction line segments

641, 642, 643 by dashed lines, and each of the extraction line segments 641 to 643 represents the X axis, Y axis, and Z axis of the temporary boundary line group 4. It corresponds to.
[0050]
When the three extracted line segments 641 to 643 are specified, the intersection point calculation unit 24 obtains the intersection point of the two line segments that are the boundary lines of the floor area 63 (step S233). That is, in the background image 6 of FIG. 15, the extraction line segment 641 is a boundary line between the floor area 63 and the window side area 61, and the extraction line segment 643 is a boundary line between the floor area 63 and the wall area 62. An intersection 644 between the boundary 641 and the boundary 643 is determined. Then, the remaining one extracted line segment 642 is translated so as to pass through the intersection point 644 (step S234), and a new line segment 645 after the parallel translation indicated by a two-dot chain line in FIG. Is determined as a boundary line between the wall area 62 and the wall area 62. When the three extraction line segments 641 to 643 intersect at one point, the extraction line segment 642 is determined as the boundary between the window-side region 61 and the wall surface region 62, and the processing in step S234 is omitted. You.
[0051]
As described above, in the boundary line detection processing, the operator only sets the temporary boundary line group 4 (so-called semi-automatically), and easily forms the three

boundary lines

641, 643, and 645 from the set of the extracted line segments 64. In particular, in the background image indicating the room, one of the three boundary lines other than the two boundary lines corresponding to the boundary of the floor area 63 is appropriately specified. be able to.
[0052]
The boundary detection process may be set by an operation of the operator (that is, manually). When the operator manually detects the boundary (step S22 in FIG. 8), for example, The user operates the mouse 16 b or the like to specify two points on the background image 6, thereby setting each boundary line, or extracting a plurality of extracted line segments 64 displayed on the background image 6 from each of the regions 61 to 63. A boundary line is set by, for example, directly selecting the extraction line segment 64 corresponding to the boundary (step S24). Further, the processing of steps S233 and S234 of FIG. 11 may be automatically performed on the selected extracted line segment 64.
[0053]
Here, in the camera model, the set

boundary lines

641, 643, and 645 can be considered to be obtained by projecting the three-dimensional coordinate axis 4 of the local coordinate system onto the background image 6, and in this case, the three-dimensional The origin of the coordinate axis 4 may be located at any position as long as it is on a line connecting the viewpoint 3 and the point 644 on the background image 6. Therefore, here, for convenience of explanation, it is assumed that a camera model in which the origin of the three-dimensional coordinate axis 4 of the local coordinate system is arranged at a point 644 on the background image 6 as shown in FIG. May be another point on the line segment connecting the viewpoint 3 and the point 644 on the background image 6), whereby the origin position of the local coordinate system in the world coordinate system (that is, Is determined, and the arrangement of each coordinate axis of the three-dimensional coordinate axis 4 is restricted.
[0054]
For example, in the camera model of FIG. 16, considering an X-axis base vector starting from the origin 644 on the background image 6, in order for the X-axis base vector to be projected on the boundary 641 on the background image 6, The end point of the X-axis base vector needs to exist in a region 51 (a region indicated by parallel oblique lines in FIG. 16) connected by the viewpoint 3, one end point 646 of the boundary 641, and the origin 644.
[0055]
FIG. 17 is a diagram showing an area 51 in which the X-axis base vector exists. In the combination determination unit 25, a plurality of base vectors each directed from the origin 644 to a plurality of points that equally divide a line segment connecting the viewpoint 3 and the end point 646 are generated, and one view angle θ (that is, one viewpoint 3) is generated. (Candidate positions of the X-axis basis vectors) are treated as candidates for the X-axis basis vector. Similarly, for the Y-axis basis vector and the Z-axis basis vector, a plurality of basis vector candidates at one angle of view θ are generated. Note that a plurality of base vector candidates at one view angle θ may be generated by another method (for example, the angle between the base vector and the boundary line 641 is changed in a plurality of ways).
[0056]
The combination determination unit 25 further changes the angle of view θ in a plurality of ways (that is, changes the arrangement of the viewpoints 3 in a plurality of ways). A basis vector and a candidate for the Z-axis basis vector are generated. Then, in each of the plurality of arrangements of viewpoints 3, by combining the candidate of the X-axis basis vector, the candidate of the Y-axis basis vector, and the candidate of the Z-axis basis vector, one X-axis basis vector, Y-axis basis A plurality of data sets in which the vector, the Z-axis base vector, and the arrangement of one viewpoint are one data set are generated.
[0057]
Subsequently, the combination determination unit 25 selects a data set in which three base vectors included in each of the plurality of data sets are approximately orthogonal to each other. Specifically, the X-axis base vector of the local coordinate system in the world coordinate system is represented by V _X , Y-axis basis vector to V _Y , Z-axis basis vector as V _Z Then, the X-axis base vector V _X And the Y-axis basis vector V _Y Product with Y axis base vector V _Y And the Z-axis basis vector V _Z And the Z-axis basis vector V _Z And the X-axis basis vector V _X Evaluation value f which is the sum of the inner product of ₁ Is obtained as shown in Expression 4.
[0058]
(Equation 4)

[0059]
And the evaluation value f ₁ Is determined as a data set in which the three base vectors are substantially orthogonal to each other, and is output to the evaluation value calculation unit 26 as a combination of the three-dimensional coordinate axes and the viewpoint placement evaluation target. (Step S25).
[0060]
Here, in general, on the wall surface or floor surface in an actual room, there are many elements of line segments that are horizontal or vertical on each surface, such as a window frame or a plate material of the floor surface or a frame decorated on the wall surface. Often contains.
[0061]
Therefore, in the evaluation value calculation unit 26, in each of the plurality of input combinations (that is, the data set to be evaluated), the base vector V _X , V _Y , V _Z 18, an XY plane, a YZ plane, and a ZX plane of a local coordinate system determined by two coordinate axes of the X axis, the Y axis, and the Z axis respectively corresponding to FIG. Then, the plurality of line segments 64 extracted in step S21 are projected on each plane of the local coordinate system. At this time, each plane passes through the corresponding area on the background image 6 (that is, the window side area 61 for the XY plane, the wall area 62 for the YZ plane, and the floor area 63 for the ZX plane (see FIG. 16)). Only a set of extracted line segments 64 will be projected. FIG. 19 is a diagram illustrating an XY plane on which two extraction line segments 64 on the background image 6 are projected, and illustrates only two projected extraction line segments 640.
[0062]
The evaluation value calculation unit 26 calculates, as an evaluation value, the number of sets of the extracted line segments 64 that are substantially parallel or perpendicular to each other from the plurality of projected extracted line segments 640 in each plane (step S26). For example, among the extracted line segments 640 projected on the XY plane, the number g of sets of the extracted line segments 640 that are approximately parallel or vertical. _XY Is obtained by Expression 5.
[0063]
(Equation 5)

[0064]
Where k _p , K _q Is the extracted line segment 640 projected on the XY plane of the local coordinate system, and n is the number of the projected extracted line segment 640. Also, t (k _p , K _q ) Is the extraction line segment k _p And extraction line segment k _q And λ is a predetermined threshold value for determining whether or not the two line segments are approximately parallel or perpendicular.
[0065]
In the evaluation value calculation unit 26, the number of sets g is similarly set for the YZ plane and the ZX plane of the local coordinate system. _YZ , G _ZX Is obtained, and the sum of the number of sets in all the planes is an evaluation value f as shown in Expression 6. ₂ Is required.
[0066]
(Equation 6)

[0067]
Evaluation value f ₂ Is obtained for each of the plurality of combinations to be evaluated and output to the comparing unit 27, where the evaluation value f ₂ The combination that maximizes is specified. The data set of the specified combination is output to the superposition unit 21, and the three-dimensional coordinate axis and the viewpoint related to the combination are set as the three-dimensional coordinate axis 4 and the viewpoint 3 (or the angle of view θ) of the local coordinate system (step S27), the parameter group at that time is specified. As a result, the three-dimensional object arranged in the three-dimensional space defined by the local coordinate system as described above is appropriately superimposed on the background image 6 and displayed.
[0068]
As described above, in the computer 1, for each of the plurality of combinations of the three-dimensional coordinate axis and the viewpoint arrangement determined based on the three boundary lines set on the background image 6, the two coordinate axes included in the combination are used. A plurality of line segments 64 extracted from the background image 6 are projected on the determined surface. Then, an evaluation value relating to the number of pairs of approximately parallel or vertical line segments among the plurality of projected line segments is obtained, and the three-dimensional coordinate axes and the viewpoint related to one combination selected based on the evaluation value are set to the background image. 6 is set. Thereby, the computer 1 can easily set the three-dimensional coordinate axes and the viewpoint corresponding to the background image 6, and can appropriately display the three-dimensional object in the three-dimensional space on the background image 6. . As a result, the operator can visually grasp the harmony between the product and the room shown in the background image 6.
[0069]
Further, in the computer 1, the combination determination unit 25 selects a data set in which the three basis vectors are substantially orthogonal to each other and outputs the data set to the evaluation value calculation unit 26. Therefore, the amount of calculation processing in the evaluation value calculation unit 26 is reduced. A combination of a three-dimensional coordinate axis and a viewpoint corresponding to the background image can be specified and set in a short time.
[0070]
In the computer 1, an operation of moving or rotating the three-dimensional coordinate axis 4 set by the operator or an operation of changing the angle of view θ is performed as needed, and the set three-dimensional coordinate axis and viewpoint are adjusted. May be done.
[0071]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications are possible.
[0072]
Evaluation value f ₂ Is not necessarily related to the number of sets of lines that are approximately parallel or perpendicular among the plurality of projected lines, and if it is related to the degree of parallel or perpendicular between the projected lines, Anything may be used.
[0073]
The background image data may be prepared in advance by the operator. Thereby, for example, it is also possible to arrange a three-dimensional object in an image of the room of the operator. The background image data does not necessarily need to be an image of the interior of a room, but may be an image of the exterior of a building in a three-dimensional catalog of exterior products or the like.
[0074]
The computer 1 is particularly suitable for displaying a three-dimensional catalog in order to efficiently and appropriately display the three-dimensional object on the background image. However, if the computer 1 displays the three-dimensional object over the background image, another method is used. It may be used for applications.
[0075]
The function as the image display device may be realized by another device having a function similar to a computer (for example, a portable information terminal or the like).
[0076]
【The invention's effect】
According to the present invention, a three-dimensional coordinate axis and a viewpoint corresponding to a background image can be easily set, and an object in a three-dimensional space can be appropriately superimposed and displayed on the background image.
[0077]
According to the invention of claim 4, the three-dimensional coordinate axes and the viewpoint corresponding to the background image can be set in a short time.
[0078]
According to the invention of claim 6, three boundary lines can be easily specified. According to the invention of claim 7, two boundary lines corresponding to the floor boundary among the three boundary lines of the background image indicating the room. The remaining one boundary line other than the line can be appropriately specified.
[Brief description of the drawings]
FIG. 1 is a diagram showing a camera model.
FIG. 2 is a diagram illustrating a structure of a computer.
FIG. 3 is a block diagram illustrating a functional configuration of a computer.
FIG. 4 is a diagram showing a flow of processing for displaying a three-dimensional object superimposed on a background image.
FIG. 5 is a diagram illustrating a window.
FIG. 6 is a diagram illustrating a window in which a three-dimensional coordinate axis and a viewpoint are set.
FIG. 7 is a diagram illustrating a window in which a three-dimensional object is arranged.
FIG. 8 is a diagram showing a flow of processing for setting a three-dimensional coordinate axis and a viewpoint.
FIG. 9 is a diagram showing an edge image.
FIG. 10 is a diagram showing a background image from which a plurality of line segments are extracted.
FIG. 11 is a diagram showing a flow of processing for detecting a boundary line.
FIG. 12 is a diagram illustrating a background image on which three-dimensional coordinate axes are displayed.
FIG. 13 is a diagram illustrating a background image on which a temporary boundary line is set.
FIG. 14 is a diagram for explaining how three line segments are specified.
FIG. 15 is a diagram illustrating a background image on which a boundary is set.
FIG. 16 is a diagram illustrating a camera model in which the origin of a local coordinate system is arranged on a background image.
FIG. 17 is a diagram showing an area where an X-axis basis vector exists.
FIG. 18 is a diagram illustrating a camera model in which a plane of a local coordinate system is assumed.
FIG. 19 is a diagram showing an XY plane on which an extracted line segment is projected.
[Explanation of symbols]
1 computer
2 Operation part
3 Virtual camera
4 3D coordinate axes
6 Background image
14 fixed disk
15 Display
16 Input section
41 Temporary border
61-63 area
64,640,642 line segments
76 3D object
80 programs
81 3D Object Database
82 Background Image Database
641, 643, 645 borderline
644,646 points
S11 to S15, S21 to S27, S231 to S234 Step

Claims

２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示装置であって、
背景画像のデータおよび３次元空間内のオブジェクトのデータを記憶する記憶部と、
前記背景画像に対して３次元座標軸および視点を設定し、前記３次元座標軸および前記視点を基準として前記背景画像に前記オブジェクトを重ね合わせる演算部と、
重ね合わされた画像を表示する表示部と、
を備え、
前記演算部が、
前記背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる前記３次元座標軸および前記視点として設定する工程と、
を実行することを特徴とする画像表示装置。An image display device for superimposing and displaying an object in a three-dimensional space defined by three-dimensional coordinate axes on a two-dimensional background image,
A storage unit for storing data of a background image and data of an object in a three-dimensional space;
An arithmetic unit configured to set a three-dimensional coordinate axis and a viewpoint with respect to the background image, and to superimpose the object on the background image based on the three-dimensional coordinate axis and the viewpoint;
A display unit for displaying the superimposed images,
With
The arithmetic unit is
Determining a plurality of combinations of three-dimensional coordinate axes and viewpoint arrangements with respect to the background image based on the three boundary lines set on the background image;
Projecting a plurality of line segments extracted from the background image on a surface determined by two coordinate axes included in each of the plurality of combinations, and evaluating an evaluation value regarding the degree of parallel or vertical between the plurality of projected line segments. The process you want,
Setting one of the plurality of combinations as the three-dimensional coordinate axis and the viewpoint to be a reference for superimposition based on the evaluation value;
An image display device characterized by performing:

請求項１に記載の画像表示装置であって、
前記演算部が、前記評価値を求める工程において投影される前記複数の線分を含む線分の集合を前記背景画像から抽出する工程をさらに実行することを特徴とする画像表示装置。The image display device according to claim 1,
The image display device, wherein the calculation unit further executes a step of extracting a set of line segments including the plurality of line segments projected in the step of obtaining the evaluation value from the background image.

請求項２に記載の画像表示装置であって、
操作者からの入力を受け付ける入力部をさらに備え、
前記演算部が、操作者による入力に基づいて前記線分の集合から前記３つの境界線を設定する工程をさらに実行することを特徴とする画像表示装置。The image display device according to claim 2, wherein
An input unit for receiving input from an operator is further provided,
The image display device, wherein the calculation unit further executes a step of setting the three boundary lines from the set of line segments based on an input by an operator.

請求項１ないし３のいずれかに記載の画像表示装置であって、
前記複数の組み合わせを決定する工程が、３次元座標軸の候補のうち３つの座標軸が互いにおよそ直交するものを前記複数の組み合わせに含まれる３次元座標軸として決定することを特徴とする画像表示装置。The image display device according to claim 1, wherein:
The image display device, wherein the step of determining the plurality of combinations determines, among the candidates for the three-dimensional coordinate axes, one in which three coordinate axes are substantially orthogonal to each other, as the three-dimensional coordinate axes included in the plurality of combinations.

請求項１ないし４のいずれかに記載の画像表示装置であって、
前記評価値が、前記投影された複数の線分のうちおよそ平行または垂直となる線分の組数であることを特徴とする画像表示装置。The image display device according to claim 1, wherein:
The image display device, wherein the evaluation value is the number of sets of approximately parallel or vertical line segments among the plurality of projected line segments.

請求項３に記載の画像表示装置であって、
前記線分の集合に含まれる各線分が前記背景画像の外縁まで延長されており、
前記３つの境界線を設定する工程が、
操作者からの入力に基づいて前記背景画像上に３つの仮の境界線を設定する工程と、
各線分の両端点と各仮の境界線の両端点とを結ぶことにより形成される多角形の面積に基づいて前記３つの境界線を特定する工程と、
を有することを特徴とする画像表示装置。The image display device according to claim 3, wherein
Each line segment included in the set of line segments is extended to the outer edge of the background image,
Setting the three boundaries,
Setting three temporary boundaries on the background image based on input from an operator;
Identifying the three boundary lines based on the area of a polygon formed by connecting both end points of each line segment and both end points of each temporary boundary line;
An image display device comprising:

請求項６に記載の画像表示装置であって、
前記背景画像が室内を示す画像であり、
前記３つの境界線を特定する工程が、
前記多角形の面積が最も小さくなる３つの線分を特定する工程と、
前記３つの線分のうち、前記室内の床の境界に対応する２つの線分を２つの境界線として決定し、前記２つの境界線の交点を求める工程と、
残りの１つの線分を前記交点を通過する位置まで平行移動して残りの境界線として決定する工程と、
を有することを特徴とする画像表示装置。The image display device according to claim 6,
The background image is an image showing a room,
The step of identifying the three boundary lines includes:
Identifying three line segments where the area of the polygon is the smallest;
Determining two of the three line segments corresponding to the boundary of the floor in the room as two boundary lines, and determining an intersection of the two boundary lines;
Translating the remaining one line segment to a position passing through the intersection and determining the remaining line segment as a remaining boundary line;
An image display device comprising:

２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示する画像表示方法であって、
背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、
前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、
重ね合わされた画像を表示する工程と、
を有することを特徴とする画像表示方法。An image display method for superimposing and displaying an object in a three-dimensional space defined by three-dimensional coordinate axes on a two-dimensional background image,
Determining a plurality of combinations of the arrangement of a three-dimensional coordinate axis and a viewpoint with respect to the background image based on three boundary lines set on the background image;
Projecting a plurality of line segments extracted from the background image on a surface determined by two coordinate axes included in each of the plurality of combinations, and evaluating an evaluation value regarding the degree of parallel or vertical between the plurality of projected line segments. The process you want,
Setting one of the plurality of combinations as a three-dimensional coordinate axis and a viewpoint to be a reference for superimposition based on the evaluation value;
Superimposing an object in a three-dimensional space on the background image based on the three-dimensional coordinate axis and the viewpoint;
Displaying the superimposed image;
An image display method comprising:

コンピュータに２次元の背景画像上に３次元座標軸にて規定される３次元空間内のオブジェクトを重ねて表示させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
背景画像上に設定された３つの境界線に基づいて前記背景画像に対する３次元座標軸および視点の配置の複数の組み合わせを決定する工程と、
前記複数の組み合わせのそれぞれに含まれる２つの座標軸により決定される面に前記背景画像から抽出される複数の線分を投影し、投影された複数の線分間の平行または垂直の度合いに関する評価値を求める工程と、
前記評価値に基づいて前記複数の組み合わせのうちの一の組み合わせを重ね合わせの基準とされる３次元座標軸および視点として設定する工程と、
前記３次元座標軸および前記視点を基準として前記背景画像に３次元空間内のオブジェクトを重ね合わせる工程と、
重ね合わされた画像を表示する工程と、
を実行させることを特徴とするプログラム。A program for causing a computer to superimpose and display an object in a three-dimensional space defined by a three-dimensional coordinate axis on a two-dimensional background image.
Determining a plurality of combinations of the arrangement of a three-dimensional coordinate axis and a viewpoint with respect to the background image based on three boundary lines set on the background image;
Projecting a plurality of line segments extracted from the background image on a surface determined by two coordinate axes included in each of the plurality of combinations, and evaluating an evaluation value regarding the degree of parallel or vertical between the plurality of projected line segments. The process you want,
Setting one of the plurality of combinations as a three-dimensional coordinate axis and a viewpoint to be a reference for superimposition based on the evaluation value;
Superimposing an object in a three-dimensional space on the background image based on the three-dimensional coordinate axis and the viewpoint;
Displaying the superimposed image;
A program characterized by executing