JP4487188B2

JP4487188B2 - 情報処理装置および方法、プログラム、並びにナビゲーション装置

Info

Publication number: JP4487188B2
Application number: JP2004309460A
Authority: JP
Inventors: 泉浦野; 夏雄香田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-10-25
Filing date: 2004-10-25
Publication date: 2010-06-23
Anticipated expiration: 2024-10-25
Also published as: CN1766932A; JP2006120057A; EP1650712A3; US7420558B2; KR20060052131A; CN100346356C; KR101216693B1; EP1650712A2; US20060087507A1

Description

本発明は、情報処理装置および方法、プログラム、並びにナビゲーション装置に関し、特に、例えば、視点位置からの距離に応じて視野角が制御された３次元画像を提供することができるようにした情報処理装置および方法、プログラム、並びにナビゲーション装置に関する。

従来、例えば３次元空間の立体を平面に投影するなどし、３次元空間を立体的に表現した２次元の立体画像（３次元画像）がある。図１は、立体の３次元空間における座標情報を用いて、そのような３次元画像を生成する画像処理装置の構成例を示す図である。

図１において、画像処理装置１は、３次元オブジェクト入力部１１および３次元オブジェクト描画部１２により構成される。図１において、長方形は、画像処理装置１を構成する処理部を示し、角丸長方形は、それらの処理部に入力または出力されるデータを示している。

画像処理装置１は、例えば頂点の座標情報等により構成される、３次元空間の立体（オブジェクト）を表すデータである３次元オブジェクト２１を入力として受け付け、その３次元オブジェクト２１に基づいて、３次元画像２２を生成する画像処理装置である。

３次元オブジェクト入力部１１は、立体の構造を記述したデータ（３次元オブジェクト２１）を読み込み、その記述内容を３次元のオブジェクト階層を含むシーングラフに変換し、それを３次元オブジェクト描画部１２に供給する。

３次元オブジェクト描画部１２は、そのシーングラフに基づいて３次元画像を生成する。３次元オブジェクト描画部１２は、多角形検出部１３および多角形描画部１４により構成される。多角形検出部１３は、入力されたシーングラフの中から多角形を検出し、その情報を多角形描画部１４に供給する。多角形描画部１４は、供給された多角形の頂点を２次元投影面に投影し、３次元画像２２を描画し、その３次元画像２２を画像処理装置１の外部に出力する。

このような画像処理装置１による３次元画像処理の具体的な処理の流れは、図２のフローチャートのようになる。すなわち、ステップＳ１において、３次元オブジェクト入力部１１は、画像処理装置１の外部より供給される３次元オブジェクト２１を読み込み、それをシーングラフに変換し、それを３次元オブジェクト描画部１２の多角形検出部１３に供給する。多角形検出部１３は、ステップＳ２において、そのシーングラフから多角形を検出するための多角形検出処理を実行し、その検出結果を多角形描画部１４に供給する。ステップＳ３において、多角形描画部１４は、その検出結果に基づいて、シーングラフに未処理の多角形が存在するか否かを判定する。未処理の多角形が存在すると判定した場合、多角形描画部１４は、処理をステップＳ４に進め、シーングラフに基づいてその多角形を２次元投影面に描画する。ステップＳ４の処理を終了すると、多角形描画部１４は、処理をステップＳ２に戻し、次の多角形についてそれ以降の処理を繰り返す。

すなわち、３次元オブジェクト描画部１２の多角形検出部１３と多角形描画部１４はステップＳ２乃至ステップＳ４の処理を繰り返し、シーングラフに含まれる全ての多角形を２次元投影面に描画する（３次元画像２２を描画する）ように動作する。そして、ステップＳ３において、未処理の多角形が存在しないと判定した場合、多角形描画部１４は、描画した３次元画像２２を画像処理装置１の外部に出力し、３次元画像処理を終了する。

このように描画処理を利用して、移動体の現在位置から見た道路地図上における前方の道路の３次元画像を生成し、その３次元画像を用いて移動体の現在位置を案内する方法がある（例えば特許文献１参照）。図３の３次元画像３１は、このような方法を利用して生成した、例えば、所謂カーナビゲーションシステム等において利用される案内画像の１つであり、自動車の運転手の視界を表現した３次元画像である。この３次元画像３１は、ユーザである運転手が実際に見ている風景に近似するように描画された画像であり、この画像に重畳される道案内画像を、運転手が直感的に（容易に）理解することができるようにするための画像である。

このような３次元画像３１においては、遠近感を表現するために、視点からの距離に比例して物体が小さく表現される。すなわち、３次元空間において、視点からの距離が遠い物体ほど小さく描画されており、視点に近い物体ほど大きく描画されている。

つまり、図４Ａに示されるように、運転手（自動車）４１が、端４３Ａと端４３Ｂをはさんで向かい合うように並ぶ建造物４４−１乃至建造物４４−６の間の道路４３を矢印４２の方向に進む場合、３次元画像３１においては、図４Ｂに示されるように、運転手４１より遠い位置に存在する物体は小さく表現され、運転手４１に近づくほど大きく表現されるので、道路の端４３Ａおよび４３Ｂの間隔も運転手４１からの距離に比例して狭くなる。また、建造物４４−１乃至４４−６も、運転手４１からの距離に比例して小さく表現される。

ただし、このような遠近法が考慮された３次元画像においては、例えば広角歪等の歪が発生しやすい（例えば、特許文献２参照）。例えば、遠近法を利用して描画された３次元画像の場合、画像の周囲の部分（画像の端の部分）が引き伸ばされたようになってしまう（歪が生じてしまう）ことがあった。このような歪を抑制し、遠近法による作図を正確に行う為には、画像処理装置１は、３次元空間上における視点と物体の正しい位置を認識してその位置関係を正確に設定し、その設定を作図に利用する必要がある。例えば、視点から近い対象物体の３次元画像の方が視点から遠い対象物体の３次元画像よりも遠近感が強調される等、視点と対象物体との距離によって３次元画像の奥行き感が変化するが、このような設定が適切に行われていない場合、３次元画像上において対象物体が歪んでしまう。

特公平６−９００４１号公報特開２０００−１２２５２４号公報

しかしながら、画像処理装置１が、視点と対象物の位置関係を正確に設定し、３次元画像化する場合、生成された３次元画像においては、建造物４４−１乃至建造物４４−６の、運転手４１（視点）に対する角度は、運転手４１（視点）までの距離に関わらず、一定となってしまう。

つまり、例えば、図４Ｂに示されるように、３次元画像においては、建造物４４−１の道路４３（端４３Ａ）に向かう面４４−１−Ａ、建造物４４−２の道路４３（端４３Ａ）に向かう面４４−２−Ａ、建造物４４−３の道路４３（端４３Ａ）に向かう面４４−３−Ａ、建造物４４−４の道路４３（端４３Ｂ）に向かう面４４−４−Ａ、建造物４４−５の道路４３（端４３Ｂ）に向かう面４４−５−Ａ、および、建造物４４−６の道路４３（端４３Ｂ）に向かう面４４−６−Ａの各面は、その向きが面４４−１−Ａ乃至面４４−３−Ａと面４４−４−Ａ乃至面４４−６−Ａとで互いに異なるものの、運転手４１に対する角度、すなわち、図４Ｂの下側に対する角度が互いに等しくなるように描画される。

図４Ｂの場合、図４Ｂの下側からの投影図が、運転手４１（視点）から見た視界を示す３次元画像である。この３次元画像においては、建造物４４−１乃至４４−６の面４４−１−Ａ乃至面４４−６−Ａは、それぞれ、範囲４４−１−Ｂ乃至範囲４４−６−Ｂに描画される。つまり、この３次元画像において、面４４−１−Ａ乃至面４４−６−Ａは、いずれも図４Ｂの下側に対して９０度に近い大きな角度を有する部分であるので投影される範囲の広さが距離によって比較的変化しない。従って、３次元画像上において、面４４−１−Ａ乃至面４４−６−Ａの各面は、視点に近くなっても見え辛く表現される（描画範囲が狭い）。

これに対して、実際の視界の場合、運転手４１は、近くの建造物に対して視線を移動して合わせることができる（建造物の方向を向くことができる）ため、近距離の物体について、運転手４１は、図４Ｂの場合より多くの情報を得ることができる。例えば、遠くの位置（例えば、建造物４４−１や建造物４４−４の位置）では面４４−１−Ａや面４４−４−Ａが運転手４１の位置からほとんど見えなくても、近くの位置（例えば、建造物４４−３乃至建造物４４−６の位置）に近づくと、それらの方向に視線を移動させることにより、運転手４１は、これらの面（面４４−１−Ａおよび面４４−４−Ａ）をより詳細に観察することができる。すなわち、運転手４１は、視線の方向を移動させることにより、物体に対する観察の度合いを視点からの距離に応じて変化させることができる。

このように視点を必要に動かすことにより、運転手４１は、近距離の物体からより多くの情報を得ることができる。つまり、

通常、実際の世界においては、視点となる運転手４１にとって、距離が近い位置の情報ほど重要であり、遠くなるほどその重要度は低下する。

しかしながら、上述したように歪を発生させないように３次元画像３１を描画するので、画像処理装置１は、このような重要度に応じた表現を行うことができないという課題があった。つまり、画像処理装置１は、視点位置からの距離に応じてその視野角が制御された３次元画像を生成することができないという課題があった。

例えば、図４Ｂに示されるように、運転手４１の視線の方向は固定されてしまうので、通常のモニタのように人間の視界より狭い画面にこのような３次元画像３１が表示される場合、運転手４１は、実際の視界ほど、近くの物体の情報を得ることができない恐れがあった。

また、ユーザである運転手４１は、３次元画像３１において、実際の視界のように、近距離の物体に対して視界を広げる（視線を移動させる）ことができないため、３次元画像３１に表現される視界が狭く感じてしまう恐れがあった。

さらに、上述したように、カーナビゲーションシステムの案内画像にこの３次元画像３１を利用した場合、同様の理由から、ユーザである運転手４１に実際に見る視界と３次元画像３１の視界の範囲が異なるように感じさせてしまい、運転手４１が３次元画像３１を直感的に現実の風景と対応させることができず、案内画像の内容を容易に理解することができない場合があるという恐れがあった。

また、このような視界の狭さを補うために、広角レンズを用いた場合のような効果を適用し、広い角度の視界の画像を通常の視界に圧縮して表現する方法がある。このような方法を用いて生成された広角画像には、広い視野角の情報が全て表現されるが、そのために画像が歪んでしまっていた。これにより、広角画像は、ユーザである運転手４１が容易にその画像の内容を把握することができない恐れがあった。カーナビゲーションシステムの案内画像（小さい画面）に利用する場合、その問題は顕著になり、運転手４１がその広角画像を直感的に現実の風景と対応させることができず、案内画像の内容を容易に理解することができない恐れがあった。

以上のように、これまで３次元オブジェクトの描画においては、奥行きに関係なく遠近法により一定の視野角度で描画していたため、視点からの距離に応じてオブジェクトを任意に変形することが困難であるという課題があった。また、広角画像のようにオブジェクトを変形させた場合、画像が歪んでしまい、その視認性が低下してしまうという課題があった。

本発明は、このような状況に鑑みてなされたものであり、例えば、画像の視認性を低下させずにオブジェクトを変形させ、オブジェクトの位置関係などに応じて表現される情報量に偏りを生じさせ、視点位置からの距離に応じてその視野角が制御された３次元画像を生成することにより、ユーザにとってより見やすい３次元画像を提供することができるようにするためのものである。

本発明の情報処理装置は、３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成する情報処理装置であって、前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段とを備える。

前記頂点移動手段は、前記奥行き判定手段により前記頂点が前記目標点よりも遠くに位置すると判定された場合、前記頂点の投影位置を移動させずに前記平面に投影させることができる。

前記頂点移動手段は、前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、さらに、前記平面に表される前記視界における前記横方向と異なる他の方向の前記目標点から離れる向きにも、前記頂点の投影位置を移動させることができる。

前記頂点移動手段は、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差に正比例する移動量分、前記他の方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させることができる。

前記他の方向は、前記平面に表される前記視界における、前記横方向に垂直な縦方向であるようにすることができる。

本発明の情報処理方法は、３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成する情報処理装置の情報処理方法であって、前記情報処理装置の頂点検出手段が、前記３次元空間に存在する多角形の頂点を検出し、前記情報処理装置の位置検出手段が、検出された前記頂点の位置を検出し、前記情報処理装置の奥行き判定手段が、前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定し、前記情報処理装置の頂点移動手段が、前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させ、前記情報処理装置の描画手段が、前記頂点を前記平面に投影し、前記３次元画像を描画する。

本発明のプログラムは、３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成するコンピュータを、前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段として機能させる。

本発明のナビゲーション装置は、３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成し、経路案内を行うナビゲーション装置であって、前記ユーザの現在位置および進行方向を検出する位置情報検出手段と、前記位置情報検出手段による検出結果に基づいて、前記３次元空間で表される地図情報を取得する地図情報取得手段と、前記地図情報取得手段により取得された前記地図情報が示す前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段と、前記描画手段により描画された前記３次元画像を表示する表示手段とを備える。

本発明の情報処理装置および方法、並びにプログラムにおいては、３次元空間に存在する多角形の頂点が検出され、検出された頂点の位置が検出され、頂点の位置の検出結果に基づいて、視点からみて頂点が奥行き方向に目標点よりも遠くに位置するか否かが判定され、頂点が目標点よりも近くに位置すると判定された場合、視点から目標点までの奥行き方向の距離と視点から頂点までの奥行き方向の距離との差の２乗に比例する移動量分、平面に表される視界における横方向の目標点から離れる向きに、頂点の投影位置が移動され、頂点が平面に投影され、３次元画像が描画される。
本発明のナビゲーション装置においては、ユーザの現在位置および進行方向が検出され、その検出結果に基づいて、３次元空間で表される地図情報が取得され、取得された地図情報が示す３次元空間に存在する多角形の頂点が検出され、その検出された頂点の位置が検出され、頂点の位置の検出結果に基づいて、視点からみて頂点が奥行き方向に目標点よりも遠くに位置するか否かが判定され、頂点が目標点よりも近くに位置すると判定された場合、視点から目標点までの奥行き方向の距離と視点から頂点までの奥行き方向の距離との差の２乗に比例する移動量分、平面に表される視界における横方向の目標点から離れる向きに、頂点の投影位置が移動され、頂点が平面に投影され、３次元画像が描画され、その描画された３次元画像が表示される。

本発明によれば、例えば、視点位置からの距離に応じて視野角を制御することにより、ユーザにとってより見やすい３次元画像を提供することができる。

以下に、本発明の実施の形態について図面を参照して説明する。

図５は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。

図５において、画像処理装置１０１は、例えば、３次元空間の立体（オブジェクト）に関する情報に基づいて、そのオブジェクトを平面に投影した３次元画像を生成する画像処理装置である。画像処理装置１０１は、３次元オブジェクト入力部１１１および３次元オブジェクト描画部１１２により構成される。なお、図５において、長方形は、画像処理装置１０１を構成する処理部を示し、角丸長方形は、それらの処理部に入力または出力されるデータを示している。

画像処理装置１０１は、例えば頂点の座標情報等により構成される、３次元空間の立体（オブジェクト）を表すデータである３次元オブジェクト１３１を入力として受け付け、その３次元オブジェクト１３１に基づいて、３次元画像１３２を生成する画像処理装置である。

３次元オブジェクト入力部１１１は、立体の構造を記述したデータ（３次元オブジェクト１３１）を読み込み、その記述内容を３次元のオブジェクト階層を含むシーングラフに変換し、それを３次元オブジェクト描画部１１２に供給する。

３次元オブジェクト描画部１１２は、そのシーングラフに基づいて３次元画像１３２を生成する。３次元オブジェクト描画部１１２は、多角形検出部１２１、頂点検出部１２２、視線ベクトル位置関係検出部１２３、頂点奥行き判定部１２４、頂点移動部１２５、および多角形描画部１２６により構成される。

多角形検出部１２１は、入力されたシーングラフの中から多角形を検出し、その情報を頂点検出部１２２に供給する。頂点検出部１２２は、多角形検出部１２１において検出された多角形の頂点を検出し、その情報を視線ベクトル位置関係検出部１２３に供給する。視線ベクトル位置関係検出部１２３は、頂点検出部１２２において検出された各頂点の、立体空間における視点からの目標点の方向を示すベクトルである視線ベクトルを基準とする相対位置を求めることにより、各頂点と視線ベクトルとの位置関係を検出する。

図６は、視線ベクトルについて説明するための模式図である。図６に示されるように、平面に投影する３次元空間１４１には、３次元空間１４１を投影する位置および方向（範囲）を決定するために、視点１５１と目標点１５２が設定される。視点１５１はユーザの位置を示し、目標点１５２は、そのユーザの視界の中心となる位置と、投影画像の奥行き（立体度）を示す。すなわち、３次元画像は、ユーザが視点１５１において目標点１５２の方向を見たときの視界を表す画像であり、目標点１５２までの距離はその視界の奥行きを表している。例えば、画像処理装置１０１は、ユーザが遠くを見ない場合の視界を表す３次元画像を生成するとき、視点１５１と目標点１５２との距離を短く設定し、ユーザが遠くまで見る場合の視界を表す３次元画像を生成するとき、視点１５１と目標点１５２との距離を長く設定する。

図６に示されるように、この視点１５１から目標点１５２へ向かうベクトルを視線ベクトル１６１とし、視点１５１を含み視線ベクトル１６１に対して垂直な平面上において互いに垂直なベクトルをベクトル１６２およびベクトル１６３とする。つまり、視線ベクトル１６１は、視点１５１を基準とする目標点１５２の方向を示し、ベクトル１６２およびベクトル１６３は、その視線ベクトル１６１の垂直方向を示す。

図５の視線ベクトル位置関係検出部１２３は、この視線ベクトル１６１に対する各頂点の位置を検出する。つまり、視線ベクトル位置関係検出部１２３は、多角形を構成する各頂点に関して、図７に示されるように、視線ベクトル１６１への距離Ｕと、視線ベクトル１６１に垂直な横方向のベクトル１６２への距離Ｗを算出する。図５に戻り、視線ベクトル位置関係検出部１２３は、このように検出した各頂点の情報を頂点奥行き判定部１２４に供給する。

頂点奥行き判定部１２４は、視線ベクトル位置関係検出部１２３より供給された情報に基づいて、各頂点の視点１５１からの奥行きについて判定し、例えば、各頂点が目標点１５２より奥（遠く）に存在するか否かを判定し、その判定結果と頂点に関する情報を頂点移動部１２５に供給する。なお、この閾値となる奥行きの基準値は、どのような値であってもよく、目標点１５２の奥行きでなくてもよい。例えば、目標点１５２の奥行きの半分の距離であってもよいし、目標点１５２の奥行きの２倍の距離であってもよい。

頂点移動部１２５は、頂点奥行き判定部１２４の判定結果に基づいて、頂点の座標を補正し、頂点の位置を移動させる。図８は、頂点移動部１２５による頂点の位置を移動させる様子を説明する図である。

図８において、頂点１７１乃至頂点１７３は視点１５１から見て目標点１５２より手前（図８において点線１９１より下側）に存在する。従って、頂点移動部１２５は、これらの頂点１７１乃至頂点１７３を奥行き（目標点１５２までの視線ベクトル方向の距離）に応じた移動量で、視線ベクトル１６１に垂直な横方向のベクトル１６２の方向（図８中右方向）に移動させる。例えば、頂点移動部１２５は、視点１５１から目標点１５２までの距離から、各頂点の、視線ベクトル１６１に垂直なベクトル１６２までの距離Ｗを引いた値の２乗に比例するように移動量を決定する。図８において、四角１８１乃至四角１８３は、それぞれ、黒丸で示される頂点１７１乃至頂点１７３の移動後の点を示している。

また、図８において、頂点１７４および頂点１７５は視点１５１から見て目標点１５２より奥（図８において点線１９１より上側）に存在する。従って、頂点移動部１２５は、これらの頂点１７４および頂点１７５を移動させない。

さらに、図８において、頂点２０１乃至頂点２０３は、頂点１７１乃至頂点１７３と同様に、視点１５１から見て目標点１５２より手前（図８において点線１９１より下側）に存在する。しかしながら、頂点２０１乃至頂点２０３は、視線ベクトル１６１を挟んで頂点１７１乃至頂点１７３と反対側（図８において、視線ベクトル１６１の左側）に位置している。従って、頂点移動部１２５は、これらの頂点２０１乃至頂点２０３を奥行き（目標点１５２までの視線ベクトル方向の距離）に応じた移動量で、視線ベクトル１６１に垂直な横方向のベクトル１６２の逆方向（図８中左方向）に移動させる。図８において、四角２１１乃至四角２１３は、それぞれ、黒丸で示される頂点２０１乃至頂点２０３の移動後の点を示している。

なお、頂点の移動距離の決定方法は、視点１５１からの奥行きに基づくものであればどのような方法であっても良い。例えば、視点１５１からの奥行きが遠い頂点ほど移動距離が増すように制御しても良いし、目標点１５２より奥の頂点も移動させるようにしてもよい。

頂点移動部１２５は、このように頂点を移動させると、その移動後の頂点に関する情報を多角形描画部１２６に供給する。多角形描画部１２６は、供給された多角形の頂点（移動後の頂点）を２次元投影面に投影し、３次元画像１３２を描画し、その３次元画像１３２を画像処理装置１０１の外部に出力する。

なお、以上においては、頂点の横方向（ベクトル１６２の方向またはその逆方向）の移動についてのみ説明したが、画像処理装置１０１は、上述した横方向の場合と同様に、縦方向（ベクトル１６３の方向またはその逆方向）についても頂点を移動させる（座標を補正する）。ただし、頂点の横方向の移動と縦方向の移動は、互いに独立しているので、画像処理装置１０１は、頂点の横方向の移動量の決定方法と縦方向の移動量の決定方法とを互いに独立して設定することができる。つまり、画像処理装置１０１は、例えば、ある頂点の横方向の移動量を奥行きの２乗に比例するようにし、縦方向の移動量を奥行きに正比例するようにすることができる。このように、画像処理装置１０１は、頂点の、縦方向の移動量と横方向の移動量を任意に設定することができる。もちろん、画像処理装置１０１は、縦方向または横方向の一方にのみ頂点を移動させるようにすることもできる。

なお、移動の方向（補正の方向）は縦方向および横方向に限らず、視線ベクトルに対して、斜め方向、回転方向、奥行き方向等どのような方向であってもよい。また、各方向の補正を組み合わせ手用いるようにしてももちろんよい。

これにより、画像処理装置１０１は、３次元画像が、ユーザが容易に視認できなくなるほどの不要な歪を生じさせないように、投影画像における立体の頂点の位置を適切に補正し、ユーザがより見やすい画像を生成することができる。

このような画像処理装置１０１による３次元画像処理の具体的な処理の流れを、図９のフローチャートを参照して説明する。

３次元画像処理が開始されると、ステップＳ３１において、３次元オブジェクト入力部１１１は、画像処理装置１の外部より供給される３次元オブジェクト１３１を読み込み、そのファイルに記述された内容を３次元のオブジェクト階層を含むシーングラフに変換し、そのシーングラフを３次元オブジェクト描画部１１２の多角形検出部１２１に供給する。多角形検出部１２１は、ステップＳ３２において、そのシーングラフから多角形を検出するための多角形検出処理を実行し、その検出結果を頂点検出部１２２に供給する。

頂点検出部１２２は、ステップＳ３３において、多角形検出部１２１による検出結果に基づいて、未処理の多角形が存在するか否かを判定する。後述する頂点に関する処理が行われていない多角形が存在すると判定した場合、頂点検出部１２２は、処理をステップＳ３４に進め、その多角形を構成する頂点（多角形の頂点）を検出し、それを視線ベクトル位置関係検出部１２３に供給する。

視線ベクトル位置関係検出部１２３は、ステップＳ３５において、頂点検出部１２２が検出した頂点の内、未処理の頂点が存在するか否かを判定し、後述する頂点の移動に関する処理を行っていない未処理の頂点が存在すると判定した場合、処理をステップＳ３６に進め、視線ベクトル１６１に対する頂点の相対位置（図７のＵおよびＷ）を検出し、その相対位置に関する情報を頂点奥行き判定部１２４に供給する。

頂点奥行き判定部１２４は、ステップＳ３７において、視線ベクトル位置関係検出部１２３より供給された情報に基づいて、その頂点の奥行きが目標点１５２より遠いか否か等、頂点の奥行きに関する判定を行い、その判定結果と、座標等の頂点に関する情報を頂点移動部１２５に供給する。頂点移動部１２５は、ステップＳ３８において、供給された判定結果に応じて頂点の座標を補正し、頂点を移動させる。頂点を移動させると頂点移動部１２５は、その移動後の頂点に関する情報を多角形描画部１２６に供給した後、処理をステップＳ３５に戻し、それ以降の処理を繰り返させる。すなわち、３次元オブジェクト描画部１１２の各部は、ステップＳ３５乃至ステップＳ３８の処理を繰り返し、頂点検出部１２２が検出した全ての頂点について移動に関する処理を行う。

そして、ステップＳ３５において、未処理の頂点が存在しないと判定した場合、視線ベクトル位置関係検出部１２３は、処理をステップＳ３９に進める。ステップＳ３９において、多角形描画部１２６は、頂点移動部１２５より供給された情報に基づいて、移動後の頂点を用いて、それらの頂点が構成する多角形を描画する。多角形を描画すると多角形描画部１２６は、処理をステップＳ３２に戻し、次の多角形について、それ以降の処理を繰り返す。つまり、３次元オブジェクト描画部１１２の各部は、３次元空間の全ての立体の多角形を検出して処理するまで、ステップＳ３２乃至ステップＳ３９の処理を繰り返す。

そして、ステップＳ３３において、未処理の多角形が存在しないと判定した場合、頂点検出部１２２は、多角形描画部１２６に、描画した３次元画像を出力させ、３次元画像処理を終了する。

以上のように３次元画像処理を実行することにより、画像処理装置１０１は、投影画像における立体の頂点の位置を適切に補正し、ユーザがより見やすい３次元画像を生成することができる。

つまり、図１０Ａに示されるように、ユーザ２４１（自動車）が、端２４３Ａと端２４３Ｂをはさんで向かい合うように並ぶ建造物２４４−１乃至建造物２４４−６の間の道路２４３を矢印２４２の方向（図中上方向）に見ている（視線を向けている）場合、３次元画像においては、図１０Ｂに示されるように、ユーザ２４１より遠い位置に存在する建造物２４４−１および建造物２４４−４が小さく表現され、ユーザ２４１に近い位置に存在する建造物２４４−３乃至建造物２４４−６が大きく表現される。また、図１０Ａにおいて、互いに向かい合っていた建造物２４４−１乃至建造物２４４−６の道路２４３側の面２４４−１−Ａ乃至２４４−６−Ａは、３次元画像において、ユーザ２４１の方向に開くように補正される。すなわち、図１０Ｂに示されるように、面２４４−１−Ａ乃至面２４４−６−Ａの各面の、図１０Ｂの下側に対して投影される場合の描画範囲２４４−１−Ｂ乃至２４４−６−Ｂは、各面のユーザ２４１からの距離によって大きく変化する。

つまり、上述したように３次元空間における各多角形の頂点の移動量が視点からの距離に応じて異なるため、図１０Ｂに示されるように、ユーザ２４１から見て遠くに位置する面２４４−１−Ａと面２４４−４−Ａの図１０Ｂの下側に対する角度の補正量は比較的少ないが、ユーザ２４１から見て近くに位置する面２４４−３−Ａと面２４４−６−Ａの、図１０Ｂの下側に対する角度の補正量は比較的大きい。従って、面２４４−１−Ａ乃至面２４４−６−Ａの各面の描画範囲２４４−１−Ｂ乃至２４４−６−Ｂは、描画範囲２４４−３−Ｂおよび描画範囲２４４−６−Ｂ、描画範囲２４４−２−Ｂおよび描画範囲２４４−５−Ｂ、描画範囲２４４−１−Ｂおよび描画範囲２４４−４−Ｂの順番に広くなる。つまり、３次元画像においては、面２４４−３−Ａおよび面２４４−６−Ａ、面２４４−２−Ａおよび面２４４−５−Ａ、面２４４−１−Ａおよび面２４４−４−Ａの順番で見やすい画像として描画される（開いた状態で描画される）。

具体的な画像としては、図１１のようになされる。図１１の画像２５１は、図３の画像３１と同じ視界の３次元画像を示す図であり、図３の画像３１に描画された立体の頂点を移動させた後に描画された画像である。従って、図１１において、画像２５１は手前のビルと遠くのビルとで向きが変化し、近くのビルほど、道路を挟んで向かい合っていた横の面が、ユーザにとって見やすくなるように描画されている。また、この画像２５１は、近傍のオブジェクトに対する視界が広がる実際のユーザの視界の特性と類似しているので、ユーザが直感的に画像の内容を把握しやすくなる。

つまり、以上のような３次元画像生成の手法は様々な分野に適用可能であるが、例えば、カーナビゲーションシステムに用いるようにしてもよい。

図１２は、本発明を適用したカーナビゲーションシステムの構成例を示すブロック図である。図１２において、長方形は、カーナビゲーションシステム３００を構成する装置を示し、角丸長方形は、各装置に入力または出力されるデータを示している。

図１２に示されるように、カーナビゲーションシステム３００は、自動車を運転する運転手に対して道案内や現在地の通知を行うシステムであり、位置情報検出装置３０１、地図データベース３０２、画像処理装置３０３、および地図表示デバイス３０４により構成される。

位置情報検出装置３０１は、例えば、ユーザ等より入力されるルート指定３１１を受け付け、さらに地図データベース３０２を利用して現在地情報３１２を取得し、それらの情報を用いて、現在位置を検出し、その現在位置から視野情報３１３を生成し、それを画像処理装置３０３に供給する。

画像処理装置３０３は、画像処理装置１０１と同様の画像処理を行う装置であり、描画する立体の頂点を移動させて、画像を最適な形に変形させる処理を行うことができる。画像処理装置３０３は、位置情報検出装置３０１より視野情報を取得すると、地図データベース３０３より３次元地図情報３１４を取得し、それらの情報に基づいて３次元画像の出力画像３１５を生成し、地図表示デバイス３０４にそれを供給する。

地図表示デバイス３０４は、出力画像３１５に基づいて、地図を表示するための地図表示出力３１６をカーナビゲーションシステム３００の外部に出力する。

このようにすることにより、カーナビゲーションシステム３００は、立体の頂点が補正された画像を用いて、道案内や現在地表示を行うことができる。これにより、ユーザは、より実際の視界に近い３次元画像で道案内や現在地表示が行われるため、直感的に（より容易に）その画像の内容を把握することができる。

このようなカーナビゲーションシステム３００によるナビゲーション処理の具体的な流れを図１３のフローチャートを参照して説明する。

ナビゲーション処理を開始すると、位置情報検出装置３０１は、ステップＳ５１において、現在位置および進行方向を検出し、ステップＳ５２において、視野情報を生成し、それを画像処理装置３０３に供給する。画像処理装置３０３は、ステップＳ５３において、位置情報検出装置３０１より供給された視野情報に基づいて、地図データベース３０２より３次元で表される地図情報である３次元地図情報３１４を取得する。

３次元地図情報３１４を取得した画像処理装置３０３は、ステップＳ５４において、３次元画像処理を実行する。この３次元画像処理は、図９のフローチャートを参照して説明した３次元画像処理をサブフローとして実行する処理であり、その処理内容は図９のフローチャートと同様であるので、その説明を省略する。

ステップＳ５４において、３次元画像処理が実行され、出力画像３１５が生成され出力されると、ディスプレイ等よりなる地図表示デバイス３０４は、その出力画像３１５を取得し、ステップＳ５５において、その出力画像等に基づいて、出力用画像を生成し、ステップＳ５６において出力用画像を表示する。

出力用画像を表示すると、地図表示デバイス３０４は、ステップＳ５７に処理を進め、ナビゲーション処理を終了するか否かを判定し、ナビゲーション処理を継続し、終了しないと判定した場合、処理をステップＳ５１に戻し、それ以降の処理を繰り返す。そして、ステップＳ５７において、ナビゲーション処理を終了すると判定した場合、地図表示デバイス３０４は、処理をステップＳ５８に進め、終了処理を行った後、ナビゲーション処理を終了する。

以上のように、頂点を移動させる補正処理を含む画像処理を、カーナビゲーション処理に適応することにより、カーナビゲーションシステム３００は、立体の頂点が補正された画像を用いて、道案内や現在地表示を行うことができる。これにより、ユーザは、より近い物体が示す情報をより詳細に把握することができる。また、この画像は、より実際の視界に近い３次元画像構成されるため、直感的に（より容易に）その画像の内容を把握することができる。

つまり、従来の遠近法では、広角でオブジェクトを表示すると画像の上下の端部に近づくにつれて歪が生じるが、本発明の画像処理方法を３次元オブジェクトに施した場合、カーナビゲーションシステム３００は、歪なしに広い視野角でオブジェクトを表示することができ、ユーザが容易に視認可能な画像を提供することができるという効果を得る。

また、この方法を３次元オブジェクトに施すと、カーナビゲーションシステム３００は、目標点より遠いオブジェクトは小さく表示されるが、目標点より近いオブジェクトは大きく表示されるという効果がある。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図５の画像処理装置１０１は、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図１４において、パーソナルコンピュータ４００のCPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

従来の画像処理装置の構成例を示す図である。従来の３次元画像処理を説明するフローチャートである。従来の３次元画像の例を示す図である。従来の３次元画像の特徴の例を示す図である。本発明を適用した画像処理装置の構成例を示すブロック図である。３次元空間の例を説明する図である。視線ベクトルと頂点の関係を示す情報を説明する図である。頂点の移動の様子を説明する模式図である。３次元画像処理を説明するフローチャートである。３次元画像の特徴の例を示す図である。３次元画像の例を示す図である。本発明を適用したカーナビゲーションシステムの構成例を示す図である。ナビゲーション処理を説明するフローチャートである。本発明を適用したパーソナルコンピュータの例を示す図である。

符号の説明

１０１画像処理装置，１１１３次元オブジェクト入力部，１１２３次元オブジェクト描画部，１２１多角形検出部，１２２頂点検出部，１２３視線ベクトル位置関係検出部，１２４頂点奥行き判定部，１２５頂点移動部，１２６多角形描画部，１３１３次元オブジェクト，１３２３次元画像，１５１視点，１５２目標点，１６１視線ベクトル，３００カーナビゲーションシステム，３０１位置情報検出装置，３０２地図データベース，３０３画像処理装置，３０４地図表示デバイス，４００パーソナルコンピュータ

Claims

３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成する情報処理装置であって、
前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、
前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、
前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、
前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、
前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段と
を備える情報処理装置。
前記頂点移動手段は、前記奥行き判定手段により前記頂点が前記目標点よりも遠くに位置すると判定された場合、前記頂点の投影位置を移動させずに前記平面に投影させる
請求項１に記載の情報処理装置。
前記頂点移動手段は、前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、さらに、前記平面に表される前記視界における前記横方向と異なる他の方向の前記目標点から離れる向きにも、前記頂点の投影位置を移動させる
請求項１に記載の情報処理装置。
前記頂点移動手段は、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差に正比例する移動量分、前記他の方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる
請求項３に記載の情報処理装置。
前記他の方向は、前記平面に表される前記視界における、前記横方向に垂直な縦方向である
請求項３に記載の情報処理装置。
３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成する情報処理装置の情報処理方法であって、
前記情報処理装置の頂点検出手段が、前記３次元空間に存在する多角形の頂点を検出し、
前記情報処理装置の位置検出手段が、検出された前記頂点の位置を検出し、
前記情報処理装置の奥行き判定手段が、前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定し、
前記情報処理装置の頂点移動手段が、前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させ、
前記情報処理装置の描画手段が、前記頂点を前記平面に投影し、前記３次元画像を描画する
情報処理方法。
３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成するコンピュータを、
前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、
前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、
前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、
前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、
前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段
として機能させるためのプログラム。
３次元空間において視点から目標点を見たときの視界を表すように、前記３次元空間を、前記視点から前記目標点に向かう奥行き方向に対して垂直な平面に投影した３次元画像を生成し、経路案内を行うナビゲーション装置であって、
前記ユーザの現在位置および進行方向を検出する位置情報検出手段と、
前記位置情報検出手段による検出結果に基づいて、前記３次元空間で表される地図情報を取得する地図情報取得手段と、
前記地図情報取得手段により取得された前記地図情報が示す前記３次元空間に存在する多角形の頂点を検出する頂点検出手段と、
前記頂点検出手段により検出された前記頂点の位置を検出する位置検出手段と、
前記位置検出手段による前記頂点の位置の検出結果に基づいて、前記視点からみて前記頂点が前記奥行き方向に前記目標点よりも遠くに位置するか否かを判定する奥行き判定手段と、
前記奥行き判定手段により前記頂点が前記目標点よりも近くに位置すると判定された場合、前記視点から前記目標点までの前記奥行き方向の距離と前記視点から前記頂点までの前記奥行き方向の距離との差の２乗に比例する移動量分、前記平面に表される前記視界における横方向の前記目標点から離れる向きに、前記頂点の投影位置を移動させる頂点移動手段と、
前記頂点を前記平面に投影し、前記３次元画像を描画する描画手段と、
前記描画手段により描画された前記３次元画像を表示する表示手段と
を備えるナビゲーション装置。