JP2008145594A - 画像表示処理方法および画像表示装置 - Google Patents

Abstract

【課題】画像表示において処理負荷の重い背景の表示に３次元モデルを使用せずに視覚的な奥行き表現力を向上させる。
【解決手段】平面図画像を仮想的にプリミティブ２０の円筒面に貼り付け、この円筒面上の各画素を、円筒の中心軸に平行に配置された、表示画面２３に対応する平面上に投影するよう、平面図画像の座標を表示画面対応座標に変換する。平面図画像上に付加的に配置される物体（例えばマーカー）に対しては高さ情報を付加し、円筒面上の曲面に沿った方向の位置に応じて、変換後の当該湾曲方向に対応する方向の座標値を補正する。
【選択図】図１３

Description

本発明は、奥行きをもった背景の表示を簡易的に実現するための画像表示処理方法および画像表示装置に関する。

従来の２次元の平面図の表示、例えば地図などの表示では、その表示から奥行きが感じられない。

奥行きのある物体や風景を立体感や遠近感をもって表示する手法としては、３次元モデリングを用いたものが知られている。

特許文献１には、道路や建造物などを３次元的に表示する移動体ナビゲーション装置が開示されている。

特許文献２には、歩行者の周辺の地図を３次元的に描画して景観図として携帯端末に表示させる歩行者用ナビゲーションシステムが開示されている。
特開２０００−３２１９７４号公報 特開２００５−２４１３８６号公報

従来の３次元的な背景表示には、道路や建物等の位置データや形状及び高さ等の種々のデータを必要とし、その処理のためのリソースおよび負荷も過大なものとなる。

しかしながら、このような３次元的な背景表示は携帯電話端末のようなリソースや処理能力が限られた携帯端末においてはこのような表示処理方法は適さず、より簡易的でかつ奥行き感が得られる表示手法が望まれる。

本発明はこのような背景においてなされたものであり、画像表示において処理負荷の重い背景の表示に３次元モデルを使用せずに視覚的な奥行き表現力を向上させることを企図している。

本発明による画像表示処理方法および表示処理装置は、平面図画像を仮想的に円筒面に貼り付け、円筒の中心軸に平行に配置された、表示画面に対応する平面上に前記円筒面上の各画素を投影するよう、前記平面図画像の座標を表示画面対応座標に変換するステップと、変換後の座標により前記平面図画像を表示するステップとを備えたことを特徴とする。

これにより、円筒面上の各部分は視線に垂直に近い部分から湾曲していくにつれて、湾曲方向での隣接画素間隔が短くなり、画像が湾曲方向に縮小されたように見える。これによって、奥行き感が得られる。

前記平面図画像上に付加的に配置される物体に対して高さ情報を付加し、円筒面上の曲面に沿った方向の位置に応じて前記変換後の当該湾曲方向に対応する方向の座標値を補正するようにしてもよい。これにより、視線に垂直に近い部分から湾曲していくにつれて、平面画像の平面から浮き上がっているように見える。

本発明によれば次のような作用効果が得られる。
（１）平面図画像に比べて、奥行きによる視覚的な表現力の向上が図れる。また、視点の変更により上下方向に表示画像のスクロールを行う際、手前から奥へ、あるいはその逆に視界が流れるため、その効果がより明確になる。
（２）奥行き感は３次元モデルによる実現ではないため、必要なリソースおよび処理負荷が軽減される。すなわち、フル３次元モデルを使用する場合と比較し、基本的にプリミティブと平面図画像のビットマップのみを使用するため、モデルのデータ量を減少させるとともに、動作の高速化が実現できる。
（３）平面図画像上に、マーカーなどの付加情報を表現したい場合に、付加情報に高さ情報を用いて、変換後座標値を補正することにより、付加情報をより強調させることが可能である。その結果、付加情報の視認性が向上する。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。以下では、地図のようなスクロールの必要な平面的な画像を想定し、これを奥行き感をもって表示する手法について説明する。

図１に、携帯電話端末の概略的な内部構成例を示す。ここでは、リソースが限られ、処理能力も限られた携帯端末に本発明を適用した場合について説明するが、ＰＣなどへの適用を排除するものではない。

制御部１００は、ＣＰＵからなり、メモリ部１０５に記憶されているＯＳや各種プログラムに基づき、制御ライン１０５を介して、当該端末の様々な制御、本実施の形態にかかる表示処理時の制御等を行う。

通信アンテナ１０２は、例えば内蔵アンテナであり、通話やパケット通信のための信号電波の送受信を行う。通信回路１０１は、送受信信号の周波数変換、変調と復調等を行う。なお、パケット通信により送受信されるデータは、電子メールデータ、動画像や静止画の画像データ、音声データ、ＨＴＭＬ（Hyper Text Markup Language）データ、プログラムデータ、その他の各種データである。

音声処理部１１２は、通信アンテナ１０２および通信回路１０１から通話音声の受信データが供給されたときには、当該通話音声の受信データを復号化し、その復号化後の通話音声データをデータライン１０８を介してスピーカ１１０へ送る。

スピーカ１１０は、携帯電話端末に設けられている受話用のイヤレシーバやリンガ（着信音）、音楽再生、アラーム音出力用のスピーカであり、ディジタル／アナログ変換器と増幅器を含み、通話音声やリンガ音，再生音楽のデータを、ディジタル／アナログ変換および増幅した後、出力する。これにより、通話音声やリンガ音，再生音楽が得られることになる。

マイクロホン１１１は、送話用のマイクロホンであり、アナログ／ディジタル変換器と増幅器を含む。このマイクロホン１１１を介して入力された通話音声信号は、増幅器により所定のレベルに増幅された後、アナログ／ディジタル変換器によりディジタル音声データに変換され、データライン１０８を介して音声処理部１１２へ送られて符号化された後、データライン１０８を介して通信回路１０１へ送られて変調、周波数変換等の各種処理を受け、通信アンテナ１０２から送信される。

表示部１０３は、ＬＣＤ等からなるディスプレイとこれを駆動するためのディスプレイ駆動回路とからなる。ディスプレイ駆動回路は、画像処理部１１３から供給された画像信号に基づいて、ディスプレイを駆動する。これにより、ディスプレイには、画像や文字等が表示される。

画像処理部１１３は、表示部１０３に表示される画像の処理を行う。また、画像処理部１１３は、制御部１００による制御の下でメモリ部１０５から読み出された圧縮符号化されている画像データや、インターネット等を介して取得した画像データ等を伸張復号化等し、その伸張復号後の画像データをデータライン１０８を介して表示部１０３へ送って表示させる他、本実施の形態における後述する画像表示のための処理を行う。

操作部１０４は、本実施の形態の携帯電話端末の筐体上に設けられているキーボード等の操作デバイスと、この操作デバイスの操作に応じた操作信号を発生する操作信号発生器とからなる。

メモリ部１０５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＯＳ（Operating System）、制御部１００が各部を制御するための制御プログラムコード、各種の初期設定値、フォントデータ、仮名漢字変換や予測変換に用いられる辞書データ、着信音やキー操作音等の音データ、本実施の形態にかかる表示処理の制御プログラムコード、その他、当該端末に搭載される各種のアプリケーション用のプログラムコード、当該端末の機器識別情報（ＩＤ）などを記憶している。このＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、電話帳や電子メールアドレス帳のデータ、スケジュール帳のデータ、通信履歴等の様々なデータ、ユーザ辞書データ、静止画や動画データ、キー操作音等の音データ、その他、各種のユーザ設定値等を保存することも可能となされている。ＲＡＭは、制御部１００が各種のデータ処理を行う際の作業領域や一時データ記憶領域として、随時データを格納する。

その他、図１には図示を省略しているが、本実施の形態の端末は、カメラ部、外部メモリインターフェース、外部ケーブル用コネクタ、赤外線通信機能、電子財布機能、バイブレータ、バッテリ、電力制御機能など、一般的な携帯電話端末が備えている各構成要素についても備えている。なお、それら一般的な携帯電話端末が備えている回路構成やその他の構成の説明については省略する。

ここで、本実施の形態において表示画面に奥行き感を持たせるために用いる部分円筒形状のプリミティブのモデリングを説明する。プリミティブとは、３次元グラフィックソフトウェアにおけるモデリングに用いられる基本形状をいう。図２に示すように、ここでは、中心角１２０度の、所定の長さの円筒形のプリミティブ２０を用いる。図に示すように、部分円筒形状のプリミティブ２０の半径をＰｒ、長さをＰｗとする。

図３において、平面図画像（２次元画像）２１をプリミティブ２０に適用する際のプリミティブ２０と平面図画像２１の関係を示している。このプリミティブ２０は平面図画像２１を貼り付けるモデルとして使用する。平面図画像２１との縦横の対応関係を示すために、便宜上、プリミティブ２０は同じものを重複して２カ所に示している。実際には、複数枚の平面（長方形）ポリゴンにより円筒形状の曲面を近似する。このとき座標演算を考慮し、好ましくは、９０と１２０の公約数で表される単位角度で平面に分割する（例えば、５度、１０度、１５度、３０度等、以下の例では１０度）。後述する縦方向のスクロールはこの角度単位で行う。平面図画像２１はプリミティブ２０に貼り付けられたとき、見える部分である平面図表示領域と、その上部の非表示領域とに分かれる。平面図表示領域の高さはプリミティブ２０の半径Ｐｒに相当する。

図３に示すように、プリミティブ２０には、その展開サイズ以下の適当なサイズＩｈ×Ｉｗの平面図画像２１をテクスチャマッピングする。プリミティブ２０の原点Ｏの位置（ローカル座標）は位置合わせやモデリングの都合により決定する。図の例では、プリミティブ２０の幅の中央部、円筒上に設定している。

図４は、画面領域の平面図画像２１をプリミティブ２０の湾曲した表面に仮想的に貼り付けた様子を示している。図において、プリミティブ２０の表面上でハッチングを施した部分が、貼り付けられた平面図画像２１に相当する。図から分かるように、プリミティブ２０の幅Ｐｗは平面図画像２１の平面図表示領域の幅Ｉｗより大きく設定されている。実際には幅Ｐｗは幅Ｉｗと同じかそれ以上であればよい。また、このときの画面内の平面図表示領域の高さに応じてプリミティブ２０の半径Ｐｒを決定する。

図５は、平面図画像２１（図５（ａ））がプリミティブ２０（図５（ｂ））へのマッピングを介して表示画面３０（図５（ｃ））上の画像に変換される様子を示した図である。ここでは便宜上、文字「Ａ」を表示した例を示している。平面図画像２１の文字「Ａ」はプリミティブ２０の円筒表面に貼り付けられ、これを円筒外の一方向（正面）から見た画像が表示画面３０上に現れる。この画像は上側に行くほど縦方向の縮小の度合いが大きくなり、擬似的な奥行き感がもたらされていることが分かる。

なお、円筒外の一方向とはこの例では、プリミティブの下側側辺上の点におけるプリミティブ面の法線方向であり、表示画面３０の画像はこの法線に垂直な平面に画像の各画素を投影したものである。

次に、図６および図７により本実施の形態において用いる種々の座標系について説明する。本実施の形態において扱う座標系は、平面図座標系、スクリーン座標系（表示画面対応座標系）、３次元座標系、スクロール座標系、の４つである。

（１）平面図座標系（ｘpj，ｙpi）
平面図画像を定義する平面図上の位置を表す座標系である。通常、位置と関連付けられた付加データの管理は平面図上で行われると考えられる。例えば地図上のランドマークは、地図（どの平面図に属するか）とその地図上の位置で管理できる。

（２）スクリーン座標系（ｘsj，ｙsi）
通常の描画でも使用される表示画面における座標系である。この座標系を用いて２次元情報を描画するため、平面図座標系との対応が必要になる。

（３）３次元座標系（ｘrj，θri）
３次元シーンの座標系は、背景上の任意の物体を表す他のプリミティブの配置に使用することができる。付加データのモデルの位置を決定するためには、平面図上の位置と３次元シーン中の位置の対応が必要である。付加データはプリミティブ２０上に位置し、Ｘ座標ｘrjとＸ軸回りの角度θriを用いて表される。複数のモデルが重なる場合、Ｚ座標はモデルの前後関係を決定する意味を持る。また、後述するようにＺ座標値はマーカー等の変換後座標の補正に利用することができる。

（４）スクロール座標系（Ｓyi，Ｓxi）
スクロールの度合いを表す座標系である。図８に示すように、縦方向のスクロール座標系は、初期状態における平面図左下の位置を原点とした時のプリミティブの回転の度合いで表される。初期状態で、画面表示領域（グレー部分）からプリミティブが消えるまでに、正の方向では１２（すなわち１２×１０＝１２０度）、負の方向では−９（−９×１０＝−９０度）の回転が必要となる。従って−９＜Ｓyi＜１２となる。同様に、横方向については−１０＜Ｓxi＜１０となる。プリミティブがスクロールアウトした瞬間、ＭＣが新たなＭＣに置き換えられるため、スクロール座標も新たなＭＣを基準とした値に更新される。

図６は、プリミティブの曲面上で、頂点インデックスｉ（角度θｒ）とスクリーンＹ座標ｙｓと平面図Ｙ座標ｙｐとの対応関係を示している。説明のために、画面上に表示されている状態を想定し、図６に示すように、プリミティブ２０の曲面を模擬的に構成する複数の長方形の平面の接続点にインデックスｉ（ここでは通し番号）を与える。

図７は、Ｙ軸について頂点インデックスｉに伴う、平面図Ｙ座標ｙｐとスクリーンＹ座標ｙｓの大きさの関係を示したものである。

上述したように、各座標系間で対応を取る必要がある。実際のプリミティブのサイズや平面図のサイズは実装により異なる。

図９（ａ）（ｂ）（ｃ）は、それぞれ、メモリ部１０５に用意される平面図バッファ３１と、変換後座標バッファ３２と、表示バッファ３３を模式的に示している。平面図バッファ３１は表示対象となる領域の周囲も含めた平面図画像を一時的に格納するバッファであり、少なくとも上記９つのプリミティブに対応する９つの区画を有する。地図表示時のスクロール等により平面図バッファ３１に格納する画像は更新されうる。変換後座標バッファ３２は、平面図座標系をスクリーン座標系に変換した後の画像を格納するバッファであり、この例では平面図バッファ３１の９つの区画の中央とその上下左右の区画に対応する５つの区画分を用意している。この変換後座標バッファ３２は、縦方向または横方向のスクロールの処理を円滑にするために利用される。変換後座標バッファ３２の中央の区画の画像データは表示バッファ３３に転送され、表示部１０３の表示画面に表示される。

前述のように、スクロール座標上の点を（Ｓyi，Ｓxi）、スクリーン座標上の点を（ｘsj，ｙsi）、３次元座標上の点を（ｘrj，θri）、平面図座標上の点を（ｘpj，ｙpi）で表す。このとき、スクロール座標系を基準にした各座標系における対応を以下に示す。

縦方向については、
［Ｓyi ｙsi θri ｙpi］＝［ｉ ＰＹ［ｉ］ １０×ｉ Ｉh×ｉ÷１０］ （０≦ｉ＜１０）
となる。ここで、ＰＹ［ｉ］は各インデックスに対応するスクリーン上のｙ座標を保存した配列である。この対応は実際に表示してスクリーン上の対応座標を計測する。

横方向については、
［Ｓxj ｘsj ｘrj ｘpj］＝［ｊ ＰＸ×ｊ÷１０ Ｐｗ×（ｊ−５）÷１０ Ｉw×ｊ÷１０］ （０≦ｊ≦１０）
となる。ここで、ＰＸはプリミティブの横幅全体が表示されるのに必要なスクリーンの幅である。

なお、この対応は、プリミティブを固定状態で考えているため、実際の対応演算ではプリミティブのスクロール状態や、各座標系の原点の設定を加味する必要がある。

上記の各座標系の所定間隔の離散的な関連付け以外に、付加情報の表示のためには、平面図座標系とスクリーン座標系や、３次元モデルの位置との連続的な対応付けが必要である。ここで、付加情報の表示位置はいずれかの長方形ポリゴン上にある。このため、対応座標はその長方形ポリゴンが関連する２つのインデックスの対応座標を用いて線形的に補間して求められる。

次に、本実施の形態における画像のスクロール手法について説明する。本実施の形態では、スクロールの際の移動量として縦方向はプリミティブの回転量を１０度単位、横方向については１０等分したとして考える。なお、それぞれ以下のルールに従っていれば運用における数学的な問題はないと考えられる。
１．縦方向の回転角度が９０と１２０の公約数となるようにする。ただし、この回転角度に合わせてプリミティブをモデリングする必要がある。
２．横方向の移動量は、１０回のスクロールでひとつのプリミティブをスクロールする（端から端まで移動する）場合、プリミティブにおけるＰw／１０に相当する。

平面図画像のスクロールに対応するため、図１０に示すように円筒形状を９等分した９つのプリミティブを３次元シーン中に並べて配置する。スクロールは、テクスチャの張替えとプリミティブの回転、視点の平行移動により実現する。

具体的なスクロール手法は次のとおりである。

９つのプリミティブに、連続する平面図画像をそれぞれ図１１のようにマッピングする。ここで、９つのプリミティブと平面図の位置を示す記号を図中に示す記号のように決める。

初期状態として、中央の区画ＭＣをディスプレイ上に表示する。ＭＣのプリミティブの位置と表示は図３に示したとおりである。横方向のスクロールは以下の手順で実現できる。
（１）図１２に示すように、３次元シーンの視点をＸ軸方向に移動する。これによってこれに応じて平面図表示領域が横方向に移動する。
（２）画面上に表示されるプリミティブがＭＣからＭＲに完全に移り変わるタイミングで、ＭＲの平面図をＭＣに貼り付け、表示をＭＣ初期状態に戻す（視点を移動する）。
（３）他の面についてもＭＣの周囲の平面図を貼り付けることで、スクロールが完了する。

縦方向のスクロールについても同様の手法によりテクスチャの張替えとプリミティブの回転を行う。例えば、上方向にスクロールする場合、プリミティブを下方向に回転させる。これによっても相対的に視点の位置が変化し、これに応じて平面図表示領域が縦方向に移動する。

これにより、区画の境界を越えたスクロール処理が可能となる。

図１３は、平面図画像２１として地図を用いた場合のプリミティブ２０への貼り付け状態２２および、得られる表示画面２３の例を示している。

図１４に示すように、例えば道順を示すようなマーカー４１を付加する場合、マーカーにＺ値を与えておくことにより、上方で浮き上がって見えるような表示を行うことができる。これにより、マーカーのような付加情報の視認性を向上させることができる。付加情報にＺ値が付与されている場合、その貼り付けられる円筒面上のＹ座標位置（すなわちインデックスｉ値）に応じて変換後のスクリーンＹ座標ｙｓの値を補正する。例えば、補正値Ｃは次式で表すことができる。

補正値Ｃ＝Ｚ値 × ｓｉｎ θri

ここで、θriが９０度（ｉ＝９）の場合、Ｃ＝０となり、θriが０度（ｉ＝０）の場合、Ｃ＝Ｚとなる。上式の右辺には適宜任意の定数を掛けてもよい。このような処理により、図１４（ａ）に示すような平面図画像２１上のマーカー４１は、図１４（ｂ）に示すように、表示画面２３の上側に近づくほど大きくなる補正値Ｃにより縦方向位置が上方へずれるように表示される。この処理は、高さ成分をもって表示画面に対応する平面上に投影した結果と等価であり、表示画面上であたかも上方で浮き上がって見えるような結果が得られる。

また、背景上に配置する任意の付加データについては従来の３次元モデルを利用して配置してもよい。付加データは少数であれば背景に比べてデータ量は小さく、その処理負荷も高くない。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、携帯端末に適用した例を示したが、本発明を携帯端末以外の表示装置に適用することを排除するものではない。

本発明の実施の形態において本発明が適用される携帯電話端末の概略的な内部構成例を示す図である。 本発明の実施の形態において用いる円筒形のプリミティブを示す図である。 本発明の実施の形態において平面図画像をプリミティブに適用する際のプリミティブと平面図画像の関係を示す図である。 本発明の実施の形態において、画面領域の平面図画像をプリミティブの湾曲した表面に仮想的に貼り付けた様子を示す図である。 本発明の実施の形態において、平面図画像（ａ）がプリミティブ（ｂ）へのマッピングを介して表示画面（ｃ）上の画像に変換される様子を示した図である。 本発明の実施の形態において、プリミティブの曲面上で、頂点インデックスｉ（角度θｒ）とスクリーンＹ座標ｙｓと平面図Ｙ座標ｙｐの対応関係を示す図である。 本発明の実施の形態において、Ｙ軸について頂点インデックスｉに伴う、平面図Ｙ座標ｙｐとスクリーンＹ座標ｙｓの大きさの関係を示した図である。 本発明の実施の形態におけるスクロールの説明図である。 本発明の実施の形態において、メモリ部に用意される各種バッファを模式的に示す図である。 平面図画像のスクロールに対応するために配置された９つのプリミティブを示す図である。 図１０の９つのプリミティブにマッピングされた連続する平面図画像を示す図である。 本発明の実施の形態におけるスクロールの方法の説明図である。 本発明の実施の形態において、平面図画像として地図を用いた場合のプリミティブへの貼り付けおよび、得られる表示画面の例を示した図である。 本発明の実施の形態において、道順を示すようなマーカーを付加した場合の表示例を示す図である。

符号の説明

２０…プリミティブ、２１…平面図画像、２２…状態、２３…表示画面、３０…表示画面、３１…平面図バッファ、３２…変換後座標バッファ、３３…表示バッファ、４１…マーカー、１００…制御部、１０３…表示部、１０４…操作部、１０５…メモリ部、１１３…画像処理部

Claims (6)

1. 平面図画像を仮想的に円筒面に貼り付け、円筒の中心軸に平行に配置された、表示画面に対応する平面上に前記円筒面上の各画素を投影するよう、前記平面図画像の座標を表示画面対応座標に変換するステップと、
   変換後の座標により前記平面図画像を表示するステップと
   を備えた画像表示処理方法。
2. 前記平面図画像上に付加的に配置される物体に対して高さ情報を付加し、円筒面上の曲面に沿った方向の位置に応じて前記変換後の当該湾曲方向に対応する方向の座標値を補正するステップを備えた請求項１記載の画像表示処理方法。
3. 前記円筒面は、予め定めた単位角度毎の複数の長方形ポリゴンの組み合わせとして近似する請求項１記載の画像表示処理方法。
4. 平面図画像を構成するデータを格納する記憶部と、
   前記平面図画像を仮想的に円筒面に貼り付け、円筒の中心軸に平行に配置された、表示画面に対応する平面上に前記円筒面上の各画素を投影するよう、前記平面図画像の座標を表示画面対応座標に変換する処理手段と、
   変換後の座標により前記平面図画像を表示する表示手段と
   を備えた画像表示装置。
5. 前記平面図画像上に付加的に配置される物体に対して高さ情報を付加し、円筒面上の曲面に沿った方向の位置に応じて前記変換後の当該湾曲方向に対応する方向の座標値を補正する手段を備えた請求項４記載の画像表示装置。
6. 前記円筒面は、予め定めた単位角度毎の複数の長方形ポリゴンの組み合わせとして近似する請求項４記載の画像表示装置。