JP2001184040A - 画像データ表示システム及び画像データ生成方法 - Google Patents

Abstract

(57)【要約】 【課題】従来の画像データ表示システムでは、画像表示
面の形状を平面とした場合、表示画像で狭い視野角しか
覆うことができず、高い臨場感を得られなかった。ま
た、画像表示面でユーザの画像観賞空間を囲むようにし
た場合、ユーザの移動範囲が制限されていた。また、従
来の画像データ生成方法では、理想視点位置は１点であ
るため、生成した画像データを実際に表示した場合に、
理想視点位置から離れて観賞するユーザにとっては、該
表示画像は違和感のあるものであった。 【解決手段】画像表示面の形状を波形にする。複数のプ
ロジェクタを用いて画素歪みを抑制しつつ、画像データ
に幾何変形や色変調などの変換を施した上で画像表示面
に表示する。また、視点パラメタに基づいてある画素の
画素値を算出する際に、該画素の画像表示面上での表示
位置を求め、求められた該表示位置に基づいて適切な視
点パラメタを求め、求められた該視点パラメタに基づい
て、該画素の画素値を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを表示
するシステム、特にプロジェクタとスクリーンとを用い
て画像データを表示するシステムに関する。また、本発
明は、仮想世界データから画像データを生成する方法に
関する。

【０００２】

【従来の技術】プロジェクタとスクリーンとを用いた画
像データ表示システムに関する従来技術には、次のよう
なものがある。

【０００３】まず、特開平９−３２６９８１号公報に記
載の「画像投影システム」や国際公開番号ＷＯ９９／３
１８７７「マルチプロジェクション映像表示装置」があ
る。これらのシステムは、１つの大きな平面スクリーン
に複数のプロジェクタを用いて画像データを投写し、大
画面映像をユーザに提供するものである。あらかじめ計
測しておいたデータに基づいて、投写する画像データに
変換を施してから投写することにより、スクリーン上で
は、位置ずれや色調・輝度ずれのない、あたかも１つの
プロジェクタから投写されたような大画面映像の提供を
可能としている。

【０００４】また、ユーザの視野の広い部分を覆うこと
により、ユーザに高い臨場感を与えるシステムとして、
特開平９−３１１３８３号公報に記載の映像表示システ
ムを始めとした映像表示システムが知られている。これ
らは、球面スクリーンや円筒スクリーンなどの非平面ス
クリーンを用いたり、平面スクリーンを組み合わせたり
することにより、ある空間をスクリーンで囲むようにし
たことに特徴がある。ユーザがこのスクリーンで囲まれ
た空間内において映像を観賞する場合、その視野の広い
部分が映像で覆われることになり、高い臨場感を得るこ
とができる。

【０００５】これらのシステムで投写すべき画像データ
を、仮想世界データに基づいて生成する方法としては、
両者に共通して、透視変換による方法が用いられてい
る。ここで、透視変換を行う際に用いる理想視点パラメ
タとしては、システム毎に固有のパラメタ１つを定めて
おく場合と、ユーザの頭の動き（これからユーザの視点
位置の概算値を求めることができる）に追従してリアル
タイムで理想視点パラメタを変化させる場合の２つがあ
る。

【０００６】

【発明が解決しようとする課題】従来の画像データ表示
システムを用いて、多人数のユーザに高い臨場感を与え
るような映像を広い範囲に渡って表示しようとした場
合、以下のような課題がある。

【０００７】まず、１つの大きな平面スクリーンを使用
した場合、ユーザの視野の十分な範囲を覆うことは困難
であり、したがって、ユーザに高い臨場感を与えること
は困難である。

【０００８】また、ある空間をスクリーンで囲むように
した場合、ユーザの存在する空間がスクリーンで囲まれ
ているため、ユーザが移動できる範囲が装置内に制限さ
れてしまう。

【０００９】ここで、ユーザの移動できる範囲を広げる
ために装置の規模を大きくすると、ユーザとスクリーン
との距離が離れてしまい、映像の細かな部分を知覚する
ことができなくなる。すなわち、ユーザが知覚する映像
の精細度が劣化する。

【００１０】以上の考察から、画像データ表示システム
に関して、本発明は以下を目的とする。

【００１１】本発明の第１の目的は、多人数のユーザに
高い臨場感を与えるような映像を広い範囲に渡って表示
できるような画像データ表示システムを提供することに
ある。

【００１２】本発明の第２の目的は、前記第１の目的を
達成でき、かつ、システムを構成する各要素（例えばプ
ロジェクタやスクリーン）の配置における誤差に依らず
映像を正しい幾何形状で表示できるような、画像データ
表示システムを提供することにある。

【００１３】本発明の第３の目的は、プロジェクタとス
クリーンを備えた画像データ表示システムであって、前
記第１の目的を達成でき、かつ、プロジェクタの各々の
画素の歪みが少ないような、画像データ表示システムを
提供することにある。

【００１４】本発明の第４の目的は、前記第３の目的を
達成でき、かつ、映像が継目なく繋がって見えるよう
な、画像データ表示システムを提供することにある。

【００１５】次に、画像データ生成方法に関しては、以
下のような課題がある。

【００１６】透視変換による方法で画像データを生成し
表示した場合、ユーザの実際の視点位置が理想視点位置
から離れれば離れるほど大きな違和感を感じる。このこ
とは、視点パラメタが固定の場合、特に大きな装置にお
いて、理想視点位置から離れた位置にいるユーザ（理想
視点位置は１点であるため、ほとんどのユーザがこの条
件に該当すると考えられる）の臨場感の低下につなが
る。また、あるユーザの頭の動きに追従してリアルタイ
ムで理想視点位置を求め、その視点位置に基づいて映像
を作っているような場合においても、頭の動きを追従さ
れていない他の多くのユーザにとっては、表示された映
像は違和感を感じるものであり、臨場感の低下を招くこ
とになる。

【００１７】以上の考察から、画像データ生成方法に関
して、本発明は以下を目的とする。

【００１８】本発明の第１の目的は、「この部分の映像
はどの位置から見る人にとって最も重要な映像である
か」を考慮し、その位置から観賞した時に高品質な映像
が観賞できるような、画像データ生成方法を提供するこ
とにある。

【００１９】本発明の第２の目的は、前記第１の目的と
同様に「この部分の映像はどの位置から見る人にとって
重要な映像であるか」を考慮し、該位置から観賞した時
に高品質な映像が観賞できるようにするとともに、さら
に、画像表示領域全体としては滑らかに繋がった映像が
得られるような、画像データ生成方法を提供することに
ある。

【００２０】本発明の第３の目的は、画像表示面が凹状
になっている部分では、広い視野角に渡って違和感のな
い映像が得られ、画像表示面が凹状になっている部分に
繋がっている、画像表示面が凸状になっている部分で
は、隣接する凹状部分の映像に滑らかに繋がるような映
像が得られるような、画像データ生成方法を提供するこ
とにある。

【００２１】本発明の第４の目的は、時系列画像データ
の表示内容が途中で切り替わるような場合に、各々の内
容に応じて見やすい映像が得られるような、画像データ
生成方法を提供することにある。

【００２２】

【課題を解決するための手段】本発明による画像データ
表示システムは、前記の第１の目的を達成するため、画
像表示面の形状を波形にした。

【００２３】これにより、画像表示面が凹状となってい
る部分において、ユーザの視野の広い範囲を映像で覆う
ことができ、視野角の面ではユーザに高い臨場感を与え
ることが可能となる。

【００２４】また、画像表示面が凹状となっている部分
と画像表示面が凹状となっている部分との間を、画像表
示面が凸状となっている部分を経由して滑らかに移動す
ることができるため、ユーザは広い範囲を移動できる。

【００２５】その際、ユーザは画像表示面に沿って、つ
まり、画像表示面との距離をほぼ一定に保ったまま、映
像を観賞しながら移動することができる。すなわち、画
像表示面との距離が離れることによる精細度の劣化は起
こらない。

【００２６】また、本発明による画像データ表示システ
ムは、前記の第２の目的を達成するため、画像表示面の
形状を波形にし、さらに、所与のパラメタに基づいて画
像データを変換する画像データ変換手段を備えた構成と
し、画像データを該画像データ変換手段によって変換し
た後に画像表示面に表示するようにした。

【００２７】画像データ表示システムの各構成要素（例
えばプロジェクタやスクリーン）を設計通りに設置する
ことは難しいが、このような構成にすることにより、画
像データ生成時に新規処理を加えることなしに、設置時
の誤差を吸収した、正しい幾何形状の映像を表示でき
る。

【００２８】また、本発明による画像データ表示システ
ムは、前記の第３の目的を達成するため、波形の形状の
スクリーンを備え、複数のプロジェクタを備え、さら
に、所与のパラメタに基づいて画像データを変換する画
像データ変換手段を備えた構成とした。前記複数のプロ
ジェクタは、その複数の投写領域全体が、所与の画像表
示領域全体を覆うように設置し、さらに、各々の投写領
域には、前記画像変換手段によって変換された画像デー
タが投写されるようにする。

【００２９】このような構成とすることで、画像表示領
域を細分し、その各々の部分領域に対して、プロジェク
タの投写光が略正面から当たるようにすることができ
る。また、スクリーンの部分形状によって、その部分に
投写するプロジェクタの密度を調節できる。例えば、ス
クリーンをプロジェクタの側から見た場合に、スクリー
ンが凸状となっている部分に投写するプロジェクタの密
度を凹状となっている部分に投写するプロジェクタの密
度に比べ高くすることができる。これらの結果、単独の
プロジェクタで投写する場合に比べ、画素の歪みを低減
させることができる。

【００３０】また、本発明による画像データ表示システ
ムは、前記の第４の目的を達成するため、波形の形状の
スクリーンを備え、複数のプロジェクタを備え、さら
に、所与のパラメタに基づいて画像データを変換する画
像データ変換手段を備えた構成とした。前記複数のプロ
ジェクタは、その複数の投写領域全体で画像表示領域全
体を覆うように、かつ、投写領域が隣り合うプロジェク
タ同士は、その投写領域が互いに重なりを持つように設
置すし、さらに、各々の投写領域には、前記画像変換手
段によって変換された画像データが投写されるようにす
る。

【００３１】このような構成とすることで、前記の第３
の目的を達成するための構成による効果に加え、さら
に、互いに異なるプロジェクタから投写されている映像
領域間の継目をなくすことができる。つまり、画像表示
領域全体に渡って滑らかに繋がった映像を得ることがで
きる。

【００３２】次に、本発明による画像データ生成方法
は、前記の第１の目的を達成するため、生成すべき画像
データ中の画素をいくつかのグループに分類し、その各
々のグループ毎に独立な視点パラメタを決定し、各画素
の画素値は、該画素の属するグループに対応する視点パ
ラメタに基づいて求めるようにした。

【００３３】このような方法とすることで、表示内容な
ど適当な基準に基づいて表示領域を分割し、分割された
各表示領域毎に理想視点位置を定めることができる。す
なわち、分割された各表示領域毎に「この部分の映像は
どの位置から見る人にとって最も重要な映像であるか」
を考慮し、その位置から観賞した時に高品質な映像が観
賞できるような画像データを生成することができる。

【００３４】また、本発明による画像データ生成方法
は、前記の第２の目的を達成するため、前記の第１の目
的を達成するための方法において、各々のグループ毎に
独立に決定していた視点パラメタを、各画素の画像表示
面上の位置を考慮して滑らかに変化させるようにした。

【００３５】このような方法とすることで、分割された
各表示領域毎に「この部分の映像はどの位置から見る人
にとって最も重要な映像であるか」を考慮し、その位置
から観賞した時に高品質な映像が観賞できるように、か
つ、画像表示領域全体として見た時には滑らかに繋がっ
た映像が得られるように、画像データを生成することが
できる。

【００３６】また、本発明による画像データ生成方法
は、前記の第３の目的を達成するため、前記の第２の目
的を達成するための方法において、画像表示面が凹状に
なっている部分は大きな表示領域を一つの単位として分
割し、該分割に基づいて画像データ中の画素の分類を行
い、画像表示面が凸状になっている部分は細かな表示領
域を一つの単位として分割し、該分割に基づいて画像デ
ータ中の画素の分類を行うようにした。

【００３７】このような方法とすることで、画像表示面
が凹状になっている部分では、広い視野角に渡って、一
つの視点パラメタに基づいて生成された画像データによ
る、違和感のない映像が得られ、画像表示面が凹状にな
っている部分に繋がっている、画像表示面が凸状になっ
ている部分では、滑らかに変化する視点パラメタに基づ
いて生成された画像データにより、隣接する凹状部分の
映像に滑らかに繋がるような映像が得られる。

【００３８】また、本発明による画像データ生成方法
は、前記の第４の目的を達成するため、時系列画像デー
タの各時刻における視点パラメタの決定方法を表示内容
に基づいて選択するようにした。

【００３９】このような方法とすることで、例えば、画
像表示領域全体を観賞して初めて意味を持つような表示
内容の場合には、全体として１点だけ理想視点位置を定
めて画像を生成することで、全体を観賞することが有意
義であるような映像とすることができるし、意味の単位
が局所的になった場合には、画素の分類を細分化して多
くの視点パラメタに基づいて画像を生成することで、各
々の局所的な部分を観賞する人にとって見やすい映像を
表示することができる。

【００４０】

【発明の実施の形態】以下、図１〜図８を用いて、本発
明の第一の実施の形態による画像データ表示システム及
び画像データ生成方法について詳細に説明する。

【００４１】図１は、本発明によるシステムの第一の実
施の形態を示す概念図である。

【００４２】図１において、背面投射用スクリーン１０
１は、水平面上に鉛直に立てられた、横断面が波形の柱
状のスクリーンであり、その画像表示面上には、水族館
の映像が表示されている。水族館の映像は、図の左から
順に、水槽があり、続いて「順路」という張り紙がされ
た柱があり、続いて水槽がある、というものである。ユ
ーザは、場所１１１から場所１１２を経て場所１１３へ
と、スクリーン１０１に沿って映像を観賞しながら移動
することができる。

【００４３】ここで、場所１１１や場所１１３では、ス
クリーン１０１がユーザに対して凹状となっているた
め、ユーザは視野の広い範囲をスクリーンに囲まれた状
態で水槽の映像を観賞することができ、高い臨場感が得
られる。

【００４４】また、場所１１１と場所１１３の間は、場
所１１２付近の凸状の部分を介して、スクリーン１０１
や映像が滑らかに繋がっているため、映像を観賞しなが
ら場所１１１から場所１１３への移動した場合に、スク
リーンや映像の継目によって臨場感が低下するというこ
とはない。

【００４５】図２は本発明によるシステムの第一の実施
の形態を示す平面図である。

【００４６】図２において、プロジェクタ２０１、プロ
ジェクタ２０２、プロジェクタ２０３、プロジェクタ２
０４、プロジェクタ２０５、プロジェクタ２０６、プロ
ジェクタ２０７は、スクリーン１０１に対して画像表示
面の裏側から画像データを投写するものである。

【００４７】投写領域が隣接する各々のプロジェクタ対
に関しては、その投写領域が互いに重なりを持つように
設置する。また、画像データは、図３で詳細に説明する
画像データ変換手段によって微調整された上で、投写領
域の内部に投写されることになるため、各プロジェクタ
は、その投写領域が設計時の投写領域を包含するように
設置する。

【００４８】投写領域が隣接する各々のプロジェクタ対
に関して、その投写領域を１画素より細かい精度でぴっ
たり繋げることは、特に非平面スクリーンを用いた場
合、非常に困難である。ほんの僅かでも誤差があると、
どのプロジェクタからも投写されていない領域ができて
しまい、隣接する映像同士の間に隙間ができ、臨場感が
低下してしまう。投写領域が隣接する各々のプロジェク
タ対に関しては、その投写領域が互いに重なりを持つよ
うに配置することで、隣接する映像同士の間に隙間がで
きることを防ぐことができる。

【００４９】また、プロジェクタを設置する際には、そ
の光軸とスクリーンとが略直角に交わるように設置する
のがよい。これは、このように設置することにより、ス
クリーンに対して斜め方向から投写した場合に比べ、画
素の歪みの度合いを小さくすることができるためであ
る。

【００５０】さらに、投写する画像データの重要度に差
があるといった特別な場合を除けば、すべてのプロジェ
クタにおいて画像表示面上での画素の大きさが略一致す
るように配置するのがよい。このようにすることで、場
所によらず一様な精細度の映像をユーザに提供すること
ができる。具体的には、プロジェクタからスクリーンま
での距離の調整や、ズーム調整、あるいはプロジェクタ
から投写する画像データの解像度の調整、等によって実
施することができる。

【００５１】また、画素の歪みのことを考えた場合、画
像を投射する側から見て凸状の部分に画像を投写するプ
ロジェクタを、画像を投射する側から見て凹状の部分に
画像を投射するプロジェクタに比べ、密に設置するのが
よい。

【００５２】図３は本発明の第一の実施の形態における
システム構成を示すシステムブロック図である。ただ
し、図２では７台のプロジェクタを備えたシステムとし
たが、ここでは、説明が繁雑になるのを避けるため、プ
ロジェクタが３台の場合について説明する。

【００５３】図３において、コマンド入力手段３００
は、システム管理者からの映像の再生開始および再生終
了のコマンドを受理し、該コマンドを画像供給手段３１
０および画像供給手段３２０および画像供給手段３３０
に向けて出力するものである。

【００５４】画像供給手段３１０は、画像データ３１１
と同期制御手段３１２を備える。ここで、画像データ３
１１は時系列画像データであり、フレーム番号と対応す
るビットマップデータが生成できるものであれば、何ら
かの方法で圧縮されたものであってもよい。

【００５５】画像供給手段３１０は、映像の再生開始お
よび再生終了、および、画像供給手段３２０および画像
供給手段３３０とのフレーム番号の同期を、同期制御手
段３１２で管理しながら、画像データ３１１のうち適切
なフレーム番号に対応するビットマップデータを生成
し、画像データ変換手段３１３に向けて出力する。

【００５６】画像データ変換手段３１３は、画像変換パ
ラメタ３１４を備え、画像供給手段３１０から入力され
たビットマップデータに、画像変換パラメタ３１４に基
づいた変換を施して、プロジェクタ２０１に向けて出力
する。

【００５７】プロジェクタ２０１は、画像データ変換手
段３１３から入力された、変換を施されたビットマップ
データを、スクリーン１０１に向けて投写する。

【００５８】画像供給手段３２０は、画像データ３２１
と同期制御手段３２２を備える。ここで、画像データ３
２１は時系列画像データであり、フレーム番号と対応す
るビットマップデータが生成できるものであれば、何ら
かの方法で圧縮されたものであってもよい。

【００５９】画像供給手段３２０は、映像の再生開始お
よび再生終了、および、画像供給手段３３０および画像
供給手段３１０とのフレーム番号の同期を、同期制御手
段３２２で管理しながら、画像データ３２１のうち適切
なフレーム番号に対応するビットマップデータを生成
し、画像データ変換手段３２３に向けて出力する。

【００６０】画像データ変換手段３２３は、画像変換パ
ラメタ３２４を備え、画像供給手段３２０から入力され
たビットマップデータに、画像変換パラメタ３２４に基
づいた変換を施して、プロジェクタ２０２に向けて出力
する。

【００６１】プロジェクタ２０２は、画像データ変換手
段３２３から入力された、変換を施されたビットマップ
データを、スクリーン１０１に向けて投写する。

【００６２】画像供給手段３３０は、画像データ３３１
と同期制御手段３３２を備える。ここで、画像データ３
３１は時系列画像データであり、フレーム番号と対応す
るビットマップデータが生成できるものであれば、何ら
かの方法で圧縮されたものであってもよい。

【００６３】画像供給手段３３０は、映像の再生開始お
よび再生終了、および、画像供給手段３１０および画像
供給手段３２０とのフレーム番号の同期を、同期制御手
段３３２で管理しながら、画像データ３３１のうち適切
なフレーム番号に対応するビットマップデータを生成
し、画像データ変換手段３３３に向けて出力する。

【００６４】画像データ変換手段３３３は、画像変換パ
ラメタ３３４を備え、画像供給手段３３０から入力され
たビットマップデータに、画像変換パラメタ３３４に基
づいた変換を施して、プロジェクタ２０３に向けて出力
する。

【００６５】プロジェクタ２０３は、画像データ変換手
段３３３から入力された、変換を施されたビットマップ
データを、スクリーン１０１に向けて投写する。

【００６６】なお、画像データ３１１等を生成するため
の方法については、図４〜図８において詳細に説明す
る。これらのデータは、あらかじめ作成しておくことも
できるし、必要になる度にフレーム毎に作成してもよ
い。

【００６７】ここで、画像データ変換手段がビットマッ
プデータに施す変換としては、幾何変換と色変換があ
る。幾何変換は、例えば、スクリーンおよびプロジェク
タの形状および配置に関するデータの、設計値からの誤
差分を補正するための変換である。色変換は、例えば、
個々のプロジェクタの表示領域内の色むらや、プロジェ
クタの個体差による色調の違いを補正するための変換で
あり、また、複数のプロジェクタから投写されて明るく
なっている部分を、１台のプロジェクタから投写されて
いる部分と同じ程度の明るさにするための、ブレンディ
ング処理を行うための変換である。

【００６８】このような機能を備える画像データ変換手
段としては、例えば、特開平９−３２６９８１号公報に
記載の「画像投影システム」や国際公開番号ＷＯ９９／
３１８７７「マルチプロジェクション映像表示装置」な
どに公開されている技術を用いることができる。これら
の技術を任意の形状のスクリーンに対して応用すること
は、スクリーン形状が既知であれば、容易である。

【００６９】なお、画像データ変換手段３１３等と同じ
変換を施すエミュレーションソフトウェアによって、画
像変換パラメタ３１４等に基づいた変換を、あらかじめ
画像データ３１１等に施したものを、改めて画像データ
３１１等として保存しておき、画像再生時には、画像供
給手段３１０等の出力するビットマップデータを、直接
プロジェクタ２０１等に入力し、投写するようにしても
よい。

【００７０】なお、プロジェクタが画像データ変換手段
の機能を備えるようにしてもよい。その場合、例えば、
画像供給手段から入力されたビットマップデータに対し
て、「輝度調整のための色変換」以外の変換を施したビ
ットマップデータを投写し、輝度調整のための色変換に
関しては投写後に光学フィルタによって光学的に変換す
る、といったことも可能である。

【００７１】このような構成とした場合、次のような効
果がある。例えば、プロジェクタとして液晶プロジェク
タを用いた場合、光源からの光の洩れが原因で、全画素
の画素値を（Ｒ，Ｇ，Ｂ）＝（０，０，０）とした画像
を表示した場合にも、輝度が０にはならない。この場
合、２台以上のプロジェクタの投写領域となっている領
域は、１台だけのプロジェクタの投写領域となっている
領域に比べ、明るくなってしまう。この輝度の違いを吸
収するためには、ビットマップデータを変換してから投
写する方法の場合、１台だけのプロジェクタの投写領域
となっている領域の輝度を上げることで調節する必要が
あるため、コントラストの低下を招く。これに対して、
ビットマップデータを投写してから輝度調整のための色
変換を施す場合には、２台以上のプロジェクタの投写領
域となっている領域の輝度を下げることができるため、
コントラストを低下させずに輝度の違いを吸収すること
ができる。

【００７２】なお、スクリーンの曲率が小さい場合など
で、画素の歪みの度合いが許容できる程度である場合に
は、プロジェクタを１台とし、該プロジェクタからスク
リーンの画像表示面全体に画像を投写するようにしても
よい。その場合、スクリーンおよびプロジェクタの形状
および配置に関するデータの、設計値からの誤差の影響
が軽微であれば、画像データ変換手段を用いずに、画像
供給手段が出力したビットマップデータを、そのままプ
ロジェクタから投写するようにしてもよい。

【００７３】また、プロジェクタとしてＣＲＴ方式のプ
ロジェクタを使う場合などで、プロジェクタが備える歪
み補正機能により形状を補正することにより、境界部分
の映像に関して許容できる程度の画質を得られる場合に
は、投写領域が隣接する各々のプロジェクタ対に関し
て、投写領域が互いに重なりを持つように設置しなくて
もよく、さらに、画像データ変換手段を用いずに、画像
供給手段が出力したビットマップデータを、そのままプ
ロジェクタから投写するようにしてもよい。

【００７４】また、図３においては各々のプロジェクタ
毎に画像供給手段と画像データ変換手段を備える構成と
したが、複数のプロジェクタに対して１つの画像供給手
段と１つの１入力多出力な画像データ変換手段を備え、
該画像データ変換手段は、前記画像供給手段からビット
マップデータを入力し、画像変換パラメタによって該ビ
ットマップデータを変換した上で、前記複数のプロジェ
クタの各々に適切なビットマップデータを出力するよう
な構成としてもよい。なお、この場合の「変換」は、各
々のプロジェクタへの出力毎に独立な画像変換パラメタ
を持つことにより、各々のプロジェクタ毎に画像供給手
段と画像データ変換手段を備える構成とした場合と同様
に実施することができる。

【００７５】図４は本発明の第一の実施の形態における
画像生成処理のフローチャートである。この画像生成処
理は、時系列画像データのうち１フレーム分を生成する
ための処理について説明したものであり、この処理を各
フレーム毎に繰り返すことで、時系列画像データ全体を
生成することができる。なお、スクリーンおよびプロジ
ェクタの形状および配置に関するデータの、設計値から
の誤差の影響に関しては、図３で説明したとおり、画像
データ変換手段によるビットマップデータの変換によっ
て取り除くことができるため、以下では、スクリーンお
よびプロジェクタの形状および配置に関するデータは、
設計値を使って考えればよい。

【００７６】ステップ４００において画像生成処理が開
始されると、まずステップ４０１において、まだ画素値
の決まっていない画素を選択する。次に、ステップ４０
２において、選択された画素がスクリーンの画像表示面
上のどの位置に表示されるべきものであるかを計算す
る。次に、ステップ４０３において、ステップ４０２で
算出された表示位置に基づいて、視点パラメタ、特に、
視点位置をどこに設定するか、を計算する。ステップ４
０３の処理の具体的な例に関しては、図５〜図８におい
て詳細に説明する。次に、ステップ４０４において、ス
テップ４０３で算出した視点位置に基づいて、仮想世界
データ４０７から、透視変換の原理を用いて、選択した
画素の画素値を計算する。

【００７７】ここで、バーチャルリアリティの分野など
で透視変換の原理を用いて画像を生成する場合と同様
に、現実世界におけるスクリーン形状と仮想世界におけ
る画像生成面の形状とは、相似比Ｒの相似関係にあり、
現実世界における視点位置とスクリーンとの位置および
向きの関係と、仮想世界における視点位置と画像生成面
との位置および向きの関係とは、やはり相似比Ｒの相似
関係にある。図４の画像生成処理を開始する前に、表示
したい内容に合わせて、当該フレームの画像をどのよう
な画像生成面の配置に基づいて生成するか、を決めてお
いた上で、ステップ４０４では、上記関係に基づいて、
ステップ４０３で算出した現実世界における視点位置を
仮想世界における視点位置に変換し、画素値を計算する
ようにすればよい。

【００７８】続いて、ステップ４０５において、すべて
の画素について画素値を計算したかどうかを判定する。
画素値が求まっていない画素が存在する場合にはステッ
プ４０１へ戻って以上の処理を繰り返し、全画素につい
て画素値が求まった場合には、画像生成処理を終了する
（ステップ４０６）。

【００７９】ここで、仮想世界データ４０７とは、現在
ヴァーチャルリアリティなどの分野で広く使われている
ようなものであり、例えば、３次元データ（物体の形状
データおよび位置・姿勢のデータ）を含むようなもので
ある。仮想世界データ４０７には、３次元データの他
に、テクスチャデータや光源データも含まれることが多
い。これらのデータは、各時刻毎に変化してよく、さら
に、ユーザからのコマンドによって変化するようにして
もよい。なお、文字などの２次元データを表示させたい
場合には、それをテクスチャとして看板状の物体に貼り
つけ、仮想世界を表す３次元空間内に配置すればよい。

【００８０】また、ステップ４０２の表示位置算出処
理、および、ステップ４０３の視点パラメタ算出処理
は、各時刻毎に異なる処理とすることができる。

【００８１】表示位置算出処理を各時刻毎に異なる処理
にできるため、例えば、各時刻毎に投写する画像の解像
度を変更することができる。

【００８２】視点パラメタ算出処理を各時刻毎に異なる
処理にできるため、例えば、表示内容にしたがって視点
パラメタの求め方を変えることができる。

【００８３】これは、例えば、次のようなことができ
る。本発明を銀行のサービスカウンタに適用した場合
（カウンタの机の下の部分を波形スクリーンにする）
に、利率や為替レートなどを画像表示面全体に表示する
パターン（パターン４５１）と、画像表示領域を複数領
域に分割し書類の書き方などを複数表示するパターン
（パターン４５２）とを交互に表示するとする。この場
合、パターン４５１に対しては、視点パラメタを１つ決
めて、従来の方法と同様に、画像全体をその１つの視点
パラメタに基づいて生成し、パターン４５２に対して
は、分割した表示領域の各々に対して対応する視点パラ
メタを決めて、各々に対応する該視点パラメタに基づい
て、各々の表示領域毎に対応する部分の画像を生成す
る。 このようにすることで、利率などの大域的な情報
については（理想視点位置から）全体を観賞した時に正
しく見えるような画像を生成することができ、また、書
類の書き方などの局所的な情報については、その情報を
利用するであろうユーザにとって正しく見えるような画
像を生成することができる。

【００８４】また、視点パラメタ算出処理を各時刻毎に
異なる処理にできるため、本発明は、例えば、複数のユ
ーザの各々に対してヘッドトラッキング技術により頭の
動きを求めてやり、時分割でステレオ画像を表示するよ
うな場合にも適用することができる。各々のユーザの視
点位置（例えば、奇数フレームであれば左目の位置であ
るし、偶数フレームであれば右目の位置である）を算出
した後、各々のユーザの正面付近に表示される画像領域
に関してはそのユーザの視点位置に基づいて画素値を決
定し、その他の部分に関しては、隣接するユーザ同士の
視点位置から補間して、表示位置の変化に伴って滑らか
に変化するように視点位置を決め、該視点位置に基づい
て画素値を求めるようにすればよい。

【００８５】なお、ステップ４０２の表示位置算出処
理、および、ステップ４０３の視点パラメタ算出処理が
時刻に依存しない場合には、あらかじめ表示位置算出処
理および視点パラメタ算出処理を行って、画素位置から
視点パラメタを参照できるようなテーブルを作成してお
き、ステップ４０２およびステップ４０３の処理の代わ
りに該テーブルから視点パラメタを求めるようにしても
よい。このようにすることにより、１画素あたりの処理
を軽減することができる。

【００８６】また、ステップ４０２の表示位置算出処
理、および、ステップ４０３の視点パラメタ算出処理が
時刻に依存する場合であっても、処理のパターンが少な
い場合には、各パターンに各々唯一のパターン識別子を
割り当てておき、各々のパターン毎にあらかじめ表示位
置算出処理および視点パラメタ算出処理を行って、画素
とパターン識別子から視点パラメタを参照できるような
テーブルを作成しておき、ステップ４０２およびステッ
プ４０３の処理の代わりに該テーブルから視点パラメタ
を求めるようにしてもよい。このようにすることによ
り、処理を軽減することができる。

【００８７】また、複数の画素の画素値を同一の視点パ
ラメタに基づいて求める場合には、画素値を求めるため
の視点パラメタが同一であるような画素を集めて各々グ
ループを形成し、各々のグループ毎に１度だけ表示位置
算出処理および視点パラメタ算出処理を行うようにすれ
ばよい。なお、この方法が上記テーブルを作成する方法
のどちらとも両立することは、言うまでもない。

【００８８】以上のように、視点パラメタを画素の表示
位置に応じて設定した上で画素値を求めることにより、
例えば、各表示位置毎に「この部分の映像はどの位置か
ら見る人にとって最も重要な映像であるか」を考慮し、
その位置から観賞した時に高品質な映像が観賞できるよ
うな画像データを生成することができる。

【００８９】以下、図５〜図８を用いて、図４のステッ
プ４０３の処理の具体例について説明する。

【００９０】図５および図６および図８は、図１の左側
の、水槽から柱の部分を拡大して描いた平面図であり、
図７はさらにその一部分の、水槽の部分だけを拡大して
描いた平面図である。

【００９１】また、以下では説明を分かりやすくするた
め、視点の高さは床面を基準として一定値ｈとした。こ
の値ｈは、例えば、この映像空間がユーザとして主に成
人女性を対象とするものであれば、成人女性の視点の高
さの全国平均値などに設定すればよい。

【００９２】以下、視点位置に関する残りの２つのパラ
メタ（ｘｙｚ座標系を用いていた場合、高さ方向にｚ軸
を取るのであれば、ｘ座標とｙ座標）の求め方について
説明する。

【００９３】図５は本発明の第一の実施の形態における
画像生成処理において、視点パラメタの求め方の第一の
例を示す図である。

【００９４】図５においては、水槽の映像が表示されて
いる領域５０１に対しては視点位置５０２を、柱の映像
が表示されている領域５０３に対しては視点位置５０４
を、それぞれ透視変換の際に用いる視点パラメタ（の一
部である視点位置パラメタ）として用いる。

【００９５】視点位置５０２については、スクリーンの
他の部分に遮られることなく領域５０１全体を見渡すこ
とができる位置であれば、適当な評価基準に基づいて任
意の位置に設定することができる。視点位置５０４につ
いては、スクリーンの他の部分に遮られることなく領域
５０３全体を見渡すことができる位置であれば、適当な
評価基準に基づいて任意の位置に設定することができ
る。

【００９６】領域５０１と領域５０３とが画像表示面上
で連続している部分であるにもかかわらず、視点位置は
大きく変わるため、表示される映像は、特に領域５０１
と領域５０３の境界付近で、違和感のあるものとなる。
しかし、領域の分割位置が映像中の意味の区切りと一致
しているため、まったく無作意に領域の分割位置を決め
た場合に比べ、前記違和感の程度は小さい。

【００９７】このように、視点位置を離散的に設定する
場合には、各々の視点位置に基づいて生成する領域を、
映像中の意味の区切りと一致させることで、違和感の小
さい画像を生成することができる。

【００９８】なお、図４で説明したように、本発明の視
点パラメタ算出処理は各時刻毎に異なる処理とすること
ができる。したがって、映像中の意味の区切りが時間的
に変動する場合には、各々の視点位置に基づいて生成す
る領域も意味の区切りに合わせて変動させた上で、表示
位置と視点位置との対応を求めるようにすればよい。

【００９９】図６は本発明の第一の実施の形態における
画像生成処理において、視点パラメタの求め方の第二の
例を示す図である。

【０１００】図６において、画像表示面上の表示位置６
０１が与えられた場合に、まず、表示位置６０１におけ
るスクリーン１０１の接平面６０２を求める。次に、接
平面６０２と水平面に直角な平面６０３を求める。平面
６０３と、表示位置６０１を通る水平面との交線上で、
表示位置６０１から画像表示面側に所与の距離ｄだけ離
れた点を、ｘ座標およびｙ座標を保存したまま高さｈの
所に持ってきた点が点６０４であり、図６で示す第二の
例では、表示位置６０１に対して、この点６０４を視点
位置とする。

【０１０１】このように、視点位置をスクリーン面から
一定の距離だけ離して設定することにより、各映像領域
を各々に対応する視点位置から観賞するユーザに対し
て、ほぼ一様な精細度の映像を提供することができる。

【０１０２】ここで、距離ｄの値は、視点の高さを一定
値とした場合、つまり、対象が「成人女性」などとはっ
きりしている場合には、上下方向の視野がちょうどスク
リーン１０１上の画像表示領域の縦方向全体を覆う程度
となるように設定するのがよい。これより小さい値の場
合、つまり、視点位置をよりスクリーン１０１に近付け
た場合、対象とするユーザが理想的な視点位置から映像
を観賞した時に上下方向に映像が余ってしまうことにな
り、大きな画像表示領域の全体を有効に活かすことがで
きなくなってしまう。これより大きい値の場合、つま
り、視点位置をよりスクリーン１０１から遠ざけた場
合、ユーザが知覚する映像の精細度が低くなるととも
に、上下方向に関してユーザの視野全体を覆うことがで
きなくなるため、ユーザの感じる臨場感が低下してしま
う。

【０１０３】なお、対象が大人から子供まで様々であ
り、よって視点位置のｘ座標およびｙ座標およびｚ座標
のすべてを変動させる場合には、距離ｄの値は視点の高
さが一定の場合に比べ小さい値とするのがよい。これ
は、理想的な視点位置が上下に変動するため、視点の高
さが一定の場合と同じ値とすると、理想的な視点位置か
ら見た場合に上下方向に関してユーザの視野全体を覆う
ことができなくなるからである。

【０１０４】図７は本発明の第一の実施の形態における
画像生成処理において、視点パラメタの求め方の第三の
例を示す図である。図７は、図６において距離ｄの値を
大きくとった場合に対応する。

【０１０５】図７において、図６と同様の考え方で視点
位置のパラメタを求めると、表示位置がスクリーン１０
１上で表示位置７０１→表示位置７０２→表示位置７０
３→表示位置７０４→表示位置７０５→表示位置７０６
→表示位置７０７と移動するのに伴って、視点位置は点
７１１→点７１２→点７１３→点７１４→点７１５→点
７１２→点７１７と移動する。つまり、視点位置の移動
する軌跡７１０は、途中で交叉する。実際のスクリーン
の大きさにも依存するが、特にスクリーンが十分に大き
くない場合には、実際にユーザの視点位置の移動する軌
跡が軌跡７１０のようになるとは考え難い。したがっ
て、このような場合には、表示位置７０２から表示位置
７０３・表示位置７０４・表示位置７０５を経由して表
示位置７０６までの部分に関しては、一括して視点位置
を点７１２として生成することにする。つまり、視点位
置の移動する軌跡が、交叉のない、線状となるようにす
る。

【０１０６】このとき、視点位置７１１から映像を観賞
しながら歩いてきたユーザは、視点位置７１２で立ち止
まって、表示位置７０２から表示位置７０３・表示位置
７０４・表示位置７０５を経由して表示位置７０６に至
るまでの広い範囲に渡って表示された、まったく違和感
のない映像を観賞した後、視点位置７１７の方へと進ん
で行くことができる。

【０１０７】このように、スクリーンの曲率に基づい
て、領域毎に視点パラメタを求める方法を変えるように
してもよい。

【０１０８】図８は本発明の第一の実施の形態における
画像生成処理において、視点パラメタの求め方の第四の
例を示す図である。

【０１０９】図８は、本システムを地下歩道の側面の壁
などに適用する場合を想定したものである。この場合、
ユーザの視点位置の移動する軌跡は、例えば軌跡８０１
のように道に沿った直線であると仮定できる。

【０１１０】このような場合には、表示位置８０２に対
して、例えば、平面図上でもっとも近い軌跡８０１上の
点８０４のｘ座標およびｙ座標を、表示位置８０２に対
応する視点位置のｘ座標およびｙ座標とする。図８にお
いては、軌跡８０１を直線として仮定したため、点８０
４は、平面図上での表示位置８０２から軌跡８０１に対
して引いた垂線８０３の足として求めることができる。

【０１１１】このように、あらかじめユーザの視点位置
の移動する軌跡を仮定しておき、その軌跡上で視点位置
を定めるようにしてもよい。なお、この場合、あらかじ
め仮定する軌跡としては直線に限るものではなく、ま
た、表示位置と軌跡とから視点位置を定める方法として
は「平面図上で表示位置にもっとも近い、軌跡上の点」
に限るものではない。

【０１１２】以上、図６〜図８を用いて説明したよう
に、表示位置の連続的な変化に対して視点位置も連続的
に変化させることにより、スクリーンに表示される映像
は滑らかに繋がったものとなり、高い臨場感を保つこと
ができる。

【０１１３】なお、本発明による画像生成処理の本質
は、画像中の各画素に対して、該画素の画像表示面上で
の表示位置に応じて求めた視点パラメタを用いて該画素
の画素値を決定する、というところにあり、前記表示位
置から前記視点パラメタを求めるための具体的な実施方
法は、図５〜図８で示した方法に限るものではない。特
に、視点位置の高さは一定値に限るものではないし、ス
クリーンと視点位置との平面図上での距離ｄの決め方に
関しても、例示したものに限るものではない。

【０１１４】例えば、本発明は、ユーザの頭の位置を仮
定して、あらかじめステレオ画像を生成しておくような
場合にも適用することができる。表示位置とユーザの頭
の位置から、その表示位置をユーザが注視している場合
のユーザの頭の向いている方向が求められるため、そこ
から左右の視点位置をそれぞれ算出し、前記表示位置に
対応する画素の画素値を決めるようにすればよい。

【０１１５】図９は、平面スクリーン９０１・平面スク
リーン９０３・平面スクリーン９０５と円筒面スクリー
ン９０２・円筒面スクリーン９０４とを組み合わせて波
形スクリーンを構成した例である。ここで、円筒面スク
リーンとは、画像表示面が円筒面の一部となっているよ
うなスクリーンのことを意味するものとする。 ここ
で、各々の平面スクリーンは、それに隣接する円筒面ス
クリーンとの境界において、該境界位置における円筒面
の接平面に画像表示面が一致するように設置する。

【０１１６】このように、本発明における「波形スクリ
ーン」としては、平面スクリーンを含んだような構成と
してもよい。この場合、平面スクリーンとした部分で
は、画素の歪みが少ない、複数プロジェクタから投写さ
れている領域における重ね合わせが容易である、などの
効果を得ることができる。

【０１１７】以上、本発明の発明の実施の形態に基づく
説明によれば、本発明は、広範な表示領域に渡って画像
を表示するような分野、例えば、ショールームなどの壁
に大画面映像を表示するシステムや、銀行・空港などの
サービスカウンター下部を画像表示面として各種情報を
表示するシステム、地下歩道に沿って横長の映像を表示
するシステム、等に対して適用するのが特に好適であ
る。

【０１１８】また、本発明は前記発明の実施の形態に限
定されるものではなく、その要旨を逸脱しない範囲で種
々変更し得ることは言うまでもない。特に、本発明の画
像生成処理は、波形の画像表示面に表示するための画像
を生成する場合に限定されるものではなく、任意の形状
の画像表示面に対して、そこに表示するための画像を生
成する場合に適用し得るものである。

【０１１９】

【発明の効果】以上に述べたように、本発明によれば、
次のような効果が得られる。

【０１２０】まず、本発明の画像データ表示システム
は、スクリーンを波形にしたため、ユーザの視野の広い
範囲を映像で覆ったような空間を、ユーザが、スクリー
ンの近くで映像を観賞しながら、次々と渡り歩いていく
ことができる。

【０１２１】また、本発明の画像データ表示システム
は、画像データ変換手段を備え、画像データを該画像デ
ータ変換手段によって変換してスクリーンに表示する構
成としたため、実際に設置されたスクリーンおよびプロ
ジェクタの形状および配置に関して設計データに対する
誤差があった場合にも、画像データ制作者が意図した映
像をユーザに提供することができる。

【０１２２】また、本発明の画像データ表示システム
は、複数のプロジェクタを備え、該複数のプロジェクタ
をスクリーンの形状に合わせて配置したことにより、各
々の画素の歪みが少ないような映像をユーザに提供する
ことができる。

【０１２３】また、本発明の画像データ表示システム
は、画像データ変換手段と複数のプロジェクタを備え、
画像データを該画像データ変換手段によって変換してス
クリーンに表示する構成としたため、装置規模に依存せ
ずに高精細であり画素の歪みが少ないような映像を、ユ
ーザに提供することができる。

【０１２４】また、本発明の画像データ生成方法は、各
時刻毎に画素の表示位置に依存して求めた視点パラメタ
によって画素値を決定するようにしたため、各表示位置
毎に表示内容に合わせて「もっとも綺麗に見えて欲しい
人に対してもっとも綺麗に見える映像」が表示できるよ
うな画像データを生成することができる。

【０１２５】また、本発明の画像データ生成方法は、表
示位置の滑らかな変化に伴って視点パラメタも滑らかに
変化するようにしたため、画像データを視点位置を変化
させて生成しているにもかかわらず、画像表示領域全体
としては滑らかに繋がった映像を得ることができる。

【０１２６】また、本発明の画像データ生成方法は、視
点パラメタを離散的に変化させる場合に、映像中の意味
の区切りと、異なる視点パラメタで生成する表示領域の
境目とを、一致させることにより、まったく無作意に離
散的な視点パラメタを決める場合に比べ、映像全体とし
ての違和感の程度を小さくすることができる。

【図面の簡単な説明】

【図１】本発明によるシステムの第一の実施の形態を示
す概念図である。

【図２】本発明によるシステムの第一の実施の形態を示
す平面図である。

【図３】本発明の第一の実施の形態におけるシステム構
成を示すシステムブロック図である。

【図４】本発明の第一の実施の形態における画像生成処
理のフローチャートである。

【図５】本発明の第一の実施の形態における画像生成処
理において、視点パラメタの求め方の第一の例を示す図
である。

【図６】本発明の第一の実施の形態における画像生成処
理において、視点パラメタの求め方の第二の例を示す図
である。

【図７】本発明の第一の実施の形態における画像生成処
理において、視点パラメタの求め方の第三の例を示す図
である。

【図８】本発明の第一の実施の形態における画像生成処
理において、視点パラメタの求め方の第四の例を示す図
である。

【図９】本発明の第一の実施の形態によるシステムにお
いて、平面スクリーンを備えた場合のスクリーンの配置
例を示す平面図である。

【符号の説明】

１０１、９０１、９０２、９０３、９０４、９０５……
スクリーン ２０１、２０２、２０３、２０４、２０５、２０６、２
０７……プロジェクタ ３１３、３２３、３３３……画像データ変換手段 ５０２、５０４、６０４、８０４……視点位置 ７１１、７１２、７１３、７１４、７１５、７１７……
視点位置 ６０１、８０２……表示位置 ７０１、７０２、７０３、７０４、７０５、７０６、７
０７……表示位置 ６０５、７１０、８０１……視点位置の移動の軌跡

フロントページの続き Ｆターム(参考） 5C058 BA17 BA23 BA24 BA27 EA01 EA03 EA32 5C082 AA03 AA34 BA41 BD07 CB01 DA87 MM10 5G435 AA01 BB17 CC12 CC13 DD02 DD04 DD07 GG46 LL15

Claims (5)

【特許請求の範囲】
1. 【請求項１】凹部と凸部を有する表示画面を有する表示
   手段と、 前記表示手段に表示する画像データを予め与えられたパ
   ラメータに基づいて変換する画像変換手段とを有し、 変換された画像データは、前記表示画面の形状に合致す
   るよう前記表示手段にて表示されることを特徴とする画
   像データ表示システム。
2. 【請求項２】請求項１に記載の画像データ表示システム
   において、 前記表示手段は、画像データを表示するスクリーンおよ
   び前記スクリーンに画像データを投影する複数プロジェ
   クタから構成させることを特徴とする画像表示システ
   ム。
3. 【請求項３】請求項２に記載の画像表示システムにおい
   て、 前記複数のプロジェクタのうち、前記スクリーン上で投
   写領域が隣接するプロジェクタ同士に関しては、該投写
   領域が互いに重なりを持つように当該プロジェクタを設
   置することを特徴とする画像データ表示システム。
4. 【請求項４】視点パラメタに依存して仮想世界データか
   ら画像データを生成することを特徴とする画像データ生
   成方法であって、 前記画像データを構成する画素を少なくとも２つのグル
   ープに分類し、 該各々のグループ毎に独立な視点パラメタを決定し、各
   々の画素の画素値を該画素が属すグループに対応する前
   記視点パラメタに基づいて決定することを特徴とする画
   像データ生成方法。
5. 【請求項５】視点パラメタに依存して仮想世界データか
   ら画像データを生成することを特徴とする画像データ生
   成方法であって、 前記画像データを構成する各画素について該画素の前記
   画像データ内における位置に基づいて該画素に対応する
   視点パラメタを決定し、 該画素の画素値を該画素に対応する視点パラメタに基づ
   いて決定することを特徴とする画像データ生成方法。