JP3956561B2 - 画像データ表示システム及び画像データ生成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを表示するシステム、特にプロジェクタとスクリーンとを用いて画像データを表示するシステムに関する。また、本発明は、仮想世界データから画像データを生成する方法に関する。
【０００２】
【従来の技術】
プロジェクタとスクリーンとを用いた画像データ表示システムに関する従来技術には、次のようなものがある。
【０００３】
まず、特開平９−３２６９８１号公報に記載の「画像投影システム」や国際公開番号ＷＯ９９／３１８７７「マルチプロジェクション映像表示装置」がある。これらのシステムは、１つの大きな平面スクリーンに複数のプロジェクタを用いて画像データを投写し、大画面映像をユーザに提供するものである。あらかじめ計測しておいたデータに基づいて、投写する画像データに変換を施してから投写することにより、スクリーン上では、位置ずれや色調・輝度ずれのない、あたかも１つのプロジェクタから投写されたような大画面映像の提供を可能としている。
【０００４】
また、ユーザの視野の広い部分を覆うことにより、ユーザに高い臨場感を与えるシステムとして、特開平９−３１１３８３号公報に記載の映像表示システムを始めとした映像表示システムが知られている。これらは、球面スクリーンや円筒スクリーンなどの非平面スクリーンを用いたり、平面スクリーンを組み合わせたりすることにより、ある空間をスクリーンで囲むようにしたことに特徴がある。ユーザがこのスクリーンで囲まれた空間内において映像を観賞する場合、その視野の広い部分が映像で覆われることになり、高い臨場感を得ることができる。
【０００５】
これらのシステムで投写すべき画像データを、仮想世界データに基づいて生成する方法としては、両者に共通して、透視変換による方法が用いられている。ここで、透視変換を行う際に用いる理想視点パラメタとしては、システム毎に固有のパラメタ１つを定めておく場合と、ユーザの頭の動き（これからユーザの視点位置の概算値を求めることができる）に追従してリアルタイムで理想視点パラメタを変化させる場合の２つがある。
【０００６】
【発明が解決しようとする課題】
従来の画像データ表示システムを用いて、多人数のユーザに高い臨場感を与えるような映像を広い範囲に渡って表示しようとした場合、以下のような課題がある。
【０００７】
まず、１つの大きな平面スクリーンを使用した場合、ユーザの視野の十分な範囲を覆うことは困難であり、したがって、ユーザに高い臨場感を与えることは困難である。
【０００８】
また、ある空間をスクリーンで囲むようにした場合、ユーザの存在する空間がスクリーンで囲まれているため、ユーザが移動できる範囲が装置内に制限されてしまう。
【０００９】
ここで、ユーザの移動できる範囲を広げるために装置の規模を大きくすると、ユーザとスクリーンとの距離が離れてしまい、映像の細かな部分を知覚することができなくなる。すなわち、ユーザが知覚する映像の精細度が劣化する。
【００１０】
以上の考察から、画像データ表示システムに関して、本発明は以下を目的とする。
【００１１】
本発明の第１の目的は、多人数のユーザに高い臨場感を与えるような映像を広い範囲に渡って表示できるような画像データ表示システムを提供することにある。
【００１２】
本発明の第２の目的は、前記第１の目的を達成でき、かつ、システムを構成する各要素（例えばプロジェクタやスクリーン）の配置における誤差に依らず映像を正しい幾何形状で表示できるような、画像データ表示システムを提供することにある。
【００１３】
本発明の第３の目的は、プロジェクタとスクリーンを備えた画像データ表示システムであって、前記第１の目的を達成でき、かつ、プロジェクタの各々の画素の歪みが少ないような、画像データ表示システムを提供することにある。
【００１４】
本発明の第４の目的は、前記第３の目的を達成でき、かつ、映像が継目なく繋がって見えるような、画像データ表示システムを提供することにある。
【００１５】
次に、画像データ生成方法に関しては、以下のような課題がある。
【００１６】
透視変換による方法で画像データを生成し表示した場合、ユーザの実際の視点位置が理想視点位置から離れれば離れるほど大きな違和感を感じる。このことは、視点パラメタが固定の場合、特に大きな装置において、理想視点位置から離れた位置にいるユーザ（理想視点位置は１点であるため、ほとんどのユーザがこの条件に該当すると考えられる）の臨場感の低下につながる。また、あるユーザの頭の動きに追従してリアルタイムで理想視点位置を求め、その視点位置に基づいて映像を作っているような場合においても、頭の動きを追従されていない他の多くのユーザにとっては、表示された映像は違和感を感じるものであり、臨場感の低下を招くことになる。
【００１７】
以上の考察から、画像データ生成方法に関して、本発明は以下を目的とする。
【００１８】
本発明の第１の目的は、「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような、画像データ生成方法を提供することにある。
【００１９】
本発明の第２の目的は、前記第１の目的と同様に「この部分の映像はどの位置から見る人にとって重要な映像であるか」を考慮し、該位置から観賞した時に高品質な映像が観賞できるようにするとともに、さらに、画像表示領域全体としては滑らかに繋がった映像が得られるような、画像データ生成方法を提供することにある。
【００２０】
本発明の第３の目的は、画像表示面が凹状になっている部分では、広い視野角に渡って違和感のない映像が得られ、画像表示面が凹状になっている部分に繋がっている、画像表示面が凸状になっている部分では、隣接する凹状部分の映像に滑らかに繋がるような映像が得られるような、画像データ生成方法を提供することにある。
【００２１】
本発明の第４の目的は、時系列画像データの表示内容が途中で切り替わるような場合に、各々の内容に応じて見やすい映像が得られるような、画像データ生成方法を提供することにある。
【００２２】
【課題を解決するための手段】
本発明による画像データ表示システムは、前記の第１の目的を達成するため、画像表示面の形状を波形にした。
【００２３】
これにより、画像表示面が凹状となっている部分において、ユーザの視野の広い範囲を映像で覆うことができ、視野角の面ではユーザに高い臨場感を与えることが可能となる。
【００２４】
また、画像表示面が凹状となっている部分と画像表示面が凹状となっている部分との間を、画像表示面が凸状となっている部分を経由して滑らかに移動することができるため、ユーザは広い範囲を移動できる。
【００２５】
その際、ユーザは画像表示面に沿って、つまり、画像表示面との距離をほぼ一定に保ったまま、映像を観賞しながら移動することができる。すなわち、画像表示面との距離が離れることによる精細度の劣化は起こらない。
【００２６】
また、本発明による画像データ表示システムは、前記の第２の目的を達成するため、画像表示面の形状を波形にし、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とし、画像データを該画像データ変換手段によって変換した後に画像表示面に表示するようにした。
【００２７】
画像データ表示システムの各構成要素（例えばプロジェクタやスクリーン）を設計通りに設置することは難しいが、このような構成にすることにより、画像データ生成時に新規処理を加えることなしに、設置時の誤差を吸収した、正しい幾何形状の映像を表示できる。
【００２８】
また、本発明による画像データ表示システムは、前記の第３の目的を達成するため、波形の形状のスクリーンを備え、複数のプロジェクタを備え、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とした。前記複数のプロジェクタは、その複数の投写領域全体が、所与の画像表示領域全体を覆うように設置し、さらに、各々の投写領域には、前記画像変換手段によって変換された画像データが投写されるようにする。
【００２９】
このような構成とすることで、画像表示領域を細分し、その各々の部分領域に対して、プロジェクタの投写光が略正面から当たるようにすることができる。また、スクリーンの部分形状によって、その部分に投写するプロジェクタの密度を調節できる。例えば、スクリーンをプロジェクタの側から見た場合に、スクリーンが凸状となっている部分に投写するプロジェクタの密度を凹状となっている部分に投写するプロジェクタの密度に比べ高くすることができる。これらの結果、単独のプロジェクタで投写する場合に比べ、画素の歪みを低減させることができる。
【００３０】
また、本発明による画像データ表示システムは、前記の第４の目的を達成するため、波形の形状のスクリーンを備え、複数のプロジェクタを備え、さらに、所与のパラメタに基づいて画像データを変換する画像データ変換手段を備えた構成とした。前記複数のプロジェクタは、その複数の投写領域全体で画像表示領域全体を覆うように、かつ、投写領域が隣り合うプロジェクタ同士は、その投写領域が互いに重なりを持つように設置すし、さらに、各々の投写領域には、前記画像変換手段によって変換された画像データが投写されるようにする。
【００３１】
このような構成とすることで、前記の第３の目的を達成するための構成による効果に加え、さらに、互いに異なるプロジェクタから投写されている映像領域間の継目をなくすことができる。つまり、画像表示領域全体に渡って滑らかに繋がった映像を得ることができる。
【００３２】
次に、本発明による画像データ生成方法は、前記の第１の目的を達成するため、生成すべき画像データ中の画素をいくつかのグループに分類し、その各々のグループ毎に独立な視点パラメタを決定し、各画素の画素値は、該画素の属するグループに対応する視点パラメタに基づいて求めるようにした。
【００３３】
このような方法とすることで、表示内容など適当な基準に基づいて表示領域を分割し、分割された各表示領域毎に理想視点位置を定めることができる。すなわち、分割された各表示領域毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような画像データを生成することができる。
【００３４】
また、本発明による画像データ生成方法は、前記の第２の目的を達成するため、前記の第１の目的を達成するための方法において、各々のグループ毎に独立に決定していた視点パラメタを、各画素の画像表示面上の位置を考慮して滑らかに変化させるようにした。
【００３５】
このような方法とすることで、分割された各表示領域毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるように、かつ、画像表示領域全体として見た時には滑らかに繋がった映像が得られるように、画像データを生成することができる。
【００３６】
また、本発明による画像データ生成方法は、前記の第３の目的を達成するため、前記の第２の目的を達成するための方法において、画像表示面が凹状になっている部分は大きな表示領域を一つの単位として分割し、該分割に基づいて画像データ中の画素の分類を行い、画像表示面が凸状になっている部分は細かな表示領域を一つの単位として分割し、該分割に基づいて画像データ中の画素の分類を行うようにした。
【００３７】
このような方法とすることで、画像表示面が凹状になっている部分では、広い視野角に渡って、一つの視点パラメタに基づいて生成された画像データによる、違和感のない映像が得られ、画像表示面が凹状になっている部分に繋がっている、画像表示面が凸状になっている部分では、滑らかに変化する視点パラメタに基づいて生成された画像データにより、隣接する凹状部分の映像に滑らかに繋がるような映像が得られる。
【００３８】
また、本発明による画像データ生成方法は、前記の第４の目的を達成するため、時系列画像データの各時刻における視点パラメタの決定方法を表示内容に基づいて選択するようにした。
【００３９】
このような方法とすることで、例えば、画像表示領域全体を観賞して初めて意味を持つような表示内容の場合には、全体として１点だけ理想視点位置を定めて画像を生成することで、全体を観賞することが有意義であるような映像とすることができるし、意味の単位が局所的になった場合には、画素の分類を細分化して多くの視点パラメタに基づいて画像を生成することで、各々の局所的な部分を観賞する人にとって見やすい映像を表示することができる。
【００４０】
【発明の実施の形態】
以下、図１〜図８を用いて、本発明の第一の実施の形態による画像データ表示システム及び画像データ生成方法について詳細に説明する。
【００４１】
図１は、本発明によるシステムの第一の実施の形態を示す概念図である。
【００４２】
図１において、背面投射用スクリーン１０１は、水平面上に鉛直に立てられた、横断面が波形の柱状のスクリーンであり、その画像表示面上には、水族館の映像が表示されている。水族館の映像は、図の左から順に、水槽があり、続いて「順路」という張り紙がされた柱があり、続いて水槽がある、というものである。ユーザは、場所１１１から場所１１２を経て場所１１３へと、スクリーン１０１に沿って映像を観賞しながら移動することができる。
【００４３】
ここで、場所１１１や場所１１３では、スクリーン１０１がユーザに対して凹状となっているため、ユーザは視野の広い範囲をスクリーンに囲まれた状態で水槽の映像を観賞することができ、高い臨場感が得られる。
【００４４】
また、場所１１１と場所１１３の間は、場所１１２付近の凸状の部分を介して、スクリーン１０１や映像が滑らかに繋がっているため、映像を観賞しながら場所１１１から場所１１３への移動した場合に、スクリーンや映像の継目によって臨場感が低下するということはない。
【００４５】
図２は本発明によるシステムの第一の実施の形態を示す平面図である。
【００４６】
図２において、プロジェクタ２０１、プロジェクタ２０２、プロジェクタ２０３、プロジェクタ２０４、プロジェクタ２０５、プロジェクタ２０６、プロジェクタ２０７は、スクリーン１０１に対して画像表示面の裏側から画像データを投写するものである。
【００４７】
投写領域が隣接する各々のプロジェクタ対に関しては、その投写領域が互いに重なりを持つように設置する。また、画像データは、図３で詳細に説明する画像データ変換手段によって微調整された上で、投写領域の内部に投写されることになるため、各プロジェクタは、その投写領域が設計時の投写領域を包含するように設置する。
【００４８】
投写領域が隣接する各々のプロジェクタ対に関して、その投写領域を１画素より細かい精度でぴったり繋げることは、特に非平面スクリーンを用いた場合、非常に困難である。ほんの僅かでも誤差があると、どのプロジェクタからも投写されていない領域ができてしまい、隣接する映像同士の間に隙間ができ、臨場感が低下してしまう。投写領域が隣接する各々のプロジェクタ対に関しては、その投写領域が互いに重なりを持つように配置することで、隣接する映像同士の間に隙間ができることを防ぐことができる。
【００４９】
また、プロジェクタを設置する際には、その光軸とスクリーンとが略直角に交わるように設置するのがよい。これは、このように設置することにより、スクリーンに対して斜め方向から投写した場合に比べ、画素の歪みの度合いを小さくすることができるためである。
【００５０】
さらに、投写する画像データの重要度に差があるといった特別な場合を除けば、すべてのプロジェクタにおいて画像表示面上での画素の大きさが略一致するように配置するのがよい。このようにすることで、場所によらず一様な精細度の映像をユーザに提供することができる。具体的には、プロジェクタからスクリーンまでの距離の調整や、ズーム調整、あるいはプロジェクタから投写する画像データの解像度の調整、等によって実施することができる。
【００５１】
また、画素の歪みのことを考えた場合、画像を投射する側から見て凸状の部分に画像を投写するプロジェクタを、画像を投射する側から見て凹状の部分に画像を投射するプロジェクタに比べ、密に設置するのがよい。
【００５２】
図３は本発明の第一の実施の形態におけるシステム構成を示すシステムブロック図である。ただし、図２では７台のプロジェクタを備えたシステムとしたが、ここでは、説明が繁雑になるのを避けるため、プロジェクタが３台の場合について説明する。
【００５３】
図３において、コマンド入力手段３００は、システム管理者からの映像の再生開始および再生終了のコマンドを受理し、該コマンドを画像供給手段３１０および画像供給手段３２０および画像供給手段３３０に向けて出力するものである。
【００５４】
画像供給手段３１０は、画像データ３１１と同期制御手段３１２を備える。ここで、画像データ３１１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００５５】
画像供給手段３１０は、映像の再生開始および再生終了、および、画像供給手段３２０および画像供給手段３３０とのフレーム番号の同期を、同期制御手段３１２で管理しながら、画像データ３１１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３１３に向けて出力する。
【００５６】
画像データ変換手段３１３は、画像変換パラメタ３１４を備え、画像供給手段３１０から入力されたビットマップデータに、画像変換パラメタ３１４に基づいた変換を施して、プロジェクタ２０１に向けて出力する。
【００５７】
プロジェクタ２０１は、画像データ変換手段３１３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００５８】
画像供給手段３２０は、画像データ３２１と同期制御手段３２２を備える。ここで、画像データ３２１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００５９】
画像供給手段３２０は、映像の再生開始および再生終了、および、画像供給手段３３０および画像供給手段３１０とのフレーム番号の同期を、同期制御手段３２２で管理しながら、画像データ３２１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３２３に向けて出力する。
【００６０】
画像データ変換手段３２３は、画像変換パラメタ３２４を備え、画像供給手段３２０から入力されたビットマップデータに、画像変換パラメタ３２４に基づいた変換を施して、プロジェクタ２０２に向けて出力する。
【００６１】
プロジェクタ２０２は、画像データ変換手段３２３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００６２】
画像供給手段３３０は、画像データ３３１と同期制御手段３３２を備える。ここで、画像データ３３１は時系列画像データであり、フレーム番号と対応するビットマップデータが生成できるものであれば、何らかの方法で圧縮されたものであってもよい。
【００６３】
画像供給手段３３０は、映像の再生開始および再生終了、および、画像供給手段３１０および画像供給手段３２０とのフレーム番号の同期を、同期制御手段３３２で管理しながら、画像データ３３１のうち適切なフレーム番号に対応するビットマップデータを生成し、画像データ変換手段３３３に向けて出力する。
【００６４】
画像データ変換手段３３３は、画像変換パラメタ３３４を備え、画像供給手段３３０から入力されたビットマップデータに、画像変換パラメタ３３４に基づいた変換を施して、プロジェクタ２０３に向けて出力する。
【００６５】
プロジェクタ２０３は、画像データ変換手段３３３から入力された、変換を施されたビットマップデータを、スクリーン１０１に向けて投写する。
【００６６】
なお、画像データ３１１等を生成するための方法については、図４〜図８において詳細に説明する。これらのデータは、あらかじめ作成しておくこともできるし、必要になる度にフレーム毎に作成してもよい。
【００６７】
ここで、画像データ変換手段がビットマップデータに施す変換としては、幾何変換と色変換がある。幾何変換は、例えば、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差分を補正するための変換である。色変換は、例えば、個々のプロジェクタの表示領域内の色むらや、プロジェクタの個体差による色調の違いを補正するための変換であり、また、複数のプロジェクタから投写されて明るくなっている部分を、１台のプロジェクタから投写されている部分と同じ程度の明るさにするための、ブレンディング処理を行うための変換である。
【００６８】
このような機能を備える画像データ変換手段としては、例えば、特開平９−３２６９８１号公報に記載の「画像投影システム」や国際公開番号ＷＯ９９／３１８７７「マルチプロジェクション映像表示装置」などに公開されている技術を用いることができる。これらの技術を任意の形状のスクリーンに対して応用することは、スクリーン形状が既知であれば、容易である。
【００６９】
なお、画像データ変換手段３１３等と同じ変換を施すエミュレーションソフトウェアによって、画像変換パラメタ３１４等に基づいた変換を、あらかじめ画像データ３１１等に施したものを、改めて画像データ３１１等として保存しておき、画像再生時には、画像供給手段３１０等の出力するビットマップデータを、直接プロジェクタ２０１等に入力し、投写するようにしてもよい。
【００７０】
なお、プロジェクタが画像データ変換手段の機能を備えるようにしてもよい。その場合、例えば、画像供給手段から入力されたビットマップデータに対して、「輝度調整のための色変換」以外の変換を施したビットマップデータを投写し、輝度調整のための色変換に関しては投写後に光学フィルタによって光学的に変換する、といったことも可能である。
【００７１】
このような構成とした場合、次のような効果がある。例えば、プロジェクタとして液晶プロジェクタを用いた場合、光源からの光の洩れが原因で、全画素の画素値を（Ｒ，Ｇ，Ｂ）＝（０，０，０）とした画像を表示した場合にも、輝度が０にはならない。この場合、２台以上のプロジェクタの投写領域となっている領域は、１台だけのプロジェクタの投写領域となっている領域に比べ、明るくなってしまう。この輝度の違いを吸収するためには、ビットマップデータを変換してから投写する方法の場合、１台だけのプロジェクタの投写領域となっている領域の輝度を上げることで調節する必要があるため、コントラストの低下を招く。これに対して、ビットマップデータを投写してから輝度調整のための色変換を施す場合には、２台以上のプロジェクタの投写領域となっている領域の輝度を下げることができるため、コントラストを低下させずに輝度の違いを吸収することができる。
【００７２】
なお、スクリーンの曲率が小さい場合などで、画素の歪みの度合いが許容できる程度である場合には、プロジェクタを１台とし、該プロジェクタからスクリーンの画像表示面全体に画像を投写するようにしてもよい。その場合、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差の影響が軽微であれば、画像データ変換手段を用いずに、画像供給手段が出力したビットマップデータを、そのままプロジェクタから投写するようにしてもよい。
【００７３】
また、プロジェクタとしてＣＲＴ方式のプロジェクタを使う場合などで、プロジェクタが備える歪み補正機能により形状を補正することにより、境界部分の映像に関して許容できる程度の画質を得られる場合には、投写領域が隣接する各々のプロジェクタ対に関して、投写領域が互いに重なりを持つように設置しなくてもよく、さらに、画像データ変換手段を用いずに、画像供給手段が出力したビットマップデータを、そのままプロジェクタから投写するようにしてもよい。
【００７４】
また、図３においては各々のプロジェクタ毎に画像供給手段と画像データ変換手段を備える構成としたが、複数のプロジェクタに対して１つの画像供給手段と１つの１入力多出力な画像データ変換手段を備え、該画像データ変換手段は、前記画像供給手段からビットマップデータを入力し、画像変換パラメタによって該ビットマップデータを変換した上で、前記複数のプロジェクタの各々に適切なビットマップデータを出力するような構成としてもよい。なお、この場合の「変換」は、各々のプロジェクタへの出力毎に独立な画像変換パラメタを持つことにより、各々のプロジェクタ毎に画像供給手段と画像データ変換手段を備える構成とした場合と同様に実施することができる。
【００７５】
図４は本発明の第一の実施の形態における画像生成処理のフローチャートである。この画像生成処理は、時系列画像データのうち１フレーム分を生成するための処理について説明したものであり、この処理を各フレーム毎に繰り返すことで、時系列画像データ全体を生成することができる。なお、スクリーンおよびプロジェクタの形状および配置に関するデータの、設計値からの誤差の影響に関しては、図３で説明したとおり、画像データ変換手段によるビットマップデータの変換によって取り除くことができるため、以下では、スクリーンおよびプロジェクタの形状および配置に関するデータは、設計値を使って考えればよい。
【００７６】
ステップ４００において画像生成処理が開始されると、まずステップ４０１において、まだ画素値の決まっていない画素を選択する。次に、ステップ４０２において、選択された画素がスクリーンの画像表示面上のどの位置に表示されるべきものであるかを計算する。次に、ステップ４０３において、ステップ４０２で算出された表示位置に基づいて、視点パラメタ、特に、視点位置をどこに設定するか、を計算する。ステップ４０３の処理の具体的な例に関しては、図５〜図８において詳細に説明する。次に、ステップ４０４において、ステップ４０３で算出した視点位置に基づいて、仮想世界データから、透視変換の原理を用いて、選択した画素の画素値を計算する。
【００７７】
ここで、バーチャルリアリティの分野などで透視変換の原理を用いて画像を生成する場合と同様に、現実世界におけるスクリーン形状と仮想世界における画像生成面の形状とは、相似比Ｒの相似関係にあり、現実世界における視点位置とスクリーンとの位置および向きの関係と、仮想世界における視点位置と画像生成面との位置および向きの関係とは、やはり相似比Ｒの相似関係にある。図４の画像生成処理を開始する前に、表示したい内容に合わせて、当該フレームの画像をどのような画像生成面の配置に基づいて生成するか、を決めておいた上で、ステップ４０４では、上記関係に基づいて、ステップ４０３で算出した現実世界における視点位置を仮想世界における視点位置に変換し、画素値を計算するようにすればよい。
【００７８】
続いて、ステップ４０５において、すべての画素について画素値を計算したかどうかを判定する。画素値が求まっていない画素が存在する場合にはステップ４０１へ戻って以上の処理を繰り返し、全画素について画素値が求まった場合には、画像生成処理を終了する（ステップ４０６）。
【００７９】
ここで、仮想世界データとは、現在バーチャルリアリティなどの分野で広く使われているようなものであり、例えば、３次元データ（物体の形状データおよび位置・姿勢のデータ）を含むようなものである。仮想世界データには、３次元データの他に、テクスチャデータや光源データも含まれることが多い。これらのデータは、各時刻毎に変化してよく、さらに、ユーザからのコマンドによって変化するようにしてもよい。なお、文字などの２次元データを表示させたい場合には、それをテクスチャとして看板状の物体に貼りつけ、仮想世界を表す３次元空間内に配置すればよい。
【００８０】
また、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理は、各時刻毎に異なる処理とすることができる。
【００８１】
表示位置算出処理を各時刻毎に異なる処理にできるため、例えば、各時刻毎に投写する画像の解像度を変更することができる。
【００８２】
視点パラメタ算出処理を各時刻毎に異なる処理にできるため、例えば、表示内容にしたがって視点パラメタの求め方を変えることができる。
【００８３】
これは、例えば、次のようなことができる。本発明を銀行のサービスカウンタに適用した場合（カウンタの机の下の部分を波形スクリーンにする）に、利率や為替レートなどを画像表示面全体に表示するパターン（パターン４５１）と、画像表示領域を複数領域に分割し書類の書き方などを複数表示するパターン（パターン４５２）とを交互に表示するとする。この場合、パターン４５１に対しては、視点パラメタを１つ決めて、従来の方法と同様に、画像全体をその１つの視点パラメタに基づいて生成し、パターン４５２に対しては、分割した表示領域の各々に対して対応する視点パラメタを決めて、各々に対応する該視点パラメタに基づいて、各々の表示領域毎に対応する部分の画像を生成する。 このようにすることで、利率などの大域的な情報については（理想視点位置から）全体を観賞した時に正しく見えるような画像を生成することができ、また、書類の書き方などの局所的な情報については、その情報を利用するであろうユーザにとって正しく見えるような画像を生成することができる。
【００８４】
また、視点パラメタ算出処理を各時刻毎に異なる処理にできるため、本発明は、例えば、複数のユーザの各々に対してヘッドトラッキング技術により頭の動きを求めてやり、時分割でステレオ画像を表示するような場合にも適用することができる。各々のユーザの視点位置（例えば、奇数フレームであれば左目の位置であるし、偶数フレームであれば右目の位置である）を算出した後、各々のユーザの正面付近に表示される画像領域に関してはそのユーザの視点位置に基づいて画素値を決定し、その他の部分に関しては、隣接するユーザ同士の視点位置から補間して、表示位置の変化に伴って滑らかに変化するように視点位置を決め、該視点位置に基づいて画素値を求めるようにすればよい。
【００８５】
なお、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理が時刻に依存しない場合には、あらかじめ表示位置算出処理および視点パラメタ算出処理を行って、画素位置から視点パラメタを参照できるようなテーブルを作成しておき、ステップ４０２およびステップ４０３の処理の代わりに該テーブルから視点パラメタを求めるようにしてもよい。このようにすることにより、１画素あたりの処理を軽減することができる。
【００８６】
また、ステップ４０２の表示位置算出処理、および、ステップ４０３の視点パラメタ算出処理が時刻に依存する場合であっても、処理のパターンが少ない場合には、各パターンに各々唯一のパターン識別子を割り当てておき、各々のパターン毎にあらかじめ表示位置算出処理および視点パラメタ算出処理を行って、画素とパターン識別子から視点パラメタを参照できるようなテーブルを作成しておき、ステップ４０２およびステップ４０３の処理の代わりに該テーブルから視点パラメタを求めるようにしてもよい。このようにすることにより、処理を軽減することができる。
【００８７】
また、複数の画素の画素値を同一の視点パラメタに基づいて求める場合には、画素値を求めるための視点パラメタが同一であるような画素を集めて各々グループを形成し、各々のグループ毎に１度だけ表示位置算出処理および視点パラメタ算出処理を行うようにすればよい。なお、この方法が上記テーブルを作成する方法のどちらとも両立することは、言うまでもない。
【００８８】
以上のように、視点パラメタを画素の表示位置に応じて設定した上で画素値を求めることにより、例えば、各表示位置毎に「この部分の映像はどの位置から見る人にとって最も重要な映像であるか」を考慮し、その位置から観賞した時に高品質な映像が観賞できるような画像データを生成することができる。
【００８９】
以下、図５〜図８を用いて、図４のステップ４０３の処理の具体例について説明する。
【００９０】
図５および図６および図８は、図１の左側の、水槽から柱の部分を拡大して描いた平面図であり、図７はさらにその一部分の、水槽の部分だけを拡大して描いた平面図である。
【００９１】
また、以下では説明を分かりやすくするため、視点の高さは床面を基準として一定値ｈとした。この値ｈは、例えば、この映像空間がユーザとして主に成人女性を対象とするものであれば、成人女性の視点の高さの全国平均値などに設定すればよい。
【００９２】
以下、視点位置に関する残りの２つのパラメタ（ｘｙｚ座標系を用いていた場合、高さ方向にｚ軸を取るのであれば、ｘ座標とｙ座標）の求め方について説明する。
【００９３】
図５は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第一の例を示す図である。
【００９４】
図５においては、水槽の映像が表示されている領域５０１に対しては視点位置５０２を、柱の映像が表示されている領域５０３に対しては視点位置５０４を、それぞれ透視変換の際に用いる視点パラメタ（の一部である視点位置パラメタ）として用いる。
【００９５】
視点位置５０２については、スクリーンの他の部分に遮られることなく領域５０１全体を見渡すことができる位置であれば、適当な評価基準に基づいて任意の位置に設定することができる。視点位置５０４については、スクリーンの他の部分に遮られることなく領域５０３全体を見渡すことができる位置であれば、適当な評価基準に基づいて任意の位置に設定することができる。
【００９６】
領域５０１と領域５０３とが画像表示面上で連続している部分であるにもかかわらず、視点位置は大きく変わるため、表示される映像は、特に領域５０１と領域５０３の境界付近で、違和感のあるものとなる。しかし、領域の分割位置が映像中の意味の区切りと一致しているため、まったく無作意に領域の分割位置を決めた場合に比べ、前記違和感の程度は小さい。
【００９７】
このように、視点位置を離散的に設定する場合には、各々の視点位置に基づいて生成する領域を、映像中の意味の区切りと一致させることで、違和感の小さい画像を生成することができる。
【００９８】
なお、図４で説明したように、本発明の視点パラメタ算出処理は各時刻毎に異なる処理とすることができる。したがって、映像中の意味の区切りが時間的に変動する場合には、各々の視点位置に基づいて生成する領域も意味の区切りに合わせて変動させた上で、表示位置と視点位置との対応を求めるようにすればよい。
【００９９】
図６は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第二の例を示す図である。
【０１００】
図６において、画像表示面上の表示位置６０１が与えられた場合に、まず、表示位置６０１におけるスクリーン１０１の接平面６０２を求める。次に、接平面６０２と水平面に直角な平面６０３を求める。平面６０３と、表示位置６０１を通る水平面との交線上で、表示位置６０１から画像表示面側に所与の距離ｄだけ離れた点を、ｘ座標およびｙ座標を保存したまま高さｈの所に持ってきた点が点６０４であり、図６で示す第二の例では、表示位置６０１に対して、この点６０４を視点位置とする。
【０１０１】
このように、視点位置をスクリーン面から一定の距離だけ離して設定することにより、各映像領域を各々に対応する視点位置から観賞するユーザに対して、ほぼ一様な精細度の映像を提供することができる。
【０１０２】
ここで、距離ｄの値は、視点の高さを一定値とした場合、つまり、対象が「成人女性」などとはっきりしている場合には、上下方向の視野がちょうどスクリーン１０１上の画像表示領域の縦方向全体を覆う程度となるように設定するのがよい。これより小さい値の場合、つまり、視点位置をよりスクリーン１０１に近付けた場合、対象とするユーザが理想的な視点位置から映像を観賞した時に上下方向に映像が余ってしまうことになり、大きな画像表示領域の全体を有効に活かすことができなくなってしまう。これより大きい値の場合、つまり、視点位置をよりスクリーン１０１から遠ざけた場合、ユーザが知覚する映像の精細度が低くなるとともに、上下方向に関してユーザの視野全体を覆うことができなくなるため、ユーザの感じる臨場感が低下してしまう。
【０１０３】
なお、対象が大人から子供まで様々であり、よって視点位置のｘ座標およびｙ座標およびｚ座標のすべてを変動させる場合には、距離ｄの値は視点の高さが一定の場合に比べ小さい値とするのがよい。これは、理想的な視点位置が上下に変動するため、視点の高さが一定の場合と同じ値とすると、理想的な視点位置から見た場合に上下方向に関してユーザの視野全体を覆うことができなくなるからである。
【０１０４】
図７は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第三の例を示す図である。図７は、図６において距離ｄの値を大きくとった場合に対応する。
【０１０５】
図７において、図６と同様の考え方で視点位置のパラメタを求めると、表示位置がスクリーン１０１上で表示位置７０１→表示位置７０２→表示位置７０３→表示位置７０４→表示位置７０５→表示位置７０６→表示位置７０７と移動するのに伴って、視点位置は点７１１→点７１２→点７１３→点７１４→点７１５→点７１２→点７１７と移動する。つまり、視点位置の移動する軌跡７１０は、途中で交叉する。実際のスクリーンの大きさにも依存するが、特にスクリーンが十分に大きくない場合には、実際にユーザの視点位置の移動する軌跡が軌跡７１０のようになるとは考え難い。したがって、このような場合には、表示位置７０２から表示位置７０３・表示位置７０４・表示位置７０５を経由して表示位置７０６までの部分に関しては、一括して視点位置を点７１２として生成することにする。つまり、視点位置の移動する軌跡が、交叉のない、線状となるようにする。
【０１０６】
このとき、視点位置７１１から映像を観賞しながら歩いてきたユーザは、視点位置７１２で立ち止まって、表示位置７０２から表示位置７０３・表示位置７０４・表示位置７０５を経由して表示位置７０６に至るまでの広い範囲に渡って表示された、まったく違和感のない映像を観賞した後、視点位置７１７の方へと進んで行くことができる。
【０１０７】
このように、スクリーンの曲率に基づいて、領域毎に視点パラメタを求める方法を変えるようにしてもよい。
【０１０８】
図８は本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第四の例を示す図である。
【０１０９】
図８は、本システムを地下歩道の側面の壁などに適用する場合を想定したものである。この場合、ユーザの視点位置の移動する軌跡は、例えば軌跡８０１のように道に沿った直線であると仮定できる。
【０１１０】
このような場合には、表示位置８０２に対して、例えば、平面図上でもっとも近い軌跡８０１上の点８０４のｘ座標およびｙ座標を、表示位置８０２に対応する視点位置のｘ座標およびｙ座標とする。図８においては、軌跡８０１を直線として仮定したため、点８０４は、平面図上での表示位置８０２から軌跡８０１に対して引いた垂線８０３の足として求めることができる。
【０１１１】
このように、あらかじめユーザの視点位置の移動する軌跡を仮定しておき、その軌跡上で視点位置を定めるようにしてもよい。なお、この場合、あらかじめ仮定する軌跡としては直線に限るものではなく、また、表示位置と軌跡とから視点位置を定める方法としては「平面図上で表示位置にもっとも近い、軌跡上の点」に限るものではない。
【０１１２】
以上、図６〜図８を用いて説明したように、表示位置の連続的な変化に対して視点位置も連続的に変化させることにより、スクリーンに表示される映像は滑らかに繋がったものとなり、高い臨場感を保つことができる。
【０１１３】
なお、本発明による画像生成処理の本質は、画像中の各画素に対して、該画素の画像表示面上での表示位置に応じて求めた視点パラメタを用いて該画素の画素値を決定する、というところにあり、前記表示位置から前記視点パラメタを求めるための具体的な実施方法は、図５〜図８で示した方法に限るものではない。特に、視点位置の高さは一定値に限るものではないし、スクリーンと視点位置との平面図上での距離ｄの決め方に関しても、例示したものに限るものではない。
【０１１４】
例えば、本発明は、ユーザの頭の位置を仮定して、あらかじめステレオ画像を生成しておくような場合にも適用することができる。表示位置とユーザの頭の位置から、その表示位置をユーザが注視している場合のユーザの頭の向いている方向が求められるため、そこから左右の視点位置をそれぞれ算出し、前記表示位置に対応する画素の画素値を決めるようにすればよい。
【０１１５】
図９は、平面スクリーン９０１・平面スクリーン９０３・平面スクリーン９０５と円筒面スクリーン９０２・円筒面スクリーン９０４とを組み合わせて波形スクリーンを構成した例である。ここで、円筒面スクリーンとは、画像表示面が円筒面の一部となっているようなスクリーンのことを意味するものとする。 ここで、各々の平面スクリーンは、それに隣接する円筒面スクリーンとの境界において、該境界位置における円筒面の接平面に画像表示面が一致するように設置する。
【０１１６】
このように、本発明における「波形スクリーン」としては、平面スクリーンを含んだような構成としてもよい。この場合、平面スクリーンとした部分では、画素の歪みが少ない、複数プロジェクタから投写されている領域における重ね合わせが容易である、などの効果を得ることができる。
【０１１７】
以上、本発明の発明の実施の形態に基づく説明によれば、本発明は、広範な表示領域に渡って画像を表示するような分野、例えば、ショールームなどの壁に大画面映像を表示するシステムや、銀行・空港などのサービスカウンター下部を画像表示面として各種情報を表示するシステム、地下歩道に沿って横長の映像を表示するシステム、等に対して適用するのが特に好適である。
【０１１８】
また、本発明は前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更し得ることは言うまでもない。特に、本発明の画像生成処理は、波形の画像表示面に表示するための画像を生成する場合に限定されるものではなく、任意の形状の画像表示面に対して、そこに表示するための画像を生成する場合に適用し得るものである。
【０１１９】
【発明の効果】
以上に述べたように、本発明によれば、次のような効果が得られる。
【０１２０】
まず、本発明の画像データ表示システムは、スクリーンを波形にしたため、ユーザの視野の広い範囲を映像で覆ったような空間を、ユーザが、スクリーンの近くで映像を観賞しながら、次々と渡り歩いていくことができる。
【０１２１】
また、本発明の画像データ表示システムは、画像データ変換手段を備え、画像データを該画像データ変換手段によって変換してスクリーンに表示する構成としたため、実際に設置されたスクリーンおよびプロジェクタの形状および配置に関して設計データに対する誤差があった場合にも、画像データ制作者が意図した映像をユーザに提供することができる。
【０１２２】
また、本発明の画像データ表示システムは、複数のプロジェクタを備え、該複数のプロジェクタをスクリーンの形状に合わせて配置したことにより、各々の画素の歪みが少ないような映像をユーザに提供することができる。
【０１２３】
また、本発明の画像データ表示システムは、画像データ変換手段と複数のプロジェクタを備え、画像データを該画像データ変換手段によって変換してスクリーンに表示する構成としたため、装置規模に依存せずに高精細であり画素の歪みが少ないような映像を、ユーザに提供することができる。
【０１２４】
また、本発明の画像データ生成方法は、各時刻毎に画素の表示位置に依存して求めた視点パラメタによって画素値を決定するようにしたため、各表示位置毎に表示内容に合わせて「もっとも綺麗に見えて欲しい人に対してもっとも綺麗に見える映像」が表示できるような画像データを生成することができる。
【０１２５】
また、本発明の画像データ生成方法は、表示位置の滑らかな変化に伴って視点パラメタも滑らかに変化するようにしたため、画像データを視点位置を変化させて生成しているにもかかわらず、画像表示領域全体としては滑らかに繋がった映像を得ることができる。
【０１２６】
また、本発明の画像データ生成方法は、視点パラメタを離散的に変化させる場合に、映像中の意味の区切りと、異なる視点パラメタで生成する表示領域の境目とを、一致させることにより、まったく無作意に離散的な視点パラメタを決める場合に比べ、映像全体としての違和感の程度を小さくすることができる。
【図面の簡単な説明】
【図１】本発明によるシステムの第一の実施の形態を示す概念図である。
【図２】本発明によるシステムの第一の実施の形態を示す平面図である。
【図３】本発明の第一の実施の形態におけるシステム構成を示すシステムブロック図である。
【図４】本発明の第一の実施の形態における画像生成処理のフローチャートである。
【図５】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第一の例を示す図である。
【図６】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第二の例を示す図である。
【図７】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第三の例を示す図である。
【図８】本発明の第一の実施の形態における画像生成処理において、視点パラメタの求め方の第四の例を示す図である。
【図９】本発明の第一の実施の形態によるシステムにおいて、平面スクリーンを備えた場合のスクリーンの配置例を示す平面図である。
【符号の説明】
１０１、９０１、９０２、９０３、９０４、９０５……スクリーン
２０１、２０２、２０３、２０４、２０５、２０６、２０７……プロジェクタ
３１３、３２３、３３３……画像データ変換手段
５０２、５０４、６０４、８０４……視点位置
７１１、７１２、７１３、７１４、７１５、７１７……視点位置
６０１、８０２……表示位置
７０１、７０２、７０３、７０４、７０５、７０６、７０７……表示位置
６０５、７１０、８０１……視点位置の移動の軌跡

Claims (12)

1. 画像生成装置が生成した画像を表示部に表示する画像表示システムにおいて、
   前記画像生成装置は、
   前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
   前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、
   前記画像の各画素を表示すべき前記表示部上の位置を算出する算出部を備え、
   前記設定部は、前記算出部により算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像表示システム。
2. 前記設定部は、所定の時間毎に異なる処理を行う、
   請求項１記載の画像表示システム。
3. 鑑賞者の視点位置を検出する検出部を更に備え、
   前記設定部は、前記表示部上の位置と、前記検出部の検出した視点位置とに基づいて、
   各画素の視点パラメタを設定する、請求項２記載の画像表示システム。
4. 前記表示部は、凹部と凸部を備える、
   請求項１乃至３記載の画像表示システム。
5. 画像生成装置が生成した画像を表示部に表示する画像表示システムにおいて、
   前記画像生成装置は、
   前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
   前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、を備え、
   前記設定部は、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像表示システム。
6. 前記視点パラメタは、視点位置を表すパラメタである、請求項１乃至５記載の画像表示システム。
7. 表示部で表示するための画像を生成する画像生成装置において、
   前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
   前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、
   前記画像の各画素を表示すべき前記表示部上の位置を算出する算出部を備え、
   前記設定部は、前記算出部により算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像生成装置。
8. 表示部で表示するための画像を生成する画像生成装置において、
   前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定部と、
   前記設定部により設定された視点パラメタに基づいて、前記画素の画素値を決定する決定部と、を備え、
   前記設定部は、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像表示システム。
9. 表示部で表示するための画像を生成する画像生成方法において、
   前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定ステップと、
   前記設定ステップにより設定された視点パラメタに基づいて、前記画素の画素値を決定する決定ステップと、
   前記画像の各画素を表示すべき前記表示部上の位置を算出する算出ステップを備え、
   前記設定ステップは、前記算出ステップにより算出された位置、及び、前記表示部の曲率に基づいて、各画素の視点パラメタを設定する、画像生成方法。
10. 表示部で表示するための画像を生成する画像生成方法において、
    前記画像の各画素を表示すべき前記表示部上の位置に基づいて、当該画素に対応する視点パラメタを設定する設定ステップと、
    前記設定ステップにより設定された視点パラメタに基づいて、前記画素の画素値を決定する決定ステップと、を備え、
    前記設定ステップは、前記表示部上の位置に関して滑らかに変化するように前記視点パラメタを設定する、画像生成方法。
11. 表示部で表示するための画像を生成する機能をコンピュータに実現させるためのプログラムを格納する記憶媒体において、
    前記画像の各画素を表示すべき前記表示部上の位置を算出する算出機能、
    前記算出機能により算出された位置、及び、前記表示部の曲率に基づいて、前記各画素に対応する視点パラメタを設定する設定機能、及び、
    前記設定機能により設定された視点パラメタに基づいて、前記各画素の画素値を決定する決定機能、をコンピュータに実現させるためのプログラムを格納する記憶媒体。
12. 表示部で表示するための画像を生成する機能をコンピュータに実現させるためのプログラムを格納する記憶媒体において、
    前記画像の各画素を表示すべき前記表示部上の位置に基づいて、前記表示部上の位置に関して滑らかに変化するように、前記各画素に対応する視点パラメタを設定する設定機能と、
    前記設定機能により設定された視点パラメタに基づいて、前記各画素の画素値を決定する決定機能と、をコンピュータに実現させるためのプログラムを格納する記憶媒体。

Images