JP5061227B2 - Video signal processing apparatus and virtual reality generation system - Google Patents
Video signal processing apparatus and virtual reality generation system Download PDFInfo
- Publication number
- JP5061227B2 JP5061227B2 JP2010219146A JP2010219146A JP5061227B2 JP 5061227 B2 JP5061227 B2 JP 5061227B2 JP 2010219146 A JP2010219146 A JP 2010219146A JP 2010219146 A JP2010219146 A JP 2010219146A JP 5061227 B2 JP5061227 B2 JP 5061227B2
- Authority
- JP
- Japan
- Prior art keywords
- distortion correction
- video signal
- output
- pixel
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、平面映像信号を任意形状のスクリーンに投射しても、歪みなく映し出すことができるように、入力映像信号に予め歪み補正を施す映像信号処理装置、それを用いて構成される仮想現実感生成システムに関する。 The present invention relates to a video signal processing apparatus that performs distortion correction on an input video signal in advance so that even if a flat video signal is projected onto a screen having an arbitrary shape, the virtual reality configured using the video signal processing apparatus. It relates to a feeling generation system.
任意形状のスクリーンへ歪み無く映像を投射する技術は、仮想現実感生成装置で既に実用化されている。例えば、その先行技術としては、特許文献1等が挙げられる。これらの仮想現実感生成装置では、入力映像信号が、当該仮想現実感生成装置用に生成したCGの信号であったり、DV信号であった。また、歪み無く映像を投影するための歪み補正の関係式(歪み補正の前後の映像同士の関連の記述、歪み補正テーブル)の生成は、当該システムの内部で行っていた。
A technique for projecting an image onto a screen having an arbitrary shape without distortion has already been put into practical use in a virtual reality generation apparatus. For example,
しかしながら、上述した技術では、入力可能な映像信号が限定されていたり、歪み補正の関係式の生成を同一システム内で行うため、3次元の計算処理を行うことが必要となり、システムが複雑になったり、高スペックの機器が必要となったりする。 However, in the above-described technique, the video signals that can be input are limited, and since the relational expression for distortion correction is generated in the same system, it is necessary to perform a three-dimensional calculation process, which complicates the system. Or high-spec equipment is required.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、歪み補正のための処理を外部で行った結果を利用することによって、複雑な3次元処理などを行うことなく簡単な歪み補正処理を行うことができる映像信号処理装置、仮想現実感生成システムを提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and by using the result of externally performing distortion correction processing, simple distortion can be performed without performing complicated three-dimensional processing. An object of the present invention is to provide a video signal processing apparatus and a virtual reality generation system capable of performing correction processing.
上記の課題を解決する第1の発明に係る映像信号処理装置は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、前記歪み補正テーブルには、前記平面映像信号の入力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行うことを特徴とする。 A video signal processing apparatus according to a first invention for solving the above-mentioned problems is a video signal processing apparatus that outputs an output video signal for projecting video light onto a projection surface of an arbitrary shape to a projection means, and is a planar projection surface A distortion correction table which is a correspondence map between a video signal input means for inputting a plane video signal for projecting video light onto a plane and a mesh model of a plane projection plane and the projection plane of the arbitrary shape, With reference to the external input means for inputting a distortion correction table for performing distortion correction processing on the planar video signal input by the input means from the outside, and the distortion correction table input by the external input means, the video signal input means Distortion correction means for performing distortion correction processing for each pixel of the input planar video signal to create an output video signal for projecting video light on the projection plane; and the distortion Output means for outputting the output video signal created by the correction means to the projection means, and the distortion correction table corresponds to the pixel of the output video as the correspondence map, and the planar video before distortion correction The distortion correction means includes a plurality of pixels before conversion at a ratio corresponding to a shift amount in which a representative point of the pixel before conversion according to the distortion correction table deviates from a representative point of the pixel after conversion. Color information obtained by mixing color information is used as the color information of the pixel after conversion to create the output video signal, and the distortion correction table includes a plane projection surface and the arbitrary order in the order of input pixels of the plane video signal. The correspondence of the shape with the mesh model of the projection plane is described, and the distortion correction means, when the input pixel described in the distortion correction table is input, the distortion correction processing using the input pixel. And performing.
上記の課題を解決する第2の発明に係る映像信号処理装置は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、前記歪み補正テーブルには、前記出力映像信号の出力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行い、前記歪み補正テーブルに記述された出力画素の順で出力映像信号を作成することを特徴とする。 A video signal processing apparatus according to a second invention for solving the above-mentioned problems is a video signal processing apparatus that outputs an output video signal for projecting video light onto a projection surface of an arbitrary shape to a projection means, and is a planar projection surface A distortion correction table which is a correspondence map between a video signal input means for inputting a plane video signal for projecting video light onto a plane and a mesh model of a plane projection plane and the projection plane of the arbitrary shape, With reference to the external input means for inputting a distortion correction table for performing distortion correction processing on the planar video signal input by the input means from the outside, and the distortion correction table input by the external input means, the video signal input means Distortion correction means for performing distortion correction processing for each pixel of the input planar video signal to create an output video signal for projecting video light on the projection plane; and the distortion Output means for outputting the output video signal created by the correction means to the projection means, and the distortion correction table corresponds to the pixel of the output video as the correspondence map, and the planar video before distortion correction The distortion correction means includes a plurality of pixels before conversion at a ratio corresponding to a shift amount in which a representative point of the pixel before conversion according to the distortion correction table deviates from a representative point of the pixel after conversion. Color information obtained by mixing color information is used as the color information of the pixel after conversion, and the output video signal is created. In the distortion correction table, a plane projection surface and the arbitrary image are output in the order of output pixels of the output video signal. The correspondence of the shape with the mesh model of the projection plane is described, and the distortion correction means, when the input pixel described in the distortion correction table is input, the distortion correction processing using the input pixel. It was carried out, characterized in that to produce an output video signal in the order of output pixels described in the distortion correction table.
第1又は第2の発明に係る映像信号処理装置であって、第3の発明は、前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素及び当該画素からのずれ量を記述してなり、前記歪み補正手段は、前記歪み補正テーブルに記述されたずれ量を参照し、変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成することを特徴とする。 The video signal processing apparatus according to the first or second invention, wherein the distortion correction table corresponds to the pixel of the output video as the correspondence map, and the planar video before distortion correction. The distortion correction unit refers to the shift amount described in the distortion correction table, and the representative point of the pixel before conversion is the representative point of the pixel after conversion. The output video signal is created by using color information obtained by mixing color information of a plurality of pixels before conversion at a ratio corresponding to a deviation amount from the color information of the pixels after conversion.
第1乃至第3の何れかの発明に係る映像信号処理装置であって、第4の発明は、前記外部入力手段は、外部から前記投影手段の動作を制御する制御信号を入力し、前記出力手段は、前記出力映像信号と共に、前記外部入力手段により入力した制御信号を前記投影手段に出力することを特徴とする。 The video signal processing apparatus according to any one of the first to third inventions, wherein the external input means inputs a control signal for controlling the operation of the projection means from the outside, and the output The means outputs the control signal input from the external input means together with the output video signal to the projection means.
第1乃至第4の何れかの発明に係る映像信号処理装置であって、第5の発明は、前記映像信号入力手段は、複数の平面映像信号を同時に入力する構成であり、前記出力手段は、前記出力映像信号を複数同時に出力する構成であり、前記映像信号入力手段によって同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して出力映像信号を前記出力手段から出力させる処理、又は、当該複数の平面映像信号を合成した出力映像信号を前記出力手段から出力させる処理を行う信号処理手段を更に備えることを特徴とする。 The video signal processing apparatus according to any one of the first to fourth inventions, wherein the video signal input means inputs a plurality of planar video signals simultaneously, and the output means A plurality of output video signals are simultaneously output, and when a plurality of plane video signals are simultaneously input by the video signal input means, the plurality of plane video signals are selected and output video signals are output from the output means. It further comprises signal processing means for performing processing for outputting or processing for outputting an output video signal obtained by synthesizing the plurality of planar video signals from the output means.
第5の発明に係る映像信号処理装置であって、第6の発明は、前記信号処理手段による複数の平面映像信号の処理タイミングの同期を取る同期処理手段を更に備えることを特徴とする。 The video signal processing apparatus according to the fifth invention is characterized in that the sixth invention further comprises synchronization processing means for synchronizing the processing timing of a plurality of planar video signals by the signal processing means.
第1乃至第6の何れかの発明に係る映像信号処理装置であって、第7の発明は、前記映像信号入力手段によって入力された複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き映像信号を作成する立体映像用視差付き平面映像信号作成手段を更に備え、前記歪み補正手段は、前記立体映像用視差付き平面映像信号作成手段で作成された視差付き平面映像信号を歪み補正処理して出力映像信号を作成することを特徴とする。 The video signal processing apparatus according to any one of the first to sixth inventions, wherein the seventh invention uses the plurality of planar video signals input by the video signal input means, and uses the plurality of planar video signals. A stereoscopic video parallax-added planar video signal creating means for creating a video signal with parallax synthesized by giving a parallax between, and the distortion correction means created by the stereoscopic video parallax-added planar video signal creating means Distortion correction processing is performed on the parallax-equipped planar video signal to create an output video signal.
上記の課題を解決する第8の発明に係る仮想現実感生成システムは、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、請求項1乃至請求項7の何れか一項に記載の映像信号処理装置と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段とを備えたことを特徴とする。
A virtual reality generation system according to an eighth invention for solving the above-described problems has a projection surface having an arbitrary shape with a concave surface facing an observer, and is a wide display capable of displaying an image beyond the effective viewing angle of the observer. A distortion correction table which is a correspondence map between a screen having a viewing angle, the video signal processing device according to any one of
本発明によれば、予め歪み補正テーブルを外部から映像信号処理装置に記憶しておいて、投影手段からスクリーンに映像光を出射させるに際して平面映像信号に歪み補正処理を施す場合に、2次元における座標変換を行うのみで、3次元処理を行うことなく出力映像信号を作成できる。したがって、本発明によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。 According to the present invention, when a distortion correction table is previously stored in the video signal processing apparatus from the outside, and the planar video signal is subjected to the distortion correction process when the video light is emitted from the projection unit to the screen, the two-dimensional An output video signal can be created without performing three-dimensional processing only by performing coordinate conversion. Therefore, according to the present invention, it is possible to realize a process for suppressing distortion of an image visually recognized by an observer in real time with a simple configuration.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明を適用した仮想現実感生成システムは、図1に示すように、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーン1に3次元の映像光を投影するために、投影手段である2台のプロジェクタ2a、2bからなる映像投影機器2によって右眼用映像光と左眼用映像光とからなる出力映像を出射して、観察者に仮想現実感を与えるものである。
As shown in FIG. 1, a virtual reality generation system to which the present invention is applied has a projection surface having an arbitrary shape with a concave surface facing an observer, and is capable of displaying an image beyond the effective viewing angle of the observer. In order to project three-dimensional image light onto the
この仮想現実感生成システムは、映像信号処理装置である歪み補正ユニット3に、プロジェクタ2a、2bと映像生成機器4とパラメータ調整用パーソナルコンピュータ5とが接続されている。歪み補正ユニット3は、任意形状の投影面のスクリーン1に映像光が投影されたときの映像歪みを補正して出力映像信号を作成する映像信号処理を行う。なお、パラメータ調整用パーソナルコンピュータ5は、歪み補正ユニット3に常時接続されている必要はなく、後述するように歪み補正テーブル、輝度補正テーブル、制御信号等を歪み補正ユニット3に出力するときのみ接続されていれば良いものである。
In this virtual reality generation system,
スクリーン1は、プロジェクタ2a、2bからの右眼用映像光と左眼用映像光とを鏡面反射する。なお、このスクリーン1の投影面形状としては、球体の一部を利用した半球状、円筒状などが挙げられ、複数の平面を接続した形状であっても良い。
The
プロジェクタ2a、2bは、右眼用映像光と左眼用映像光とを出射するために、歪み補正ユニット3から右眼用映像信号と左眼用映像信号とからなる出力映像信号を受信する。これらプロジェクタ2a、2bは、歪み補正ユニット3の2チャンネルの映像出力端子3e,3fのそれぞれに接続されている。
The
なお、観察者に立体視をさせる場合、例えばプロジェクタ2aに右眼用偏光フィルター、プロジェクタ2bに左眼用偏光フィルターを装着させ、スクリーン1としては鏡面反射スクリーンを使用し、観察者には偏光フィルターに対応した偏光メガネを装着させることになる。また、プロジェクタとしては、2台である必要はなく、1台のプロジェクタから時分割で右眼用映像光と左眼用映像光とを交互に出射するものであっても良い。
In order to make the observer stereoscopically view, for example, the projector 2a is equipped with a right-eye polarizing filter, the
映像生成機器4は、平面映像光を出射するための映像信号を記憶する記憶媒体を備えている。この映像生成機器4としては、パーソナルコンピュータ、ビデオデッキやDVDデッキ等の映像再生装置、ビデオカメラ、立体カメラなどが挙げられる。なお、映像生成機器4は、4チャンネル分の出力端子を有し、歪み補正ユニット3の1チャンネル〜4チャンネルの映像入力端子3a,3b,3c,3dに接続されている。なお、図1乃至図3に示した例では、4チャンネル入力、2チャンネル出力の構成を示しているが、入出力ともに1チャンネルのみであっても良い。
The
パラメータ調整用パーソナルコンピュータ5は、スクリーン1の曲面形状に合わせて歪み補正ユニット3で平面映像信号に歪み補正を施すための歪み補正テーブル、平面映像信号に輝度補正を施すための輝度補正テーブルを作成して、歪み補正ユニット3に供給する。
The parameter adjusting personal computer 5 creates a distortion correction table for performing distortion correction on the planar video signal by the
この歪み補正テーブルは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである。この歪み補正テーブルは、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素と、その画素からのずれ量を記述することで、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能としたテーブルであっても良い。また、輝度補正テーブルは、歪み補正処理前の平面映像信号又は歪み補正処理後の出力映像信号の各画素を何倍の輝度にするかを記述したテーブルである。 This distortion correction table is a correspondence map between a planar projection surface and a mesh model of an arbitrary-shaped projection surface. This distortion correction table describes the color information of a plurality of pixels of the input image by describing the pixels of the input image before distortion correction corresponding to the pixels of the output image after distortion correction and the amount of deviation from the pixels. It may be a table that can be mixed at an appropriate ratio to obtain color information of pixels of the output image. The luminance correction table is a table describing how many times the luminance of each pixel of the planar video signal before distortion correction processing or the output video signal after distortion correction processing is set.
平面の投影面と任意形状の投影面のメッシュモデルとの対応マップのみを記述した歪み補正テーブルは、例えば、入力画像の画素座標(5,7)と出力画像の画素座標(6,8)とを対応させて記述している。また、入力画像の複数の画素の色情報から出力画像の画素の色情報を作成できる歪み補正テーブルは、例えば、x方向に0.55,y方向に0.3のずれ量がある場合に、入力画像の画素座標(5.55,7.3)と出力画像の画素座標(6,8)とを対応させて記述している。 For example, the distortion correction table describing only the correspondence map between the planar projection plane and the mesh model of the arbitrary-shaped projection plane includes pixel coordinates (5, 7) of the input image and pixel coordinates (6, 8) of the output image. Is described in correspondence. In addition, a distortion correction table that can create color information of pixels of an output image from color information of a plurality of pixels of an input image has, for example, a shift amount of 0.55 in the x direction and 0.3 in the y direction. The pixel coordinates (5.55, 7.3) of the input image are described in correspondence with the pixel coordinates (6, 8) of the output image.
歪み補正ユニット3は、パラメータ調整用パーソナルコンピュータ5と接続された外部入力端子3gを備え、歪み補正テーブル、輝度補正テーブルを入力する。なお、このパラメータ調整用パーソナルコンピュータ5による歪み補正テーブルの作成処理については後述する。
The
パラメータ調整用パーソナルコンピュータ5は、プロジェクタ2a、2bの動作を制御する制御信号を歪み補正ユニット3に出力する。この制御信号は、プロジェクタ2a、2bの映像光の出力開始及び停止をはじめとして、プロジェクタ2a、2bの映像投影位置や映像サイズ、ズーム倍率、色調整などのあらゆるプロジェクタ2a、2bの制御コマンドを含む。この制御信号は、歪み補正ユニット3によって入力されて、歪み補正ユニット3の外部出力端子3hを介してプロジェクタ2a、2bのそれぞれに供給される。
The parameter adjusting personal computer 5 outputs a control signal for controlling the operation of the
歪み補正ユニット3は、そのハードウェア構成を図2に示すように、映像入力側の信号方式変換回路11と、映像信号処理回路12と、外部機器制御回路13と、デジタルシグナルプロセッサ(DSP)14と、計算用メモリ15と、テーブル用メモリ16と、映像出力側の信号方式変換回路17と、制御信号用メモリ18とを備える。このようなハードウェア構成を有する歪み補正ユニット3は、その機能的なソフトウェア構成を図3に示すように、入力映像処理部21と、映像切替/分配部22と、映像合成部23と、歪み補正部24と、出力映像処理部25と、同期処理部26と、変換テーブル読み込み/保存部27と、外部機器制御部28と、制御信号読み込み/保存部29とを有する。
As shown in FIG. 2, the
信号方式変換回路11は、映像入力端子3a,3b,3c,3dを介して映像生成機器4からの映像を入力する入力映像処理部21として機能する。この信号方式変換回路11は、映像生成機器4からの平面映像信号として、コンポジット信号、セパレート信号、コンポーネント信号、ディジタルビデオ信号等を入力する。なお、このように複数種類の平面映像信号を入力可能な構成である場合、映像入力端子3a,3b,3c,3dは、それぞれの方式に準じた端子形状であるDVI−I端子、RGB端子、S端子、コンポジット端子、D端子などとなっている。このように、あらゆる種類の平面映像信号を入力可能とすることによって、入力する平面映像信号の種類幅を広げている。信号方式変換回路11は、映像入力端子3a,3b,3c,3dを介して平面映像信号を入力したことに応じて、当該平面映像信号の方式を、後段の映像信号処理回路12等で処理可能な方式にデコードして、映像信号処理回路12に出力する。
The signal system conversion circuit 11 functions as an input
映像信号処理回路12は、図3における映像切替/分配部22となる映像切替/分配回路、映像合成部23となる映像合成回路、歪み補正部24となる映像補正回路、同期処理部26となる同期処理回路を有している。この映像信号処理回路12は、映像切替/分配部22によって入力映像処理部21からの平面映像信号の切替又は分配を行い、複数の平面映像信号を合成する場合には映像合成部23で映像合成を行って、歪み補正部24に供給する。
The video
歪み補正部24は、変換テーブル読み込み/保存部27に予め記憶された歪み補正テーブルを参照して、画素毎の座標変換処理を行うことによって平面映像信号を出力映像信号に変換する歪み補正処理を行う。また、歪み補正部24は、変換テーブル読み込み/保存部27に記憶された輝度補正テーブルを参照して、画素ごとの輝度値を変換することによって平面映像信号を出力映像信号に変換する輝度補正処理を行う。更に、歪み補正部24は、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することもできる。この歪み補正処理、輝度補正処理を行うに際して、映像信号処理回路12(歪み補正部24)は、計算用メモリ15を作業領域として利用する。
The
この歪み補正部24による歪み補正処理は、図4(a)に示す平面映像信号100の画素a,b,cを、図4(b)に示す出力映像信号100’の画素a’,b’,c’に変換することによって、歪み補正を行う。この出力映像信号100’は、任意形状の投影面となっているスクリーン1のメッシュモデルに従って、座標変換が施された結果である。
The distortion correction processing by the
歪み補正部24による輝度補正処理は、変換テーブル読み込み/保存部27に歪み補正処理後の出力映像信号に対応した輝度補正テーブルが記憶されている場合には、図5に示す処理となる。すなわち、先ず図5(a)に示す平面映像信号100に対して輝度補正処理を施し、図5(b)の平面映像信号100’を作成し、その後に、当該平面映像信号100’に歪み補正処理が施される。
The luminance correction process by the
また、輝度補正処理は、変換テーブル読み込み/保存部27に歪み補正処理前の平面映像信号に対応した輝度補正テーブルが記憶されている場合には、図6に示す処理となる。すなわち、図6(a)に示す平面映像信号100が歪み補正処理された結果である図6(b)の出力映像信号100’に対して、当該歪み補正後の画素a’,b’,c’の輝度を変換して、図6(c)に示す新たな輝度補正後の画素a’’,b’’,c’’とする。なお、歪み補正部24の歪み補正処理では、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することも可能であるが、この出力画像の画素の色情報を補間して作成する処理を含む歪み補正処理の詳細については、後述する。
Further, the luminance correction processing is the processing shown in FIG. 6 when the conversion table reading / saving
この歪み補正部24によって歪み補正処理及び輝度補正処理が施された出力映像信号は、出力映像処理部25(信号方式変換回路17)に渡されて、当該出力映像処理部25からプロジェクタ2a、2bに供給される。このとき、出力映像処理部25(信号方式変換回路17)は、出力映像信号をプロジェクタ2a、2bで映像投影可能な信号方式に変換して出力する。なお、映像出力端子3e,3dは、出力映像信号の方式に準じた端子形状であるDVI−I端子、RGB端子などとなっている。
The output video signal that has been subjected to the distortion correction processing and the luminance correction processing by the
また、この歪み補正ユニット3において、同期処理部26は、リアルタイムで入力映像処理部21、映像切替/分配部22、映像合成部23、歪み補正部24及び出力映像処理部25を動作させるために同期処理部26によって、各部間の映像信号の処理タイミング、映像信号転送タイミングを制御している。この歪み補正ユニット3は、デジタルシグナルプロセッサ14によって、映像信号処理回路12のソフトウェア的な処理が制御されている。
In this
更に、歪み補正ユニット3は、パラメータ調整用パーソナルコンピュータ5から供給された制御信号を制御信号読み込み/保存部29で受信・保存し、外部機器制御回路13(外部機器制御部28)が、適宜、制御信号を制御信号読み込み/保存部29から選択し、当該制御信号を外部出力端子3hを通じてプロジェクタ2a,2bに転送する。なお、歪み補正ユニット3からプロジェクタ2a,2bに送信する制御信号は、図3に示すように、ユーザに操作される押しボタンやリモコンなどの操作入力部6からの操作入力信号に応じて、外部機器制御部28から出力しても良い。これによって、制御信号読み込み/保存部29に保存されている制御信号をユーザが自由に切り換えながらプロジェクタ2a,2bを制御させることができる。
Further, the
このように、歪み補正ユニット3によれば、事前に変換テーブル読み込み/保存部27に歪み補正テーブル、輝度補正テーブルを記憶させておき、プロジェクタ2a、2bからスクリーン1に映像光を出射させるに際して平面映像信号に歪み補正処理、輝度補正処理を施す場合に、2次元における座標変換、輝度変換を行うのみで、3次元処理を行うことなく出力映像信号を作成できる。すなわち、歪み補正の関係式の生成を外部のパラメータ調整用パーソナルコンピュータ5で行い、当該パラメータ調整用パーソナルコンピュータ5の処理結果を歪み補正テーブルとして入力できるので、歪み補正ユニット3内部において、3次元の計算処理を必要とせず、2次元の計算処理のみで歪み補正が可能である。したがって、歪み補正ユニット3によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。
As described above, according to the
また、この歪み補正ユニット3によれば、様々な種類の映像信号に対して上述の処理を施すことができ、入力映像の種類に対する制限を軽減できる。
In addition, according to the
更に、歪み補正ユニット3は、複数の平面映像信号を同時に入力すると共に、映像信号を複数同時に出力する構成となっている。映像信号処理回路12は、同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して、歪み補正をした出力映像信号を信号方式変換回路17に出力することができ、当該複数の平面映像信号を合成して信号方式変換回路17から出力させることができる。この複数の平面映像信号のうち信号方式変換回路17に出力する出力映像信号を選択する条件は、パラメータ調整用パーソナルコンピュータ5によって設定できる。また、複数の平面映像信号を合成する前に、当該複数の平面映像信号の映像サイズを統一するように映像の拡大、縮小処理を施すことが望ましい。
Furthermore, the
また、複数の平面映像信号を同時に入力した場合、DSP14で構成される同期処理部26によって、複数の平面映像信号の処理タイミングの同期を取ることができる。これによって、2台のプロジェクタ2a,2bを使用して立体視をさせることもできる。
In addition, when a plurality of plane video signals are input simultaneously, the
更に、上述した映像信号処理回路12は、複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き平面映像信号を作成しても良い。例えば、3チャンネル入力の場合、チャンネル3の平面映像信号をチャンネル1の平面映像信号とチャンネル2の平面映像信号に対して視差を付けて合成して、視差付き平面映像信号を作成してもよく、4チャンネル入力の場合、チャンネル3、チャンネル4の平面映像信号をそれぞれチャンネル1、チャンネル2の平面映像信号に視差を付けて合成して、視差付き平面映像信号を作成してもよい。このような視差付き平面映像信号の作成処理の条件は、パラメータ調整用パーソナルコンピュータ5によって設定でき、当該設定によって、スクリーン1に歪みがない立体映像を表示させることができる。
Further, the video
つぎに、上述したように構成された仮想現実感生成システムにおいて、パラメータ調整用パーソナルコンピュータ5による歪み補正テーブルの作成処理について説明する。 Next, a distortion correction table creation process by the parameter adjustment personal computer 5 in the virtual reality generation system configured as described above will be described.
パラメータ調整用パーソナルコンピュータ5は、歪み補正テーブルに関するテーブル・作成出力部の機能として、スクリーンモデル創造部、プロジェクタ配置・セットアップ部、ユーザ位置設定部を主として有する。スクリーンモデル創造部は、図7に示すように、スクリーン1のメッシュモデルを創造するものである。このスクリーンモデル創造部は、先ず、基本的な3つのモデルが記憶されている。すなわち、球形のみのモデル31と、円筒のみのモデル32と、混合モデル33とである。混合モデル33は、球形を主とし他の平面又は曲面を混合した球面混合モデル34と、円筒を主として他の平面又は曲面を混合した円筒混合モデル35と、平面を主として他の平面又は曲面を混合した平面混合モデル36とから構成されている。そして、各モデル31、32、34〜36の内容は、何れか1つを設定し、更に、入力パラメータ31a,32a,34a〜36aを入力することで、実際のスクリーン1に適応したメッシュモデル31b、32b、34b〜36bを作成することができる。なお、スクリーンモデル創造部に記憶しておく基本的なモデルとしては、図7に示したモデル31〜33に限らず、当該モデル31〜33と並列して、楕円形のモデル、長方形のモデルなども設定しておき、入力パラメータの入力、メッシュモデルの作成を行うことができる。これによって、楕円形や長方形、当該楕円形や長方形を複数組み合わせたスクリーン1であっても、当該スクリーン1に投影した映像に歪みを発生させない歪み補正テーブルを作成できる。
The parameter adjustment personal computer 5 mainly has a screen model creation unit, a projector arrangement / setup unit, and a user position setting unit as functions of a table / creation output unit related to the distortion correction table. The screen model creation unit creates a mesh model of the
基本モデルと入力パラメータとしては、以下のとおりである。 The basic model and input parameters are as follows.
スクリーン1が球面(真球の一部)の場合、入力パラメータとしては、図8で示すように、球形モデルの半径Rと球形モデルの中心から切断面までの距離Aとである。
When the
ここで、球形モデルは、式1のように表される。
Here, the spherical model is expressed as
x2+y2+z2=R2 (式1)
ここで、A≦x≦R、−y1≦y≦y1、−z1≦z≦z1である。y1は、式1において、x=A、z=0を代入することによって求められ、z1は、式1において、z=A、y=0を代入することによって求められ、y1=z1となる。従って、上述のようにスクリーン1が球面の場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、球形モデルの半径Rと、球形モデルの中心から切断面までの距離Aとを入力すればよい。
x 2 + y 2 + z 2 = R 2 (Formula 1)
Here, A ≦ x ≦ R, −y1 ≦ y ≦ y1, and −z1 ≦ z ≦ z1. y1 is obtained by substituting x = A and z = 0 in
また、スクリーン1の正面から見た形状が、図10のように、球面スクリーンの一部を上下左右のある端から切り欠いた形状の球面スクリーンであった場合に対応した球面モデルは、以下のように表される。例えば、スクリーン1が図10(a)のように正面から見た際に下端から切断された球面スクリーンであった場合は、対応した球面モデルは、図9で示すように、式1とA≦x≦R、−B≦y≦y1、−z1≦z≦z1と表される。y1は、式1において、x=A、z=0を代入することによって求められ、z1は、式1において、x=A、y=0を代入することによって求められ、x1は、式1において、y=−B、z=0を代入することによって求められる。従って、上述のスクリーン1の場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、球面モデルの半径Rと、球面モデルの中心から切断面までの距離Aと共に、球面モデルの中心から切り欠く位置までの距離Bを入力すればよい。
Further, the spherical model corresponding to the case where the shape of the
同様に、スクリーン1が図10(b)、図10(c)、図10(d)のように、正面から見た際にそれぞれ上端、左端、右端から切断された球面スクリーンであった場合は、それぞれに対応した球面モデルは以下のように表される。図10(b)のように、上端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦B、−z1≦z≦z1である。図10(c)のように、スクリーン1が右端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦y1、−z1≦z≦Bである。図10(d)のように、スクリーン1が左端から切断された球面スクリーンであった場合は、球面モデルは、式1とA≦x≦R、−y1≦y≦y1、−B≦z≦z1である。なお、パラメータ調整用パーソナルコンピュータ5への入力パラメータを増やせば、2箇所以上の切断を組み合わせたような形状をしたスクリーン1にも対応ができる。
Similarly, when the
一方、スクリーン1が円筒を切断したような形状のアーチスクリーンであった場合、対応するスクリーンモデルは図11のような円筒モデルで表される。
On the other hand, when the
図11の円筒モデルのxz平面の断面上の円は、式2のように表される。 A circle on the cross section of the xz plane of the cylindrical model of FIG.
x2+z2=R2 (式2)
ここで、A≦x≦R、0<y≦H、−z1≦z≦z1の制限を加えることで、円筒モデルの表面の式となる。z1は、式2において、x=Aを代入することによって求められる。従って、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、円の半径R(アーチスクリーンの半径R)と、円の中心から切断面までの距離Aと、(アーチスクリーンの)高さHとである。
x 2 + z 2 = R 2 (Formula 2)
Here, by adding the restrictions of A ≦ x ≦ R, 0 <y ≦ H, and −z1 ≦ z ≦ z1, the surface equation of the cylindrical model is obtained. z1 is obtained by substituting x = A in
さらにまた、図12(a)は、複数平面(長方形の面が複数存在)からなるスクリーン1の投影面の場合を示し、この場合、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、図12(b)で示すような上面から見たときの面の配置と、面の高さHとである。図12(b)の場合、
z=−x+1(0≦x<1) (式3−1)
z=0(1≦x<3) (式3−2)
z=x−3(3≦x≦4) (式3−3)
0<y≦H (式3−4)
である。
Furthermore, FIG. 12A shows the case of the projection surface of the
z = −x + 1 (0 ≦ x <1) (Formula 3-1)
z = 0 (1 ≦ x <3) (Formula 3-2)
z = x−3 (3 ≦ x ≦ 4) (Formula 3-3)
0 <y ≦ H (Formula 3-4)
It is.
また、複数の球面を連結したような形状球面を真横に並べた形状をしたスクリーン1の場合には、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、図8または図9、10で示す例と同様に、半径Rと、切断面までの距離Aと、切り欠く位置までの切り欠く位置までの距離Bと、横に並べる球の個数とを入力すればよい。すなわち、例えば、上下に2つの球面スクリーンを並べてスクリーン1とした場合、図10(a)と図10(b)とを組み合わせることで実現することができ、同様に左右に2つの球面スクリーンを並べるスクリーン1とした場合、図10(c)と図10(d)とを組み合わせることで実現することができ、パラメータ調整用パーソナルコンピュータ5への入力パラメータとしては、前述のように、半径Rと、切断面までの距離Aと、切り欠く位置までの切り欠く位置までの距離Bと、横に並べる球の個数とを入力すればよいことが理解される。
Further, in the case of the
複数の円筒面のスクリーン1の場合には、上面から見た配置図に、面の高さHと、各スクリーン1の半径R及び距離Aと、個数とを入力すればよい。このようにして、スクリーン1の投影面の関数式が決まるので、x、y、zに適当な値を代入することで、或る一定個数以上のスクリーン1上の点をサンプリング点として記録することで、スクリーン1の投影面形状を特定することができる。各スクリーン1の投影面の関数式は、スクリーンモデル創造部において、予め各モデル31,32,34〜36内に格納されて、歪み補正テーブルの設定時に呼び出すことができる。そして、入力パラメータ31a,32a,34a〜36aとして上記のパラメータを入力するだけで、パラメータ調整用パーソナルコンピュータ5により、実際のスクリーン1に適応したメッシュモデル31b、32b、34b〜36bを作成することができる。
In the case of a plurality of
なお、上記のようなスクリーン1の投影面上のサンプリング点は、x軸周り、y軸周り、z軸周りに回転可能(傾いたスクリーン1を定義可能)である。
Note that the sampling points on the projection surface of the
すなわち、x軸周りのα度の回転は、式4で表すことができる。
また、y軸周りのβ度の回転は、式5で表すことができる。
さらにまた、z軸周りのγ度の回転は、式6で表すことができる。
パラメータ調整用パーソナルコンピュータ5は、このようにして得たスクリーン1の投影面上のサンプリング点に、歪み補正ユニット3に入力される平面映像信号の各サンプリング点をマッピングさせる対応マップを歪み補正テーブルとして作成することで、歪み補正ユニット3で歪み補正処理を行わせることができ、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆくことで、歪み補正処理が施された出力映像信号を作成させることができる。
The personal computer 5 for parameter adjustment uses, as a distortion correction table, a correspondence map that maps each sampling point of the planar video signal input to the
この歪み補正テーブルは、使用するスクリーン1の投影面形状が決定し、パラメータ調整用パーソナルコンピュータ5に各パラメータを入力し、一旦作成すれば、パラメータ等の変更がない限り変更する必要なくパラメータ調整用パーソナルコンピュータ5から歪み補正ユニット3に供給されて、歪み補正ユニット3内に記憶される。
This distortion correction table determines the projection plane shape of the
以上の図8〜図12を用いた説明は、図13に示すようなスクリーン1の投影面形状に対する歪み補正処理を歪み補正ユニット3によって実行させるものである。すなわち、平面の投影面に対する平面映像信号を、そのまま球形のスクリーン1に投影すると、図13(a)に示すように歪んだ映像となり、このため球形のスクリーン1に投影された映像の歪みが無くなるように、図13(b)に示すように予め歪ませた出力映像信号を作成するものである。しかしながら、プロジェクタ2a、2bのスクリーン1に対する配置位置の違い及び観察者のスクリーン1に対する位置の違いなどから、さらなる歪み補正が必要になる。従って、上述のようにして求めた歪み補正テーブルには、さらにそのような補正を施すことができるようになる。
In the above description using FIGS. 8 to 12, the
以下に、投影面が球面のスクリーン1に対するプロジェクタ2a、2b及び観察者の位置の違いに対する歪み補正テーブルの作成処理について説明する。この処理は、プロジェクタ配置・セットアップ部及びユーザ位置設定部からの入力に応答してパラメータ調整用パーソナルコンピュータ5によって行われる。
Hereinafter, a process for creating a distortion correction table for differences in the positions of the
図14は、上述した球面補正に、プロジェクタ2a、2b及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。先ず補正にあたり、図14に示すように、観察者の視点位置よりビューフラスタム及びプロジェクタ2a、2bの投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP0、底面をP0,0、Pm,n、P0,n、Pm,0とする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ0、底面をQ0,0、Qm,0、Qm,n、Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、例えばSXGAの場合は、m=1279,n=1023である。なお、底面は仮想スクリーン面とも呼ばれる。
FIG. 14 is a diagram for explaining a distortion correction method including the position correction of the
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図15に示す。先ず、仮想スクリーン面1a内に点Pi,jを想定し、ベクトルP0Pi,jとドーム型のスクリーン1(メッシュモデル31b,32b,34b〜36b)との交点Ri,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。
Here, for simple expression, an image viewed from a yz two-dimensional section at m = i is shown in FIG. First, assuming a point Pi, j in the
すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取り出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行わせることで、歪み補正を実現させる。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図16に示す(すなわち図13(b)とは逆になる)。この歪み補正処理は、スクリーン1の投影面形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル31bだけでなく、他のメッシュモデル32b、34b〜36b等へも適用可能である。
That is, first, normal video generation is performed based on the view frustum, then this video data is taken out, and the video is generated again by applying texture mapping coordinates using the Pi, j → Qi, j correspondence map to this image. By doing so, distortion correction is realized. An image obtained by applying the Pi, j → Qi, j correspondence map to the grid video is shown in FIG. 16 (that is, reverse to FIG. 13B). This distortion correction processing does not limit the projection surface shape of the
このように、パラメータ調整用パーソナルコンピュータ5によって歪み補正処理を行わせるための歪み補正テーブルを使用させることにより、平面の表示面に対する平面映像信号に対して逐次歪み補正処理をさせて、映像光をプロジェクタ2a、2bから出射させることができ、任意形状のスクリーン1に歪みの無い映像を表示させることができる。
In this way, by using the distortion correction table for causing the parameter adjustment personal computer 5 to perform the distortion correction processing, the distortion correction processing is sequentially performed on the planar video signal for the flat display surface, and the image light is transmitted. The light can be emitted from the
つぎに、上述した、歪み補正テーブル内部に記述されたずれ量を参照することで、歪み補正処理の座標変換の際に、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成する処理(色情報補間式歪み補正処理)について説明する。この色情報補間式歪み補正処理は、必ずしも行わなければならない処理ではない。ただし、この色情報補間式歪み補正処理を行うことにより、単に歪み補正処理をした場合と比べて、出力画像のジャギーを軽減することが可能となる。 Next, by referring to the above-described deviation amount described in the distortion correction table, the color information of the plurality of pixels of the input image related to the pixels of the output image is obtained at the time of coordinate conversion of the distortion correction processing. A process for generating color information of the pixels of the output image (color information interpolation type distortion correction process) will be described. This color information interpolation distortion correction process is not necessarily a process that must be performed. However, by performing this color information interpolation type distortion correction process, it is possible to reduce jaggies in the output image as compared with the case of simply performing the distortion correction process.
歪み補正部24は、歪み補正テーブルによって平面映像信号を出力映像信号に変換する歪み補正処理をする際に、歪み補正テーブルによる変換前の平面映像信号の画素の代表点が、変換後の出力映像信号の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、変換後の画素の色情報にして、出力映像信号を作成する。具体的には、歪み補正部24は、変換前のx方向で隣り合う2画素内における変換後の画素の代表点の位置に応じて、平面映像信号の2画素内の色情報を混合して出力映像信号を作成する。又は、歪み補正部24は、変換前のy方向で隣り合う2画素内における変換後の画素の代表点の位置に応じて、平面映像信号の2画素内の色情報を混合して、出力映像信号を作成する。
When the
ここで、スクリーン1の投影面上のサンプリング点に平面映像信号のサンプリング点をマッピングさせる対応マップを歪み補正テーブルとして変換テーブル読み込み/保存部27に記憶しておき、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆく際に、平面映像信号の1画素を出力映像信号の1画素に対応させるとすると、画素が映像解像度によって規定される有限の大きさを有していることにより、座標位置の丸めに相当する誤差が生じて、変換後の出力画像で階段状の色むら、いわゆるジャギーが目立つ場合がある。丸めによる誤差は変換前の画素の代表点、例えば画素の中心位置が変換後の画素の代表点から離れた位置に対応することによって生じるので、当該ずれ量に相当する割合で、平面映像信号において隣接する画素の色情報を利用して出力映像信号の色情報を補間する。これによって、出力映像信号に発生するジャギーを低減する。
Here, a correspondence map for mapping the sampling point of the planar video signal to the sampling point on the projection surface of the
例えばx方向においてずれがある場合、図17に示すように、x方向において隣接する平面映像信号(以下、入力画像100と呼ぶ。)の画素P1,P2を出力映像信号(以下、出力画像100’と呼ぶ。)の画素P1’に変換し、x方向において隣接する入力画像100の画素P3,P4を出力画像100’の画素P2’に変換するに際して、入力画像100のx方向にて隣接する画素P1,P2の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のx方向にて隣接する画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
For example, when there is a shift in the x direction, as shown in FIG. 17, pixels P1 and P2 of the planar video signal (hereinafter referred to as input image 100) adjacent in the x direction are output video signals (hereinafter referred to as
x方向のずれ量Δxは、0以上1未満で表現でき、0又は1のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像100のx方向で隣接する2画素が出力画像100’において1画素に変換されるに際して、ずれ量Δxが入力画像100と出力画像100’との間で存在する場合、図18(a)に示すように、入力画像100における画素P1(x,y)の色情報と隣接する画素P2(x+1,y)の色情報とを、1−Δx:Δxの割合で平均化した仮想画素P(x+Δx,y)の色情報Cx+Δx,y=Cx,y(1−Δx)+Cx+1,yΔxを出力画像100’の画素の色情報とすることができ、図18(b)に示すように、仮想の入力画素(x+Δx,y)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx+Δx,y=Cx,y(1−Δx)+Cx+1,yΔx
とすることができる。
The shift amount Δx in the x direction can be expressed as 0 or more and less than 1, and when it is 0 or 1, it can be expressed as matching with the representative point of any adjacent pixel. That is, when two pixels adjacent in the x direction of the
It can be.
このように歪み補正ユニット3は、入力画像100と出力画像100’との間でx方向のずれがあり、x方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶しておく。そして、図17に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のx方向の2画素から生成する。従って、入力画像100の2画素と出力画像100’の1画素は、入力画像100の2画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、色情報が算出される。
As described above, the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔxだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x+Δx,y)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x+1,y)との色情報を(1−Δx):Δxの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δx)+Cx+1,yΔx
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δx) + C x + 1, y Δx
It can be calculated by the expression
また、y方向にずれがある場合、図19に示すように、y方向において隣接する入力画像100の画素P1,P2を出力画像100’の画素P1’に変換し、y方向において隣接する入力画像100の画素P3,P4を出力画像100’の画素P2’に変換するに際して、入力画像100のy方向にて隣接する画素P1,P2の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のy方向にて隣接する画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
Further, when there is a deviation in the y direction, as shown in FIG. 19, the pixels P1 and P2 of the
y方向のずれ量Δyは、0以上1未満で表現でき、0又は1のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像100のy方向で隣接する2画素が出力画像100’において1画素に変換されるに際して、ずれ量Δyが入力画像100と出力画像100’との間で存在する場合、図20(a)に示すように、入力画像100における画素P1(x,y)の色情報と隣接する画素P2(x,y+1)の色情報とを、1−Δy:Δyの割合で平均化した仮想画素P(x,y+Δy)の色情報Cx,y+Δy=Cx,y(1−Δy)+Cx,y+1Δyを出力画像100’の画素の色情報とすることができ、図20(b)に示すように、仮想の入力画素(x,y+Δy)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx,y+Δy=Cx,y(1−Δy)+Cx,y+1Δy
とすることができる。
The displacement amount Δy in the y direction can be expressed as 0 or more and less than 1, and when it is 0 or 1, it can be expressed as matching with the representative point of any adjacent pixel. That is, when two pixels adjacent in the y direction of the
It can be.
このように歪み補正ユニット3は、入力画像100と出力画像100’との間でy方向のずれがあり、y方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶する。そして、図19に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のy方向の2画素から生成する。従って、入力画像100の2画素と出力画像100’の1画素は、入力画像100の2画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、出力画像100’の色情報を算出する。
As described above, the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔyだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x,y+Δy)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x,y+1)との色情報を(1−Δy):Δyの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δy)+Cx,y+1Δy
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δy) + C x, y + 1 Δy
It can be calculated by the expression
更に、x方向及びy方向においてずれがある場合、図21に示すように、x方向及びy方向において隣接する入力画像100の画素P1〜P4を出力画像100’の画素P1’に変換し、x方向及びy方向において隣接する入力画像100の画素P5〜P8を出力画像100’の画素P2’に変換するに際して、入力画像100のx方向及びy方向にて隣接する画素P1〜P4の色情報を用いて出力画像100’の画素P1’の色情報を作成し、入力画像100のx方向及びy方向にて隣接する画素P5〜P8の色情報を用いて出力画像100’の画素P2’の色情報を作成する。
Further, when there is a deviation in the x direction and the y direction, as shown in FIG. 21, the pixels P1 to P4 of the
x方向にΔx、y方向にΔyのずれがある場合には、入力画像100のx方向及びy方向で隣接する4画素が出力画像100’において1画素に変換されるに際して、図22(a)に示すように、入力画像100における画素P1(x,y)の色情報と画素P2(x+1,y)の色情報と画素P3(x,y+1)の色情報と画素P4(x+1,y+1)の色情報とを用いて、(1−Δx)(1−Δy):Δx(1−Δy):(1−Δx)Δy:ΔxΔyの割合で平均化する。これにより、4画素を混合した色情報Cx+Δx,y+Δy=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔyを得ることができ、図22(b)に示すように、仮想の入力画素(x+Δx,y+Δy)に対応する出力画像100’の変換後画素P’(u,v)の色情報を
Cx+Δx,y+Δy=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔy
とすることができる。
When there is a deviation of Δx in the x direction and Δy in the y direction, when four pixels adjacent in the x direction and y direction of the
It can be.
このように仮想現実感生成システムは、入力画像100と出力画像100’との間でx方向及びy方向のずれがあり、x方向及びy方向の2画素を用いて色情報補間式歪み補正処理を行って出力画像100’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み/保存部27に記憶する。そして、図21に示したように、歪み補正部24は、出力画像100’の画素P1’,P2’を、それぞれ入力画像100のx方向及びy方向の4画素から生成する。従って、入力画像100の4画素と出力画像100’の1画素は、入力画像100の4画素の色情報がそれぞれどの程度の割合で、出力画像100’の画素の色情報に影響を及ぼしているかに応じて、出力画像100’の色情報を算出する。
As described above, in the virtual reality generation system, there is a shift in the x direction and the y direction between the
ここで、出力画像100’の画素(u,v)が対応する入力画像100の画素が、画素(x,y)からΔx、Δyだけずれているとすると、出力画像100’の画素(u,v)を、入力画像100の仮想画素(x+Δx,y+Δy)と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部24は、出力画像100’の画素(u,v)の色情報を、画素(x,y)と画素(x+1,y)と画素(x,y+1)と画素(x+1,y+1)との色情報を(1−Δx)(1−Δy):Δx(1−Δy):(1−Δx)Δy:ΔxΔyの割合で含むように混合して、出力画像100’の画素(u,v)の色情報Cu,vを、
Cu,v=Cx,y(1−Δx)(1−Δy)+Cx+1,yΔx(1−Δy)+Cx,y+1(1−Δx)Δy+Cx+1,y+1ΔxΔy
という式で演算することができる。
Here, if the pixel of the
C u, v = C x, y (1−Δx) (1−Δy) + C x + 1, y Δx (1−Δy) + C x, y + 1 (1−Δx) Δy + C x + 1, y + 1 ΔxΔy
It can be calculated by the expression
このような色情報補間式歪み補正処理を行うための歪み補正テーブルは、出力画像の画素ごとに、補間対象となる入力画像の画素(2個以上)、ずれ量を記憶しておくことによって構成できる。このずれ量は、歪み補正テーブルによる座標変換によって得られた画素位置のx座標、y座標における小数部分である。通常、出力画像100’のある画素(u,v)が入力画像100(10,5)という整数値の画素に対応していることとなるが、本発明を適用した仮想現実感生成システムにおいては、出力画像100’のある画素(u,v)が入力画像100の2〜4個の画素に跨っていることを考慮して、出力画像100’のある画素が、入力画像100の(10.3,5.55)の画素に対応するといったように、x方向は0.3画素分、y方向は0.55画素分という小数点分のずれがあるとする。なお、x方向のみ又はy方向のみに隣接した2画素を用いて出力画像100’の色情報を作成する場合には、歪み補正テーブルは、x方向又はy方向のずれ量のみを登録しておけばよい。
A distortion correction table for performing such color information interpolation type distortion correction processing is configured by storing, for each pixel of the output image, the pixels (two or more) of the input image to be interpolated and the shift amount. it can. This shift amount is a decimal part in the x-coordinate and y-coordinate of the pixel position obtained by coordinate conversion using the distortion correction table. Normally, a certain pixel (u, v) in the
また、この歪み補正テーブルにおけるずれ量は、上記の(10.3,5.55)といった表記、又は、(0.3,0.55)といった小数分のみを記憶するといった表記の何れであっても良い。更に、歪み補正テーブル中のずれ量は、小数第1位までの表記を10倍して0〜9の整数値で記述しておいても良く、小数第2位までの表記を100倍して0〜100の整数値で記述しておいても良い。この場合、色情報補間式歪み補正処理を行う際に、ずれ量を10又は100で除算して用いる。こうすることで、歪み補正テーブル中に小数値で表される情報をなくし、整数値で表される情報のみを持つことが可能となる。更にまた、色情報補間式歪み補正処理等を行う歪み補正ユニット3の処理がn進数で行われる場合、ずれ量を0〜nのr乗−1の値で記述しておき、色情報補間式歪み補正処理に際して、当該ずれ量をnのr乗で除算して用いても良い。この場合、色情報補間式歪み補正処理を行う際に、0〜nのr乗−1の値で記述されたずれ量(n進数)をr個右にシフトするだけでよい。例えば、歪み補正ユニット3の処理が2進数で行われる場合、ずれ量を0〜15(24−1)の整数値で記述しておき、色情報補間式歪み補正処理を行う際に、ずれ量を16で除算して用いる。16で除算する処理は、ビット列を4つ右にシフトするだけである。なお、ずれ量は8(2の3乗),32(2の5乗)等であっても良い。
Further, the deviation amount in the distortion correction table is either of the above notation (10.3, 5.55) or the notation of storing only a fractional number (0.3, 0.55). Also good. Further, the amount of deviation in the distortion correction table may be described by an integer value of 0 to 9 by multiplying the notation to the first decimal place, and the notation to the second decimal place may be multiplied by 100. You may describe with the integer value of 0-100. In this case, when the color information interpolation distortion correction process is performed, the deviation amount is divided by 10 or 100 and used. By doing so, it is possible to eliminate information represented by decimal values in the distortion correction table and to have only information represented by integer values. Furthermore, when the process of the
ずれ量を整数値の0〜9、0〜100、又は歪み補正ユニット3が2進数で処理するために0〜16とした場合には、それぞれ、精度が0.1、0.01又は1/16となる。しかし、整数値でずれ量を表記するために使用するビット数は、小数でずれ量を表記するために使用するビット数よりも格段に少なくすることができ、歪み補正テーブルのデータ量の削減ができる。また、歪み補正ユニット3が処理するn進数に応じたずれ量の表記とすることにより、歪み補正テーブル中に小数値で表される情報をなくして整数値で表される情報のみを持つことが可能となるだけでなく、整数値のずれ量を10又は100で除算するよりも処理量を減らすことが可能となる。
When the shift amount is an integer value of 0 to 9, 0 to 100, or 0 to 16 for the
以上のように、本発明を適用した仮想現実感生成システムによれば、歪み補正テーブルによって歪み補正処理を行うと共に、変換後の出力画像100’の各画素の画素情報(色情報)を計算するために、各画素に対応する入力画像100の少なくともx方向、または、y方向の2画素を用いるので、出力画像100’内で隣り合う画素間での色情報の変化を滑らかにすることができ、ジャギーを軽減することができる。
As described above, according to the virtual reality generation system to which the present invention is applied, distortion correction processing is performed using the distortion correction table, and pixel information (color information) of each pixel of the
なお、色情報補間式歪み補正処理は、基本的にはx方向及びy方向において隣接する4画素の入力画像100によって行うことが望ましいが、スクリーン1に表示させる映像の絵柄に応じてx方向又はy方向のみにて隣接する2画素で出力画像100’の色情報を求めても、ジャギーの発生を抑制できる。例えば、映像内上下方向に向いた柱が立ち並んでいるような画像をスクリーン1に投影する場合には、y方向に隣接する2画素で出力画像100’の色情報を作成する必要が薄く、逆に、映像内左右方向に向いた棒が多く存在するような画像をスクリーン1に投影する場合には、x方向に隣接する2画素で出力画像100’の色情報を作成する必要が薄く、また、スクリーン1に投影する映像が格子状の絵柄である場合には、x方向又はy方向のみにて隣接する画素の色情報を用いて出力画像100’の色情報を作成しても周期的なジャギーが発生する可能性がある。
The color information interpolation type distortion correction processing is basically desirably performed by the
また、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像100及び出力画像100’の色情報としてRGB(red-green-blue)やCMY(cyan-magenta-yellow)といった複数の原色信号を用いても良い。この場合、歪み補正部24は、R(赤色成分)信号、G(緑色成分)信号、B(青色成分)信号、あるいはC(シアン)信号、M(マゼンタ)信号、Y(イエロー)信号の各原色ごとに独立に同一の処理方法で、入力画像100における隣接画素の色情報を混合して出力画像100’の色情報を作成する。3原色、特にRGBで色情報を表現した場合は、コンピュータグラフィック画像やプロジェクタ2a、2bへの出力画像100’の色表現方式に適合するという利点があり、ジャギーの少ない出力画像100’を得ることができる。また、各原色ごとに並列化して出力画像100’の色情報を作成することができるために、色情報補間式歪み補正処理の高速化が可能となる。更に、RGBの3原色に加えて、透明度のα値についても、RGBの3原色と同様に並列して色情報補間式歪み補正処理を行って出力画像100’の色情報を作成しても良い。
Further, in the color information interpolation type distortion correction processing using the distortion correction table including the description of the deviation amount described above, RGB (red-green-blue) or CMY (cyan-) is used as the color information of the
更に、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像100及び出力画像100’の色情報としてYUV(YCbCr)などの輝度情報(Y)と色差情報(U(輝度信号と青色成分の差),V(輝度信号と赤色成分の差))とからなる信号を用いても良い。この場合、歪み補正部24は、輝度情報と色差情報ごとに独立に同一の処理方法で、入力画像100における隣接画素の色情報を混合して出力画像100’の色情報を作成する。これにより、出力画像100’の色表現方式に適合した色情報によって色情報補間式歪み補正処理を行うことができる。また、輝度情報に敏感で、色差情報には敏感でないという人間の視覚特性を利用して、入力画像100の輝度情報のみを用いて色情報補間式歪み補正処理を行って出力画像100’の輝度情報を求め、色差情報を用いた色情報補間式歪み補正処理は複数の画素ごとに間引いて行うことができ、色情報補間式歪み補正処理の高速化が可能となる。例えば、輝度情報については、x方向及びy方向の4画素から出力画像100’の輝度情報を作成することに対し、色差情報については当該4画素のうちの斜め方向の2画素のみを用いて出力画像100’の色差情報を作成しても良い。
Further, in the color information interpolation type distortion correction process using the distortion correction table including the description of the shift amount described above, the luminance information (Y) such as YUV (YCbCr) and the color difference are used as the color information of the
つぎに、上述した色情報補間式歪み補正処理を行うためのずれ量の記述が含まれる歪み補正テーブルを、入力画像100の入力順に記述した場合の仮想現実感生成システムの動作について説明する。
Next, the operation of the virtual reality generation system when a distortion correction table including a description of a deviation amount for performing the color information interpolation distortion correction process described above is described in the input order of the
色情報補間式歪み補正処理の処理対象となる入力画像100は、映像入力端子3a,3b,3c,3dに入力されて、入力映像処理部21、映像切替/分配部22及び映像合成部23を経由して歪み補正部24に供給される。一般的に、入力画像100の走査線に沿って、画素ごとに順次データが歪み補正部24に供給される。
The
入力画像100の入力画素順に従って色情報補間式歪み補正処理を行う場合、歪み補正ユニット3は、入力順に記述された入力画像100の画素座標に対応させて、当該画素の変換後の出力画像100’における画素座標を記述した歪み補正テーブルを変換テーブル読み込み/保存部27に記憶させておく。この歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ5によって作成される。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。
When the color information interpolation type distortion correction processing is performed in accordance with the input pixel order of the
歪み補正部24は、図23(a)、(b)の入力画像に示すように、入力画像100の画素がP1,P2,P3・・・といった順序で入力される場合であって、x方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、先ず、最初の2画素P1,P2を読み込んだ時点で、当該2画素P1,P2を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、2画素P1,P2の色情報を混合して、図23(a)に示す出力画像100’の画素P1’,P2’,P3’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1と画素P2が、出力画像100’の画素P1’,P2’,P3’に対応し、それぞれの色情報は、それぞれ入力画像100の画素P1,P2をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。なお、出力画像100’の画素P1’,P2’,P3’それぞれを作成するに際しての入力画像100の画素P1,P2の混合度合いはそれぞれ異なるものとなっている。
As shown in the input images of FIGS. 23A and 23B, the
次に、図23(b)に示すように、歪み補正部24に画素P1,P2に続く画素P3が入力されると、歪み補正部24は、当該画素P2,P3の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P2、P3が、出力画像100’の画素P4’、P5’に対応し、出力画像100’の画素P4’、P5’の画素の色情報は、それぞれ入力画像100の画素P2、P3をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as shown in FIG. 23B, when the pixel P3 following the pixels P1 and P2 is input to the
このように、入力画像100のx方向の2画素を最初から順に一つずつ最後の2画素になるまでずらしていき、入力画像100のそれぞれの2画素から計算可能な出力画像100’の画素の色情報のすべてを求めていくことで、出力画像100’のすべての画素の色情報を求める。これにより、歪み補正部24は、常に少なくとも入力画像100のx方向における2画素を読み込んでおけばよく、1画素分の読み込みに必要な時間遅れで、色情報補間式歪み補正処理を行うことができ、歪み補正部24におけるデータ待ち時間を最小にでき、歪み補正部24における処理遅れを少なくできる。
In this way, the two pixels in the x direction of the
また、歪み補正部24は、図24(a)、(b)の入力画像に示すように、入力画像100の画素が第1ライン(走査線)の先頭からP1,P3,・・・と入力され、第2ラインの先頭からP2,P4・・・といった順序で入力される場合であって、y方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、第1ラインの先頭画素P1及び第2ラインの先頭画素P2を読み込んだ時点で、当該2画素P1,P2を用いて計算可能な出力画像100’の色情報の全てを算出する。なお、歪み補正部24は、画素P2が入力されるまで第1ラインの画素を記憶しておく。この例においては、2画素P1,P2の色情報を混合して、図24(a)に示す出力画像100’の画素P1’,P2’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1と画素P2が、出力画像100’の画素P1’、P2’に対応し、それぞれの色情報は入力画像100の画素P1、P2をそれぞれのずれ量に合わせた割合で混合した色情報になることが記述されている。なお、出力画像100’の画素P1’,P2’それぞれを作成するに際しての入力画像100の画素P1,P2の混合度合いはそれぞれ異なるものとなっている。
Further, as shown in the input images of FIGS. 24A and 24B, the
次に、図24(b)に示すように、歪み補正部24に画素P2に続く画素P4が入力されると、歪み補正部24は、当該画素P3,P4の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P3、P4が、出力画像100’の画素P3’に対応し、出力画像100’の画素P3’の画素の色情報は、入力画像100の画素P3、P4をずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as shown in FIG. 24B, when the pixel P4 following the pixel P2 is input to the
このように、入力画像100のy方向に隣接する2画素を歪み補正部24で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像100’のすべての画素の色情報を求める。なお、歪み補正部24は、常に少なくとも計算用メモリ15にx方向の1ライン+1画素を読み込んでおけばよい。これにより、歪み補正部24は、x方向1ライン分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部24における処理遅れを少なくできる。
As described above, the color information interpolation type distortion correction processing is performed at the time when the two pixels adjacent in the y direction of the
更に、歪み補正部24は、図25(a)、(b)の入力画像に示すように、入力画像100の画素が第1ラインの先頭からP1,P2,・・・と入力され、第2ラインの先頭からP3,P4・・・といった順序で入力される場合であって、x方向及びy方向に隣接する入力画像100の4画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、第1ラインの先頭2画素P1,P2を読み込み且つ第2ラインの先頭2画素P3,P4を読み込んだ時点で、当該4画素P1〜P4を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、4画素P1〜P4の色情報を混合して、図25(a)に示す出力画像100’の画素P1’の色情報を作成する。この場合、歪み補正テーブルには、入力画像100の画素P1〜P4が、出力画像100’の画素P1’に対応し、その色情報は入力画像100の画素P1〜P4をずれ量に合わせた割合で混合した色情報になることが記述されている。
Further, as shown in the input images of FIGS. 25A and 25B, the
次に、図25(b)に示すように、歪み補正部24に画素P4に続く画素P6が入力されると、歪み補正部24は、第1ラインの入力時に記憶しておいた画素P2,P5及び画素P4,P6の色情報を用いて計算可能な出力画像100’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像100の画素P2、P5、P4、P6が、出力画像100’の画素P2’、P3’、P4’に対応し、出力画像100’の画素P2’、P3’、P4’の画素の色情報は、それぞれ入力画像100の画素P2、P5、P4、P6をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。
Next, as illustrated in FIG. 25B, when the pixel P6 subsequent to the pixel P4 is input to the
このように、入力画像100のx方向及びy方向に隣接する4画素を歪み補正部24で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像100’のすべての画素の色情報を求める。なお、歪み補正部24は、常に少なくとも計算用メモリ15にx方向の1ライン+2画素を読み込んでおけばよい。これにより、歪み補正部24は、x方向及びy方向の双方にずれがある場合であっても、x方向1ライン分+1画素分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部24における処理遅れを少なくできる。
As described above, the color information interpolation distortion correction processing is performed at the time when the four pixels adjacent in the x direction and the y direction of the
つぎに、上述した色情報補間式歪み補正処理を行うための歪み補正テーブルを、出力画像100’の出力順に記述した場合の仮想現実感生成システムの動作について説明する。
Next, the operation of the virtual reality generation system when the distortion correction table for performing the color information interpolation distortion correction process described above is described in the output order of the
色情報補間式歪み補正処理の処理後の出力画像100’は、歪み補正部24から出力映像処理部25に出力される。一般的に、入力画像100の走査線に沿って、画素ごとに順次データが歪み補正部24から出力映像処理部25に出力される。一般的な出力画像100’が走査線に沿って画素ごとに順次データを読み飛ばし無く出力することを考慮すると、出力側の画素の順に歪み補正テーブルを表現した場合、歪み補正処理における出力側の画素座標が自明であるため、歪み補正テーブルの先頭から入力側の画素座標のみを記述した対応マップとできる。これにより、歪み補正テーブルの大きさが小さくできて、変換テーブル読み込み/保存部27の記憶領域が節約できる。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。ずれ量の記述を含む歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ5によって作成される。
The
このような歪み補正テーブルを変換テーブル読み込み/保存部27に記憶した場合であって、x方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図26(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のx方向に隣接した2画素P1,P2を読み込んだ時点で、当該x方向に隣接した2画素P1,P2を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図26(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のx方向に隣接した2画素P3,P4を読み込むと、当該x方向に隣接した2画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
When such a distortion correction table is stored in the conversion table reading / storing
また、y方向に隣接する入力画像100の2画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図27(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のy方向に隣接した2画素P1,P2を読み込んだ時点で、当該y方向に隣接した2画素P1,P2を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図27(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のy方向に隣接した2画素P3,P4を読み込むと、当該y方向に隣接した2画素P3,P4の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
When the color information of the two pixels of the
更に、x方向及びy方向に隣接する入力画像100の4画素の色情報を混合して、出力画像100’の画素の色情報を作成する場合には、歪み補正部24は、図28(a)に示すように、先ず、入力画像100の先頭から歪み補正テーブルの先頭に記述された入力画像100のx方向及びy方向に隣接した4画素P1〜P4を読み込んだ時点で、当該x方向及びy方向に隣接した4画素P1〜P4を用いて出力画像100’の先頭画素P1’の色情報を作成して、当該画素P1’のデータを出力映像処理部25に出力する。次に、図28(b)に示すように、出力画像100’の画素P1’に続く画素P2’を作成するために、歪み補正部24は、歪み補正テーブルを参照して入力画像100のx方向及びy方向に隣接した4画素P5〜P8を読み込むと、当該x方向及びy方向に隣接した4画素P5〜P8の色情報を用いて出力画像100’の画素P2’の色情報を作成して、当該画素P2’のデータを出力映像処理部25に出力する。
Further, when the color information of the four pixels of the
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
例えば、上述した実施の形態では、2軸直交座標における方形画素を用いて、x方向又はy方向に隣接する2画素を用いた色補間、又は、x方向及びy方向に隣接する4画素を用いた色補間を行うことについて説明したが、三角形画素からなる3軸座標系の映像信号の場合には、三角形画素の隣接する6個の6角形形状の画素群を用いて色補間をすることもできる。 For example, in the above-described embodiment, color interpolation using two pixels adjacent in the x direction or y direction using square pixels in two-axis orthogonal coordinates, or four pixels adjacent in the x direction and y direction are used. In the case of a three-axis coordinate system image signal composed of triangular pixels, the color interpolation may be performed using six hexagonal pixel groups adjacent to the triangular pixels. it can.
1 スクリーン
2 映像投影機器
2a,2b プロジェクタ
3 歪み補正ユニット
3a,3b,3c,3d 映像入力端子
3e,3d 映像出力端子
3g 外部入力端子
3h 外部出力端子
4 映像生成機器
5 パラメータ調整用パーソナルコンピュータ
6 操作入力部
11 信号方式変換回路
12 映像信号処理回路
13 外部機器制御回路
14 デジタルシグナルプロセッサ
15 計算用メモリ
16 テーブル用メモリ
17 信号方式変換回路
18 制御信号用メモリ
21 入力映像処理部
22 映像切替/分配部
23 映像合成部
24 歪み補正部
25 出力映像処理部
26 同期処理部
27 変換テーブル読み込み/保存部
28 外部機器制御部
29 制御信号読み込み/保存部
31 モデル
31,32,34〜36 モデル
31a,32a,34a〜36a 入力パラメータ
31b,32b,34b〜36b メッシュモデル
33 混合モデル
34 球面混合モデル
35 円筒混合モデル
36 平面混合モデル
DESCRIPTION OF
Claims (8)
平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、
前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、
前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、
前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、
前記歪み補正テーブルには、前記平面映像信号の入力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、
前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行うことを特徴とする映像信号処理装置。 An image signal processing apparatus that outputs an output image signal for projecting image light onto a projection surface of an arbitrary shape to a projection unit,
Video signal input means for inputting a planar video signal for projecting video light onto a planar projection surface;
A distortion correction table that is a correspondence map between a planar projection plane and a mesh model of the arbitrary-shaped projection plane, the distortion correction table for performing distortion correction processing on the planar video signal input by the video signal input means An external input means for inputting from the outside;
An output image for projecting image light on the projection surface by performing distortion correction processing for each pixel of the planar image signal input by the image signal input unit with reference to the distortion correction table input by the external input unit Distortion correction means for creating a signal;
Output means for outputting the output video signal created by the distortion correction means to the projection means,
The distortion correction table describes, as the correspondence map, pixels of the planar video before distortion correction corresponding to the pixels of the output video,
The distortion correction means is a color information obtained by mixing color information of a plurality of pixels before conversion at a ratio corresponding to a deviation amount in which a representative point of the pixel before conversion by the distortion correction table is deviated from the representative point of the pixel after conversion. To the color information of the pixel after the conversion, to create the output video signal,
In the distortion correction table, a correspondence between a planar projection surface and a mesh model of the arbitrary-shaped projection surface is described in the order of input pixels of the planar video signal.
The video signal processing apparatus according to claim 1, wherein the distortion correction unit performs distortion correction processing using the input pixel when the input pixel described in the distortion correction table is input.
平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、
前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、
前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、
前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、
前記歪み補正テーブルには、前記出力映像信号の出力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、
前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行い、前記歪み補正テーブルに記述された出力画素の順で出力映像信号を作成することを特徴とする映像信号処理装置。 An image signal processing apparatus that outputs an output image signal for projecting image light onto a projection surface of an arbitrary shape to a projection unit,
Video signal input means for inputting a planar video signal for projecting video light onto a planar projection surface;
A distortion correction table that is a correspondence map between a planar projection plane and a mesh model of the arbitrary-shaped projection plane, the distortion correction table for performing distortion correction processing on the planar video signal input by the video signal input means An external input means for inputting from the outside;
An output image for projecting image light on the projection surface by performing distortion correction processing for each pixel of the planar image signal input by the image signal input unit with reference to the distortion correction table input by the external input unit Distortion correction means for creating a signal;
Output means for outputting the output video signal created by the distortion correction means to the projection means,
The distortion correction table describes, as the correspondence map, pixels of the planar video before distortion correction corresponding to the pixels of the output video,
The distortion correction means is a color information obtained by mixing color information of a plurality of pixels before conversion at a ratio corresponding to a deviation amount in which a representative point of the pixel before conversion by the distortion correction table is deviated from the representative point of the pixel after conversion. To the color information of the pixel after the conversion, to create the output video signal,
In the distortion correction table, a correspondence between a planar projection surface and the mesh model of the arbitrary-shaped projection surface is described in the order of output pixels of the output video signal.
The distortion correction means performs a distortion correction process using the input pixels when the input pixels described in the distortion correction table are input, and outputs video in the order of the output pixels described in the distortion correction table. A video signal processing apparatus for generating a signal.
前記歪み補正手段は、前記歪み補正テーブルに記述されたずれ量を参照し、変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成することを特徴とする請求項1又は請求項2に記載の映像信号処理装置。 The distortion correction table describes, as the correspondence map, a pixel of the planar image before distortion correction corresponding to a pixel of the output image and a deviation amount from the pixel,
The distortion correction means refers to a shift amount described in the distortion correction table, and at a ratio corresponding to a shift amount in which the representative point of the pixel before conversion deviates from the representative point of the pixel after conversion, 3. The video signal processing apparatus according to claim 1, wherein the output video signal is created by using color information obtained by mixing color information of pixels as color information of the pixel after conversion.
前記出力手段は、前記出力映像信号と共に、前記外部入力手段により入力した制御信号を前記投影手段に出力すること
を特徴とする請求項1乃至請求項3の何れか一項に記載の映像信号処理装置。 The external input means inputs a control signal for controlling the operation of the projection means from the outside,
4. The video signal processing according to claim 1, wherein the output unit outputs a control signal input from the external input unit to the projection unit together with the output video signal. 5. apparatus.
前記出力手段は、前記出力映像信号を複数同時に出力する構成であり、
前記映像信号入力手段によって同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して出力映像信号を前記出力手段から出力させる処理、又は、当該複数の平面映像信号を合成した出力映像信号を前記出力手段から出力させる処理を行う信号処理手段を更に備えること
を特徴とする請求項1乃至請求項4の何れか一項に記載の映像信号処理装置。 The video signal input means is configured to simultaneously input a plurality of planar video signals,
The output means is configured to simultaneously output a plurality of the output video signals,
When a plurality of planar video signals are input simultaneously by the video signal input means, a process of selecting the plurality of planar video signals and outputting an output video signal from the output means, or combining the plurality of planar video signals 5. The video signal processing apparatus according to claim 1, further comprising: a signal processing unit that performs a process of outputting the output video signal from the output unit.
前記歪み補正手段は、前記立体映像用視差付き平面映像信号作成手段で作成された視差付き平面映像信号を歪み補正処理して出力映像信号を作成することを特徴とする請求項1乃至請求項6の何れか一項に記載の映像信号処理装置。 Using a plurality of planar video signals input by the video signal input means, creating a parallax-equipped planar video signal creating means for creating a parallax video signal that is synthesized by giving a parallax between the plurality of planar video signals. In addition,
7. The distortion correcting means generates an output video signal by performing a distortion correction process on the parallax flat video signal created by the stereoscopic video parallax flat video signal creating means. The video signal processing device according to claim 1.
請求項1乃至請求項7の何れか一項に記載の映像信号処理装置と、
平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、
前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段と
を備えたことを特徴とする仮想現実感生成システム。 A wide viewing angle screen having an arbitrarily shaped projection surface with a concave surface facing the observer and capable of displaying an image larger than the effective viewing angle of the observer;
A video signal processing device according to any one of claims 1 to 7,
An external processing device that creates a distortion correction table that is a correspondence map between a planar projection surface and a mesh model of the projection surface of the arbitrary shape;
A virtual reality generation system comprising: projection means for projecting an image based on an output video signal output from the video signal processing device onto the screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010219146A JP5061227B2 (en) | 2006-02-20 | 2010-09-29 | Video signal processing apparatus and virtual reality generation system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006043093 | 2006-02-20 | ||
JP2006043093 | 2006-02-20 | ||
JP2010219146A JP5061227B2 (en) | 2006-02-20 | 2010-09-29 | Video signal processing apparatus and virtual reality generation system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007192483A Division JP4631878B2 (en) | 2006-02-20 | 2007-07-24 | Video signal processing device, virtual reality generation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011030260A JP2011030260A (en) | 2011-02-10 |
JP5061227B2 true JP5061227B2 (en) | 2012-10-31 |
Family
ID=39730412
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008053877A Expired - Fee Related JP4631918B2 (en) | 2006-02-20 | 2008-03-04 | Video signal processing device |
JP2010219146A Expired - Fee Related JP5061227B2 (en) | 2006-02-20 | 2010-09-29 | Video signal processing apparatus and virtual reality generation system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008053877A Expired - Fee Related JP4631918B2 (en) | 2006-02-20 | 2008-03-04 | Video signal processing device |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP4631918B2 (en) |
CN (1) | CN101385047B (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102014259B (en) * | 2010-11-17 | 2013-01-09 | 杭州华泰医疗科技有限公司 | Projective texture mapping-based oblique projection distortion correction method |
EP2715669A4 (en) * | 2011-05-25 | 2015-03-18 | Third Dimension Ip Llc | Systems and methods for alignment, calibration and rendering for an angular slice true-3d display |
CN103852966B (en) * | 2012-12-03 | 2017-12-26 | 联想(北京)有限公司 | A kind of projecting method and electronic equipment |
EP2950526B1 (en) * | 2013-01-22 | 2019-01-30 | Sony Corporation | Projection type image display device, image processing device and image processing method, and computer program |
JP2015075516A (en) | 2013-10-07 | 2015-04-20 | ソニー株式会社 | Image processing device, image processing method, and display device |
CN105192982B (en) * | 2015-09-07 | 2018-03-23 | 北京小鸟看看科技有限公司 | The image correction method and system of adjustable virtual implementing helmet |
CN106131533A (en) * | 2016-07-20 | 2016-11-16 | 深圳市金立通信设备有限公司 | A kind of method for displaying image and terminal |
GB201713051D0 (en) * | 2017-08-15 | 2017-09-27 | Imagination Tech Ltd | Low latency distortion unit for head mounted displays |
JP7467883B2 (en) | 2019-04-29 | 2024-04-16 | セイコーエプソン株式会社 | Circuit device, electronic device and mobile device |
CN111062869B (en) * | 2019-12-09 | 2023-05-26 | 北京东方瑞丰航空技术有限公司 | Multi-channel correction splicing method for curved curtain |
CN112037301A (en) * | 2020-08-27 | 2020-12-04 | 上海联影医疗科技股份有限公司 | Method and device for correcting reconstructed image and storage medium |
CN114783366B (en) * | 2022-04-29 | 2023-11-28 | 卡莱特云科技股份有限公司 | Display method and device based on special-shaped module and LED display screen |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2154000A (en) * | 1998-12-07 | 2000-06-26 | Universal City Studios, Inc. | Image correction method to compensate for point of view image distortion |
JP3497805B2 (en) * | 2000-08-29 | 2004-02-16 | オリンパス株式会社 | Image projection display device |
JP2002354400A (en) * | 2001-05-28 | 2002-12-06 | Toyota Central Res & Dev Lab Inc | Data storing/reading method and image data recording device using the same method and image correcting device using the same device |
JP2003085586A (en) * | 2001-06-27 | 2003-03-20 | Namco Ltd | Image display, image displaying method, information storage medium, and image displaying program |
JP2004147064A (en) * | 2002-10-24 | 2004-05-20 | Digital Zuu:Kk | Interactive video distortion correction method, and video projecting device using the method |
US6811264B2 (en) * | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
JP3716258B2 (en) * | 2003-05-29 | 2005-11-16 | Necビューテクノロジー株式会社 | Geometric correction system for input signals |
JP2005004201A (en) * | 2003-06-10 | 2005-01-06 | Mitsubishi Electric Research Laboratories Inc | Method and system for projecting image onto display surface |
CN100401132C (en) * | 2004-04-30 | 2008-07-09 | 上海科技馆 | Method for correcting geometric distortion of projected image on curved curtain |
JP4013922B2 (en) * | 2004-06-14 | 2007-11-28 | 松下電工株式会社 | Virtual reality generation apparatus and method |
CN100341029C (en) * | 2004-07-02 | 2007-10-03 | 四川华控图形科技有限公司 | Correcting method for curve projection geometry of artificial site |
-
2007
- 2007-02-20 CN CN2007800060532A patent/CN101385047B/en not_active Expired - Fee Related
-
2008
- 2008-03-04 JP JP2008053877A patent/JP4631918B2/en not_active Expired - Fee Related
-
2010
- 2010-09-29 JP JP2010219146A patent/JP5061227B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101385047A (en) | 2009-03-11 |
JP2011030260A (en) | 2011-02-10 |
JP4631918B2 (en) | 2011-02-16 |
JP2008187729A (en) | 2008-08-14 |
CN101385047B (en) | 2011-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4013989B2 (en) | Video signal processing device, virtual reality generation system | |
JP5061227B2 (en) | Video signal processing apparatus and virtual reality generation system | |
US5077608A (en) | Video effects system able to intersect a 3-D image with a 2-D image | |
CN107924556B (en) | Image generation device and image display control device | |
US20060152579A1 (en) | Stereoscopic imaging system | |
KR20200052846A (en) | Data processing systems | |
JP2009075646A (en) | Video display system and parameter generation method of same | |
JP5624383B2 (en) | Video signal processing device, virtual reality generation system | |
JP2007325043A (en) | Image display apparatus and image display program | |
CN114513646B (en) | Method and device for generating panoramic video in three-dimensional virtual scene | |
JP5249733B2 (en) | Video signal processing device | |
JP2006350852A (en) | Image generation system | |
US10699372B2 (en) | Image generation apparatus and image display control apparatus | |
JP2019146155A (en) | Image processing device, image processing method, and program | |
JP4631878B2 (en) | Video signal processing device, virtual reality generation system | |
JP2004282712A (en) | Adjustment device | |
JP2011114381A (en) | Video signal processing apparatus and virtual reality creating system | |
WO2019163449A1 (en) | Image processing apparatus, image processing method and program | |
WO2019049457A1 (en) | Image generation device and image generation method | |
WO2019124070A1 (en) | Image processing device, image processing method, program, and projection system | |
US20190394509A1 (en) | Image delivery apparatus | |
JP2002165232A (en) | Virtual-space generation and presentation apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5061227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |