JP3644146B2 - 画像の2次元空間変換方法及び装置 - Google Patents
画像の2次元空間変換方法及び装置 Download PDFInfo
- Publication number
- JP3644146B2 JP3644146B2 JP23061796A JP23061796A JP3644146B2 JP 3644146 B2 JP3644146 B2 JP 3644146B2 JP 23061796 A JP23061796 A JP 23061796A JP 23061796 A JP23061796 A JP 23061796A JP 3644146 B2 JP3644146 B2 JP 3644146B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- axis direction
- address
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
この発明は、原画像を2次元変換して特殊効果画像等を得るための画像の2次元空間変換方法及び装置に関し、特に2次元空間上の第1軸方向への変換処理とこれと直交する第2軸方向への変換処理とを分割して実行する2パス方式の画像の2次元空間変換方法及び装置に関する。
【0002】
【従来の技術】
コンピュータグラフィックスや映像編集システム等では、原画像を2次元空間において座標変換して遠近効果(Perspective)やその他の特殊効果を得ることが頻繁に行われる。このような空間変換は、基本的には下記数1で示す座標変換処理である。
【0003】
【数1】
【0004】
ここで、u,vは変換前の原画像の2次元座標値、x,yは変換後の画像の2次元座標値、Mは変換マトリクスである。実際の映像変換では、出力画素(x,y)に対する入力画素位置(u,v)を求めるという処理が実行されるので、
【0005】
【数2】
【0006】
で与えられた変換マトリクスを解いて、各出力画素に対する入力画素位置(x,y)を順次求めていけばよい。しかし、この方法は計算が複雑であるために実時間処理が困難であるという問題がある。また、この方法は、縮小変換時のサブサンプリングにより生じる折り返し歪みを除去するためのフィルタとして2次元フィルタを必要とするため、構成が複雑化するという問題もある。
そこで、上述した2次元変換を直交した2つの変換に分離して処理時間を短縮するようにした、いわゆる2パス方式が提案されている(例えばUSP4463372等)。この方式を以下に説明する。
いま、[x,y]が下記数3のように定義できるものとする。
【0007】
【数3】
【0008】
これを以下のようにx,y方向にそれぞれ独立に変換するための2つのパスに分解し、順次計算する。
【0009】
【数4】
【0010】
これを数1に当てはめると、各パスでx,yは下記数5のように求められる。
【0011】
【数5】
【0012】
【発明が解決しようとする課題】
しかし、上述した従来の2パス方式の2次元画像変換方式においても、数5に示すように各画素毎に除算が必要になり、リアルタイム演算のためには、ハードウェアの規模が複雑化するのは避けられない。このため、上述した2パス方式は、放送局等の業務用に適用が限定され、一般家庭用に使用することが困難である。
【0013】
この発明は、このような問題点に鑑みなされたもので、上記と同様の2パス方式の2次元空間変換を極めて簡単なハードウェアで実現することができ、もってリアルタイムでの2次元画像変換と回路規模の簡単化とを同時に図ることかできる画像の2次元空間変換装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
この発明による画像の2次元空間変換方法は、原画像の2次元空間上への変換処理を前記2次元空間上の第1軸方向の変換処理とこれに直交する第2軸方向の変換処理とに分割して順次実行する方法であって、前記第1軸方向の変換処理前に対する変換処理後の前記第1軸方向の画像のオフセット量及び縮小率を前記第1軸方向の各走査ラインについて予め第1のテーブルとしてテーブル化しておくと共に、前記第2軸方向の変換処理前に対する変換処理後の前記第2軸方向の画像のオフセット量及び縮小率を前記第2軸方向の各走査ラインについて予め第2のテーブルとしてテーブル化しておき、前記第1軸方向の変換処理に際して画像メモリに対する前記第1軸方向の読み出しアドレスと書き込みアドレスとを前記第1のテーブルのオフセット量に基づきずらし、且つ前記画像メモリに対する前記第1軸方向の読み出しアドレスの間隔と書き込みアドレスの間隔とを前記第1のテーブルの縮小率に基づき制御することにより前記第1軸方向の変換処理を実行し、前記第2軸方向の変換処理に際して前記画像メモリに対する前記第2軸方向の読み出しアドレスと書き込みアドレスとを前記第2のテーブルのオフセット量に基づきずらし、且つ前記画像メモリに対する前記第2軸方向の読み出しアドレスの間隔と書き込みアドレスの間隔とを前記第2のテーブルの縮小率に基づき制御することにより前記第2軸方向の変換処理を実行するようにしたことを特徴とする。
【0015】
また、この発明に係る画像の2次元空間変換装置は、原画像の2次元空間上への変換処理を前記2次元空間上の第1軸方向の変換処理とこれに直交する第2軸方向の変換処理とに分割して順次実行するものであって、原画像を記憶する第1の画像記憶手段と、この第1の画像記憶手段に記憶された原画像を前記第1軸方向に変換処理して得られた中間画像を記憶する第2の画像記憶手段と、原画像に対する前記2次元空間上の第1軸方向への変換処理を規定する第1軸方向の各走査ラインについてのオフセット値及び縮小率、並びに前記第1軸方向への変換処理が終了した中間画像に対する前記2次元空間上の第2軸方向への変換処理を規定する第2軸方向の各走査ラインについてのオフセット値及び縮小率をそれぞれ変換パラメータとして計算する演算手段と、この演算手段で計算された前記第1及び第2軸方向の各ライン毎の変換パラメータをパラメータテーブルとして記憶するパラメータ記憶手段と、このパラメータ記憶手段に記憶された変換パラメータを前記第1軸方向の各走査ライン毎に読み出し累積加算及び加減算して前記第1の画像記憶手段の読み出しアドレスを生成すると共に、この生成されたアドレスにより前記原画像を読み出して前記第2の画像記憶手段にシーケンシャルに書き込むことにより第1軸方向の変換処理を実行する第1の画像変換処理手段と、前記パラメータ記憶手段に記憶されたパラメータを前記第2軸方向の各走査ライン毎に読み出し累積加算及び加減算して前記第2の画像記憶手段の読み出しアドレスを生成すると共に、この生成されたアドレスにより前記中間画像を読み出してシーケンシャルに出力することにより第2軸方向の変換処理を実行する第2の画像変換処理手段とを備えたことを特徴とする
【0016】
この発明によれば、各軸方向の変換処理を、変換前後の各軸方向のずれ量に相当するオフセット量と各軸方向の縮小率とに基づいて行っている。このため、各軸方向の変換処理は、各軸方向の読み出しアドレスと書き込みアドレスとをオフセット量だけずらす処理と、画像メモリへの書き込み間隔に対する画像メモリからの読み出し間隔の制御だけで実現できる。書き込み動作を規定の間隔でシーケンシャルに行えば、読み出し間隔は、単に縮小率の累積加算によって得られる。このように、これらの処理は、累積加算や加減算のみで実現可能であるため、システム構成が簡単であり、しかもリアルタイム処理が可能になる。
【0017】
これらの動作を規定する各軸方向のオフセット量及び縮小率等の変換パラメータは、予めテーブル化されるので、変換動作では複雑な演算は必要としない。変換パラメータのテーブルを順次書き換えるようにすれば、同一の原画像から得られた変換画像を順次変化させることができる。1つの画面の変換動作中に次の画面の変換パラメータを計算することは容易であり、また算出された変換パラメータによるテーブルの書き換えは、例えば映像信号の垂直ブランキング期間等を利用することができる。このため、リアルタイムで変換画像を変化させることができる。
【0018】
第1軸方向の変換結果を格納する第2の画像記憶手段をダブルバッファ構成とすると、一方のバンクから変換画面を出力中に他方のバンクに次の変換のための変換画像を書き込むことができ、変換画像を淀みなく変化させることができる。また、変換パラメータにより求められた読み出しアドレスを更に他の変換テーブルにより変換することで、擬似的な遠近効果等の更に複雑な特殊効果を付与することができる。
【0019】
また、この発明によれば、第1及び第2の画像記憶手段に対する読み出しアドレスから変換画像のボーダエリアを容易に検出することができる。このため、ボーダエリアに特定のエリア色を埋め込むことにより、映像ミキシング等に極めて都合の良い変換画像が得られる。このようにして埋め込まれたエリア色は、例えばオブジェクトを複数のパーツで合成して作成する場合などに、背景色の上書きを防止するのに利用することができる。
【0020】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図1は、この発明の一実施例に係る画像の2次元空間変換装置の原理を説明するための図である。
まず、原画像のコーナ位置を2次元空間上の任意の位置に移動させることにより、原画像を変形させるバイリニア変換(Bilinear Transform)処理に、この発明を利用した場合について説明する。いま、図1(a)に示すようなABCDをコーナとする原画像1を、同図(b)に示すように、A′B′C′D′をコーナとするように変形させて変換画像2を得る場合、変換に際して与えられる情報は、変換後の各コーナA′B′C′D′の座標値(xa,ya),(xb,yb),(xc,yc),(xd,yd)である。これら座標値に基づいて、図1(c)から(d)のように、第1軸(水平h軸)方向への変換処理(第1パス)と、図1(d)から(e)のように、第2軸(垂直v軸)方向への変換処理(第2パス)とが分割されて順次実行される。
【0021】
(1)第1パス
第1パスでは、まずABCDをコーナとする原画像1をh軸方向にのみ変形させる。いま、原画像1の水平方向長さをlH、垂直方向長さをlVとすると、水平方向の各ラインにおいて、原画像1に対応する画素の描画が開始される位置を示すオフセット値offset_h(v)と原画像1の水平方向の幅と中間画像3の水平方向の幅との比である縮小率r_h(v)とは、下記数6のように表すことができる。
【0022】
【数6】
【0023】
なお、数6においてlh(v),lt,lbは、それぞれv、上端、下端における中間画像3の幅である。
このようなオフセット値offset_h(v)及び縮小率r_h(v)を各vについて求め、表1のようにテーブル化しておく。
【0024】
【表1】
【0025】
画像の変換時には、読み出しアドレスRAと書き込みアドレスWAとを図2のような処理によってシーケンシャルに発生させることにより、第1パスの変換が実行される。即ち、垂直アドレスvを0からlV-1まで増加させながら(S1,S10,S11)、各垂直アドレスvについて、水平アドレスhを0からlH-1まで増加させ(S2,S4,S8,S9)、hがオフセット値offset_h(v)に達するまで(S5)、原画像を記憶した第1のメモリの読み出しアドレス[h−offset_h(v),v]の画素データ(原画像1の範囲から横にはみ出した部分の画像データ)を読み出し、中間画像が格納される第2のメモリの書き込みアドレス[h,v]に読み出したデータを書き込む(S3)。この様子を示したのが図3である。水平アドレスhがオフセット値offset_h(v)に達したら(S5)、水平アドレスhが1増加する毎に縮小率r_h(v)をhxに累積加算し(S6,S8)、読み出しアドレスを[hx,v]とする(S7)。これにより、図3(a)に示すように、縮小率r_h(v)に応じた間隔で原画像が読み出され、同図(b)に示すように、水平方向に縮小された中間画像が第2のメモリに格納されることになる。このように、第1パスでは、減算処理と累積加算処理のみで変換処理が実行される。
【0026】
(2)第2パス
第2パスは、基本的には第1パスの水平・垂直方向を入れ替えたもので、第1パスで得られた中間画像3をv軸方向にのみ変形させる。但し、第2パスでは、第1パスの変換の補正をして変換パラメータを算出する必要がある。図1(e)に示すように、変換後の2次元空間の水平方向の両端の辺に変換後の画像のA′B′線の交点のy座標ya′,yb′と、C′D′線の交点のy座標yc′,yd′とを下記数7のように求める。
【0027】
【数7】
【0028】
ここで、ll′=yd′−ya′,lr′=yc′−yb′とすると、垂直方向の各ラインのオフセット値offset_v(h)と縮小率r_v(h)は、下記数8のように求められる。
【0029】
【数8】
【0030】
このようにしてオフセット値offset_v(h)及び縮小率r_v(h)を各hについて求め、これについても、下記表2のようにテーブル化しておく。
また、変換処理についても、図4(a),(b)に示すように、水平方向と垂直方向とを入れ替え、上記と同様に読み出しアドレス及び書き込みアドレスをシーケンシャルに発生させるだけでよい。
【0031】
【表2】
【0032】
図5は、以上の2パス変換方式を実現するための2次元空間変換装置の具体例を示すブロック図である。
この変換装置は、原画像、中間画像及び変換画像をそれぞれ格納する縦続接続されたダブルバッファ構成の画像メモリ11,12及び出力バッファ13を備えて構成されている。画像メモリ11の書き込みアドレスWA0及び出力バッファの読み出しアドレスRA3は、同期アドレス発生器14により与えられる。また、画像メモリ11の読み出しアドレスRA1、画像メモリ12の書き込みアドレスWA1、画像メモリ12の読み出しアドレスRA2及び出力バッファの書き込みアドレスWA2は、それぞれアドレス発生器15、シーケンシャルスキャン発生器16、アドレス発生器17及びシーケンシャルスキャン発生器18により与えられる。CPU19は、変換パラメータを演算し、映像信号の垂直同期パルスによりインタラプトされて変換パラメータをバス20を介してRAMに変換テーブル21,22として格納する。
【0033】
原画像の映像信号がVideo In端子から入力されると、この映像信号は、書き込みアドレスWA0に従って画像メモリ11の一方のバンクに通常の走査順序でリアルタイムで書き込まれる。このとき画像メモリ11の他方のバンクには、前フィールド(又はフレーム)の画像が記憶されている。この原画像は、第1パス用のアドレス発生器15の読み出しアドレスRA1に従って読み出され、シーケンシャルスキャン発生器16からの書き込みアドレスWA1に従って画像メモリ12の一方のバンクに通常の走査順序でシーケンシャルに書き込まれる。同時に画像メモリ12の他方のバンクに格納されている前フィールド(又はフレーム)の第1パス終了後の中間画像が、第2パス用のアドレス発生器17の読み出しアドレスRA2に従って読み出され、シーケンシャルスキャン発生器18からの書き込みアドレスWA2に従って出力バッファ13に書き込まれる。出力バッファ13もダブルバッファ構成となっており、出力側バンクから変換画像がリアルタイムで連続的に読み出され、Video Out端子から出力される。画像メモリ11,12及び出力バッファ13の各バンクは、このようにフィールド又はフレーム毎に切り換えられ、リアルタイムで同様の処理が繰り返される。
【0034】
アドレス発生器15,17は、それぞれ変換テーブル21,22と接続されており、これら変換テーブル21,22に格納された変換パラメータに基づいて読み出しアドレスRA1,RA2を生成する。但し、この実施例では、読み出しアドレスRA1,RA2の生成を容易にするため、前述したオフセット値offset_h(v),offset_v(h)にそれぞれ縮小率r_h(v),r_v(h)を掛けた値をオフセット値offset'_h(v),offset'_v(h)として用いている。従って、表1及び表2の変換パラメータに対して、変換テーブル21,22に格納される変換パラメータは、表3のようになる。
【0035】
【表3】
【0036】
これらの変換パラメータは、そのフィールド(又はフレーム)の処理に先だって映像垂直ブランキング期間にCPU19から書き込まれる。CPU19は、現画面の変換中に、例えば次の画面の変換後の各コーナA′B′C′D′の座標値(xa,ya),(xb,yb),(xc,yc),(xd,yd)に基づいて、次画面のパラメータ計算を実行する。
【0037】
図6は、第1パス用のアドレス発生器15及びシーケンシャルスキャン発生器16の構成例を示す図である。
シーケンシャルスキャン発生器16は、基準クロック信号Clockをカウントして水平書き込みアドレスWA1_hを発生させる水平カウンタ31と、水平同期パルスH-pulseをカウントして垂直書き込みアドレスWA1_vを発生させる垂直カウンタ32とを備えて構成されている。水平カウンタ31及び垂直カウンタ32は、それぞれ水平同期パルスH-pulse及び垂直同期パルスV-pulseによってリセットされる。また、シーケンシャルスキャン発生器16は、垂直書き込みアドレスWA1_vを変換テーブル21のアドレスvとして出力する。変換テーブル21からは、アドレスvに対応したオフセット値offset'_h(v)と縮小率r_h(v)とがアドレス発生器15に供給される。
【0038】
アドレス発生器15では、変換テーブル21から読み出されたオフセット値offset'_h(v)が減算器33の負入力に供給される。また、ラッチ回路34と加算器35とは累積加算器を構成し、水平同期パルスH-pulseによってリセットされたのち、変換テーブル21から読み出された縮小率r_h(v)を基準クロックに従って累積加算する。その累積加算値が減算器33の正入力に供給される。減算器33は、縮小率r_h(v)の累積加算値からオフセット値offset'_h(v)を減算した値を水平読み出しアドレスRA1_hとして出力する。但し、減算器33の出力は、図3に示したように、負の値から原画像1を超えるアドレスまでを出力するので、何らかのリミット処理を行う必要がある。
【0039】
一方、図7に示すように、上記の変換処理により原画像が縮小された場合、出力画像に原画像1の範囲以外の領域を示すボーダエリアが現れる。映像編集装置等で映像ミキシングを行う場合、ボーダエリアに特定のエリア色を埋め込み、このエリア色を合成のためのキー信号として利用することが頻繁に行われる。このキー信号としては、通常、クロマキーが用いられる。そこで、本装置の変換においても、ボーダエリアを検出してクロマキーをボーダに埋め込むことができれば、映像ミキシングを行う上で極めて便利である。この装置では、減算器33の出力が、例えば“0”未満及び“lH”以上であることでボーダエリアを容易に検出することができる。そこで、図8に示すように、画像メモリ11の特定のアドレスAMAで特定される記憶領域に予めエリア色データ(クロマ色データ)を記録しておき、ボーダエリアを検出したときの書き込みアドレスWA1をエリア色データが記憶されている画像メモリ11のアドレスに切り換えることで、図7に示すようにボーダエリアにエリア色データを埋め込むことができる。
【0040】
図6のアドレス発生器15では、減算器33の出力がボーダエリア検出器36に入力され、ここで0〜lH−1の範囲内であるかどうかが判定される。上記の範囲内と判定された場合には、スイッチ37,38をそれぞれ減算器33の出力及び垂直カウンタ32の出力に接続し、これらをそれぞれ水平読み出しアドレスRA1_h及び垂直読み出しアドレスRA1_vとして出力する。減算器33の出力が0〜lH−1の範囲外である場合には、スイッチ37,38をエリア色メモリアドレス記憶部39の出力に接続し、予めボーダエリアに埋め込むエリア色が記憶されている画像メモリ11のアドレスAMAを読み出しアドレスRA1_h,RA1_vとして出力する。
このように、画像メモリ11のアドレスを切り換える方式とすれば、画像データのパスに直接クロマキーの切換回路を付加する方式に比べ、本装置をLSI化した場合の画像データの入出力ピン数の増加を防止することができ、LSIパッケージのコストを低減することができる。
【0041】
以上のアドレス変換処理により、図3(a)に示すように、画像メモリ11の原画像1の記憶領域に読み出しアドレスが達するまでは、エリア色データが埋め込まれ、原画像1の記憶領域に読み出しアドレスが達した後は、縮小率r_h(v)の間隔で画像データが読み出され、画像メモリ12に書き込まれる際は、標準間隔で書き込まれるので、図3(b)に示すように、原画像1をオフセット値offset_h(v)だけずれた位置から水平方向に縮小率r_h(v)で規定される割合だけ縮小した中間画像3が得られる。
【0042】
第2パス用のアドレス発生器17及びシーケンシャルスキャン発生器18も、基本的にはこれと同様の構成となっているが、第2パスでは垂直方向のスキャンを行うため、図9に示すように、シーケンシャルスキャン発生器18は、基準クロックClockを垂直カウンタ41に入力して垂直書き込みアドレスWA2_vを発生させ、垂直カウンタ41のキャリー信号Carryを水平カウンタ42に入力して水平書き込みアドレスWA2_hを発生させるようにしている。そして、アドレス発生器17は、加算器44及びラッチ回路45からなる累積加算器で縮小率r_v(h)を累積加算した値から、オフセット値offset'_v(h)を減算器43によって減算し、その出力に基づいてボーダエリア検出器46でボーダエリアを検出する。その検出結果に応じてスイッチ47,48を切り換え、ボーダエリアではエリア色メモリアドレス記憶部49の出力を読み出しアドレスRA2_h,RA2_vとして出力し、ボーダエリア外では減算器43の出力を読み出しアドレスRA2_h,RA2_vとして出力する。
これにより、図4に示すように、中間画像3から垂直方向にオフセット及び縮小された変換画像2を得ることができる。
【0043】
なお、上記実施例では、オフセット値offset_h(v),offset_v(h)にそれぞれr_h(v),r_v(h)を掛けた値をオフセット値offset'_h(v),offset'_v(h)として用い、スキャンの最初から縮小率の累積加算値を求め、この累積加算値からオフセット値を減算するようにしたが、表1又は表2のオフセット値offset_h(v),offset_v(h)をそのまま使用し、書き込みアドレスWA1_h,WA2_vがオフセット値offset_h(v),offset_v(h)にそれぞれ達するまで縮小率r_h(v),r_v(h)の累積加算及びその出力を行わず、オフセット値に達したらスイッチを切り換えて縮小率r_h(v),r_v(h)の累積加算を開始するように構成することもできる。この場合のアドレス発生器15の構成例を図10に示す。
【0044】
アドレス発生器15は、表1のような変換パラメータが格納された変換テーブル21から読み出されたオフセット値offset_h(v)を減算器33に供給し、水平書き込みアドレスWA1_hから減算して水平読み出しアドレスRA1_hを生成する。また、垂直読み出しアドレスRA1_vとして垂直書き込みアドレスWA1_vをそのまま出力する。これにより、図3(a)に示すように、画像メモリ11に格納された原画像1の左側にはみ出した部分から画像データの読み出しが実行される。このとき、エリア色メモリアドレスが読み出しアドレスRA1_h,RA1_vとして出力されるのは上記と同様である。水平読み出しアドレスRA1_hが原画像1の部分に差し掛かると、減算器33の出力は負の値から正の値に切り替わる。アドレス発生器15は、減算器33の出力のサインビットSignによりスイッチ30を切り換える。同時にANDゲート40がアクティブになり、基準クロックClockがラッチ回路35に入力される。以後、累積加算値が水平読み出しアドレスRA1_hとして出力されることになる。
【0045】
以上の説明では、第1パスを水平方向の変換、第2パスを垂直方向の変換としたが、第1パスを垂直方向の変換、第2パスを水平方向の変換としても良い。この場合には、第1パス用のアドレス発生器15、シーケンシャルスキャン発生器16及び変換テーブル21と、第2パス用のアドレス変換器17、シーケンシャルスキャン発生器18及び変換テーブル22とを入れ替えればよい。このような変換処理を行うと、最終出力が通常の映像信号と同様に水平方向走査となるので、極めて都合が良い。
また、出力バッファ13は、例えば画像メモリ12にD−RAM等を使用してロウアドレス設定などで画像メモリ12からの読み出しがリアルタイムに行えない場合等に特に必要となるもので、画像メモリ12からの読み出しがリアルタイムに行える場合には不要である。
【0046】
次に、擬似的な遠近効果(Perspective)を付加する方法について説明する。ここでは、バイリニア変換処理の途中で読み出しアドレスRA1_h,RA2_vを変換テーブルによって変換することにより、擬似的な遠近効果を付与する。
図11はこの実施例に係る2次元空間変換装置の構成例を示すブロック図であり、図5と共通する部分には同一符号を付してある。この実施例では、アドレス発生器15から出力される読み出しアドレスRA1を変換テーブル51を通して読み出しアドレスRA1′に変換し、画像メモリ11に与えるようにしている。第1パスにのみ変換テーブル51を挿入しているのは、第1パスでh,v両方の遠近効果をつけているので、第2パスでは必要ないからである。
【0047】
変換テーブル51のパラメータの算出方法には、種々のアルゴリズムが考えられる。例えば、
【0048】
【数9】
【0049】
として、数9を積分すると、
【0050】
【数10】
【0051】
となる。そこで、A又はBに適当な値を与えてl(v)テーブルの各パラメータを求めればよい。変換テーブル51も、変換テーブル21,22と同様にCPU19が次の変換に先だって演算し、垂直ブランキング期間にRAM等のメモリに書き込むことにより作成される。これにより得られる効果の一例を図12に示す。
この他、table_h,table_vに適当なパラメータを設定して、画像メモリ11からの読み出し位置をずらすことにより、マルチ画面等の効果を得ることもできる。
【0052】
上記実施例では、変換テーブル21,22にバイリニア変換のための変換パラメータを格納したが、オフセット値及び縮小率を特殊な固定的な値とすることにより、例えば図13(a)に示すようなウェーブ、同図(b)に示すようなピンチ等のバイリニア変換以外の特殊効果を持たせることもできる。
【0053】
また、図14に示すように、変換画像を読み出す際の読み出しアドレスRA3を回転用アドレス発生器55に供給し、この回転用アドレス発生器55で所定角度回転させてアドレスRA3′を生成し、このアドレスRA3′を出力バッファ13の読み出しアドレスとして供給することにより、変換画像を更に回転させた画像を出力することもできる。この場合にも上記と同様、CPU19により演算された変換パラメータをテーブル化しておくことにより、リアルタイム処理が実現できる。
【0054】
ところで、上述した装置を使用してリアルタイムの特殊効果を得るためには、各変換テーブル21,22,41にセットする変換パラメータをCPU19がフィールド毎又はフレーム毎に算出する必要がある。しかし、変換パラメータは1画面の各行及び各列毎に持てばよいので、それほど多くの演算量は必要としない。例えば640×240画素のフィールド処理の場合、各変換パラメータの数は下記表4のようになる。
【0055】
【表4】
【0056】
従って、2640個の変換パラメータを1フィールド期間である15msec以内に計算すればよい。これは1変換パラメータ当たりの演算時間が5〜6μsecであることを意味し、数十MHzのCPUでは100サイクル程度を1変換パラメータの演算に割り当てればよいので、汎用の安価なCPUでも、十分にリアルタイム処理が可能な演算量であることが分かる。
【0057】
変換テーブル21,22,41用のメモリは、専用のRAMを用いても良いが、画像メモリ11,12の空き領域にマッピングしても良い。即ち、映像機器で扱う画像のサイズは、通常640×240(480)又は720×483等であるが、D−RAM、V−RAM等の汎用のメモリデバイスは4M、16Mバイト等、2のべき乗の容量を持ち、未使用空き領域を生じる。この未使用空き領域を利用すればよい。
画像メモリにマッピングした場合、画像メモリからの画像データの読み出し、書き込みに加え、変換パラメータの読み出し、書き込みが追加されるので、メモリアクセスに関してオーバーヘッドが生じるが、これは殆ど無視できる。何故なら、画像メモリはダブルバッファ構成であるため、変換パラメータの書き込みは、非リアルタイム期間でよく、また本装置で使用するオフセット値や縮小率等は、各行又は各列に適用されるので、1行に1回又は1列に1回読み出せばよいからである。
【0058】
次に、輝度データYと色データU,Vとが異なる周波数でサンプリングされた画像の処理について説明する。
例えばシステムの低価格化のために、輝度データYに対して色データU,Vを水平方向に半減させたY.UV.4:2:2フォーマットの画像データを対象にした場合、図15に示すように、Y用画像メモリ11aに格納された輝度データY0,Y1,Y3,…に対し、UV用画像メモリ11bに格納された色データV0,U0,V1,U1,…は、水平方向の画素密度が1/2となる。また、UV用画像メモリ11bの偶数アドレスにVデータが、また奇数アドレスにUデータが格納される。従って、このように記録された画像データを変換パラメータに応じたアドレスで読み出し、画像メモリ12に書き込む際に、画像メモリ11の読み出しアドレスがどのように変化しても、画像メモリ12には上記のフォーマットに従って、偶数アドレスにVデータが、また奇数アドレスにUデータが書き込まれなければならない。
【0059】
図16は、この点を考慮して改良を加えた2次元空間変換装置の要部だけを示すブロック図である。
この装置では、第1パスのアドレス発生器15から出力される画像メモリ11の読み出しアドレスRA1をY用画像メモリ11aの読み出しアドレスRA1−Yとしてそのまま供給する。また、読み出しアドレスRA1をLSBを除いてラッチ回路61に1クロックおきにラッチし、このラッチ出力にシーケンシャルスキャン発生器16からの書き込みアドレスWA1のLSBを付加してUV用画像メモリ11bの読み出しアドレスRA1−UVとする。これにより、読み出しアドレスRA1がどのように変化しても、UV用画像メモリ11bの読み出しアドレスRA1−UVは、必ず偶数、奇数の順となり、UV用画像メモリ12bの書き込みアドレスWA1−UVもこれと同一の順序となる。
【0060】
次に、上述した2次元空間変換装置をアニメーション表示装置に適用したシステムについて説明する。
2次元アニメーションを制作する手法としては、個々のキャラクタやオブジェクトをスプライトとして登録する方法と、コンピュータグラフィックスによる方法とが一般的である。
スプライトによる方法は、一連の動作を1コマずつスプライトとして記録し、連続してスプライトを変更していくことによりアニメーション画像を得るか、又は、オブジェクトを各パーツに分割してこれらパーツを各々スプライトとして登録し、それらを画面上で組み合わせることによりアニメーション画像を得るものである。
しかし、これら従来の方法は、アニメーションの動作が固定されてしまったり、動きが限定される等の欠点がある。また、より多くの表現を得ようとすると、膨大な数のスプライトを蓄積する必要があり、そのための大容量のメモリが必要となるという問題もあった。
【0061】
一方、コンピュータグラフィックスによる方法は、コンピュータによりオブジェクトの動きを計算し、1コマずつオブジェクトの形や表示位置等を計算して表示する方法であるため、リアルタイム処理を実現するためには、高いコンピュータの演算能力を必要とし、高価なシステムになってしまうという問題がある。
そこで、この発明の2次元空間変換装置を利用することにより、システムのコストを低減すると共にリアルタイムでより多くの表現が可能なアニメーション画像を作成することができる。
【0062】
図17は、このようなアニメーション表示装置の構成を示すブロック図である。
パーツ原画像メモリ81は、前述した画像メモリ11に対応するもので、アニメートの対象とするオブジェクトの各パーツを原画像として記憶するものである。合成画像メモリ82は、各パーツ原画像にこの発明に基づく2次元変換処理を加えて合成し、合成画像を出力するするためのメモリで、前述した画像メモリ12に対応するものである。また、この合成画像メモリ82は、画像メモリ12と同様ダブルバッファ構成となっており、切換器90でフィールド(又はフレーム)毎にバンクを切り換えることにより、リアルタイムでの画像出力を可能にしている。アドレス変換部83は、前述したアドレス発生器15,17、シーケンシャルスキャン発生器16,18、同期アドレス発生器14、ボーダエリアの検出及び切換手段等の機能を含むもので、変換テーブル84から読み出された変換パラメータに基づいて、原画像変換及び合成に必要な第1パスの読み出しアドレスRA1、書き込みアドレスWA1及び第2パスの読み出しアドレスRA2を出力する。背景色検出器84は、画像データから背景色を検出して画像合成時の背景色の重ね書きを防止する。
【0063】
CPU85は、マウス、ジョイスティック等の入力装置86からバス87を介して各画面毎のオブジェクトの動作パラメータをリアルタイムで計算し、動作パラメータメモリ88に格納する。なお、動作パラメータは、予め与えられた値として動作パラメータメモリ88に格納されていても良い。CPU85は、また動作パラメータに基づいて上述したオフセット、縮小率等の変換パラメータを各画面毎に演算し、変換テーブル89に格納する。
【0064】
図18は、このアニメーション表示装置の動作を説明するための図である。
パーツ原画像メモリ81には、例えば同図(a)に示すようなオブジェクトの各パーツ原画像91,92,…,95が格納される。パーツ原画像91を変形パラメータに従って前述したバイリニア変換すると、同図(b)のように、パーツ変換画像91′が得られる。このとき、変換パラメータには、パーツ原画像91の記憶領域に対応したオフセット値を与えるようにする。また、前述のようにボーダエリアには特定の背景色を埋め込んでおく。同様の変換を他のパーツについても行いこれらを合成する。合成に際しては、各パーツが上書きされるようにするため、優先順位の低いパーツから書き込みを開始し、優先順位の最も高いパーツが最も手前に表示されるようにする。もし優先順位の高いパーツから書き込む場合には、既にパーツが書き込まれている画素の書き込みを禁止する処理が必要になり、処理はやや複雑になる。また、画像合成時に、パーツ原画像メモリ81から読み出された画像データが予め定めた背景色であるかどうかを背景色検出器84で検出し、背景色である場合には、合成画像メモリ82に対する書き込みイネーブル信号W−ENを非アクティプにし、背景色が上書きされるのを防止する。このような合成処理を同図(c)のように全てのパーツについて実行すると、同図(d)に示すような合成画像が得られる。なお、この装置では、合成画像メモリ82から読み出した画像データを切換器90を介してそのまま出力する構成であるため、第1パスを垂直方向の変換処理、第2パスを水平方向の変換処理とすると、最終段の出力が通常の画像スキャンと一致するので都合が良い。
【0065】
この装置によれば、アニメートしたい動作から動作パラメータを決定し、各パーツの1コマ毎の変換パラメータを算出し、1コマ毎に上記の合成処理を実行することにより、極めて簡単なシステム構成で複雑なアニメーションをリアルタイムで表示可能になる。またパーツ原画像は、必要に応じて書き換えることもでき、これにより、更に多種類のオブジェクトの表示が可能になる。
また、このような機能を利用して、例えば図9(a)に示すようなパーツ原画像を変形させて同図(b)に示すようなメッシュワーピング効果を得ることも容易である。
【0066】
【発明の効果】
以上述べたように、この発明によれば、極めて簡単な構成で様々な特殊効果画像を得ることができ、廉価なリアルタイム映像特殊効果装置等に有効な画像の2次元空間変換方法及び装置を実現できるという効果を奏する。
【図面の簡単な説明】
【図1】 この発明の実施例の原理を説明するための図である。
【図2】 同実施例の変換手順を示すフローチャートである。
【図3】 同実施例の第1パスの変換処理を説明するための図である。
【図4】 同実施例の第2パスの変換処理を説明するための図である。
【図5】 この発明の一実施例に係る2次元空間変換装置の構成を示すブロック図である。
【図6】 同装置における第1パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図7】 同アドレス発生器のボーダエリア処理を説明するための図である。
【図8】 同ボーダエリア処理のためのエリア色データの記憶状態を説明するための図である。
【図9】 同装置における第2パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図10】 アドレス発生器及びシーケンシャルスキャン発生器の他の構成例を示すブロック図である。
【図11】 この発明の他の実施例に係る2次元空間変換装置のブロック図である。
【図12】 同装置により得られる遠近効果を説明するための図である。
【図13】 この発明が適用可能な他の特殊効果画像を示す図である。
【図14】 この発明の更に他の実施例に係る2次元空間変換装置のブロック図である。
【図15】 この発明をY.UV.4:2:2の画像データに適用した実施例を説明するための図である。
【図16】 同実施例に係る2次元空間変換装置の要部を示すブロック図である。
【図17】 この発明をアニメーション表示装置に適用した実施例を示すブロック図である。
【図18】 同実施例の処理を説明するための図である。
【図19】 同実施例の他の処理を説明するための図である。
【符号の説明】
1…原画像、2…変換画像、3…中間画像、11,12…画像メモリ、15,17…アドレス発生器、16,18…シーケンシャルスキャン発生器、19,85…CPU、21,22,51,89…変換テーブル、71…ボーダエリア検出器、72…エリア色メモリアドレス記憶部、81…パーツ原画像メモリ、82…合成画像メモリ、83…アドレス変換部、84…背景色検出器、86…入力装置、88…動作パラメータメモリ。
Claims (1)
- 原画像の2次元空間上への変換処理を前記2次元空間上の第1軸方向の変換処理とこれに直交する第2軸方向の変換処理とに分割して順次実行する画像の2次元空間変換装置において、
原画像を記憶する第1の画像記憶手段と、
この第1の画像記憶手段に記憶された原画像を前記第1軸方向に変換処理して得られた中間画像を記憶する第2の画像記憶手段と、
原画像に対する前記2次元空間上の第1軸方向への変換処理を規定する第1軸方向の各走査ラインについてのオフセット値及び縮小率、並びに前記第1軸方向への変換処理が終了した中間画像に対する前記2次元空間上の第2軸方向への変換処理を規定する第2軸方向の各走査ラインについてのオフセット値及び縮小率をそれぞれ変換パラメータとして計算する演算手段と、
この演算手段で計算された前記第1及び第2軸方向の各ライン毎の変換パラメータをパラメータテーブルとして記憶するパラメータ記憶手段と、
このパラメータ記憶手段に記憶された変換パラメータを前記第1軸方向の各走査ライン毎に読み出し累積加算及び加減算して前記第1の画像記憶手段の読み出しアドレスを生成すると共に、この生成されたアドレスにより前記原画像を読み出して前記第2の画像記憶手段にシーケンシャルに書き込むことにより第1軸方向の変換処理を実行する第1の画像変換処理手段と、
前記パラメータ記憶手段に記憶されたパラメータを前記第2軸方向の各走査ライン毎に読み出し累積加算及び加減算して前記第2の画像記憶手段の読み出しアドレスを生成すると共に、この生成されたアドレスにより前記中間画像を読み出してシーケンシャルに出力することにより第2軸方向の変換処理を実行する第2の画像変換処理手段と、
前記第1の画像変換処理手段で生成された前記第1の画像記憶手段の読み出しアドレスを前記第1軸方向及び前記第2軸方向の少なくとも一方に座標変換して前記変換画像に特殊効果を付与する変換テーブルと
を備えたことを特徴とする画像の2次元空間変換装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23061796A JP3644146B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の2次元空間変換方法及び装置 |
US08/922,727 US6188800B1 (en) | 1996-08-30 | 1997-08-27 | Two-dimensional spatial transformation system for video processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23061796A JP3644146B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の2次元空間変換方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1074077A JPH1074077A (ja) | 1998-03-17 |
JP3644146B2 true JP3644146B2 (ja) | 2005-04-27 |
Family
ID=16910581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23061796A Expired - Fee Related JP3644146B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の2次元空間変換方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3644146B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5321009B2 (ja) * | 2008-11-21 | 2013-10-23 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法および画像投射装置 |
CN108364623B (zh) | 2012-02-22 | 2021-09-07 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读介质 |
-
1996
- 1996-08-30 JP JP23061796A patent/JP3644146B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1074077A (ja) | 1998-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3278881B2 (ja) | 画像信号生成装置 | |
US4462024A (en) | Memory scanning address generator | |
US6788309B1 (en) | Method and apparatus for generating a video overlay | |
JP2773354B2 (ja) | 特殊効果装置及び特殊効果発生方法 | |
JPH0628485A (ja) | テクスチャーアドレス生成器、テクスチャーパターン生成器、テクスチャー描画装置及びテクスチャーアドレス生成方法 | |
GB2157910A (en) | Improvements in or relating to video signal processing systems | |
US5325446A (en) | Apparatus for image transformation | |
JPS63121364A (ja) | テレビジヨン特殊効果装置の補間器 | |
JPS6191777A (ja) | ビデオ画像形成装置 | |
US6188800B1 (en) | Two-dimensional spatial transformation system for video processing | |
JP3644146B2 (ja) | 画像の2次元空間変換方法及び装置 | |
US4647971A (en) | Moving video special effects system | |
JP2000324337A (ja) | 画像拡大縮小装置 | |
US5220428A (en) | Digital video effects apparatus for image transposition | |
JP3575179B2 (ja) | 画像の2次元空間変換装置 | |
JPS6150318B2 (ja) | ||
JPH06209406A (ja) | 電子画像処理装置および画像データ作成方法 | |
JPH07105404A (ja) | 立体画像処理装置及びその処理方法 | |
US7697817B2 (en) | Image processing apparatus and method, and recorded medium | |
JPH04354068A (ja) | 画像データ補間方法及び装置 | |
JP3314496B2 (ja) | キー信号発生装置 | |
JPH06301374A (ja) | 画像作成装置 | |
JP2558248B2 (ja) | 画像処理装置及び方法 | |
JP3468580B2 (ja) | データ曲線描画装置 | |
JPH10222655A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050124 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |