JP3630587B2 - 映像編集方法及びその装置 - Google Patents
映像編集方法及びその装置 Download PDFInfo
- Publication number
- JP3630587B2 JP3630587B2 JP17744199A JP17744199A JP3630587B2 JP 3630587 B2 JP3630587 B2 JP 3630587B2 JP 17744199 A JP17744199 A JP 17744199A JP 17744199 A JP17744199 A JP 17744199A JP 3630587 B2 JP3630587 B2 JP 3630587B2
- Authority
- JP
- Japan
- Prior art keywords
- samples
- stream
- memory
- sample
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、デジタル映像データの編集を行う映像編集装置及びその方法に関し、特に複数の素材データをコンピュータ上で編集処理するノンリニア編集に好適な映像編集装置及びその方法に関する。
【0002】
【従来の技術】
近年、映像データの拡大や縮小等の画像処理を行い、その編集を行う映像編集装置が開発されている。このような映像編集装置では、映像信号をデジタル映像データに変換し、このデジタル映像データに対してフィルタリング等の画像処理を実施して拡大や縮小等の編集を行っていた。
【0003】
以下、従来の映像編集装置について図26を参照しつつ説明する。図26は従来の映像編集装置の構成を示すブロック図である。図26において、映像編集装置に入力されたデジタル映像データは、YC抽出回路202において輝度信号サンプル(以下、Yサンプルと記す)と二つの色差信号サンプル(以下、CRサンプル、CBサンプルと記す)に分解される。分解されたYサンプルは2つのラインバッファ203、203でそれぞれ順に1ラインずつ遅延される。元のYサンプルと1ライン遅延されたYサンプルと2ライン遅延されたYサンプルは、垂直フィルタ204に入力され、垂直方向の圧縮や伸張等の処理が行われる。
【0004】
同様に、CRサンプルとCBサンプルについてもそれぞれ2つのラインバッファ203、203と垂直フィルタ204により垂直方向の圧縮や伸張等の処理が実施される。
垂直フィルタ204から出力されたYサンプル、CRサンプル及びCBサンプルは、各水平フィルタ205に入力され、それぞれにおいて水平方向の圧縮や伸張の処理が行われる。各水平フィルタ205からの出力は、YC組立回路206に入力され、デジタル映像信号に組み立てられて出力される。
【0005】
従来の映像編集装置において、デジタル映像データはライン単位でデータ伝送が行われている。このため、従来の映像編集装置では、ライン単位の処理、例えば水平方向のシフト、圧縮あるいは伸張の処理は実現可能であった。しかし、従来の映像編集装置は、垂直方向の垂直フィルタ204のタップ数が少ないため、垂直方向の圧縮や伸張に対して十分な映像の品質を維持することができなかった。
また、ラインバッファの段数を多くすることにより実質的に垂直フィルタのタップ数を多くして、映像の品質を向上させることは可能であるが、その場合にはラインフィルタの規模が大きくなり製造コストが高くなるという問題があった。また、この従来の映像編集装置では、垂直方向に関しては圧縮や伸張の処理だけであり、画像のシフト等の処理を行うためには、さらにその処理を行うための装置を追加して接続する必要があった。
【0006】
次に、上記と異なる構成の従来の映像編集装置について図27を参照しつつ説明する。図27は画像メモリを用いた従来の映像編集装置を示すブロック図である。図27において、この映像編集装置に入力されたデジタル映像データは、ダイナミックラムで構成されたメモリ220に一旦蓄積される。編集回路221は、垂直フィルタ、水平フィルタ、垂直シフタ、水平シフタ等の画像処理回路を有しており、アドレス制御回路223に指示してメモリ220に蓄積されているデジタル映像データのサンプルを読み出し処理するよう構成されている。
例えば、編集回路221が水平方向の処理を行う場合には、編集回路221はメモリ220に蓄積された各サンプルを水平方向に読み出すようアドレス制御回路223に指示する。指示を受けたアドレス制御回路223は、蓄積されたサンプルを水平方向に読み出すようメモリ220のアドレスを制御する。編集回路221はメモリ220の出力したサンプルに対してフィルタリング等の処理を行い、再びメモリ220に書き込む。この時、メモリ220には、入力されたデジタル映像データの順番に各サンプルが蓄積されていく。
【0007】
一般的なダイナミックラムは、メモリセルがロー、カラムからなる2次元構造となっており、同一ローアドレスに対するアクセスは高速であるが、異なるカラムアドレスに対するアクセスは低速である。
図28は、デジタル映像データのメモリ220へマッピングした例である。図28において、この例のデジタル映像データは、480ライン、720カラムの映像データを持っている。1つのローアドレスに1ラインのサンプルがマッピングされている。
この場合、1ラインの読み出しあるいは書き込みは、連続的に行うことが可能である。すなわち、720サンプルの読み出しは、オーバヘッドの読み出しを含め722クロックで行うことが可能である。ここでは、オーバヘッドの読み出しがプリチャージ及びローアドレスの指定が1クロックでできるものとする。
【0008】
上記のメモリ220に対して垂直方向の処理を行うために、同一カラムのサンプルを連続的に読み出そうとすると、それぞれのラインのサンプルのローアドレスが全て異なるため連続的な読み出しを行うことができなかった。1サンプルを読み出すためには、オーバヘッドを含めて3クロックが必要である。従って、1フレーム分(480ライン、720カラム)のサンプルをメモリ220から全て読み出し、さらに書き込む為には下記式(1)に示すクロック数を必要とした。
【0009】
720×480×3=1036800(クロック) (1)
【0010】
動画のデジタル映像データとすると1秒間に30フレームの読み出しが必要であるため、メモリのクロックとしては30MHz以上が必要であり、従来の画像編集装置においてデジタル映像データを処理することは、通常のデジタル映像信号の入出力クロックである27MHzでは対応できなかった。その結果、このような映像の編集を行うためには、高速なメモリと、クロックレート変換回路が必要となり、装置の構成が大型となり、装置が高価になるという問題があった。
【0011】
【発明が解決しようとする課題】
以上説明したように、図26に示した従来の映像編集装置では、垂直方向の圧縮、伸張の際の画像の品質が低いという問題があり、この画像の品質を高めるためには多くのラインバッファが必要となり規模が大きくなり、製造コストが高くなるという問題があった。
また、画像メモリを用いて編集を行う図27に示した従来の映像編集装置では、メモリへのアクセスが遅く、動画の編集を行うためには高速のメモリが必要であるという問題があった。
本発明の目的は、装置の規模を大きくすることなく通常の画像メモリを用いて、垂直方向の圧縮や伸張の際の画像の品質を高めることができる映像編集装置及び映像編集方法を提供することにある。
【0012】
【課題を解決するための手段】
本発明に係る映像編集方法は、デジタル映像データを編集する映像編集方法であり、
デジタル映像デ−タの1フレームの画面を複数のサブ画面に分割する工程、
メモリのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分け、前記1フレームにおける同一のサブ画面のデジタル映像データを前記メモリの同一ローアドレスに蓄積する工程、
前記ローアドレスと前記カラムアドレスを用いて前記メモリのデジタル映像データにアクセスする工程を有する。
上記の映像編集方法によれば、通常のクロック数のメモリを用いて、高精細モードのデジタル映像データを書き込んだり、読み出したりすることができる。
【0014】
さらに、他の観点による発明に係る映像編集方法は、デジタル映像データのサンプル毎で輝度信号サンプルと2つの色差信号サンプルに分割され、ライン毎に多重されて輝度信号ストリーム(以下、Yストリームと記す)と2つの色差信号ストリーム(CRストリーム、CBストリームと記す)のそれぞれを形成する分割工程、
前記Yストリームをライン毎に編集したY1サンプルにより構成されたY1ストリームを形成する第1の編集工程、
前記CRストリームをライン毎に編集したCR1サンプルにより構成されたCR1ストリームを形成する第2の編集工程、
前記CBストリームをライン毎に編集したCB1サンプルにより構成されたCB1ストリームを形成する第3の編集工程、
前記Y1ストリームと前記CR1ストリームと前記CB1ストリームをメモリに蓄積する第1の蓄積工程、
前記第1の蓄積工程において出力された同一カラムアドレスのY1サンプルにより構成されたY1’ストリームをカラムアドレス毎に編集して、Y2サンプルにより構成されたY2ストリームを形成する第4の編集工程、
前記第1の蓄積工程において出力された同一カラムアドレスのCR1サンプルにより構成されたCR1’ストリームをカラムアドレス毎に編集して、CR2サンプルにより構成されたCR2ストリームを形成する第5の編集工程、
前記第1の蓄積工程において出力された同一カラムアドレスのCB1サンプルにより構成されたCB1’ストリームをカラムアドレス毎に編集して、CB2サンプルにより構成されたCB2ストリームを形成する第6の編集工程、
前記Y2ストリームと前記CR2ストリームと前記CB2ストリームをメモリに蓄積する第2の蓄積工程、及び
前記第2の蓄積工程において出力された同一ラインのY2サンプルにより構成されたY2’ストリームとCR2サンプルにより構成されたCR2’ストリームとCB2サンプルにより構成されたCB2’ストリームが入力され、サンプル毎に前記Y2サンプルと前記CR2サンプルと前記CB2サンプルを多重して出力する組立工程を有する。
上記の映像編集方法によれば、通常のクロック数のメモリを用いて、高精細モードの画像データを書き込んだり、読み出したりすることができ、その結果、垂直方向の圧縮や伸張の際の画像の品質の高い画像メモリを用いた映像編集装置を通常のメモリを用いて実現することが可能となる。
【0015】
本発明に係る映像編集装置は、デジタル映像データを編集する映像編集装置であり、
デジタル映像デ−タの1フレームの画面を複数のサブ画面に分割する分割回路と、
メモリのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分け、前記1フレームにおける同一のサブ画面のデジタル映像データを前記メモリの同一ローアドレスに蓄積する蓄積回路を具備し
前記蓄積回路において前記ローアドレスと前記カラムアドレスを用いて前記メモリのデジタル映像データにアクセスするよう構成されている。
上記構成の映像編集装置によれば、通常のクロック数のメモリを用いて、高精細モードの動画のデジタル映像データを書き込んだり、読み出したりすることができる。
【0017】
さらに、他の観点による発明に係る映像編集装置は、デジタル映像データのサンプル毎で輝度信号サンプルと2つの色差信号サンプルに分割され、ライン毎に多重されて輝度信号ストリーム(以下、Yストリームと記す)と2つの色差信号ストリーム(CRストリーム、CBストリームと記す)のそれぞれを形成する分割回路、
前記Yストリームをライン毎に編集したY1サンプルにより構成されたY1ストリームを形成する第1の編集回路、
前記CRストリームをライン毎に編集したCR1サンプルにより構成されたCR1ストリームを形成する第2の編集回路、
前記CBストリームをライン毎に編集したCB1サンプルにより構成されたCB1ストリームを形成する第3の編集回路、
前記Y1ストリームと前記CR1ストリームと前記CB1ストリームをメモリに蓄積する第1の蓄積回路、
前記第1の蓄積回路から出力された同一カラムアドレスのY1サンプルにより構成されたY1’ストリームをカラムアドレス毎に編集して、Y2サンプルにより構成されたY2ストリームを形成する第4の編集回路、
前記第1の蓄積回路から出力された同一カラムアドレスのCR1サンプルにより構成されたCR1’ストリームをカラムアドレス毎に編集して、CR2サンプルにより構成されたCR2ストリームを形成する第5の編集回路、
前記第1の蓄積回路から出力された同一カラムアドレスのCB1サンプルにより構成されたCB1’ストリームをカラムアドレス毎に編集して、CB2サンプルにより構成されたCB2ストリームを形成する第6の編集回路、
前記Y2ストリームと前記CR2ストリームと前記CB2ストリームをメモリに蓄積する第2の蓄積回路、及び
前記第2の蓄積回路から出力された同一ラインのY2サンプルにより構成されたY2’ストリームとCR2サンプルにより構成されたCR2’ストリームとCB2サンプルにより構成されたCB2’ストリームが入力され、サンプル毎に前記Y2サンプルと前記CR2サンプルと前記CB2サンプルを多重して出力する組立回路を具備する。
上記の映像編集装置によれば、通常のクロック数のメモリを用いて、高精細モードの画像データを書き込んだり、読み出したりすることができる。その結果、垂直方向の圧縮や伸張の際の画像の品質の高い通常の画像メモリを用いた安価な映像編集装置が実現できる。
【0018】
【発明の実施の形態】
以下、本発明に係る映像編集装置の好適な実施例について添付の図面を参照しつつ説明する。
【0019】
《実施例1》
本発明に係る実施例1の映像編集装置について図1から図7を参照しつつ説明する。図1は、実施例1の映像編集装置の構成を示すブロック図である。
なお、実施例1において、外部より入力されるデジタル映像データのフォーマットは、SMPTE 125Mに規定されているものとする。SMPTE 125Mは、CCIR Recomendation 601に従ったデジタル映像データを伝送するフォーマットである。
【0020】
図2は、SMPTE 125Mのデジタル映像データの構成を示す図である。
図2に示すように、このフォーマットの1フレームの映像は、2つのフィールド21とフィールド22から構成されている。フィールド21の輝度信号(以下、Yサンプルと記す)は、232本のラインで走査され、各ラインは858ピクセルの画素にサンプリングされる。また、フィールド21の2つの色差信号(CRサンプルとCBサンプルと記す)は、同様に232本のラインで走査され、各ラインは429ピクセルの画素にサンプリングされる。
【0021】
フィールド21と同様に、フィールド22のYサンプルは、233本のラインで走査され、各ラインは858ピクセルの画素にサンプリングされる。また、フィールド22のCRサンプルとCBサンプルは、同様に233本のラインで走査され、各ラインは429ピクセルの画素にサンプリングされる。
1フレームのデジタル映像データは、フィールド順に、かつライン順に順次伝送される。1ラインの各サンプルは、CBサンプル、Yサンプル、CRサンプル、Yサンプルの順に伝送される。1ライン中の各サンプルは、有効画素と水平帰線中のサンプルとに分けられる。1ライン中の最初の有効画素の直前には、SAV信号(Start of Active Video Signal)が配置され、最後の有効画素サンプルの直後にはEAV信号(End of Active video Signal)が配置される。
【0022】
図1において、YC抽出回路1は、入力されたデジタル映像データをYサンプル、CRサンプル、CBサンプルに分割して、有効画素のYサンプルをメモリ2に出力し、有効画素のCRサンプルをメモリ3に出力し、有効画素のCBサンプルをメモリ4に出力する。この時、YC抽出回路1は、各サンプルを入力されたデジタル映像データにおけるサンプルの順番を保ったまま各メモリ2、3、4に出力する。
【0023】
図3は、実施例1の映像編集装置におけるメモリ2のメモリマップを示す図である。ここで、メモリ2は、アドレスを上位アドレスであるローアドレスと、下位アドレスであるカラムアドレスに分割して入力するいわゆるダイナミックラムで構成されている。カラムアドレス空間として10ビット、ローアドレス空間として10ビットを有している。
図3において、ローアドレス0のカラムアドレス0から899までの900個のデータをブロック0(B000)とする。以下、ローアドレス1からローアドレス383までのカラムアドレス0から899までの900個の各データをブロック1(B001)からブロック383(B383)とする。これらブロック0からブロック383までをバンク0とする。
同様に、次のローアドレス512のカラムアドレス0から899までの900個のデータをブロック0(B000)とする。以下、ローアドレス513からローアドレス895までのカラムアドレス0から899までの900個の各データをブロック1(B001)からブロック383(B383)とする。これらのローアドレス512からのブロック0からブロック383まではバンク1とする。
【0024】
図4は、実施例1の映像編集装置のYC抽出回路1における1フレームのデジタル映像データの有効画素の分割状態を示す図である。実施例1のYC抽出回路1は、1ラインの有効画素720ピクセルである720サンプルを24のブロックに分割し、有効ラインの480ラインである480サンプルを16のブロックに分割する。
図4に示すように、分割された各ブロックには、図中の左から右へ、さらに上から下へ順に番号を付与する。図4において、左上のブロックがブロック0(B000)、右上のブロックがブロック23(B023)、左下のブロックがブロック360(B360)、右下のブロックがブロック383(B383)である。このように分割された画面上の各ブロックのYサンプルは、メモリ2における対応するブロックに蓄積される。
【0025】
図5は、分割された1つのブロックの構成を示す図である。図5の(1)は1つのブロックを示しており、図5の(2)は1つのブロックの構成を示している。図5に示すように、分割された1ブロックは900個(30サンプル×30ライン)のサンプルで構成され、それぞれのサンプルPに番号を付与する。
図5に示すように、1つのブロックはたて縦30ライン、横30サンプルから構成されており、例えばサンプルP(m、y、x)は、ブロックmのラインx、サンプルyを示す。ここで、ラインxはブロックにおける上から数えたライン番号であり、サンプルyは、ブロックにおける左から数えたサンプル番号である。
【0026】
図6は、図4に示した分割されたブロックm(Bm)の各サンプルの実施例1の映像編集装置におけるメモリ2でのメモリマップを示す図である。図6に示すように、分割されたブロックmのサンプルは全てメモリ2のローアドレスmにマッピングされる。
カラムアドレスは、0から899を使用し、0を画面の左上のサンプルに、さらに水平方向に順にサンプルを割り当て、1ラインの割り当ての後、1ライン下のラインに順次割り当てていく。
CRサンプルを蓄積するメモリ3、CBサンプルを蓄積するメモリ4においても、それぞれのメモリマッピングは同様に行われる。但し、CRサンプル及びCBサンプルは、1ラインのサンプル数がYサンプルの半分の360サンプルであるため、画面の横方向のブロック数はそれぞれ12とする。
【0027】
Yサンプルのデジタル映像データはメモリ2から読み出され、編集回路5に入力される。編集回路5では、入力されたYサンプルのデータ列に対してフィルタリング、シフト等の画像処理を行い、メモリ8に出力する。
この時、編集回路5において行う編集がラインに対する処理、例えば画面の水平方向の圧縮や伸張であれば、アドレス制御回路11は、各ラインのYサンプルのアドレスを順次メモリ2に出力し、同時に出力イネーブル信号をアクティブにする。
その結果、メモリ2は各ラインのYサンプルを出力する。編集回路5は、メモリ2の出力したライン毎のYサンプルに対して圧縮、伸張あるいはシフト等の画像処理を行い、メモリ8に出力する。
アドレス制御回路11は、編集回路5が出力した編集後のYサンプルをメモリ8に記録するようメモリ8のアドレス及び書き込みイネーブル信号を制御する。
【0028】
編集回路5において行う編集が画面のカラムに対する処理、例えば画面の垂直方向の圧縮や伸張であれば、アドレス制御回路11は、画面上の各カラムのYサンプルのアドレスを順次メモリ2に出力し、同時に出力イネーブル信号をアクティブにする。
その結果、メモリ2は、各カラムのYサンプルを順次出力する。編集回路5は、メモリ2の出力したカラム毎のYサンプルに対して圧縮、伸張あるいはシフト等の画像処理を行い、メモリ8に出力する。アドレス制御回路11は、編集回路5が出力した編集後のYサンプルをメモリ8に記録するようメモリ8のアドレス及び書き込みイネーブル信号を制御する。
【0029】
編集回路5において行う編集が画面のシフト処理であれば、アドレス制御回路11は、画面上の各Yサンプルのアドレスの読み出し開始位置をシフトすべき画面位置から行う。編集回路5は、Yサンプルが存在しない画面位置のデータを生成し、シフトされたYサンプルとともにメモリ8に出力する。
編集回路5で行う編集が画面の回転であれば、アドレス制御回路11は、メモリ2から与えられた回転角度に従ってYサンプルを読み出すようメモリ2のアドレスを制御する。編集回路5は入力されたYサンプルに対してフィルタリング等の処理を行いメモリ8に出力する。
なお、これらのYサンプルの圧縮、伸張、シフト、回転等の処理は複合して処理することが可能である。
【0030】
同様に、メモリ3に蓄積されたCRサンプルに対して、アドレス制御回路11がメモリ3のアドレスと読み出しイネーブル信号の制御を行っている。編集回路6は、メモリ3からCRサンプルを読み出し、編集回路6において編集する。さらに、アドレス制御回路11がメモリ9のアドレスと書き込みイネーブル信号を制御することにより、編集回路6において編集したCRサンプルは、メモリ9に書き込まれ、CRサンプルの圧縮、伸張、シフト、回転等の編集処理が行われる。
同様に、メモリ4に蓄積されたCBサンプルに対して、アドレス制御回路11がメモリ4のアドレスと読み出しイネーブル信号の制御を行っている。編集回路7は、メモリ4からCBサンプルを読み出し、編集回路7において編集する。さらに、アドレス制御回路11がメモリ10のアドレスと書き込みイネーブル信号を制御することにより、編集回路7において編集したCBサンプルをメモリ10に書き込むことにより、CBサンプルの圧縮、伸張、シフト、回転等の編集処理が行われる。
【0031】
アドレス制御回路11は、各メモリ8、9、10のアドレスと読み出しイネーブル信号を制御することにより、各メモリ8、9、10からサンプルを読み出し、YC組立回路12へ出力する。YC組立回路12は、入力された各サンプルをデジタル映像信号に組立てて出力する。
以上の説明のように、実施例1の映像編集装置によれば、入力されたデジタル映像データを編集して、デジタル映像信号として出力することが可能である。
【0032】
SMPTE 125Mのフォーマットにおいて、1フレームのデータは525ラインのデータから構成され、1ラインのデータは858サンプルからなる。但し、CRサンプル及びCBサンプルは、サンプリング周波数がYサンプルの周波数の半分であるため、1フレームのデータ総量は、900900サンプルとなる。
従って、実施例1の映像編集装置におけるメモリ2、3、4、8、9、10は、少なくとも900900サンプルのデータの書き込みと読み出しを1フレーム期間(33.37ms)に行う必要がある。また、各データは27MHzのデータクロックで伝送されているため、全体のシステムを27MHzで動作させることが同期化の点から求められる。
【0033】
メモリ2へのデータの書き込みは、1ラインあたり24のブロックに分割して行われる。1つのブロックには30サンプルが含まれており、1つのブロックの書き込みには32クロックかかる。
図7は、実施例1の映像編集装置におけるYサンプルのメモリ2へのデータ書き込みのタイミングチャートである。図7において、ライン0のデータの書き込みは、24個のブロックに分割されて行われ、1個のブロックには30サンプルが含まれる。
以下、メモリ2に対するYサンプルの書き込みについて説明する。図7に示すように、まず、メモリ2のローアドレスイネーブル信号(以下、Row Address Enable Signal:RASと記す)を立ち下げLにする。RASをLにしたタイミングで、アドレスにローアドレス21を出力する。図7におけるアドレスの0はブロック0を記録するローアドレスである。
【0034】
その後、カラムアドレスイネーブル信号(以下、Column Address Enable Signal:CASと記す)をクロック毎に立ち下げてLとする。CASをLにしたタイミングでアドレスにカラムアドレス22の0〜29までを順次出力する。アドレスにおける0〜29は、最初の30サンプルを記録するカラムアドレスである。アドレスにカラムアドレスを入力するタイミングで、Yサンプルをメモリ2に入力して記録する。最後のCASであるアドレス29のYサンプルを入力した後にRASを立ち上げてHとするため、1つのブロックの30サンプルの書き込みには32クロックが必要である。また、1ラインは24ブロックを有するため、1ラインのYサンプルの書き込みには768クロックが必要となる。また、1フレームは480ラインからなるため、1フレームの書き込みには368640クロックが必要となる。
【0035】
次に、上記のようにメモり2にYサンプルの書き込みにおける、ラインmの書き込みについて考察すると、n番目に入力されるローアドレスRAnは、下記式(2)で表される。
【0036】
RAn = m / 30 + n (2)
【0037】
以後「/」は、整数除算(小数点以下切り捨て)を示す。 また、ラインmの書き込みのn番目のブロックの書き込みのp番目に入力されるカラムアドレスCAmpは下記式(3)で表される。
【0038】
CAmp = m mod 30 × 30 + p (3)
【0039】
式(3)において、m mod 30は、mを30で割った剰余を示し、以下の式においても同様の意味を示す。
次に、メモリ2に蓄積されたYサンプルをカラム毎に垂直方向に読み出す場合のタイミングについて説明する。
カラム0の読み出しは、16個のブロックに分割されたライン毎に行われる。1個のブロックには30サンプルが含まれている。
まず、メモリ2のRASを立ち下げてLにする。RASをLにしたタイミングで、アドレスにローアドレス21を出力する。図7におけるアドレスの0はブロック0を読み出すローアドレスを示す。その後、CASをクロック毎に立ち下げてLとする。そのタイミングでアドレスにカラムアドレス22を出力する。CASをLとした後メモリ2から該当するアドレスのデータが出力される。最後にRASを立ち上げてHとするため、30サンプルの読み出しには32クロックが必要である。1ラインは16ブロックを有するため、1ラインの読み出しには512クロックが必要となる。また、1フレームは720カラムからなるため、1フレームの読み出しには368640クロックが必要となる。
【0040】
次に、上記のようにメモり2からYサンプルの読み出しにおいて、カラムmの読み出しについて考察すると、n番目に入力するローアドレスRAnは、下記式(4)で表される。
【0041】
RAn= m mod 30 + n × 30 (4)
【0042】
カラムmの読み出しのn番目のブロック読み出しのp番目に入力するカラムアドレスCAmpは、下記式(5)で表される。
【0043】
CAmp= m mod 30 + p × 30 (5)
【0044】
上記のように、実施例1の映像編集装置において、1フレームの書き込みと読み出しには、737280クロックを要する。このクロック数は、27MHzのデータクロックで動作させるシステムの1フレーム期間のクロック数900900より少ないため、実施例1の映像編集装置はシステムとして成り立つ。
次に、ライン毎の水平方向の読み出しについて説明する。ライン毎の水平方向の読み出しは、ライン毎の書き込みと同一タイミングで行われる。この読み出し動作は、前述の書き込み動作において行ったサンプルをメモリ2に書き込む動作のかわりにサンプルをメモリ2から読み出すよう動作する。この時にメモリ2に出力するアドレスは、書き込みの場合と同様に前述の式(2)及び式(3)に従う。
この時の所要クロック数は、書き込み時と同じく368640クロックであるため、ライン毎に水平方向に読み出しても十分1フレーム期間内に書き込み及び読み出しを行うことが可能である。
【0045】
また、メモリ8に関しては、編集回路5がライン毎に書き込む場合とカラム毎に書き込む場合があるが、どちらも、メモリ2に関するライン毎に読み出しとカラム毎に書き込む場合と同じタイミングである。また、メモリ8からYC組立回路12に出力する際には、ライン毎に読み出すが、この場合もまたメモリ8のライン毎に読み出す場合と同じタイミングである。従って、メモリ8に関しても、27MHzのクロック周波数で動作することができる。
CRサンプルを処理するメモリ3、編集回路6、メモリ9、及びCBサンプルを処理するメモリ4、編集回路7、メモリ10については、ライン方向のサンプル数がメモリ2に比較して半分の360サンプルである他は、前述のメモリ2、編集回路5、及びメモリ8と同様に処理される。
【0046】
YC組立回路12は、入力されたYサンプル、CRサンプル、CBサンプルをデジタル映像データとして出力する。その際、必要となる水平ブランキング、垂直ブランキングの各信号を生成して、各信号の同期を取って、図2に示すタイミングで出力される。
以上のように、実施例1の映像編集装置によれば、デジタル映像データのメモリへの入出力のクロック周波数と同じ27MHzで動作することが可能な画像編集装置を構築できる。
【0047】
《実施例2》
以下、本発明に係る実施例2の映像編集装置について図8から図25を参照しつつ説明する。図8は、実施例2の映像編集装置の構成を示すブロック図である。
図8において、実施例2の映像編集装置は、入力されるデジタル映像データからスタート信号を生成するスタート検出回路101と、スタート信号に従ってデジタル映像データをYサンプル、CRサンプル及びCBサンプルに分割し、かつ1フレームのデジタル映像データを、ライン方向に11分割、カラム方向に21分割するYC抽出回路102を有している。このように、YC抽出回路102は輝度信号ストリーム(以下、Yストリームと記す)と2つの色差信号ストリーム(CRストリーム、CBストリームと記す)に分割する。Yストリームはライン方向の複数のYサンプルからなる。同様に、各CRストリームとCBストリームは、ライン上の複数のCRサンプル及び複数のCBサンプルからそれぞれ構成されている。
YC抽出回路102は、分割された各サンプルの水平方向の画像処理を行う水平圧縮回路103、104、105に接続されている。各水平圧縮回路103、104、105はラインバッファ106、107、108に接続されている。ラインバッファ106、107、108は各サンプルを多重化する多重回路121に接続されている。多重回路121は、データバス109を介してメモリ110に接続されている。
【0048】
メモリ110は、メモリ制御回路111により入出力を制御される。メモリ110はデータバス109を介して垂直方向の画像処理を行う垂直圧縮回路112に接続されている。垂直圧縮回路112はカラムバッファ113に接続されている。カラムバッファ113はデータバス114を介してメモり115に接続されている。メモリ115は、メモリ制御回路116により入出力を制御される。メモリ115はデータバス114を介してラインバッファ117、118、119に接続されている。ラインバッファ117、118、119はYC組立回路120に接続されている。
【0049】
以下、実施例2の映像編集装置の動作について図9から図25を参照しつつ説明する。実施例2において、スタート検出回路101及びYC抽出回路102に入力されるデジタル映像データの1サンプルのビット幅は10ビットとする。
スタート検出回路101は、デジタル映像データから、フレーム先頭信号及びライン先頭信号等のスタート信号を生成し、そのスタート信号をYC抽出回路102、メモリ制御回路111、垂直圧縮回路112、メモリ制御回路116及びYC組立回路120に出力する。
YC抽出回路102は、入力されたスタート信号に従って、入力されたデジタル映像データをYサンプルとCRサンプルとCBサンプルに分割し、それぞれのサンプルを水平圧縮回路103、104、105に出力する。このとき、YC抽出回路102は各サンプルの書き込みイネーブル信号を同時に出力する。
【0050】
水平圧縮回路103は、入力されたYサンプルから水平方向の圧縮や伸張等の画像処理を行い、Y1サンプルに変換し、このY1サンプルをラインバッファ106に出力する。水平圧縮回路103では、Yサンプル中の画素サンプルでないサンプル、すなわち垂直ブランキング及び水平ブランキング中のYサンプルについては、そのままラインバッファ106に出力する。この時、水平圧縮回路103はY1サンプルの出力に合わせて書き込みイネーブル信号をラインバッファ106に出力する。ラインバッファ106に出力するY1サンプルは、隣り合う2つのサンプルを同時に出力する。そのため、ラインバッファ106は20ビットのデータ幅を持ち、隣り合う2つのサンプルのうち、画面上で左側のY1サンプルが上位10ビットに格納され、下位10ビットには右側のY1サンプルが格納される。
【0051】
CRサンプルのための水平圧縮回路104は、上記のYサンプルのための水平圧縮回路103と同様に、入力されたCRサンプルの水平方向の圧縮や伸張等の画像処理を行い、CR1サンプルに変換して、書き込みイネーブル信号とともにラインバッファ107に出力する。
CBサンプルのための水平圧縮回路105は、入力されたCBサンプルの水平方向の圧縮や伸張等の画像処理を行い、CB1サンプルに変換して、書き込みイネーブル信号とともにラインバッファ108に出力する。
【0052】
Yサンプルのためのラインバッファ106は、入力された書き込みYイネーブル信号に従って入力されたY1サンプルを一時保持する。
同様にラインバッファ107、108は、入力された書き込みCRイネーブル信号、書き込みCBイネーブル信号に従ってそれぞれに入力されたCR1サンプル、CB1サンプルを一時保持する。
ラインバッファ106、107、108は、メモリ制御回路111から出力される読み出しイネーブル信号に従って保持しているY1サンプル、CR1サンプル、CB1サンプルを多重回路121に出力する。多重回路121は入力された各サンプルを多重化し、データバス109に出力する。
【0053】
図9は、実施例2の多重回路121を示すブロック図である。この多重回路121において、上位20ビットにはY1サンプルが、次の10ビットにはCR1サンプルが、下位10ビットにはCB1サンプルが格納される。上記のように格納されたサンプルは、データバス109に出力される。
データバス109に出力された多重化されたサンプルは、メモリ110に蓄積される。さらに、メモリ制御回路111の出力した読み出しイネーブル信号によりメモリ110からカラム方向に順番に多重化されたサンプルが読み出され垂直圧縮回路112に出力される。
【0054】
メモリ110は、少なくとも2フレーム分のサンプルを格納する容量を持ち、2フレーム分のメモリ領域における最初の1フレーム分のメモリ領域をバンク0、次の1フレーム分のメモリ領域をバンク1とする。メモリ110におけるビット幅は40ビットである。メモリ制御回路111はラインバッファ106、107、108の読み出しイネーブル信号と、メモリ110のアドレス及び制御信号を制御する。このようにメモリ制御回路111が各信号を制御することにより、ある1フレーム期間に1フレーム分のサンプルをラインバッファ106、107、108から読み出してメモリ110に記録するとともに、同じ1フレーム期間に1フレームのデータをメモリ110から読み出して垂直圧縮回路112に出力する。メモリ制御回路111の信号生成のタイミングは、スタート検出回路101の出力するスタート信号に従う。
【0055】
垂直圧縮回路112には、サンプルがカラム方向の順番に入力される。垂直圧縮回路112は、各カラムを圧縮あるいは伸張し、カラムバッファ133に圧縮あるいは伸張したサンプルを出力する。ただし、垂直圧縮回路112は垂直ブランキング及び水平ブランキングの中のサンプルについてはそのままカラムバッファ113に出力する。また垂直圧縮回路112は、サンプルを出力するとともに書き込みイネーブル信号をカラムバッファ113に出力する。
これら圧縮や伸張のタイミングはスタート検出回路101から入力されるスタート信号を基準に動作する。
【0056】
カラムバッファ113は、書き込みイネーブル信号がアクティブである時に入力されたサンプルをバッファリングする。カラムバッファ113はメモリ制御回路116から読み出しイネーブル信号が入力された時にバッファリングしたサンプルをデータバス114に出力する。垂直圧縮回路112の圧縮あるいは伸張したY1サンプルをY2サンプル、CR1サンプルをCR2サンプル、CB1サンプルをCB2サンプルとする。
【0057】
データバス114に出力されたサンプルは、メモリ115に記録される。次に、メモリ115からライン方向に順番にサンプルが読み出され、ラインバッファ117、118、119に出力される。
メモリ115は、少なくとも2フレーム分のサンプルの容量を持ち、2フレーム分のメモリ領域における最初の1フレーム分をバンク0、次の1フレーム分をバンク1とする。メモリ115におけるビット幅は40ビットである。
メモリ制御回路116は、カラムバッファ113の読み出しイネーブル信号と、メモリ110のアドレス及び制御信号と、ラインバッファ117、118、119の書き込みイネーブル信号とを制御する。このように、メモリ制御回路116が各信号を制御することにより、ある1フレーム期間に1フレーム分のサンプルをカラムバッファ113から読み出してメモリ115に記録するとともに、同じ1フレーム期間に1フレームのデータをメモリ115から読み出してラインバッファ117、118、119に出力する。メモリ制御回路111の信号生成のタイミングは、スタート検出回路101の出力するスタート信号に従う。
【0058】
ラインバッファ117はメモリ制御回路116の書き込みイネーブル信号に従って入力されたY2サンプルをバッファリングする。また、ラインバッファ117はYC組立回路120の読み出しイネーブル信号に従ってバッファリングしたY2サンプルを出力する。
また、ラインバッファ118は、メモリ制御回路116の書き込みイネーブル信号に従って入力されたCR2サンプルをバッファリングする。また、ラインバッファ118はYC組立回路122の読み出しイネーブル信号に従って保持しているCR2サンプルを出力する。
また、ラインバッファ119は、メモリ制御回路116の書き込みイネーブル信号に従って入力されたCB2サンプルをバッファリングする。また、ラインバッファ119はYC組立回路122の読み出しイネーブル信号に従って保持しているCB2サンプルを出力する。
YC組立回路120は、それぞれラインバッファ117、118、119に蓄積されたY2サンプル、CR2サンプル、及びCB2サンプルを読み出し、デジタル映像信号に変換して出力する。
【0059】
図10は、実施例2の映像編集装置におけるメモリ110のメモリマップを示す図である。図10において、メモリ110のデータ幅は、40ビットであり、上位20ビットに2サンプルのY1サンプル、その下位10ビットにCR1サンプル、最下位10ビットにCB1サンプルが記録される。
メモリ110は、ローアドレスのビット幅が8ビット、カラムアドレスのビット幅が10ビットである。メモリ110内の1フレーム分のメモリは、231個のブロックに分割される。1個のブロックは1つのローアドレスを占め、カラムアドレスが0から974のフィールドを持つ。図10に示すように、メモリ110は、2つのフレームのメモリ領域を有し、それぞれのメモリ領域をバンク0、バンク1と呼ぶ。
【0060】
前述したように、デジタル映像データは、Yサンプルの1フレームが525ラインあり、1ラインが858サンプルから構成されている。また、CRサンプル及びCBサンプルの1フレームはそれぞれ525ラインあり、1ラインが329サンプルから構成されている。
Yサンプルを変換したY1サンプルとY2サンプル、CRサンプルを変換したCR1サンプルとCR2サンプル、CBサンプルを変換したCB1とCB2サンプルは、それぞれ同様に構成されている。
以下、カラムx、ラインyにおける各サンプルをそれぞれY(x、y)、CR(x、y)、CB(x、y)にて表す。
【0061】
1フレームのデジタル映像データは、ライン方向に11分割、カラム方向に21分割される。図11は、メモリ110における分割されたブロックの配置を示す図である。図11に示すように、分割されたブロックには、左から右へ、さらに上から下へ順次番号を付す。メモリ110には、対応するブロック番号のデジタル映像データが記録される。
図11において、1ブロックは、ライン方向が78個のY1サンプル、39個のCR1、CB1サンプルで構成され、カラム方向が各21個のサンプルで構成される。
以下の説明において、ブロックm(Bm)における1サンプルをP(m、x、y)と表示する。このP(m、y、x)で表示されるサンプルには、二つのY1サンプルとCR1サンプル、CB1サンプルが格納されている。
【0062】
例えば、yが偶数であれば、P(m、y、x)には、Y1(m、y/2+233、{m×39+x}×2)と、Y1(m、y/2+233、{m×39+x}×2+1)と、CR1(m、y/2+233、m×39+x)と、CB1(m、y/2+233、m×39+x)の4つのサンプルが格納される。
また、yが奇数であれば、P(m、y、x)には、Y1(m、y/2、{m×39+x}×2)と、Y1(m、y/2、{m×39+x}×2+1)と、CR1(m、y/2、m×39+x)と、CB1(m、y/2、m×39+x)の4つのサンプルが格納される。
また、m、x、yは、0≦m<231、0≦x<39、0≦y<25である。
【0063】
図12は、メモリ110のブロックmにおける各サンプルの配置を示す図である。ここで、ブロックmはメモリ110のローアドレスmに記録される。
P(m、y、x)を記録するカラムアドレスCは下記式(6)で表される。
【0064】
C=x×39+y (6)
【0065】
なお、カラムアドレス975以降は使用しない。
図13は、YC抽出回路102の構成を示すブロック図である。
図13において、入力されたデジタル映像データはそのままYサンプルとして水平圧縮回路103へ、CRサンプルとして水平圧縮回路104へ、CBサンプルとして水平圧縮回路105へ出力される。また、スタート検出回路101から入力したスタート信号は、YC抽出回路102のカウンタ130に入力される。カウンタ130は2ビットのカウンタであり、スタート信号をトリガ信号としてクロック毎に1ずつカウント数を増加する。
カウンタ130の数値は、YC抽出回路102におけるYイネーブラ131とCRイネーブラ132とCBイネーブラ133とに出力される。
【0066】
図14は、YC抽出回路102へ入力されるデジタル映像データと、各水平圧縮回路103、104、105へ出力される各サンプルと、各イネーブラ131、132、133から出力されるイネーブル信号等の出力タイミングを示す図である。
図14に示すように、Yイネーブラ131は、カウンタが1と3の時に水平圧縮回路103に対してYイネーブル信号を出力する。CRイネーブラ132は、カウンタが2の時に水平圧縮回路104にCRイネーブル信号を出力する。CBイネーブラ133は、カウンタが0の時に水平圧縮回路105にCBイネーブル信号を出力する。
【0067】
図15の(a)、(b)、(c)は、それぞれ水平圧縮回路103、104、105の構成を示すブロック図である。図15の(a)において、水平圧縮回路103は、入力されたYサンプルを有するデジタル映像データとYイネーブル信号から、Yサンプルを抽出して、あらかじめ与えられたパラメータに従ってフィルタ141によりライン方向の圧縮あるいは伸張を行う。フィルタ141において、圧縮あるいは伸張されたY1サンプルは、Yイネーブル信号とともにY組立回路142に出力される。Y組立回路142では、隣り合う2つのY1サンプルを多重し、書き込みYイネーブル信号とともにラインバッファ106に出力する。水平圧縮回路103は、水平ブランキング及び垂直ブランキングのサンプルに関しては入力されたY1サンプルをそのままラインバッファ106に出力する。
【0068】
図15の(b)において、水平圧縮回路104は入力されたCRサンプルを有するデジタル映像データとCRイネーブル信号から、CRサンプルを抽出し、あらかじめ与えられたパラメータに従ってフィルタ143によりライン方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたCR1サンプルは、書き込みCRイネーブル信号とともにラインバッファ107に出力する。水平圧縮回路104は、水平ブランキング及び垂直ブランキングのサンプルに関しては入力されたCR1サンプルをそのままラインバッファ107に出力する。
【0069】
図15の(c)において、水平圧縮回路105は入力されたCRサンプルを有するデジタル映像データとイネーブル信号から、CBサンプルを抽出し、あらかじめ与えられたパラメータに従ってライン方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたCB1サンプルは、書き込みCBイネーブル信号とともにラインバッファ108に出力する。水平圧縮回路105は、水平ブランキング及び垂直ブランキングのサンプルに関しては入力されたCBサンプルをそのままラインバッファ108に出力する。
【0070】
図16は、メモリ制御回路111の構成を示すブロック図である。
図16において、カウンタ51は入力されたスタート信号を、各クロック毎にインクリメント(カウントアップ)してカウンタ値を形成するカウンタである。カウンタ51のカウンタ値は、ローアドレスデコーダ52、カラムアドレスデコーダ53、イネーブル制御回路55に出力される。ローアドレスデコーダ52では、メモリ110のローアドレスが生成される。カラムアドレスデコーダ53では、メモリ110のカラムアドレスが生成される。これら生成されたローアドレスとカラムアドレスはアドレス多重回路54で多重化され、メモリ110(図8)のアドレス入力端へ出力される。
イネーブル制御回路55は、入力したカウンタ値から、メモリ110の出力イネーブル信号OE、書き込みイネーブル信号WE、ローアドレスイネーブル信号RAS、カラムアドレスイネーブル信号CAS、及びラインバッファ106、107、108へ読み出しイネーブル信号をそれぞれ生成する。
【0071】
図17は、メモリ110の1ラインの書き込みを示すタイミングチャートである。1ラインのデータは11ブロックにわたって記録される。ここでは、1ブロックの書き込みについて説明する。1ブロック中には同一ラインのサンプルが39個記録されている。この39個のサンプルは同一ローアドレスに配置されるため、バースト書き込みが可能である。
図17において、最初にローアドレスイネーブル信号RASを立ち下げてLにするとともに、最初のローアドレスRA0をメモリ110のアドレスに出力する。その後クロック毎にカラムアドレスイネーブル信号CASをアクティブにするとともに、カラムアドレスCA0、CA1、CA2、・・・、CA38を出力する。その後ローアドレスイネーブル信号RASをディスエーブルにする。カラムアドレスCA38がメモリ110のアドレスに出力された後、カラムアドレスイネーブル信号を立ち上げるとともに、その1クロック前にラインバッファ106、107、108の読み出しイネーブル信号をアクティブにすることにより、データバス109に1ブロック中の同一ラインのデータが出力される。
【0072】
上記の処理を11ブロック分行うことにより1ラインのサンプルのメモリ110への書き込みを行う。この書き込みに要する時間は、27MHzクロックの場合、1ブロックの書き込みが41クロックであり、1ラインの11ブロックでは16.7μsecとなる。
ラインmの書き込みを行う時、n番目のローアドレスRAnは下記式(7)で表される。
【0073】
RAn=m/11+n (7)
【0074】
また、n番目のブロックのp番目のカラムアドレスCAmpは下記式(8)で表される。
【0075】
CAmp=m mod 11 +p (8)
【0076】
図18は、メモリ110の2カラム分のサンプルの読み出しのタイミングチャートである。2カラム分のサンプルは21ブロックにわたって分布している。図18を参照しつつ1ブロックの読み出しについて説明する。1ブロック中には同一カラムのサンプルが25個記録されている。この25個のサンプルは同一ローアドレスに配置されるため、バースト読み出しが可能である。
図18において、最初にローアドレスイネーブル信号RASを立ち下げてLにするとともに、最初のローアドレスRA0をメモリ110のアドレスに出力する。その後クロック毎にカラムアドレスイネーブル信号CASをアクティブにするとともに、カラムアドレスCA0、CA1、CA2、・・・、CA24を出力する。その後ローアドレスイネーブル信号RASをディスエーブルにする。カラムアドレスイネーブル信号CASをアクティブにする毎に、アドレスのデータがメモリ110からデータバス109に出力される。
【0077】
上記の処理を21ブロック分行うことにより、2カラムのサンプルのメモリ110からの読み出しを行う。この読み出しに要する時間は、27MHzの場合、1ブロックの読み出しが27クロックであり、21ブロックでは21μsecとなる。
カラムmの読み出しを行う時、n番目のローアドレスRAnは、下記式(9)で表される。
【0078】
RAn=m / 21 (9)
【0079】
また、n番目のブロックのp番目のカラムアドレスCAmpは下記式(10)で表される。
【0080】
CAmp=m mod 21 + p (10)
【0081】
メモリ制御回路111は、1フレーム期間(33.3ms)に525ラインの書き込みと858カラムの読み出しを行う。この時、1フレーム分のライン書き込みと1フレーム分のカラム読み出しは、異なるバンクに対して行われることによって、同一フレームの読み出し途中での書き換えは生じない。
また、カラムの読み出しの際にあらかじめ与えられた水平オフセットに従い、ローアドレスとカラムアドレスをシフトすることによって、画面全体の水平方向へのシフトを行う。具体的には、カラムmの読み出しを行う際、mにオフセットsを加算してローアドレスRAn及びカラムアドレスCAmpの演算を行うことにより、画面を2mカラムずつシフトすることが可能である。
【0082】
図19は1フレーム期間のメモリ制御信号のタイミングチャートである。まず、1フレームを525分割する。その分割された期間の前半に1ラインの書き込みを行い、後半で2カラムの読み出しを行う。このタイミングはメモリ制御回路111に入力されたスタート信号に従う。
【0083】
図20は、垂直圧縮回路112の詳細の構成を示すブロック図である。図20において、データバス109から入力されたデジタル映像データは、Y1サンプル、CR1サンプル及びCB1サンプルに分割される。Y1サンプルはさらにカラムが偶数番目のサンプルと奇数番目のサンプルに分割される。偶数番目(0を含む)のY1サンプルは圧縮回路161に、奇数番目のY1サンプルは圧縮回路162に、CR1サンプルは圧縮回路163に、CB1サンプルは圧縮回路164にそれぞれ出力される。
垂直圧縮回路112におけるサンプルの分割は、データバス109のビットフィールドの最上位10ビットを圧縮回路161に、その次の10ビットを圧縮回路162に、その次の10ビットを圧縮回路163に、最下位10ビットを圧縮回路164に入力することにより行われる。
【0084】
圧縮回路161は入力されたデータとスタート信号から、あらかじめ与えられたパラメータに従ってカラム方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたカラムが偶数番目のY2サンプルは、書き込みイネーブル信号とともにカラムバッファ113(図8)に出力する。
圧縮回路162は入力されたデータとスタート信号から、あらかじめ与えられたパラメータに従ってカラム方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたカラムが奇数番目のY2サンプルは、書き込みイネーブル信号とともにカラムバッファ113に出力する。
圧縮回路163は入力されたデータとスタート信号から、あらかじめ与えられたパラメータに従ってカラム方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたCR2サンプルは、書き込みイネーブル信号とともにカラムバッファ113に出力する。
圧縮回路164は入力されたデータとスタート信号から、あらかじめ与えられたパラメータに従ってカラム方向の圧縮あるいは伸張を行う。圧縮あるいは伸張されたCB2サンプルは、書き込みイネーブル信号とともにカラムバッファ113に出力する。
【0085】
圧縮回路161、162、163、164が出力した各サンプルは、カラムバッファへの40ビット幅の信号の最上位に圧縮回路161の出力するY2サンプルが、その次の10ビットに圧縮回路162の出力するY2サンプルが、その次の10ビットにCR2サンプルが、最下位10ビットにCB2サンプルが多重されてカラムバッファ113に出力される。
カラムバッファ113では入力された各サンプルを書き込みイネーブル信号に従って一時保持する。
メモリ115のメモリマップは、前述したメモリ110のメモリマップと同一である。
【0086】
図21は、メモリ制御回路116の詳細な構成を示すブロック図である。
図21において、カウンタ171はスタート信号が入力され、各クロック毎にインクリメント(カウントアップ)してカウント値を形成するカウンタである。カウンタ171のカウンタ値は、ローアドレスデコーダ172、カラムアドレスデコーダ173及びイネーブル制御回路175にそれぞれ出力される。ローアドレスデコーダ172では、メモリ115のローアドレスが生成される。カラムアドレスデコーダ173では、メモリ115のカラムアドレスが生成される。これらローアドレスとカラムアドレスはアドレス多重回路174で多重化されメモリ115のアドレス入力端へ出力される。
【0087】
イネーブル制御回路175は、入力したカウンタ値から、メモリ115の出力イネーブル信号OE、書き込みイネーブル信号WE、ローアドレスイネーブル信号RAS、カラムアドレスイネーブル信号CASを生成する。また、イネーブル制御回路175はラインバッファ117、118、119の書き込みイネーブル信号と、カラムバッファ113の読み出しイネーブル信号を生成する。
【0088】
図22は、メモリ115の2カラムの書き込みのタイミングチャートである。2カラムのデータは21ブロックにわたって分布している。ここでは1ブロックの書き込みについて説明する。1ブロック中には同一カラムのサンプルが25個記録される。この25個のサンプルは同一ローアドレスに配置される。
図22において、最初にローアドレスイネーブル信号RASを立ち下げLにするとともに、最初のローアドレスRA0をメモリ115のアドレスに出力する。その後クロック毎にカラムアドレスイネーブル信号CASをアクティブにするとともに、カラムアドレスCA0、CA1、CA2、・・・、CA24を出力する。その後ローアドレスイネーブル信号RASをディスエーブルにする。
また、カラムアドレスイネーブル信号CASをアクティブにする毎にアドレスのデータがデータバス114に出力されるよう、カラムアドレスイネーブル信号CASをアクティブにする1クロック前にカラムバッファ113の読み出しイネーブル信号を出力して、カラムバッファ113からデータが読み出される。
【0089】
以上の処理を21ブロック分行うことにより、2カラムのサンプルをカラムバッファ113から読み出しメモリ115に書き込む。このメモリ115に書き込むために要する時間は、1ブロックの書き込みが27クロックであり、21ブロックでは21μsecである。
カラムmの書き込みを行う時、n番目のローアドレスRAnは下記式(11)で表される。
【0090】
RAn=m / 21 (11)
【0091】
また、n番目のブロックのp番目のカラムアドレスCAmpは下記式(12)で表される。
【0092】
CAmp=m mod 21 + p (12)
【0093】
図23は、メモリ115の1ラインの読み出しのタイミングチャートである。1ラインのデータは11ブロックにわたって記録されている。ここでは、1ブロック分の読み出しについて説明する。1ブロック中には同一ラインのサンプルが39個記録されている。この39個のサンプルは同一ローアドレスに配置される。 図23において、最初にローアドレスイネーブル信号RASを立ち下げてLにするとともに、最初のローアドレスRA0をメモリ115のアドレスに出力する。その後クロック毎にカラムアドレスイネーブル信号CASをアクティブにするとともに、カラムアドレスCA0、CA1、CA2、・・・、CA38を順に出力する。その後、ローアドレスイネーブル信号RASをディスエーブルにする。次に、カラムアドレスイネーブル信号CASをアクティブにしてデータがメモリ115へ出力されるタイミングにあわせてラインバッファ117、118、119の書き込みイネーブル信号をアクティブにする。このように、書き込みイネーブル信号がアクティブになることにより、データバス114に出力される1ブロックのデータはラインバッファ117、118、119へ書き込まれる。
【0094】
上記の処理を11ブロック分行うことにより、1ラインのサンプルをメモリ110から読み出し、ラインバッファ117、118、119への書き込みが行われる。このラインバッファ117、118、119への書き込みに要する時間は、27MHzクロックの場合、1ブロックの書き込みが41クロックであり、11ブロックでは16.7μsecである。
ラインmの読み出しを行う時、n番目のローアドレスRAnは下記式(13)で表される。
【0095】
RAn=m/11+n (13)
【0096】
また、n番目のブロックのp番目のカラムアドレスCAmpは下記式(14)で表される。
【0097】
CAmp=m mod 11 +p (14)
【0098】
メモリ制御回路116は、1フレーム期間(33.3ms)に525ラインの読み出しと858カラムの書き込みを行う。この時、1フレーム分のライン読み出しと1フレーム分のカラム書き込みは、異なるバンクに対して行われることによって、同一フレームの読み出し途中での書き換えを生じさせることがない。
また、ラインの読み出しの際にあらかじめ与えられた垂直オフセットに従い、ローアドレスとカラムアドレスをシフトすることによって、画面全体の縦方向へのシフトを行う。具体的には、ラインmの読み出しを行う際、mにオフセットsを加算してローアドレスRAn及びカラムアドレスCAmpの演算を行うことにより、画面をmラインずつシフトすることが可能である。
【0099】
図24は1フレーム期間のメモリ制御信号のタイミングチャートである。図24において、まず1フレームを525分割する。その分割された期間の前半に1ラインの読み出しを行い、後半で2カラムの書き込みを行う。このタイミングはメモリ制御回路116に入力されたスタート信号に従う。
【0100】
図25はYC組立回路120の詳細を示すブロック図である。図25において、カウンタ181は、入力されたスタート信号によってクロック毎に1インクリメントするカウンタである。イネーブラ182は、カウンタ181のカウント値に従ってラインバッファ117、118、119からY2サンプル、CR2サンプル、CB2サンプルを読み出すイネーブル信号を生成する。
【0101】
輝度変換回路183は、ラインバッファ117の出力するY2サンプルを輝度変換を行いY3サンプルとしてセレクタ186に出力する。色差変換回路184はラインバッファ118の出力するCR2サンプルとラインバッファ119の出力するCB2サンプルに対して色空間の変換を行い、CR3サンプル、CB3サンプルとしてセレクタ186に出力する。
また、ブランキング生成回路185は、デジタル映像データに必要な水平、垂直ブランキングの信号を生成する。
セレクタ186はY3サンプル、CR3サンプル、CB3サンプル及び水平、垂直ブランキング信号をカウンタ181の値によって選択することでデジタル映像信号を組み立てて出力する。
【0102】
以上のように、実施例2の映像編集装置によれば、デジタル映像データの入出力のクロック周波数と同じ27MHzで動作することが可能な画像編集装置を映像品質を十分維持しつつ、特殊な装置を設けることなく構築することができる。
【0103】
【発明の効果】
以上、実施例で詳細に説明したように本発明は以下の効果を有する。
本発明の映像編集方法は、1フレームの画面を複数のサブ画面に分割し、メモリに映像データを蓄積する際に、同一サブ画面に属する映像データをメモリの同一ローアドレスに蓄積する。この映像編集方法によれば通常のクロック周波数の27MHzのメモリを用いて垂直方向及び水平方向に圧縮や伸張などの画像処理を行い、高い品質で映像の編集が実施できる。
また、本発明の映像編集装置によれば、圧縮や伸張等の処理において所望の品質を得られるフィルタを構成でき、メモリのアクセスにおいて、ライン方向あるいはカラム方向のどちらの方向のバーストアクセスも可能であり、デジタル映像データの27MHzに同期したメモリ動作が可能な低コストな映像編集装置を実現することができる。
【図面の簡単の説明】
【図1】本発明に係る実施例1の映像編集装置のブロック図である。
【図2】本発明に係る実施例1における入力信号のフォーマットを示す図である。
【図3】本発明に係る実施例1のメモリのメモリマップである。
【図4】本発明に係る実施例1の画面のブロック配置図である。
【図5】本発明に係る実施例1における分割されたブロックのサンプル配置を示す図である。
【図6】本発明に係る実施例1のサンプルのメモリマップである。
【図7】本発明に係る実施例1のメモリにおけるタイミングチャートである。
【図8】本発明に係る実施例2の映像編集装置のブロック図である。
【図9】本発明に係る実施例2の多重回路121の詳細を示すブロック図である。
【図10】本発明に係る実施例2のメモリ110のメモリマップである。
【図11】本発明に係る実施例2の画面のブロック配置図である。
【図12】本発明に係る実施例2のサンプルのメモリマップである。
【図13】本発明に係る実施例2のYC抽出回路102の詳細を示すブロック図である。
【図14】本発明に係る実施例2におけるYC抽出回路のタイミングチャートである。
【図15】本発明に係る実施例2の水平圧縮回路103の詳細を示すブロック図である。
【図16】本発明に係る実施例2のメモリ制御回路111の詳細を示すブロック図である。
【図17】本発明に係る実施例2のメモリ110におけるライン書き込みのタイミングチャートである。
【図18】本発明に係る実施例2のメモリ110におけるカラム読み出しのタイミングチャートである。
【図19】本発明に係る実施例2のデータバス109におけるタイミングチャートである。
【図20】本発明に係る実施例2の垂直圧縮回路112の詳細を示すブロック図である。
【図21】本発明に係る実施例2のメモリ制御回路116の詳細を示すブロック図である。
【図22】本発明に係る実施例2のメモリ115におけるカラム書き込みのタイミングチャートである。
【図23】本発明に係る実施例2のメモリ115におけるライン読み出しのタイミングチャートである。
【図24】本発明に係る実施例2のデータバス114におけるタイミングチャートである。
【図25】本発明に係る実施例2のYC組立回路120の詳細を示すブロック図である。
【図26】従来の映像編集装置の構成を示すブロック図である。
【図27】メモリを用いた従来の映像編集装置の構成を示すブロック図である。
【図28】メモリを用いた従来の映像編集装置のメモリのメモリマップである。
【符号の説明】
1、102 YC抽出回路
2、3、4、8、9、10 メモリ
5、6、7 編集回路
11 アドレス制御回路
12、120 YC組立回路
51、130、171、181 カウンタ
52、172 ローアドレスデコーダ
53、173 カラムアドレスデコーダ
54、174 アドレス多重回路
55、175 イネーブル制御回路
101 スタート検出回路
103、104、105 水平圧縮回路
106、107、108、117、118、119 ラインバッファ
109、114 データバス
110、115 メモリ
111、116 メモリ制御回路
112 垂直圧縮回路
113 カラムバッファ
121 多重回路
130 カウンタ
131 Yイネーブラ
132 CRイネーブラ
133 CBイネーブラ
141、143、144 フィルタ
142 Y組立回路
161、162、163、164 圧縮回路
182 イネーブラ
183 輝度変換回路
184 色差変換回路
185 ブランキング生成回路
186 セレクタ
Claims (11)
- デジタル映像データを編集する映像編集方法において、
デジタル映像デ−タの1フレームの画面を複数のサブ画面に分割する工程、
メモリのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分け、前記1フレームにおける同一のサブ画面のデジタル映像データを前記メモリの同一ローアドレスに蓄積する工程、及び
前記ローアドレスと前記カラムアドレスを用いて前記メモリのデジタル映像データにアクセスする工程、
を有することを特徴とする映像編集方法。 - デジタル映像データのサンプル毎で輝度信号サンプルと2つの色差信号サンプルに分割され、ライン毎に多重されて輝度信号ストリーム(以下、Yストリームと記す)と2つの色差信号ストリーム(CRストリーム、CBストリームと記す)のそれぞれを形成する分割工程、
前記Yストリームをライン毎に編集したY1サンプルにより構成されたY1ストリームを形成する第1の編集工程、
前記CRストリームをライン毎に編集したCR1サンプルにより構成されたCR1ストリームを形成する第2の編集工程、
前記CBストリームをライン毎に編集したCB1サンプルにより構成されたCB1ストリームを形成する第3の編集工程、
前記Y1ストリームと前記CR1ストリームと前記CB1ストリームをメモリに蓄積する第1の蓄積工程、
前記第1の蓄積工程において出力された同一カラムアドレスのY1サンプルにより構成されたY1'ストリームをカラムアドレス毎に編集して、Y2サンプルにより構成されたY2ストリームを形成する第4の編集工程、
前記第1の蓄積工程において出力された同一カラムアドレスのCR1サンプルにより構成されたCR1'ストリームをカラムアドレス毎に編集して、CR2サンプルにより構成されたCR2ストリームを形成する第5の編集工程、
前記第1の蓄積工程において出力された同一カラムアドレスのCB1サンプルにより構成されたCB1'ストリームをカラムアドレス毎に編集して、CB2サンプルにより構成されたCB2ストリームを形成する第6の編集工程、
前記Y2ストリームと前記CR2ストリームと前記CB2ストリームをメモリに蓄積する第2の蓄積工程、及び
前記第2の蓄積工程において出力された同一ラインのY2サンプルにより構成されたY2'ストリームとCR2サンプルにより構成されたCR2'ストリームとCB2サンプルにより構成されたCB2'ストリームが入力され、サンプル毎に前記Y2サンプルと前記CR2サンプルと前記CB2サンプルを多重して出力する組立工程、
を有することを特徴とする映像編集方法。 - デジタル映像データを編集する映像編集装置において、
デジタル映像デ−タの1フレームの画面を複数のサブ画面に分割する分割回路と、
メモリのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分け、前記1フレームにおける同一のサブ画面のデジタル映像データを前記メモリの同一ローアドレスに蓄積する蓄積回路を具備し、
前記蓄積回路において前記ローアドレスと前記カラムアドレスを用いて前記メモリのデジタル映像データにアクセスするよう構成されたことを特徴とする映像編集装置。 - デジタル映像データのサンプル毎で輝度信号サンプルと2つの色差信号サンプルに分割され、ライン毎に多重されて輝度信号ストリーム(以下、Yストリームと記す)と2つの色差信号ストリーム(CRストリーム、CBストリームと記す)のそれぞれを形成する分割回路、
前記Yストリームをライン毎に編集したY1サンプルにより構成されたY1ストリームを形成する第1の編集回路、
前記CRストリームをライン毎に編集したCR1サンプルにより構成されたCR1ストリームを形成する第2の編集回路、
前記CBストリームをライン毎に編集したCB1サンプルにより構成されたCB1ストリームを形成する第3の編集回路、
前記Y1ストリームと前記CR1ストリームと前記CB1ストリームをメモリに蓄積する第1の蓄積回路、
前記第1の蓄積回路から出力された同一カラムアドレスのY1サンプルにより構成されたY1'ストリームをカラムアドレス毎に編集して、Y2サンプルにより構成されたY2ストリームを形成する第4の編集回路、
前記第1の蓄積回路から出力された同一カラムアドレスのCR1サンプルにより構成されたCR1'ストリームをカラムアドレス毎に編集して、CR2サンプルにより構成されたCR2ストリームを形成する第5の編集回路、
前記第1の蓄積回路から出力された同一カラムアドレスのCB1サンプルにより構成されたCB1'ストリームをカラムアドレス毎に編集して、CB2サンプルにより構成されたCB2ストリームを形成する第6の編集回路、
前記Y2ストリームと前記CR2ストリームと前記CB2ストリームをメモリに蓄積する第2の蓄積回路、及び
前記第2の蓄積回路から出力された同一ラインのY2サンプルにより構成されたY2'ストリームとCR2サンプルにより構成されたCR2'ストリームとCB2サンプルにより構成されたCB2'ストリームが入力され、サンプル毎に前記Y2サンプルと前記CR2サンプルと前記CB2サンプルを多重して出力する組立回路、
を具備することを特徴とする映像編集装置。 - 前記第1の蓄積回路が、Y1サンプルを蓄積する第1のメモリと、CR1サンプルを蓄積する第2のメモリと、CB1サンプルを蓄積する第3のメモリとを有し、
前記第1のメモリと前記第2のメモリと前記第3のメモリが、それぞれのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分割してアクセスするよう構成され、
1フレームを構成するY1サンプルを格子状に分割してサブ画面とし、前記第1のメモリの同一ローアドレスには各サブ画面を構成する全てのY1サンプルが蓄積され、
1フレームを構成するCR1サンプルを格子状に分割してサブ画面とし、前記第2のメモリの同一ローアドレスには各サブ画面を構成する全てのCR1サンプルが蓄積され、そして
1フレームを構成するCB1サンプルを格子状に分割してサブ画面とし、前記第3のメモリの同一ローアドレスには、各サブ画面を構成する全てのCB1サンプルを蓄積されるよう構成されたことを特徴とする請求項4記載の映像編集装置。 - 前記第2の蓄積回路が、Y2サンプルを蓄積する第4のメモリと、CR2サンプルを蓄積する第5のメモリと、CB2サンプルを蓄積する第6のメモリとを有し、
前記第4のメモリと前記第5のメモリと前記第6のメモリが、それぞれのアドレスを上位アドレスであるローアドレスと下位アドレスであるカラムアドレスに分割してアクセスするよう構成され、
1フレームを構成するY2サンプルを格子状に分割してサブ画面とし、前記第4のメモリの同一ローアドレスには各サブ画面を構成する全てのY2サンプルが蓄積され、
1フレームを構成するCR2サンプルを格子状に分割してサブ画面とし、前記第5のメモリの同一ローアドレスには各サブ画面を構成する全てのCR2サンプルが蓄積され、そして
1フレームを構成するCB2サンプルを格子状に分割してサブ画面とし、前記第6のメモリの同一ローアドレスには各サブ画面を構成する全てのCB2サンプルが蓄積されるよう構成されたことを特徴とする請求項4記載の映像編集装置。 - 前記第1の蓄積回路は、同一ラインで隣り合う2つのY1サンプルと、画面上における前記Y1サンプルの近傍にある一つのCR1サンプルと、画面上における前記Y1サンプルの近傍にある一つのCB1サンプルとを多重化する多重回路、及び
前記多重化した4つのサンプルを同一アドレスに蓄積する第7のメモリを具備することを特徴とする請求項4記載の映像編集装置。 - 前記第2の蓄積回路は、同一ラインで隣り合う2つのY2サンプルと、画面上における前記Y2サンプルの近傍にある一つのCR2サンプルと、画面上における前記Y2サンプルの近傍にある一つのCB2サンプルとを多重化する多重回路、及び
前記多重化した4つのサンプルを同一アドレスに蓄積する第8のメモリを具備することを特徴とする請求項4記載の映像編集装置。 - 前記第1の蓄積回路が、入力されたデジタル映像データの1ラインにおける前半で前記Y1ストリームと前記CR1ストリームと前記CB1ストリームとを蓄積し、入力されたデジタル映像データの1ラインにおける後半で前記Y1'ストリームと前記CR1'ストリームと前記CB1'ストリームとを出力し、
前記第2の蓄積回路が、入力されたデジタル映像データの1ラインにおける前半で前記Y2ストリームと前記CR2ストリームと前記CB2ストリームとを蓄積し、入力されたデジタル映像データの1ラインにおける後半で前記Y2'ストリームと前記CR2'ストリームと前記CB2'ストリームとを出力するよう構成されたことを特徴とする請求項4記載の映像編集装置。 - 前記第7のメモリが、1フレームを構成するY1サンプルを格子状に分割してサブ画面とし、同一ローアドレスには各サブ画面を構成する全てのY1サンプル、CR1サンプル及びCB1サンプルを蓄積するよう構成されたことを特徴とする請求項7記載の映像編集装置。
- 前記第8のメモリが、1フレームを構成するY2サンプルを格子状に分割してサブ画面とし、同一ローアドレスには各サブ画面を構成する全てのY2サンプル、CR2サンプル及びCB2サンプルを蓄積するよう構成されたことを特徴とする請求項8記載の映像編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17744199A JP3630587B2 (ja) | 1999-06-23 | 1999-06-23 | 映像編集方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17744199A JP3630587B2 (ja) | 1999-06-23 | 1999-06-23 | 映像編集方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001008162A JP2001008162A (ja) | 2001-01-12 |
JP3630587B2 true JP3630587B2 (ja) | 2005-03-16 |
Family
ID=16031013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17744199A Expired - Fee Related JP3630587B2 (ja) | 1999-06-23 | 1999-06-23 | 映像編集方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3630587B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8384725B2 (en) | 2009-10-30 | 2013-02-26 | Yamaha Corporation | Method and computer for controlling image processor, and machine readable storage medium for use in computer |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050134877A1 (en) * | 2003-12-17 | 2005-06-23 | Murata Kikai Kabushiki Kaisha | Color image processing device and color image processing method |
-
1999
- 1999-06-23 JP JP17744199A patent/JP3630587B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8384725B2 (en) | 2009-10-30 | 2013-02-26 | Yamaha Corporation | Method and computer for controlling image processor, and machine readable storage medium for use in computer |
Also Published As
Publication number | Publication date |
---|---|
JP2001008162A (ja) | 2001-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4646446B2 (ja) | 映像信号処理装置 | |
JPH0612485A (ja) | 動き補償テレビジョンのようなフィードバックシステムにおいて使用する多重シリアルアクセスメモリ | |
JPS6113669B2 (ja) | ||
JPH0681304B2 (ja) | 方式変換装置 | |
JP3801242B2 (ja) | 縮小画像表示装置 | |
US6850569B2 (en) | Effective motion estimation for hierarchical search | |
US5793434A (en) | Aspect ratio converter and method thereof | |
JP3630587B2 (ja) | 映像編集方法及びその装置 | |
JPS61269265A (ja) | 映像信号時間軸補正装置 | |
US20080246643A1 (en) | Technique For Efficient Video Re-Sampling | |
JPH08191425A (ja) | メモリ制御装置 | |
JP4657687B2 (ja) | 映像監視装置及び映像記録再生装置 | |
KR200283945Y1 (ko) | 화질 열화 방지가 가능한 다중 화면 분할기 | |
JP4352660B2 (ja) | 画像信号処理装置及び方法 | |
JP2000284771A (ja) | 映像データ処理装置 | |
JPH10334226A (ja) | 画像データ記憶装置 | |
JPH0126226B2 (ja) | ||
JP2005011520A (ja) | 画像データ記憶装置 | |
JPH1023330A (ja) | 画像処理装置 | |
JPH06284382A (ja) | 記録キャリア読取り装置 | |
JPH03106213A (ja) | テレビ受信機におけるチャンネル・サーチ装置 | |
KR910005249B1 (ko) | 멀티비젼 시스템 | |
JP2000341651A (ja) | フォーマット変換装置 | |
JPH09218820A (ja) | 画像処理装置及び画像メモリのマッピング方法 | |
JPS6250964A (ja) | ビデオメモリ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040506 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041214 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |