JP2013009090A - Video special effect apparatus and video signal processing method of the same - Google Patents
Video special effect apparatus and video signal processing method of the same Download PDFInfo
- Publication number
- JP2013009090A JP2013009090A JP2011139475A JP2011139475A JP2013009090A JP 2013009090 A JP2013009090 A JP 2013009090A JP 2011139475 A JP2011139475 A JP 2011139475A JP 2011139475 A JP2011139475 A JP 2011139475A JP 2013009090 A JP2013009090 A JP 2013009090A
- Authority
- JP
- Japan
- Prior art keywords
- video
- memory
- read
- special effect
- effect device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、映像特殊効果装置と映像特殊効果装置の映像信号処理方法に関する。 The present invention relates to a video special effect device and a video signal processing method of the video special effect device.
従来、取得された画像信号に対して所望の画像処理を施し、特殊な視覚効果を得るようにした映像特殊効果装置（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｅｆｆｅｃｔｓ：ＤＶＥ）が知られている。このような映像特殊効果装置は、入力された画像信号をディジタル変換して画像データとして扱い、回転や視角度の変更等より多彩な表現が可能である。 2. Description of the Related Art Conventionally, there has been known a video special effects device (Digital Video Effects: DVE) that performs a desired image processing on an acquired image signal to obtain a special visual effect. Such a video special effect device digitally converts an input image signal and handles it as image data, and can perform various expressions such as rotation and change of viewing angle.
映像特殊効果装置で得られる特殊効果は、例えば画像の回転、縮小、バースト（爆発）などがある。これらのうち、バーストは、映像がランダムに砕け散る効果である。 Special effects obtained by the video special effect device include, for example, image rotation, reduction, burst (explosion), and the like. Among these, the burst is an effect that the video is randomly shattered.
映像特殊効果は、１フィールドあるいは１フレームの画像データを、マッピング用のメモリに書き込み、書き込んだ画像データを読み出す際に、目的に応じて生成したメモリアドレスに基づいて、マッピング用のメモリから画像データを読み出すことによって、表示される画像が所望の状態に変換され、映像特殊効果が実現される。 In the video special effect, image data of one field or one frame is written to the mapping memory, and when the written image data is read, the image data is read from the mapping memory based on the memory address generated according to the purpose. Is read out, the displayed image is converted into a desired state, and a video special effect is realized.
上述した映像特殊処理の際には、ランダムアクセスによってメモリに書き込まれた画像データが読み出される。すなわち、このとき用いられるメモリには、書き込みはシーケンシャルに行われる一方、読み出しがランダムに行われる。また、メモリへの書き込み／読み出し動作は、遅滞なくほぼリアルタイムで処理される必要があるので、高速応答処理も要求される。 In the video special processing described above, the image data written in the memory is read by random access. That is, in the memory used at this time, writing is performed sequentially, while reading is performed randomly. Further, since the write / read operation to the memory needs to be processed almost in real time without delay, high-speed response processing is also required.
このため、高速なランダムアクセスへの対応が可能なＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）がマッピング用のメモリとして従来使用されていた。図８（ａ）は、ＳＲＡＭを用いた従来の画像変換回路の構成の一例を説明する図である。映像特殊効果の画像変換、例えば任意の比率での画像の拡大／縮小は、例えば変換されるサンプリング点Ｐを取り囲む４サンプリング点Ａ，Ｂ，Ｃ，Ｄのデータを用いて、バイリニア内挿と称される方法で行われる。 For this reason, SRAM (Static Random Access Memory) capable of dealing with high-speed random access has been conventionally used as a memory for mapping. FIG. 8A is a diagram for explaining an example of the configuration of a conventional image conversion circuit using an SRAM. Image conversion of a video special effect, for example, enlargement / reduction of an image at an arbitrary ratio, for example, is called bilinear interpolation using data of four sampling points A, B, C, D surrounding the sampling point P to be converted. Done in a way that
映像特殊効果装置は、サンプリング点Ｐと各サンプリング点Ａ，Ｂ，Ｃ，Ｄまでの距離の比に基づいて、各サンプリング点Ａ，Ｂ，Ｃ，Ｄの重み付けを行う。すなわち、変換に際して４サンプリング点のデータが同時に必要となり、サンプリング点Ａ〜Ｄに各々対応する４組のＳＲＡＭを映像特殊効果装置が備える必要がある。 The video special effect device weights each sampling point A, B, C, D based on the ratio of the distance between the sampling point P and each sampling point A, B, C, D. That is, at the time of conversion, data of four sampling points are required at the same time, and the video special effect device needs to include four sets of SRAMs corresponding to the sampling points A to D, respectively.
また、入力されるデータは、各々１０ビットのデータ幅を有する輝度信号Ｙ，色信号Ｃ，およびキー信号Ｋからなるコンポーネント信号であってもよく、３０ビット乃至は３２ビットのデータ幅を有する。 The input data may be a component signal composed of a luminance signal Y, a color signal C, and a key signal K each having a data width of 10 bits, and has a data width of 30 bits to 32 bits.
一方、ＳＲＡＭは、通常１ワードが１６ビットまたは８ビットで構成される。仮に、データ幅が１６ビットのＳＲＡＭを使用すると、データ幅が３２ビットである１サンプリング点分のデータをアクセスするために、２個のＳＲＡＭをパラレルに構成する必要がある。 On the other hand, in the SRAM, one word is usually composed of 16 bits or 8 bits. If an SRAM having a data width of 16 bits is used, it is necessary to configure two SRAMs in parallel in order to access data for one sampling point having a data width of 32 bits.
また、ＳＲＡＭは容量が現在のところ１８Ｍビット程度と比較的小さいため、変換データのアドレスのために同数のＳＲＡＭが必要となる。さらに、書き込み／読み出しを並行して行うため、切り替えて使用する２組のＳＲＡＭが必要となる。 Further, since the capacity of the SRAM is relatively small at present, such as about 18M bits, the same number of SRAMs are required for the address of the conversion data. Furthermore, since writing / reading is performed in parallel, two sets of SRAMs to be used by switching are required.
すなわち、書き込みに２個で１組とされたＳＲＡＭがＳＲＡＭ９１２３Ａ〜９１２３Ｈの、計１６個必要とされ、同様に、読み出しに２個で１組とされたＳＲＡＭがＳＲＡＭ９１２４Ａ〜９１２４Ｈの、計１６個必要とされ、全体で３２個のＳＲＡＭが必要とされていた。
That is, 16 sets of
書き込み用のＳＲＡＭ９１２３Ａ〜９１２３Ｈと、読み出し用のＳＲＡＭ９１２４Ａ〜９１２４Ｈとは、読み出し／書き込み切り替え回路９１２１で交互に切り替えられ、読み出しと書き込みとを並行して行えるようにされている。
The write
また、読み出された点Ａ〜点Ｄの４点の画像データは、補間回路９１２２で所定の補間処理を行われ、端子９１２５に導出される。
Further, the read image data of the four points A to D are subjected to a predetermined interpolation process by the
図８（ｂ）は、ＤＲＡＭを用いた従来のスキャンコンバータの構成の一例を説明する図である。このスキャンコンバータは、２相のパラレルで構成される。端子９１００から入力された画像データのうち第１フィールドのデータは、それぞれデータ幅が１６ビットである２つのＤＲＡＭ９１０２Ａ，９１０２Ｂに書き込まれる。
FIG. 8B is a diagram for explaining an example of the configuration of a conventional scan converter using a DRAM. This scan converter is constituted by two-phase parallel. Of the image data input from the
同様に、第２フィールドのデータは、それぞれデータ幅が１６ビットである２つのＤＲＡＭ９１０２Ｃ，９１０２Ｄに書き込まれる。また、図８（ｂ）に説明するスキャンコンバータにおいても、画像データの書き込みと読み出しとが並行して行われる。
Similarly, the data in the second field is written in two
このため、ＤＲＡＭ９１０２Ａ〜９１０２Ｄと、ＤＲＡＭ９１０３Ａ〜９１０３Ｄとの、２組のメモリが必要とされる。これら２組のメモリは、読み出し／書き込み切り替え回路９１０１で交互に切り替えられて用いられ、読み出しの際には、これら２相の構成とされたメモリが交互にアクセスされ、垂直方向に連続的に画像データが読み出され端子９１０４から出力される。
For this reason, two sets of memories of
すなわち図８（ｂ）に説明するスキャンコンバータは、８個のＤＲＡＭが必要とされる。上述のように、ＤＲＡＭで構成したスキャンコンバータにおいても、多数のメモリを用いる必要があるという問題点がある。 That is, the scan converter described in FIG. 8B requires eight DRAMs. As described above, even a scan converter composed of a DRAM has a problem that it is necessary to use a large number of memories.
また、ＳＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）に比べ、同一の容量では価格が高い、また、消費電力が大きいという問題点があったため、上述したようなマッピング用のメモリに、ＤＲＡＭを使うことがコスト面からは要求されていた。しかし、ＤＲＡＭは、データ読み出しの際に、ＲＡＳおよびＣＡＳという２つのアドレスを指定する必要があること、またＤＲＡＭは、プリチャージ時間が必要であること、等、単体では高速ランダムアクセスに対応するのが難しいという問題点があった。 In addition, the SRAM has a problem that the price is high with the same capacity and the power consumption is large as compared with the DRAM (Dynamic RAM). Therefore, it is costly to use the DRAM as a memory for mapping as described above. It was requested from the aspect. However, the DRAM needs to specify two addresses RAS and CAS when reading data, and the DRAM needs a precharge time. There was a problem that was difficult.
このため、ＤＲＡＭを用いる場合には、複数のＤＲＡＭを並列接続し、複数のＤＲＡＭのそれぞれに対してデータを同時並列振り分けて書き込むことで、見かけ上の速度を高速化させる対応がとられている。 For this reason, when using a DRAM, a plurality of DRAMs are connected in parallel, and data is allocated to each of the plurality of DRAMs simultaneously and written to increase the apparent speed. .
一方、多数のＤＲＡＭを並列化するとコスト面、小型化、省電力化の観点から不利になるだけではなく、ＤＲＡＭ単体の容量がどんどん大きくなる昨今においては、メモリの使用効率が悪くなるという問題点があった。 On the other hand, paralleling a large number of DRAMs is not only disadvantageous from the viewpoint of cost, miniaturization, and power saving, but also the capacity of the DRAM itself is increasing, and the problem is that the memory usage efficiency is worsened. was there.
上述した問題点に対応するため、比較的低速なメモリを効率的に活用し、より高速なランダムアクセスを可能とした画像処理装置ならびに特殊効果装置等を提供することを目的とし、データ幅が３２ビットでパラレルに供給されるビデオデータを、マルチプレクサにより、各成分毎にシリアルに並べ替えることにより、データ幅を、ＳＤＲＡＭのデータ幅に適合させて小さくすることができると共に、ＳＤＲＡＭのバーストライト／バーストリードを利用して効率良くデータをアクセスすることができることが、例えば下記特許文献１に提案されている。 In order to address the above-described problems, an object is to provide an image processing apparatus and a special effect apparatus that can efficiently use a relatively low-speed memory and enable higher-speed random access, and has a data width of 32. Video data supplied in parallel in bits is rearranged serially for each component by a multiplexer, so that the data width can be reduced in conformity with the data width of the SDRAM, and the burst write / burst of the SDRAM For example, Patent Document 1 below proposes that data can be efficiently accessed using a read.
特許文献１によれば、ランダム的に高速なアクセスが必要な場合でも、ＳＤＲＡＭのメモリ空間を有効に利用することができるので、多数のＳＲＡＭを利用すること無く、少ないデバイス数で同様の処理を行うことができるという効果があることが示されている。 According to Patent Document 1, even when random high-speed access is necessary, the memory space of the SDRAM can be used effectively, so that the same processing can be performed with a small number of devices without using a large number of SRAMs. It has been shown that there is an effect that can be done.
スタティックメモリは比較的高価であるとともに比較的消費電力が大きいため、ＳＲＡＭを用いた映像特殊効果装置のコスト低廉化と低消費電力化には限界が生じていた。また、ＳＲＡＭを用いた映像特殊効果装置は、複数のＳＲＡＭによる並列動作が必須となるので、メモリ関連部品数が増大し、各部品による消費電力も要することから、周辺回路も含めた小型化や低価格化、消費電力のさらなる低減は困難であった。 Since static memory is relatively expensive and consumes relatively large power, there has been a limit to reducing the cost and power consumption of video special effect devices using SRAM. In addition, since a video special effect device using SRAM requires parallel operation by a plurality of SRAMs, the number of memory-related components increases and power consumption by each component is required. It was difficult to reduce the price and further reduce the power consumption.
本発明はこのような問題点に鑑みなされたものであり、小型化と低消費電力化とを具現するとともに、並列配置するメモリ数を低減し、低コストで遅滞なく処理を遂行可能な映像特殊効果装置等を提供することを目的とする。 The present invention has been made in view of such problems, and realizes downsizing and low power consumption, reduces the number of memories arranged in parallel, and can perform processing without delay at low cost. It aims at providing an effect apparatus etc.
本発明の映像特殊効果装置は、ダイナミックメモリに入力映像を書き込んだ後、所望の映像効果を奏する読み出し順序に生成されたアドレスに従って、ダイナミックメモリから入力映像を読み出して、映像効果を反映した順序で画像信号を順次出力する映像特殊効果装置において、ダイナミックメモリは、複数のマクロブロックを記憶するメモリ素子と、メモリ素子から読み出した一つのマクロブロックを一時記憶するバッファメモリとを備え、バッファメモリがメモリ素子から読み出すマクロブロックが所定の期間内で重複しないように、バッファメモリから所定の期間内に読み出すデータを、各マクロブロックごとに一括して読み出すことを特徴とする。 The video special effect device according to the present invention reads an input video from the dynamic memory according to an address generated in a reading order that produces a desired video effect after writing the input video to the dynamic memory, and reflects the video effect in an order that reflects the video effect. In the video special effect device that sequentially outputs image signals, the dynamic memory includes a memory element that stores a plurality of macroblocks, and a buffer memory that temporarily stores one macroblock read from the memory elements, and the buffer memory is a memory. Data that is read from the buffer memory within a predetermined period is collectively read for each macroblock so that macroblocks read from the elements do not overlap within a predetermined period.
また、本発明の映像特殊効果装置は、好ましくはダイナミックメモリがＤＲＡＭであり、バッファメモリがメモリ素子から読み出す各マクロブロックの読み出し回数を所定の期間内に各々一回以下とするように、所定の期間内における同一マクロブロックへの読み出しを指示する重複アドレスを削除することを特徴とする。 In the video special effect device according to the present invention, preferably, the dynamic memory is a DRAM, and the buffer memory reads a predetermined number of times for each macro block read from the memory element within a predetermined period. A duplication address instructing reading to the same macroblock within a period is deleted.
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間内にバッファメモリから各マクロブロックごとに一括読み出しした読み出しデータを、所望の映像効果を奏する順序に再整列して出力することを特徴とする。 The video special effects device of the present invention more preferably outputs the read data collectively read from the buffer memory for each macroblock within a predetermined period in a rearranged order in which a desired video effect is produced. Features.
また、本発明の映像特殊効果装置は、さらに好ましくはメモリ素子が、メモリアレイであることを特徴とする。 The video special effect device according to the present invention is more preferably characterized in that the memory element is a memory array.
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間が、走査線１本相当以上に対応する時間であることを特徴とする。 The video special effect device according to the present invention is more preferably characterized in that the predetermined period is a time corresponding to one or more scanning lines.
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間が、走査線９本相当以上に対応する時間であることを特徴とする。 The video special effect device according to the present invention is more preferably characterized in that the predetermined period is a time corresponding to nine or more scanning lines.
また、本発明の映像特殊効果装置は、さらに好ましくはマクロブロックが、バッファメモリの容量に対応するピクセル数であることを特徴とする。 The video special effect device according to the present invention is more preferably characterized in that the macro block has the number of pixels corresponding to the capacity of the buffer memory.
また、本発明の映像特殊効果装置は、さらに好ましくはマクロブロックが１６×１６ピクセルであり、バッファメモリの容量は２５６ワードであることを特徴とする。 The video special effect device according to the present invention is more preferably characterized in that the macroblock is 16 × 16 pixels and the capacity of the buffer memory is 256 words.
また、本発明の映像特殊効果装置は、さらに好ましくは所望の映像効果が、オペレータにより指示入力されることを特徴とする。 Further, the video special effect device of the present invention is more preferably characterized in that a desired video effect is input by an operator.
また、本発明の映像特殊効果装置の映像信号処理方法は、上述のいずれかに記載の映像特殊効果装置における映像信号処理方法において、所定の期間内における、メモリ素子の同一マクロブロックに対する重複した読み出しアドレスを削除する工程と、削除しなかった同一マクロブロックの読み出しアクセス時に、削除した読み出しアドレスで読み出すべきであったデータを一括して読み出す工程と、一括して読み出された同一マクロブロック内のデータを、映像効果を反映する画像信号となるように配列調整して順次出力する工程と、を有することを特徴とする。 The video signal processing method for a video special effect device according to the present invention is the video signal processing method for a video special effect device according to any one of the above, wherein the same macroblock of the memory element is read repeatedly within a predetermined period. The process of deleting the address, the process of reading the data that should have been read with the deleted read address at the time of read access to the same macroblock that was not deleted, and the process within the same macroblock that was read at the same time And a step of sequentially outputting the data after adjusting the arrangement so that the image signal reflects the video effect.
小型化と低消費電力化とを具現するとともに、並列配置するメモリ数を低減し、低コストで遅滞なく処理を遂行可能な映像特殊効果装置等を提供できる。 In addition to realizing miniaturization and low power consumption, it is possible to provide a video special effect device that can perform processing without delay at low cost by reducing the number of memories arranged in parallel.
実施形態で説明する映像特殊効果装置は、ダイナミックメモリのビデオ信号変形効果用ランダムアクセスコントロール手法を採用する。一般に、ＳＲＡＭは高価であるとともに発熱量が比較的多いため、コストを削減するにはコンピュータ部品として量産されているＤＲＡＭを用いることが好ましい。 The video special effect device described in the embodiment employs a random access control method for video signal deformation effect of a dynamic memory. In general, SRAM is expensive and generates a relatively large amount of heat. Therefore, it is preferable to use a DRAM that is mass-produced as a computer component in order to reduce costs.
一方、ランダムアクセスを許容しないＤＲＡＭを用いて高速な処理を実現するためには、一般には多数のＤＲＡＭを並列に接続し、並列動作とされる。しかし、多数のＤＲＡＭを並列接続として並列動作をさせると、これら多数のＤＲＡＭの搭載基板は面積が増大し、また発熱量も増大しさらにはコスト的にも好ましくない。 On the other hand, in order to realize high-speed processing using a DRAM that does not allow random access, generally, a large number of DRAMs are connected in parallel and are operated in parallel. However, when a large number of DRAMs are connected in parallel and operated in parallel, the mounting substrate for these large numbers of DRAMs increases in area, increases the amount of heat generation, and is not preferable in terms of cost.
実施形態で説明する映像特殊効果装置は、ＤＲＡＭの内部で、比較的低速度なメモリ素子（またはメモリアレイ）へのアクセスを低減させ、比較的高速度なバッファメモリへのアクセスを活用することにより、ＤＲＡＭ個々の速度の向上を図る。これにより、多数の並列処理を遂行しなくても、ビデオ映像の特殊効果処理を可能とする映像特殊効果装置を実現する。 The video special effect device described in the embodiment reduces access to a relatively low-speed memory element (or memory array) inside the DRAM and utilizes access to a relatively high-speed buffer memory. The speed of each DRAM is improved. This realizes a video special effect device that enables special effect processing of video images without performing many parallel processes.
また、実施形態で説明する映像特殊効果装置は、メモリ素子へのアクセス回数を低減するために、例えば一走査線相当期間内において、同一マクロブロックへの重複アドレスのアクセスが存在すれば、これを消去する。そして、当該消去された重複アドレスによるアクセス時にメモリ素子から読み出す予定であったデータについては、削除されなかったアドレスによる当該マクロブロックへのアクセス時に、一括して読み出す。そして、出力する映像データは、所望の映像効果が反映されるように、適宜並べ替え処理をしてから出力する。 In addition, the video special effect device described in the embodiment reduces the number of accesses to the memory element, for example, if there is an access of an overlapping address to the same macroblock within a period corresponding to one scanning line. to erase. Then, data that is scheduled to be read from the memory element at the time of access by the erased duplicate address is read at a time when the macroblock is accessed by the address that has not been deleted. The video data to be output is output after being appropriately rearranged so that a desired video effect is reflected.
図１（ａ）は、実施形態の映像特殊効果装置１０００について、その構成概要を説明するブロック図である。図１（ａ）に示すように、映像特殊効果装置１０００は、オペレータ等から所望の映像効果が入力される制御卓２００と、制御卓２００からの指示入力に基づいて所望の映像効果を奏する映像信号とするように、入力映像を変形する制御部１００とを備える。
FIG. 1A is a block diagram illustrating an outline of the configuration of the video
制御卓２００から入力されたオペレータの映像変形指示は、制御部１００のＣＰＵ１２０に入力される。ＣＰＵ１２０は、映像効果アドレス生成部１３０に対し、オペレータから指示入力された映像変形が遂行されるような読み出しアドレスを生成させる。
The operator's video transformation instruction input from the
また、映像効果アドレス生成部１３０で生成された読み出しアドレスに従って、次フィールドまたは次フレームで映像メモリ（読出側）１１０（ｂ）から入力映像が読み出され、映像効果を奏する画像信号として映像特殊効果装置１０００から出力される。
Also, according to the read address generated by the video effect
ここで、映像特殊効果装置１０００の制御部１００は、不図示の映像メモリ切り替え部を備えてもよい。映像メモリ（書込側）１１０（ａ）と映像メモリ（読出側）１１０（ｂ）とで、交互に読み出しと書き込みとを切り替えて遂行することで、リアルタイムで迅速な映像処理が可能となる。
Here, the
ここで、図５（ａ）は、映像メモリ１１０に書き込まれた入力映像を、映像効果アドレス生成部１３０が生成した読み出しアドレスに従って読み出す場合の、読み出し順序とその結果得られる映像効果との対応関係を説明する図である。
Here, FIG. 5A shows the correspondence between the reading order and the resulting video effect when the input video written in the
また、図１（ｂ）は、映像メモリ（読出側）１１０（ｂ）の構成概要を説明するブロック図である。図１（ｂ）において、映像メモリ（読出側）１１０（ｂ）は、入力映像を記憶するＤＲＡＭ１１１と、ＤＲＡＭ１１１への書き込み／読み出しを制御するメモリコントローラ１１６と、映像効果アドレス生成部１３０から読み出しアドレスが入力されるメモリ素子アドレスマッピング部１１４と、所定期間内（例えば一走査線相当期間）における同一マクロブロックの重複読み出しアドレスを消去する重複アドレス削除部１１５と、映像データを所望の映像効果を奏する順序へ再整列するピクセル整列走査線メモリ１１７とを備える。
FIG. 1B is a block diagram for explaining the outline of the configuration of the video memory (reading side) 110 (b). In FIG. 1B, the video memory (reading side) 110 (b) includes a
図１（ｂ）から理解できるように、ＤＲＡＭ１１１は、比較的メモリ容量が大きいメモリ素子１１２と、比較的メモリ容量が小さいバッファメモリ１１３とを備える。メモリ素子１１２に書き込まれた映像データは、マクロブロック単位でバッファメモリ１１３へと読み出され、バッファメモリ１１３からマクロブロック内の対応映像データがメモリコントローラ１１６を介して順次読み出される。
As can be understood from FIG. 1B, the
また、メモリ素子１１２からのマクロブロック単位の読み出し速度は比較的遅く、バッファメモリ１１３からの映像データ読み出し速度は比較的速い。このため、映像特殊効果装置１０００は、メモリ素子１１２からのマクロブロック単位の読み出し回数を最小化することで、全体としての処理速度を向上させ、これによりＤＲＡＭ１１１の並列数を低減させることができる。
Further, the reading speed of the macroblock unit from the
また、図２（ａ）はメモリ素子１１２のアドレスマッピングについて説明する概念図であり、図２（ｂ）はＤＲＡＭ１１１のメモリ素子１１２とバッファメモリ１１３とのアドレスマッピングの対応を説明する概念図である。
2A is a conceptual diagram for explaining the address mapping of the
図２（ａ）に説明するように、メモリアレイ等のメモリ素子１１２は、バッファメモリ１１３の記憶容量に対応して例えば１６×１６ピクセルを一つのマクロブロック２１０とする複数のマクロブロック２１０，２１１，２１２・・・にアドレスマッピングされる。
As illustrated in FIG. 2A, the
また、図２（ｂ）に示すようにバッファメモリ１１３は、マクロブロック単位でメモリ素子１１２から映像データを読み込む。例えば、メモリ素子アドレス＝”０”をメモリコントローラ１１６から指示されると、バッファメモリ１１３は、マクロブロック２１０をメモリ素子１１２から読み出して一時記憶する。また、例えばメモリ素子アドレス＝”１”をメモリコントローラ１１６から指示されると、バッファメモリ１１３は、マクロブロック２１１をメモリ素子１１２から読み出して一時記憶する。
As shown in FIG. 2B, the buffer memory 113 reads video data from the
また、図３（ａ）は、映像効果アドレス生成部１３０及びメモリ素子アドレスマッピング部１１４によるメモリ読み出しアドレスの例を説明する図であり、図３（ｂ）は重複アドレス削除部１１５によるメモリ素子の重複アドレスの削除処理を説明する図であり、図３（ｃ）はピクセル整列走査線メモリ１１７による映像効果を具現する再整列の処理を説明する図である。
3A is a diagram for explaining an example of a memory read address by the video effect
図２と図３とに示すように、オペレータにより指示入力された映像効果を奏するように、映像効果アドレス生成部１３０が映像メモリ（読出側）１１０（ｂ）からのデータ読み出しアドレスを生成する。メモリ素子アドレスマッピング部１１４が、データ読み出しアドレスを、映像メモリ（読出側）１１０（ｂ）の物理アドレスとメモリ素子１１２の物理アドレスとの割り当て処理を遂行する。例えばバッファメモリ１１３の容量が２５６ワードである場合には、１６×１６ピクセルをメモリ素子１１２の物理アドレスとして扱う。
As shown in FIGS. 2 and 3, the video effect
一走査線相当期間に対応するメモリ読み出しアドレスが図３（ａ）に説明するように指示された場合に、従来、メモリ素子１１２内のメモリ素子アドレス＝”１２１”が離間して二回アクセスされることとなる。すなわち、仮に、一走査線相当期間内において、メモリ素子１１２内のメモリ素子アドレス＝”１２１”に対応するマクロブロック２１１２１が、２度にわたり、メモリ素子１１２からバッファメモリ１１３へと読み出されることとなると、メモリ素子１１２からバッファメモリ１１３へと読み出し速度は比較的遅いことから、処理の遅延が懸念される。
When the memory read address corresponding to the period corresponding to one scanning line is instructed as described in FIG. 3A, conventionally, the memory element address = “121” in the
このため、実施形態の映像特殊効果装置１０００は、マクロブロック２１１２１への一走査線相当期間内における重複したアクセスを図３（ｂ）に示すようにまとめ、一度だけのアクセスで済ませることにより、処理時間を短縮する。
For this reason, the video
より具体的には、重複アドレス削除部１１５が、一走査線相当期間内において重複するマクロブロック２１１２１への重複したメモリ素子アドレス”１２１”を削除する。また、削除されたメモリ素子アドレス”１２１”において読み出される予定であった、メモリ素子アドレス”１２１”のピクセル１９３，２４０については、削除されなかったメモリ素子アドレス”１２１”によるマクロブロック２１１２１の読み込み時に、一括して順次バッファメモリ１１３からメモリコントローラ１１６へと読み出される。
More specifically, the overlapping
また、ピクセル整列走査線メモリ１１７は、上述した一括読み出し処理により変更されたメモリ素子アドレス順のデータを、図３（ｃ）に説明するように所望の映像効果を奏するオリジナルのピクセル順序へと再整列処理して出力する。
Further, the pixel alignment
映像特殊効果装置１０００においては、オペレータ等により要求される映像効果の程度や種類によって、読み出しアドレスが種々変わり得るものであるので、予め読み出しアドレスを予測することは困難である。
In the video
このため、映像特殊効果装置１０００は、指示された映像効果に対応する読み出しアドレスに基づいて例えば一走査線相当期間ごとに、メモリ素子１１２からバッファメモリ１１３へと読み出すマクロブロックの重複読み出しをまとめて一度とする。また、映像特殊効果装置１０００は、当該一度の読み出し時にバッファメモリ１１３から読み出すべきデータをまとめて一括して順次に読み出すこととする。
For this reason, the video
上述した説明においては、映像特殊効果装置１０００が、マクロブロックを１６×１６ピクセルと設定する場合について示したが、これに限定されるものではなく、任意の大きさや形状にマクロブロックを設定してもよい。映像特殊効果装置１０００は、例えば図２（ｂ）に示す読み出しピクセル（図中に三角印で示す該当データ）が全て包含されるような形状に、一つのマクロブロックを設定してもよい。
In the above description, the case where the video
また、上述の説明において、所定の期間として一走査線相当期間を例に説明したが、これに限定されるものではなく、例えば７〜１０走査線相当期間を所定の期間としてもよい。数走査線相当期間を所定の期間として、この間の同一マクロブロックの重複読み出しを排除することにより、メモリ素子１１２からバッファメモリ１１３へのマクロブロック読み出し回数を顕著に低減することが可能である。
In the above description, the period corresponding to one scanning line is described as an example of the predetermined period. However, the period is not limited to this, and for example, a period corresponding to 7 to 10 scanning lines may be set as the predetermined period. By setting a period corresponding to several scanning lines as a predetermined period and eliminating redundant reading of the same macroblock during this period, the number of macroblocks read from the
また、所定の期間が短すぎれば同一マクロブロックへの重複アクセスがそもそも少ないため、処理時間の低減効果は小さくなる傾向になる一方、所定の期間が長すぎればほぼ全てのマクロブロックへ一回ずつ読み出しアクセスすることになる等により、処理時間の低減効果が頭打ちとなる。 In addition, if the predetermined period is too short, there is little overlapped access to the same macroblock in the first place, so the effect of reducing the processing time tends to be small, whereas if the predetermined period is too long, it is once for almost all macroblocks. Due to read access, the effect of reducing the processing time reaches its peak.
図４は、映像特殊効果装置１０００を用いてメモリアドレスの並び替え、すなわち重複したマクロブロックの読み出し回数を低減した場合に要する一走査線内メモリ読み出し時間と、メモリアドレスの並び替えがない場合に要する一走査線内メモリ読み出し時間と、を比較して説明する図である。
FIG. 4 shows a case where memory address rearrangement is performed using the video
また、図４に示すように、映像変形Ｈ／Ｖサイズ、ＸＹＺ回転の組み合わせでシミュレーションを遂行したところ、図４（ｅ）における映像効果を行わせた場合に最もメモリ読み出し時間を要する結果となった。しかし、この場合においても、メモリアドレスの並び替えを行うことで、一走査線内で処理を完了できることが理解される。 Further, as shown in FIG. 4, when the simulation is performed with the combination of the video deformation H / V size and the XYZ rotation, the result that the memory reading time is required most when the video effect in FIG. 4E is performed. It was. However, even in this case, it is understood that the processing can be completed within one scanning line by rearranging the memory addresses.
また、図４において、メモリアドレスの並び替えをしなければ走査線一本分に相当する２２００ピクセル相当時間を超える処理時間が必要となって処理が破綻するような場合でも、映像特殊効果装置１０００を用いてメモリアドレスの並び替えを行うことで、一走査線内での処理とすることができることが理解できる。
Further, in FIG. 4, even if the memory address is not rearranged, the video
また、図５（ｂ）はデータ読み出しアドレスに基づいてＤＲＡＭから映像データを読みだす従来の読み出し方法を説明する図であり、図５（ｃ）は映像特殊効果装置１０００を用いてメモリアドレスの並び替え及び再整列を行う読み出し方法を説明する図である。
FIG. 5B is a diagram for explaining a conventional reading method for reading video data from the DRAM based on the data reading address, and FIG. 5C is a diagram illustrating the arrangement of memory addresses using the video
図５（ｂ）に示す従来のデータ読み出し方法では読み出し時間が走査線内での処理時間を超過して読み出し処理が破綻するような場合でも、図５（ｃ）に示すようにメモリアレイへのアクセス回数を低減する映像特殊効果装置１０００の処理によれば走査線内で迅速に処理できる。換言すれば、映像特殊効果装置１０００は、ＤＲＡＭの並列度が比較的小さい場合でも、迅速な映像効果処理を遂行することが可能である。このため、省電力かつ省スペースな装置とすることができる。
In the conventional data reading method shown in FIG. 5B, even when the reading time exceeds the processing time in the scanning line and the reading processing fails, as shown in FIG. According to the processing of the video
映像特殊効果装置１０００は、例えば従来ＳＲＡＭを９個使用して構築された映像メモリと同等速度の処理をさせる場合に、ＤＤＲ２ＳＤＲＡＭを１８個使用して実現することができる。また、映像特殊効果装置１０００は、例えば従来ＳＲＡＭを１９個使用して構築された映像メモリと同等速度の処理をさせる場合に、ＤＤＲ２ＳＤＲＡＭを３８個使用して実現することができる。すなわち、映像メモリコストを１／９程度に低減することが可能である。
The video
図６は、バースト効果を奏するように映像の特殊効果を与える処理において、所定の並び替え期間（Ｈ）として走査線の行数を１行〜１８行まで替えた場合に、映像メモリＲＥＡＤ時間がどのように低減されるかを説明する図である。 FIG. 6 shows the video memory READ time when the number of scanning lines is changed from 1 to 18 in a predetermined rearrangement period (H) in the process of giving the special effect of the video so as to produce the burst effect. It is a figure explaining how it is reduced.
図６から理解できるように、所定の期間が走査線９行相当時間までは顕著に処理時間が低減されるが、それ以上に所定の期間を増大させても処理時間の低減はサーチュレートする。映像特殊効果装置１０００は、所定の期間内における同一マクロブロック読み出し重複を一回で済ませる対応により処理時間を低減するものであるので、同一マクロブロック読み出し重複が無ければそれ以上の時間低減効果はない。
As can be understood from FIG. 6, the processing time is remarkably reduced until the predetermined period reaches the time corresponding to the 9th scanning line, but the reduction of the processing time is saturated even if the predetermined period is increased further. Since the video
また、図７は、映像特殊効果装置１０００のメモリアドレスの並び替えに関する処理概要を順次説明するフロー図である。
FIG. 7 is a flowchart for sequentially explaining the processing outline regarding the rearrangement of the memory addresses of the video
（ステップＳ７１０）
映像特殊効果装置１０００は、オペレータ等により指示された映像特殊効果を施す対象となる入力映像を取り込む。
(Step S710)
The video
（ステップＳ７２０）
映像特殊効果装置１０００のメモリ素子アドレスマッピング部１１４は、一走査線相当期間についてアドレスマッピングを遂行する。
(Step S720)
The memory element
（ステップＳ７３０）
映像メモリ（読出側）１１０（ｂ）が、メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスがあるか否かを判断する。メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスが一走査線相当期間内にある場合には、ステップＳ７４０へと進む。また、メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスが一走査線相当期間内にない場合には、ステップＳ７８０へと進む。
(Step S730)
The video memory (reading side) 110 (b) determines whether there are duplicate addresses that access the same macroblock in the
なお、この判断は、映像特殊効果装置１０００のＣＰＵ１２０が遂行してもよい。
This determination may be performed by the
（ステップＳ７４０）
映像特殊効果装置１０００の重複アドレス削除部１１５は、一走査線相当期間内において同一のマクロブロックへのアクセスを指示する重複したアドレスを一つのみ存置して他の重複アドレスを削除する。
(Step S740)
The duplicate
（ステップＳ７５０）
メモリコントローラ１１６は、存置した一つの読み出しアドレスによるアクセスで該当マクロブロックをバッファメモリ１１３に読み出した際に、削除されたアドレスで読みだす予定であったデータを、まとめて順次読みだす。バッファメモリ１１３に一時記憶されたマクロブロック内の各データを読み出す場合には、読み出しデータ個々にシリアルに順次読み出すものとする。
(Step S750)
The
（ステップＳ７６０）
ピクセル整列走査線メモリ１１７は、メモリコントローラ１１６がまとめて読みだした該当マクロブロック内の読み出し各データを、映像特殊効果を奏する当初の読み出しアドレス順、すなわちピクセル順となるように並び替えを行う。
(Step S760)
The pixel alignment
（ステップＳ７７０）
映像特殊効果装置１０００は、映像特殊効果を奏するように並べ替えられた読み出しデータを出力する。
(Step S770)
The video
（ステップＳ７８０）
メモリコントローラ１１６は、メモリ素子アドレスマッピング部１１４で生成された読み出し順に従って映像データを順次読み出す。
(Step S780)
The
デジタルビデオカメラの価格低減に伴い、映像切替装置（ビデオスイッチャ）などの業務用映像機器にも従来の機能や性能を維持しつつ、価格低減化の市場要求が強くなっている。映像切替装置は、入力された映像に対して縮小、拡大、回転、ページめくり等の形状変形を伴う特殊効果を付与する機能を有する。 With the price reduction of digital video cameras, there is a growing market demand for price reductions while maintaining conventional functions and performance in commercial video equipment such as video switching devices (video switchers). The video switching device has a function of giving a special effect accompanied by shape deformation such as reduction, enlargement, rotation, and page turning to an input video.
このような映像の形状変形効果は、映像メモリヘ入力映像を書込み後、変形形状に応じた読出しアドレス制御で実現している。例えば、映像の回転効果は、読み出しアドレスを斜め方向に変化させる事により実現できる。 Such an image shape deformation effect is realized by reading address control according to the deformed shape after the input image is written to the image memory. For example, the image rotation effect can be realized by changing the read address in an oblique direction.
読み出しアドレスは映像変形に伴い不連続に変化する場合があるので、映像メモリはランダムアクセス読み出しに対応できなければならない。しかし、映像変形処理に必須のランダムアクセス対応のメモリが高価であるため、さらなる価格低減化要求に応えることが困難である。 Since the read address may change discontinuously with video deformation, the video memory must be able to support random access read. However, since the random access compatible memory essential for the video transformation process is expensive, it is difficult to meet the demand for further price reduction.
本願発明は、ランダムアクセス性能は低いが、ＰＣ（パソコン）に多用され価格低下の著しいダイナミックメモリを、形状変形を伴う特殊効果処理において使用可能とし、映像切替装置（ビデオスイッチャ）などの価格低減化を図るものである。 Although the present invention has low random access performance, dynamic memory, which is frequently used in PCs (PCs) and has a significant price drop, can be used for special effect processing involving shape deformation, and the price of video switching devices (video switchers) can be reduced. Is intended.
映像メモリのランダムアドレス読出し手法として、スタティックメモリを使用する場合にはランダムアクセス動作が基本のため特別な工夫は不要である一方、多数のダイナミックメモリ又はダイナミックメモリの複数バンクに同一映像を書き込み、並列動作させる場合には、読み出しピクセル毎にメモリ又はバンクを切替え、見かけ上のランダムアクセス読出しを行う必要があった。 As a random address reading method for video memory, when static memory is used, random access operation is fundamental and no special contrivance is required. On the other hand, the same video is written to multiple dynamic memory or multiple banks of dynamic memory and parallel In the case of operation, it is necessary to switch the memory or the bank for each readout pixel and perform apparent random access readout.
また、ダイナミックメモリに比べてスタティックメモリはメモリ容量が少なく、価格が極めて高価で、消費電力は高い。このため、機器のさらなる低価格化を図る場合にはスタティックメモリ価格がネックとなる。 In addition, a static memory has a smaller memory capacity than a dynamic memory, is extremely expensive, and consumes high power. For this reason, the static memory price becomes a bottleneck when further reducing the price of the device.
一方、ダイナミックメモリは、並列動作が必須条件となる為、メモリ部品点数増や消費電力増となりがちであって、機器の小型化が困難となるとともに部品点数増に伴い低価格化が困難となる。 On the other hand, since dynamic operation is an indispensable condition for dynamic memory, it tends to increase the number of memory components and increase power consumption, making it difficult to reduce the size of the device and lowering the price as the number of components increases. .
ここで、ダイナミックメモリの内部メモリ動作は、メモリ素子（ＤＲＡＭ ＡＲＲＡＹ）とバッファメモリとの２段構造になっている。また、メモリ素子は、動作速度が遅い（５０〜７０ｎＳ）一方で、バッファメモリは、動作速度が速い（２〜７ｎＳ）。また、バッファメモリはメモリ容量が、例えば２５６ワード前後と比較的小容量のため、映像変形処理に必要な１３ｎＳ以下の映像のランダムアクセス読み出しを直接実現することは不可能で、並列動作などの処置が必要であった。 Here, the internal memory operation of the dynamic memory has a two-stage structure of a memory element (DRAM ARRAY) and a buffer memory. The memory device has a low operating speed (50 to 70 nS), while the buffer memory has a high operating speed (2 to 7 nS). In addition, since the buffer memory has a relatively small memory capacity of, for example, about 256 words, it is impossible to directly realize random access reading of video of 13 nS or less necessary for video transformation processing, and measures such as parallel operation Was necessary.
本発明の映像切替装置は、走査線内で映像変形用メモリアドレスの順序を並び替え、メモリ素子からのマクロブロック読み出し回数を最小化させ、高速処理が可能なバッファメモリのランダムアクセスを多用するような工夫を行うことで、ダイナミックメモリの並列度を低く抑えつつ、映像変形処理を実現できる。 The video switching device of the present invention rearranges the order of memory addresses for video transformation within a scanning line, minimizes the number of macroblocks read from the memory element, and makes frequent use of random access of a buffer memory capable of high-speed processing. By performing a contrivance, video deformation processing can be realized while keeping the parallelism of the dynamic memory low.
映像変形用メモリとして、極めて安価なダイナミックメモリを小さい並列度（すなわちより少ない個数）で使用することが可能であり、機器の低価格化、小型化、消費電力の低減が容易となり、低価格の映像切替装置（ビデオスイッチャ）としつつ、映像の縮小、拡大、回転、ページめくり等の形状変形を伴う特殊効果機能を迅速に付与することができる。 It is possible to use a very inexpensive dynamic memory with a small degree of parallelism (that is, a smaller number) as a video transformation memory, which makes it easier to reduce the cost, size and power consumption of equipment. While using the video switching device (video switcher), it is possible to quickly give a special effect function accompanied by shape deformation such as video reduction, enlargement, rotation, and page turning.
１０８０／５９.９４ｉに本手段を適用し、ＤＤＲ２ダイナミックメモリを使用した２.５Ｄ回転、ポジション移動、拡大縮小変形処理を行った場合のメモリ読み出し処理時間は、最大でも２０５０ピクセル相当時間となり、走査線１本あたり２２００ピクセル相当時間内で完結する。なお、メモリアドレスの順序を並び替え未実施の場合には、３０００ピクセル相当時間程度以上が必要となり、走査線内では処理が間に合わず、処理が破たんする（例えば図４を参照）。このような、メモリ処理時間は、ソフトウェアシミュレーションにより評価した。 When this means is applied to 1080 / 59.94i and 2.5D rotation, position movement, and enlargement / reduction processing using DDR2 dynamic memory are performed, the memory read processing time is equivalent to 2050 pixels at the maximum. It is completed within a time equivalent to 2200 pixels per line. If the order of the memory addresses is not rearranged, it takes about 3000 pixels or more, and the processing is not performed in time within the scanning line, and the processing is broken (see, for example, FIG. 4). Such memory processing time was evaluated by software simulation.
本願は、例えば走査線内でメモリ素子読み出し回数を最小化させるため、映像変形アドレスのピクセル順並び替え処理を追加して、メモリ素子読み出し回数を減らし、その後、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。 In the present application, for example, in order to minimize the number of memory element readouts within a scanning line, a pixel order rearrangement process of video deformation addresses is added to reduce the number of memory element readouts, and then the pixel order disturbed by the pixel order rearrangement. A pixel alignment process may be performed to restore.
また、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスとに変換するアドレスマッピング回路を備えることとし、これによる処理の後にメモリ読み出しアドレスのピクセル並び変えを行い、さらにメモリ素子アドレスの重複アドレスを削除する回路で処理した後、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。 In addition, an address mapping circuit for converting the video transformation address into a memory element address and a buffer memory address is provided. After the process, the memory read address pixel is rearranged, and the duplicate address of the memory element address is deleted. After the processing by the circuit, a pixel alignment process may be performed to restore the pixel arrangement disturbed by the pixel order rearrangement.
また、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスに変換する、アドレスマッピング回路において、メモリ素子の読み出し回数を走査線内で最小化できるようなアドレスマッピング（例えば、読み出しデータを多数包含する任意形状のマクロブロックを設定する等）を行ってもよい。そして、メモリ読み出しアドレスのピクセル並び変えを行い、メモリ素子アドレスの重複アドレスを削除して、メモリ素子読み出し回数を減らし、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。 In addition, in an address mapping circuit that converts a video transformation address into a memory element address and a buffer memory address, an address mapping that can minimize the number of times the memory element is read within a scanning line (for example, an arbitrary shape that includes a large number of read data) Etc.) may be performed. Then, the pixel alignment of the memory read address is performed, the duplicate address of the memory element address is deleted, the memory element read number is reduced, and the pixel alignment process is performed to restore the disordered pixel alignment by the pixel order rearrangement. Also good.
また、図６に示すようなバースト効果（映像がランダムに砕け散る効果）に対しては、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスとに変換し、アドレスマッピング手法をさらに工夫するように処理してもよい。 Also, for the burst effect shown in FIG. 6 (the effect that the video is randomly shattered), the video transformation address is converted into a memory element address and a buffer memory address, and the address mapping method is further devised. May be.
例えば、映像の縮小、拡大、回転、ページめくりなどの映像変形は、映像を１６×１６ピクセルの矩形領域に分割して、メモリ素子とバッファメモリとヘのマッピングで対応してもよく、他の映像変形効果には別のマッピング形状を用いた改良処理を遂行してもよい。 For example, video transformation such as video reduction, enlargement, rotation, page turning, etc. may be handled by dividing the video into 16 × 16 pixel rectangular areas and mapping to memory elements and buffer memories. An improvement process using another mapping shape may be performed for the image deformation effect.
実施形態で説明した映像特殊効果装置や映像切替装置は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し、処理を変更することができる。 The video special effect device and the video switching device described in the embodiment are not limited to the description in the embodiment, and the configuration can be changed and the processing can be changed within a self-evident range.
本発明は、３Ｄ映像編集やライブ映像切替え用途における放送業界やマルチメディア業界やアーカイブマーケット等において広く応用展開し利用でき、映像や画像の各種効果付与処理に展開できる。 The present invention can be widely applied and used in the broadcasting industry, multimedia industry, archive market, and the like for 3D video editing and live video switching applications, and can be developed for various effects imparting processing of video and images.
１００・・制御部、１１０（ａ）・・映像メモリ（書込側）、１１０（ｂ）・・映像メモリ（読出側）、１２０・・ＣＰＵ、１３０・・映像効果アドレス生成部、２００・・制御卓、１０００・・映像特殊効果装置。
100..Control unit, 110 (a) .. Video memory (writing side), 110 (b) .. Video memory (reading side), 120..CPU, 130..Video effect address generation unit, 200 .. Control console, 1000. ・ Image special effect device.
Claims (10)
前記ダイナミックメモリは、複数のマクロブロックを記憶するメモリ素子と、前記メモリ素子から読み出した一つのマクロブロックを一時記憶するバッファメモリとを備え、
前記バッファメモリが前記メモリ素子から読み出すマクロブロックが所定の期間内で重複しないように、
前記バッファメモリから前記所定の期間内に読み出すデータを、各マクロブロックごとに一括して読み出す
ことを特徴とする映像特殊効果装置。 After the input video is written to the dynamic memory, the input video is read from the dynamic memory according to the address generated in the read order for producing the desired video effect, and the image signals are sequentially output in the order reflecting the video effect. In video special effects equipment,
The dynamic memory includes a memory element that stores a plurality of macroblocks, and a buffer memory that temporarily stores one macroblock read from the memory element,
In order not to overlap the macro block that the buffer memory reads from the memory element within a predetermined period,
The video special effect device characterized in that the data read from the buffer memory within the predetermined period is read in a batch for each macroblock.
前記ダイナミックメモリはＤＲＡＭであり、
前記バッファメモリが前記メモリ素子から読み出す各マクロブロックの読み出し回数を前記所定の期間内に各々一回以下とするように、前記所定の期間内における同一マクロブロックへの読み出しを指示する重複アドレスを削除する
ことを特徴とする映像特殊効果装置。 The video special effect device according to claim 1,
The dynamic memory is DRAM;
Duplicate addresses instructing reading to the same macro block within the predetermined period are deleted so that the number of times of reading each macro block read from the memory element by the buffer memory is less than once within the predetermined period. This is a video special effects device.
前記所定の期間内に前記バッファメモリから各マクロブロックごとに一括読み出しした読み出しデータを、前記所望の映像効果を奏する順序に再整列して出力する
ことを特徴とする映像特殊効果装置。 In the video special effect device according to claim 1 or 2,
The video special effect device, wherein the read data collectively read from the buffer memory for each macroblock within the predetermined period is rearranged in the order in which the desired video effect is produced and output.
前記メモリ素子は、メモリアレイである
ことを特徴とする映像特殊効果装置。 The video special effect device according to any one of claims 1 to 3,
The video special effect device, wherein the memory element is a memory array.
前記所定の期間は、走査線１本相当以上に対応する時間である
ことを特徴とする映像特殊効果装置。 In the video special effect device according to any one of claims 1 to 4,
The video special effect device according to claim 1, wherein the predetermined period is a time corresponding to one or more scanning lines.
前記所定の期間は、走査線９本相当以上に対応する時間である
ことを特徴とする映像特殊効果装置。 The video special effect device according to claim 5,
The video special effect device according to claim 1, wherein the predetermined period is a time corresponding to nine or more scanning lines.
前記マクロブロックは、前記バッファメモリの容量に対応するピクセル数である
ことを特徴とする映像特殊効果装置。 The video special effect device according to any one of claims 1 to 6,
The video special effect device according to claim 1, wherein the number of pixels corresponding to the capacity of the buffer memory is the macroblock.
前記マクロブロックは１６×１６ピクセルであり、前記バッファメモリの容量は２５６ワードである
ことを特徴とする映像特殊効果装置。 The video special effect device according to claim 7,
The video special effect device according to claim 1, wherein the macroblock is 16 × 16 pixels, and the capacity of the buffer memory is 256 words.
前記所望の映像効果は、オペレータにより指示入力される
ことを特徴とする映像特殊効果装置。 The video special effect device according to any one of claims 1 to 8,
The video special effect device, wherein the desired video effect is input by an operator.
前記所定の期間内における、前記メモリ素子の同一マクロブロックに対する重複した読み出しアドレスを削除する工程と、
削除しなかった前記同一マクロブロックの読み出しアクセス時に、前記削除した読み出しアドレスで読み出すべきであったデータを一括して読み出す工程と、
前記一括して読み出された前記同一マクロブロック内のデータを、前記映像効果を反映する画像信号となるように配列調整して順次出力する工程と、を有する
ことを特徴とする映像特殊効果装置の映像信号処理方法。
In the video signal processing method in the video special effect device according to any one of claims 1 to 9,
Deleting duplicate read addresses for the same macroblock of the memory element within the predetermined period;
A step of collectively reading data that should have been read at the deleted read address at the time of read access of the same macroblock that has not been deleted;
And a step of sequentially adjusting the data in the same macroblock read in a batch so as to be an image signal reflecting the video effect, and sequentially outputting the image signal. Video signal processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011139475A JP2013009090A (en) | 2011-06-23 | 2011-06-23 | Video special effect apparatus and video signal processing method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011139475A JP2013009090A (en) | 2011-06-23 | 2011-06-23 | Video special effect apparatus and video signal processing method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013009090A true JP2013009090A (en) | 2013-01-10 |
Family
ID=47676096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011139475A Withdrawn JP2013009090A (en) | 2011-06-23 | 2011-06-23 | Video special effect apparatus and video signal processing method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013009090A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419456A (en) * | 2019-08-23 | 2021-02-26 | 腾讯科技（深圳）有限公司 | Special effect picture generation method and device |
| CN113132799A (en) * | 2021-03-30 | 2021-07-16 | 腾讯科技（深圳）有限公司 | Video playing processing method and device, electronic equipment and storage medium |
-
2011
- 2011-06-23 JP JP2011139475A patent/JP2013009090A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419456A (en) * | 2019-08-23 | 2021-02-26 | 腾讯科技（深圳）有限公司 | Special effect picture generation method and device |
| CN112419456B (en) * | 2019-08-23 | 2024-04-16 | 腾讯科技（深圳）有限公司 | Special effect picture generation method and device |
| CN113132799A (en) * | 2021-03-30 | 2021-07-16 | 腾讯科技（深圳）有限公司 | Video playing processing method and device, electronic equipment and storage medium |
| CN113132799B (en) * | 2021-03-30 | 2022-08-23 | 腾讯科技（深圳）有限公司 | Video playing processing method and device, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2446413B1 (en) | Apparatus and method for displaying a warped version of a source image | |
| JP5126360B2 (en) | Memory device and memory controller for controlling the same | |
| US5917770A (en) | Semiconductor memory device for temporarily storing digital image data | |
| US7737986B2 (en) | Methods and systems for tiling video or still image data | |
| JP5351145B2 (en) | Memory control device, memory system, semiconductor integrated circuit, and memory control method | |
| CN108492243B (en) | Image rotation device, system and method based on block processing | |
| CN1280734C (en) | Controller for sectional access control | |
| TW201942751A (en) | Control unit for data storage system and method for updating logical-to-physical mapping table | |
| CN110322904B (en) | Compressed image information reading control method and device | |
| CN106846255B (en) | Image rotation realization method and device | |
| CN106201363B (en) | Memory and storage method for random real-time access of video stream pixel-level data | |
| US8010746B2 (en) | Data processing apparatus and shared memory accessing method | |
| CN112967666B (en) | LED display screen control device and control method capable of realizing random pixel arrangement | |
| US10691608B2 (en) | Memory device accessed in consideration of data locality and electronic system including the same | |
| US8436865B2 (en) | Memory controller and memory system using the same | |
| JP6131357B1 (en) | Semiconductor memory device and address control method thereof | |
| US7397477B2 (en) | Memory system having multiple address allocation formats and method for use thereof | |
| JP2013009090A (en) | Video special effect apparatus and video signal processing method of the same | |
| KR20150069164A (en) | Image processor | |
| CN102947859B (en) | Image processing apparatus | |
| JP2020160828A (en) | Image data processing device for affine transformation of two-dimensional image | |
| JP3291070B2 (en) | Data transposition equipment | |
| JP2005222180A (en) | Image data arrangement method | |
| WO2008027875A2 (en) | Methods and systems for tiling video or still image data | |
| CN115880141A (en) | Data processing system based on FPGA (field programmable Gate array) affine inverse transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |