JP3119994B2 - 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置 - Google Patents
画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置Info
- Publication number
- JP3119994B2 JP3119994B2 JP9191794A JP9191794A JP3119994B2 JP 3119994 B2 JP3119994 B2 JP 3119994B2 JP 9191794 A JP9191794 A JP 9191794A JP 9191794 A JP9191794 A JP 9191794A JP 3119994 B2 JP3119994 B2 JP 3119994B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- bank
- odd
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【産業上の利用分野】本発明は、画像データの処理方
法、およびそれに用いる記憶装置ならびに画像データの
処理装置に関するものである。画像データの処理とは画
像データの符号化および復号を意味する。
法、およびそれに用いる記憶装置ならびに画像データの
処理装置に関するものである。画像データの処理とは画
像データの符号化および復号を意味する。
【0002】
【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報(画像デ
ータ)の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報(画像デ
ータ)の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。
【0003】時間的相関性を利用する方法として、連続
する2画面(フレーム)の差分を符号化したり、画像の
動きを検出して、動き補償を行ったりするものがある。
また、空間的相関性を利用する方法として、画像を所定
の大きさのブロック(例えば縦方向,横方向とも8画素
ずつ)に分けて、ブロック内のデータを直交変換し、変
換係数をスキャン変換し(例えば低周波成分から高周波
成分の順に並びかえる)、可変長符号化を行うものがあ
る。MPEG(Moving Picture Expert Group)が標準
化を進めている画像符号化方式(以下、MPEG2と略
す)は、上記2つの方法を併用するものとなっている。
MPEG2の暫定勧告は“Generic Coding of Moving P
ictures and Associated Audio”と題するISO/IE
C13818−2に記載されている。
する2画面(フレーム)の差分を符号化したり、画像の
動きを検出して、動き補償を行ったりするものがある。
また、空間的相関性を利用する方法として、画像を所定
の大きさのブロック(例えば縦方向,横方向とも8画素
ずつ)に分けて、ブロック内のデータを直交変換し、変
換係数をスキャン変換し(例えば低周波成分から高周波
成分の順に並びかえる)、可変長符号化を行うものがあ
る。MPEG(Moving Picture Expert Group)が標準
化を進めている画像符号化方式(以下、MPEG2と略
す)は、上記2つの方法を併用するものとなっている。
MPEG2の暫定勧告は“Generic Coding of Moving P
ictures and Associated Audio”と題するISO/IE
C13818−2に記載されている。
【0004】本発明は、MPEG2のあらゆる画像を符
号化並びに復号する処理に適用可能であるが、復号処理
を例に説明する。
号化並びに復号する処理に適用可能であるが、復号処理
を例に説明する。
【0005】図14は、このような方法により符号化さ
れたデータを復号する画像復号装置の構成例である。図
14において、バッファ制御部1,可変長復号器2,ス
キャン変換器3,逆量子化器4,逆DCT部5,動き補
償画像再生部6により復号処理が実行される。50はメ
モリであり、バッファメモリ51およびフレームメモリ
(後述する3つのI,P,Bフレームのメモリ)52,
53,54からなる。また、100は符号化された画像
を表現する入力ビットストリーム、200は再生画像を
示す。また、動き補償画像再生部6から出ている点線は
書き込みを示す。
れたデータを復号する画像復号装置の構成例である。図
14において、バッファ制御部1,可変長復号器2,ス
キャン変換器3,逆量子化器4,逆DCT部5,動き補
償画像再生部6により復号処理が実行される。50はメ
モリであり、バッファメモリ51およびフレームメモリ
(後述する3つのI,P,Bフレームのメモリ)52,
53,54からなる。また、100は符号化された画像
を表現する入力ビットストリーム、200は再生画像を
示す。また、動き補償画像再生部6から出ている点線は
書き込みを示す。
【0006】次に、動作について説明する。入力ビット
ストリーム100は、バッファメモリ制御部1の制御に
より、データ40としてバッファメモリ51に蓄積され
る。バッファメモリ51から読み出されたデータ41
は、可変長復号器2によって、可変長復号される。
ストリーム100は、バッファメモリ制御部1の制御に
より、データ40としてバッファメモリ51に蓄積され
る。バッファメモリ51から読み出されたデータ41
は、可変長復号器2によって、可変長復号される。
【0007】全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器2で復号される
ものとする。次に、スキャン変換器3によりデータの順
序を並び変えた後、逆量子化器4により逆量子化され
る。次に、逆DCT部5により逆離散コサイン変換され
る。動き補償画像再生部6では、画像の動きを考慮した
再生を行う。MPEG2では、時間的に前のフレーム
(ここではIフレーム)と時間的に後のフレーム(ここ
ではPフレーム)の両方から時間的に中間のフレーム
(ここではBフレーム)の予測を行う。そのため、Bフ
レームの再生には、予め復号されているIフレームとP
フレームの予測フレームデータ42,43をフレームメ
モリ52,53から読み出す必要がある(MPEG2で
は、時間的に後のPフレームはBフレームに先立って復
号される)。予測フレームデータ42,43と逆DCT
部5の出力である予測誤差によりBフレームを動き補償
画像再生部6で再生し、再生画素データ44としてフレ
ームメモリ54に書き込まれる。フレームメモリ52,
53,54中にあるI,P,Bのフレームは所定の順に
各メモリから読出され(図14ではBフレームのデータ
45を読み出している)、再生画像200が出力され
る。
ないが、固定長符号もこの可変長復号器2で復号される
ものとする。次に、スキャン変換器3によりデータの順
序を並び変えた後、逆量子化器4により逆量子化され
る。次に、逆DCT部5により逆離散コサイン変換され
る。動き補償画像再生部6では、画像の動きを考慮した
再生を行う。MPEG2では、時間的に前のフレーム
(ここではIフレーム)と時間的に後のフレーム(ここ
ではPフレーム)の両方から時間的に中間のフレーム
(ここではBフレーム)の予測を行う。そのため、Bフ
レームの再生には、予め復号されているIフレームとP
フレームの予測フレームデータ42,43をフレームメ
モリ52,53から読み出す必要がある(MPEG2で
は、時間的に後のPフレームはBフレームに先立って復
号される)。予測フレームデータ42,43と逆DCT
部5の出力である予測誤差によりBフレームを動き補償
画像再生部6で再生し、再生画素データ44としてフレ
ームメモリ54に書き込まれる。フレームメモリ52,
53,54中にあるI,P,Bのフレームは所定の順に
各メモリから読出され(図14ではBフレームのデータ
45を読み出している)、再生画像200が出力され
る。
【0008】本発明は、MPEG2のあらゆる画像を処
理する装置に適用可能であるが、例として、NTSC画
像を再生する場合を考えてみる。NTSC画像の1フレ
ームは図15のように横720画素,縦480ラインか
らなる。これを横,縦とも16画素ずつに分割する。1
分割の単位をマクロブロックと呼ぶ(以下、MBと略
す)。NTSC画像は、横45MB,縦30MB、全部
で1350MBに分割される。
理する装置に適用可能であるが、例として、NTSC画
像を再生する場合を考えてみる。NTSC画像の1フレ
ームは図15のように横720画素,縦480ラインか
らなる。これを横,縦とも16画素ずつに分割する。1
分割の単位をマクロブロックと呼ぶ(以下、MBと略
す)。NTSC画像は、横45MB,縦30MB、全部
で1350MBに分割される。
【0009】図16に、MBの詳細を示す。輝度信号
(以下、Yと略す。)は図16(a)に示すように16
×16画素であり、さらに4つの8×8画素Y0 ,Y
1 ,Y2,Y3 に分割される。図16(b)に示すよう
に色信号は青系と赤系の2種類ある(以下、Cb ,Cr
と略す)。Cb ,Cr とも8×8画素である。なお、
Y,Cb ,Cr はすべて8ビットで表現される。なお、
奇数,偶数は本発明の説明に用いるためのもので、後に
述べる。
(以下、Yと略す。)は図16(a)に示すように16
×16画素であり、さらに4つの8×8画素Y0 ,Y
1 ,Y2,Y3 に分割される。図16(b)に示すよう
に色信号は青系と赤系の2種類ある(以下、Cb ,Cr
と略す)。Cb ,Cr とも8×8画素である。なお、
Y,Cb ,Cr はすべて8ビットで表現される。なお、
奇数,偶数は本発明の説明に用いるためのもので、後に
述べる。
【0010】さて、図15,図16から求められるよう
に1フレームのデータ量は4147200ビットであ
る。図14のようにI,P,Bの3フレームでは124
41600ビットとなる。バッファ51の最大量は18
35008ビットと定められている。以上によりメモリ
50の容量は14276608ビット以上となる。16
メガビットのメモリ素子の容量は16777216ビッ
トであるので16メガビットメモリ素子1個で足りる。
PAL画像の場合も16メガビットメモリ素子1個で足
りることが計算できる。
に1フレームのデータ量は4147200ビットであ
る。図14のようにI,P,Bの3フレームでは124
41600ビットとなる。バッファ51の最大量は18
35008ビットと定められている。以上によりメモリ
50の容量は14276608ビット以上となる。16
メガビットのメモリ素子の容量は16777216ビッ
トであるので16メガビットメモリ素子1個で足りる。
PAL画像の場合も16メガビットメモリ素子1個で足
りることが計算できる。
【0011】さて、前述した画像の復号はすべてMB単
位で行われる。すなわち、Bフレーム内の1MBの再生
にはI,Pフレームから1MBずつの予測フレームデー
タ42,43を読み出し、再生後Bフレーム内の1MB
の再生画素データ44を書き込むことになる。正確に
は、I,Pフレームからの予測には、ハーフペル(半画
素)単位で可能となっており、I,PフレームからはY
として17×17画素ずつ、Cb /Cr は9×9画素ず
つ読み出さなければならない。さらにフィールド予測を
用いる場合には、Yとして17×9画素を2回ずつ
(I,P2フレーム全部で4回)Cb /Cr として9×
5画素を2回ずつ(I,Pフレーム全部で4回)読出さ
なければならない。
位で行われる。すなわち、Bフレーム内の1MBの再生
にはI,Pフレームから1MBずつの予測フレームデー
タ42,43を読み出し、再生後Bフレーム内の1MB
の再生画素データ44を書き込むことになる。正確に
は、I,Pフレームからの予測には、ハーフペル(半画
素)単位で可能となっており、I,PフレームからはY
として17×17画素ずつ、Cb /Cr は9×9画素ず
つ読み出さなければならない。さらにフィールド予測を
用いる場合には、Yとして17×9画素を2回ずつ
(I,P2フレーム全部で4回)Cb /Cr として9×
5画素を2回ずつ(I,Pフレーム全部で4回)読出さ
なければならない。
【0012】
【発明が解決しようとする課題】以上、図14を用いて
説明したように画像データの処理にはメモリ50の読み
/書きの頻度が非常に多く必要とされる。
説明したように画像データの処理にはメモリ50の読み
/書きの頻度が非常に多く必要とされる。
【0013】従来の装置では、メモリ50とのデータ転
送レートを高くするために、容量の小さなメモリを複数
個用いてデータ幅を広げる手法を用いていた。例えば、
256Kワード×16ビット構成の4メガビットメモリ
を4個用いて、全体で64ビットのデータ幅としてい
た。このため、基板上での実装面積を小さくできないと
いう大きな欠点があった。また、容量的に16メガビッ
トメモリ1個で済むのに、4メガビットメモリ4個用い
るということは将来的に見て経済的であるとはいえな
い。
送レートを高くするために、容量の小さなメモリを複数
個用いてデータ幅を広げる手法を用いていた。例えば、
256Kワード×16ビット構成の4メガビットメモリ
を4個用いて、全体で64ビットのデータ幅としてい
た。このため、基板上での実装面積を小さくできないと
いう大きな欠点があった。また、容量的に16メガビッ
トメモリ1個で済むのに、4メガビットメモリ4個用い
るということは将来的に見て経済的であるとはいえな
い。
【0014】また、上述の従来装置のようなメモリの使
用方法では、データ転送レートを高くできないので、い
わゆるHDTVのような高解像度の画像の処理は困難で
あった。
用方法では、データ転送レートを高くできないので、い
わゆるHDTVのような高解像度の画像の処理は困難で
あった。
【0015】本発明は、以上のような従来装置の欠点を
解消した画像データの処理方法およびそれに用いる記憶
装置ならびに画像データの処理装置を提供をすることを
目的とする。
解消した画像データの処理方法およびそれに用いる記憶
装置ならびに画像データの処理装置を提供をすることを
目的とする。
【0016】
【課題を解決するための手段】本発明にかかる画像デー
タの処理方法では、バッファおよびフレーム用のメモリ
として、シンクロナスダイナミックメモリ(以下、SD
RAMと略す)を用いる。通常のメモリは、アドレスを
入力してはデータを出力する動作を繰り返すのに対し、
SDRAMでは複数のアドレスを入力した後、連続して
データを次々に出力するので、高速動作となる。SDR
AMでは内部が複数のバンクに分割されており(以下、
2バンク構成を想定し、それぞれバンクA,バンクBと
呼ぶ)、同一の行アドレスで連続する列アドレスデータ
は高速にアクセスが可能である。また、行アドレスが異
なるデータをアクセスする場合は、同一バンクのものを
アクセスするより別バンクのものをアクセスする方が高
速であるという特徴がある。そこで、SDRAMのアク
セス効率を高めるために、MB内のデータを2分割し、
SDRAM内の2つのバンクA,Bに振り分け、それぞ
れのデータをA,Bバンク内の同一の行に割り付け、読
み出しはSDRAMの別々のバンクに割り当てられ記憶
されたデータを、各バンクを交互にアクセスしながら読
み出して処理する。
タの処理方法では、バッファおよびフレーム用のメモリ
として、シンクロナスダイナミックメモリ(以下、SD
RAMと略す)を用いる。通常のメモリは、アドレスを
入力してはデータを出力する動作を繰り返すのに対し、
SDRAMでは複数のアドレスを入力した後、連続して
データを次々に出力するので、高速動作となる。SDR
AMでは内部が複数のバンクに分割されており(以下、
2バンク構成を想定し、それぞれバンクA,バンクBと
呼ぶ)、同一の行アドレスで連続する列アドレスデータ
は高速にアクセスが可能である。また、行アドレスが異
なるデータをアクセスする場合は、同一バンクのものを
アクセスするより別バンクのものをアクセスする方が高
速であるという特徴がある。そこで、SDRAMのアク
セス効率を高めるために、MB内のデータを2分割し、
SDRAM内の2つのバンクA,Bに振り分け、それぞ
れのデータをA,Bバンク内の同一の行に割り付け、読
み出しはSDRAMの別々のバンクに割り当てられ記憶
されたデータを、各バンクを交互にアクセスしながら読
み出して処理する。
【0017】そして、上記MB内のデータの分割方法と
して、MB内のデータを奇数列と偶数列に分けて、2つ
のバンクに割り付けるものである。
して、MB内のデータを奇数列と偶数列に分けて、2つ
のバンクに割り付けるものである。
【0018】また、上記MB内のデータの分割方法とし
て、Yに対しては、奇数列と偶数列に分け、Cb ,Cr
については、Cb とCr に分けて2つのバンクに割り付
けることができるものである。
て、Yに対しては、奇数列と偶数列に分け、Cb ,Cr
については、Cb とCr に分けて2つのバンクに割り付
けることができるものである。
【0019】また、複数の予測フレームデータから画像
フレームを予測して画像データを符号化する方法および
符号化された画像データを復号する画像データの復号方
法に用いる記憶装置であって、2つのバンクに分けられ
たシンクロナスダイナミックメモリと、1つのマクロブ
ロック内のデータを奇数列と偶数列で2分割し、前記シ
ンクロナスダイナミックメモリの別のバンクの各々同一
の行アドレス内に記憶させる制御手段とを備えたもので
ある。
フレームを予測して画像データを符号化する方法および
符号化された画像データを復号する画像データの復号方
法に用いる記憶装置であって、2つのバンクに分けられ
たシンクロナスダイナミックメモリと、1つのマクロブ
ロック内のデータを奇数列と偶数列で2分割し、前記シ
ンクロナスダイナミックメモリの別のバンクの各々同一
の行アドレス内に記憶させる制御手段とを備えたもので
ある。
【0020】さらに、制御手段は、シンクロナスダイナ
ミックメモリの別々のバンクに割当てられ記憶されたデ
ータを、各バンクを交互にアクセスしながら読み出すも
のである。
ミックメモリの別々のバンクに割当てられ記憶されたデ
ータを、各バンクを交互にアクセスしながら読み出すも
のである。
【0021】また、複数の予測フレームデータから画像
フレームを予測して画像データを符号化する装置および
符号化された画像データを復号する画像データの処理装
置であって、符号化すべき画像フレームデータまたは、
予測画像フレームデータまたは再生画像フレームデータ
を記憶するための記憶エリアが2つのバンクに分けられ
た少なくとも1個のシンクロナスダイナミックメモリ
と、1つのマクロブロック内のデータを奇数列と偶数列
で2分割し、前記シンクロナスダイナミックメモリのそ
れぞれの別の各々同一の行アドレス内に記憶させ、一
方、分割されて前記シンクロナスダイナミックメモリの
別々のバンクに割り当てられ記憶されたデータを、各バ
ンクを交互にアクセスしながらマクロブロック単位で読
み出す制御手段とを備えたものである。
フレームを予測して画像データを符号化する装置および
符号化された画像データを復号する画像データの処理装
置であって、符号化すべき画像フレームデータまたは、
予測画像フレームデータまたは再生画像フレームデータ
を記憶するための記憶エリアが2つのバンクに分けられ
た少なくとも1個のシンクロナスダイナミックメモリ
と、1つのマクロブロック内のデータを奇数列と偶数列
で2分割し、前記シンクロナスダイナミックメモリのそ
れぞれの別の各々同一の行アドレス内に記憶させ、一
方、分割されて前記シンクロナスダイナミックメモリの
別々のバンクに割り当てられ記憶されたデータを、各バ
ンクを交互にアクセスしながらマクロブロック単位で読
み出す制御手段とを備えたものである。
【0022】
【作用】本発明の画像データの処理方法によれば、符号
化すべき画像データをSDRAMから読み出す時、画像
生成のための予測データをSDRAMから読み出す時、
再生されたデータをSDRAMに書き込む時、表示のた
めのデータをSDRAMから読み出す時等、いずれの時
もSDRAMのA,Bバンクを交互にアクセス可能とな
る。SDRAMはA,B2つのバンクを有するがアドレ
スなどの制御端子およびデータ端子は兼用となってお
り、バンクを交互にアクセスすることにより、効率の良
いアクセスが可能となる。また、符号化すべき画像デー
タ、画像再生のための予測データ,再生されたデータは
MB単位のアクセスとなるため、MB内のデータを同一
の行に割り付けることにより、行アドレスの変更なく連
続的なアクセスが可能となる。
化すべき画像データをSDRAMから読み出す時、画像
生成のための予測データをSDRAMから読み出す時、
再生されたデータをSDRAMに書き込む時、表示のた
めのデータをSDRAMから読み出す時等、いずれの時
もSDRAMのA,Bバンクを交互にアクセス可能とな
る。SDRAMはA,B2つのバンクを有するがアドレ
スなどの制御端子およびデータ端子は兼用となってお
り、バンクを交互にアクセスすることにより、効率の良
いアクセスが可能となる。また、符号化すべき画像デー
タ、画像再生のための予測データ,再生されたデータは
MB単位のアクセスとなるため、MB内のデータを同一
の行に割り付けることにより、行アドレスの変更なく連
続的なアクセスが可能となる。
【0023】また、マクロブロック内またはブロック内
の画素データは、奇数列と偶数列で2分割されてSDR
AMの別々のバンクに記憶される。
の画素データは、奇数列と偶数列で2分割されてSDR
AMの別々のバンクに記憶される。
【0024】さらに、マクロブロック内のデータは青系
と赤系に分割されてSDRAMの別々のバンクに記憶さ
れる。
と赤系に分割されてSDRAMの別々のバンクに記憶さ
れる。
【0025】さらに、本発明の記憶装置は制御手段によ
って、1つのマクロブロック内のデータが複数に分割さ
れSDRAMのそれぞれ別のバンクに記憶される。
って、1つのマクロブロック内のデータが複数に分割さ
れSDRAMのそれぞれ別のバンクに記憶される。
【0026】そして、読み出しのときは制御手段は、S
DRAMの各バンクを交互にアクセスしてマクロブロッ
ク単位で読み出しを行う。
DRAMの各バンクを交互にアクセスしてマクロブロッ
ク単位で読み出しを行う。
【0027】さらに、本発明の画像データの処理装置で
は、符号化すべき画像データをSDRAMから読み出す
時、画像生成のための予測データをSDRAMから読み
出す時、再生されたデータをSDRAMに書き込む時、
表示のためのデータをSDRAMから読み出す時、いず
れの時もSDRAMのA,Bバンクを交互にアクセス可
能となる。SDRAMはA,B2つのバンクを有するが
アドレスなどの制御端子およびデータ端子は兼用となっ
ており、バンクを交互にアクセスすることにより、効率
の良いアクセスが可能となる。また、符号化すべき画像
データ、画像再生のための予測データ,再生されたデー
タはMB単位のアクセスとなるため、MB内のデータを
同一の行に割り付けることにより、行アドレスの変更な
く連続的なアクセスが可能となる。
は、符号化すべき画像データをSDRAMから読み出す
時、画像生成のための予測データをSDRAMから読み
出す時、再生されたデータをSDRAMに書き込む時、
表示のためのデータをSDRAMから読み出す時、いず
れの時もSDRAMのA,Bバンクを交互にアクセス可
能となる。SDRAMはA,B2つのバンクを有するが
アドレスなどの制御端子およびデータ端子は兼用となっ
ており、バンクを交互にアクセスすることにより、効率
の良いアクセスが可能となる。また、符号化すべき画像
データ、画像再生のための予測データ,再生されたデー
タはMB単位のアクセスとなるため、MB内のデータを
同一の行に割り付けることにより、行アドレスの変更な
く連続的なアクセスが可能となる。
【0028】
【実施例】〔実施例1〕 以下、本発明の画像データの復号装置の一実施例を図1
により説明する。
により説明する。
【0029】図1において、150はメモリで、SDR
AMが用いられ、後述するように、バッファメモリ15
1,Iフレーム用のフレームメモリ152,Pフレーム
用のフレームメモリ153,Bフレーム用のフレームメ
モリ154の各エリアが形成される。
AMが用いられ、後述するように、バッファメモリ15
1,Iフレーム用のフレームメモリ152,Pフレーム
用のフレームメモリ153,Bフレーム用のフレームメ
モリ154の各エリアが形成される。
【0030】10はバッファ制御部で、基本的には図1
4のバッファ制御部1と同じであるが、後述するように
本発明特有の制御も行う。60は動き補償画像再生部
で、基本的には図14の動き補償画像再生部6と同じで
あるが、後述するように本発明の制御も行う。そして、
バッファ制御部10と動き補償画像再生部60はいずれ
も制御手段であり、メモリ150とともに記憶装置を構
成している。なお、図14と同一符号は同一部分を示
す。
4のバッファ制御部1と同じであるが、後述するように
本発明特有の制御も行う。60は動き補償画像再生部
で、基本的には図14の動き補償画像再生部6と同じで
あるが、後述するように本発明の制御も行う。そして、
バッファ制御部10と動き補償画像再生部60はいずれ
も制御手段であり、メモリ150とともに記憶装置を構
成している。なお、図14と同一符号は同一部分を示
す。
【0031】本発明はメモリ150の構成と、その制御
に特徴があるので、以下メモリ150について説明す
る。
に特徴があるので、以下メモリ150について説明す
る。
【0032】図2は、本実施例におけるメモリ(図14
のフレームメモリ50)150のアドレス割り付けを示
す図である。2048行,256列のA,B2バンクを
有する16メガビットSDRAMを想定している。A,
Bバンクとも1〜507行がIフレーム,508行〜1
014行がPフレーム、1015行〜1521行がBフ
レームのエリアとしている。残りの1522行〜204
8行がバッファエリアである。
のフレームメモリ50)150のアドレス割り付けを示
す図である。2048行,256列のA,B2バンクを
有する16メガビットSDRAMを想定している。A,
Bバンクとも1〜507行がIフレーム,508行〜1
014行がPフレーム、1015行〜1521行がBフ
レームのエリアとしている。残りの1522行〜204
8行がバッファエリアである。
【0033】I,P,Bフレームはそれぞれ338行の
Yエリアと169行のCb /Cr エリアに分けられる。
Yエリアと169行のCb /Cr エリアに分けられる。
【0034】本実施例では、図16のようなMBにおい
て、Yの奇数列画素128個をバンクAに、Yの偶数列
画素128個をバンクBにあてる。
て、Yの奇数列画素128個をバンクAに、Yの偶数列
画素128個をバンクBにあてる。
【0035】そして、これらのデータを図3に示すよう
に全て同じ行にあてる。メモリ150の1アドレスには
16ビットのデータが記憶されるので1つのMBはA,
Bバンクそれぞれ64列となる。
に全て同じ行にあてる。メモリ150の1アドレスには
16ビットのデータが記憶されるので1つのMBはA,
Bバンクそれぞれ64列となる。
【0036】同様に、Cb /Cr についても図16のよ
うに奇数列画素をAバンク、偶数列画素をBバンクにあ
てる。図4にこの様子を示す。
うに奇数列画素をAバンク、偶数列画素をBバンクにあ
てる。図4にこの様子を示す。
【0037】図15の1350個のMBは図2のように
振り分けられる。
振り分けられる。
【0038】画像データのアクセス方法は次のようであ
る。
る。
【0039】まず、図1における予測フレームデータ4
2,43の読み出しについて述べる。動きベクトルによ
って予測されたデータは図5のように4つのMBに亘っ
ている。同図ではフィールド予測を想定しており、横は
連続17画素、縦は1画素おきに9画素の範囲のデータ
となっている。これらのデータはメモリ内では同図に示
したようにA,Bとも4つのMBエリアに記憶されてい
る。
2,43の読み出しについて述べる。動きベクトルによ
って予測されたデータは図5のように4つのMBに亘っ
ている。同図ではフィールド予測を想定しており、横は
連続17画素、縦は1画素おきに9画素の範囲のデータ
となっている。これらのデータはメモリ内では同図に示
したようにA,Bとも4つのMBエリアに記憶されてい
る。
【0040】AバンクのMB1内のデータは同じ行だか
ら連続して読み出せる。他のMB内のデータも同様であ
る。図5ではまずを連続して読み出し、間断なく,
,,,,,……と読み出す。
ら連続して読み出せる。他のMB内のデータも同様であ
る。図5ではまずを連続して読み出し、間断なく,
,,,,,……と読み出す。
【0041】図6は、別の読み出しを示したものであ
る。,,,……のように読み出す。
る。,,,……のように読み出す。
【0042】図7は、さらに別の読み出しを示したもの
である。図2のように同じ行内にあるデータは別のMB
エリアにあっても連続して読み出し可能である。同図で
は、,,,……のようになる。
である。図2のように同じ行内にあるデータは別のMB
エリアにあっても連続して読み出し可能である。同図で
は、,,,……のようになる。
【0043】図5〜7ではMB内のデータを横方向に読
み出す例を示したが、縦方向に読み出すことも可能であ
る。
み出す例を示したが、縦方向に読み出すことも可能であ
る。
【0044】次に、再生画素データ44の書込みと表示
データ45の読み出しを図8により説明する。再生画素
データ44は1つのMB内にある全データであるから、
奇数,偶数列をA,Bバンクに分けながら連続して書き
込むことができる。MBの最初の行のデータを,の
ように8画素ずつ書き、同様に2行目以降も書込める。
表示データ45の読み出しもMBの最初の行のデータを
,のように8画素ずつ読み、次に右隣のMBの最初
の行のデータも同様に読み出せる。
データ45の読み出しを図8により説明する。再生画素
データ44は1つのMB内にある全データであるから、
奇数,偶数列をA,Bバンクに分けながら連続して書き
込むことができる。MBの最初の行のデータを,の
ように8画素ずつ書き、同様に2行目以降も書込める。
表示データ45の読み出しもMBの最初の行のデータを
,のように8画素ずつ読み、次に右隣のMBの最初
の行のデータも同様に読み出せる。
【0045】以上、述べたようにA,Bバンク交互にア
クセスしながら全ての画像データの読み書きができ、1
6ビット幅でも十分な転送レートが得られる。 〔実施例2〕 以下、本発明の第2の実施例を図9により説明する。
クセスしながら全ての画像データの読み書きができ、1
6ビット幅でも十分な転送レートが得られる。 〔実施例2〕 以下、本発明の第2の実施例を図9により説明する。
【0046】本実施例では、Yデータについては第1の
実施例と同じであるが、Cb /Crデータの振り分け方
法が異なる。Cb の全データをAバンク、Cr の全デー
タをBバンクにあてる。アクセスは第1の実施例と同様
で、2つのバンクを交互に行い、転送レートの高速化を
可能とする。 〔関連技術1〕 以下、本発明と技術分野を同じくする関連技術1を図1
0により説明する。
実施例と同じであるが、Cb /Crデータの振り分け方
法が異なる。Cb の全データをAバンク、Cr の全デー
タをBバンクにあてる。アクセスは第1の実施例と同様
で、2つのバンクを交互に行い、転送レートの高速化を
可能とする。 〔関連技術1〕 以下、本発明と技術分野を同じくする関連技術1を図1
0により説明する。
【0047】これではMB内の8ビットの画素データを
上位4ビットと下位4ビットに分けて、A,Bバンクに
あてる。これでも転送レートの高速化が可能である。
上位4ビットと下位4ビットに分けて、A,Bバンクに
あてる。これでも転送レートの高速化が可能である。
【0048】図10では、Yデータについて示している
が、Cb /Cr データについても同様である。 〔関連技術2〕 以下、本発明と技術分野を同じくする関連技術2を図1
1,図12により説明する。
が、Cb /Cr データについても同様である。 〔関連技術2〕 以下、本発明と技術分野を同じくする関連技術2を図1
1,図12により説明する。
【0049】本例ではバッファエリアのデータのアクセ
スを高速化する。入力ビットストリーム100を所定の
ビット量ごとに区分けし、交互にA,Bバンクにあて
る。図11では16ビットずつ、図12では、32ビッ
トずつ区分けした例を示している。書き込む時も読出す
時もこの区分けによってA,Bバンクを交互にアクセス
して高速化を可能とした。
スを高速化する。入力ビットストリーム100を所定の
ビット量ごとに区分けし、交互にA,Bバンクにあて
る。図11では16ビットずつ、図12では、32ビッ
トずつ区分けした例を示している。書き込む時も読出す
時もこの区分けによってA,Bバンクを交互にアクセス
して高速化を可能とした。
【0050】なお、上述した例は図13に示したような
画像データ復号装置Bにおける画像処理の場合に適用し
たものであるが、画像データ符号化装置A内の符号化処
理の場合にも全く同様に適用可能である。復号処理にお
ける再生画像フレームデータは符号化処理では、符号化
すべき画像フレームデータに相当する。本発明における
画像データの処理方法は、画像データ符号化装置A,画
像データ復号装置Bのいずれでもよい。
画像データ復号装置Bにおける画像処理の場合に適用し
たものであるが、画像データ符号化装置A内の符号化処
理の場合にも全く同様に適用可能である。復号処理にお
ける再生画像フレームデータは符号化処理では、符号化
すべき画像フレームデータに相当する。本発明における
画像データの処理方法は、画像データ符号化装置A,画
像データ復号装置Bのいずれでもよい。
【0051】さらに、SDRAMは1個に限定されるも
のでなく、HDTVのように複数枚を、いわゆる重ねて
用いることが必要な場合にも適用できることはいうまで
もない。
のでなく、HDTVのように複数枚を、いわゆる重ねて
用いることが必要な場合にも適用できることはいうまで
もない。
【0052】
【発明の効果】以上詳細に説明したように、本発明にか
かる画像データの処理方法は、バッファ蓄積用とフレー
ム蓄積用にSDRAMを用い、さらに、1MB内のデー
タを奇数列と偶数列で2分割してSDRAMの別のバン
クに振り分け、さらに別のバンクを交互にアクセスしな
がら画像符号化,再生,表示ができるので、メモリとの
間で高速にデータが転送できる。
かる画像データの処理方法は、バッファ蓄積用とフレー
ム蓄積用にSDRAMを用い、さらに、1MB内のデー
タを奇数列と偶数列で2分割してSDRAMの別のバン
クに振り分け、さらに別のバンクを交互にアクセスしな
がら画像符号化,再生,表示ができるので、メモリとの
間で高速にデータが転送できる。
【0053】また、SDRAMへのデータの振り分け
は、画素データを奇数列と偶数列で2分割したり、色デ
ータを青系と赤系に2分割したりすることもできるの
で、SDRAMに容易に分割して記憶させることが可能
である。
は、画素データを奇数列と偶数列で2分割したり、色デ
ータを青系と赤系に2分割したりすることもできるの
で、SDRAMに容易に分割して記憶させることが可能
である。
【0054】さらに、本発明にかかる記憶装置は、SD
RAMとこれへの書き込みを制御する制御手段とで構成
され、1つのマクロブロック内のデータを奇数列と偶数
列で2分割してSDRAMの別のバンクの各々同一の行
アドレスに記憶させるので、上記本発明の画像データの
処理方法に好適に使用することができる。
RAMとこれへの書き込みを制御する制御手段とで構成
され、1つのマクロブロック内のデータを奇数列と偶数
列で2分割してSDRAMの別のバンクの各々同一の行
アドレスに記憶させるので、上記本発明の画像データの
処理方法に好適に使用することができる。
【0055】また、読み出しも制御手段によって各バン
クを交互にアクセスしながら行うので、高速の読み出し
が可能である。
クを交互にアクセスしながら行うので、高速の読み出し
が可能である。
【0056】さらに、本発明にかかる画像データの処理
装置は、符号化すべき画像フレームデータ、予測画像フ
レームデータまたは再生画像フレームデータを記憶する
ための記憶エリアが2つのバンクに分けられた少なくと
も1個のシンクロナスダイナミックメモリと、1つのマ
クロブロック内のデータを奇数列と偶数列で2分割し、
前記シンクロナスダイナミックメモリの別の各々同一の
行アドレス内に記憶させ、一方、分割されて前記シンク
ロナスダイナミックメモリの別々のバンクに割り当てら
れ記憶されたデータを、各バンクを交互にアクセスしな
がら読み出す制御手段とを備えたので、1MB内のデー
タを2つに分割してSDRAMの別のバンクに振り分
け、さらに別のバンクを交互にアクセスしながら画像符
号化,再生,表示ができるので、メモリとの間で高速に
データが転送できる効果がある。
装置は、符号化すべき画像フレームデータ、予測画像フ
レームデータまたは再生画像フレームデータを記憶する
ための記憶エリアが2つのバンクに分けられた少なくと
も1個のシンクロナスダイナミックメモリと、1つのマ
クロブロック内のデータを奇数列と偶数列で2分割し、
前記シンクロナスダイナミックメモリの別の各々同一の
行アドレス内に記憶させ、一方、分割されて前記シンク
ロナスダイナミックメモリの別々のバンクに割り当てら
れ記憶されたデータを、各バンクを交互にアクセスしな
がら読み出す制御手段とを備えたので、1MB内のデー
タを2つに分割してSDRAMの別のバンクに振り分
け、さらに別のバンクを交互にアクセスしながら画像符
号化,再生,表示ができるので、メモリとの間で高速に
データが転送できる効果がある。
【図1】本発明の画像データの復号装置の構成を示すブ
ロック図である。
ロック図である。
【図2】本発明の画像データの処理方法の第1の実施例
を示すメモリ内のデータ割り付け図である。
を示すメモリ内のデータ割り付け図である。
【図3】第1の実施例における1つのMB内のYデータ
の割り付け図である。
の割り付け図である。
【図4】第1の実施例における1つのMB内のCb /C
r データの割り付け図である。
r データの割り付け図である。
【図5】第1の実施例における予測画像データの第1の
読み出し方法を示す図である。
読み出し方法を示す図である。
【図6】第1の実施例における予測画像データの第2の
読み出し方法を示す図である。
読み出し方法を示す図である。
【図7】第1の実施例における予測画像データの第3の
読み出し方法を示す図である。
読み出し方法を示す図である。
【図8】第1の実施例における再生画像データの書き込
みおよび表示データの読み出し方法を示す図である。
みおよび表示データの読み出し方法を示す図である。
【図9】第2の実施例における1つのMB内のCb /C
r データの割り付け図である。
r データの割り付け図である。
【図10】本発明と技術分野を同じくする関連技術1に
おけるYデータの割り付け図である。
おけるYデータの割り付け図である。
【図11】本発明と技術分野を同じくする関連技術2に
おけるビットストリームの第1の割り付け図である。
おけるビットストリームの第1の割り付け図である。
【図12】関連技術2におけるビットストリームの第2
の割り付け図である。
の割り付け図である。
【図13】本発明の適用箇所を説明するための図であ
る。
る。
【図14】従来および本発明の画像復号装置の構成例を
示すブロック図である。
示すブロック図である。
【図15】NTSC画像におけるMB分割を示す図であ
る。
る。
【図16】1つのMB内の画素の配列を示す図である。
1 バッファ制御部 2 可変長復号器 3 スキャン変換部 4 逆量子化部 5 逆DCT部 6 動き補償画像再生部 10 バッファ制御部 40 ビットストリーム書き込みデータ 41 ビットストリーム読み出しデータ 42 予測フレームデータ 43 予測フレームデータ 44 再生画素データ 45 表示データ 50 メモリ 51 バッファメモリ 52 フレームメモリ(I) 53 フレームメモリ(P) 54 フレームメモリ(B) 60 動き補償画像再生部 100 入力ビットストリーム 150 メモリ 151 バッファメモリ 152 フレームメモリ(I) 153 フレームメモリ(P) 154 フレームメモリ(B) 200 再生画像
フロントページの続き (56)参考文献 特開 平6−189292(JP,A) 特開 平2−265387(JP,A) 特開 平5−260461(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68
Claims (4)
- 【請求項1】 複数の予測フレームデータから画像フレ
ームを予測して画像データを符号化する方法および符号
化された画像データを復号する画像データの処理方法に
おいて、符号化すべき画像フレームデータまたは、予測
画像フレームデータまたは再生画像フレームデータを記
憶するために2つのバンク(A)、(B)に分けられた
少なくとも1個のシンクロナスダイナミックメモリを用
い、1つのマクロブロック(MB1)内のデータを奇数
列と偶数列で2分割し、2分割されたデータの内の奇数
列のデータ(1a)を前記バンク(A)での同一の行ア
ドレス内に記憶させるとともに、偶数列のデータ(1
b)を前記バンク(B)での同一の行アドレス内に記憶
させ、前記マクロブロック(MB1)の隣りのマクロブ
ロック(MB2)についても、マクロブロック(MB
2)内のデータを奇数列と偶数列で2分割し、2分割さ
れたデータ内の奇数列のデータ(2a)を前記バンク
(A)での同一の行アドレス内に記憶させるとともに、
偶数列のデータ(2b)を前記バンク(B)での同一の
行アドレス内に記憶させ、前記分割されてシンクロナス
ダイナミックメモリの別々のバンクに割当てられ記憶さ
れた前記データを、前記各バンクを交互にアクセスしな
がらマクロブロック単位で読み出して処理することを特
徴とする画像データの処理方法。 - 【請求項2】 複数の予測フレームデータから画像フレ
ームを予測して画像データを符号化する方法および符号
化された画像データを復号する画像データの処理方法に
用いる記憶装置であって、2つのバンク(A)、(B)
に分けられたシンクロナスダイナミックメモリと、1つ
のマクロブロック(MB1)内のデータを奇数列と偶数
列で2分割し、2分割されたデータの内の奇数列のデー
タ(1a)を前記バンク(A)での同一の行アドレス内
に記憶させるとともに、偶数列のデータ(1b)を前記
バンク(B)での同一の行アドレス内に記憶させ、前記
マクロブロック(MB1)の隣りのマクロブロック(M
B2)についても、マクロブロック(MB2)内のデー
タを奇数列と偶数列で2分割し、2分割されたデ ータの
内の奇数列のデータ(2a)を前記バンク(A)での同
一の行アドレス内に記憶させるとともに、偶数列のデー
タ(2b)を前記バンク(B)での同一の行アドレス内
に記憶させる制御手段とを備えたことを特徴とする記憶
装置。 - 【請求項3】 制御手段は、シンクロナスダイナミック
メモリの別々のバンクに割当てられ記憶されたデータ
を、各バンクを所定の順にアクセスしながらマクロブロ
ック単位で読み出すことを特徴とする請求項2記載の記
憶装置。 - 【請求項4】 複数の予測フレームデータから画像フレ
ームを予測して画像データを符号化する装置および符号
化された画像データを復号する画像データの処理装置で
あって、符号化すべき画像フレームデータまたは、予測
画像フレームデータまたは再生画像フレームデータを記
憶するための記憶エリアが2つのバンク(A),(B)
に分けられた少なくとも1個のシンクロナスダイナミッ
クメモリと、1つのマクロブロック(MB1)内のデー
タを奇数列と偶数列で2分割し、2分割されたデータの
内の奇数列のデータ(1a)を前記バンク(A)での同
一の行アドレス内に記憶させるとともに、偶数列のデー
タ(1b)を前記バンク(B)での同一の行アドレス内
に記憶させ、前記マクロブロック(MB1)の隣りのマ
クロブロック(MB2)についても、マイクロブロック
(MB2)内のデータを奇数列と偶数列で2分割し、2
分割されたデータ内の奇数列のデータ(2a)を前記バ
ンク(A)での同一の行アドレス内に記憶させるととも
に、偶数列のデータ(2b)を前記バンク(B)での同
一の行アドレス内に記憶させ、一方、分割されて前記シ
ンクロナスダイナミックメモリの別々のバンクに割当て
られ記憶された前記データを、前記各バンクを交互にア
クセスしながらマクロブロック単位で読み出す制御手段
とを備えたことを特徴とする画像データの処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9191794A JP3119994B2 (ja) | 1994-04-28 | 1994-04-28 | 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9191794A JP3119994B2 (ja) | 1994-04-28 | 1994-04-28 | 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07298264A JPH07298264A (ja) | 1995-11-10 |
JP3119994B2 true JP3119994B2 (ja) | 2000-12-25 |
Family
ID=14039942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9191794A Expired - Fee Related JP3119994B2 (ja) | 1994-04-28 | 1994-04-28 | 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3119994B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0793390A3 (fr) * | 1996-02-28 | 1999-11-03 | Koninklijke Philips Electronics N.V. | Dispositif de décodage de signaux de type MPEG |
FR2780184B1 (fr) * | 1998-06-23 | 2000-08-11 | St Microelectronics Sa | Procede et dispositif de decodage d'images, permettant un nombre reduit d'ouvertures de pages-memoire dans le traitement de prediction |
JP3813444B2 (ja) * | 1999-03-23 | 2006-08-23 | 三洋電機株式会社 | ビデオデコーダ |
JP4511842B2 (ja) * | 2004-01-26 | 2010-07-28 | パナソニック株式会社 | 動きベクトル検出装置及び動画撮影装置 |
JP2006268250A (ja) * | 2005-03-23 | 2006-10-05 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
US7463267B2 (en) * | 2006-10-26 | 2008-12-09 | Lsi Corporation | System for interleaved storage of video data |
CN103248889B (zh) * | 2013-03-22 | 2016-05-25 | 海信集团有限公司 | 一种图像处理方法及装置 |
-
1994
- 1994-04-28 JP JP9191794A patent/JP3119994B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07298264A (ja) | 1995-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6088047A (en) | Motion compensated digital video decoding with buffered picture storage memory map | |
KR100695141B1 (ko) | 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법 | |
EP0633699B1 (en) | Forced intra-frame coding method | |
US6215822B1 (en) | Motion compensated digital video decoding and buffer memory addressing therefor | |
JP3135502B2 (ja) | Sdramに1フレームの画像信号を記録する方法 | |
JPH0818953A (ja) | 動画像復号表示装置 | |
KR100201981B1 (ko) | 메모리제어장치 및 그것을 사용한 화상디코더 | |
EP1689195A2 (en) | Picture memory mapping to minimize memory bandwidth in compression and decompression of image sequences | |
EP1998569A1 (en) | Method for mapping image addresses in memory | |
JP3381077B2 (ja) | 動画像復号装置 | |
JP3120010B2 (ja) | 画像復号処理方法および画像復号装置 | |
JP3119994B2 (ja) | 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置 | |
KR19980081641A (ko) | 동화상 복호 방법 및 동화상 복호 장치 | |
JP3871348B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
JPH06153151A (ja) | ディジタルビデオ信号記録装置 | |
JPH0865686A (ja) | 画像復号化装置 | |
JP2863096B2 (ja) | 並列処理による画像復号装置 | |
JPH06189292A (ja) | 動画像復号装置 | |
JPH10327416A (ja) | 動画像符号化装置 | |
US5767910A (en) | Video signal compressing/encoding system | |
JPH10145237A (ja) | 圧縮データ復号装置 | |
JP2820631B2 (ja) | 画像復号方法および装置 | |
CN1309257C (zh) | 视讯解码的存储器存取方法 | |
JP3078990B2 (ja) | 低遅延モード画像復号方法 | |
JP3624457B2 (ja) | 画像信号符号化装置及び画像信号復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |