JP4435918B2 - 画像ブロックを蓄積するためのアドレッシング処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＳＤＲＡＭ形式のメモリにデータを蓄積するためのアドレッシング処理に関する。
【０００２】
【従来の技術】
ディジタルビデオ処理では、ビデオ画像を蓄積できることが必要である。 2つの形式のメモリが一般に使用される。
−スタティックランダムアクセスメモリ（ＳＲＡＭ）。このメモリの領域は、アドレスバスから直接アクセスできる。
【０００３】
−ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又は、それが同期型ならシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）。
ダイナミックメモリは、ページに分割され、ページの変更に対応した新しいページへのアクセスは、”時間ペナルティー”と称すアクセス時間が必要である。メモリアドレスは、ページアドレス又は、”ロウアドレス”として参照される第１部分と、バイナリーアドレス又は、”コラムアドレス”として参照される第２部分により構成される。ここで述べた引用符号のついた用語は、ＤＲＡＭ又は、ＳＤＲＡＭ形式の部品の技術シートで一般に使用されている。
【０００４】
一般的になってきているビデオ処理の応用では、画像ブロックに、即ち画像の画素の組にアクセスすることが必要である。
そのような場合には、例えば、動画像専門化グループを表す頭字語のＭＰＥＧ規格のディジタルビデオデータ圧縮では、基本画像ブロックは、マクロブロックを構成する画像ブロックである。動き推定中は、現在のマクロブロックと最も良く相関のあるマクロブロックを決定するために、現在のマクロブロックは、ＳＤＲＡＭ形式のメモリに蓄積された再構成された画像のマクロブロックと比較される。
【０００５】
ＭＰＥＧ規格では、画像の１６×１６要素の輝度要素の部分から得られる、８×８輝度データ要素の４つのブロックと、例えば、４：２：０フォーマットの場合には、８×８色差データ要素の２つのブロックとでマクロブロックを構成する。
実際、動き推定計算は、輝度値のみについて行われる。関連するブロックは、１６×１６サイズの輝度ブロックのみである。これらのブロックは、１６画素×８ラインの形式で蓄積される。１６×１６サイズの輝度ブロックはその前に、１６画素×８ラインの２つのブロックに分割される。ブロックは、２つのフレームをグループ化する画像モードでは、上方フレームの第１ブロックと下方フレームの第２ブロックに対応し、それ以外では、フレームモードでは、最初の８ラインをグループ化する第１ブロックと同じフレームの次の８ラインをグループ化する第２ブロックに対応する。１６画素×８ラインの輝度ブロックは、８画素×８ラインの２つの輝度ブロックをグループ化したことを示すために、以後、輝度セミマクロブロック又は、単にセミマクロブロックと呼ぶ。用語、輝度マクロブロックは、ＭＰＥＧ規格では４つの輝度ブロックを示すのに使用される。
【０００６】
一般的に、１６画素×８ラインのブロックよりも大きなサイズの画像ブロックをメモリから取り出すことが必要である。取り出すブロックのサイズは実際の応用により画定される。
例えば、動きベクトルの計算は、半画素の解像度で行われ、更なるラインとコラムを有する、即ち１７画素×９ラインの画像ブロックの処理が必要である。
【０００７】
他の例は、再構成された画像の検索窓に関し、窓の中で、ブロックの相関が計算され、その寸法は、動き推定で使用される処理により大きくも小さくもなる。処理の設計では、第１ステップで、動きベクトルの下で窓を配置し、第２ステップで、局部的な調整を行うために細かく検索することが一般的に必要である。この精密な調整は、小さな寸法の窓で行われる。一例では、これらの検索窓は、２４×１２の寸法を有し、１６×８画素ブロックの水平変位±４と垂直変位±２に対応する。
【０００８】
大きなサイズの全ブロックへのアクセス時間は一般的に最適化されておらず、このブロックを構成する画素値を読み書きするために、ＳＤＲＡＭメモリの幾つかのページへアクセスする必要がある。
図１は、サイズが１６×１６の輝度マクロブロックを表し、同じ水平ローの第１の１６×１６の輝度マクロブロック１と第２の１６×１６の輝度マクロブロック２を表す。即ち、画像幅に亘った、マクロブロックの水平の連続である。一般的な場合には、マクロブロックのローはＭＰＥＧで定義されているスライスに対応する。以後、用語ローは、特に、画像幅に亘ったブロックの連続又は、セミマクロブロックの連続を定義するのに使用される。用語スライスは、マクロブロックに予約する。
【０００９】
示された横座標軸は画素番号であり、縦座標軸はライン番号である。画像幅７２０画素の１６ビデオラインは、１６画素の４５マクロブロックに対応する（７２０：１６）。セミマクロブロックは、テレビジョン形式の走査に従って、以後示されるように、次々と蓄積される。
図２は、セミマクロブロックの蓄積中に連続してアドレスされたメモリページ４，５，６，８を示す。前に示したように、１６×１６マクロブロックは、２つの部分、上方ブロック及び、下方ブロックに分離された後蓄積される。
【００１０】
上方ブロックが１つのフレームに対応して、下方ブロックが次のフレームに対応する時には、即ち、画像モードのときには、上方ブロックは、あるメモリ空間に次々と蓄積され、下方ブロックは他のメモリ空間に次々と蓄積され、各々のメモリ空間は、１つのフレームに対応する。
上方及び、下方ブロックが１つのそして同じフレームに対応するなら、即ちフレームモードなら、それらは次々と蓄積される、即ち、最初に（セミマクロブロックの）ローの上方ブロックが、次に、次のローに対応する下方ブロックが蓄積される。次のフレームは、他のメモリ空間に蓄積される。
【００１１】
蓄積処理は、フレームモードで記載されたが、困難さ無しに、画像モードにも一般化できる。蓄積処理は、別々に、そのおのおのに対して、そこに蓄積されるセミマクロブロックについてのみ考慮することにより各々のメモリ空間に適用される。
この例では、ページ４は、参照番号３の８つのセミマクロブロックＭＢを蓄積できる。次の８つのセミマクロブロッＭＢは、次のページ５に蓄積され、これが続く。それゆえ、各８つのセミマクロブロックＭＢごとに、ページ変更又は、技術文献に”ページミス（ｐａｇｅ ｍｉｓｓ）”として参照されるスキップ７が起こる。第１ローの最後に対応するセミマクロブロック番号４５は、ページ６の真中に、更に正確にはページの８つのセミマクロブロックの第５セミマクロブロックに蓄積される。
【００１２】
フレームの第２ローの開始のセミマクロブロックに対応する次のセミマクロブロックは、メモリの新しいページ８の先頭に蓄積される。セミマクロブロックの先頭を、ページの先頭に蓄積する方法は、アドレスを取り扱う最も簡単な方法である。
図３は、従来技術の欠点を示す。メモリ空間は蓄積されるセミマクロブロック１３のサイズの関数として概略が示されている。太線１２は、ページ境界を示し、１６×８画素の８ブロックの寸法のページである。フレームの３つの連続するローのオーバーレイされたセミマクロブロックのグループに対応して、３つのオーバーレイされた完全なページが示されている。蓄積されたセミマクロブロックの寸法よりも大きい画像ブロックにアクセスする必要があるので、画像ブロックを読むためには、幾つかのページをアクセスすることが必要である。このように、参照番号９の１７ライン×９画素のブロックへのアクセスは、４ページの変化を要し、同じ寸法のブロック１０へのアクセスは２ページの変化を要し、２４ライン×１２画素の寸法のブロック１１へのアクセスは、６ページの変化を要す。この計算は、ブロックにアクセスするのに必要な最初の１ページの変化も考慮している。
【００１３】
この配置では、寸法１７×９のブロックに対するページ変化の最大数は４、寸法２４×１２のブロックに対するページ変化の最大数は６である。メモリ書き込み／読み出し装置はページ変化の最大可能数を考慮して形成されなければならない。このように、この数が増加すると、単一のページへさえも、アクセス時間が大きくなる。
【００１４】
【発明が解決しようとする課題】
これらのページ変化或は、更に正確には、最大可能なページ変化の数は蓄積されたデータのアクセス時間を不利にするシステムの構成を必要とする。それゆえ、所定の時間にアクセスできる画素数に対応する、メモリバスの通過帯域を減少する。ページ変化は、幾つかのクロック周期を要し、それによりアクセス時間が減少する。
【００１５】
【課題を解決するための手段】
本発明の目的は、上述の欠点を緩和することである。
この目的を達成するために、本発明の主題は、画像はｈ画素のｖラインを構成する画像ブロック（ｈ，ｖ）に分割され、画像幅に亘るブロックの組はローを構成し、Ｈ画素のＶラインを構成する画像ブロック（Ｈ，Ｖ）を読み出すために、ダイナミックランダムアクセスメモリの連続したページに、データがテレビジョン形式の走査に対応した順序で連続する画像ブロックとして蓄積される、画像のディジタルビデオデータを蓄積する処理方法であって、
ブロック（ｈ，ｖ）の数に関して、ローＩ＋ａに対応するページの境界に関して、画像のどのローＩに対応するページの境界の水平移動Ｄ_I,I+a は、
Ｄ_I,I+a ＝ａＤ，∀正の整数ａは、Ｒ_M ＝ＩＮＴ[ （Ｖ−２）／ｖ）] ＋２より小さく（ＩＮＴは除算の整数部分に対応する）、
値Ｄは、
Ｄ
【００１６】
【外２】

【００１７】
（Ｂ_M −１），但し、Ｂ_M ＝ＩＮＴ[ （Ｈ−２）／ｈ] ＋２
のように選択される２つの連続したローの間の移動に対応することを特徴とする処理方法である。
実行の特定のモードに従って、処理は、移動は、ローの最後のブロックを蓄積するページに１つ又はそれ以上のブロック（ｈ，ｖ）の空白に対応するメモリ空間を残すことにより得られることを特徴とする。
【００１８】
本発明はまた、メモリ中に再構成された画像を得るために、寸法ｈ，ｖの動き蓄積ブロック（ｈ，ｖ）を推定し、現在の画像のブロックと再構成されて蓄積された画像の寸法Ｈ，Ｖのブロック（Ｈ，Ｖ）とを比較する処理であって、
ブロック（ｈ，ｖ）は、上述の１つの処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理に関する。
【００１９】
本発明はまた、メモリ中に再構成された画像を得るために、寸法ｈ，ｖの画像ブロック（ｈ，ｖ）を蓄積し、現在の画像のブロックと検索窓中にある画像ブロックとの相関を行うために、寸法Ｈ，Ｖの再構成された画像の検索窓（Ｈ，Ｖ）を読み出す相関処理であって、ブロック（ｈ，ｖ）は、上述の１つの処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理に関する。
【００２０】
本発明はまた、再構成された画像を得るために、寸法ｈ，ｖの画像ブロック（ｈ，ｖ）を蓄積し、再構成された画像の中の寸法（Ｈ，Ｖ）のブロックを画定するために、動きベクトルに基づいて予測し、このブロック（Ｈ，Ｖ）の読み出しを行う、再構成された画像中の画像ブロックを予測する処理であって、
ブロック（ｈ，ｖ）は、上述の１つの処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理に関する。
【００２１】
本発明により、ページ変化の最大数は制限され、従って、通過帯域は改善される。画素のブロックのアクセス時間は最適化される。メモリバスの使用時間は最小化は、全体の転送時間の減少により、特に有利である。通過帯域は最近のメモリアクセス装置の性能では重要な制限である。
【００２２】
【発明の実施の形態】
図４は、本発明に従ったメモリ空間の配置を示す図である。ぺージの寸法は、上述のように、１６×８画素の８つのセミマクロブロックである。セミマクロブロックの１つのローから、その下のローまで、太線で示され、ページスキップに対応するページの垂直境界１４は、２つのセミマクロブロックに等しい（又は、幅が同じなので、２つのマクロブロックに等しい）空間により移動される。このように、ページの第１又は、第２セミマクロブロックの下にあるフレームのセミマクロブロックは、他のページに属する。
【００２３】
図５は、図３と比べて、メモリ中の同じ画像ブロック９，１０，１１を示す。ページの境界を移動したことにより、参照番号９で示される１７ライン×９画素のブロックへのアクセスは、４ページ変化ではなく３ページ変化であり、同様の寸法のブロック１０へのアクセスは、２ページ変化であり、２４ライン×１２画素寸法のブロック１１へのアクセスは、６ページ変化ではなく４ページ変化である。
【００２４】
この構成では、１７×９の寸法のブロックの最大ページ変化数は３であり、２４×１２の寸法のブロックの最大ページ変化数は４である。このように、この構成によって、ページ変化数は２減少できる。即ち、我々の応用では、１２メモリクロック周期の利得がある。
効果のある移動は実際には、蓄積されたブロックの寸法に対して、読み出されるべき画像ブロックの寸法に依存する。蓄積されたブロックの寸法はｈ、ｖであり、ｈ画素のｖラインより成りブロック（ｈ，ｖ）と呼ばれる。
【００２５】
読み出されるべきブロックの寸法はＨ、Ｖであり、Ｈ画素のＶラインより成るブロック（Ｈ，Ｖ）と呼ばれる。
垂直寸法Ｖのブロック（Ｈ，Ｖ）がその上に分散している、メモリ内のブロックのローの最大数は、
Ｒ_M ＝ＩＮＴ［（Ｖ−２）／ｖ] ＋２
ＩＮＴは除算の整数部分を示す。
【００２６】
水平寸法Ｈのブロック（Ｈ，Ｖ）がその上に分散している、水平のブロックの最大数は、
Ｂ_M ＝ＩＮＴ［（Ｈ−２）／ｈ] ＋２
メモリを構成するページの（蓄積されたブロック数に関して）水平移動Ｄに関して考慮すべき制約は、ブロックの２つの連続したローの間である。
【００２７】
Ｄ
【００２８】
【外３】

【００２９】
（Ｂ_M −１）
例えば、参照番号９又は、１０の（Ｈ，Ｖ）ブロックは、最大で２つの連続したロー（Ｒ_M ＝２）に亘って、且つ、Ｈは１とｈ＋１の間で、垂直に分散される。即ち、最大（Ｂ_M ＝２）で水平に２ブロック（ｈ、ｖ）に亘り、移動Ｄは１に等しくとられる。
【００３０】
ブロック（Ｈ，Ｖ）は幾つかのローにわたって分散でき、制約は、このブロックに対して計算されたローの最大数Ｒ_M に一般化される。
２つの連続したローの間の選択した移動の値をＤとすると、この値は不等式を満たす。
Ｄ
【００３１】
【外４】

【００３２】
（Ｂ_M −１）
１からＲ_M −１の範囲の整数変数とすると、制約は以下のように書ける。
Ｄ_I,I+a ＝ａＤ，∀ａ，Ｒ_M ＞ａ
【００３３】
【外５】

【００３４】
１。
ここで、Ｄ_I,I+a は、ローＩとローＩ＋ａの間の移動を示す。
例えば、参照番号１１のブロック（Ｈ，Ｖ）に関して、最大でも３つの連続したロー（Ｒ_M ＝３）に亘って、垂直に分散され、その寸法Ｈは、ｈ＋２と２ｈ＋１の間である。即ち、水平に最大で（Ｂ_M ＝３）３ブロック（ｈ、ｖ）に亘って分散され、移動Ｄ_I,I+1 は２に等しく、移動Ｄ_I,I+2 は４に等しい。
【００３５】
そのような移動を有効にするために、未使用領域がメモリ空間に形成される。図６は、図２と比較すると、セミマクロブロックの蓄積中にアドレスされるように、連続したライン上にメモリページ４，５，６，８が連続する。参照番号６のページに蓄積された第５セミマクロブロックである、最初のローの最後のセミマクロブロックが到着すると、セミマクロブロックに対応する寸法のメモリ領域１５は、空白が残っており、そのページの第７及び、第８セミマクロブロックの位置に次のローの第１及び、第２セミマクロブロックを記録する。このように、次のページ８は、次のローの第３セミマクロブロックを記録する。ページ８の第１セミマクロブロックの上の、フレーム内の、セミマクロブロックは、その部分に関して、上方のローの対応するページ３の中の第３セミマクロブロックのように蓄積される。
【００３６】
３つのセミマクロブロックの移動は、空いているメモリ空間は残っていないことに対応し、単一のセミマクロブロックの移動は、セミマクロブロックの寸法の２つのメモリ空間に対応する。
一般的に、新しいページの始まる先行するローである、次のローの第１ページに蓄積されるセミマクロブロックの数は、この移動、移動無しに対応する８つのセミマクロブロック数に対応する。
【００３７】
説明は蓄積されたセミマクロブロックを基に説明した。しかし、これは、実施例であり、本発明の範囲から離れる処理無しに、セミマクロブロックは、どのような寸法の他の形式の画像ブロックにも置き換えることができる。
蓄積は画像のフレームレベルで説明した。例えば、連続走査などの、完全な画像のレベルでも行うことが可能である。画像をブロックに分割することは、完全な画像を基に行われ、画像ブロックは、単一のメモリ空間に蓄積される。
【００３８】
本発明の応用は、例えば、動きベクトルを基に、再構成された画像の中の予測されたブロックをアクセスしたり、動き推定の計算中に、現在のブロックとの相関を計算する検索窓にアクセスするのに関する。
蓄積されたブロックは、ＭＰＥＧ規格で定義されるマクロブロックの部分を形成する輝度ブロックでも可能である。また、色差ブロック単独でも、輝度及び、色差ブロックともにでも良い。
【００３９】
本発明は、ＭＰＥＧ復号器で再構成されたブロックの蓄積にも適用できる。メモリから読み出される予測ブロックと、動きベクトルで定義された予測ブロックは、一般的に、例えば、動きベクトルが半画素内で正確なときは、蓄積されたブロックよりも寸法が大きい。これらの読み出されたブロックは、その後、現在の画像ブロックの計算のために補間により、寸法が変えられる。
【００４０】
【発明の効果】
本発明により、ページ変化の最大数は制限され、従って、通過帯域は改善される。画素のブロックのアクセス時間は最適化される。メモリバスの使用時間は最小化は、全体の転送時間の減少により、特に有利である。
【図面の簡単な説明】
【図１】画像のマクロブロックのスライスの最初と最後のマクロブロックを示す図である。
【図２】従来技術のメモリのセミマクロブロックの蓄積を示す図である。
【図３】従来例に従って配置されたメモリから読み出されるべきブロックを示す図である。
【図４】本発明に従ったメモリ空間の配置を示す図である。
【図５】本発明に従った配置されたメモリから読み出されるべきブロックを示す図である。
【図６】本発明に従ったメモリに蓄積されたセミマクロブロックを示す図である。
【符号の説明】
１、２ 輝度マクロブロック
４，５，６，８ メモリページ
９，１０，１１ 画像ブロック
１４ ページの垂直境界
１５ メモリ領域

Claims (7)

1. 画像はｈ画素のｖラインを構成する画像ブロック（ｈ，ｖ）（１，２）に分割され、画像幅に亘るブロックの組はローを構成し、
   Ｈ画素のＶラインを構成する画像ブロック（Ｈ，Ｖ）（９，１０，１１）を読み出すために、ダイナミックランダムアクセスメモリの連続したページ（４，５，６，８）に、データがテレビジョン形式の走査に対応した順序で連続する画像ブロック（３，１３）として蓄積される、画像のディジタルビデオデータを蓄積する処理方法であって、
   画像中のブロックとそれらを有するページの位置を考慮する場合に、
   ブロック（ｈ，ｖ）の数に関して、ローＩ＋ａに対応するページの境界に関して、画像のローＩに対応するページの境界の水平移動Ｄ_I,I+a は、
   Ｄ_I,I+a ＝ａＤ，∀正の整数ａは、Ｒ_M ＝ＩＮＴ[ （Ｖ−２）／ｖ）] ＋２より小さく（ＩＮＴは除算の整数部分に対応する）、
   値Ｄは、
   Ｄ
   【外１】
   

   

   （Ｂ_M −１），但し、Ｂ_M ＝ＩＮＴ[ （Ｈ−２）／ｈ] ＋２
   のように選択される２つの連続したローの間の移動に対応することを特徴とする処理方法。
2. 移動は、ロー（６）の最後のブロックを蓄積するページに１つ又はそれ以上のブロック（ｈ，ｖ）の空白に対応するメモリ空間（１５）を残すことにより得られることを特徴とする請求項１記載の処理方法。
3. ブロック（ｈ，ｖ）は、ＭＰＥＧ規格で定義されたマクロブロックの部分であることを特徴とする請求項１或は２記載の処理方法。
4. 画像は偶数又は、奇数フレームであることを特徴とする請求項１乃至３のうちいずれか一項記載の処理方法。
5. メモリ中に再構成された画像を得るために、寸法ｈ，ｖの動き蓄積ブロック（ｈ，ｖ）を推定し、現在の画像のブロックと再構成されて蓄積された画像の寸法Ｈ，Ｖのブロック（Ｈ，Ｖ）とを比較する処理であって、
   ブロック（ｈ，ｖ）は、請求項 1又は、２に記載の処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理方法。
6. メモリ中に再構成された画像を得るために、寸法ｈ，ｖの画像ブロック（ｈ，ｖ）を蓄積し、
   現在の画像のブロックと検索窓中にある画像ブロックとの相関を行うために、寸法Ｈ，Ｖの再構成された画像の検索窓（Ｈ，Ｖ）を読み出す相関処理であって、
   ブロック（ｈ，ｖ）は、請求項 1又は、２に記載の処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理方法。
7. 再構成された画像を得るために、寸法ｈ，ｖの画像ブロック（ｈ，ｖ）を蓄積し、再構成された画像の中の寸法（Ｈ，Ｖ）のブロックを画定するために、動きベクトルに基づいて予測し、このブロック（Ｈ，Ｖ）の読み出しを行う、再構成された画像中の画像ブロックを予測する処理であって、
   ブロック（ｈ，ｖ）は、請求項 1又は、２に記載の処理に従って、ＳＤＲＡＭ形式のメモリのページに蓄積されることを特徴とする処理方法。

Images