JPH1198507A

JPH1198507A - 画像符号化装置

Info

Publication number: JPH1198507A
Application number: JP25507197A
Authority: JP
Inventors: Tomoya Kodama; 知也児玉; Tomoo Yamakage; 朋夫山影; Katsumi Takahashi; 克己高橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-09-19
Filing date: 1997-09-19
Publication date: 1999-04-09

Abstract

(57)【要約】【課題】MPEG2 に代表される動画像符号化での入力画像
及びローカルデコード画像を保存するフレームメモリに
おいて、高いスループットを実現する。【解決手段】入力画像をメモリに格納する前段に画像を
サブサンプリングする手段54を配置し、異なる位相のサ
ブサンプリング画像（Ｐs)を独立した領域に格納する手
段70と、Ｐs に対して動き検出等の処理をする場合には
片方の領域からのみ読出すことでＰs を出力し、１画素
精度の原画が必要となる処理の場合には、両方の領域か
ら読み出した画像を合成して出力する手段63を備えるこ
とにより、不要領域を読み出すことによるメモリアクセ
スのオーバーへッドを削減する。又、メモリの１ワード
を構成する画素を矩形としその短辺方向とファーストペ
ージアクセス(FA)を行う方向を同一にすることで高速ア
クセスが実現できるFAや同期型ＤＲＡＭにおけるバンク
切替えを有効に利用すると共に不要画素データの読出し
によるスループット低下を抑制する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の内容を保持
するための記憶手段の改良に関わり、特に画像データの
圧縮および伸長における処理を行う際に、高いスループ
ットで入出力を行うことが可能な画像記憶装置に関す
る。

【０００２】

【従来の技術】近年、放送、通信、蓄積メディアなどへ
の応用が期待されている技術にＭＰＥＧ２（ＩＳＯ／Ｉ
ＥＣ１３８１８）に代表されるディジタル動画像符号化
技術がある。

【０００３】周知の通り、ＭＥＰＧ２による動画像符号
化においては、図３に示されるように動き補償と呼ばれ
る方式により符号化を行うフレームまたはフィールド
を、過去や未来のフレームまたはフイールドの類似する
部分から予測し、その残差を符号化することにより高能
率な符号化を実現している。このため、この方式による
符号化および復号化の処理においては、符号化あるいは
復号化した画像を保存するためのメモリ（フレームメモ
リ）が必須となっている。

【０００４】特に、放送レベル、あるいはＨＤＴＶ（高
品位テレビ）レベルの解像度を有する動画像の符号化へ
の応用を想定したＭＰＥＧ２に基づいた符号化方式で
は、このフレームメモリに要求されるスループットは非
常に高いものとなる。

【０００５】このような背景から、当該技術分野に関連
する発明としての技術文献である特開平８−１２３９５
３号公報には、フレームメモリにおける画素とアドレス
の割り当てを行う方法が開示されている。ここに開示さ
れている方法においては、図１３に示すように、記憶す
べき１フィールドの画像の一方の方向に隣接して配置さ
れた複数の画素を１ワードとし、それに直行する方向に
隣接したアドレスを配置している。

【０００６】一般的なＤＲＡＭでは隣接した数百程度の
アドレスの間では、“ファーストページアクセス”と呼
ばれる高速なメモリアクセスが可能であるため、このよ
うなアドレッシングを行うことにより、フレームメモリ
への書き込みおよび読み出しに要する不要なオーバーヘ
ッドを削減し、高速なメモリアクセスを可能としてい
る。

【０００７】一方、動画像符号化における動き検出・動
き補償処理においては、非常に多くの参照画像の候補点
から類似した領域を求める処埋が要求されるため、その
処理量は膨大になる傾向がある。このため、動き検出の
処理量を削減する方法が数多く提案されている。

【０００８】例えば、特開平８−３１７４０９号公報に
開示されている技術では、サブサンプリングなどによっ
て画素の密度を粗にした参照画像および符号化画像で動
きの検出を行うようにして、探索候補点を少なくし、処
理の負担を削減している。

【０００９】

【発明が解決しようとする課題】しかしながら、前述の
サブサンプリングした画像を対象とした動き検出の方法
では、特開平８−１２３９５３号公報に示されるような
方法で画像をフレームメモリにマッピングを行った場
合、サブサンプリングした画像を読み出すために間引い
た画像も同時に読み出すこととなり、不要なデータの読
み出しのために実質的なメモリのスループットが十分確
保できない原因となり得る。

【００１０】このため、動きの検出を行う領域を狭める
などの対応により符号化装置が要求するメモリのスルー
プットを減少させるなどの対応が必要となり、符号化効
率を下げる可能性が発生する。

【００１１】さらに、通常、動き検出および動き補償の
ための探索候補点は、図４に示すようにフイールドまた
はフレームの中の矩形領域となる場合が多い。この時
に、画像の単一方向に隣接した図１３に示されるような
画素でメモリの１ワードを構成すると、矩形領域の指定
によっては、１画素を読み出すために不要な画素を多数
読み込んでしまうこととなる。

【００１２】すなわち、図１３においてＭＥＭはメモリ
を示しており、また、１は画像データ、２は１ワードを
構成する画素データ群、３はメモリアクセス方向を示し
ている。そして、データを読み出すにあたっては、例え
ば、メモリＭＥＭをアドレス順にアクセスして読み出し
ていくため、アドレス毎のメモリビット構成が“８×
ｎ”ビットのワード構成であるため、１画素当たりの画
像データの構成ビットにもよるが、１ワード内に複数画
素分の画像データが記憶されることになる。例えば、１
ワードが３２ビット構成の画像メモリであった場合、１
画素が４ビット構成の画像データであれば８画素分、記
憶できることになり、１画素が８ビット構成の画像デー
タであれば４画素分、１画素が１６ビット構成の画像デ
ータであれば２画素分、記憶できることになる（図で
は、１ワード４画素構成を示している）。

【００１３】フレームメモリの場合、少なくとも１画面
分（１フレーム分）単位でその画像データを記憶する
が、注目した矩形領域が画面の一部分であれば、その矩
形領域の端の位置のデータは、注目矩形領域外の画素デ
ータも含んでいる可能性が高くなる。

【００１４】このように、図１３に示されるような画素
でメモリの１ワードを構成すると、矩形領域の指定によ
っては、１画素を読み出すために不要な画素を多数読み
込んでしまうこととなる。

【００１５】そして、例えば、水平方向に隣接したＳ画
素分を１ワードとしてメモリ構成した場合に、探索候補
点となる矩形領域の左端が“８ｍ＋７”番目（但し、ｍ
は整数）の画素であった場合、“８ｍ”番目から“８ｍ
＋６”番目までの画素は、メモリから読み出されること
になるにもかかわらず、実際には探索候補点として利用
されない。これでは、処理の大きな無駄であり、動画像
符号化時でのスループットをいたずらに低下させる。

【００１６】これは解決しなければならない大きな課題
である。本発明は上記の点に鑑みてなされたものであ
り、その目的とするところは、動画像符号化時に実質的
に高いスループットを有するメモリアクセスを実現し、
広範囲におよぶ動き検出を可能とするアドレスの割り当
て方法および１ワードの構成方法を実現できるようにし
た画像記憶装置および画像記憶装置のメモリアクセス方
法を提供することにある。

【００１７】

【課題を解決するための手段】本発明は、上述の目的を
達成するために、入力される動画像の符号化対象フレー
ムもしくはフィールドでの動きを、過去または未来のフ
レームまたはフィールドを参照することにより動き検出
してその位置を示す動きベクトルを得、該動きベクトル
に基づいて前記符号化対象のフレームまたはフィールド
を、過去または未来のフレームまたはフィールドの類似
する部分から予測し、その残差を符号化する動き補償方
式の画像符号化装置において、動きベクトルを得るため
の動き検出に使用する画像を、サブサンプリング画像と
すべく、入力画像をサブサンプリングして位相の異なる
複数のサブサンプリング画像を得る手段と、この得られ
た各異なる位相のサブサンプリング画像を位相別に分け
て独立に格納するサブサンプリング画像格納手段と、前
記動き検出手段が、サブサンプリング画像に対して動き
検出処理をする場合には、位相別に分けた独立して格納
されたサブサンプリング画像のうち、特定の１位相のサ
ブサンプリング画像を読み出して出力して動き検出手段
に与え、１画素精度の原画が必要となる動き補償処理の
場合には、位相別に分けた独立して格納されたサブサン
プリング画像のそれぞれを読み出し、合成して出力して
動き補償手段に与えるべく制御する制御手段とを備えた
ことを特徴とする。

【００１８】本発明は、動きベクトルを得るための動き
検出に使用する画像を、サブサンプリング画像とすべ
く、入力画像をサブサンプリングして位相の異なる複数
のサブサンプリング画像を得、この得られた各異なる位
相のサブサンプリング画像を位相別に分けて独立にサブ
サンプリング画像格納手段に格納すると共に、動き検出
手段が、サブサンプリング画像に対して動き検出処理を
する場合には、位相別に分けた独立して格納されたサブ
サンプリング画像のうち、特定の１位相のサブサンプリ
ング画像を読み出して出力して動き検出手段に与え、１
画素精度の原画が必要となる動き補償処理の場合には、
位相別に分けた独立して格納されたサブサンプリング画
像のそれぞれを読み出し、合成して出力して動き補償手
段に与えるべく制御することによって、不要な領域を読
み出すことに起因するメモリアクセスのオーバーへッド
を削減する。また、メモリの１ワードを構成する画素を
矩形とし、その短辺の方向とファーストページアクセス
を行う方向を同一にする。このようにすることにより、
高速なアクセスが実現できるファーストページアクセス
や同期型ＤＲＡＭにおけるバンク切り替えを有効に利用
するとともに不要な画素データの読み出しによるスルー
プットの低下を抑制することができる。

【００１９】また、サブサンプリングされた画像の隣接
した複数の画素を１ワードとする手段を有し、画像を読
み出して利用する際に、前記サブサンプリングされた画
像を利用することにより、動き検出の処理において無駄
な画素の読み出しを低減することができるものである。

【００２０】また本発明は、メモリに同期型ＤＲＡＭを
用い、このメモリの１ワードを構成する画像をｍ×ｎ
（ｍとｎは整数）画素の矩形とすることにより、動き検
出時の探索範囲に関わりなく、無駄な画素の読み出しを
削減することを可能とする。

【００２１】また本発明は、１ワードを構成する矩形の
短辺と平行な方向にファーストページアクセスが可能な
ようにアドレスを配置することにより、矩形の探索領域
をアクセスする際に高速なファーストページアクセスで
アクセスできるワード数を増大させることができように
し、同時にオーバーへッドが発生するＤＲＡＭのページ
切替えや同期型ＤＲＡＭのバンク切替えを最小限にとど
めることを可能とするものである。

【００２２】

【発明の実施の形態】本発明は、１ワードで複数画素分
の画像データを記憶する画像メモリの画素データ読み出
しに際して、ワード内の不要な画素については読み出し
を行わないで済むようにすることを可能にするもので、
以下、本発明の実施例について、図面を参照して説明す
る。

【００２３】図１は本発明システムにおけるメモリ制御
部１６の詳細な構成を示すブロック図であり、図２はこ
のメモリ制御部１６を使用した本発明システムとしての
符号化装置の構成を示すブロック図である。

【００２４】メモリ制御部１６は図１に示すように、ス
キャン変換部５１、バイト／ワード変換部５２，５５，
５６、ワード／バイト変換部５８，５９、アドレス制御
部５３，６１，６７、サブサンプリング実行部５４、多
重化器（ＭＵＸ）５７，６４、ＳＲＡＭ６０，６２，６
５，６６，６８、制御信号生成部６３、メモリバス６９
とより構成される。なお、７０は外部の画像メモリであ
る。

【００２５】これらのうち、スキャン変換部５１は与え
られるローカルデコード画像をスキャン変換するための
ものであり、前記バイト／ワード変換部５２はこのスキ
ャン変換部５１から出力されるデータをバイト／ワード
変換するようにしてある。バイト／ワード変換部５２，
５５，５６は入力された所定ビット構成の画素情報（画
像データ）を、所定バイト数分まとめて所定ビット幅の
情報（データ）に変換するものであり、ＳＲＡＭ６０，
６２および６８は一時退避用のメモリであってバイト／
ワード変換部５２，５５，５６のうちの、それぞれ対応
のものから与えられた所定ビット幅のデータを保持する
ものである。

【００２６】多重化器（ＭＵＸ）５７，６４は与えられ
るデータを多重化して出力するものであって、これら多
重化器５７，６４のうち、多重化器６４はＳＲＡＭ６
０，６２から読み出されたデータを多重化して出力する
ものであり、また、多重化器５７は、ワード／バイト変
換器５８，５９の出力を多重化して出力するものであ
る。

【００２７】また、ＳＲＡＭ６５，６６は多重化器６４
の出力を一時記憶するものであり、ワード／バイト変換
器５８，５９はこれらＳＲＡＭ６５，６６のうち、対応
する側のＳＲＡＭからの読み出しデータをワード構成か
らバイト構成に変換して出力するものである。

【００２８】アドレス制御部６１はＳＲＡＭ６０，６２
のアドレス制御及びリード／ライト（書き込み／読み出
し）制御をするためのものであり、アドレス制御部５３
はＳＲＡＭ６８のアドレス制御及びリード／ライト制御
をするためのものであり、アドレス制御部６７はＳＲＡ
Ｍ６６のアドレス制御及びリード／ライト制御をするた
めのものである。

【００２９】サブサンプリング実行部５４は、入力され
る画像ＰINを２種類の異なるサブサンプリング画像Ｐs
1，Ｐs2に分割し、一方をバイト／ワード変換器５５に
他方をバイト／ワード変換器５６へ与えるようにするも
のである。前記バイト／ワード変換部５５，５６はこの
サブサンプリング実行部５４から出力されるデータをバ
イト／ワード変換するようにしてある。制御信号生成部
６３は画像メモリ７０のアドレス制御及びリード／ライ
ト制御のための制御信号を生成するためのものであり、
画像メモリ７０はこの制御信号生成部６３の出力するア
ドレス制御及びリード／ライト制御のための制御信号に
より制御されてデータの記憶と読み出しを行うものであ
る。

【００３０】また、図２に示すように、本実施例の符号
化装置は、入力画像処理部１１、メモリ制御部１６、動
き検出部１２、動き補償部１３、ＤＣＴおよび量子化を
行う符号化部１４、ビットストリーム出力部１５、逆量
子化・逆ＤＣＴなどを行うローカルデコード画像生成部
１７、および外部に接続されるメモリ１８から構成され
る。

【００３１】これらのうち、入力画像処理部１１は、動
画像の画像データを入力画像１０として受けて、これに
所要の前処理を施すものであり、メモリ制御部１６は、
図１で説明した構成を有するものであって、この前処理
された画像データを組み替えてメモリ１８に記憶させた
り、このメモリ１８から読み出した組み替えられたデー
タを元に戻したりする制御を行うためのものである。こ
こでのメモリ１８が図１での画像メモリ７０に対応す
る。

【００３２】動き検出部１２は、２つの画像がもっとも
類似した部分を探索し、その位置を動きベクトルとして
上記メモリ制御部１６へ出力するものである。動き補償
部１３は、ローカルデコード画像Ｐlcと符号化画像の両
画像データを受けて動き検出と動き補償を行い、その残
差を求めるとともに、この求めた残差を動きベクトルと
ともに符号化部１４へ渡す処理を行うものである。符号
化部１４はこの動き補償部１３からのデータに対してＤ
ＣＴ（直交変換）・量子化などの処理を施すことで符号
化して出力するものであり、ビットストリーム出力部１
５はこの符号化されたデータをビットストリームとして
出力するものである。

【００３３】ローカルデコード画像生成部１７はビット
ストリーム出力部１５から出力されたビットストリーム
をデコードし、ローカルデコード画像Ｐlcを生成するも
のであって、ビットストリームに対して逆量子化・逆Ｄ
ＣＴなどを行うものである。

【００３４】次に上記構成の本装置の作用を説明する。
上記の構成において、撮像装置などで得られた動画像の
データである入力画像１０は、入力画像処理部１１に入
力され、ここで必要な前処理が行われた後、メモリ制御
部１６へ送られる。

【００３５】メモリ制御部１６では、この前処理済みの
入力画像１０をメモリ１８へ保存するようにこのメモリ
１８を制御する。これにより、この前処理済みの入力画
像１０はメモリ１８へ保存される。また、メモリ制御部
１６はこの前処理済みの入力画像を動き検出部１２にも
与える。

【００３６】メモリ１８に保存された画像は、時間にし
て数フレーム分のフレーム出現経過時点の後にメモリ制
御部１６による読み出し制御により読み出され、動き検
出部１２へ送られることになる。

【００３７】動き検出部１２には、動きを検出する対象
となる符号化画像と、その探索元となる参照画像とし
て、入力画像処理部１１からメモリ１８に書き込まれた
サブサンプリング画像が読み出されて、当該動き検出部
１２に与えられることにより、当該動き検出部１２は当
該メモリ１８から読み出された二種類のサブサンプリン
グ画像同士を比較し、これら２つの画像がもっとも類似
した部分を探索し、その位置を動きベクトルのデータに
してメモリ制御部１６へ出力する。

【００３８】メモリ制御部１６では、この動き検出部１
２にて得られた動きベクトルを、メモリ１８の前記入力
画像を保存した領域とは異なる別の領域に保存する。メ
モリ１８に保存された動きベクトルのデータは、実際に
画像を符号化する際に符号化を行う画像内の矩形領域と
ともに動き補償部１３へ送られる。

【００３９】動き補償部１３へは、より精度の高い動き
検出を行うために、メモリ１８内の入力画像及び動きベ
クトルのデータの格納領域とは別の領域に保存されたロ
ーカルデコード画像Ｐlcが符号化画像と同時に送られ
る。

【００４０】このローカルデコード画像Ｐlcは、ローカ
ルデコード画像生成部１７において符号化部１４の出力
する符号化処理済みのデータのビットストリームをデコ
ードすることにより、生成され、メモリ１８に保存され
たものである。このローカルデコード画像Ｐlcは、メモ
リ制御部１６の制御のもとに、メモリ１８内の入力画像
及び動きベクトルのデータの格納領域とは別の領域に保
存されることになる。

【００４１】ローカルデコード画像Ｐlcが符号化画像と
共に与えられることにより、動き補償部１３では精度の
高い動き検出と動き補償が行われ、その残差（差成分）
が求められ、この求められた残差が、求めた精度の高い
動きベクトルとともに次段の符号化部１４へ送られる。
符号化部１４では両データをＤＣＴ（直交変換）処理
し、その結果を量子化する。そして、このような処理が
行われたことにより、符号化されることになる（符号化
情報の取得）。

【００４２】こうして得られた符号化情報は、ビットス
トリーム出力部１５へ送られるとともに、その画像が他
の画像の参照画像となる場合にはローカルデコード画像
生成部１７へ送られる。そして、このローカルデコード
画像生成部１７においてビットストリームをデコードす
ることにより、ローカルデコード画像が生成される。

【００４３】この画像は動き補償部１３で参照画像とし
て使われるため、メモリ制御部１６を通し、メモリ１８
に保存される。ここで上述のメモリ１８は、例えば
（株）東芝製のメモリ素子である“ＴＣ５９Ｓ１６１
６”シリーズと呼ばれる型式番号のメモリ素子などの市
販の同期型ＤＲＡＭによって構成される。

【００４４】同期型ＤＲＡＭである“ＴＣ５９Ｓ１６１
６”シリーズは、１ワードが１６ビットで構成され、
１，０４８，５７６ワードの記憶容量を持っている。そ
して、このように１，０４８，５７６ワードの記憶容量
を持った同期型ＤＲＡＭであるため、本実施例ではこれ
を４個並列に接続し、“６４ビット”のビット幅を実現
している。

【００４５】同期型ＤＲＡＭは、バンクと呼ばれる２つ
の記憶領域（“バンク０”，“バンク１”）を持ち、外
部から供給されるクロックに同期してコマンドを与える
ことにより、２つのバンクに対してほぼ独立にメモリア
クセスを行うことができるという特徴を有している。

【００４６】同期型ＤＲＡＭに与えるコマンドは、“Ａ
ｃｔｉｖｅ”（能動），“Ｒｅａｄ”（読み出し），
“Ｗｒｉｔｅ”（書き込み），“Ｐｒｅｃｈａｒｇｅ”
（事前保持）などが代表的なものであり、読み出しの場
合、図６のタイミングチャートに制御例を示すように、
“バンク０”、“バンク１”それぞれに対して交互にこ
れらのコマンドを与えることにより、ページ切替えのオ
ーバーヘッドを排除したメモリアクセスが可能となる。
ただし、同一のバンクに対する各コマンドは、所定の時
間以上の間隔をおいて発行しなければならないという制
限が存在する。ここで、図６において、“ａｃｔ０”は
“バンク０”に対する“ａｃｔｉｖｅ”コマンドであ
り、“Ｒｅａｄ０”は“バンク０”に対する“Ｒｅａ
ｄ”コマンドであり、“Ｐｒｅ０”は“バンク０”に対
する“Ｐｒｅｃｈａｒｇｅ”コマンドであり、“ａｃｔ
１”は“バンク１”に対する“ａｃｔｉｖｅ”コマンド
であり、“Ｒｅａｄ１”は“バンク１”に対する“Ｒｅ
ａｄ”コマンドであり、“Ｐｒｅ１”は“バンク１”に
対する“Ｐｒｅｃｈａｒｇｅ”コマンドであり、“Ｄ
ｘ”は“バンクＡ”に属するメモリバンクから出力され
る“データ”であり、“Ｄｙ”は“バンクＢ”に属する
メモリバンクから出力される“データ”であることを意
味する。

【００４７】上述したように、同期型ＤＲＡＭの場合、
同一のバンクに対する各コマンドは、所定の時間以上の
間隔をおいて発行しなければならないという制限が存在
するが、当該同期型ＤＲＡＭに与えるコマンドの本実施
例での制限を以下に示す。・同一バンク内のＡｃｔｉｖｅ→Ａｃｔｉｖｅ間９クロック・同一バンク内のＡｃｔｉｖｅ→Ｒｅａｄ／Ｗｒｏｔｅ間３クロック・同一バンク内のＡｃｔｉｖｅ→Ｐｒｅｃｈａｒｇｅ間５クロック・同一バンク内のＰｒｅｃｈａｒｇｅ→Ａｃｔｉｖｅ間３クロック・異なるバンク間のＲｅａｄ／Ｗｒｉｔｅ→Ａｃｔｉｖｅ間３クロック・異なるバンク間のＡｃｔｉｖｅ→Ａｃｔｉｖｅ間２クロック従って、同期型ＤＲＡＭで高いスループットのメモリア
クセスを実現するためには、 [1] ．同一バンクのページ切替を連続的に行わず、交互
に２つのバンクをアクセスすることにより、ページ切替
え時のオーバーへッドを削減する。

【００４８】[2] ．同一バンク内のファーストページア
クセスのワード数を多くすることにより、バンク切替え
時のオーバーへッドを削減する。といった工夫が必要と
なる。

【００４９】以上のような構成では、メモリ制御部１６
へ入力される画像は入力画像ＰINとローカルデコード画
像Ｐlcの２種類となる。また、メモリ制御部１６が出力
する画像情報としては、図２に示す画像符号化装置の動
き検出部１２に対するものとして“２：１”にサブサン
プリングされた符号化画像Ｐlcと参照画像があり、そし
て、画像符号化装置の動き補償部１３に対するものとし
て、１画素精度（サブサンプリングされていない）の符
号化画像および参照画像としてのローカルデコード画像
Ｐlcがある。これらがメモリ制御部１６より動き検出部
１２と動き補償部１３用に出力されることになる。

【００５０】動き補償部１３にはそれに加え、動き検出
部１２からは動き検出を行った結果、得られる２画素精
度の動きベクトルのデータも入力される。一般に、動画
像としての入力画像ＰINは図５に示すように、フィール
ド単位で、しかも、ラスタスキャンで入力される。つま
り、テレビジョン方式の映像信号（画像信号）は、フレ
ーム画像をラスタスキャンで得るが、ここでのラスタス
キャンは飛び越し走査によるもので線順次であるから、
奇数走査線位置の走査による奇数フィールドと、偶数走
査線位置の走査による偶数フィールドの２フィールド構
成となる。図５においては、奇数フィールドがトップフ
ィールドの画像であり、偶数フィールドがボトムフィー
ルドの画像である。従って、入力画像ＰINは図５のよう
に、“トップフィールド”→“ボトムフィールド”→
“トップフィールド”→“ボトムフィールド”→という
繰り返しによりフィールド単位で、しかも、各フィール
ドはラスタスキャンの走査順序で得られた画像データが
入力画像ＰINとして時々刻々と入力されることになる。

【００５１】一方、画像符号化装置においては画像符号
化処理のためにメモリ制御部１６より出力される画像情
報は、動き補償部１３に与える符号化画像を除いてすべ
てサブサンプリングされた粗い画像（１／２に間引きさ
れた画像）となる。

【００５２】そこで、本実施例のメモリ制御部１６は、
図７に示されるように、入力される画像ＰINを図１に示
す自己のサブサンプリング実行部５４で２種類の異なる
サブサンプリング画像Ｐs1，Ｐs2に分割する。つまり、
１画素精度である入力画像ＰINはラスタスキャンによる
ビットストリームのかたちで画像データが入力されてく
るが、そのラスタスキャンによるビットストリームで与
えられる画像データについて走査進行順に１画素おきに
サンプリングして得た画像のうち、奇数番目の画素のみ
で形成されるサブサンプリング画像Ｐs1と、偶数番目の
画素のみで形成されるサブサンプリング画像Ｐs2との２
種類に分ける。

【００５３】サブサンプリング実行部５４おいてサブサ
ンプリングされたこれらの画像Ｐs1，Ｐs2はいずれも、
１画素分ずつ順次間引いた画像であるから、データ量が
入力画像ＰINの半分の画像であり、精度が１／２の粗い
画像であるから、以下、これを２画素精度の画像と呼ぶ
ことにする。また、これに対して、入力画像ＰINは画素
精度が元のままであるので、元の１画素単位の精度を保
った画像であるという意味で、１画素精度と呼ぶことに
する。

【００５４】そして、この分割されたうちの一方（例え
ば、Ｐs1）はバイト／ワード変換器５５に、また、他方
（例えば、Ｐs2）はバイト／ワード変換器５６へ与え
る。バイト／ワード変換器５５では、与えられたサブサ
ンプリング画像Ｐs1について“８ビット”構成の画素情
報を“８バイト”分まとめ、“６４ビット”幅の情報と
したところで、一時退避用のメモリＳＲＡＭ６２へ書き
込む。

【００５５】バイト／ワード変換器５６では、与えられ
たサブサンプリング画像Ｐs2について“８ビット”構成
の画素情報を“８バイト”分まとめ、“６４ビット”幅
の情報としたところで、時退避用のメモリＳＲＡＭ６０
へ書き込む。

【００５６】アドレス制御部６１はＳＲＡＭ６２および
ＳＲＡＭ６０にそれぞれ一定のワード数分が溜まった時
点で、ＳＲＡＭ６２の画像データについては“Ｐs1単位
群入力画像データ”として、また、ＳＲＡＭ６０の画像
データについては“Ｐs2単位群入力画像データ”とし
て、それぞれメモリバス６９を通してメモリ１８におけ
るそれぞれ別のメモリ領域へ書き込む。こうして、メモ
リ１８にはＰs1単位群入力画像データとＰs2単位群入力
画像データの２種類の単位群入力画像データが記憶され
ていくことになる。

【００５７】入力画像を動き検出部１２で使用するため
の参照画像及び符号化画像として出力する際は、動き検
出自体が大まかでよいことから粗い画像を使用して良
く、そのために、上記書き込んだＰs1単位群入力画像デ
ータとＰs2単位群入力画像データの２種類のデータのう
ち、どちらか一方を読み出してこれをメモリバス６９を
通してＳＲＡＭ６５または６６へ書き込み、そして、こ
れらＳＲＡＭ６５またはＳＲＡＭ６６対応に設けられた
ワード／バイト変換器５８若しくはワード／バイト変換
器５９により、ワード／バイト変換した後、動き検出部
１２へ与える。

【００５８】一方、動き補償部１３へ出力する符号化画
像は、動き補償に使用されるために、精度が要求される
ことから、１画素精度のものである必要があるため、上
記書き込んだＰs1単位群入力画像データとＰs2単位群入
力画像データの２種類のデータそれぞれを読み出して、
これをメモリバス６９を通して一方はＳＲＡＭ６５に、
そして、他方はＳＲＡＭ６６に書き込む。つまり、２つ
の領域からそれぞれ読み出した２種類の入力画像を、同
じワード数だけＳＲＡＭ６５および６６へ書き込む。そ
して、ＳＲＡＭ６５および６６に書き込まれた情報を多
重化器５７に与えて多重化して動き補償部１３へと出力
する。

【００５９】他方、ローカルデコード画像生成部１７に
おいて符号化部１４の出力する符号化処理済みのデータ
のビットストリームをデコードすることにより、生成さ
れたローカルデコード画像Ｐlcは、図８のようにマクロ
ブロックと呼ばれる１６×１６画素の大きさの矩形領域
Ｚn がまとまって入力され、動き補償部１３の参照画像
として１画素精度で出力される（なお、Ｐcel は画素を
示す）。

【００６０】また、動き補償部１３の参照画像の領域
（矩形領域Ｚn ）は、前段の動き検出部１２が求めた動
きベクトルによって１画素精度で変化する。そのため、
動きベクトルに応じて変化するその１画素精度単位での
変化に対応して、参照画像のその該当領域の画像データ
が取り出せる（読み出される）ようにしておく必要があ
る。

【００６１】そこで、本実施例のメモリ制御部１６で
は、図９に示すように、スキャン変換部５１によって、
各フイールド毎のローカルデコード画像Ｐlcは水平４画
素、垂直２画素単位に変換し、バイト／ワード変換部５
２で“４×２”画素の領域を１ワードとして、ＳＲＡＭ
６８に書き込む。すなわち、ローカルデコード画像Ｐlc
は各奇数ラインの各画素（Ｐcel1〜Ｐcel16 ）につい
て、それぞれ順に水平４画素、垂直２画素単位の配列に
変換し、それを４行４列の配置に左上端を起点として下
端方向そして下端に達すると再び上方に戻り上方から下
方へと進んで再び上方に戻りといった順序で、４行４列
の配置位置に順に埋めていくかたちで置換する。

【００６２】また、ローカルデコード画像Ｐlcの各偶数
ラインにおける各画素（Ｐcel1〜Ｐcel16 ）について、
それぞれ順に水平４画素、垂直２画素単位の配列に変換
し、それを４行４列の配置における左上端位置を起点と
して下端方向そして下端に達すると再び上方に戻り上方
から下方へと進んで再び上方に戻りといった順序で、４
行４列の配置位置に順に埋めていかたちで置換する。

【００６３】そして、奇数ラインのデータについての上
記４行４列の配置を上に、そして、その下には前記偶数
ラインのデータについての上記４行４列の配置を置くか
たちで配置を換えたローカルデコード画像Ｐlcを図９の
変換ローカルデコード画像Ｐlcx として得る。ローカル
デコード画像ＰlcはＳＲＡＭ６８にこのようなかたちで
書き込まれることになる。

【００６４】これは次のような利点が得られる配置とな
る。すなわち、マクロブロック（１６×１６画素で構成
される単位ブロック）の中でラスタスキャン順に並んで
いたローカルデコード画像Ｐlcの画素データは奇数ライ
ンである第１ラインの画素が水平４画素、垂直２画素単
位に変換されて図９の１００−１の位置に、奇数ライン
である第３ラインの画素が水平４画素、垂直２画素単位
に変換されて図９の１００−２の位置に、奇数ラインで
ある第５ラインの画素が水平４画素、垂直２画素単位に
変換されて図９の１００−３の位置に、奇数ラインであ
る第７ラインの画素が水平４画素、垂直２画素単位に変
換されて図９の１００−４の位置に、奇数ラインである
第９ラインの画素が水平４画素、垂直２画素単位に変換
されて図９の１００−５の位置に、… …奇数ラインで
ある第２５ラインの画素が水平４画素、垂直２画素単位
に変換されて図９の１００−１３の位置に、… …奇数
ラインである第３１ラインの画素が水平４画素、垂直２
画素単位に変換されて図９の１００−１５の位置に、と
いう具合にそれぞれ配され、また、偶数ラインである第
２ラインの画素が水平４画素、垂直２画素単位に変換さ
れて図９の１００−１７の位置に、偶数ラインである第
４ラインの画素が水平４画素、垂直２画素単位に変換さ
れて図９の１００−１８の位置に、偶数ラインである第
６ラインの画素が水平４画素、垂直２画素単位に変換さ
れて図９の１００−１９の位置に、偶数ラインである第
８ラインの画素が水平４画素、垂直２画素単位に変換さ
れて図９の１００−２０の位置に、偶数ラインである第
２６ラインの画素が水平４画素、垂直２画素単位に変換
されて図９の１００−２４の位置に、… …偶数ライン
である第３４ラインの画素が水平４画素、垂直２画素単
位に変換されて図９の１００−２８の位置に、… …偶
数ラインである第３６ラインの画素が水平４画素、垂直
２画素単位に変換されて図９の１００−２９の位置に、
という具合にそれぞれ配されて変換ローカルデコード画
像Ｐlcxとなる。この結果、全体では８行４列構成とな
った変換ローカルデコード画像Ｐlcx は、上の４行４列
がトップフィールドＦtop であり、下の４行４列がボト
ムフィールドＦbtm の配列となり、左から順に垂直方向
（列方向）列のデータを取り出すと、これがラスタスキ
ャン順のデータ並びとして、しかも、トップフィールド
（奇数フィールド），ボトムフィールド（偶数フィール
ド）その順にペアとして対応するように得られることに
なる。これにより、フィールドのどの位置に参照画像の
領域が来ても、その領域に一致する画像データ列を簡単
に選択抽出可能になる。

【００６５】入力画像ＰINと同様、ＳＲＡＭ内のワード
数が一定量を超えたところで、メモリバス６９を通して
メモリ７０（図２のメモリ１８に相当）に書き込む。そ
して、１フィールド分の書き込みを行う際、図１０に示
すように、１ワードを構成する“４×２”画素のうち、
画素数が少ない垂直方向にＤＲＡＭのファーストページ
アクセスが可能なよう、アドレスを配置すると同時に、
水平方向には互いに異なるバンクが配置されるようにす
る。

【００６６】これにより、動き補償部１３が要求するフ
ィールド内の矩形領域を読み出す際、１回のページアク
セスで読み書きを行うワード数が増大し、ページ切り替
えおよびバンク切り替えによるオーバーヘッドを抑える
ことが可能となる。また、１ワードを“４×２”画素の
矩形領域とすることにより、動き補償部１３が必要とす
る参照画像がどこに存在するかに関係なく、無駄な画素
を読み込むことに起因するオーバーへッドを抑えること
ができるようになる。

【００６７】例えば、動き補償部１３が要求する参照画
像の矩形領域が“２０×１２”画素のサイズである場
合、１ワードを“８×１”画素とすると読み出しに必要
なワード数は、最大“水平４ワード×垂直１２ワード”
となり、合計すると“４８ワード”になる。

【００６８】一方、本実施例の場合には最大でも“水平
６ワード×垂直７ワード”であり、合計“４２ワード”
の読み出しで同じ処理が行えることになる。また、ファ
ーストページアクセスが可能な方向が水平方向である場
合の同期型ＤＲＡＭへのコマンド例を図１１に示す。こ
の図１１は４２ワードを読み出すのに要する制御動作タ
イミングチャートを示しており、このファーストページ
アクセスが可能な方向が水平方向である場合での同期型
ＤＲＡＭへの読み出し制御は、４２ワードを読み出すの
に５５クロック必要となっていることがわかる。

【００６９】これに対して本実施例の場合には、垂直方
向にファーストページアクセスが可能であるため、その
動作は図１２のようになり、この場合での同期型ＤＲＡ
Ｍへの読み出し制御は、図に示されるように４９クロッ
クであり、この４９クロック分で同じ処理が可能となる
ことがわかる。

【００７０】以上、本発明は、ＭＰＥＧ２に代表される
動画像符号化装置において、その入力画像およびローカ
ルデコード画像を保存するフレームメモリにおいての、
高いスループットを実現するために、本発明において
は、入力画像をメモリに格納する前段に画像をサブサン
プリングする手段を配置し、異なる位相のサブサンプリ
ング画像を独立した領域に格納する手段と、サブサンプ
リングした画像に対して動き検出などの処理をする場合
には、片方の領域からのみ読み出すことによってサブサ
ンプリング画像を出力し、１画素精度の原画が必要とな
る処理の場合には、両方の領域から読み出した画像を合
成して出力することによって、不要な領域を読み出すこ
とに起因するメモリアクセスのオーバーへッドを削減さ
せるようにした。

【００７１】また、メモリの１ワードを構成する画素を
矩形とし、その短辺の方向とファーストページアクセス
を行う方向を同一にすることにより、高速なアクセスが
実現できるファーストページアクセスや同期型ＤＲＡＭ
におけるバンク切り替えを有効に利用するとともに、不
要な画素データの読み出しによるスループットの低下抑
制を図るようにした。

【００７２】故に、本発明は、ＭＰＥＧ２に代表される
動画像符号化装置において、その入力画像およびローカ
ルデコード画像を保存するフレームメモリにおいての、
高いスループットを実現することができるようになる。
尚、本発明は上述した実施例に限定されるものではな
く、種々変形して実施可能である。

【００７３】

【発明の効果】以上説明したように、本発明によれば、
動画像符号化において、書き込むべき画像をあらかじめ
サブサンプリングし、位相の異なるサブサンプリング画
像を得てこれらをそれぞれ別に保存するようにしたこと
により、サブサンプリング画像を対象にした動き検出な
どの処理に対して必要な画像の読み出し効率を高めるこ
とができる。

【００７４】また本発明によれば、記憶すべき画像の中
の矩形の画素群を１ワードとすることにより、画像内の
矩形領域を読み出す際の読み出し効率を高めるととも
に、１ワードを構成する矩形の短辺と平行する方向にフ
ァーストベージアクセス可能な隣接するアドレスを配置
することにより、ファーストページアクセスによる書き
込みおよび読み出しのワード数を増大させ、メモリアク
セスの際のオーバーヘツドとなるＤＲＡＭのページ切替
や同期型ＤＲＡＭのバンク切り替えによるスループット
の低下を減少させることができる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
一実施形態を示す要部構成のブロック図。

【図２】本発明を説明するための図であって、本発明に
おける図１の実施形態を用いたエンコーダシステムのブ
ロック図。

【図３】本発明を説明するための図であって、動き補償
の概念を示す図。

【図４】本発明を説明するための図であって、動き検出
の探索範囲の例を示す図。

【図５】本発明を説明するための図であって、本発明の
実施形態における入力画像の入力順序を示す図。

【図６】本発明を説明するための図であって、本発明シ
ステムに於ける同期型ＤＲＡＭでの読み出し処理の一例
を示す図。

【図７】本発明を説明するための図であって、本発明の
実施形態における入力画像の保存方法を示す図。

【図８】本発明を説明するための図であって、本発明の
実施形態におけるローカルデコード画像の入力順序を示
す図。

【図９】本発明を説明するための図であって、本発明の
実施形態におけるローカルデコード画像の保存方法を示
す図。

【図１０】本発明を説明するための図であって、本発明
の実施の形態におけるローカルデコード画像のアドレス
マッピングを示す図。

【図１１】水平方向にファーストページアクセスが可能
な場合の同期型ＤＲＡＭへのアクセス方法を示す図。

【図１２】本発明を説明するための図であって、本発明
の実施の形態における同期型ＤＲＡＭへのアクセス方法
を示す図。

【図１３】従来例におけるメモリの使用法を示す図。

【符号の説明】

１…画素データ２…１ワードを構成する画素データ群１０…入力画像１１…入力画像処理部１２…動き検出部１３…動き補償部１４…符号化部１５…ビットストリーム出力部１６…メモリ制御部１７…ローカルデコード画像生成部１８，７０…画像メモリ５１…スキャン変換部５２，５５，５６…バイト／ワード（ｂｙｔｅ／ｗｏｒ
ｄ）変換器５３、６１、６７…ＳＲＡＭアドレス制御部５４…サブサンプリング画像生成部５７，６４…データ多重化器５８，５９…ワード／バイト（ｗｏｒｄ／ｂｙｔｅ）変
換器６０，６２，６５，６６，６８…ＳＲＡＭ６３…メモリ制御信号発生部６９…メモリデータバス

Claims

【特許請求の範囲】

【請求項１】入力される動画像の符号化対象フレームも
しくはフィールドでの動きを、過去または未来のフレー
ムまたはフィールドを参照することにより動き検出して
その位置を示す動きベクトルを得、該動きベクトルに基
づいて前記符号化対象のフレームまたはフィールドを、
過去または未来のフレームまたはフィールドの類似する
部分から予測し、その残差を符号化する動き補償方式の
画像符号化装置において、動きベクトルを得るための動き検出に使用する画像を、
サブサンプリング画像とすべく、入力画像を１／ｎ（ｎ
は整数）にサブサンプリングして位相の異なる複数のサ
ブサンプリング画像を得る手段と、この得られた各異なる位相のサブサンプリング画像を位
相別に分けて独立に格納するサブサンプリング画像格納
手段と、前記動き検出手段が、サブサンプリング画像に対して動
き検出処理をする場合には、位相別に分けた独立して格
納されたサブサンプリング画像のうち、特定の１位相の
サブサンプリング画像を読み出して出力して動き検出手
段に与え、１画素精度の原画が必要となる動き補償処理
の場合には、位相別に分けた独立して格納されたサブサ
ンプリング画像のそれぞれを読み出し、合成して出力し
て動き補償手段に与えるべく制御する制御手段と、を備
えたことを特徴とする画像符号化装置。
【請求項２】入力される動画像の符号化対象フレームも
しくはフィールドでの動きを、過去または未来のフレー
ムまたはフィールドを参照することにより動き検出して
その位置を示す動きベクトルを得、該動きベクトルに基
づいて前記符号化対象のフレームまたはフィールドを、
過去または未来のフレームまたはフィールドの類似する
部分から予測し、その残差を符号化する動き補償方式の
画像符号化装置において、前記動画像のフィールドまたはフレームを構成する画素
のうちの複数の画素データをまとめ１つのアドレスを生
成するアドレス生成手段と、まとめられた複数の画素データを所定のアドレスに記憶
する画素データ記憶手段と、を具備し、前記画像データ記憶手段はオーバーヘッドなく連続的に
アクセス可能な所定の記憶長を有するものである時、前
記アドレス生成手段において水平方向ｐ画素、垂直方向
ｑ画素（ｐ、ｑは整数）に１つのアドレスを割り当て、
ｐ＜ｑの場合には水平方向、ｐ＞ｑの場合には垂直方向
に連続的にアクセス可能な記憶領域を展開すると共に、
この記憶領域展開に従って読み出しアクセスすることに
より読み出される画像データを前記参照若しくは前記類
似部分として最適利用できるようにしたことを特徴とす
る画像符号化装置。