JP3889505B2

JP3889505B2 - Moving image processing device

Info

Publication number: JP3889505B2
Application number: JP1946798A
Authority: JP
Inventors: 川剛志西
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-01-30
Filing date: 1998-01-30
Publication date: 2007-03-07
Anticipated expiration: 2018-01-30
Also published as: JPH11220734A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像処理装置に係り、特に動画像データにおける動きベクトルの検出や動き補償等を行なう動きベクトル検出装置または動き補償装置に関する。
【０００２】
【従来の技術】
一般に、動画像処理の分野においては、用いられる動画像データ量が膨大であるため、情報圧縮が行なわれている。この情報の圧縮は、画像データの空間的な冗長度，時間的な冗長度および構造的・知識的な冗長度等に対して行なわれており、この際に動画像データにおける動き量（方向も含めれば動きベクトル）を検出したり、この動きを補償したりする技術が必要とされている。この動きベクトル検出または動き補償においては、原画像データから参照画像データを作成して両者の画素値の偏差に基づいて動きベクトルの検出を行なっていた。
【０００３】
このような動きベクトル検出や動き補償の分野においては、その処理の対象としての参照画像は原画像に基づいて原画像と同一の範囲の画素値のデータがメモりに格納されていることが原則であったが、近年参照画像の外縁の外側に対して動きベクトルを検出したり動き補償を行なＵ技術が提案されている。例えば、国際電気通信連合（ＩＴＵ―International Telecommunication Union―）に属する国際電信電話諮問委員会（ＣＣＩＴＴ―Comite Consultatif Internationale Telegraphique Telephonique―）により定められたテレビ電話に関する規格であるＨ．２６３の規格において、参照画像の外部への動きベクトルを検出する概念が認められている。また、ＭＰＥＧ（Moving Picture coding Experts Group）４においても、形状コーディング方式が採用される可能性が高く、画素の値の存在する参照画像領域のさらに外部へ、参照画像の端の画素データを繰り返して、参照画像の領域を拡張する技術が必要になると思われる。
【０００４】
近年、このような動画像圧縮技術の進歩にしたがって、動きベクトル検出や動き補償が行なわれる領域が広がってきている。上述のように、参照画像領域が有意な画像の領域を超えて指定される規格も存在している。そのような場合、有意な画像の端の画素データを、何らかの方法で画像外部に延長して、存在しない画素のデータを補っている。
【０００５】
このような動きベクトル検出や動き補償を参照画像領域の外部にまで拡張する場合、動きベクトル検出もしくは動き補償時には、画像端から食み出した部分の画素のデータを適宜作成する必要がある。この作成方法を複雑に行なう場合もあるが、単純な繰り返しにより表現する場合も多い。後者の単純な繰り返しにより参照画像領域の外部を補完する場合、以下のような従来の動画像処理装置が用いられている。
【０００６】
従来の動きベクトル検出装置または動き補償装置を含む動画像処理装置を用いた場合、参照画像領域の外部の画素に対する画素情報が要求される場合に備えるために、参照画像領域の外部の画素のためのメモリ領域を準備し、参照画像領域の外縁部の画素の画素情報（輝度差・色差等のデータ）をコピーして作成し、参照画像領域の外部の画素のために準備されたメモリ領域に予め記憶させていた。この画素情報の作成に当たっては、まず参照画像領域の外部の部分のアドレスを作成してこのアドレスに参照画像の外縁部の画素の画素情報をコピーしたものを付加して一纏まりのデータとして上記のメモリ領域内に格納するようにして行なっていた。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像処理装置によれば、メモリの異なるアドレスに同一の画素情報をコピーして格納しておき、同一の画素値を異なるアドレスから読み出すことになるため、メモリとアクセスするサイクルがアドレス毎に必要となり、時間的な無駄が大きくなるという問題があった。
【０００８】
また、拡張された参照画像領域に存在するものと仮定されている画素についてのデータを格納することは、そのための情報格納領域をメモリ内に確保しなくてはならず、大きな記憶容量のメモリを必要とするためハードウェア上のコストの拡大を招くという問題もあった。
【０００９】
このため、ソフトウェアにより参照画像の領域の外部に存在するものと仮定される画素についての情報を読出す必要がある場合を判断して、別処理によりそれらの画素に関する情報を作成して動き補償や動きベクトル検出を行なうことも考えられるが、このようなソフトウェアを用いる場合動画像処理装置の動作の手順が煩雑になってしまうという問題があった。
【００１０】
本発明は、動きベクトル検出または動き補償等の動画像処理における参照画像の領域を拡張して利用する場合に、ハードウェア上のコストの増大を伴うことなく、拡張された部分の画素データを短時間で作成することができる動画像処理装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明の基本構成に係る動画像処理装置は、符号化された動画像データを復号化した復号画像から切り出した参照画像の画像データに対して動きベクトル検出および動き補償を含む動画像処理を行なう動画像処理手段を備える動画像処理装置において、一定形状の矩形領域の画像に関する情報としての所定範囲にある第１の参照画像の画素データを記憶する記憶手段と、前記記憶手段に前記画素データが記憶された前記第１の参照画像の前記矩形領域の外縁となる上下左右の４辺の端縁部のアドレスを記述すると共にそのアドレス信号を出力する画像端記述手段と、前記動画像処理手段による動画像処理の結果、前記第１の参照画像の前記矩形領域に含まれない外側部分を含む第２の参照画像の画素データを用いる場合に、前記動画像処理手段より供給されたアドレス信号により指定される画素が前記第１の参照画像の前記矩形領域の外側か内側かを判定する画像内外判定手段と、前記画像内外判定手段の判定の結果、動画像処理に用いる画素が前記第１の参照画像の内側にあるものと判定された場合にはその画素のアドレス信号をそのまま出力すると共に、その画素が前記第１の参照画像の外側にあるものと判定された場合には前記第１の参照画像の外縁部の画素データのアドレスをその画素のアドレスとして付替えて出力するアドレス付替手段と、を備えると共に、前記記憶手段は、矩形のｘ軸がアドレスの下位ｎビットに対応し、矩形のｙ軸がアドレスの上位ｍビットに対応して前記画像を記憶する記憶手段であり、前記画像端記述手段は前記第１の参照画像の外縁部のアドレスをｘ軸はｎビットの数でｙ軸はｍビットの数を用いて記述する画像端記述回路より構成され、前記画像内外判定手段は前記動画像処理手段より供給された前記第２の参照画像の画素のアドレスに関する前記アドレス信号である第１アドレス信号の下位ｎビットと上位ｍビットを、前記画像端記述回路により記述された前記第１の参照画像の外縁部の画素のアドレスをあらわすｘ方向はｎビットの数でｙ方向はｍビット数と比較して供給されたアドレス信号によりそのアドレスが指定される画素が前記第１の参照画像の所定範囲よりも外側か内側かを判定する画像内外判定回路より構成され、前記アドレス付替手段は前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｘ方向の外側ならば下位ｎビットを前記第１の参照画像のｘ方向外縁部の画素のアドレスをあらわすｎビットの数に、ｙ方向の外側ならば上位ｍビットを前記第１の参照画像のｙ方向外縁部の画素のアドレスをあらわすｍビットの数にそれぞれ付け替えるアドレス変換回路と、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給される前記第１アドレス信号をそのまま用いると共に前記第１の参照画像の外側の画素については前記アドレス変換回路により付け替えられた第１の参照画像の外縁部の画素のアドレスを用いるように切り替えて前記第２の参照画像用の画素データのアドレスを前記記憶手段に出力する切替回路と、を備えることを特徴としている。
【００１２】
また、請求項２に係る動画像処理装置は、請求項１に記載のものにおいて、前記画像端記述回路は、前記第１の参照画像領域の境界の右端値を記述する右端値記述部と、左端値のアドレスを記述する左端値記述部と、下端値のアドレスを記述する下端値記述部と、上端値のアドレスを記述する上端値記述部より構成され、前記画像内外判定回路は、前記動画像処理手段より供給された前記第１アドレス信号の下位ｎビットのアドレスである第２アドレス信号と前記右端値記述部の出力する前記右端値とを比較する第１比較部と、前記第２アドレス信号と前記左端値が出力する前記左端値とを比較する第２比較部と、前記第１アドレス信号における第２アドレス信号の次のアドレス（ｎ＋ｍ）〜（ｎ＋１）ビットのアドレスである第３アドレス信号と前記下端値記述部の出力する前記下端値とを比較する第３比較部と、前記第３アドレス信号と前記上端値記述部の出力する前記上端値とを比較する第４比較部より構成され、前記アドレス変換回路は、前記第１比較部の比較結果と前記右端値を入力する第１マルチプレクサ、前記第２比較部の比較結果と前記左端値を入力する第２マルチプレクサ、前記第３比較部の比較結果と前記下端値を入力する第３マルチプレクサ、前記第４比較部の比較結果と前記上端値を入力する第４マルチプレクサより構成され、前記第１マルチプレクサは、前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｘ方向の外側ならば下位ｎビットを前記第１の参照画像のｘ方向外縁部の画素のアドレスをあらわすｎビットの数にアドレスを付け替え、前記第２マルチプレクサは、前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｙ方向の外側ならば上位ｍビットを前記第１の参照画像のｙ方向外縁部の画素のアドレスをあらわすｍビットの数にそれぞれ付け替え、前記第２、第４マルチプレクサは、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給されるアドレス信号をそのまま出力するように構成され、前記切替回路は、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給されるアドレス信号をそのまま用いると共に前記第１の参照画像の外側の画素については前記アドレス変換回路により付け替えられた第１の参照画像の外縁部の画素のアドレスを用いるように切り換えて前記第２の参照画像用の画素データのアドレスを前記記憶手段に出力することを特徴としている。
【００１３】
さらに、請求項３に係る動画像処理装置は、請求項２に記載のものにおいて、前記画像端記述回路が、前記第１の参照画像の前記所定範囲の外縁部の画素についてのアドレスを予めテーブルとして記憶する読出し専用記憶素子より構成されていることを特徴としている。
【００１４】
さらに、請求項４に係る動画像処理装置は、請求項２に記載のものにおいて、前記画像端記述回路が、前記動画像処理手段より出力される前記アドレス信号により前記第１の参照画像の前記所定範囲を変更し、この変更された所定範囲の外縁部の画素のアドレスを記憶する書換え可能な記憶素子より構成されていることを特徴としている。
【００１５】
また、請求項５に係る動画像処理装置は、請求項１に記載のものにおいて、前記動画像処理手段が、原画像と前記第１または第２の参照画像との間の動きベクトルの検出動作を行なう動きベクトル処理手段より構成されていることを特徴としている。
【００１６】
また、請求項６に係る動画像処理装置は、請求項１に記載のものにおいて、前記動画像処理手段が、伝送されてきた原画像と第１または第２の参照画像との間の動画像における動きを補償する動き補償手段より構成されていることを特徴としている。
【００１７】
また、請求項７に係る動画像処理装置は、請求項１に記載のものにおいて、前記第１の参照画像の前記所定範囲が矩形状の外縁を満たすものであり、前記第２の参照画像が前記矩形状の第１の参照画像の４辺のうちの必要な辺または角部の画素のアドレスを付け替えることにより第１の参照画像を単純に拡張した所定範囲を有することを特徴としている。
【００１８】
また、請求項８に係る動画像処理装置は、請求項１に記載のものにおいて、前記第１の参照画像の前記所定範囲は矩形状の一部の角部が矩形状に凹んだ特殊形状となった外縁を満たすものであり、前記第２の参照画像は前記特殊形状における単純な外縁の外側の画素については前記第１の参照画像の外縁部の画素のアドレスと付け替えることによりそのアドレスを単純に拡張すると共に、前記凹んだ部分の外縁の外側の画素については直交する凹んだ２辺上の画素情報の平均値をとってその画素のデータをこの平均値に付け替える平均値付替手段を更に備えることを特徴としている。
【００１９】
本発明に係る動画像処理装置においては、画像内外判定アドレス付替手段により、動画像処理に使用される参照画像格納用メモリに対して、参照画像の領域の端部を記憶する回路を付加し、この領域端部から外側の領域のアドレスを単純なハードウェアにより自動的に領域の端部を表示するアドレスに変換し、対応する領域の画素データを動画像処理手段に送り返すようにしている。この画像内外判定アドレス付替手段を動きベクトル検出手段、もしくは動き補償手段と組合わせた場合、同一の内容の繰り返しで済む画像領域の画素データを作成してメモリに格納する手間が省け、また、参照画像の領域の端部の位置が固定されている場合には、情報内容を記憶するメモリの実質的な領域を作成する必要も無くなる。したがって、データの繰り返しコピーとこれに伴うデータの転送動作を省略することができる。
【００２０】
【発明の実施の形態】
以下、本発明に係る動画像処理装置の実施形態について、添付図面を参照しながら詳細に説明する。まず、図１を用いて本発明の基本原理を示す第１実施形態に係る動画像処理装置について説明する。ここで、本明細書において用いられる動画像処理装置とは、動きベクトル検出装置と動き補償装置との両者を含む上位概念としての用語である。
【００２１】
図１において、動きベクトル検出装置または動き補償装置を含む動画像処理装置１は、画素データを記憶する記憶手段２と、動きベクトル検出や動き補償等の所定の動画像処理を行なうと共に記憶手段２のアドレスを指定する動画像処理手段３と、参照画像の領域の外縁部よりも外側に位置する画素のアドレスを外縁部の画素のアドレスに付け替える画像内外判定アドレス付替手段５と、を備えている。記憶手段２は、符号化された動画像データを復号化した復号画像から切り出すことのできる所定範囲の画像である第１の参照画像の画素データを記憶している。
【００２２】
動画像処理手段３は、前記第１の参照画像の前記所定範囲よりも広い画像領域であって前記第１の参照画像に含まれていない部分の画素データが前記第１の参照画像の外縁部の画素データを拡張して作成される第２の参照画像を参照するために、前記記憶手段のアドレスを指定するアドレス信号を出力する。画像内外判定アドレス付替手段５は、前記アドレス信号に基づいてそのアドレスの指定する画素が前記第１の参照画像の前記所定範囲の外側か内側かを判定し、その画素が第１の参照画像の内側にある場合にはその画素のアドレスをそのまま出力すると共に、その画素が第１の参照画像の外側にある場合には前記第１の参照画像の所定範囲の外縁部の画素のアドレスをその画素のアドレスとして付替えて出力している。
【００２３】
次に、本発明の要旨である画像内外判定アドレス付替手段５の詳細な構成を備える第２実施形態に係る動画像処理装置について、図２を用いて説明する。図２において、画像内外判定アドレス付替手段５は、第１の参照画像領域の上下左右の端縁部を記述する画像端記述回路１０と、動画像処理手段３より供給されるアドレス信号Ｓ１と画像端記述回路１０に格納されている第１の参照画像領域の端縁部のアドレスとを比較してそのアドレスが第１の参照画像の領域に含まれているか否かを判定する画像内外判定回路１５と、そのアドレスが第１の参照画像の領域に含まれていないものと判定されたときにそのアドレスを第１の参照画像の外縁部に位置する画素のアドレスに変換するアドレス変換回路２０と、第１の参照画像領域に含まれるアドレスについては動画像処理手段３より供給されたアドレス信号Ｓ１をそのまま出力すると共に第１の参照画像領域より食み出したアドレスについては変換されたアドレスに切り替えて出力する切替回路２５と、より構成されている。
【００２４】
この第２実施形態に係る動画像処理装置においては、画像内外判定アドレス付替手段５を構成する画像端記述回路が例えば読出し専用メモリ（ＲＯＭ―Read Only Memory―）またはワイヤロジックにより構成されている。このメモリ又はワイヤロジックは、画素データ記憶手段２のほかに設けられるものであり、固定的な画像端を有する第１の参照画像領域に対してその画像領域の端縁部を記述する回路である。なお、本明細書においては、第１の参照画像領域の外縁部より食み出した領域で、拡張された参照領域として動画像処理に用いられる領域のことを第２の参照画像領域と定義して用いることとする。
【００２５】
次に、画像端記述回路、画面内外判定回路、アドレス変換回路を効率よくまとめることができる具体的な回路構成例を第３実施形態として図３を用いて説明する。このときの第１の参照画像領域の画素の値と、アドレスの割付けは図４のようになっているものとする。図４において、第１の参照画像領域３１と第２の参照画像領域３２とは、第１の参照画像の外縁部の画素又は半画素による境界３３により分けられる。第２の参照画像領域３２は最外縁の輪郭３４と境界３３により囲まれた部分である。
【００２６】
このような図４に示される参照画像の領域は、動画像処理手段より供給されるアドレス信号Ｓ１により、これらの領域に含まれる画素のアドレスが指定されている。すなわち、ｘ方向の座標が下位ｎビット、ｙ方向の座標がその次のｍビットで示されるようになっている。画面内外判定回路は、（下位ｎビット）＜左端数値、（下位ｎビット）＞右端数値、（次のｍビット）＜上端数値、（次のｍビット）＞下端数値をそれぞれ判定し、おのおのが成立した場合には、下位ｎビットに左端数値、右端数値、次のｍビットに上端数値、下端数値を代入した数値により、変換後アドレスの下位（ｍ＋ｎ）ビットとして出力する。このように指定していくことにより、図４に示すような第１，第２の参照画像領域３１，３２が実現できる。
【００２７】
このような第１の参照画像３１の領域を第２の参照画像３２の領域にまで拡大してその画像データを用いる場合、図３に示す第３実施形態のように、画像端記述回路１０は、画像端を固定する場合はＲＯＭもしくはワイヤードロジックにより構成されており、第１の参照画像領域の境界３３の右端値のアドレスを記述する右端値記述部１１と、左端値のアドレスを記述する左端値記述部１２と、下端値のアドレスを記述する下端値記述部１３と、上端値のアドレスを記述する上端値記述部１４と、を備えている。
【００２８】
画像内外判定回路１５は、４つの比較部１６，１７，１８，１９により構成されており、動画像処理手段３より供給されるアドレス信号Ｓ１は、アドレス下位ｎビットのアドレス信号Ｓ２と、その次のアドレス（ｎ＋ｍ）〜（ｎ＋１）ビットのアドレス信号Ｓ３とに分かれて供給されている。比較部１６，１７にはアドレス信号Ｓ２が供給されており、比較部１８，１９にはアドレス信号Ｓ３が供給されている。
【００２９】
アドレス変換回路２０は、図３に示すように、４つのマルチプレクサ（以下、必要に応じてＭＵＸ― MUlti-pleXer ―と略記する。）２１，２２，２３，２４より構成されており、画素の存在する領域が第２の参照画像領域内であるものと判定されたときに、その画素のアドレスを境界３３上の画素のアドレスに変換する。この結果４角の矩形領域については、第１の参照画像領域のそれぞれの角部に位置する画素のアドレスがこの矩形領域に存在するものと仮定される全ての画素のアドレスとして用いられ、第１の参照画像領域３１の４辺の外側に相当する領域に存在するものと仮定される画素のアドレスはその辺より直交して第２の参照画像領域の外縁部３４までに至る図中の矢印のような対応する辺上の画素のアドレスが適用されて、それぞれの書換えが行なわれ、付け替えられたアドレス信号Ｓ４およびＳ５が切替回路２５に供給される。
【００３０】
切替回路２５は、動画像処理手段３より供給されるアドレス信号Ｓ１に含まれる異なる下位ビットのアドレス信号Ｓ２およびＳ３と、付け替えられたアドレス信号Ｓ４およびＳ５を切り換えて、第１の参照画像の領域内のアドレスに対してはそのままその画素のアドレスを出力し、領域外のアドレスに対しては第１の参照画像の外縁部のアドレスに付け替えて出力するように切り替えている。
【００３１】
なお、上述の第１ないし第３実施形態に係る動画像処理装置は、第１の参照画像の領域が図４に示されるような任意の４角４辺を備える矩形状の外縁部３３により囲まれる領域であるものとして説明したが、本発明はこれに限定されず、図５に示すような凹み３２Ａを有するような第１の参照画像領域についてもアドレスの書換が行なえるように構成しても良い。この凹み３２Ａは、境界線３３Ａ，３３Ｂにより形成されているが、この部分のアドレスの付替は、境界線３３Ａ上の画素のアドレスと境界線３３Ｂ上の画素のアドレスとの平均値をとってその平均値によりこの領域３２Ａに存在するものと仮定される画素のアドレスとして切替出力するように構成すればよい。
【００３２】
図６は、図５に示されるような特殊形状をした第１の参照画像領域の外縁部を拡張して第２の参照画像領域の最外縁部３４にまで動画像処理を拡大して行なう第４実施形態に係る動画像処理装置の構成を示している。図６において、図２に示した第２実施形態の動画像処理装置の構成要素と同一符号を付したものは、同一または相当する構成要素を表すものとして重複説明を省略する。
【００３３】
第４実施形態に係る動画像処理装置は、画素の輝度差や色差等の画素データを記憶する画素データ記憶手段２と、動きベクトル検出手段または動き補償手段等の動画像処理手段３と、第２実施形態と同様の構成を有する画像内外判定アドレス付替手段５と、を備え、前記図５の凹み３２Ａの画素値を境界線３３Ａ，３３Ｂ上の画素値の平均値を算出して付け替える平均値付替手段３５が、画素データ記憶手段２と動画像処理手段３との間に設けられている。この平均値付替手段３５は、画素データ記憶手段より出力される画素データに基づき境界線上３３Ａ，３３Ｂ上の画素値の平均値を求める画素値平均化回路３６と、図５に示す領域３２Ａの画素データに関しては境界線３３Ａ，３３Ｂの画素値を動画像処理手段３に供給すると共に領域３２についてはアドレスを付け替えて領域３１の境界線上３３の画素値データを供給するように動画像処理手段３への画素データ出力を切り換える切替回路３７と、より構成されている。なお、第１の参照画像の領域３１の画素値データの出力については図３および図４の第３実施形態に係る動画像処理装置と同様に、その画素のアドレスによりその画素のデータをそのまま出力することになる。
【００３４】
なお、上述した第１ないし第４実施形態においては、何れも第１の参照画像３１を記述する画像記述回路１０をＲＯＭまたはワイヤードロジック回路により構成して、第１の参照画像の領域の記述を固定的に行なうものとして説明したが、本発明はこれに限定されず、第１の参照画像の領域を可変に設定するようにしても良い。すなわち、図７に示す第５実施形態に係る動画像処理装置のように、動画像処理手段３より供給されるアドレス信号Ｓ１を受け入れて第１の参照画像の領域を可変に設定できる画像端記述回路４０を備えている。
【００３５】
このように構成することにより、第１の参照画像３１は、図４に示されるものに限られずに、例えばこの領域３１を縦に２分割した縦長の長方形のように異なる矩形の形状の範囲に変更することが可能となり、簡単な構成であっても要求される形状・面積の第１の参照画像領域を設定することが可能となる。この図７に示された第５実施形態に係る動画像処理装置は、上記アドレス信号Ｓ１が供給されて第１の参照画像領域３１の形状・面積を変更可能な画像端記述回路４０が設けられた画像内外判定アドレス付替回路５Ａを備えている。
【００３６】
この画像内外判定アドレス付替回路５Ａの具体的な構成の一例として、図８に示す第６実施形態に係る動画像処理装置について説明する。この図８に示す第６実施形態は、図３に示す第３実施形態に対応するものであり、図３と同一符号を付した構成要素は第３実施形態と同一の構成要素を示すものとして重複説明を省略する。異なる点は、画像端記述回路４０に下位ｎビットのアドレス信号Ｓ２とその次の下位（ｎ＋ｍ）〜（ｎ−１）ビットのアドレス信号Ｓ３が供給され、アドレス信号Ｓ２により右端値および左端値をそれぞれ記述する右端値記述回路４１および左端値記述回路４２と、アドレス信号Ｓ３により下端値と上端値をそれぞれ記述する下端値記述部４３および上端値記述部４４とが設けられている。このように画像端を動的に変化させる場合には、各記述部４１ないし４４をフリップフロップにより構成してもよいし、ランダムアクセスメモリ（ＲＡＭ―Random Access Memory―）により構成しても良い。このように構成する場合には、動画像に表示される物体の形状の変化等の必要性によりフリップフロップもしくはＲＡＭの内容を書き換えて第１の参照画像領域を変更することになる。
【００３７】
なお、第５および第６実施形態に係る動画像処理装置のように動的に第１の参照画像領域を変更する場合であっても、第４実施形態に係る動画像処理装置のように、第１の参照画像の領域の形状を凹み３２Ａを有するものにすることも可能である。例えば、図９に示すような第７実施形態に係る動画像処理装置のように図２に示す第２実施形態と図６に示す第４実施形態とを組み合わせても良い。この第７実施形態に係る動画像処理装置は、画像内外判定アドレス付替手段５に第１の参照画像の領域を可変にする画像記述回路４０が設けられていると共に、画素データ記憶手段２の出力に基づいて第１の参照画像領域の凹み部分に損算するものと仮定される画素のデータを縦横の境界線上の画素データの平均値により算出する平均化回路３６と切替回路３７とを備える平均値付替手段３５が、記憶手段２と動画像処理手段３との間に設けられている。
【００３８】
以上の構成により、第１の参照画像の形状を完全な矩形状出なく凹み部分を有する形状とすると共に、その形状や面積を可変とすることもでき、動画像処理のより精密な制御が可能となる。
【００３９】
【発明の効果】
以上詳細に説明したように、本発明に係る動画像処理装置によれば、参照画像領域を拡張して取り扱う場合のように画素データを特定のアドレスにコピーすることにより繰り返しデータを作成する必要性がある場合に、拡張された第２の参照画像の領域にある画素に、第１の参照画像の領域の境界線上の画素のアドレスを付け替えて出力することにより、画素データの内容までを繰り返しコピーする手間が省け、参照画像データを作成する際の時間的なロスを省略することができると共に、全般的なコストの低減と動画像処理の迅速化とを図ることができる。また、繰り返しデータを格納するメモリ領域を用意しなくてもよいため、メモリ量を削減でき、ハードウェア構成の簡略化を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像処理装置の構成を示すブロック図。
【図２】第２実施形態に係る動画像処理装置の構成を示すブロック図。
【図３】第３実施形態に係る動画像処理装置の構成を示すブロック図。
【図４】第１ないし第３実施形態に係る動画像処理装置における第１の参照画像と第２の参照画像の領域の関係を示す説明図。
【図５】本発明の第４実施形態に係る動画像処理装置における参照画像領域の形状の一例を示す説明図。
【図６】本発明の第４実施形態に係る動画像処理装置の構成を示すブロック図。
【図７】第５実施形態に係る動画像処理装置の構成を示すブロック図。
【図８】第６実施形態に係る動画像処理装置の構成を示すブロック図。
【図９】第７実施形態に係る動画像処理装置の構成を示すブロック図。
【符号の説明】
１動画像処理装置（動きベクトル検出装置・動き補償装置）
２（画素データ）記憶手段
３動画像処理手段（動きベクトル処理手段・動き補償手段）
５画像内外判定アドレス付替手段
１０，４０画像端記述回路
１５画像内外判定回路
２０アドレス変換回路
２５切替回路
３１第１の参照画像領域
３２第２の参照画像領域
３５平均値付替手段
３６画素値平均化回路
３７切替回路
Ｓ１アドレス信号
Ｓ２下位ｎビットアドレス信号
Ｓ３その次の下位（ｎ＋ｍ）〜（ｎ−１）ビットアドレス信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus, and more particularly, to a motion vector detecting apparatus or a motion compensating apparatus that performs motion vector detection and motion compensation in moving image data.
[0002]
[Prior art]
In general, in the field of moving image processing, information compression is performed because the amount of moving image data used is enormous. This information compression is performed on the spatial redundancy, temporal redundancy, structural / knowledge redundancy, etc. of the image data. There is a need for a technique for detecting a motion vector if it is included or for compensating for this motion. In this motion vector detection or motion compensation, reference image data is created from original image data, and a motion vector is detected based on a deviation between both pixel values.
[0003]
In the field of motion vector detection and motion compensation, in principle, the reference image to be processed is stored in the memory with pixel value data in the same range as the original image based on the original image. However, in recent years, a U technique has been proposed in which a motion vector is detected or motion compensation is performed outside the outer edge of a reference image. For example, the H.264 standard for videophones established by the CCITT (Comite Consultatif Internationale Telegraphique Telephonique) belongs to the International Telecommunication Union (ITU). In the H.263 standard, the concept of detecting a motion vector to the outside of a reference image is recognized. Also in MPEG (Moving Picture coding Experts Group) 4, there is a high possibility that the shape coding method is adopted, and pixel data at the end of the reference image is repeated outside the reference image area where the pixel value exists. Therefore, it seems necessary to expand the reference image area.
[0004]
In recent years, the area where motion vector detection and motion compensation are performed has expanded with the progress of such moving image compression technology. As described above, there is also a standard in which the reference image area is specified beyond the significant image area. In such a case, the pixel data at the edge of the significant image is extended to the outside of the image by some method to compensate for the data of the nonexistent pixel.
[0005]
When such motion vector detection or motion compensation is extended to the outside of the reference image area, it is necessary to appropriately generate pixel data of a portion protruding from the image edge during motion vector detection or motion compensation. Although this creation method may be performed in a complicated manner, it is often expressed by simple repetition. When the outside of the reference image area is complemented by the simple repetition of the latter, the following conventional moving image processing apparatus is used.
[0006]
When a moving image processing device including a conventional motion vector detection device or motion compensation device is used, in order to prepare for pixel information for pixels outside the reference image region, for pixels outside the reference image region The memory area is prepared, and the pixel information (data such as luminance difference and color difference) of the pixels at the outer edge of the reference image area is copied and created, and the memory area prepared for the pixels outside the reference image area is prepared. It was memorized beforehand. In creating the pixel information, first, an address of the external portion of the reference image area is created, and a copy of the pixel information of the pixel at the outer edge of the reference image is added to the address, and the above-mentioned data is obtained as a set of data. It was done by storing in the memory area.
[0007]
[Problems to be solved by the invention]
However, according to the above-described conventional moving image processing apparatus, the same pixel information is copied and stored at different addresses in the memory, and the same pixel value is read from different addresses. There is a problem that a cycle is required for each address, and time is wasted.
[0008]
In addition, storing data about pixels that are assumed to exist in the expanded reference image area requires that an information storage area for that purpose be secured in the memory, and a memory with a large storage capacity is provided. There is also a problem that the cost on hardware is increased because it is necessary.
[0009]
For this reason, when it is necessary to read out information about pixels assumed to exist outside the area of the reference image by software, information on these pixels is created by separate processing to perform motion compensation or Although it is conceivable to perform motion vector detection, when such software is used, there is a problem in that the operation procedure of the moving image processing apparatus becomes complicated.
[0010]
According to the present invention, when an area of a reference image is expanded and used in moving image processing such as motion vector detection or motion compensation, the expanded portion of pixel data is shortened without an increase in hardware cost. An object of the present invention is to provide a moving image processing apparatus that can be created in time.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a moving image processing apparatus according to the basic configuration of the present invention provides motion vector detection and motion compensation for image data of a reference image cut out from a decoded image obtained by decoding encoded moving image data. In a moving image processing apparatus comprising moving image processing means for performing moving image processing including ,one Storage means for storing pixel data of a first reference image in a predetermined range as information related to an image of a rectangular area having a fixed shape; and the rectangle of the first reference image in which the pixel data is stored in the storage means Image edge description means for describing the addresses of the edge portions of the upper, lower, left, and right sides, which are the outer edges of the region, and outputting the address signal thereof, and the result of the moving image processing by the moving image processing means, the first reference image When using pixel data of a second reference image including an outer portion not included in the rectangular region of Supplied by moving image processing means As a result of the determination by the image inside / outside determining means for determining whether the pixel specified by the address signal is outside or inside the rectangular area of the first reference image, the pixels used for the moving image processing are When it is determined that the pixel is inside the first reference image, the address signal of the pixel is output as it is, and when it is determined that the pixel is outside the first reference image, Address assigning means for assigning and outputting the address of the pixel data at the outer edge of the first reference image as the address of the pixel. The storage means is a storage means for storing the image in which the rectangular x-axis corresponds to the lower n bits of the address and the rectangular y-axis corresponds to the upper m bits of the address, and the image edge description means Is composed of an image edge description circuit which describes the address of the outer edge of the first reference image using the number of n bits on the x axis and the number of m bits on the y axis, and the image inside / outside determination means is the moving image The low-order n bits and high-order m bits of the first address signal, which is the address signal related to the pixel address of the second reference image supplied from the processing means, are described by the image edge description circuit. A pixel whose address is specified by an address signal supplied in comparison with the number of n bits in the x direction and the number of m bits in the y direction, which represents the address of the pixel at the outer edge of the image, is the first reference image. An image inside / outside determination circuit that determines whether the image is outside or inside a fixed range is included, and the address assigning means determines that the address of the pixel is outside the first reference image by the image inside / outside determination circuit. If the address of the pixel is outside the x direction, the lower n bits are the number of n bits representing the address of the pixel at the outer edge of the first reference image in the x direction. Are converted to m-bit numbers representing the addresses of pixels at the outer edge of the first reference image in the y direction, and pixels inside the first reference image based on the determination of the image internal / external determination circuit For the above, the first address signal supplied from the moving image processing means is used as it is, and pixels outside the first reference image are sent to the address conversion circuit. Ri replacement was switched to use the address of the pixel of the outer edge portion of the first reference picture and a switching circuit for outputting an address of the pixel data for the second reference image in said storage means It is characterized by that.
[0012]
A moving image processing apparatus according to claim 2 is the apparatus according to claim 1, The image edge description circuit includes a right edge value description part describing a right edge value of a boundary of the first reference image area, a left edge value description part describing an address of a left edge value, and a lower edge value describing an address of a lower edge value. A description part and an upper value description part describing the address of the upper value, and the image inside / outside determination circuit is a second n-bit address of the first address signal supplied from the moving image processing means. A first comparison unit that compares the address signal and the right end value output from the right end value description unit; a second comparison unit that compares the second address signal and the left end value output from the left end value; A third comparison unit that compares a third address signal that is an address (n + m) to (n + 1) bits next to the second address signal in the first address signal and the lower end value output from the lower end value description unit; , A third comparing unit that compares the third address signal with the upper end value output from the upper end value description unit, and the address conversion circuit inputs the comparison result of the first comparing unit and the right end value. A first multiplexer, a second multiplexer for inputting the comparison result of the second comparison unit and the left end value, a third multiplexer for inputting the comparison result of the third comparison unit and the lower end value, and a comparison result of the fourth comparison unit And the fourth multiplexer for inputting the upper end value. The first multiplexer receives the pixel when the image inside / outside determination circuit determines that the address of the pixel is outside the first reference image. If the address of the first reference image is outside the x direction, the lower n bits are changed to an n bit number representing the address of the pixel at the outer edge of the first reference image in the x direction, If the pixel address is determined to be outside the first reference image by the image inside / outside determination circuit, the second multiplexer sets the first m bits if the pixel address is outside the y direction. The second and fourth multiplexers are arranged on the inner side of the first reference image based on the determination of the image internal / external determination circuit, respectively, with the number of m bits representing the address of the pixel at the outer edge of the reference image in the y direction. The pixel is configured to output the address signal supplied from the moving image processing means as it is, and the switching circuit is configured to detect the pixel inside the first reference image based on the determination by the image inside / outside determination circuit. The address signal supplied from the moving image processing means is used as it is, and pixels outside the first reference image are sent to the address conversion circuit. The address of the pixel data for the second reference image is switched to use the pixel address of the outer edge portion of the first reference image that has been replaced, and the address of the pixel data for the second reference image is output to the storage means. It is characterized by that.
[0013]
Furthermore, the moving image processing apparatus according to claim 3 is the image processing apparatus according to claim 2, wherein the image edge description circuit previously stores addresses of pixels in the outer edge portion of the predetermined range of the first reference image. As a read-only storage element.
[0014]
The moving image processing apparatus according to claim 4 is the moving image processing apparatus according to claim 2, wherein the image edge description circuit is configured to output the first reference image based on the address signal output from the moving image processing means. It is characterized in that it comprises a rewritable storage element that changes the predetermined range and stores the addresses of the pixels in the outer edge of the changed predetermined range.
[0015]
The moving image processing apparatus according to claim 5 is the moving image processing device according to claim 1, wherein the moving image processing means detects a motion vector between the original image and the first or second reference image. It is characterized by comprising motion vector processing means for performing.
[0016]
The moving image processing apparatus according to claim 6 is the moving image processing device according to claim 1, wherein the moving image processing means is a moving image between the transmitted original image and the first or second reference image. It is characterized by comprising motion compensation means for compensating for motion in
[0017]
A moving image processing apparatus according to claim 7 is the moving image processing apparatus according to claim 1, wherein the predetermined range of the first reference image satisfies a rectangular outer edge, and the second reference image is It has a predetermined range in which the first reference image is simply expanded by changing addresses of pixels of necessary sides or corners of the four sides of the rectangular first reference image.
[0018]
According to an eighth aspect of the present invention, there is provided the moving image processing apparatus according to the first aspect, wherein the predetermined range of the first reference image has a special shape in which some corners of a rectangular shape are recessed in a rectangular shape. The second reference image has a simple address by replacing the pixel outside the simple outer edge in the special shape with the address of the pixel at the outer edge of the first reference image. And an average value assigning means for taking an average value of pixel information on two orthogonal sides that are orthogonal to the outer edge of the recessed portion and replacing the pixel data with the average value. It is characterized by providing.
[0019]
In the moving image processing apparatus according to the present invention, a circuit for storing the end of the reference image region is added to the reference image storage memory used for moving image processing by the image inside / outside determination address allocating means. The address of the area outside the area end is automatically converted to an address for displaying the end of the area by simple hardware, and the pixel data of the corresponding area is sent back to the moving image processing means. When this image inside / outside determination address allocating means is combined with the motion vector detecting means or the motion compensating means, it is possible to save the trouble of creating pixel data of an image area that can be repeated with the same contents and storing it in the memory. When the position of the end of the reference image area is fixed, it is not necessary to create a substantial area of the memory for storing information contents. Accordingly, it is possible to omit repeated copying of data and data transfer operation associated therewith.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a moving image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. First, a moving image processing apparatus according to the first embodiment showing the basic principle of the present invention will be described with reference to FIG. Here, the moving image processing apparatus used in this specification is a term as a general concept including both a motion vector detection apparatus and a motion compensation apparatus.
[0021]
In FIG. 1, a moving image processing device 1 including a motion vector detecting device or a motion compensating device performs storage device 2 for storing pixel data, predetermined moving image processing such as motion vector detection and motion compensation, and storage device 2. And an image inside / outside determination address assigning means 5 for changing the address of a pixel located outside the outer edge of the reference image area to the address of the pixel at the outer edge. Yes. The storage unit 2 stores pixel data of a first reference image that is an image in a predetermined range that can be cut out from the decoded image obtained by decoding the encoded moving image data.
[0022]
The moving image processing means 3 is configured such that pixel data of a portion of the first reference image that is an image region wider than the predetermined range and is not included in the first reference image is an outer edge portion of the first reference image. In order to refer to the second reference image created by expanding the pixel data, an address signal designating the address of the storage means is output. The image inside / outside determination address allocating means 5 determines whether the pixel designated by the address is outside or inside the predetermined range of the first reference image based on the address signal, and the pixel is the first reference image. If the pixel address is outside the first reference image, the address of the pixel at the outer edge of the predetermined range of the first reference image is output. It is output as a pixel address.
[0023]
Next, a moving image processing apparatus according to the second embodiment having a detailed configuration of the image inside / outside determination address allocating means 5 which is the gist of the present invention will be described with reference to FIG. In FIG. 2, the image inside / outside determination address allocating means 5 includes an image edge description circuit 10 that describes the upper, lower, left and right edge portions of the first reference image area, and an address signal S1 supplied from the moving image processing means 3. Image inside / outside determination for comparing the address of the edge of the first reference image area stored in the image edge description circuit 10 to determine whether or not the address is included in the area of the first reference image The circuit 15 and an address conversion circuit 20 that converts the address into the address of a pixel located at the outer edge of the first reference image when it is determined that the address is not included in the region of the first reference image. For the address included in the first reference image area, the address signal S1 supplied from the moving image processing means 3 is output as it is, and the address protruding from the first reference image area is output. A switching circuit 25 switches and outputs the conversion address is more configurations.
[0024]
In the moving image processing apparatus according to the second embodiment, the image edge description circuit constituting the image inside / outside determination address assigning means 5 is constituted by, for example, a read only memory (ROM) or wire logic. . This memory or wire logic is provided in addition to the pixel data storage means 2 and is a circuit that describes the edge of the image area with respect to the first reference image area having a fixed image edge. . In the present specification, a region that protrudes from the outer edge of the first reference image region and is used as a reference region that is used for moving image processing is defined as a second reference image region. Will be used.
[0025]
Next, a specific circuit configuration example that can efficiently combine the image edge description circuit, the screen inside / outside determination circuit, and the address conversion circuit will be described as a third embodiment with reference to FIG. Assume that the pixel values and addresses in the first reference image area at this time are as shown in FIG. In FIG. 4, the first reference image region 31 and the second reference image region 32 are divided by a boundary 33 formed by pixels or half pixels of the outer edge portion of the first reference image. The second reference image area 32 is a portion surrounded by the outermost contour 34 and the boundary 33.
[0026]
In the reference image areas shown in FIG. 4, the addresses of the pixels included in these areas are designated by the address signal S1 supplied from the moving image processing means. That is, the coordinate in the x direction is indicated by the lower n bits, and the coordinate in the y direction is indicated by the next m bits. The screen inside / outside judgment circuit judges (lower n bits) <leftmost numerical value, (lower n bits)> rightmost numerical value, (next m bits) <upper numerical value, (next m bits)> lower numerical value, respectively. If it is established, the leftmost numerical value, the rightmost numerical value are substituted for the lower n bits, the numerical value obtained by substituting the upper numeric value and the lower numeric value for the next m bits is output as the lower (m + n) bits of the converted address. By specifying in this way, the first and second reference image areas 31 and 32 as shown in FIG. 4 can be realized.
[0027]
When the area of the first reference image 31 is expanded to the area of the second reference image 32 and the image data is used, the image edge description circuit 10 is used as in the third embodiment shown in FIG. When the image end is fixed, the image end is configured by ROM or wired logic, and the right end value description unit 11 that describes the address of the right end value of the boundary 33 of the first reference image area and the left end that describes the address of the left end value A value description unit 12, a lower end value description unit 13 describing an address of the lower end value, and an upper end value description unit 14 describing an address of the upper end value are provided.
[0028]
The image inside / outside determination circuit 15 is composed of four comparison units 16, 17, 18, and 19. The address signal S1 supplied from the moving image processing means 3 is an address signal S2 of lower address n bits, and the next Address Su ( n + m) to (n + 1) Separately supplied to the bit address signal S3. An address signal S2 is supplied to the comparison units 16 and 17, and an address signal S3 is supplied to the comparison units 18 and 19.
[0029]
As shown in FIG. 3, the address conversion circuit 20 is composed of four multiplexers (hereinafter, abbreviated as MUX-MUlti-pleXer-) 21, 22, 23, and 24, and the presence of pixels. When it is determined that the area to be processed is within the second reference image area, the address of the pixel is converted to the address of the pixel on the boundary 33. As a result, for the rectangular area of four corners, the addresses of the pixels located at the respective corners of the first reference image area are used as the addresses of all the pixels assumed to exist in the rectangular area. The address of the pixel assumed to be present in the area corresponding to the outside of the four sides of the reference image area 31 of the reference image area 31 is indicated by the arrow in the figure extending from that side to the outer edge 34 of the second reference image area. The addresses of the pixels on the corresponding side are applied, and rewriting is performed. The replaced address signals S4 and S5 are supplied to the switching circuit 25.
[0030]
The switching circuit 25 switches the address signals S2 and S3 of different lower bits included in the address signal S1 supplied from the moving image processing means 3 and the replaced address signals S4 and S5 to thereby change the first reference image area. The address of the pixel is output as it is for the internal address, and the address outside the area is switched to the address of the outer edge of the first reference image for output.
[0031]
In the moving image processing apparatus according to the first to third embodiments described above, the first reference image region is surrounded by a rectangular outer edge portion 33 having arbitrary four corners as shown in FIG. However, the present invention is not limited to this, and the first reference image area having a dent 32A as shown in FIG. 5 can be rewritten. Also good. The dent 32A is formed by the boundary lines 33A and 33B. The replacement of the address of this portion takes the average value of the pixel address on the boundary line 33A and the pixel address on the boundary line 33B. What is necessary is just to comprise so that it may output by switching as an address of the pixel assumed to exist in this area | region 32A by the average value.
[0032]
FIG. 6 shows a first example in which the outer edge portion of the first reference image region having a special shape as shown in FIG. 5 is expanded to expand the moving image processing to the outermost edge portion 34 of the second reference image region. 4 shows a configuration of a moving image processing apparatus according to a fourth embodiment. In FIG. 6, the same reference numerals as those of the moving image processing apparatus according to the second embodiment shown in FIG. 2 denote the same or corresponding components, and redundant description is omitted.
[0033]
The moving image processing apparatus according to the fourth embodiment includes a pixel data storage unit 2 that stores pixel data such as a luminance difference and a color difference of pixels, a moving image processing unit 3 such as a motion vector detection unit or a motion compensation unit, An image inside / outside determination address allocating unit 5 having the same configuration as that of the second embodiment, and calculating and replacing the pixel value of the dent 32A in FIG. 5 by calculating the average value of the pixel values on the boundary lines 33A and 33B. A value replacement unit 35 is provided between the pixel data storage unit 2 and the moving image processing unit 3. The average value assigning means 35 includes a pixel value averaging circuit 36 for obtaining an average value of the pixel values on the boundary lines 33A and 33B based on the pixel data output from the pixel data storage means, and an area 32A shown in FIG. As for the pixel data, the moving image processing means 3 supplies the pixel values of the boundary lines 33A and 33B to the moving image processing means 3 and changes the address of the area 32 to supply the pixel value data on the boundary line 33 of the area 31. And a switching circuit 37 for switching the pixel data output to the. As for the output of the pixel value data of the region 31 of the first reference image, the data of the pixel is output as it is based on the address of the pixel as in the moving image processing apparatus according to the third embodiment of FIGS. Will do.
[0034]
In each of the first to fourth embodiments described above, the image description circuit 10 describing the first reference image 31 is configured by a ROM or a wired logic circuit, and the region of the first reference image is described. Although described as being fixed, the present invention is not limited to this, and the region of the first reference image may be set variably. That is, as in the moving image processing apparatus according to the fifth embodiment shown in FIG. 7, the image edge description that can receive the address signal S1 supplied from the moving image processing means 3 and variably set the area of the first reference image. A circuit 40 is provided.
[0035]
By configuring in this way, the first reference image 31 is not limited to the one shown in FIG. 4, for example, within a range of different rectangular shapes such as a vertically long rectangle obtained by dividing the region 31 into two vertically. The first reference image area having the required shape and area can be set even with a simple configuration. The moving image processing apparatus according to the fifth embodiment shown in FIG. 7 is provided with an image edge description circuit 40 that is supplied with the address signal S1 and can change the shape and area of the first reference image area 31. The image inside / outside determination address assigning circuit 5A is provided.
[0036]
As an example of a specific configuration of the image inside / outside determination address allocating circuit 5A, a moving image processing apparatus according to the sixth embodiment shown in FIG. 8 will be described. The sixth embodiment shown in FIG. 8 corresponds to the third embodiment shown in FIG. 3, and the constituent elements denoted by the same reference numerals as those in FIG. 3 indicate the same constituent elements as those in the third embodiment. Duplicate explanation is omitted. The difference is that the lower end n-bit address signal S2 and the next lower order (n + m) to (n-1) -bit address signal S3 are supplied to the image end description circuit 40, and the right end value and the left end value are obtained by the address signal S2. There are provided a right end value description circuit 41 and a left end value description circuit 42 that respectively describe, and a lower end value description portion 43 and an upper end value description portion 44 that respectively describe a lower end value and an upper end value by an address signal S3. When the image edge is dynamically changed in this way, each description unit 41 to 44 may be configured by a flip-flop, or may be configured by a random access memory (RAM-Random Access Memory). In the case of such a configuration, the first reference image area is changed by rewriting the contents of the flip-flop or RAM according to the necessity of changing the shape of the object displayed in the moving image.
[0037]
Even when the first reference image area is dynamically changed as in the moving image processing apparatuses according to the fifth and sixth embodiments, as in the moving image processing apparatus according to the fourth embodiment, It is also possible to make the shape of the region of the first reference image have a dent 32A. For example, the second embodiment shown in FIG. 2 and the fourth embodiment shown in FIG. 6 may be combined like a moving image processing apparatus according to the seventh embodiment shown in FIG. In the moving image processing apparatus according to the seventh embodiment, the image inside / outside determination address assigning means 5 is provided with an image description circuit 40 for changing the area of the first reference image, and the pixel data storage means 2 An averaging circuit 36 and a switching circuit 37 are provided that calculate pixel data assumed to be lost in the recessed portion of the first reference image area based on the output based on the average value of the pixel data on the vertical and horizontal boundary lines. An average value assigning means 35 is provided between the storage means 2 and the moving image processing means 3.
[0038]
With the above configuration, the shape of the first reference image can be made to be a shape having a recessed portion without a complete rectangular shape, and the shape and area thereof can be made variable, thereby enabling more precise control of moving image processing. It becomes.
[0039]
【The invention's effect】
As described above in detail, according to the moving image processing apparatus of the present invention, it is necessary to repeatedly generate data by copying pixel data to a specific address as in the case of handling an extended reference image area. If there is, the pixel address on the boundary line of the first reference image area is output to the pixels in the expanded second reference image area, and the contents of the pixel data are repeatedly copied. This eliminates the time and effort required to create the reference image data, reduces the overall cost, and speeds up the moving image processing. In addition, since it is not necessary to prepare a memory area for storing repeated data, the amount of memory can be reduced, and the hardware configuration can be simplified.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a moving image processing apparatus according to a second embodiment.
FIG. 3 is a block diagram showing a configuration of a moving image processing apparatus according to a third embodiment.
FIG. 4 is an explanatory diagram showing a relationship between regions of a first reference image and a second reference image in the moving image processing apparatus according to the first to third embodiments.
FIG. 5 is an explanatory diagram illustrating an example of a shape of a reference image area in a moving image processing apparatus according to a fourth embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a moving image processing apparatus according to a fourth embodiment of the present invention.
FIG. 7 is a block diagram showing a configuration of a moving image processing apparatus according to a fifth embodiment.
FIG. 8 is a block diagram showing a configuration of a moving image processing apparatus according to a sixth embodiment.
FIG. 9 is a block diagram showing a configuration of a moving image processing apparatus according to a seventh embodiment.
[Explanation of symbols]
1. Moving image processing device (motion vector detection device / motion compensation device)
2 (Pixel data) storage means
3 Moving image processing means (motion vector processing means / motion compensation means)
5 Image internal / external judgment address replacement means
10, 40 Image edge description circuit
15 Image inside / outside judgment circuit
20 Address conversion circuit
25 switching circuit
31 First reference image area
32 Second reference image area
35 Mean value distribution means
36 Pixel value averaging circuit
37 switching circuit
S1 address signal
S2 Lower n-bit address signal
S3 The next lower (n + m) to (n-1) bit address signal

Claims

符号化された動画像データを復号化した復号画像から切り出した参照画像の画像データに対して動きベクトル検出および動き補償を含む動画像処理を行なう動画像処理手段を備える動画像処理装置において、
一定形状の矩形領域の画像に関する情報としての所定範囲にある第１の参照画像の画素データを記憶する記憶手段と、前記記憶手段に前記画素データが記憶された前記第１の参照画像の前記矩形領域の外縁となる上下左右の４辺の端縁部のアドレスを記述すると共にそのアドレス信号を出力する画像端記述手段と、前記動画像処理手段による動画像処理の結果、前記第１の参照画像の前記矩形領域に含まれない外側部分を含む第２の参照画像の画素データを用いる場合に、前記動画像処理手段より供給されたアドレス信号により指定される画素が前記第１の参照画像の前記矩形領域の外側か内側かを判定する画像内外判定手段と、前記画像内外判定手段の判定の結果、動画像処理に用いる画素が前記第１の参照画像の内側にあるものと判定された場合にはその画素のアドレス信号をそのまま出力すると共に、その画素が前記第１の参照画像の外側にあるものと判定された場合には前記第１の参照画像の外縁部の画素データのアドレスをその画素のアドレスとして付替えて出力するアドレス付替手段と、を備えると共に、
前記記憶手段は、矩形のｘ軸がアドレスの下位ｎビットに対応し、矩形のｙ軸がアドレスの上位ｍビットに対応して前記画像を記憶する記憶手段であり、前記画像端記述手段は前記第１の参照画像の外縁部のアドレスをｘ軸はｎビットの数でｙ軸はｍビットの数を用いて記述する画像端記述回路より構成され、前記画像内外判定手段は前記動画像処理手段より供給された前記第２の参照画像の画素のアドレスに関する前記アドレス信号である第１アドレス信号の下位ｎビットと上位ｍビットを、前記画像端記述回路により記述された前記第１の参照画像の外縁部の画素のアドレスをあらわすｘ方向はｎビットの数でｙ方向はｍビット数と比較して供給されたアドレス信号によりそのアドレスが指定される画素が前記第１の参照画像の所定範囲よりも外側か内側かを判定する画像内外判定回路より構成され、前記アドレス付替手段は前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｘ方向の外側ならば下位ｎビットを前記第１の参照画像のｘ方向外縁部の画素のアドレスをあらわすｎビットの数に、ｙ方向の外側ならば上位ｍビットを前記第１の参照画像のｙ方向外縁部の画素のアドレスをあらわすｍビットの数にそれぞれ付け替えるアドレス変換回路と、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給される前記第１アドレス信号をそのまま用いると共に前記第１の参照画像の外側の画素については前記アドレス変換回路により付け替えられた第１の参照画像の外縁部の画素のアドレスを用いるように切り替えて前記第２の参照画像用の画素データのアドレスを前記記憶手段に出力する切替回路と、を備えることを特徴とする動画像処理装置。In a moving image processing apparatus provided with moving image processing means for performing moving image processing including motion vector detection and motion compensation on image data of a reference image cut out from a decoded image obtained by decoding encoded moving image data ,
Said first storing means for storing the pixel data of the reference image, said storage means to the said first reference picture pixel data is stored in a predetermined range as the information about the image one shaped like a rectangular region Image edge description means for describing the addresses of the edge portions of the upper, lower, left, and right sides, which are the outer edges of the rectangular area, and outputting the address signal, and the result of the moving image processing by the moving image processing means, the first reference When the pixel data of the second reference image including the outer portion not included in the rectangular area of the image is used, the pixel specified by the address signal supplied from the moving image processing unit is the first reference image. As a result of the determination by the image inside / outside determining means for determining whether the rectangular area is outside or inside, and the image inside / outside determining means, it is determined that the pixel used for the moving image processing is inside the first reference image. If it is determined that the pixel is outside the first reference image, the address signal of the pixel data at the outer edge of the first reference image is output. An address allocating means for allocating and outputting as an address of the pixel, and
The storage means is a storage means for storing the image in which the rectangular x-axis corresponds to the lower n bits of the address and the rectangular y-axis corresponds to the upper m bits of the address, and the image edge description means The address of the outer edge of the first reference image is composed of an image edge description circuit that uses an n-bit number for the x-axis and an m-bit number for the y-axis, and the image inside / outside determination means is the moving image processing means The lower n bits and upper m bits of the first address signal, which is the address signal related to the address of the pixel of the second reference image supplied from the second reference image, are stored in the first reference image described by the image edge description circuit. A pixel whose address is designated by an address signal supplied in comparison with an n-bit number in the x direction and an m-bit number in the y direction, which represents an address of a pixel at the outer edge portion, is a predetermined range of the first reference image. A determination circuit that determines whether the image is located outside or inside the image, and the address allocating means determines that the address of the pixel is outside the first reference image by the image inside / outside determination circuit. If the address of the pixel is outside the x direction, the lower n bits are the number of n bits representing the address of the pixel at the outer edge of the first reference image in the x direction. An address conversion circuit for changing the address of the pixel at the outer edge of the first reference image to an m-bit number, and a pixel inside the first reference image based on the determination by the image internal / external determination circuit The first address signal supplied from the moving image processing means is used as it is, and pixels outside the first reference image are attached by the address conversion circuit. A switching circuit for the gills are first address of the pixel data of the switches to use the address of the pixel outer edge portions for the second reference picture of the reference image outputted to the storage means, and characterized in that it comprises A moving image processing apparatus.

前記画像端記述回路は、前記第１の参照画像領域の境界の右端値を記述する右端値記述部と、左端値のアドレスを記述する左端値記述部と、下端値のアドレスを記述する下端値記述部と、上端値のアドレスを記述する上端値記述部より構成され、
前記画像内外判定回路は、前記動画像処理手段より供給された前記第１アドレス信号の下位ｎビットのアドレスである第２アドレス信号と前記右端値記述部の出力する前記右端値とを比較する第１比較部と、前記第２アドレス信号と前記左端値が出力する前記左端値とを比較する第２比較部と、前記第１アドレス信号における第２アドレス信号の次のアドレス（ｎ＋ｍ）〜（ｎ＋１）ビットのアドレスである第３アドレス信号と前記下端値記述部の出力する前記下端値とを比較する第３比較部と、前記第３アドレス信号と前記上端値記述部の出力する前記上端値とを比較する第４比較部より構成され、
前記アドレス変換回路は、前記第１比較部の比較結果と前記右端値を入力する第１マルチプレクサ、前記第２比較部の比較結果と前記左端値を入力する第２マルチプレクサ、前記第３比較部の比較結果と前記下端値を入力する第３マルチプレクサ、前記第４比較部の比較結果と前記上端値を入力する第４マルチプレクサより構成され、前記第１マルチプレクサは、前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｘ方向の外側ならば下位ｎビットを前記第１の参照画像のｘ方向外縁部の画素のアドレスをあらわすｎビットの数にアドレスを付け替え、前記第２マルチプレクサは、前記画像内外判定回路によりその画素のアドレスが前記第１の参照画像の外側にあるものと判定された場合にその画素のアドレスをｙ方向の外側ならば上位ｍビットを前記第１の参照画像のｙ方向外縁部の画素のアドレスをあらわすｍビットの数にそれぞれ付け替え、前記第２、第４マルチプレクサは、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給されるアドレス信号をそのまま出力するように構成され、
前記切替回路は、前記画像内外判定回路の判定に基づいて前記第１の参照画像の内側の画素については前記動画像処理手段より供給されるアドレス信号をそのまま用いると共に前記第１の参照画像の外側の画素については前記アドレス変換回路により付け替えられた第１の参照画像の外縁部の画素のアドレスを用いるように切り換えて前記第２の参照画像用の画素データのアドレスを前記記憶手段に出力することを特徴とする請求項１に記載の動画像処理装置。 The image edge description circuit includes a right edge value description part describing a right edge value of a boundary of the first reference image area, a left edge value description part describing an address of a left edge value, and a lower edge value describing an address of a lower edge value. It consists of a description part and an upper value description part that describes the address of the upper value.
The image inside / outside determination circuit compares a second address signal, which is a low-order n-bit address of the first address signal supplied from the moving image processing means, with the right end value output from the right end value description unit. A first comparison unit, a second comparison unit that compares the second address signal with the left end value output by the left end value, and addresses (n + m) to (n + 1) next to the second address signal in the first address signal ) A third comparison unit that compares a third address signal, which is a bit address, with the lower end value output from the lower end value description unit; and the upper end value output from the third address signal and the upper end value description unit; Is composed of a fourth comparison unit for comparing
Said address translation circuit includes a first multiplexer for inputting the right end value and a comparison result of the first comparison unit, a second multiplexer for inputting the leftmost value of the comparison result of said second comparison unit, before Symbol third comparator unit The third multiplexer for inputting the comparison result and the lower end value, and the fourth multiplexer for inputting the comparison result of the fourth comparison unit and the upper end value. If it is determined that the address of the pixel is outside the first reference image, the lower n bits are set to the address of the pixel in the outer edge of the first reference image if the pixel address is outside the x direction. In the second multiplexer, the address of the pixel is placed outside the first reference image by the image inside / outside determination circuit. If it is determined that the pixel address is outside the y direction, the upper m bits are replaced with the number of m bits representing the address of the pixel at the outer edge of the first reference image, respectively. The second and fourth multiplexers are configured to output the address signal supplied from the moving image processing means as it is for the pixels inside the first reference image based on the determination by the image internal / external determination circuit,
The switching circuit uses the address signal supplied from the moving image processing means as it is for the pixels inside the first reference image based on the determination by the image inside / outside determination circuit, and outside the first reference image. The pixel is switched to use the address of the pixel at the outer edge of the first reference image replaced by the address conversion circuit, and the address of the pixel data for the second reference image is output to the storage means. The moving image processing apparatus according to claim 1.

前記画像端記述回路は、前記第１の参照画像の前記所定範囲の外縁部の画素についてのアドレスを予めテーブルとして記憶する読出し専用記憶素子より構成されていることを特徴とする請求項１に記載の動画像処理装置。The image edge description circuit according to claim 1, characterized in that it is composed of read only memory for storing in advance as a table address for the pixel of the outer edge portion of said predetermined range of said first reference picture Moving image processing apparatus.

前記画像端記述回路は、前記動画像処理手段より出力される前記アドレス信号により前記第１の参照画像の前記所定範囲を変更し、この変更された所定範囲の外縁部の画素のアドレスを記憶する書換え可能な記憶素子により構成されていることを特徴とする請求項１に記載の動画像処理装置。 The image edge description circuit changes the predetermined range of the first reference image according to the address signal output from the moving image processing means, and stores the addresses of pixels at the outer edge of the changed predetermined range. The moving image processing apparatus according to claim 1, comprising a rewritable storage element.

前記動画像処理手段は、原画像と前記第１または第２の参照画像との間の動きベクトルの検出動作を行なう動きベクトル処理手段より構成されていることを特徴とする請求項１に記載の動画像処理装置。 2. The moving image processing means is composed of motion vector processing means for performing a motion vector detection operation between an original image and the first or second reference image. A moving image processing apparatus.

前記動画像処理手段は、伝送されてきた原画像と第１または第２の参照画像との間の動画像における動きを補償する動き補償手段より構成されていることを特徴とする請求項１に記載の動画像処理装置。 2. The moving image processing means comprises motion compensation means for compensating for motion in a moving image between the transmitted original image and the first or second reference image. The moving image processing apparatus described.

前記第１の参照画像の前記所定範囲は、矩形状の外縁を満たすものであり、前記第２の参照画像は、前記矩形状の第１の参照画像の４辺のうちの必要な辺または角部の画素のアドレスを付け替えることにより第１の参照画像を単純に拡張した所定範囲を有することを特徴とする請求項１に記載の動画像処理装置。 The predetermined range of the first reference image satisfies a rectangular outer edge, and the second reference image is a necessary side or corner of four sides of the rectangular first reference image. The moving image processing apparatus according to claim 1, wherein the moving image processing apparatus has a predetermined range in which the first reference image is simply expanded by changing the addresses of the pixels of the part.

前記第１の参照画像の前記所定範囲は、矩形状の一部の角部が矩形状に凹んだ特殊形状となった外縁を満たすものであり、前記第２の参照画像は、前記特殊形状における単純な外縁の外側の画素については前記第１の参照画像の外縁部の画素アドレスと付け替えることによりその画素のアドレスを単純に拡張すると共に、前記凹んだ部分の外縁の外側の画素については前記特殊形状の直交する凹んだ２つの辺上の画素情報の平均値をとってその画素のデータをこの平均値に付け替える平均値付替手段を更に備えることを特徴とする請求項１に記載の動画像処理装置。 The predetermined range of the first reference image satisfies an outer edge having a special shape in which some corners of the rectangular shape are recessed in a rectangular shape, and the second reference image is in the special shape. For the pixels outside the simple outer edge, the pixel address of the first reference image is replaced with the pixel address of the outer edge of the first reference image, and the address of the pixel is simply expanded. 2. The moving image according to claim 1, further comprising an average value allocating means for taking an average value of pixel information on two concave sides having orthogonal shapes and replacing the pixel data with the average value. Processing equipment.