JP2671820B2 - 両方向予測方法及び両方向予測装置 - Google Patents

両方向予測方法及び両方向予測装置

Info

Publication number
JP2671820B2
JP2671820B2 JP23272194A JP23272194A JP2671820B2 JP 2671820 B2 JP2671820 B2 JP 2671820B2 JP 23272194 A JP23272194 A JP 23272194A JP 23272194 A JP23272194 A JP 23272194A JP 2671820 B2 JP2671820 B2 JP 2671820B2
Authority
JP
Japan
Prior art keywords
prediction
backward
block
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23272194A
Other languages
English (en)
Other versions
JPH0898183A (ja
Inventor
直哉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP23272194A priority Critical patent/JP2671820B2/ja
Priority to US08/534,302 priority patent/US5699128A/en
Priority to EP19950115318 priority patent/EP0705038B1/en
Priority to DE1995624522 priority patent/DE69524522T2/de
Publication of JPH0898183A publication Critical patent/JPH0898183A/ja
Application granted granted Critical
Publication of JP2671820B2 publication Critical patent/JP2671820B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は両方向予測方法及び両方
向予測装置に関し、特に動画像のデータ量の圧縮を行う
画像処理装置で用いられかつ過去及び未来の両方向の動
き予測を行う方法及び装置に関する。
【0002】
【従来の技術】動画像はデータ量が非常に多いため、そ
のデータをしばしば圧縮して伝送あるいは記録し、これ
を受信あるいは再生側で伸長するという処理を行ってい
る。このデータの圧縮及び伸長は符号化及び復号化とも
呼ばれ、例えばテレビ電話やテレビ会議システムで用い
られるITU−T勧告H.261方式、蓄積媒体への記
録等に用いられる動画像符号化国際標準方式(MPE
G;Motion Picture Image Co
ding Experts Group)(以下、MP
EG方式とする)等が知られている。
【0003】このような圧縮方式では動き補償フレーム
間予測符号化方式が採用されている。この動き補償フレ
ーム間予測符号化方式は動画像を構成する各フレームの
相関が高いので、過去に符号化したフレームから予測フ
レームを作成し、現在符号化しているフレーム(以下、
現フレームとする)と予測フレームとの差分、すなわち
予測誤差を符号化することで圧縮率を上げる方法であ
る。
【0004】また、動いている物体はフレーム内でその
位置を少しずつ変えるため、予測フレームを物体の動き
にしたがって移動させた後に予測誤差をとることで予測
誤差を小さくすることができ、圧縮率をさらに上げるこ
とができる。この動きを表す情報は動きベクトルと呼ば
れ、予測誤差とともに伝送あるいは記録される。
【0005】予測フレームは過去に伝送あるいは記録し
たフレームから作成されるが、MPEG方式では数フレ
ーム前の過去のフレームのほかに、数フレーム先の未来
のフレーム、及びその過去のフレームと未来のフレーム
とを時間軸方向で内挿して得られる架空のフレームを予
測フレームとすることができる。
【0006】ただし、未来のフレームから予測フレーム
を作成する場合にはフレームの順番を入替え、現フレー
ムをそれが参照する未来のフレームの後に符号化するよ
うになっている。
【0007】これに対し、動画像の画面が変ったりして
予測フレームとの相関が低い場合には予測誤差を符号化
するより、現フレームをそのまま符号化したほうが圧縮
率が高くなる。したがって、予測誤差を符号化する場合
と現フレームをそのまま符号化する場合とを適応的に切
り替えて圧縮している。
【0008】以下の説明では、過去のフレームを予測フ
レームとする場合を順方向予測符号化、未来のフレーム
を予測フレームとする場合を逆方向予測符号化、過去及
び未来のフレームを時間軸方向で内挿して得られる架空
のフレームを予測フレームとする場合を両方向予測符号
化と呼び、これら3つの符号化をまとめてフレーム間予
測符号化(inter−frame coding)と
呼ぶ。また、現フレームをそのまま符号化する場合をフ
レーム内符号化(intra−frame codin
g)と呼ぶ。
【0009】MPEG方式で動画像を符号化する場合、
図12に示すようにしてフレームの符号化が行われる。
図12において、10枚のフレームには夫々I,P,B
というフレームの種類とフレームの番号とを合わせて付
している。
【0010】フレームの種類とはそのフレーム内のブロ
ックで採用できる符号化方式をフレーム単位で定めたも
ので、Iフレームでは全ブロックをフレーム内符号化
し、Pフレームでは各ブロック毎に順方向予測符号化及
びフレーム内符号化のどちらか一方を選んで符号化す
る。
【0011】Bフレームでは各ブロック毎に順方向予測
符号化、逆方向予測符号化、両方向予測符号化の3種類
のフレーム間予測符号化とフレーム内符号化との計4種
類の符号化方式の中から選択して符号化する。これらブ
ロックの符号化方式をブロックの符号化タイプあるいは
簡単に符号化タイプと呼んでいる。
【0012】順方向予測符号化では過去のIフレームま
たはPフレームの中で最も時間的に近いフレームを参照
し、逆方向予測符号化では未来のIフレームまたはPフ
レームの中で最も時間的に近いフレームを参照する。
【0013】両方向予測符号化では過去のIフレームま
たはPフレームの中で最も時間的に近いフレーム及び未
来のIフレームまたはPフレームの中で最も時間的に近
いフレームの2枚のフレームを参照する。
【0014】すなわち、Pフレームを順方向予測符号化
またはフレーム内符号化で符号化する場合、フレームP
4はフレームI1を参照し、フレームP7はフレームP
4を参照する。
【0015】また、Bフレームを順方向予測符号化、逆
方向予測符号化、両方向予測符号化、フレーム内符号化
のいずれかで符号化する場合、フレームB2,B3は夫
々フレームI1,P4を参照し、フレームB5,B6は
フレームP4,P7を参照し、フレームB8,B9はフ
レームP7,I10を参照する。
【0016】ただし、未来のフレームを参照するために
は、そのフレームが参照される前に符号化されていなけ
ればならないので、図12における符号化の順番はI1
→P4→B2→B3→P7→B5→B6→I10→B8
→B9となる。
【0017】つまり、最初のフレームI1は各ブロック
のフレーム内符号化により符号化され、次のフレームP
4は各ブロックをフレームI1を参照した順方向予測符
号化及びフレーム内符号化のいずれかの符号化タイプで
符号化する。
【0018】その次のフレームB2,B3は各ブロック
をフレームI1を参照した順方向予測符号化と、フレー
ムP4を参照した逆方向予測符号化と、フレームI1,
P4を参照した両方向予測符号化と、フレーム内符号化
とのうちのいずれかの符号化タイプで夫々符号化する。
【0019】また、フレームP7は各ブロックをフレー
ムP4を参照した順方向予測符号化及びフレーム内符号
化のいずれかの符号化タイプで符号化する。
【0020】さらに、次のフレームB5,B6は各ブロ
ックをフレームP4を参照した順方向予測符号化と、フ
レームP7を参照した逆方向予測符号化と、フレームP
4,P7を参照した両方向予測符号化と、フレーム内符
号化とのうちのいずれかの符号化タイプで夫々符号化す
る。
【0021】さらにまた、フレームI10は各ブロック
のフレーム内符号化により符号化され、フレームB8,
B9は各ブロックをフレームP7を参照した順方向予測
符号化と、フレームI10を参照した逆方向予測符号化
と、フレームP4,I10を参照した両方向予測符号化
と、フレーム内符号化とのうちのいずれかの符号化タイ
プで夫々符号化する。
【0022】MPEG方式に沿った動画像符号化方式に
おいては、図11に示す現フレームdの各ブロックを図
10に示す装置の端子100に与えることで、現フレー
ムdの符号化が行われる。ここで、現フレームdの各ブ
ロックのうち、現在処理中のブロックを現ブロックd1
とする。
【0023】参照フレームメモリ110にはフレーム間
予測符号化の際に参照する参照フレームが格納されてい
る。例えば、図12のフレームI1を符号化する前には
参照フレームメモリ110に無効なデータが入っている
が、フレームI1の処理中に減算器101とDCT(D
iscrete Cosine Transform)
102と量子化103とによって符号化した後に、逆量
子化105と逆DCT106と加算器107とによって
復号化されたフレームI1が参照フレームメモリ110
に格納される。
【0024】このフレームI1の次にフレームP4を符
号化する場合、参照フレームメモリ110にはその処理
中に符号化してから復号化されたフレームP4が格納さ
れることとなる。
【0025】したがって、参照フレームメモリ110に
はフレームB2,B3を符号化している間、すでに符号
化された過去のフレームI1及び未来のフレームP4が
格納されている。
【0026】フレームB2,B3の次にフレームP7を
符号化する場合、参照フレームメモリ110にはその処
理中に符号化してから復号化されたフレームP7が、格
納しておく必要がなくなったフレームI1と入れ替える
ようにして格納される。
【0027】また、フレームI10を符号化する場合に
も、上記と同様にして、参照フレームメモリ110には
その処理中に符号化してから復号化されたフレームI1
0が、格納しておく必要がなくなったフレームP4と入
れ替えるようにして格納される。
【0028】つまり、参照フレームメモリ110にはそ
の処理中に符号化してから復号化されたフレームが古い
ほうのフレームと入れ替えるようにして格納され、その
内容の更新が行われる。
【0029】減算器101は入力された現ブロックd1
と動き予測111から供給される予測ブロックとの差分
をとり、その計算結果をDCT102に出力する。動き
予測111は現ブロックの符号化タイプを決定し、それ
に応じた予測ブロックを出力する。
【0030】例えば、Iフレームのブロックでは符号化
タイプがフレーム内符号化となるので、値が全て“0”
のブロックが予測ブロックとして出力される。
【0031】また、Pフレームのブロックではその符号
化タイプが順方向予測符号化であれば過去の参照フレー
ムから作成した順方向予測ブロックが、その符号化タイ
プがフレーム内符号化であれば値が全て“0”のブロッ
クが夫々予測ブロックとして出力される。
【0032】さらに、Bフレームのブロックではその符
号化タイプが順方向予測符号化であれば過去の参照フレ
ームから作成した順方向予測ブロックが、その符号化タ
イプが逆方向予測符号化であれば未来の参照フレームか
ら作成した逆方向予測ブロックが、その符号化タイプが
両方向予測符号化であれば過去及び未来の参照フレーム
から作成した両方向予測ブロックが、その符号化タイプ
がフレーム内符号化であれば値が全て“0”のブロック
が夫々予測ブロックとして出力される。
【0033】したがって、現ブロックd1の符号化タイ
プがフレーム内符号化の場合には予測ブロックとして値
が全て“0”のブロックが出力され、減算器101から
現ブロックd1がそのまま出力される。
【0034】これ以外の場合には現ブロックと、フレー
ム間予測を行って作成した予測ブロックとの差分である
予測誤差ブロックが出力される。この現ブロックd1あ
るいは予測誤差ブロックはDCT103において2次元
離散コサイン変換によって周波数成分に変換され、量子
化104に出力される。
【0035】量子化104ではDCT103からの周波
数成分を、量子化しきい値と呼ばれるパラメータによっ
て除算する。量子化しきい値は一般に高周波成分が大き
く、低周波成分が小さくなっているため、高周波成分が
粗く、低周波成分が細かく量子化される。
【0036】これによって、高周波成分の情報が多少失
われるが、この高周波成分の情報は人の目につきにくい
ので、画質を落とすことなく圧縮することが可能とな
る。この量子化された周波数成分はハフマン符号化10
4で統計的な性質を利用してさらに圧縮され、セレクタ
108を介して端子109から出力される。
【0037】一方、現フレームdがIフレームまたはP
フレームの場合には、そのIフレームまたはPフレーム
が後続のフレームの予測フレームとして用いられるた
め、量子化した周波数成分を逆量子化105にも出力
し、逆量子化105で量子化しきい値との乗算を行って
周波数成分を復元する。
【0038】この復元された周波数成分を逆DCT10
6で2次元逆離散コサイン変換し、現ブロックあるいは
予測誤差ブロックを復元して加算器107に出力する。
ただし、これらは周波数成分を一度量子化していること
や、DCT102と逆DCT106との演算誤差によっ
てDCT102に入力した現ブロックd1あるいは予測
誤差ブロックとは一致しないが、充分に近い値をとるこ
とができる。
【0039】加算器107では現ブロックd1あるいは
予測誤差ブロックが動き予測111から出力された予測
ブロックと加算される。したがって、その符号化タイプ
がフレーム内符号化の場合には復元した現ブロックと値
が全て“0”のブロックとが加算され、現ブロックを復
号化することができる。
【0040】また、符号化タイプがフレーム間予測符号
化の場合には復元した予測誤差ブロックと予測ブロック
とが加算され、上記と同様に、現ブロックを復号化する
ことができる。
【0041】このようにして復号化した現ブロックは順
に参照フレームメモリ110の古いほうのフレームのブ
ロックと入れ替えるように格納され、後続のフレームの
予測フレームとして用いられる。
【0042】動き予測111は動きベクトル検出11
2、予測誤差評価113、順方向予測ブロック作成11
4、逆方向予測ブロック作成115、両方向予測ブロッ
ク116、符号化タイプ判定117、セレクタ118,
119からなり、現ブロックd1と参照フレームメモリ
110から読込んだ参照フレームeの参照領域e1とが
供給される。
【0043】参照領域e1は普通、参照フレーム内で現
ブロックd1と同じ位置のブロックを含みかつ現ブロッ
クd1よりも大きな領域であり、MPEG方式では現ブ
ロックd1、参照領域e1ともに輝度信号が用いられ
る。
【0044】Pフレームを符号化している場合には参照
フレームメモリ110に格納されている過去のフレーム
から参照領域が読出される。Bフレームを符号化してい
る場合には参照フレームメモリ110に格納されている
過去のフレームと未来のフレームとから夫々参照領域が
読出される。また、Iフレームを符号化している場合に
は動き予測が不要なので、参照領域を読込む必要はな
い。
【0045】動きベクトル検出112では参照領域内で
現ブロックd1とその内容が最も類似しているブロック
(以下、類似ブロックとする)e2を探索し、動きベク
トルを検出する。これらの画像上での関係を図11に示
す。
【0046】参照領域e1内で探索した類似ブロックe
2を現フレームdに投影した位置d2と、現ブロックd
1の位置との差が現ブロックの動きベクトルd3とな
る。過去の参照フレームから検出した動きベクトルを順
方向動きベクトル、未来の参照フレームから検出した動
きベクトルを逆方向動きベクトルと呼ぶ。
【0047】Pフレームを符号化している場合には検出
した順方向動きベクトルを順方向予測ブロック作成11
4に出力する。また、Bフレームを符号化している場合
には検出した順方向動きベクトルを順方向予測ブロック
作成114に出力し、逆方向動きベクトルを逆方向予測
ブロック作成115に出力する。
【0048】動きベクトル検出112ではこれら動きベ
クトルの検出のほかに、現ブロックd1のAC成分絶対
値和(平均値からの偏差の絶対値和)の算出が行われて
おり、算出したAC成分絶対値和を符号化タイプ判定1
17に出力する。
【0049】順方向予測ブロック作成114は参照フレ
ームメモリ110からの過去の参照フレームの動きベク
トルに対応した部分、つまり類似ブロックを読出し、こ
れを順方向予測ブロックとする。
【0050】逆方向予測ブロック作成115は参照フレ
ームメモリ110からの未来の参照フレームの動きベク
トルに対応した部分、つまり類似ブロックを読出し、こ
れを逆方向予測ブロックとする。
【0051】両方向予測ブロック作成116は順方向予
測ブロック作成114が作成した順方向予測ブロック
と、逆方向予測ブロック作成115が作成した逆方向予
測ブロックとを平均して両方向予測ブロックを作成して
出力する。
【0052】上記の順方向予測ブロック作成114が作
成した順方向予測ブロックと、逆方向予測ブロック作成
115が作成した逆方向予測ブロックと、両方向予測ブ
ロック作成116が作成した両方向予測ブロックとは夫
々予測誤差評価113及びセレクタ118に出力され
る。
【0053】予測誤差評価113には端子100から入
力された現ブロックも供給されており、予測誤差評価1
13はこれら予測ブロックと現ブロックとの類似性を評
価し、最も類似していると評価したフレーム間予測符号
化方式を選択する。
【0054】すなわち、Pフレームではフレーム間予測
符号化方式として順方向予測符号化しか採用できないた
め、予測誤差評価113は入力した順方向予測ブロック
と現ブロックとの類似性を評価するデータを算出する。
【0055】予測誤差評価113はその評価データと順
方向予測符号化を表す選択信号とを符号化タイプ判定1
17に出力するとともに、選択信号をセレクタ118に
出力して順方向予測ブロックをセレクタ119に出力さ
せる。
【0056】一方、Bフレームではフレーム間予測符号
化方式として順方向予測符号化、逆方向予測符号化、両
方向予測符号化の3種類のうちから一つを採用できるの
で、予測誤差評価113は入力した順方向予測ブロッ
ク、逆方向予測ブロック、両方向予測ブロック各々と現
ブロックとの類似性を評価するデータを算出する。
【0057】予測誤差評価113はその評価データと現
ブロックに最も類似しているフレーム間予測符号化方式
を表す選択信号とを符号化タイプ判定117に出力する
とともに、選択信号をセレクタ118に出力し、その選
択信号で表されたフレーム間予測符号化方式の予測ブロ
ックをセレクタ119に出力させる。
【0058】符号化タイプ判定117は入力した評価デ
ータと現ブロックのAC成分絶対値和とを比較し、予測
誤差評価113で選択したフレーム間予測符号化とフレ
ーム内符号化とのうちどちらの符号量が小さいかを推定
する。
【0059】符号化タイプ判定117はフレーム内符号
化の方が符号量が小さくなると判定すると、フレーム内
符号化を表す信号を符号化タイプとしてセレクタ10
8,119に出力する。
【0060】また、符号化タイプ判定117は予測誤差
評価113で選択したフレーム間予測符号化の方が符号
量が小さくなると判定すると、そのフレーム間予測符号
化方式を表す信号を符号化タイプとしてセレクタ10
8,119に出力する。
【0061】尚、符号化タイプ判定117はIフレーム
を符号化している場合には常にフレーム内符号化を表す
信号を符号化タイプとしてセレクタ108,119に出
力する。
【0062】セレクタ119は符号化タイプ判定117
からの符号化タイプがフレーム内符号化のときに値が全
て“0”のブロックを出力し、符号化タイプ判定117
からの符号化タイプがフレーム間予測符号化方式のとき
にセレクタ118が出力した予測ブロックを出力する。
【0063】上述したように、動き予測111は現ブロ
ックの符号化タイプ及び予測ブロックとを出力する。ま
た、動き予測111は符号化タイプが順方向予測符号化
のときに順方向動きベクトルを、逆方向予測符号化のと
きに逆方向動きベクトルを、両方向予測符号化のときに
順方向動きベクトル及び逆方向動きベクトルを夫々出力
する。
【0064】これらの動きベクトル及び符号化タイプは
ハフマン符号化104で圧縮された予測誤差ブロックあ
るいは現ブロックとともに、セレクタ108を介して端
子109から所定のフォーマットにしたがって出力され
る。以上説明した如く、現フレームがブロック毎に圧縮
される。
【0065】上記の動き予測111の処理は現ブロック
で採用できるフレーム間予測符号化方式の範囲内で参照
領域の中から類似ブロックを探索して動きベクトルを検
出すること、及び符号化タイプを決定して予測ブロック
を出力することである。
【0066】これらの処理のうち動きベクトル検出は参
照領域内で現ブロックと同じ大きさのブロック(以下、
参照ブロックとする)を切出し、通常、これらのブロッ
クを構成する画素の絶対誤差の和(以下、予測誤差絶対
値和とする)を計算し、これが最小となる参照ブロック
を類似ブロックとする方法が採られている。
【0067】すなわち、ブロックの大きさを水平方向M
画素×垂直方向M画素とし、現ブロックをf(ix,i
y)、参照領域内から切出した参照ブロックをg(ix
+vx,iy+vy)(ix,iyは夫々水平方向及び
垂直方向の座標であり、0≦ix,iy≦M−1であ
る。また、vx,vyは夫々現ブロックとの位置の差を
示す水平方向、垂直方向成分である。)とすると、予測
誤差絶対値和は、 予測誤差絶対値和 =ΣΣ|g(ix+vx,iy+vy)−f(ix,iy)| ……(1) という式で表される。最初のΣはix=0からM−1ま
での総和、次のΣはiy=0からM−1までの総和を夫
々示している。
【0068】したがって、類似ブロックは(1)式で表
される予測誤差絶対値和が最も小さい参照ブロックであ
り、動きベクトルはそのときの(vx,vy)となる。
【0069】以下の説明では参照領域内から切出した参
照ブロック及び現ブロックの予測誤差絶対値和を計算す
ることをブロックマッチングを行うと表現する。
【0070】符号化タイプは本来、現ブロックで採用で
きる全てのフレーム間予測符号化とフレーム内符号化と
を行った場合の符号量を比較し、それらの中から符号量
が小さい方を選択することが望ましい。
【0071】しかしながら、その場合、Pフレームでは
2回、Bフレームでは4回符号化を行うこととなって処
理時間が長くなるので、この方法は一般に行われていな
い。この方法に代って、どの符号化方式を用いれば符号
量が小さくなるのかを推定して符号化タイプを判定する
方法が採られている。
【0072】その方法ではまずフレーム間予測符号化の
予測ブロックと現ブロックとの類似性の評価データを算
出し、その評価データを現ブロックのAC成分絶対値和
と比較する。
【0073】ここで、AC成分絶対値和は、 AC成分絶対値和 =ΣΣ|f(ix,iy)−favr| ……(2) という式で表される。尚、上記(2)式のfavrは、 favr=ΣΣf(ix,iy)/(M×M) である。上記の2つの式において、最初のΣはix=0
からM−1までの総和、次のΣはiy=0からM−1ま
での総和を夫々示している。
【0074】フレーム間予測符号化の予測ブロックと現
ブロックとの類似性の評価データの一例として、Pフレ
ームでは順方向予測ブロックを(1)式のg(ix+v
x,iy+vy)として算出した予測誤差絶対値和を採
用することができる。
【0075】また、Bフレームでは順方向予測ブロッ
ク、逆方向予測ブック、両方向予測ブロックを夫々
(1)式のg(ix+vx,iy+vy)として算出し
た3種類の予測誤差絶対値和の中の最小のものを採用す
ることができる。
【0076】評価データとAC成分絶対値和との比較に
おいて、評価データ<AC成分絶対値和の場合にはフレ
ーム間予測符号化、評価データ≧AC成分絶対値和の場
合にはフレーム内符号化を行うと判定する。
【0077】したがって、Pフレームのブロックでは順
方向予測符号化とフレーム内符号化とのうちどちらか一
方を、またBフレームのブロックでは順方向予測符号化
と逆方向予測符号化と両方向予測符号化とフレーム内符
号化とのうちどれか一つを適応的に判定し、符号化する
ことができる。尚、Iフレームのブロックでは常にフレ
ーム内符号化と判定する。
【0078】上述したような動き予測を行う装置として
は、図7に示すような両方向予測装置がある。この両方
向予測装置の動き予測プロセッサ50では、通常、読出
し時間が長くなる外部のメモリからの読出し回数を減ら
すために現ブロック、過去及び未来の参照フレームから
読込んだ2つの参照領域を夫々内部のメモリ52〜54
に一時的に格納し、必要な画素は外部の参照フレームメ
モリ9ではなく、これら内部のメモリ52〜54から読
出す構成をとり、処理の高速化を図っている。
【0079】この図7において、動き予測プロセッサ5
0のアドレス発生器51は現フレームメモリ1から現ブ
ロックを読出すアドレスを発生し、現フレームメモリ1
から読出された現ブロックは現ブロックメモリ52に格
納される。アドレス発生器56は現ブロックメモリ52
から現ブロックを読出すアドレスを発生する。
【0080】アドレス発生器55は参照フレームメモリ
9から参照領域を読出すアドレスを発生し、参照フレー
ムメモリ9から読出された過去の参照フレームの参照領
域(以下、順方向参照領域とする)は順方向参照領域メ
モリ53に格納される。アドレス発生器57は順方向参
照領域メモリ53から順方向参照領域を読出すアドレス
を発生する。
【0081】参照フレームメモリ9から読出された未来
の参照フレームの参照領域(以下、逆方向参照領域とす
る)は逆方向参照領域メモリ54に格納される。アドレ
ス発生器58は逆方向参照領域メモリ54から逆方向参
照領域を読出すアドレスを発生する。
【0082】演算手段59は現ブロックメモリ52から
読出された現ブロックと、セレクタ68を介して入力さ
れる順方向参照領域メモリ53からの順方向参照領域、
逆方向参照領域メモリ54からの逆方向参照領域、AC
レジスタ61からのAC成分絶対値和とを基に予測誤差
絶対値和計算及びその最小値検出を行う。
【0083】パケットアドレス発生器60は符号化タイ
プ、順方向動きベクトル及び逆方向動きベクトルを出力
するためのアドレスを生成する。ACレジスタ61は現
ブロックのAC成分絶対値和を格納する。
【0084】順方向動きベクトルレジスタ62は順方向
動きベクトルを格納し、逆方向動きベクトルレジスタ6
3は逆方向動きベクトルを格納する。符号化タイプ選択
器64は現ブロックの符号化タイプを判定し、平均手段
65は順方向予測ブロック及び逆方向予測ブロックから
両方向予測ブロックを求める。
【0085】フレーム間予測選択器66はフレーム間予
測符号化方式の選択を行う。コントローラ67は動き予
測プロセッサ50全体の動作タイミングを制御する。
【0086】ここで、図7に示す動き予測プロセッサ5
0の構成要素と図10の動き予測111の構成要素とを
対応させると、以下のようになる。
【0087】まず、動き予測111の動きベクトル検出
112の処理は動き予測プロセッサ50の順方向参照領
域メモリ53と、逆方向参照領域メモリ54と、アドレ
ス発生器57,58と、演算手段59と、セレクタ68
と、ACレジスタ61と、順方向動きベクトルレジスタ
62と、逆方向動きベクトルレジスタ63とによって実
現される。
【0088】また、順方向予測ブロック作成114の処
理は順方向参照領域メモリ53と、アドレス発生器57
とによって実現され、逆方向予測ブロック作成115の
処理は逆方向参照領域メモリ54と、アドレス発生器5
8とによって実現される。
【0089】両方向予測ブロック作成116の処理は平
均手段65によって実現され、予測誤差評価113の処
理はフレーム間予測選択器66によって実現され、符号
化タイプ判定117の処理は符号化タイプ選択器64に
よって実現される。
【0090】次に、現ブロックを水平方向M画素×垂直
方向M画素、順方向参照領域及び逆方向参照領域をとも
に画面上の位置で現ブロックを中心とする水平方向NH
画素×垂直方向NV画素(NH>M,NV>M)の長方
形の領域として、上記の動き予測プロセッサ50の動作
について説明する。
【0091】現ブロックメモリ52と順方向参照領域メ
モリ53と逆方向参照領域メモリ54とは少なくともこ
の大きさの現ブロックあるいは参照領域を格納する容量
を持つ。
【0092】また、特に断らない限り、Bフレームを符
号化する場合を例に説明する。Pフレームではフレーム
間予測符号化として順方向予測符号化のみを行い、Iフ
レームではフレーム内符号化のみを行うが、Pフレーム
及びIフレームともにBフレームの処理の一部を変更す
れば実現可能なので、その説明は省略する。
【0093】この動き予測プロセッサ50においてはま
ず順方向動きベクトルが検出され、続いて逆方向動きベ
クトルが検出される。動き予測プロセッサ50は検出し
た動きベクトルにしたがって順方向予測ブロックと逆方
向予測ブロックと両方向予測ブロックとを同時に作成
し、それら予測ブロックと現ブロックとの類似性を評価
する評価データを作成する。
【0094】動き予測プロセッサ50はこの評価データ
を基に順方向予測符号化と逆方向予測符号化と両方向予
測符号化との中から1つのフレーム間予測符号化方式を
選択し、さらにこのフレーム間予測符号化方式とフレー
ム内符号化とを比較して符号化タイプを決定する。その
後に、決定した符号化タイプと動きベクトルと予測ブロ
ックとを出力する。
【0095】動き予測プロセッサ50において、順方向
動きベクトルの検出は次のようにして行われる。まず、
アドレス発生器56は現ブロックメモリ52の読出しア
ドレスを発生し、現ブロックメモリ52から現ブロック
を読出して演算手段59に供給する。
【0096】また、アドレス発生器57は順方向参照領
域メモリ53の読出しアドレスを発生し、順方向参照領
域メモリ53から読出した順方向参照領域の最も左上に
位置する水平方向M画素×垂直方向M画素の参照ブロッ
クを切出し、これをセレクタ68を介して演算手段59
に供給する。
【0097】演算手段59は(1)式の演算を行い、予
測誤差絶対値和を求める。つまり、演算手段59は現ブ
ロックと順方向参照領域の最も左上に位置する参照ブロ
ックとのブロックマッチングを行う。
【0098】演算手段59は(1)式の演算で得た予測
誤差絶対値和と、参照ブロックと現ブロックとの位置の
差を内部レジスタ(図示せず)に格納する。
【0099】上記の処理と同様にして、現ブロックを演
算手段59に供給し、順方向参照領域メモリ53の順方
向参照領域から前回切出した参照ブロックに対して水平
方向に1画素隣の参照ブロックを切出し、この参照ブロ
ックと現ブロックとのブロックマッチングを演算手段5
9で行う。
【0100】演算手段59はこのとき得た予測誤差絶対
値和と前回の予測誤差絶対値和とを比較し、小さい方の
予測誤差絶対値和と、そのときの参照ブロックと現ブロ
ックとの位置の差とを内部レジスタに格納する。
【0101】上述した処理を、順方向参照領域内から切
出せる全ての参照ブロックに対して行い、演算手段59
の内部レジスタ内に残った参照ブロックと現ブロックと
の位置の差が順方向動きベクトルとなる。この順方向動
きベクトルを順方向動きベクトルレジスタ62に格納し
て順方向動きベクトルの検出が完了する。
【0102】ただし、現ブロックが画面の端付近にある
場合には順方向参照領域の一部が画面外となる。例え
ば、現ブロックが画面の上端に位置する場合には順方向
参照領域の上部の水平方向NH画素×垂直方向[(NV
−M)/2]画素の部分が画面外となり、現ブロックが
画面の左端に位置する場合には順方向参照領域の左側の
水平方向[(NH−M)/2]画素×垂直方向NV画素の
部分が画面外となる。
【0103】順方向参照領域メモリ53のこのような部
分には無効な画素が格納されているので、この部分を含
む参照ブロックとのブロックマッチングの結果は無視し
なければならない。
【0104】したがって、演算手段59は現ブロックの
画面上の位置と参照ブロックの位置とを監視し、参照ブ
ロックが画面外の画素を含む場合にはそのブロックマッ
チングの結果を無視する。
【0105】逆方向動きベクトルは参照ブロックを逆方
向参照領域メモリ54から読出した逆方向参照領域から
切出すことによって、上記の順方向動きベクトルの検出
と同様の手順によって検出される。この検出された逆方
向動きベクトルは逆方向動きベクトルレジスタ63に格
納される。
【0106】次に、順方向動きベクトルレジスタ62か
ら入力した順方向動きベクトルがさす参照ブロックを左
上の画素から順に読出すようにアドレス発生器57から
読出しアドレスを発生することで、順方向参照領域メモ
リ53から順方向予測ブロックを読出す。
【0107】同時に、逆方向動きベクトルレジスタ63
から入力した逆方向動きベクトルがさす参照ブロックを
左上の画素から順に読出すようにアドレス発生器58か
ら読出しアドレスを発生することで、逆方向参照領域メ
モリ54から逆方向予測ブロックを読出す。
【0108】順方向参照領域メモリ53及び逆方向参照
領域メモリ54から夫々読出された順方向予測ブロック
及び逆方向予測ブロック各々の画素は平均手段65で平
均され、両方向予測ブロックを構成する画素が平均手段
65から出力される。
【0109】このとき同時に、現ブロックを左上の画素
から順に読出すようにアドレス発生器56から読出しア
ドレスを発生することで、現ブロックメモリ52から現
ブロックが出力される。
【0110】こうして、現ブロックと、それに対応する
位置の順方向予測ブロック、逆方向予測ブロック、両方
向予測ブロックとが1画素ずつ順にフレーム間予測選択
器66に出力される。
【0111】フレーム間予測選択器66には3個の予測
誤差累算器(図示せず)があり、順方向予測ブロック、
逆方向予測ブロック、両方向予測ブロックを(1)式の
g(ix+vx,iy+vy)として算出した3種類の
予測誤差絶対値和が同時に算出される。
【0112】フレーム間予測選択器66は予測ブロック
の入力が終了すると、これらの値を比較して最小の予測
誤差絶対値和が算出されたフレーム間予測符号化方式を
表す選択信号を符号化タイプ選択器64に出力するとと
もに、その予測誤差絶対値和を予測ブロックと現ブロッ
クとの類似性を評価する評価データとして符号化タイプ
選択器64に出力する。
【0113】尚、Pフレームでは順方向予測符号化しか
採用できないため、常に順方向予測符号化を表す選択信
号を出力し、その予測誤差絶対値和を評価データとして
符号化タイプ選択器64に出力する。順方向予測符号化
を表す選択信号はセレクタ69にも出力される。
【0114】次に、ACレジスタ61に“0”を代入
し、順方向動きベクトル検出の場合と同様にして現ブロ
ックメモリ52から読出した現ブロックを演算手段59
に供給する。
【0115】同時に、ACレジスタ61の値をセレクタ
68を介して演算手段59に供給し、値“0”を(1)
式のg(ix+vx,iy+vy)とした予測誤差絶対
値和を算出する。
【0116】この予測誤差絶対値和をMの2乗で割って
(2)式のfavrを求め、その値をACレジスタ61
に格納する。ここで、Mは16なので、この除算は下位
8ビットの切捨てで実現できる。
【0117】さらに、上記と同様の処理をもう1回実行
し、現ブロックとACレジスタ61の値をセレクタ68
を介して演算手段59に供給して予測誤差絶対値和を算
出すると、(2)式のAC成分絶対値和を算出すること
ができる。このAC成分絶対値和をACレジスタ61に
格納する。
【0118】このようにして算出した現ブロックのAC
成分絶対値和とフレーム間予測選択器66から出力され
る評価データとを符号化タイプ選択器64に出力する
と、符号化タイプ選択器64は評価データ<AC成分絶
対値和であればフレーム間予測選択器66が出力したフ
レーム間予測符号化を、評価データ≧AC成分絶対値和
であればフレーム内符号化を夫々行うよう判定する。
【0119】符号化タイプ選択器64はその判定結果を
セレクタ70に出力する。尚、符号化タイプ選択器64
はIフレームの符号化であれば、常にフレーム内符号化
を選択するよう判定する。
【0120】その後、符号化タイプ選択器64から現ブ
ロックの符号化タイプが、順方向動きベクトルレジスタ
62から順方向動きベクトルが、逆方向動きベクトルレ
ジスタ63から逆方向動きベクトルが夫々予測結果とし
て端子75から順に出力される。
【0121】符号化タイプ選択器64と順方向動きベク
トルレジスタ62と逆方向動きベクトルレジスタ63と
には夫々パケットアドレス発生器60からパケットアド
レスが供給されている。
【0122】この場合、符号化タイプにはパケットアド
レス「0」が、順方向動きベクトルにはパケットアドレ
ス「1」が、逆方向動きベクトルにはパケットアドレス
「2」が夫々割当てられている。
【0123】現ブロックの処理が終わった段階でパケッ
トアドレス発生器60は「0」,「1」,「2」の順番
にアドレスを更新するので、端子75からは常時パケッ
トアドレスをデコードしている符号化タイプ選択器64
からの符号化タイプ、順方向動きベクトルレジスタ62
からの順方向動きベクトル、逆方向動きベクトルレジス
タ63からの逆方向動きベクトルが順番に出力される。
【0124】次に、符号化タイプに応じた予測ブロック
が1画素ずつ端子77から出力される。このため、アド
レス発生器57,58は再度順方向予測ブロック及び逆
方向予測ブロックを出力するためのアドレスを夫々発生
する。
【0125】よって、セレクタ69には順方向参照領域
メモリ53から順方向予測ブロックが、逆方向参照領域
メモリ54から逆方向予測ブロックが、平均手段65か
ら両方向予測ブロックが夫々出力される。
【0126】セレクタ69はこれら順方向予測ブロッ
ク、逆方向予測ブロック、両方向予測ブロックのうち一
つをフレーム間予測選択器66からの選択信号に応じて
選択してセレクタ70に出力する。
【0127】セレクタ70には符号化タイプ選択器64
から符号化タイプが与えられているので、セレクタ70
は符号化タイプがフレーム内符号化を指示するときに値
が全て“0”のブロックを、符号化タイプがフレーム内
符号化以外を指示するときにセレクタ69で選択された
予測ブロックを夫々端子77に出力する。
【0128】コントローラ67は端子76から入力され
るタイミング制御信号に応じて上記の各データの出力タ
イミングを制御する。
【0129】以上説明したように、図7に示す動き予測
プロセッサ50はPフレームのブロックでは順方向予測
符号化とフレーム内符号化とのうちどちらか一方を、B
フレームのブロックでは順方向予測符号化と逆方向予測
符号化と両方向予測符号化とフレーム内符号化とのうち
どれか一つを適応的に選択し、予測結果と予測ブロック
とを出力することができる。
【0130】また、Iフレームでも予測結果を出力する
ことができるとともに、値が全て“0”のブロックを予
測ブロックとして出力することができる。
【0131】尚、予測結果のうち順方向動きベクトルは
符号化タイプが順方向予測符号化及び両方向予測符号化
の場合のみ有効となり、逆方向動きベクトルは符号化タ
イプが逆方向予測符号化及び両方向予測符号化の場合の
み有効となるので、動き予測プロセッサ50の外側で符
号化タイプから有効な動きベクトルを選択することとな
る。
【0132】
【発明が解決しようとする課題】上述した従来の両方向
予測装置では、現ブロックの符号化タイプとその符号化
タイプに応じた動きベクトル及び予測ブロックとを適応
的に選択して出力している。
【0133】この両方向予測装置では参照領域の大きさ
が水平方向NH画素×垂直方向NV画素なので、順方向
あるいは逆方向の1つの動きベクトルを検出するのに
[(NH−M+1)×(NV−M+1)]回のブロックマ
ッチングを行い、[(NH−M+1)×(NV−M+
1)]個の予測誤差絶対値和の中から最小値を求めなけ
ればならない。
【0134】また、1回のブロックマッチングには絶対
誤差の和の算出処理をM2 回行う必要がある。さらに、
両方向予測装置では参照領域が広く、その参照領域が画
面内に入っていれば、それだけ現ブロックとの類似性が
高い予測ブロックが見つかる可能性が高くなり、画質を
保ったままで圧縮率を上げることができる。
【0135】しかしながら、動きベクトル検出は非常に
多くの計算を要することになるので、参照領域を広げよ
うとすると、それだけ演算手段59での動きベクトル検
出にかかる時間が長くなり、実時間処理が要求される動
画像処理に対応することが困難になる。
【0136】また、参照領域を広げようとすると、順方
向参照領域メモリ53及び逆方向参照領域メモリ54の
容量も増えるので、LSIで実現する場合にはチップサ
イズの増加、すなわちコストアップにつながってしま
う。
【0137】尚、動きベクトル検出の処理時間を短くす
るための技術として、特公昭63−144626号公報
には動きベクトルの大きさを推定して参照領域の大きさ
をブロック毎に決定する技術が開示されている。
【0138】これは参照領域内にある現ブロックと同じ
位置の参照ブロックと現ブロックとの差分を評価するこ
と、あるいは直前に符号化したブロックで検出した動き
ベクトルの大きさを参考にすることによって、現ブロッ
クで参照する参照領域の大きさを決定する技術である。
【0139】すなわち、参照領域を小さくして無駄なブ
ロックマッチングの回数を減らすことができれば、その
ブロックの処理時間が短くなるというものである。ただ
し、動画像はフレーム周期が一定で1フレーム当たり同
数のブロックを含むため、定常的にフレームの符号化を
行うためには1枚のフレーム内のブロックは1フレーム
の周期内で符号化し終わることが必要である。
【0140】したがって、この技術を使ってあるブロッ
クの参照領域を広げ、現ブロックと類似性が高い予測ブ
ロックを見つけだすことができた場合でも、同一フレー
ム内の他のブロックでその分参照領域を狭くして処理時
間を短くしなければ、1フレーム周期の中で全てのブロ
ックを処理することができない可能性がある。
【0141】このようにしてブロック毎に参照領域の大
きさを決定しながら、しかも1フレーム周期内でフレー
ム内の全ブロックを処理するよう制御することは難し
く、この技術を用いた装置を実現することは困難であ
る。
【0142】また、参照領域を各々重なり合うように等
しく分割し、複数の動き予測プロセッサに夫々分担させ
て並列に動きベクトル検出を実行する技術が特願平5−
345916号の出願明細書で本願出願人により提案さ
れている。
【0143】この技術においては、例えば参照領域を水
平方向に長くして動きベクトルの水平成分を広い範囲で
検出する場合、順方向の参照領域及び逆方向の参照領域
を水平方向に重なり合うように設定した3つの領域に分
割し、3個の動き予測プロセッサに夫々3つの順方向の
参照領域及び逆方向の参照領域を担当させる。
【0144】この技術を用いた装置は、図8に示すよう
に、現フレームメモリ1と、動き予測プロセッサ81−
1〜81−3と、参照フレームメモリ82−1〜82−
3と、タイミング発生器83と、予測結果選択器84
と、動きベクトル補正器85と、参照位置指示器86
と、逆方向予測ブロック作成87と、順方向予測ブロッ
ク作成88と、両方向予測ブロック作成89と、セレク
タ90,91と、端子10,92〜95とからなってい
る。
【0145】ここで、分割した順方向の参照領域を左か
らr1,r0,r2とし、分割した逆方向の参照領域を
左からs1,s0,s2とすると、動き予測プロセッサ
81−1には中央の順方向の参照領域r0及び逆方向の
参照領域s0を割当て、動き予測プロセッサ81−2に
は左側の順方向の参照領域r1及び逆方向の参照領域s
1を割当て、動き予測プロセッサ81−3には右側の順
方向の参照領域r2及び逆方向の参照領域s2を割当て
て夫々順方向の動きベクトル及び逆方向の動きベクトル
を検出させる。
【0146】この場合、動き予測プロセッサ81−1〜
81−3はブロック毎に参照フレームメモリ82−1〜
82−3に格納された同一の参照フレームから担当する
順方向参照領域及び逆方向参照領域を読出して順方向動
きベクトル及び逆方向動きベクトルを検出する。
【0147】動き予測プロセッサ81−1〜81−3が
夫々担当する順方向参照領域及び逆方向参照領域の位置
は参照位置指示器86から指定される。動き予測プロセ
ッサ81−1〜81−3は夫々指定された順方向参照領
域及び逆方向参照領域の中で現フレームメモリ1から供
給される共通の現ブロックとのブロックマッチングを行
い、順方向動きベクトル及び逆方向動きベクトルを検出
する。
【0148】動き予測プロセッサ81−1〜81−3各
々が担当する順方向参照領域及び逆方向参照領域の大き
さは等しいので、処理を同時に開始すればその処理が同
時に終了し、検出した動きベクトル等の予測結果が同時
に予測結果選択器84に出力される。
【0149】ただし、動き予測プロセッサ81−1〜8
1−3各々は現ブロックが画面上で参照領域の中心にあ
るものとして動きベクトルを検出するため、動き予測プ
ロセッサ81−2,81−3が出力する動きベクトルを
補正する必要がある。
【0150】予測結果選択器84はその中から1つの動
き予測プロセッサを選択し、それが出力した動きベクト
ルを参照領域の位置に合わせて動きベクトル補正器85
で補正して出力する。
【0151】上記の処理は図9に示すような処理タイミ
ングで行われる。図9において、i−1〜i−3は順方
向動きベクトル検出を、j−1〜j−3は順方向予測結
果出力を、k−1〜k−3は逆方向動きベクトル検出
を、l−1〜l−3は逆方向予測結果出力を、m1は順
方向予測結果解析を、m2は逆方向予測結果解析を、n
1は順方向動きベクトル補正を、n2は逆方向動きベク
トル補正を、oは順方向、逆方向、両方向予測ブロック
作成を、pは符号化タイプ判定を、qは予測ブロック出
力を夫々示している。
【0152】最初に、動き予測プロセッサ81−1〜8
1−3各々は順方向動きベクトルを検出する。これら動
き予測プロセッサ81−1〜81−3各々で検出された
順方向動きベクトルが出力されるときに、予測結果選択
器84が順方向予測結果を解析してこれら順方向動きベ
クトルの中から一つを選択する。動きベクトル補正器8
5は予測結果選択器84が選択した順方向動きベクトル
に補正を行う。
【0153】次に、上記の処理と同様にして、逆方向動
きベクトルの検出、出力、補正が行われる。その後に、
出力された順方向動きベクトル及び逆方向動きベクトル
に対応した順方向予測ブロック、逆方向予測ブロック、
両方向予測ブロックをいずれかの参照フレームメモリ8
2−1〜82−3から作成して動き予測プロセッサ81
−1に供給し、これらから符号化タイプを判定してそれ
に応じた予測ブロックが出力されることとなる。
【0154】上述した例では参照領域を分割して動きベ
クトルを並列に検出することで、動きベクトル検出時間
を短縮している。例えば、図8に示した例では動きベク
トル検出時間が約1/3となる。
【0155】しかしながら、動きベクトルは動き予測プ
ロセッサの外側で確定されるため、それを参照して作成
する予測ブロックは動き予測プロセッサの外側の順方向
予測ブロック作成88、逆方向予測ブロック作成87、
両方向予測ブロック作成89で作成しなければならな
い。これは読出し時間が通常長くなる外部の参照フレー
ムメモリ82−1〜82−3から読出して作成するた
め、この部分で時間がかかってしまう。
【0156】また、図7に示すように、動き予測プロセ
ッサ50内部に参照領域メモリ(現ブロックメモリ5
2、順方向参照領域メモリ53、逆方向参照領域メモリ
54)を確保し、予測ブロックの作成を動き予測プロセ
ッサ50内に取込むことを考えた場合でも、両方向予測
ブロックは順方向予測ブロック及び逆方向予測ブロック
から作成するため、例えば動き予測プロセッサ81−2
は順方向参照領域r1及び逆方向参照領域s1から両方
向予測ブロックを作成することになる。
【0157】同様に、動き予測プロセッサ81−3も順
方向参照領域r2及び逆方向参照領域s2から両方向予
測ブロックを作成することになり、狭い参照領域を用い
て作成するため、現ブロックと十分類似した両方向予測
ブロックを作成できる可能性は低い。よって、圧縮率が
上がらなくなる恐れがある。
【0158】そこで、本発明の目的は上記の問題点を解
消し、並列処理が可能で、現ブロックと類似した予測ブ
ロックを従来よりも効率的に求めることができ、装置と
して実現しやすい両方向予測方法及び両方向予測装置を
提供することにある。
【0159】
【課題を解決するための手段】本発明による両方向予測
方法は、動画像のデータ量の圧縮を行う画像処理装置に
おいて過去及び未来の両方向の動き予測を行う両方向予
測方法であって、前記動画像の過去の参照フレームから
作成された順方向予測ブロック内で互いに接する同面積
の第1及び第2の順方向参照領域と前記第1及び第2の
順方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の順方向参照領域と同面積の第3の順方向参照領
域とのうちの前記第3の順方向参照領域のデータと、前
記動画像の未来の参照フレームから作成された逆方向予
測ブロック内で互いに接しかつ前記第1及び第2の順方
向参照領域各々に対応して配置された同面積の第1及び
第2の逆方向参照領域と前記第1及び第2の逆方向参照
領域に夫々同じ面積で重なりかつ前記第1及び第2の逆
方向参照領域と同面積の第3の逆方向参照領域とのうち
の第3の逆方向参照領域のデータとを基に前記過去及び
未来の両方向の動き予測を行うステップと、前記第1の
順方向参照領域のデータと前記第2の逆方向参照領域の
データとを基に前記過去及び未来の両方向の動き予測を
行うステップと、前記第2の順方向参照領域のデータと
前記第1の逆方向参照領域のデータとを基に前記過去及
び未来の両方向の動き予測を行うステップと、各ステッ
プによる前記過去及び未来の両方向の動き予測に基づい
て、前記順方向予測ブロックを用いたフレーム間予測符
号化と前記逆方向予測ブロックを用いたフレーム間予測
符号化と前記順方向予測ブロック及び前記逆方向予測ブ
ロックから作成された両方向予測ブロックを用いたフレ
ーム間予測符号化とのうちの一つの方法と、前記動画像
の現在のフレームから分割された現ブロックをそのまま
符号化するフレーム内符号化方法との中から一つの方法
を選択して符号化タイプとするステップとからなってい
る。
【0160】本発明による他の両方向予測方法は、上記
の構成のほかに、前記選択された符号化タイプに応じて
前記現ブロックを符号化するための予測ブロックを出力
するステップを含んでいる。
【0161】本発明による両方向予測装置は、動画像の
データ量の圧縮を行う画像処理装置において過去及び未
来の両方向の動き予測を行う両方向予測装置であって、
前記動画像の過去の参照フレームから作成された順方向
予測ブロック内で互いに接する同面積の第1及び第2の
順方向参照領域と前記第1及び第2の順方向参照領域に
夫々同じ面積で重なりかつ前記第1及び第2の順方向参
照領域と同面積の第3の順方向参照領域とのうちの前記
第3の順方向参照領域のデータと、前記動画像の未来の
参照フレームから作成された逆方向予測ブロック内で互
いに接しかつ前記第1及び第2の順方向参照領域各々に
対応して配置された同面積の第1及び第2の逆方向参照
領域と前記第1及び第2の逆方向参照領域に夫々同じ面
積で重なりかつ前記第1及び第2の逆方向参照領域と同
面積の第3の逆方向参照領域とのうちの第3の逆方向参
照領域のデータとを基に前記過去及び未来の両方向の動
き予測を行う手段と、前記第1の順方向参照領域のデー
タと前記第2の逆方向参照領域のデータとを基に前記過
去及び未来の両方向の動き予測を行う手段と、前記第2
の順方向参照領域のデータと前記第1の逆方向参照領域
のデータとを基に前記過去及び未来の両方向の動き予測
を行う手段と、各手段による前記過去及び未来の両方向
の動き予測に基づいて、前記順方向予測ブロックを用い
たフレーム間予測符号化と前記逆方向予測ブロックを用
いたフレーム間予測符号化と前記順方向予測ブロック及
び前記逆方向予測ブロックから作成された両方向予測ブ
ロックを用いたフレーム間予測符号化とのうちの一つ
と、前記動画像の現在のフレームから分割された現ブロ
ックをそのまま符号化するフレーム内符号化との中から
一つを選択して符号化タイプとする手段とを備えてい
る。
【0162】本発明による他の両方向予測装置は、上記
の構成のほかに、前記選択された符号化タイプに応じて
前記現ブロックを符号化するための予測ブロックを出力
する手段を具備している。
【0163】
【作用】順方向参照領域及び逆方向参照領域を同面積の
複数の小領域に分割し、現ブロックを中心として画面上
で対称の位置にある順方向参照領域及び逆方向参照領域
を夫々組とし、それらの組毎に両方向予測を行う。
【0164】これによって、装置として実現しやすい並
列処理を可能とし、しかも現ブロックとの類似性が従来
とほとんど同等の予測ブロックを求めることが可能とな
る。
【0165】また、上記の両方向予測方法で並列処理す
る両方向予測装置では現ブロックとの類似性が従来とほ
とんど同等の予測ブロックを従来の両方向予測装置より
も短時間で求めることが可能となる。
【0166】さらに、上記の両方向予測方法で並列処理
する両方向予測装置では動き予測プロセッサ内部のメモ
リから求めることができるため、従来例よりも高速に処
理可能となり、この高速処理によってフレーム内のブロ
ック数を増やす、つまり大きな画像を符号化することが
可能となる。
【0167】さらに、動き予測プロセッサは単体でも、
また並列配置して用いても両方向予測装置の実現が可能
であり、並列配置が容易となる。この場合、動き予測プ
ロセッサを並列配置しても、処理時間は単体の場合とほ
とんど変わらないので、動画像の画質を保ったまま、従
来よりも圧縮率を上げる場合でも実時間処理が可能とな
る。
【0168】
【実施例】次に、本発明の一実施例について図面を参照
して説明する。
【0169】図1は本発明の一実施例による両方向予測
装置の構成を示すブロック図である。図において、本発
明の一実施例による両方向予測装置は図8に示す従来例
の並列配置による両方向予測装置と同様に、同期的に動
作する3個の動き予測プロセッサを用いて並列処理する
装置である。
【0170】また、本発明の一実施例による両方向予測
装置は現フレームメモリ1と、動き予測プロセッサ2−
1〜2−3と、参照フレームメモリ3−1〜3−3と、
参照位置指示器4と、予測ブロック選択器5と、動きベ
クトル補正器6と、予測結果選択器7と、タイミング発
生器8と、端子10〜15とから構成されている。
【0171】図2は本発明の一実施例による両方向予測
方法を説明するための図である。この図2を用いて本発
明の一実施例による両方向予測方法を説明する。
【0172】例えば、画面に左から右に動いている物体
が写っている場合を考えると、1秒間のフレーム数は約
25〜60枚程度でかなりフレーム間隔が狭いので、画
面に写っている物体はフレーム毎に少しずつ位置を左か
ら右に変えていく。
【0173】このように一般に動いている物体はその動
きが相当速くなければ、時間とともに画面上の位置を少
しずつ変えながら移動し、数フレームの短い時間単位で
みるとほとんど直線運動している場合が多い。
【0174】したがって、例えば過去のフレームでの物
体の位置が現フレームでの物体の位置よりも左にあった
場合、未来のフレームでは現フレームよりも右に位置す
る可能性が高く、現フレームより左の位置に戻る可能性
は低い。
【0175】他の方向に動いている場合も同様で、本発
明の一実施例ではこのような画面に写った物体の運動の
直線性を考慮してなされたものである。
【0176】図2において、現フレームAがBフレーム
であるとし、この現フレームAの各ブロックを順方向参
照フレームC及び逆方向参照フレームEを参照し、順方
向予測符号化、逆方向予測符号化、両方向予測符号化、
フレーム内符号化の計4種類の符号化方式の中から最も
圧縮率が上がると推定される方法で符号化する。
【0177】また、順方向参照領域C1及び逆方向参照
領域E1は夫々水平方向に長く設定し、画面に写ってい
る物体の水平方向の動きに追随して画質を保ったまま圧
縮率を上げることを狙っている。
【0178】まず、順方向参照領域C1及び逆方向参照
領域E1を夫々小領域(以下、順方向参照領域及び逆方
向参照領域とする)D0〜D2,G0〜G2に3分割
し、これら順方向参照領域D0〜D2及び逆方向参照領
域G0〜G2が水平方向に重なり合うようにする。
【0179】尚、順方向参照領域D0〜D2及び逆方向
参照領域G0〜G2各々の面積は等しく設定し、また重
なり合う部分が現ブロックの水平方向の大きさM、つま
り16画素とする。
【0180】順方向参照領域C1では、図2に示すよう
に、左から順に順方向参照領域D1、順方向参照領域D
0、順方向参照領域D2と設定され、逆方向参照領域E
1では左から逆方向参照領域G1、逆方向参照領域G
0、逆方向参照領域G2と設定されている。
【0181】例えば、順方向参照領域C1が水平方向6
4画素×垂直方向32画素とすると、順方向参照領域D
0〜D2は夫々水平方向32画素×垂直方向32画素
で、順方向参照領域D1が順方向参照領域C1の左半
分、順方向参照領域D0が順方向参照領域C1の中央
部、順方向参照領域D2が順方向参照領域C1の右半分
となる。
【0182】同様に、逆方向参照領域E1が水平方向6
4画素×垂直方向32画素とすると、逆方向参照領域G
0〜G2は夫々水平方向32画素×垂直方向32画素
で、逆方向参照領域G1が逆方向参照領域E1の左半
分、逆方向参照領域G0が逆方向参照領域E1の中央
部、逆方向参照領域G2が逆方向参照領域E1の右半分
となる。
【0183】上記の如く分割した順方向参照領域C1及
び逆方向参照領域E1を参照して動き予測プロセッサ2
−1〜2−3で符号化タイプを決定し、その符号化タイ
プと動きベクトルと予測ブロックとを出力する。
【0184】この場合、動き予測プロセッサ2−1は予
め割当てられた順方向参照領域D0と逆方向参照領域G
0とを読込んで符号化タイプを判定する。
【0185】また、動き予測プロセッサ2−2は予め割
当てられた順方向参照領域D1と逆方向参照領域G2と
を読込んで符号化タイプを判定する。
【0186】さらに、動き予測プロセッサ2−3は予め
割当てられた順方向参照領域D2と逆方向参照領域G1
とを読込んで符号化タイプを判定する。
【0187】これら図1及び図2を用いて本発明の一実
施例の動作について説明する。以下、フレームの大きさ
は水平方向NX画素×垂直方向NY画素とする。ここ
で、NXは現ブロックの水平方向の画素数16の倍数で
あり、NYは現ブロックの垂直方向の画素数16の倍数
とする。
【0188】ただし、NX,NYがこれらの条件を満た
さない場合には現ブロックの水平方向及び垂直方向各々
の画素数の倍数となるように、画面の右端及び下端に夫
々適当な画素を補ってフレームを構成すればよい。
【0189】また、順方向参照領域C1及び逆方向参照
領域E1の大きさはともに水平方向64画素×垂直方向
32画素とし、順方向参照領域D0〜D2及び逆方向参
照領域G0〜G2は夫々水平方向32画素×垂直方向3
2画素とする。
【0190】動き予測プロセッサ2−1〜2−3はタイ
ミング発生器8から同じタイミング制御信号が供給さ
れ、しかも同一構成でかつ同じ大きさの参照領域内で両
方向予測を行うため、同時に処理を開始するとともに、
同時に処理を終了するという同期的な動作を行う。
【0191】また、動き予測プロセッサ2−1〜2−3
各々には参照フレーム3−1〜3−3が接続されてお
り、動き予測プロセッサ2−1〜2−3各々はブロック
毎にこれら参照フレーム3−1〜3−3に格納された参
照フレームから担当する順方向参照領域D0〜D2及び
逆方向参照領域G0〜G2を読込む。尚、参照フレーム
3−1〜3−3には端子11から同一の参照フレームが
格納される。
【0192】動き予測プロセッサ2−1〜2−3各々が
担当する順方向参照領域D0〜D2及び逆方向参照領域
G0〜G2の位置は参照位置指示器4から指定される。
【0193】すなわち、動き予測プロセッサ2−1は順
方向参照領域D0及び逆方向参照領域G0を、動き予測
プロセッサ2−2は順方向参照領域D1及び逆方向参照
領域G2を、動き予測プロセッサ2−3は順方向参照領
域D2及び逆方向参照領域G1を夫々読込む。
【0194】動き予測プロセッサ2−1〜2−3各々は
夫々の参照領域の中で現フレームメモリ1から供給され
る共通の現ブロックの両方向予測処理を、図7に示した
従来例と同様に行う。
【0195】つまり、動き予測プロセッサ2−1〜2−
3各々はまず順方向動きベクトル及び逆方向動きベクト
ルを検出し、次に順方向予測ブロック及び逆方向予測ブ
ロックを作成する。
【0196】その後に、動き予測プロセッサ2−1〜2
−3各々は作成した順方向予測ブロック及び逆方向予測
ブロックを平均して両方向予測ブロックを作成し、これ
ら予測ブロック各々と現ブロックとの類似性を評価する
評価データを作成する。
【0197】動き予測プロセッサ2−1〜2−3各々は
最小の評価データを与えるフレーム間予測符号化方式を
選択するとともに、現ブロックのAC成分絶対値和を算
出し、このAC成分絶対値和と最小の評価データとを比
較して現ブロックの符号化タイプを判定し、予測ブロッ
クを選択する。
【0198】尚、順方向動きベクトル及び逆方向動きベ
クトルは動き予測プロセッサ2−1〜2−3各々が従来
例と同様に、現ブロックの画面上の位置が参照領域の中
心にあるものとして検出するため、動き予測プロセッサ
2−2,2−3各々が出力する順方向動きベクトル及び
逆方向動きベクトルに対しては参照した参照領域の位置
による補正を必要とする。
【0199】また、順方向参照領域C1及び逆方向参照
領域E1は画面内に入っていなければならない。動き予
測プロセッサ2−1の処理では現ブロックの画面上の位
置が担当する順方向参照領域D0及び逆方向参照領域G
0の中心となる。よって、動き予測プロセッサ2−1の
処理では画面外の領域を含む参照ブロックとのブロック
マッチング結果を無視するので問題はない。
【0200】しかしながら、動き予測プロセッサ2−
2,2−3各々の処理では現ブロックの画面上の位置が
担当する順方向参照領域D1,D2及び逆方向参照領域
G2,G1の中心にないのに、その位置が中心にあると
して処理している。よって、現ブロックが画面の端付近
にある場合には動き予測プロセッサ2−2,2−3は画
面外の領域を順方向参照領域あるいは逆方向参照領域に
含むこととなり、それを画面外と認識せずに処理するこ
とがあるため、動き予測プロセッサ2−2,2−3各々
の出力結果が誤っている可能性がある。
【0201】動き予測プロセッサ2−1〜2−3各々は
符号化タイプ判定が終了すると、タイミング発生器8が
出力するタイミング制御信号によって一斉に予測結果を
予測結果選択器7に出力する。
【0202】この予測結果としては、(1)現ブロック
の画面上の位置(ここでは現ブックの左上角の画素を座
標とする)、(2)符号化タイプ判定の際に用いた予測
ブロックと現ブロックとの類似性の評価データ、(3)
現ブロックの符号化タイプ、(4)順方向動きベクト
ル、(5)逆方向動きベクトルの順に出力される。
【0203】予測結果選択器7は動き予測プロセッサ2
−1〜2−3の出力の中から一つを選択し、選択した動
き予測プロセッサ2−1〜2−3の番号と、その動き予
測プロセッサ2−1〜2−3が予測結果として出力した
順方向動きベクトル及び逆方向動きベクトルとを動きベ
クトル補正器6に出力する。
【0204】また、予測結果選択器7は選択した動き予
測プロセッサ2−1〜2−3の番号を予測ブロック選択
器5にも出力する。同時に、予測結果選択器7は選択し
た動き予測プロセッサ2−1〜2−3が予測結果として
出力した符号化タイプを端子15に出力する。
【0205】つまり、予測結果選択器7ではまず予測結
果に含まれる最初のデータである現ブロックの画面上の
位置を動き予測プロセッサ2−1の予測結果から入力
し、順方向参照領域C1あるいは逆方向参照領域E1が
画面外となる動き予測プロセッサの出力を除外する。
【0206】ここでは現ブロックの画面上の位置として
現ブロックの左上角の画素の座標が出力されるので、そ
の座標を(ix,iy)(0≦ix<NX,0≦iy<
NY)と表すと、ix=0及びix=16の場合、順方
向参照領域D1及び逆方向参照領域G1の左側の一部は
画面外となる。また、ix=NX−32及びix=NX
−16の場合、順方向参照領域D2及び逆方向参照領域
G2の右側の一部は画面外となる。
【0207】よって、現ブロックの位置がこれらの場合
には動き予測プロセッサ2−2,2−3の出力結果が誤
っている可能性があるので、動き予測プロセッサ2−
2,2−3の出力結果を除外しなければならない。
【0208】尚、上記と同様に、iy=0及びiy=1
6の場合には夫々の参照領域の上側の一部が、iy=N
Y−32及びiy=NY−16の場合には夫々の参照領
域の下側の一部が画面外となるが、この例では参照領域
の垂直方向の位置は変えていないので問題とはならな
い。
【0209】したがって、現ブロックが画面の左端から
2ブロックまで、右端から2ブロックまでの位置の場合
には動き予測プロセッサ2−1の予測結果が選択される
こととなる。
【0210】次に、予測結果選択器7は入力した予測結
果の2番目のデータである評価データを比較し、最小の
評価データを出力した動き予測プロセッサを選択してそ
の動き予測プロセッサの番号を取込んでおく。
【0211】評価データが最小ということはその動き予
測プロセッサが選択したフレーム間予測符号化の予測ブ
ロックが最も現ブロックと類似していることを示してい
る。したがって、その評価データを用いて判定した符号
化タイプが現ブロックの符号化タイプとして最適となる
ので、選択した動き予測プロセッサが出力した予測結果
の3番目のデータである符号化タイプを取出して端子1
5に出力する。
【0212】さらに、予測結果選択器7は予測結果の4
番目及び5番目のデータである順方向動きベクトル及び
逆方向動きベクトルについても、選択した動き予測プロ
セッサが出力したものを取出して動きベクトル補正器6
に出力する。また、予測結果選択器7は選択した動き予
測プロセッサの番号を予測ブロック選択器5に出力す
る。
【0213】動きベクトル補正器6は入力した動き予測
プロセッサの番号に応じて順方向動きベクトル及び逆方
向動きベクトルを補正し、夫々端子12,13に出力す
る。つまり、動きベクトル補正器6は入力した順方向動
きベクトルを(vx1,vy1)、逆方向動きベクトル
を(vx2,vy2)とすると、順方向動きベクトル及
び逆方向動きベクトルを以下のように補正する。
【0214】動き予測プロセッサ2−1から順方向動き
ベクトル及び逆方向動きベクトルが入力された場合、補
正した順方向動きベクトルは(vx1,vy1)、補正
した逆方向動きベクトルは(vx2,vy2)となる。
【0215】また、動き予測プロセッサ2−2から順方
向動きベクトル及び逆方向動きベクトルが入力された場
合、補正した順方向動きベクトルは(vx1−16,v
y1)、補正した逆方向動きベクトルは(vx2+1
6,vy2)となる。
【0216】さらに、動き予測プロセッサ2−3から順
方向動きベクトル及び逆方向動きベクトルが入力された
場合、補正した順方向動きベクトルは(vx1+16,
vy1)、補正した逆方向動きベクトルは(vx2−1
6,vy2)となる。
【0217】この補正は各動き予測プロセッサ2−1〜
2−3の参照領域の位置の違いを反映したもので、例え
ば動き予測プロセッサ2−2の順方向参照領域D1は動
き予測プロセッサ2−1の順方向参照領域D0より水平
方向に16画素左にあるため、実際の順方向動きベクト
ルは上記の補正を加えて正しい値となる。
【0218】また、動き予測プロセッサ2−2の逆方向
参照領域G2は動き予測プロセッサ2−1の逆方向参照
領域G0より水平方向に16画素右にあるため、実際の
逆方向動きベクトルは上記の補正を加えて正しい値とな
る。
【0219】動き予測プロセッサ2−3の順方向参照領
域D2及び逆方向参照領域G1も、動き予測プロセッサ
2−2と同様に、実際の順方向動きベクトル及び逆方向
動きベクトルは上記の補正を加えて正しい値となる。
【0220】したがって、3個の動き予測プロセッサ2
−1〜2−3を用いて画面内に納まる参照領域の中で並
列に両方向予測動きベクトルを検出した結果、最も評価
データが小さい動き予測プロセッサが出力する符号化タ
イプと正しい順方向動きベクトル及び逆方向動きベクト
ルとが夫々端子15,12,13に出力される。
【0221】この場合、各動き予測プロセッサ2−1〜
2−3が担当する動きベクトル検出範囲は動き予測プロ
セッサ2−1〜2−3各々が担当する参照領域の大き
さ、つまり水平方向32画素×垂直方向32画素なの
で、−8≦vx1,vx2≦8,−8≦vy1,vy2
≦8であり、これを上記のように補正すると以下のよう
になる。
【0222】動き予測プロセッサ2−1の場合、順方向
動きベクトルは(−8≦vx1≦8,−8≦vy1≦
8)、補正した逆方向動きベクトルは(−8≦vx2≦
8,−8≦vy2≦8)となる。
【0223】動き予測プロセッサ2−2の場合、順方向
動きベクトルは(−24≦vx1≦−8,−8≦vy1
≦8)、逆方向動きベクトルは(8≦vx2≦24,−
8≦vy2≦8)となる。
【0224】動き予測プロセッサ2−3の場合、順方向
動きベクトルは(8≦vx1≦24,−8≦vy1≦
8)、逆方向動きベクトルは(−24≦vx2≦−8,
−8≦vy2≦8)となる。
【0225】したがって、総合的には順方向動きベクト
ル検出範囲が−24≦vx1≦24,−8≦vy1≦8
となり、逆方向動きベクトルベクトル検出範囲が−24
≦vx2≦24,−8≦vy2≦8となり、動き予測プ
ロセッサが1個の場合の3倍の検出範囲が得られる。
【0226】予測ブロック選択器5は予測結果選択器7
が選択した動き予測プロセッサの番号が入力されると、
その動き予測プロセッサが出力する予測ブロックを端子
14に出力するよう内部のセレクタ(図示せず)を設定
する。
【0227】よって、3個の動き予測プロセッサ2−1
〜2−3が、タイミング発生器8が出力するタイミング
制御信号によって一斉に予測ブロックを出力すると、予
測ブロック選択器5は予測結果選択器7が選択した動き
予測プロセッサが出力する予測ブロックを端子14に出
力する。
【0228】以上説明したように、水平方向32画素×
垂直方向32画素の順方向参照領域C1及び逆方向参照
領域E1内で両方向予測を行う3個の動き予測プロセッ
サ2−1〜2−3を並列配置し、水平方向64画素×垂
直方向32画素の順方向参照領域C1及び逆方向参照領
域E1内で両方向予測を行うことができる。
【0229】また、各動き予測プロセッサ2−1〜2−
3は同時に処理を開始し、同時に処理を終了するので、
本発明の一実施例による両方向予測の処理時間は動き予
測プロセッサ1個の処理時間に予測結果選択器7及び動
きベクトル補正器6の処理時間が加わるだけである。
【0230】しかも、この処理時間は順方向動きベクト
ル及び逆方向動きベクトルの検出を行う各動き予測プロ
セッサの処理時間に比べて小さくすることができる。す
なわち、本発明の一実施例は従来例に比べるとほとんど
同等の処理時間で2倍の参照領域を用いて両方向予測を
行うことができる。
【0231】上述した実施例では3個を並列に用いた例
であるが、同様な手法でさらに多くの動き予測プロセッ
サを並列配置し、参照領域を広げることができるのは明
らかである。
【0232】その場合でも、処理時間は動き予測プロセ
ッサ1個の処理時間とほとんど変わらない。また、並列
配置の際に付加する回路は予測結果選択器7、動きベク
トル補正器6、予測ブロック選択器5といった比較的簡
単な構成の回路で済む。
【0233】図3は本発明の一実施例によるブロック処
理タイミングを示す図である。図において、a−1〜a
−3は順方向動きベクトル検出を、b−1〜b−3は逆
方向動きベクトル検出を、c−1〜c−3は符号化タイ
プ判定を、d−1〜d−3は予測結果出力を、e1〜e
3は予測ブロック出力を、fは予測結果解析を、gは順
方向動きベクトル及び逆方向動きベクトルの補正を、h
は予測ブロック選択及び選択した予測ブロックの出力を
夫々示している。
【0234】図に示す如く、動き予測プロセッサ2−1
〜2−3では順方向動きベクトル検出a−1〜a−3、
逆方向動きベクトル検出b−1〜b−3、符号化タイプ
判定c−1〜c−3、予測結果出力d−1〜d−3、予
測ブロック出力e1〜e3を夫々同時に開始して同時に
終了しているので、全体の処理時間は動き予測プロセッ
サ1個の処理時間とほとんど変わらない。
【0235】図4は本発明の一実施例による動き予測プ
ロセッサの構成を示すブロック図である。図において、
動き予測プロセッサ2はオフセットレジスタ38,39
及びそれらに接続された端子49を加え、パケットアド
レス発生器29にアドレス発生器20及びフレーム間予
測選択器35を接続した以外は図7に示す従来例と同様
の構成となっている。
【0236】すなわち、動き予測プロセッサ2はアドレ
ス発生器20,24〜27と、現ブロックメモリ21
と、順方向参照領域メモリ22と、逆方向参照領域メモ
リ23と、演算手段28と、パケットアドレス発生器2
9と、ACレジスタ30と、順方向動きベクトルレジス
タ31と、逆方向動きベクトルレジスタ32と、符号タ
イプ選択器33と、平均手段34と、フレーム間予測選
択器35と、コントローラ36と、セレクタ37,4
0,41と、オフセットレジスタ38,39と、端子4
2〜49とから構成されている。
【0237】また、動き予測プロセッサ2は現フレーム
メモリ1及び参照フレームメモリ9に夫々接続されてい
る。つまり、現フレームメモリ1は端子42を介してア
ドレス発生器20に、また端子43を介して現ブロック
メモリ21に夫々接続されている。
【0238】参照フレームメモリ9は端子45を介して
アドレス発生器24に、また端子44を介して順方向参
照領域メモリ22及び逆方向参照領域メモリ23に夫々
接続されている。
【0239】動き予測プロセッサ2において、アドレス
発生器20からはブロックの画面上の位置を示す現ブロ
ックの左上角の画素の座標が、フレーム間予測選択器3
5からは符号化タイプ選択器33に出力する現ブロック
と各予測ブロックとの類似性を示す評価データが夫々予
測結果に含められて端子46から出力される。
【0240】まず、オフセットレジスタ38,39の働
きと予測結果の出力順とを説明してから、動き予測プロ
セッサ2が従来の両方向予測装置と同様の動き予測が可
能なことを説明する。さらに、動き予測プロセッサ2が
本発明の一実施例の両方向予測装置に使用できることを
説明する。
【0241】ここで、説明を簡単にするため、参照フレ
ームメモリ9のアドレスが図5に示すように1つのアド
レスに1画素が格納されているとする。
【0242】すなわち、参照フレームメモリ9に格納さ
れている2枚のフレームをh1(jx,jy)、h2
(jx,jy)とし、jx,jyは夫々水平方向及び垂
直方向の座標で、0≦jx<NX,0≦jy<NYとす
ると、1枚目のフレームh1(jx,jy)のjy=0
となる水平方向の第1ラインをアドレス0番地からNX
−1番地まで順に格納し、以下同様に、1ライン毎に画
素を格納し、jy=NY−1となる第NYラインをアド
レスNX(NY−1)番地からNX*NY−1番地とな
るように格納する。したがって、h1(jx,jy)の
アドレスはjy*NX+jxとなる。
【0243】また、2枚目のフレームh2(jx,j
y)も1枚目のフレームh1(jx,jy)の最後の画
素の次のアドレスNX*NY番地から同様に格納するよ
う、参照フレームメモリ9を割り付ける。したがって、
h2(jx,jy)のアドレスはjy*NX+jx+N
X*NYとなる。
【0244】動き予測プロセッサ2−1は水平方向32
画素×垂直方向32画素の順方向参照領域C1及び逆方
向参照領域E1をとるとして説明する。
【0245】よって、現ブロックの画面上の位置が順方
向参照領域C1及び逆方向参照領域E1の中心に位置す
る通常の場合には現ブロックの左上角の画素の座標が
(ix,iy)(0≦ix<NX,0≦iy<NY)の
とき、順方向参照領域C1及び逆方向参照領域E1を構
成する画素の座標(jx,jy)(0≦jx<NX,0
≦jy<NY)はix−8≦jx<ix+23,iy−
8≦jy<iy+23となる。
【0246】オフセットレジスタ38は外部の参照フレ
ームメモリ9から読出す順方向参照領域C1のアドレス
に加えるオフセットを端子49から設定するために設け
たもので、オフセットレジスタ39は外部の参照フレー
ムメモリ9から読出す逆方向参照領域E1のアドレスに
加えるオフセットを端子49から設定するために設けた
ものである。
【0247】オフセットレジスタ38に格納されている
値を「offset0」とし、オフセットレジスタ39
に格納されている値を「offset1」とすると、現
ブロックの左上角の画素の座標が(ix,iy)(0≦
ix<NX,0≦iy<NY)のとき、アドレス発生器
24が順方向参照領域C1を読込む際に発生するアドレ
スは次のようになる。
【0248】順方向参照領域C1の第1ラインのアドレ
スは、base+(jy−8)*NX+ix−8+of
fset0,……,base+(jy−8)*NX+i
x+23+offset0となる。
【0249】また、順方向参照領域C1の第2ラインの
アドレスは、base+(jy−7)*NX+ix−8
+offset0,……,base+(jy−7)*N
X+ix+23+offset0となる。
【0250】同様にして、順方向参照領域C1の第32
ラインのアドレスは、base+(jy+23)*NX
+ix−8+offset0,……,base+(jy
+23)*NX+ix+23+offset0となる。
【0251】ただし、上記のアドレスにおいて、bas
eは過去のフレームの最初の画素のアドレス(0または
NX*NY)である。
【0252】一方、アドレス発生器24が逆方向参照領
域E1を読込む際に発生するアドレスは次のようにな
る。
【0253】逆方向参照領域E1の第1ラインのアドレ
スは、base+(jy−8)*NX+ix−8+of
fset1,……,base+(jy−8)*NX+i
x+23+offset1となる。
【0254】また、逆方向参照領域E1の第2ラインの
アドレスは、base+(jy−7)*NX+ix−8
+offset1,……,base+(jy−7)*N
X+ix+23+offset1となる。
【0255】同様にして、逆方向参照領域E1の第32
ラインのアドレスは、base+(jy+23)*NX
+ix−8+offset1,……,base+(jy
+23)*NX+ix+23+offset1となる。
【0256】ただし、上記のアドレスにおいて、bas
eは未来のフレームの最初の画素のアドレス(0または
NX*NY)である。
【0257】この動き予測プロセッサ2は端子46か
ら、パケットアドレス発生器29が発生するパケットア
ドレスにしたがって予測結果を上述したような順番で出
力するが、アドレス発生器20,フレーム間予測選択器
35、符号化タイプ選択器33、順方向動きベクトルレ
ジスタ31、逆方向動きベクトルレジスタ32に夫々
「0」,「1」,「2」,「3」,「4」のパケットア
ドレスを割り当てる。
【0258】つまり、パケットアドレス「1」には現ブ
ロックの画面上の位置(現ブックの左上角の画素の座
標)、パケットアドレス「2」には予測ブロックと現ブ
ロックとの類似性を評価する評価データ、パケットアド
レス「3」には現ブロックの符号化タイプ、パケットア
ドレス「4」には順方向動きベクトル、パケットアドレ
ス「5」には逆方向動きベクトルが夫々割り当てられ
る。
【0259】したがって、パケットアドレス発生器29
が「0」〜「4」のパケットアドレスを順に発生する
と、端子46には上述したような順番で予測結果が現れ
る。これは従来出力されていた予測結果の前に現ブロッ
クの画面上の位置及び評価データを出力していることに
なる。
【0260】次に、動き予測プロセッサ2の動作につい
て説明する。上記の如く、動き予測プロセッサ2は従来
の動き予測プロセッサにオフセットレジスタ38,39
及びそれに接続された端子49を加え、予測結果として
従来出力されていた予測結果の前に現ブロックの画面上
の位置及び評価データを出力している。
【0261】よって、端子49から予めオフセットレジ
スタ38,39に「0」を書込んでおけば、上述したア
ドレス発生器24が順方向参照領域C1及び逆方向参照
領域E1を読込む際に発生するアドレスの「offse
t0」,「offset1」が「0」となるので、現ブ
ロックの画面上の位置が参照領域の中心に位置するよう
な順方向参照領域C1及び逆方向参照領域E1が夫々順
方向参照領域メモリ22及び逆方向参照領域メモリ23
に格納される。よって、従来と同様に、これら参照領域
を用いて動き予測の処理ができることは明らかである。
【0262】また、動き予測プロセッサ2が本発明の一
実施例による両方向予測装置に使用できることを説明す
る。まず、動き予測プロセッサ2は上述した如く、予測
結果を出力する。この予測結果は本発明の一実施例によ
る両方向予測装置が出力する予測結果と同様のものであ
る。
【0263】さらに、従来例と同様に、読込んだ順方向
参照領域C1及び逆方向参照領域E1を用いて予測ブロ
ックを出力することができるので、図4に示す動き予測
プロセッサ2が図1に示す動き予測プロセッサ2−1〜
2−3と同じ順方向参照領域C1及び逆方向参照領域E
1を読込むことができれば、図4に示す動き予測プロセ
ッサ2を図1に示す両方向予測装置に用いることができ
るのは明らかである。
【0264】オフセットレジスタ38,39に夫々端子
49から値「0」を書込んだ場合、上述したように現ブ
ロックの画面上の位置が参照領域の中心に位置するよう
な順方向参照領域C1及び逆方向参照領域E1を夫々順
方向参照領域メモリ22及び逆方向参照領域メモリ23
に格納することができる。
【0265】したがって、図2に示す順方向参照領域D
0及び逆方向参照領域G0を読込むことになり、図4に
示す動き予測プロセッサ2を図1に示す動き予測プロセ
ッサ2−1として用いることができる。
【0266】オフセットレジスタ38に端子49から値
「−16」を書込んだ場合、アドレス発生器24が順方
向参照領域C1を読込む際に発生するアドレスは次のよ
うになる。
【0267】順方向参照領域C1の第1ラインのアドレ
スは、base+(jy−8)*NX+ix−8−1
6,……,base+(jy−8)*NX+ix+23
−16となる。
【0268】また、順方向参照領域C1の第2ラインの
アドレスは、base+(jy−7)*NX+ix−8
−16,……,base+(jy−7)*NX+ix+
23−16となる。
【0269】同様にして、順方向参照領域C1の第32
ラインのアドレスは、base+(jy+23)*NX
+ix−8−16,……,base+(jy+23)*
NX+ix+23−16となる。
【0270】これはオフセットレジスタ38の値が
「0」の場合より16画素左の領域を読込むことを意味
する。したがって、図2に示す順方向参照領域D1を読
込むことになる。
【0271】同様に、オフセットレジスタ39に端子4
9から値「16」を書込んだ場合、アドレス発生器24
が逆方向参照領域E1を読込む際に発生するアドレスは
次のようになる。
【0272】逆方向参照領域E1の第1ラインのアドレ
スは、base+(jy−8)*NX+ix−8+1
6,……,base+(jy−8)*NX+ix+23
+16となる。
【0273】また、逆方向参照領域E1の第2ラインの
アドレスは、base+(jy−7)*NX+ix−8
+16,……,base+(jy−7)*NX+ix+
23+16となる。
【0274】同様にして、逆方向参照領域E1の第32
ラインのアドレスは、base+(jy+23)*NX
+ix−8+16,……,base+(jy+23)*
NX+ix+23+16となる。
【0275】これはオフセットレジスタ39の値が
「0」の場合より16画素右の領域を読込むことを意味
する。したがって、図2に示す逆方向参照領域G2を読
込むことになる。
【0276】よって、図2に示す順方向参照領域D1及
び逆方向参照領域G2を読込むことになり、図4に示す
動き予測プロセッサ2を図1に示す動き予測プロセッサ
2−2として用いることができる。
【0277】同様に、オフセットレジスタ38に端子4
9から値「16」を書込み、オフセットレジスタ39に
端子49から値「−16」を書込んだ場合、図2に示す
順方向参照領域D2及び逆方向参照領域G1を読込むこ
とになり、図4に示す動き予測プロセッサ2を図1に示
す動き予測プロセッサ2−3として用いることができ
る。
【0278】したがって、オフセットレジスタ38に値
「0」を書込み、オフセットレジスタ39に値「0」を
書込んだ場合には動き予測プロセッサ2−1として用い
ることができ、オフセットレジスタ38に値「−16」
を書込み、オフセットレジスタ39に値「16」を書込
んだ場合には動き予測プロセッサ2−2として用いるこ
とができ、オフセットレジスタ38に値「16」を書込
み、オフセットレジスタ39に値「−16」を書込んだ
場合には動き予測プロセッサ2−3として用いることが
できる。
【0279】上述したように、図4に示す動き予測プロ
セッサ2は図1の両方向予測装置の動き予測プロセッサ
2−1〜2−3として使用することができる。この例で
は順方向参照領域及び逆方向参照領域を夫々水平方向に
移動させる例を示したが、オフセットレジスタ38,3
9の値を適当に設定すれば他の方向に移動させることも
可能である。
【0280】図6は本発明の一実施例による両方向予測
方法の処理動作を示すフローチャートである。この図6
を用いて本発明の一実施例による両方向予測方法の処理
を具体的に説明する。
【0281】まず、現ブロック入力S1で現ブロックが
入力されると、その現ブロックは各処理S2〜S4に供
給される。
【0282】各処理S2〜S4においては、順方向参照
領域D0入力S21、順方向参照領域D1入力S31、
順方向参照領域D2入力S41で夫々順方向参照領域D
0〜D2を入力する。続いて、順方向動きベクトル検出
S22,S32,S42で夫々順方向参照領域D0〜D
2内における順方向動きベクトルの検出を行う。
【0283】同様に、逆方向参照領域G0入力S23、
順方向参照領域G2入力S33、順方向参照領域G1入
力S43で夫々逆方向参照領域G0、逆方向参照領域G
2、逆方向参照領域G1を入力し、続いて逆方向動きベ
クトル検出S24,S34,S44で夫々逆方向参照領
域G0、逆方向参照領域G2、逆方向参照領域G1内に
おける逆方向動きベクトルの検出を行う。
【0284】さらに、フレーム間予測符号化第1次選択
S25,S35,S45で、従来と同様の手順で順方向
予測ブロック、逆方向予測ブロック、両方向予測ブロッ
ク各々を作成し、夫々従来と同様に現ブロックとの類似
性を評価するための(1)式の予測誤差絶対値和を用い
て評価データを算出する。
【0285】フレーム間予測符号化第1次選択S25,
S35,S45では算出された評価データを比較して最
も評価データが小さい予測ブロックと、それを与えるフ
レーム間予測符号化方式候補を選択する。この場合、評
価データと順方向動きベクトル候補と逆方向動きベクト
ル候補とを保持しておく。
【0286】上記の処理S2〜S4各々の処理S21〜
S25,S31〜S35,S41〜S45で3組のフレ
ーム間予測符号化方式候補、その方式の予測ブロックと
現ブロックとの類似性を評価する評価データ、順方向動
きベクトル候補、逆方向動きベクトル候補が得られる。
【0287】次に、フレーム間予測符号化第2次選択S
5では上記の3つのフレーム間予測符号化方式候補の中
から一つを選択する。この選択方法は従来と同様に、夫
々のフレーム間予測符号化方式候補に対応する評価デー
タを比較し、最小の評価データに対応するフレーム間予
測符号化方式候補を選択する。
【0288】その後に、AC成分絶対値和算出S6では
従来と同様に(2)式にしたがって現ブロックのAC成
分絶対値和を算出し、符号化タイプ判定S7ではこのA
C成分絶対値和とフレーム間予測符号化第2次選択S5
で選択したフレーム間予測符号化方式候補に対応する評
価データとを比較して符号化タイプを判定する。
【0289】予測結果出力S8ではこの符号化タイプが
フレーム間予測符号化方式候補であれば、判定した符号
化タイプとそれに対応する動きベクトルとを出力する。
続いて、予測ブロック出力S9では判定した符号化タイ
プの予測方式の予測ブロックを作成して出力する。
【0290】予測ブロックは従来と同様に、符号化タイ
プがフレーム内符号化の場合に値が全て“0”のブロッ
ク、そうでない場合にフレーム間予測符号化第2次選択
S5で選択したフレーム間予測符号化方式候補の予測ブ
ロックを夫々出力する。
【0291】上記の処理S1〜S9によって、従来の動
き予測の処理が実行可能となる。尚、上記の説明ではB
フレームを例にとって説明したが、従来と同様に、Pフ
レーム及びIフレームの処理もBフレームの処理の一部
を変更して実現することができる。
【0292】すなわち、Pフレームではフレーム間予測
符号化方式の選択で常に順方向予測符号化を選択し、I
フレームでは符号化タイプの選択で常にフレーム内符号
化を選択するようにすればよい。
【0293】上記の両方向予測方法を、順方向参照領域
C1及び逆方向参照領域E1全体を参照して両方向予測
する方法と比較すると、上記の両方向予測方法では両方
向予測ブロックを作成するために参照する参照領域は従
来の1/2の大きさの順方向参照領域及び逆方向参照領
域である。
【0294】ただし、通常、過去の参照フレーム、現フ
レーム、未来の参照フレームはせいぜい3〜5フレーム
程度しか時間的に離れていない。よって、現ブロックに
画面内で左から右に動いている物体が写っている場合に
は順方向参照領域D1と逆方向参照領域G2とを組み合
わせた処理S3で現ブロックと類似した予測ブロックが
見つかる可能性が高い。
【0295】また、現ブロックに画面内で右から左に動
いている物体が写っている場合には順方向参照領域D2
と逆方向参照領域G1とを組み合わせた処理S4で現ブ
ロックと類似した予測ブロックが見つかる可能性が高
い。
【0296】さらに、現ブロックに動いていない物体が
写っている場合には順方向参照領域D0と逆方向参照領
域G0とを組み合わせた処理S2で現ブロックと類似し
た予測ブロックが見つかる可能性が高い。
【0297】したがって、上記の両方向予測方法を用い
ることによって、従来とほとんど同等の類似性を持った
予測ブロックが得られることが期待できる。
【0298】また、順方向参照領域C1及び逆方向参照
領域E1は夫々順方向参照領域D0〜D2及び逆方向参
照領域G0〜G2に3分割し、それらを重ね合わせるよ
うに設定しているので、順方向参照領域D0と逆方向参
照領域G0との組、順方向参照領域D1と逆方向参照領
域G2との組、順方向参照領域D2と逆方向参照領域G
1との組を夫々図6に示すように並列処理しやすくなっ
ている。
【0299】さらに、これらの処理を行う場合に必要な
メモリ容量を比較すると、従来の参照領域が水平方向6
4画素×垂直方向32画素分であるのに対し、上記の両
方向予測方法では参照領域が水平方向32画素×垂直方
向32画素分であり、その容量は1/2になる。よっ
て、消費メモリが少なくて済む。
【0300】尚、上述した本発明の一実施例では参照領
域を水平方向に広げる例を示しているが、同様な方法あ
るいは手段で垂直方向にも広げることができる。例え
ば、順方向参照領域及び逆方向参照領域を夫々水平方向
32画素×垂直方向64画素とし、各参照領域を水平方
向32画素×垂直方向32画素の小領域に3分割し、そ
れらが重なり合うように配置する。
【0301】中央部の順方向参照領域と中央部の逆方向
参照領域との組、上半分の順方向参照領域と下半分の逆
方向参照領域との組、下半分の順方向参照領域と上半分
の逆方向参照領域との組で夫々両方向予測を行えば、本
発明の一実施例と同様の効果を得ることができる。
【0302】さらに、水平方向及び垂直方向に夫々分割
する分割数を増やし、現ブロックを中心として対象とな
る斜め方向の順方向参照領域及び逆方向参照領域を組み
合わせて両方向予測を行うことも可能である。
【0303】このように、順方向参照領域C1及び逆方
向参照領域E1を同面積の複数の小領域に分割し、現ブ
ロックを中心として画面上で対称の位置にある順方向参
照領域D1及び逆方向参照領域G2あるいは順方向参照
領域D2及び逆方向参照領域G1を夫々組とし、それら
の組毎に両方向予測を行うことによって、装置として実
現しやすい並列処理を可能とし、しかも現ブロックとの
類似性が従来とほとんど同等の予測ブロックを求めるこ
とができる。
【0304】また、上記の両方向予測方法で並列処理す
る両方向予測装置では現ブロックとの類似性が従来とほ
とんど同等の予測ブロックを従来の両方向予測装置より
も短時間で求めることができる。
【0305】さらに、上記の両方向予測方法で並列処理
する両方向予測装置では動き予測プロセッサ2−1〜2
−3内部のメモリから求めることができるため、従来例
よりも高速に処理することができる。この高速処理によ
ってフレーム内のブロック数を増やす、つまり大きな画
像を符号化することができる。
【0306】さらにまた、動き予測プロセッサ2は単体
でも、また並列配置して用いても両方向予測装置の実現
が可能であり、並列配置が容易となる。この場合、動き
予測プロセッサ2を並列配置しても、処理時間は単体の
場合とほとんど変わらないので、動画像を画質を保った
まま従来よりも圧縮率を上げる場合でも実時間処理が可
能となる。
【0307】尚、請求項の記載に関連して本発明はさら
に次の態様をとりうる。
【0308】(1)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測方法であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行うステップと、
前記第1の順方向参照領域のデータと前記第2の逆方向
参照領域のデータとを基に前記過去及び未来の両方向の
動き予測を行うステップと、前記第2の順方向参照領域
のデータと前記第1の逆方向参照領域のデータとを基に
前記過去及び未来の両方向の動き予測を行うステップ
と、各ステップによる前記過去及び未来の両方向の動き
予測に基づいて、前記順方向予測ブロックを用いたフレ
ーム間予測符号化と前記逆方向予測ブロックを用いたフ
レーム間予測符号化と前記順方向予測ブロック及び前記
逆方向予測ブロックから作成された両方向予測ブロック
を用いたフレーム間予測符号化とのうちの一つの方法
と、前記動画像の現在のフレームから分割された現ブロ
ックをそのまま符号化するフレーム内符号化方法との中
から一つの方法を選択して符号化タイプとするステップ
と、前記符号化タイプを含む予測結果の前段に前記現ブ
ロックの画面上の位置情報及び前記予測ブロックと前記
現ブロックとの類似性を評価するための評価データを挿
入して出力するステップとからなることを特徴とする両
方向予測方法。
【0309】(2)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測方法であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行うステップと、
前記第1の順方向参照領域のデータと前記第2の逆方向
参照領域のデータとを基に前記過去及び未来の両方向の
動き予測を行うステップと、前記第2の順方向参照領域
のデータと前記第1の逆方向参照領域のデータとを基に
前記過去及び未来の両方向の動き予測を行うステップ
と、各ステップによる前記過去及び未来の両方向の動き
予測に基づいて、前記順方向予測ブロックを用いたフレ
ーム間予測符号化と前記逆方向予測ブロックを用いたフ
レーム間予測符号化と前記順方向予測ブロック及び前記
逆方向予測ブロックから作成された両方向予測ブロック
を用いたフレーム間予測符号化とのうちの一つの方法
と、前記動画像の現在のフレームから分割された現ブロ
ックをそのまま符号化するフレーム内符号化方法との中
から一つの方法を選択して符号化タイプとするステップ
と、前記選択された符号化タイプに応じて前記現ブロッ
クを符号化するための予測ブロックを出力するステップ
と、前記符号化タイプを含む予測結果の前段に前記現ブ
ロックの画面上の位置情報及び前記予測ブロックと前記
現ブロックとの類似性を評価するための評価データを挿
入して出力するステップとを含むことを特徴とする両方
向予測方法。
【0310】(3)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測方法であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行うステップと、
前記過去の参照フレームから前記第1の順方向参照領域
のデータを取出すとともに、前記未来の参照フレームか
ら前記第2の逆方向参照領域のデータを取出すステップ
と、前記第1の順方向参照領域のデータと前記第2の逆
方向参照領域のデータとを基に前記過去及び未来の両方
向の動き予測を行うステップと、前記過去の参照フレー
ムから前記第2の順方向参照領域のデータを取出すとと
もに、前記未来の参照フレームから前記第1の逆方向参
照領域のデータを取出すステップと、前記第2の順方向
参照領域のデータと前記第1の逆方向参照領域のデータ
とを基に前記過去及び未来の両方向の動き予測を行うス
テップと、各ステップによる前記過去及び未来の両方向
の動き予測に基づいて、前記順方向予測ブロックを用い
たフレーム間予測符号化と前記逆方向予測ブロックを用
いたフレーム間予測符号化と前記順方向予測ブロック及
び前記逆方向予測ブロックから作成された両方向予測ブ
ロックを用いたフレーム間予測符号化とのうちの一つ
と、前記動画像の現在のフレームから分割された現ブロ
ックをそのまま符号化するフレーム内符号化との中から
一つを選択して符号化タイプとするステップと、前記符
号化タイプを含む予測結果の前段に前記現ブロックの画
面上の位置情報及び前記予測ブロックと前記現ブロック
との類似性を評価するための評価データを挿入して出力
するステップとを有することを特徴とする両方向予測方
法。
【0311】(4)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測方法であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行うステップと、
前記過去の参照フレームから前記第1の順方向参照領域
のデータを取出すとともに、前記未来の参照フレームか
ら前記第2の逆方向参照領域のデータを取出すステップ
と、前記第1の順方向参照領域のデータと前記第2の逆
方向参照領域のデータとを基に前記過去及び未来の両方
向の動き予測を行うステップと、前記過去の参照フレー
ムから前記第2の順方向参照領域のデータを取出すとと
もに、前記未来の参照フレームから前記第1の逆方向参
照領域のデータを取出すステップと、前記第2の順方向
参照領域のデータと前記第1の逆方向参照領域のデータ
とを基に前記過去及び未来の両方向の動き予測を行うス
テップと、各ステップによる前記過去及び未来の両方向
の動き予測に基づいて、前記順方向予測ブロックを用い
たフレーム間予測符号化と前記逆方向予測ブロックを用
いたフレーム間予測符号化と前記順方向予測ブロック及
び前記逆方向予測ブロックから作成された両方向予測ブ
ロックを用いたフレーム間予測符号化とのうちの一つ
と、前記動画像の現在のフレームから分割された現ブロ
ックをそのまま符号化するフレーム内符号化との中から
一つを選択して符号化タイプとするステップと、前記選
択された符号化タイプに応じて前記現ブロックを符号化
するための予測ブロックを出力するステップと、前記符
号化タイプを含む予測結果の前段に前記現ブロックの画
面上の位置情報及び前記予測ブロックと前記現ブロック
との類似性を評価するための評価データを挿入して出力
するステップとを含むことを特徴とする両方向予測方
法。
【0312】(5)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測装置であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行う手段と、前記
第1の順方向参照領域のデータと前記第2の逆方向参照
領域のデータとを基に前記過去及び未来の両方向の動き
予測を行う手段と、前記第2の順方向参照領域のデータ
と前記第1の逆方向参照領域のデータとを基に前記過去
及び未来の両方向の動き予測を行う手段と、各手段によ
る前記過去及び未来の両方向の動き予測に基づいて、前
記順方向予測ブロックを用いたフレーム間予測符号化と
前記逆方向予測ブロックを用いたフレーム間予測符号化
と前記順方向予測ブロック及び前記逆方向予測ブロック
から作成された両方向予測ブロックを用いたフレーム間
予測符号化とのうちの一つと、前記動画像の現在のフレ
ームから分割された現ブロックをそのまま符号化するフ
レーム内符号化との中から一つを選択して符号化タイプ
とする手段と、前記符号化タイプを含む予測結果の前段
に前記現ブロックの画面上の位置情報及び前記予測ブロ
ックと前記現ブロックとの類似性を評価するための評価
データを挿入して出力する手段とを有することを特徴と
する両方向予測装置。
【0313】(6)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測装置であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行う手段と、前記
第1の順方向参照領域のデータと前記第2の逆方向参照
領域のデータとを基に前記過去及び未来の両方向の動き
予測を行う手段と、前記第2の順方向参照領域のデータ
と前記第1の逆方向参照領域のデータとを基に前記過去
及び未来の両方向の動き予測を行う手段と、各手段によ
る前記過去及び未来の両方向の動き予測に基づいて、前
記順方向予測ブロックを用いたフレーム間予測符号化と
前記逆方向予測ブロックを用いたフレーム間予測符号化
と前記順方向予測ブロック及び前記逆方向予測ブロック
から作成された両方向予測ブロックを用いたフレーム間
予測符号化とのうちの一つと、前記動画像の現在のフレ
ームから分割された現ブロックをそのまま符号化するフ
レーム内符号化との中から一つを選択して符号化タイプ
とする手段と、前記選択された符号化タイプに応じて前
記現ブロックを符号化するための予測ブロックを出力す
る手段と、前記符号化タイプを含む予測結果の前段に前
記現ブロックの画面上の位置情報及び前記予測ブロック
と前記現ブロックとの類似性を評価するための評価デー
タを挿入して出力する手段とを含むことを特徴とする両
方向予測装置。
【0314】(7)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測装置であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行う手段と、前記
過去の参照フレームから前記第1の順方向参照領域のデ
ータを取出すとともに、前記未来の参照フレームから前
記第2の逆方向参照領域のデータを取出す手段と、前記
第1の順方向参照領域のデータと前記第2の逆方向参照
領域のデータとを基に前記過去及び未来の両方向の動き
予測を行う手段と、前記過去の参照フレームから前記第
2の順方向参照領域のデータを取出すとともに、前記未
来の参照フレームから前記第1の逆方向参照領域のデー
タを取出す手段と、前記第2の順方向参照領域のデータ
と前記第1の逆方向参照領域のデータとを基に前記過去
及び未来の両方向の動き予測を行う手段と、各手段によ
る前記過去及び未来の両方向の動き予測に基づいて、前
記順方向予測ブロックを用いたフレーム間予測符号化と
前記逆方向予測ブロックを用いたフレーム間予測符号化
と前記順方向予測ブロック及び前記逆方向予測ブロック
から作成された両方向予測ブロックを用いたフレーム間
予測符号化とのうちの一つと、前記動画像の現在のフレ
ームから分割された現ブロックをそのまま符号化するフ
レーム内符号化との中から一つを選択して符号化タイプ
とする手段と、前記符号化タイプを含む予測結果の前段
に前記現ブロックの画面上の位置情報及び前記予測ブロ
ックと前記現ブロックとの類似性を評価するための評価
データを挿入して出力する手段とを有することを特徴と
する両方向予測装置。
【0315】(8)動画像のデータ量の圧縮を行う画像
処理装置において過去及び未来の両方向の動き予測を行
う両方向予測装置であって、前記動画像の過去の参照フ
レームから作成された順方向予測ブロック内で互いに接
する同面積の第1及び第2の順方向参照領域と前記第1
及び第2の順方向参照領域に夫々同じ面積で重なりかつ
前記第1及び第2の順方向参照領域と同面積の第3の順
方向参照領域とのうちの前記第3の順方向参照領域のデ
ータと、前記動画像の未来の参照フレームから作成され
た逆方向予測ブロック内で互いに接しかつ前記第1及び
第2の順方向参照領域各々に対応して配置された同面積
の第1及び第2の逆方向参照領域と前記第1及び第2の
逆方向参照領域に夫々同じ面積で重なりかつ前記第1及
び第2の逆方向参照領域と同面積の第3の逆方向参照領
域とのうちの第3の逆方向参照領域のデータとを基に前
記過去及び未来の両方向の動き予測を行う手段と、前記
過去の参照フレームから前記第1の順方向参照領域のデ
ータを取出すとともに、前記未来の参照フレームから前
記第2の逆方向参照領域のデータを取出す手段と、前記
第1の順方向参照領域のデータと前記第2の逆方向参照
領域のデータとを基に前記過去及び未来の両方向の動き
予測を行う手段と、前記過去の参照フレームから前記第
2の順方向参照領域のデータを取出すとともに、前記未
来の参照フレームから前記第1の逆方向参照領域のデー
タを取出す手段と、前記第2の順方向参照領域のデータ
と前記第1の逆方向参照領域のデータとを基に前記過去
及び未来の両方向の動き予測を行う手段と、各手段によ
る前記過去及び未来の両方向の動き予測に基づいて、前
記順方向予測ブロックを用いたフレーム間予測符号化と
前記逆方向予測ブロックを用いたフレーム間予測符号化
と前記順方向予測ブロック及び前記逆方向予測ブロック
から作成された両方向予測ブロックを用いたフレーム間
予測符号化とのうちの一つと、前記動画像の現在のフレ
ームから分割された現ブロックをそのまま符号化するフ
レーム内符号化との中から一つを選択して符号化タイプ
とする手段と、前記選択された符号化タイプに応じて前
記現ブロックを符号化するための予測ブロックを出力す
る手段と、前記符号化タイプを含む予測結果の前段に前
記現ブロックの画面上の位置情報及び前記予測ブロック
と前記現ブロックとの類似性を評価するための評価デー
タを挿入して出力する手段とを含むことを特徴とする両
方向予測装置。
【0316】
【発明の効果】以上説明したように本発明によれば、動
画像の過去の参照フレームから作成された順方向予測ブ
ロック内で互いに接する同面積の第1及び第2の順方向
参照領域と第1及び第2の順方向参照領域に夫々同じ面
積で重なりかつ第1及び第2の順方向参照領域と同面積
の第3の順方向参照領域とのうちの第3の順方向参照領
域のデータと、動画像の未来の参照フレームから作成さ
れた逆方向予測ブロック内で互いに接しかつ第1及び第
2の順方向参照領域各々に対応して配置された同面積の
第1及び第2の逆方向参照領域と第1及び第2の逆方向
参照領域に夫々同じ面積で重なりかつ第1及び第2の逆
方向参照領域と同面積の第3の逆方向参照領域とのうち
の第3の逆方向参照領域のデータとを基に過去及び未来
の両方向の動き予測を行い、第1の順方向参照領域のデ
ータと第2の逆方向参照領域のデータとを基に過去及び
未来の両方向の動き予測を行い、第2の順方向参照領域
のデータと第1の逆方向参照領域のデータとを基に過去
及び未来の両方向の動き予測を行い、上記の過去及び未
来の両方向の動き予測に基づいて順方向予測ブロックを
用いたフレーム間予測符号化と逆方向予測ブロックを用
いたフレーム間予測符号化と順方向予測ブロック及び逆
方向予測ブロックから作成された両方向予測ブロックを
用いたフレーム間予測符号化とのうちの一つと動画像の
現在のフレームから分割された現ブロックをそのまま符
号化するフレーム内符号化との中から一つを選択して符
号化タイプとすることによって、並列処理が可能で、現
ブロックと類似した予測ブロックを従来よりも効率的に
求めることができ、装置として実現しやすいという効果
がある。
【図面の簡単な説明】
【図1】本発明の一実施例による両方向予測装置の構成
を示すブロック図である。
【図2】本発明の一実施例による両方向予測方法を説明
するための図である。
【図3】本発明の一実施例によるブロック処理タイミン
グを示す図である。
【図4】本発明の一実施例による動き予測プロセッサの
構成を示すブロック図である。
【図5】図4の参照フレームメモリの構成例を示す図で
ある。
【図6】本発明の一実施例による両方向予測方法の処理
動作を示すフローチャートである。
【図7】従来例による動き予測プロセッサの構成を示す
ブロック図である。
【図8】従来例による両方向予測装置の構成を示すブロ
ック図である。
【図9】従来例によるブロック処理タイミングを示す図
である。
【図10】従来例による動画像符号化方式を説明するた
めの図である。
【図11】動きベクトルを説明するための図である。
【図12】フレームの符号化例を示す図である。
【符号の説明】
1 現フレームメモリ 2−1〜2−3 動き予測プロセッサ 3−1〜3−3,9 参照フレームメモリ 4 参照位置指示器 5 予測ブロック選択器 6 動きベクトル補正器 7 予測結果選択器 8 タイミング発生器 20,24〜27 アドレス発生器 21 現ブロックメモリ 22 順方向参照領域メモリ 23 逆方向参照領域メモリ 28 演算手段 29 パケットアドレス発生器 30 ACレジスタ 31 順方向動きベクトルレジスタ 32 逆方向動きベクトルレジスタ 33 符号化タイプ選択器 34 平均手段 35 フレーム間予測選択器 36 コントローラ 37,40,41 セレクタ 28,39 オフセットレジスタ A 現フレーム A1 現ブロック C 順方向参照フレーム C1 順方向参照領域 D0〜D2 順方向参照領域の小領域 E 逆方向参照フレーム E1 逆方向参照領域 G0〜G2 逆方向参照領域の小領域

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像のデータ量の圧縮を行う画像処理
    装置において過去及び未来の両方向の動き予測を行う両
    方向予測方法であって、 前記動画像の過去の参照フレームから作成された順方向
    予測ブロック内で互いに接する同面積の第1及び第2の
    順方向参照領域と前記第1及び第2の順方向参照領域に
    夫々同じ面積で重なりかつ前記第1及び第2の順方向参
    照領域と同面積の第3の順方向参照領域とのうちの前記
    第3の順方向参照領域のデータと、前記動画像の未来の
    参照フレームから作成された逆方向予測ブロック内で互
    いに接しかつ前記第1及び第2の順方向参照領域各々に
    対応して配置された同面積の第1及び第2の逆方向参照
    領域と前記第1及び第2の逆方向参照領域に夫々同じ面
    積で重なりかつ前記第1及び第2の逆方向参照領域と同
    面積の第3の逆方向参照領域とのうちの第3の逆方向参
    照領域のデータとを基に前記過去及び未来の両方向の動
    き予測を行うステップと、 前記第1の順方向参照領域のデータと前記第2の逆方向
    参照領域のデータとを基に前記過去及び未来の両方向の
    動き予測を行うステップと、 前記第2の順方向参照領域のデータと前記第1の逆方向
    参照領域のデータとを基に前記過去及び未来の両方向の
    動き予測を行うステップと、 各ステップによる前記過去及び未来の両方向の動き予測
    に基づいて、前記順方向予測ブロックを用いたフレーム
    間予測符号化と前記逆方向予測ブロックを用いたフレー
    ム間予測符号化と前記順方向予測ブロック及び前記逆方
    向予測ブロックから作成された両方向予測ブロックを用
    いたフレーム間予測符号化とのうちの一つの方法と、前
    記動画像の現在のフレームから分割された現ブロックを
    そのまま符号化するフレーム内符号化方法との中から一
    つの方法を選択して符号化タイプとするステップとから
    なることを特徴とする両方向予測方法。
  2. 【請求項2】 前記選択された符号化タイプに応じて前
    記現ブロックを符号化するための予測ブロックを出力す
    るステップを含むことを特徴とする請求項1記載の両方
    向予測方法。
  3. 【請求項3】 動画像のデータ量の圧縮を行う画像処理
    装置において過去及び未来の両方向の動き予測を行う両
    方向予測装置であって、 前記動画像の過去の参照フレームから作成された順方向
    予測ブロック内で互いに接する同面積の第1及び第2の
    順方向参照領域と前記第1及び第2の順方向参照領域に
    夫々同じ面積で重なりかつ前記第1及び第2の順方向参
    照領域と同面積の第3の順方向参照領域とのうちの前記
    第3の順方向参照領域のデータと、前記動画像の未来の
    参照フレームから作成された逆方向予測ブロック内で互
    いに接しかつ前記第1及び第2の順方向参照領域各々に
    対応して配置された同面積の第1及び第2の逆方向参照
    領域と前記第1及び第2の逆方向参照領域に夫々同じ面
    積で重なりかつ前記第1及び第2の逆方向参照領域と同
    面積の第3の逆方向参照領域とのうちの第3の逆方向参
    照領域のデータとを基に前記過去及び未来の両方向の動
    き予測を行う手段と、 前記第1の順方向参照領域のデータと前記第2の逆方向
    参照領域のデータとを基に前記過去及び未来の両方向の
    動き予測を行う手段と、 前記第2の順方向参照領域のデータと前記第1の逆方向
    参照領域のデータとを基に前記過去及び未来の両方向の
    動き予測を行う手段と、 各手段による前記過去及び未来の両方向の動き予測に基
    づいて、前記順方向予測ブロックを用いたフレーム間予
    測符号化と前記逆方向予測ブロックを用いたフレーム間
    予測符号化と前記順方向予測ブロック及び前記逆方向予
    測ブロックから作成された両方向予測ブロックを用いた
    フレーム間予測符号化とのうちの一つと、前記動画像の
    現在のフレームから分割された現ブロックをそのまま符
    号化するフレーム内符号化との中から一つを選択して符
    号化タイプとする手段とを有することを特徴とする両方
    向予測装置。
  4. 【請求項4】 前記選択された符号化タイプに応じて前
    記現ブロックを符号化するための予測ブロックを出力す
    る手段を含むことを特徴とする請求項3記載の両方向予
    測装置。
JP23272194A 1994-09-28 1994-09-28 両方向予測方法及び両方向予測装置 Expired - Fee Related JP2671820B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP23272194A JP2671820B2 (ja) 1994-09-28 1994-09-28 両方向予測方法及び両方向予測装置
US08/534,302 US5699128A (en) 1994-09-28 1995-09-27 Method and system for bidirectional motion compensation for compression of motion pictures
EP19950115318 EP0705038B1 (en) 1994-09-28 1995-09-28 Method and system for bidirectional motion compensation for compressing of motion pictures
DE1995624522 DE69524522T2 (de) 1994-09-28 1995-09-28 Verfahren und System zur bidirektionalen Bewegungskompensation zur Kompression bewegter Bilder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23272194A JP2671820B2 (ja) 1994-09-28 1994-09-28 両方向予測方法及び両方向予測装置

Publications (2)

Publication Number Publication Date
JPH0898183A JPH0898183A (ja) 1996-04-12
JP2671820B2 true JP2671820B2 (ja) 1997-11-05

Family

ID=16943751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23272194A Expired - Fee Related JP2671820B2 (ja) 1994-09-28 1994-09-28 両方向予測方法及び両方向予測装置

Country Status (4)

Country Link
US (1) US5699128A (ja)
EP (1) EP0705038B1 (ja)
JP (1) JP2671820B2 (ja)
DE (1) DE69524522T2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207481A (ja) * 1990-11-30 1992-07-29 Canon Inc 動き検出装置
EP0665513B1 (en) * 1994-01-31 2002-11-20 Canon Kabushiki Kaisha Motion image editing apparatus and method
US5825927A (en) * 1996-01-16 1998-10-20 Hitachi America, Ltd. Methods and apparatus for encoding video data in a manner that is well suited for decoding by regular or downconverting decoders
JPH1084499A (ja) * 1996-09-10 1998-03-31 Victor Co Of Japan Ltd 適応フィルタ装置
JP2000050272A (ja) * 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
US6438254B1 (en) * 1999-03-17 2002-08-20 Matsushita Electric Industrial Co., Ltd. Motion vector detection method, motion vector detection apparatus, and data storage media
JP3550681B2 (ja) * 1999-12-10 2004-08-04 日本電気株式会社 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2002094386A (ja) * 2000-09-12 2002-03-29 Mitsubishi Electric Corp 符号化装置、復号装置、符号化方法および復号方法
NL1016791C2 (nl) * 2000-12-04 2002-06-05 Holec Holland Nv Hybride elektrische schakelinrichting.
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
JP3861607B2 (ja) * 2001-02-22 2006-12-20 セイコーエプソン株式会社 画像信号復号装置
US7027510B2 (en) * 2002-03-29 2006-04-11 Sony Corporation Method of estimating backward motion vectors within a video sequence
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
TWI258673B (en) * 2004-02-16 2006-07-21 Sunplus Technology Co Ltd Bi-directional motion compensation method to reduce temporal buffer
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
CN1977541B (zh) * 2004-06-29 2010-05-26 索尼株式会社 运动补偿预测方法和运动补偿预测装置
US7965898B2 (en) 2005-10-28 2011-06-21 Nvidia Corporation Accelerating video decoding using multiple processors
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR101345073B1 (ko) * 2006-09-07 2013-12-26 톰슨 라이센싱 각 그룹이 인트라 인코딩된 픽처와 둘 이상의 예측 인코딩된 픽처를 포함하는, 비디오 시퀀스의 픽처들의 그룹들을 인코딩하기 위한 방법 및 장치
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
US9532050B2 (en) * 2011-01-25 2016-12-27 Sun Patent Trust Moving picture coding method and moving picture decoding method
US8644620B1 (en) 2011-06-21 2014-02-04 Google Inc. Processing of matching regions in a stream of screen images
JP5462305B2 (ja) * 2012-03-12 2014-04-02 株式会社東芝 画像処理装置、画像処理方法およびそのプログラム
KR101582093B1 (ko) * 2014-02-21 2016-01-04 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
EP3295660A4 (en) * 2015-06-03 2019-05-29 MediaTek Inc. METHOD FOR PALLET CODING OF IMAGE AND VIDEO DATA

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63144626A (ja) * 1986-12-09 1988-06-16 Fujitsu Ltd 動ベクトル検出方式
GB2231744B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
DE69033797T2 (de) * 1989-10-14 2002-04-18 Sony Corp Verfahren und Anordnung zum Kodieren/Dekodieren eines Videosignales
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
JP3031152B2 (ja) * 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置

Also Published As

Publication number Publication date
US5699128A (en) 1997-12-16
DE69524522T2 (de) 2002-05-29
EP0705038A3 (en) 1998-01-28
JPH0898183A (ja) 1996-04-12
DE69524522D1 (de) 2002-01-24
EP0705038A2 (en) 1996-04-03
EP0705038B1 (en) 2001-12-12

Similar Documents

Publication Publication Date Title
JP2671820B2 (ja) 両方向予測方法及び両方向予測装置
EP2664142B1 (en) Video encoding and decoding with improved error resilience
US7362808B2 (en) Device for and method of estimating motion in video encoder
US8098733B2 (en) Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables
JP2019115060A (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
ES2216028T3 (es) Un metodo y un aparato para comprimir informacion de video utilizando prediccion dependiente del movimiento.
JP3031152B2 (ja) 動き予測プロセッサ及び動き予測装置
US20060002470A1 (en) Motion vector detection circuit, image encoding circuit, motion vector detection method and image encoding method
US8897364B2 (en) Method and device for sequence decoding with error concealment
KR100843418B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JPH10215457A (ja) 動画像復号方法及び動画像復号装置
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP4154772B2 (ja) 画像情報変換装置および変換方法
JPH1042300A (ja) 動きベクトル検出装置
JP3549175B2 (ja) 動きベクトル検出方法および装置
JPH10304373A (ja) 動画像復号方法及び動画像復号装置
JP4100321B2 (ja) セグメント単位画像符号化装置及びセグメント単位画像符号化プログラム
JP2006191175A (ja) 画像符号化装置及び方法
JP2008187446A (ja) 復号エラー補正方法及び装置
JPH0865674A (ja) 動きベクトル検出器

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070711

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees