JP3898031B2 - 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 - Google Patents
画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3898031B2 JP3898031B2 JP2001345117A JP2001345117A JP3898031B2 JP 3898031 B2 JP3898031 B2 JP 3898031B2 JP 2001345117 A JP2001345117 A JP 2001345117A JP 2001345117 A JP2001345117 A JP 2001345117A JP 3898031 B2 JP3898031 B2 JP 3898031B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- current
- information
- encoding
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、動画像を符号化し、または復号する画像符号化方法及び装置、画像復号方法及び装置、プログラム及びプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
動画像を符号化する動き補償符号化方法では,マクロブロック(以下、MBと記す)やブロック等の領域毎に、参照フレーム内画像情報から予測画像を作成し、現フレームの画像との間で差分(予測誤差)を符号化する。一般的に通常の動き補償では、現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量(x,y)であり、これを動きベクトルと呼ぶ。
【0003】
予測画像の探索手法としては一般的にブロックマッチング方法が用いられる。ブロックマッチングでは、符号化対象の領域を中心とした正方形の探索範囲(サーチウィンドウ)を参照フレーム内に設定し、現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を、サーチウィンドウ内で探索する。この差分の計算方法は絶対値差分和や平均2乗誤差などが用いられる。
【0004】
ブロックマッチングの概念図を図11に示す。絶対値差分和の計算方法を次式(1)に示す。
【数1】
式(1)で求められる差分が小さいほど,予測誤差も少なくなり符号化効率が高くなる。
動きベクトルは整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では、実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には、対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば、実数精度で周囲4画素からの線形補間によって求める場合で、図12に示すような左上の画素から(a,b)の位置の画像情報を求める場合には、次式(2)により求める。
【0005】
実数精度は、任意の位置の画像情報を作ることができるが、符号化側と復号側で演算精度が異なる場合があるため、復号側で正確に復号できない場合がある。
【数2】
整数位置の画素の画像情報から、実数精度または分数精度の画像情報を求める方法として、線形補間以外の方法によって分数位置の画像情報を作り、その後で整数位置と分数位置の画像情報を使って平行移動位置の画像情報を求めることも可能である。例えば、周囲の複数画素から1/2精度の位置の画像情報をタップ数の長いフィルタによって求め、続いて1/8精度の位置の画像情報を整数精度と1/2精度の画像情報から線形補間によって求めることも可能である。1/2精度の画像情報を求めるフィルタ方法の例を図13に示す。
【0006】
このようにして求めた動きベクトル(x,y)は可変長符号化される。整数画素精度の動きベクトルを、ルックアップテーブルを使って可変長符号化する際のテーブルの例を図14に示す。なお、算術符号化を用いて符号化する方法もある。
領域全体の平行移動ではなく、領域内画素の個々の平行移動により予測画像を作成する方法もある。領域内画素それぞれの平行移動量を符号化すると符号量の増加を招くため、一般的に画素それぞれの平行移動量を代表ベクトルから補間する。
【0007】
従来の代表的な代表ベクトルとしては、領域の四隅の画素の平行移動量を用いる方法がある。この場合には、領域一つに対して4個の平行移動量を符号化する必要がある。領域の四隅の画素の平行移動量から,領域内画素の平行移動量を算出する方法の例を図15に示す.四隅の平行移動量を、(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)とすると、画素(p,q)の平行移動量(X,Y)は次式(3)により計算される。
【数3】
ここでMは画面横方向の画素数を示し,Nは画面縦方向の画素数を示す。この平行移動量は通常の動き補償と同様に、整数精度ではなく実数精度または分数精度で求めることも可能である。
【0008】
さらにマクロブロック毎に符号化する場合、マクロブロックの四隅の画素の動きベクトルだけを符号化し、マクロブロック内部の任意の画素の動きベクトルはそれらから計算により求める方法もある。この場合にはマクロブロック毎に4個の動きベクトルが必要となる。
この方法では、画像の回転運動のみ、あるいは拡大運動のみがある場合であっても、四隅の動きベクトルを符号化する必要があり、符号量の増加を招く場合がある。
【0009】
そのため、例えば文献「石川ら,“マルチパラメータ動き補償を用いた動画像の3D/2Dハイブリッド符号化”,信学技報IE2001-76,pp.15-22,2001」では、回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や、拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
また、通常のフレーム間予測符号化のように、既に符号化したフレームの画像から予測画像を作成する方法の他に、現フレーム内の既に符号化された領域の画像から予測画像を作成する方法もある。
【0010】
【発明が解決しようとする課題】
画像の回転角度あるいは拡大率をマクロブロックの領域毎に求める時に,従来の方法では過去に符号化したフレーム(参照フレーム)内の画像を回転あるいは拡大して探索用の画像を作成して探索していた。したがって、参照フレーム内の画像情報全体を回転あるいは拡大する必要があるため、膨大なデータ処理量が必要であるという問題が有った。
【0011】
また、一般的にフレームの画像情報は画面内左上の画素から右下の画素まで順に記憶装置等に記録されているため、フレーム内におけるある特定の領域のフレーム間予測符号化用予測画像を作成する場合にも,予測画像を作るために不必要な画像情報を読み込む必要があるという問題が有った。
本発明はこのような事情に鑑みてなされたものであり、画像の動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無く、データ処理量を低減することができる画像符号化方法及び装置、画像復号方法及び装置、画像符号化方法または画像復号方法をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の発明は、
現フレームの画像を分割した領域(以後、現領域と呼ぶ)毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像(以後、回転現画像と呼ぶ)を作成する回転現画像作成ステップと、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【0013】
請求項2に記載の発明は、
請求項1に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に、回転角度情報を復号する回転角度復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【0014】
請求項3に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像(以後、拡大現画像と呼ぶ)を作成する拡大現画像作成ステップと、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【0015】
請求項4に記載の発明は、
請求項3に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に,拡大率情報を復号する拡大率復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【0016】
請求項5に記載の発明は、
請求項1に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域(以後、参照領域と呼ぶ)内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像(以後、回転現画像と呼ぶ)を作成する回転現画像作成ステップと、
を有する画像符号化方法であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分(以後,回転予測差分と呼ぶ)を計測し、回転予測差分が最も小さくなる、参照画像内の平行移動量を探索する回転動き探索ステップを有することを特徴とする。
【0017】
請求項6に記載の発明は、
請求項1に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域(以後、参照領域と呼ぶ)内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像(以後、回転現画像と呼ぶ)を作成する回転現画像作成ステップと、
有する画像符号化方法であって、
さらに、予め複数の回転角度情報を設定しておき、各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索ステップを有することを特徴とする。
【0018】
請求項7に記載の発明は、
請求項3に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像(以後,拡大現画像と呼ぶ)を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分(以後、拡大予測差分と呼ぶ)を計測し、拡大予測差分が最も小さくなる、参照画像内の平行移動量を探索する拡大動き探索ステップを有することを特徴とする。
【0019】
請求項8に記載の発明は、
請求項3に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像(以後、拡大現画像と呼ぶ)を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、予め複数の拡大率情報を設定しておき、各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索ステップを有することを特徴とする。
【0020】
請求項9に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
を有することを特徴とする。
【0021】
請求項10に記載の発明は、
請求項9に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、回転角度情報を復号する回転角度復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【0022】
請求項11に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
を有することを特徴とする。
【0023】
請求項12に記載の発明は、
請求項11に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、拡大率情報を復号する拡大率復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【0024】
請求項13に記載の発明は、
請求項9に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる、参照画像内の位置を探索する回転動き探索部を有することを特徴とする
【0025】
請求項14に記載の発明は、
請求項9に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定した複数の回転角度情報で作成された、複数の回転現画像を蓄積する回転現画像メモリと、
回転現画像メモリに蓄積された画像から1つを選択する回転選択部と、
各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索部と、
を有することを特徴とする。
【0026】
請求項15に記載の発明は、
請求項11に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分を計測し、拡大予測差分が最も小さくなる、参照画像内の位置を探索する拡大動き探索部を有することを特徴とする。
【0027】
請求項16に記載の発明は、
請求項11に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定された複数の拡大率情報で作成された、複数の拡大現画像を蓄積する拡大現画像メモリと、
拡大現画像メモリに蓄積された画像から1つを選択する拡大選択部と、
各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索部と、
を有することを特徴とする。
【0028】
請求項17に記載の発明は、
請求項1、3、5乃至8のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを要旨とする。
【0029】
請求項18に記載の発明は、
請求項2、4のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを要旨とする。
【0030】
請求項19に記載の発明は、
請求項1、3、5乃至8のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【0031】
請求項20に記載の発明は、
請求項2、4のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【0032】
請求項1、9に記載の発明によれば、画面内のある領域が回転するような画像において、現画像から回転情報を使って回転現画像を作成し、また回転情報そのものを符号化することができる。したがって、回転する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を回転するよりもデータ処理量を低減することができる。
【0033】
請求項2、10に記載の発明によれば、請求項1または請求項9に記載の発明によって符号化された符号化データを復号して回転することにより、復号画像を作成することができる。
【0034】
請求項3、11に記載の発明によれば、画面内のある領域が拡大縮小するような画像において、現画像から拡大縮小情報を使って拡大現画像を作成し、また拡大縮小情報そのものを符号化することができる。したがって、拡大縮小する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を拡大縮小するよりもデータ処理量を低減することができる。
【0035】
請求項4、12に記載の発明によれば、請求項3または請求項11に記載の発明によって符号化された符号化データを復号して拡大縮小することにより、復号画像を作成することができる。
【0036】
請求項5、13に記載の発明によれば、回転した現画像を使って参照画像内を探索することにより、現画像を回転した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、回転して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらにその腕がひじを中心に回転するような、ある位置を軸とした回転運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【0037】
請求項6、14に記載の発明によれば、複数パターンの回転角度を予め用意しておき、各々回転した現画像と参照画像との間の差分を求め、最も差分が小さくなる回転角度を求めることができる。
さらに、請求項5または請求項13に記載の発明と組み合わせることにより、各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、回転角度間で評価することにより、最も差分の小さい回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい回転角度と平行移動量を求めることが可能である。
【0038】
請求項7、15に記載の発明によれば、拡大縮小した現画像を使って参照画像内を探索することにより、現画像を拡大縮小した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、拡大縮小して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらに顔だけが拡大するような、ある位置を中心とした拡大縮小運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【0039】
請求項8、16に記載の発明によれば、複数パターンの拡大率を予め用意しておき、各々拡大縮小した現画像と参照画像との間の差分を求め、最も差分が小さくなる拡大率を求めることができる。
さらに、請求項7または請求項15に記載の発明と組み合わせることにより、各拡大率で拡大縮小した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間で評価することにより、最も差分の小さい拡大率を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と平行移動量を求めることが可能である。
【0040】
さらに、請求項7または請求項15に記載の発明と組み合わせることにより、各拡大率で拡大縮小し、さらに各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間と回転角度間で評価することにより、最も差分の小さい拡大率と回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と回転角度と平行移動量を求めることが可能である。なお、請求項6に記載の発明と組み合わせれば,現画像と参照画像との間の差分が最も小さい拡大率と回転角度を求めることが可能である。
【0041】
請求項17、19に記載の発明によれば、請求項1、3、5乃至8のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像符号化プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項1、3、5乃至8のいずれかに記載の発明により得られるのと同一の効果が得られる。
【0042】
請求項18、20に記載の発明によれば、請求項2、4のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像復号プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項2、4のいずれかに記載の発明により得られるのと同一の効果が得られる。
【0043】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。本発明の第1の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、平行移動量を探索した後、さらに拡大率情報と回転角度情報を探索すると共に、探索のみ回転現画像を使い、フレーム間予測符号化の際には、回転現画像を用いずに通常の現画像を用い、復号画像を回転と拡大縮小して予測画像を作成することを特徴としている。
【0044】
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図1は画像符号化装置の全体構成を示しており、図2は図1に示した画像符号化装置におけるベクトル探索部の具体的構成を示している。図1において、画像符号化装置は、画像を入力する画像入力部101と,平行移動量を示す動きベクトルと回転角度と拡大率を使って参照画像から予測画像を作成する動き補償部105と、予測画像を使って現画像を符号化する符号化部102と、予測画像を使って符号化データを復号する復号部103と、復号画像を蓄積する参照画像メモリ104と、参照画像と現画像から動きベクトルと回転角度と拡大率を探索するベクトル探索部106と、動きベクトルを動き補償部105に入力する動きベクトル入力部107と、回転角度を動き補償部105に入力する回転角度入力部108と、拡大率を動き補償部105に入力する拡大率入力部109と、動きベクトルを符号化する動きベクトル符号化部110と、回転角度を符号化する回転角度符号化部111と、拡大率を符号化する拡大率符号化部112とを有している。
【0045】
また、図2において、ベクトル探索部106は、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部114と、回転現画像作成部114で作成された複数の画像情報を蓄積する回転現画像メモリ115と、回転現画像メモリ115に蓄積された画像情報の何れかから1つの画像情報を選択する(以後、選択された画像を回転現画像と呼ぶ)回転選択部116と、回転選択部116で選択された画像情報と参照画像内の画像情報との差分が最も小さくなる平行移動量を探索する動き探索部117と、動き探索部117で求められた位置周辺の画像情報を拡大縮小して、回転選択部116で選択された画像情報との差分が最も小さくなる拡大率を探索する拡大探索部118と、拡大探索部118で求められた拡大率で拡大縮小した画像情報を回転し、回転選択部116で選択された画像情報との差分が最も小さくなる回転角度を探索する回転探索部119とを有している。
【0046】
ベクトル探索部106における動き探索部117と、拡大探索部118と、回転探索部119とでは差分の評価尺度として式(1)に示した絶対値差分和Wを使うものとする。
回転現画像作成部114では、入力画像をマクロブロック(MB)毎に右45度、右90度、左45度、左90度に回転した整数位置の画像情報を作るものとする。回転軸は図3に示した右上の輝度ブロックにおける左下の整数画素位置である。図9に右方向回転を正とした場合の、回転角度θだけ回転した場合の画素位置の例を示す。
【0047】
回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における次式(4)で示される位置(c1,d1)の画像情報となる。
【数4】
一般的に位置(c1,d1)は、整数位置とはならないため、それに最も近い1/8精度の位置での画像情報によって代用するものとする。1/8精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
拡大探索部118では、参照画像を1/4から2まで1/4ずつ拡大率を増やして画像情報を求め、回転現画像との間の絶対値差分和を計算する。
【0048】
拡大中心は図3に示す回転軸と同じ位置とする。拡大率Zだけ拡大縮小した場合の整数位置(a1,b1)の画像情報は、参照画像における次式(5)で示される位置(c1,d1)の画像情報となる。
【数5】
一般的に位置(c1,d1)は、整数位置とはならないため、それに最も近い1/8精度の位置での画像情報によって代用するものとする。1/8精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
【0049】
回転探索部119では、拡大探索部118で求められた拡大率を使って拡大した画像を、更に+20度から-20度まで5度ずつ回転して画像情報を求め、回転現画像との間の絶対値差分和を計算する。
回転現画像メモリ115にはマクロブロック5つの入力画像を蓄積できるものとし、メモリM1、M2、M3、M4、M5で構成されるものとする。
動きベクトル符号化部110は図14と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。
【0050】
回転角度符号化部111は、図5に示したルックアップテーブルを使って符号化する。拡大率符号化部112は、図6に示したルックアップテーブルを使って符号化する。
このような前提で現画像をマクロブロック単位に次のように符号化する。
まず、ベクトル探索部106で動きベクトルと回転角度と拡大率を求める。
ベクトル探索部106における回転現画像作成部114は入力画像を回転現画像メモリ115のメモリM1に蓄積し、入力画像から右45度回転した画像を作成して回転現画像メモリ115のメモリM2に蓄積し、入力画像から左45度回転した画像を作成して回転現画像メモリ115のメモリM3に蓄積する。
【0051】
さらに、回転現画像作成部114は入力画像から右90度回転した画像を作成して回転現画像メモリ115のメモリM4に蓄積し、入力画像から左90度回転した画像を作成して回転現画像メモリ115のメモリM5に蓄積する。
続いて回転選択部116は、回転現画像メモリ115内のメモリM1に蓄積された画像を回転現画像として選択し、動き探索部117はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を (x1,y1)、絶対値差分和をWM1とする。
【0052】
次に、回転選択部116は、回転現画像メモリ115内のメモリM2に蓄積された画像を回転現画像として選択し、動き探索部117はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
以上の処理を繰り返し、回転現画像メモリ内のメモリMiに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対差分和WM1〜WM5の最小値を求め、最小値となる回転現画像を求める。ここでは例えば、絶対値差分和WM2が最小値となったとする。
【0053】
次に、拡大探索部118は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率を1/4から2まで1/4ずつ変更して拡大縮小して画像を作成し、それぞれの拡大率でのメモリM2に蓄積された回転現画像との絶対値差分和を計算し、絶対値差分和が最も小さくなる拡大率Zを求める。得られた拡大率Zが5/4であったとする。
【0054】
次に、回転探索部119は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率5/4で拡大して得られた画像情報を、さらに+20度から-20度まで5度ずつ回転して画像情報を求め、メモリM2に蓄積された回転現画像との間の絶対値差分和が最も小さくなる回転角度情報を求める。得られた回転角度θ2が+10度であったとする。
ベクトル探索部106は、動きベクトルとして(x2,y2)を、回転角度θとして、θ=−(メモリM2に蓄積された回転現画像の角度)+θ2=−45+10=−35を、拡大率Zとして5/4を出力する。
【0055】
動きベクトル入力部107は動きベクトル(x2,y2)を、回転角度入力部108は回転角度θを、拡大率入力部109は拡大率Zを、それぞれ動き補償部105に入力する。
動き補償部105は参照画像メモリ104に蓄積された参照画像から予測画像を作成する。予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は次式(6)によって計算される。
【数6】
【0056】
符号化部102は現画像と予測画像から予測誤差を求めて符号化する。復号部103は符号化データと予測画像から復号画像を作成する。
動きベクトル符号化部110は動きベクトル(x2,y2)を符号化し、回転角度符号化部111は回転角度θを符号化し、拡大率符号化部112は拡大率Zを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部103は復号画像を参照画像メモリ104に蓄積する。
【0057】
次に、本実施の形態に係る画像復号方法を実施するための画像復号装置について説明する。図1及び図2に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図7に示す。同図において、画像復号装置は、前フレームの復号画像を蓄積する参照画像メモリ104と、動きベクトルを復号する動きベクトル復号部120と、回転角度を復号する回転角度復号部121と、拡大率を復号する拡大率復号部122と、復号された動きベクトル、回転角度及び拡大率を使って参照画像メモリ104に蓄積された復号画像から、予測画像を作成する動き補償部105と、予測画像を使って符号化データを復号する復号部103とを有している。
【0058】
次に、図1に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。すなわち、動きベクトル復号部120は符号化データの中から図4に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部121は符号化データの中から図5に示したルックアップテーブルを使って回転角度を復号する。
【0059】
拡大率復号部122は符号化データの中から図6に示したルックアップテーブルを使って拡大率を復号する。
動き補償部105は動きベクトル復号部120、回転角度復号部121、拡大率復号部122より得られた動きベクトル(x2,y2)、回転角度θ、拡大率Zを使って予測画像を作成する。
予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は上式(6)によって計算される。
【0060】
復号部103は予測画像を使って符号化データを復号する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部103は復号画像を参照画像メモリ104に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【0061】
回転と拡大の両方を使う場合には、図8にその構成例を示すように、ベクトル探索部106では、回転現画像作成部114の代わりに、予め設定された複数パターンの回転角度情報と拡大率情報に従って入力画像から回転しかつ拡大した画像情報を作成する拡大回転現画像作成部123を設け、回転現画像メモリ115の代わりに、拡大回転現画像作成部123で作成された複数の画像情報を蓄積する拡大回転現画像メモリ124を設け、回転選択部116の代わりに、拡大回転現画像メモリ124に蓄積された画像情報の何れかから1つの画像情報を選択する拡大回転選択部113を設けるように構成すればよい。
【0062】
また、本実施形態では、現画像の位置からの平行移動量を動き探索部117で求め、次に参照画像の拡大率を拡大探索部118で求め、次に詳細な回転角度を回転探索部119で求めた。
しかし、拡大探索部118と回転探索部119を備えない構成も可能である。この場合には、予め定めた回転角度情報に従って作成した回転現画像毎に、参照画像内で動き探索を行い、最も差分の小さい平行移動量と回転角度情報を求めることができる。
【0063】
この場合には画像符号化装置には、拡大率入力部109と拡大率符号化部112は不要である。また、画像復号装置には、拡大率復号部122は不要である。
また、拡大探索部118と回転探索部119の実行する順序を入れ替えることも可能である。
このように本実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。したがって、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【0064】
次に、本発明の第2の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、探索とフレーム間予測符号化の両方で回転現画像を使うことを特徴としている。
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図9に本実施形態に係る画像符号化装置の全体構成を示す。
【0065】
本実施形態に係る画像符号化装置は、画像を入力する画像入力部101と、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部114と、回転現画像作成部114で作成された複数の画像情報を蓄積する回転現画像メモリ115と、回転現画像メモリ115に蓄積された画像情報の何れかから1つの画像情報を選択する(以後、選択された画像を回転現画像と呼ぶ)回転選択部116と、回転選択部116で選択される回転現画像の画像情報を使いながら、回転現画像と参照画像内の画像情報との差分が最も小さくなる平行移動量と回転角度を探索する回転角度動き探索部127と、平行移動量を示す動きベクトルから予測画像を作る回転現画像フレーム間予測部125と、予測画像を使って回転現画像を符号化する符号化部102と、予測画像を使って符号化データを復号する復号部103と、復号部103で得られる画像を回転して復号画像を得る復号画像回転部126と、復号画像を蓄積する参照画像メモリ104と、動きベクトルを符号化する動きベクトル符号化部110と、回転角度を符号化する回転角度符号化部111とを有している。
【0066】
回転現画像作成部114では、入力画像をマクロブロック毎に右90度、左90度、右180度に回転した整数位置の画像情報を作るものとする。回転軸は図3に示した右上の輝度ブロックにおける左下の整数画素位置である。回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における式(4)で示される位置(c1,d1)の画像情報となる。回転現画像メモリ115にはマクロブロック4つの入力画像を蓄積できるものとし、メモリM1,M2,M3,M4で構成されるものとする。
【0067】
動きベクトル符号化部110は図14と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。回転角度符号化部111は、図5に示したルックアップテーブルを使って符号化する。回転角度動き探索部127では差分の評価尺度として絶対値差分和Wを使うものとする。
【0068】
このような前提で現画像をマクロブロック単位に次のように符号化する。
回転現画像作成部114は入力画像を回転現画像メモリ115のメモリM1に蓄積し、入力画像から右90度回転した画像を作成して回転現画像メモリのメモリM2に蓄積する。
さらに、回転現画像作成部114は入力画像から左90度回転した画像を作成して回転現画像メモリのメモリM3に蓄積し、入力画像から右180度回転した画像を作成して回転現画像メモリのメモリM4に蓄積する。
【0069】
続いて、回転選択部116は、回転現画像メモリ115内のメモリM1に蓄積された画像を回転現画像として選択し、回転角度動き探索部127はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x1,y1),絶対値差分和をWM1とする。
次に、回転選択部116は、回転現画像メモリ115内のメモリM2に蓄積された画像を回転現画像に選択し、回転角度動き探索部127はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
【0070】
以上の処理を繰り返し、回転現画像メモリ115内のメモリMiに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対値差分和WM1〜WM5の最小値を求め、絶対値差分和が最小値となる回転現画像を求める。
ここでは例えば、絶対値差分和WM2が最小値となったとする。したがって、回転角度θとして右90度、動きベクトルとして(x2,y2)が得られる。
回転現画像フレーム間予測部125は参照画像メモリ104に蓄積された参照画像から、動きベクトル(x2,y2)を使い予測画像を作成し、メモリM2に蓄積された回転現画像との間で予測誤差を求める。
【0071】
符号化部102は予測誤差を符号化する。復号部103は符号化データと予測画像から画像を作成する。
復号画像回転部126は、復号部103で得られた画像を回転角度−θだけ、すなわち左90度回転して復号画像を求める。
動きベクトル符号化部110は動きベクトル(x2,y2)を符号化し、回転角度符号化部111は回転角度θを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部126は復号画像を参照画像メモリ104に蓄積する。
【0072】
次に、図9に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図10に示す。同図において、本実施形態に係る画像復号装置は、動きベクトルを復号する動きベクトル復号部120と、回転角度を復号する回転角度復号部121と、動きベクトルを使って参照画像メモリ104に蓄積された復号画像から、予測画像を作成して符号化データを復号する復号部103と、復号部103で得られた画像を回転して復号画像を求める復号画像回転部と126と、復号画像を蓄積する参照画像メモリ104とを有している。
【0073】
次に、図9に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。動きベクトル復号部120は符号化データの中から図14に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部121は符号化データの中から図5に示したルックアップテーブルを使って回転角度を復号する。
復号部103は、動きベクトル(x2,y2)を使って予測画像を作成し、符号化データを復号する。
【0074】
復号画像回転部126は復号部で得られた画像を回転角度−θ、すなわち左90度回転して復号画像を得る。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部126は復号画像を参照画像メモリ104に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【0075】
また、本発明の第1と第2の実施形態では、最後のマクロブロックを符号化した後に復号画像を参照画像メモリ104に蓄積したが、各マクロブロックの符号化毎に復号画像を参照画像メモリ104に蓄積しても良い。この場合には、現フレームの既に符号化されたマクロブロックの画像情報を使って予測画像を作成し、現マクロブロックを符号化することができる。
このように本発明の第1と第2の実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【0076】
また、図1、2、8(第1実施形態)または図9(第2実施形態)に示す画像符号化装置の機能、すなわち画像符号化方法を実現するための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理を行ってもよい。
さらに、図7(第1実施形態)または図10(第2実施形態)に示す画像復号装置の機能、すなわち画像復号方法を実現するための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像復号処理を行ってもよい。
これらの場合においても、既述した第1、第2の実施の形態と同様の効果が得られる。
【0077】
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0078】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【0079】
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計事項等も含まれる。
【0080】
【発明の効果】
以上に説明したように、本発明によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、本発明によれば、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測とを行う場合において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態に係る像符号化装置の全体構成を示すブロック図。
【図2】 図1に示した本発明の第1の実施の形態に係る像符号化装置におけるベクトル探索部の具体的構成を示すブロック図。
【図3】 画像符号化時に入力画像を回転、または拡大処理を行う際における画像領域上の回転・拡大軸を示す説明図。
【図4】 画像に対して回転処理を行った際の元の画素位置と回転後の画素位置との関係を示す説明図。
【図5】 画像の回転角度を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図6】 画像の拡大率を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図7】 本発明の第1の実施形態に係る画像復号装置の構成を示すブロック図。
【図8】 本発明の第1の実施形態に係る画像装置において、画像の拡大と回転を予め行う場合のベクトル探索部の具体的構成を示すブロック図。
【図9】 本発明の第2の実施形態に係る画像符号化装置の構成を示すブロック図。
【図10】 本発明の第2の実施形態に係る画像復号装置の構成を示すブロック図。
【図11】 ブロックマッチングにおけるマクロブロックと探索位置との関係を示す説明図。
【図12】 画像情報の線形補間の例を示す説明図。
【図13】 1/2精度の画像情報を求めるフィルタ方法の例を示す説明図。
【図14】 動きベクトルを可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図15】 画像領域四隅の動きベクトルから任意位置の動きベクトルを補間する方法を示す説明図。
【符号の説明】
101 画像入力部
102 符号化部
103 復号部
104 参照画像メモリ
105 動き補償部
106 ベクトル探索部
107 動きベクトル入力部
108 回転角度入力部
109 拡大率入力部
110 動きベクトル符号化部
111 回転角度符号化部
112 拡大率符号化部
113 拡大回転選択部
114 回転現画像作成部
115 回転現画像メモリ
116 回転選択部
117 動き探索部
118 拡大探索部
119 回転探索部
120 動きベクトル復号部
121 回転角度復号部
122 拡大率復号部
123 拡大回転現画像作成部
124 拡大回転現画像メモリ
125 回転現画像フレーム間予測部
126 復号画像回転部
127 回転角度動き探索部
Claims (13)
- 現フレームの画像を分割した領域(以後、現領域と呼ぶ)毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第1の回転角度情報を使って、現フレームの画像情報から、回転された現画像(以後、回転現画像と呼ぶ)を作成する回転現画像作成ステップと、
回転現画像の画像情報と参照画像の画像情報との差分(以後,回転予測差分と呼ぶ)を計測し、回転予測差分が最も小さくなる、参照画像内の平行移動量を探索する回転動き探索ステップと、
参照画像内にて前記平行移動量だけ平行移動した位置を中心とした参照画像内の画像を回転して画像情報を求め、前記回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる第2の回転角度情報を求める回転探索ステップと、
現領域毎に、参照画像内の或る位置を原点とし、第1及び第2の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域(以後、参照領域と呼ぶ)内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、前記回転角度情報を符号化する回転角度符号化ステップと、
を有することを特徴とする画像符号化方法。 - 現フレームの画像を分割した領域(以後、現領域と呼ぶ)毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第1の回転角度情報を使って、現フレームの画像情報から、回転された現画像(以後、回転現画像と呼ぶ)を作成する回転現画像作成ステップと、
予め複数の第2の回転角度情報を設定しておき、各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる第2の回転角度情報を求める回転角度探索ステップと、
現領域毎に、参照画像内の或る位置を原点とし、第1及び第2の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域(以後、参照領域と呼ぶ)内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、前記回転角度情報を符号化する回転角度符号化ステップと、
を有することを特徴とする画像符号化方法。 - 請求項1または請求項2に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に、回転角度情報を復号する回転角度復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする画像復号方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像(以後,拡大現画像と呼ぶ)を作成する拡大現画像作成ステップと、
前記拡大現画像の画像情報と参照画像の画像情報との差分を計測し、拡大予測差分が最も小さくなる拡大率情報を求める拡大率探索ステップと、
拡大現画像の画像情報と参照画像の画像情報との差分(以後、拡大予測差分と呼ぶ)を計測し、拡大予測差分が最も小さくなる、参照画像内の平行移動量を探索する拡大動き探索ステップと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
を有することを特徴とする画像符号化方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像(以後、拡大現画像と呼ぶ)を作成する拡大現画像作成ステップと、
予め設定された複数の拡大率情報各々を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索ステップと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
を有することを特徴とする画像符号化方法。 - 請求項4または請求項5に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に,拡大率情報を復号する拡大率復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする画像復号方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第1の回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる第2の回転角度情報を求める回転動き探索部と
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とし、第1及び第2の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
を有することを特徴とする画像符号化装置。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第1の回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
予め設定した複数の第2の回転角度情報で作成された、複数の回転現画像を蓄積する回転現画像メモリと、
回転現画像メモリに蓄積された画像から1つを選択する回転選択部と、
各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる第2の回転角度情報を求める回転角度探索部と、
現領域毎に、参照画像内の或る位置を原点とし、第1及び第2の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と
を有することを特徴とする画像符号化装置。 - 請求項7または請求項8に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、回転角度情報を復号する回転角度復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする画像復号装置。 - 請求項1,2、4,5のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
- 請求項3,6のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
- 請求項1,2、4,5のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項3,6のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345117A JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345117A JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003153273A JP2003153273A (ja) | 2003-05-23 |
JP3898031B2 true JP3898031B2 (ja) | 2007-03-28 |
Family
ID=19158515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001345117A Expired - Fee Related JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3898031B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005104564A1 (ja) * | 2004-04-21 | 2005-11-03 | Matsushita Electric Industrial Co., Ltd. | 動き補償装置 |
JP4542447B2 (ja) | 2005-02-18 | 2010-09-15 | 株式会社日立製作所 | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 |
JP2011146980A (ja) * | 2010-01-15 | 2011-07-28 | Sony Corp | 画像処理装置および方法 |
JP5010709B2 (ja) * | 2010-04-22 | 2012-08-29 | 日立コンシューマエレクトロニクス株式会社 | 画像の復号化装置 |
JP5868909B2 (ja) * | 2013-08-07 | 2016-02-24 | 日立マクセル株式会社 | 復号化方法 |
JP5913474B2 (ja) * | 2014-07-31 | 2016-04-27 | 日立マクセル株式会社 | 復号化方法 |
JP6117302B2 (ja) * | 2015-09-07 | 2017-04-19 | 日立マクセル株式会社 | 復号化方法 |
JP6222756B2 (ja) * | 2016-09-20 | 2017-11-01 | マクセルホールディングス株式会社 | 復号化方法 |
JP6364462B2 (ja) * | 2016-09-20 | 2018-07-25 | マクセル株式会社 | 復号化装置及び復号化方法 |
WO2018056181A1 (ja) | 2016-09-26 | 2018-03-29 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 |
JP6523495B2 (ja) * | 2018-01-12 | 2019-06-05 | マクセル株式会社 | 復号化方法 |
-
2001
- 2001-11-09 JP JP2001345117A patent/JP3898031B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003153273A (ja) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7004782B2 (ja) | 画像予測方法および関連装置 | |
US20210099706A1 (en) | Processing of motion information in multidimensional signals through motion zones and auxiliary information through auxiliary zones | |
TWI572196B (zh) | 用於次世代視訊編碼之投射式內插預測產生之技術 | |
CN104967852B (zh) | 通过帧内预测来对图像进行编码和解码的方法和设备 | |
JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
JP2021182752A (ja) | 画像予測方法および関連装置 | |
JP4596718B2 (ja) | 適応動きベクトル場符号化 | |
JP3898031B2 (ja) | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 | |
BR112020002656A2 (pt) | método, aparelho, e dispositivo de codificação e decodificação de imagem de vídeo | |
JP3681342B2 (ja) | 映像コーディング方法 | |
JP2022530172A (ja) | 適応解像度ビデオ符号化のためのインター符号化 | |
Wang et al. | Spherical coordinates transform-based motion model for panoramic video coding | |
JP2019118101A (ja) | ビデオコーディング方法及びその画像処理装置 | |
JP4015532B2 (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
US20090051679A1 (en) | Local motion estimation using four-corner transforms | |
Chung et al. | Effective content-aware chroma reconstruction method for screen content images | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
JP3734488B2 (ja) | 画像符号化装置 | |
JP2007312425A (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
JP2005333663A (ja) | 動き補償予測方法 | |
JP2011081477A (ja) | 画像復元装置、そのプログラム、及び、多次元画像復元装置 | |
JP2022546155A (ja) | 解像度適応型ビデオコーディング | |
JP2003125411A (ja) | 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム | |
JP2004173130A (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
CN118077203A (zh) | 具有明确信示的扩展旋转的经扭曲的运动补偿 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |