JP4021800B2 - 動画像符号化装置,方法および動画像符号化プログラム - Google Patents
動画像符号化装置,方法および動画像符号化プログラム Download PDFInfo
- Publication number
- JP4021800B2 JP4021800B2 JP2003141334A JP2003141334A JP4021800B2 JP 4021800 B2 JP4021800 B2 JP 4021800B2 JP 2003141334 A JP2003141334 A JP 2003141334A JP 2003141334 A JP2003141334 A JP 2003141334A JP 4021800 B2 JP4021800 B2 JP 4021800B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- coding
- motion vector
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は,符号化器前段で入力映像を拡大し,その拡大映像に対して動きベクトル探索または動きベクトル探索を伴う符号化を行ない,その結果から得られる動きベクトルを利用して,入力画像に対してより細密なブロック単位での,より高画素精度の動き補償を行なう動画像符号化装置に関するものである。
【0002】
【従来の技術】
多くの動画像符号化においては,ブロック単位の動き補償によってフレーム間の冗長性を排し,情報を圧縮している。例えば,動画像符号化の国際標準であるMPEG−1, MPEG−2などでは,動き補償は16×16画素の矩形領域であるマクロブロックごとに行なわれており,エンコーダは各マクロブロックごとに動き探索を行なって,対象マクロブロックと一致度の高いブロックを参照画像の探索範囲内から探し出し,その位置を指し示すベクトルを動きベクトルとして符号化する。
【0003】
動きベクトルの指し示す16×16画素の矩形領域画像は,予測画像として用いられ,予測画像と原画像との差分画像である予測誤差画像にDCTが施され,その係数が量子化され符号化される。また,これらの国際標準では,この動きベクトルの精度は 0.5画素精度である。1画素以下の位置の参照画像は,整数画素位置のデータの補間によって生成され,生成された参照画像と対象マクロブロックとの画素差分がとられる。
【0004】
一方,より新しい符号化手法では,映像の内容に応じて,より細密なブロックを単位として,動き補償を行なうことで,符号化効率を向上させる。より新しい国際標準であるH.264などでは,動き補償は16×16画素以外にも,16×8画素,8×8画素,8×4画素,4×4画素の矩形領域単位で行なうことができ,16×16画素のマクロブロックごとに,より細かいブロックで動き補償を行なった方が効率がよくなる場合には,より細かいブロック単位で動き補償をしながら符号化を行なうことにより,符号化効率を上げることができる。また,動きベクトルの精度も0.25画素精度など,従来より細かくなってきている。
【0005】
一方,これらの動画像符号化方式のエンコーダの実装技術に着目すると,MPEG−1やMPEG−2などの符号化方式に対応したエンコーダLSIがすでに広く普及しており,非常に小型でリアルタイム処理が可能なハードウェアモジュールを比較的安価に使用することができる。また,画像サイズについても通常TVサイズより大きいHDTVサイズのエンコードが可能なハードウェアモジュールも存在する。
【0006】
一方,より新しいH.264などの符号化方式に対応したエンコーダは,LSI化がまだ進んでいない。一般に,動き補償を用いる動画像符号化方式において,動きベクトル探索や動き補償に必要な計算処理量は非常に多いが,これらの符号化方式では,従来の方式に比べ動きベクトル探索や動き補償がさらに高度化しているため,必要な計算処理量が飛躍的に多くなっており,リアルタイム符号化可能なエンコーダを実装することが難しい。
【0007】
なお,MPEG−1の符号化に関する参考文献として,下記の非特許文献1がある。また,MPEG−2の符号化に関する参考文献として,下記の非特許文献2がある。H.264の符号化に関する参考文献として,下記の非特許文献3がある。
【0008】
【非特許文献1】
ISO/IEC 11172, "Information Technology - Coding of Moving Picture and Associated Audio for Digital Storage Media at Up to about 1.5Mbit/s"(1992)
【非特許文献2】
ITU-T Rec.H.262/ISO/IEC 13818-2 MPEG-2 International Standard: Video part
【非特許文献3】
ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002
【0009】
【発明が解決しようとする課題】
以上述べたように,従来の符号化方式で用いられたサイズのブロックよりもより細かいサイズのブロックを単位として動き補償を行なったり,従来の符号化方式で用いられた精度よりもより細かい画素精度の動き補償を行なう符号化方式において,リアルタイム符号化を行なうエンコーダを実現しようとすると,動き探索に必要な計算量は膨大であり,このような処理を行なうハードウェアを開発するのはコストが高いという問題がある。
【0010】
本発明は,上記問題点の解決を図り,動き探索精度が高く,動き補償単位が小さな探索を用いた動画像符号化を,低コストで実現することを目的とする。
【0011】
【課題を解決するための手段】
本発明は,上記課題を解決するため,従来からある動画像符号化の国際標準であるMPEG−1, MPEG−2などのために作られた,画素精度が低く,動き補償単位の大きい動き探索モジュールまたは符号化モジュールを用いて,入力映像の拡大映像に対して,動き探索または動き探索を伴う符号化を行ない,その結果得られる動きベクトルを縮小したベクトルに基づいて,メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうことを特徴とし,特に,フレームおよびフィールドについて画像を拡大し,既存の安価な符号化器を利用して,フレーム,フィールドについて動きベクトルを求め,それらを縮小した動きベクトルのどちらかを用いて細密なブロック単位での動き補償を行なうことを特徴とする。
【0012】
上記手段により,入力画像の拡大率の分だけ,動き探索精度が高く,動き補償単位の小さな動きベクトル情報を得ることができるため,このベクトル情報を利用した動き補償を行なったり,そのベクトル情報を利用して動き探索の計算量を削減することなどができる。これにより,従来からある,より動き探索精度が低く,動き補償単位が大きな探索を行なうモジュールを用いて,より動き探索精度が高く,動き補償単位が小さな探索を用いた動画像符号化を,従来より低いコストで行なうことができる。
【0013】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち,本発明の関連技術を説明する。
〔関連技術1〕
本発明の関連技術1の装置構成図を,図1に示す。図2は,関連技術1における入力画像の拡大方法の説明図,図3は,関連技術1(後述する実施の形態2,3も同様)における入力映像(プログレッシブ映像)の垂直方向2倍拡大方法の説明図である。図4は,関連技術1の処理フローチャートである。
【0014】
本関連技術1における入力映像は,プログレッシブ映像であるものとする。画像拡大部10において,図2のようにフレーム単位で入力映像を水平方向に2倍,垂直方向に2倍に拡大する(図4のS1)。なお,図2(A)は入力映像の1フレームの画素群,図2(B)は入力映像を拡大した拡大画像の画素群を表している。ここで,垂直方向には,図3に示すように各ラインの中間位置にフレーム内の上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,水平方向には,各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0015】
前処理符号化部11では,画像拡大部10において生成された拡大画像を,MPEG−2で符号化を行なう(図4のS2)。前処理符号化部11では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また,符号化は,このベクトルを用いたフレーム予測を行なう。量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ13に伝達される。
【0016】
遅延バッファ12は,入力映像に対する画像拡大部10および前処理符号化部11による処理の間,メインエンコーダ13に供給する入力映像のデータを一時的に保持するメモリである。
【0017】
メインエンコーダ13では,動き補償部14において前処理符号化部11から得た動きベクトルの水平垂直成分を1/2に縮小し(図4のS3),0.25画素精度のベクトルを得,このベクトルを用いて8×8画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ,ノンイントラ符号化ブロックとして,そのベクトルおよび予測誤差成分のDCT係数を符号化する。後者が小さければイントラ符号化ブロックとして,原画像のDCT係数を符号化する。このようにして,符号化を行なうことにより0.25画素精度,8×8画素ブロックのフレーム予測による動き補償を実現することができる(図4のS4)。
【0018】
〔関連技術2〕
本発明の関連技術2の装置構成図は,図1に示す関連技術1と同様である。図5は,関連技術2における入力映像(インタレース映像)の垂直方向2倍拡大方法の説明図,図6は,関連技術2における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また,図7は,関連技術2の処理フローチャートである。
【0019】
本関連技術2における入力映像は,インタレース映像であるものとする。画像拡大部10において,入力映像をフィールド単位で水平方向に2倍,垂直方向に2倍に拡大する(図7のS10)。ここで,垂直方向の拡大では,図5に示すように,第1フィールドについては各ラインの中間位置に,同フィールド内の上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,第2フィールドについては,各ラインの4分の1と4分の3の内分点の位置に,同フィールド内の上下数画素(ライン)分の画素値の線形和による補間によってラインを生成する。また,水平方向については,それぞれ各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0020】
前処理符号化部11では,画像拡大部10において生成された拡大画像をMPEG−2で符号化を行なう。前処理符号化部11では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルおよびフィールド予測ベクトルを 0.5画素精度で求める(図7のS11)。また,符号化はこれらのベクトルを用いてフレームフィールド適応予測を行なう。また,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルと予測モードはメインエンコーダ13に伝達される。
【0021】
メインエンコーダ13においては,得られた動きベクトルの水平垂直成分を1/2に縮小し,0.25画素精度のベクトルを得る。ただし,予測モードがフィールド予測であり,パリティの異なるフィールド間の予測の場合には,ベクトルの垂直成分に0.25を足す(図7のS12)。
【0022】
上記の画像拡大部10で生成された第1フィールド拡大画像と第2フィールド拡大画像をラインごとに交互に組み合わせて生成したインタレースのフレーム映像は,画像内容の相対位置は正確であり,前処理符号化部11においては,通常のフレーム予測ベクトルを得ることができる。また,同パリティのフィールド間での予測においても,同パリティのフィールド間では画像内容の相対位置は正確であり,通常のフィールド予測ベクトルを得ることができる。
【0023】
しかし,異なるパリティのフィールド間での予測においては,フィールド予測が選ばれた場合,図6に示すように異なるパリティのフィールド間の予測ベクトルが 0.5画素分ずれるので補正が必要となる。例えば,第1フィールドがトップフィールドであり,第2フィールドが第1フィールドを参照する場合,フレーム画像で1ライン上の位置を指す動きベクトルの垂直成分が0となる。そのため,垂直2倍拡大画像において垂直成分0となったベクトルは,拡大前の入力画像において,フレーム画像で1/2ライン上の位置を指す動きベクトルに相当する。フィールド予測において,フレーム画像で1/2ライン上の位置を指す動きベクトルの垂直成分は0.25であるので,このため,前処理符号化部11から得られる異なるパリティのフィールド間での予測ベクトルは水平垂直成分を1/2に縮小したのちに,垂直成分に0.25を足して補正する必要がある。
【0024】
メインエンコーダ13は,このようにして得たベクトルおよび予測モードに従って,8×8画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較して,前者が小さければ,ノンイントラ符号化ブロックとして,そのベクトルおよび予測誤差成分のDCT係数を符号化する。後者が小さければ,イントラ符号化ブロックとして,原画像のDCT係数を符号化する。
【0025】
このようにして,符号化を行なうことにより0.25画素精度,8×8画素ブロックのフレーム予測による動き補償を実現することができる(図7のS13)。
【0026】
〔実施の形態1〕
本発明の実施の形態1の装置構成図を,図8に示す。図9は,実施の形態1におけるフレーム画像単位の垂直方向2倍拡大方法の画像内容位置を示す図,図10は,実施の形態1におけるフィールド画像単位の垂直方向2倍拡大説明図である。図11は,実施の形態1における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また,図12は,実施の形態1の処理フローチャートである。
【0027】
本実施の形態1における入力映像は,インタレース映像であるものとする。フレーム画像拡大部20において,入力映像をフレーム単位で水平方向に2倍,垂直方向に2倍に拡大する(図12のS20)。すなわち,垂直方向には,図9のようにフレームの各ラインの中間位置に同フレーム内の上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,水平方向には,各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。ここで,このようにして拡大された映像は,静止領域においては画像内容が正しく拡大されるが,動領域においては,時間的に異なる2つのフィールドの画像内容が平均化され正しく拡大画像が生成されないことに留意されたい。
【0028】
フレーム前処理符号化部21では,フレーム画像拡大部20において生成された拡大画像を,MPEG−2で符号化を行なう(図12のS21)。フレーム前処理符号化部21では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。符号化は,このベクトルを用いたフレーム予測を行ない,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ25に伝達される。
【0029】
同時に,フィールド画像拡大部22において,入力映像をフィールド単位で水平方向に2倍,垂直方向に2倍に拡大する(図12のS22)。すなわち,図5のように,第1フィールドと第2フィールドとでそれぞれ独立に,垂直方向にはフィールドの各ラインの中間位置に同フィールド内の上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,水平方向には各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0030】
フィールド前処理符号化部23では,フィールド画像拡大部22において生成された拡大画像をMPEG−2で符号化を行なう(図12のS23)。フィールド前処理符号化部23では,動き探索によって16×16画素のマクロブロックごとにフィールド予測動きベクトルを 0.5画素精度で求める。符号化は,このベクトルを用いたフィールド予測を用い,また量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ25に伝達される。
【0031】
遅延バッファ24は,入力映像に対するフレーム画像拡大部20およびフレーム前処理符号化部21による処理およびフィールド画像拡大部22およびフィールド前処理符号化部23による処理の間,メインエンコーダ25に供給する入力映像のデータを一時的に保持する。
【0032】
上記のようにフィールド画像拡大部22で生成された第1フィールド拡大画像と第2フィールド拡大画像とをラインごとに交互に組み合わせて生成したインタレース映像のフレーム画像は,画像内容の位置が本来の位置とずれていることに留意されたい。しかし,同パリティのフィールド間での画素内容の相対位置はずれることはないので,同パリティのフィールド間のフィールド動きベクトルの成分がずれることはない。また,異なるパリティ間の動きベクトルにはずれが存在するが,図11に示すとおり,メインエンコーダ25における異なるパリティ間のフィールド動きベクトルの位置ずれの関係と一致しているため,動きベクトルのずれが問題となることはない。すなわち,メインエンコーダ25においては,第2フィールドが第1フィールドを参照する場合,動きベクトルの垂直成分が0の場合,フレームとして画像を見た場合,1ラインずれた位置を指すことになるが,拡大された2つのフィールドについても同様の関係が成り立っているためである。
【0033】
メインエンコーダ25においては,フレーム前処理符号化部21から得られたフレーム動きベクトルの水平垂直成分を1/2に縮小し,0.25画素精度のベクトルを得る(図12のS24)。また同時に,フィールド前処理符号化部23から得られたフィールド動きベクトルの水平垂直成分を1/2に縮小し,0.25画素精度のベクトルを得る。動き補償部26は,これらのベクトルのどちらかを用いて8×8画素ブロックごとの動き補償を行なう。フィールドベクトルを用いて生成した予測誤差画像とフレームベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較してその値の最も小さいモードで符号化を行なう。
【0034】
このようにして,符号化を行なうことにより,0.25画素精度,8×8画素ブロックのフレーム予測による動き補償を実現することができる(図12のS25)。
【0035】
〔実施の形態2〕
本発明の実施の形態2の装置構成図を,図13に示す。図14は,実施の形態2の処理フローチャートである。
【0036】
本実施の形態2における入力映像は,プログレッシブ映像であるものとする。画像拡大部A30において,入力映像をフレーム単位で水平方向に2倍,垂直方向に2倍に拡大する(図14のS30)。すなわち,垂直方向には,フレームの各ラインの中間位置に上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,水平方向には,各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0037】
前処理符号化部A31では,画像拡大部A30において生成された拡大画像をMPEG−2で符号化を行なう(図14のS31)。前処理符号化部A31では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また,符号化は,このベクトルを用いたフレーム予測を行なう。また,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ37に伝達される。メインエンコーダ37においては,得られた動きベクトルの水平垂直成分を1/2に縮小し(図14のS36),8×8画素単位の水平垂直0.25画素精度のベクトルを得る。
【0038】
画像拡大部B32において,入力映像をフレーム単位で水平方向に2倍,垂直方向に1倍に拡大する(図14のS32)。すなわち,水平方向に各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0039】
前処理符号化部B33では,画像拡大部B32において生成された拡大画像をMPEG−2で符号化を行なう(図14のS33)。前処理符号化部B33では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また,符号化は,このベクトルを用いたフレーム予測を行なう。また,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ37に伝達される。メインエンコーダ37においては,得られた動きベクトルの水平成分を1/2に縮小し(図14のS36),8×16画素単位の水平0.25画素精度,垂直 0.5画素精度のベクトルを得る。
【0040】
画像拡大部C34において,入力映像をフレーム単位で水平方向に1倍,垂直方向に2倍に拡大する(図14のS34)。すなわち,垂直方向には,フレームの各ラインの中間位置に上下数画素(ライン)分の画素値の線形和による補間によってラインを生成する。
【0041】
前処理符号化部C35では,画像拡大部C34において生成された拡大画像をMPEG−2で符号化を行なう(図14のS35)。前処理符号化部C35では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また,符号化は,このベクトルを用いたフレーム予測を行なう。また,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ37に伝達される。メインエンコーダ37においては,得られた動きベクトルの垂直成分を1/2に縮小し(図14のS36),16×8画素単位の水平 0.5画素精度,垂直0.25画素精度のベクトルを得る。
【0042】
遅延バッファ36は,以上の入力映像に対する画像の拡大,前処理符号化の処理の間,メインエンコーダ37に供給する入力映像のデータを一時的に保持する。
【0043】
メインエンコーダ37では,これらのベクトルの近傍について,それぞれに対応するブロックサイズでメインエンコーダ37内の局所復号画像を参照画像として動き探索を行なう(図14のS37)。すなわち,前処理符号化部A31から得たベクトル近傍について8×8画素ブロックサイズで,前処理符号化部B33から得たベクトル近傍について8×16画素ブロックサイズで,前処理符号化部C35から得たベクトル近傍について16×8画素ブロックサイズで,それぞれ水平垂直0.25画素精度で動き探索を行なう。また,これとは別にメインエンコーダ37では,内部の動き補償部38において,メインエンコーダ37内の局所復号画像を参照画像として,16×16画素のフレーム動きベクトル探索を行なう。
【0044】
メインエンコーダ37において,各16×16画素のブロックについて,同位置のブロックサイズの異なる上記ベクトルを用いて生成した予測誤差画像と同じ16×16画素ブロックの原画像の差分絶対値和を比較する。このとき,8×8画素ブロックサイズについては4つ分,16×8画素,8×16画素ブロックについては2つ分,16×16画素ブロックは1つ分の予測誤差画像の絶対値和をそれぞれ比較する。
【0045】
この中で最も差分絶対値和が小さいモードを選択する。すなわち,8×8画素ブロック4つ分の予測誤差画像の絶対値和が小さければ,4つの8×8画素ブロックサイズの動きベクトルを用いてその16×16画素ブロックのノンイントラ符号化を行なう。16×8画素ブロック2つ分の予測誤差画像の絶対値和が小さければ,2つの16×8画素ブロックサイズの動きベクトルを用いてその16×16画素ブロックのノンイントラ符号化を行なう。8×16画素ブロック2つ分の予測誤差画像の絶対値和が小さければ,2つの8×16画素ブロックサイズの動きベクトルを用いてその16×16画素ブロックのノンイントラ符号化を行なう。16×16画素ブロックの予測誤差画像の絶対値和が小さければ,16×16画素ブロックサイズの動きベクトルを用いてその16×16画素ブロックのノンイントラ符号化を行なう。16×16画素ブロックの原画像の絶対値和が小さければ,その16×16画素ブロックのイントラ符号化を行なう。
【0046】
このようにして,符号化を行なうことにより0.25画素精度,8×8画素ブロック,8×16画素ブロック,16×8画素ブロック,16×16画素ブロックの適応フレーム予測による動き補償を実現することができる(図14のS38)。
【0047】
〔実施の形態3〕
本発明の実施の形態3の装置構成図を,図15に示す。図16は,実施の形態3の処理フローチャートである。実施の形態3の入力映像はプログレッシブ映像であるものとする。
【0048】
画像拡大部40において,入力映像をフレーム単位で水平方向に2倍,垂直方向に2倍に拡大する(図16のS40)。すなわち,垂直方向には,フレームの各ラインの中間位置に上下数画素(ライン)分の画素値の線形和による補間によってラインを生成し,水平方向には,各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【0049】
前処理符号化部41では,画像拡大部40において生成された拡大画像をMPEG−2で符号化を行なう(図16のS41)。前処理符号化部41では,動き探索によって16×16画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また,符号化は,このベクトルを用いたフレーム予測を行なう。また,量子化パラメータは,5以下の小さい値に固定して行ない,参照画像の符号化歪によるベクトルのずれが起きにくいようにする。このようにして符号化された符号化ストリームが,前処理符号化部41から出力され(図16のS42),動きベクトル情報抽出部42に入力される。
【0050】
動きベクトル情報抽出部42においては,各マクロブロックごとの動きベクトル情報が抽出され(図16のS44),メインエンコーダ44に伝達される。
【0051】
遅延バッファ43は,入力映像に対する画像拡大部40,前処理符号化部41,動きベクトル情報抽出部42の処理の間,メインエンコーダ44に供給する入力映像のデータを一時的に保持する。
【0052】
メインエンコーダ44においては,得られた動きベクトルの水平垂直成分を1/2に縮小する(図16のS45)。このベクトルの近傍の8×8画素ブロックの動き探索をメインエンコーダ44の局所復号画像を参照画像として行ない,フレームベクトルを得る(図16のS46)。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ,ノンイントラ符号化ブロックとして,そのベクトルおよび予測誤差成分のDCT係数を符号化する。後者が小さければイントラ符号化ブロックとして,原画像のDCT係数を符号化する。このようにして,符号化を行なうことにより0.25画素精度,8×8画素ブロックのフレーム予測による動き補償を実現することができる(図16のS47)。
【0053】
本実施の形態3においては,前処理符号化部41が動きベクトル情報を特別に出力せず,エンコーダとしての通常動作どおりのストリームを出力するだけであるため,前処理符号化部41の実装が容易であるという利点がある。
【0054】
本発明は,上記各実施の形態を組み合わせて実施することも可能である。また,上記各実施の形態における全体の制御に関する処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
【0055】
【発明の効果】
以上説明したように,本発明によれば,入力映像を拡大し,安価なエンコーダを用いて,動き探索または動き探索を伴う符号化を行ない,その結果得られる動きベクトルを縮小したベクトルに基づいて,メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうので,より動き探索精度が高く,動き補償単位が小さな探索を用いた動画像符号化を,従来より低いコストで実現することができる。
【図面の簡単な説明】
【図1】 本発明の関連技術1, 2の装置構成図である。
【図2】 関連技術1における入力画像の拡大方法の説明図である。
【図3】 関連技術1と実施の形態2,3における入力映像(プログレッシブ映像)の垂直方向2倍拡大方法の説明図である。
【図4】 関連技術1の処理フローチャートである。
【図5】 関連技術2における入力映像(インタレース映像)の垂直方向2倍拡大方法の説明図である。
【図6】 関連技術2における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図7】 関連技術2の処理フローチャートである。
【図8】 本発明の実施の形態1の装置構成図である。
【図9】 実施の形態1におけるフレーム画像単位の垂直方向2倍拡大方法の画像内容位置を示す図である。
【図10】 実施の形態1におけるフィールド画像単位の垂直方向2倍拡大説明図である。
【図11】 実施の形態1における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図12】 実施の形態1の処理フローチャートである。
【図13】 本発明の実施の形態2の装置構成図である。
【図14】 実施の形態2の処理フローチャートである。
【図15】 本発明の実施の形態3の装置構成図である。
【図16】 実施の形態3の処理フローチャートである。
【符号の説明】
10,30,32,34,40 画像拡大部
11,31,33,35,41 前処理符号化部
12,24,36,43 遅延バッファ
13,25,37,44 メインエンコーダ
14,26,38,45 動き補償部
20 フレーム画像拡大部
21 フレーム前処理符号化部
22 フィールド画像拡大部
23 フィールド前処理符号化部
Claims (7)
- 動き補償を用いる動画像符号化装置において,
入力画像をフレーム単位で水平方向にM倍(M≧1),垂直方向にN倍(N≧1,M×N>1)に拡大するフレーム画像拡大手段と,
入力画像をフィールド単位で水平方向にM倍,垂直方向にN倍に拡大するフィールド画像拡大手段と,
上記フレーム画像拡大手段から得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化手段と,
上記フィールド画像拡大手段から得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化手段と,
上記フレームの前処理符号化手段および上記フィールドの前処理符号化手段から得られる動きベクトルを,水平方向に1/M,垂直方向に1/Nに縮小し,得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化手段とを備える
ことを特徴とする動画像符号化装置。 - 請求項1に記載の動画像符号化装置において,
上記符号化手段は,上記前処理符号化手段において得られる動きベクトル情報を受けて,動きベクトルの大きさを水平方向に1/M,垂直方向に1/Nに縮小し,入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し,動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。 - 請求項1に記載の動画像符号化装置において,
上記前処理符号化手段から出力されるストリームから動きベクトル情報を抽出する動きベクトル情報抽出手段を備え,
上記符号化手段は,上記動きベクトル情報抽出手段から得られるベクトル情報を受けて,動きベクトルの大きさを水平方向に1/M,垂直方向に1/Nに縮小し,得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。 - 動き補償を用いる動画像符号化方法において,
入力画像をフレーム単位で水平方向にM倍(M≧1),垂直方向にN倍(N≧1,M×N>1)に拡大するフレーム画像拡大ステップと,
入力画像をフィールド単位で水平方向にM倍,垂直方向にN倍に拡大するフィールド画像拡大ステップと,
上記フレーム画像拡大ステップにより得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化ステップと,
上記フィールド画像拡大ステップにより得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化ステップと,
上記フレームの前処理符号化ステップおよび上記フィールドの前処理符号化ステップにより得られる動きベクトルを,水平方向に1/M,垂直方向に1/Nに縮小し,得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化ステップとを有する
ことを特徴とする動画像符号化方法。 - 請求項4に記載の動画像符号化方法において,
上記符号化ステップでは,拡大画像の符号化によって得られる,動きベクトルの大きさを水平方向に1/M,垂直方向に1/Nに縮小し,入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し,動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。 - 請求項4に記載の動画像符号化方法において,
上記拡大画像の符号化によって出力されるストリームから動きベクトル情報を抽出するステップを有し,
上記符号化ステップでは,その動きベクトルの大きさを水平方向に1/M,垂直方向に1/Nに縮小し,得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。 - 請求項4から請求項6までのいずれか1項に記載の動画像符号化方法を,コンピュータに実行させるための動画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003141334A JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置,方法および動画像符号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003141334A JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置,方法および動画像符号化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004349756A JP2004349756A (ja) | 2004-12-09 |
JP4021800B2 true JP4021800B2 (ja) | 2007-12-12 |
Family
ID=33529709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003141334A Expired - Fee Related JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置,方法および動画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4021800B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090213926A1 (en) * | 2005-02-24 | 2009-08-27 | Lg Electronics Inc. | Method for Up-Sampling/Down-Sampling Data of a Video Block |
KR20070053402A (ko) * | 2005-11-21 | 2007-05-25 | 주식회사 대우일렉트로닉스 | 영상 압축 시스템의 움직임 보상 방법 |
US10116944B2 (en) | 2014-02-10 | 2018-10-30 | Nec Corporation | Video encoding device, video encoding method, and program |
JP5930009B2 (ja) * | 2014-12-09 | 2016-06-08 | 学校法人成蹊学園 | カラー動画像動き推定方法及びカラー動画像動き推定装置 |
-
2003
- 2003-05-20 JP JP2003141334A patent/JP4021800B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004349756A (ja) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2251820C2 (ru) | Экстраполяция вектора движения для перекодировки видеопоследовательности | |
JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
US6757330B1 (en) | Efficient implementation of half-pixel motion prediction | |
US7630566B2 (en) | Method and apparatus for improved estimation and compensation in digital video compression and decompression | |
US20090028243A1 (en) | Method and apparatus for coding and decoding with motion compensated prediction | |
KR20040054746A (ko) | 공간 스케일가능 압축 방법 및 장치 | |
JP2001112000A (ja) | 映像信号符号化装置 | |
JP2004096757A (ja) | 動き補償のための補間方法及びその装置 | |
JP4361987B2 (ja) | フィールドモード符号化を含む画像フレームのサイズ変更のための方法及び装置 | |
US20090016623A1 (en) | Image processing device, image processing method and program | |
CN102369730A (zh) | 压缩动态图像编码装置、压缩动态图像解码装置、压缩动态图像编码方法及压缩动态图像解码方法 | |
JP3540855B2 (ja) | ブロック歪み補正器 | |
US20080031335A1 (en) | Motion Detection Device | |
JP2004529569A (ja) | 埋め込みリサイジング機能を有するmpeg復号化のためのインターレース移動領域の検出及び適正な補間 | |
US20240114165A1 (en) | Image decoding device, image encoding device, image processing system, and program | |
JP4021800B2 (ja) | 動画像符号化装置,方法および動画像符号化プログラム | |
WO2000005899A1 (en) | Image encoding system | |
EP2076050B1 (en) | Motion estimation apparatus and method for moving picture coding | |
US11202082B2 (en) | Image processing apparatus and method | |
JP4797999B2 (ja) | 画像符号化・復号化装置 | |
JPH09322175A (ja) | 動画像復号化方法及び装置 | |
JPH0622291A (ja) | 解像度変換可能な復号方法と装置 | |
JP2616552B2 (ja) | 動画像の符号化・復号化装置 | |
JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
JP4645515B2 (ja) | 動き補償画像符号化方法及び動き補償画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |