JP4021800B2 - 動画像符号化装置，方法および動画像符号化プログラム - Google Patents
動画像符号化装置，方法および動画像符号化プログラム Download PDFInfo
- Publication number
- JP4021800B2 JP4021800B2 JP2003141334A JP2003141334A JP4021800B2 JP 4021800 B2 JP4021800 B2 JP 4021800B2 JP 2003141334 A JP2003141334 A JP 2003141334A JP 2003141334 A JP2003141334 A JP 2003141334A JP 4021800 B2 JP4021800 B2 JP 4021800B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- coding
- motion vector
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，符号化器前段で入力映像を拡大し，その拡大映像に対して動きベクトル探索または動きベクトル探索を伴う符号化を行ない，その結果から得られる動きベクトルを利用して，入力画像に対してより細密なブロック単位での，より高画素精度の動き補償を行なう動画像符号化装置に関するものである。
【０００２】
【従来の技術】
多くの動画像符号化においては，ブロック単位の動き補償によってフレーム間の冗長性を排し，情報を圧縮している。例えば，動画像符号化の国際標準であるＭＰＥＧ−１, ＭＰＥＧ−２などでは，動き補償は１６×１６画素の矩形領域であるマクロブロックごとに行なわれており，エンコーダは各マクロブロックごとに動き探索を行なって，対象マクロブロックと一致度の高いブロックを参照画像の探索範囲内から探し出し，その位置を指し示すベクトルを動きベクトルとして符号化する。
【０００３】
動きベクトルの指し示す１６×１６画素の矩形領域画像は，予測画像として用いられ，予測画像と原画像との差分画像である予測誤差画像にＤＣＴが施され，その係数が量子化され符号化される。また，これらの国際標準では，この動きベクトルの精度は 0.5画素精度である。１画素以下の位置の参照画像は，整数画素位置のデータの補間によって生成され，生成された参照画像と対象マクロブロックとの画素差分がとられる。
【０００４】
一方，より新しい符号化手法では，映像の内容に応じて，より細密なブロックを単位として，動き補償を行なうことで，符号化効率を向上させる。より新しい国際標準であるＨ．２６４などでは，動き補償は１６×１６画素以外にも，１６×８画素，８×８画素，８×４画素，４×４画素の矩形領域単位で行なうことができ，１６×１６画素のマクロブロックごとに，より細かいブロックで動き補償を行なった方が効率がよくなる場合には，より細かいブロック単位で動き補償をしながら符号化を行なうことにより，符号化効率を上げることができる。また，動きベクトルの精度も0.25画素精度など，従来より細かくなってきている。
【０００５】
一方，これらの動画像符号化方式のエンコーダの実装技術に着目すると，ＭＰＥＧ−１やＭＰＥＧ−２などの符号化方式に対応したエンコーダＬＳＩがすでに広く普及しており，非常に小型でリアルタイム処理が可能なハードウェアモジュールを比較的安価に使用することができる。また，画像サイズについても通常ＴＶサイズより大きいＨＤＴＶサイズのエンコードが可能なハードウェアモジュールも存在する。
【０００６】
一方，より新しいＨ．２６４などの符号化方式に対応したエンコーダは，ＬＳＩ化がまだ進んでいない。一般に，動き補償を用いる動画像符号化方式において，動きベクトル探索や動き補償に必要な計算処理量は非常に多いが，これらの符号化方式では，従来の方式に比べ動きベクトル探索や動き補償がさらに高度化しているため，必要な計算処理量が飛躍的に多くなっており，リアルタイム符号化可能なエンコーダを実装することが難しい。
【０００７】
なお，ＭＰＥＧ−１の符号化に関する参考文献として，下記の非特許文献１がある。また，ＭＰＥＧ−２の符号化に関する参考文献として，下記の非特許文献２がある。Ｈ．２６４の符号化に関する参考文献として，下記の非特許文献３がある。
【０００８】
【非特許文献１】
ISO/IEC 11172, "Information Technology - Coding of Moving Picture and Associated Audio for Digital Storage Media at Up to about 1.5Mbit/s"(1992)
【非特許文献２】
ITU-T Rec.H.262/ISO/IEC 13818-2 MPEG-2 International Standard: Video part
【非特許文献３】
ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002
【０００９】
【発明が解決しようとする課題】
以上述べたように，従来の符号化方式で用いられたサイズのブロックよりもより細かいサイズのブロックを単位として動き補償を行なったり，従来の符号化方式で用いられた精度よりもより細かい画素精度の動き補償を行なう符号化方式において，リアルタイム符号化を行なうエンコーダを実現しようとすると，動き探索に必要な計算量は膨大であり，このような処理を行なうハードウェアを開発するのはコストが高いという問題がある。
【００１０】
本発明は，上記問題点の解決を図り，動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，低コストで実現することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は，上記課題を解決するため，従来からある動画像符号化の国際標準であるＭＰＥＧ−１, ＭＰＥＧ−２などのために作られた，画素精度が低く，動き補償単位の大きい動き探索モジュールまたは符号化モジュールを用いて，入力映像の拡大映像に対して，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうことを特徴とし，特に，フレームおよびフィールドについて画像を拡大し，既存の安価な符号化器を利用して，フレーム，フィールドについて動きベクトルを求め，それらを縮小した動きベクトルのどちらかを用いて細密なブロック単位での動き補償を行なうことを特徴とする。
【００１２】
上記手段により，入力画像の拡大率の分だけ，動き探索精度が高く，動き補償単位の小さな動きベクトル情報を得ることができるため，このベクトル情報を利用した動き補償を行なったり，そのベクトル情報を利用して動き探索の計算量を削減することなどができる。これにより，従来からある，より動き探索精度が低く，動き補償単位が大きな探索を行なうモジュールを用いて，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで行なうことができる。
【００１３】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち，本発明の関連技術を説明する。
〔関連技術１〕
本発明の関連技術１の装置構成図を，図１に示す。図２は，関連技術１における入力画像の拡大方法の説明図，図３は，関連技術１（後述する実施の形態２，３も同様）における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。図４は，関連技術１の処理フローチャートである。
【００１４】
本関連技術１における入力映像は，プログレッシブ映像であるものとする。画像拡大部１０において，図２のようにフレーム単位で入力映像を水平方向に２倍，垂直方向に２倍に拡大する（図４のＳ１）。なお，図２（Ａ）は入力映像の１フレームの画素群，図２（Ｂ）は入力映像を拡大した拡大画像の画素群を表している。ここで，垂直方向には，図３に示すように各ラインの中間位置にフレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００１５】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図４のＳ２）。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ１３に伝達される。
【００１６】
遅延バッファ１２は，入力映像に対する画像拡大部１０および前処理符号化部１１による処理の間，メインエンコーダ１３に供給する入力映像のデータを一時的に保持するメモリである。
【００１７】
メインエンコーダ１３では，動き補償部１４において前処理符号化部１１から得た動きベクトルの水平垂直成分を１／２に縮小し（図４のＳ３），0.25画素精度のベクトルを得，このベクトルを用いて８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図４のＳ４）。
【００１８】
〔関連技術２〕
本発明の関連技術２の装置構成図は，図１に示す関連技術１と同様である。図５は，関連技術２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図，図６は，関連技術２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図７は，関連技術２の処理フローチャートである。
【００１９】
本関連技術２における入力映像は，インタレース映像であるものとする。画像拡大部１０において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図７のＳ１０）。ここで，垂直方向の拡大では，図５に示すように，第１フィールドについては各ラインの中間位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，第２フィールドについては，各ラインの４分の１と４分の３の内分点の位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。また，水平方向については，それぞれ各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００２０】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルおよびフィールド予測ベクトルを 0.5画素精度で求める（図７のＳ１１）。また，符号化はこれらのベクトルを用いてフレームフィールド適応予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルと予測モードはメインエンコーダ１３に伝達される。
【００２１】
メインエンコーダ１３においては，得られた動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る。ただし，予測モードがフィールド予測であり，パリティの異なるフィールド間の予測の場合には，ベクトルの垂直成分に0.25を足す（図７のＳ１２）。
【００２２】
上記の画像拡大部１０で生成された第１フィールド拡大画像と第２フィールド拡大画像をラインごとに交互に組み合わせて生成したインタレースのフレーム映像は，画像内容の相対位置は正確であり，前処理符号化部１１においては，通常のフレーム予測ベクトルを得ることができる。また，同パリティのフィールド間での予測においても，同パリティのフィールド間では画像内容の相対位置は正確であり，通常のフィールド予測ベクトルを得ることができる。
【００２３】
しかし，異なるパリティのフィールド間での予測においては，フィールド予測が選ばれた場合，図６に示すように異なるパリティのフィールド間の予測ベクトルが 0.5画素分ずれるので補正が必要となる。例えば，第１フィールドがトップフィールドであり，第２フィールドが第１フィールドを参照する場合，フレーム画像で１ライン上の位置を指す動きベクトルの垂直成分が０となる。そのため，垂直２倍拡大画像において垂直成分０となったベクトルは，拡大前の入力画像において，フレーム画像で１／２ライン上の位置を指す動きベクトルに相当する。フィールド予測において，フレーム画像で１／２ライン上の位置を指す動きベクトルの垂直成分は0.25であるので，このため，前処理符号化部１１から得られる異なるパリティのフィールド間での予測ベクトルは水平垂直成分を１／２に縮小したのちに，垂直成分に0.25を足して補正する必要がある。
【００２４】
メインエンコーダ１３は，このようにして得たベクトルおよび予測モードに従って，８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較して，前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければ，イントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。
【００２５】
このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図７のＳ１３）。
【００２６】
〔実施の形態１〕
本発明の実施の形態１の装置構成図を，図８に示す。図９は，実施の形態１におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図，図１０は，実施の形態１におけるフィールド画像単位の垂直方向２倍拡大説明図である。図１１は，実施の形態１における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図１２は，実施の形態１の処理フローチャートである。
【００２７】
本実施の形態１における入力映像は，インタレース映像であるものとする。フレーム画像拡大部２０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２０）。すなわち，垂直方向には，図９のようにフレームの各ラインの中間位置に同フレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。ここで，このようにして拡大された映像は，静止領域においては画像内容が正しく拡大されるが，動領域においては，時間的に異なる２つのフィールドの画像内容が平均化され正しく拡大画像が生成されないことに留意されたい。
【００２８】
フレーム前処理符号化部２１では，フレーム画像拡大部２０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図１２のＳ２１）。フレーム前処理符号化部２１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。符号化は，このベクトルを用いたフレーム予測を行ない，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００２９】
同時に，フィールド画像拡大部２２において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２２）。すなわち，図５のように，第１フィールドと第２フィールドとでそれぞれ独立に，垂直方向にはフィールドの各ラインの中間位置に同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３０】
フィールド前処理符号化部２３では，フィールド画像拡大部２２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１２のＳ２３）。フィールド前処理符号化部２３では，動き探索によって１６×１６画素のマクロブロックごとにフィールド予測動きベクトルを 0.5画素精度で求める。符号化は，このベクトルを用いたフィールド予測を用い，また量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００３１】
遅延バッファ２４は，入力映像に対するフレーム画像拡大部２０およびフレーム前処理符号化部２１による処理およびフィールド画像拡大部２２およびフィールド前処理符号化部２３による処理の間，メインエンコーダ２５に供給する入力映像のデータを一時的に保持する。
【００３２】
上記のようにフィールド画像拡大部２２で生成された第１フィールド拡大画像と第２フィールド拡大画像とをラインごとに交互に組み合わせて生成したインタレース映像のフレーム画像は，画像内容の位置が本来の位置とずれていることに留意されたい。しかし，同パリティのフィールド間での画素内容の相対位置はずれることはないので，同パリティのフィールド間のフィールド動きベクトルの成分がずれることはない。また，異なるパリティ間の動きベクトルにはずれが存在するが，図１１に示すとおり，メインエンコーダ２５における異なるパリティ間のフィールド動きベクトルの位置ずれの関係と一致しているため，動きベクトルのずれが問題となることはない。すなわち，メインエンコーダ２５においては，第２フィールドが第１フィールドを参照する場合，動きベクトルの垂直成分が０の場合，フレームとして画像を見た場合，１ラインずれた位置を指すことになるが，拡大された２つのフィールドについても同様の関係が成り立っているためである。
【００３３】
メインエンコーダ２５においては，フレーム前処理符号化部２１から得られたフレーム動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る（図１２のＳ２４）。また同時に，フィールド前処理符号化部２３から得られたフィールド動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る。動き補償部２６は，これらのベクトルのどちらかを用いて８×８画素ブロックごとの動き補償を行なう。フィールドベクトルを用いて生成した予測誤差画像とフレームベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較してその値の最も小さいモードで符号化を行なう。
【００３４】
このようにして，符号化を行なうことにより，0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１２のＳ２５）。
【００３５】
〔実施の形態２〕
本発明の実施の形態２の装置構成図を，図１３に示す。図１４は，実施の形態２の処理フローチャートである。
【００３６】
本実施の形態２における入力映像は，プログレッシブ映像であるものとする。画像拡大部Ａ３０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１４のＳ３０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３７】
前処理符号化部Ａ３１では，画像拡大部Ａ３０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３１）。前処理符号化部Ａ３１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平垂直成分を１／２に縮小し（図１４のＳ３６），８×８画素単位の水平垂直0.25画素精度のベクトルを得る。
【００３８】
画像拡大部Ｂ３２において，入力映像をフレーム単位で水平方向に２倍，垂直方向に１倍に拡大する（図１４のＳ３２）。すなわち，水平方向に各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３９】
前処理符号化部Ｂ３３では，画像拡大部Ｂ３２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３３）。前処理符号化部Ｂ３３では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平成分を１／２に縮小し（図１４のＳ３６），８×１６画素単位の水平0.25画素精度，垂直 0.5画素精度のベクトルを得る。
【００４０】
画像拡大部Ｃ３４において，入力映像をフレーム単位で水平方向に１倍，垂直方向に２倍に拡大する（図１４のＳ３４）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。
【００４１】
前処理符号化部Ｃ３５では，画像拡大部Ｃ３４において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３５）。前処理符号化部Ｃ３５では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの垂直成分を１／２に縮小し（図１４のＳ３６），１６×８画素単位の水平 0.5画素精度，垂直0.25画素精度のベクトルを得る。
【００４２】
遅延バッファ３６は，以上の入力映像に対する画像の拡大，前処理符号化の処理の間，メインエンコーダ３７に供給する入力映像のデータを一時的に保持する。
【００４３】
メインエンコーダ３７では，これらのベクトルの近傍について，それぞれに対応するブロックサイズでメインエンコーダ３７内の局所復号画像を参照画像として動き探索を行なう（図１４のＳ３７）。すなわち，前処理符号化部Ａ３１から得たベクトル近傍について８×８画素ブロックサイズで，前処理符号化部Ｂ３３から得たベクトル近傍について８×１６画素ブロックサイズで，前処理符号化部Ｃ３５から得たベクトル近傍について１６×８画素ブロックサイズで，それぞれ水平垂直0.25画素精度で動き探索を行なう。また，これとは別にメインエンコーダ３７では，内部の動き補償部３８において，メインエンコーダ３７内の局所復号画像を参照画像として，１６×１６画素のフレーム動きベクトル探索を行なう。
【００４４】
メインエンコーダ３７において，各１６×１６画素のブロックについて，同位置のブロックサイズの異なる上記ベクトルを用いて生成した予測誤差画像と同じ１６×１６画素ブロックの原画像の差分絶対値和を比較する。このとき，８×８画素ブロックサイズについては４つ分，１６×８画素，８×１６画素ブロックについては２つ分，１６×１６画素ブロックは１つ分の予測誤差画像の絶対値和をそれぞれ比較する。
【００４５】
この中で最も差分絶対値和が小さいモードを選択する。すなわち，８×８画素ブロック４つ分の予測誤差画像の絶対値和が小さければ，４つの８×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×８画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの１６×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。８×１６画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの８×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの予測誤差画像の絶対値和が小さければ，１６×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの原画像の絶対値和が小さければ，その１６×１６画素ブロックのイントラ符号化を行なう。
【００４６】
このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロック，８×１６画素ブロック，１６×８画素ブロック，１６×１６画素ブロックの適応フレーム予測による動き補償を実現することができる（図１４のＳ３８）。
【００４７】
〔実施の形態３〕
本発明の実施の形態３の装置構成図を，図１５に示す。図１６は，実施の形態３の処理フローチャートである。実施の形態３の入力映像はプログレッシブ映像であるものとする。
【００４８】
画像拡大部４０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１６のＳ４０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００４９】
前処理符号化部４１では，画像拡大部４０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１６のＳ４１）。前処理符号化部４１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。このようにして符号化された符号化ストリームが，前処理符号化部４１から出力され（図１６のＳ４２），動きベクトル情報抽出部４２に入力される。
【００５０】
動きベクトル情報抽出部４２においては，各マクロブロックごとの動きベクトル情報が抽出され（図１６のＳ４４），メインエンコーダ４４に伝達される。
【００５１】
遅延バッファ４３は，入力映像に対する画像拡大部４０，前処理符号化部４１，動きベクトル情報抽出部４２の処理の間，メインエンコーダ４４に供給する入力映像のデータを一時的に保持する。
【００５２】
メインエンコーダ４４においては，得られた動きベクトルの水平垂直成分を１／２に縮小する（図１６のＳ４５）。このベクトルの近傍の８×８画素ブロックの動き探索をメインエンコーダ４４の局所復号画像を参照画像として行ない，フレームベクトルを得る（図１６のＳ４６）。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１６のＳ４７）。
【００５３】
本実施の形態３においては，前処理符号化部４１が動きベクトル情報を特別に出力せず，エンコーダとしての通常動作どおりのストリームを出力するだけであるため，前処理符号化部４１の実装が容易であるという利点がある。
【００５４】
本発明は，上記各実施の形態を組み合わせて実施することも可能である。また，上記各実施の形態における全体の制御に関する処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００５５】
【発明の効果】
以上説明したように，本発明によれば，入力映像を拡大し，安価なエンコーダを用いて，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうので，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで実現することができる。
【図面の簡単な説明】
【図１】 本発明の関連技術１, ２の装置構成図である。
【図２】 関連技術１における入力画像の拡大方法の説明図である。
【図３】 関連技術１と実施の形態２，３における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。
【図４】 関連技術１の処理フローチャートである。
【図５】 関連技術２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図である。
【図６】 関連技術２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図７】 関連技術２の処理フローチャートである。
【図８】 本発明の実施の形態１の装置構成図である。
【図９】 実施の形態１におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図である。
【図１０】 実施の形態１におけるフィールド画像単位の垂直方向２倍拡大説明図である。
【図１１】 実施の形態１における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図１２】 実施の形態１の処理フローチャートである。
【図１３】 本発明の実施の形態２の装置構成図である。
【図１４】 実施の形態２の処理フローチャートである。
【図１５】 本発明の実施の形態３の装置構成図である。
【図１６】 実施の形態３の処理フローチャートである。
【符号の説明】
１０，３０，３２，３４，４０ 画像拡大部
１１，３１，３３，３５，４１ 前処理符号化部
１２，２４，３６，４３ 遅延バッファ
１３，２５，３７，４４ メインエンコーダ
１４，２６，３８，４５ 動き補償部
２０ フレーム画像拡大部
２１ フレーム前処理符号化部
２２ フィールド画像拡大部
２３ フィールド前処理符号化部
【発明の属する技術分野】
本発明は，符号化器前段で入力映像を拡大し，その拡大映像に対して動きベクトル探索または動きベクトル探索を伴う符号化を行ない，その結果から得られる動きベクトルを利用して，入力画像に対してより細密なブロック単位での，より高画素精度の動き補償を行なう動画像符号化装置に関するものである。
【０００２】
【従来の技術】
多くの動画像符号化においては，ブロック単位の動き補償によってフレーム間の冗長性を排し，情報を圧縮している。例えば，動画像符号化の国際標準であるＭＰＥＧ−１, ＭＰＥＧ−２などでは，動き補償は１６×１６画素の矩形領域であるマクロブロックごとに行なわれており，エンコーダは各マクロブロックごとに動き探索を行なって，対象マクロブロックと一致度の高いブロックを参照画像の探索範囲内から探し出し，その位置を指し示すベクトルを動きベクトルとして符号化する。
【０００３】
動きベクトルの指し示す１６×１６画素の矩形領域画像は，予測画像として用いられ，予測画像と原画像との差分画像である予測誤差画像にＤＣＴが施され，その係数が量子化され符号化される。また，これらの国際標準では，この動きベクトルの精度は 0.5画素精度である。１画素以下の位置の参照画像は，整数画素位置のデータの補間によって生成され，生成された参照画像と対象マクロブロックとの画素差分がとられる。
【０００４】
一方，より新しい符号化手法では，映像の内容に応じて，より細密なブロックを単位として，動き補償を行なうことで，符号化効率を向上させる。より新しい国際標準であるＨ．２６４などでは，動き補償は１６×１６画素以外にも，１６×８画素，８×８画素，８×４画素，４×４画素の矩形領域単位で行なうことができ，１６×１６画素のマクロブロックごとに，より細かいブロックで動き補償を行なった方が効率がよくなる場合には，より細かいブロック単位で動き補償をしながら符号化を行なうことにより，符号化効率を上げることができる。また，動きベクトルの精度も0.25画素精度など，従来より細かくなってきている。
【０００５】
一方，これらの動画像符号化方式のエンコーダの実装技術に着目すると，ＭＰＥＧ−１やＭＰＥＧ−２などの符号化方式に対応したエンコーダＬＳＩがすでに広く普及しており，非常に小型でリアルタイム処理が可能なハードウェアモジュールを比較的安価に使用することができる。また，画像サイズについても通常ＴＶサイズより大きいＨＤＴＶサイズのエンコードが可能なハードウェアモジュールも存在する。
【０００６】
一方，より新しいＨ．２６４などの符号化方式に対応したエンコーダは，ＬＳＩ化がまだ進んでいない。一般に，動き補償を用いる動画像符号化方式において，動きベクトル探索や動き補償に必要な計算処理量は非常に多いが，これらの符号化方式では，従来の方式に比べ動きベクトル探索や動き補償がさらに高度化しているため，必要な計算処理量が飛躍的に多くなっており，リアルタイム符号化可能なエンコーダを実装することが難しい。
【０００７】
なお，ＭＰＥＧ−１の符号化に関する参考文献として，下記の非特許文献１がある。また，ＭＰＥＧ−２の符号化に関する参考文献として，下記の非特許文献２がある。Ｈ．２６４の符号化に関する参考文献として，下記の非特許文献３がある。
【０００８】
【非特許文献１】
ISO/IEC 11172, "Information Technology - Coding of Moving Picture and Associated Audio for Digital Storage Media at Up to about 1.5Mbit/s"(1992)
【非特許文献２】
ITU-T Rec.H.262/ISO/IEC 13818-2 MPEG-2 International Standard: Video part
【非特許文献３】
ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002
【０００９】
【発明が解決しようとする課題】
以上述べたように，従来の符号化方式で用いられたサイズのブロックよりもより細かいサイズのブロックを単位として動き補償を行なったり，従来の符号化方式で用いられた精度よりもより細かい画素精度の動き補償を行なう符号化方式において，リアルタイム符号化を行なうエンコーダを実現しようとすると，動き探索に必要な計算量は膨大であり，このような処理を行なうハードウェアを開発するのはコストが高いという問題がある。
【００１０】
本発明は，上記問題点の解決を図り，動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，低コストで実現することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は，上記課題を解決するため，従来からある動画像符号化の国際標準であるＭＰＥＧ−１, ＭＰＥＧ−２などのために作られた，画素精度が低く，動き補償単位の大きい動き探索モジュールまたは符号化モジュールを用いて，入力映像の拡大映像に対して，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうことを特徴とし，特に，フレームおよびフィールドについて画像を拡大し，既存の安価な符号化器を利用して，フレーム，フィールドについて動きベクトルを求め，それらを縮小した動きベクトルのどちらかを用いて細密なブロック単位での動き補償を行なうことを特徴とする。
【００１２】
上記手段により，入力画像の拡大率の分だけ，動き探索精度が高く，動き補償単位の小さな動きベクトル情報を得ることができるため，このベクトル情報を利用した動き補償を行なったり，そのベクトル情報を利用して動き探索の計算量を削減することなどができる。これにより，従来からある，より動き探索精度が低く，動き補償単位が大きな探索を行なうモジュールを用いて，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで行なうことができる。
【００１３】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち，本発明の関連技術を説明する。
〔関連技術１〕
本発明の関連技術１の装置構成図を，図１に示す。図２は，関連技術１における入力画像の拡大方法の説明図，図３は，関連技術１（後述する実施の形態２，３も同様）における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。図４は，関連技術１の処理フローチャートである。
【００１４】
本関連技術１における入力映像は，プログレッシブ映像であるものとする。画像拡大部１０において，図２のようにフレーム単位で入力映像を水平方向に２倍，垂直方向に２倍に拡大する（図４のＳ１）。なお，図２（Ａ）は入力映像の１フレームの画素群，図２（Ｂ）は入力映像を拡大した拡大画像の画素群を表している。ここで，垂直方向には，図３に示すように各ラインの中間位置にフレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００１５】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図４のＳ２）。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ１３に伝達される。
【００１６】
遅延バッファ１２は，入力映像に対する画像拡大部１０および前処理符号化部１１による処理の間，メインエンコーダ１３に供給する入力映像のデータを一時的に保持するメモリである。
【００１７】
メインエンコーダ１３では，動き補償部１４において前処理符号化部１１から得た動きベクトルの水平垂直成分を１／２に縮小し（図４のＳ３），0.25画素精度のベクトルを得，このベクトルを用いて８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図４のＳ４）。
【００１８】
〔関連技術２〕
本発明の関連技術２の装置構成図は，図１に示す関連技術１と同様である。図５は，関連技術２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図，図６は，関連技術２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図７は，関連技術２の処理フローチャートである。
【００１９】
本関連技術２における入力映像は，インタレース映像であるものとする。画像拡大部１０において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図７のＳ１０）。ここで，垂直方向の拡大では，図５に示すように，第１フィールドについては各ラインの中間位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，第２フィールドについては，各ラインの４分の１と４分の３の内分点の位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。また，水平方向については，それぞれ各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００２０】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルおよびフィールド予測ベクトルを 0.5画素精度で求める（図７のＳ１１）。また，符号化はこれらのベクトルを用いてフレームフィールド適応予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルと予測モードはメインエンコーダ１３に伝達される。
【００２１】
メインエンコーダ１３においては，得られた動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る。ただし，予測モードがフィールド予測であり，パリティの異なるフィールド間の予測の場合には，ベクトルの垂直成分に0.25を足す（図７のＳ１２）。
【００２２】
上記の画像拡大部１０で生成された第１フィールド拡大画像と第２フィールド拡大画像をラインごとに交互に組み合わせて生成したインタレースのフレーム映像は，画像内容の相対位置は正確であり，前処理符号化部１１においては，通常のフレーム予測ベクトルを得ることができる。また，同パリティのフィールド間での予測においても，同パリティのフィールド間では画像内容の相対位置は正確であり，通常のフィールド予測ベクトルを得ることができる。
【００２３】
しかし，異なるパリティのフィールド間での予測においては，フィールド予測が選ばれた場合，図６に示すように異なるパリティのフィールド間の予測ベクトルが 0.5画素分ずれるので補正が必要となる。例えば，第１フィールドがトップフィールドであり，第２フィールドが第１フィールドを参照する場合，フレーム画像で１ライン上の位置を指す動きベクトルの垂直成分が０となる。そのため，垂直２倍拡大画像において垂直成分０となったベクトルは，拡大前の入力画像において，フレーム画像で１／２ライン上の位置を指す動きベクトルに相当する。フィールド予測において，フレーム画像で１／２ライン上の位置を指す動きベクトルの垂直成分は0.25であるので，このため，前処理符号化部１１から得られる異なるパリティのフィールド間での予測ベクトルは水平垂直成分を１／２に縮小したのちに，垂直成分に0.25を足して補正する必要がある。
【００２４】
メインエンコーダ１３は，このようにして得たベクトルおよび予測モードに従って，８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較して，前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければ，イントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。
【００２５】
このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図７のＳ１３）。
【００２６】
〔実施の形態１〕
本発明の実施の形態１の装置構成図を，図８に示す。図９は，実施の形態１におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図，図１０は，実施の形態１におけるフィールド画像単位の垂直方向２倍拡大説明図である。図１１は，実施の形態１における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図１２は，実施の形態１の処理フローチャートである。
【００２７】
本実施の形態１における入力映像は，インタレース映像であるものとする。フレーム画像拡大部２０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２０）。すなわち，垂直方向には，図９のようにフレームの各ラインの中間位置に同フレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。ここで，このようにして拡大された映像は，静止領域においては画像内容が正しく拡大されるが，動領域においては，時間的に異なる２つのフィールドの画像内容が平均化され正しく拡大画像が生成されないことに留意されたい。
【００２８】
フレーム前処理符号化部２１では，フレーム画像拡大部２０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図１２のＳ２１）。フレーム前処理符号化部２１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。符号化は，このベクトルを用いたフレーム予測を行ない，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００２９】
同時に，フィールド画像拡大部２２において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２２）。すなわち，図５のように，第１フィールドと第２フィールドとでそれぞれ独立に，垂直方向にはフィールドの各ラインの中間位置に同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３０】
フィールド前処理符号化部２３では，フィールド画像拡大部２２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１２のＳ２３）。フィールド前処理符号化部２３では，動き探索によって１６×１６画素のマクロブロックごとにフィールド予測動きベクトルを 0.5画素精度で求める。符号化は，このベクトルを用いたフィールド予測を用い，また量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００３１】
遅延バッファ２４は，入力映像に対するフレーム画像拡大部２０およびフレーム前処理符号化部２１による処理およびフィールド画像拡大部２２およびフィールド前処理符号化部２３による処理の間，メインエンコーダ２５に供給する入力映像のデータを一時的に保持する。
【００３２】
上記のようにフィールド画像拡大部２２で生成された第１フィールド拡大画像と第２フィールド拡大画像とをラインごとに交互に組み合わせて生成したインタレース映像のフレーム画像は，画像内容の位置が本来の位置とずれていることに留意されたい。しかし，同パリティのフィールド間での画素内容の相対位置はずれることはないので，同パリティのフィールド間のフィールド動きベクトルの成分がずれることはない。また，異なるパリティ間の動きベクトルにはずれが存在するが，図１１に示すとおり，メインエンコーダ２５における異なるパリティ間のフィールド動きベクトルの位置ずれの関係と一致しているため，動きベクトルのずれが問題となることはない。すなわち，メインエンコーダ２５においては，第２フィールドが第１フィールドを参照する場合，動きベクトルの垂直成分が０の場合，フレームとして画像を見た場合，１ラインずれた位置を指すことになるが，拡大された２つのフィールドについても同様の関係が成り立っているためである。
【００３３】
メインエンコーダ２５においては，フレーム前処理符号化部２１から得られたフレーム動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る（図１２のＳ２４）。また同時に，フィールド前処理符号化部２３から得られたフィールド動きベクトルの水平垂直成分を１／２に縮小し，0.25画素精度のベクトルを得る。動き補償部２６は，これらのベクトルのどちらかを用いて８×８画素ブロックごとの動き補償を行なう。フィールドベクトルを用いて生成した予測誤差画像とフレームベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較してその値の最も小さいモードで符号化を行なう。
【００３４】
このようにして，符号化を行なうことにより，0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１２のＳ２５）。
【００３５】
〔実施の形態２〕
本発明の実施の形態２の装置構成図を，図１３に示す。図１４は，実施の形態２の処理フローチャートである。
【００３６】
本実施の形態２における入力映像は，プログレッシブ映像であるものとする。画像拡大部Ａ３０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１４のＳ３０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３７】
前処理符号化部Ａ３１では，画像拡大部Ａ３０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３１）。前処理符号化部Ａ３１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平垂直成分を１／２に縮小し（図１４のＳ３６），８×８画素単位の水平垂直0.25画素精度のベクトルを得る。
【００３８】
画像拡大部Ｂ３２において，入力映像をフレーム単位で水平方向に２倍，垂直方向に１倍に拡大する（図１４のＳ３２）。すなわち，水平方向に各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３９】
前処理符号化部Ｂ３３では，画像拡大部Ｂ３２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３３）。前処理符号化部Ｂ３３では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平成分を１／２に縮小し（図１４のＳ３６），８×１６画素単位の水平0.25画素精度，垂直 0.5画素精度のベクトルを得る。
【００４０】
画像拡大部Ｃ３４において，入力映像をフレーム単位で水平方向に１倍，垂直方向に２倍に拡大する（図１４のＳ３４）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。
【００４１】
前処理符号化部Ｃ３５では，画像拡大部Ｃ３４において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３５）。前処理符号化部Ｃ３５では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの垂直成分を１／２に縮小し（図１４のＳ３６），１６×８画素単位の水平 0.5画素精度，垂直0.25画素精度のベクトルを得る。
【００４２】
遅延バッファ３６は，以上の入力映像に対する画像の拡大，前処理符号化の処理の間，メインエンコーダ３７に供給する入力映像のデータを一時的に保持する。
【００４３】
メインエンコーダ３７では，これらのベクトルの近傍について，それぞれに対応するブロックサイズでメインエンコーダ３７内の局所復号画像を参照画像として動き探索を行なう（図１４のＳ３７）。すなわち，前処理符号化部Ａ３１から得たベクトル近傍について８×８画素ブロックサイズで，前処理符号化部Ｂ３３から得たベクトル近傍について８×１６画素ブロックサイズで，前処理符号化部Ｃ３５から得たベクトル近傍について１６×８画素ブロックサイズで，それぞれ水平垂直0.25画素精度で動き探索を行なう。また，これとは別にメインエンコーダ３７では，内部の動き補償部３８において，メインエンコーダ３７内の局所復号画像を参照画像として，１６×１６画素のフレーム動きベクトル探索を行なう。
【００４４】
メインエンコーダ３７において，各１６×１６画素のブロックについて，同位置のブロックサイズの異なる上記ベクトルを用いて生成した予測誤差画像と同じ１６×１６画素ブロックの原画像の差分絶対値和を比較する。このとき，８×８画素ブロックサイズについては４つ分，１６×８画素，８×１６画素ブロックについては２つ分，１６×１６画素ブロックは１つ分の予測誤差画像の絶対値和をそれぞれ比較する。
【００４５】
この中で最も差分絶対値和が小さいモードを選択する。すなわち，８×８画素ブロック４つ分の予測誤差画像の絶対値和が小さければ，４つの８×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×８画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの１６×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。８×１６画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの８×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの予測誤差画像の絶対値和が小さければ，１６×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの原画像の絶対値和が小さければ，その１６×１６画素ブロックのイントラ符号化を行なう。
【００４６】
このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロック，８×１６画素ブロック，１６×８画素ブロック，１６×１６画素ブロックの適応フレーム予測による動き補償を実現することができる（図１４のＳ３８）。
【００４７】
〔実施の形態３〕
本発明の実施の形態３の装置構成図を，図１５に示す。図１６は，実施の形態３の処理フローチャートである。実施の形態３の入力映像はプログレッシブ映像であるものとする。
【００４８】
画像拡大部４０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１６のＳ４０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００４９】
前処理符号化部４１では，画像拡大部４０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１６のＳ４１）。前処理符号化部４１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを 0.5画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。このようにして符号化された符号化ストリームが，前処理符号化部４１から出力され（図１６のＳ４２），動きベクトル情報抽出部４２に入力される。
【００５０】
動きベクトル情報抽出部４２においては，各マクロブロックごとの動きベクトル情報が抽出され（図１６のＳ４４），メインエンコーダ４４に伝達される。
【００５１】
遅延バッファ４３は，入力映像に対する画像拡大部４０，前処理符号化部４１，動きベクトル情報抽出部４２の処理の間，メインエンコーダ４４に供給する入力映像のデータを一時的に保持する。
【００５２】
メインエンコーダ４４においては，得られた動きベクトルの水平垂直成分を１／２に縮小する（図１６のＳ４５）。このベクトルの近傍の８×８画素ブロックの動き探索をメインエンコーダ４４の局所復号画像を参照画像として行ない，フレームベクトルを得る（図１６のＳ４６）。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより0.25画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１６のＳ４７）。
【００５３】
本実施の形態３においては，前処理符号化部４１が動きベクトル情報を特別に出力せず，エンコーダとしての通常動作どおりのストリームを出力するだけであるため，前処理符号化部４１の実装が容易であるという利点がある。
【００５４】
本発明は，上記各実施の形態を組み合わせて実施することも可能である。また，上記各実施の形態における全体の制御に関する処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００５５】
【発明の効果】
以上説明したように，本発明によれば，入力映像を拡大し，安価なエンコーダを用いて，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうので，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで実現することができる。
【図面の簡単な説明】
【図１】 本発明の関連技術１, ２の装置構成図である。
【図２】 関連技術１における入力画像の拡大方法の説明図である。
【図３】 関連技術１と実施の形態２，３における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。
【図４】 関連技術１の処理フローチャートである。
【図５】 関連技術２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図である。
【図６】 関連技術２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図７】 関連技術２の処理フローチャートである。
【図８】 本発明の実施の形態１の装置構成図である。
【図９】 実施の形態１におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図である。
【図１０】 実施の形態１におけるフィールド画像単位の垂直方向２倍拡大説明図である。
【図１１】 実施の形態１における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図１２】 実施の形態１の処理フローチャートである。
【図１３】 本発明の実施の形態２の装置構成図である。
【図１４】 実施の形態２の処理フローチャートである。
【図１５】 本発明の実施の形態３の装置構成図である。
【図１６】 実施の形態３の処理フローチャートである。
【符号の説明】
１０，３０，３２，３４，４０ 画像拡大部
１１，３１，３３，３５，４１ 前処理符号化部
１２，２４，３６，４３ 遅延バッファ
１３，２５，３７，４４ メインエンコーダ
１４，２６，３８，４５ 動き補償部
２０ フレーム画像拡大部
２１ フレーム前処理符号化部
２２ フィールド画像拡大部
２３ フィールド前処理符号化部
Claims (7)
- 動き補償を用いる動画像符号化装置において，
入力画像をフレーム単位で水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大するフレーム画像拡大手段と，
入力画像をフィールド単位で水平方向にＭ倍，垂直方向にＮ倍に拡大するフィールド画像拡大手段と，
上記フレーム画像拡大手段から得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化手段と，
上記フィールド画像拡大手段から得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化手段と，
上記フレームの前処理符号化手段および上記フィールドの前処理符号化手段から得られる動きベクトルを，水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化手段とを備える
ことを特徴とする動画像符号化装置。 - 請求項１に記載の動画像符号化装置において，
上記符号化手段は，上記前処理符号化手段において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し，動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。 - 請求項１に記載の動画像符号化装置において，
上記前処理符号化手段から出力されるストリームから動きベクトル情報を抽出する動きベクトル情報抽出手段を備え，
上記符号化手段は，上記動きベクトル情報抽出手段から得られるベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。 - 動き補償を用いる動画像符号化方法において，
入力画像をフレーム単位で水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大するフレーム画像拡大ステップと，
入力画像をフィールド単位で水平方向にＭ倍，垂直方向にＮ倍に拡大するフィールド画像拡大ステップと，
上記フレーム画像拡大ステップにより得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化ステップと，
上記フィールド画像拡大ステップにより得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化ステップと，
上記フレームの前処理符号化ステップおよび上記フィールドの前処理符号化ステップにより得られる動きベクトルを，水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化ステップとを有する
ことを特徴とする動画像符号化方法。 - 請求項４に記載の動画像符号化方法において，
上記符号化ステップでは，拡大画像の符号化によって得られる，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し，動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。 - 請求項４に記載の動画像符号化方法において，
上記拡大画像の符号化によって出力されるストリームから動きベクトル情報を抽出するステップを有し，
上記符号化ステップでは，その動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。 - 請求項４から請求項６までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003141334A JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置，方法および動画像符号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003141334A JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置，方法および動画像符号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004349756A JP2004349756A (ja) | 2004-12-09 |
| JP4021800B2 true JP4021800B2 (ja) | 2007-12-12 |
Family
ID=33529709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003141334A Expired - Fee Related JP4021800B2 (ja) | 2003-05-20 | 2003-05-20 | 動画像符号化装置，方法および動画像符号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4021800B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090213926A1 (en) * | 2005-02-24 | 2009-08-27 | Lg Electronics Inc. | Method for Up-Sampling/Down-Sampling Data of a Video Block |
| KR20070053402A (ko) * | 2005-11-21 | 2007-05-25 | 주식회사 대우일렉트로닉스 | 영상 압축 시스템의 움직임 보상 방법 |
| US10116944B2 (en) | 2014-02-10 | 2018-10-30 | Nec Corporation | Video encoding device, video encoding method, and program |
| JP5930009B2 (ja) * | 2014-12-09 | 2016-06-08 | 学校法人成蹊学園 | カラー動画像動き推定方法及びカラー動画像動き推定装置 |
-
2003
- 2003-05-20 JP JP2003141334A patent/JP4021800B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004349756A (ja) | 2004-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2251820C2 (ru) | Экстраполяция вектора движения для перекодировки видеопоследовательности | |
| JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
| US6757330B1 (en) | Efficient implementation of half-pixel motion prediction | |
| US7630566B2 (en) | Method and apparatus for improved estimation and compensation in digital video compression and decompression | |
| US20090028243A1 (en) | Method and apparatus for coding and decoding with motion compensated prediction | |
| KR20040054746A (ko) | 공간 스케일가능 압축 방법 및 장치 | |
| JP2001112000A (ja) | 映像信号符号化装置 | |
| JP2004096757A (ja) | 動き補償のための補間方法及びその装置 | |
| JP4361987B2 (ja) | フィールドモード符号化を含む画像フレームのサイズ変更のための方法及び装置 | |
| US20090016623A1 (en) | Image processing device, image processing method and program | |
| CN102369730A (zh) | 压缩动态图像编码装置、压缩动态图像解码装置、压缩动态图像编码方法及压缩动态图像解码方法 | |
| JP3540855B2 (ja) | ブロック歪み補正器 | |
| US20080031335A1 (en) | Motion Detection Device | |
| JP2004529569A (ja) | 埋め込みリサイジング機能を有するｍｐｅｇ復号化のためのインターレース移動領域の検出及び適正な補間 | |
| US20240114165A1 (en) | Image decoding device, image encoding device, image processing system, and program | |
| JP4021800B2 (ja) | 動画像符号化装置，方法および動画像符号化プログラム | |
| WO2000005899A1 (en) | Image encoding system | |
| EP2076050B1 (en) | Motion estimation apparatus and method for moving picture coding | |
| US11202082B2 (en) | Image processing apparatus and method | |
| JP4797999B2 (ja) | 画像符号化・復号化装置 | |
| JPH09322175A (ja) | 動画像復号化方法及び装置 | |
| JPH0622291A (ja) | 解像度変換可能な復号方法と装置 | |
| JP2616552B2 (ja) | 動画像の符号化・復号化装置 | |
| JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
| JP4645515B2 (ja) | 動き補償画像符号化方法及び動き補償画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |