JP4360207B2

JP4360207B2 - 動画像復号化装置

Info

Publication number: JP4360207B2
Application number: JP2004006605A
Authority: JP
Inventors: 貴明畠中
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2004-01-14
Filing date: 2004-01-14
Publication date: 2009-11-11
Anticipated expiration: 2024-01-14
Also published as: JP2005203939A

Description

本発明は、帯域圧縮伝送された動画像情報を復号する動画像復号化装置に関する。

従来、動画像の現フレームにおいての欠損画素ブロックを前フレームを用いて補間する場合には、欠損ブロックの周辺画素ブロックの動きベクトルから欠損画素ブロックの動きベクトルを推測し、その推測した動きベクトルに従って前フレーム内の参照画素ブロックの位置（参照位置）を決定し、その参照画素ブロックで欠損画素ブロックを補間していた（例えば、特許文献１参照）。

特開平６−２００５０号公報

しかしながら上記従来の技術では、前フレームおよび現フレームの画素値のいかんに関わらず、動きベクトルの推測のみで前フレーム内の参照位置を決定しているため、補間された欠損画素ブロックとその周辺画素ブロックの境界でテクスチャのずれが目立つ場合が多かった。

本発明は、このような従来の課題を解決するためになされたものであり、動画像のフレームにおいて補間された欠損画素ブロックとその周辺画素ブロックの境界での画質の劣化を低減できる動画像復号化装置を提供することを目的とする。

本発明の動画像復号化装置は、
帯域圧縮伝送された動画像情報を復号する動画像復号化装置において、
入力された上記動画像情報を復号する復号化手段と、
上記復号化手段で復号されたフレームの画素情報を格納する第１のメモリと、
上記復号されたフレームに生じた欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素情報を格納する第２のメモリと、
補間処理後のフレームの画素情報を格納する第３のメモリと、
上記第２のメモリに格納された現フレームの上記近傍画素集合の画素値と上記第３のメモリに格納された補間処理後の前フレーム内の参照画素ブロック候補の近傍の、複数の類似画素集合候補の画素値とを用いて、上記近傍画素集合とテクスチャが類似する上記前フレーム内の位置を参照位置として捜索する捜索手段と、
上記捜索手段で得られた上記前フレーム内の上記参照位置の画素ブロックを用いて、上記現フレームの欠損画素ブロックを補間し、補間後の現フレームの画素情報を上記第３のメモリに格納する補間手段と、
上記復号において得られた動きベクトル情報を格納する第４のメモリと、
上記第１のメモリに格納された現フレームと上記第３のメモリに格納された補間処理後の前フレーム間のテクスチャの変形を検知する変形検知手段とを備え、
上記捜索手段は、上記欠損画素ブロックの周辺画素ブロックの動きベクトル情報と、上記変形検知手段で得られた上記フレーム間のテクスチャの変形情報をさらに用いて、上記近傍画素集合のそれぞれの画素値と上記類似画素集合候補の対応する画素値の差分の総和が最小となる類似画素集合候補の位置を上記参照位置として捜索し、
上記変形検知手段が、現フレームのテクスチャが前フレームと比較して縮小されていることを検知した場合には、
上記捜索手段は、上記縮小の中心位置から見て前フレームの拡大倍率分だけ前フレームの類似画素集合候補の位置を拡大移動して設定し、その拡大移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索し、
上記変形検知手段が、現フレームのテクスチャが前フレームと比較して拡大されていることを検知した場合には、
上記捜索手段は、上記拡大の中心位置から見て前フレームの縮小倍率分だけ前フレームの類似画素集合候補の位置を縮小移動して設定し、その縮小移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索する
ことを特徴とする。

本発明によれば、現フレームに生じた欠損画素ブロックの近傍画素集合にテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、得られた前フレーム内の参照位置の画素ブロックで上記欠損画素ブロックを補間することにより、補間された欠損画素ブロックとその周辺画素ブロックの境界での画質の劣化を低減できるという効果がある。

実施の形態１
図１は本発明の実施の形態１の動画像復号化装置のブロック構成図である。図１の実施の形態１の動画像復号化装置は、入力端子１０１と、復号化装置１０２と、フレームメモリ１０３と、近傍画素メモリ１０４と、補間装置１０５と、捜索装置１０６と、フレームメモリ１０７と、出力端子１０８とを備えている。

復号化装置１０２は、入力端子１０１から入力された帯域圧縮伝送された動画像情報を復号し、復号したフレームのフレーム情報（画素値やその他の画素情報等のそのフレームに関する情報）をフレームメモリ１０３に格納する。また、復号化装置１０２は、復号したフレームに欠損画素ブロックを生じた場合には、その欠損画素ブロックの近傍の復号された画素集合である近傍画像集合を決定し、その近傍画素集合の画素情報を近傍画素メモリ１０４に格納する。

補間装置１０５は、フレームメモリ１０３に格納された復号された現フレームが欠損画素ブロックを生じた場合と生じなかった場合とで、以下に説明する異なる補間処理をする。上記復号された現フレームが欠損画素ブロックを生じなかった場合には、フレームメモリ１０３から出力された現フレームのフレーム情報を、そのまま出力端子１０８から出力するとともに、そのままフレームメモリ１０７に格納する。また、復号されたフレームが欠損画素ブロックを生じた場合には、捜索装置１０６で得られた前フレーム内の参照位置の画素ブロック（参照画素ブロック）で上記欠損画素ブロックを補間し、この補間した現フレームのフレーム情報を、出力端子１０８から出力するとともに、フレームメモリ１０７に格納する。

捜索装置１０６は、近傍画素メモリ１０４に格納された現フレームのの近傍画素集合の画素値と、フレームメモリ１０７に格納された補間処理後の前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、その参照位置および上記補間のための参照画素ブロックとして必要な前フレームの画素情報を補間装置１０５に送る。

復号された現フレームに欠損を生じ、その欠損画素ブロックが８ピクセル×８ピクセルの場合の実施の形態１の動画像復号化装置の動作について以下に説明する。

図２のように、上記現フレームにおいての欠損位置を、上記欠損画素ブロックの左上角の位置である（ｘ，ｙ）とすると、上記欠損画素ブロックの右上角の位置は（ｘ＋７，ｙ）、左下角の位置は（ｘ，ｙ＋７）、右下角の位置は（ｘ＋７，ｙ＋７）となる。

欠損位置（ｘ，ｙ）についての近傍画素集合としては、例えば、欠損画素ブロックから上下左右に幅１ピクセルずつ延長したピクセルの集合である、（ｘ−１，ｙ＋β）（０≦β≦７）の８ピクセル、（ｘ＋α，ｙ−１）（０≦α≦７）の８ピクセル、（ｘ＋８，ｙ＋β）（０≦β≦７）の８ピクセル、（ｘ＋α，ｙ＋８）（０≦α≦７）の８ピクセルの合計３２ピクセルを設定する。

また、前フレームについて、それぞれが上記欠損画素ブロックと同様の８ピクセル×８ピクセルの画素ブロックである複数の参照画素ブロック候補を考える。そして、参照画素ブロック候補のそれぞれについて、上記欠損画素ブロックの近傍画素集合と同様のサイズの類似画素集合候補を考える。

図３のように、複数の参照位置候補の内の１つの位置を（ｘ’，ｙ’）とすると、その参照画素ブロック候補の左上角の位置は（ｘ’，ｙ’）、右上角の位置は（ｘ’＋７，ｙ’）、左下角の位置は（ｘ’，ｙ’＋７）、右下角の位置は（ｘ’＋７，ｙ’＋７）となる。

また、参照位置候補（ｘ’，ｙ’）についての類似画素集合候補としては、上記欠損画素ブロックの近傍画素集合と同様に、参照画素ブロック候補から上下左右に幅１ピクセルずつ延長したピクセルの集合である、（ｘ’−１，ｙ’＋β）（０≦β≦７）の８ピクセル、（ｘ’＋α，ｙ’−１）（０≦α≦７）の８ピクセル、（ｘ’＋８，ｙ’＋β）（０≦β≦７）の８ピクセル、（ｘ’＋α，ｙ’＋８）（０≦α≦７）の８ピクセルの合計３２ピクセルを設定する。

また、現フレームの位置（Ｘ，Ｙ）の画素値をＶ（Ｘ，Ｙ）、前フレームの位置（Ｘ’，Ｙ’）の画素値をＶ’（Ｘ’，Ｙ’）として、以下の（１）式を定義する。

そして、例えば、前フレームにおいての参照位置候補集合を、
｛（ｘ’，ｙ’）｜ｘ−８＜ｘ’＜ｘ＋８，ｙ−８＜ｙ’＜ｙ＋８｝…（２）
とし、捜索装置１０６において、上記参照位置候補集合の条件を満足する複数の参照位置候補から、上記（１）式によって定義された関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値を最小とする参照位置候補を捜索し、この関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値を最小とする参照位置候補を参照位置（ｘ_ｐ，ｙ_ｐ）とする。このとき、参照画素ブロックの左上角の位置は（ｘ_ｐ，ｙ_ｐ）、右上角の位置は（ｘ_ｐ＋７，ｙ_ｐ）、左下角の位置は（ｘ_ｐ，ｙ_ｐ＋７）、右下角の位置は（ｘ_ｐ＋７，ｙ_ｐ＋７）となる。

補間装置１０５では、現フレームの欠損画素ブロックの位置（ｘ＋α，ｙ＋β）（０≦α≦７，０≦β≦７）の画素値が、前フレームの位置（ｘ_ｐ＋α，ｙ_ｐ＋β）の画素値で補間される。

以上のように実施の形態１によれば、現フレームの欠損画素ブロックの近傍画素集合の画素値と前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、得られた前フレーム内の参照位置の画素ブロックで上記欠損画素ブロックを補間することにより、補間された欠損画素ブロックとその周辺画素ブロックの境界が滑らかにつながりやすくなり、画質の劣化を高い確率で抑えることができる。

なお、上記実施の形態１では、欠損画素ブロックが８ピクセル×８ピクセルの場合について説明したが、欠損画素ブロックの形状および近傍画素集合の形状は、いずれも任意で差し支えない。さらに、近傍画素集合が欠損画素ブロックと隣接している必要はない。

実施の形態２
図４は本発明の実施の形態２の動画像復号化装置のブロック構成図である。図４の実施の形態２の動画像復号化装置は、入力端子４０１と、復号化装置４０２と、フレームメモリ４０３と、近傍画素メモリ４０４と、補間装置４０５と、捜索装置４０６と、フレームメモリ４０７と、出力端子４０８と、動きベクトルメモリ４０９とを備えている。

この実施の形態２の動画像復号化装置において、入力端子４０１，復号化装置４０２，フレームメモリ４０３，近傍画素メモリ４０４，補間装置４０５，フレームメモリ４０７，出力端子４０８の構成および動作は、それぞれ上記図１の実施の形態１の入力端子１０１，復号化装置１０２，フレームメモリ１０３，近傍画素メモリ１０４，補間装置１０５，フレームメモリ１０７，出力端子１０８と同様である。

動きベクトルメモリ４０９には、入力端子に入力された動画像情報が復号化装置４０２で復号されるときに、この復号によって一緒に得られる動きベクトル情報が格納される。

上記実施の形態１の捜索装置１０６（図１参照）では、現フレームの欠損画素ブロックの近傍画素集合の画素値と、補間処理後の前フレームの画素値とを用いて、前フレームの参照位置を捜索したが、この実施の形態２の捜索装置４０６は、これらの画素値に加え、動きベクトルメモリ４０９に格納された現フレームの欠損画素ブロックに隣接するマクロブロックの動きベクトル情報や前フレームの動きベクトル情報を用いて、前フレームの参照位置を捜索する。

例えば、現フレームにおいて欠損画素ブロックの上隣に隣接するマクロブロックの動きベクトル（ｘ_Ｕ，ｙ_Ｕ）と、現フレームにおいて欠損画素ブロックの左隣に隣接するマクロブロックの動きベクトル（ｘ_Ｌ，ｙ_Ｌ）とを用いて、欠損画素ブロックの動きベクトル（ｘ_ＵＬ，ｙ_ＵＬ）を、
ｘ_ＵＬ＝（ｘ_Ｕ＋ｘ_Ｌ）／２…（３）
ｙ_ＵＬ＝（ｙ_Ｕ＋ｙ_Ｌ）／２…（４）
によって予測する。

そして、参照位置候補集合を、上記予測した欠損画素ブロックの動きベクトル（ｘ_ＵＬ，ｙ_ＵＬ）を用いて、
｛（ｘ’，ｙ’）｜ｘ−ｘ_ＵＬ−８＜ｘ’＜ｘ−ｘ_ＵＬ＋８，ｙ−ｙ_ＵＬ−８＜ｙ’＜ｙ−ｙ_ＵＬ＋８｝…（５）
とし、この参照位置候補集合の中心位置（ｘ−ｘ_ＵＬ，ｙ−ｙ_ＵＬ）を、上記（１）式の関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値の最初の計算位置とし、この中心位置（ｘ−ｘ_ＵＬ，ｙ−ｙ_ＵＬ）からうずまきを描くように次の計算位置を決める。

上記関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値の計算による参照位置（ｘ_ｐ，ｙ_ｐ）の捜索において、上記関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値が適切に設定されたしきい値AllowDifferenceを下回った場合には、その時点で捜索を終了し、その位置を参照位置（ｘ_ｐ，ｙ_ｐ）として決定する。

また、上記関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値が、計算を続けるにつれて増加していき、適切に設定されたしきい値AbortDifferenceを越えた場合には、その時点で捜索を終了し、それまでで上記関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値が最小となった位置を参照位置（ｘ_ｐ，ｙ_ｐ）として決定する。

以上のように実施の形態２によれば、欠損画素ブロックの周辺画素ブロックの動きベクトル情報から欠損画素ブロックの動きベクトルを予測し、その予測した動きベクトルを参照位置候補集合の中心位置とするとともに、上記（１）式の関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値について、適切なしきい値AllowDifference，AbortDifferenceを設定することにより、余分な捜索を割愛できるので、前フレームの参照位置を高速に求めることができる。

なお、上記実施の形態２では、現フレームの欠損画素ブロックに隣接する上隣のマクロブロックの動きベクトルの成分と左隣のマクロブロックの動きベクトルの成分の平均値から、欠損画素ブロックの動きベクトルを予測し、その分だけ修正した位置を中心にうずまき状に捜索したが、参照する動きベクトル情報は、２つとは限らないし、同じフレーム内の動きベクトルとも限らない。また、計算する順番も、うずまき状だけとは限らず、その他の順番でも構わない。

また、しきい値AllowDifference，AbortDifferenceも固定された定数とは限らず、探索ステップ数の増加に応じて、しきい値AllowDifferenceは増加し、しきい値AbortDiffereneceは減少するような値とする等のように、適応的に決定されても構わない。このように、しきい値AllowDifference，AbortDifferenceを適応的に決定するような構成としては、例えば以下のような処理アルゴリズムが考えられる。まず、しきい値AllowDifferenceの初期値AllowDifferenceStartおよびしきい値AbortDiffereneceの初期値AbortDifferenceStartを、
AllowDifferenceStart≦AbortDifferenceStart
となるように決定する。また、初期値が０で探索ステップ数の増加ごとに所定値ずつ増加する探索ステップ変数をStepCountとし、上記（１）式の関数ｆ_{（ｘ，ｙ）}（ｘ’，ｙ’）の値をValueとして、
Value≦AllowDifferenceStart＋StepCount
であれば、それまでで最小を取る値を決定値として処理終了し、
Value≧AbortDifference−StepCount
であれば、その値を決定値として処理終了する。この処理アルゴリズムによれば、探索すればするほど、どちらかのしきい値条件を満たし処理を中断する可能性が高くなるようにしきい値が変化していくことになる。

実施の形態３
図５は本発明の実施の形態３の動画像復号化装置のブロック構成図である。図５の実施の形態３の動画像復号化装置は、入力端子５０１と、復号化装置５０２と、フレームメモリ５０３と、近傍画素メモリ５０４と、補間装置５０５と、捜索装置５０６と、フレームメモリ５０７と、出力端子５０８と、動きベクトルメモリ５０９と、変形検知装置５１０とを備えている。

この実施の形態３の動画像復号化装置において、入力端子５０１，復号化装置５０２，フレームメモリ５０３，近傍画素メモリ５０４，補間装置５０５，フレームメモリ５０７，出力端子５０８，動きベクトルメモリ５０９の構成および動作は、それぞれ上記図４の実施の形態２の入力端子４０１，復号化装置４０２，フレームメモリ４０３，近傍画素メモリ４０４，補間装置４０５，フレームメモリ４０７，出力端子４０８，動きベクトルメモリ４０９と同様である。

この実施の形態３では、復号化装置５０２で復号された現フレームのフレーム情報をフレームメモリ５０３に格納した後、捜索装置５０６で参照位置の捜索を開始する前に、フレームメモリ５０３に格納された現フレームのフレーム情報とフレームメモリ５０７に格納された前フレームのフレーム情報とを変形検知装置５１０に送る。

変形検知装置５１０は、現フレームと前フレームのフレーム情報を用いて、現フレームのテクスチャが前フレームと比較してどのように変形しているかを検知し、その検知した倍率や向き、基準点や中心点等の変形情報を捜索装置５０６に送る。上記変形とは、例えば拡大または縮小等である。

上記実施の形態２の捜索装置４０６（図４参照）では、現フレームの欠損画素ブロックの近傍画素集合の画素値と、補間処理後の前フレームの画素値と、動きベクトル情報とを用いて、前フレームの参照位置を捜索したが、この実施の形態３の捜索装置６０６は、これらの画素値および動きベクトル情報に加え、変形検知装置５１０からの変形情報を用いて、前フレームの参照位置を捜索する。

例えば、欠損画素ブロックの中心位置を変形の中心位置として、現フレームのテクスチャが前フレームと比較して縮小されている場合には、捜索装置５０６において、上記中心位置から見て前フレームの拡大倍率分だけ前フレームの類似画素集合候補の位置を拡大移動して設定し、その拡大移動して設定した類似画素集合候補の画素値を用いて、上記（１）式の値を計算し、上記実施の形態２の捜索装置４０６と同様に、参照位置を捜索する。従って、現フレームの近傍画素集合の画素と上記（１）式によって画素値の差分がとられる前フレームの類似画素集合候補の画素は、現フレームの縮小変形がない場合と比較して、上記中心位置から見て外側の画素となる。

さらに、この場合には、参照位置において欠損画素ブロックよりも前フレームの拡大倍率分だけ拡大した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの縮小倍率分だけ縮小して上記欠損画素ブロックを補間する。

また、例えば、欠損画素ブロックの中心位置を変形の中心位置として、現フレームのテクスチャが前フレームと比較して拡大されている場合には、捜索装置５０６において、上記中心位置から見て前フレームの縮小倍率分だけ前フレームの類似画素集合候補の位置を縮小移動して設定し、その縮小移動して設定した類似画素集合候補の画素値を用いて、上記（１）式の値を計算し、上記実施の形態２の捜索装置４０６と同様に、参照位置を捜索する。従って、現フレームの近傍画素集合の画素と上記（１）式によって画素値の差分がとられる前フレームの類似画素集合候補の画素は、現フレームの拡大変形がない場合と比較して、上記中心位置から見て内側の画素となる。

さらに、この場合には、参照位置において現フレームの欠損画素ブロックよりも前フレームの縮小倍率分だけ縮小した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの拡大倍率分だけ拡大して上記欠損画素ブロックを補間する。

以上のように実施の形態３によれば、変形検知装置５１０で得られた縮小または拡大等のテクスチャの変形情報に応じて、前フレームの類似画素集合候補の位置や範囲を変更して前フレームの参照位置を捜索するとともに、欠損画素ブロックを補間する参照画素ブロックの位置や範囲を変更することにより、テクスチャの平行移動の他に、縮小または拡大等のテクスチャの変形についても、補間された欠損画素ブロックとその周辺画素ブロックとの境界が滑らかにつながりやすくなり、画質の劣化を高い確率で抑えることができる。

なお、上記実施の形態３では、縮小変形および拡大変形について説明したが、一般的な幾何変形にも応用が可能である。

実施の形態４
図６は本発明の実施の形態４の動画像復号化装置のブロック構成図である。図６の実施の形態４の動画像復号化装置は、入力端子６０１と、復号化装置６０２と、フレームメモリ６０３と、近傍画素メモリ６０４と、補間装置６０５と、捜索装置６０６と、フレームメモリ６０７と、出力端子６０８と、動きベクトルメモリ６０９と、変形検知装置６１０とを備えている。

この実施の形態４の動画像復号化装置において、入力端子６０１，フレームメモリ６０３，近傍画素メモリ６０４，補間装置６０５，捜索装置６０６，出力端子６０８，動きベクトルメモリ６０９，変形検知装置６１０の構成および動作は、それぞれ上記図５の実施の形態３の入力端子５０１，復号化装置５０２，フレームメモリ５０３，近傍画素メモリ５０４，補間装置５０５，捜索装置５０６，出力端子５０８，動きベクトルメモリ５０９，変形検知装置５１０と同様である。

この実施の形態４では、復号化装置６０２で復号された現フレームのフレーム情報をフレームメモリ５０３に格納し、補間装置６０５で上記現フレームを補間処理し、この処理した現フレームのフレーム情報をフレームメモリ６０７に格納した後、復号化装置６０２で次フレームの復号を開始する前に、フレームメモリ６０７に格納された補間処理後の現フレームのフレーム情報を復号化装置６０２に送る。

上記実施の形態３の復号化装置５０２では、欠損画素ブロックを生じたままの補間処理前の現フレームを参照フレームとして（補間処理前の現フレームのフレーム情報を使用して）、次フレームを復号するが、この実施の形態４の復号化装置６０２は、フレームメモリ６０７に格納された補間処理後の現フレームを参照フレームとして（補間処理後の現フレームのフレーム情報を使用して）、次フレームを復号する。

以上のように実施の形態４によれば、補間処理後の現フレームを参照フレームとして、次フレームを復号することにより、欠損画素ブロックの伝播を抑え、画質劣化を効果的に抑えることができる。

なお、上記実施の形態４では、前フレームを用いて現フレームの欠損画素ブロックを補間し、補間処理後の現フレームを次フレームの復号時の参照フレームとしたが、参照フレームは補間処理後の現フレームには限らず、上記次フレームよりも前に復号および補間処理後の後方フレームを参照フレームとしても構わない。また、参照フレームは、上記次フレームに隣接している必要はなく、複数フレーム分離れていても構わない。

また、上記それぞれの実施の形態では、本発明を帯域圧縮伝送された動画像情報を復号する動画像復号化装置に適用した例を説明したが、本発明は一般の動画像処理装置等において動画像のフレームに生じた欠損画素ブロックの補間にも適用可能である。

本発明の実施の形態１の動画像復号化装置のブロック構成図である。現フレームのおいての位置を説明する図である。前フレームのおいての位置を説明する図である。本発明の実施の形態２の動画像復号化装置のブロック構成図である。本発明の実施の形態３の動画像復号化装置のブロック構成図である。本発明の実施の形態４の動画像復号化装置のブロック構成図である。

符号の説明

１０１，４０１，５０１入力端子
１０２，４０２，５０２，６０２復号化装置
１０３，４０３，５０３フレームメモリ
１０４，４０４，５０４近傍画素メモリ
１０５，４０５，５０５補間装置
１０６，４０６，５０６捜索装置
１０７，４０７，５０７フレームメモリ
１０８，４０８，５０８出力端子
４０９，５０９動きベクトルメモリ
５１０変形検知装置

Claims

帯域圧縮伝送された動画像情報を復号する動画像復号化装置において、
入力された上記動画像情報を復号する復号化手段と、
上記復号化手段で復号されたフレームの画素情報を格納する第１のメモリと、
上記復号されたフレームに生じた欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素情報を格納する第２のメモリと、
補間処理後のフレームの画素情報を格納する第３のメモリと、
上記第２のメモリに格納された現フレームの上記近傍画素集合の画素値と上記第３のメモリに格納された補間処理後の前フレーム内の参照画素ブロック候補の近傍の、複数の類似画素集合候補の画素値とを用いて、上記近傍画素集合とテクスチャが類似する上記前フレーム内の位置を参照位置として捜索する捜索手段と、
上記捜索手段で得られた上記前フレーム内の上記参照位置の画素ブロックを用いて、上記現フレームの欠損画素ブロックを補間し、補間後の現フレームの画素情報を上記第３のメモリに格納する補間手段と、
上記復号において得られた動きベクトル情報を格納する第４のメモリと、
上記第１のメモリに格納された現フレームと上記第３のメモリに格納された補間処理後の前フレーム間のテクスチャの変形を検知する変形検知手段とを備え、
上記捜索手段は、上記欠損画素ブロックの周辺画素ブロックの動きベクトル情報と、上記変形検知手段で得られた上記フレーム間のテクスチャの変形情報をさらに用いて、上記近傍画素集合のそれぞれの画素値と上記類似画素集合候補の対応する画素値の差分の総和が最小となる類似画素集合候補の位置を上記参照位置として捜索し、
上記変形検知手段が、現フレームのテクスチャが前フレームと比較して縮小されていることを検知した場合には、
上記捜索手段は、上記縮小の中心位置から見て前フレームの拡大倍率分だけ前フレームの類似画素集合候補の位置を拡大移動して設定し、その拡大移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索し、
上記変形検知手段が、現フレームのテクスチャが前フレームと比較して拡大されていることを検知した場合には、
上記捜索手段は、上記拡大の中心位置から見て前フレームの縮小倍率分だけ前フレームの類似画素集合候補の位置を縮小移動して設定し、その縮小移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索する
ことを特徴とする動画像復号化装置。
上記捜索手段が、上記縮小の中心位置から見て前フレームの拡大倍率分だけ前フレームの類似画素集合候補の位置を拡大移動して設定し、その拡大移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索した場合には、
上記補間手段は、参照位置において欠損画素ブロックよりも前フレームの拡大倍率分だけ拡大した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの縮小倍率分だけ縮小して上記欠損画素ブロックを補間し、
上記捜索手段が、上記拡大の中心位置から見て前フレームの縮小倍率分だけ前フレームの類似画素集合候補の位置を縮小移動して設定し、その縮小移動して設定した類似画素集合候補の画素値を用いて、参照位置を捜索した場合には、
上記補間手段は、参照位置において現フレームの欠損画素ブロックよりも前フレームの縮小倍率分だけ縮小した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの拡大倍率分だけ拡大して上記欠損画素ブロックを補間する
ことを特徴とする請求項１に記載の動画像復号化装置。
請求項１又は２に記載の動画像復号化装置において、
上記復号化手段は、上記第３のメモリに格納された補間処理後の現フレームを参照して、次フレームを復号する
ことを特徴とする動画像復号化装置。