JP4083266B2 - 動きベクトルの生成方法および装置 - Google Patents
動きベクトルの生成方法および装置 Download PDFInfo
- Publication number
- JP4083266B2 JP4083266B2 JP29044397A JP29044397A JP4083266B2 JP 4083266 B2 JP4083266 B2 JP 4083266B2 JP 29044397 A JP29044397 A JP 29044397A JP 29044397 A JP29044397 A JP 29044397A JP 4083266 B2 JP4083266 B2 JP 4083266B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- block
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は動きベクトルの生成方法および装置に係り、特に動き補正の信号処理で内挿フレーム信号を生成するフレーム数変換に好適な動きベクトルの生成方法および装置に関する。
【0002】
【従来の技術】
近年、マルチメディアの進展に伴い、各種方式のテレビジョン信号やパソコン画像などをマルチウィンドウ表示する使用形態が多くなってきた。また、表示部も従来のCRTの他、PDPやLCDなどの平面ディスプレイも使用されるようになってきた。しかしながら、各種入力ソースでは、画像のフレーム周波数や走査線数や1画面の画素数が異なっている。また、各種ディスプレイでは、走査形態や表示画素数が様々である。このため、入力ソースの信号を表示系に合った信号に変換する画像フォーマット変換の信号処理が必要となる。
【0003】
この画像フォーマット変換では、飛び越し走査−順次走査を変換する走査変換や、フレームレートを変換するフレーム数変換、あるいは走査線数や画像サイズを変換するスケーリング処理の信号処理が必要である。このうち、走査変換やスケーリング処理は、従来技術を用いて比較的簡単な信号処理で実現できる。これに対して、フレーム数変換は、単純な駒落としや駒繰り返しの処理で実現することも可能であるが、この場合には動き画像で滑らかさが損なわれるモーションジャダーなどの画質劣化が発生し、画質が大幅に劣化するという問題がある。
【0004】
この問題を解決する技術としては、動き補正のフレーム数変換法が知られている。これは、動きベクトルで前後のフレームの画像位置を移動させて内挿フレームの信号を生成するもので、動き画像のモーションジャダーの除去には極めて有効である。
【0005】
一方、画像の高能率符号化の分野では、国際標準規格であるMPEG符号化など、動き補償フレーム間予測符号化をベースとした方式が主流となり、TV会議やデジタル放送などに広く用いられるようになってきた。この動き補償フレーム間予測符号化では、送信側では、動きベクトルで画像の位置を移動させて生成した予測フレームと現フレームとの差分を予測誤差成分として抽出し、これと動きベクトルの情報を伝送する。受信側では、伝送された動きベクトルと予測誤差成分より元の画像信号を復号する。
【0006】
また、テレビ画像のための動き予測方法については、例えば特開平7−170496号公報に開示されている。この方法は、1つの注目ブロックの動きベクトルおよび3つの隣接するブロックの動きベクトルを用いて、1つの画素の動きベクトルを計算するものである。これにより、大きなブロックの信頼性という利点と、より局在的な位置決定の動きベクトルの性能を兼ね備える装置を提供することができる、とするものである。
【0007】
【発明が解決しようとする課題】
従来の動き補正のフレーム数変換法においては、動きベクトルの探索、生成に膨大な演算量が必要なため、装置規模が大きくなり価格も極めて高価となっている。このため、その用途は、放送分野の番組交換などの特殊な用途に限られている。一方、画像の高能率符号化の分野では、動きベクトル情報はもっぱら画像信号の復号化処理に使われているにすぎない。また、上述したテレビ画像のための動き予測方法では、画素単位の動きベクトルの精度に問題があり、正確な動きベクトルを得ることができず、画質劣化が発生するおそれがある。
【0008】
従って本発明の目的は、動き補正のフレーム数変換を高画質かつ低コストで行うのに好適な動きベクトルの生成方法および装置を提供することにある。
【0009】
【課題を解決するための手段】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する工程と、前記復号化された動きベクトル情報に基づいて1フレーム期間での動きベクトルを生成する工程と、現フレームの信号と前フレームの信号から画像の動きを検出する工程と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして0を割り当て、動きを検出したブロックには前記1フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして0を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程とを備えたことを特徴とする動きベクトルの生成方法である。
【0010】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する復号化部と、前記復号化された動きベクトル情報にもとづいて1フレーム期間での動きベクトルを生成する動きベクトル変換部と、現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、前記動き検出部により動きを検出しないブロックにはブロック単位動きベクトルとして0を割り当て、動きを検出したブロックには前記1フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトル生成部と、前記動き検出部により動きを検出しない画素には画素単位動きベクトルとして0を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する領域で算出した動き補正誤差のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトル生成部とを備えたことを特徴とする動きベクトルの生成装置である。
【0011】
本発明の前記動き検出部は、MPEG符号化された信号を復号化するものであり、前記動きベクトル変換部は、MPEG符号化におけるPピクチャの動き補償予測符号化に使用する第1の動きベクトル、Bピクチャの動き補償予測符号化に使用する第2の動きベクトル、または第1及び第2の動きベクトルに係る動きベクトル情報をもとに、動きベクトル生成の信号処理を行うことを特徴とする。
【0012】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする。
【0013】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分と色成分とを用いて行うことを特徴とする。
【0014】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小したサブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理でサブブロックの動きベクトルを再探索し、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照ベクトルとし、ミニブロックを単位に算出した動き補正誤差が最少の参照動きベクトルを画素単位動きベクトルとしてミニブロック内の動きを検出した画素に割り当てることを特徴とする。
【0015】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小した第1サブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第1サブブロックの動きベクトルを再探索し、次に、第1サブブロックのサイズを縮小した第2サブブロック毎に、第1サブブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第2サブブロックの動きベクトルを再探索し、以下、ブロックサイズがミニブロックのサイズまでこの動作を逐次繰り返すことにより画素単位動きベクトルを生成することを特徴とする。
【0016】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズをミニブロックのサイズまで段階的に縮小した第1サブブロック、第2サブブロック、第nサブブロックに対して、前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第1、第2、第n動きベクトルを再探索し、ミニブロックを単位に算出した前記第1、第2、第n動きベクトルの内で動き補正誤差が最少なものを画素単位動きベクトルとして割り当てることを特徴とする。
【0017】
このような技術的手段により、本発明では、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成することができる。
【0018】
【発明の実施の形態】
本発明の理解を容易とするため、始めにMPEG符号化を例として、動き補償予測符号化の概略を簡単に説明する。
【0019】
図21は、MPEG符号化におけるMCフレーム間予測の概略図を示すものである。同図に示す時系列の画像信号シーケンスの各フレームは、記号I,P,Bで示すIピクチャ、Pピクチャ、Bピクチャに分ける。そして、Iピクチャではフレーム内の離散コサイン変換(DCT)符号化を行う。一方、P,Bピクチャでは動き補償予測符号化を行う。このうち、Pピクチャでは、図中のPの記号で示すフレームの間で、動きベクトルMVpを用いた一方向予測で予測フレームの信号を生成し、これとの差分成分をDCT符号化する。また、Bピクチャでは、図中のBの記号で示すフレームに対して同図に示す動きベクトルMVbを用いた双方向予測で予測フレームの信号を生成し、これとの差分成分をDCT符号化する。そして、IピクチャではDCT符号化成分、P,Bピクチャでは動き補償予測に用いた動きベクトルMVp,MVbの情報とDCT符号化した差分成分を伝送する。
【0020】
図22は、本発明における動き補正フレーム数変換用動きベクトルへの変換動作の概略を示すものである。周知の如く、動き補正のフレーム数変換では、画像信号シーケンスの1フレーム期間での動きベクトルが必要である。このため、Pピクチャ符号化時の動きベクトルMVp(図中のMVp1,MVp2,MVp3)に対しては、それをPピクチャ期間のフレーム数(同図では3)で除した変換動きベクトルBVp(図中のMVp1/3,MVp2/3,MVp3/3)を生成し、これを1フレーム期間の動きベクトルBVとする。一方、Bピクチャ符号化時の動きベクトルMVbに対しては、その1フレーム期間の動きベクトル(図のMVb11,MVb12,MVb21,MVb22,MVb31、MVb32)を用いて変換動きベクトルBVbを生成し、これを1フレーム期間の動きベクトルBVとする。
【0021】
以上に述べた動きベクトル変換の技術的手段で、動き補償予測符号化の動きベクトル情報より動き補正のフレーム数変換に必要な1フレーム期間の動きベクトルを簡単に生成できる。なお、この動きベクトル変換で得られる動きベクトルは、ブロック単位(水平8画素x垂直8ライン)あるいはマクロブロック単位(水平16画素x垂直16ライン)での動きベクトルである。
【0022】
動き補正のフレーム数変換では、動きベクトルの精度が悪い場合には、画像の一部が不適切な画像に置き換えられる孤立点的な劣化が発生する。これを回避するため、本発明においては、以下に述べるブロック単位、画素単位の動きベクトル生成の2段階の信号処理を採用する。
【0023】
ブロック単位動きベクトル生成では、まず、フレーム差分信号で動きを検出しないブロック(静止ブロック)と、動きを検出したブロック(動画ブロック)とに分別する。そして、静止ブロックには動きベクトルBVCに0を割り当てる。一方、動画ブロックには、上述した動きベクトル変換の信号処理で生成する動きベクトルBV(BVp,BVb)のうちで、ブロック単位の動き補正誤差を演算し、これが最少なものを動きベクトルBVCに割り当てる。
【0024】
画素単位動きベクトル生成では、まず、動きベクトルBVCで現ブロックでの動き補正誤差を算出し、閾値THとの大小比較を行う。そして、閾値TH未満の場合は、動きベクトルBVCは正確と判定し、この動きベクトルBVCをブロック内の動きを検出した全ての画素に割り当てる。一方、閾値TH以上の場合は、現ブロック及びこれに隣接する参照ブロックの動きベクトルを用い、ミニブロック(例えば水平MX画素x垂直MYライン)毎に、ミニブロックを内包する水平MX+2、垂直MY+2の算出領域で動き補正誤差を最少にする動きベクトルPVを求める。そして、ミニブロック内の動きを検出した画素には、この動きベクトルPVを割り当てる。また、フレーム差分信号成分が零の画素には、動きベクトルPVに0を割り当てる。
【0025】
以上に述べた技術的手段で、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成できる。
【0026】
図1は、本発明の第1の実施例を示すブロック構成図である。同図の1はMPEGデコーダ部、2はIP変換部、3は1フレーム遅延部、4は動きベクトル生成部、5は動き補正フレーム数変換部である。
【0027】
MPEGデコーダ部1は、MPEG符号化されたビットストリーム信号DSの復号処理を行い、復号した画像信号シーケンスの信号S1と、動きベクトル情報MV(P,Bピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報)を出力する。なお、この信号処理や構成は従来技術で容易に実現出来る。
【0028】
IP変換部2は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号S2に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【0029】
動きベクトル生成部4は、現フレームの信号S2と、これを1フレーム遅延部3で1フレーム期間遅延させた前フレームの信号S3と、動きベクトル情報MVをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルPVを生成する。この具体的な構成については後述する。
【0030】
動き補正フレーム数変換部5は、画素単位動きベクトルPVをもとに補正補間動きベクトルを作り、現フレームの信号S3と前フレームの信号S2の画像の位置を、この補正補間動きベクトルで移動させた信号で内挿フレームの信号を生成する。そして、この動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号S4を出力として得る。なお、この具体的な構成についても後述する。
【0031】
以下、本実施例における主要ブロック部について説明する。
【0032】
図2は動きベクトル生成部4の一構成例を示す図である。動きベクトル変換部6は、動きベクトル情報MVをもとに、図22に示した動作の動きベクトル変換の信号処理を行い、1フレーム期間での動きベクトルBVを生成する。この具体的な一構成例を図3に示す。同図のPピクチャベクトル変換部10は、動きベクトル情報MVのPピクチャ符号化で使用する動きベクトルMVpに対して、1/n(nはPピクチャ間のフレーム数)に変換する信号処理で変換動きベクトルBVpを生成する。また、Bピクチャベクトル変換部11は、動きベクトル情報MVのBピクチャ符号化で使用する動きベクトルMVbに対し、1フレーム期間の動きベクトルを選択して変換動きベクトルBVbを生成する。なお、MVbのうちの複数フレーム期間(例えばmフレーム)の動きベクトルを1/mに変換する信号処理を併せて行い、より多くの変換動きベクトルBVbを生成することもできる。制御部12は、動きベクトル情報の符号化パラメタをもとに、各変換部の動作に必要な制御信号CTを生成する。
【0033】
図2に戻り、動き検出部9は、現フレームの信号S2と前フレームの信号S3の輝度信号成分の減算演算を行い、1フレーム間の差分信号成分を抽出する。そして、動き検出信号MI1には、この信号レベルが設定値±Tha未満の場合は静止領域と判定して0、±Thaを越える場合は動画領域と判定して1の信号を出力する。また、動き検出信号MI2には、この信号レベルが0の場合は静止と判定して0、それ以外は動画と判定して1の信号を出力する。
【0034】
ブロック単位動きベクトル生成部7は、動き検出信号MI1全て0のブロックは静止ブロックと判定し、出力動きベクトルBVCに0を出力する。一方、動き検出信号MI1に1を含むブロックは動画ブロックと判定し、動きベクトルBVのうちでブロック単位の動き補正誤差が最少なものを動きベクトルBVCに出力する。
【0035】
画素単位動きベクトル生成部8は、動き検出信号MI2が0の画素には動きベクトルPVに0を出力する。一方、動き検出信号MI2が1の画素には、動きベクトルBVCの現ブロックとこれに隣接するブロックの動きベクトルをもとに、動き補正誤差が最少なものを動きベクトルPVに出力する。
【0036】
次に、ブロック単位動きベクトル生成部7の一構成例を図4を用いて説明する。図において、補正誤差算出部13は、動きベクトルBVpによるブロック単位の動き補正誤差ERpを演算する。則ち、現フレームの信号S2と、前フレームの信号S3を動きベクトルBVpで位置を移動させた信号との絶対値差分成分を計算する。また、補正誤差算出部14は、動きベクトルBVbによるブロック単位の動き補正誤差ERbを演算する。則ち、現フレームの信号S2と、前フレームの信号S3を動きベクトルBVbで位置を移動させた信号との絶対値差分成分を計算する。
【0037】
静動ブロック判定部15は、ブロック単位(例えば16画素x16ラインあるいは8画素x8ライン)で、動き検出信号MI1の1の有無を検出する。そして、信号MI1が全て0の時は静止ブロックと判定して信号BMに0、それ以外の時は動画ブロックと判定して1を出力する。
【0038】
設定部16は、信号BMが0の静止ブロックでは、ブロック単位動きベクトル信号BVCに0を出力する。一方、信号BMが1の動画ブロックでは、動き補正誤差ERp,ERbの値を最小にする動きベクトルをブロック単位動きベクトル信号BVCに出力する。
【0039】
次に、画素単位動きベクトル生成部8の第1の構成例を図5に示す。これは、以下の図6、図7に沿った信号処理を行うに好適なものである。
【0040】
補正誤差算出部17は、図6に示す信号処理のフローチャートの第1ステップの処理を行う。則ち、現フレームの信号S2、前フレームの信号S3の輝度信号成分に対し、ブロック単位動きベクトルBVCによる動き補正誤差を算出する。そして、この誤差の値が閾値TH未満の場合は信号PMに0、閾値TH以上の場合は1を出力する。
【0041】
制御部18は、信号PMと動き検出信号MI2を基に、図6の第2、第3ステップの信号処理に必要な制御信号PC1とPC2を生成する。
【0042】
補正誤差算出部20−1、…、20−Nは、図6の第2ステップの閾値以上の場合の信号処理を行う。則ち、制御信号PC1が閾値以上を示す時、図7に示すように、参照動きベクトル生成部19で生成する、現ブロックの動きベクトルV0と、これに隣接する参照ブロックに対応する動きベクトルV1、…、VNで、ミニブロック(例えば水平MX=2、垂直MY=2の2画素x2ライン)毎に、これを内包する水平4(MX+2)画素、垂直4(MY+2)ラインの算出領域での動き補正誤差ER0、ER1、…、ERNを算出する。なお、この動き補正誤差の算出は、現フレ−ムの信号S2と前フレ−ムの信号S3の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対し、(数1)に示す演算で実現できる。
【0043】
【数1】
ER0=Σabs{S2(x,y)-S3(V0)}=Σabs{S2(x,y)-S3(x+V0x,y+V0y)}
ER1=Σabs{S2(x,y)-S3(V1)}=Σabs{S2(x,y)-S3(x+V1x,y+V1y)}
ER2=Σabs{S2(x,y)-S3(V2)}=Σabs{S2(x,y)-S3(x+V2x,y+V2y)}
…………………………………………………………………………
ERN=Σabs{S2(x,y)-S3(VN)}=Σabs{S2(x,y)-S3(x+VNx,y+VNy)} (数1)
(数1)で、S2(x,y)は算出領域内の現フレームの画素の信号、S3(VN)は動きベクトルVNで位置を移動させた前フレームの画素の信号、abs{ }は絶対値、Σは算出領域内の画素の総和、VNxは動きベクトルVNのx成分、VNyはy成分である。
【0044】
画素動きベクトル設定部21は、図6の第2ステップの閾値未満および第3ステップの信号処理を行う。則ち、制御信号PC2が閾値未満を示す場合は、現ブロックの動きベクトルV0を画素単位動きベクトルPVに出力する。一方、PC2が閾値以上を示す場合は、動き補正誤差ER0、ER1、…、ERNの内で最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。また、制御信号PC2が動き検出信号MI2が0の画素を示す時は、画素単位動きベクトルPVに0を出力する。
【0045】
図8は、画素単位動きベクトル生成部8の第2の構成例を示す図である。そして、図9に示す信号処理で画素単位の動きベクトルを生成する。
【0046】
補正誤差算出部17は、図5に示したものと同じで、図9(a)に示す第1ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値TH未満の場合は信号PMに0、閾値TH以上の場合は1を出力する。
【0047】
制御部18は、信号PMと動き検出信号MI2を基に、図9(a)に示す第2、第3ステップの信号処理に必要な制御信号PC3、PC2を生成する。
【0048】
再探索第1処理部22、再探索第2処理部23、再探索第3処理部24は、図9(a)の第2ステップの信号処理を行う。則ち、制御信号PC3が閾値以上を示す時には、動きベクトルの再探索処理を行う。まず、再探索第1処理部22では、図9(b)に示すように、ブロックサイズが水平、垂直とも1/2のサイズに縮小したサブブロックSB1毎に、動きベクトルBVCを参照ベクトルとしてブロックマッチング処理を行い、再探索したSB1単位の動きベクトルPV1を出力する。次に、再探索第2処理部23では、サブブロックSB1を水平、垂直ともに1/2に縮小したサブブロックSB2毎に、動きベクトルPV1を参照ベクトルとしてブロックマッチング処理を行い、再探索したSB2単位の動きベクトルPV2を出力する。再探索第3処理部24は、サブブロックSB2を水平、垂直ともに1/nに縮小したミニブロックサイズのサブブロックSBN毎に、動きベクトルPV2を参照ベクトルとしてブロックマッチング処理を行い、再探索したSBN単位の動きベクトル、則ち、ミニブロック単位の動きベクトルPV3を出力する。一方、制御信号PC3が閾値未満を示す時は、再探索第1処理部22、再探索第2処理部23、再探索第3処理部24は、再探索処理の動作を中止し、動きベクトルPV3に現ブロックの動きベクトルBVCを出力する。
【0049】
画素動きベクトル設定部25は、図9(a)の第3ステップの信号処理を行う。則ち、制御信号PC2が動き検出信号MI2が0の画素を示す時は、画素単位動きベクトルPVに強制的に0を出力する。一方、PC2が動き検出信号MI2が1の画素を示す時は、画素単位動きベクトルPVにPV3を出力する。
【0050】
図10は、画素単位動きベクトル生成部8の第3の構成例を示す図である。これは、図11に従った信号処理を行うに好適なもので、図5の構成に再探索処理部26を追加することで実現する。
【0051】
再探索処理部26は、制御信号PC4が閾値以上を示す場合は、ブロックサイズを水平、垂直ともに1/2に縮小したサブブロックSB1毎に、現ブロックの動きベクトルBVCを参照ベクトルとしたブロックマッチング処理を行い、再探索したSB1単位の動きベクトルPV1を出力する。一方、PC4が閾値未満を示す場合は、再探索動作を中止して、現ブロックの動きベクトルBVCを出力する。
そして、図11の第2ステップの閾値以上の信号処理で参照ベクトルとして使用するサブブロックSB1単位の動きベクトルPV1を生成する。
【0052】
以降の動作は、図5に示したものと同様であるので、説明は省略する。
【0053】
図12は、画素単位動きベクトル生成部8の第4の構成例を示す図で、図13(a)、(b)に示す信号処理で画素単位の動きベクトルを生成する。
【0054】
補正誤差算出部17は、図5に示したものと同じで、図13(a)に示すフローチャートの第1ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値TH未満の場合は信号PMに0、閾値TH以上の場合は1を出力する。
【0055】
制御部18は、信号PMと動き検出信号MI2を基に、図13(a)に示すフローチャートの第2、第3ステップの信号処理に必要な制御信号PC5、PC2を生成する。
【0056】
再探索第1処理部27、再探索第2処理部28、再探索第3処理部29は、図13(a)の第2ステップの信号処理を行う。則ち、制御信号PC5が閾値以上を示す時には、図13(b)に示すように、ブロックサイズを縮小したブロックについて動きベクトルの再探索処理を行う。まず、再探索第1処理部27は、ブロックサイズを水平、垂直とも1/2のサイズに縮小したサブブロックSB1毎に、動きベクトルBVCを参照ベクトルとしてブロックマッチング処理を行い、再探索したSB1単位の動きベクトルPV1を出力する。また、再探索第2処理部28は、ブロックサイズを水平、垂直ともに1/4に縮小したサブブロックSB2毎に、動きベクトルBVCを参照ベクトルとしてブロックマッチング処理を行い、再探索したSB2単位の動きベクトルPV2を出力する。一方、再探索第3処理部29は、ブロックサイズを水平、垂直ともに1/nに縮小したミニブロックサイズのサブブロックSBN毎に、動きベクトルBVCを参照ベクトルとしてブロックマッチング処理を行い、再探索したSBN単位の動きベクトル、則ち、ミニブロック単位の動きベクトルPV3を出力する。一方、制御信号PC5が閾値未満を示す時は、再探索第1処理部27、再探索第2処理部28、再探索第3処理部29は、再探索処理の動作を中止し、PV1、PV2、PV3に現ブロックの動きベクトルBVCを出力する。
【0057】
画素動きベクトル設定部30は、図13(a)の第2ステップの閾値未満および第3ステップの信号処理を行う。則ち、制御信号PC2が閾値未満を示す場合は、現ブロックの動きベクトルPV1を画素単位動きベクトルPVに出力する。一方、閾値以上を示す場合は、PV1、PV2、PV3の内で動き補正誤差が最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。
【0058】
また、制御信号PC2が動き検出信号MI2が0の画素を示す時は、画素単位動きベクトルPVに強制的に0を出力する。
【0059】
次に、図1の動き補正フレーム数変換部5の構成例を、図14乃至図16で説明する。
【0060】
図14は、その第1の構成例で、フレーム順制御部31は、画素単位動きベクトルPVより動き補正処理に必要な補正補間動きベクトルVctとVprを生成する。フレーム周波数50Hzの信号をフレーム周波数が60Hzの信号にフレーム数変換を行う場合を例に、この動作を図16(a)、(b)に示す。フレーム周波数50Hzの順次走査信号は、フレーム順の1から5の信号に対し、同図に示す様に動きベクトルPVを基に補正型の信号処理で内挿フレームを生成し、フレーム順1から6のフレーム周波数が60Hzの順次走査の信号に変換する。この際、補正補間動きベクトルは、内挿するフレーム位置と合致させる必要がある。そこで、同図に示す様に、動きベクトル信号PVに係数加重する係数値ka,kbを変化させ、(数2)に示す演算で補正補間動きベクトルVpr、Vctを生成する。
【0061】
【数2】
Vpr=PV*ka/(ka+kb)
Vct=-PV*kb/(ka+kb) (数2)
則ちフレーム順が2の内挿フレームは、Vpr=PV*5/6,Vct=−PV*1/6(ka=5,kb=1)、3のものは、Vpr=PV*4/6,Vct=−PV*2/6(ka=4,kb=2)…の如く、係数値ka,kbを発生させ、時間方向での位置ずれのない補正補間動きベクトルを生成する。この結果、時間方向での揺らぎのないフレーム数変換を実現する。
【0062】
動き補正信号生成部32では、現フレームの信号S2と補正補間動きベクトルVctで動き補正信号Sctを生成する。また、動き補正信号生成部33は、前フレームの信号S3と補正補間動きベクトルVprで動き補正信号Sprを生成する。この動作概略を図16(c)に示す。内挿フレームの点A(x,y)の信号は、前フレームの信号S3では、点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vprx,垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x+Vprx,y+Vpry)の位置の信号、現フレームの信号S2では点A(x,y)を補正補間動きベクトルVct(水平方向成分Vctx,垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号に対応する。従って、動き補正信号SprとSctは、以下の(数3)で生成する。
【0063】
【数3】
Spr=S3(x+Vprx,y+Vpry)
Sct=S2(x−Vctx,y−Vcty) (数3)
この信号処理は、動き補正信号生成部に内蔵のメモリ回路の読み出し動作を制御することで実現する。則ち、読み出しのためのアドレスを補正補間動きベクトルVpr,Vctの位置だけずらせたアドレスを生成し、このアドレスで点A',A”に対応した画素の信号を読み出す。
【0064】
加算部34は、両者の動き補正信号SprとSctとの加算平均を行い、その出力に動き補正のフレーム数変換でフレーム周波数をアップした順次走査の画像信号S4を得る。
【0065】
図15は、動き補正フレーム数変換部5の第2の構成例を示す図である。これは、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うものである。
【0066】
同図のフレーム順制御部31、動き補正信号生成部32,33、加算部34は、図14と同じ動作を行い、加算部34の出力に動き補正のフレーム内挿処理した信号Smcを得る。
【0067】
動き速度検出部35は、画素単位動きベクトルPVを基に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きを検出する。
【0068】
例えば、モーションジャダー妨害は、1秒/画面幅、1秒/画面高程度までの視線が追従できる動きの場合に特に目立ち易いという性質が知られている。従って、動き速度検出部では、1秒/画面幅、1秒/画面高程度に相当する速度を閾値とする動きベクトルPVの速度成分の判定を行い、閾値未満の速度では1、以上では0の信号SLを出力する第1の動作で、この検出ができる。
【0069】
また、水平パンや上下パンでは画面全体が一様な速度で動く。従って、動き速度検出部では、画素単位動きベクトルPV≠0のものの大きさと方向を全画面領域にわたり計測し、これがほぼ同じ値をとる場合のみ、全ての画面領域で1を信号SLに出力する第2の動作で、この検出ができる。
【0070】
一方、文字スクロールなどでは、動き領域の形状が帯状で、かつ、この領域での動きベクトルはほぼ同じ値になる。従って、動き速度検出部では、画素単位動きベクトルPV≠0のものの大きさと方向がほぼ同一となる帯状の領域を検出し、この領域のみ1を信号SLに出力する第3の動作で、この検出ができる。
【0071】
なお、動き速度検出部は、第1、第2、第3のいずれか1つの動作、もしくはこれらを組み合わせた動作など、種々の動作形態のもので実現できる。
【0072】
スイッチ部36は、信号SLが1の時は、現フレームの信号S2を選択し、信号SLが0の時は、信号Smcを選択する。そして、この出力に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの領域のみを動き補正のフレーム内挿処理した順次走査の画像信号S4を得る。
【0073】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の低コスト化、高画質化に顕著な効果が得られる。
【0074】
次に、本発明の第2の実施例について、図17のブロック構成図で説明する。本実施例は、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。
【0075】
同図のMPEGデコーダ部1、IP変換部2、1フレーム遅延部3、動きベクトル生成部4、動き補正フレーム数変換部5は、図1に示した第1の実施例と同一の構成、動作を行うので、説明は省略する。
【0076】
シーンチェンジ検出部37は、1フレーム期間でのフレーム間差分信号成分の発生形態よりシーンチェンジの発生した領域を検出する動作を行う。この一構成例を図18に示す。減算部38は、現フレームの信号S2と、前フレームの信号S3の輝度信号成分に対して減算演算を行い、1フレーム間の差分成分FDを抽出する。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、差分成分FDの信号レベルは比較的大きな値を持つ。そこで、2値量子化部39は比較的高いレベルの閾値±Thbで信号FDを画素毎に2値量子化する。そして、閾値±Thb未満の画素は0、閾値を越える画素は1を信号QSに出力する。1フレーム累積部40は、1フレーム期間で信号QSが1のものの画素の数を計測し、1フレーム期間での累積値AQを出力する。判定部41は、画面全体が一様な速度で動く水平パンや上下パンの動きを誤ってシーンチェンジと検出する誤動作を避けるため、累積値AQの値が全画面の半分以上の画素数で、かつ、その発生が1フレーム期間に限られる場合をシーンチェンジ領域と判定し、信号SCFに1フレームの期間にわたり1を出力する。これ以外の場合は0を出力する。
【0077】
なお、動きベクトル生成部4は、信号SCFが1の期間は、動きベクトルの生成の動作を中止する。また、動き補正フレーム数変換部5は、信号SCFが1の期間は、優先的に、現フレームの信号S2を選択してS4に出力する。
【0078】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。また、シーンチェンジ領域における動きベクトル探索や生成のための膨大な演算量の発生が回避できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の更なる低コスト化、高画質化に顕著な効果が得られる。
【0079】
次に、本発明の第3の実施例について、図19に示すブロック構成図で説明する。本実施例は、図1の第1の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を付加したものである。
【0080】
MPEGデコーダ部1は、MPEG符号化されたビットストリーム信号DSの復号処理を行い、復号した画像信号シーケンスの信号S1と、動きベクトル情報MV(P,Bピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報)を出力する。
【0081】
IP変換部2は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号S2に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【0082】
動きベクトル生成部4は、現フレームの信号S2と、これを1フレーム遅延部3で1フレーム期間遅延させた前フレームの信号S3と、動きベクトル情報MVをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルPVを生成する。
【0083】
動き補正フレーム数変換部5は、画素単位動きベクトルPVをもとに補正補間動きベクトルを作り、現フレームの信号S3と前フレームの信号S4の画像の位置をこの補正補間動きベクトルで移動させた信号で、内挿フレームの信号を生成する。そして、この出力に動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号S4を得る。
【0084】
スケーリング処理部42は、走査線数の変換(例えばPAL方式やNTSC方式の信号からHDTV方式の信号への変換、パソコン画像のVGA系やSVGA系への変換などに必要な走査線数変換)、アスペクト比の変換(4:3系と16:9系)、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
【0085】
次に、本発明の第4の実施例について、図20に示すブロック構成図で説明する。本実施例は、図17の第2の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を有するスケーリング処理部42を追加して構成する。
【0086】
スケーリング処理部42は、第3の実施例と同様、走査線数の変換、アスペクト比の変換、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
なお、以上の実施例では、フレーム周波数が50Hz−60Hz変換の場合を例に説明した。しかし、これに限らず、フレーム周波数24Hzのフィルム画像−フレーム周波数60Hzのフレーム数変換や、テレビジョン信号−パソコン画像信号のフレーム数変換など、各種のフレーム数変換に本実施例が適用できることは明らかである。
【0087】
これらの実施例においては、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、およびフレーム数変換装置、さらには画像フォーマット変換装置の低コスト化、高画質化に顕著な効果が得られる。
【0088】
【発明の効果】
本発明によれば、高画質かつ低コストで動き補正のフレーム数変換を行いうる動きベクトルの生成方法および装置を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る第1の実施例を示すブロック構成図である。
【図2】動きベクトル生成部の一構成例を示す図である。
【図3】動きベクトル変換部の一構成例を示す図である。
【図4】ブロック単位動きベクトル生成部の一構成例を示す図である。
【図5】画素単位動きベクトル生成部の第1の構成例を示す図である。
【図6】画素単位動きベクトル生成処理のフローチャートを示す図である。
【図7】画素単位動きベクトル生成の動作概略を示す図である。
【図8】画素単位動きベクトル生成部の第2の構成例を示す図である。
【図9】(a)、(b)はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図10】画素単位動きベクトル生成部の第3の構成例を示す図である。
【図11】画素単位動きベクトル生成方法の概略を示す図である。
【図12】画素単位動きベクトル生成部の第4の構成例を示す図である。
【図13】(a)、(b)はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図14】動き補正フレーム数変換部の第1の構成例を示す図である。
【図15】動き補正フレーム数変換部の第2の構成例を示す図である。
【図16】(a)乃至(c)はそれぞれフレーム順制御部と動き補正信号生成部の動作概略を示す図である。
【図17】本発明に係る第2の実施例を示すブロック構成図である。
【図18】シーンチェンジ検出部の一構成例を示す図である。
【図19】本発明に係る第3の実施例を示すブロック構成図である。
【図20】本発明に係る第4の実施例を示すブロック構成図である。
【図21】MPEG符号化におけるMCフレーム間予測の概略を示す図である。
【図22】動き補正フレーム数変換用動きベクトルへの変換動作の概略を示す図である。
【符号の説明】
1 MPEGデコーダ部
2 IP変換部
3 1フレーム遅延部
4 動きベクトル生成部
5 動き補正フレーム数変換部
6 動きベクトル変換部
7 ブロック単位動きベクトル生成部
8 画素単位動きベクトル生成部
9 動き検出部
Claims (7)
- MPEG符号化におけるPピクチャの動き補償予測符号化に使用する第1の動きベクトル及びBピクチャの動き補償予測符号化に使用する第2の動きベクトルを含む情報が符号化された信号を復号化する工程と、
前記復号化された前記第1及び第2の動きベクトルの情報に基づいて1フレーム期間での動きベクトルを生成する工程と、
現フレームの信号と前フレームの信号から画像の動きを検出する工程と、
前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして0を割り当て、動きを検出したブロックには前記1フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、
前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして0を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包し、前記ブロックに内包された算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程と、
を備えたことを特徴とする動きベクトルの生成方法。 - MPEG符号化におけるPピクチャの動き補償予測符号化に使用する第1の動きベクトル及びBピクチャの動き補償予測符号化に使用する第2の動きベクトルを含む情報が符号化された信号を復号化する復号化部と、
前記復号化された前記第1及び第2の動きベクトルの情報にもとづいて1フレーム期間での動きベクトルを生成する動きベクトル変換部と、
現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、
前記動き検出部により動きを検出しないブロックにはブロック単位動きベクトルとして0を割り当て、動きを検出したブロックには前記1フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトル生成部と、
前記動き検出部により動きを検出しない画素には画素単位動きベクトルとして0を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する領域で算出した動き補正誤差のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトル生成部と、
を備えたことを特徴とする動きベクトルの生成装置。 - 前記動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする請求項2記載の動きベクトルの生成装置。
- 前記動き補正誤差の算出を画像信号の輝度信号成分と色成分とを用いて行うことを特徴とする請求項2記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小したサブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照してサブブロックの動きベクトルを再探索し、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照ベクトルとし、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照してサブブロックのサイ ズを水平及び垂直方向ともに縮小したミニブロックを単位に算出した動き補正誤差が最少の動きベクトルを画素単位動きベクトルとしてミニブロック内の動きを検出した画素に割り当てることを特徴とする請求項2記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小した第1サブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照して第1サブブロックの動きベクトルを再探索し、次に、第1サブブロックのサイズを縮小した第2サブブロック毎に、第1サブブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記第1サブブロックの動きベクトルを参照して第2サブブロックの動きベクトルを再探索し、以下、ブロックサイズがミニブロックのサイズまでこの動作を逐次繰り返すことにより画素単位動きベクトルを生成することを特徴とする請求項2記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズをミニブロックのサイズまで段階的に縮小した第1サブブロック、第2サブブロック、第nサブブロックに対して、前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照して第1、第2、第n動きベクトルを再探索し、ミニブロックを単位に算出した前記第1、第2、第n動きベクトルの内で動き補正誤差が最少なものを画素単位動きベクトルとして割り当てることを特徴とする請求項2記載の動きベクトルの生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29044397A JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29044397A JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11112940A JPH11112940A (ja) | 1999-04-23 |
JP4083266B2 true JP4083266B2 (ja) | 2008-04-30 |
Family
ID=17756104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29044397A Expired - Fee Related JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4083266B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60228101D1 (de) | 2001-09-12 | 2008-09-18 | Nxp Bv | Bewegungsschätzung und/oder kompensation |
JP4198608B2 (ja) | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
EP1592251B1 (en) * | 2004-04-30 | 2006-10-25 | Matsushita Electric Industrial Co., Ltd. | Ticker processing in video sequences |
KR100955161B1 (ko) * | 2004-05-04 | 2010-04-28 | 콸콤 인코포레이티드 | 모션 보상된 프레임 레이트 상향 변환을 위한 방법 및 장치 |
KR100913260B1 (ko) | 2004-07-01 | 2009-08-21 | 콸콤 인코포레이티드 | 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 |
JP2008507915A (ja) | 2004-07-20 | 2008-03-13 | クゥアルコム・インコーポレイテッド | 映像圧縮のための符号器補助式フレーム速度アップコンバージョンのための方法及び装置 |
US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
JP2006115470A (ja) | 2004-09-16 | 2006-04-27 | Ntt Docomo Inc | 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム |
JP4359223B2 (ja) | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置 |
JP4887727B2 (ja) | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
JP4956239B2 (ja) * | 2007-03-13 | 2012-06-20 | 三洋電機株式会社 | フレームレート変換装置および映像表示装置 |
WO2008120330A1 (ja) * | 2007-03-28 | 2008-10-09 | Pioneer Corporation | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
US8159605B2 (en) | 2007-07-13 | 2012-04-17 | Fujitsu Limited | Frame interpolating apparatus and method |
JP4882948B2 (ja) | 2007-10-04 | 2012-02-22 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5245783B2 (ja) | 2008-12-09 | 2013-07-24 | 富士通株式会社 | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 |
JP4543116B1 (ja) | 2009-03-10 | 2010-09-15 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
JP5199196B2 (ja) * | 2009-08-04 | 2013-05-15 | 日本電信電話株式会社 | 動画像復号方法,動画像復号装置および動画像復号プログラム |
-
1997
- 1997-10-07 JP JP29044397A patent/JP4083266B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11112940A (ja) | 1999-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
JP4083266B2 (ja) | 動きベクトルの生成方法および装置 | |
US5689305A (en) | System for deinterlacing digitally compressed video and method | |
US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
CN100417188C (zh) | 块模式自适应运动补偿 | |
EP0883298A2 (en) | Conversion apparatus for image signals and TV receiver | |
JP4092778B2 (ja) | 画像信号の方式変換装置及びテレビジョン受像機 | |
JPH02285816A (ja) | 適応型フレーム間予測符号化方法及び復号方法 | |
JP4119092B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
US8411751B2 (en) | Reducing and correcting motion estimation artifacts during video frame rate conversion | |
JPH0884293A (ja) | 変換アーチファクトの減少方法及び装置 | |
US20050110902A1 (en) | De-interlacing apparatus with a noise reduction/removal device | |
JP2006270823A (ja) | 画像レート変換方法及び画像レート変換装置 | |
US6930728B2 (en) | Scan conversion apparatus | |
JP2009010492A (ja) | 画像復号化装置及び画像変換回路 | |
Zhang et al. | A spatio-temporal auto regressive model for frame rate upconversion | |
JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
US6243140B1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion | |
JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
KR20020067192A (ko) | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 | |
JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
US20040066466A1 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
JPH0546155B2 (ja) | ||
JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
JP5300568B2 (ja) | 映像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080213 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
LAPS | Cancellation because of no payment of annual fees |