JP2000134585A - 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 - Google Patents

動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Info

Publication number
JP2000134585A
JP2000134585A JP30214798A JP30214798A JP2000134585A JP 2000134585 A JP2000134585 A JP 2000134585A JP 30214798 A JP30214798 A JP 30214798A JP 30214798 A JP30214798 A JP 30214798A JP 2000134585 A JP2000134585 A JP 2000134585A
Authority
JP
Japan
Prior art keywords
motion vector
block
frame
vector
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30214798A
Other languages
English (en)
Inventor
Yasuhiro Hirano
裕弘 平野
Kazuo Ishikura
和夫 石倉
Masahito Sugiyama
雅人 杉山
Mitsuo Nakajima
満雄 中嶋
Yasutaka Tsuru
康隆 都留
Takaaki Matono
孝明 的野
Haruki Takada
春樹 高田
Takashi Kanehachi
孝至 兼八
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP30214798A priority Critical patent/JP2000134585A/ja
Publication of JP2000134585A publication Critical patent/JP2000134585A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 画質劣化の少ない動き補正型のフレ−ム数変
換回路を提供する。 【解決手段】 IP変換部1で順次走査に変換された入
力画像信号S2と、遅延部2で遅延された1フレーム前
の入力画像信号S3とに基づいて、動きベクトル生成部
3で画素毎の動きベクトルPVを生成し、この動きベク
トルPVを利用して、動き補正内挿フレーム生成部4で
内挿フレームSMCを生成し、バッファメモリ5を利用
して、上記入力画像信号S2と内挿フレームSMCを選
択的に出力することによって、フレーム数を増加した画
像信号を得る。上記動きベクトル生成部3は、静動ブロ
ック判別部31と代表ベクトル設定部32の他に、再探
索部33、特異ベクトル修正・平滑部34、ミニブロッ
ク分割探索部35を有し、各画像ブロックでの動きベク
トルの誤設定を回避している。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像の動きベクトル
決定方法、画像信号のフレ−ム数変換方法および変換回
路に係り、特に、入力画像信号を動き補正信号処理によ
ってフレ−ム周波数の高い順次走査画像信号に変換する
動き補正型のフレ−ム数変換方法と変換回路、これに適
した動きベクトルの決定方法、および、これを利用した
画像表示装置に関する。
【0002】
【従来の技術】近年、マルチメディア化の進展に伴い、
情報家電端末機能を備えたテレビジョン受像機では、テ
レビジョン信号とPC画像信号のように画像フォ−マッ
トの異なる種々の信号表示が必要とされる。また、表示
画像の高画質化や平面ディスプレイ装置に対応するため
に、順次走査による画像表示が要求され、端末装置の画
像信号処理部に、方式の異なる各種の入力映像信号を端
末装置の画像表示部に固有のフォーマットに変換するた
めのフレーム数変換機能や、飛び越し走査(インターレ
ース)の入力画像信号を順次走査画像信号に変換する機
能が必要になる。
【0003】フレ−ム数を変換するために、同一コマ
(画像フレーム)の繰り返しやコマ落し等の単純な信号
処理を行った場合、動き画像において滑らかさが損なわ
れるモーションジャダー妨害などの画質劣化が発生する
ことが知られている。また、上記妨害を回避する方法と
して、動き補正型のフレーム数変換が知られている。動
き補正型のフレーム数変換は、前後2つのの画像フレー
ムについて、フレーム内の画像の位置を動きベクトルに
従って移動させた後、内挿フレームの画像信号を生成す
るものであり、信号処理の方法や回路構成に関して、既
に多くの提案がなされている。例えば、特開平7−17
0496号公報には、動きベクトルを効率よく探索する
ための技術が、また、特開平7−336650号公報に
は、動き補正に固有の動画エッジ周縁部における解像度
低下を回避する技術が提案されている。しかしながら、
前者は動き検出精度に、また、後者は信号処理の複雑さ
に問題があり、コストおよび画質の面で満足できるフレ
−ム数変換技術とは言えない。
【0004】動き補正のフレ−ム数変換では、動きベク
トルに誤検出が発生すると、変換後の画像の一部が不適
切な画像に置き換えられる孤立点的な劣化や、動画のエ
ッジ部がフリッカしたり動きが不自然に見える劣化が発
生する。従って、高画質の変換画像を得るためには、動
きベクトルの検出を高精度で、かつ、できるだけ少ない
演算量で達成する必要である。
【0005】
【発明が解決しようとする課題】本発明の目的は、高画
質の変換画像を出力できる動き補正型のフレ−ム数変換
方法および変換回路を提供することにある。本発明の他
の目的は、フレーム数変換に必要な高精度の動きベクト
ル検出方法および装置を提供することにある。本発明の
更に他の目的は、外部から入力された動画像を情報処理
用の表示画面に高画質で表示可能な画像表示装置を提供
することにある。
【0006】
【課題を解決するための手段】上述した目的を達成する
ために、本発明では、入力画像フレーム内で注目ブロッ
クの抽出位置を順次に切り替えながら、各注目ブロック
毎に静止ブロックか動画ブロックかを識別し、上記注目
ブロックが静止ブロックの場合は、静止状態を示す動き
ベクトルを割り当て、上記注目ブロックが動画ブロック
の場合は、既に判明している隣接ブロックの動きベクト
ルの中から上記注目ブロックに与えるべき代表ベクトル
を選択した後、上記代表ベクトルの予測誤差と方向で定
まる探索領域で上記注目ブロックの動きベクトルを再探
索し、上記再探索された動きベクトルと隣接ブロックの
動きベクトルとの相関が所定レベル以上の場合は、上記
再探索された動きベクトルを割り当て、上記相関が所定
レベルより低い場合は、上記隣接ブロックとの相関の高
い動きベクトルに修正したものを割り当てることを特徴
とする。
【0007】更に具体的に述べると、上記代表ベクトル
の選択では、例えば、現フレーム内で注目ブロックより
前に位置した隣接ブロックと、前フレーム内で上記注目
ブロックより後に位置した隣接ブロックとを参照ブロッ
クとし、これらの参照ブロックがもつ動きベクトルのう
ちで予測誤差が最小のものを代表ベクトルとする。ま
た、上記動きベクトルの再探索では、代表ベクトルの予
測誤差をチェックし、上記予測誤差が所定値以下の場合
は、上記代表ベクトルをそのまま再探索結果として出力
し、上記予測誤差が所定値を超えた場合は、例えば、上
記代表ベクトルを起点として、該代表ベクトルの水平方
向成分が垂直方向成分より大きい時は横長形、水平方向
成分と垂直方向成分がほぼ同じ時は正方形、水平方向成
分が垂直方向成分より小さい時は縦長形で、上記予測誤
差が大きくなるに従って拡大された探索領域においてブ
ロックマッチング処理により行う。上記動きベクトルの
修正では、注目ブロックの上下左右の隣接ブロックが有
する動きベクトルのうちで予測誤差が最小となる動きベ
クトルを選択し、該動きベクトルに基いて、例えば、上
記注目ブロックの左上、右上、左下、右下に位置する隣
接領域のうち動きベクトルの相関が最も高い領域を選択
し、該領域に含まれる複数のブロックの平均的な動きベ
クトルを求める。
【0008】本発明による画像信号のフレーム数変換回
路は、各入力画像フレームについて画素単位の動きベク
トルを生成する動きベクトル生成部と、上記動きベクト
ルを利用して、現在の入力画像フレームと1フレーム前
の入力画像信号とから動き補正内挿フレームを生成する
内挿フレーム生成部とを有し、入力画像フレームと上記
内挿フレームとを選択的に組み合わせることによって、
入力画像のフレ−ム周波数よりフレ−ム周波数の高い出
力画像信号を得るようになっており、上記動きベクトル
生成部が、入力画像フレームを分割して得られる複数の
画像ブロックについて、注目ブロック毎に静止ブロック
か動画ブロックかを識別する第1手段と、上記注目ブロ
ックが動画ブロックの場合に、既に判明している隣接ブ
ロックの動きベクトルの中から上記注目ブロックに与え
るべき代表ベクトルを選択する第2手段と、上記代表ベ
クトルの予測誤差と方向で定まる探索領域で上記注目ブ
ロックの動きベクトルを再探索する第3手段と、上記再
探索された動きベクトルと隣接ブロックの動きベクトル
との相関をチェックし、相関の低い特異ベクトルについ
ては上記隣接ブロックと相関の高い動きベクトルに修正
する第4手段と、上記第4手段で処理された動きベクト
ルに基いて、上記注目ブロックの画素単位の動きベクト
ルを生成する第5手段とからなることを特徴とする。
【0009】上記第5手段は、例えば、予測誤差が設定
値以下の注目ブロックでは、ブロック内の各画素に対し
て該注目ブロックの動きベクトルを割り当て、予測誤差
が設定値以上の注目ブロックでは、該ブロックを水平・
垂直方向に複数のミニブロックに分割し、予測誤差が所
定値以下のミニブロック内の各画素に対しては、上記注
目ブロックの動きベクトルを割り当て、予測誤差が所定
値以上のミニブロック内の各画素に対しては、該注目ブ
ロックと隣接ブロックの動きベクトルのうちで内挿フレ
−ム上での誤差成分が最小な動きベクトルを割り当て、
動きのない画素に対しては、値0の動きベクトルを割り
当てる。本発明の1実施例によれば、各注目ブロック毎
の動きベクトルの値は、ブロック位置と対応してメモリ
に記憶され、上記第2手段が、前述した隣接ブロックの
動きベクトルを上記メモリから読み出すようにしてい
る。
【0010】本発明による画像信号のフレ−ム数変換回
路の他の特徴は、上述した第1第〜第5手段の他に、更
に、前記動きベクトル生成部で画像ブロック毎に生成さ
れる動きベクトルのうち、動き速度が所定値以上となる
動きベクトルの発生頻度を計測し、上記発生頻度が所定
値を超える高速度の動きフレームを検出するための手段
を有し、上記高速度の動きフレームについては、前記内
挿フレーム生成部が、動き補正処理を省略して内挿フレ
ームを生成するようにしたことにある。
【0011】本発明による画像信号のフレ−ム数変換回
路の更に他の特徴は、上記検出手段に代えて、あるいは
これに加えて、現在の入力画像フレームと1フレーム前
の入力画像フレームとを比較してシーンチェンジ・フレ
ームを検出するための手段を有し、上記シーンチェンジ
・フレームについては、前記内挿フレーム生成部が、動
き補正処理を省略した内挿フレームを生成するようにし
たことにある。
【0012】本発明は、例えばMPEGのように動き補
償予測符号化された信号に対しても有効な画像信号のフ
レ−ム数変換回路を提供する。上記フレ−ム数変換回路
は、動き補償予測符号化された信号を復号処理し、画像
信号系列と動きベクトル情報とに分離する復号手段と、
上記画像信号系列からなる各入力画像フレームについて
画素単位の動きベクトルを生成する動きベクトル生成部
と、上記動きベクトルを利用して、現在の入力画像フレ
ームと1フレーム前の入力画像信号とから動き補正内挿
フレームを生成する内挿フレーム生成部とを有し、上記
動きベクトル生成部が、入力画像フレームを分割して得
られる複数の画像ブロックについて、注目ブロック毎に
静止ブロックか動画ブロックかを識別する第1手段と、
上記注目ブロックが動画ブロックの場合に、上記復号手
段から出力された動きベクトル情報を利用して上記注目
ブロックに代表ベクトルを与える第2手段と、上記代表
ベクトルの予測誤差と方向で定まる探索領域で上記注目
ブロックの動きベクトルを再探索する第3手段と、上記
再探索された動きベクトルと隣接ブロックの動きベクト
ルとの相関をチェックし、相関の低い特異ベクトルにつ
いては上記隣接ブロックと相関の高い動きベクトルに修
正する第4手段と、上記第4手段で処理された動きベク
トルに基いて、上記注目ブロックの画素単位の動きベク
トルを生成する第5手段とからなることを特徴とする。
上記第2手段は、例えば、上記復号手段から出力された
動きベクトル情報に含まれるPピクチャとBピクチャの
動きベクトルを補正処理に必要な1フレ−ム間の動きベ
クトルに変換するための手段と、上記変換された動きベ
クトルを前記注目ブロックに隣接する参照ブロックの動
きベクトルとして用いて、前記代表ベクトルを決定する
ための手段とからなる。
【0013】以上に述べた本発明の構成によれば、従来
技術に較べて少ない演算量で、高精度に画像の動きベク
トルを生成できる。また、動き速度が所定値以上の動き
ベクトルの発生頻度を計測し、モ−ションジャダ−妨害
が目立ちやすい画像に限定して動き補正内挿フレ−ムの
信号処理を行うようにした場合、動き補正処理に固有の
画質劣化を回避でき、シ−ンチェンジ・フレ−ムのよう
に特定の画像条件下では動きベクトル生成処理を中止す
るようにすれば、演算量を更に低減できる。
【0014】
【発明の実施の形態】本発明の第1の実施例について、
図1〜図11を参照して説明する。図1は、飛び越し走
査の入力画像信号S1をフレーム数の多い順次走査の出
力画像信号S4に変換する本発明のフレーム数変換回路
のブロック構成図であり、ここでは、1例として、図示
しないA/D変換器によってディジタル化された50H
zの入力画像信号を60Hzの出力画像信号に変換する
場合について説明する。
【0015】飛び越し走査の入力画像信号S1(輝度信
号成分と色差信号成分)は、IP(Interlace−Progres
s)変換部1に入力され、順次走査信号系列の画像信号
(輝度信号成分と色差信号成分)S2に変換される。2
は、画像信号をS2を1フレ−ム期間遅延させるための
1フレ−ム遅延部2であり、これによって、現在入力中
の画像信号S2と並列的に前フレ−ムの画像信号系列S
3が得られる。これら2つの画像信号S2、S3は、動
きベクトル生成部3と動き補正内挿フレ−ム生成部4に
それぞれ並列的に供給され、上記動き補正内挿フレ−ム
生成部4から出力された内挿フレームの画像信号SMC
と現在フレームの画像信号S2とが、バッファメモリ5
に選択的に書き込まれる。
【0016】動きベクトル生成部3は、本発明の中核を
なすものであり、後述するように、代表ベクトル設定、
再探索、特異ベクトル修正/平滑、ミニブロック分割探
索のための信号処理を行い、画素単位の高精度の動きベ
クトルPVを生成する。動き補正内挿フレ−ム生成部4
は、動きベクトル生成部3から出力された画素単位の動
きベクトルPVに基づいて、動き補正フレ−ム数変換に
必要な内挿フレ−ムの画像信号系列SMCを生成する。
50Hzから60Hzへのフレーム数変換は、後で詳述する
ように、5フレーム分の入力画像を繰り返し単位とし
て、各繰り返し単位における第1入力フレームを変換後
の第1フレーム、第1−第5の5つの入力フレームと次
の繰り返しにおける第1入力フレームとから生成された
5つの内挿フレームを変換後の第2−第6フレームとし
てバッファメモリ5に書き込み、これらを60Hzの固定
周期で読み出すことによって達成できる。6は制御部で
あり、上述した動きベクトル生成部3、動き内挿フレー
ム生成部4の動作に必要な制御信号の他に、バッファメ
モリ5のR/W信号を生成する。
【0017】図2は、動きベクトル生成部3の構成を示
すブロック図である。動きベクトル生成部3は、静/動
ブロック判別部31と、代表ベクトル設定部32と、再
探索部33と、特異ベクトル修正・平滑部34と、ミニ
ブロック分割探索部35と、各ブロック毎の動きベクト
ルの値を記憶するためのメモリ36と、制御部6aから
なっている。上記動きベクトル生成部3の機能をフロー
チャートで示すと図3のようになる。
【0018】静/動ブロック判別部31は、現フレーム
と前フレームをそれぞれ所定画素数(例えば、水平8画
素×垂直8ライン)のブロックに分割し、各ブロック毎
のフレーム差分信号を算出することによって、静止ブロ
ックか動画ブロックかを判定する(ステップ110)。
各画像フレームにおけるブロック抽出は、例えば、それ
ぞれ1水平ライン分の画素記憶容量をもつ8本のシフト
レジスタを直列に接続し、各シフトレジスタの最後の8
画素を並列的に取り出す構成の部分画像抽出回路によっ
て達成できる。上記部分画像抽出回路によれば、画素を
並列出力する8×8画素のウインドウに着目すると、画
像フレームにおける第1ラインの第1画素が第6シフト
レジスタの最終位置に到達した時点で、他の第1−第5
シフトレジスタの最終位置にはそれぞれ第2−第6ライ
ンの第1画素が到達しているため、上記ウインドウには
画像フレーム左上に位置した8×8画素の第1ブロック
が現れており、8クロック後には、上記第1ブロックの
右側に隣接した第2ブロックが現れることになる。
【0019】従って、現フレ−ムの信号系列S2と前フ
レ−ムの信号系列S3に対応した2つの部分画像抽出回
路を用意し、それぞれの輝度信号成分を上記部分画像抽
出回路に並列的に供給し、8クロック周期で上記ウイン
ドウからの出力画素を比較することによって、フレーム
間のブロック差分信号成分を抽出することができるた
め、この信号レベルが設定値±Tha未満の場合は静止
ブロック、それ以外は動きブロックと判定し、判定結果
を静/動識別信号MSB(静止ブロックは0、動画ブロ
ックは1)として出力する。なお、1フレーム間の差分
信号成分がゼロの完全静止の場合、通常の判定結果とは
区別して次段の代表ベクトル設定部32に通知するよう
にしてもよい。
【0020】代表ベクトル設定部32は、静/動ブロッ
ク判定部31で判定したブロック(以下、注目ブロック
という)が動ブロックの場合に、現フレームにおいて上
記注目ブロックと隣接する処理済のブロック、または前
フレームにおいて上記注目ブロックに隣接するブロック
の動きベクトルを参照し、予測誤差が最小となる動きベ
クトルを上記注目ブロックの代表ベクトルとして選択す
る(ステップ130)。 代表ベクトル設定部32から
は、上記代表ベクトルを示す信号TMVと予測誤差信号
を示す信号TERが出力され、次の再探索部33に供給
される。内、上記注目ブロックが静ブロックの場合は、
代表ベクトルの値は0に設定され、出力信号TMVとTE
Rは共に0となる。
【0021】図4は、上述した注目ブロックB22とこ
れに隣接する参照ブロックとの関係を示す。これらのブ
ロックは、時間軸上では、B11、B12、B1
3..、B21、B22、B23、..、B31、B3
2、B33、..の順序で処理されている、注目ブロッ
クB22より前に位置した斜線で示した参照ブロックB
11、B12、B13、B21は、現フレ−ムで既に動
きベクトルを生成済みのブロックであり、注目ブロック
以降に位置した参照ブロックB23、B31、B32、B3
3は、前フレ−ムにおける隣接ブロックである。代表ベ
クトル設定部32は、メモリ36が記憶している各ブロ
ックの動きベクトル値の中から、上記参照ブロックに対
応する動きベクトルRMVを取り込み、次式によって各
参照ブロック毎の予測誤差TERを算出する。
【0022】
【数1】 TER=Σ|S2( x, y )−S3( x + RMVx, y + RMVy )| ・・・(1) ここで、S2(x, y)は注目ブロック位置(x, y)におけ
る現フレ−ムの信号、S3(x + RMVx, y + RMVy)は、
動きベクトルRMVのx方向成分RMVx、y方向成分RMVy
だけ移動させた位置での前フレ−ムの信号、記号||は
その絶対値、Σはブロック内の画素についての総和を意
味している。代表ベクトル設定部32では、注目ブロッ
クに隣接する複数の参照ブロックの中から、この予測誤
差が最小となる参照ブロックを選択し、選択された参照
ブロックの動きベクトルの値を上記注目ブロックの代表
ベクトルTMV、その時の予測誤差をTERとして出力
する。
【0023】再探索部33は、代表ベクトルTMVを起
点にして予測誤差TERとベクトル方向で決まる所定の
探索領域において、ブロックマッチングによる動きベク
トルの再探索を行い、探索された動きベクトルの値を信
号BMVとして出力する(ステップ140)。尚、予測誤
差TERが設定閾値(例えば、画素換算で16程度)以
下の場合は、代表ベクトルTMVが注目ブロックに妥当
な値であると判断し、上述した再探索処理を省略し、代
表ベクトルTMVの値をブロック動きベクトルBMVと
して出力する。
【0024】図5は、予測誤差TERの値が設定値以上
の場合に実行される代表ベクトルTMVを起点とした再
探索動作の概略を示す。同図(a)は、予測誤差による
探索範囲の設定方法の一例を示す。予測誤差が小(例え
ば、16〜20)の場合は実線で囲まれた領域、中(例
えば20〜28)の場合は点線で囲まれた領域、大(例
えば28以上)の場合は太い点線で囲まれた領域の如
く、予測誤差TERが大きくなるのに従って探索領域を
拡大する。
【0025】同図(b)は、代表ベクトルTMVの向き
に応じた探索領域の設定方法の1例を示す。例えば、代
表ベクトルのx方向成分Vxとy方向成分Vyを比較した
時、|Vx| >|Vy|となって水平方向に近い動きの場合は横
長形210、|Vx|≒|Vy|となって斜め方向の動きの場合
は正方形220、|Vx| < |Vy|となって垂直方向に近い
動きの場合は縦長形230の形状で探索領域を設定し、
各探索領域でブロックマッチングによる再探索を行い、
予測誤差が最小となる動きベクトルを注目ブロックの動
きベクトルBMVとして出力する。
【0026】特異ベクトル修正・平滑部34は、再探索
部33から出力された注目ブロックの動きベクトルBMV
が、隣接ブロックの動きベクトルと比較して相関が低い
特異ベクトルとなっていた場合に、これを妥当な動きベ
クトルに修正した上で、補正動きベクトルBMVCとして出
力する(ステップ150)。
【0027】図6は、上記特異ベクトル修正・平滑部3
4の動作を説明するためのものであり、同図(a)は特
異ベクトルの検出と修正を示す。注目ブロックB22の
動きベクトルBVが、これに隣接する上下左右のブロッ
クB12、B21、B23、B32の動きベクトルBV
1〜BV4のいずれとも異なる場合は、現在の動きベク
トルBVを特異ベクトルと判断する。この場合は、上下
左右の隣接ブロックの動きベクトルに対して、式(1)
に示した演算によって予測誤差を算出し、予測誤差が最
小となる動きベクトルBViで上記注目ブロックの動き
ベクトルBVを置き換える。例えば、上側に隣接するブ
ロックB12の動きベクトルBV1が最小の予測誤差と
なった場合、注目ブロックの動きベクトルBVを上記B
V1に置き換える。
【0028】同図(b)は、特異ベクトル修正・平滑部
34で行う動きベクトルの平滑化を示す。白抜きブロッ
クで示した注目ブロックB22をコーナーとして、左上
隣接領域241、右上隣接領域242、左下隣接領域2
43、右下隣接領域244の4種類の隣接領域につい
て、その領域に含まれる各ブロックの動きベクトルの相
関を算出する。この場合、例えば、動きベクトル相互の
差分成分の絶対値和が小さければ小さいほど「相関が高
い」ものと定義し、上記何れかの領域で算出された相関
値が予め決められた設定閾値を越えた場合、上記注目ブ
ロックに与えた動きベクトルBViを、最も高い相関値
を示す領域内の3つのブロックの平均的な動きベクトル
で置き代える。例えば、左上隣接領域241で相関が最
も高かった場合、注目ブロックB22の動きベクトルB
Viを動きベクトルBV1、BV2、BV3の平均値に置き代え
ることによって、隣接ブロックと注目ブロックの動きベ
クトルを平滑化する。上述した特異ベクトルの修正、平
滑化に必要な隣接ブロックの動きベクトルは、メモリ3
6から取り込む。
【0029】上記特異ベクトル修正・平滑部34で得ら
れた最終的な動きベクトルBMVCと予測誤差ERは、
次段のミニブロック分割探索部35に供給される。ま
た、上記最終的な動きベクトルBMVC は、メモリ3
6内の上記注目ブロックと対応した記憶位置に記憶さ
れ、後続する新たな注目ブロックでの動きベクトルの決
定処理に利用される。動きベクトル生成部3の最終段と
なるミニブロック分割探索部35は、上記動きベクトル
BMVCと予測誤差ERを利用して、注目ブロック内の各画
素毎の動きベクトルPVを生成する(ステップ16
0)。
【0030】図7は、上記ミニブロック分割探索部35
の動作の説明図である。同図(a)は、注目ブロックの
ミニブロックへの分割と、分割探索に使用する参照ブロ
ックを示す。注目ブロックB22は、水平・垂直方向に
細分化され、例えば、水平2画素×垂直2ラインの複数
のミニブロックに分割され、各ミニブロック毎に予測誤
差適応の探索処理を行うことによって、ミニブロック内
の画素の動きベクトルが生成される。
【0031】同図(b)は、予測誤差適応の探索処理を
行う場合の特性の一例を示す。ブロック予測誤差ERB
(図2では記号ERで表示)が小さい時はミニブロック
予測誤差ERMの許容閾値を大きくし、ERBが大きく
なるに従ってERMが漸次小さくなるような特性で抽出
したミニブロックに対して後述の探索処理を行う。これ
以外の時には、ミニブロック内の画素に最終的な動きベ
クトルBMVCを割り当てる。また、探索処理を行うミ
ニブロックでは、動き補正処理で生成される内挿フレ−
ム上での誤差信号が最小となる動きベクトルで各画素の
動きベクトルを生成する。
【0032】同図(c)は、動き補正処理でつくる内挿
フレ−ムと前後のフレームとの関係を示す。ここでは、
内挿フレ−ム311を時間軸上で前フレ−ム301から
距離m、現フレ−ム302から距離nの位置に生成する
場合を考える。内挿フレ−ム上の位置A( x, y )の信号
は、動きベクトルVに基いて生成したMCベクトルVpr
(Vpr= V × m /(m+n) )で移動させた位置Ap(xpr, y
pr)(但し,xpr = x+Vprx, ypr = y+Vpry)の前フレ−
ム信号(SMpと略称する)と、MCベクトルVct(Vct =-
V × n /(m+n) )で移動させた位置Ac(xct, yct)
(但し、xct = x+Vctx,yct = y+Vcty)の現フレ−ム信
号(SMcと略称する)との平均値で生成する。 動きベク
トルが正確な場合には、上記2つの信号SMp、SMcは略同
じ値となるため、両信号の差分成分によって動きベクト
ルの精度をある程度予測できる。
【0033】ミニブロック探索処理では、図7(a)に
示した、現ブロックB22の動きベクトルBV0と、隣
接ブロックの動きベクトルBV1〜BV8に対して、次
式(2)に示す演算によって予測誤差ERMを算出す
る。
【0034】
【数2】 ERM = Σ|SMc−SMp| ・・・(2) ここで、SMcは動き補正した現フレ−ムの信号、SM
pは動き補正した前フレ−ムの信号、記号||は絶対
値、記号Σはミニブロック内の画素についての総和を意
味しており、探索部35では、上記ERMが最小となる
動きベクトルで各ミニブロック内の画素の動きベクトル
を生成する。なお、静/動ブロック判別部が完全静止と
判定したブロック内の各画素に対しては、動きベクトル
0を割り当てればよい。
【0035】次に、図8〜図10を参照して、動き補正
内挿フレ−ム生成部4の構成と動作について説明する。
図8は、動き補正内挿フレ−ム生成部4の構成の一例を
示す。41は、動きベクトル生成部3から出力される画
素単位の動きベクトルPVに基づいて、前述した動き補
正処理に必要なMCベクトルVctとVprを生成するMCベ
クトル生成部である。
【0036】例えば、50Hzの入力画像信号を60H
zの画像信号に変換する場合、図9に示すように、5フ
レーム分の入力画像から6フレーム分の出力画像を生成
する動作を繰り返せばよい。図9において、F1、F
2、...F5、F1は、入力順に示した50Hzのフ
レ−ムであり、CF1、CF2、...CF6、CF1
は、出力順に示した60Hzのフレームを示す。図から
明らかなように、各繰り返し動作において、出力画像の
第1フレームCF1は、入力画像の第1入力フレームF
1をそのまま出力し、出力画像の第2フレームCF2か
ら第6フレームCF6は、それぞれ前後2つの入力フレ
ームから生成した内挿フレ−ムを出力すればよい。入力
画像の5フレーム期間に6フレーム分の出力画像を等間
隔で発生させるために、第2フレ−ムCF2となる内挿
フレ−ムは、時間軸上における前フレ−ムからの距離:
m=5、現フレ−ムからの距離:n=1、第3フレ−ム
CF3となる内挿フレ−ムは、m=4、n=
2、....第6フレ−ムCF6となる内挿フレ−ム
は、m=1、n=5とする。MCベクトル生成部41
は、このようにm、nの値を周期性をもって変化させな
がら、Vpr=PV × m/(m+n)、Vct=−P
V × n/(m+n)のMCベクトルを生成する。
【0037】図8に戻って、42は、現フレームの信号
S2をMCベクトルVctで位置を移動させ、動き補正
信号SMcを生成するための現フレ−ムMC信号生成
部、43は、前フレームの信号S3を動き補正ベクトル
Vprで位置を移動させ、動き補正信号SMpを生成す
るための前フレ−ムMC信号生成部である。これらの処
理では、内蔵する画像メモリの読み出しアドレスをMC
ベクトルVpr、Vctに相当する位置だけずらしてデ
ータを読み出すことにより、MCベクトルに応じて位置
移動した信号SMcとSMpを生成する。これら2つの
動き補正信号SMcとSMpは、加算器44で加算平均
することによって、双方向動き補正内挿フレ−ム信号S
Mが生成され、また、減算器45で一方から他方を減算
することによって、内挿フレ−ム上での誤差成分MCE
Rが生成される。50は、上記誤差成分MCERの値に
応じて、入力信号S2、S3、SMのいずれかを選択的
に出力するメディアンフィルタ部であり、これによっ
て、図9に示したCF2〜CF6の順序で動き補正の内
挿フレ−ム信号系列SMCが得られる。6bは、制御信
号CT2に応じて上記各部の動作に必要な制御信号を生
成する制御部であり、これは、図1に示した制御部6の
一部として構成してもよい。
【0038】図10は、メディアンフィルタ部50の1
実施例を示し、同図(a)はブロック構成図、(b)は
その動作条件の一例を示す。同図(a)において、51
は、入力信号SM、S2、S3の何れかを選択して、信
号SMCとして出力する選択部、52a、52bは、現
画素の直前、直上の画素を参照画素として、これら参照
画素に対して、信号S2と出力信号SMCとの誤差成分
ERC、および信号S3と出力信号SMCとの誤差成分E
RPを算出する誤差評価部、53は、内挿フレ−ム上で
の誤差成分MCERと、上記誤評価部で算出された誤差
成分ERC、ERPとの値に応じて、同図(b)に示す
判定条件に従って、選択部51に選択信号SLを与える
判定部である。この実施例では、MCERが設定閾値t
h(例えば、32レベル)以下の場合は、動き補正の内
挿フレ−ム信号系列SMを出力し、MCERが設定値を
越えた場合は、ERC ≦ ERPならば信号S2を、ま
た、ERC>ERPならば信号S3を出力するように選
択信号SLを設定している。
【0039】選択部51は、判定部53から与えられる
上記選択信号SLに応じて、入力信号SM、S2、S2
の何れかを選択して出力信号SMCとする。これによっ
て、全く別の画像に置き換わるような孤立点的劣化や動
画エッジ周縁部がフリッカする劣化など、動き補正処理
に固有の画質劣化を抑圧した形で内挿フレ−ム信号系列
SMCを生成できる。
【0040】図11は、バッファメモリ部5における画
像フレームの書き込み、読み出し動作を示す。50Hz
のフレ−ム順の信号系列S2は、5フレームを繰り返し
単位として、各繰り返しの第1フレームの信号がメモリ
5に選択的に書き込まれ、内挿フレ−ムの信号系列SM
Cは、生成した全てのフレ−ム2〜6の信号がメモリ5
に書き込まれる。一方、メモリ5からの読み出しは、6
0Hzのフレ−ムクロックで、第1出力フレームCF1
は50Hz入力信号S2の第1フレ−ム、第2〜第6出
力フレームCF2〜CF6は内挿フレーム2〜6となる
ように6フレ−ム周期で繰り返し行う。これによって、
フレ−ム数をアップした60Hz順次走査の画像信号系
列S4が得られる。
【0041】以上に述べた如く、本発明の第1の実施例
によれば、動きベクトル生成に要する演算量を削減し
て、動き補正処理に起因する画質劣化の少ないフレ−ム
数変換回路を実現できる。
【0042】次に、図12〜図13を参照して、本発明
の第2の実施例について説明する。本実施例は、動き補
正内挿フレ−ムの生成をモ−ションジャダ−妨害が目立
ちやすい速度の動きに限定する場合に好適である。図1
2は、本実施例によるフレーム数変換回路のブロック図
であり、図1に示した第1実施例の構成にベクトル分布
計測部8を追加した構成となっている。ベクトル分布計
測部8は、動きベクトル生成部3で生成したブロック単
位の動きベクトルBMVの1フレ−ム期間における発生
分布を計測し、モ−ションジャダ−妨害が目立ちやすい
速度の時は“0”、目立ちにくい速度の時は“1”の、
動き補正制御信号MCFを生成する。
【0043】一般に、モ−ションジャダ−妨害は、視線
が追従できる速度の動き(例えば、画面幅/1秒、画面
高/1秒程度までの速度)で目立ちやすい。これは、横
軸に動きベクトルの水平成分Vxの絶対値、縦軸に垂直成
分Vyの絶対値をとって図示すると、図13の点線で囲ま
れた領域Aでの動きベクトルに相当する。上記領域Aの
外側領域Bでの動きベクトルは、動きが速いため、モ−
ションジャダ−妨害は殆ど検知されない。そこで、ベク
トル分布計測部8では、上記領域Aと領域Bでの動きベ
クトルの発生頻度を1フレ−ム期間にわたって計測し、
例えば、領域Bでの発生頻度が25%未満の場合は、動
き補正処理が必要と判断して出力信号MCFを“0”に
し、25%以上の場合は、動き補正処理は不要と判断し
て出力信号MCFを“1”にする。制御部6は、上記信
号MCFが“1”の場合は、動き補正内挿フレ−ム生成
部4が動き補正処理を行わずに現フレ−ムの信号S2を
出力するように制御し、MCFが“0”の場合は、動き
補正内挿フレ−ム生成部4が第1実施例と同様に動作す
るように制御する。
【0044】本実施例によれば、モ−ションジャダ−妨
害の目立ちやすい速度に限定して動き補正処理を行うた
め、動きベクトルの生成に要する演算量を大幅に削減
し、かつ、動き補正処理に起因する画質劣化を更に抑圧
した画像信号のフレ−ム数変換回路が実現できる。
【0045】図14〜図15は、特に、シ−ンチェンジ
領域での動きベクトル生成の演算量を抑圧するに好適な
本発明の第3の実施例を示す。図14は、本実施例によ
るフレーム数変換回路のブロック構成図であり、図12
に示した第2実施例の構成に、シ−ンチェンジ検出部7
を追加した構成となっている。シ−ンチェンジ検出部7
では、図15に示すように、減算部71によって、現フ
レ−ムの信号S2と前フレ−ムの信号S3の輝度信号成
分との減算演算を行い、1フレ−ム間の差分成分FDを
抽出する。一般に、シ−ンチェンジの領域では、画像の
内容が切り替わるため、差分成分FDの信号レベルは比
較的大きな値を持つ。そこで、上記差分成分信号FD
を、2値量子化部72によって比較的高いレベルの閾値
±Thbで画素毎に2値量子化し、閾値±Thb未満の
画素では出力信号FQ を“0”、閾値を越える画素で
は出力信号FQを“1”にし、1フレ−ム累積部73に
よって、上記信号FQが“1”となる画素数を1フレ−
ム期間にわたって計測し、その累積値AQを出力する。
【0046】74は判定部であり、累積値AQの値が全
画面の半分以上の画素数で、かつ、その発生が1フレ−
ム期間に限られる場合にシ−ンチェンジ発生フレ−ムと
判断して、出力信号SCFを“1”にし、それ以外の場
合は信号SCFに“0”を出力する。その理由は、画面
全体が一様な速度で動く水平パンや上下パンの動きを誤
ってシ−ンチェンジとして検出する誤動作を回避するた
めである。本実施例の場合、制御部6は、シーンチェン
ジ検出部7の出力信号SCFが“1”となるシ−ンチェ
ンジ領域では、動きベクトル生成部3におけるベクトル
生成動作、動き補正内挿フレ−ム生成部4における動き
補正処理による内挿フレ−ム生成動作を中止するように
制御し、上記信号SCFが“0”の場合は、第2実施例
と同様に制御する。
【0047】本実施例によれば、第1、第2の実施例に
較べて、シ−ンチェンジ領域での動きベクトルの生成の
ための膨大な演算量を削減した画像信号のフレ−ム数変
換回路を実現できる。
【0048】図16〜図17は、本発明の第4の実施例
を示す。本実施例では、第1〜第3の実施例で最終段に
必要としていたバッファメモリ部5を省略し、IP変換
部1の直後において、コマ繰り返し処理によってフレ−
ム数を出力画像のフレーム数にアップしておき、以降、
このフレーム数の高い信号系列に対して動きベクトル生
成と動き補正処理を行うようにしている。
【0049】図16は、本実施例によるフレーム数変換
回路のブロック構成図であり、バッファメモリ5を除い
て、図1に示した第1実施例の同様の構成要素と、IP
変換部1の後に設けられたフレ−ム数アップ部81とか
らなっている。上記フレ−ム数アップ部81は、コマ繰
り返し処理によって、入力信号系列をフレ−ム数をアッ
プした出力信号系列に変換するものであり、例えば、5
0Hz−60Hz変換の場合、50Hzの入力信号系列
S2と60Hzの出力信号系列S10との関係は図17
(a)のようになる。
【0050】50Hzフレ−ム順の信号系列S2に対し
て5フレ−ム周期で1フレ−ムのコマ繰り返し処理を行
うことによって、信号系列S2の第1フレ−ムの信号
「1」が2フレ−ム連続し、これに第2〜第5フレ−ム
の信号「2」〜「5」が続く形で60Hzフレ−ム順の
信号系列S10が得られる。本実施例では、上記60H
zフレ−ム順の信号系列S10と、1フレ−ム遅延部2
で1フレ−ム期間遅延させた信号系列S11とを用い
て、以降の動きベクトル生成、動き補正内挿フレ−ム生
成の信号処理を行う。
【0051】信号系列S10、S11と、最終的な出力
信号系列S4との関係を同図(b)に示す。信号系列S
10とS11とが同一の区間(信号系列S10における
フレ−ム1の繰り返し出力期間)では、フレ−ム間差分
成分が0となるため、動きベクトル生成部3が、全ての
動きベクトルに0を出力し、動き補正内挿フレ−ム生成
部4が、現フレ−ムの信号系列S10を出力する。一
方、信号系列S10とS11とが異なるフレ−ムの区間
では、動きベクトル生成部3が、第1実施例と同様の動
作で動きベクトルPVを生成し、動き補正内挿フレ−ム
生成部4が、上記動きベクトルPVに応じた動き補正処
理による内挿フレ−ム信号を生成するため、第1出力フ
レ−ムが信号系列S10の第1フレーム、第2〜第5出
力フレ−ムが内挿フレームからなるフレーム数のアップ
された順次走査の画像信号系列S4が得られる。
【0052】上記第4実施例によれば、第1実施例と同
様に、動きベクトルの生成に要する演算量を大幅に削減
し、かつ、動き補正処理に起因する画質劣化が少ない画
像信号のフレ−ム数変換回路が実現できる。尚、図12
に示したベクトル分布計測部7と、図14に示したシ−
ンチェンジ検出部8の機能は、上記第4実施例の構成に
対しても適用可能なこと明らかである。
【0053】以上の実施例では、順次走査の画像信号系
列で動きベクトルを生成したが、本発明による動きベク
トルの生成は飛び越し走査の画像信号系列に対しても適
用できる。図18〜図20は、飛び越し走査の画像信号
系列に適用した本発明によるフレーム数変換回路の第5
の実施例を示す。図18は、フレーム数変換回路のブロ
ック図であり、飛び越し走査の画像信号系列S1(輝度
信号成分と色差信号成分)と、1フレ−ム遅延部82で
上記信号系列S1を1フレ−ム期間遅延させた信号系列
S20とが、動きベクトル生成部3に入力される。 動
きベクトル生成部3は、前述の第1〜第4実施例と同様
の構成で、静/動ブロック判別、代表ベクトル設定、再
探索、特異ベクトル修正・平滑、ミニブロック分割探索
の信号処理を行い、飛び越し走査信号の1フレ−ム期間
(順次走査信号の2フレ−ム期間に相当する)でミニブ
ロック単位の動きベクトルPVを生成する。尚、ミニブ
ロックのサイズは、水平N画素×垂直Nラインであり、
第1実施例に従えば、N=2である。
【0054】83は、飛び越し走査信号S1、S20を
入力信号として、順次走査信号S21(輝度信号成分と
色差信号成分)を出力するIP変換部であり、このIP
変換部は、従来の動き適応型、あるいは動きベクトルP
Vを利用した動き補正型の何れの構成でも実現できる。
上記順次走査の信号系列S21は、これを1フレ−ム遅
延部2によって順次走査の1フレ−ム期間だけ遅延させ
た信号系列S22と、動きベクトル生成部3から出力さ
れた飛び越し走査の1フレ−ム期間の動きベクトルPV
と共に、FRCベクトル生成部84に入力され、動き補
正フレ−ム数変換に必要な順次走査の1フレ−ム期間の
動きベクトルPVMCが生成され。
【0055】上記FRCベクトル生成部84は、例えば
図19に示すように、ベクトル変換部841とベクトル
修正部842とからなる。ベクトル変換部841は、飛
び越し走査系の1フレ−ム期間で生成したミニブロック
単位の動きベクトルPVを、順次走査系の1フレ−ム期
間の動きベクトルPVPに変換する。飛び越し走査系で
は、走査線位置の異なる第1、第2の2つのフィ−ルド
(奇数フィールドと偶数フィールド)で1つのフレ−ム
が形成されている。このため、前述した動きベクトル生
成部3では、互いに1フレ−ム期間離れた奇数フィ−ル
ドの組および偶数フィールドの組で動きベクトルを生成
する。
【0056】即ち、図20(a)に示すように、隔てら
れた2つの第1(奇数)フィ−ルド動きベクトルPV1
を生成し、2つの第2(偶数)フィ−ルドで動きベクト
ルPV2を生成する。この動きベクトルは、同図(b)
に示すように、順次走査系では2フレ−ム期間での動き
ベクトルに相当する。ベクトル変換部841は、これら
動きベクトルPV1、PV2を1/2にするための変換
処理を行い、得られた動きベクトルPV1/2、PV2
/2で順次走査系の1フレ−ム期間の動きベクトルPV
Pを生成する。
【0057】一方、ベクトル修正部842は、図21
(a)に示すように、動きベクトルPVPを起点とした
再探索処理によって、最終的な動きベクトルPVMCを
生成する。順次走査系は、飛び越し走査系に比べて走査
線の密度が2倍となっており、順次走査系の1フレ−ム
期間に変換した動きベクトルPVPは、サイズが水平N
画素×垂直2Nラインのミニブロックに対応したものと
なっている。そこで、ベクトル修正部842では、図2
1(b)に示すように、入力された動きベクトルPVP
をサイズが水平N画素×垂直Nラインの2つのミニブロ
ックに割り当て、次に、この各ミニブロックでの予測誤
差を算出する。予測誤差が設定値未満の場合は、これを
動き補正処理の画素単位の動きベクトルPVMCとして
出力し、設定値以上の場合には、これを起点とした再探
索処理を行い、予測誤差が最小となる動きベクトルをP
MVCとして出力する。図18に戻って、動き補正内挿
フレ−ム生成部4とバッファメモリ部5は、第1の実施
例と同様に動作し、バッファメモリ部5からフレ−ム数
がアップされた順次走査の画像信号系列S4が得られ
る。
【0058】図22は、本発明によるフレーム数変換回
路の第6の実施例を示す。本実施例では、第5実施例に
おける最終段のバッファメモリ部5を省略し、IP変換
部83の後にフレ−ム数アップ部81を設け、飛び越し
走査系で生成した動きベクトルPVに基づいて、FRC
ベクトル生成部84が、動き補正の内挿フレ−ム生成に
必要な動きベクトルを生成するようにしている。上記第
5、第6実施例によれば、動きベクトルの生成に要する
演算量が少なく、かつ、動き補正処理に起因する画質劣
化を抑圧した画像信号が得られる。尚、前述の第2、第
3実施例の特徴は、上記第5、第6実施例の構成に対し
ても適用可能なこと明らかである。
【0059】さて、画像符号化の進展に伴い、通信、放
送の分野でも、国際標準規格であるMPEGビデオ符号
化によって画像圧縮したデ−タ伝送が行われるようにな
ってきた。ビデオ符号化では、動き補償予測符号化が用
いられるため、圧縮画像デ−タと共に動きベクトル情報
が伝送される。以下、図23〜図27を参照して、上記
動きベクトル情報を利用して動きベクトルを生成する本
発明の更に他の実施例について説明する。
【0060】図23は、本発明によるフレーム数変換回
路の第7の実施例を示すブロック図であり、図18で示
した第5実施例における動きベクトル生成部3に代え
て、図24で詳述する動きベクトル生成部30を適用
し、デコ−ダ部85から入力画像の信号系列S1を得る
構成となっている。本実施例では、例えば、MPEGビ
デオ符号化など、動き補償予測符号化によって符号化さ
れたビデオデ−タストリ−ム信号DBSをデコ−ダ部8
5に入力し、所定の復号処理を行うことよって、飛び越
し走査の画像信号系列S1(輝度信号と色差信号)と動
きベクトル情報MVとに分離して出力する。 飛び越し
走査の画像信号系列S1は、これを1フレ−ム遅延部8
2で1フレ−ム期間遅延させた信号S20および上記デ
コーダ部から出力された動きベクトル情報MVと共に動
きベクトル生成部30に入力され、飛び越し走査の1フ
レ−ム期間での動きベクトルPVが生成される。IP変
換部83以降の回路動作は、前述の第5実施例と同様で
あり、説明は省略する。
【0061】図24は、動きベクトル生成部30の構成
を示す。動きベクトル生成部30は、静/動ブロック判
定部31、ベクトル変換設定部37、再探索部33、特
異ベクトル修正・平滑部34、ミニブロック分割探索部
35、制御部6aからなり、ベクトル変換設定部37以
外の回路要素は、図2で説明した第1実施例の場合と基
本的に同一である。
【0062】ベクトル変換設定部37は、デコーダ部3
5から供給される現フレームの信号系列S1と、1フレ
ーム遅延部82から供給される1フレーム前の信号系列
S20と、前段の静/動ブロック判別部31から供給さ
れる静/動識別信号MSBと、上記デコーダ部85から
供給される動きベクトル情報MVとに基づいて、代表ベ
クトルTMVを決定するものであり、その構成の1例を
図25に示す。
【0063】図25において、Pベクトル変換部372
とBベクトル変換部373は、それぞれ動き補償予測符
号化で使用した動きベクトル情報MVに基づいて、図2
6に示すベクトル変換によって、飛び越し走査系の1フ
レ−ム期間の変換ベクトルMVPとMVBを生成する。
動き補償予測符号化による画像符号化のうち、国際標準
規格のMPEGビデオ符号化では、図26(a)に示す
ように、画像信号シ−ケンスをIピクチャ、Pピクチ
ャ、Bピクチャに分け、Iピクチャではフレ−ム内DC
T(離散コサイン変換)符号化、Pピクチャでは一方向
MC符号化+DCT符号化、Bピクチャでは双方向MC
符号化+DCT符号化を行っている。また、Pピクチャ
では、図に右方向矢印で示すように、一方向のPベクト
ルで位置移動させて生成した予測フレ−ムとの差分成分
をDCT符号化し、Bピクチャでは、右/左方向の矢印
で示すように、双方向のBベクトルで生成した予測フレ
−ムとの差分成分をDCT符号化している。
【0064】図26(b)は、Pベクトル変換部372
の動作を示す図であり、PベクトルMV1、MV2、M
V3、MV4は、同図(a)に示した画像信号シ−ケン
スにおけるPピクチャ間に相当するnフレ−ム(ここに
示した例ではn=3)期間の動きベクトルを示してい
る。Pベクトル変換部372は、上記動きベクトルを1
/n(図では1/3)のベクトルMVP1(MV1/
3)、MVP2(MV2/3)、...に変換することに
よって、1フレ−ム期間相当の変換ベクトルMVPを生
成している。
【0065】図26(c)は、Bベクトル変換部373
の動作を示す図である。Bベクトルでは、長さの異なる
矢印で示すように、フレーム期間の異なる複数種類の動
きベクトルが存在している。Bベクトル変換部373
は、これらの動きベクトルのうち、点線矢印で引用した
1フレ−ム期間に相当するものを選択し、変換ベクトル
MVB(MVB1、MVB2、...)として出力す
る。
【0066】上記Pベクトル変換部とBベクトル変換部
から出力された変換ベクトルMVP、MVBは、図25
に示すように、予測誤評価部374に入力され、現フレ
−ムの信号S1と前フレ−ムの信号S20を用いた予測
誤差演算に利用され、予測誤差を最小にする変換ベクト
ルMVTと予測誤差ERTとが出力される。選択部37
5は、静/動識別信号MSBが動ブロックを示す時は、
予測評価部374から入力された変換ベクトルMVTと
予測誤差ERTを出力し、静止ブロックを示す時は、出
力MVTとERTを0とする。
【0067】図27は、本発明によるフレーム数変換回
路の第8の実施例を示す。本実施例は、上記第7実施例
に図22に示した第6実施例の特徴を適用したものであ
り、図23における最終段のバッファメモリ部5を省略
し、IP変換部83の後にフレ−ム数アップ部81を設
け、飛び越し走査系で生成した動きベクトルPVに基づ
いて、FRCベクトル生成部84が、動き補正の内挿フ
レ−ム生成に必要な動きベクトルを生成するようにして
いる。
【0068】上述した第7、第8実施例によれば、動き
ベクトル情報を活用して動きベクトル生成に要する演算
量を更に少なくしたフレ−ム数変換回路を実現できる。
尚、これらの実施例に対しても、前述の第2、第3実施
例の特徴を適用できること明らかである。
【0069】以上の実施例では、1例として、50Hz
の飛び越し走査の信号系列を入力信号とし、これを60
Hzの順次走査の信号系列に変換する場合のフレーム数
変換動作について説明したが、本発明は、PAL方式か
らNTSC方式へのテレビジョン信号の変換、PAL5
0HzからPAL60Hz(または75Hz、100H
zへの)変換、フィルム画像(フレ−ム周波数24Hz
/30Hz)の60Hzへの変換、テレビジョン信号か
らパソコン画像信号への変換など、各種のフレ−ム数変
換回路に適用可能であり、製品形態も、テレビジョン受
像機、DVDプレイヤ、PC機器、PAD端末など、各
種の家電情報端末装置に適用できる。
【0070】
【発明の効果】本発明によれば、動きベクトル生成に要
する信号処理の演算量や回路規模が小さくして、動き補
正に固有な画質劣化を抑圧した高画質のフレ−ム数変換
を実現できる。また、本発明によれば、NTSC方式、
PAL方式など、方式の異なる各種の画像信号を映像出
力装置側で要求するフレーム周波数に高画質で変換でき
るため、極めて広い用途を有する。
【図面の簡単な説明】
【図1】本発明によるフレーム数変換回路の第1の実施
例を示すブロック図、
【図2】図1の動きベクトル生成部3の1実施例を示す
ブロック図、
【図3】図2に示した動きベクトル生成部3の動作を示
すフロ−チャ−ト、
【図4】図2の代表ベクトル設定部32で処理中の現ブ
ロックと参照ブロックとの関係を示す図、
【図5】図2の再探索部33で行う再探索範囲に関する
説明図、
【図6】図2の特異ベクトル修正・平滑部34の動作を
説明するための図、
【図7】図2のミニブロック分割探索部35の動作を説
明するための図、
【図8】図1の動き補正内挿フレ−ム生成部4の構成を
示すブロック図、
【図9】図8の50Hzから60Hzへのフレ−ム数変
換における入力フレームと出力フレームとの関係を示す
図、
【図10】図8のメディアンフィルタ部50の構成と動
作条件を示す図、
【図11】図1のバッファメモリ部5の書込み動作と読
出し動作を説明するための図、
【図12】本発明によるフレーム数変換回路の第2の実
施例を示すブロック図、
【図13】動きベクトルとモーションジャンダーとの関
係を説明するための図、
【図14】本発明によるフレーム数変換回路の第3の実
施例を示すブロック図、
【図15】図14のシ−ンチェンジ検出部7の構成を示
すブロック図、
【図16】本発明によるフレーム数変換回路の第4の実
施例を示すブロック図、
【図17】図16のフレ−ム数アップ部81の動作を説
明するための図、
【図18】本発明によるフレーム数変換回路の第5の実
施例を示すブロック図、
【図19】図18のFRCベクトル生成部84の構成を
示すブロック図、
【図20】飛び越し走査系と順次走査系の動きベクトル
の関係を示す図、
【図21】図19のベクトル修正部841の動作を説明
するための図、
【図22】本発明によるフレーム数変換回路の第6の実
施例をのブロック図、
【図23】本発明によるフレーム数変換回路の第7の実
施例を示すブロック図、
【図24】図23の動きベクトル生成部30の構成を示
すブロック図、
【図25】図24のベクトル変換設定部37の構成を示
すブロック図、
【図26】MPEG符号化の特徴と、図25のPベクト
ル変換部372およびBベクトル変換部373の動作を
説明するための図、
【図27】本発明によるフレーム数変換回路の第8の実
施例を示すブロック図である。
【符号の説明】
1…IP変換部、2…1フレーム遅延部、3、30…動
きベクトル生成部、4…動き補正内挿フレ−ム生成部、
5…バッファメモリ部、6…制御部、7…シ−ンチェン
ジ検出部、8…ベクトル分布計測部、31…静/動ブロ
ック判別部、32…代表ベクトル設定部、33…再探索
部、34…特異ベクトル修正・平滑部、35…ミニブロ
ック分割探索部、36…メモリ部、37…ベクトル変換
設定部、41…MCベクトル生成部、42…現フレ−ム
MC信号生成部、43…前フレ−ムMC信号生成部、4
4…加算部、45…減算部、50…メディアンフィルタ
部、51…選択部、52…誤差評価部、53…判定部、
372…Pベクトル変換部、373…Bベクトル変換
部、374…予測誤差評価部、375…選択部、81…
フレ−ム数アップ部、82…1フレーム遅延部、83…
IP変換部、84…FRCベクトル生成部、85…デコ
−ダ部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 雅人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 都留 康隆 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 兼八 孝至 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 Fターム(参考) 5C059 KK00 LA06 LA07 LB13 MA00 MA05 MA23 NN01 NN03 NN10 NN11 NN21 NN24 NN28 NN29 NN34 NN43 SS02 SS13 SS26 TA63 TB08 TC03 TC12 TD10 TD12 UA35 UA38 5C063 AA02 AA03 AB03 BA01 BA09 BA10 BA12 CA07 CA09 CA29 DA01 DA13 EB45

Claims (31)

    【特許請求の範囲】
  1. 【請求項1】各入力画像フレームについて画素単位の動
    きベクトルを生成する動きベクトル生成部と、上記動き
    ベクトルを利用して、現在の入力画像フレームと1フレ
    ーム前の入力画像信号とから動き補正内挿フレームを生
    成する内挿フレーム生成部とを有し、入力画像フレーム
    と上記内挿フレームとを選択的に組み合わせることによ
    って、入力画像のフレ−ム周波数よりフレ−ム周波数の
    高い出力画像信号を得るようにした画像信号のフレ−ム
    数変換回路において、上記動きベクトル生成部が、 入力画像フレームを分割して得られる複数の画像ブロッ
    クについて、注目ブロック毎に静止ブロックか動画ブロ
    ックかを識別する第1手段と、 上記注目ブロックが動画ブロックの場合に、既に判明し
    ている隣接ブロックの動きベクトルの中から上記注目ブ
    ロックに与えるべき代表ベクトルを選択する第2手段
    と、 上記代表ベクトルの予測誤差と方向で定まる探索領域で
    上記注目ブロックの動きベクトルを再探索する第3手段
    と、 上記再探索された動きベクトルと隣接ブロックの動きベ
    クトルとの相関をチェックし、相関の低い特異ベクトル
    については上記隣接ブロックと相関の高い動きベクトル
    に修正する第4手段と、 上記第4手段で処理された動きベクトルに基いて、上記
    注目ブロックの画素単位の動きベクトルを生成する第5
    手段とからなることを特徴とする画像信号のフレ−ム数
    変換回路。
  2. 【請求項2】前記第2手段は、静止ブロックに対して
    は、値0の代表ベクトルを割り当て、動画ブロックに対
    しては、現フレーム内で前記注目ブロックより前に位置
    した隣接ブロックと、前フレーム内で上記注目ブロック
    より後に位置した隣接ブロックとを参照ブロックとし、
    これらの参照ブロックがもつ動きベクトルのうちで予測
    誤差が最小のものを前記代表ベクトルとすることを特徴
    とする請求項1に記載の画像信号のフレ−ム数変換回
    路。
  3. 【請求項3】前記第3手段は、前記代表ベクトルの予測
    誤差が所定値以下の場合は、該代表ベクトルを前記注目
    ブロックの動きベクトルとし、上記予測誤差が所定値を
    超えた場合は、上記代表ベクトルを起点として、該代表
    ベクトルの水平方向成分が垂直方向成分より大きい時は
    横長形、水平方向成分と垂直方向成分がほぼ同じ時は正
    方形、水平方向成分が垂直方向成分より小さい時は縦長
    形で、上記予測誤差が大きくなるに従って拡大された探
    索領域において、ブロックマッチング処理により前記注
    目ブロックの動きベクトルを再探索することを特徴とす
    る請求項1に記載の画像信号のフレ−ム数変換回路。
  4. 【請求項4】前記第4手段は、前記特異ベクトルを、前
    記注目ブロックの上下左右の隣接ブロックが有する動き
    ベクトルのうちで予測誤差が最小となる動きベクトルに
    置換するための手段と、上記注目ブロックに対して左
    上、右上、左下、右下に位置する隣接領域のうち動きベ
    クトルの相関が最も高い領域を特定し、上記置換された
    動きベクトルを、上記特定領域に含まれる複数のブロッ
    クの平均的な動きベクトルに置換するための手段とを有
    することを特徴とする請求項1に記載の画像信号のフレ
    −ム数変換回路。
  5. 【請求項5】前記第5手段は、前記注目ブロックを水
    平、垂直に細分化して得られる複数のミニブロックにつ
    いて、予測誤差成分の大小に応じて適応的に動きベクト
    ルを探索するための手段を含むことを特徴とする請求項
    1に記載の画像信号のフレ−ム数変換回路。
  6. 【請求項6】前記第5手段は、予測誤差が設定値以下の
    注目ブロックでは、ブロック内の各画素に対して該注目
    ブロックの動きベクトルを割り当て、予測誤差が設定値
    以上の注目ブロックでは、該ブロックを水平・垂直方向
    に複数のミニブロックに分割し、予測誤差が所定値以下
    のミニブロック内の各画素に対しては、上記注目ブロッ
    クの動きベクトルを割り当て、予測誤差が所定値以上の
    ミニブロック内の各画素に対しては、該注目ブロックと
    隣接ブロックの動きベクトルのうちで内挿フレ−ム上で
    の誤差成分が最小な動きベクトルを割り当て、動きのな
    い画素に対しては、値0の動きベクトルを割り当てるこ
    とを特徴とする請求項1に記載の画像信号のフレ−ム数
    変換回路。
  7. 【請求項7】前記第4手段で処理された動きベクトルを
    ブロック位置と対応して記憶するためのメモリを有し、
    前記第2手段が、前記隣接ブロックの動きベクトルを上
    記メモリから読み出すことを特徴とする請求項1〜請求
    項6の何れかに記載の画像信号のフレ−ム数変換回路。
  8. 【請求項8】飛び越し走査の画像信号系列を順次走査の
    画像信号系列に変換するIP変換部と、飛び越し操作系
    の動きベクトルを順次走査系の動きベクトルに変換する
    ための手段とを有し、前記動きベクトル生成部が、上記
    飛び越し走査の画像信号系列から前記動きベクトルを生
    成し、上記ベクトル変換手段が、上記動きベクトル生成
    部で生成された飛び越し操作系の動きベクトルを順次走
    査系の動きベクトルに変換して、前記内挿フレーム生成
    部に供給することを特徴とする請求項1〜請求項7の何
    れかに記載の画像信号のフレ−ム数変換回路。
  9. 【請求項9】飛び越し走査の画像信号系列を走査線補間
    によって順次走査の画像信号系列に変換するIP変換手
    段を備え、前記動きベクトル生成部が、上記IP変換手
    段から出力された順次走査の画像信号系列から前記動き
    ベクトルを生成することを特徴とする請求項1〜請求項
    7の何れかに記載の画像信号のフレ−ム数変換回路。
  10. 【請求項10】前記動きベクトル生成部が、入力画像の
    輝度信号を用いて、前記動きベクトル生成に必要な予測
    誤差の算出を行うことを特徴とする請求項1〜請求項9
    の何れか記載の画像信号のフレ−ム数変換回路。
  11. 【請求項11】前記画像ブロック毎に生成される動きベ
    クトルのうち、動き速度が所定値以上となる動きベクト
    ルの発生頻度を計測し、上記発生頻度が所定値を超える
    高速度の動きフレームを検出するための手段を有し、上
    記高速度の動きフレームについては、前記内挿フレーム
    生成部が、動き補正処理を省略した内挿フレームを生成
    するようにしたことを特徴とする請求項1〜請求項10
    の何れかに記載の画像信号のフレ−ム数変換回路。
  12. 【請求項12】前記内挿フレーム生成部が生成する動き
    補正処理を省略した内挿フレームは、現在の入力画像フ
    レームであることを特徴とする請求項11に記載の画像
    信号のフレ−ム数変換回路。
  13. 【請求項13】現在の入力画像フレームと1フレーム前
    の入力画像フレームとを比較してシーンチェンジ・フレ
    ームを検出するための手段を有し、上記シーンチェンジ
    ・フレームについては、前記内挿フレーム生成部が、動
    き補正処理を省略して内挿フレームを生成するようにし
    たことを特徴とする請求項1〜請求項12の何れかに記
    載の画像信号のフレ−ム数変換回路。
  14. 【請求項14】所定フレーム数毎に繰り返しフレームを
    挿入することによって、前記入力画像信号をフレーム周
    波数の高い画像信号系列に変換するための手段を有し、
    前記動きベクトル生成部と前記内挿フレーム生成部が、
    それぞれ上記フレーム周波数変換後の画像信号系列から
    前記動きベクトルおよび内挿フレームを生成することを
    特徴とする請求項1〜請求項13の何れかに記載の画像
    信号のフレ−ム数変換回路。
  15. 【請求項15】前記入力画像信号からなる画像フレーム
    と前記内挿フレーム生成部で生成した内挿フレームとを
    一時的に格納するためのバッファメモリを有し、上記バ
    ッファメモリから変換後のフレーム周期で前記出力画像
    信号を読み出すことを特徴とする請求項1〜請求項13
    の何れかに記載の画像信号のフレ−ム数変換回路。
  16. 【請求項16】請求項1〜請求項15の何れかに記載の
    フレーム数変換回路の出力に結合された画像表示手段を
    備えたことを特徴とする画像表示装置。
  17. 【請求項17】動き補償予測符号化された信号を復号処
    理し、画像信号系列と動きベクトル情報とに分離する復
    号手段と、上記画像信号系列からなる各入力画像フレー
    ムについて画素単位の動きベクトルを生成する動きベク
    トル生成部と、上記動きベクトルを利用して、現在の入
    力画像フレームと1フレーム前の入力画像信号とから動
    き補正内挿フレームを生成する内挿フレーム生成部とを
    有し、入力画像フレームと上記内挿フレームとを選択的
    に組み合わせることによって、入力画像のフレ−ム周波
    数よりフレ−ム周波数の高い出力画像信号を得るように
    した画像信号のフレ−ム数変換回路において、上記動き
    ベクトル生成部が、 入力画像フレームを分割して得られる複数の画像ブロッ
    クについて、注目ブロック毎に静止ブロックか動画ブロ
    ックかを識別する第1手段と、 上記注目ブロックが動画ブロックの場合に、上記復号手
    段から出力された動きベクトル情報を利用して上記注目
    ブロックに代表ベクトルを与える第2手段と、 上記代表ベクトルの予測誤差と方向で定まる探索領域で
    上記注目ブロックの動きベクトルを再探索する第3手段
    と、 上記再探索された動きベクトルと隣接ブロックの動きベ
    クトルとの相関をチェックし、相関の低い特異ベクトル
    については上記隣接ブロックと相関の高い動きベクトル
    に修正する第4手段と、 上記第4手段で処理された動きベクトルに基いて、上記
    注目ブロックの画素単位の動きベクトルを生成する第5
    手段とからなることを特徴とする画像信号のフレ−ム数
    変換回路。
  18. 【請求項18】前記第2手段が、前記復号手段から出力
    された動きベクトル情報に含まれるPピクチャとBピク
    チャの動きベクトルを補正処理に必要な1フレ−ム間の
    動きベクトルに変換するための手段と、上記変換された
    動きベクトルを前記注目ブロックに隣接する参照ブロッ
    クの動きベクトルとして用いて、前記代表ベクトルを決
    定するための手段とを有することを特徴とする請求項1
    7に記載の画像信号のフレ−ム数変換回路。
  19. 【請求項19】前記第3手段は、前記代表ベクトルの予
    測誤差が所定値以下の場合は、該代表ベクトルを前記注
    目ブロックの動きベクトルとし、上記予測誤差が所定値
    を超えた場合は、上記代表ベクトルを起点として、該代
    表ベクトルの水平方向成分が垂直方向成分より大きい時
    は横長形、水平方向成分と垂直方向成分がほぼ同じ時は
    正方形、水平方向成分が垂直方向成分より小さい時は縦
    長形で、上記予測誤差が大きくなるに従って拡大された
    探索領域において、ブロックマッチング処理により前記
    注目ブロックの動きベクトルを再探索することを特徴と
    する請求項17または請求項18に記載の画像信号のフ
    レ−ム数変換回路。
  20. 【請求項20】前記第4手段は、前記特異ベクトルを、
    前記注目ブロックの上下左右の隣接ブロックが有する動
    きベクトルのうちで予測誤差が最小となる動きベクトル
    に置換するための手段と、上記注目ブロックに対して左
    上、右上、左下、右下に位置する隣接領域のうち動きベ
    クトルの相関が最も高い領域を特定し、上記置換された
    動きベクトルを、上記特定領域に含まれる複数のブロッ
    クの平均的な動きベクトルに置換するための手段とを有
    することを特徴とする請求項17または請求18に記載
    の画像信号のフレ−ム数変換回路。
  21. 【請求項21】前記第5手段は、前記注目ブロックを水
    平、垂直に細分化して得られる複数のミニブロックにつ
    いて、予測誤差成分の大小に応じて適応的に動きベクト
    ルを探索するための手段を含むことを特徴とする請求項
    17または請求項18に記載の画像信号のフレ−ム数変
    換回路。
  22. 【請求項22】前記第5手段は、予測誤差が設定値以下
    の注目ブロックでは、ブロック内の各画素に対して該注
    目ブロックの動きベクトルを割り当て、予測誤差が設定
    値以上の注目ブロックでは、該ブロックを水平・垂直方
    向に複数のミニブロックに分割し、予測誤差が所定値以
    下のミニブロック内の各画素に対しては、上記注目ブロ
    ックの動きベクトルを割り当て、予測誤差が所定値以上
    のミニブロック内の各画素に対しては、該注目ブロック
    と隣接ブロックの動きベクトルのうちで内挿フレ−ム上
    での誤差成分が最小な動きベクトルを割り当て、動きの
    ない画素に対しては、値0の動きベクトルを割り当てる
    ことを特徴とする請求項17または請求項18に記載の
    画像信号のフレ−ム数変換回路。
  23. 【請求項23】飛び越し走査の画像信号系列を順次走査
    の画像信号系列に変換するIP変換部と、飛び越し操作
    系の動きベクトルを順次走査系の動きベクトルに変換す
    るための手段とを有し、 前記復号手段が飛び越し走査の画像信号系列を上記IP
    変換部に供給し、前記動きベクトル生成部が、上記飛び
    越し走査の画像信号系列から前記動きベクトルを生成
    し、上記ベクトル変換手段が、上記動きベクトル生成部
    で生成された飛び越し操作系の動きベクトルを順次走査
    系の動きベクトルに変換して、前記内挿フレーム生成部
    に供給し、上記内挿フレーム生成部が、上記順次走査系
    の動きベクトルと上記IP変換部から出力された順次操
    作の画像信号系列から動き補正内挿フレームを生成する
    ことを特徴とする請求項17〜請求項22の何れかに記
    載の画像信号のフレ−ム数変換回路。
  24. 【請求項24】前記画像ブロック毎に生成される動きベ
    クトルのうち、動き速度が所定値以上となる動きベクト
    ルの発生頻度を計測し、上記発生頻度が所定値を超える
    高速度の動きフレームを検出するための手段を有し、上
    記高速度の動きフレームについては、前記内挿フレーム
    生成部が、動き補正処理を省略した内挿フレームを生成
    するようにしたことを特徴とする請求項17〜請求項2
    3の何れかに記載の画像信号のフレ−ム数変換回路。
  25. 【請求項25】現在の入力画像フレームと1フレーム前
    の入力画像フレームとを比較してシーンチェンジ・フレ
    ームを検出するための手段を有し、上記シーンチェンジ
    ・フレームについては、前記内挿フレーム生成部が、動
    き補正処理を省略した内挿フレームを生成するようにし
    たことを特徴とする請求項17〜請求項24の何れかに
    記載の画像信号のフレ−ム数変換回路。
  26. 【請求項26】入力画像フレームを分割して得られる画
    像ブロックの動きベクトル決定方法において、 上記入力画像フレーム内で注目ブロックの抽出位置を順
    次に切り替えながら、各注目ブロック毎に静止ブロック
    か動画ブロックかを識別し、 上記注目ブロックが静止ブロックの場合は、静止状態を
    示す動きベクトルを割り当て、 上記注目ブロックが動画ブロックの場合は、既に判明し
    ている隣接ブロックの動きベクトルの中から上記注目ブ
    ロックに与えるべき代表ベクトルを選択した後、上記代
    表ベクトルの予測誤差と方向で定まる探索領域で上記注
    目ブロックの動きベクトルを再探索し、上記再探索され
    た動きベクトルと隣接ブロックの動きベクトルとの相関
    が所定レベル以上の場合は、上記再探索された動きベク
    トルを割り当て、上記相関が所定レベルより低い場合
    は、上記隣接ブロックとの相関の高い動きベクトルに修
    正したものを割り当てることを特徴とする画像ブロック
    の動きベクトル決定方法。
  27. 【請求項27】前記代表ベクトルの選択において、現フ
    レーム内で前記注目ブロックより前に位置した隣接ブロ
    ックと、前フレーム内で上記注目ブロックより後に位置
    した隣接ブロックとを参照ブロックとし、これらの参照
    ブロックがもつ動きベクトルのうちで予測誤差が最小の
    ものを代表ベクトルとすることを特徴とする請求項26
    に記載の画像ブロックの動きベクトル決定方法。
  28. 【請求項28】前記動きベクトルの再探索において、前
    記代表ベクトルの予測誤差をチェックし、上記予測誤差
    が所定値以下の場合は、上記代表ベクトルをそのまま再
    探索結果として出力し、上記予測誤差が所定値を超えた
    場合は、上記代表ベクトルを起点として、該代表ベクト
    ルの水平方向成分が垂直方向成分より大きい時は横長
    形、水平方向成分と垂直方向成分がほぼ同じ時は正方
    形、水平方向成分が垂直方向成分より小さい時は縦長形
    で、上記予測誤差が大きくなるに従って拡大された探索
    領域においてブロックマッチング処理により行うことを
    特徴とする請求項26に記載の画像ブロックの動きベク
    トル決定方法。
  29. 【請求項29】前記動きベクトルの修正において、前記
    注目ブロックの上下左右の隣接ブロックが有する動きベ
    クトルのうちで予測誤差が最小となる動きベクトルを選
    択し、該動きベクトルに基いて、上記注目ブロックの左
    上、右上、左下、右下に位置する隣接領域のうち動きベ
    クトルの相関が最も高い領域を選択し、該領域に含まれ
    る複数のブロックの平均的な動きベクトルを求めること
    を特徴とする請求項26に記載の画像ブロックの動きベ
    クトル決定方法。
  30. 【請求項30】前記注目ブロックに割り当てられた動き
    ベクトルに基いて、上記注目ブロックの画素単位の動き
    ベクトルを生成することを特徴とする請求項26〜請求
    項28の何れかに記載の画像ブロックの動きベクトル決
    定方法。
  31. 【請求項31】各入力画像フレームについて画素単位の
    動きベクトルを生成し、上記動きベクトルを利用して、
    現在の入力画像フレームと1フレーム前の入力画像信号
    とから動き補正内挿フレームを生成し、入力画像フレー
    ムと上記内挿フレームとを選択的に組み合わせることに
    よって、入力画像のフレ−ム周波数よりフレ−ム周波数
    の高い出力画像信号を得るようにした画像信号のフレ−
    ム数変換方法において、 上記入力画像フレーム内で注目ブロックの抽出位置を順
    次に切り替えながら、各注目ブロック毎に静止ブロック
    か動画ブロックかを識別し、 上記注目ブロックが静止ブロックの場合は、静止状態を
    示す動きベクトルを割り当て、 上記注目ブロックが動画ブロックの場合は、既に判明し
    ている隣接ブロックの動きベクトルの中から上記注目ブ
    ロックに与えるべき代表ベクトルを選択した後、上記代
    表ベクトルの予測誤差と方向で定まる探索領域で上記注
    目ブロックの動きベクトルを再探索し、上記再探索され
    た動きベクトルと隣接ブロックの動きベクトルとの相関
    が所定レベル以上の場合は、上記再探索された動きベク
    トルを割り当て、上記相関が所定レベルより低い場合
    は、上記隣接ブロックとの相関の高い動きベクトルに修
    正したものを割り当て、 上記注目ブロック毎の動きベクトルに基いて、各注目ブ
    ロック内の画素単位の動きベクトルを生成することを特
    徴とする画像信号のフレ−ム数変換方法。
JP30214798A 1998-10-23 1998-10-23 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 Pending JP2000134585A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30214798A JP2000134585A (ja) 1998-10-23 1998-10-23 動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30214798A JP2000134585A (ja) 1998-10-23 1998-10-23 動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Publications (1)

Publication Number Publication Date
JP2000134585A true JP2000134585A (ja) 2000-05-12

Family

ID=17905480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30214798A Pending JP2000134585A (ja) 1998-10-23 1998-10-23 動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Country Status (1)

Country Link
JP (1) JP2000134585A (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088661A1 (en) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
WO2003088660A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Dispositif convertisseur d'image et procede correspondant
EP1422928A2 (en) * 2002-11-22 2004-05-26 Matsushita Electric Industrial Co., Ltd. Motion compensated interpolation of digital video signals
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
JP2005260928A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2005318621A (ja) * 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd ビデオシーケンスでのティッカー処理
JP2005318586A (ja) * 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd 改良された動きベクトル選択を備える動きベクトル検出
JP2006515977A (ja) * 2003-01-29 2006-06-08 ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング ビデオ信号処理システム
KR100644601B1 (ko) * 2000-09-30 2006-11-10 삼성전자주식회사 움직임 보상형 보간을 이용한 디-인터레이싱 장치 및 그방법
JP2007536817A (ja) * 2004-05-04 2007-12-13 クゥアルコム・インコーポレイテッド 動作補償されたフレームレートアップコンバージョンのための方法および装置
JP2008011454A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像フレームレート変換装置および動画像フレームレート変換方法
CN100364337C (zh) * 2004-03-05 2008-01-23 佳能株式会社 图像处理方法及图像处理装置
JP2008067222A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP2009081561A (ja) * 2007-09-25 2009-04-16 Fujitsu Ltd フレーム補間装置、フレーム補間プログラム、フレーム補間方法および携帯端末
JP2009094616A (ja) * 2007-10-04 2009-04-30 Sony Corp 画像処理装置および方法、並びにプログラム
US7548276B2 (en) 2004-12-02 2009-06-16 Hitachi, Ltd. Frame rate conversion device, image display apparatus, and method of converting frame rate
JP2009141878A (ja) * 2007-12-10 2009-06-25 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
JP2009212883A (ja) * 2008-03-05 2009-09-17 Panasonic Corp 動きベクトル検出回路、動きベクトル検出装置、及び集積回路
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
JP2010057010A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
JP2010213287A (ja) * 2010-03-29 2010-09-24 Hitachi Ltd 映像処理装置及び映像表示装置
JP2010239268A (ja) * 2009-03-30 2010-10-21 Toshiba Corp 画像処理装置
WO2011043433A1 (ja) * 2009-10-08 2011-04-14 日本ビクター株式会社 フレームレート変換装置及び方法
JP2011083036A (ja) * 2011-01-12 2011-04-21 Victor Co Of Japan Ltd 補間画素データ生成装置及び方法
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
US8139152B2 (en) 2004-02-13 2012-03-20 Sony Corporation Image processing apparatus, image processing method and program
US8159605B2 (en) 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
US8320458B2 (en) 2008-09-12 2012-11-27 Fujitsu Limited Frame interpolation device and method, and storage medium
US8340185B2 (en) 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8374246B2 (en) 2004-07-20 2013-02-12 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644601B1 (ko) * 2000-09-30 2006-11-10 삼성전자주식회사 움직임 보상형 보간을 이용한 디-인터레이싱 장치 및 그방법
WO2003088661A1 (en) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
WO2003088660A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Dispositif convertisseur d'image et procede correspondant
US7446815B2 (en) 2002-04-17 2008-11-04 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
US7388617B2 (en) 2002-04-17 2008-06-17 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
EP1422928A2 (en) * 2002-11-22 2004-05-26 Matsushita Electric Industrial Co., Ltd. Motion compensated interpolation of digital video signals
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
US7564902B2 (en) 2002-11-22 2009-07-21 Panasonic Corporation Device, method and program for generating interpolation frame
US8189670B2 (en) 2002-11-22 2012-05-29 Panasonic Corporation Device, method and program for generating interpolation frame
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP2006515977A (ja) * 2003-01-29 2006-06-08 ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング ビデオ信号処理システム
US8139152B2 (en) 2004-02-13 2012-03-20 Sony Corporation Image processing apparatus, image processing method and program
JP2005260928A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP4656391B2 (ja) * 2004-02-13 2011-03-23 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN100364337C (zh) * 2004-03-05 2008-01-23 佳能株式会社 图像处理方法及图像处理装置
JP2005318586A (ja) * 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd 改良された動きベクトル選択を備える動きベクトル検出
JP2005318621A (ja) * 2004-04-30 2005-11-10 Matsushita Electric Ind Co Ltd ビデオシーケンスでのティッカー処理
JP2007536817A (ja) * 2004-05-04 2007-12-13 クゥアルコム・インコーポレイテッド 動作補償されたフレームレートアップコンバージョンのための方法および装置
US8369405B2 (en) 2004-05-04 2013-02-05 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8374246B2 (en) 2004-07-20 2013-02-12 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US9521411B2 (en) 2004-07-20 2016-12-13 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US7548276B2 (en) 2004-12-02 2009-06-16 Hitachi, Ltd. Frame rate conversion device, image display apparatus, and method of converting frame rate
US8472524B2 (en) 2006-04-03 2013-06-25 Intel Corporation Motion compensated frame rate conversion with protection against compensation artifacts
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8340185B2 (en) 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8098327B2 (en) 2006-06-30 2012-01-17 Kabushiki Kaisha Toshiba Moving image frame rate converting apparatus and moving image frame rate converting method
JP2008011454A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像フレームレート変換装置および動画像フレームレート変換方法
JP2008067222A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
US8159605B2 (en) 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
JP2009081561A (ja) * 2007-09-25 2009-04-16 Fujitsu Ltd フレーム補間装置、フレーム補間プログラム、フレーム補間方法および携帯端末
US8175162B2 (en) 2007-10-04 2012-05-08 Sony Corporation Image processing apparatus, image processing method, and program
JP2009094616A (ja) * 2007-10-04 2009-04-30 Sony Corp 画像処理装置および方法、並びにプログラム
US8837593B2 (en) 2007-10-04 2014-09-16 Sony Corporation Image processing apparatus, image processing method, and program
JP2009141878A (ja) * 2007-12-10 2009-06-25 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP2009212883A (ja) * 2008-03-05 2009-09-17 Panasonic Corp 動きベクトル検出回路、動きベクトル検出装置、及び集積回路
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
JP2010057010A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
US8320458B2 (en) 2008-09-12 2012-11-27 Fujitsu Limited Frame interpolation device and method, and storage medium
JP2010239268A (ja) * 2009-03-30 2010-10-21 Toshiba Corp 画像処理装置
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
WO2011043433A1 (ja) * 2009-10-08 2011-04-14 日本ビクター株式会社 フレームレート変換装置及び方法
JP2011082846A (ja) * 2009-10-08 2011-04-21 Victor Co Of Japan Ltd フレームレート変換装置及び方法
US8319889B2 (en) 2009-10-08 2012-11-27 JVC Kenwood Corporation Frame rate conversion apparatus and method
JP2010213287A (ja) * 2010-03-29 2010-09-24 Hitachi Ltd 映像処理装置及び映像表示装置
JP2011083036A (ja) * 2011-01-12 2011-04-21 Victor Co Of Japan Ltd 補間画素データ生成装置及び方法
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法
CN107145086B (zh) * 2017-05-17 2023-06-16 上海青研科技有限公司 一种免定标的视线追踪装置及方法

Similar Documents

Publication Publication Date Title
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP4724459B2 (ja) 適応時間予測を用いた動きベクトル検出
US8144778B2 (en) Motion compensated frame rate conversion system and method
JP4528662B2 (ja) 適応空間最新ベクトルを用いた動き検出
US7929609B2 (en) Motion estimation and/or compensation
US7075988B2 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
JP5089610B2 (ja) ブロック基盤の動き推定方法及び装置
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
JP2002027414A (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
JP4119092B2 (ja) 画像信号のフレーム数変換方法および装置
JPH11112940A (ja) 動きベクトルの生成方法および装置
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
KR20000017281A (ko) 움직임 판정장치와 그 방법, 및 화상 정보 변환 장치
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP4470324B2 (ja) 画像信号変換装置および方法
JP3480015B2 (ja) 画像データの生成装置および生成方法
KR20060012629A (ko) 에지 오리엔테이션 추정
JP2925046B2 (ja) 動画像の動き補償予測方法
KR100588901B1 (ko) 움직임 보상 기법을 이용한 적응적인 영상 디인터레이스장치 및 그 방법
JP3201344B2 (ja) インターレース動画像信号の動き補償予測方法及び符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051017

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071030