JP4337302B2 - 動き補正回路及び方法 - Google Patents
動き補正回路及び方法 Download PDFInfo
- Publication number
- JP4337302B2 JP4337302B2 JP2002115352A JP2002115352A JP4337302B2 JP 4337302 B2 JP4337302 B2 JP 4337302B2 JP 2002115352 A JP2002115352 A JP 2002115352A JP 2002115352 A JP2002115352 A JP 2002115352A JP 4337302 B2 JP4337302 B2 JP 4337302B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- field
- pixel
- motion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、倍速変換することにより生成された画像信号の各検出画素の位置をシフトさせる動き補正回路及び方法に関する。
【0002】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を1本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により1枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【0003】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるPAL(Phase Alternation by Line)方式では、フィールド周波数が50〔Hz〕(フレーム画像が25フレーム/秒、フィールド画像が50フィールド/秒)で構成される。
【0004】
特にこのPAL方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を50Hzから2倍の100Hzの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【0005】
図18は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路5のブロック構成例を示している。このフィールド倍速変換回路5は、入力端子61と、水平垂直偏向回路62と、CRT63とを備えるテレビジョン受像機6に集積化される。このフィールド倍速変換回路5は、倍速変換部51と、フレームメモリ52とを備える。
【0006】
倍速変換部51は、入力端子61から入力された、例えばPAL方式の50フィールド/秒の画像信号を、フレームメモリ52へ書き込む。また、この倍速変換部51は、フレームメモリ52へ書き込んだ画像信号を、書込み時の2倍の速度で読み出す。これにより、50フィールド/秒の画像信号の周波数を2倍に変換し、100フィールド/秒の画像信号を生成することができる。
【0007】
倍速変換部51は、倍速変換した画像信号をCRT63へ出力する。CRT63は、入力された画像信号を画面上に表示する。なお、CRT63における画像信号の水平、垂直の偏向は、水平垂直偏向回路62において生成された、入力画像信号の2倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【0008】
図19は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図19(a)の白丸で示した画像信号は、倍速変換前の50フィールド/秒のインタレース画像信号であり、図19(b)の黒丸で示した画像信号は、倍速変換した100フィールド/秒のインタレース画像信号である。
【0009】
図19(a)に示す画像信号において、フィールドf1とフィールドf2は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドf3とフィールドf4も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に1個ずつのフィールドを新規に生成することはできない。
【0010】
そこで、図19(b)に示すように、フィールドf1とフィールドf2の間に、新規に2枚のフィールドf2´、f1´を生成する。そして、フィールドf2とフィールドf3の間では、フィールドの生成を行わず、フィールドf3とフィールドf4の間に、新規に2枚のフィールドf4´、f3´を生成する。すなわち4フィールド、2フレームで1つのコマを形成する。
【0011】
この新規に生成したフィールドf1´、f2´、・・・は、それぞれの画素値を、各画素の周囲3画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドf1´、f2´、・・・は、それぞれフィールドf1、f2、・・と同じ内容となる。
【0012】
すなわち、フィールド倍速変換回路5は、倍速変換前の画像信号のフィールド間に2枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【0013】
ところで、24コマ/秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換(以下、テレシネ変換と称する)を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図20に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図20(a)に示す倍速変換前の画像信号において、フィールドf1、f2は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドf3に移行すると水平方向(右方向)へ移動する。フィールドf4は、フィールドf3と同一のコマを構成するため、フィールドf3と同一の位置に表示される。
【0014】
この図20(a)に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図20(b)に示すように、同一のコマを構成するフィールドf1、f2´、f1´、f2で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドf3、f4´、f3´、f4で同一位置に同一の画像が表示される。
【0015】
また、倍速変換前のテレビジョン信号(以下、TV信号という)において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図21(a)に示す。この図21(a)において、フィールドf1、f2、f3・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドf1から、f2、f3・・・と移行する毎に、水平方向(右方向)へ移動する。
【0016】
この図21(a)に示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図21(b)に示すように、同一のコマを構成するフィールドf1、f2´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドf1´、f2において、同一位置に同一の画像が表示される。
【0017】
ところで、出力画像信号は、1/100秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にCRTを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。このため従来では、かかる動きの不連続性を解消するため、例えばブロックマッチング法に基づき、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求め、当該求めた動きベクトルに応じて各ブロック毎に画素位置をシフトさせて動き補正していた。
【0018】
ちなみにこのブロックマッチング法は、図22に示すように、基準フィールドを複数の基準ブロック101に分割し、基準フィールド80における基準ブロック101と最も高い相似度を示すブロックを、参照フィールド90における探索範囲104内を移動する探索ブロック103から検出する。そして当該検出された探索ブロック103と基準ブロック101間の位置のずれ(移動の方向と大きさ)を動きベクトルとする。
【0019】
上述の相似度の判定は、先ず探索ブロック103の各画素値について、基準ブロック101の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック103について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック103を、基準ブロック101と最も高い相似度を示すブロックとし、かかるブロックの原点の画素63と、基準ブロック101の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【0020】
【発明が解決しようとする課題】
しかしながら、この従来のブロックマッチング法による動き補正では、例えば水平方向へ画像が移動しながら画素値が変化するような、様々な画像のバリエーションにおいて、画像の動きの不連続性を効率よく解消することができないという問題点があった。
【0021】
また、従来のブロックマッチング法では、画面全体で表現される本来の画像の動きに関係なく、単にブロック同士の誤差の総和の最小値を優先させて動きベクトルを検出するため、動きベクトルのばらつきによる変換画像の劣化が問題となっていた。
【0022】
また、上記従来のブロックマッチング法では、画像の動きが速いために求められる真の動きベクトル111が探索範囲104外に存在し得る場合においても、探索範囲104内において各ブロック101,103間の誤差の総和を最優先するため、本来の動きと異なる不規則な動きベクトルが検出されるという問題点もあった。
【0023】
更に、上記従来のブロックマッチング法に基づいて検出される動きベクトルはバリエーションに富むため、当該検出された動きベクトルに応じて各ブロック毎に画素位置をシフトさせて合成した画像には、画素が書き込まれないアンカバー領域が生じる場合がある。このアンカバー領域が生じると、図23に示すように孤立点が所々に生成するために画質の劣化が著しくなり、また領域単位での処理破綻が生じて動作環境に悪影響を及ぼしてしまう。
【0024】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、倍速変換することにより生成された画像信号において、特に様々な画像のバリエーションにおいても、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質の向上を図ることにある。
【0025】
また他の目的は、本来の画像の動きに適合した動きベクトルを求めることにより、変換画像の劣化を防止することにある。
【0027】
更に他の目的は、検出された動きベクトルに応じて各ブロック毎に画素位置をシフトさせて画像を合成した結果生じるアンカバー領域に対して、最適な画素値を示す画素を埋めることにより、画質の劣化を防ぎ、ひいては領域単位での処理破綻を改善することにある。
【0028】
【課題を解決するための手段】
本発明に係る動き補正回路は、上述の課題を解決するため、テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから2フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行い、又は、テレビジョン信号を倍速変換することにより生成された1コマが2フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから1フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行う動き補正回路において、上記基準フィールドの基準画素を中心とした基準ブロックについて上記参照フィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記基準ブロックにおいて検出した動きベクトルを当該基準ブロックを構成する画素毎に割り当てるベクトル割当手段と、上記ベクトル割当手段により割り当てられた動きベクトルの示す画素が重複する場合にいずれか一の動きベクトルを選択する選択手段と、上記補正フィールド上において動きベクトルの割り当てられた画素の画素値を上記補正フィールド毎に割り当てた重みに応じて当該動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせた位置の画素値とする画像制御手段と、上記補正フィールド上で画素値が存在しない情報不在領域に対して画素値を補間する画素補間手段とを備えることを特徴とする。
【0029】
また、本発明に係る動き補正方法は、上述した課題を解決するため、テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと上記基準フィールドから2フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき動き補正を行う画素の位置する補正フィールド上において動き補正を行い、又は、テレビジョン信号を倍速変換することにより生成された1コマが2フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから1フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行う動き補正方法において、上記基準フィールドの基準画素を中心とした基準ブロックについて上記参照フィールドに対する動きベクトルを検出し、上記基準ブロックにおいて検出した動きベクトルを当該基準ブロックを構成する画素毎に割り当て、上記割り当てられた動きベクトルの示す画素が重複する場合にいずれか一の動きベクトルを選択し、上記補正フィールド上において動きベクトルの割り当てられた画素の画素値を上記補正フィールド毎に割り当てた重みに応じて当該動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせた位置の画素値とし、また画素値が存在しない情報不在領域に対して画素値を補間することを特徴とする。
【0030】
この動き補正回路及び方法は、基準画素を中心とした基準ブロックについて検出した動きベクトルを当該基準ブロックを構成する画素毎に割り当てる。そして、割り当てられた動きベクトルの示す画素が重複する場合にいずれか一の動きベクトルを選択した上で、動きベクトルの割り当てられた画素の画素値を、当該動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせた位置へ書き込み、また画素値をシフトさせた結果、画素値が存在しない情報不在領域に対して画素値を補間する。
【0031】
【発明の実施の形態】
以下、本発明を適用した画像信号処理装置及び方法について図面を参照して詳細に説明する。
【0032】
図1は、本発明の第1の実施の形態における動き補正回路1のブロック構成図である。動き補正回路1は、例えばPAL(Phase Alternation by Line)方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号やテレビジョン信号(以下、TV信号という)が入力される。またこの動き補正回路1は、図1に示すように、第1の画像メモリ11と、第2の画像メモリ12と、シーケンス検出部13と、データ選択部14と、動きベクトル検出部15と、画像シフト部16を備えている。
【0033】
第1の画像メモリ11は、テレシネ変換した画像を倍速変換することにより生成された1コマが4フィールドで構成された、例えば100フィールド/秒のインタレース画像データが順次供給される。また、この第1の画像メモリ11は、TV信号を倍速変換することにより生成された1コマが2フィールドで構成された、例えば100フィールド/秒のインタレース画像信号が順次供給される。
【0034】
第1の画像メモリ11は、供給された画像データを、各フィールド単位で、1フレーム分格納する。すなわち、第1の画像メモリ11から出力される画像データは、この第1の画像メモリ11に供給される画像信号より1フレーム後になる。
【0035】
第2の画像メモリ12は、第1の画像メモリ11と同様の内部構成を有し、第1の画像メモリ11から供給された画像データを、各フィールド単位で、1フレーム分格納する。すなわち、第2の画像メモリ12から出力される画像データは、この第2の画像メモリ12に供給される画像データより1フレーム後になり、第1の画像メモリ11に供給される画像データより2フレーム後になる。この第2の画像メモリ12に格納された画像データD1は、動きベクトル検出部15及び画像シフト部16に供給される。
【0036】
シーケンス検出部13は、第1の画像メモリ11に供給される画像データと、第1の画像メモリ11から出力される画像データを検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部13は、画面上の同一箇所における画素の画像信号レベルを、1フレーム間隔で比較する。シーケンス検出部13は、画像信号レベルの差分値の演算結果を画像シフト部15へ送信する。シーケンス検出部13は、上述の如く各フィールドの特定に加え、テレシネ変換された信号かTV信号かを判別し、当該判別結果を移動量情報として画像シフト部16等へ送信する。
【0037】
データ選択部14は、第1の画像メモリ11に供給される画像データと、第1の画像メモリ11から出力される画像データが入力される。このデータ選択部14は、シーケンス検出部13から受信した判別結果に基づき、供給される画像データのうち一方を選択する。すなわち、シーケンス検出部13によりテレシネ変換された信号であると判別された場合には、第1の画像メモリ11に供給される画像データを選択する。またシーケンス検出部13によりTV信号であると判別された場合には、第1の画像メモリ11から出力される画像データを選択する。データ選択部14により選択された画像データを以下、画像データD2と称する。データ選択部14は、選択した画像データD2を動きベクトル検出部15へ出力する。
【0038】
なお、データ選択部14として、第1の画像メモリ11から出力される画像データと、第2の画像メモリ12から出力される画像データのどちらか一方を選択する接続形態にも適用可能である。
【0039】
動きベクトル検出部15は、画像データD1と画像データD2とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。この動きベクトル検出部15は、双方向から動きベクトルをサーチする場合のみならず、単方向から動きベクトルをサーチすることも可能である。これにより、ハードコストを削減することも可能である。
【0040】
またこの動きベクトル検出部15は、検出した動きベクトルの誤差情報を含むフラグF1を算出する。すなわち、動きベクトル検出部15は、画像データD1と画像データD2との間で動きベクトルを検出することにより、1フレーム又は2フレーム離れた画像信号間の動きベクトルを特定することができる。またこの動きベクトル検出部15は、動きベクトルを検出するフィールド間隔をシーケンス検出部13から受信した判別結果に基づき、制御することも可能である。
【0041】
画像シフト部16は、画像信号レベルの比較結果を含む移動量情報を、シーケンス検出部13から受信する。また、画像シフト部16は、動きベクトル検出部15が検出した動きベクトルを受信する。更に画像シフト部16は、第2の画像メモリ12から画像データD1が供給され、またデータ選択部14から画像データD2が供給される。この画像シフト部16は、供給された画像信号における各画素位置を、受信した上記動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。この画像シフト部16の内部構成例については、後に詳細する。
【0042】
なお、動き補正回路1には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路3が集積される場合もある。フィールド倍速変換回路3は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えばPAL方式において、補間等の処理を行うことにより、フィールド周波数が50Hzの画像データを2倍の100Hzの画像データに変換する。
【0043】
フィールド周波数変換回路3は、図1に示すように、テレビジョン受像機に接続された入力端子31と、倍速変換部32と、フレームメモリ33とを備える。
【0044】
倍速変換部32は、テレビジョン受像機から入力端子31を介して入力された、テレシネ変換後の画像データ、またはテレビジョン信号を、フレームメモリ33へ書き込む。またこの倍速変換部32は、フレームメモリ33へ書き込んだ画像データを、書込み時の2倍の速度で読み出す。これにより、例えば、PAL方式の50フィールド/秒の画像信号の周波数を2倍に変換し、100フィールド/秒の画像データを生成することができる。倍速変換部32は、この倍速変換した画像データを動き補正回路1へ供給する。
【0045】
次に、動きベクトル検出部15の内部構成例について図2を用いて詳細に説明する。動きベクトル検出部15は、ブロックマッチング部151と、範囲外検出部152と、再割り当て部153とを備える。
【0046】
ブロックマッチング部151は、入力される画像データD1と画像データD2を、所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める。
【0047】
範囲外検出部152は、ブロックマッチング法により求められた探索範囲外の動きベクトルを、実際の画像の動きに適合するように修正する。
【0048】
再割り当て部153は、ブロック単位で求められた動きベクトルを画素単位の動きベクトルとして分離する。換言すれば、ブロック単位で求めた動きベクトルを、ブロックを構成する画素毎に割り当てる。ちなみに、再割り当て部153は、ブロック内の境界判定、画像エッジの検出、周辺ブロックとの相関判定、ブロック内における領域分割等のステップを経て、周辺ブロックに照らし合わせて最適なベクトル値を選択し、各画素毎に割り当てるものである。
【0049】
次に画像シフト部16の内部構成例について説明をする。画像シフト部16は、図3に示すように、シフトバッファ読出制御部161と、シフトバッファ書込制御部162と、シフトバッファ163と、データバッファ読出制御部164と、第1のバッファ165と、第2のバッファ166と、データ演算部167と、アンカバー処理部168とを備える。
【0050】
シフトバッファ読出制御部161は、動きベクトル検出部15から動きベクトルが送信され、シーケンス検出部13から移動量情報が送信される。シフトバッファ読出制御部161は、この動きベクトルと移動量情報及び内蔵されたアドレス計算用カウンタに基づき、シフトバッファ読出制御信号RS1を生成する。このシフトバッファ読出制御信号RS1は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、シフトバッファ163がフレームメモリ等で実現される場合において、シフトバッファ読出制御部161は、X座標、Y座標の各アドレス信号を絶対座標として計算する。一方、シフトバッファ163がラインメモリ等の必要最小限のメモリで実現される場合において、シフトバッファ読出制御部161は、X座標、Y座標の各アドレス信号を相対座標として計算する。
【0051】
ここで内蔵されたアドレス計算用カウンタ値においてX座標、Y座標がそれぞれ(CX1、CY1)であり、また供給された動きベクトルにおいて、X座標、Y座標がそれぞれ(VX、VY)であるときに、シフトバッファ読出制御信号RS1のアドレスの番号(SX、SY)は、以下の式で表される。
SX=CX1+(VX×α) (1.1)
SY=CY1+(VY×α) (1.2)
ここでαは移動量情報であり、0以上かつ1以下の数で表現される。ここで、コマの最初のフィールドを第1のフィールド、以後続くフィールドをそれぞれ第2のフィールド、第3のフィールド、第4のフィールドとしたとき、上述のαは、第1のフィールドにおいて最小とし、その後フィールドが続く毎に順次増大させても良い。またαは、テレシネ変換された信号が入力された場合に、第1のフィールドから第4のフィールドまでそれぞれ、0,1/4,2/4,3/4と、またTV信号が入力された場合にも、第1のフィールドから第2のフィールドまで、0,1/2と、線形に増加させていくことも可能である。
【0052】
これにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができるため、倍速変換した画像信号特有の動きの不連続感を解消することができ、また倍速変換により面フリッカ妨害を抑制した画像の動きを更にスムーズにすることができるため相乗的に画質を向上させることが可能となる。
【0053】
シフトバッファ読出制御部161は、生成したシフトバッファ読出制御信号RS1をシフトバッファ書込制御部162及びシフトバッファ163へ供給する。
【0054】
シフトバッファ書込制御部162は、動きベクトル検出部15からフラグF1が供給され、またシフトバッファ163からフラグF´が供給され、シフトバッファ読出制御部161から、シフトバッファ読出制御信号RS1が供給される。このシフトバッファ書込制御部162は、フラグF1とフラグF´の大小に基づき、書き込み時の優先順位を判定する。さらにこのシフトバッファ書込制御部162は、供給されるシフトバッファ読出制御信号RS1に基づき、書き込みアドレスを求め、当該書き込みアドレスと上述の通り判定した優先順位を、シフトバッファ書込制御信号RS2として、シフトバッファ163へ供給する。
【0055】
シフトバッファ163は、動きベクトル用バッファとフラグ用バッファから構成される。動きベクトル用バッファは、動きベクトルを蓄積・供給するためのバッファであり、フラグ用バッファは、フラグを蓄積・供給するためのバッファである。これらのバッファは、同一の制御信号に基づき、書き込みや読み出しが行われる。ちなみに、このシフトバッファ163は、動きベクトルとフラグのみ格納できれば足りるため、バッファ容量の削減を期待することができる。
【0056】
また、シフトバッファ163は、1フレーム分のデータを蓄積するフレームメモリであっても良いし、動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。
【0057】
シフトバッファ163は、まずフラグ用バッファの初期化を行う。フラグ用バッファに書き込まれるフラグには、データが書き込まれたか否かを示すマーク情報をも含む。マーク情報は、”NM”と”OK”の2種類で表され、”NM”は、初期化時にデータの書き込みが行われていないことを示し、”OK”は、データが既に書き込まれていることを示す。またシフトバッファ163は、シフトバッファ読出制御信号RS1のイネーブルが有効である場合に、アドレス対応させてシフトバッファ書込制御部162へフラグF´を送信する。また、シフトバッファ163は、シフトバッファ書込制御信号RS2のイネーブルが有効な場合に、アドレス値に従って、動きベクトル、フラグF1を、それぞれ動きベクトル用バッファ、フラグ用バッファに書き込む。更に、このシフトバッファ163は、格納した動きベクトルを番号順に整理し(以下、この番号順に整理した動きベクトルを、移動済動きベクトルという)、また処理フラグF2を順次読み出し、それぞれをデータバッファ制御部161、データ演算部167へ供給する。
【0058】
データバッファ読出制御部164は、シフトバッファ163から移動済動きベクトルが供給され、シーケンス検出部13から移動量情報が送信される。データバッファ読出制御部164は、この入力された動きベクトルに基づき、バッファ制御信号S11及びバッファ制御信号S12を演算する。これらの各バッファ制御信号S11,S12は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、第1のバッファ165、及び第2のバッファ166がフレームメモリ等で実現される場合において、データバッファ読出し制御部161は、X座標、Y座標の各アドレス信号を絶対座標として計算する。一方、第1のバッファ165、及び第2のバッファ166がラインメモリ等の必要最小限のメモリで実現される場合において、データバッファ読出制御部161は、X座標、Y座標の各アドレス信号を相対座標として計算する。
【0059】
データバッファ読出制御部164は、内蔵されたアドレス計算用カウンタの値と動きベクトルに基づいてバッファ制御信号S11を生成する。またデータバッファ読出制御部164は、バッファ制御信号S11と動きベクトルに基づいてバッファ制御信号S12を生成する。
【0060】
例えばTV信号が入力された場合に、バッファ制御信号S11のアドレスにおいて、X座標、Y座標がそれぞれ(AX1,AY1)であり、またバッファ制御信号S12のアドレスにおいて、X座標、Y座標がそれぞれ(AX2,AY2)であり、動きベクトルが(VX,VY)であり、内部のアドレス計算用カウンタ値を(CX´,CY´)とするとき、バッファ制御信号S11のアドレスは、以下の式で表される。
AX1=CX´−INT(VX/2) (2.1)
AY1=CY´−INT(VY/2) (2.2)
ここで関数INTは、小数点以下切り捨てを意味する。
【0061】
また、バッファ制御信号S12のアドレス(AX2,AY2)は以下の式で表される。
AX2=AX1+VX (2.3)
AY2=AY1+VY (2.4)
データバッファ読出制御部164は、これらの計算したアドレスを含むバッファ制御信号S11を第1のバッファ165に供給する。またデータバッファ読出制御部164は、同様に計算したアドレスを含むバッファ制御信号S12を第2のバッファ166に供給する。
【0062】
第1のバッファ165は、第2の画像メモリ12から送信された画像データD1を順次蓄積する。また第1のバッファ165は、供給されたバッファ制御信号S11に応じて蓄積した画像データD1を読み出す。すなわちこの第1のバッファ165は、供給されたバッファ制御信号S11のイネーブルが有効な時に、当該バッファ制御信号S11に含まれるアドレスに従って、第1のバッファ165に蓄積した画像データD1を読み出す。この読み出された画像データD1を以下、シフトデータSD1と称する。第1のバッファ165は、シフトデータSD1をデータ演算部167へ送信する。
【0063】
この第1のバッファ165は、1フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの範囲に基づいたラインメモリ等、必要最小限のメモリで構成しても良い。更にこの第1のバッファでは、データの読出しをシーケンシャルに行うため、FIF0メモリ等で実現しても良い。
【0064】
第2のバッファ166は、データ選択部14から送信された画像データD2を順次蓄積する。また第2のバッファ166は、供給されたバッファ制御信号S12に応じて、蓄積した画像データD2を読み出す。すなわち、この第2のバッファ166は、供給されたバッファ制御信号S12のイネーブルが有効な時に、当該バッファ制御信号S12に含まれるアドレスに従って、第2のバッファ166に蓄積した画像データD2を読み出す。この読み出された画像データD2を、以下シフトデータSD2と称する。第2のバッファ166は、シフトデータSD2をデータ演算部167へ送信する。
【0065】
この第2のバッファ166は、1フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの範囲に基づくラインメモリ等、必要最小限のメモリで構成しても良い。かかる場合には、ランダムに与えられるアドレスに対応してランダムにデータを読み出すシステムが構築される。
【0066】
データ演算部167は、供給されたシフトデータSD1と、シフトデータSD2に基づき、シフトバッファ163から供給される処理フラグF2を参照しながら補正データH1を算出する。なお、処理フラグF2が”OK”の場合はデータが確定できるため、データ演算部167において所定の演算を行う。一方、処理フラグF2が”NM”の場合はデータを確定することができず、他の領域から画素値が全く書き込まれない領域(以下アンカバー領域と称する)であるものと仮定して、アンカバー処理部167へ処理を委ねる。なお、この補正データH1は、シフトデータSD1やシフトデータSD2をそのまま出力することによって演算しても良いし、シフトデータSD1とシフトデータSD2の平均値としても良い。更には、動きベクトル等の値を用いて重み付け平均をとる形で移動データM1を算出しても良い。アンカバー処理部168は、受け取った補正データH1に基づき、アンカバー領域に対して画素値を補間する。
【0067】
次に本発明を適用した動き補正回路1の動作について説明する。図4は、フィールド倍速変換回路3における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【0068】
倍速変換前の画像データは、PAL方式の50フィールド/秒のインタレース画像であり、図4(a)に示すように、2フィールドで1つのコマを形成する。
【0069】
一方、倍速変換後の画像データは、100フィールド/秒のインタレース画像であるため、図4(b)に示すように、フィールドt1とフィールドt2の間に、新規に2枚のフィールドt2´、t1´を生成する。そして、フィールドt2とフィールドt3の間では、フィールドの生成を行わず、フィールドt3とフィールドt4の間に、新規に2枚のフィールドt4´、t3´を生成する。すなわち、画像データは、4フィールドで1つのコマを形成することとなる。
【0070】
この新規に生成したフィールドt1´、t2´、・・・は、それぞれの画素値を、各画素の周囲3画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドt1´、t2´、・・・は、それぞれフィールドt1、t2、・・と同じ内容となる。これにより、4フィールドで1つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【0071】
テレシネ変換後、上述の如き倍速変換された画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図5に示す。この図5において、横軸は画像の水平方向における位置、縦軸は時間を表している。既にテレシネ変換された画像は、フィールドt1、t2´、t1´、t2の順で、一定の時間間隔で第1の画像メモリ11に供給され、これらの画像は同一の位置に表示される。またフィールドt3に移行すると画像が水平方向(右方向)に移り、フィールドt3、t4´、t3´、t4の順で第1の画像メモリに供給される。
【0072】
ここで、例えば、第1の画像メモリに供給されるフィールド(以下、参照フィールドと称する)が、フィールドt3である場合には、第2の画像メモリ12から出力される、参照フィールドより2フレーム前のフィールド(以下、2フレーム前フィールドと称する)は、フィールドt1となる。
【0073】
また、TV信号を倍速変換した画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図6に示す。同一のコマを構成するフィールドt1、t2´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドt1´、t2において、同一位置に同一の画像が表示される。
【0074】
動きベクトル検出部15は、図5に示すテレシネ変換後、倍速変換された信号につき、参照フィールドと2フレーム前フィールド間で、各ブロック単位で動きベクトルを検出する。図5に示す例の場合には、動きベクトルのベクトル方向は、2フレーム前フィールドを基準として水平方向(右方向)となり、ベクトル量はAとなる。同様に、参照フィールドがt5の場合には、2フレーム前フィールドは、t3となり、動きベクトルのベクトル量はBとなる。この手順を繰り返すことにより、2フレーム前フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部15は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部16へ順次送信する。
【0075】
また、動きベクトル検出部15は図6に示すTV信号を倍速変換された信号につき、参照フィールドと参照フィールドより1フレーム前のフィールド(以下、1フレーム前フィールドと称する)との間で、各ブロック単位で動きベクトルを検出する。図6に示す例の場合には、動きベクトルのベクトル方向は、1フレーム前フィールドを基準として水平方向(右方向)となり、参照フィールドがt1´のときにベクトル量はCとなる。同様に、参照フィールドがt4´の場合には、1フレーム前フィールドは、t1´となり、動きベクトルのベクトル量はDとなる。この手順を繰り返すことにより、1フレーム前フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部74は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部15へ順次送信する。
【0076】
シーケンス検出部13は、参照フィールドと、第1の画像メモリ11から出力される1フレーム前フィールドを順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【0077】
すなわち、図7に示すように、テレシネ変換画像の場合には、参照フィールドt1´と、1フレーム前フィールドt1は、同一のコマを構成するため、例えば画素位置a点における画素信号レベルの差分値は0になる。次に参照フィールドとしてフィールドt2が供給されると、1フレーム前フィールドはフィールドt2´となり、a点における画素信号レベルの差分値は同様に0となる。
【0078】
次に参照フィールドとしてフィールドt3が供給されると、1フレーム前フィールドはt1´となり、両者はそれぞれ別のコマを形成するため、a点における画素信号レベルの差分値は0以外(以下、”1”とする)となる。次に参照フィールドとしてt4´が供給されると1フレーム前フィールドはフィールドt2となり、a点における画素信号レベルの差分値は、同様に”1”となる。
【0079】
更に参照フィールドとしてt3´が供給されると、1フレーム前フィールドは、t3となり、両者は同一のコマを形成するため、a点における画素信号レベルの差分値は再び0になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、4フィールド周期で「0011」の順で繰り返される。従って、このシーケンスを4フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【0080】
この傾向を1フレーム前フィールドにつき着目すると、差分値は、コマの最初のフィールドから「0011」の順になる。従って、最初に差分値0を算出したとき、検出した1フレーム前フィールドを、コマの最初のフィールド(第1のフィールド)として特定する。また差分値0が連続したときには、検出した1フレーム前フィールドを第2のフィールドとして特定する。また差分値として最初に1を算出した場合に、検出した1フレーム前フィールドを第3のフィールドとして特定する。また、差分値1が連続したときには、検出した1フレーム前フィールドを第4のフィールドとして特定する。
【0081】
なお、TV信号が入力された場合においても、各フィールドが第1のフィールド又は第2のフィールドのいずれに該当するか判別する必要あるが、フィールド倍速変換回路3により倍速変換する際に該当するフィールドは判明するため、上述のようなシーケンス検出の必要性は無い。すなわち、フィールド倍速変換回路3からTV信号が入力される際には、第1のフィールドと、第2のフィールドが特定されていることになる。
【0082】
次に動きベクトル検出部15におけるブロックマッチング部151の動作例について詳細に説明する。
【0083】
ブロックマッチング部151は、図8に示すように画像データD1に相当する基準フィールド30を複数の基準ブロック51に分割し、当該画像データD1(基準フィールド30)における基準ブロック51と最も高い相似度を示すブロックを、画像データD2(参照フィールド40)における探索範囲54内を移動する探索ブロック53から検出する。そして当該検出された探索ブロック53と基準ブロック51間の位置のずれ(移動の方向と大きさ)を動きベクトルとする。
【0084】
上述の相似度の判定は、先ず探索ブロック53の各画素値について、基準ブロック51の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック53について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック53を、基準ブロック51と最も高い相似度を示すブロックとし、かかるブロックの原点の画素63と、基準ブロック51の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【0085】
なお、このブロックマッチング部151は、上述したブロックマッチング法に基づく動きベクトルの検出に加えて以下に示す検出方法を適用することにより、本来の画像の動きに適合した動きベクトルを検出しても良い。
【0086】
先ず、第1の検出方法について説明をする。この第1の検出方法では、上述のブロックマッチング法を利用した動き補正に加えて、更に以下のコンセプトから、動きベクトルの検出を行う。
【0087】
図9は、探索範囲54内に割り当てられた全探索ブロック53について求めた差分絶対値和の分布傾向の一例を示している。この図9より、差分絶対値和の高い領域は、基準ブロック51と探索ブロック53との画素値が著しく異なる領域である。一方、凹部を形成している差分絶対値の低い領域は、基準ブロック51と探索ブロック53との画素値が近似する領域である。すなわち、画素値が近似する領域に対して動きベクトルを特定することで、高画質化、高解像度化を実現することができる。
【0088】
探索範囲54は、垂直成分(ys)に対応した水平ラインが割り当てられている。各水平ラインは、それぞれ差分絶対値の極小値を有し、これらの極小値が上述した差分絶対値の低い領域を形成している。以下、これらの水平ライン毎の極小値をライン極小値と称する。
【0089】
また、通常のブロックマッチング同様に探索範囲54全体の中から特定した差分絶対値和の極小値を領域極小値と称する。すなわち各ライン極小値の中で最小となる差分絶対値和は、この領域極小値に相当する。図9において示されるように、黒丸で示した領域極小値は、他のライン極小値と比較しても大差無い。このため、この領域極小値を示す画素の代わりに、ライン極小値を示す画素について、基準ブロック51の原点の画素との間で動きベクトルを特定しても、画質や解像度にほとんど影響が及ばないことになる。
【0090】
このため第1の検出方法では、かかる性質に着目し、ライン極小値を有する画素の中から本来の画像の動きに最も適合する画素を選択し、基準ブロック51の原点の画素との間で動きベクトルを特定する。
【0091】
次に第2の検出方法について説明をする。この第2の検出方法では、図10に示すように、左側の画素(ブロック)から右側の画素(ブロック)へ順に動きベクトルを求めていくことに着目し、上述のブロックマッチング法に加えて、更に以下の動き補正を行なう。
【0092】
本来の画像の動きを識別するために、左隣の画素の動きベクトルを本来の画像の動きを識別するためのパラメータとして読み出す。そして、動きベクトルを求める画素35(基準ブロック51の原点の画素)の左隣に位置する画素34において求められている動きベクトルが正確なものであると仮定する。実際には、図11に示すように、画素35の動きベクトルの方向を、該左隣に位置する画素34の動きベクトルに合わせる。このようにして求められた画素35の動きベクトルも正確なものとなるため、さらに画素36の動きベクトルを求める際に、画素35を参酌することができ、動きベクトルの正確性を担保することが可能となる。
【0093】
またブロックマッチング部151は、上述したブロックマッチング法に基づいて検出した動きベクトルについて、更に図12に示す修正処理を施しても良い。
【0094】
この修正処理では、実際の画像の動きと無関係な動きベクトルが求められている画素(以下、この画素を基準画素と称する)を抽出し、当該基準画素に隣接する隣接画素の動きベクトルに適合させるものである。
【0095】
まず、ブロックマッチング部151は、ステップS11において各変数を初期化し、次にステップS12において、図13に示す隣接画素A〜Hの中から最初の隣接画素(例えば隣接画素A)における動きベクトルを抽出する。
【0096】
次に、ブロックマッチング部151は、ステップS13において、隣接画素における動きベクトルの水平成分の極性Vx_iを識別し、当該極性がプラスであればステップS14へ移行し、当該極性がマイナスであればステップS15へ移行する。
【0097】
ステップS14において、ブロックマッチング部151は、図示しないカウンタCnt_pに1を加算し、また抽出した動きベクトルの水平成分を、隣接画素の水平成分の和Vx_ave_pへ、また当該動きベクトルの垂直成分を垂直成分の和Vy_ave_pへ加算し、ステップS16へ移行する。
【0098】
ステップS15において、ブロックマッチング部151は、図示しないカウンタCnt_mに1を加算し、また抽出した動きベクトルの水平成分を、隣接画素の水平成分の和Vx_ave_mへ、当該動きベクトルの垂直成分を垂直成分の和Vy_ave_mへ加算し、ステップS16へ移行する。
【0099】
ステップS16において、ブロックマッチング部151は、ステップS13で識別した隣接画素が、抽出すべき隣接画素A〜Hのうち最後の隣接画素か否か識別する。最後の隣接画素であればステップS18へ移行する。最後の隣接画素でなければステップS17へ移行する。
【0100】
ステップS17において、ブロックマッチング部151は、次の隣接画素の動きベクトル(例えば隣接画素B)を抽出し、再度ステップS13へ移行する。このルーチンを組むことにより、図2に示す隣接画素A〜H全てについて動きベクトルの識別をすることが可能となる。また隣接画素A〜H全てについて動きベクトルを識別して、ステップS18に移行する際には、カウンタCnt_pにおいて、動きベクトルの水平成分の極性がプラスである隣接画素の個数が、またカウンタCnt_mにおいて、動きベクトルの水平成分の極性がマイナスである隣接画素の個数が示されることとなる。さらに、動きベクトルの水平成分の極性がプラスである隣接画素における水平成分の和Vx_ave_p、垂直成分の和Vy_ave_pが求められており、また動きベクトルの水平成分の極性がマイナスである隣接画素における水平成分の和Vx_ave_m、垂直成分の和Vy_ave_mが求められることになる。
【0101】
ちなみに、ステップS17において、隣接画素A〜Hの抽出する順は時計回り、或いは反時計回りであっても良いし、ランダムであっても良い。また抽出する隣接画素は、隣接画素A〜H全て抽出しなくても良く、例えば、上段の隣接画素A〜C、隣接画素B,D,E、又は、隣接画素A,B,C,D,Eであっても良い。また、画素単位でなく複数の画素からなるブロック単位で上述の処理を実行しても良い。
【0102】
ステップS18に移行すると、ブロックマッチング部151は、カウンタCnt_pとカウンタCnt_mの数値を比較する。その結果、カウンタCnt_pがより大きい場合には、隣接画素のうち、動きベクトル水平成分の極性がプラスである隣接画素の方が多いことが示され、ステップS19へ移行する。また、カウンタCnt_mがより大きい場合には、隣接画素のうち、動きベクトルの水平成分の極性がマイナスである隣接画素の方が多いことが示され、ステップS20へ移行する。
【0103】
ステップS19では、動きベクトルの水平成分の極性がプラスである隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分(Vx_n、Vy_n)は、水平成分の極性がプラスである隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
Vx_n=Vx_ave_p/Cnt_p
Vy_n=Vy_ave_p/Cnt_p
【0104】
また、ステップS20では、動きベクトルの水平成分の極性がマイナスである隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分(Vx_n、Vy_n)は、水平成分の極性がマイナスである隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
Vx_n=Vx_ave_m/Cnt_m
Vy_n=Vy_ave_m/Cnt_m
【0105】
すなわち、ブロックマッチング部151は、上述した図12に示す処理手順を踏むことにより、基準画素の動きベクトルを、隣接画素の動きベクトルのベクトル方向をカウントし、多数の隣接画素が示すベクトル方向に合うように修正することができる。換言すれば、基準画素の周囲に位置する隣接画素の動きベクトルの方向を多数決し、多い方の動きベクトルの方向を実際の画像の動きであるものと推定して、基準画素の動きベクトルのベクトル方向を修正することができる。これにより、動きベクトルのばらつきを解消することが可能となり、ひいては、変換画像の劣化を防止することができる。
【0106】
次に範囲外検出部152の動作例について説明をする。
【0107】
範囲外検出部152は、ブロックマッチング部151から送信された動きベクトルが例えば図14に示すように探索範囲54外に出る場合に補正処理を行なう。
【0108】
第1の補正処理は、例えば図14(a)に示すように、修正する動きベクトルのベクトル方向を、ブロックマッチング演算部11により求められた動きベクトルのベクトル方向に適合させる。すなわちブロックマッチング演算部11により求められた動きベクトルの方向を変えずに、ベクトル量のみ探索範囲54の輪郭部まで縮小させる。
【0109】
第2の補正処理は、例えば図14(b)に示すように、修正する動きベクトルの垂直成分を、ブロックマッチング演算部11により求められた動きベクトルの垂直成分に適合させ、或いは修正する動きベクトルの水平成分を、ブロックマッチング演算部11により求められた動きベクトルの水平成分に適合させつつ、ベクトル量を探索範囲54の輪郭まで縮小させる。
【0110】
第3の補正処理は、例えば図14(c)に示すように、ベクトル量が探索範囲54内に収まるような複数の動きベクトルの候補を予め設定し、ブロックマッチング演算部11により求められた動きベクトルのベクトル方向、ベクトル量に応じて(換言すれば差分絶対値和が最小となる画素位置に応じて)、当該動きベクトルの候補から一の動きベクトルを選択する。ちなみに設定する動きベクトルの候補は、図14(c)に示すように、探索範囲54の各辺につき、1つずつ設定しても良い。
【0111】
このように、本発明に係る動きベクトル検出装置1は、求められる真の動きベクトルが探索範囲54外に存在する場合においても、従来のブロックマッチング法の如く各ブロック51,53の差分絶対値和の最小値を最優先することなく、当該真の動きベクトルを容易に検出することができる。これにより、本発明は、本来の動きと異なる不規則な動きベクトルが求められることは無く、画質の劣化や、領域単位での処理破綻を防止することが可能となる。
【0112】
次に、画像シフト部16の具体的な動作例について説明をする。
【0113】
図15(a)は、1コマ2フィールドで構成されるTV信号が入力された場合における画像シフト部16の具体的な動作例を一次元のグラフで示している。この動作例は、TV信号が入力された場合のものであり、0から始まる番号は、画素位置を示すアドレスであり、また縦軸は画素値を表している。
【0114】
本発明では、この時間的に異なる画像データD1と画像データD2の中間に位置する第2のフィールド(動き補正フィールド)に対して、様々な画像のバリエーションにおいても動きがスムーズに見えるように補正データを書き込む。すなわち、この図15に示す例において、左側に凸部がある画像データD1から、中央になだらかな凸部がある画像データD2へ移り変わる際に、全体の動きがスムーズに見えるような画像を、上述の動き補正フィールドにおいて作成する。
【0115】
図16は、図15に示す画像シフト部16の具体的な動作例を、画素値で表示したものである。図16(a)は、画像シフト部16に入力される画像データD1と画像データD2を表したものであり、番号は、画素位置を示すアドレスである。各画素毎に輝度があることから、供給される画像データD1には、番号ごとに画素値が割り振られる。
【0116】
すなわち、図16(a)に示す動作例において、画像データD1は、番号0〜11のアドレスにおいて、順に100、100、200、・・・・と続く画素値で表される。
【0117】
画像データD1より後に位置する画像データD2は、番号0〜11のアドレスにおいて、順に100、100、100、・・・・と続く画素値で表される。
【0118】
図16(a)に示されている動きベクトルは、この画像データD1と、画像データD2間との間で、各画素毎の画像データD1を基準としたベクトル量を表したものである。例えば、画像データD1において番号1のアドレスにある画素値100の画素は、1フィールド後に位置する画像データD2においても番号1のアドレスに位置している。従って動きベクトルは0である。また、例えば画像データD1において番号2のアドレスにある画素値200の画素は、画像データD2において、番号4のアドレスに移動する。従って動きベクトルは4−2=2より、2となる。ちなみに図15に示す矢印は、この各画素毎の動きベクトルを示したものである。
【0119】
図16(a)に示すフラグF1は、画像データD1の検出画素と、画像データD2における当該検出画素との差分絶対値とした場合の例である。この図16(a)に示す例において、画像データD1において番号2のアドレスにある画素値200の画素は、画像データD2において番号4のアドレスに移動し、画素値は200と変わらないため、差分絶対値は0である。一方、画像データD1において番号7のアドレスにある画素値110の画素は、画像データD2において番号10のアドレスに移動し、画素値は100となるため、差分絶対値は10となる。
【0120】
図16(b)は、シフトバッファ読出制御信号RS1について示している。この図16(b)に示した例では、式(1.1)に基づき、アドレス計算カウンタから、0,1,2、3・・・と、0から1ずつプラスにシフトさせた値をCX1とし、また移動量情報αを1/2とした場合について示している。なお、アドレス計算カウンタの数値CX1は、画像データD1のアドレスを示す番号に対応させて出力している。
【0121】
このシフトバッファ制御信号RS1を生成する際において、例えば、アドレス計算カウンタの番号が”2”である場合には、図16(a)に基づき、番号2に対応する画素位置の動きベクトルは”2”であるので、式(1.1)に基づき、2+2×1/2=3より、シフトバッファ読出制御信号RS1の番号は”3”となる。同様にアドレス計算カウンタの番号が”3”の場合には、図16(a)に基づき、番号3に対応する動きベクトルは”2”であるので、式(1.1)に代入して、3+2×1/2=4より、シフトバッファ読出制御信号RS1の番号は”4”となる。
【0122】
すなわち、この生成されたシフトバッファ読出制御信号RS1の番号は、動き補正フィールドにおいて、補正データH1を書き込むアドレスの番号を示している。
【0123】
算出したシフトバッファ制御信号RS1のアドレスについて、シフトバッファ163への動きベクトルの書き込み状況を検知するべく、フラグF´を読み出す。このフラグF´は、シフトバッファ163にアクセスされたアドレスにおいて、動きベクトルが書き込まれていない場合には、”NM”が返される。一方、動きベクトルが既に書き込まれたアドレスに対しては、差分絶対値の値が返される。
【0124】
例えば図16(b)に示す例において、シフトバッファ読出制御信号RS1の番号0〜8のアドレスでは、シフトバッファ163からフラグF´を介して、データが書き込まれていない旨が表示される。また、番号9のアドレスにおいては、最初はデータが書き込まれていない旨の”NM”が、次回では差分絶対値が、フラグF´として返されている。すなわちシフトバッファ163の番号9のアドレスには、複数の動きベクトルが書き込まれることを意味している。これは図15において、画像データD2の番号9のアドレスには、画像データD1の番号6並びに番号9に基づく動きベクトルが集中していることからも示される。
【0125】
ここで、フラグF´が”NM”で返されたシフトバッファ163のアドレスには、当該アドレスの番号に応じて動きベクトルが順次書き込まれる。また、フラグF´が数値を持つ場合には、フラグF´と当該アドレスの番号に相当するフラグFとを比較し、数値が小さい方を有効とする。これにより、画像データD1から画像データD2へ移行するまでに誤差の少ない動きベクトルをシフトバッファ163へ書き込むことが可能となり、単一の画素位置に複数の動きベクトルがかかるような、様々なバリエーションの画像についても高精度に動き補正することが可能となる。
【0126】
シフトバッファ書込制御部162は、供給されるフラグF´に基づき、動きベクトルをシフトバッファ163上に書き込むためのアドレスを決定する。例えば、番号9において、フラグFは”10”であり、またフラグF´は”0”である。数値の小さいフラグを優先するため、この番号9では、当初に書き込まれた、番号6のアドレスに基づく動きベクトル”3”が、そのままシフトバッファ163に格納され続けることになる。
【0127】
またシフトバッファ書込制御部162は、アドレスに対応する番号と動きベクトルとを関連付けてシフトバッファ書込制御信号RS2とし、これをシフトバッファ163へ書き込む。書き込まれた後のシフトバッファ163には、図16(b)の下段に示すように、各番号のアドレスに対して動きベクトルが格納されることになる。
【0128】
シフトバッファ163に格納された動きベクトルを、アドレスの番号の順に再度整理した結果を図16(c)に示す。また処理フラグF2は、各アドレスにおけるマーク情報を示している。この処理フラグF2において”OK”が出力されている場合には、当該番号のアドレスにデータが書き込まれていることを示し、また”NM”が出力されている場合には、当該番号のアドレスにデータが書き込まれていないことを示している。ちなみに番号2のアドレスには、データが書き込まれていないため、処理フラグF2として”NM”が出力される。
【0129】
このシフトバッファ163から読み出された移動済動きベクトルは、データバッファ読出制御部164へ、処理フラグF2は、データ演算部167へ供給される。
【0130】
データバッファ読出制御部164は、供給された移動済動きベクトルに基づき、上述の式(2.1)〜(2.4)を利用してバッファ制御信号S11、S12を作り出す。例えば、アドレス計算カウンタの値を、シフトバッファ163のアドレスに対応する番号とした場合において、番号3のアドレスでは、図16(c)より、移動済動きベクトルは”2”であるので、バッファ制御信号S11は、式(2.1)より”2”となり、またバッファ制御信号S12は、式(2.3)より”4”となる。また、番号6のアドレスにおいても同様に、移動済動きベクトルは、”3”であるので、バッファ制御信号S11は、”5”となり、またバッファ制御信号S12は、”8”となる。
【0131】
以上の如く算出されたバッファ制御信号S11は、第1のバッファ165に供給され、バッファ制御信号S11の番号に対応するアドレスの画素値が、第1のバッファ165から読み出される。読み出された画素値は、図16(c)中段に示すように、シフトデータSD1としてアドレスに対応付けられ、データ演算部167等に供給されることとなる。
【0132】
同様にバッファ制御信号S12が第2のバッファ166に供給され、バッファ制御信号S12の番号に対応するアドレスの画素値が第2のバッファ166から読み出される。読み出された画素値は、図8(c)中段に示すようにシフトデータSD2としてアドレスに対応付けられ、データ演算部167等に供給されることとなる。
【0133】
図16(c)最下段は、補正データH1を、シフトデータSD1とシフトデータSD2の平均値とした場合について示している。データ演算部167は、送信される処理フラグF2として”OK”が出力されている番号について、対応するシフトデータSD1、SD2に基づき、補正データH1を算出し、また”NM”出力されている番号2のアドレスでは、隣接する番号1のアドレスの画素値をそのままホールドしている。但し、”NM”の部分については、アンカバー処理部168で再度演算が行われるため、ここではダミーデータとしてホールド値を代入する。
【0134】
この生成した補正データH1を、各番号のアドレス毎に動き補正フィールドへ書き込むことにより、図15(a)に示すような画像を作り出すことができる。
【0135】
すなわち、画像シフト部16は、例えば番号9のように動きベクトルが示す画素が重複する場合にいずれか一の動きベクトルを選択して、補正データH1を作成し、これを動き補正フィールド50へ書き込むことができる。これにより、本発明に係る動き補正回路1は、例えば画像が水平方向へ移動しながら、画素値が変化する場合においても、画像の動きの不連続性を効率よく解消することができる。
【0136】
次に、アンカバー処理部168の動作例について説明する。
【0137】
このアンカバー処理部168による画素の補間処理は、アンカバー領域周辺画素の書込処理、静止画像処理、背景処理の3種類に分類される。
【0138】
図17は、アンカバー領域周辺画素の書込処理を行なう場合について説明するための図である。このアンカバー領域内において、画素値を補間する補間画素位置110とし、アンカバー領域の水平方向に隣接する画素位置を、左から画素位置120、画素位置130とする。
【0139】
動きベクトル特定部11は、先ず補間画素位置110における動きベクトルを特定する。かかる動きベクトルは、例えば基準フィールド30と、参照フィールド40との間で算出した差分に基づいて特定する。
【0140】
次に画素選択部12は、特定した補間画素位置110における動きベクトルについて抽出した垂直成分に基づき、アンカバー領域の垂直方向、若しくは水平方向に隣接する画素を選択する。この画素の選択は、動きベクトルの垂直成分が+2,−2の場合には、垂直方向に隣接する画素111,112をそれぞれ選択し、また垂直成分が+1,0,−1のときには、水平方向に隣接する画素120,130を選択する。
【0141】
すなわち、補間画素位置110における動きベクトルの垂直成分が+2,−2の場合には、補間画素位置110周辺の画素において垂直成分への動きが水平成分の動きよりも顕著であることを示している。従って、補間画素位置110周辺の画素の画素値に適合させるためには、垂直方向に隣接する画素の画素値を書き込む方が好ましいことになる。また、シフト量は、スムーズな動きを実現する観点から、動きベクトルのベクトル量の1/2にすることが多い。このため、+2,−2を1/2倍すると+1,−1になるため、補間画素位置の垂直方向へ隣接する画素111,112の画素値を書き込むことにより、ベクトル量の観点からも、アンカバー領域周辺の画素の画素値と整合をとることができる。
【0142】
一方、補間画素位置110における動きベクトルの垂直成分が+1,0,−1の場合には、補間画素位置110周辺の画素において水平成分の動きが垂直成分の動きよりも顕著であることを示している。従って、補間画素位置110周辺の画素の画素値に整合させるためには、水平方向に隣接する画素120,130の画素値を書き込む方が好ましいことになる。
【0143】
次に、本発明を適用したアンカバー領域の処理方法において、静止画像処理を用いる場合について説明をする。
【0144】
この静止画像処理において、以下に説明する静止条件を満たすときに、情報書込部13は、基準フィールド30上の補間画素位置110における画素値を、そのまま動き補正フィールド50上の補間画素位置110へ書き込む。すなわち、基準フィールド上の画像と、1フレーム後の参照フィールド40上の画像が静止していれば、基準フィールド30の画像をそのまま動き補正フィールドに書き込めば足りるからである。
【0145】
静止条件Aは、基準フィールド30から切り出した補間画素位置110を原点とする基準ブロックと、上記参照フィールド40から切り出した補間画素位置110を原点とする参照ブロックとの間で演算した画素値が類似していること、換言すればこれらの画素値の差分絶対値が閾値以下であること、を条件とする。
【0146】
また静止条件Bは、上述した静止条件Aに加えて、さらにアンカバー領域の左隣の画素120における画素値と、基準フィールド30から切り出した補間画素位置110の画素値が類似していること、換言すればこれらの画素値の差分絶対値が閾値以下であること、を条件とする。
【0147】
更に静止条件Cは、上述した静止条件Aに加えて、アンカバー領域の左隣の画素120における画素値と、アンカバー領域の右隣の画素130における画素値が非類似であり(換言すれば、これらの画素値の差分絶対値が閾値以上であり)、かつ基準フィールド30上の補間画素位置110における画素値が、上記左隣の画素120における画素値と上記右隣の画素130における画素値との間にあることを条件とする。
【0148】
かかる静止条件A,B,Cは、全て基準フィールド30上の画像と、1フレーム後の参照フィールド40上の画像が静止状態に近い程、クリアできるものとなっている。ちなみに、内蔵したテレビジョン受像機のスペックに応じて、この静止条件A,B,Cを自由に選択することも可能である。
【0149】
次に、本発明を適用したアンカバー領域の処理方法において、背景処理を用いる場合について説明をする。
【0150】
この背景処理においては、動きベクトル特定部11により特定された動きベクトルの垂直成分を識別する。この動きベクトルの垂直成分が−1〜+1であり、かつアンカバー領域における左隣の画素120、又は右隣の画素130における動きベクトルの各成分が0である場合に、背景であるものと判別する。そして、参照フィールド40上の補間画素位置110における画素値を、そのまま動き補正フィールド50上の補間画素位置110へ書き込む背景処理を行なう。背景の画像であれば、参照フィールド40上の画像をそのまま動き補正フィールド50に書き込めば足りるからである。
【0151】
なお、本発明はPAL方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、NTSC(National TV System Committee)方式の60フィールド秒(30コマ/秒)のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、SECAM方式によるテレビジョン受像機に対しても適用可能である。
【0152】
また本発明は、例えば図3に示す画像シフト部16において、シフトバッファ読出制御部161を除去し、またシフトバッファ読出制御信号RS1、フラグF1、フラグF´を省略し、優先順位を判定しない方式にも適用可能である。この画像シフト部16において、アドレスに書き込むデータが重複する場合には、時間的に後に計算されたデータが、既に書き込まれているデータ上に上書きされることになるが、フラグの読み出し時の制御が不必要になるため、回路を更に簡略化することができる。
【0153】
また本発明は、例えばテレビジョン受像機に接続する信号変換器等にも適用でき、また回路やハードウェア等で実現される場合のみならず、プロセッサ上でソフトウェアとしても実現可能である。
【0154】
更に本発明は、インターネットで伝送されるような画像信号をPCなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができることは勿論である。
【0155】
【発明の効果】
以上詳細に説明したように、本発明に係る動き補正回路及び方法は、テレシネ変換した画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第1のフィールドを特定し、特定した第1のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。このため、本発明に係る動き補正回路及び方法は、テレシネ変換後、倍速変換した画像信号特有の動きの不連続感を解消することができ、倍速変換により面フリッカ妨害を抑制した画像の動きを更にスムーズにすることができ、相乗的に画質を向上させることが可能となる。
【0156】
また、本発明に係る動き補正回路及び方法は、時間的に異なる画像データ間において、画像の動きをスムーズにできる最適な補正データを動き補正フィールドに書き込むため、例えば画像が水平方向へ移動しながら、画素値が変化する場合においても、画像の動きの不連続性を効率よく解消することができる。またこの動き補正回路及び方法は、テレシネ変換した画像信号とTV信号とが双方とも入力される場合において、画像の様々なバリエーションに対応させて、動きの不連続性を効率よく解消することができる。これにより、フィルム信号とTV信号の双方が入力されるテレビジョン受像機に内蔵することができ、また既に販売されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョンアップを図ることも可能となり、汎用性をより高めることも可能となる。
【0157】
また、本発明に係る動き補正回路及び方法は、実際の画像の動きに適合した動きベクトルを求めることにより、求める動きベクトルのばらつきを解消し、ひいては変換画像の劣化を防止することができる。
【0159】
更に、本発明に係る動き補正回路及び方法は、補間画素位置における動きベクトルの垂直成分に基づき、アンカバー領域の垂直方向、又は水平方向に隣接する画素を選択し、該選択された画素を補間画素位置へ書き込む。これにより、アンカバー領域に対して、最適な画素値を示す画素を埋めることができ、動き補正フィールド上において孤立点を無くすことができるため、変換画像の劣化を防ぐことができる。
【図面の簡単な説明】
【図1】本発明を適用した動き補正回路のブロック構成図である。
【図2】動きベクトル検出部の構成を示した図である。
【図3】画像シフト部のブロック構成を示した図である。
【図4】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図5】テレシネ変換された画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図6】TV信号の画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図7】シーケンスの検出方法について説明するための図である。
【図8】ブロックマッチング法について説明するための図である。
【図9】差分絶対値和の分布傾向に照らし合わせて動きベクトルを検出する場合について説明するための図である。
【図10】左側の画素から右側の画素へ順に動きベクトルを求めていく場合について説明するための図である。
【図11】隣接画素の動きベクトルに応じて、動きベクトルを求める場合について説明するための図である。
【図12】動きベクトルの修正処理の手順を示したフローチャートである。
【図13】動きベクトルの修正処理において、動きベクトルを抽出する隣接画素を示した図である。
【図14】ブロックマッチング部から送信された動きベクトルが探索範囲外に出る場合について行なう補正処理について説明するための図である。
【図15】画像シフト部の動作処理過程を1次元で表示した図である。
【図16】画像シフト部の具体的な動作例を、画素値で表示した図である。
【図17】アンカバー領域に対して画素を補間する場合について説明するための図である。
【図18】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図19】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図20】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図21】TV信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【図22】ブロック単位で動きベクトルを検出する例について説明するための図である。
【図23】アンカバー領域が生じた場合について示した図である。
【符号の説明】
1 画像信号処理装置、2 CRT、3 フィールド倍速変換回路、11 第1の画像メモリ、12 第2の画像メモリ、13 シーケンス検出部、14 データ選択部、15 動きベクトル検出部、16 画像シフト部、31 入力端子、32 倍速変換部、33 フレームメモリ、151 ブロックマッチング部、152 範囲外検出部、153 再割り当て部、161 シフトバッファ読出制御部、162 シフトバッファ書込制御部、163 シフトバッファ、164 データバッファ読出制御部、165 第1のバッファ、166 第2のバッファ、167 データ演算部、168 アンカバー処理部
Claims (12)
- テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから2フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行い、又は、テレビジョン信号を倍速変換することにより生成された1コマが2フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから1フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行う動き補正回路において、
上記基準フィールドの基準画素を中心とした基準ブロックについて、上記参照フィールドに対する動きベクトルを検出する動きベクトル検出手段と、
上記基準ブロックにおいて検出した動きベクトルを、当該基準ブロックを構成する画素毎に割り当てるベクトル割当手段と、
上記ベクトル割当手段により割り当てられた動きベクトルの示す画素が重複する場合に、いずれか一の動きベクトルを選択する選択手段と、
上記補正フィールド上において、動きベクトルの割り当てられた画素の画素値を、上記補正フィールド毎に割り当てた重みに応じて当該動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせた位置の画素値とする画像制御手段と、
上記補正フィールド上で、画素値が存在しない情報不在領域に対して画素値を補間する画素補間手段とを備えることを特徴とする動き補正回路。 - 上記動きベクトル検出手段は、上記基準ブロックと、上記参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で画素値の差分絶対値和を演算し、上記差分絶対値和が最小となる探索ブロックの位置と上記基準ブロックの位置に基づき動きベクトルを検出することを特徴とする請求項1記載の動き補正回路。
- 上記動きベクトル検出手段は、ブロックマッチング法に基づいて上記動きベクトルを検出することを特徴とする請求項1記載の動き補正回路。
- 上記動きベクトル検出手段は、単方向によるブロックマッチングに基づき、上記動きベクトルを検出することを特徴とする請求項3記載の動き補正回路。
- 上記動きベクトル検出手段は、上記基準画素の位置する基準ブロックに隣接するブロックにおいて求められた動きベクトルに応じて、上記動きベクトルを検出することを特徴とする請求項1記載の動き補正回路。
- 上記テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力されたとき、1フレーム離れたフィールド間で空間的に同一の画素位置の画素値の差分値を演算し、当該差分値に基づき、該1コマを構成する4フィールドで構成される画像信号から最初に位置する第1のフィールドを特定するシーケンス検出手段を更に備え、
上記画像制御手段は、上記1コマが構成する4フィールドで構成される画像信号に対して、上記第1のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる位置を順次増大させることを特徴とする請求項1記載の動き補正回路。 - テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、上記基準フィールドから2フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行い、又は、テレビジョン信号を倍速変換することにより生成された1コマが2フィールドで構成される画像信号が入力され、動きベクトルを求める画素の位置する基準フィールドと、該基準フィールドから1フレーム離れた参照フィールドとの間で求めた動きベクトルに基づき、動き補正を行う画素の位置する補正フィールド上において動き補正を行う動き補正方法において、
上記基準フィールドの基準画素を中心とした基準ブロックについて、上記参照フィールドに対する動きベクトルを検出し、
上記基準ブロックにおいて検出した動きベクトルを、当該基準ブロックを構成する画素毎に割り当て、
上記割り当てられた動きベクトルの示す画素が重複する場合に、いずれか一の動きベクトルを選択し、
上記補正フィールド上において、動きベクトルの割り当てられた画素の画素値を、上記補正フィールド毎に割り当てた重みに応じて当該動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせた位置の画素値とし、また画素値が存在しない情報不在領域に対して画素値を補間することを特徴とする動き補正方法。 - 上記基準ブロックと、上記参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で画素値の差分絶対値和を演算し、上記差分絶対値和が最小となる探索ブロックの位置と上記基準ブロックの位置に基づき動きベクトルを検出することを特徴とする請求項7記載の動き補正方法。
- ブロックマッチング法に基づいて上記動きベクトルを検出することを特徴とする請求項7記載の動き補正方法。
- 単方向によるブロックマッチングに基づき、上記動きベクトルを検出することを特徴とする請求項9記載の動き補正方法。
- 上記基準画素の位置する基準ブロックに隣接するブロックにおいて求められた動きベクトルに応じて、上記動きベクトルを検出することを特徴とする請求項7記載の動き補正方法。
- 上記テレシネ変換された画像を倍速変換することにより生成された1コマが4フィールドで構成される画像信号が入力されたとき、1フレーム離れたフィールド間で空間的に同一の画素位置の画素値の差分値を演算し、当該差分値に基づき、該1コマを構成する4フィールドで構成される画像信号から最初に位置する第1のフィールドを特定し、
上記1コマが構成する4フィールドで構成される画像信号に対して、上記第1のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる位置を順次増大させることを特徴とする請求項7記載の動き補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002115352A JP4337302B2 (ja) | 2002-04-17 | 2002-04-17 | 動き補正回路及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002115352A JP4337302B2 (ja) | 2002-04-17 | 2002-04-17 | 動き補正回路及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003309822A JP2003309822A (ja) | 2003-10-31 |
JP4337302B2 true JP4337302B2 (ja) | 2009-09-30 |
Family
ID=29396725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002115352A Expired - Fee Related JP4337302B2 (ja) | 2002-04-17 | 2002-04-17 | 動き補正回路及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4337302B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100410985C (zh) * | 2004-09-22 | 2008-08-13 | 索尼株式会社 | 图像显示单元与校正图像显示单元中的亮度的方法 |
US7965774B2 (en) | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
-
2002
- 2002-04-17 JP JP2002115352A patent/JP4337302B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003309822A (ja) | 2003-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
JP3855761B2 (ja) | 画像信号処理装置及び方法 | |
US7499102B2 (en) | Image processing apparatus using judder-map and method thereof | |
US7050108B2 (en) | Motion vector correction circuit and method | |
EP1460847B1 (en) | Image signal processing apparatus and processing method | |
JP3365333B2 (ja) | 解像度変換装置 | |
KR100930758B1 (ko) | 화상 신호 처리 장치 및 처리 방법 | |
JP4337302B2 (ja) | 動き補正回路及び方法 | |
KR100497556B1 (ko) | 화상처리장치및방법 | |
JP2004023673A (ja) | 動きベクトル検出装置及び方法、動き補正装置及び方法 | |
JP2003289511A (ja) | 画像走査変換方法及び装置 | |
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
KR100416557B1 (ko) | 부분 인터레이스 동영상 재생 방법 및 그 장치 | |
JP2011055021A (ja) | 画像生成装置、表示システム及び画像生成方法 | |
JP2000115720A (ja) | 走査線補間装置および走査線補間方法 | |
JP2001024987A (ja) | 順次走査変換回路 | |
JP4264541B2 (ja) | 画像変換装置および画像変換方法、プログラム、並びに記録媒体 | |
JP2003503906A (ja) | インターレース法で生成されるイメージシーケンスのピクチャ周波数を2逓倍する方法 | |
JPH11327521A (ja) | 画素値変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |