JP2003189256A - 画像信号処理装置及び方法 - Google Patents
画像信号処理装置及び方法Info
- Publication number
- JP2003189256A JP2003189256A JP2001380760A JP2001380760A JP2003189256A JP 2003189256 A JP2003189256 A JP 2003189256A JP 2001380760 A JP2001380760 A JP 2001380760A JP 2001380760 A JP2001380760 A JP 2001380760A JP 2003189256 A JP2003189256 A JP 2003189256A
- Authority
- JP
- Japan
- Prior art keywords
- field
- pixel
- image signal
- motion vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
において、様々な画像のバリエーションにおいても、面
フリッカ妨害を抑えつつ画像の動きをスムーズにする。 【解決手段】 コマの最初が第1のフィールドで始ま
り、かつ倍速変換された信号が入力され、演算した画素
信号レベルの差分値に基づいて第1のフィールドを特定
し、各検出画素について補間画素データを算出し、特定
した第1のフィールドから後へフィールドが移行するに
つれてシフト量が順次増大するように、動きベクトルの
ベクトル方向へ検出画素の位置をシフトさせた画素位置
に補間画素データを書き込む。
Description
により生成された画像信号の各検出画素の位置をシフト
させる画像信号処理装置及び方法に関する。
ら水平走査線を1本おきに飛越して走査するインタレー
ス走査方式が最も広く採用されている。このインタレー
ス走査方式では、奇数番目の走査線から構成されるフィ
ールド画像と、偶数番目の走査線から構成されるフィー
ルド画像により1枚のフレーム画像を形成し、画面全体
がちらついて見える面フリッカ妨害を抑え、画面品質の
劣化を防止する。
各国のテレビジョン標準方式として採用されており、こ
のうち例えば欧州のテレビジョン放送におけるPAL(P
haseAlternation by Line)方式では、フィールド周波数
が50〔Hz〕(フレーム画像が25フレーム/秒、フ
ィールド画像が50フィールド/秒)で構成される。
カ妨害の抑制を期すべく、入力画像信号を補間等の処理
を行うことにより、フィールド周波数を50Hzから2
倍の100Hzの画像信号に変換する、フィールド周波
数倍速方式が従来より採用されている。
を適用したフィールド倍速変換回路5のブロック構成例
を示している。このフィールド倍速変換回路5は、入力
端子61と、CRT63と、水平垂直偏向回路62とを
備えるテレビジョン受像機6に集積化される。このフィ
ールド倍速変換回路5は、倍速変換部51と、フレーム
メモリ52とを備える。
された、例えばPAL方式の50フィールド/秒の画像
信号を、フレームメモリ52へ書き込む。また、この倍
速変換部51は、フレームメモリ52へ書き込んだ画像
信号を、書込み時の2倍の速度で読み出す。これによ
り、50フィールド/秒の画像信号の周波数を2倍に変
換し、100フィールド/秒の画像信号を生成すること
ができる。
をCRT63へ出力する。CRT63は、入力された画
像信号を画面上に表示する。なお、CRT63における
画像信号の水平、垂直の偏向は、水平垂直偏向回路62
において生成された、入力画像信号の2倍の周波数の水
平垂直鋸歯状波に基づいて制御する。
ける各フィールドと画素位置との関係を示している。こ
こで横軸は時間、縦軸は画素の垂直方向の位置を示す。
また、図11(a)の白丸で示した画像信号は、倍速変換
前の50フィールド/秒のインタレース画像信号であ
り、図11(b)の黒丸で示した画像信号は、倍速変換し
た100フィールド/秒のインタレース画像信号であ
る。
ールドf1とフィールドf2は、フィルムの同一のコマ
から作成された信号となり、以下同様にフィールドf3
とフィールドf4も同一のコマを構成する。これらの画
像信号は、インタレース画像信号であるため、隣り合う
フィールド間で垂直方向の画素位置が異なる。このた
め、インタレース性を保ちつつ、各フィールド間に1個
ずつのフィールドを新規に生成することはできない。
ルドf1とフィールドf2の間に、新規に2枚のフィー
ルドf2´、f1´を生成する。そして、フィールドf
2とフィールドf3の間では、フィールドの生成を行わ
ず、フィールドf3とフィールドf4の間に、新規に2
枚のフィールドf4´、f3´を生成する。すなわち4
フィールド、2フレームで1つのコマを形成する。
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドf1´、f2´、・・・は、それぞれフィールドf
1、f2、・・と同じ内容となる。
倍速変換前の画像信号のフィールド間に2枚のフィール
ドを新規に生成する部分と全く生成しない部分とを交互
に配置することで、単位時間当たりの画面枚数を増やす
ことができ、上述の面フリッカ妨害を抑えることが可能
となる。
れる映画のフィルムを通常のテレビで見るためには、イ
ンターレースのテレビ信号にするために、テレビシネマ
変換(以下、テレシネ変換と称する)を行う。このテレ
シネ変換後の画像信号において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図1
2に示す。ここで横軸は画像の水平方向における位置、
縦軸は時間を示している。図12(a)に示す倍速変換前
の画像信号において、フィールドf1、f2は、同一の
コマを構成するため、同じ位置に画像が表示される。こ
の画像は、フィールドf3に移行すると水平方向(右方
向)へ移動する。フィールドf4は、フィールドf3と
同一のコマを構成するため、フィールドf3と同一の位
置に表示される。
像信号をフィールド周波数倍速方式により倍速変換する
と、図12(b)に示すように、同一のコマを構成するフ
ィールドf1、f2´、f1´、f2で、同一位置に同
一の画像が表示される。同様に、同一のコマを構成する
フィールドf3、f4´、f3´、f4で同一位置に同
一の画像が表示される。
下、TV信号という)において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図1
3(a)に示す。この図13(a)において、フィールドf
1、f2、f3・・・は、それぞれ独立したコマを形成
するため、別の位置に画像が表示される。この画像は、
フィールドf1から、f2、f3・・・と移行する毎
に、水平方向(右方向)へ移動する。
号をフィールド周波数倍速方式により倍速変換すると、
図13(b)に示すように、同一のコマを構成するフィー
ルドf1、f2´において、同一位置に同一の画像が表
示される。同様に、同一のコマを構成するフィールドf
1´、f2において、同一位置に同一の画像が表示され
る。
(b)に示すように、テレシネ変換後、倍速変換した画像
信号において、画像はフィールドf1〜f2まで同じ位
置に表示される一方、f2〜f3に移行する場合に大き
く水平方向へ移動する。同様にTV信号を倍速変換した
画像信号についても、図13(b)に示すように、画像は
フィールドf1〜f2´まで同じ位置に表示される一
方、f2´〜f1´に移行する場合に大きく水平方向へ
移動する。
で規則的に各フィールドを構成しているため、画像の動
作する時間帯が画像の静止する時間帯と比較して短く、
実際にCRTを介して番組を視聴すると画像の動きが不
連続に見えるという問題があった。
ら画素値が変化するような、様々な画像のバリエーショ
ンにおいても、画像の動きの不連続性を効率よく解消す
る必要がある。
鑑みて提案されたものであり、倍速変換することにより
生成された画像信号において、特に様々な画像のバリエ
ーションにおいても、面フリッカ妨害を抑えつつ、画像
の動きをスムーズにすることにより相乗的に画質を向上
できる画像信号処理装置及び方法を提供することを目的
とする。
題を解決するために、コマの最初が第1のフィールドで
始まり、かつ倍速変換された信号が入力され、演算した
画素信号レベルの差分値に基づいて第1のフィールドを
特定し、各検出画素について補間画素データを算出し、
特定した第1のフィールドから後へフィールドが移行す
るにつれてシフト量が順次増大するように、動きベクト
ルのベクトル方向へ検出画素の位置をシフトさせた画素
位置に補間画素データを書き込む画像信号処理装置及び
方法を発明した。
装置は、コマの最初が第1のフィールドで始まる、倍速
変換された画像信号が入力され、入力された上記画像信
号において、現フィールドの検出画素と、上記現フィー
ルドから1フレーム後のフィールドの同一箇所における
検出画素との間で、画素信号レベルの差分値を演算し、
当該差分値に基づき上記第1のフィールドを特定するシ
ーケンス検出手段と、上記現フィールドの検出画素につ
いて、上記現フィールドから1フレーム又は2フレーム
後のフィールドに対する動きベクトルを検出する動きベ
クトル検出手段と、上記現フィールドの検出画素の画素
データ、及び上記現フィールドから1フレーム又は2フ
レーム後のフィールドにおける各画素の画素データに基
づき、当該検出画素についての補間画素データを算出す
るデータ演算手段と、上記第1のフィールドから後へ続
くフィールドにおいて、上記現フィールドの検出画素の
位置から上記動きベクトルのベクトル方向へシフトさせ
た画素位置に上記補間画素データを書き込む画像制御手
段とを備え、上記画像制御手段は、上記第1のフィール
ドから後へフィールドが続く毎に、検出した上記動きベ
クトルのベクトル量の範囲内で、上記シフトさせる量を
順次増大させることを特徴とする。
は、コマの最初が第1のフィールドで始まる、倍速変換
された画像信号が入力され、入力された上記画像信号に
おいて、現フィールドの検出画素と、上記現フィールド
から1フレーム後のフィールドの同一箇所における検出
画素との間で、画素信号レベルの差分値を演算し、当該
差分値に基づき上記第1のフィールドを特定し、上記現
フィールドの検出画素について、上記現フィールドから
1フレーム又は2フレーム後のフィールドに対する動き
ベクトルを検出し、上記現フィールドの検出画素の画素
データ、及び上記現フィールドから1フレーム又は2フ
レーム後のフィールドにおける各画素の画素データに基
づき、当該検出画素についての補間画素データを算出
し、上記第1のフィールドから後へ続くフィールドにお
いて、上記現フィールドの検出画素の位置から上記動き
ベクトルのベクトル方向へシフトさせた画素位置に上記
補間画素データを書き込み、上記画像制御手段は、上記
第1のフィールドから後へフィールドが続く毎に、検出
した上記動きベクトルのベクトル量の範囲内で、上記シ
フトさせる量を順次増大させることを特徴とする。
処理装置及び方法について図面を参照して詳細に説明す
る。
る画像信号処理装置1のブロック構成図である。画像信
号処理装置1は、例えばPAL(Phase Alternation by
Line)方式によるテレビジョン受像機に内蔵され、テレ
シネ変換した画像信号やテレビジョン信号(以下、TV
信号という)が入力される。またこの画像信号処理装置
1は、図1に示すように、第1の画像メモリ11と、第
2の画像メモリ12と、シーケンス検出部13と、デー
タ選択部14と、動きベクトル検出部15と、画像シフ
ト部16を備えている。
た画像を倍速変換することにより生成された1コマが4
フィールドで構成された、例えば100フィールド/秒
のインタレース画像データが順次供給される。また、こ
の第1の画像メモリ11は、TV信号を倍速変換するこ
とにより生成された1コマが2フィールドで構成され
た、例えば100フィールド/秒のインタレース画像信
号が順次供給される。
データを、各フィールド単位で、1フレーム分格納す
る。すなわち、第1の画像メモリ11から出力される画
像データは、この第1の画像メモリ11に供給される画
像信号より1フレーム後になる。
リ11と同様の内部構成を有し、第1の画像メモリ11
から供給された画像データを、各フィールド単位で、1
フレーム分格納する。すなわち、第2の画像メモリ12
から出力される画像データは、この第2の画像メモリ1
2に供給される画像データより1フレーム後になり、第
1の画像メモリ11に供給される画像データより2フレ
ーム後になる。この第2の画像メモリ12に格納された
画像データD1は、動きベクトル検出部15及び画像シ
フト部16に供給される。
リ11に供給される画像データと、第1の画像メモリ1
1から出力される画像データを検出し、各画素毎に画像
信号レベルを比較し、両者間で差分値を演算する。すな
わち、このシーケンス検出部13は、画面上の同一箇所
における画素の画像信号レベルを、1フレーム間隔で比
較する。シーケンス検出部13は、画像信号レベルの差
分値の演算結果を画像シフト部15へ送信する。シーケ
ンス検出部13は、上述の如く各フィールドの特定に加
え、テレシネ変換された信号か、TV信号かを判別し、
当該判別結果を移動量情報として画像シフト部16等へ
送信する。
1に供給される画像データと、第1の画像メモリ11か
ら出力される画像データが入力される。このデータ選択
部14は、シーケンス検出部13から受信した判別結果
に基づき、供給される画像データのうち一方を選択す
る。すなわち、シーケンス検出部13によりテレシネ変
換された信号であると判別された場合には、第1の画像
メモリ11に供給される画像データを選択する。また、
シーケンス検出部13によりTV信号であると判別され
た場合には、第1の画像メモリ11から出力される画像
データを選択する。データ選択部14により選択された
画像データを以下、画像データD2と称する。データ選
択部14は、選択した画像データD2を動きベクトル検
出部15へ出力する。
像メモリ11から出力される画像データと、第2の画像
メモリ12から出力される画像データのどちらか一方を
選択する接続形態にも適用可能である。
1と、画像データD2とを検出し、例えばブロックマッ
チング法に基づき、動きベクトルを検出する。このブロ
ックマッチング法は、画面を所定の画素からなるブロッ
クに分割し、各ブロック単位で相似度を評価することに
より動きベクトルを求める方法である。第2の画像メモ
リ12から出力される画像データD1は、参照フィール
ドの2フレーム遅延フィールドであり、またデータ選択
部14から出力される画像データD2は、参照フィール
ドそのもの、又は参照フィールドの1フレーム遅延フィ
ールドである。
像データD1と画像データD2との間で動きベクトルを
検出することにより、参照フィールドと、2フレーム遅
延信号間で動きベクトルを検出することができ、また同
様に参照フィールドの1フレーム遅延信号と、参照フィ
ールドの2フレーム遅延信号間で動きベクトルを検出す
ることができる。換言すれば、動きベクトルを検出する
フィールド間隔をシーケンス検出部13から受信した判
別結果に基づき、制御することができる。
較結果を含む移動量情報を、シーケンス検出部13から
受信する。また、画像シフト部16は、動きベクトル検
出部15が検出した動きベクトルを受信する。更に画像
シフト部16は、第2の画像メモリ12から画像データ
D1が供給され、またデータ選択部14から画像データ
D2が供給される。この画像シフト部16は、供給され
た画像信号における各画素位置を、受信した上記動きベ
クトルのベクトル量の範囲内で、かつベクトル方向へシ
フトさせる。この画像シフト部16の内部構成例の詳細
については後述する。
のフィールド周波数を倍速変換するフィールド倍速変換
回路3が集積される場合もある。フィールド倍速変換回
路3は、解像度を向上させることにより、面フリッカ妨
害を防止すべく集積されるものであり、例えば、PAL
方式において、補間等の処理を行うことにより、フィー
ルド周波数が50Hzの画像データを2倍の100Hz
の画像データに変換する。
すように、テレビジョン受像機に接続された入力端子3
1と、倍速変換部32と、フレームメモリ33とを備え
る。
ら入力端子31を介して入力された、テレシネ変換後の
画像データ、またはテレビジョン信号を、フレームメモ
リ33へ書き込む。また、この倍速変換部32は、フレ
ームメモリ33へ書き込んだ画像データを、書込み時の
2倍の速度で読み出す。これにより、例えば、PAL方
式の50フィールド/秒の画像信号の周波数を2倍に変
換し、100フィールド/秒の画像データを生成するこ
とができる。倍速変換部32は、この倍速変換した画像
データを画像信号処理装置1へ供給する。
について図2を用いて説明する。画像シフト部16はデ
ータ処理部16aとデータシフト部16bに分割して構
成されている。
出制御部161と、第1のバッファ162と、第2のバ
ッファ163と、データ演算部164と、フラグ演算部
165とを備える。
ベクトル検出部15において検出された動きベクトルが
入力される。データバッファ読出制御部161は、この
入力された動きベクトルに基づき、バッファ制御信号S
11及びバッファ制御信号S12を演算する。これらの
各バッファ制御信号S11、S12は、シーケンシャル
にデータを読み出すためのアドレス信号と、イネーブル
信号から構成される。例えば、第1のバッファ162、
及び第2のバッファ163がフレームメモリ等で実現さ
れる場合において、データバッファ読出し制御部161
は、X座標、Y座標の各アドレス信号を絶対座標として
計算する。一方、第1のバッファ162、及び第2のバ
ッファ163がラインメモリ等の必要最小限のメモリで
実現される場合において、データバッファ読出し制御部
161は、X座標、Y座標の各アドレス信号を相対座標
として計算する。
においてX座標、Y座標がそれぞれ(AX1、AY1)
であり、また、供給された動きベクトルにおいて、X座
標、Y座標がそれぞれ(VX、VY)であるときに、バ
ッファ制御信号S12のアドレス(AX2、AY2)は
以下の式で表される。 AX2=AX1+VX (1.1) AY2=AY1+VY (1.2) データバッファ読出制御部161は、これらの計算した
アドレス信号を含むバッファ制御信号S11を第1のバ
ッファ162に供給する。またデータバッファ読出制御
部161は、同様に計算したアドレス信号を含むバッフ
ァ制御信号S12を第2のバッファ163に供給する。
リ12から送信された画像データD1を順次蓄積する。
また第1のバッファ162は、供給されたバッファ制御
信号S11に応じて蓄積した画像データD1を読み出
す。すなわち、この第1のバッファ162は、供給され
たバッファ制御信号S11のイネーブルが有効な時に、
当該バッファ制御信号S11に含まれるアドレス値に従
って、第1のバッファ162に蓄積した画像データD1
を読み出す。この読み出された画像データD1を以下、
シフトデータSD1と称する。第1のバッファ162
は、シフトデータSD1をデータ演算部164とフラグ
演算部165へ送信する。
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの取りうる範囲に従ったラインメ
モリ等、必要最小限のメモリで構成しても良い。更にこ
の第1のバッファでは、データの読出しをシーケンシャ
ルに行うため、FIF0メモリ等で実現しても良い。
4から送信された画像データD2を順次蓄積する。また
第2のバッファ163は、供給されたバッファ制御信号
S12に応じて、蓄積した画像データD2を読み出す。
すなわち、この第2のバッファ163は、供給されたバ
ッファ制御信号S12のイネーブルが有効な時に、当該
バッファ制御信号S12に含まれるアドレス値に従っ
て、第2のバッファ163に蓄積した画像データD2を
読み出す。この読み出された画像データD2を、以下シ
フトデータSD2と称する。第2のバッファ163は、
シフトデータSD2をデータ演算部164及びフラグ演
算部165へ送信する。
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの取りうる範囲に従ったラインメ
モリ等、必要最小限のメモリで構成しても良い。かかる
場合には、ランダムに与えられるアドレス値に対応して
ランダムにデータを読み出すシステムが構築される。
データSD1と、シフトデータSD2に基づき、移動デ
ータM1を演算する。このデータ演算部164は、演算
した移動データM1を順次データシフト部16bへ供給
する。
タSD1やシフトデータSD2をそのまま出力すること
によって算出しても良いし、シフトデータSD1とシフ
トデータSD2の平均値としても良い。更には、動きベ
クトル等の値を用いて重み付け平均をとる形で移動デー
タM1を算出しても良い。
D1とシフトデータSD2が供給され、検出した動きベ
クトルの誤差情報を含むフラグF1を算出する。このフ
ラグF1は、シフトデータSD1とシフトデータSD2
との絶対差分値の大きさで表される場合もあり、また、
動きベクトルの誤差に基づき算出される場合もある。更
には、動きベクトルに付随するフラグ情報をそのままフ
ラグF1として算出される場合もある。フラグ演算部1
65は、算出したフラグF1をデータシフト部16bへ
供給する。
読出制御部166と、シフトバッファ書込制御部167
と、シフトバッファ168とを備える。
ベクトル検出部15から動きベクトルが送信され、シー
ケンス検出部13から各信号の判別結果を含む移動量情
報が送信される。シフトバッファ読出制御部166は、
動きベクトルと、移動量情報及び内蔵されたアドレス計
算用カウンタに基づき、シフトバッファ読出制御信号R
S1を生成する。このシフトバッファ読出制御信号RS
1は、シーケンシャルにデータを読み出すためのアドレ
ス信号と、イネーブル信号から構成される。例えば、シ
フトバッファ168がフレームメモリ等で実現される場
合において、シフトバッファ読出制御部166は、X座
標、Y座標の各アドレス信号を絶対座標として計算す
る。一方、シフトバッファ168がラインメモリ等の必
要最小限のメモリで実現される場合において、シフトバ
ッファ読出制御部166は、X座標、Y座標の各アドレ
ス信号を相対座標として計算する。
値においてX座標、Y座標がそれぞれ(CX1、CY
1)であり、また供給された動きベクトルにおいて、X
座標、Y座標がそれぞれ(VX、VY)であるときに、
シフトバッファ読出制御信号RS1のアドレスの番号
(SX、SY)は、以下の式で表される。 SX=CX1+(VX×α) (2.1) SY=CY1+(VY×α) (2.2) ここでαは移動量情報であり、0以上かつ1以下の数で
表現される。このαは、第1のフィールドで最小とし、
その後フィールドが続く毎に順次増大する。このαは、
テレシネ変換された信号が入力された場合に、第1のフ
ィールドから第4のフィールドまで0,1/4,2/
4,3/4と、またTV信号が入力された場合にも、第
1のフィールドから0,1/2と、線形に増加させてい
くことも可能である。
したシフトバッファ読出制御信号RS1をシフトバッフ
ァ書込制御部167及びシフトバッファ168へ供給す
る。
グ演算部165からフラグF1が供給され、またシフト
バッファ168からフラグF´が供給され、シフトバッ
ファ読出制御部166から、シフトバッファ読出制御信
号RS1が供給される。このシフトバッファ167は、
フラグFとフラグF´の大小に基づき、書き込み時の優
先順位を判定する。さらにこのシフトバッファ書込制御
部167は、供給されるシフトバッファ読出制御信号R
S1に基づき、書き込みアドレスを求め、当該書き込み
アドレスと上述の通り判定した優先順位とを、シフトバ
ッファ書込制御信号RS2として、シフトバッファ16
8へ供給する。
ァとフラグ用バッファから構成される。データ用バッフ
ァは、データを蓄積・供給するためのバッファであり、
フラグ用バッファは、フラグを蓄積・供給するためのバ
ッファである。これらのバッファは、同一の制御信号に
基づき、書き込みや読み出しが行われる。また、これら
のバッファは、1フレーム分のデータを蓄積するフレー
ムメモリであっても良いし、また動きベクトルの取りう
る範囲に従ったラインメモリ等、必要最小限のメモリで
構成しても良い。
ッファの初期化を行う。フラグ用バッファに書き込まれ
るフラグには、データが書き込まれたか否かを示すマー
ク情報をも含む。マーク情報は、”NM”と”OK”の
2種類で表され、”NM”は初期化時にデータの書込み
が行われていないことを示し、”OK”は、データが既
に書き込まれていることを示す。
ファ読出制御信号RS1のイネーブルが有効である場合
に、アドレスに対応させてシフトバッファ書込制御部1
67へフラグF´を送信する。またシフトバッファ16
8は、シフトバッファ書込制御信号RS2のイネーブル
が有効な場合に、当該シフトバッファ書込制御信号RS
2のアドレス値に従って、移動データM1、フラグF1
をそれぞれデータ用バッファ、フラグ用バッファに書き
込む。更に、このシフトバッファ168は、格納した画
素値を番号順に整理して移動データM2とし、またシフ
トフラグF2を順次読み出し、それぞれを後処理部16
9へ供給する。
から入力されたシフトフラグF2に応じて、移動データ
M2を再加工し、補正データH1としてCRT2へ出力
する。
動作について説明する。
る倍速変換前後の各フィールドと画素位置の関係を示し
ている。ここで横軸は時間、縦軸は画素の垂直方向の位
置を示す。
50フィールド/秒のインタレース画像であり、図3
(a)に示すように、2フィールドで1つのコマを形成す
る。
フィールド/秒のインタレース画像であるため、図3
(b)に示すように、フィールドt1とフィールドt2の
間に、新規に2枚のフィールドt2´、t1´を生成す
る。そして、フィールドt2とフィールドt3の間で
は、フィールドの生成を行わず、フィールドt3とフィ
ールドt4の間に、新規に2枚のフィールドt4´、t
3´を生成する。すなわち、画像データは、4フィール
ドで1つのコマを形成することとなる。
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドt1´、t2´、・・・は、それぞれフィールドt
1、t2、・・と同じ内容となる。これにより、4フィ
ールドで1つのコマを形成することとなり、単位時間当
たりの画面枚数を増やすことで解像度を向上させること
ができ、面フリッカ妨害を抑制することが可能となる。
た画像データにおいて、水平方向へ画像が移動する場合
における各フィールドと画像位置の関係を図4に示す。
この図4において、横軸は画像の水平方向における位
置、縦軸は時間を表している。既にテレシネ変換された
画像は、図4に示すように、フィールドt1、t2´、
t1´、t2の順で、一定の時間間隔で第1の画像メモ
リ11に供給され、これらの画像は同一の位置に表示さ
れる。またフィールドt3に移行すると画像が水平方向
(右方向)に移り、フィールドt3、t4´、t3´、
t4の順で第1の画像メモリに供給される。
されるフィールド(以下、参照フィールドと称する)
が、フィールドt3である場合には、第2の画像メモリ
12から出力される、参照フィールドより2フレーム前
のフィールド(以下、2フレーム遅延フィールドと称す
る)は、フィールドt1となる。
において、水平方向へ画像が移動する場合における各フ
ィールドと画像位置の関係を図5に示す。同一のコマを
構成するフィールドt1、t2´において、同一位置に
同一の画像が表示される。同様に、同一のコマを構成す
るフィールドt1´、t2において、同一位置に同一の
画像が表示される。
レシネ変換後、倍速変換された信号につき、参照フィー
ルドと2フレーム遅延フィールド間で、各画素又は各ブ
ロック単位で動きベクトルを検出する。図4に示す例の
場合には、動きベクトルのベクトル方向は、2フレーム
遅延フィールドを基準として水平方向(右方向)とな
り、ベクトル量はAとなる。同様に、参照フィールドが
t5の場合には、2フレーム遅延フィールドは、t3と
なり、動きベクトルのベクトル量はBとなる。この手順
を繰り返すことにより、2フレーム遅延フィールドを基
準とした動きベクトルのベクトル方向とベクトル量を順
次求めることができる。動きベクトル検出部14は、こ
の求めた動きベクトルのベクトル量とベクトル方向とを
画像シフト部15へ順次送信する。
V信号を倍速変換された信号につき、参照フィールドと
1フレーム遅延フィールド間で、各画素又は各ブロック
単位で動きベクトルを検出する。図5に示す例の場合に
は、動きベクトルのベクトル方向は、1フレーム遅延フ
ィールドを基準として水平方向(右方向)となり、参照
フィールドがt1´のときにベクトル量はCとなる。同
様に、参照フィールドがt4´の場合には、1フレーム
遅延フィールドは、t1´となり、動きベクトルのベク
トル量はDとなる。この手順を繰り返すことにより、1
フレーム遅延フィールドを基準とした動きベクトルのベ
クトル方向とベクトル量を順次求めることができる。動
きベクトル検出部74は、この求めた動きベクトルのベ
クトル量とベクトル方向とを画像シフト部15へ順次送
信する。
と、第1の画像メモリ11から出力される、参照フィー
ルドより1フレーム前のフィールド(以下、1フレーム
遅延フィールドと称する)を順次検出し、同一の画素位
置における画素信号レベルの差分値をそれぞれ演算す
る。
換画像の場合には、参照フィールドt1´と、1フレー
ム遅延フィールドt1は、同一のコマを構成するため、
例えば画素位置a点における画素信号レベルの差分値は
0になる。次に参照フィールドとしてフィールドt2が
供給されると、1フレーム遅延フィールドはフィールド
t2´となり、a点における画素信号レベルの差分値は
同様に0となる。
が供給されると、1フレーム遅延フィールドはt1´と
なり、両者はそれぞれ別のコマを形成するため、a点に
おける画素信号レベルの差分値は0以外(以下、1とす
る)となる。次に参照フィールドとしてt4´が供給さ
れると1フレーム遅延フィールドはフィールドt2とな
り、a点における画素信号レベルの差分値は、同様に1
となる。
されると、1フレーム遅延フィールドは、t3となり、
両者は同一のコマを形成するため、a点における画素信
号レベルの差分値は再び0になる。その後に供給される
参照フィールドについても同様の傾向となり、演算した
差分値は、4フィールド周期で「0011」の順で繰り
返される。従って、このシーケンスを4フィールド単位
で検出することにより、各フィールドの前後関係を特定
することが可能となる。
き着目すると、差分値は、コマの最初のフィールドから
「0011」の順になる。従って、最初に差分値0を算
出したとき、検出した1フレーム遅延フィールドを、コ
マの最初のフィールド(以下、第1のフィールドと称す
る)として特定する。また差分値0が連続したときに
は、検出した1フレーム遅延フィールドを第2のフィー
ルドとして特定する。また差分値として最初に1を算出
した場合に、検出した1フレーム遅延フィールドを第3
のフィールドとして特定する。また、差分値1が連続し
たときには、検出した1フレーム遅延フィールドを第4
のフィールドとして特定する。
も、各フィールドが第1のフィールド又は第2のフィー
ルドのいずれに該当するか判別する必要あるが、フィー
ルド倍速変換回路3により倍速変換する際に該当するフ
ィールドは判明するため、上述のようなシーケンス検出
の必要性は無い。すなわち、倍速変換回路3から画像信
号が入力される際には、第1のフィールドと、第2のフ
ィールドが特定されていることになる。
れるTV信号が入力された場合における画像シフト部1
6の具体的な動作例を一次元のグラフで示している。こ
の図7に示す動作例では、TV信号が入力された場合の
ものであり、画像データD1は第1のフィールドであ
り、また画像データD2は、画像データD1よりも1フ
レーム後の第1のフィールドである。この図7におい
て、0から始まる番号は、画素位置を示すアドレスであ
り、また縦軸は画素値(=画素信号レベル)を表してい
る。
時間的に異なる画像データD1と画像データD2の中間
に位置する第2のフィールド(以下、書込フィールドと
いう)において、動きがスムーズに見えるように補正デ
ータを書き込む。すなわち、この図7(a)に示す例にお
いて、左側に凸部がある画像データD1から、中央にな
だらかな凸部がある画像データD2へ移り変わる際に、
全体の動きがスムーズに見えるような画像を上述の書込
フィールドにおいて生成する。
の具体的な動作例を、画素値で表示したものである。図
8(a)は、画像シフト部16に入力される画像データD
1と画像データD2を表したものであり、番号は、画素
位置を示すアドレスである。各画素毎に輝度があること
から、供給される画像データD1には、番号ごとに画素
値が割り振られる。
て、画像データD1は、番号0〜11のアドレスにおい
て、順に100、100、200、・・・・と続く画素
値で表される。
タD2は、番号0〜11のアドレスにおいて、順に10
0、100、100、・・・・と続く画素値で表され
る。
この画像データD1と、画像データD2との間で、各画
素毎の画像データD1を基準としたベクトル量を表した
ものである。例えば、画像データD1において番号1の
アドレスにある画素値100の画素は、1フィールド後
に位置する画像データD2においても番号1のアドレス
に位置している。従って動きベクトルは0である。ま
た、例えば画像データD1において番号2のアドレスに
ある画素値200の画素は、画像データD2において、
番号4のアドレスに移動する。従って動きベクトルは4
−2=2より、2となる。ちなみに図7(a)に示す矢印
は、この各画素毎の動きベクトルを示したものである。
63は、それぞれ画像データD1、画像データD2にお
ける各画素値を、アドレスの番号に対応付けて格納す
る。例えば画像データD1が供給された後の第1のバッ
ファには、図8(a)に示す番号のアドレスと画素値が対
応付けされて格納されている。
61の処理について示したものである。データバッファ
読出制御部164は、上述の式(1.1)〜(1.2)に
基づき、バッファ制御信号S12を作り出す。例えばバ
ッファ制御信号S11を上述のアドレスに対応する番号
としたとき、番号1のアドレスにおいて、動きベクトル
は、図8(a)に示すように0であるため、バッファ制御
信号S12の番号も1となる。また、例えば、バッファ
制御信号S11において、番号2のアドレスであるとき
には、動きベクトルは2となるため、バッファ制御信号
S12の番号は4となる。
ファ162に供給され、バッファ制御信号S11の番号
に対応するアドレスの画素値が、第1のバッファ162
から読み出される。読み出された画素値は、シフトデー
タSD1としてアドレスに対応付けられ、データ演算部
164等に供給されることとなる。
ッファ163に供給され、バッファ制御信号S12の番
号に対応するアドレスの画素値が第2のバッファ163
から読み出される。読み出された画素値は、シフトデー
タSD2としてアドレスに対応付けられ、データ演算部
164等に供給されることとなる。
フトデータSD1とシフトデータSD2の平均値とした
場合について示している。この移動データM1は、画像
データD1と画像データD2の中間に位置するフィール
ドに対して書き込む画素値の原型である。またフラグF
1として、このシフトデータSD1とシフトデータSD
2の差分絶対値とした場合について示している。差分絶
対値が0以外になる場合には、画像データD1と画像デ
ータD2との間で、当該アドレスの画素につき、画素信
号レベルが変化したものとみなされる。すなわち、画像
データD2に至る時間までに当該アドレスの画素におい
て、画素信号レベルの誤差が生じたことを示している。
RS1について示している。この図8(c)に示した例で
は、図示しないアドレス計算カウンタから、0,1,
2、・・・と、0から1ずつプラスにシフトさせた値
を、式(2.1),(2.2)におけるCX1とし、また
移動量情報αを1/2とした場合について示している。
なお、アドレス計算カウンタの数値は、画像データD1
のアドレスを示す番号に対応させて出力している。
する際において、例えば、アドレス計算カウンタの番号
が2である場合には、図8(a)に基づき、番号2に対応
する画素位置の動きベクトルは2であるので、式(2.
1)に基づき、2+2×1/2=3より、シフトバッフ
ァ読出制御信号RS1の番号は3となる。同様にアドレ
ス計算カウンタの番号が3の場合には、図8(a)に基づ
き、番号3に対応する動きベクトルは2であるので、式
(2.1)に代入して3+2×1/2=4より、シフト
バッファ読出制御信号RS1の番号は4となる。
読出制御信号RS1の番号は、書込フィールドにおい
て、補正データを書き込むアドレスの番号を示してい
る。このためシフトバッファ制御信号RS1のアドレス
の番号について、シフトバッファ168への書き込み状
況を検知すべく、シフトバッファ168に格納されてい
るフラグF´を読み出す。このフラグF´は、シフトバ
ッファ168にアクセスされたアドレスにおいて、デー
タが書き込まれていない場合には、”NM”が返され
る。一方、データが既に書き込まれたアドレスに対して
は、差分絶対値の値が返される。
バッファ読出制御信号RS1の番号0〜8のアドレスで
は、シフトバッファ168からフラグF´を介して、デ
ータが書き込まれていない旨が表示される。一方、番号
9のアドレスでは、最初はデータが書き込まれていない
旨の”NM”が返され、次回では差分絶対値が、フラグ
F´として返されている。すなわち、シフトバッファ1
68の番号のアドレスには複数の画素値が書き込まれる
ことを意味している。これは、図7(a)で示されるよう
に、画像データD2における番号9のアドレスには、画
像データD1における番号6、並びに番号9に基づく動
きベクトルが集中していることからも示される。
シフトバッファ168のアドレスには、当該アドレスの
番号に応じて移動データM1が順次書き込まれる。ま
た、フラグF´が数値を持つ場合には、フラグF´と当
該アドレスの番号に相当するフラグFとを比較し、数値
が小さい方を有効とする。これにより、画像データD1
から画像データD2へ移行するまでに、誤差の少ない動
きベクトルに基づく画素値を書き込むことが可能とな
り、単一の画素位置に複数の動きベクトルがかかるよう
な様々なバリエーションの画像についても高精度に動き
補正することが可能となる。
されるフラグF´に基づき、移動データM1をシフトバ
ッファ上に書き込むアドレスを決定する。図8(c)に示
すシフトバッファ書込制御信号RS2は、この決定した
アドレスに対応する番号を示すものである。このシフト
バッファ書込制御信号RS2に対応する移動データM1
をシフトバッファ168に書き込む。例えば番号9で
は、フラグFは、10であり、またフラグF´は、0で
ある。数値の小さいフラグF´を優先するため、番号9
では、当初に書き込まれた番号6のアドレスに基づく画
素値”100”がそのままシフトバッファ168に格納
され続ける。
ータM2をアドレス番号順に再度整理した結果を図8
(c)に示す。シフトフラグF2は、マーク情報を示して
いる。このシフトフラグF2において”OK”が出力さ
れている場合には、当該番号のアドレスにデータが書き
込まれていることを示し、また”NM”が出力されてい
る場合には、当該番号のアドレスにデータが書き込まれ
ていないことを示している。ちなみに番号2のアドレス
には、データが書き込まれていないため、シフトフラグ
として”NM”が出力される。
供給される移動データM2に後処理を施した補正データ
H1を示している。データが書き込まれていない番号2
に後処理が施され、新たにデータが書き込まれる。この
後処理では、例えば、番号2の左側に位置する番号1の
アドレスのデータをそのまま書込んだり、また周辺のア
ドレスのデータの平均値を求める等の方法が考えられ
る。
像データD1と画像データD2の中間に位置する第2の
フィールドに書き込むことにより、図7(a)に示すよう
に、全体の動きがスムーズに見えるような画像になる。
1は、時間的に異なる画像データ間において、画像の動
きをスムーズにできる最適な補正データを中間に位置す
るフィールドに書き込むため、例えば画像が水平方向へ
移動しながら、画素値が変化する場合においても、画像
の動きの不連続性を効率よく解消することができる。ま
た、この画像信号処理装置1は、テレシネ変換した画像
信号とTV信号とが双方とも入力される場合において、
画像の様々なバリエーションに対応させて、動きの不連
続性を効率よく解消することができる。これにより、フ
ィルム信号とTV信号の双方が入力されるテレビジョン
受像機に内蔵することができ、また既に販売されたテレ
ビジョン受像機に対して新たに内蔵することにより容易
にバージョンアップを図ることも可能となり、汎用性を
より高めることも可能となる。
されるものではない。例えば、図9に示すように、フラ
グ演算部165、シフトバッファ読出制御部166を除
去した画像シフト部26を備える場合においても適用可
能である。この画像シフト部26では、シフトバッファ
読出制御信号RS1と、フラグFと、フラグF´を省略
し、書き込み時の優先順位を判定しない方式を採用す
る。この画像シフト部において、アドレスに書き込むデ
ータが重複する場合には、時間的に後に計算されたデー
タが、既に書き込まれているデータ上に上書きされるこ
とになるが、フラグの読み出し時の制御が不必要になる
ため、回路を簡略化することができる。
ジョン受像機に対して適用される場合に限定されること
はなく、例えば、NTSC(National TV System Commit
tee)方式の60フィールド秒(30コマ/秒)のインタ
レース画像信号が入力されるテレビジョン受像機に対し
ても適用可能である。また、SECAM方式によるテレ
ビジョン受像機に対しても適用可能である。
蔵される場合のみならず、テレビジョン受像機に接続す
る信号変換器へも内蔵可能である。
れるような画像信号をPCなどで表示する場合や、メデ
ィアや画像フォーマットを変換するケースにも応用する
ことができる。
実現する形で説明しているが、プロセッサ上でのソフト
ウェアとしても実現可能であることは勿論である。
る画像信号処理装置及び方法は、コマの最初が第1のフ
ィールドで始まり、かつ倍速変換された信号が入力さ
れ、演算した画素信号レベルの差分値に基づいて第1の
フィールドを特定し、各検出画素について補間画素デー
タを算出し、特定した第1のフィールドから後へフィー
ルドが移行するにつれてシフト量が順次増大するよう
に、動きベクトルのベクトル方向へ検出画素の位置をシ
フトさせた画素位置に、補間画素データを書き込む。
置及び方法は、様々な画像のバリエーションにおいて
も、面フリッカ妨害を抑えつつ、画像の動きをスムーズ
にすることにより相乗的に画質を向上できる
構成図である。
る。
の各フィールドと画素位置の関係を示した図である。
画像が移動する場合における各フィールドと画像位置の
関係を示した図である。
動する場合における各フィールドと画像位置の関係を示
した図である。
図である。
た図である。
示した図である。
ト部のブロック構成を示した図である。
ルド倍速変換回路のブロック構成図である。
係を示した図である。
ィールドと画像位置の関係を示した図である。
向へ画像が移動するときの各フィールドと画像位置の関
係を示した図である。
速変換回路、11 第1の画像メモリ、12 第2の画
像メモリ、13 シーケンス検出部、14 データ選択
部、15 動きベクトル検出部、16 画像シフト部、
31 入力端子、32 倍速変換部、33 フレームメ
モリ、161 データバッファ読出制御部、162 第
1のバッファ、163 第2のバッファ、164 デー
タ演算部、165 フラグ演算部、166 シフトバッ
ファ読出制御部、167 シフトバッファ書込制御部、
168 シフトバッファ、169 後処理部
Claims (22)
- 【請求項1】 コマの最初が第1のフィールドで始ま
る、倍速変換された画像信号について、現フィールドの
検出画素と、上記現フィールドから1フレーム後のフィ
ールドの同一箇所における検出画素との間で、画素信号
レベルの差分値を演算し、当該差分値に基づき上記第1
のフィールドを特定するシーケンス検出手段と、 上記現フィールドの検出画素について、上記現フィール
ドから1フレーム又は2フレーム後のフィールドに対す
る動きベクトルを検出する動きベクトル検出手段と、 上記現フィールドの検出画素の画素データ、及び上記現
フィールドから1フレーム又は2フレーム後のフィール
ドにおける各画素の画素データに基づき、当該検出画素
についての補間画素データを算出するデータ演算手段
と、 上記第1のフィールドの後へ続くフィールドにおいて、
上記現フィールドの検出画素の位置から上記動きベクト
ルのベクトル方向へシフトさせた画素位置に上記補間画
素データを書き込む画像制御手段とを備え、 上記画像制御手段は、上記第1のフィールドから後へフ
ィールドが続く毎に、検出した上記動きベクトルのベク
トル量の範囲内で、上記シフトさせる量を順次増大させ
ることを特徴とする画像信号処理装置。 - 【請求項2】 上記データ演算手段は、上記現フィール
ドの検出画素の画素データ、及び上記現フィールドから
1フレーム又は2フレーム後のフィールドにおいて当該
検出画素の画素位置から上記動きベクトルのベクトル方
向へベクトル量シフトさせた画素位置の画素データ、の
どちらか一方、又はこれらの平均、又は上記動きベクト
ルのベクトル量に応じた重み付け平均、を上記補間画素
データとすることを特徴とする請求項1記載の画像信号
処理装置。 - 【請求項3】 検出した上記動きベクトルの誤差情報を
含むフラグを算出するフラグ演算手段を備え、 上記画像制御手段は、上記補間画素データを書き込む際
の優先順位を、算出した上記フラグに基づき決定するこ
とを特徴とする請求項1記載の画像信号処理装置。 - 【請求項4】 上記フラグ演算手段は、上記現フィール
ドの検出画素の画素データと、上記現フィールドから1
フレーム又は2フレーム後のフィールドにおいて当該検
出画素の画素位置から上記動きベクトルのベクトル方向
へベクトル量だけシフトさせた画素位置の画素データ
と、の差分絶対値を上記フラグとして算出することを特
徴とする請求項3記載の画像信号処理装置。 - 【請求項5】 上記第1のフィールドから後へ続くフィ
ールドにおいて、上記補間画素データが書き込まれなか
った画素は、当該画素周辺の画素位置に書き込まれた補
間画素データに基づき、補間画素データを決定すること
を特徴とする請求項1記載の画像信号処理装置。 - 【請求項6】 上記画像制御手段は、コマを構成するフ
ィールド数に応じて上記シフト量を変化させることを特
徴とする請求項1記載の画像信号処理装置。 - 【請求項7】 テレシネ変換した画像を倍速変換するこ
とにより生成された1コマが4フィールドで構成される
画像信号、又はテレビジョン信号を倍速変換することに
より生成された1コマが2フィールドで構成される画像
信号が入力され、 上記動きベクトル検出手段は、 上記差分値が少なくとも0を含む場合には、上記現フィ
ールドから2フレーム後のフィールドに対する動きベク
トルを検出し、 上記差分値が0を含まない場合には、上記現フィールド
から1フレーム後のフィールドに対する動きベクトルを
検出することを特徴とする請求項1記載の画像信号処理
装置。 - 【請求項8】 上記シーケンス検出手段は、上記差分値
が少なくとも0を含む場合において上記差分値が連続し
て0になるとき、先に入力された現フィールドを、第1
のフィールドとして特定することを特徴とする請求項1
記載の画像信号処理装置。 - 【請求項9】 上記画像制御手段は、上記第1のフィー
ルドの後へフィールドが続く毎に、上記シフトさせる量
を、検出した上記動きベクトルのベクトル量から、コマ
を構成するフィールド数を割った量ずつ増加させること
を特徴とする請求項1記載の画像信号処理装置。 - 【請求項10】 上記動きベクトル検出手段は、所定の
画素数からなるブロック毎に、ブロックマッチング法に
基づいて上記動きベクトルを検出することを特徴とする
請求項1記載の画像信号処理装置。 - 【請求項11】 上記入力された画像信号は、PAL方
式のインターレース画像信号であることを特徴とする請
求項1記載の画像信号処理装置。 - 【請求項12】 コマの最初が第1のフィールドで始ま
る、倍速変換された画像信号が入力され、 入力された上記画像信号において、現フィールドの検出
画素と、上記現フィールドから1フレーム後のフィール
ドの同一箇所における検出画素との間で、画素信号レベ
ルの差分値を演算し、当該差分値に基づき上記第1のフ
ィールドを特定し、 上記現フィールドの検出画素について、上記現フィール
ドから1フレーム又は2フレーム後のフィールドに対す
る動きベクトルを検出し、 上記現フィールドの検出画素の画素データ、及び上記現
フィールドから1フレーム又は2フレーム後のフィール
ドにおける各画素の画素データに基づき、当該検出画素
についての補間画素データを算出し、 上記第1のフィールドの後へ続くフィールドにおいて、
上記現フィールドの検出画素の位置から上記動きベクト
ルのベクトル方向へシフトさせた画素位置に上記補間画
素データを書き込み、 上記第1のフィールドから後へフィールドが続く毎に、
検出した上記動きベクトルのベクトル量の範囲内で、上
記シフトさせる量を順次増大させることを特徴とする画
像信号処理方法。 - 【請求項13】 上記現フィールドの検出画素の画素デ
ータ、及び上記現フィールドから1フレーム又は2フレ
ーム後のフィールドにおいて当該検出画素の画素位置か
ら上記動きベクトルのベクトル方向へベクトル量シフト
させた画素位置の画素データ、のどちらか一方、又はこ
れらの平均、又は上記動きベクトルのベクトル量に応じ
た重み付け平均、を上記補間画素データとすることを特
徴とする請求項12記載の画像信号処理方法。 - 【請求項14】 検出した上記動きベクトルの誤差情報
を含むフラグを算出し、 上記補間画素データを書き込
む際の優先順位を、算出した上記フラグに基づき決定す
ることを特徴とする請求項12記載の画像信号処理方
法。 - 【請求項15】 上記現フィールドの検出画素の画素デ
ータと、上記現フィールドから1フレーム又は2フレー
ム後のフィールドにおいて当該検出画素の画素位置から
上記動きベクトルのベクトル方向へベクトル量だけシフ
トさせた画素位置の画素データと、の差分絶対値を上記
フラグとして算出することを特徴とする請求項14記載
の画像信号処理方法。 - 【請求項16】 上記第1のフィールドから後へ続くフ
ィールドにおいて、上記補間画素データが書き込まれな
かった画素は、当該画素周辺の画素位置に書き込まれた
補間画素データに基づき、補間画素データを決定するこ
とを特徴とする請求項12記載の画像信号処理方法。 - 【請求項17】 コマを構成するフィールド数に応じて
上記シフト量を変化させることを特徴とする請求項12
記載の画像信号処理方法。 - 【請求項18】 テレシネ変換した画像を倍速変換する
ことにより生成された1コマが4フィールドで構成され
る画像信号、又はテレビジョン信号を倍速変換すること
により生成された1コマが2フィールドで構成される画
像信号が入力され、 演算した上記差分値が少なくとも0を含む場合には、上
記現フィールドから2フレーム後のフィールドに対する
動きベクトルを検出し、 演算した上記差分値が0を含まない場合には、上記現フ
ィールドから1フレーム後のフィールドに対する動きベ
クトルを検出することを特徴とする請求項12記載の画
像信号処理方法。 - 【請求項19】 演算した上記差分値が少なくとも0を
含む場合において上記差分値が連続して0になるとき、
先に入力された現フィールドを、第1のフィールドとし
て特定することを特徴とする請求項12記載の画像信号
処理方法。 - 【請求項20】 上記第1のフィールドの後へフィール
ドが続く毎に、上記シフト量を、検出した上記動きベク
トルのベクトル量から、コマを構成するフィールド数を
割った量ずつ増加させることを特徴とする請求項12記
載の画像信号処理方法。 - 【請求項21】 所定の画素数からなるブロック毎に、
ブロックマッチング法に基づいて上記動きベクトルを検
出することを特徴とする請求項12記載の画像信号処理
方法。 - 【請求項22】 上記入力された画像信号は、PAL方
式のインターレース画像信号であることを特徴とする請
求項12記載の画像信号処理方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001380760A JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
CNB028250559A CN100373939C (zh) | 2001-12-13 | 2002-12-13 | 影像信号处理装置和方法 |
US10/498,204 US7327397B2 (en) | 2001-12-13 | 2002-12-13 | Image processing with pixel interpolation |
KR1020047009065A KR100930758B1 (ko) | 2001-12-13 | 2002-12-13 | 화상 신호 처리 장치 및 처리 방법 |
PCT/JP2002/013100 WO2003055212A1 (en) | 2001-12-13 | 2002-12-13 | Image signal processing apparatus and processing method |
EP02790757.5A EP1460846B1 (en) | 2001-12-13 | 2002-12-13 | Image signal processing apparatus and processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001380760A JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003189256A true JP2003189256A (ja) | 2003-07-04 |
JP3596519B2 JP3596519B2 (ja) | 2004-12-02 |
Family
ID=19187250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001380760A Expired - Fee Related JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7327397B2 (ja) |
EP (1) | EP1460846B1 (ja) |
JP (1) | JP3596519B2 (ja) |
KR (1) | KR100930758B1 (ja) |
CN (1) | CN100373939C (ja) |
WO (1) | WO2003055212A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100748625B1 (ko) | 2006-09-06 | 2007-08-13 | 삼성전자주식회사 | 프레임 레이트 변환장치 및 프레임 레이트 변환방법 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP3596519B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP2004234069A (ja) * | 2003-01-28 | 2004-08-19 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、及びプログラム |
US7425990B2 (en) * | 2003-05-16 | 2008-09-16 | Sony Corporation | Motion correction device and method |
KR100688382B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치 |
KR100732683B1 (ko) | 2005-05-06 | 2007-06-27 | 삼성전자주식회사 | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 |
US20070052695A1 (en) * | 2005-09-07 | 2007-03-08 | Barnes Ted W | Generating and displaying spatially offset sub-frames |
KR101270167B1 (ko) * | 2006-08-17 | 2013-05-31 | 삼성전자주식회사 | 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치 |
JPWO2008136116A1 (ja) * | 2007-04-26 | 2010-07-29 | パイオニア株式会社 | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
WO2009107331A1 (ja) * | 2008-02-29 | 2009-09-03 | パナソニック株式会社 | フレームレート変換装置およびフレームレート変換方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
GB8713454D0 (en) * | 1987-06-09 | 1987-07-15 | Sony Corp | Television standards converters |
GB8713455D0 (en) * | 1987-06-09 | 1987-07-15 | Sony Corp | Television standards converters |
FR2650718B1 (fr) * | 1989-08-04 | 1991-10-04 | Europ Rech Electr Lab | Dispositif de transformation d'une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition |
JPH04227180A (ja) * | 1990-09-03 | 1992-08-17 | Philips Gloeilampenfab:Nv | 映像フイールド周波数変換装置 |
US5428399A (en) * | 1991-04-15 | 1995-06-27 | Vistek Electronics Limited | Method and apparatus for image translation with improved motion compensation |
FR2678464A1 (fr) * | 1991-06-27 | 1992-12-31 | Thomson Csf | Procede de conversion du rythme temporel d'une sequence d'images animees. |
JPH05137122A (ja) | 1991-11-14 | 1993-06-01 | Hitachi Ltd | 映像信号の信号処理方法及び回路 |
US5398071A (en) * | 1993-11-02 | 1995-03-14 | Texas Instruments Incorporated | Film-to-video format detection for digital television |
DE69510851T2 (de) * | 1994-03-30 | 1999-12-02 | Thomson Multimedia, Boulogne | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten |
EP0735746B1 (en) * | 1995-03-31 | 1999-09-08 | THOMSON multimedia | Method and apparatus for motion compensated frame rate upconversion |
KR100391192B1 (ko) * | 1995-04-11 | 2003-11-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 입력필드처리방법및장치및텔레비전신호수신기 |
JPH09307857A (ja) * | 1996-05-17 | 1997-11-28 | Sony Corp | 画像信号処理装置及び画像信号処理方法 |
US5978424A (en) * | 1996-11-18 | 1999-11-02 | Zenith Electronics Corporation | Frame identification system |
MY119346A (en) * | 1996-12-24 | 2005-05-31 | Sony Corp | Picture processing apparatus and method |
EP0874523B1 (en) * | 1997-04-24 | 2004-03-03 | STMicroelectronics S.r.l. | Method for motion-estimated and compensated field rate up-conversion (FRU) for video applications, and device for actuating such a method |
JPH11196383A (ja) * | 1998-01-06 | 1999-07-21 | Sony Corp | 映像信号処理装置 |
JP4092773B2 (ja) | 1998-04-14 | 2008-05-28 | 株式会社日立製作所 | 画像信号のフレーム数変換方法および装置 |
KR100297776B1 (ko) * | 1998-06-23 | 2001-10-26 | 윤종용 | 영상신호복호시의움직임정보를이용한3차원신호처리장치 |
KR100327395B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
JP2001169252A (ja) | 1999-12-06 | 2001-06-22 | Victor Co Of Japan Ltd | 順次走査変換装置及び方法 |
CA2398688A1 (en) * | 2000-01-28 | 2001-08-02 | Fujitsu General Limited | Scanning conversion circuit |
CA2406459C (en) * | 2000-04-07 | 2006-06-06 | Demografx | Enhanced temporal and resolution layering in advanced television |
JP3611507B2 (ja) * | 2000-05-30 | 2005-01-19 | 松下電器産業株式会社 | 動きベクトル検出装置 |
US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
JP3855761B2 (ja) * | 2001-10-09 | 2006-12-13 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
JP3596519B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
US6904578B2 (en) * | 2002-11-13 | 2005-06-07 | Fujitsu Limited | System and method for verifying a plurality of states associated with a target circuit |
-
2001
- 2001-12-13 JP JP2001380760A patent/JP3596519B2/ja not_active Expired - Fee Related
-
2002
- 2002-12-13 EP EP02790757.5A patent/EP1460846B1/en not_active Expired - Fee Related
- 2002-12-13 WO PCT/JP2002/013100 patent/WO2003055212A1/ja active Application Filing
- 2002-12-13 KR KR1020047009065A patent/KR100930758B1/ko active IP Right Grant
- 2002-12-13 CN CNB028250559A patent/CN100373939C/zh not_active Expired - Fee Related
- 2002-12-13 US US10/498,204 patent/US7327397B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100748625B1 (ko) | 2006-09-06 | 2007-08-13 | 삼성전자주식회사 | 프레임 레이트 변환장치 및 프레임 레이트 변환방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20040065255A (ko) | 2004-07-21 |
US20050012856A1 (en) | 2005-01-20 |
EP1460846A4 (en) | 2009-12-09 |
EP1460846B1 (en) | 2016-08-24 |
US7327397B2 (en) | 2008-02-05 |
CN100373939C (zh) | 2008-03-05 |
CN1605198A (zh) | 2005-04-06 |
KR100930758B1 (ko) | 2009-12-09 |
EP1460846A1 (en) | 2004-09-22 |
WO2003055212A1 (en) | 2003-07-03 |
JP3596519B2 (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7321396B2 (en) | Deinterlacing apparatus and method | |
JP3855761B2 (ja) | 画像信号処理装置及び方法 | |
JP2008160591A (ja) | テレビジョン受信機及びそのフレームレート変換方法 | |
JP3596520B2 (ja) | 画像信号処理装置及び方法 | |
JP3596519B2 (ja) | 画像信号処理装置及び方法 | |
US8325811B2 (en) | Method and apparatus for motion compensated frame interpolation of covered and uncovered areas | |
JP3596521B2 (ja) | 画像信号処理装置及び方法 | |
JP4565339B2 (ja) | 動き補正装置及び方法 | |
JP5241632B2 (ja) | 画像処理回路および画像処理方法 | |
KR100730499B1 (ko) | 화상 변환 장치 및 방법 | |
JP4337302B2 (ja) | 動き補正回路及び方法 | |
JP2003289511A (ja) | 画像走査変換方法及び装置 | |
JP2009253567A (ja) | テレビジョン受信機及びそのフレームレート変換方法 | |
WO2004002148A1 (ja) | 動きベクトル検出装置及び検出方法、並びに動き補正装置及び動き補正方法 | |
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
KR100672617B1 (ko) | Hd급 디인터레이싱 구현 장치 및 구현 방법 | |
JP2004173182A (ja) | 画像表示装置及び走査線変換表示方法 | |
JP2004120594A (ja) | 幾何変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3596519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |